JP6610584B2 - 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム - Google Patents

Description

本発明は画像処理装置、撮像装置、画像処理方法及び画像処理プログラムに関し、例えば２台のカメラを用いていわゆる立体画像を撮像する複眼撮像装置に適用して好適なものである。

近年、左右の２視点における画像（立体画像）を左右の目でそれぞれ見る立体視（ステレオ視）により、立体感を得る手法が提案されている。

この立体視に用いる画像信号を生成する手法として、２台のカメラを左右に配置し、２視点の画像をそれぞれ撮像する複眼撮像が知られている。

一方、１台のカメラによる通常の撮像装置について、画像信号の画面中央部を矩形状に切り取って検波領域（検波枠）とする手法が知られている（たとえば、特許文献１参照）。このような撮像装置では、検波領域に含まれる画素信号の値に所定の演算処理を施すことにより自動焦点等の画像調整用の信号を生成し、この信号に基づいて実際に画像を調整させている。

特開平１１−９８４０７号公報（第３図等）

ところで複眼撮像を行う場合、例えば２台のカメラで撮像した画像にそれぞれ検波領域を設定し、各検波領域に含まれる画素信号の値を基に画像調整用の信号を生成し、それぞれの画像を調整することが考えられる。

このとき各検波領域は、それぞれの画面中央部に設定されることになる。例えば、それぞれの画像において中央に所定の撮像対象（被写体）が位置している場合、それぞれの検波領域はいずれも被写体に合わせたように設定される。

一方、立体画像では、２台のカメラによる互いの画面の領域、すなわち撮像領域のずれ度合いを調整することにより、得られる立体感の度合いを調整できることが知られている。

しかしながら撮像領域をずらした場合、画面上における検波領域の位置は画面中央部から変化しないため、検波領域が被写体から外れてしまい、この被写体に焦点を合わせることができない恐れがある。

このように複眼撮像では、立体感の調整に伴い撮像領域を変化させた場合、画像を適切に調整できなくなってしまうという問題があった。

本発明は以上の点を考慮してなされたもので、複数の画像についてそれぞれ適切に調整できる画像処理装置、撮像装置、画像処理方法及び画像処理プログラムを提案しようとするものである。

かかる課題を解決するため本発明の画像処理装置、画像処理方法及び画像処理プログラムにおいては、それぞれ撮像対象を撮像した左画像及び右画像に当該撮像対象を中心とした基準領域をそれぞれ設定し、左画像及び右画像において基準領域を左右方向へ移動させた場合の、該左画像及び該右画像における該基準領域の位置に切出領域を設定し、切出領域から得られる画像の焦点位置、露出、コントラスト、ガンマ特性及び色調の少なくとも何れかの調整処理を行うための領域である検波領域を、左画像及び右画像に撮像されている撮像対象の位置に基づき、左画像及び右画像の少なくとも何れかの基準領域内に設定するよう制御するようにした。
また本発明の撮像装置では、左画像及び右画像を撮像するイメージセンサ及びズームレンズを有する撮像部と、撮像部を制御する制御部とを設け、制御部は、撮像部によりそれぞれ撮像対象を撮像した左画像及び右画像に当該撮像対象を中心とした基準領域をそれぞれ設定し、左画像及び右画像の少なくとも一方において基準領域を左右方向へ移動させた場合の、該左画像及び該右画像における該基準領域の位置に切出領域をそれぞれ設定し、切出領域から得られる画像の焦点位置、露出、コントラスト、ガンマ特性及び色調の少なくとも何れかの調整処理を行うための領域である検波領域を、左画像及び右画像に撮像されている撮像対象の位置に基づき、左画像及び右画像のうち少なくとも一方の基準領域内に設定するよう制御するようにした。

本発明では、所望の切出領域を設定できる一方、この切出領域とは無関係に左画像及び右画像に撮像されている撮像対象の位置を基に検波領域を設定できる。これにより本発明では、切出領域の設定に関わらず撮像対象を基準として抽出した画像信号を用いて各画像の焦点位置、露出、コントラスト、ガンマ特性及び色調の少なくとも何れかの調整処理を行うことができる。

本発明によれば、複数の画像についてそれぞれ適切に調整できる画像処理装置、撮像装置、画像処理方法及び画像処理プログラムを実現できる。

複眼撮像装置の全体構成を示す略線図である。 システムコントローラのハードウェア構成を示す略線図である。 システムコントローラ及びディジタル信号処理部の機能構成を示す略線図である。 第１の実施の形態による画像の切出領域及び検波領域を示す略線図である。 第１の実施の形態による像と検波領域との関係を示す略線図である。 第１の実施の形態による右側の検波領域設定処理手順を示すフローチャートである。 第１の実施の形態による左側の検波領域設定処理手順を示すフローチャートである。 第２の実施の形態による画像の切出領域及び検波領域を示す略線図である。 第２の実施の形態による像と検波領域との関係を示す略線図である。 第２の実施の形態による右側の検波領域設定処理手順を示すフローチャートである。 第２の実施の形態による左側の検波領域設定処理手順を示すフローチャートである。

以下、発明を実施するための形態（以下実施の形態とする）について、図面を用いて説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（検波領域を光軸調整及び視差調整に応じて設定する例）
２．第２の実施の形態（検波領域を光軸調整のみに応じて設定する例）
３．他の実施の形態

＜１．第１の実施の形態＞
［１−１．複眼撮像装置の構成］
図１に示す複眼撮像装置１は、コントロールユニット２によって２個の撮像ユニット３Ａ及び３Ｂを制御しながら所定の撮像対象を撮像する複眼撮像を行うことにより、立体画像を構成する２系統の画像信号を生成するようになされている。

コントロールユニット２は、全体を統括制御するシステムコントローラ５、ユーザの操作を受け付ける操作部６及び種々の情報を表示する表示部７等を有している。

システムコントローラ５は、図２に示すように、各種演算処理を行うＣＰＵ（Central Processing Unit）１１を中心に構成されており、ＲＯＭ（Read Only Memory）１２、ＲＡＭ（Random Access Memory）１３及び不揮発性メモリ１４がバス１５を介して接続されている。

ＣＰＵ１１は、ＲＯＭ１２や不揮発性メモリ１４から所定の基本プログラムや複数画像調整制御プログラム等の各種プログラムを読み出し、ＲＡＭ１３をワークメモリ等として用いながら、これらのプログラムを実行するようになされている。

因みに不揮発性メモリ１４は、撮像ユニット３Ａ及び３Ｂそれぞれにおける焦点制御や露出制御のような画像調整処理に必要な値等、当該撮像ユニット３Ａ及び３Ｂの制御に用いる種々の値を記憶している。

またＣＰＵ１１は、通信インタフェース（Ｉ／Ｆ）１６を介して撮像ユニット３Ａ及び３Ｂの各部に対して各種制御信号等を送信すると共に、当該撮像ユニット３Ａ及び３Ｂの各部から種々の情報を取得するようになされている。

操作部６（図１）は、例えば各種操作ボタンやタッチパネル等でなり、ユーザの操作内容に応じた操作信号を生成してシステムコントローラ５へ供給する。この操作部６には、例えば撮像処理を開始又は終了する撮像ボタン、各種メニューを操作するカーソルボタン、画像の倍率を調整するズームレバー、及び立体視したときの奥行感を変化させるべく左右の視差量を調整する視差量調整ダイヤル等が設けられている。

表示部７は、例えば液晶パネルで構成されており、システムコントローラ５から供給される表示信号に基づいた表示画面を表示することにより、撮像ユニット３Ａ及び３Ｂにより撮像した画像や各種設定内容等の種々の情報をユーザに提示する。

撮像ユニット３Ａは、コントロールユニット２の制御に基づいて撮像対象（図示せず）を撮像ユニット３Ｂと異なる視点から撮像し、１系統の画像信号を生成するようになされている。因みに撮像ユニット３Ａは、右目に対応する画像信号を生成する。

この撮像ユニット３Ａは、撮像対象等から得られる撮像光を光学調整部２０Ａにより光学的に調整し、撮像素子２４Ａにより撮像する。すなわち撮像ユニット３Ａは、ズームレンズ２１Ａにより撮像光を所望のズーム倍率で拡大し、絞り２２Ａにより撮像光の光量を減光し、フォーカスレンズ２３Ａにより焦点を調整する。

このときコントロールユニット２のシステムコントローラ５は、レンズドライバ３１Ａを介して、ズームレンズ２１Ａにおける拡大率、絞り２２Ａの絞り量、及びフォーカスレンズ２３における焦点位置をそれぞれ制御する。またシステムコントローラ５は、タイミングジェネレータ３２Ａを介して撮像素子２４Ａのシャッター速度を制御する。

撮像素子２４Ａは、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）で構成され、各画素に補色系又は原色系のカラーフィルタが設けられており、各画素を補色又は原色の色信号で表した撮像信号を生成するようになされている。実際上撮像素子２４Ａは、入射される撮像光をタイミングジェネレータ３２Ａの制御に基づいた周期で光電変換することによりアナログの画像信号Ｖ１Ａを生成し、これをアナログ信号処理部２５Ａへ供給する。

アナログ信号処理部２５Ａは、画像信号Ｖ１Ａを相関二重サンプリングした後、システムコントローラ５の制御に基づき画像信号Ｖ１Ａのゲイン（利得）を調整することにより画像信号Ｖ２Ａを生成し、これをＡ／Ｄ（Analog/Digital）変換器２６Ａへ供給する。

Ａ／Ｄ変換器２６Ａは、アナログの画像信号Ｖ２Ａをアナログディジタル変換することによりディジタルの画像信号Ｖ３Ａを生成し、これをディジタル信号処理部２７Ａへ供給する。

ディジタル信号処理部２７Ａは、例えばディジタルシグナルプロセッサにより構成されており、画像信号Ｖ３Ａに対しシステムコントローラ５の制御に基づいた種々の画像調整処理を施す。ここで施される画像調整処理には、例えばホワイトバランス補正処理やガンマ補正処理等、撮像後の画像信号に対する様々な処理が含まれる。

さらにディジタル信号処理部２７Ａは、画像信号Ｖ３Ａのうち最終的な画像として切り出すべき領域（以下これを切出領域と呼ぶ）の画像を切り出して画像信号Ｖ４Ａとし、これをメモリ８へ供給する。

メモリ８は、画像信号Ｖ４Ａを一時的に記憶した後、これを記憶部９へ供給する。記憶部９は、例えば光ディスクドライブや磁気ディスクドライブ、或いはフラッシュメモリ等でなり、順次供給される画像信号Ｖ４Ａを記憶する。また記憶部９は、システムコントローラ５からの要求に応じて、記憶している画像信号４を読み出してメモリ８へ供給するようになされている。

またディジタル信号処理部２７Ａは、画像信号Ｖ３Ａにより表される画像のうち所定領域内の画素値を基に、当該画像信号Ｖ３Ａを調整する際に用いる複数種類の検出値を生成し、これをシステムコントローラ５へ供給するようになされている（詳しくは後述する）。

システムコントローラ５は、これらの検出値を基に、レンズドライバ３１Ａ及びタイミングジェネレータ３２Ａを介してズーム制御、絞り制御、焦点制御及びシャッター速度制御等の各種制御を行うようになされている。

このように撮像ユニット３Ａは、コントロールユニット２の制御に基づき、一般的なビデオカメラ等と同様に撮像対象を撮像して画像信号Ｖ４Ａを生成するようになされている。以下では、コントロールユニット２の制御に基づき撮像ユニット３Ａにより撮像対象の画像信号Ｖ４Ａを生成する処理を単眼撮像処理とも呼ぶ。

一方撮像ユニット３Ｂは、撮像ユニット３Ａと同様に構成されており、コントロールユニット２の制御に基づき、撮像対象を撮像ユニット３Ａと僅かに異なる位置及び方向から撮像することにより、画像信号Ｖ４Ａと対応する画像信号Ｖ４Ｂを生成する。因みに撮像ユニット３Ｂは、左目に対応する画像信号を生成する。

このときコントロールユニット２は、撮像ユニット３Ａ及び３Ｂに対するズーム制御、絞り制御、焦点制御及びシャッター速度制御等の各種制御を連動させることにより、画像信号Ｖ４Ａ及びＶ４Ｂに関する焦点位置や露出等の種々の調整値を統括的に制御する複眼撮像制御を行う。

かくして撮像ユニット３Ａ及び３Ｂにより生成された画像信号Ｖ４Ａ及びＶ４Ｂは、それぞれを右眼用及び左眼用の画像とする立体画像を表すものとなる。

このように複眼撮像装置１は、コントロールユニット２によって撮像ユニット３Ａ及び３Ｂを連動させるよう制御して複眼撮像処理を行うことにより、立体画像を表す画像信号Ｖ４Ａ及びＶ４Ｂをそれぞれ生成するようになされている。

ところで撮像ユニット３Ａ及び３Ｂは、その製造調整工程等において、撮像素子２４Ａ及び２４Ｂによるそれぞれの撮像領域が互いに一致するよう、光学調整部２０Ａ及び２０Ｂの光軸がそれぞれ調整されるものの、調整誤差が生じる場合がある。

この調整誤差がある場合、撮像ユニット３Ａ及び３Ｂでは、光学調整部２０Ａ及び２０Ｂの光軸がずれることにより互いの撮像領域にずれが生じてしまう。このような撮像領域のずれは、ズームレンズ２１Ａ及び２１Ｂによる拡大率を高めた場合、すなわち操作部６のズームレバーにより高いズーム倍率に設定された場合に、より顕著に表れることになる。

一方、撮像領域のずれは、画像信号Ｖ３Ａ及びＶ３Ｂからの切出領域をそれぞれ移動させて最終的な画像信号Ｖ４Ａ及びＶ４Ｂの撮像領域をほぼ一致させる処理（以下これを光軸補正処理と呼ぶ）により、実質的に解消することができる。

そこで複眼撮像装置１の製造調整工程では、設定されたズーム倍率と切出領域の適切な移動量（以下これを光軸補正量と呼ぶ）との関係が測定された上で、両者の関係を表す光軸補正テーブルが生成されるようになされている。そしてこの光軸補正テーブルは、システムコントローラ５の不揮発性メモリ１４（図２）に記憶される。

［１−２．画像調整処理］
次に、コントロールユニット２のシステムコントローラ５と、撮像ユニット３Ａ及び３Ｂのディジタル信号処理部２７Ａ及び２７Ｂとによる、画像信号Ｖ３Ａ及びＶ３Ｂが表す画像の調整処理について説明する。

システムコントローラ５は、所定の撮像処理プログラムを実行することにより、例えば図３に示すように内部で種々の機能を実現する。またディジタル信号処理部２７Ａ及び２７Ｂは、予めプログラムされることにより、図３に示す各機能を実現するように設定されている。

まずシステムコントローラ５は、切出拡縮制御部４０により、画像信号Ｖ３Ａ及びＶ３Ｂの切出領域をそれぞれ設定する。具体的に切出拡縮制御部４０の光軸補正制御部４１Ａ及び４１Ｂは、光軸補正処理として、不揮発性メモリ１４から光軸補正テーブルを読み出し、このときのズーム倍率に応じた光軸補正量を決定して第１の領域としての切出領域ＴＡ１及びＴＢ１を設定する。

ここで図４（Ａ）は、画像信号Ｖ３Ａ及びＶ３Ｂにより表される画像の全領域である原画像ＭＡ及びＭＢと、互いに対応する撮像対象ＪＡ及びＪＢとを模式的に表している。

図４（Ａ）において、原画像ＭＡにおける撮像対象ＪＡの相対位置と、原画像ＭＢにおける撮像対象ＪＢの相対位置とは互いに相違する。その一方で、切出領域ＴＡ１における撮像対象ＪＡの相対位置及び切出領域ＴＢ１における撮像対象ＪＢの相対位置は、いずれもほぼ中央であり、互いに一致している。

次に切出拡縮制御部４０の視差量制御部４２は、光軸補正処理により設定された切出領域を基に、画像信号Ｖ４Ａ及びＶ４Ｂを立体視したときに得られる奥行感を調整するべく、再度切出領域を設定するようになされている。以下では、このような処理を視差量調整処理とも呼ぶ。

具体的に視差量制御部４２は、例えば図４（Ａ）と対応する図４（Ｂ）及び（Ｃ）に示すように、操作部６の視差量調整ダイヤルにより指示された視差量に応じて、切出領域ＴＡ１及びＴＢ１をそれぞれ左右方向に移動させた位置に、第２の領域としての切出領域ＴＡ２及びＴＢ２を設定する。

因みに図４（Ｂ）は、表示画面よりも手前側に撮像対象を位置させる場合を示しており、図４（Ｃ）は、表示画面よりも奥側に撮像対象を位置させる場合を示している。

その後、切出拡縮制御部４０の切出領域信号生成部４３Ａは、切出領域ＴＡ２及びＴＢ２の位置や大きさ等を表す切出領域信号ＳＴＡ２及びＳＴＢ２を生成する。そして切出領域信号生成部４３Ａは、切出領域信号ＳＴＡ２及びＳＴＢ２を検出領域制御部４４Ａ及び４４Ｂとディジタル信号処理部２７Ａ及び２７Ｂの切出拡縮部５５Ａ及び５５Ｂとへそれぞれ供給する。

検出領域制御部４４Ａは、供給された切出領域信号ＳＴＡ２に応じて、切出領域ＴＡ２におけるほぼ中央となる位置に、所定の大きさでなり矩形状の検波領域ＤＡ２（図４（Ｂ）及び（Ｃ））を設定する。

この検波領域ＤＡ２は、最終的に切り出す切出領域ＴＡ２のうち、焦点制御や露出制御における合焦度合や露出を最適に調整すべき領域を表しており、検波枠とも呼ばれている。

また検波領域ＤＡ２は、視差量調整処理後の切出領域ＴＡ２に対応した位置に設定されている。すなわち検波領域ＤＡ２は、仮に視差量調整処理前の切出領域ＴＡ１に対応して設定した場合の検波領域ＤＡ１とは異なる位置に設定されている。

これと同様に検出領域制御部４４Ｂは、供給された切出領域信号ＳＴＢ２に応じて、切出領域ＴＢ２におけるほぼ中央となる位置に検波領域ＤＢ２を設定する。

そして検出領域制御部４４Ａ及び４４Ｂ（図３）は、検波領域ＤＡ２及びＤＢ２の位置や大きさ等を表す検波領域情報ＳＤＡ及びＳＤＢを生成し、それぞれをディジタル信号処理部２７Ａ及び２７Ｂの検出部５２Ａ及び５２Ｂへ供給する。

一方、ディジタル信号処理部２７Ａは、Ａ／Ｄ変換器２６Ａ（図１）から供給される画像信号Ｖ３Ａを増幅部５１Ａにより増幅し、これを検出部５２Ａ及びホワイトバランス調整部５３Ａへ供給する。

検出部５２Ａは、鮮鋭度検出部５２Ａ１、輝度検出部５２Ａ２及び色信号検出部５２Ａ３を有しており、画像信号Ｖ３Ａのうち検波領域情報ＳＤＡにより特定される検波領域ＤＡ内の画素値を基に、複数種類の検出値を生成するようになされている。

具体的に鮮鋭度検出部５２Ａ１は、画像信号Ｖ３Ａのうち検波領域ＤＡ２内に含まれる画素の画素値に対し微分等の演算処理を施すことにより鮮鋭度を表す鮮鋭度信号ＳＳＡを生成し、これをレンズ制御部４５へ供給する。

レンズ制御部４５は、鮮鋭度信号ＳＳＡを基に画像信号Ｖ３Ａのうち検波領域ＤＡ２の部分の鮮鋭度が最も高くなるよう、すなわちこの部分に焦点が合うよう、レンズドライバ３１Ａを介してフォーカスレンズ２３Ａの位置を制御する。

輝度検出部５２Ａ２は、画像信号Ｖ３Ａのうち検波領域ＤＡ２内に含まれる画素の輝度値について積算等の演算処理を施すことにより輝度信号ＳＢＡを生成し、これを露出制御部４６へ供給する。

露出制御部４６は、輝度信号ＳＢＡを基に画像信号Ｖ３Ａのうち検波領域ＤＡ２の部分における露出値が最適な値となるよう、レンズドライバ３１Ａを介して絞り２２Ａの絞り量を制御し、またタイミングジェネレータ３２Ａを介して撮像素子２４Ａのシャッター速度を制御し、さらに増幅部５１Ａにおける増幅ゲインを制御する。

色信号検出部は、画像信号Ｖ３Ａのうち検波領域ＤＡ２内に含まれる画素の画素値について所定の演算処理を施すことにより色信号ＳＣＡを生成し、これをホワイトバランス制御部４７へ供給する。

ホワイトバランス制御部４７は、色信号ＳＣＡを基にホワイトバランス調整信号ＳＷＡを生成し、これをホワイトバランス調整部５３Ａへ供給する。ホワイトバランス調整部５３Ａは、ホワイトバランス調整信号ＳＷＡに基づいて画像信号Ｖ３Ａのホワイトバランスを調整し、これをガンマ補正部５４Ａへ供給する。

ガンマ補正部５４Ａは、画像信号Ｖ３Ａに対して所定のガンマ補正処理を施し、切出拡縮部５５Ａへ供給する。切出拡縮部５５Ａは、画像信号Ｖ３Ａのうち切出領域信号ＳＴＡ２が示す領域を切り出すことにより画像信号Ｖ４Ａを生成し、これをメモリ８へ供給する。

一方ディジタル信号処理部２７Ｂは、ディジタル信号処理部２７Ａと対応しており、検出部５２Ｂの鮮鋭度検出部５２Ｂ１、輝度検出部５２Ｂ２及び色信号検出部５２Ｂ３によりそれぞれ鮮鋭度信号ＳＳＢ、輝度信号ＳＢＢ及び色信号ＳＣＢを生成する。

レンズ制御部４５は、鮮鋭度信号ＳＳＢを基に画像信号Ｖ３Ｂのうち検波領域ＤＢ２の部分の鮮鋭度が最も高くなるよう、すなわちこの部分に焦点が合うよう、レンズドライバ３１Ｂを介してフォーカスレンズ２３Ｂの位置を制御する。

このときレンズ制御部４５は、左側用のレンズドライバ３１Ｂに供給する制御信号について、右側用の鮮鋭度信号ＳＳＡに基づいて補正する。またレンズ制御部４５は、右側用のレンズドライバ３１Ａに供給する制御信号についても、左側用の鮮鋭度信号ＳＳＢに基づいて補正する。

露出制御部４６は、輝度信号ＳＢＢを基に画像信号Ｖ３Ｂのうち検波領域ＤＢ２の部分における露出値が最適な値となるよう、レンズドライバ３１Ｂを介して絞り２２Ｂの絞り量を制御し、またタイミングジェネレータ３２Ｂを介して撮像素子２４Ｂのシャッター速度を制御し、さらに増幅部５１Ｂにおける増幅ゲインを制御する。

このとき露出制御部４６は、レンズ制御部４５と同様、左側用のレンズドライバ３１Ｂ、タイミングジェネレータ３２Ｂ及び増幅部５１Ｂにそれぞれ供給する制御信号について、右側用の輝度信号ＳＢＡに基づいて補正する。また露出制御部４６は、右側用のレンズドライバ３１Ａ、タイミングジェネレータ３２Ａ及び増幅部５１Ａにそれぞれ供給する制御信号についても、左側用の輝度信号ＳＢＢに基づいて補正する。

ホワイトバランス制御部４７は、色信号ＳＣＢを基にホワイトバランス調整信号ＳＷＢを生成し、これをホワイトバランス調整部５３Ｂへ供給する。

このときホワイトバランス制御部４７は、左側用のホワイトバランス調整部５３Ｂに供給するホワイトバランス調整信号ＳＷＢを右側用の色信号ＳＣＡに基づいて補正する。またホワイトバランス制御部４７は、右側用のホワイトバランス調整部５３Ａに供給するホワイトバランス調整信号ＳＷＡについても左側用の色信号ＳＣＢに基づいて補正する。

ディジタル信号処理部２７Ｂは、画像信号Ｖ３Ｂについて増幅部５１Ｂにより増幅し、ホワイトバランス調整部５３Ａによりホワイトバランスを調整し、ガンマ補正部５４Ｂによりガンマ補正処理を施した上で切出拡縮部５５Ｂへ供給する。切出拡縮部５５Ｂは、画像信号Ｖ３Ｂのうち切出領域信号ＳＴＢ２が示す領域を切り出すことにより画像信号Ｖ４Ｂを生成し、これをメモリ７へ供給する。

すなわち撮像ユニット３Ａ及び３Ｂ（図１）は、それぞれ撮像した画像信号Ｖ３Ａ及びＶ３Ｂについて、それぞれの検波領域ＤＡ２及びＤＢ２における検出値に重点を置きつつ、他方の画像信号における検出値も参酌しながら、焦点制御、露出制御及びホワイトバランス制御を行うようになされている。

このように複眼撮像装置１では、光軸補正処理及び視差量調整処理により切出領域ＴＡ２及びＴＢ２を設定すると共に検波領域ＤＡ２及びＤＢ２を設定し、当該検波領域ＤＡ２及びＤＢ２内の画素値等から鮮鋭度等の各種検出値を生成する。そして複眼撮像装置１は、生成された各種検出値に基づいて焦点制御や露出制御等の画像を調整する処理（以下これらをまとめて画像調整処理と呼ぶ）を行うことにより、立体画像を表す画像信号Ｖ４Ａ及びＶ４Ｂを生成するようになされている。

［１−３．撮像対象と検波領域の位置との関係］
ここで、視聴者がテレビジョン装置等を用いて画像信号Ｖ４Ａ及びＶ４Ｂの画像を立体視する場合に得られる立体感と検波領域の位置との関係について説明する。

一般に、テレビジョン装置により画像を立体視する場合、テレビジョン装置では画像信号Ｖ４Ａ及びＶ４Ｂを１フレーム又は１フィールドずつ交互に表示する。また視聴者には眼鏡をかけさせ、この眼鏡において左右のレンズを液晶シャッター等により画像と同期して交互に遮光させる。

これにより視聴者は、正面の表示画面内で、右目により画像信号Ｖ４Ａに基づく画像のみを見ると共に、左目により画像信号Ｖ４Ｂに基づく画像のみを見る。

図５（Ａ）〜（Ｃ）は、この様子を模式的に示したものであり、上段に表示画面に表示する画像を、下段に視聴者の目、表示画面及び得られる像の位置の関係を、検波領域と共にそれぞれ表している。この表示画面の全体に、切出領域ＴＡ１及びＴＢ１又は切出領域ＴＡ２及びＴＢ２が表示されることになる。

図５（Ａ）は、図４（Ａ）と対応しており、視聴者の視点ＶＡ及びＶＢ、光軸補正処理のみを行った場合における切出領域ＴＡ１及びＴＢ１、撮像対象ＪＡ及びＪＢ、並びに検波領域ＤＡ１及びＤＢ１の位置関係を示している。この場合、表示画面上で検波領域ＤＡ２及びＤＢ２は一致している。

図５（Ｂ）は、図４（Ｂ）と対応しており、光軸補正処理に加えて像が手前に位置して見えるような視差量調整処理を行った場合を示している。この場合、表示画面上で撮像対象ＪＡ及びＪＢが左右にずれているため、視聴者は脳内で無意識的に撮像対象ＪＡ及びＪＢを重ねようとし、手前に像があるような立体感を得ることができる。

ここで画像信号Ｖ４Ａ及びＶ４Ｂは、それぞれ撮像対象ＪＡ及びＪＢに検波領域ＤＡ２及びＤＢ２が合わされていることから、左右それぞれの画像で撮像対象に焦点及び露出等が合うように調整されている。このため視聴者は、撮像対象が鮮明に表され、且つ奥行感をもった画像を楽しむことができる。

図５（Ｃ）は、図４（Ｃ）と対応しており、光軸補正処理に加えて像が奥側に位置して見えるような視差量調整処理を行った場合を示している。この場合、表示画面上で撮像対象が左右に図５（Ｂ）と反対方向にずれているため、視聴者に奥に像があるような立体感を与えることができる。この場合にも視聴者は、撮像対象が鮮明に表され、且つ奥行感をもった像を認識することができる。

［１−４．検波領域設定処理手順］
次に、複眼撮像装置１において右側及び左側の検波領域ＤＡ２及びＤＢ２をそれぞれ設定する際の検波領域設定処理手順ＲＴ１及びＲＴ２を、図６及び図７のフローチャートを用いて説明する。因みに右側の検波領域設定処理手順ＲＴ１及び左側の検波領域設定処理手順ＲＴ２については、どちらを先に処理しても良く、或いは並列処理をしても良い。

また説明の都合上、画面内の座標については画面左上を原点とし、左から右へ向かう方向にｘ軸を設定し、上から下へ向かう方向にｙ軸を設定する。また切出領域ＴＡや検波領域ＤＡについては、左上及び右下の頂点の座標により表すものとする。

システムコントローラ５のＣＰＵ１１は、撮像処理が開始されると右側の検波領域設定処理手順ＲＴ１（図６）を開始してステップＳＰ１へ移る。

ステップＳＰ１においてＣＰＵ１１は、光軸補正制御部４１Ａにより、不揮発性メモリ１４から光軸補正テーブルを読み出し、このときのズーム倍率に応じて右側の光軸補正量を決定し、この光軸補正量を基に左上頂点を表す座標（ＴＡ１Ｌｘ，ＴＡ１Ｌｙ）を決定して、次のステップＳＰ２へ移る。

ステップＳＰ２においてＣＰＵ１１は、切出領域ＴＡ１の左上頂点を表す座標（ＴＡ１Ｌｘ，ＴＡ１Ｌｙ）と操作部６のズームレバーにより設定された倍率とに基づき、所定の演算式に従って右下頂点を表す座標（ＴＡ１Ｒｘ，ＴＡ１Ｒｙ）を算出して次のステップＳＰ３へ移る。

ステップＳＰ３においてＣＰＵ１１は、座標（ＴＡ１Ｌｘ，ＴＡ１Ｌｙ）及び座標（ＴＡ１Ｒｘ，ＴＡ１Ｒｙ）をそれぞれ左上頂点及び右下頂点とした切出領域ＴＡ１を設定し、次のステップＳＰ４へ移る。

ステップＳＰ４においてＣＰＵ１１は、視差量制御部４２により、設定された切出領域ＴＡ１の左上頂点（ＴＡ１Ｌｘ，ＴＡ１Ｌｙ）と視差量に応じて定まる調整量Ｓとを基に、切出領域ＴＡ２の左上頂点を表す座標（ＴＡ２Ｌｘ，ＴＡ２Ｌｙ）を次の（１）式により算出し、次のステップＳＰ５へ移る。

ＴＡ２Ｌｘ＝ＴＡ１Ｌｘ＋Ｓ
ＴＡ２Ｌｙ＝ＴＡ１Ｌｙ ……（１）

ステップＳＰ５においてＣＰＵ１１は、切出領域ＴＡ２の左上頂点を表す座標（ＴＡ２Ｌｘ，ＴＡ２Ｌｙ）と操作部６のズームレバーにより設定された倍率とに基づき、所定の演算式に従って右下頂点を表す座標（ＴＡ１Ｒｘ，ＴＡ１Ｒｙ）を算出して次のステップＳＰ６へ移る。

ステップＳＰ６においてＣＰＵ１１は、座標（ＴＡ２Ｌｘ，ＴＡ２Ｌｙ）及び座標（ＴＡ２Ｒｘ，ＴＡ２Ｒｙ）をそれぞれ左上頂点及び右下頂点とした切出領域ＴＡ２を設定し、次のステップＳＰ７へ移る。

ステップＳＰ７においてＣＰＵ１１は、検出領域制御部４４Ａにより、切出領域ＴＡ２の左上頂点（ＴＡ２Ｌｘ，ＴＡ２Ｌｙ）と定数（Ｃｘ，Ｃｙ）とを基に、検波領域ＤＡ２の左上頂点を表す座標（ＤＡ２Ｌｘ，ＤＡ２Ｌｙ）を次の（２）式により算出し、次のステップＳＰ８へ移る。ここで定数（Ｃｘ，Ｃｙ）は、切出領域ＴＡ２と検波領域ＤＡ２との大きさの差異に基づいて定まる値である。

ＤＡ２Ｌｘ＝ＴＡ２Ｌｘ＋Ｃｘ
ＤＡ２Ｌｙ＝ＴＡ２Ｌｙ＋Ｃｙ ……（２）

ステップＳＰ８においてＣＰＵ１１は、検波領域ＤＡ２の左上頂点を表す座標（ＤＡ２Ｌｘ，ＤＡ２Ｌｙ）に基づいた所定の演算式に従って、右下頂点を表す座標（ＤＡ２Ｒｘ，ＤＡ２Ｒｙ）を算出して次のステップＳＰ９へ移る。

ステップＳＰ９においてＣＰＵ１１は、座標（ＤＡ２Ｌｘ，ＤＡ２Ｌｙ）及び座標（ＤＡ２Ｒｘ，ＤＡ２Ｒｙ）をそれぞれ左上頂点及び右下頂点とした検波領域ＤＡ２を設定し、次のステップＳＰ１０へ移る。

ステップＳＰ１０においてＣＰＵ１１は、設定した検波領域ＤＡ２を表す検波領域情報ＳＤＡを生成し、これを検出部５２Ａへ供給した後、次のステップＳＰ１１へ移って右側の検波領域設定処理手順ＲＴ１を終了する。

またシステムコントローラ５のＣＰＵ１１は、撮像処理が開始されると左側の検波領域設定処理手順ＲＴ２（図７）を開始してステップＳＰ２１へ移る。

ステップＳＰ２１においてＣＰＵ１１は、右側の場合と同様、光軸補正制御部４１Ｂにより、不揮発性メモリ１４から光軸補正テーブルを読み出し、このときのズーム倍率に応じて左側の光軸補正量を決定し、この光軸補正量を基に左上頂点を表す座標（ＴＢ１Ｌｘ，ＴＢ１Ｌｙ）を決定して、次のステップＳＰ２２へ移る。

ステップＳＰ２２及びＳＰ２３において、ＣＰＵ１１は、右側の場合と同様、右下頂点を表す座標（ＴＢ１Ｒｘ，ＴＢ１Ｒｙ）を算出した上で切出領域ＴＢ１を設定し、次のステップＳＰ２４へ移る。

ステップＳＰ２４においてＣＰＵ１１は、視差量制御部４２により、設定された切出領域ＴＢ１の左上頂点（ＴＢ１Ｌｘ，ＴＢ１Ｌｙ）と調整量Ｓとを基に、切出領域ＴＢ２の左上頂点を表す座標（ＴＢ２Ｌｘ，ＴＢ２Ｌｙ）を右側の場合とは一部符号を反転した次の（３）式により算出し、次のステップＳＰ２５へ移る。

ＴＢ２Ｌｘ＝ＴＢ１Ｌｘ−Ｓ
ＴＢ２Ｌｙ＝ＴＢ１Ｌｙ ……（３）

ステップＳＰ２５及びＳＰ２６において、ＣＰＵ１１は、右側の場合と同様、右下頂点を表す座標（ＴＢ２Ｒｘ，ＴＢ２Ｒｙ）を算出した上で切出領域ＴＢ２を設定し、次のステップＳＰ２７へ移る。

ステップＳＰ２７において、ＣＰＵ１１は、右側の場合と同様、検出領域制御部４４Ｂにより、切出領域ＴＢ２の左上頂点（ＴＢ２Ｌｘ，ＴＢ２Ｌｙ）と定数（Ｃｘ，Ｃｙ）とを基に、検波領域ＤＢ２の左上頂点を表す座標（ＤＢ２Ｌｘ，ＤＢ２Ｌｙ）を次の（４）式により算出し、次のステップＳＰ２８へ移る。

ＤＢ２Ｌｘ＝ＴＢ２Ｌｘ＋Ｃｘ
ＤＢ２Ｌｙ＝ＴＢ２Ｌｙ＋Ｃｙ ……（４）

ステップＳＰ２８及びＳＰ２９においてＣＰＵ１１は、右側の場合と同様、右下頂点を表す座標（ＤＢ２Ｒｘ，ＤＢ２Ｒｙ）を算出した上で検波領域ＤＢ２を設定し、次のステップＳＰ３０へ移る。

ステップＳＰ３０においてＣＰＵ１１は、設定した検波領域ＤＢ２を表す検波領域情報ＳＤＢを生成し、これを検出部５２Ｂへ供給した後、次のステップＳＰ３１へ移って左側の検波領域設定処理手順ＲＴ２を終了する。

［１−５．動作及び効果］
以上の構成において、第１の実施の形態による複眼撮像装置１は、光軸補正制御部４１Ａ及び４１Ｂにより、このときのズーム倍率に応じた光軸補正処理により画像信号Ｖ３Ａ及びＶ３Ｂ内で切出領域ＴＡ１及びＴＢ１をそれぞれ設定する。

視差量制御部４２は、視聴者に与えたい立体感に応じた視差量調整処理により切出領域ＴＡ１及びＴＢ１を左右方向へずらしたような切出領域ＴＡ２及びＴＢ２をそれぞれ設定する。

検出領域制御部４４Ａ及び４４Ｂは、切出領域ＴＡ２及びＴＢ２のほぼ中心となる位置に検波領域ＤＡ２及びＤＢ２をそれぞれ設定する。

そしてディジタル信号処理部２７Ａ及び２７Ｂは、検出部５２Ａ及び５２Ｂにより検波領域ＤＡ２及びＤＢ２内の画素値を基に鮮鋭度等の各種検出値を生成した上で、焦点制御や露出制御等の画像調整処理を行う。

従って複眼撮像装置１は、画像信号Ｖ４Ａ及びＶ４Ｂにおける互いに対応する位置に撮像対象ＪＡ及びＪＢを位置させ、且つ撮像対象ＪＡ及びＪＢにそれぞれ焦点や露出を最適化できるので、撮像対象の立体画像を鮮明に撮像することができる。

このように生成された画像信号Ｖ４Ａ及びＶ４Ｂは、所定の表示装置を介してその画像を見た視聴者に対し、右目及び左目にそれぞれ鮮明な撮像対象を見せることができ、その結果として当該撮像対象について適切な奥行感を与えることができる。

特に複眼撮像装置１は、画像信号Ｖ３Ａ及びＶ３Ｂのそれぞれについて検波領域ＤＡ２及びＤＢ２を設定し、当該検波領域ＤＡ２及びＤＢ２内の画素値からそれぞれ生成した各検出値に重点を置きつつ他方の検出値も参酌しながら、それぞれの画像について画像調整処理を行う。

このため複眼撮像装置１は、左右それぞれの画像信号について、それぞれの画像信号における検波領域内の画素値から得られる検出値に基づいてそれぞれ画像調整処理を行うことにより、それぞれ撮像対象を極めて鮮明に撮像することができる。

これに加えて複眼撮像装置１は、左右それぞれの画像信号について、他方の画像信号から得られた検出値に基づいてそれぞれの調整値等を補正することにより互いの相関性を高めることができ、左右の画像の相違による違和感を軽減することができる。

以上の構成によれば、複眼撮像装置１は、このときのズーム倍率に応じた光軸補正処理により画像信号Ｖ３Ａ及びＶ３Ｂ内で切出領域ＴＡ１及びＴＢ１をそれぞれ設定し、さらに視聴者に与えたい立体感に応じた視差量調整処理により切出領域ＴＡ２及びＴＢ２をそれぞれ設定する。そして複眼撮像装置１は、切出領域ＴＡ２及びＴＢ２のほぼ中心となる位置に検波領域ＤＡ２及びＤＢ２をそれぞれ設定し、検波領域ＤＡ２及びＤＢ２内の画素値を基に各種検出値を生成した上で、焦点制御や露出制御等の画像調整処理を行う。従って複眼撮像装置１は、画像信号Ｖ４Ａ及びＶ４Ｂにおける互いに対応する位置に撮像対象ＪＡ及びＪＢを位置させた上で、撮像対象ＪＡ及びＪＢに合わせて焦点や露出をそれぞれ最適に制御でき、鮮明な立体画像に調整することができる。

＜２．第２の実施の形態＞
［２−１．複眼撮像装置の構成］
第２の実施の形態による複眼撮像装置７１（図１）は、第１の実施の形態による複眼撮像装置１と比較して、システムコントローラ５に代わるシステムコントローラ７５を有している点が相違するものの、他の点については同様に構成されている。

システムコントローラ７５（図３）は、システムコントローラ５と比較して、切出拡縮制御部４０並びに検出領域制御部４４Ａ及び４４Ｂに代わる切出拡縮制御部８０並びに検出領域制御部８４Ａ及び８４Ｂを有している点が相違する。

切出拡縮制御部８０は、切出領域信号生成部４３Ａ及び４３Ｂに代わる切出領域信号生成部８３Ａ及び８３Ｂを有している。

［２−２．検波領域の設定］
切出拡縮制御部８０の光軸補正制御部４１Ａ及び４１Ｂは、図４（Ａ）と対応する図８（Ａ）に示すように、切出拡縮制御部４０の場合と同様、不揮発性メモリ１４から光軸補正テーブルを読み出し、このときのズーム倍率に応じた光軸補正量を決定して切出領域ＴＡ１及びＴＢ１を設定する。

また視差量制御部４２は、図４（Ｂ）及び（Ｃ）と対応する図８（Ｂ）及び（Ｃ）に示すように、操作部６の視差量調整ダイヤルにより指示された視差量に応じて、切出領域ＴＡ１及びＴＢ１をそれぞれ左右方向に移動させた位置に、最終的な切出領域ＴＡ２及びＴＢ２を設定する。

切出領域信号生成部８３Ａ及び８３Ｂは、まず切出領域ＴＡ２及びＴＢ２の位置や大きさ等を表す切出領域信号ＳＴＡ２及びＳＴＢ２をディジタル信号処理部２７Ａ及び２７Ｂの切出拡縮部５５Ａ及び５５Ｂへそれぞれ供給する。

さらに切出領域信号生成部８３Ａ及び８３Ｂは、切出領域信号生成部４３Ａ及び４３Ｂとは異なり、再設定前の切出領域ＴＡ１及びＴＢ１の位置や大きさ等を表す切出領域信号ＳＴＡ１及びＳＴＢ１を生成し、これらを検出領域制御部８４Ａ及び８４Ｂへ供給する。

検出領域制御部８４Ａ及び８４Ｂは、供給された切出領域信号ＳＴＡ１に応じて、再設定前の切出領域ＴＡ１及びＴＢ１におけるほぼ中央となる位置に、検波領域ＤＡ１及びＤＢ１（図８（Ｂ）及び（Ｃ））を設定する。

そして検出領域制御部８４Ａ及び８４Ｂ（図３）は、検波領域ＤＡ１及びＤＢ１の位置や大きさ等を表す検波領域情報ＳＤＡ及びＳＤＢを生成し、それぞれをディジタル信号処理部２７Ａ及び２７Ｂの検出部５２Ａ及び５２Ｂへ供給する。

検出部５２Ａ及び５２Ｂは、画像信号Ｖ３Ａ及びＶ３Ｂのうち検波領域ＤＡ１及びＤＢ１内に含まれる画素の画素値を基に、鮮鋭度を表す鮮鋭度信号等の各種信号を生成し、これらをレンズ制御部４５、露出制御部４６及びホワイトバランス制御部４７へそれぞれ供給する。

これに応じてレンズ制御部４５、露出制御部４６及びホワイトバランス制御部４７は、それぞれ検波領域ＤＡ１及びＤＢ１の画素値から生成された各種信号に基づいて、焦点制御、露出制御及びホワイトバランス制御を行うようになされている。

このように複眼撮像装置７１では、光軸補正処理により設定された、すなわち視差量調整処理による再設定前の切出領域ＴＡ１及びＴＢ１を基に検波領域ＤＡ１及びＤＢ１を設定し、当該検波領域ＤＡ１及びＤＢ１内の画素値等から鮮鋭度等の各種検出値を生成する。そして複眼撮像装置７１は、生成された各種検出値に基づいて画像調整処理を行うことにより、立体画像を表す画像信号Ｖ４Ａ及びＶ４Ｂを生成するようになされている。

［２−３．撮像対象と検波領域の位置との関係］
ここで、視聴者がテレビジョン装置等を用いて第２の実施の形態における画像信号Ｖ４Ａ及びＶ４Ｂの画像を立体視する場合に得られる立体感と検波領域の位置との関係について説明する。

図９（Ａ）〜（Ｃ）は、図５（Ａ）〜（Ｃ）と同様、視聴者が右目により画像信号Ｖ４Ａに基づく画像のみを見ると共に左目により画像信号Ｖ４Ｂに基づく画像のみを見る様子を模式的に示したものである。

図９（Ａ）は、図８（Ａ）と対応しており、視聴者の視点ＶＡ及びＶＢ、光軸補正処理のみを行った場合における切出領域ＴＡ１及びＴＢ１、撮像対象ＪＡ及びＪＢ、並びに検波領域ＤＡ１及びＤＢ１の位置関係を示している。この場合、図５（Ａ）と同様、表示画面上で検波領域ＤＡ１及びＤＢ１は一致している。

図９（Ｂ）は、図８（Ｂ）と対応しており、図５（Ｂ）と同様、光軸補正処理に加えて像が手前に位置して見えるような視差量調整処理を行った場合を示している。この場合、表示画面上で撮像対象ＪＡ及びＪＢが左右にずれているため、視聴者は脳内で無意識的に撮像対象ＪＡ及びＪＢを重ねようとし、手前に像があるような立体感を得ることができる。

ここで図９（Ｂ）では、手前に見える像の位置で検波領域ＤＡ１及びＤＢ１が一致している。これは、光軸補正処理後の切出領域ＴＡ１及びＴＢ１における中心に検波領域ＤＡ１及びＤＢ１を設定したこと、すなわち撮像対象ＪＡ及びＪＢにおける互いにほぼ同等の位置に検波領域ＤＡ１及びＤＢ１を設定したことにより、撮像対象ＪＡ及びＪＢが一致するときには検波領域ＤＡ１及びＤＢ１も一致するからである。

このように、手前に見える像の位置で撮像対象ＪＡ及びＪＢが一致すると共に検波領域ＤＡ１及びＤＢ１も一致するということは、撮像対象ＪＡ及びＪＢのうち焦点制御や露出制御の基準とする領域も互いに一致することを意味する。

すなわち、第２の実施の形態より生成した画像信号Ｖ４Ａ及びＶ４Ｂは、撮像対象ＪＡ及びＪＢそれぞれについて最適に画像調整処理がなされるため、その画像を立体視する視聴者に対し、極めて鮮明な撮像対象の像を立体視させることができる。

図９（Ｃ）は、図８（Ｃ）と対応しており、図５（Ｃ）と同様、光軸補正処理に加えて像が奥側に位置して見えるような視差量調整処理を行った場合を示している。この場合、表示画面上で撮像対象が左右に図９（Ｂ）と反対方向にずれているため、視聴者に奥に像があるような立体感を与えることができる。この場合にも視聴者は、撮像対象が極めて鮮明に表され、且つ奥行感をもった像を認識することができる。

［２−４．検波領域設定処理手順］
次に、複眼撮像装置７１において、右側及び左側の検波領域ＤＡ１及びＤＢ１をそれぞれ設定する際の検波領域設定処理手順ＲＴ３及びＲＴ４を、図１０及び図１１のフローチャートを用いて説明する。因みに右側の検波領域設定処理手順ＲＴ３と左側の検波領域設定処理手順ＲＴ４については、どちらを先に処理しても良く、或いは並列処理をしても良い。

システムコントローラ７５のＣＰＵ１１は、撮像処理が開始されると右側の検波領域設定処理手順ＲＴ３（図１０）を開始してステップＳＰ４１へ移る。なおステップＳＰ４１〜ＳＰ４６の処理については、ステップＳＰ１〜ＳＰ６の処理と同一であるため説明を省略する。

ＣＰＵ１１は、ステップＳＰ４７〜５０において、ステップＳＰ７〜ＳＰ１０における検波領域ＤＡ２を検波領域ＤＡ１に置き換えたような処理を行う。

すなわちステップＳＰ４７においてＣＰＵ１１は、検出領域制御部８４Ａにより、切出領域ＴＡ１の左上頂点（ＴＡ１Ｌｘ，ＴＡ１Ｌｙ）と定数（Ｃｘ，Ｃｙ）とを基に、検波領域ＤＡ１の左上頂点を表す座標（ＤＡ１Ｌｘ，ＤＡ１Ｌｙ）を次の（５）式により算出し、次のステップＳＰ４８へ移る。

ＤＡ１Ｌｘ＝ＴＡ１Ｌｘ＋Ｃｘ
ＤＡ１Ｌｙ＝ＴＡ１Ｌｙ＋Ｃｙ ……（５）

ステップＳＰ４８においてＣＰＵ１１は、検波領域ＤＡ１の左上頂点を表す座標（ＤＡ１Ｌｘ，ＤＡ１Ｌｙ）に基づいた所定の演算式に従って、右下頂点を表す座標（ＤＡ１Ｒｘ，ＤＡ１Ｒｙ）を算出して次のステップＳＰ４９へ移る。

ステップＳＰ４９においてＣＰＵ１１は、座標（ＤＡ１Ｌｘ，ＤＡ１Ｌｙ）及び座標（ＤＡ１Ｒｘ，ＤＡ１Ｒｙ）をそれぞれ左上頂点及び右下頂点とした検波領域ＤＡ１を設定し、次のステップＳＰ５０へ移る。

ステップＳＰ５０においてＣＰＵ１１は、設定した検波領域ＤＡ１を表す検波領域情報ＳＤＡを生成し、これを検出部５２Ａへ供給した後、次のステップＳＰ５１へ移って右側の検波領域設定処理手順ＲＴ３を終了する。

またシステムコントローラ７５のＣＰＵ１１は、撮像処理が開始されると左側の検波領域設定処理手順ＲＴ４（図１１）を開始してステップＳＰ６１へ移る。なおステップＳＰ６１〜ＳＰ６６の処理については、ステップＳＰ２１〜ＳＰ２６の処理と同一であるため、説明を省略する。

ＣＰＵ１１は、ステップＳＰ６７〜７０において、ステップＳＰ２７〜ＳＰ３０における検波領域ＤＢ２を検波領域ＤＢ１に置き換えたような処理、換言すればステップＳＰ４７〜ＳＰ５０における検波領域ＤＡ１を検波領域ＤＢ１に置き換えたような処理を行う。

すなわちステップＳＰ６７においてＣＰＵ１１は、検出領域制御部８４Ｂにより、切出領域ＴＢ１の左上頂点（ＴＢ１Ｌｘ，ＴＢ１Ｌｙ）と定数（Ｃｘ，Ｃｙ）とを基に、検波領域ＤＢ１の左上頂点を表す座標（ＤＢ１Ｌｘ，ＤＢ１Ｌｙ）を次の（６）式により算出し、次のステップＳＰ６８へ移る。

ＤＢ１Ｌｘ＝ＴＢ１Ｌｘ＋Ｃｘ
ＤＢ１Ｌｙ＝ＴＢ１Ｌｙ＋Ｃｙ ……（６）

ステップＳＰ６８及びＳＰ６９においてＣＰＵ１１は、右側の場合と同様、右下頂点を表す座標（ＤＢ１Ｒｘ，ＤＢ１Ｒｙ）を算出した上で検波領域ＤＢ１を設定し、次のステップＳＰ７０へ移る。

ステップＳＰ７０においてＣＰＵ１１は、設定した検波領域ＤＢ１を表す検波領域情報ＳＤＢを生成し、これを検出部５２Ｂへ供給した後、次のステップＳＰ７１へ移って左側の検波領域設定処理手順ＲＴ４を終了する。

［２−５．動作及び効果］
以上の構成において、第２の実施の形態による複眼撮像装置７１は、光軸補正制御部４１Ａ及び４１Ｂにより、このときのズーム倍率に応じた光軸補正処理により画像信号Ｖ３Ａ及びＶ３Ｂ内で切出領域ＴＡ１及びＴＢ１をそれぞれ設定する。

視差量制御部４２は、視聴者に与えたい立体感に応じた視差量調整処理により切出領域ＴＡ１及びＴＢ１を左右方向へずらしたような切出領域ＴＡ２及びＴＢ２をそれぞれ設定する。

検出領域制御部８４Ａ及び８４Ｂは、視差量調整処理により得られる切出領域ＴＡ２及びＴＢ２ではなく、敢えて光軸補正処理のみにより得られる切出領域ＴＡ１及びＴＢ１のほぼ中心となる位置に、検波領域ＤＡ１及びＤＢ１をそれぞれ設定する。

そしてディジタル信号処理部２７Ａ及び２７Ｂは、検出部５２Ａ及び５２Ｂにより検波領域ＤＡ１及びＤＢ１内の画素値を基に鮮鋭度等の各種検出値を生成した上で、焦点制御や露出制御等の画像調整処理を行う。

従って複眼撮像装置７１は、画像信号Ｖ４Ａ及びＶ４Ｂにおける互いに対応する位置に撮像対象ＪＡ及びＪＢを位置させ、且つ撮像対象ＪＡ及びＪＢの互いに一致する箇所に焦点や露出を最適化できるので、撮像対象の立体画像を極めて鮮明に撮像することができる。

このとき複眼撮像装置７１では、切出領域ＴＡ１及びＴＢ１のほぼ中心となる位置に、すなわち実際に画像を切り出す領域である切出領域ＴＡ２及びＴＢ２の中心からは外れた箇所に、検波領域ＤＡ１及びＤＢ１をそれぞれ設定する。

このため第２の実施の形態により生成された画像信号Ｖ４Ａ及びＶ４Ｂは、表示画面に表示される段階では互いの検波領域ＤＡ１及びＤＢ１の位置が互いにずれることになるが、立体視されたときに検波領域ＤＡ１及びＤＢ１を撮像対象の像に合わせることができる。

特に、視差量が大きく表示画面上で右目用の撮像対象ＪＡと左目用の撮像対象ＪＢとが大きく離れている場合であっても、立体視した場合に撮像対象の像の位置で検波領域ＤＡ１及びＤＢ１を重ね合わせることができる。この結果、画像信号Ｖ４Ａ及びＶ４Ｂを立体視した視聴者に対し、十分に奥行感があり極めて鮮明な像を認識させることができる。

また複眼撮像装置７１は、その他の点においても第１の実施の形態と同様の作用効果を奏し得る。

以上の構成によれば、複眼撮像装置７１は、ズーム倍率に応じた光軸補正処理により画像信号Ｖ３Ａ及びＶ３Ｂ内で切出領域ＴＡ１及びＴＢ１をそれぞれ設定し、さらに視聴者に与えたい立体感に応じた視差量補正処理により切出領域ＴＡ２及びＴＢ２をそれぞれ設定する。そして複眼撮像装置１は、先に設定した切出領域ＴＡ１及びＴＢ１のほぼ中心となる位置に検波領域ＤＡ１及びＤＢ１をそれぞれ設定し、検波領域ＤＡ１及びＤＢ１内の画素値を基に各種検出値を生成した上で、焦点制御や露出制御等の画像調整処理を行う。従って複眼撮像装置７１は、画像信号Ｖ４Ａ及びＶ４Ｂにおける互いにずれた位置に撮像対象ＪＡ及びＪＢを位置させた上で、撮像対象ＪＡ及びＪＢの互いに一致する箇所に合わせて焦点や露出をそれぞれ最適化でき、格段に鮮明な立体画像を撮像することができる。

＜３．他の実施の形態＞
なお上述した実施の形態においては、検波領域内に含まれる画素の画素値から検出値を生成して画像調整処理として撮像光を光学的に変化させるように、すなわち画像の焦点位置や露出等の調整処理を行うようにした場合について述べた。しかしながら本発明はこれに限らず、これらのいずれかの調整処理を行うようにしても良く、或いは検波領域内の画素の画素値から得られる検出値を基に、撮像後の画像信号により表される画像において画質を撮像対象に合わせる調整処理、例えばコントラスト、ガンマ特性や色調等の調整処理を行うようにしても良い。

また上述した実施の形態においては、撮像ユニット３Ａ及び３Ｂにより撮像された画像信号Ｖ３Ａ及びＶ３Ｂに対し切出領域及び検波領域を設定するようにした場合について述べた。しかしながら本発明はこれに限らず、他の撮像装置により撮像された画像信号を取得し、この画像信号に対し切出領域及び検波領域を設定するようにしても良い。この場合、ホワイトバランスやコントラスト等、撮像素子により画像信号が生成された後の段階でこの画像信号に施す種々の画像調整処理を適用することができる。

さらに上述した実施の形態においては、設定した切出領域の座標から演算により検波領域の座標を定めるようにした場合について述べた。しかしながら本発明はこれに限らず、例えば切出領域内を格子状に複数の領域に分割しておき、設定した切出領域に応じて１又は２以上の領域を検波領域に設定する等、種々の方法により検波領域を設定するようにしても良い。

さらに上述した実施の形態においては、設定した切出領域のほぼ中央に検波領域を設定するようにした場合について述べた。しかしながら本発明はこれに限らず、例えば撮像対象が所定の顔認識処理により認識された顔部分である場合に、検波領域をその目の位置に設定する等、撮像対象に対し任意の箇所に検波領域を設定するようにしても良い。

さらに上述した実施の形態においては、予め光軸補正テーブルを記憶しておき、設定されたズーム倍率に応じて光軸補正量を決定して切出領域ＴＡ１及びＴＢ１を設定するようにした場合について述べた。しかしながら本発明はこれに限らず、例えば所定の撮像対象特定部により、画像信号Ｖ３Ａ及びＶ３Ｂにより表される画像から互いに対応する撮像対象をそれぞれ特定し、この撮像対象の位置を基準とした領域をそれぞれ切出領域ＴＡ１及びＴＢ１として設定しても良い。また、例えば所定の手ぶれ補正処理部により、手ぶれ補正処理を行って切出領域ＴＡ１及びＴＢ１を設定するようにしても良い。このように切出領域ＴＡ１及びＴＢ１については、種々の手法により設定することができる。

さらに上述した実施の形態においては、撮像素子２４Ａ及び２４Ｂにおいて撮像した全領域を表す画像信号Ｖ３Ａ及びＶ３Ｂをそれぞれ生成し、切出領域信号ＳＴＡ２及びＳＴＢ２に従い切出拡縮部５５Ａ及び５５Ｂによりそれぞれの一部を切り出して画像信号Ｖ４Ａ及びＶ４Ｂを生成するようにした場合について述べた。しかしながら本発明はこれに限らず、例えば撮像素子２４Ａ及び２４Ｂへ切出領域信号ＳＴＡ２及びＳＴＢ２を供給することにより、撮像した画像の一部を切り出して切出領域ＴＡ２及びＴＢ２に相当する画像信号Ｖ３Ａ及びＶ３Ｂを生成するようにしても良い。

さらに上述した実施の形態においては、複眼撮像装置１及び７１として、コントロールユニット２と撮像ユニット３Ａ及び３Ｂとを一体に構成するようにした場合について述べた。しかしながら本発明はこれに限らず、例えば独立したコントロールユニット２が外部の２台の撮像ユニットから画像信号を取得すると共に、この撮像ユニットに対し各種制御信号を供給するようにしても良い。

さらに上述した実施の形態においては、２台の撮像ユニット３Ａ及び３Ｂを用いて２系統の画像信号Ｖ４Ａ及びＶ４Ｂを生成する場合について述べた。しかしながら本発明はこれに限らず、例えばホログラム画像を撮像する場合に、３台や８台等のように２以上の任意の台数の撮像ユニット３を用いて同一の撮像対象についての画像信号を同時並列的に生成する場合に適用しても良い。

さらに上述した実施の形態においては、システムコントローラ５において所定の撮像処理プログラムを実行することにより、図３に示した各機能を実現するようにした場合について述べた。しかしながら本発明はこれに限らず、各機能をハードウェアにより実現するようにしても良い。

さらに上述した実施の形態においては、ディジタルシグナルプロセッサにより構成されたディジタル信号処理部２７Ａ及び２７Ｂが予めプログラムされることにより図３に示した各機能を実現するようにした場合について述べた。しかしながら本発明はこれに限らず、各機能をハードウェアにより実現するようにしても良い。

さらに上述した実施の形態においては、複数画像調整制御プログラムを不揮発性メモリ１４に予め記憶させておき、これを読み出して実行することにより、切出領域及び検波領域を設定して画像信号を調整させる場合について述べた。しかしながら本発明はこれに限らず、例えばＵＳＢ（Universal Serial Bus）接続やＬＡＮ（Local Area Network）接続を介して外部のサーバ装置やホスト機器等から複数画像調整制御プログラムを取得して実行するようにしても良い。

さらに上述した第２の実施の形態においては、第１の領域設定部としての光軸補正制御部４１Ａ及び４１Ｂと、第２の領域設定部としての視差量制御部４２と、検波領域設定部としての検出領域制御部８４Ａ及び８４Ｂとによって画像処理装置としての複眼撮像装置７１を構成する場合について述べた。しかしながら本発明はこれに限らず、その他種々の構成でなる第１の領域設定部と、第２の領域設定部と、検波領域設定部とによって画像処理装置を構成するようにしても良い。

本発明は、複眼撮像を行う業務用又は家庭用等の各種ビデオカメラ、動画撮像機能を有するディジタルスチルカメラや携帯型電話機、コンピュータ装置等でも利用できる。

１、７１……複眼撮像装置、２……コントロールユニット、３Ａ、３Ｂ……撮像ユニット、５、７５……システムコントローラ、１１……ＣＰＵ、２０Ａ、２０Ｂ……光学調整部、２１Ａ、２１Ｂ……ズームレンズ、２２Ａ、２２Ｂ……絞り、２３Ａ、２３Ｂ……フォーカスレンズ、２４Ａ、２４Ｂ……撮像素子、２５Ａ、２５Ｂ……アナログ信号処理部、２７Ａ、２７Ｂ……ディジタル信号処理部、３１Ａ、３１Ｂ……レンズドライバ、３２Ａ、３２Ｂ……タイミングジェネレータ、４０、８０……切出拡縮制御部、４１Ａ、４１Ｂ……光軸補正制御部、４２……視差量制御部、４３……切出領域信号生成部、４４Ａ、４４Ｂ、８４Ａ、８４Ｂ……検出領域制御部、４５……レンズ制御部、４６……露出制御部、４７……ホワイトバランス制御部、５２Ａ、５２Ｂ……検出部、５２Ａ１、５２Ｂ１……鮮鋭度検出部、５２Ａ２、５２Ｂ２……輝度検出部、５２Ａ３、５２Ｂ３……色信号検出部、５３Ａ、５３Ｂ……ホワイトバランス調整部、５５Ａ、５５Ｂ……切出拡縮部、Ｖ３Ａ、Ｖ３Ｂ、Ｖ４Ａ、Ｖ４Ｂ……画像信号、ＪＡ、ＪＢ……撮像対象、ＴＡ１、ＴＡ２、ＴＢ１、ＴＢ２……切出領域、ＤＡ１、ＤＡ２、ＤＢ１、ＤＢ２……検波領域。

Claims (7)

1. それぞれ撮像対象を撮像した左画像及び右画像に当該撮像対象を中心とした基準領域をそれぞれ設定し、
   前記左画像及び前記右画像の少なくとも何れかにおいて前記基準領域を左右方向へ移動させた場合の、該左画像及び該右画像における該基準領域の位置に切出領域を設定し、
   前記切出領域から得られる画像の焦点位置、露出、コントラスト、ガンマ特性及び色調の少なくとも何れかの調整処理を行うための領域である検波領域を、前記左画像及び前記右画像に撮像されている前記撮像対象の位置に基づき、前記左画像及び前記右画像の少なくとも何れかの前記基準領域内に設定するよう制御する、制御部
   を備える画像処理装置。
2. 前記制御部は、
   前記左画像及び前記右画像それぞれについて前記検波領域を設定し、
   前記左画像及び前記右画像それぞれの前記検波領域から得られる両方の画像信号に基づき、前記左画像及び前記右画像それぞれの前記切出領域から得られる画像の焦点位置、露出、コントラスト、ガンマ特性及び色調の少なくとも何れかの調整処理を行い出力するよう制御する
   請求項１に記載の画像処理装置。
3. 左画像及び右画像を撮像するイメージセンサ及びズームレンズを有する撮像部と、
   前記撮像部を制御する制御部と
   を備え、
   前記制御部は、
   前記撮像部によりそれぞれ撮像対象を撮像した前記左画像及び前記右画像に当該撮像対象を中心とした基準領域をそれぞれ設定し、
   前記左画像及び前記右画像の少なくとも何れかにおいて前記基準領域を左右方向へ移動させた場合の、該左画像及び該右画像における該基準領域の位置に切出領域をそれぞれ設定し、
   前記切出領域から得られる画像の焦点位置、露出、コントラスト、ガンマ特性及び色調の少なくとも何れかの調整処理を行うための領域である検波領域を、前記左画像及び前記右画像に撮像されている前記撮像対象の位置に基づき、前記左画像及び前記右画像のうち少なくとも何れかの前記基準領域内に設定するよう制御する
   撮像装置。
4. 前記撮像部は、前記左画像を撮像するイメージセンサ及びズームレンズと、前記右画像を撮像するイメージセンサ及びズームレンズとをそれぞれ有し、
   前記制御部は、前記左画像及び前記右画像それぞれに対し、前記基準領域及び前記切出領域を設定する
   請求項３に記載の撮像装置。
5. それぞれ撮像対象を撮像した左画像及び右画像に当該撮像対象を中心とした基準領域をそれぞれ設定するステップと、
   前記左画像及び前記右画像の少なくとも何れかにおいて前記基準領域を左右方向へ移動させた場合の、該左画像及び該右画像における該基準領域の位置に切出領域を設定するステップと、
   前記切出領域から得られる画像の焦点位置、露出、コントラスト、ガンマ特性及び色調の少なくとも何れかの調整処理を行うための領域である検波領域を、前記左画像及び前記右画像に撮像されている前記撮像対象の位置に基づき、前記左画像及び前記右画像の少なくとも何れかの前記基準領域内に設定するステップと
   を備える画像処理方法。
6. 情報処理装置に対し、
   それぞれ撮像対象を撮像した左画像及び右画像に当該撮像対象を中心とした基準領域をそれぞれ設定するステップと、
   前記左画像及び前記右画像の少なくとも何れかにおいて前記基準領域を左右方向へ移動させた場合の、該左画像及び該右画像における該基準領域の位置に切出領域を設定するステップと、
   前記切出領域から得られる画像の焦点位置、露出、コントラスト、ガンマ特性及び色調の少なくとも何れかの調整処理を行うための領域である検波領域を、前記左画像及び前記右画像に撮像されている前記撮像対象の位置に基づき、前記左画像及び前記右画像の少なくとも何れかの前記基準領域内に設定するステップと
   を実行させるための画像処理プログラム。
7. それぞれ撮像対象を撮像した左画像及び右画像に当該撮像対象を中心とした基準領域をそれぞれ設定する基準領域設定部と、
   前記左画像及び前記右画像の少なくとも何れかにおいて前記基準領域を左右方向へ移動させた場合の、該左画像及び該右画像における該基準領域の位置に切出領域を設定する切出領域設定部と、
   前記切出領域から得られる画像の焦点位置、露出、コントラスト、ガンマ特性及び色調の少なくとも何れかの調整処理を行うための領域である検波領域を、前記左画像及び前記右画像に撮像されている前記撮像対象の位置に基づき、前記左画像及び前記右画像の少なくとも何れかの前記基準領域内に設定する検波領域設定部と
   を備える画像処理装置。

Images