WO2006077777A1 - 撮像装置および撮像方法、並びに撮像装置の設計方法 - Google Patents

Abstract

本発明は、複数の撮像素子を配置して、高解像度および高精細な単一焦点の撮像装置を低コストで実現できるようにする撮像装置および撮像方法、並びに撮像装置の設計方法に関する。撮像装置３１は、CCD６２－１乃至６２－３等の複数の撮像素子をアレイ状に並べた焦点一致の撮像装置である。即ち、撮像装置３１は、焦点一致の像を作る第１の結像系４１、第１の結像系の結像面またはその近傍に配置されるフィールドレンズ４３、および、自分自身に結像した映像を撮像する撮像素子CCD６２－K（この例では、Kは１乃至３のうちの何れかの値）と、結像面に結像した映像のうちの所定の一部をCCD６２-Kに再結像させるズームレンズ６１－Kとを含む複数の第２の結像系がアレイ状に配置されて形成される第２の結像系群から構成される光学系を有する。本発明は、複数の撮像素子を有するデジタルスチルカメラやデジタルビデオカメラに適用可能である。 　

Description

明 細 書

撮像装置および撮像方法、並びに撮像装置の設計方法

技術分野

[0001] 本発明は、撮像装置および撮像方法並びに撮像装置の設計方法に関し、特に、 複数の撮像素子が配置されて構成される撮像装置であって、高解像度および高精 細な単一焦点の撮像装置を低コストで実現できるようになった、撮像装置および撮像 方法並びに撮像装置の設計方法に関する。

背景技術

[0002] 近年、様々な高解像度画像の撮像手法が提案されて！、る。これらの撮像手法は、 C CD (Charge-Coupled Device)等の撮像素子そのものを高解像度にする手法と、複数 の撮像素子を用いて高解像度撮影を行う手法とに大別できる。

[0003] 従来、後者の手法、即ち、複数の撮像素子を用いて高解像度撮影を行う撮像手法 としては、例えば特許文献 1や非特許文献 1に開示された手法が知られて！/ヽる。

[0004] 特許文献 1に開示された手法は、 CCDの開口を利用していわゆる画素ずらしで撮 影を行う、といった手法である。即ち、その手法は至ってシンプルであり、プリズムで 光線を 4方向に分配し、その分配された光線を受光する CCDを半画素ずつずらすと いう手法である。

[0005] また、非特許文献 1に開示された手法は、財団法人機械システム振興協会の主催 するメガビジョンの方式に対応する手法であって、プリズムで画像を 3分割して、 3台の HDカムで映像を撮影する手法である。

特許文献 1：特開 2001-45508号公報

非特許文献 1 :「財団法人機械システム振興協会の主催するメガビジョンの説明」、 [0 nline],財団法人機械産業記念事業財団ホームページ、 [2005年 1月 17日検索]、ィ ンターネット,く URL： http://www.tepia.or.jp/14th/hds.html>

発明の開示

発明が解決しょうとする課題

[0006] しかしながら、特許文献 1に開示された手法は、次の第 1の問題点乃至第 4の問題 点を有している。

[0007] 第 1の問題点とは、 4枚の CCDを用いる際には高解像度を得るという効果を奏するこ とができるが、 16枚、 64枚と CCDを増やしていったとしても、 CCDの開口率を越えれ ば、それに見合った解像度が得られない、即ち、それに見合った効果を奏することが できない、という問題点である。

[0008] 第 2の問題点とは、特許文献 1に開示された撮像装置の構成要素であるプリズムは 非常に高価である、という問題点である。

[0009] 第 3の問題点とは、 4枚の CCDを採用するときには 1つのプリズムだけを採用すれば よいが、 16枚の CCDを採用するときには 5つのプリズムを、 64枚の CCDを採用するとき には 21のプリズムを、それぞれ採用しなければならない、即ち、 CCDの採用枚数を増 やす程非常に多くのプリズムが必要になる、という問題点である。

[0010] 第 4の問題点とは、撮像する画像の画素密度を部分的に変えることができない、と いう問題点である。

[0011] また、特許文献 1の手法を参照して、例えば図 1に示される手法、即ち、半画素でな く CCD1— 1乃至 1 4の撮像面のそのものをずらす手法も容易に思想できる。

[0012] し力しながら、この図 1に示される手法でも、上述した第 3の問題点と第 4の問題点と をそのまま有するとともに、さらに、次の第 5の問題点も有している。

[0013] 第 5の問題点とは、 4枚の CCD1— 1乃至 1—4を用いると 4倍の大きさのプリズム 2 が必要になるが、このようなプリズム 2は非常に高価である、という問題点である。

[0014] 以上の問題点をまとめると、特許文献 1に開示された手法、或いは、図 1に示される 手法のようなプリズムを用いる手法では、結局、 CCDの数を増やすと巨大で高精度な プリズムが多数必要になる。このため、巨大なプリズムを作成する工程は難しぐ単価 が非常に高くなりコストがはね上がる、という問題点が存在することになる。また、 CCD 面には同じ画角の光りが到達するので、 CCDの素子の密度を変更する以外では撮 像する画像の画素密度を部分的に変えることはできない、という問題点も存在するこ とになる。

[0015] そこで、（株） Hasselbladのデジタルバック 528Cや、（株）ニコンの電子顕微鏡デジタ ルカメラ DXM1200のように、プリズムの代わりに撮像素子の CCDを時間方向に半画 素シフトして撮影を行う手法も存在する。

[0016] し力しながら、この手法でも、上述した第 1の問題点と第 4の問題点とをそのまま有 するとともに、さらに、次の第 6の問題点も有している。

[0017] 第 6の問題点とは、 CCDに到達する光の明るさ（光線）は十分だが、時間方向に画 素をずらすので、撮像に時間が力かり動画撮像が難しい、という問題点である。

[0018] また、非特許文献 1に開示された手法は、上述した第 2の問題点乃至第 4の問題点 をそのまま有するとともに、さらに、次の第 8の問題点と第 9の問題点とを有している。

[0019] 第 8の問題点とは、カメラ本体の大きさにより、配置するカメラ (撮像素子)の数を増 やすことが難しい、という問題点である。

[0020] 第 9の問題点とは、プレンデイング (のりしろ)部分がな 、ために、境界で画像が歪み

、それを改善する他の手法が必要になる、という問題点である。

[0021] 以上の各種問題点をまとめると、従来の手法は何れも、複数の撮像素子を配置して

、高解像度および高精細な単一焦点の撮像装置を低コストで実現することは非常に 困難である、という問題点を有している。

[0022] 本発明は、このような状況に鑑みてなされたものであり、複数の撮像素子が配置さ れて構成される撮像装置であって、高解像度および高精細な単一焦点の撮像装置 を低コストで実現できるようにするものである。

課題を解決するための手段

[0023] 本発明の撮像装置は、複数の撮像素子をアレイ状に並べた焦点一致の撮像装置 であって、焦点一致の像を作る第 1の結像系と、第 1の結像系による映像を結像する 結像面と、結像面に結像した映像の所定の一部分が再結像された結果得られる映 像を撮像する撮像素子を 1つ含む第 2の結像系が複数存在し、複数の第 2の結像系 がアレイ状に配置されて形成される第 2の結像系群とから構成される光学系を備える ことを特徴とする。

[0024] 第 1の結像系と第 2の結像系群とを繋ぐ結像面またはその近傍に、フィールドレンズ が配置されて 、るようにすることができる。

[0025] 第 1の結像系と第 2の結像系群とを繋ぐ結像面またはその近傍に、ディフユーザー が配置されて 、るようにすることができる。 [0026] 第 2の結像系群を構成する複数の第 2の結像系のそれぞれは、それらに含まれる 撮像素子により撮像された第 1の画像の一部と、他の第 2の結像系に含まれる撮像 素子により撮像された第 2の画像の一部とを、第 1の画像と第 2の画像とを繋ぎあわせ るためのプレンデイング領域として保持できるように、それぞれ配置されて!ヽるように することができる。

[0027] 第 2の結像系群を構成する複数の前記第 2の結像系のそれぞれは、さらに、結像 面に結像した映像のうちの所定の一部を撮像素子に再結像させるレンズを含むよう に構成され、結像面とレンズとの間の距離が Fとされ、結像面から出射される光線のう ちの、プレンディング領域に対応する光線の幅が φとされ、撮像素子と、それに隣接 する撮像素子との間の距離が Dとされた場合、 2 X F Xt_an ( <i) /2) > Dで表される 式を満たすように、それぞれ配置されて ヽるようにすることができる。

[0028] 第 2の結像系群を構成する複数の第 2の結像系のそれぞれについて他とは独立し て、撮像素子の位置と、レンズのズームのそれぞれとを個別に変化させる機構をさら に設けるようにすることができる。

[0029] その機構は、ズームを可変させるために複数のレンズのそれぞれを他とは独立して 駆動する第 1のァクチユエータと、配置位置を可変させるために複数の撮像装置のそ れぞれを他とは独立して駆動する第 2のァクチユエ一タとを含むようにすることができ る。

[0030] 撮像装置は、その機構を利用することで、第 2の結像系群を構成する複数の第 2の 結像系のうちの 1以上のそれぞれに含まれる 1以上の撮像素子のそれぞれに、他の 撮像素子と比較して高解像度な撮影を行わせ、その撮影が行われる場合に高解像 度の撮影の範囲を決定するための演算を行う演算部をさらに設けるようにすることが できる。

[0031] 高解像度の撮影の範囲を指定する操作をユーザが行うインタフェース部をさらに設 け、演算部は、インタフェース部によるユーザの操作内容に基づいて、高解像度の撮 影の範囲を演算するようにすることができる。

[0032] 複数の前記撮像素子のそれぞれに結像した映像の位相をそれぞれ補正するため の位相補正情報を保持する位相補正情報保持部をさらに設けるようにすることができ る。

[0033] 結像面に結像した所定のテストパターンの映像のうちの、複数の撮像素子のうちの 少なくとも 1つに再結像した映像を利用して、位相補正情報を予め求め、その位相補 正情報を位相補正情報保持部に保持させる位相補正情報演算部をさらに設けるよう にすることができる。

[0034] 結像面に結像した被写体の映像のうちの、複数の撮像素子のそれぞれに再結像し た映像のそれぞれの位相を、位相補正情報保持部に保持された位相補正情報を利 用して補正する位相補正部をさらに設けるようにすることができる。

[0035] 複数の撮像素子のそれぞれに結像した映像の輝度をそれぞれ補正するための輝 度補正情報を保持する輝度補正情報保持部をさらに設けるようにすることができる。

[0036] 結像面に結像した所定のテストパターンの映像のうちの、複数の撮像素子のうちの 少なくとも 1つに再結像した映像を利用して、輝度補正情報を予め求め、その輝度補 正情報を輝度補正情報保持部に保持させる輝度補正情報演算部をさらに設けるよう にすることができる。

[0037] 結像面に結像した被写体の映像のうちの、複数の撮像素子のそれぞれに再結像し た映像のそれぞれの輝度を、輝度補正情報保持部に保持された輝度補正情報を利 用して補正する輝度補正部をさらに設けるようにすることができる。

[0038] 本発明の撮像装置においては、第 1の結像系により焦点一致の像が結像面に作ら れ、その結像面に結像した映像の所定の一部力 アレイ状に配置されていいる複数 の第 2の結像系のそれぞれにより自身が含む撮像素子に再結像され、複数の撮像素 子のそれぞれにより自身に再結像された映像がそれぞれ撮像される。

[0039] 本発明の第 1の撮像方法は、第 1の結像系、および、撮像素子を含む複数の第 2の 結像系を少なくとも含む撮像装置の撮像方法であって、第 1の結像系により、所定の 結像面に、焦点一致の像を結像させ、複数の第 2の結像系のそれぞれにより、その 結像面に結像した映像のうちの所定の一部を、自身が含む前記撮像素子に再結像 させ、複数の撮像素子のそれぞれが、自身に再結像された映像を撮像することを特 徴とする。

[0040] 本発明の第 1の撮像方法においては、第 1の結像系において、所定の結像面に、 焦点一致の像を結像され、複数の第 2の結像系のそれぞれにおいて、その結像面に 結像した映像のうちの所定の一部を、自身が含む前記撮像素子に再結像され、複数 の撮像素子のそれぞれにより、自身に再結像された映像が撮像される。

[0041] また、本発明の撮像装置の設計方法は、第 1の結像系、および、撮像素子を含む 複数の第 2の結像系を少なくとも含む撮像装置の設計方法であって、第 1の結像系 により、所定の結像面に、焦点一致の像を結像させ、複数の第 2の結像系のそれぞ れにより、その結像面に結像した映像のうちの所定の一部を、自身が含む撮像素子 に再結像させることを特徴とする。

[0042] 本発明の撮像装置の設計方法においては、第 1の結像系において、所定の結像 面に、焦点一致の像を結像され、複数の第 2の結像系のそれぞれにおいて、その結 像面に結像した映像のうちの所定の一部を、自身が含む前記撮像素子に再結像さ れるように、撮像装置が設計される。

[0043] 本発明の第 2の撮像方法は、焦点一致の像を作る第 1の結像系、第 1の結像系の 結像面、および、自分自身に結像された映像を撮像する撮像素子と、結像面に結像 した映像のうちの所定の一部を撮像素子に再結像させるレンズとを含む複数の第 2 の結像系がアレイ状に配置されて形成される第 2の結像系群カゝら構成される光学系 を備える撮像装置の撮像方法であって、第 2の結像系群を構成する複数の第 2の結 像系のそれぞれが、それらに含まれる撮像素子により撮像された第 1の画像の一部と 、他の第 2の結像系に含まれる撮像素子により撮像された第 2の画像の一部とを、第 1の画像と第 2の画像とを繋ぎあわせるためのプレンデイング領域として保持するため に、結像面とレンズとの間の距離が Fとされ、結像面から出射される光線のうちの、ブ レンデイング領域に対応する光線の幅が φとされ、撮像素子と、それに隣接する撮像 素子との間の距離が Dとされた場合、 2 X F Xtan ( (i) /2) > Dで表される式を満た すように、それぞれ配置された後、撮像装置は、被写体を撮像することを特徴とする。

[0044] 本発明の第 2の撮像方法においては、第 2の結像系群を構成する複数の第 2の結 像系のそれぞれが、それらに含まれる撮像素子により撮像された第 1の画像の一部と 、他の第 2の結像系に含まれる撮像素子により撮像された第 2の画像の一部とを、第 1の画像と第 2の画像とを繋ぎあわせるためのプレンデイング領域として保持するよう に、それぞれ配置される。詳細には、結像面とレンズとの間の距離力^とされ、結像面 力 出射される光線のうちの、プレンデイング領域に対応する光線の幅が φとされ、 撮像素子と、それに隣接する撮像素子との間の距離が Dとされた場合、 2 X F Xtan ( /2) > Dで表される式を満たすように、複数の第 2の結像系のそれぞれが配置さ れる。その後、撮像装置により、被写体が撮像される。

発明の効果

[0045] 以上のごとぐ本発明によれば、複数の撮像素子を配置した撮像装置を実現できる 。特に、高解像度および高精細な単一焦点の撮像装置を低コストで実現できる。或 いは、解像度および高精細な単一焦点の撮像装置を低コストで実現するために必要 な撮像方法を提供できる。

図面の簡単な説明

[0046] [図 1]従来の光学系を説明する図である。

[図 2]本発明が適用される撮像装置の構成例を示す図である。

[図 3]従来の手法に基づいて思想された光学系を説明する図である。

[図 4]本発明が適用される撮像装置のうちの、図 2とは異なる第 2の光学系の構成例 を示す図である。

[図 5]図 2の第 2の光学系の配置位置の例を説明する図である。

[図 6]被写体の一部が高解像度に撮影される様子の例を示す図である。

[図 7]図 6の例の撮影時における図 2の第 2の光学系群の動作例を説明する図である

[図 8]輝度補正情報の例を示す図である。

[図 9]輝度補正係数計算処理の例を説明するフローチャートである。

[図 10]輝度補正処理の例を説明するフローチャートである。

[図 11](R, G, B)の 7つの色パターンと、それらに対応付けられた CODEの例を説明す る図である。

[図 12]—次差分符号の例を説明する図である。

[図 13]位相補正のテストパターンの例を示す図である。

[図 14]位相補正情報計算処理の例を説明するフローチャートである。 [図 15]図 14のステップ S31の処理で撮像されたテストパターンの画像うちの、図 2の 1 つの CCDにより撮像されたカメラ画像の例を示す図である。

[図 16]図 14のステップ S32のカメラ画角の絶対座標の計算処理の例を説明するフロ 一チャートである。

[図 17]位相補正処理の例を説明するフローチャートである。

[図 18]図 17のステップ S 75の一部の処理であるプレンディング処理の一例の概略を 説明する図である。

[図 19]位相検出処理の例を説明するフローチャートである。

[図 20]図 2の撮像装置の信号処理部の他の構成例を示すブロック図である。

符号の説明

[0047] 31 撮像装置， 41 第 1の結像系， 42 第 2の結像系， 43 フィールドレンズ，

44 信号処理部， 45 高解像度撮影の範囲指定用インタフェース， 51 対物レ ンズ， 61— 1乃至 61— 3 ズームレンズ， 62— 1乃至 62— 3 CCD, 71— 1乃至 71 - 3 メモリ， 72 位相補正回路， 73 位相補正情報メモリ， 74 輝度検出/ 補正回路， 75 輝度補正情報メモリ， 76 高解像度の範囲演算回路， 77 ズー ムァクチユエータ， 78 位置制御ァクチユエータ， 201 CPU, 202 ROM, 20 3 RAM, 208 記憶部， 211 リムーバブル記録媒体

発明を実施するための最良の形態

[0048] 次に、本発明が適用される手法について説明する。

[0049] 本発明が適用される手法とは、主に、次の第 1の手法乃至第 3の手法を言う。

[0050] 第 1の手法とは、 2回結像させる手法、換言すると、第 1の結像系（第 1の光学系とも 称する）と第 2の結像系（第 2の光学系とも称する）とを形成させる手法である。この第 1の手法により、単一焦点、かつ撮像素子 (例えば CCD等）間の物理的な干渉なくブ レンデイング領域 (後述する図 6のプレンデイング領域 103等)を保持した撮影が可能 になる。ただし、プレンデイング領域を保持するためには、撮像素子の配置に注意を 要する。

このことは、図 5を参照して後述する。

[0051] 第 2の手法とは、第 1の手法により形成される第 2の結像系の撮像素子の個数、位 置、およびズームのうちの少なくともひとつを変化させる、という手法である。この第 2 の手法により、部分的に高解像度の撮影が可能になる。さらに、この第 2の手法 (およ び第 1の手法)を適用した撮像装置の構成要素としてプリズムは不要になるので、撮 像素子 (CCD等)の数を増やしてもコストを抑えることが可能になる。

[0052] 第 3の手法とは、位相補正若しくは検出処理、輝度補正若しくは検出処理、並びに 、それらの処理に必要な位相補正情報若しくは輝度補正情報を自動で求める処理を 実現するための手法である。自動とは、撮像装置を使用するユーザ等の操作 (トリガ 信号の入力操作を除く）を介在することなく、撮像装置自身の判断で処理を実行する ことをいう。なお、第 3の手法により実現される各種処理については、図 10以降のフロ 一チャートを参照して参照する。

[0053] 第 1の手法乃至第 3の手法を適用した撮像系を、従来のプリズムを用いた単一結像 の撮像系で実現することは実質上不可能である。このため、本発明人は、第 1の手法 乃至第 3の手法を適用した撮像系を有する撮像装置を発明した。かかる撮像装置は 、例えば図 2に示されるように構成される。即ち、図 2は、本発明が適用される撮像装 置の一実施の形態の構成を示して 、る。

[0054] 図 2の例では、撮像装置 31は、第 1の結像系（第 1の光学系) 41、第 2の結像系（第 2の光学系）群 42、フィールドレンズ 43、信号処理部 44、および、高解像度撮像範 囲指定用インタフェース 45を含むように構成されて！、る。

[0055] はじめに、第 1の結像系 41、第 2の結像系群 42、および、フィールドレンズ 43から なる光学系につ 、て説明する。

[0056] 上述したように、特許文献 1等の従来の光学装置 (撮像装置）は、一回のみ結像を 行い、その像をプリズムで分割している。このように、従来、プリズムで同じ光線を分 割する手法が主に適用されていた。これにより、上述した各種問題点が生じてしまうこ とになる。

[0057] また、このような問題点を解消する手法として、例えば図 3に示される手法、即ち、 例えば CCD83— 1乃至 83— 3等複数の CCDをアレイ状に配置して、物体 81の像を レンズ 82を介してアレイ状に配置された複数の CCDに結像させる、といった手法が 考えられる。し力しながら、 CCD83— 1乃至 83— 3等の物理的大きさを考えると、各 C CDの枠同士が干渉して、画像が撮像できない CCD間の部分 84— 1や部分 84— 2が 生じる、という新たな問題点が発生してしまう。

[0058] さらにまた、非特許文献 1に開示された従来の光学系は、第 1の結像系と第 2の結 像系自体は存在するが、第 2の結像系に分割する際にプリズムで分割するため、境 界部分を撮影することができず、大きく歪みをもってしまう、という問題点も発生してし まつ。

[0059] そこで、本発明人は、これらの様々な問題点を併せて解消すベぐ図 2に示されるよ うな再結像 (2回結像)を用いた光学系、即ち、第 1の結像系 41と、第 2の結像系群 4 2とを有し、それらの間をフィールドレンズ 43で結ぶ構造の光学系を発明した。

[0060] 第 1の結像系は、例えば対物レンズ 51を有し、 CCDの画角等に関する光学特性を 決める光学系であって、フィールドレンズ 43またはその近傍に物体面 32の像を 1回 結像させる。換言すると、フィールドレンズ 43は、第 1の結像系の焦点距離またはそ の手前近傍に配置される。第 2の結像系群 42は、 1つのズームレンズ 61— Kと 1つの CCD62— Kとを有する第 2の結像系が N個（Nは、 2以上の整数値)集まって構成され る。なお、 kは、 1乃至 Nの整数値である。ただし、図 2の例では、 1乃至 3のうちの何れ 力の値が kになる。また、ここで言う 1つのズームレンズ 61— Kとは、ズームレンズ 61— Kが 1つのレンズだけで構成されることを意味するのではなぐ 1以上のレンズから構 成されるズームレンズ 62— 1乃至 62— Nが第 2の光学系群 42内に存在する力 1つ の第 2の結像系に着目した場合、 1つの第 2の結像系には、ズームレンズ 62— 1乃至 62— Nのうちの所定の 1つが設けられるという意味である。

[0061] このような第 2の結像系群 42においては、他とは干渉なしに CCD62— Kを配置する ことが可能になり、フィールドレンズ 43またはその近傍に結像された物体面 32の像を CCD62— Kの面に再結像させることが可能になる。

[0062] なお、図 2の例では、フィールドレンズ 43が採用されている力 その代わりに、図示 せぬディフユーザーを採用してもよい。ただし、ディフューザ一は、出力光線の幅 (ビ ーム角）を広げる機能を有しており、この機能のため、像の解像度が落ちることに注 意を要する。

[0063] また、第 2の光学系における撮像素子は、図 2の例では CCD62— Kが採用されてい るが、当然ながら図 2の例に限定されず、任意の撮像素子でよい。

[0064] さらにまた、図 2の例では、フィールドレンズ 43より小さい第 2の光学系が採用され ているが、図 2の例に限定されず、例えば、図 4に示されるように、 CCD62— K (図 4に は、 CCD62—1のみが図示されている）の位置を偏心させることで、フィールドレンズ 43より大きな第 2の光学系を採用（配置)することも可能である。

[0065] このような第 2の光学系群 42を採用することで、自由度の高い撮影を行うことが可 能になる。即ち、 CCD62—1乃至 62—Nの個数 Nの増加が容易になるので、自由度 の高い撮影を行うことが可能になる。また、 CCD62— Kを有する第 2の光学系の位置 とズームを、他の第 2の光学系とは独立して容易に可変できるので、例えば部分的な 高解像度撮影を行うことが容易にできるようになり、その結果、自由度の高い撮影を 行うことが可能になる。

[0066] 詳細には、上述したように、従来のプリズムで分割する手法では、 CCDの数を多くし ようとすると、プリズムの数が非常に多くなる、という問題が発生してしまう。具体的に は。 4分割のプリズムを採用する場合において、 4枚の CCDを採用するときには 1個の プリズムだけを採用すればよいが、 16枚の CCDを採用するときには 5個のプリズムを 採用する必要が生じ、さらに、 64枚の CCDを採用するときには 21個ものプリズムを採 用する必要が生じる、という問題が発生してしまう。また、上述した図 1に示される手法 で採用されて 、る CCD1— 1乃至 1 4等の配置を考えると、プリズム 2の結像面自体 も大きくなり、このようなプリズム 2を加工するのは難しく非常に高価になる、という問題 も発生してしまう。

[0067] これに対して、本実施の形態の第 2の光学系群 42では、ズームレンズ 61— K等の レンズの大きさが許す範囲内であれば、 CCD62— Kを多数配置することが可能であ る。たとえレンズが大きくなつたとしても、大きなプリズムをカ卩ェする場合と比較すると、 安価でレンズを製造できるので、それに伴い、本実施の形態の第 2の光学系群 42を 含む光学系全体も安価で実現できる。

[0068] また、 CCD62— Kを追加する場合にも、焦点距離が変わらないように追カ卩して並べ れば新規に光路設計が不要である。

[0069] ただし、プレンディング領域 (後述する図 6のプレンディング領域 103等）を保持する ためには、 2つの CCD62— Kと CCD62— K+1とを図 5に示されるように配置させる必 要がある。即ち、図 5は、ブレンディング領域を保持するための、 2つの CCD62— Kと CCD62— K+1の配置方法を説明する図である。

[0070] 図 5の例では、フィールドレンズ 43の右方近傍の面 91が撮像面（結像面）とされ、そ のうちの領域 92がブレンデイング領域とされている。また、 Fは、撮像面 91と、ズーム レンズ 61— Kまたは 61— K+1との間の距離とされ、 Dは、 2つの CCD62— Kと CCD62 K+1との間隔とされ、 φは、結像面から出射される光線のうちの、プレンディング領 域 92に対応する光線の幅 (ビーム角）を示している。

[0071] この場合、ブレンディング領域 92を保持するためには、図 5に示されるように、ブレ ンデイング領域 92に対応する光線力 2つの CCD62— Kと CCD62— K+1との何れに も入射される必要がある。これを満たすためには、次の式（1)のような条件が必要に なる。

[0072] 2 X F Xtan ( /2) > D · · · (1)

[0073] 換言すると、式（1)を満たす間隔 Dで、 2つの CCD62— Kと CCD62— K+1とを配置 することで、ブレンディング領域 92に対応する光線が、 2つの CCD62— Kと CCD62 — K+1との何れにも入射され、その結果、ブレンディング領域 92が保持されるのであ る。

[0074] 以上説明したように、第 2の光学系群 42を採用することで、 CCD62— 1乃至 62— N の個数 Nの増加が容易になるので、即ち、プレンディング領域を保持するために、上 述した式（1)を満たす間隔 Dで 2つの CCD62— Kと CCD62— K+1とを配置する t\、う 条件を満たせば、自由な配置が容易に可能になるので、その結果、自由度の高い撮 影を行うことも容易に可能になる。

[0075] また、本実施の形態の第 2の光学系は、 1つの CCD62— Kを水平方向と垂直方向 とのうちの少なくとも一方向にシフトする機構 (以下、シフト機構と称する）と、ズームの 機構 (以下、ズーム機構と称する）とを有している。 1つの CCD62— Kのシフト機構は 、後述する位置制御ァクチユエータ 78により他とは独立して駆動される。また、 1つの CCD62— Kのズーム機構は、ズームァクチユエータ 77により他とは独立して駆動され る。 [0076] これにより、 CCD62— 1乃至 62— Nの配置の密度とそれぞれの撮像範囲を容易に 変化させることができ、例えば図 6に示されるような人 102のうちの顔（図中黒い丸の 部分)のみを高解像度にするといつた、部分的な高解像度の撮影が可能になる。即 ち、図 6の左側の図は、均一撮影により、人 102が撮影される様子を示している。均 一撮影とは、 CCD62— 1乃至 62— Nがアレイ状に間隔 Dだけ離間して均等に配置さ れ、かつ、 CCD62— 1乃至 62— Nのズーム率が一律であるという条件のもとで行われ る撮影を言う。これに対して、図 6の右側の図は、人 102の顔 (丸い部分)が高解像度 に撮影される様子、即ち、図 2の物体 32が人 102である場合に物体 32の一部分 (顔 )のみが高解像度に撮影される様子を示している。なお、図 6の両図において、 1つ の四角は、カメラ（CCD62— K)の画角 101を示している。従って、 1つの CCD62— K の画角 101と、その隣の 1つの CCD62— K+ 1の画角 101とが重なり合った領域 103 1S ブレンディング領域となる。

[0077] また、図 7は、図 6の撮影が行なわれるときの、第 2の結像系群 42の動作を説明す る図である。即ち、図 7の左側の図は、図 6の左側の図の均一撮影が行なわれるとき の第 2の結像系群 42の動作を説明する図である。これに対して、図 7の右側の図は、 図 6の右側の図の撮影、即ち、人 102の顔の部分のみが高解像度に撮影されるとき の第 2の結像系群 42の動作を説明する図である。

[0078] 図 7の例では、垂直方向に連続して並ぶ 4つの第 2の光学系、即ち、 CCD62— 1を 有する第 2の光学系（以下、 1番目の第 2の光学系と称する）、 CCD62— 2を有する第 2の光学系（以下、 2番目の第 2の光学系と称する）、 CCD62— 3を有する第 2の光学 系（以下、 3番目の第 2の光学系と称する）、および、 CCD62— 4を有する第 4の光学 系（以下、 4番目の第 2の光学系と称する）のみが図示されている。また、図 7の例で は、両図ともに、図 6の人 102の像 111がフィールドレンズ 43の同一位置に結像され ている。さらにまた、像 111のうちの領域 112と、像 111のうちの領域 113とのそれぞ れカ ブレンディング領域の 1つとなる。

[0079] 図 7の両図を比較するに、図 6の右側の図の撮影が行なわれるとき、即ち、人 102 の顔の部分のみが高解像度に撮影されるとき、 1番目の第 2の光学系は、そのズーム 機構により「WIDE (広角）」のズームが行なわれ、そのシフト機構により、図中下側方 向の位置へのシフト shiftlが行なわれる。また、 2番目の第 2の光学系は、そのズーム 機構により「WIDE」のズームが行なわれ、そのシフト機構により、図中下側方向の位 置へのシフト shift2が行なわれる。 3番目の第 2の光学系は、そのズーム機構により「T ELE (望遠）」のズームが行なわれ、そのシフト機構により、図中下側方向の位置への シフト shift3が行なわれる。 4番目の第 2の光学系は、そのズーム機構により「WIDE」 のズームが行なわれ、そのシフト機構により、図中上側方向の位置へのシフト shift4 が行なわれる。

[0080] このように、本実施の形態にぉ 、ては、第 2の光学系群 42を構成する各第 2の光学 系 42のそれぞれについての、位置のシフト操作と、「WIDE」若しくは「TELE」のズー ムの操作とのみを行うことで、 CCD62— Kを有する第 2の光学系の位置とズームと他 とは独立して容易に可変させることができる。その結果、部分的に高解像度な撮影を 行うことが容易に可能になり、自由度の高い撮影を行うことが可能になる。

[0081] なお、部分的に高解像度な撮像が行われる場合、画角が一定であるとすると、上述 した図 7に示されるように、一部の第 2の光学系が「TELE」のズームになると、他の第 2の光学系が「WIDE」のズームになるので、ズームが「TELE」である第 2の光学系によ り撮影された部分は高解像度となる力 その周辺部分、即ち、ズームが「WIDE」であ る他の第 2の光学系により撮影された部分の周辺解像度が若干劣化する。

[0082] ただし、一般的に、ユーザ (撮影者）にとつては、撮影範囲（フィールドレンズ 43また はその近傍に結像される範囲）の全てが重要なわけではなぐそのうちの一部分が本 当に見たいところであることが多い。この場合、その本当に見たいところが高解像度 であれば足り、他は低解像度でも構わな!/、と要望するユーザが多!、。

[0083] この要望に応えるためには、撮影範囲の中から、ユーザが本当に見たいところ、即 ち、高解像度で撮影する範囲 (以下、高解像度撮像範囲と称する)を選択する必要 力 Sある。高解像度撮像範囲を選択する手法は、特に限定されず、例えば、次の第 1 の選択手法や第 2の選択手法を採用することが可能である。

[0084] 第 1の選択手法とは、ユーザが、図 2の高解像度撮像範囲指定用インタフェース 45 を通じて画像内の所望の領域を指定し、高解像度撮像範囲演算回路 76が、その指 定された領域を高解像度撮像範囲として選択する、 、つた手法である。 [0085] 第 2の選択手法とは、高解像度撮像範囲演算回路 76が、画像内の周波数を計算 して、周波数が高い領域を重点的に高解像度にする（高解像度撮像範囲として選択 する）、といった手法である。

[0086] なお、このようにして CCD62— 1乃至 CCD62— Nのうちの、 1以上の CCDにより撮 像された高解像度撮像範囲の画像と、他の CCDにより低解像度で撮影された範囲の 画像とを組み合わせて 1枚の画像 (フレーム）を構成する場合には、高解像度撮像範 囲にあわせて他の範囲の画像を拡大等して、高解像度撮像範囲の画像とその他の 範囲の画像とをプレンディング領域にて張り合わす処理が必要になる。このような処 理を、以下、ブレンディング処理と称する。ブレンディング処理の詳細については、図 18等を参照して後述する。

[0087] 以上、図 2の例の撮像装置 31のうちの、第 1の結像系 41 (第 1の光学系 41)、第 2 の結像系群 42 (第 2の光学系群 42)、およびフィールドレンズ 43からなる光学系につ いて説明した。また、その説明の中で、高解像度撮像範囲指定用インタフェース 45 につ 、ても、上述した第 1の選択手法で利用されるインタフェースであると説明した。

[0088] そこで、以下、図 2の例の撮像装置 31のうちの、残りの信号処理部 44について説 明する。

[0089] 図 2の例では、信号処理部 44は、メモリ 71— 1乃至位置制御ァクチユエータ 78を 含むように構成されている。

[0090] なお、高解像度撮像範囲演算回路 76乃至位置制御ァクチユエータ 78については 、上述したので、ここではその説明は省略する。

[0091] メモリ 71— 1乃至 71— 3のそれぞれは、 CCD62— 1乃至 62— 3のそれぞれから出 力された画像信号を記憶する。即ち、図 2の例では、 3つの CCD62— 1乃至 62— 3 のみが図示されているため、 3つのメモリ 71— 1乃至 71— 3のみが図示されている。 従って、実際には、 N個の CCD62— 1乃至 62— Nのそれぞに対して、 N個のメモリ 71 1乃至 71 Nのそれぞれが設けられる。

[0092] ところで、本実施の形態では、図 2の例の撮像装置 31における第 1の結像系 41と 第 2の結像系群 42との歪みのパラメータは違うとされている。そこで、これらの歪みを 補正するために、図 2の例の撮像装置 31には、位相検出/補正回路 72乃至輝度補 正情報メモリ 75が設けられている。

[0093] そこで、以下、位相検出/補正回路 72乃至輝度補正情報メモリ 75がこれらの歪み を簡単に補正するための手法の一例として、テストパターンを用いた位相と輝度の自 動補正手法の一例について説明する。即ち、いくつかのパラメータでテストパターン（ テストパターンにつ 、ては後述する）を予め撮影し、位相補正情報や輝度補正情報 を自動抽出する抽出手法と、被写体の撮影時にそれらの位相補正情報や輝度補正 情報を利用して、リアルタイムに被写体の画像の位相や輝度の補正を行う補正手法 とのそれぞれにつ 、て説明する。

[0094] はじめに、輝度検出/補正回路 74についての輝度補正情報の抽出手法と、輝度の 補正手法 (輝度補正情報の使用法)とにつ!、て説明する。

[0095] 輝度検出/補正回路 74は、撮影時に、輝度補正情報メモリ 75に蓄えられた輝度補 正情報、具体的には例えば図 8に示される輝度補正情報に基づいて、リアルタイムで マッピングすることができる。

[0096] この場合、輝度補正情報が予め生成 (抽出）され、輝度補正情報メモリ 75に予め蓄 えられている必要がある。そこで、本実施の形態では、輝度検出/補正回路 74が、輝 度補正情報を予め抽出して、輝度補正情報メモリ 75に予め記憶するようにしている。 以下、このような輝度検出/補正回路 74により輝度補正情報が予め抽出される手法、 即ち、輝度補正情報の抽出手法について説明する。

[0097] 輝度補正情報の抽出手法とは、次のような一連の処理を実現するための手法であ る。

[0098] 即ち、輝度検出/補正回路 74は、まず、壁一面白色の映像を撮影して、その映像 の輝度値の曲面を補正パラメータとして抽出する。

[0099] 詳細には、壁一面白色の画像 (フレーム）は、その画像の何れの部分も輝度値が同 一となるところ、実際には、図 2のフィールドレンズ 43等の影響で、その画像のうちの 、中央部分の輝度値が最も高く（最も明るく）、周辺部分にいくに従って輝度値が低く なっていく（暗くなつていく）傾向にある。従って、その画像の輝度の分布は、曲面 S(x, y)の関数で表すことが可能である。この曲面 S(x,y)の一般式は、例えば次の式（2)に 示される通りになる。 [0100] S(x, y)=bl · (x - b2)"2 + b3 · (y — b4)"2 + b5 · x · y + b6

•••(2)

[0101] 式（2)にお!/、て、 bl乃至 b6は、各パラメータ (係数）を示して!/、る。 Xと yとは、 CCD6 2— 1乃至 62— Nがアレイ状に配置されている平面上において、水平方向を例えば X 方向として垂直方向を Y方向とした場合における XY座標系の座標（以下、このような X Y座標系を絶対座標系と適宜称し、その座標を絶対座標と適宜称する）を表している

[0102] 従って、 1つの CCD62— Kの位置力 絶対座標系では（u,v)と表されるとすると、こ の輝度補正の係数 bl乃至 b6は、 1つの CCD62— Kの位置（1つの第 2の光学系の位 置（u,v)およびズーム率 rによって一意に求まることになる。

[0103] そこで、輝度検出/補正回路 74は、例えば図 9のフローチャートに従って、輝度補 正の係数 bl乃至 b6を演算する。即ち、図 9は、輝度検出/補正回路 74が実行する輝 度補正の係数の演算の処理 (以下、輝度補正係数計算処理と称する）の一例を示し ている。

[0104] ステップ S1において、輝度検出/補正回路 74を含む撮像装置 31は、壁一面白色 の画像、即ち、一面白色のテストパターンの映像を撮影する。その際、所定の 1つの CCD62— Kの位置 (u,v)やズーム率 rは適当に設定される。

[0105] ステップ S2において、輝度検出/補正回路 74は、ステップ S1の撮影処理で利用さ れた CCD62— Kの位置（u,v)およびズーム率 r、並びに、 CCD62— Kの出力画像（壁 一面白色の画像のうちの一部分の領域画像)の輝度値を用いて、上述した式（2)の 輝度補正の各係数 (各パラメータ) bl乃至 b6を例えば最小自乗法で演算する。

[0106] そして、ステップ S3において、輝度検出/補正回路 74は、輝度補正情報メモリ 75に 、各係数（各パラメータ） bl乃至 b6を係数群 LUTとして、現在の CCD62— Kの位置（ u,v)およびズーム率 rの情報とともに格納する。

[0107] これにより、輝度補正係数演算処理は終了し、その結果、位置 u,v,ズーム率 rに対 する曲率のデータが得られることになる。

[0108] 以上の輝度補正係数計算処理が、位置 u,v,ズーム率 rの幾つかのパターン毎に実 行されると、上述した図 8に示されるような輝度補正情報が得られ、輝度補正情報メモ リ 75に格納される。

[0109] 次に、輝度の補正手法 (輝度補正情報の使用法）について説明する。

[0110] 図 10は、輝度の補正手法に対応する処理 (以下、輝度補正処理と称する）の一例 を説明するフローチャートである。そこで、以下、図 10を参照して、輝度補正処理に ついて説明する。

[0111] ステップ S11において、輝度検出/補正回路 74は、所定の 1つの CCD62— Kに着 目し、現在の位置とズーム率が近い輝度補正の係数 bl乃至 b6 (係数群 LUT)を、輝 度補正情報メモリ 75から 1以上読み出す。現在の位置とズーム率が近い輝度補正の 係数 bl乃至 b6とは、例えば、 CCD62— Kの現在の位置 (u,v)が（0.5,1)とされ、ズーム 率が 1.05とされた場合には、図 8の輝度補正情報のうちの一番上の行や次の行の係 数 bl乃至 b6のことを指す。即ち、いまの場合、 CCD62— Kの位置 (u,v)が（0,0)とされ てズーム率が 1.1とされた場合に図 9の輝度補正係数計算処理により演算された係数 bl乃至 b6や、 CCD62— Kの位置 (u,v)が（1,2)とされてズーム率力 1.2とされた場合に 図 9の輝度補正係数計算処理により演算された係数 bl乃至 b6が、現在の位置とズ ーム率が近い輝度補正の係数 bl乃至 b6 (係数群 LUT)として、ステップ S11の処理 で輝度補正情報メモリ 75から読み出される。

[0112] ステップ S12において、輝度検出/補正回路 74は、位置とズーム率が近い輝度補 正の係数 bl乃至 b6 (係数群 LUT)から、位置とズーム率の曲面 S(x,y)を比例計算で 求める。

即ち、輝度検出/補正回路 74は、位置とズーム率が近い輝度補正の係数 bl乃至 b6 の幾つかの組、即ち、位置とズーム率が近い係数群 LUTの幾つかの組を線形補間 することで、仮想の係数 bl乃至 b6を求め、その仮想の係数 bl乃至 b6を上述した式（ 2)に代入することで輝度補正曲面 S(x,y)を求める。

[0113] そして、ステップ S13において、輝度検出/補正回路 74は、ステップ S12の処理で 求めた仮想の輝度補正曲面 S(x,y)の最小値 MIN{S(x,y)}を計算する。

[0114] ステップ S14において、輝度検出/補正回路 74を含む撮像装置 31は、被写体の映 像を撮影する。これ〖こより、 1フレームを構成する各画素、即ち、各 CCD62- 1乃至 6 2— Nの各出力画像を構成する各画素のそれぞれの入力輝度値 (画素値) IN(x,y)が 輝度検出/補正回路 74に入力され、処理はステップ S 15に進む。

[0115] なお、以下、 1つの画素の入力輝度値 (画素値) IN(x,y)を、入力画素 IN(x,y)と称す る。これに伴い、輝度検出/補正回路 74から出力されるその画素の輝度値 (画素値）

OUT(x,y)を、出力画素 OUT(x,y)と称する。

[0116] また、以下、処理の対象として注目すべきフレーム、即ち、ここではステップ S 14の 処理で撮影されたフレームを、注目フレームと称する。

[0117] ステップ S15において、輝度検出/補正回路 74は、注目フレームを構成する各入 力画素 IN(x,y)のうちの所定の 1つを注目入力画素 IN(x,y)に設定し、注目入力画素 IN

(x,y)に応じて、注目出力画素 OUT(x,y)の計算を行う。即ち、輝度検出/補正回路 74 は、次の式（3)の右辺を演算することで、注目入力画素 IN(x,y)を補正し、その補正結 果である注目出力画素 OUT(x,y)を求める。

[0118] OUT(x,y) = IN(x, y) · MINS(x, y)/S(x, y)…（3)

[0119] ステップ S16において、輝度検出/補正回路 74は、注目フレームを構成する全画 素についての処理を終了した力否かを判定する。

[0120] ステップ S16において、注目フレームを構成する全画素についての処理がまだ終 了されていないと判定されると、処理はステップ S 15に戻され、それ以降の処理が繰 り返される。

[0121] 即ち、ステップ S15と S16とのループ処理が繰り返し実行されることで、注目フレー ムを構成する全画素の出力画素 OUT(x,y)が求められる。その結果、これらの各出力 画素 OUT(x,y)力もなる注目フレーム力 映像信号のうちの少なくとも一部として、輝 度検出/補正回路 74から出力されることになる。

[0122] そして、ステップ S16において、注目フレームを構成する全画素についての処理が 終了したと判定されて、処理はステップ S 17に進む。

[0123] ステップ S17において、輝度検出/補正回路 74は、全フレームの撮影が終了したか 否か (ユーザ力もの撮影終了の指示がなされた力否か)を判定する。

[0124] ステップ S17において、全フレームの撮影がまだ終了していない（ユーザからの撮 影終了の指示がなされていない）と判定されると、処理はステップ S14に戻され、それ 以降の処理が繰り返される。 [0125] 即ち、次のステップ S 14の処理で撮影された次のフレームが注目フレームとなり、ス テツプ S15と S16とのループ処理が繰り返し実行されて、注目フレーム（次のフレーム )を構成する全画素の出力画素 OUT(x,y)が求められる。その結果、これらの各出力 画素 OUT(x,y)力 なる注目フレーム（次のフレーム）が、映像信号のうちの少なくとも 一部として、輝度検出/補正回路 74から出力されることになる。

[0126] その後、ステップ S17において、全フレームの撮影が終了した (ユーザ力もの撮影 終了の指示がなされた)と判定されると、輝度補正処理は終了となる。

[0127] 以上、輝度検出/補正回路 74についての輝度補正情報の抽出手法と、輝度の補 正手法 (その使用法)とについて説明した。

[0128] 次に、位相検出/補正回路 72についての位相補正情報の抽出手法と、位相の補 正手法 (位相補正情報の使用法)とにつ!、て説明する。

[0129] 位相検出/補正回路 72は、撮影時に、位相補正情報メモリ 73に蓄えられた位相補 正情報に基づ 、て、リアルタイムでマッピングすることができる。

[0130] この場合、位相補正情報が予め生成 (抽出）され、位相補正情報メモリ 73に予め蓄 えられている必要がある。そこで、本実施の形態では、位相検出/補正回路 72が、位 相補正情報を予め抽出して、位相補正情報メモリ 73に予め記憶することができる。以 下、このような位相検出/補正回路 72により位相補正情報が予め抽出される手法、即 ち、位相補正情報の抽出手法について説明する。

[0131] 位相補正情報の抽出手法とは、次のような一連の処理を実現するための手法であ る。

[0132] 即ち、位相検出/補正回路 72は、まず、とあるテストパターンを撮影して、その撮影 後の画像のうちの 1つの画角の画像 (所定の 1つの CCD62— Kにより撮影された部分 の画像)から、その画角（CCD62— K)の絶対座標を補正パラメータとして抽出する。 テストパターンとは、例えば、複数のブロックからなる画像であって、複数のブロックの それぞれが、隣接する他のブロックとは独立した所定の一色で塗りつぶされた画像の ことを言う。なお、多くの場合、隣接するブロックはそれぞれ異なる色で塗りつぶされ ているが、場合によっては、同一色で塗りつぶされていることもある。

[0133] このテストパターンは、撮影されたときに、所定の画角（所定の 1つの CCD62— K) の座標とズーム率とがー意に分力るテストパターンであることが要求される。そして、 テストパターンは、 1つのカメラ (CCD62— K)の画角の中に全ブロックが収まらな!/、の で、左右や上下を参照する（見る）ことで、そのブロックを撮影した CCD62— Kの位置 が分力ることが望ましい。

[0134] そこで、以下、図 11乃至図 13を参照して、このようなテストパターン (画像データ）を 生成する手法の一例について説明する。

[0135] テストパターンの目的は、上述したように、撮像されたそのテストパターンのうちの 1 つの画角の画像 (所定の 1つの CCD62— Kにより撮影された部分の画像)から、その 画角（CCD62— K)の絶対座標を補正パラメータとして抽出することである。従って、 このテストパターンは、撮影されたときに、所定の画角（所定の 1つの CCD62— K)の 座標とズーム率とがー意に分力るテストパターンであることが要求される。

[0136] そこで、本実施の形態では、撮像装置 31または他の装置 (以下、単に装置と称す る）は、テストパターンを構成する各ブロックのうちの所定の 1つのブロック（以下、注 目ブロックと称する）の符号 Vと、その上下もしくは左右のブロックの符号 Vとの差分か ら、注目ブロックの絶対位置が分力るような符号ィ匕方式に従って、各ブロックを符号 化する。なお、この符号ィ匕方式の具体例については、図 12を参照して後述する。

[0137] この場合、 1つの符号 Vと 1つの色とを予め対応付けておけば、例えば、所定の表示 装置が、各ブロックの符号 Vのそれぞれに対応付けられた色で、各ブロックを表示す ることで、テストパターンを表示する（作成する）ことができる。

[0138] 具体的には例えば、テストパターンを構成する各ブロックに表示され得る色として、 図 11に示されるような 7つの（R,G,B)のパターン色と、「CODE」に記述された 7つの 値（0乃至 6)のそれぞれを予め対応付けておく。即ち、この「CODE」力 各ブロックの 符号 Vとなり得る値である。例えば、テストパターンを構成する各ブロックのうちの注目 ブロックが符号 Vが 0である場合には、その注目ブロックは、（R,G,B) =(0,0,1)のパター ン色、即ち、青で表示されることになる。

[0139] なお、色のパターン数は、図 11の例では 7パターンとされている力 図 11の例に限 定されず、任意のパターン数でよい。即ち、例えば、 RGBの階調を用いて、さらに複 数のパターン色を定義してもよい。ただし、 RGBの階調を用いると上述した輝度の歪 みに起因する誤差が大きくなるので、あまりに複数のパターン色を定義すると、テスト ノ ターンが図 2の撮像装置により撮像された場合、撮像後のテストパターンにおいて は、注目ブロックや隣接するブロックの色の判別ができなくなってしまうという問題点 が発生してしまう。そこで、この問題点を発生させないために、色のパターン数は、 RG Bのそれぞれの有無（1 or 0)の組み合わせだけで出来る 8パターン程度、即ち、図 1 1の例程度が好適である。ただし、図 11の例では、（R,G,B)=(0,0,0)のパターン色、即 ち、黒は除外され、その結果、 7パターンとされている。（R,G,B)=(0,0,0)のときには、そ れは画角外を示すのか、或いは (0,0,0)を示すのかが装置側で判断できないからであ る。

[0140] このように、図 11に示される 7パターン色が使用されるとき、即ち、符号 Vとして 0乃 至 6の 7値のうちの何れかの値のみが使用されるとき、装置は、例えば図 12に示され るような符号化方式を利用することで、各ブロックを符号ィ匕することができる。即ち、図 12は、注目ブロックの符号 Vと、その上下もしくは左右のブロックの符号 Vとの差分か ら、注目ブロックの絶対位置が分力るような符号ィ匕方式の一例を説明する図である。

[0141] 図 12の前提事項として、テストパターンの上下左右方向うちの右方向が X方向とさ れ下方向が Y方向とされた XY平面上において、そのテストパターンの左上端の座標 が（0,0)とされ、 X方向においては、そのテストパターンを構成する各ブロックの左右 方向の 1辺の長さが 1とされ、かつ、 Y方向においては、そのテストパターンを構成す る各ブロックの上下方向の 1辺の長さが 1とされる χγ座標系（以下、テストパターン座 標系と称する）が定義されているとする。この場合、このテストパターン座標系におい て、（U,V)は、そのテストパターンを構成する各ブロックのうちの、左から U番目であつ て上から V番目のブロックの左上端の座標を示すことになる。なお、以下、テストパタ ーン座標系において、所定のブロックの左上端の座標を、単に、所定のブロックの座 標と称する。

[0142] この前提事項のもとに考えると、図 12において、値 Xは、このテストパターン座標系 における注目ブロックの X座標または Υ座標を示している。また、差分符号 Y1は、注目 ブロックの符号 Vと、その上下左右に隣接するブロックのうちの所定の 1つの符号 Vと の差分の値を示している。また、差分符号 Y1の算出の際、差分の値が負値となった 場合、その負値に対して +7が加算された値が、差分符号 Y1となり、また、左右方向に お!、ては、右側のブロックの符号 V力も左側のブロックの符号 Vが減算されるとする。 また、上下方向においては、下側のブロックの符号 Vから上側のブロックの符号 Vが 減算されるとする。

[0143] 即ち、例えば、注目ブロックの座標が（3,1)である場合、注目ブロックの X座標は 3と なる。従って、図 12において、値 X=3の項目に着目すると、その右方の差分符号 Y1 は 3であり、その上方の差分符号 Y1は 2であることがわかる。このことは、注目ブロック の符号 Vとその左隣のブロックの符号 Vとの第 1の差分 (第 1の差分符号 Y1)と、その 右隣のブロックの符号 Vと注目ブロックの符号 Vとの第 2の差分 (第 2の差分符号 Y1)と の組が、 2と 3の組であることを表している。換言すると、 X座標が 3である注目ブロック は、第 1の差分符号 Y1と第 2の差分符号 Y1との組が 2と 3の組となるように符号ィ匕され なければならな!/、、 t\、うルールが図 12に規定されて!、る。

[0144] 同様に、注目ブロックの座標が（3,1)である場合、注目ブロックの Y座標は 1となる。

従って、図 12において、値 X=lの項目に着目すると、その下方の差分符号 Y1は 1で あり、その上方の差分符号 Y1は 0であることがわかる。このことは、注目ブロックの符 号 Vとその上隣のブロックの符号 Vとの第 3の差分 (第 3の差分符号 Y1)と、その下隣 のブロックの符号 Vと注目ブロックの符号 Vとの第 4の差分 (第 4の差分符号 Y1)との組 力 0と 1の組であることを表している。換言すると、 Y座標が 1である注目ブロックは、 第 3の差分符号 Y1と第 4の差分符号 Y1との組が 0と 1の組となるように符号ィ匕されなけ ればならな 、、 t\、うルールが図 12に規定されて!、る。

[0145] 即ち、座標が (3,1)である注目ブロックは、第 1の差分符号 Y1と第 2の差分符号 Y1と の組が 2と 3の組となり、かつ、第 3の差分符号 Y1と第 4の差分符号 Y1との組が 0と 1の 組となるように符号ィ匕されなければならな 、、 t 、うルールが図 12に規定されて 、る。

[0146] 図 12において、差分と和との項目は、差分符号 Y1の 2つの組み合わせが重複しな いように (複数生成されな 、ように）、図 12の規則を生成するために設けられた項目 であって、実際の符号ィ匕または復号の処理の際には関与しない項目である。即ち、 1 つ前に決定された差分符合 Y1 (図 12中 1つ上の差分符号 Y1)に基づいて次の差分 符号 Y1を決定するために、差分と和との項目が設けられているのである。 [0147] 具体的には、差分の項目には、 2つの差分符号 Y1同士の差 (差分)となり得る値が 記述されている。即ち、いまの場合、符号 Vが 0乃至 6の範囲の値を取るので、 2つの 差分符号 Y1同士の差 (差分)は、 1乃至 6の範囲の値を取る。なお、 2つの差分符号 Y 1の差分が 0とは両者が同一の値であることを意味するので、 0は当然ながら除外され る。また、 2つの差分符号 Y1の 1乃至 6のうちの所定の 1値について、 2つの差分符号 Y1の組は 7通り存在する。そこで、図 12の差分の項目には、上から順に、 7つの「1」 が記述され、次に 7つの「2」が記述され、その後、同様に「3」乃至「6」のそれぞれが 7 つずつ記述されて 、るのである。

[0148] 和の項目には、ひとつ上の和の値と、その左方の差分の値との和が記述される。具 体的には例えば、最初（図 12中左上）の差分符号 Y1は 0とされている。この場合、そ の左方の和（最初の和）には 0が記述される。従って、その最初の和の記述値 0と、そ の左方の差分の記述値 1との和である 1が、次の（2番目の）和の記述値となる。この 和の記述値 1が、その右方の符号 Y1の値として決定されることになる。即ち、和の記 述値を 7進法で表現した場合の最下位の桁の値 (例えば、和の記述値が 7の場合に は 0であり、 9の場合には 2である）力 その右方の差分符号 Y1となるのである。

[0149] このような差分符号 Y1の決定規則、即ち、差分と和の項目を使って差分符号 Y1を 決定するという上述した規則に従うと、結局、値 Xは、図 12に示されるように、 0乃至 4 3までの範囲の値を取ることができる。このことは、この差分符号 Y1を使用することで、 0乃至 43までの値 Xを符号ィ匕することができることを意味している。換言すると、テスト パターン座標系においては、 X座標と Y座標とともに、 0乃至 43までの値を取ることが できる、即ち、上下方向に 44ブロック分、かつ、左右方向に 44ブロック分の大きさ（以 下、このような大きさを 44 X 44と記述する）のテストパターンを作成することができるこ とを意味している。

[0150] そこで、装置は、この図 12に示される差分符号 Y1を用いた符号ィ匕方式に従った符 号化処理を行うことで、 44 X 44のテストパターンの画像データ、即ち、 44 X 44個の各 ブロックの符号 V力もなる画像データを作成することができる。

[0151] 具体的には例えば、図 13に示されるようなテストパターンの画像データが作成され る。即ち、図 13は、テストパターンの画像データの一例を示している。図 13において 、 1つの四角は 1つのブロックを表している。 1つのブロック内には、その上方に、テス トパターン座標系における座標（U, V)が u-vとして記述され、その下方に、その符号 Vが記述されている。

[0152] 例えば、座標が（3,1)である（図中 3-1と記述されて 、る）ブロックが注目ブロックとさ れた場合、この符号 Vは 3であることがわかる。即ち、その左隣の（図中 2-1と記述され て！、る）ブロックの符号 Vは 1とされて!/、ることから、注目ブロックの符号 Vとその左隣の ブロックの符号 Vとの差分、即ち、第 1の差分符号 Y1は、 2 ( = 3-1)であることがわかる 。また、その右隣の（図中 4-1と記述されている）ブロックの符号 Vは 6とされていること から、その右隣のブロックの符号 Vと注目ブロックの符号 Vとの差分、即ち、第 2の差 分符号 Y1は、 3 (=6-3)であることがわかる。同様に、その上隣の（図中 3-0と記述され て！、る）ブロックの符号 Vは 3とされて!/、ることから、注目ブロックの符号 Vとその上隣の ブロックの符号 Vとの差分、即ち、第 3の差分符号 Y1は、 0 (=3-3)であることがわかる。 また、下隣の（図中 3-2と記述されて 、る）ブロックの符号 Vは 4とされて 、ることから、 その下隣のブロックの符号 Vと注目ブロックの符号 Vとの差分、即ち、第 4の差分符号 Y1は、 1 (=4-3)であることがわかる。このように、座標が（3,1)である注目ブロックは、 第 1の差分符号 Y1と第 2の差分符号 Y1との組が 2と 3の組となり、かつ、第 3の差分符 号 Y1と第 4の差分符号 Y1との組が 0と 1の組となるように符号ィ匕されなければならない 、という図 12のルール (符号ィ匕方式）に従って符号化され、その結果、符合 Vとして 3 が得られて 、ることがわ力る。

[0153] なお、座標が (3,3)のブロックが注目ブロックとされた場合、その右隣の（図中 4-3と記 述されて!/ヽる）ブロックの符号 Vと注目ブロックの符号 Vとの差分自体は、 -4 (=2-6)と いった負値になる。このように、差分が負値となった場合には、上述したように、 +7が 加算された値、即ち、 3(=- 4+7)が第 2の差分符号 Y1となる。

[0154] そして、装置は、各ブロックのそれぞれを、その符合 Vに対応付けられたパターン色

(図 11参照）で塗りつぶすことで、テストパターンを作成する。具体的には例えば、図 13の例では、座標 (0,0)のブロックは、符合 V=0に対応付けられた (R,G,B)=(0,0,1)のパ ターン色、即ち、青で塗りつぶされ、座標 (2,0)のブロックは、符合 V=lに対応付けられ た (R,G,B)=(0,1,0)のパターン色、即ち、緑で塗りつぶされ、といった処理が 44 X 44個 のブロック毎に繰り返し実行され、その結果、 44 X 44のテストパターンが作成されるの である。

なお、ここで言う塗りつぶすとは、実際に、対応するパターン色を紙媒体等に印刷す ることも含むし、対応するパターン色を表示装置に表示させることも含む。即ち、テス トパターンは、紙媒体等に印刷された結果得られる画像であってもよいし、表示装置 に表示された画像であってもよ 、。

[0155] なお、上述した例では、 RGBを 01の 2値に 2値化している力 符号化の方式は上 述した例に限定されない。例えば、階調方向に 3値化や 4値ィ匕することで、さらに細 カ^、テストパターンを作ることもできる。

[0156] 本実施の形態では、以上説明したようなテストパターン、即ち、図 12の差分符号 Y1 を利用する符号化方式により各ブロックが符号化され、その結果得られる符合 Vに対 応付けられたパターン色で塗りつぶされた各ブロック力 構成されるテストパターンに より位相補正情報が抽出 (計算)される。このような位相補正情報が抽出 (計算)され る抽出手法に対応する処理 (以下、位相補正情報計算処理と称する）の例が図 14の フローチャートとして示されている。そこで、以下、図 14のフローチャートを参照して、 位相補正情報計算処理につ!、て説明する。

[0157] ステップ S31において、図 2の位相検出/補正回路 72を含む撮像装置 31は、テスト パターンの映像を撮影する。

[0158] なお、以下、上述した図 13の画像データに対応するテストパターン力 ステップ S3 1の処理で撮影されたとする。その際、 1つの CCD62-Kは、このテストパターンのうち の、中央に 1つのブロック全体を含み、かつ、その上下左右に隣接するブロックの少 なくとも一部を含むような画像を撮影するとする。具体的には例えば、図 15に示され る画像データ力 CCD62— K〖こより撮影されたとする。即ち、図 15は、テストパターン のうちの、 1つの CCD62— Kにより撮影された部分画像の画像データを示している。 なお、実際には、 CCD62— Kからは、各画素それぞれについての R,G,Bそれぞれの 輝度レベル (R,G,B)力もなる画像データが出力されることになる。ただし、図面では力 ラーによる図示ができないので、図 15においては、対応する符合 V (図 11参照）が各 ブロックのそれぞれに付されて 、る。 [0159] ステップ S32において、位相検出/補正回路 72は、テストパターンのうちの、 1つの CCD62— Kにより撮影された画像 (以下、カメラ画像と称する）から、その CCD62-K の絶対座標（以下、カメラ画角の絶対座標と称する）を計算する。以下、このようなス テツプ S32の処理を、カメラ画角の絶対座標の計算処理と称する。

[0160] このような、ステップ S32のカメラ画角の絶対座標の計算処理の詳細例が図 16のフ ローチャートとして示されている。そこで、以下、図 16のフローチャートを参照して、力 メラ画角の絶対座標の計算処理の詳細例について説明する。

[0161] ステップ S51において、位相検出/補正回路 72は、カメラ画像 (画像データ）を取得 する。ここでは、上述したように、図 15のカメラ画像 (画像データ）が取得されることに なる。

[0162] ただし、実際には、上述したように、 CCD62— K力 は、各画素それぞれについて の R,G,Bそれぞれの輝度レベル（R,G,B)からなる画像データが出力されることになる 。そこで、位相検出/補正回路 72は、このような画像データから、図 11の表を参照し て、図 15に示されるような各ブロックの符号 Vを求める処理を実行する。具体的には 例えば、位相検出/補正回路 72は、カメラ画像を構成する各画素のうちの所定の 1つ を注目画素として順次設定していき、注目画素について次のような処理を実行する。 即ち、位相検出/補正回路 72は、図 11の表の 7パターン色のうちの、注目画素につ V、ての R,G,Bそれぞれの輝度レベル（R,G,B)で表される色に最も近い 1つを、注目画 素の色であるとみなし、その注目画素の色に対応する [CODE]を符号 Vとして決定す る。このような画素毎の処理の結果として、図 15に示されるカメラ画像 (画像データ）、 即ち、符号 Vを画素値とする各画素からなるカメラ画像 (画像データ）が得られる。

[0163] ステップ S52において、位相検出/補正回路 72は、例えばカメラ画像の中心ブロッ クを注目ブロックとして、その注目ブロックの符号 Vと、上下左右それぞれのブロックの 符号 Vとの差分値をそれぞれ取得する。即ち、ステップ S52の処理で、上述した第 1 の差分符号 Y1乃至第 4の差分符号 Y1が演算される。

[0164] 具体的には例えば、いまの場合、ステップ S51の処理で図 15のカメラ画像が取得 されているので、注目ブロックの符号 Vは 2とされている。従って、その左隣のブロック の符号 Vは 6とされて!/、ることから、注目ブロックの符号 Vとその左隣のブロックの符号 Vとの差分、即ち、第 1の差分符号 Ylとして 3(=2-6+7)が演算される。また、その右隣 のブロックの符号 Vは 6とされて!/、ることから、その右隣のブロックの符号 Vと注目ブロ ックの符号 Vとの差分、即ち、第 2の差分符号 Y1として、 4 (=6-2)が演算される。同様 に、その上隣のブロックの符号 Vは 0とされていることから、注目ブロックの符号 Vとそ の上隣のブロックの符号 Vとの差分、即ち、第 3の差分符号 Y1として、 2 (=2-0)が演算 される。また、下隣のブロックの符号 Vは 5とされていることから、その下隣のブロックの 符号 Vと注目ブロックの符号 Vとの差分、即ち、第 4の差分符号 Y1として、 3 (=5-2)が 演算される。

[0165] ステップ S53において、位相検出/補正回路 72は、ステップ S52の処理で取得され た差分値に基づいて、テストパターン座標系における、注目ブロックとその上下左右 に隣接するブロックとのそれぞれの交点の絶標を計算する。

[0166] いまの場合、ステップ S52の処理で、第 1の差分符号 Y1として 3が取得され、かつ、 第 2の差分符号 Y1として 4が取得されている。従って、上述した図 12の規則によると、 第 1の差分符号 Y1と第 2の差分符号 Y1との組が 3と 4との組である場合には、その値 X 、即ち、中心ブロックの X座標は 4となる。同様に、ステップ S53の処理で、第 3の差分 符号 Y1として 2が取得され、かつ、第 4の差分符号 Y1として 3が取得されている。従つ て、図 12の規則によると、第 1の差分符号 Y1と第 2の差分符号 Y1との組が 2と 3との組 である場合には、その値 X、即ち、中心ブロックの Y座標は 3となる。即ち、注目ブロッ クの座標は (4,3)になる。注目ブロックの座標とは、上述したように、注目ブロックの左 上端の座標であり、図 15の例では交点 P0の座標である。

[0167] このようにして、交点 P0の座標として (4,3)が計算され、その交点 P0の座標に基づい て、交点 P1の座標として (4,4)力 交点 P2の座標として (5,4)力 交点 P3の座標として (5, 3)が、それぞれ計算される。

[0168] ステップ S54において、位相検出/補正回路 72は、ステップ S53の処理で演算され たテストパターン座標系における注目ブロックの交点の座標等に基づ 、て、カメラ画 角の絶対座標を計算する。

[0169] いまの場合、ステップ S53の処理で、注目ブロックの交点 P0,P1,P2,P3のそれぞれ の、テストパターン座標系における座標が計算されているので、位相検出/補正回路 72は、例えば、それらの座標を、絶対座標にそれぞれ変換する。そして、位相検出/ 補正回路 72は、注目ブロックの交点 P0,P1,P2,P3のそれぞれの絶対座標に基づいて 、点 Q0,点 Q1,点 Q2,点 Q3のそれぞれの絶対座標を、カメラ画角の絶対座標として 計算する。

[0170] これにより、図 16のカメラ画角の絶対座標の計算処理は終了し、処理は図 14のス テツプ S33に進む。

[0171] ステップ S33において、位相検出/補正回路 72は、撮影対象の歪みの計算を行う。

[0172] そして、ステップ S34において、 CCD62— Kの位置 u,v,ズーム率 rに対する画角の 情報 (ステップ S32の処理の結果得られたカメラ画角の絶対座標等)や歪みの情報（ ステップ S33の計算結果等)を位相補正情報として、位相補正情報メモリ 73に保存 する。

[0173] これにより、位相補正情報計算処理は終了となる。

[0174] 以上の位相補正情報計算処理が、位置 u,v,ズーム率 rの幾つかのパターン毎に実 行されると、パターン毎の位相補正情報が得られ、位相補正情報メモリ 73に格納さ れる。

[0175] 次に、位相の補正手法 (位相補正情報の使用法）について説明する。

[0176] 図 17は、位相の補正手法に対応する処理 (以下、位相補正処理と称する）の一例 を説明するフローチャートである。そこで、以下、図 17を参照して、位相補正処理に ついて説明する。

[0177] ステップ S71において、位相検出/補正回路 72は、 CCD62— 1乃至 62— Nのそれ ぞれにつ 、て、

、位相補正情報 (位相補正の画角の情 報と歪みの情報)を、位相補正情報メモリ 73から読み出す。

[0178] ステップ S72において、位相検出/補正回路 72は、 CCD62— 1乃至 62— Nのそれ ぞれにつ 、て、

、位相補正情報 (位相補正の画角の情 報と歪みの情報)から、現在の位置とズーム率との位相補正情報 (位相補正の画角 の情報と歪みの情報)を計算する

[0179] ステップ S73において、位相検出/補正回路 72は、ステップ S72の処理で計算され た画角情報と歪み情報とを統合して、絶対座標中のプレンデイング部分を求める。 [0180] ステップ S74において、位相検出/補正回路 72を含む撮像装置 31は、被写体の映 像を撮影する。ステップ S74の処理で撮影されたフレームが注目フレームに設定され ると、処理はステップ S75に進む。

[0181] ステップ S75において、位相検出/補正回路 72は、注目フレームを構成する各入 力画素のうちの所定の 1つを注目入力画素に設定し、注目入力画素について、画角 に応じて位相補正を行い、ブレンディング処理を施す。ブレンディング処理の一例に ついては、図 18を参照して後述する。

[0182] ステップ S76において、位相検出/補正回路 72は、注目フレームを構成する全画 素についての処理を終了した力否かを判定する。

[0183] ステップ S76において、注目フレームを構成する全画素についての処理がまだ終 了されていないと判定されると、処理はステップ S75に戻され、それ以降の処理が繰 り返される。

[0184] 即ち、ステップ S75と S76とのループ処理が繰り返し実行されることで、注目フレー ムを構成する全画素について、画角歪みに応じた位相補正が行われ、ブレンディン グ処理が施される。その結果、画角歪みに応じた位相補正が行われ、プレンディング 処理が施された注目フレームが、輝度検出/補正回路 74に提供される。

[0185] そして、ステップ S76において、注目フレームを構成する全画素についての処理が 終了されと判定されて、処理はステップ S 77に進む。

[0186] ステップ S77において、位相検出/補正回路 72は、全フレームの撮影が終了したか 否か (ユーザ力もの撮影終了の指示がなされた力否か)を判定する。

[0187] ステップ S77において、全フレームの撮影がまだ終了していない（ユーザからの撮 影終了の指示がなされていない）と判定されると、処理はステップ S74に戻され、それ 以降の処理が繰り返される。

[0188] 即ち、次のステップ S74の処理で撮影された次のフレームが注目フレームとなり、ス テツプ S75と S76とのループ処理が繰り返し実行されて、注目フレーム（次のフレーム )を構成する全画素について、画角歪みに応じた位相補正が行われ、プレンディング 処理が施される。その結果、画角歪みに応じた位相補正が行われ、プレンディング処 理が施された注目フレーム (次のフレーム）が、輝度検出/補正回路 74に提供される [0189] その後、ステップ S77において、全フレームの撮影が終了した (ユーザ力もの撮影 終了の指示がなされた)と判定されると、位相補正処理は終了となる。

[0190] 以上説明したように、位相検出/補正回路 72は、位相補正情報メモリ 75に保存して ある画角の情報、歪みの情報、および、その他パラメータを用いて、位相補正情報計 算処理を行う。そして、位相検出/補正回路 72は、その位相補正情報計算処理の結 果得られる画角情報と歪み情報とを統合して、絶対座標中のプレンデイング部分を 計算し、位相補正を行い、また、プレンディング処理を施す。

[0191] ここで、ステップ S75の処理で実行されるブレンデイング処理の一例の概略につい て、図 18を参照して説明する。

[0192] 図 18において、画像 151は、 1つの CCD62-Kにより撮影された画像であって、そ の画像 151に含まれる黒丸 (例えば上述した図 6の人間 102の顔の部分）が上述した 本当に見たいところであるとして、上述した部分的に高解像度な撮影が行われた結 果得られる画像である。即ち、画像 151は、ズームが「TELE」として撮像された画像 である。

[0193] これに対して、画像 152— 2は、 CCD62-Kの右隣（デジタルカメラ 3の正面から見て )の CCD62- K+1により撮影された画像であって、ズームが「WIDE」として撮像された 画像である。

[0194] また、図 17のステップ S73の処理で、領域 153— aと領域 153— bとがプレンディン グ領域であることが既に求められており、画像 151と画像 152— 1に対する位相補正 (ステップ S75の処理の一部）は既になされているとする。

[0195] この場合、位相検出/補正回路 72は、プレンディング領域 153— aとプレンディング 領域 153— bとが同一解像度（同一サイズ）となるように、画像 152— 1 (画像データ） に対して拡大処理を施す。これにより、図 18に示されるような画像 152— 2 (画像デー タ）力 S得られることになる。拡大処理の手法については、特に限定されない。例えば、 左右方向に A倍して上下方向に B倍する場合 (A, Bはそれぞれ独立した 1以上の正 数値）、元の 1つの画素に対応させて、 A X B個の画素からなるブロックを生成する手 法を採用することができる。この場合、そのブロックを構成する A X B個の各画素の画 素値の決定手法も特に限定されない。例えば、 A X B個の各画素の画素値の全てを 元の 1つの画素の画素値のままとする手法を採用してもよいし、近隣のブロック（元の 1つの画素の近隣の画素）との相関等に基づいて、 A X B個の各画素の画素値のそ れぞれを個別に決定する手法を採用してもよい。

[0196] 次に、位相検出/補正回路 72は、は画像 151 (画像データ）と画像 152— 2 (画像デ ータ）とを合成することで、合成画像 153を生成する。

[0197] なお、ブレンディング部分 153— aとブレンデイング部分 153— bとの合成手法は特 に限定されない。例えば、単に、プレンディング部分 153— aを構成する各画素の画 素値をそのまま、合成画像の対応する各画素の画素値として採用する手法を採用す ることもできる。また、プレンデイング部分 153— aを構成する各画素の画素値と、ブレ ンデイング部分 153— bを構成する各画素の画素値とを利用して、所定の演算（例え ば、平均を取る等）を行い、それらの演算結果を、合成画像の対応する各画素の画 素値のそれぞれとして決定する手法を採用することもできる。

[0198] さらに、これらの何れの手法を採用した場合にも、合成画像 153において、プレン デイング部分 153— aに対応する部分と、それ以外の部分との境目（エッジ部分）は 不自然な画像 (人間の目にとつて違和感のある画像）となってしまうことが多 、。そこ で、位相検出/補正回路 72は、このエッジ部分に対して、所定の画像処理を施しても よい。この画像処理も特に限定されず、例えば、このエッジ部分近辺の輝度値 (画素 値)を減衰させる処理を採用することができる。この場合、その減衰の方法も特に限 定されず、例えば、プレンディング部分 153— aに対応する部分からそれ以外の部分 に向かう方向に、リニアに減衰させてもよいし、エッジ部分を頂点とするサインカーブ に沿うように減衰させてもょ 、。

[0199] ところで、このようなブレンディング処理は、上述した図 17の例では、位相検出/補 正回路 72の処理、即ち、画像の撮影側であるデジタルカメラ 3の処理とされた力 上 述した例に限定されず、画像の再生側（図示せぬ表示装置等)の処理とされてもよい

[0200] プレンディング処理が再生側（図示せぬ表示装置等）により実行される場合、位相 検出/補正回路 72は、図 17の位相補正処理の代わりに、図 19に示されるような位相 検出処理を実行してもよい。 [0201] 図 19の位相検出処理のうちのステップ S91乃至 S93までの処理は、図 17のステツ プ S71乃至 S73までの処理と基本的に同様である。そこで、以下、ステップ S94以降 の処理について説明する。

[0202] ステップ S94において、位相検出/補正回路 72を含む撮像装置 31は、被写体の映 像を撮影する。

[0203] ステップ S95において、位相検出/補正回路 72は、ステップ S92の処理で計算され た位相情報、ステップ S93の処理で求められたブレンディング部分、および、 CCD62 1乃至 62— N毎の画像データを含む映像信号をフレーム単位で生成して、出力す る。

[0204] 即ち、注目フレームについての位相情報、ブレンディング部分、および、 CCD62— 1乃至 62 N毎の画像データが 1つにまとめられて、注目フレームについての映像信 号として、図 2の輝度検出/補正回路 74に供給されることになる。

[0205] この場合、輝度検出/補正回路 74は、例えば、上述した図 10の輝度補正処理のう ちのステップ S11乃至 S13までの処理を実行し、位相検出/補正回路 72から供給さ れた注目フレームにつ 、ての映像信号に対して、曲面の最小値 MIN{S(x,y)}を付カロし て、外部に出力する。即ち、この場合、信号処理部 44の出力信号は、注目フレーム についての位相情報、ブレンディング部分、 CCD62— 1乃至 62— N毎の画像データ 、および、曲面の最小値 MIN{S(x,y)}が 1つにまとめられた映像信号となる。

[0206] このような映像信号を取得した再生側の装置は、図 10のステップ S 15と図 17のステ ップ S75とに相当する処理を実行することで、注目フレームに対応する画像データを 生成 (構築）し、その画像データに対応する画像、即ち、注目フレームを表示すること が可能になる。

[0207] 次に、ステップ S96において、位相検出/補正回路 72は、全フレームの撮影が終了 した力否か (ユーザからの撮影終了の指示がなされた力否か)を判定する。

[0208] ステップ S96において、全フレームの撮影がまだ終了していない（ユーザからの撮 影終了の指示がなされていない）と判定されると、処理はステップ S94に戻され、それ 以降の処理が繰り返される。

[0209] 即ち、次のステップ S94の処理で撮影された次のフレームが注目フレームとなり、注 目フレーム（次のフレーム）についての位相情報、ブレンディング部分、および、 CCD 62— 1乃至 62— N毎の画像データが 1つにまとめられて、注目フレーム（次のフレー ム）についての映像信号として、図 2の輝度検出/補正回路 74に供給されることにな る。

される

[0210] その後、ステップ S96において、全フレームの撮影が終了した（ユーザからの撮影 終了の指示がなされた)と判定されると、位相検出処理は終了となる。

[0211] 以上、図 2の例の撮像装置 31について説明した。

[0212] 以上の内容をまとめると、撮像装置 31は、少なくとも次の第 1の特徴乃至第 13の特 徴を有することになる。

[0213] 第 1の特徴とは、撮像装置 31は、 CCD62— K等の撮像素子をアレイ状に並べた焦 点一致の高解像度及び高精細画像撮像装置である、と!ヽぅ特徴である。

[0214] 第 2の特徴とは、撮像装置 31は、焦点一致の像を作る第 1の結像系 41と、その第 1 の結像系 41の結像面と、その結像面に結像した映像を撮像する複数の撮像素子が アレイ状に配置された第 2の結像系群 42とからなる光学系を有する撮像装置である という特徴である。

[0215] 第 3の特徴とは、第 1の結像系 41と第 2の結像系群 42とを繋ぐ結像面またはその近 傍に、フィールドレンズ 43を配置することができる、という特徴である。

[0216] 第 4の特徴とは、第 1の結像系 41と第 2の結像系群 42とを繋ぐ結像面またはその近 傍に、フィールドレンズ 43の代わりに、図示せぬディフューザ一等を配置することが できる、という特徴である。

[0217] 第 5の特徴とは、第 2の結像系群 42を構成する複数の第 2の結像系のそれぞれは 、それに含まれる CCD62— Kにより撮像された第 1の画像の一部と、他の第 2の結像 系に含まれる他の CCDにより撮像された第 2の画像の一部とを、第 1の画像と第 2の 画像とを繋ぎあわせるためのプレンデイング領域として保持できるように、それぞれ配 置されている、という特徴である。

[0218] 第 6の特徴とは、撮像装置 31の光学系は、第 1の特徴の効果として生じる特徴であ つて、レンズのみで構成できる（プリズムを用いないでよい）、という特徴である。この 第 6の特徴により、 CCD等の撮像素子の数を増やしても、高解像度及び高精細な画 像を撮像できる撮像装置を、安価で実現可能になる。

[0219] 第 7の特徴とは、第 2の結像系群 42における複数の撮像素子の位置とズームとの それぞれとを個別に変化させる機構を有している、という特徴である。この第 7の特徴 により、部分的に高解像度な撮影が可能になる。

[0220] 第 8の特徴とは、これらの機構には、ズームァクチユエータと位置制御ァクチユエ一 タとが含まれている、という特徴である。

[0221] 第 9の特徴とは、撮像装置 31は、さらに、部分的に高解像度な撮影が行われる際 に、その高解像度の撮影の範囲を演算する回路、即ち、高解像度撮像範囲演算回 路 76や、ユーザが高解像度の撮影の範囲を指定するインタフェース、即ち、高解像 撮像の範囲の演算回路 76を有している、という特徴である。

[0222] 第 10の特徴とは、撮像装置 31は、さらに、 CCD62-K等の複数の撮像素子に結 像した映像の位相を補正する位相検出/補正回路 72と、その補正に利用される位相 補正情報を保持する位相補正情報メモリ 73とを有して 、る、 、う特徴である。

[0223] 第 11の特徴とは、位相検出/補正回路 72には、位相補正情報を求める (抽出する） ための手法として、上述した抽出手法が適用されており、その結果、例えば図 11の 位相補正情報計算処理が実行できる、という特徴である。また、その際、上述したテ ストパターンが利用できるという、という特徴も第 11の特徴に含まれる。

[0224] 第 12の特徴とは、撮像装置 31は、さらに、 CCD62-K等の複数の撮像素子に結 像した映像の輝度を補正する輝度検出/補正回路 74と、その補正に利用される輝度 補正情報を保持する輝度補正情報メモリ 75とを有して 、る、 、う特徴である。

[0225] 第 13の特徴とは、輝度検出/補正回路 72には、輝度補正情報を求める (抽出する） ための手法として、上述した抽出手法が適用されており、その結果、例えば図 9の輝 度補正情報計算処理が実行できる、という特徴である。また、その際、上述したテスト パターンが利用できるという、という特徴も第 13の特徴に含まれる。

[0226] 以上の第 1の特徴乃至第 13の特徴をまとめると、撮像装置 31とは、第 1の結像系 4 1と第 2の結像系群 42とを用いることで、プレンデイング領域をもつことが可能となった 高解像度及び高精細の単一焦点撮像装置であるといえる。この撮像装置 31は、安 価に撮像素子をスケーラブルに配置でき、且つ部分的に高解像度の撮影が可能に なる。また、この撮像装置 31は、撮像系位である第 2の結像系群 42の各第 2の結像 系のそれぞれについて、位相補正や輝度などの歪み補正もそれぞれ個別に自動で 行うことができる。

[0227] 換言すると、撮像装置 31は、次の第 1の効果乃至第 3の効果を少なくとも奏すること が可能になる。第 1の効果とは、プレンデイング部分を保持してシームレスに繋ぐこと ができる高解像度且つ高精細な映像を撮影できる、という効果である。第 2の効果と は、低コストで撮像素子を大量に配置でき、かつ部分的に高解像度な撮影ができる、 という効果である。第 3の効果とは、自動で輝度補正と位相補正の情報を求めること ができる、という効果である。

[0228] ところで、上述した一連の処理は、ハードウェアにより実行させることもできる力 ソ フトウエアにより実行させることができる。

[0229] この場合、図 2の撮像装置 31の信号処理部 44のうちの少なくとも一部は、例えば、 図 20に示されるコンピュータで構成することができる。

[0230] 図 20において、 CPU (Central Processing Unit) 201は、 ROM (Read Only Memory) 202に記録されているプログラム、または記憶部 208から RAM (Random Access Mem ory) 203にロードされたプログラムに従って各種の処理を実行する。 RAM203にはま た、 CPU201が各種の処理を実行する上において必要なデータなども適宜記憶され る。

[0231] CPU201, ROM202,および RAM203は、バス 204を介して相互に接続されている 。このバス 204にはまた、入出力インタフェース 205も接続されている。

[0232] 入出力インタフェース 205には、キーボード、マウスなどよりなる入力部 206、デイス プレイなどよりなる出力部 207、ハードディスクなどより構成される記憶部 208、および 、モデム、ターミナルアダプタなどより構成される通信部 209が接続されている。通信 部 209は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行 う通信を制御する。

[0233] 入出力インタフェース 205にはまた、必要に応じてドライブ 210が接続され、磁気デ イスク、光ディスク、光磁気ディスク、或いは半導体メモリなどよりなるリムーバブル記 録媒体 211が適宜装着され、それら力 読み出されたコンピュータプログラムが、必 要に応じて記憶部 208にインストールされる。

[0234] 一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成する プログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種の プログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎 用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。

[0235] このようなプログラムを含む記録媒体は、図 20に示されるように、装置本体とは別に 、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁 気ディスク（フロッピディスクを含む）、光ディスク（CD- ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD (Min卜 Disk)を 含む）、もしくは半導体メモリなどよりなるリムーバブル記録媒体 (パッケージメディア） 211により構成されるだけでなぐ装置本体に予め組み込まれた状態でユーザに提 供される、プログラムが記録されている ROM202や、記憶部 208に含まれるハードデ イスクなどで構成される。

[0236] なお、本明細書にぉ 、て、記録媒体に記録されるプログラムを記述するステップは 、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理 されなくとも、並列的あるいは個別に実行される処理をも含むものである。

[0237] また、本明細書において、システムとは、複数の装置や処理部により構成される装 置全体を表すものである。

[0238] さらにまた、上述した各種画像処理の単位は、上述した例ではフレームとされたが、 フィールドとしてもよい。即ち、このようなフレームやフィールドといった画像の単位を、 アクセスユニットと称すると、上述した画像処理の単位は、アクセスユニットとすること ができる。

Claims

請求の範囲

[1] 複数の撮像素子をアレイ状に並べた焦点一致の撮像装置であって、

焦点一致の像を作る第 1の結像系と、

前記第 1の結像系による映像を結像する結像面と、

前記結像面に結像した映像の所定の一部分が再結像された結果得られる映像を 撮像する前記撮像素子を 1つ含む第 2の結像系が複数存在し、複数の前記第 2の結 像系がアレイ状に配置されて形成される第 2の結像系群と

から構成される光学系を

備えることを特徴とする撮像装置。

[2] 前記第 1の結像系と前記第 2の結像系群とを繋ぐ前記結像面またはその近傍に、フ ィールドレンズが配置されて 、る

ことを特徴とする請求項 1に記載の撮像装置。

[3] 前記第 1の結像系と前記第 2の結像系群とを繋ぐ前記結像面またはその近傍に、 ディフューザ一が配置されて！、る

ことを特徴とする請求項 1に記載の撮像装置。

[4] 前記第 2の結像系群を構成する複数の前記第 2の結像系のそれぞれは、それらに 含まれる前記撮像素子により撮像された第 1の画像の一部と、他の第 2の結像系に 含まれる前記撮像素子により撮像された第 2の画像の一部とを、前記第 1の画像と前 記第 2の画像とを繋ぎあわせるためのプレンデイング領域として保持できるように、そ れぞれ配置されている

ことを特徴とする請求項 1に記載の撮像装置。

[5] 前記第 2の結像系群を構成する複数の前記第 2の結像系のそれぞれは、

さらに、前記結像面に結像した映像のうちの所定の一部を前記撮像素子に再結 像させるレンズを含むように構成され、

前記結像面と前記レンズとの間の距離が Fとされ、前記結像面から出射される光 線のうちの、前記プレンデイング領域に対応する光線の幅が φとされ、前記撮像素子 と、それに隣接する前記撮像素子との間の距離が Dとされた場合、

2 X F Xtan ( /2) > D で表される式を満たすように、それぞれ配置されて ヽる

ことを特徴とする請求項 4に記載の撮像装置。

[6] 前記第 2の結像系群を構成する複数の前記第 2の結像系のそれぞれについて他と は独立して、前記撮像素子の位置と、前記レンズのズームのそれぞれとを個別に変 化させる機構を

さらに備えることを特徴とする請求項 5に記載の撮像装置。

[7] 前記機構は、ズームを可変させるために複数の前記レンズのそれぞれを他とは独 立して駆動する第 1のァクチユエータと、配置位置を可変させるために複数の前記撮 像装置のそれぞれを他とは独立して駆動する第 2のァクチユエ一タとを含む

ことを特徴とする請求項 6に記載の撮像装置。

[8] 前記撮像装置は、

前記機構を利用することで、前記第 2の結像系群を構成する複数の前記第 2の結 像系のうちの 1以上のそれぞれに含まれる 1以上の前記撮像素子のそれぞれに、他 の撮像素子と比較して高解像度な撮影を行わせ、

その撮影が行われる場合に高解像度の撮影の範囲を決定するための演算を行う 演算部

をさらに備えることを特徴とする請求項 6に記載の撮像装置。

[9] 前記高解像度の撮影の範囲を指定する操作をユーザが行うインタフェース部をさら に備え、

前記演算部は、前記インタフェース部による前記ユーザの操作内容に基づいて、 前記高解像度の撮影の範囲を演算する

ことを特徴とする請求項 8に記載の撮像装置。

[10] 複数の前記撮像素子のそれぞれに結像した映像の位相をそれぞれ補正するため の位相補正情報を保持する位相補正情報保持部

をさらに備えることを特徴とする請求項 1に記載の撮像装置。

[11] 前記結像面に結像した所定のテストパターンの映像のうちの、複数の前記撮像素 子のうちの少なくとも 1つに再結像した映像を利用して、前記位相補正情報を予め求 め、その位相補正情報を前記位相補正情報保持部に保持させる位相補正情報演算 部をさらに備える

ことを特徴とする請求項 10に記載の撮像装置。

[12] 前記結像面に結像した被写体の映像のうちの、複数の前記撮像素子のそれぞれ に再結像した映像のそれぞれの位相を、前記位相補正情報保持部に保持された前 記位相補正情報を利用して補正する位相補正部をさらに備える

ことを特徴とする請求項 10に記載の撮像装置。

[13] 複数の前記撮像素子のそれぞれに結像した映像の輝度をそれぞれ補正するため の輝度補正情報を保持する輝度補正情報保持部

をさらに備えることを特徴とする請求項 1に記載の撮像装置。

[14] 前記結像面に結像した所定のテストパターンの映像のうちの、複数の前記撮像素 子のうちの少なくとも 1つに再結像した映像を利用して、前記輝度補正情報を予め求 め、その輝度補正情報を前記輝度補正情報保持部に保持させる輝度補正情報演算 部をさらに備える

ことを特徴とする請求項 13に記載の撮像装置。

[15] 前記結像面に結像した被写体の映像のうちの、複数の前記撮像素子のそれぞれ に再結像した映像のそれぞれの輝度を、前記輝度補正情報保持部に保持された前 記輝度補正情報を利用して補正する輝度補正部をさらに備える

ことを特徴とする請求項 13に記載の撮像装置。

[16] 第 1の結像系、および、撮像素子を含む複数の第 2の結像系を少なくとも含む撮像 装置の撮像方法であって、

前記第 1の結像系により、所定の結像面に、焦点一致の像を結像させ、 複数の前記第 2の結像系のそれぞれにより、その結像面に結像した映像のうちの所 定の一部を、自身が含む前記撮像素子に再結像させ、

複数の前記撮像素子のそれぞれが、自身に再結像された映像を撮像する ことを特徴とする撮像方法。

[17] 第 1の結像系、および、撮像素子を含む複数の第 2の結像系を少なくとも含む撮像 装置の設計方法であって、

前記第 1の結像系により、所定の結像面に、焦点一致の像を結像させ、 複数の前記第 2の結像系のそれぞれにより、その結像面に結像した映像のうちの所 定の一部を、自身が含む前記撮像素子に再結像させる

ことを特徴とする撮像装置の設計方法。

焦点一致の像を作る第 1の結像系、前記第 1の結像系の結像面、および、自分自 身に結像した映像を撮像する撮像素子と、前記結像面に結像した映像のうちの所定 の一部を前記撮像素子に再結像させるレンズとを含む複数の第 2の結像系がアレイ 状に配置されて形成される第 2の結像系群から構成される光学系を備える撮像装置 の撮像方法であって、

前記第 2の結像系群を構成する複数の前記第 2の結像系のそれぞれが、

それらに含まれる前記撮像素子により撮像された第 1の画像の一部と、他の第 2 の結像系に含まれる前記撮像素子により撮像された第 2の画像の一部とを、前記第 1 の画像と前記第 2の画像とを繋ぎあわせるためのプレンデイング領域として保持する ために、

前記結像面と前記レンズとの間の距離が Fとされ、前記結像面から出射される光 線のうちの、前記プレンデイング領域に対応する光線の幅が φとされ、前記撮像素子 と、それに隣接する前記撮像素子との間の距離が Dとされた場合、 2 X F Xtan ( /2) > Dで表される式を満たすように、

それぞれ配置された後、

前記撮像装置は、被写体を撮像する

ことを特徴とする撮像方法。