JP3818685B2

JP3818685B2 - Imaging device

Info

Publication number: JP3818685B2
Application number: JP29998295A
Authority: JP
Inventors: 健郎大澤
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 1995-11-17
Filing date: 1995-11-17
Publication date: 2006-09-06
Anticipated expiration: 2015-11-17
Also published as: JPH09149305A

Description

【０００１】
【発明の属する技術分野】
本発明は、例えば限られた画素数を有する複数の撮像素子を用いて、被写体の重要な画像領域を高画質化する撮像装置に関する。
【０００２】
【従来の技術】
例えば放送用カメラ等の高価なものが中心であったデジタルカメラが、近年になって低価格の製品も市販されるようになり、パーソナルコンピュータの画像入力機器等として一般的に広く用いられるようになってきた。そして、デジタル画像に対する高画質化や高精度な色再現性等の要求が高まりつつあり、銀塩写真と同レベルに高解像度であることや、また、ハイビジョン放送等にも適用可能なレベルの高解像度化が要求されている。
【０００３】
このような高解像度化の要求に対して、例えば画素数の増加や高密度化を目的として数百万画素のＣＣＤ等の撮像素子が開発されている。
しかしながら、このような高解像度化の要求には、撮像素子の受光部面積の制約上限界がある。更に、このような高画素数の撮像素子は、コスト的にも用途が限定される。
【０００４】
このため、高解像度の画像を得るための方法として、限られた画素数を有する複数枚の撮像素子を用いて一度の撮影により得られた撮像画像を合成する方法や、複数回の撮影により得られた撮像画像を合成する方法等が提案されている。例えば、画素相互をずらす方法、撮像素子の開口部をシヤッターで制限した状態で撮像し、開口位置を変えて撮影された画像を合成することによって高解像度の画像を得る方法（特開平６−２７６４４８号公報参照）、低精細で広画角な全体静止画像と高精細で狭画角な部分静止画像を複数枚撮像した後、夫々の画像を合成することにより高解像度の画像を得る方法（特開平６−２９２０５２号公報参照）、限られた画素数の撮像素子を用いて部分画像を同時に複数枚撮像した後、これらの画像を貼り合わせることによって高解像度の画像を得る方法（特開平７−１２３３１５号公報参照）等が提案されている。
【０００５】
また、カラー画像情報は、３種類の色フィルタを１枚のＣＣＤ画素上に適当に配置することによって疑似的に得ることができるが、高精度な色再現性を確保するためには、通常、３種類のフィルタが全面に配置された３枚の撮像素子を有する撮像装置が用いられる。
【０００６】
【発明が解決しようとする課題】
ところで、例えば人物像や高空間周波数成分の多い領域を含む画像、焦点が合っている画像領域が狭い画像、被観測物が視野内で局所的に含まれる顕微鏡画像等のように、被写体内で特に高画質化が望まれる画像領域が局所的に存在する場合がある。
【０００７】
このような画像に対して画像全体を高画質化することは、画像全体の高画質化にあたって上記撮像装置の撮像素子を全画像領域に割り当てる必要がある関係上、無駄が多くなる。
【０００８】
また、上記特開平６−２７６４４８号公報、特開平７−１２３３１５号公報、特開平６−２９２０５２号公報等に開示されているように、画像全体を高解像度化する方法、静止画像を部分的に高解像度化する方法は多数提案されているが、動画像を部分的に高解像度化する方法は提案されていない。更に、同様の条件において、高精度な色再現方法も提案されていない。
【０００９】
そこで、本発明の目的は、被写体の所望の画像領域に対して、少なくとも高解像度及び高色再現性の一方が維持された高画質化が実現可能な撮像装置を提供することにある。
【００１０】
【課題を解決するための手段】
このような目的を達成するために、本発明の撮像装置は：第１の光学系によって被写体像を結像することにより、第１の画像情報を得る第１の撮像手段と；前記第１の光学系よりも結像倍率が大きい第２の光学系によって前記被写体像を結像することにより、第２の画像情報を得る第２の撮像手段と；前記第１の画像情報と前記第２の画像情報とを合成する合成手段と；を備えており、合成する前記第１の画像情報および前記第２の画像情報のうち少なくとも一方に対して補正を行ない、前記補正では、前記第１の画像情報と前記第２の画像情報とが重なる部分における前記各画像情報の相関関係に基づいて、前記第１の撮像手段上および前記第２の撮像手段上のうちの少なくとも一方の像の歪みが補正される、ことを特徴としている。
【００１１】
【発明の実施の形態】
以下、本発明の第１の実施の形態に係る撮像装置について、図１を参照して説明する。
図１に示すように、本実施の形態の撮像装置は、第１の撮像手段即ち第１のＣＣＤ１と、この第１のＣＣＤ１に被写体像を結像する第１の光学系３と、第２の撮像手段即ち第２のＣＣＤ２と、第１の光学系３よりも結像倍率が大きく且つ第２のＣＣＤ２に被写体像を結像する第２の光学系４（図１において正確にいうと、第２の光学系は、第１の光学系３、ハーフミラー５及び光学系４で構成されるが、以下では説明の簡略化のため「第２の光学系４」と表す）と、第１のＣＣＤ１によって撮像された画像情報と第２のＣＣＤ２によって撮像された画像情報とを合成する合成手段即ち合成部１０とを備えている。
【００１２】
第１の光学系３の光軸上には、第１のＣＣＤ１と第１の光学系３との間にハーフミラー５が配置されており、このハーフミラー５によって、第１の光学系３の光軸は、第１及び第２の光軸６，７に分割されている。
【００１３】
第１の光学系３からハーフミラー５を介して延出する第１の光軸６上には、第１の光学系３の第１の予定結像面８が規定されており、この第１の予定結像面８に第１のＣＣＤ１が配置されている。一方、第１の光学系３からハーフミラー５を介して延出する第２の光軸７上には、第２の光学系４及びこの第２の光学系４の第２の予定結像面９が規定されており、この第２の予定結像面９に第２のＣＣＤ２が配置されている。
【００１４】
また、第１及び第２のＣＣＤ１，２は、信号伝送手段（図示しない）によって合成部１０に電気的に接続されている。
なお、第１及び第２の光学系３，４は、夫々、複数のレンズ等（図示しない）から構成されているが、同図では模式的に単一レンズによって表した。
【００１５】
次に、本実施の形態の動作について説明する。
第１の光学系３によって集光された被写体の像光は、ハーフミラー５によって透過光と反射光に分割される。
【００１６】
ハーフミラー５を透過した透過光は、第１の予定結像面８に配置された第１のＣＣＤ１上に結像され、この第１のＣＣＤ１によって被写体の像光全体が撮像される。
【００１７】
一方、ハーフミラー５から反射した反射光は、第１の光学系３よりも大きな結像倍率を有する第２の光学系４によって第２の予定結像面９に配置された第２のＣＣＤ２上に結像され、この第２のＣＣＤ２によって被写体の像光の一部が撮像される。なお、この第２のＣＣＤ２の撮像領域は、第１のＣＣＤ１の撮像領域の略中央に規定されており、第２の光学系４の結像倍率に対応して、撮像領域の大きさや解像度を定めることが可能である。
【００１８】
第１及び第２のＣＣＤ１，２によって撮像処理された画像データは、夫々、信号伝送手段を介して合成部１０に伝送された後、この合成部１０において、後述する第４の実施の形態で説明するような高解像度化や、後述する第７の実施の形態で説明するような高色再現等の目的に応じた信号合成処理が施されることによって、１枚の合成画像が作成されることになる。
【００１９】
本実施の形態において、この１枚の合成画像の全体の画像領域において、第１のＣＣＤ１独自の画像領域には、この第１のＣＣＤ１によって撮像処理された画像データが適用され、且つ、第１及び第２のＣＣＤ１，２の共通の画像領域には、少なくとも第２のＣＣＤ２によって撮像処理された画像データが適用される。従って、上記１枚の合成画像は、部分的に高画質化された合成画像となっている。なお、合成部１０によって作成された合成画像は、図示しない記憶部に記憶されるか、或いは、即時に所定の回路ユニット（図示しない）へ出力される。
【００２０】
このように本実施の形態によれば、被写体の所望の画像領域に対して、高解像度及び高色再現性が維持された高画質化が実現可能な撮像装置を提供することが可能となる。
【００２１】
なお、本発明は、上記第１の実施の形態の構成に限定されることはなく、新規事項を追加しない範囲で各種の変形や変更が可能である。例えば、ハーフミラー５の代わりに、プリズム等の任意の光波面分割手段を用いてもよい。また、被写体の像光をハーフミラー５によって２分割した後、２つの分割光を夫々相対的に結像倍率の異なる第１及び第２の光学系によって第１及び第２のＣＣＤ１，２に結像させるように構成してもよい。更に、ハーフミラー５によって複数の分割光に分割することも可能であり、この場合には、上記第１の実施の形態と同様の方法を用いることによって、１枚の合成画像中に複数の高画質化領域を任意に設定することが可能となる。また、第１及び第２のＣＣＤ１，２の光入射側に後述する第５の実施の形態に適用したような色フィルタを配置することも好ましい。
【００２２】
次に、本発明の第２の実施の形態に係る撮像装置について、図２を参照して説明する。なお、本実施の形態の説明に際し、第１の実施の形態と同一の構成には、同一符号を付して、その説明を省略する。
【００２３】
図２に示すように、本実施の形態の撮像装置は、第２の光学系４及び第２のＣＣＤ２を第２の光軸７に沿って所定方向へ移動制御することによって、第２の予定結像面９上の結像倍率を所望の値に変更可能な駆動部１１と、この駆動部１１に接続され、第２の光学系４の結像倍率の調整及び第２のＣＣＤ２の位置変更を行うための制御部１２とを備えている。
【００２４】
駆動部１１は、第２の光学系４を第２の光軸７に沿って移動或いは第２の光軸７方向に調整することによって第２の予定結像面９上の結像倍率を変更すると共に、第２のＣＣＤ２を第２の光軸７方向又は第２の予定結像面９に沿って移動制御するように構成されている。
【００２５】
制御部１２は、信号伝送手段（図示しない）によって、駆動部１１及び合成部１０に電気的に接続されている。また、合成部１０には、液晶モニタ１３が電気的に接続されており、この液晶モニタ１３は、合成部１０から伝送された画像信号に基づいて、所定の画像領域を液晶表示するように構成されている。なお、他の構成は、第１の実施の形態と同一であるため、その説明は省略する。
【００２６】
以下、本実施の形態の動作について説明する。
撮像を開始する際、駆動部１１は、制御部１２からの制御信号に基づいて、第２の光学系４及び第２のＣＣＤ２を所定方向へ移動することによって、第２のＣＣＤ２の予定撮像領域を設定する。
【００２７】
制御部１２から駆動部１１へ伝送する制御信号の設定方法は、液晶モニタ１３上に表示された第１及び第２のＣＣＤ１，２の予定撮像領域に基づいて撮影者自身で設定する第１の方法、或いは、合成部１０から出力された第１のＣＣＤ１の予定撮像画像データと目的に応じて予め設定された制御部１２内のアルゴリズムに従った計算データによって自動的に設定する第２の方法等を適用することが可能である。なお、第１の方法が適用される例としては、人物像の顔等を選択する場合が該当する。第２の方法が適用される例としては、第１のＣＣＤ１の予定撮像画像を複数の領域に分割した後、最も高空間周波数成分を多く含む領域に第２のＣＣＤ２を割り当てる場合が該当する。
【００２８】
第２のＣＣＤ２の予定撮像領域が設定された後、第１の実施の形態と同様の撮像処理が施されることによって、所望の領域が部分的に高画質化された１枚の合成画像を得ることができる。
【００２９】
なお、本発明は、上記各実施の形態の構成に限定されることはなく、新規事項を追加しない範囲で各種の変形や変更が可能である。例えば、液晶モニタ１３を所定の光学系を備えたファインダに組み込んでもよい。また、第２のＣＣＤ２を第２の予定結像面９上で０°〜４５°の範囲で回転させて、ＣＣＤ画素の配置を最適に調整するように構成してもよい。また、第１及び第２のＣＣＤ１，２の光入射側に後述する第５の実施の形態に適用したような色フィルタを配置することも好ましい。
【００３０】
次に、本発明の第３の実施の形態に係る撮像装置について、図３を参照して説明する。なお、本実施の形態の説明に際し、第１の実施の形態と同一の構成には、同一符号を付して、その説明を省略する。
【００３１】
図３に示すように、本実施の形態の撮像装置は、互いに透過率が異なる複数の光量制限手段即ちＮＤフィルタ（１４，１５）を有しており、これら複数のＮＤフィルタから所望のＮＤフィルタを第１の光軸６及び第２の光軸７の少なくとも一方の光軸上に選択的に配置可能に構成されたフィルタ駆動部１６と、第１及び第２のＣＣＤ１，２に結像する被写体の像光量を所望量に制限するように、フィルタ駆動部１６を駆動制御することによって、複数のＮＤフィルタから所望のＮＤフィルタを第１の光軸６及び第２の光軸７の少なくとも一方の光軸上に選択的に配置させる制御部１２とを備えている。なお、他の構成は、第１の実施の形態と同一であるため、その説明は省略する。
【００３２】
以下、本実施の形態の動作について説明する。
第１及び第２のＣＣＤ１，２によって画像処理された予定撮像画像は、信号伝送手段（図示しない）を介して合成部１０に伝送された後、更に制御部１２に伝送される。
【００３３】
制御部１２では、第１及び第２のＣＣＤ１，２の予定撮像画像に対する最適露光量を算出すると共に、最適露光量を与える最適なＮＤフィルタの選択処理が行われる。
【００３４】
フィルタ駆動部１６は、制御部１２から出力された選択指令に基づいて、選択したＮＤフィルタを第１の光軸６及び第２の光軸７の少なくとも一方の光軸上に配置する。
【００３５】
本実施の形態では、その一例として、ハーフミラー５と第１のＣＣＤ１との間の光路中に第１の光軸６を横断するように第１のＮＤフィルタ１４を配置させると共に、ハーフミラー５と第２の光学系４との間の光路中に第２の光軸７を横断するように第２のＮＤフィルタ１５を配置させる。なお、第１のＮＤフィルタ１４と第２のＮＤフィルタ１５は、可視光領域において夫々異なる略一定の透過率を有している。
【００３６】
この後、第１及び第２のＮＤフィルタ１４，１５を配置させた状態において、再び、第１及び第２のＣＣＤ１，２によって予定撮像画像を形成して、配置された第１及び第２のＮＤフィルタ１４，１５が最適なＮＤフィルタか否かの検索が行われる。
【００３７】
この検索処理の結果、第１及び第２のＮＤフィルタ１４，１５が最適な露光量を与えるＮＤフィルタとして設定された後、第１の実施の形態と同様の撮像処理が施されることによって、所望の領域が部分的に高画質化された１枚の合成画像が得られる。
【００３８】
本実施の形態によれば、第１及び第２のＣＣＤ１，２のダイナミックレンジ（有効撮像範囲）よりも広範囲な階調画像に対する高画質化を実現することができる。
【００３９】
なお、図面上では、その一例として第１及び第２のＮＤフィルタ１４，１５が第１及び第２の光軸６，７上に配置されている状態を示したが、フィルタ駆動部１６には、複数のＮＤフィルタ（図示しない）がセットされているため、撮像目的や露光量の変更仕様に対応して任意のＮＤフィルタを選択配置させることができる。
【００４０】
また、本発明は、上記各実施の形態の構成に限定されることはなく、新規事項を追加しない範囲で各種の変形や変更が可能である。例えば、第２の光軸７上に選択的に配置させるＮＤフィルタの配置位置としては、図面上の位置に限定されず、第２の光学系４と第２のＣＣＤ２との間の光路中でもよい。また、図面上では、第１及び第２の光軸６，７上にＮＤフィルタを配置させているが、いずれか一方の光軸上にのみＮＤフィルタを配置すると共に他方の光軸上の露光時間を制御することによって、各ＣＣＤ１，２への最適露光を実現することができる。更に、第１及び第２の光軸６，７上にシャッターを配置し、それらを別々に駆動制御することによって、各ＣＣＤ１，２への最適露光を実現することもできる。また、第１及び第２のＣＣＤ１，２の光入射側に後述する第５の実施の形態に適用したような色フィルタを配置することも好ましい。
【００４１】
次に、本発明の第４の実施の形態に係る撮像装置について、図４を参照して説明する。
図４に示すように、本実施の形態は、上記第１〜第３の実施の形態の撮像装置に適用される第１及び第２のＣＣＤ１，２による出力画像データの処理に係り、他の構成は、上記第１〜第３の実施の形態と同一であるため、以下の説明では、相違点のみについて説明を加える。
【００４２】
図４（ａ），（ｂ）には、第１及び第２のＣＣＤ１，２から出力された画像データが示されており、格子状に縦横に規則的に囲まれた個々の正方形領域が、各ＣＣＤ１，２の１画素に対応している。また、第１及び第２のＣＣＤ１，２は、相互に同一の画素数及び画素サイズを有しており、第２のＣＣＤ２上の結像倍率は、第１のＣＣＤ１上の結像倍率の３倍に設定されている。従って、第１のＣＣＤ１の１画素は、第２のＣＣＤ２の９画素分に対応している。例えば第１のＣＣＤ１（同図（ａ）参照）の中央の太枠線で囲まれた９画素が、第２のＣＣＤ２（同図（ｂ）参照）の全撮像領域に対応している。
【００４３】
なお、第１のＣＣＤ１の画像データ（同図（ａ）参照）、第２のＣＣＤ２の画像データ（同図（ｂ）参照）において、第１の光学系３（図１〜図３参照）及び第２の光学系４（図１〜図３参照）の光軸は、第１及び第２のＣＣＤ１，２の撮像領域の中心に位置付けられている。
【００４４】
また、図４（ｃ）には、合成部１０（図１〜図３参照）によって、第１のＣＣＤ１の画像データと第２のＣＣＤ２の画像データに合成処理を施した合成画像が示されている。この合成画像は、第２のＣＣＤ２の解像度を有するが、便宜上、第２のＣＣＤ２の撮像領域のみが実際の解像度で示されている。
【００４５】
本実施の形態では、合成画像（同図（ｃ）参照）の解像度を第１のＣＣＤ１の解像度よりも大きく設定した状態において、合成画像のうち、第１のＣＣＤ１のみによって撮像された画像領域には、第１のＣＣＤ１の画像データのみを適用し、且つ、第１及び第２のＣＣＤ１，２によって重複撮像された画像領域には、第２のＣＣＤ２の画像データのみを適用する。
【００４６】
この場合、第２のＣＣＤ２の画像データを合成する際には、合成画像領域内に適用された第１のＣＣＤ１に画像データを基準に画像合成処理が行われる。この結果、全画像領域で同倍率の画像が合成されることになる。
【００４７】
このように本実施の形態によれば、合成画像内において、第２のＣＣＤ２により撮像された画像領域を高解像度化させることが可能となる。
なお、本発明は、上記各実施の形態の構成に限定されることはなく、新規事項を追加しない範囲で各種の変形や変更が可能である。例えば、第２のＣＣＤ２の結像倍率を任意に設定することが可能であり、第２のＣＣＤ２上の結像倍率を第１のＣＣＤ１上の結像倍率より小さくして、第１及び第２のＣＣＤ１，２の役割を交換することも可能である。また、第１及び第２のＣＣＤ１，２上の像の歪みに相違が生じた場合、画像合成の際、画像相互の重なり部分の相関関係を考慮することによって簡単に補正することが可能である。また、合成画像に違和感が生じない領域のみに第２のＣＣＤ２の画像データを用いることもできる。また、第２の光学系４の結像倍率を調整するか、若しくは、第２の光学系４を除去して第１及び第２のＣＣＤ１，２上の結像倍率を相互に等しくした状態において、駆動部１１（図２参照）によって第１及び第２のＣＣＤ１，２の位置を被写体に対して半画素分ずらす。この結果、従来提案されていた画素ずらし法に基づく高解像度化が可能となり、部分的に高解像度化が望まれる領域がない場合でも、第２のＣＣＤ２を効果的に高画質化に用いることができる。
【００４８】
次に、本発明の第５の実施の形態に係る撮像装置について、図５を参照して説明する。なお、本実施の形態は、上記第１〜第４の実施の形態の改良に係り、その主要な構成は、上記第１の実施の形態と同一であるため、以下の説明では、相違点のみについて説明を加える。
【００４９】
図５に示すように、ハーフミラー５（本実施の形態では、仮に、このハーフミラー５を第１のハーフミラー５と称する）を介して延出する第１の光軸６上には、第２のハーフミラー１７が配置されており、この第２のハーフミラー１７によって第３の光軸２２が規定されている。また、この第３の光軸２２上には、第３のハーフミラー１８が配置されており、この第３のハーフミラー１８によって第４の光軸２３が規定されている。
【００５０】
更に、第１の光軸６上に規定される結像面には、第１のＣＣＤ２０ａが設けられており、この第１のＣＣＤ２０ａの光入射側には、その全面に青色成分を有する光を透過可能な第１の色フィルタ１９ａが配置されている。第３の光軸２２上に規定される結像面には、第３のＣＣＤ２０ｃが設けられており、この第３のＣＣＤ２０ｃの光入射側には、その全面に赤色成分を有する光を透過可能な第２の色フィルタ１９ｃが配置されている。そして、第４の光軸２３上に規定される結像面には、第４のＣＣＤ２０ｂが設けられており、この第４のＣＣＤ２０ｂの光入射側には、その全面に緑色成分を有する光を透過可能な第３の色フィルタ１９ｂが配置されている。
【００５１】
これら第１，第３及び第４のＣＣＤ２０ａ，２０ｃ，２０ｂは、信号伝送手段（図示しない）によって合成部１０に電気的に接続されている。また、第２のＣＣＤ２の光入射側には、高色再現化を希望する青，赤，緑のいずれかの色成分を有する光を透過可能な第４の色フィルタ２１が全面に配置されている。
【００５２】
以下、本実施の形態の動作について説明する。
なお、第１の光学系３から第１，第３及び第４のＣＣＤ２０ａ，２０ｃ，２０ｂまでの距離は、夫々同一であって且つ各ＣＣＤ２０ａ，２０ｃ，２０ｂ上の結像倍率も同一に設定されている。
【００５３】
第１の光学系３によって集光された被写体の像光は、第１のハーフミラー５によって透過光と反射光に分割される。
第１のハーフミラー５を透過した透過光は、第２のハーフミラー１７によって更に透過光と反射光に分割された後、その透過光は、第１の色フィルタ１９ａを介して第１のＣＣＤ２０ａ上に結像し、その反射光は、第３のハーフミラー１８によって更に透過光と反射光に分割される。
【００５４】
第３のハーフミラー１８を透過した透過光は、第２の色フィルタ１９ｃを介して第３のＣＣＤ２０ｃ上に結像し、第３のハーフミラー１８から反射した反射光は、第３の色フィルタ１９ｂを介して第４のＣＣＤ２０ｂ上に結像する。
【００５５】
一方、第１のハーフミラー５から反射した反射光は、第２の光学系４によって第１，第３及び第４のＣＣＤ２０ａ，２０ｃ，２０ｂに対する倍率よりも拡大された倍率で第２の予定結像面９上に結像される。このため、高色再現化を希望する青，赤，緑のいずれかの色成分を有する光を透過可能な第４の色フィルタ２１が全面に配置された第２のＣＣＤ２上には、第２の予定結像面９上に結像された拡大像の一部が結像されることになる。なお、第２のＣＣＤ２の撮像領域は、第１，第３及び第４のＣＣＤ２０ａ，２０ｃ，２０ｂの撮像領域の略中央に規定されており、第２の光学系４の結像倍率に対応して、撮像領域の大きさや解像度を定めることが可能である。
【００５６】
第１，第３及び第４のＣＣＤ２０ａ，２０ｃ，２０ｂ並びに第２のＣＣＤ２によって撮像処理された画像データは、夫々、信号伝送手段を介して合成部１０に伝送された後、この合成部１０において、第２のＣＣＤ２の解像度を有する画像に合成される。
【００５７】
合成画像のうち、第１，第３及び第４のＣＣＤ２０ａ，２０ｃ，２０ｂのみによって撮像された画像領域には、第１，第３及び第４のＣＣＤ２０ａ，２０ｃ，２０ｂの画像データが適用される。しかしながら、第１，第３及び第４のＣＣＤ２０ａ，２０ｃ，２０ｂは、第２のＣＣＤ２よりも解像度が低いため、各画像データに対して補間処理を施すことによって所望の解像度を有する合成画像を得ている。
【００５８】
一方、合成画像のうち、第１，第３及び第４のＣＣＤ２０ａ，２０ｃ，２０ｂ並びに第２のＣＣＤ２によって撮像された画像領域において、高解像度化を希望する青，赤，緑のいずれかの色成分を有する光を透過可能な第４の色フィルタ２１の画像データは、第２のＣＣＤ２によって撮像された画像データを適用し、その他２つの色に対応した画像データは、第１，第３及び第４のＣＣＤ２０ａ，２０ｃ，２０ｂのいずれか２つの画像データに対して補間処理を施すことによって所望の解像度を有する合成画像を得ている。
【００５９】
このような撮像処理を施すことによって、高解像度化を希望する青，赤，緑のいずれかの色成分を有する対応した画像領域のうち、所望の領域が部分的に高解像度化された合成画像を得ることができる。
【００６０】
なお、本発明は、上記各実施の形態の構成に限定されることはなく、新規事項を追加しない範囲で各種の変形や変更が可能である。例えば、各色フィルタと各ＣＣＤとを夫々別途設ける代わりに、青，赤，緑のいずれかの色成分を有する光を透過可能な色フィルタを各画素に対して一体的に配置された色フィルタ付きＣＣＤを用いてもよい。この場合には、部分的な高解像度化に加えて青，赤，緑のいずれかの色成分に対する更に高精度な色再現性が実現される。また、第１〜第３のハーフミラー５，１７，１８の代わりに、プリズム等の光路分割手段を用いてもよい。
【００６１】
次に、本発明の第６の実施の形態に係る撮像装置について、図６を参照して説明する。
図６に示すように、本実施の形態は、上記第１〜第４の実施の形態の撮像装置に適用される第１及び第２のＣＣＤ１，２による出力画像データの処理に係り、他の構成は、上記第１〜第４の実施の形態と同一であるため、以下の説明では、相違点のみについて説明を加える。
【００６２】
図６（ａ），（ｂ）には、第１及び第２のＣＣＤ１，２から出力された画像データが示されており、格子状に縦横に規則的に囲まれた個々の正方形領域が、各ＣＣＤ１，２の１画素に対応している。また、第１及び第２のＣＣＤ１，２は、相互に同一画素数及び画素サイズを有しており、第２のＣＣＤ２上の結像倍率は、第１のＣＣＤ１上の結像倍率の３倍に設定されている。従って、第１のＣＣＤ１の１画素は、第２のＣＣＤ２の９画素分に対応している。例えば第１のＣＣＤ１（同図（ａ）参照）の中央の太枠線で囲まれた９画素が、第２のＣＣＤ２（同図（ｂ）参照）の全撮像領域に対応している。
【００６３】
なお、第１のＣＣＤ１の画像データ（同図（ａ）参照）、第２のＣＣＤ２の画像データ（同図（ｂ）参照）において、第１の光学系３（図１〜図３参照）及び第２の光学系４（図１〜図３参照）の光軸は、第１及び第２のＣＣＤ１，２の撮像領域の中心に位置付けられている。
【００６４】
また、図６（ｃ）には、合成部１０（図１〜図３参照）によって、第１のＣＣＤ１の画像データと第２のＣＣＤ２の画像データに合成処理を施した合成画像が示されている。この合成画像は、第２のＣＣＤ２によって撮像された中央画像領域（同図（ｃ）中、中央の格子間隔が狭まっている部分）が、第１のＣＣＤ１のみによって撮像された周辺画像領域よりも高倍率な画像となっている。
【００６５】
本実施の形態において、撮影者は、液晶モニタ１３（図２参照）の表示画像に基づいて、第２のＣＣＤ２によって撮像された中央画像領域に現された被写体の重要部を高倍率で観察しながら、第１のＣＣＤ１によって撮像された周辺画像領域を広画角で観察することができる。この結果、撮像目的や撮像対象に対応して被写体の重要部が変わった場合でも、短時間且つ簡単に第２のＣＣＤ２の撮像領域を新たな重要部へ移動させることができる。なお、合成画像は、所定の記憶部（図示しない）に記憶させるか、或いは、即時に出力させることになる。
【００６６】
このように本実施の形態によれば、撮像領域が部分的に拡大された場合でも、その拡大率に対応した高解像度な合成画像を得ることができる。
なお、本発明は、上記各実施の形態の構成に限定されることはなく、新規事項を追加しない範囲で各種の変形や変更が可能である。例えば、重要部とその周辺部の合成は、夫々の領域で特定の解像度を用いるのではなく、合成画像内において第１及び第２のＣＣＤ１，２の画像相互の境界が連続化するように、夫々の画像の解像度を連続的に変えることによって、重要部の中心付近では最も拡大率が大きく且つ境界付近では重要部と周辺部の拡大率が等しくなるようにさせることもできる。この場合の合成方法の用途としては、例えば、無人探査ロボットのカメラ撮影やスポーツ観戦時の撮影等に好適である。
【００６７】
次に、本発明の第７の実施の形態に係る撮像装置について、図７及び図８を参照して説明する。
図７に示すように、本実施の形態は、上記第１〜第３の実施の形態の撮像装置の改良に係り、第１及び第２のＣＣＤ１，２の光入射側に第１及び第２の色フィルタ３０，３１（図８（ａ），（ｂ）参照）を配置した点以外の他の構成は、上記第１〜第３の実施の形態と同一であるため、以下の説明では、相違点のみについて説明を加える。
【００６８】
図８（ａ），（ｂ）に示すように、第１及び第２の色フィルタ３０，３１は、第１及び第２のＣＣＤ１，２の画素配列に対応して、赤（Ｒ），緑（Ｇ），青（Ｂ）の色成分を有する光を透過可能なフィルタ構成素子（同図において、符号Ｒ，Ｇ，Ｂで示す）が、縦横に一定の周期で規則的に配置されている。具体的には、第１及び第２のＣＣＤ１，２は、相互に同一の画素数及び画素サイズを有しているため、第１及び第２の色フィルタ３０，３１のフィルタ構成素子も各ＣＣＤ１，２の画素数及び画素サイズと同一のフィルタ数及びフィルタサイズを有して構成されている。
【００６９】
また、第２のＣＣＤ２上の結像倍率は、第１のＣＣＤ１上の結像倍率の３倍に設定されているため、第１のＣＣＤ１の１画素は、第２のＣＣＤ２の９画素分に対応している。例えば第１のＣＣＤ１（同図（ａ）参照）の中央の太枠線で囲まれた９個のフィルタ構成素子が、第２のＣＣＤ２（同図（ｂ）参照）の全てのフィルタ構成素子に対応している。具体的には、第１の色フィルタ３０の１個のフィルタ構成素子は、第２の色フィルタ３１において、赤（Ｒ），緑（Ｇ），青（Ｂ）の色成分を有する光を透過可能なフィルタ構成素子を３個ずつ組み合わせたものに対応している。この場合、赤（Ｒ），緑（Ｇ），青（Ｂ）の色成分を有する光を透過可能な３個のフィルタ構成素子は、夫々、赤、緑、青の色成分情報を得るための透過特性を有しており、各フィルタ構成素子に対応した各画素から所定の色情報（画像データ）が得られる。
【００７０】
次に、本実施の形態の動作について説明する。
上記第１の実施の形態と同様の画像処理によって、第１及び第２のＣＣＤ１，２から出力された画像データは、合成部１０において、第１のＣＣＤ１の解像度を有する画像に合成される（同図（ｃ）参照）。
【００７１】
このような合成画像において、第１及び第２のＣＣＤ１，２によって重複撮像された画像領域の色情報（仮に、重複色情報と称する）のうち、第１の色フィルタ３０に対応する色情報は、第１のＣＣＤ１の出力色情報を適用し、その他の色情報は、第２の色フィルタ３１に対応した第２のＣＣＤ２の出力色情報（第１のＣＣＤ１の各画素に対応した複数画素の色情報）を適用する。具体的には、上記重複色情報のうち、第１の色フィルタ３０に対応する色情報（例えば、赤（Ｒ））は、この色（Ｒ）の光を透過可能なフィルタ構成素子に対応した第１のＣＣＤ１の各画素からの出力色情報（Ｒ）を適用し、その他の２色の色情報（即ち、青（Ｂ），緑（Ｇ））は、これら２つの色（Ｂ，Ｇ）の光を透過可能なフィルタ構成素子に対応した第２のＣＣＤ２の各画素からの出力色情報（Ｂ，Ｇ）の平均値を適用する。
【００７２】
一方、上記合成画像において、第１のＣＣＤ１のみによって撮像された画像領域の色情報は、第１の色フィルタ３０に対応した第１のＣＣＤ１の出力色情報、及び、隣接した画素相互の色情報に補間処理を施して求めた出力色情報とを適用する。
【００７３】
このように本実施の形態によれば、第１のＣＣＤ１によって撮像された画像領域の色情報はかならずしも正確ではないが、第２のＣＣＤ２の撮像領域では、第１のＣＣＤ１の１画素に対応する領域に、赤（Ｒ），緑（Ｇ），青（Ｂ）の色成分を有する光を透過可能な３個のフィルタ構成素子が含まれるため、全ての色情報をサンプリングすることができる。この結果、高精度な色再現性を実現することが可能となるため、撮像領域が部分的に高色再現された合成画像を得ることができる。
【００７４】
なお、本発明は、上記各実施の形態の構成に限定されることはなく、新規事項を追加しない範囲で各種の変形や変更が可能である。例えば、第１及び第２の色フィルタ３０，３１のフィルタ構成素子の種類，配置，サイズ，画素数は、同一である必要はなく、例えば補色フィルタを使用したり、或いは、各種色フィルタをランダムに配置させる等、各種の組み合わせが可能で、画像合成の際の処理方法を変えることによって、高色再現の効果を得ることができる。この場合、例えば、図７（ｄ）に示すように、第２の色フィルタ３１の代わりに、Ｆ１からＦ９から成る９種類の色フィルタを縦横に並んだ３画素の領域内に規則的に配置させたフィルタを用いることが好ましい。この結果、部分領域内の各画素について近似的なマルチ色情報を得ることができる。
【００７５】
また、第１のＣＣＤ１に対する第２のＣＣＤ２上の結像倍率は、任意に設定することができる。この場合、例えば制御部１２（図２及び図３参照）からの設定情報や第１及び第２のＣＣＤ１，２の相関情報に基づいて、各色フィルタの対応関係を求めることによって、部分画像の高色再現を実現することができる。
【００７６】
なお、本明細書中には、以下のような発明が含まれる。
１．第１の撮像手段と、
この第１の撮像手段に被写体像を結像する第１の光学系と、
第２の撮像手段と、
前記第１の光学系よりも結像倍率が大きく且つ前記第２の撮像手段に前記被写体像を結像する第２の光学系と、
前記第１の撮像手段によって撮像された画像情報と前記第２の撮像手段によって撮像された画像情報とを合成する合成手段とを備えていることを特徴とする撮像装置。
（対応する発明の実施の形態）
この発明は、主に第１の実施の形態（図１参照）が対応する。
【００７７】
第１及び第２の撮像手段は、第１及び第２のＣＣＤ１，２が該当し、合成手段は、合成部１０が該当する。
（作用・効果）
第１の光学系によって集光された被写体の像光は、第１の光学系の光軸上に配置されたハーフミラーによって透過光と反射光に分割され、その透過光は、第１の撮像手段に結像し、その反射光は、第１の光学系よりも大きな結像倍率を有する第２の光学系を介して第２の撮像手段に結像する。また、第２の撮像手段の撮像領域は、第１の撮像手段の撮像領域の略中央に規定されている。また、合成手段は、第２の撮像手段によって撮像された高解像度の部分画像と、第１の撮像手段によって撮像された全体画像とを高画質化の目的に応じた方法によって１枚の合成画像とする。
【００７８】
この１枚の合成画像の全体の画像領域において、第１のＣＣＤ１独自の画像領域には、この第１のＣＣＤ１によって撮像処理された画像データが適用され、且つ、第１及び第２のＣＣＤ１，２の共通の画像領域には、少なくとも第２のＣＣＤ２によって撮像処理された画像データが適用される。従って、上記１枚の合成画像は、部分的に高画質化された合成画像となっている。
【００７９】
本発明によれば、被写体の所望の画像領域に対して、高解像度及び高色再現性が維持された高画質化が実現可能な撮像装置を提供することが可能となる。
２．前記第１の撮像手段が撮像する第１の画像領域内の所望位置に前記第２の撮像手段が撮像する第２の画像領域を位置付けるように、前記第２の光学系及び前記第２の撮像手段を所定方向へ移動制御する移動手段と、
前記第１の画像領域に対する前記第２の画像領域の位置設定を行う位置設定手段とを更に備え、
前記合成手段は、前記位置設定手段から出力される情報に基づいて、前記第１の撮像手段によって撮像された画像情報と前記第２の撮像手段によって撮像された画像情報とを合成することを特徴とする上記１に記載の撮像装置。
（対応する発明の実施の形態）
この発明は、主に第２の実施の形態（図２）が対応する。
【００８０】
移動手段は、駆動部１１が該当し、位置設定手段は、制御部１２が該当する。
（作用・効果）
撮像を開始する際、駆動部１１は、制御部１２からの制御信号に基づいて、第２の光学系４及び第２のＣＣＤ２を所定方向へ移動することによって、第２のＣＣＤ２の予定撮像領域を設定する。
【００８１】
制御部１２から駆動部１１へ伝送する制御信号の設定方法は、液晶モニタ１３上に表示された第１及び第２のＣＣＤ１，２の予定撮像領域に基づいて撮影者自身で設定する第１の方法、或いは、合成部１０から出力された第１のＣＣＤ１の予定撮像画像データと目的に応じて予め設定された制御部１２内のアルゴリズムに従った計算データによって自動的に設定する第２の方法等を適用することが可能である。なお、第１の方法が適用される例としては、人物像の顔等を選択する場合が該当する。第２の方法が適用される例としては、第１のＣＣＤ１の予定撮像画像を複数の領域に分割した後、最も高空間周波数成分を多く含む領域に第２のＣＣＤ２を割り当てる場合が該当する。
【００８２】
第２のＣＣＤ２の予定撮像領域が設定された後、第１の実施例と同様の撮像処理が施されることによって、所望の領域が部分的に高画質化された１枚の合成画像を得ることができる。
【００８３】
３．互いに透過率が異なる複数の光量制限手段と、
これら複数の光量制限手段から所望の光量制限手段を前記第１の光学系と前記第１の撮像手段との間の第１の光路、及び、前記第１の光学系と前記第２の撮像手段との間の第２の光路の少なくとも一方の光路中に選択的に配置可能に構成された光量制限手段駆動部と、
前記第１及び第２の撮像手段に結像する前記被写体像の光量を所望量に制限するように、前記光量制限手段駆動部を駆動制御することによって、前記複数の光量制限手段のうち、所望の光量制限手段を前記第１の光路及び前記第２の光路の少なくとも一方の光路中に選択的に配置させる制御手段とを更に備えていることを特徴とする上記１又は２に記載の撮像装置。
（対応する発明の実施の形態）
この発明は、主に第３の実施の形態（図３）が対応する。
【００８４】
光量制限手段は、フィルタ駆動部１６に収容された複数のＮＤフィルタが該当し、制御手段は、制御部１２が該当する。
（作用・効果）
第１及び第２のＣＣＤ１，２によって画像処理された予定撮像画像は、信号伝送手段（図示しない）を介して合成部１０に伝送された後、更に制御部１２に伝送され、第１及び第２のＣＣＤ１，２の予定撮像画像に対する最適露光量を算出すると共に、最適露光量を与える最適なＮＤフィルタの選択処理が行われる。
【００８５】
フィルタ駆動部１６は、制御部１２から出力された選択指令に基づいて、選択したＮＤフィルタを第１の光軸６及び第２の光軸７の少なくとも一方の光軸上に配置する。
【００８６】
この後、第１及び第２のＮＤフィルタ１４，１５を配置させた状態において、再び、第１及び第２のＣＣＤ１，２によって予定撮像画像を形成して、配置された第１及び第２のＮＤフィルタ１４，１５が最適なＮＤフィルタか否かの検索が行われる。
【００８７】
この検索処理の結果、第１及び第２のＮＤフィルタ１４，１５が最適な露光量を与えるＮＤフィルタとして設定された後、第１の実施の形態と同様の撮像処理が施されることによって、所望の領域が部分的に高画質化された１枚の合成画像が得られる。
【００８８】
本発明によれば、第１及び第２のＣＣＤ１，２のダイナミックレンジ（有効撮像範囲）よりも広範囲な階調画像に対する高画質化を実現することができる。
４．前記合成手段の画像合成処理に際し、合成画像の解像度を前記第１の撮像手段の解像度よりも大きく設定した状態において、前記第１の撮像手段のみによって撮像された画像領域には、前記第１の撮像手段のみによって撮像された画像データを適用し、且つ、前記第１及び第２の撮像手段によって重複撮像された画像領域には、前記第２の撮像手段によって撮像された画像データを適用して、全画像領域で同倍率の画像を合成することを特徴とする上記１ないし３のいずれか一つに記載の撮像装置。
（対応する発明の実施の形態）
この発明は、主に第４の実施の形態（図４）が対応する。
【００８９】
第１及び第２のＣＣＤ１，２は、相互に同一の画素数及び画素サイズを有しており、第２のＣＣＤ２上の結像倍率は、第１のＣＣＤ１上の結像倍率の３倍に設定されている。従って、第１のＣＣＤ１の１画素は、第２のＣＣＤ２の９画素分に対応している。
（作用・効果）
本発明において、合成画像の解像度を第１のＣＣＤ１の解像度よりも大きく設定した状態において、合成画像のうち、第１のＣＣＤ１のみによって撮像された画像領域には、第１のＣＣＤ１の画像データのみを適用し、且つ、第１及び第２のＣＣＤ１，２によって重複撮像された画像領域には、第２のＣＣＤ２の画像データのみを適用する。
【００９０】
この場合、第２のＣＣＤ２の画像データを合成する際には、合成画像領域内に適用された第１のＣＣＤ１の画像データを基準に画像合成処理が行われる。この結果、全画像領域で同倍率の画像が合成されることになる。
【００９１】
本発明によれば、合成画像内において、第２のＣＣＤ２により撮像された画像領域を高解像度化させることが可能となる。
５．前記第１の撮像手段は、複数の撮像素子から構成されており、これら複数の撮像素子の光入射側には、夫々、所定の色成分を有する光に対応した透過特性を有する色フィルタが配置されており、また、前記第２の撮像手段の光入射側には、前記所定の色成分のうち所望の色成分を有する光に対応した透過特性を有する色フィルタが配置されていることを特徴とする上記４に記載の撮像装置。
（対応する発明の実施の形態）
この発明は、主に第５の実施の形態（図５）が対応する。
【００９２】
第１の撮像手段は、第１，第３及び第４のＣＣＤ２０ａ，２０ｃ，２０ｂが該当し、この第１の撮像手段の光入射側の色フィルタは、第１〜第３の色フィルタ１９ａ，１９ｃ，１９ｂが該当する。第２の撮像手段は、第２のＣＣＤ２が該当し、この第２の撮像手段の光入射側の色フィルタは、第４の色フィルタ２１が該当する。
（作用・効果）
第１の光学系３によって集光された被写体の像光は、第１のハーフミラー５によって透過光と反射光に分割される。
【００９３】
第１のハーフミラー５を透過した透過光は、第２のハーフミラー１７によって更に透過光と反射光に分割された後、その透過光は、第１の色フィルタ１９ａを介して第１のＣＣＤ２０ａ上に結像し、その反射光は、第３のハーフミラー１８によって更に透過光と反射光に分割される。
【００９４】
第３のハーフミラー１８を透過した透過光は、第２の色フィルタ１９ｃを介して第３のＣＣＤ２０ｃ上に結像し、第３のハーフミラー１８から反射した反射光は、第３の色フィルタ１９ｂを介して第４のＣＣＤ２０ｂ上に結像する。
【００９５】
一方、第１のハーフミラー５から反射した反射光は、第２の光学系４によって第１，第３及び第４のＣＣＤ２０ａ，２０ｃ，２０ｂに対する倍率よりも拡大された倍率で第２の予定結像面９上に結像される。このため、高解像度化を希望する青，赤，緑のいずれかの色成分を有する光を透過可能な第４の色フィルタ２１が全面に配置された第２のＣＣＤ２上には、第２の予定結像面９上に結像された拡大像の一部が結像されることになる。
【００９６】
第１，第３及び第４のＣＣＤ２０ａ，２０ｃ，２０ｂ並びに第２のＣＣＤ２によって撮像処理された画像データは、夫々、信号伝送手段を介して合成部１０に伝送された後、この合成部１０において、第２のＣＣＤ２の解像度を有する画像に合成される。
【００９７】
合成画像のうち、第１，第３及び第４のＣＣＤ２０ａ，２０ｃ，２０ｂのみによって撮像された画像領域には、第１，第３及び第４のＣＣＤ２０ａ，２０ｃ，２０ｂの画像データが適用される。しかしながら、第１，第３及び第４のＣＣＤ２０ａ，２０ｃ，２０ｂは、第２のＣＣＤ２よりも解像度が低いため、各画像データに対して補間処理を施すことによって所望の解像度を有する合成画像を得ている。
【００９８】
一方、合成画像のうち、第１，第３及び第４のＣＣＤ２０ａ，２０ｃ，２０ｂ並びに第２のＣＣＤ２によって撮像された画像領域において、高解像度化を希望する青，赤，緑のいずれかの色成分を有する光を透過可能な第４の色フィルタ２１の画像データは、第２のＣＣＤ２によって撮像された画像データを適用し、その他２つの色に対応した画像データは、第１，第３及び第４のＣＣＤ２０ａ，２０ｃ，２０ｂのいずれか２つの画像データに対して補間処理を施すことによって所望の解像度を有する合成画像を得ている。
【００９９】
このような撮像処理を施すことによって、高解像度化を希望する青，赤，緑のいずれかの色成分を有する対応した画像領域のうち、所望の領域が部分的に高解像度化された合成画像を得ることができる。
【０１００】
６．前記合成手段の画像合成処理に際し、前記第１の撮像手段によって撮像された画像領域に対して前記第２の撮像手段によって撮像された画像領域が高倍率画像となるように、画像を合成することを特徴とする上記１ないし３のいずれか一つに記載の撮像装置。
（対応する発明の実施の形態）
この発明は、主に第６の実施の形態（図６）が対応する。
【０１０１】
第１及び第２のＣＣＤ１，２は、相互に同一画素数及び画素サイズを有しており、第２のＣＣＤ２上の結像倍率は、第１のＣＣＤ１上の結像倍率の３倍に設定されている。
（作用・効果）
合成部１０（図１〜図３参照）によって、第１のＣＣＤ１の画像データと第２のＣＣＤ２の画像データに合成処理を施した合成画像は、第２のＣＣＤ２によって撮像された中央画像領域（図６（ｃ）中、中央の格子間隔が狭まっている部分）が、第１のＣＣＤ１のみによって撮像された周辺画像領域よりも高倍率な画像となっている。
【０１０２】
本発明において、撮影者は、液晶モニタ１３（図２参照）に表示画像に基づいて、第２のＣＣＤ２によって撮像された中央画像領域に現された被写体の重要部を高倍率で観察しながら、第１のＣＣＤ１によって撮像された周辺画像領域を広画角で観察することができる。この結果、撮像目的や撮像対象に対応して被写体の重要部が変わった場合でも、短時間且つ簡単に第２のＣＣＤ２の撮像領域を新たな重要部へ移動させることができる。なお、合成画像は、所定の記憶部（図示しない）に記憶させるか、或いは、即時に出力させることになる。
【０１０３】
本発明によれば、撮像領域が部分的に拡大された場合でも、その拡大率に対応した高解像度な合成画像を得ることができる。
７．前記第１の撮像手段の光入射側には、前記第１の撮像手段の各画素に対応して配置され且つ複数色の光に対する透過特性を有する複数のフィルタ構成素子から成る第１の色フィルタが設けられており、
また、前記第２の撮像手段の光入射側には、前記第２の撮像手段の各画素に対応して配置され且つ複数色の光に対する透過特性を有する複数のフィルタ構成素子から成る第２の色フィルタが設けられており、
前記合成手段の画像合成処理に際し、前記第１及び第２の撮像手段によって重複撮像された画像領域の色情報のうち、前記第１の色フィルタに対応する色情報は、前記第１の撮像手段の出力色情報を適用し、その他の色情報は、前記第２の色フィルタに対応した前記第２の撮像手段の出力色情報を適用すると共に、前記第１の撮像手段のみによって撮像された画像領域の色情報は、前記第１の色フィルタに対応した前記第１の撮像手段の出力色情報、及び、隣接した画素相互の色情報に補間処理を施した出力色情報とを適用することを特徴とする上記１ないし３のいずれか一つに記載の撮像装置。
（対応する発明の実施の形態）
この発明は、主に第７の実施の形態（図７及び図８）が対応する。
【０１０４】
本発明において、第１及び第２の色フィルタ３０，３１は、第１及び第２のＣＣＤ１，２の画素配列に対応して、赤（Ｒ），緑（Ｇ），青（Ｂ）の色成分を有する光を透過可能なフィルタ構成素子（同図において、符号Ｒ，Ｇ，Ｂで示す）が、縦横に一定の周期で規則的に配置されている。具体的には、第１及び第２のＣＣＤ１，２は、相互に同一の画素数及び画素サイズを有しているため、第１及び第２の色フィルタ３０，３１のフィルタ構成素子も各ＣＣＤ１，２の画素数及び画素サイズと同一のフィルタ数及びフィルタサイズを有して構成されている。
【０１０５】
また、第２のＣＣＤ２上の結像倍率は、第１のＣＣＤ１上の結像倍率の３倍に設定されているため、第１のＣＣＤ１の１画素は、第２のＣＣＤ２の９画素分に対応している。
（作用・効果）
上記第１の実施の形態と同様の画像処理によって、第１及び第２のＣＣＤ１，２から出力された画像データは、合成部１０において、第１のＣＣＤ１の解像度を有する画像に合成される。
【０１０６】
このような合成画像において、第１及び第２のＣＣＤ１，２によって重複撮像された画像領域の色情報（仮に、重複色情報と称する）のうち、第１の色フィルタ３０に対応する色情報は、第１のＣＣＤ１の出力色情報を適用し、その他の色情報は、第２の色フィルタ３１に対応した第２のＣＣＤ２の出力色情報（第１のＣＣＤ１の各画素に対応した複数画素の色情報）を適用する。具体的には、上記重複色情報のうち、第１の色フィルタ３０に対応する色情報（例えば、赤（Ｒ））は、この色（Ｒ）の光を透過可能なフィルタ構成素子に対応した第１のＣＣＤ１の各画素からの出力色情報（Ｒ）を適用し、その他の２色の色情報（即ち、青（Ｂ），緑（Ｇ））は、これら２つの色（Ｂ，Ｇ）の光を透過可能なフィルタ構成素子に対応した第２のＣＣＤ２の各画素からの出力色情報（Ｂ，Ｇ）の平均値を適用する。
【０１０７】
一方、上記合成画像において、第１のＣＣＤ１のみによって撮像された画像領域の色情報は、第１の色フィルタ３０に対応した第１のＣＣＤ１の出力色情報、及び、隣接した画素相互の色情報に補間処理を施した出力色情報とを適用する。
【０１０８】
このように本実施の形態によれば、第１のＣＣＤ１によって撮像された画像領域の色情報はかならずしも正確ではないが、第２のＣＣＤ２の撮像領域では、第１のＣＣＤ１の１画素に対応する領域に、赤（Ｒ），緑（Ｇ），青（Ｂ）の色成分を有する光を透過可能な３個のフィルタ構成素子が含まれるため、全ての色情報をサンプリングすることができる。この結果、高精度な色再現性を実現することが可能となるため、撮像領域が部分的に高色再現された合成画像を得ることができる。
【０１０９】
【発明の効果】
本発明によれば、被写体の所望の画像領域に対して、少なくとも高解像度及び高色再現性の一方が維持された高画質化が実現可能な撮像装置を提供することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係る撮像装置の構成を示す図。
【図２】本発明の第２の実施の形態に係る撮像装置の構成を示す図。
【図３】本発明の第３の実施の形態に係る撮像装置の構成を示す図。
【図４】（ａ）は、本発明の第４の実施の形態に係る撮像装置に適用された第１のＣＣＤから出力された画像データを示す図、（ｂ）は、本発明の第４の実施の形態に係る撮像装置に適用された第２のＣＣＤから出力された画像データを示す図、（ｃ）は、本発明の第４の実施の形態に係る撮像装置に適用された合成部において、合成処理が施された合成画像を示す図。
【図５】本発明の第５の実施の形態に係る撮像装置の構成を示す図。
【図６】（ａ）は、本発明の第６の実施の形態に係る撮像装置に適用された第１のＣＣＤから出力された画像データを示す図、（ｂ）は、本発明の第６の実施の形態に係る撮像装置に適用された第２のＣＣＤから出力された画像データを示す図、（ｃ）は、本発明の第６の実施の形態に係る撮像装置に適用された合成部において、合成処理が施された合成画像を示す図。
【図７】本発明の第７の実施の形態に係る撮像装置の構成を示す図。
【図８】（ａ）は、本発明の第７の実施の形態に係る撮像装置に適用された第１の色フィルタの構成を示す図、（ｂ）は、本発明の第７の実施の形態に係る撮像装置に適用された第２の色フィルタの構成を示す図、（ｃ）は、本発明の第７の実施の形態に係る撮像装置に適用された合成部において、合成処理が施された合成画像を示す図、（ｄ）は、本実施の形態の改良に係り、第２の色フィルタの代わりに、Ｆ１からＦ９から成る９種類の色フィルタを縦横に並んだ３画素の領域内に規則的に配置させたフィルタを用いた場合の構成を示す図。
【符号の説明】
１…第１のＣＣＤ、２…第２のＣＣＤ、３…第１の光学系、４…第２の光学系、５…ハーフミラー、６…第１の光軸、７…第２の光軸、８…第１の予定結像面、９…第２の予定結像面、１０…合成部。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an imaging apparatus that improves the image quality of an important image area of a subject using a plurality of imaging elements having a limited number of pixels, for example.
[0002]
[Prior art]
For example, digital cameras, which are mainly expensive cameras such as broadcasting cameras, have recently become commercially available as low-priced products, and are generally widely used as image input devices for personal computers. It has become. The demand for higher image quality and high-precision color reproducibility for digital images is increasing, and the resolution is as high as that of silver halide photography. There is a demand for resolution.
[0003]
In response to such a demand for higher resolution, for example, an imaging device such as a CCD having several million pixels has been developed for the purpose of increasing the number of pixels and increasing the density.
However, such a demand for higher resolution is limited due to restrictions on the light receiving area of the image sensor. Furthermore, the use of such an image sensor with a high number of pixels is limited in terms of cost.
[0004]
For this reason, as a method for obtaining a high-resolution image, a method of synthesizing captured images obtained by one photographing using a plurality of imaging elements having a limited number of pixels, or a method obtained by photographing a plurality of times. A method for synthesizing the captured images has been proposed. For example, a method of shifting pixels, a method of capturing an image with the aperture of the image sensor limited by a shutter, and a high-resolution image by synthesizing images captured by changing the aperture position (JP-A-6-276448) ), A method of obtaining a high-resolution image by synthesizing each of a plurality of low-definition and wide-angle whole still images and high-definition and narrow-angle partial still images. Japanese Laid-Open Patent Publication No. 6-292052), a method of obtaining a high-resolution image by simultaneously imaging a plurality of partial images using an imaging device having a limited number of pixels (Japanese Patent Laid-Open No. 7-92). No. 123315) is proposed.
[0005]
Further, the color image information can be obtained in a pseudo manner by appropriately arranging three types of color filters on one CCD pixel. Usually, in order to ensure highly accurate color reproducibility, An imaging device having three imaging elements in which three types of filters are arranged on the entire surface is used.
[0006]
[Problems to be solved by the invention]
By the way, for example, in a subject such as a human image or an image including a region with many high spatial frequency components, an image with a narrow focused image region, or a microscopic image in which an object to be observed is locally included in the field of view. In particular, there may be local image regions where high image quality is desired.
[0007]
It is wasteful to improve the image quality of the entire image with respect to such an image because it is necessary to assign the image pickup element of the image pickup apparatus to the entire image region in order to improve the image quality of the entire image.
[0008]
Further, as disclosed in the above-mentioned JP-A-6-276448, JP-A-7-123315, JP-A-6-292052, etc., a method for increasing the resolution of the entire image, a still image partially Many methods for increasing the resolution have been proposed, but no method for partially increasing the resolution of a moving image has been proposed. Furthermore, no highly accurate color reproduction method has been proposed under the same conditions.
[0009]
Accordingly, an object of the present invention is to provide an imaging apparatus capable of realizing high image quality while maintaining at least one of high resolution and high color reproducibility for a desired image region of a subject.
[0010]
[Means for Solving the Problems]
In order to achieve such an object, the image pickup apparatus of the present invention includes: a first image pickup unit that obtains first image information by forming a subject image by a first optical system; A second imaging unit that obtains second image information by forming the subject image with a second optical system having a larger imaging magnification than the optical system; and the first image information and the second image information. Combining means for combining image information, and correcting at least one of the first image information and the second image information to be combined. No , In the correction, on the first imaging unit and the second imaging unit, based on the correlation between the image information in the portion where the first image information and the second image information overlap. The distortion of at least one of the images is corrected. It is characterized by.
[0011]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an imaging apparatus according to a first embodiment of the present invention will be described with reference to FIG.
As shown in FIG. 1, the imaging apparatus of the present embodiment includes a first imaging means, that is, a first CCD 1, a first optical system 3 that forms a subject image on the first CCD 1, and a second CCD Imaging means, that is, the second CCD 2 and a second optical system 4 having an imaging magnification larger than that of the first optical system 3 and forming a subject image on the second CCD 2 (to be precise in FIG. 1, The second optical system is composed of the first optical system 3, the half mirror 5, and the optical system 4, which will be referred to as “second optical system 4” for simplification of description below) and the first The image forming apparatus includes a combining unit that combines the image information captured by the CCD 1 and the image information captured by the second CCD 2.
[0012]
On the optical axis of the first optical system 3, a half mirror 5 is disposed between the first CCD 1 and the first optical system 3, and the half mirror 5 allows the first optical system 3. The optical axis is divided into first and second optical axes 6 and 7.
[0013]
On the first optical axis 6 extending from the first optical system 3 through the half mirror 5, a first planned imaging plane 8 of the first optical system 3 is defined. The first CCD 1 is disposed on the scheduled image plane 8. On the other hand, on the second optical axis 7 extending from the first optical system 3 via the half mirror 5, the second optical system 4 and the second planned imaging plane of the second optical system 4 are provided. 9 is defined, and the second CCD 2 is arranged on the second scheduled imaging plane 9.
[0014]
The first and second CCDs 1 and 2 are electrically connected to the combining unit 10 by signal transmission means (not shown).
The first and second optical systems 3 and 4 are each composed of a plurality of lenses or the like (not shown), but are schematically represented by a single lens in FIG.
[0015]
Next, the operation of the present embodiment will be described.
The image light of the subject collected by the first optical system 3 is divided into transmitted light and reflected light by the half mirror 5.
[0016]
The transmitted light that has passed through the half mirror 5 is imaged on the first CCD 1 disposed on the first planned imaging surface 8, and the entire image light of the subject is imaged by the first CCD 1.
[0017]
On the other hand, the reflected light reflected from the half mirror 5 is reflected on the second CCD 2 arranged on the second planned imaging plane 9 by the second optical system 4 having an imaging magnification larger than that of the first optical system 3. The second CCD 2 picks up a part of the image light of the subject. Note that the imaging area of the second CCD 2 is defined substantially at the center of the imaging area of the first CCD 1, and the size and resolution of the imaging area are set in accordance with the imaging magnification of the second optical system 4. It is possible to determine.
[0018]
The image data imaged by the first and second CCDs 1 and 2 are transmitted to the synthesizing unit 10 via the signal transmission means, respectively, and then in the synthesizing unit 10 in a fourth embodiment to be described later. A single composite image is created by performing signal synthesis processing in accordance with the purpose of higher resolution as described and high color reproduction as described in the seventh embodiment to be described later. It will be.
[0019]
In the present embodiment, in the entire image area of the single composite image, the image data picked up by the first CCD 1 is applied to the image area unique to the first CCD 1 and the first CCD 1 is used. The image data picked up by at least the second CCD 2 is applied to the common image area of the second CCD 1 and the second CCD 1. Therefore, the one composite image is a composite image partially improved in image quality. The synthesized image created by the synthesizing unit 10 is stored in a storage unit (not shown) or is immediately output to a predetermined circuit unit (not shown).
[0020]
As described above, according to the present embodiment, it is possible to provide an imaging apparatus capable of realizing high image quality while maintaining high resolution and high color reproducibility for a desired image region of a subject.
[0021]
In addition, this invention is not limited to the structure of the said 1st Embodiment, A various deformation | transformation and change are possible in the range which does not add a new matter. For example, instead of the half mirror 5, any light wavefront dividing means such as a prism may be used. Further, after the image light of the subject is divided into two by the half mirror 5, the two divided lights are connected to the first and second CCDs 1 and 2 by the first and second optical systems having relatively different imaging magnifications. You may comprise so that it may image. Further, it is possible to divide the light into a plurality of divided lights by the half mirror 5, and in this case, by using the same method as in the first embodiment, a plurality of high light is included in one composite image. It is possible to arbitrarily set the image quality area. It is also preferable to arrange a color filter as applied to the fifth embodiment described later on the light incident side of the first and second CCDs 1 and 2.
[0022]
Next, an imaging apparatus according to a second embodiment of the present invention will be described with reference to FIG. In the description of the present embodiment, the same reference numerals are given to the same components as those in the first embodiment, and the description thereof is omitted.
[0023]
As shown in FIG. 2, the imaging apparatus according to the present embodiment controls the second optical system 4 and the second CCD 2 by moving the second optical system 4 and the second CCD 2 in a predetermined direction along the second optical axis 7. A drive unit 11 capable of changing the imaging magnification on the imaging surface 9 to a desired value, and the adjustment of the imaging magnification of the second optical system 4 and the position change of the second CCD 2 connected to the drive unit 11 And a control unit 12 for performing the above.
[0024]
The drive unit 11 changes the imaging magnification on the second planned imaging surface 9 by moving the second optical system 4 along the second optical axis 7 or adjusting in the direction of the second optical axis 7. In addition, the movement of the second CCD 2 is controlled in the direction of the second optical axis 7 or along the second planned imaging plane 9.
[0025]
The control unit 12 is electrically connected to the drive unit 11 and the synthesis unit 10 by signal transmission means (not shown). Further, a liquid crystal monitor 13 is electrically connected to the synthesizing unit 10, and the liquid crystal monitor 13 is configured to display a predetermined image area on a liquid crystal display based on an image signal transmitted from the synthesizing unit 10. Has been. Since other configurations are the same as those of the first embodiment, description thereof is omitted.
[0026]
Hereinafter, the operation of the present embodiment will be described.
When starting the imaging, the drive unit 11 moves the second optical system 4 and the second CCD 2 in a predetermined direction based on a control signal from the control unit 12, thereby causing the scheduled imaging region of the second CCD 2 to move. Set.
[0027]
A method for setting a control signal transmitted from the control unit 12 to the drive unit 11 is a first method that is set by the photographer himself based on the scheduled imaging areas of the first and second CCDs 1 and 2 displayed on the liquid crystal monitor 13. Or a second method of automatically setting the first picked-up image data of the first CCD 1 output from the combining unit 10 and the calculation data according to the algorithm in the control unit 12 set in advance according to the purpose. Etc. can be applied. An example in which the first method is applied corresponds to a case where a face of a human image is selected. As an example to which the second method is applied, there is a case where the second CCD 2 is assigned to a region containing the highest high spatial frequency component after the scheduled captured image of the first CCD 1 is divided into a plurality of regions.
[0028]
After the scheduled imaging area of the second CCD 2 is set, the same imaging process as that of the first embodiment is performed, so that one composite image in which the desired area is partially improved in image quality is obtained. Obtainable.
[0029]
The present invention is not limited to the configuration of each of the embodiments described above, and various modifications and changes can be made without adding new matters. For example, the liquid crystal monitor 13 may be incorporated in a finder equipped with a predetermined optical system. Alternatively, the second CCD 2 may be rotated on the second scheduled imaging plane 9 in the range of 0 ° to 45 ° to optimally adjust the CCD pixel arrangement. It is also preferable to arrange a color filter as applied to the fifth embodiment described later on the light incident side of the first and second CCDs 1 and 2.
[0030]
Next, an imaging apparatus according to a third embodiment of the present invention will be described with reference to FIG. In the description of the present embodiment, the same reference numerals are given to the same components as those in the first embodiment, and the description thereof is omitted.
[0031]
As shown in FIG. 3, the imaging apparatus of the present embodiment has a plurality of light amount limiting means, that is, ND filters (14, 15) having different transmittances, and a desired ND filter is selected from the plurality of ND filters. Is imaged on the first and second CCDs 1 and 2 and the filter drive unit 16 configured to be selectively arranged on at least one of the first optical axis 6 and the second optical axis 7. By driving and controlling the filter driving unit 16 so as to limit the image light amount of the subject to a desired amount, at least one of the first optical axis 6 and the second optical axis 7 is changed from a plurality of ND filters to a desired ND filter. And a control unit 12 that is selectively arranged on the optical axis. Since other configurations are the same as those of the first embodiment, description thereof is omitted.
[0032]
Hereinafter, the operation of the present embodiment will be described.
The scheduled captured images subjected to image processing by the first and second CCDs 1 and 2 are transmitted to the synthesizing unit 10 through signal transmission means (not shown), and further transmitted to the control unit 12.
[0033]
The control unit 12 calculates an optimum exposure amount for the scheduled captured images of the first and second CCDs 1 and 2 and performs an optimum ND filter selection process that gives the optimum exposure amount.
[0034]
The filter drive unit 16 arranges the selected ND filter on at least one of the first optical axis 6 and the second optical axis 7 based on the selection command output from the control unit 12.
[0035]
In the present embodiment, as an example, the first ND filter 14 is disposed so as to cross the first optical axis 6 in the optical path between the half mirror 5 and the first CCD 1, and the half mirror 5. The second ND filter 15 is disposed so as to cross the second optical axis 7 in the optical path between the first optical system 4 and the second optical system 4. Note that the first ND filter 14 and the second ND filter 15 have substantially constant transmittances that are different in the visible light region.
[0036]
Thereafter, in the state where the first and second ND filters 14 and 15 are arranged, the first and second CCDs 1 and 2 again form a scheduled captured image, and the arranged first and second ND filters 14 and 15 are arranged. A search is performed to determine whether the ND filters 14 and 15 are optimal ND filters.
[0037]
As a result of this search processing, after the first and second ND filters 14 and 15 are set as ND filters that give an optimal exposure amount, the same imaging processing as that in the first embodiment is performed. A single composite image in which a desired area is partially improved in image quality is obtained.
[0038]
According to the present embodiment, it is possible to realize high image quality for a gradation image having a wider range than the dynamic range (effective imaging range) of the first and second CCDs 1 and 2.
[0039]
In the drawing, the first and second ND filters 14 and 15 are arranged on the first and second optical axes 6 and 7 as an example. Since a plurality of ND filters (not shown) are set, any ND filter can be selectively arranged in accordance with the imaging purpose and the exposure amount change specification.
[0040]
The present invention is not limited to the configuration of each of the above embodiments, and various modifications and changes can be made without adding new matters. For example, the arrangement position of the ND filter that is selectively arranged on the second optical axis 7 is not limited to the position on the drawing, and may be in the optical path between the second optical system 4 and the second CCD 2. . In the drawing, the ND filter is disposed on the first and second optical axes 6 and 7, but the ND filter is disposed only on one of the optical axes and the exposure on the other optical axis. By controlling the time, it is possible to realize optimum exposure to the CCDs 1 and 2. Furthermore, optimal exposure to each of the CCDs 1 and 2 can be realized by arranging shutters on the first and second optical axes 6 and 7 and controlling them separately. It is also preferable to arrange a color filter as applied to the fifth embodiment described later on the light incident side of the first and second CCDs 1 and 2.
[0041]
Next, an imaging device according to a fourth embodiment of the present invention will be described with reference to FIG.
As shown in FIG. 4, the present embodiment relates to processing of output image data by the first and second CCDs 1 and 2 applied to the imaging devices of the first to third embodiments. Since the configuration is the same as that of the first to third embodiments, only the differences will be described in the following description.
[0042]
FIGS. 4A and 4B show image data output from the first and second CCDs 1 and 2, and each square area regularly and vertically surrounded in a lattice shape is shown in FIG. It corresponds to one pixel of each CCD1,2. The first and second CCDs 1 and 2 have the same number of pixels and the same pixel size, and the imaging magnification on the second CCD 2 is 3 of the imaging magnification on the first CCD 1. It is set to double. Accordingly, one pixel of the first CCD 1 corresponds to nine pixels of the second CCD 2. For example, nine pixels surrounded by a thick frame at the center of the first CCD 1 (see (a) in the figure) correspond to the entire imaging region of the second CCD 2 (see (b) in the same figure).
[0043]
In the image data of the first CCD 1 (see FIG. 1A) and the image data of the second CCD 2 (see FIG. 1B), the first optical system 3 (see FIGS. 1 to 3) and The optical axis of the second optical system 4 (see FIGS. 1 to 3) is positioned at the center of the imaging area of the first and second CCDs 1 and 2.
[0044]
Also, FIG. 4C shows a composite image obtained by combining the image data of the first CCD 1 and the image data of the second CCD 2 by the combining unit 10 (see FIGS. 1 to 3). Yes. This composite image has the resolution of the second CCD 2, but for convenience, only the imaging area of the second CCD 2 is shown at the actual resolution.
[0045]
In the present embodiment, in the state in which the resolution of the composite image (see FIG. 5C) is set larger than the resolution of the first CCD 1, the composite image has an image area captured only by the first CCD 1. Applies only the image data of the first CCD 1, and only the image data of the second CCD 2 is applied to the image areas that are imaged by the first and second CCDs 1 and 2.
[0046]
In this case, when the image data of the second CCD 2 is combined, an image combining process is performed on the first CCD 1 applied in the combined image area on the basis of the image data. As a result, an image with the same magnification is synthesized in all image areas.
[0047]
As described above, according to the present embodiment, it is possible to increase the resolution of the image area captured by the second CCD 2 in the composite image.
The present invention is not limited to the configuration of each of the embodiments described above, and various modifications and changes can be made without adding new matters. For example, the imaging magnification of the second CCD 2 can be arbitrarily set, and the first and second imaging magnifications on the second CCD 2 are made smaller than the imaging magnification on the first CCD 1. The roles of the CCDs 1 and 2 can be exchanged. Further, when there is a difference in distortion of the images on the first and second CCDs 1 and 2, it can be easily corrected by taking into account the correlation of overlapping portions of the images at the time of image synthesis. . Further, the image data of the second CCD 2 can be used only in a region where a sense of incongruity does not occur in the composite image. In the state where the image forming magnification of the second optical system 4 is adjusted or the image forming magnification on the first and second CCDs 1 and 2 is made equal to each other by removing the second optical system 4. The positions of the first and second CCDs 1 and 2 are shifted by half a pixel with respect to the subject by the drive unit 11 (see FIG. 2). As a result, it is possible to achieve high resolution based on the conventionally proposed pixel shifting method, and even when there is no area where high resolution is partially desired, the second CCD 2 can be effectively used for high image quality. it can.
[0048]
Next, an imaging device according to a fifth embodiment of the present invention will be described with reference to FIG. The present embodiment relates to the improvement of the first to fourth embodiments, and the main configuration is the same as that of the first embodiment. Therefore, only the differences will be described in the following description. Add a description.
[0049]
As shown in FIG. 5, on the first optical axis 6 extending through the half mirror 5 (in this embodiment, this half mirror 5 is temporarily called the first half mirror 5) Two half mirrors 17 are arranged, and the third optical axis 22 is defined by the second half mirror 17. A third half mirror 18 is disposed on the third optical axis 22, and a fourth optical axis 23 is defined by the third half mirror 18.
[0050]
Further, a first CCD 20a is provided on the image plane defined on the first optical axis 6, and light having a blue component is applied to the entire surface on the light incident side of the first CCD 20a. A transmissive first color filter 19a is disposed. A third CCD 20c is provided on the image plane defined on the third optical axis 22, and light having a red component can be transmitted through the entire surface of the light incident side of the third CCD 20c. A second color filter 19c is arranged. A fourth CCD 20b is provided on the image plane defined on the fourth optical axis 23. Light having a green component on the entire surface is incident on the light incident side of the fourth CCD 20b. A transmissive third color filter 19b is arranged.
[0051]
The first, third, and fourth CCDs 20a, 20c, and 20b are electrically connected to the combining unit 10 by signal transmission means (not shown). Further, on the light incident side of the second CCD 2, a fourth color filter 21 capable of transmitting light having any one of blue, red, and green color components for which high color reproduction is desired is disposed on the entire surface. Yes.
[0052]
Hereinafter, the operation of the present embodiment will be described.
The distances from the first optical system 3 to the first, third, and fourth CCDs 20a, 20c, and 20b are the same, and the imaging magnifications on the CCDs 20a, 20c, and 20b are also set to be the same. ing.
[0053]
The image light of the subject condensed by the first optical system 3 is divided into transmitted light and reflected light by the first half mirror 5.
The transmitted light that has passed through the first half mirror 5 is further divided into transmitted light and reflected light by the second half mirror 17, and then the transmitted light passes through the first color filter 19a and the first CCD 20a. The image is formed above, and the reflected light is further divided into transmitted light and reflected light by the third half mirror 18.
[0054]
The transmitted light transmitted through the third half mirror 18 forms an image on the third CCD 20c via the second color filter 19c, and the reflected light reflected from the third half mirror 18 is reflected by the third color filter. An image is formed on the fourth CCD 20b via 19b.
[0055]
On the other hand, the reflected light reflected from the first half mirror 5 is subjected to the second scheduled operation at a magnification that is larger than the magnification of the first, third, and fourth CCDs 20a, 20c, and 20b by the second optical system 4. An image is formed on the image plane 9. For this reason, on the second CCD 2 on which the fourth color filter 21 capable of transmitting light having any color component of blue, red, or green for which high color reproduction is desired is disposed on the entire surface, the second color filter 21 is provided. A part of the magnified image formed on the scheduled image plane 9 is formed. Note that the imaging area of the second CCD 2 is defined approximately at the center of the imaging areas of the first, third, and fourth CCDs 20a, 20c, and 20b, and corresponds to the imaging magnification of the second optical system 4. Thus, the size and resolution of the imaging area can be determined.
[0056]
The image data picked up by the first, third and fourth CCDs 20a, 20c, 20b and the second CCD 2 are transmitted to the synthesizing unit 10 via the signal transmission means, respectively, and then, in the synthesizing unit 10. The second CCD 2 is combined with an image having a resolution.
[0057]
Image data of the first, third, and fourth CCDs 20a, 20c, and 20b is applied to an image area that is captured by only the first, third, and fourth CCDs 20a, 20c, and 20b in the composite image. . However, since the first, third, and fourth CCDs 20a, 20c, and 20b have a lower resolution than the second CCD 2, a composite image having a desired resolution is obtained by performing interpolation processing on each image data. ing.
[0058]
On the other hand, in the composite image, any one of blue, red, and green colors for which high resolution is desired in the image areas captured by the first, third, and fourth CCDs 20a, 20c, and 20b and the second CCD 2. Image data captured by the second CCD 2 is applied to the image data of the fourth color filter 21 that can transmit light having components, and image data corresponding to the other two colors are the first, third, and A composite image having a desired resolution is obtained by performing an interpolation process on any two image data of the fourth CCDs 20a, 20c, and 20b.
[0059]
By performing such an imaging process, a composite image in which a desired area is partially increased in resolution among corresponding image areas having any of blue, red, and green color components for which higher resolution is desired. Can be obtained.
[0060]
The present invention is not limited to the configuration of each of the embodiments described above, and various modifications and changes can be made without adding new matters. For example, instead of providing each color filter and each CCD separately, a color filter capable of transmitting light having a color component of blue, red, or green is integrally provided for each pixel. A CCD may be used. In this case, in addition to partial resolution enhancement, higher-precision color reproducibility is realized for any of the blue, red, and green color components. Further, instead of the first to third half mirrors 5, 17, 18, optical path dividing means such as a prism may be used.
[0061]
Next, an imaging device according to a sixth embodiment of the present invention will be described with reference to FIG.
As shown in FIG. 6, the present embodiment relates to processing of output image data by the first and second CCDs 1 and 2 applied to the imaging devices of the first to fourth embodiments. Since the configuration is the same as in the first to fourth embodiments, only the differences will be described in the following description.
[0062]
FIGS. 6A and 6B show image data output from the first and second CCDs 1 and 2, and individual square regions regularly and vertically surrounded in a lattice shape are shown as follows. It corresponds to one pixel of each CCD1,2. The first and second CCDs 1 and 2 have the same number of pixels and the same pixel size, and the imaging magnification on the second CCD 2 is three times the imaging magnification on the first CCD 1. Is set to Accordingly, one pixel of the first CCD 1 corresponds to nine pixels of the second CCD 2. For example, nine pixels surrounded by a thick frame at the center of the first CCD 1 (see (a) in the figure) correspond to the entire imaging region of the second CCD 2 (see (b) in the figure).
[0063]
In the image data of the first CCD 1 (see FIG. 1A) and the image data of the second CCD 2 (see FIG. 1B), the first optical system 3 (see FIGS. 1 to 3) and The optical axis of the second optical system 4 (see FIGS. 1 to 3) is positioned at the center of the imaging area of the first and second CCDs 1 and 2.
[0064]
Further, FIG. 6C shows a composite image obtained by combining the image data of the first CCD 1 and the image data of the second CCD 2 by the combining unit 10 (see FIGS. 1 to 3). Yes. In this composite image, the central image area captured by the second CCD 2 (the part where the central lattice interval is narrowed in FIG. 5C) is larger than the peripheral image area captured only by the first CCD 1. The image has a high magnification.
[0065]
In the present embodiment, the photographer observes the important part of the subject appearing in the central image area captured by the second CCD 2 at a high magnification based on the display image of the liquid crystal monitor 13 (see FIG. 2). However, the peripheral image area imaged by the first CCD 1 can be observed with a wide angle of view. As a result, even when the important part of the subject changes corresponding to the imaging purpose or the imaging target, the imaging area of the second CCD 2 can be moved to a new important part easily in a short time. Note that the composite image is stored in a predetermined storage unit (not shown) or is output immediately.
[0066]
As described above, according to the present embodiment, even when the imaging region is partially enlarged, a high-resolution composite image corresponding to the enlargement rate can be obtained.
The present invention is not limited to the configuration of each of the embodiments described above, and various modifications and changes can be made without adding new matters. For example, the composition of the important part and its peripheral part does not use a specific resolution in each region, but the boundary between the images of the first and second CCDs 1 and 2 in the composite image is continuous. By continuously changing the resolution of each image, the enlargement ratio is the largest near the center of the important part, and the enlargement ratios of the important part and the peripheral part can be made equal near the boundary. The use of the synthesis method in this case is suitable, for example, for camera shooting of an unmanned exploration robot or shooting during sports watching.
[0067]
Next, an imaging device according to a seventh embodiment of the present invention will be described with reference to FIGS.
As shown in FIG. 7, the present embodiment relates to the improvement of the imaging devices of the first to third embodiments, and the first and second CCDs 1 and 2 are arranged on the light incident side of the first and second CCDs 1 and 2, respectively. Since the configuration other than the arrangement of the color filters 30 and 31 (see FIGS. 8A and 8B) is the same as that of the first to third embodiments, in the following description, Only the differences will be explained.
[0068]
As shown in FIGS. 8A and 8B, the first and second color filters 30 and 31 correspond to red (R) and green corresponding to the pixel arrangement of the first and second CCDs 1 and 2, respectively. (G), Blue Filter constituent elements (indicated by reference numerals R, G, and B in the figure) capable of transmitting light having color components of (B) are regularly arranged in a certain cycle vertically and horizontally. . Specifically, since the first and second CCDs 1 and 2 have the same number of pixels and the same pixel size, the filter constituent elements of the first and second color filters 30 and 31 are also each CCD 1. , 2 and the same filter number and filter size as the pixel size.
[0069]
Further, since the imaging magnification on the second CCD 2 is set to three times the imaging magnification on the first CCD 1, one pixel of the first CCD 1 is equal to nine pixels of the second CCD 2. It corresponds. For example, nine filter constituent elements surrounded by a thick border line at the center of the first CCD 1 (see FIG. 1A) are all filter constituent elements of the second CCD 2 (see FIG. 1B). It corresponds. Specifically, one filter component of the first color filter 30 transmits light having red (R), green (G), and blue (B) color components in the second color filter 31. It corresponds to a combination of three possible filter components. In this case, the three filter constituent elements that can transmit light having the red (R), green (G), and blue (B) color components obtain red, green, and blue color component information, respectively. It has transmission characteristics, and predetermined color information (image data) can be obtained from each pixel corresponding to each filter component.
[0070]
Next, the operation of the present embodiment will be described.
The image data output from the first and second CCDs 1 and 2 is combined into an image having the resolution of the first CCD 1 in the combining unit 10 by image processing similar to that in the first embodiment ( (See (c) in the figure).
[0071]
In such a composite image, the color information corresponding to the first color filter 30 among the color information of the image area that is overlapped and imaged by the first and second CCDs 1 and 2 (referred to as overlap color information) is The output color information of the first CCD 1 is applied, and the other color information is output color information of the second CCD 2 corresponding to the second color filter 31 (a plurality of pixels corresponding to each pixel of the first CCD 1). Color information). Specifically, among the overlapping color information, the color information (for example, red (R)) corresponding to the first color filter 30 corresponds to a filter component capable of transmitting light of this color (R). The output color information (R) from each pixel of the first CCD 1 is applied, and the other two color information (namely, blue (B), green (G)) is the two colors (B, G). The average value of the output color information (B, G) from each pixel of the second CCD 2 corresponding to the filter constituent element capable of transmitting the light is applied.
[0072]
On the other hand, in the composite image, the color information of the image area captured only by the first CCD 1 includes the output color information of the first CCD 1 corresponding to the first color filter 30 and the color information of adjacent pixels. The output color information obtained by performing the interpolation process on is applied.
[0073]
As described above, according to the present embodiment, the color information of the image area captured by the first CCD 1 is not always accurate, but the image area of the second CCD 2 corresponds to one pixel of the first CCD 1. Since the area includes three filter components that can transmit light having color components of red (R), green (G), and blue (B), all color information can be sampled. As a result, highly accurate color reproducibility can be realized, so that a composite image in which the imaging region is partially reproduced with high color can be obtained.
[0074]
The present invention is not limited to the configuration of each of the embodiments described above, and various modifications and changes can be made without adding new matters. For example, the type, arrangement, size, and number of pixels of the filter constituent elements of the first and second color filters 30 and 31 need not be the same. For example, a complementary color filter is used, or various color filters are randomly selected. Various combinations are possible, such as disposing them in various ways, and the effect of high color reproduction can be obtained by changing the processing method during image synthesis. In this case, for example, as shown in FIG. 7 (d), instead of the second color filter 31, nine kinds of color filters composed of F1 to F9 are regularly arranged in a region of three pixels arranged vertically and horizontally. It is preferable to use a filtered filter. As a result, approximate multi-color information can be obtained for each pixel in the partial region.
[0075]
The imaging magnification on the second CCD 2 with respect to the first CCD 1 can be arbitrarily set. In this case, for example, by obtaining the correspondence between the color filters based on the setting information from the control unit 12 (see FIGS. 2 and 3) and the correlation information of the first and second CCDs 1 and 2, Color reproduction can be realized.
[0076]
The present invention includes the following inventions.
1. First imaging means;
A first optical system that forms a subject image on the first imaging means;
A second imaging means;
A second optical system having an imaging magnification larger than that of the first optical system and forming the subject image on the second imaging means;
An image pickup apparatus comprising: combining means for combining image information picked up by the first image pickup means and image information picked up by the second image pickup means.
(Corresponding Embodiment of the Invention)
The present invention mainly corresponds to the first embodiment (see FIG. 1).
[0077]
The first and second imaging units correspond to the first and second CCDs 1 and 2, and the combining unit corresponds to the combining unit 10.
(Action / Effect)
The image light of the subject collected by the first optical system is divided into transmitted light and reflected light by a half mirror disposed on the optical axis of the first optical system, and the transmitted light is the first imaging. An image is formed on the means, and the reflected light forms an image on the second image pickup means via the second optical system having an image forming magnification larger than that of the first optical system. In addition, the imaging area of the second imaging means is defined substantially at the center of the imaging area of the first imaging means. Further, the synthesizing unit combines the high-resolution partial image captured by the second image capturing unit and the entire image captured by the first image capturing unit by a method according to the purpose of improving the image quality. And
[0078]
In the entire image area of the single composite image, the image data picked up by the first CCD 1 is applied to the image area unique to the first CCD 1, and the first and second CCDs 1, 1 are used. The image data captured by at least the second CCD 2 is applied to the two common image areas. Therefore, the one composite image is a composite image partially improved in image quality.
[0079]
According to the present invention, it is possible to provide an imaging device capable of realizing high image quality while maintaining high resolution and high color reproducibility for a desired image region of a subject.
2. The second optical system and the second imaging so that the second image area captured by the second imaging means is positioned at a desired position within the first image area captured by the first imaging means. Moving means for controlling movement of the means in a predetermined direction;
Position setting means for setting the position of the second image area with respect to the first image area;
The synthesizing unit synthesizes the image information captured by the first imaging unit and the image information captured by the second imaging unit based on information output from the position setting unit. The imaging apparatus according to 1 above.
(Corresponding Embodiment of the Invention)
The present invention mainly corresponds to the second embodiment (FIG. 2).
[0080]
The moving unit corresponds to the drive unit 11, and the position setting unit corresponds to the control unit 12.
(Action / Effect)
When starting the imaging, the drive unit 11 moves the second optical system 4 and the second CCD 2 in a predetermined direction based on a control signal from the control unit 12, thereby causing the scheduled imaging region of the second CCD 2 to move. Set.
[0081]
A method for setting a control signal transmitted from the control unit 12 to the drive unit 11 is a first method that is set by the photographer himself based on the scheduled imaging areas of the first and second CCDs 1 and 2 displayed on the liquid crystal monitor 13. Or a second method of automatically setting the first picked-up image data of the first CCD 1 output from the combining unit 10 and the calculation data according to the algorithm in the control unit 12 set in advance according to the purpose. Etc. can be applied. An example in which the first method is applied corresponds to a case where a face of a human image is selected. As an example to which the second method is applied, there is a case where the second CCD 2 is assigned to a region containing the highest high spatial frequency component after the scheduled captured image of the first CCD 1 is divided into a plurality of regions.
[0082]
After the scheduled imaging area of the second CCD 2 is set, an imaging process similar to that in the first embodiment is performed to obtain a single composite image in which a desired area is partially improved in image quality. be able to.
[0083]
3. A plurality of light amount limiting means having different transmittances from each other;
From the plurality of light quantity limiting means, a desired light quantity limiting means is used as a first optical path between the first optical system and the first imaging means, and the first optical system and the second imaging means. A light quantity limiting means driving unit configured to be selectively disposed in at least one of the second optical paths between
Of the plurality of light quantity limiting means, a desired light quantity limiting means is controlled by driving and controlling the light quantity limiting means driving unit so as to limit the light quantity of the subject image formed on the first and second imaging means to a desired amount. 3. The imaging apparatus according to claim 1, further comprising: a control unit that selectively arranges the light amount limiting unit in at least one of the first optical path and the second optical path. .
(Corresponding Embodiment of the Invention)
The present invention mainly corresponds to the third embodiment (FIG. 3).
[0084]
The light quantity limiting means corresponds to a plurality of ND filters accommodated in the filter driving unit 16, and the control means corresponds to the control unit 12.
(Action / Effect)
The scheduled captured images subjected to image processing by the first and second CCDs 1 and 2 are transmitted to the synthesizing unit 10 via signal transmission means (not shown), and then further transmitted to the control unit 12. The optimum exposure amount for the scheduled captured images of the CCDs 1 and 2 is calculated, and an optimum ND filter selection process for giving the optimum exposure amount is performed.
[0085]
The filter drive unit 16 arranges the selected ND filter on at least one of the first optical axis 6 and the second optical axis 7 based on the selection command output from the control unit 12.
[0086]
Thereafter, in the state where the first and second ND filters 14 and 15 are arranged, the first and second CCDs 1 and 2 again form a scheduled captured image, and the arranged first and second ND filters 14 and 15 are arranged. A search is performed to determine whether the ND filters 14 and 15 are optimal ND filters.
[0087]
As a result of this search processing, after the first and second ND filters 14 and 15 are set as ND filters that give an optimal exposure amount, the same imaging processing as that in the first embodiment is performed. A single composite image in which a desired area is partially improved in image quality is obtained.
[0088]
According to the present invention, it is possible to realize high image quality for a gradation image having a wider range than the dynamic range (effective imaging range) of the first and second CCDs 1 and 2.
4). In the image synthesizing process of the synthesizing unit, in the state where the resolution of the synthesized image is set larger than the resolution of the first imaging unit, an image area captured only by the first imaging unit is included in the first image capturing unit. Apply image data picked up by only the image pickup means, and apply image data picked up by the second image pickup means to the image area picked up by the first and second image pickup means. The imaging apparatus according to any one of 1 to 3, wherein an image with the same magnification is synthesized in all image areas.
(Corresponding Embodiment of the Invention)
The present invention mainly corresponds to the fourth embodiment (FIG. 4).
[0089]
The first and second CCDs 1 and 2 have the same number of pixels and the same pixel size, and the imaging magnification on the second CCD 2 is three times the imaging magnification on the first CCD 1. Is set. Accordingly, one pixel of the first CCD 1 corresponds to nine pixels of the second CCD 2.
(Action / Effect)
In the present invention, in the state where the resolution of the composite image is set larger than the resolution of the first CCD 1, only the image data of the first CCD 1 is included in the image area captured by only the first CCD 1 in the composite image. In addition, only the image data of the second CCD 2 is applied to the image area that is overlapped and imaged by the first and second CCDs 1 and 2.
[0090]
In this case, when the image data of the second CCD 2 is synthesized, an image synthesis process is performed based on the image data of the first CCD 1 applied in the synthesized image area. As a result, an image with the same magnification is synthesized in all image areas.
[0091]
According to the present invention, it is possible to increase the resolution of an image area captured by the second CCD 2 in a composite image.
5). The first imaging means is composed of a plurality of imaging elements, and color filters having transmission characteristics corresponding to light having a predetermined color component are arranged on the light incident sides of the plurality of imaging elements, respectively. In addition, a color filter having a transmission characteristic corresponding to light having a desired color component among the predetermined color components is disposed on the light incident side of the second imaging unit. The imaging apparatus according to 4 above.
(Corresponding Embodiment of the Invention)
The present invention mainly corresponds to the fifth embodiment (FIG. 5).
[0092]
The first imaging means corresponds to the first, third and fourth CCDs 20a, 20c, 20b, and the color filters on the light incident side of the first imaging means are the first to third color filters 19a, 19c and 19b are applicable. The second imaging unit corresponds to the second CCD 2, and the color filter on the light incident side of the second imaging unit corresponds to the fourth color filter 21.
(Action / Effect)
The image light of the subject condensed by the first optical system 3 is divided into transmitted light and reflected light by the first half mirror 5.
[0093]
The transmitted light that has passed through the first half mirror 5 is further divided into transmitted light and reflected light by the second half mirror 17, and then the transmitted light passes through the first color filter 19a and the first CCD 20a. The image is formed above, and the reflected light is further divided into transmitted light and reflected light by the third half mirror 18.
[0094]
The transmitted light transmitted through the third half mirror 18 forms an image on the third CCD 20c via the second color filter 19c, and the reflected light reflected from the third half mirror 18 is reflected by the third color filter. An image is formed on the fourth CCD 20b via 19b.
[0095]
On the other hand, the reflected light reflected from the first half mirror 5 is subjected to the second scheduled operation at a magnification that is larger than the magnification of the first, third, and fourth CCDs 20a, 20c, and 20b by the second optical system 4. An image is formed on the image plane 9. For this reason, the second color filter 21 that can transmit light having any one of the blue, red, and green color components for which high resolution is desired is disposed on the second CCD 2 on the entire surface. A part of the enlarged image formed on the planned image plane 9 is formed.
[0096]
The image data picked up by the first, third and fourth CCDs 20a, 20c, 20b and the second CCD 2 are transmitted to the synthesizing unit 10 via the signal transmission means, respectively, and then, in the synthesizing unit 10. The second CCD 2 is combined with an image having a resolution.
[0097]
Image data of the first, third, and fourth CCDs 20a, 20c, and 20b is applied to an image area that is captured by only the first, third, and fourth CCDs 20a, 20c, and 20b in the composite image. . However, since the first, third, and fourth CCDs 20a, 20c, and 20b have a lower resolution than the second CCD 2, a composite image having a desired resolution is obtained by performing interpolation processing on each image data. ing.
[0098]
On the other hand, in the composite image, any one of blue, red, and green colors for which high resolution is desired in the image areas captured by the first, third, and fourth CCDs 20a, 20c, and 20b and the second CCD 2. Image data captured by the second CCD 2 is applied to the image data of the fourth color filter 21 that can transmit light having components, and image data corresponding to the other two colors are the first, third, and A composite image having a desired resolution is obtained by performing an interpolation process on any two image data of the fourth CCDs 20a, 20c, and 20b.
[0099]
By performing such an imaging process, a composite image in which a desired area is partially increased in resolution among corresponding image areas having any of blue, red, and green color components for which higher resolution is desired. Can be obtained.
[0100]
6). In the image composition processing of the composition unit, the image is synthesized so that the image region captured by the second image capturing unit becomes a high-magnification image with respect to the image region captured by the first image capturing unit. The imaging apparatus according to any one of 1 to 3 above, wherein:
(Corresponding Embodiment of the Invention)
The present invention mainly corresponds to the sixth embodiment (FIG. 6).
[0101]
The first and second CCDs 1 and 2 have the same number of pixels and the same pixel size, and the imaging magnification on the second CCD 2 is set to three times the imaging magnification on the first CCD 1. Has been.
(Action / Effect)
A combined image obtained by combining the image data of the first CCD 1 and the image data of the second CCD 2 by the combining unit 10 (see FIGS. 1 to 3) is a central image area ( In FIG. 6C, the portion where the central lattice interval is narrowed is an image with a higher magnification than the peripheral image region imaged only by the first CCD 1.
[0102]
In the present invention, the photographer observes the important part of the subject shown in the central image area captured by the second CCD 2 at a high magnification based on the display image on the liquid crystal monitor 13 (see FIG. 2). The peripheral image area imaged by the first CCD 1 can be observed with a wide angle of view. As a result, even when the important part of the subject changes corresponding to the imaging purpose or the imaging target, the imaging area of the second CCD 2 can be moved to a new important part easily in a short time. Note that the composite image is stored in a predetermined storage unit (not shown) or is output immediately.
[0103]
According to the present invention, even when the imaging region is partially enlarged, a high-resolution composite image corresponding to the enlargement rate can be obtained.
7). On the light incident side of the first image pickup means, a first color filter comprising a plurality of filter constituent elements arranged corresponding to the respective pixels of the first image pickup means and having transmission characteristics for light of a plurality of colors Is provided,
The second image pickup means includes a second light filter formed of a plurality of filter constituent elements arranged corresponding to the pixels of the second image pickup means and having transmission characteristics with respect to light of a plurality of colors, on the light incident side of the second image pickup means. A color filter is provided,
Among the color information of the image areas that are overlapped and picked up by the first and second image pickup means during the image combining processing of the combining means, the color information corresponding to the first color filter is the first image pickup means. The other color information applies the output color information of the second imaging unit corresponding to the second color filter, and the image is captured only by the first imaging unit. As the color information of the area, the output color information of the first imaging unit corresponding to the first color filter and the output color information obtained by performing interpolation processing on the color information of adjacent pixels are applied. 4. The imaging apparatus according to any one of 1 to 3 above.
(Corresponding Embodiment of the Invention)
The present invention mainly corresponds to the seventh embodiment (FIGS. 7 and 8).
[0104]
In the present invention, the first and second color filters 30 and 31 correspond to red (R), green (G), and blue (B) colors corresponding to the pixel arrangement of the first and second CCDs 1 and 2, respectively. Filter constituent elements that can transmit light having components (indicated by symbols R, G, and B in the figure) are regularly arranged in a certain cycle vertically and horizontally. Specifically, since the first and second CCDs 1 and 2 have the same number of pixels and the same pixel size, the filter constituent elements of the first and second color filters 30 and 31 are also each CCD 1. , 2 and the same filter number and filter size as the pixel size.
[0105]
Further, since the imaging magnification on the second CCD 2 is set to three times the imaging magnification on the first CCD 1, one pixel of the first CCD 1 is equal to nine pixels of the second CCD 2. It corresponds.
(Action / Effect)
The image data output from the first and second CCDs 1 and 2 is combined into an image having the resolution of the first CCD 1 by the combining unit 10 by the same image processing as in the first embodiment.
[0106]
In such a composite image, the color information corresponding to the first color filter 30 among the color information of the image area that is overlapped and imaged by the first and second CCDs 1 and 2 (referred to as overlap color information) is The output color information of the first CCD 1 is applied, and the other color information is output color information of the second CCD 2 corresponding to the second color filter 31 (a plurality of pixels corresponding to each pixel of the first CCD 1). Color information). Specifically, among the overlapping color information, the color information (for example, red (R)) corresponding to the first color filter 30 corresponds to a filter component capable of transmitting light of this color (R). The output color information (R) from each pixel of the first CCD 1 is applied, and the other two color information (namely, blue (B), green (G)) is the two colors (B, G). The average value of the output color information (B, G) from each pixel of the second CCD 2 corresponding to the filter constituent element capable of transmitting the light is applied.
[0107]
On the other hand, in the composite image, the color information of the image area captured only by the first CCD 1 includes the output color information of the first CCD 1 corresponding to the first color filter 30 and the color information of adjacent pixels. And the output color information subjected to the interpolation processing is applied.
[0108]
As described above, according to the present embodiment, the color information of the image area captured by the first CCD 1 is not always accurate, but the image area of the second CCD 2 corresponds to one pixel of the first CCD 1. Since the area includes three filter components that can transmit light having color components of red (R), green (G), and blue (B), all color information can be sampled. As a result, highly accurate color reproducibility can be realized, so that a composite image in which the imaging region is partially reproduced with high color can be obtained.
[0109]
【The invention's effect】
According to the present invention, it is possible to provide an imaging apparatus capable of realizing high image quality while maintaining at least one of high resolution and high color reproducibility for a desired image region of a subject.
[Brief description of the drawings]
FIG. 1 is a diagram showing a configuration of an imaging apparatus according to a first embodiment of the present invention.
FIG. 2 is a diagram showing a configuration of an imaging apparatus according to a second embodiment of the present invention.
FIG. 3 is a diagram showing a configuration of an imaging apparatus according to a third embodiment of the present invention.
FIG. 4A is a diagram showing image data output from a first CCD applied to an imaging apparatus according to a fourth embodiment of the present invention, and FIG. 4B is a fourth diagram of the present invention. The figure which shows the image data output from the 2nd CCD applied to the imaging device which concerns on this Embodiment, (c) is the synthetic | combination part applied to the imaging device which concerns on the 4th Embodiment of this invention FIG. 5 is a diagram showing a composite image that has been subjected to a composite process.
FIG. 5 is a diagram showing a configuration of an imaging apparatus according to a fifth embodiment of the present invention.
6A is a diagram showing image data output from a first CCD applied to an imaging apparatus according to a sixth embodiment of the present invention, and FIG. 6B is a diagram illustrating the sixth embodiment of the present invention. The figure which shows the image data output from 2nd CCD applied to the imaging device which concerns on this Embodiment, (c) is the synthetic | combination part applied to the imaging device which concerns on the 6th Embodiment of this invention FIG. 5 is a diagram showing a composite image that has been subjected to a composite process.
FIG. 7 is a diagram showing a configuration of an imaging apparatus according to a seventh embodiment of the present invention.
8A is a diagram showing a configuration of a first color filter applied to an imaging apparatus according to a seventh embodiment of the present invention, and FIG. 8B is a diagram illustrating the seventh embodiment of the present invention. The figure which shows the structure of the 2nd color filter applied to the imaging device which concerns on a form, (c) is a synthetic | combination part applied to the imaging device which concerns on the 7th Embodiment of this invention. FIG. 6D is a diagram showing a synthesized image, and FIG. 4D is a three-pixel region in which nine types of color filters composed of F1 to F9 are arranged vertically and horizontally instead of the second color filter according to the improvement of the present embodiment. The figure which shows the structure at the time of using the filter arrange | positioned regularly in the inside.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... 1st CCD, 2 ... 2nd CCD, 3 ... 1st optical system, 4 ... 2nd optical system, 5 ... Half mirror, 6 ... 1st optical axis, 7 ... 2nd optical axis , 8... First planned imaging plane, 9... Second scheduled imaging plane, 10.

Claims

A first imaging unit that obtains first image information by forming a subject image with the first optical system;
A second imaging unit that obtains second image information by forming the subject image by a second optical system having a larger imaging magnification than the first optical system;
Combining means for combining the first image information and the second image information;
With
In at least one respect correct row stomach, in the correction, the first image information and the second image information and the overlap portion of said first image information and said second image information to be synthesized Based on the correlation between the image information, distortion of at least one of the images on the first imaging unit and the second imaging unit is corrected.
An imaging apparatus characterized by that.