JP4210922B2

JP4210922B2 - 撮像装置および方法

Info

Publication number: JP4210922B2
Application number: JP2003365462A
Authority: JP
Inventors: 真備中村; 英輔宇根; 由美左中
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2003-10-27
Filing date: 2003-10-27
Publication date: 2009-01-21
Anticipated expiration: 2023-10-27
Also published as: US7746386B2; KR101035788B1; CN1612616B; JP2005130317A; KR20050040733A; EP1528816A3; US20050088537A1; EP1528816A2; CN1612616A

Description

本発明は、撮像装置および方法に関し、特に、赤外線カットフィルタの有無に応じて、ホワイトバランス制御を行うことができるようにした撮像装置および方法に関する。

従来のデジタルビデオカメラにおいて、赤外線カットフィルタをレンズ群の光軸上と、その光軸上を外れた位置とに選択的に切り替えるようにして、近赤外光による撮影と可視光による撮影を共用することができるようにしているものが提案されている（例えば、特許文献１参照）。

ところで、カメラの色バランスの調整は、ホワイトバランスと呼ばれ、物体の表面反射率はシーンの空間的平均がグレーに近いと言う仮説に基づいて、画面全体のＲＧＢの積分比が１：１：１になるように制御する方法（以下、グレーワールド制御と称する）が提案されている。このグレーワールド制御に関する詳細については、文献、G.Buchesbaum,”A Spatial Processor Model for Object Color Preception”,J.FranklinInst.310,1980に示されている。

また、多くの光源が黒体とみなせることから、画面全体のＲＧＢ成分の各々の積分値の比を、図１に示すような黒体カーブデータＬのＲＧＢ比と同じになるように制御する方法（以下、黒体カーブ制御と称する）が提案されている。図１において、縦軸は、Ｂ成分とＧ成分の積分値の比（Ｂ／Ｇ）を表わし、横軸は、Ｒ成分とＧ成分の積分値の比（Ｒ／Ｇ）を表わしている。黒体カーブデータＬは、予め各種の色温度の光源下で撮影された白の被写体に基づく原色信号Ｒ，Ｇ，Ｂの比であって、この比のいずれか一方が大きくなるにつれて他方が小さくなるような曲線とされる。また、Ｂ／Ｇの比が大きくなるにつれて色温度が高くなり、Ｒ／Ｇの比が大きくなるにつれて色温度が低くなるものとされる。図１の例では、色温度が7500Ｋ、5800Ｋ、および3200Ｋにおける場合の積分値の比がそれぞれプロットされている。この黒体カーブ制御に関する詳細については、特許第２７５１２９７号公報に開示されている。

グレーワールド制御は、画面内に色の偏りがないことが前提であり、色の偏りがある場合には、ホワイトバランスが大きく崩れてしまう。一方、黒体カーブ制御は、色の偏りがあってもホワイトバランスがズレにくいという特長があり、現在のホワイトバランス方式の主流となっている。

しかしながら、赤外線を照射して暗所での撮影を行う、いわゆるナイトショット撮影時には、可視光だけでなく赤外成分も入ってくるために、マイコン内部で持っている、可視光用の黒体カーブデータＬ（図１）を使って黒体カーブ制御を行うと、赤外線の影響により、デジタルビデオカメラの色バランスが変化し、赤外線を含む光線では画面全体が赤くなってしまう。

そのため、現在、ナイトショット撮影時には、あえて画面全体をモノトーンにして出力している。図２は、通常時とナイトショット撮影時とを選択的に切り替えてホワイトバランスの制御を行う処理を説明するフローチャートである。

ステップＳ１において、デジタルビデオカメラは、赤外線カットフィルタがレンズ群の光軸上に配置されているか否か、すなわち、ユーザからの指示により、通常の可視光での撮影モードに設定されているか否かを判定し、赤外線カットフィルタがレンズ群の光軸上に配置されていると判定した場合、ステップＳ２に進み、図１に示した黒体カーブデータＬのＲＧＢ比と同じになるように、黒体カーブ制御を行う。

一方、ステップＳ１において、赤外線カットフィルタがレンズ群の光軸上に配置されていない、すなわち、ユーザからの指示により、赤外光を含むナイトショット撮影モードに設定されていると判定された場合、ステップＳ３に進み、デジタルビデオカメラは、画面全体をモノトーンにして出力するように制御する。

このように、デジタルビデオカメラは、通常時やナイトショット撮影時といった撮影状況に応じて、カメラのホワイトバランス制御を行っている。

また、カメラの他のホワイトバランス制御方法として、低照度時に色差信号Ｒ−Ｙを補正することにより、画面の赤みを抑えるようにしているものが提案されている（例えば、特許文献２参照）。

特開２０００−５９７９８号公報特開２００３−７０００９号公報

上述したように、ナイトショット撮影時においては、画面がモノトーンで出力されてしまうため、カメラの自然な色再現を実現することができない課題があった。

また、特許文献２の技術の場合、屋外撮影を前提とした車載用カメラやドアホンカメラなどには有効であるが、蛍光灯や白熱灯などの様々な光源下での撮影を必要とするデジタルカメラには、適していない課題があった。

本発明はこのような状況に鑑みてなされたものであり、赤外成分を含む撮影時においても、カメラの自然な色再現を実現することができるようにするものである。

本発明の撮像装置は、分光を変化させるフィルタの位置を検出する検出手段と、検出手段により検出されたフィルタの位置に基づいて、ホワイトバランス制御を行うホワイトバランス制御手段と、白の被写体に基づく映像信号の積分値の比を記憶する記憶手段とを備え、検出手段により、フィルタが光軸位置にあると検出された場合、ホワイトバランス制御手段は、撮影された映像信号の積分値の比が、記憶手段に記憶されている積分値の比になるように制御し、検出手段により、フィルタが光軸から外れた外部位置にあると検出された場合、ホワイトバランス制御手段は、撮影された映像信号の積分値の比が１になるように制御することを特徴とする。

前記ホワイトバランス制御手段は、検出手段により、フィルタが光軸から外れた外部位置にあると検出された場合、映像信号の高輝度部分の積分値の比が１になるように制御することができる。

前記ホワイトバランス制御手段は、検出手段により、フィルタが光軸から外れた外部位置にあると検出された場合、映像信号の所定の輝度範囲部分の積分値の比が１になるように制御することができる。

前記検出手段により、フィルタが光軸から外れた外部位置にあると検出された場合、ホワイトバランス制御手段は、低照度色消しを行わないようにすることができる。

本発明の撮像方法は、白の被写体に基づく映像信号の積分値の比を記憶する記憶手段を備える撮像装置の撮像方法において、分光を変化させるフィルタの位置を検出する検出ステップと、検出ステップの処理により、フィルタが光軸位置にあると検出された場合、撮影された映像信号の積分値の比が、記憶手段に記憶されている積分値の比になるようにホワイトバランス制御を行い、検出ステップの処理により、フィルタが光軸から外れた外部位置にあると検出された場合、撮影された映像信号の積分値の比が１になるようにホワイトバランス制御を行うホワイトバランス制御ステップとを含むことを特徴とする。

本発明においては、分光を変化させるフィルタの位置が検出され、フィルタが光軸位置にあると検出された場合、撮影された映像信号の積分値の比が、記憶されている白の被写体に基づく映像信号の積分値の比になるようにホワイトバランス制御が行われ、フィルタが光軸から外れた外部位置にあると検出された場合、撮影された映像信号の積分値の比が１になるようにホワイトバランス制御が行われる。

本発明によれば、ホワイトバランス制御を行うことができる。特に、赤外線カットフィルタの有無に応じて、ホワイトバランス制御方法を切り替えることが可能となる。

以下に本発明を実施するための最良の形態を説明するが、開示される発明と実施の形態との対応関係を例示すると、次のようになる。本明細書には記載されているが、発明に対応するものとして、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その発明に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その発明以外の発明には対応しないものであることを意味するものでもない。

さらに、この記載は、明細書に記載されている発明の全てを意味するものではない。換言すれば、この記載は、明細書に記載されている発明であって、この出願では請求されていない発明の存在、すなわち、将来、分割出願されたり、補正により出現し、追加される発明の存在を否定するものではない。

本発明は、分光を変化させるフィルタの位置を検出する検出手段（例えば、図１０のステップＳ１１、図１１のステップＳ２１、図１２のステップＳ３１、または図１３のステップＳ４１の処理を実行する図６のマイクロコンピュータ５８）と、検出手段により検出されたフィルタの位置に基づいて、ホワイトバランス制御を行うホワイトバランス制御手段（例えば、図１０のステップＳ１３，Ｓ１５、図１１のステップＳ２３，Ｓ２５、図１２のステップＳ３３，Ｓ３５、または図１３のステップＳ４３，Ｓ４５の処理を実行する図６のマイクロコンピュータ５８）と、白の被写体に基づく映像信号の積分値の比を記憶する記憶手段（例えば、図６のマイクロコンピュータ５８）とを備え、検出手段により、フィルタが光軸位置（例えば、図６の光軸位置Ａ）にあると検出された場合、ホワイトバランス制御手段は、撮影された映像信号の積分値の比が、記憶手段に記憶されている積分値の比になるように（例えば、図９の黒体カーブデータＬＡのＲＧＢ比と同じになるように）制御し、検出手段により、フィルタが光軸から外れた外部位置（例えば、図６の外部位置Ｂ）にあると検出された場合、ホワイトバランス制御手段は、撮影された映像信号の積分値の比が１になるように制御する撮像装置（例えば、図３乃至図６のビデオカメラ１）を提供する。

前記検出手段により、フィルタが光軸から外れた外部位置（例えば、図６の外部位置Ｂ）にあると検出された場合、ホワイトバランス制御手段は、低照度色消しを行わないようにすることができる。

また、本発明は、白の被写体に基づく映像信号の積分値の比を記憶する記憶手段（例えば、図６のマイクロコンピュータ５８）を備える撮像装置（例えば、図３乃至図６のビデオカメラ１）の撮像方法において、分光を変化させるフィルタの位置を検出する検出ステップ（例えば、図１１のステップＳ２１、図１２のステップＳ３１、または図１３のステップＳ４１）と、検出ステップの処理により、フィルタが光軸位置にあると検出された場合、撮影された映像信号の積分値の比が、記憶手段に記憶されている積分値の比になるようにホワイトバランス制御を行い、検出ステップの処理により、フィルタが光軸から外れた外部位置にあると検出された場合、撮影された映像信号の積分値の比が１になるようにホワイトバランス制御を行うホワイトバランス制御ステップ（例えば、図１１のステップＳ２３，Ｓ２５、図１２のステップＳ３３，Ｓ３５、または図１３のステップＳ４３，Ｓ４５）とを含む撮像方法を提供する。

以下に、本発明の実施の形態について図面を参照して説明する。

図３乃至図５は、本発明を適用したビデオカメラ１の構成例を示す図である。図３は、ビデオカメラ１の外観斜視図を示し、図４は、図３に示すＡ−Ａ線の断面図（ビデオカメラ１のレンズブロックの断面図）を示し、図５は、リンク装置の分解斜視図を示している。

図３に示されるように、ビデオカメラ１は、被写体である像を光としてとらえてその光学像を電気信号に変換するカメラ機構部、カメラ機構部からの電気信号を記録するとともに記録された電気信号を再生するビデオ機構部、および、カメラ機構部とビデオ機構部を収納するキャビネットとしてのカメラ外装体２から構成されている。

カメラ機構部は、被写体に対向される対物レンズ３を有し、この対物レンズ３から光として入射される被写体の光学像を透過させて受光部に像を結ぶレンズ群５１(図６)、レンズ群５１を透過して受光部に結ばれた光学像を電気信号に変換する撮像素子５４（図６）、対物レンズ３でとらえた像を目で見るためのビューファインダ４、レンズ群５１のピント合わせや絞り量の調整等を行うモータの駆動を制御する制御部（図示せず）などから構成されている。

カメラ外装体２の正面上部には、レンズ穴２ａが設けられている。レンズ穴２ａの内側には、オートフォーカス機構やズーム機構等を備えたレンズ群５１、およびレンズ群５１を固定または移動可能に保持するブロック筺体１１からなるレンズブロック５が配設されている。レンズ穴２ａには、レンズブロック５の前面に位置する対物レンズ３が露出されている。レンズ群５１と撮像素子５４との間には、赤外線カットフィルタ２１（図４）が設けられている。

図４に示されるように、レンズブロック５のブロック筺体１１に設けられた回動軸２２には、フィルタ保持リンク２３が回動自在に支持されている。フィルタ保持リンク２３は、回動軸２２が回動可能に嵌合される軸受穴を中途部に有するアーム部２３ａと、アーム部２３ａの一端に連続して形成されたリング状のフィルタ保持部２３ｂとを有し、このフィルタ保持部２３ｂには、赤外線カットフィルタ２１が固定されている。

フィルタ保持リンク２３に固定された赤外線カットフィルタ２１は、回動軸２２に嵌合保持されて吊り下げられた自由状態において、その中央部がレンズ群５１の光軸上に位置するように形成されている。フィルタ保持リンク２３のアーム部２３ａのフィルタ保持部２３ｂと反対側の端部には、二股状に形成された入力部２３ｃが設けられており、この入力部２３ｃに回転モーメントを加えて、回動軸２２を中心にフィルタ保持リンク２３を回動させることにより、赤外線カットフィルタ２１がレンズ群５１の光軸上の光軸位置Ａとこの光軸を外れた外部位置Ｂを選択的に位置し得るように構成されている。

図５に示されるように、入力部２３ｃの二股部分には、回動リンク３０の後部アーム３０ａの後端に設けられた係合ピン３０ｂが挿通されている。回動リンク３０は、その中途部において取付ネジ３２によってブロック筺体１１に回動自在に支持されており、この回動中心から前方に延びる前部アーム３０ｃには、上方に突出する連結ピン３３と下方に突出するバネ係合ピン３４とが設けられている。バネ係合ピン３４には、Ω形バネ３５の一端が係止されている。Ω形バネ３５の他端は、ブロック筺体１１に設けられたバネ係止ピン３６に係止されており、このΩ形バネ３５の力によって回動リンク３０が、光軸位置Ａとこの光軸を外れた外部位置Ｂのいずれかに位置するように付勢されている。

回動リンク３０の連結ピン３３には、スライドリンク４０の係合穴４１が嵌合されている。スライドリンク４０は、レンズブロック５の外側をその外周面に沿って円弧状にスライド移動できるように湾曲に形成された板状の部材からなり、その湾曲方向の一側には、連結アーム４０ａが設けられており、この連結アーム４０ａの先端部に四角形の係合穴４１が開口されている。スライドリンク４０の連結アーム４０ａを含む３箇所には、湾曲方向に延びるガイド溝４２ａ，４２ｂ，４２ｃが設けられている。

これら３つのガイド溝４２ａ，４２ｂ，４２ｃは、スライドリンク４０を円周方向にスムースに移動させるために設けられたものであり、各ガイド溝４２ａ，４２ｂ，４２ｃに対応させたカメラ外装体２には、３つのガイド突部（図示せず）が設けられている。このガイド溝４２ａ，４２ｂ，４２ｃに、カメラ外装体２の各ガイド突部をそれぞれ係合させた状態で、スライドリンク４０がカメラ外装体２に円周方向へスライド移動可能に保持されている。

スライドリンク４０のガイド溝４２ｃの外側には、外面側に突出する操作ツマミ６が設けられている。この操作ツマミ６は、ガイド溝４２ｃと同方向に延在するように設けられており、この操作ツマミ６がカメラ外装体２の開口を貫通し、その上面に設けられたローレット部（図示せず）がカメラ外装体２の外側に突出するようになされている。

スライドリンク４０の操作ツマミ６と反対側の内面には、山型をなすクリック用の突起部４５が設けられている。突起部４５に対応させたカメラ外装体２には、スライドリンク４０の操作時にクリック間を生じさせるための板バネ４６が取り付けられている。板バネ４６は、スライドリンク４０の内側に隠れる程度の長さを有する短冊状の板体からなり、その長手方向の中途部には、スライドリンク４０側に山形に突出する凸部４６ａが設けられている。この板バネ４６の凸部４６ａをスライドリンク４０の突起部４５が乗り越える際に、板バネ４６の付勢力によるクリック感が操作ツマミ６に付与される。

以上のような構成を有するビデオカメラ１において、レンズブロック５に内蔵された赤外線カットフィルタ２１は、その位置を選択的に切り替えることにより、周囲の光量に応じて、被写体の撮影を行うことができる。具体的には、赤外線カットフィルタ２１は、通常の撮影時、光軸位置Ａに配置され、ナイトショット撮影時、外部位置Ｂに配置される。

図６は、ビデオカメラ１の内部の構成例を示すブロック図である。

レンズ群５１は、被写体からの光を集光し、撮像素子５４に結像させる。撮像素子５４は、例えば、CCD（Charge Coupled Device）などの光電変換を行う光電変換素子が２次元に配置されたものであって、その前面には、モザイク状に配列された色分離フィルタ（図示せず）が装着されている。すなわち、撮像素子５４は、レンズ群５１および色分離フィルタを介して入射された被写体の光像を光電変換して撮像信号（電荷）を生成し、生成した撮像信号をS/H（サンプルホールド）＆AGC（Automatic Gain Control）回路５５に出力する。

ここで、図７および図８を参照して、撮像素子５４に用いられる色分離フィルタの分光特性例について説明する。図７は、ＲＧＢ（赤、緑、青）の原色系フィルタの分光特性の一例を示し、図８は、ＣＭＹ（シアン、マゼンタ、イエロー）の補色系フィルタの分光特性の一例を示している。なお、図７および図８において、縦軸は、感度を表わし、横軸は、波長（ｎｍ）を表わしている。

図７に示されるように、ＲＧＢの原色系フィルタにおいて、Ｂフィルタは、おおよそ350乃至550ｎｍ付近の波長成分を透過し、450ｎｍ付近の波長成分を最も透過する。Ｇフィルタは、450乃至650ｎｍ付近の波長成分を透過し、550ｎｍ付近の波長成分を最も透過する。Ｒフィルタは、550乃至1000ｎｍ付近の波長成分を透過し、650ｎｍ付近の波長成分を最も透過する。

図８に示されるように、ＣＭＹの補色系フィルタにおいて、Ｃフィルタは、350乃至650ｎｍ付近の波長成分を透過し、500ｎｍ付近の波長成分を最も透過するとともに、700乃至1000ｎｍ付近の波長成分を透過し、750ｎｍ付近の波長成分を最も透過する。Ｍフィルタは、350乃至550ｎｍ付近の波長成分を透過し、400ｎｍ付近の波長成分を最も透過するとともに、550乃至1000ｎｍ付近の波長成分を透過し、650ｎｍ付近の波長成分を最も透過する。Ｙフィルタは、450乃至1000ｎｍ付近の波長成分を透過し、600ｎｍ付近の波長成分を最も透過する。Ｇフィルタは、450乃至650ｎｍ付近の波長成分を透過し、500ｎｍ付近の波長成分を最も透過するとともに、700乃至1000ｎｍ付近の波長成分を透過し、750ｎｍ付近の波長成分を最も透過する。

これらの図からも明らかなように、ＲＧＢの原色系フィルタ（図７）において、700ｎｍ以上の赤外成分を透過するのは、ほとんどがＲフィルタである。これに対し、ＣＭＹの補色系フィルタ（図８）では、ＹフィルタおよびＭフィルタが赤外成分を透過し、さらには、Ｃフィルタも700ｎｍから、徐々に赤外成分を透過している。従って、撮像素子５４の色分離フィルタには、ＣＭＹの補色系フィルタを用いる方が、ＲＧＢの原色系フィルタを用いるよりも、より自然な色バランスを得ることができる。

図６の説明に戻る。赤外線カットフィルタ２１は、操作ツマミ６（図３）の操作に応じて、光軸位置Ａとこの光軸を外れた外部位置Ｂのいずれかに位置するようになされている。赤外線カットフィルタ２１には、スイッチ５２が接続されており、このスイッチ５２は、外部位置Ｂに位置する状態でオンされている。またスイッチ５２には、所定の電圧が印加された抵抗５３が並列に接続されている。

通常、撮像素子５４は、可視光（400乃至700ｎｍ）だけでなく赤外光（700乃至1000ｎｍ）に対しても感度を持つ。従って、通常撮影時、赤外線カットフィルタ２１を光軸位置Ａに配置させることで、撮像素子５４には、赤外光成分を除いた可視光成分のみの光像が結像される。一方、ナイトショット撮影時、赤外線カットフィルタ２１を外部位置Ｂに配置させることで、撮像素子５４には、可視光成分および赤外光成分を含む光像が結像される。

S/H＆AGC回路５５は、入力された撮像信号をサンプルホールドし、自動利得制御を行った後、映像信号としてＲＧＢ分離回路５６に出力する。ＲＧＢ分離回路５６は、入力された映像信号を、Ｒ成分、Ｇ成分、およびＢ成分にそれぞれ分離し、OPD（OPtical Detector）回路５７に出力するとともにホワイトバランスアンプ回路５９に出力する。

OPD回路５７は、いわゆる検波回路であり、ＲＧＢ分離回路５６から入力されたＲ成分、Ｇ成分、およびＢ成分の映像信号（以下、映像信号Ｒ，Ｇ，Ｂと称する）から、画面内の色情報を検出し、検出結果をマイクロコンピュータ５８に供給する。

マイクロコンピュータ（以下、マイコンと称する）５８は、抵抗５３を介して入力される電流に基づいて、スイッチ５２のオンまたはオフを検出することにより、赤外線カットフィルタ２１が、光軸位置Ａに配置されているか、あるいは、外部位置Ｂに配置されているかを検出する。

赤外線カットフィルタ２１が光軸位置Ａに配置されている場合、マイコン５８は、OPD回路５７から供給された検出結果（画面内の色情報）に基づいて、映像信号Ｒ，Ｇ，Ｂの積分値をそれぞれ算出する。マイコン５８は、さらにその算出結果に基づいて、積分値の比（Ｒ／Ｇ）を算出するとともに、映像信号Ｇの積分値に対する映像信号Ｂの積分値の比（Ｂ／Ｇ）を算出する。そして、マイコン５８は、可視光のみを考慮した黒体カーブデータＬＡ（図９）をマイコンテーブルとして予め保持しておき、算出した積分値の比（Ｒ／Ｇ，Ｂ／Ｇ）が、黒体カーブデータＬＡのＲＧＢ比と同じになるような、映像信号Ｒ，Ｇ，Ｂの最適ゲインをそれぞれ算出し、算出結果を制御信号としてホワイトバランスアンプ回路５９に供給する。

赤外線カットフィルタ２１が外部位置Ｂに配置されている場合、マイコン５８は、OPD回路５７から供給された検出結果（画面内の色情報）に基づいて、映像信号Ｒ，Ｇ，Ｂの積分値をそれぞれ算出し、さらに積分値の比（Ｒ／Ｇ，Ｂ／Ｇ）を算出する。そして、マイコン５８は、算出した積分値の比（Ｒ／Ｇ，Ｂ／Ｇ）が１になるような、映像信号Ｒ，Ｇ，Ｂの最適ゲインをそれぞれ算出し、算出結果を制御信号としてホワイトバランスアンプ回路５９に供給する。または、マイコン５８は、可視光および赤外光成分を考慮した黒体カーブデータＬＢ（図９）をマイコンテーブルとして予め保持しておき、算出した積分値の比（Ｒ／Ｇ，Ｂ／Ｇ）が、赤外成分を考慮した黒体カーブデータＬＢのＲＧＢ比と同じになるような、映像信号Ｒ，Ｇ，Ｂの最適ゲインをそれぞれ算出し、算出結果を制御信号としてホワイトバランスアンプ回路５９に供給する。

図９は、マイコン５８が保持するマイコンテーブルとしての、黒体カーブデータＬＡおよび赤外成分を考慮した黒体カーブデータＬＢの例を示している。図９において、縦軸は、Ｂ成分とＧ成分の積分値の比（Ｂ／Ｇ）を表わし、横軸は、Ｒ成分とＧ成分の積分値の比（Ｒ／Ｇ）を表わしている。可視光成分の黒体カーブデータＬＡは、予め各種の色温度の光源下で撮影された白の被写体に基づく原色信号Ｒ，Ｇ，Ｂの比であって、比のいずれか一方が大きくなるにつれて他方が小さくなるような曲線とされる。赤外成分を考慮した黒体カーブデータＬＢは、予め各種の色温度の光源下で撮影された白の被写体に基づく原色信号Ｒ，Ｇ，Ｂの比であって、さらに赤外成分が考慮されており、比のいずれか一方が大きくなるにつれて他方が小さくなるような曲線とされる。また黒体カーブデータＬＡ，ＬＢは、Ｂ／Ｇの比が大きくなるにつれて色温度が高くなり、Ｒ／Ｇの比が大きくなるにつれて色温度が低くなるものとされる。図９の例では、色温度が7500Ｋ、5800Ｋ、および3200Ｋにおける場合の積分値の比がそれぞれプロットされている。

図６の説明に戻る。ホワイトバランスアンプ回路５９は、マイコン５８から供給された制御信号に基づいて、映像信号Ｒ，Ｇ，Ｂのゲインをそれぞれ制御することにより、ホワイトバランス制御を行う。すなわち、通常撮影時、ホワイトバランスアンプ回路５９は、３原色信号Ｒ，Ｇ，Ｂの積分値の比が黒体カーブＬＡ（図９）のＲＧＢの比と同じになるように黒体カーブ制御を行う。ナイトショット撮影時、ホワイトバランスアンプ回路５９は、３原色信号Ｒ，Ｇ，Ｂの積分値の比が赤外成分を考慮した黒体カーブＬＢ（図９）のＲＧＢの比と同じになるように黒体カーブ制御を行うか、あるいは、３原色信号Ｒ，Ｇ，Ｂの積分値の比が１になるようにグレーワールド制御を行う。

端子６０は、ホワイトバランスアンプ回路５９により、ホワイトバランス制御された（すなわち、色バランスが調整された）映像信号を出力する。

次に、図１０のフローチャートを参照して、ホワイトバランス制御処理について説明する。この処理を開始するにあたり、マイコン５８には、予め、撮影状況に応じたマイコンテーブルとして黒体カーブデータＬＡ，ＬＢ（図９）が保持されている。

ステップＳ１１において、マイコン５８は、赤外線カットフィルタ２１が光軸位置Ａに配置されているか否か、すなわち、抵抗５３を介して入力される電流に基づいて、スイッチ５２がオフされているか否かを判定し、赤外線カットフィルタ２１が光軸位置Ａに配置されていると判定した場合、ステップＳ１２に進み、通常の黒体カーブデータＬＡ(図９)を読み出す。マイコン５８は、OPD回路５７から供給された検出結果（画面内の色情報）に基づいて、映像信号Ｒ，Ｇ，Ｂの積分値をそれぞれ算出する。マイコン５８は、さらにその算出結果に基づいて、映像信号Ｇの積分値に対する映像信号Ｒの積分値の比（Ｒ／Ｇ）を算出するとともに、映像信号Ｇの積分値に対する映像信号Ｂの積分値の比（Ｂ／Ｇ）を算出する。そして、マイコン５８は、算出した積分値の比（Ｒ／Ｇ，Ｂ／Ｇ）が黒体カーブデータＬＡ（図９）のＲＧＢ比と同じになるような、映像信号Ｒ，Ｇ，Ｂの最適ゲインをそれぞれ算出し、算出結果を制御信号としてホワイトバランスアンプ回路５９に供給する。

ステップＳ１３において、ホワイトバランスアンプ回路５９は、マイコン５８の制御の下、ステップＳ１２の処理で読み出された黒体カーブデータＬＡに基づいて算出された最適ゲインとなるように、映像信号Ｒ，Ｇ，Ｂの黒体カーブ制御を行う。

ステップＳ１１において、赤外線カットフィルタ２１が光軸位置Ａに配置されていない、すなわち、外部位置Ｂに配置されていると判定された場合、ステップＳ１４に進み、マイコン５８は、赤外成分を考慮した黒体カーブデータＬＢ(図９)を読み出す。そして、マイコン５８は、OPD回路５７から供給された検出結果（画面内の色情報）に基づいて、映像信号Ｒ，Ｇ，Ｂの積分値をそれぞれ算出し、さらに積分値の比（Ｒ／Ｇ，Ｂ／Ｇ）を算出する。そして、マイコン５８は、算出した積分値の比（Ｒ／Ｇ，Ｂ／Ｇ）が黒体カーブデータＬＢ（図９）のＲＧＢ比と同じになるような、映像信号Ｒ，Ｇ，Ｂの最適ゲインをそれぞれ算出し、算出結果を制御信号としてホワイトバランスアンプ回路５９に供給する。

ステップＳ１５において、ホワイトバランスアンプ回路５９は、マイコン５８の制御の下、ステップＳ１４の処理で読み出された黒体カーブデータＬＢに基づいて算出された最適ゲインとなるように、映像信号Ｒ，Ｇ，Ｂの黒体カーブ制御を行う。

このように、赤外線カットフィルタ２１が光軸位置Ａに配置されている場合には（通常の撮影時には）、黒体カーブデータＬＡが読み出されて黒体カーブ制御が行われる。一方、赤外線カットフィルタ２１が外部位置Ｂに配置されている場合には（ナイトショット撮影時には）、赤外成分を考慮した黒体カーブデータＬＢが読み出されて黒体カーブ制御が行われる。これにより、撮影状況に応じて、最適なホワイトバランス制御が行われる。特に、光源が黒体カーブデータＬＡ，ＬＢ上にある場合には、高精度で色バランスを調整することが可能となる。

次に、図１１のフローチャートを参照して、他の例のホワイトバランス制御処理について説明する。この処理を開始するにあたり、マイコン５８には、予め、通常撮影時におけるマイコンテーブルとして黒体カーブデータＬＡ（図９）が保持されている。

ステップＳ２１乃至Ｓ２３の処理は、上述した図１０のステップＳ１１乃至Ｓ１３の処理と同様の処理であるため、その説明は省略する。すなわち、赤外線カットフィルタ２１が光軸位置Ａに配置されていると判定された場合、通常の黒体カーブデータＬＡ（図９)が読み出され、映像信号Ｒ，Ｇ，Ｂの積分値の比（Ｒ／Ｇ，Ｂ／Ｇ）が黒体カーブデータＬＡのＲＧＢ比と同じになるような最適ゲインが算出され、その算出結果に基づいて、映像信号Ｒ，Ｇ，Ｂの黒体カーブ制御が行われる。

ステップＳ２１において、赤外線カットフィルタ２１が光軸位置Ａに配置されていない、すなわち、外部位置Ｂに配置されていると判定された場合、ステップＳ２４に進み、マイコン５８は、OPD回路５７から供給された検出結果（画面内の色情報）に基づいて、映像信号Ｒ，Ｇ，Ｂの積分値をそれぞれ算出し、さらに積分値の比（Ｒ／Ｇ，Ｂ／Ｇ）を算出する。ステップＳ２５において、マイコン５８は、ステップＳ２４の処理で算出された積分値の比（Ｒ／Ｇ，Ｂ／Ｇ）が１になるような、映像信号Ｒ，Ｇ，Ｂの最適ゲインをそれぞれ算出し、算出結果を制御信号としてホワイトバランスアンプ回路５９に供給する。ホワイトバランスアンプ回路５９は、マイコン５８から供給された制御信号に基づいて、映像信号Ｒ，Ｇ，Ｂの積分値の比が１になるようにグレーワールド制御を行う。

このように、赤外線カットフィルタ２１が光軸位置Ａに配置されている場合には（通常の撮影時には）、黒体カーブデータＬＡが読み出されて黒体カーブ制御が行われる。一方、赤外線カットフィルタ２１が外部位置Ｂに配置されている場合には（ナイトショット撮影時には）、映像信号Ｒ，Ｇ，Ｂの比が１になるようにグレーワールド制御が行われる。これにより、撮影状況に応じて、最適なホワイトバランス制御が行われる。この処理は、特に、色の偏りが少ない場合に適している。またこの処理は、上述した図１０の処理の場合におけるように、マイコン５８が、２種類の黒体カーブデータＬＡ，ＬＢを予め保持する必要がない。

次に、図１２のフローチャートを参照して、他の例のホワイトバランス制御処理について説明する。この処理を開始するにあたり、マイコン５８には、予め、通常撮影時におけるマイコンテーブルとして黒体カーブデータＬＡ（図９）が保持されている。

ステップＳ３１乃至Ｓ３３の処理は、上述した図１０のステップＳ１１乃至Ｓ１３の処理と同様の処理であるため、その説明は省略する。すなわち、赤外線カットフィルタ２１が光軸位置Ａに配置されていると判定された場合、通常の黒体カーブデータＬＡ（図９)が読み出され、映像信号Ｒ，Ｇ，Ｂの積分値の比（Ｒ／Ｇ，Ｂ／Ｇ）が黒体カーブデータＬＡのＲＧＢ比と同じになるような最適ゲインが算出され、その算出結果に基づいて、映像信号Ｒ，Ｇ，Ｂの黒体カーブ制御が行われる。

ステップＳ３１において、赤外線カットフィルタ２１が光軸位置Ａに配置されていない、すなわち、外部位置Ｂに配置されていると判定された場合、ステップＳ３４に進み、マイコン５８は、OPD回路５７から供給された検出結果（画面内の色情報）に基づいて、所定レベル以上の高輝度レベル領域の映像信号Ｒ，Ｇ，Ｂの積分値をそれぞれ算出し、さらに積分値の比（Ｒ／Ｇ，Ｂ／Ｇ）を算出する。

ここで、輝度レベルの高い部分は、白（光源の色）である可能性が高いことから、所定レベル以上の高輝度レベル領域の映像信号に対して、グレーワールド制御が行われる。なお、所定レベル以上の高輝度レベル領域とは、例えば、画面全体の輝度の度数分布において、高輝度部分の度数分布が５％を占める輝度レベルとされる。また、この高輝度レベル領域は、任意に設定または変更することが可能である。

ステップＳ３５において、マイコン５８は、ステップＳ３４の処理で算出された積分値の比（Ｒ／Ｇ，Ｂ／Ｇ）が１になるような、映像信号Ｒ，Ｇ，Ｂの最適ゲインをそれぞれ算出し、算出結果を制御信号としてホワイトバランスアンプ回路５９に供給する。ホワイトバランスアンプ回路５９は、マイコン５８から供給された制御信号に基づいて、映像信号Ｒ，Ｇ，Ｂの比が１になるようにグレーワールド制御を行う。

このように、赤外線カットフィルタ２１が光軸位置Ａに配置されている場合には（通常の撮影時には）、黒体カーブデータＬＡが読み出されて黒体カーブ制御が行われる。一方、赤外線カットフィルタ２１が外部位置Ｂに配置されている場合には（ナイトショット撮影時には）、高輝度レベル領域の映像信号Ｒ，Ｇ，Ｂの積分値の比が１になるようにグレーワールド制御が行われる。これにより、撮影状況に応じて、最適なホワイトバランス制御が行われる。この処理は、上述した図１１の処理に較べ、色の偏りがある場合にも色バランスのずれが小さい。

次に、図１３のフローチャートを参照して、他の例のホワイトバランス制御処理について説明する。この処理を開始するにあたり、マイコン５８には、予め、通常撮影時におけるマイコンテーブルとして黒体カーブデータＬＡ（図９）が保持されている。

ステップＳ４１乃至Ｓ４３の処理は、上述した図１０のステップＳ１１乃至Ｓ１３の処理と同様の処理であるため、その説明は省略する。すなわち、赤外線カットフィルタ２１が光軸位置Ａに配置されていると判定された場合、通常の黒体カーブデータＬＡ（図９)が読み出され、映像信号Ｒ，Ｇ，Ｂの積分値の比（Ｒ／Ｇ，Ｂ／Ｇ）が黒体カーブデータＬＡのＲＧＢ比と同じになるような最適ゲインが算出され、その算出結果に基づいて、映像信号Ｒ，Ｇ，Ｂの黒体カーブ制御が行われる。

ステップＳ４１において、赤外線カットフィルタ２１が光軸位置Ａに配置されていない、すなわち、外部位置Ｂに配置されていると判定された場合、ナイトショット撮影時であると判断され、ステップＳ３４に進み、マイコン５８は、OPD回路５７から供給された検出結果（画面内の色情報）に基づいて、所定レベル以上で、かつ、飽和輝度レベルより低い中輝度レベル領域の映像信号Ｒ，Ｇ，Ｂの積分値をそれぞれ算出し、さらに積分値の比（Ｒ／Ｇ，Ｂ／Ｇ）を算出する。

ここで、輝度レベルの非常に高い部分は、信号が飽和している可能性が高いことから、所定レベル以上で、かつ、飽和輝度レベルより低い中輝度レベル領域の映像信号に対して、グレーワールド制御が行われる。なお、所定レベル以上で、かつ、飽和輝度レベルより低い中輝度レベル領域とは、例えば、画面全体の輝度の度数分布において、高輝度部分の度数分布が５％を占める輝度レベルで、かつ、低輝度部分の度数分布が２０％を占める輝度レベルを除いた輝度レベルとされる。また、この中輝度レベル領域は、任意に設定または変更することが可能である。

ステップＳ４５において、マイコン５８は、ステップＳ４４の処理で算出された積分値の比（Ｒ／Ｇ，Ｂ／Ｇ）が１になるような、映像信号Ｒ，Ｇ，Ｂの最適ゲインをそれぞれ算出し、算出結果を制御信号としてホワイトバランスアンプ回路５９に供給する。ホワイトバランスアンプ回路５９は、マイコン５８から供給された制御信号に基づいて、映像信号Ｒ，Ｇ，Ｂの比が１になるようにグレーワールド制御を行う。

このように、赤外線カットフィルタ２１が光軸位置Ａに配置されている場合には（通常の撮影時には）、黒体カーブデータＬＡが読み出されて黒体カーブ制御が行われる。一方、赤外線カットフィルタ２１が外部位置Ｂに配置されている場合には（ナイトショット撮影時には）、中輝度レベル領域の映像信号Ｒ，Ｇ，Ｂの積分値の比が１になるようにグレーワールド制御が行われる。これにより、撮影状況に応じて、最適なホワイトバランス制御が行われる。この処理は、飽和している輝度レベルが多い場合にも、上述した図１２の処理に較べ、色バランスのずれが小さい。

以上のように、マイコン５８がスイッチ５２のオンまたはオフに基づいて赤外線カットフィルタ２１の有無を検出し、赤外線カットフィルタ２１が光軸位置Ａに配置されている場合（通常撮影時）、通常の黒体カーブ制御を行い、赤外線カットフィルタ２１が外部位置Ｂに配置されている場合（ナイトショット撮影時）、赤外成分を考慮した黒体カーブ制御を行うか、あるいは、輝度レベルに応じてグレーワールド制御を行うようにする。換言すれば、赤外線カットフィルタ２１の有無に応じて、ホワイトバランスの制御方法を切り替えるようにする。これにより、赤外成分がある場合にもカメラの自然な色再現を実現することが可能となる。

特に、効果的な被写体としては、夜景、トワイライト、薄暗い蛍光灯下、および天体などにおいて、本発明を適用することにより、カメラの自然な色再現を実現するとともに、感度を向上させることができる。

また以上においては、赤外線カットフィルタ２１の有無に応じて、ホワイトバランスの制御方法を切り替えるようにしたが、これに限らず、例えば、ND（Neutral Density）フィルタやその他分光を変化させるフィルタなどを用いて、そのフィルタの有無に応じて、ホワイトバランスの制御方法を切り替えるようにすることも可能である。なお、この場合にも、マイコン５８は、図１１乃至図１３のフローチャートを参照して上述したように、ナイトショット撮影時にグレーワールド制御を行うことで、このフィルタに合わせた赤外成分を考慮した黒体カーブデータを新たに保持することなく、カメラの自然な色再現を実現することができる。

さらに、従来では、低照度時に色ノイズが目立つために色消しを行っていたが（モノクロ出力していたが）、本発明では、低照度時の感度が上がり、色ノイズが目立ちにくいため低照度時における色消しを行わないようにする（カラー出力する）ことで、より自然な色再現を実現することが可能である。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。

図１４は、汎用のパーソナルコンピュータ１００の内部の構成例を示す図である。CPU(Central Processing Unit)１０１は、ROM(Read Only Memory)１０２に記憶されているプログラム、または記憶部１０８からRAM(Random Access Memory)１０３にロードされたプログラムに従って、各種の処理を実行する。RAM１０３にはまた、CPU１０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

CPU１０１、ROM１０２、およびRAM１０３は、バス１０４を介して相互に接続されている。このバス１０４にはまた、入出力インタフェース１０５も接続されている。

入出力インタフェース１０５には、キーボード、マウスなどよりなる入力部１０６、ディスプレイなどよりなる出力部１０７、記憶部１０８、通信部１０９が接続されている。通信部１０９は、ネットワークを介しての通信処理を行う。

入出力インタフェース１０５にはまた、必要に応じてドライブ１１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部１０８にインストールされる。

コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを記録する記録媒体は、図１４に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM（Compact Disc-Read Only Memory）、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（MD(Mini-Disc)（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア１１１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM１０３または記憶部１０８に含まれるハードディスクなどで構成される。

なお、本明細書において、記録媒体に記憶されるプログラムを記述するステップは、含む順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

黒体カーブデータの例を示す図である。従来のホワイトバランス制御処理を説明するフローチャートである。本発明を適用したビデオカメラの構成例を示す図である。図３に示すＡ−Ａ線の断面図である。図３のリンク装置の分解斜視図である。ビデオカメラの内部の構成例を示す図である。ＲＧＢの原色系フィルタの分光特性の例を示す図である。ＣＭＹの補色系フィルタの分光特性の例を示す図である。マイコンテーブルとしての黒体カーブデータの例を示す図である。ホワイトバランス制御処理を説明するフローチャートである。他の例のホワイトバランス制御処理を説明するフローチャートである。他の例のホワイトバランス制御処理を説明するフローチャートである。他の例のホワイトバランス制御処理を説明するフローチャートである。汎用のパーソナルコンピュータの構成例を示すブロック図である。

符号の説明

１ビデオカメラ，２１赤外線カットフィルタ，５１レンズ群，５４撮像素子，５８マイクロコンピュータ，５９ホワイトバランスアンプ回路

Claims

分光を変化させるフィルタの位置を検出する検出手段と、
前記検出手段により検出された前記フィルタの位置に基づいて、ホワイトバランス制御を行うホワイトバランス制御手段と、
白の被写体に基づく映像信号の積分値の比を記憶する記憶手段と
を備え、
前記検出手段により、前記フィルタが光軸位置にあると検出された場合、前記ホワイトバランス制御手段は、撮影された映像信号の積分値の比が、前記記憶手段に記憶されている積分値の比になるように制御し、前記検出手段により、前記フィルタが光軸から外れた外部位置にあると検出された場合、前記ホワイトバランス制御手段は、撮影された映像信号の積分値の比が１になるように制御する
ことを特徴とする撮像装置。
前記ホワイトバランス制御手段は、前記検出手段により、前記フィルタが光軸から外れた外部位置にあると検出された場合、前記映像信号の高輝度部分の積分値の比が１になるように制御する
ことを特徴とする請求項１に記載の撮像装置。
前記ホワイトバランス制御手段は、前記検出手段により、前記フィルタが光軸から外れた外部位置にあると検出された場合、前記映像信号の所定の輝度範囲部分の積分値の比が１になるように制御する
ことを特徴とする請求項１に記載の撮像装置。
前記検出手段により、前記フィルタが光軸から外れた外部位置にあると検出された場合、前記ホワイトバランス制御手段は、低照度色消しを行わない
ことを特徴とする請求項１に記載の撮像装置。
白の被写体に基づく映像信号の積分値の比を記憶する記憶手段を備える撮像装置の撮像方法において、
分光を変化させるフィルタの位置を検出する検出ステップと、
前記検出ステップの処理により、前記フィルタが光軸位置にあると検出された場合、撮影された映像信号の積分値の比が、前記記憶手段に記憶されている積分値の比になるようにホワイトバランス制御を行い、前記検出ステップの処理により、前記フィルタが光軸から外れた外部位置にあると検出された場合、撮影された映像信号の積分値の比が１になるようにホワイトバランス制御を行うホワイトバランス制御ステップと
を含むことを特徴とする撮像方法。