JP4024230B2 - 撮像装置 - Google Patents

Description

この発明は、撮像装置に関し、特に赤外線に対して分光感度を有する撮像素子を有し、かつ赤外線による透視撮像を防止する機能を備えた撮像装置に関する。

従来の撮像装置は、入射光を結像するレンズと、レンズにより結像した光学像を電気信号に変換する撮像素子と、撮像素子から得られた電気信号に対し信号処理を施すことにより所定の映像信号を得る映像信号処理手段とを有している。
通常撮像素子として用いるＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサー又はＣＭＯＳ（Ｃｏｍｐｌｉｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサを一枚だけで撮像装置を構成する場合、即ち、単板式のセンサーにおいては、色分解を行う色フィルタとして、画素ごとに異なる色のものがセンサー上に設けられている。
赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色信号を得るには、Ｒ、Ｇ、Ｂに対応する光の帯域を透過させる、Ｒ、Ｇ、Ｂの原色フィルタを用いる場合と、マゼンタ（Ｍｇ）、シアン（Ｃｙ）、イエロー（Ｙｅ）、Ｇの補色フィルタを用いる場合がある。上記のいずれの色フィルタも染料もしくは顔料を用いて目的の色を透過させるようにその分光透過特性が設計されているが、赤外領域でも一定の透過率を有する。また、撮像素子の光電変換部は主にシリコン（Ｓｉ）などの半導体で構成されているため、光電変換部の分光感度特性は波長の長い赤外光まで感度を有している。よって、色フィルタを具備した撮像素子から得られた信号は赤外領域の光線にも反応している。

これに対し、人間の色に対する感度特性である色覚特性および明るさに対する感度特性である比視感度特性はその感度が可視域といわれる３８０ｎｍから７８０ｎｍまでの感度特性であり、７００ｎｍより長波長域ではほとんど感度を有さない。そこで、撮像装置の色再現性を人間の色覚特性に合わせるためには、撮像素子の前に赤外領域の光線を通過させない視感度補正用の赤外線除去フィルタ（以後、ＩＲＣＦ：Ｉｎｆｒａｒｅｄ Ｃｕｔ Ｆｉｌｔｅｒ）を設ける必要があった。

一方、例えば監視カメラ等のように色再現性よりも感度を重視する場合には、赤外領域の光を利用するため、ＩＲＣＦを設けず撮像素子に赤外光を受光させるほうが良い。

そこで、色再現性を重視したカラー画像の撮像と、高感度撮像のいずれにも対応できるようにするため、色再現性を重視するときはＩＲＣＦを撮像素子の前に設置し、感度を重視するときは赤外の光線を受光するために、ＩＲＣＦを移動させる機構手段を設けたり、入射光量を調整する絞りの一部にＩＲＣＦを設け、光量に応じてＩＲＣＦを撮像素子の前に設置したり除去したりする技術が種々提案されている（例えば、特許文献１参照）。

しかしながら、特許文献１に挙げた従来の撮像装置はＩＲＣＦを移動させる機構手段が必要であり、撮像素子を含むユニットの小型化に不利であり、ＩＲＣＦを用いない構成とすることが望まれている。
また、ＩＲＣＦを設置せずにホワイトバランスを取り、ＩＲＣＦを設置したときに輝度信号を生成するＲ、Ｇ、Ｂ信号の混色比とは異なる混色比で輝度信号を生成することで感度向上を図る技術も提案されている（特許文献２、３参照）。

さらにまた、撮像素子の赤外の感度を利用してＩＲＣＦを用いず赤外領域の光線を受光して撮像する場合、人間などの被写体から放出する赤外線を利用して撮像することができるため、可視域の光線を遮断するフィルタ（たとえばシャープカットフィルタ）を撮像素子の前に装着し、衣服に包まれている身体を透視して撮像することが可能であり、これが不正に利用されることがあると言う問題があった。その対策として、水着に赤外線を透過させない材質を使用することも提案されている（特許文献４参照）。

特開２００１−３６８０７公報（第３−４頁、第１図、第２図） 特開２００３−１３４５２２公報（第４−５頁、第１図） 特開２００３−２６４８４３公報（第４頁、第１図） 特開２０００−１７８８０９公報（第２頁）

しかしながら、特許文献４による対策は被写体となる人間が赤外線を遮断する衣服を着用する場合に限って有効であり、そのような衣服の着用が困難ないし非実際的である場合が多い。
本発明は、上記の問題を解決するためになされたものであり、被写体が特殊な衣服を着用しなくても、赤外線による透視を利用した不適切な撮像を防止することができる撮像装置を提供することを目的とする。

本発明は、
入射光を受けて、入射光に対応し、赤外成分を含む第１の映像信号を生成する映像信号生成手段と、
前記第１の映像信号を受け、前記第１の映像信号から前記赤外成分を除去して第２の映像信号を生成する分光感度補正手段と、
前記第１の映像信号及び前記第２の映像信号に基いて、前記第１の映像信号に含まれる赤外成分が所定値よりも大きいか否かの判定を行い、大きいと判定されたときに、赤外線を利用した透視撮像が行われていると判定し、前記第１の映像信号、前記第２の映像信号、又はこれらのいずれかを変換することにより得られる映像信号の外部への出力を禁止する透視撮像防止手段とを備え、
前記透視撮像防止手段は、前記第１の映像信号と前記第２の映像信号の差に基いて、前記判定を行うことを特徴とする撮像装置を提供するものである。
本発明はまた、
入射光を受けて、入射光に対応し、赤外成分を含む第１の映像信号を生成する映像信号生成手段と、
前記第１の映像信号を受け、前記第１の映像信号から前記赤外成分を除去して第２の映像信号を生成する分光感度補正手段と、
前記第１の映像信号及び前記第２の映像信号に基いて、前記第１の映像信号に含まれる赤外成分が所定値よりも大きいか否かの判定を行い、大きいと判定されたときに、赤外線を利用した透視撮像が行われていると判定し、前記第１の映像信号、前記第２の映像信号、又はこれらのいずれかを変換することにより得られる映像信号の外部への出力を禁止する透視撮像防止手段とを備え、
前記透視撮像防止手段は、前記第１の映像信号の積算値と前記第２の映像信号の積算値の差に基いて、前記判定を行うことを特徴とする撮像装置を提供する。

本発明によれば、赤外線による透視を利用した不適切な撮像を防止することができる。

実施の形態１．
図１はこの発明の実施の形態１による撮像装置を示す概略構成図である。図示のように、この撮像装置は、映像信号生成手段２と、分光感度補正手段４と、映像信号処理手段６と、透視撮像防止手段８とを有する。

映像信号生成手段２は、入射光を受けて、入射光に対応する映像信号（第１の映像信号）、例えばＲ、Ｇ、Ｂの色信号を出力するものであり、例えば図１に示すように、撮像手段１１と、増幅手段１２と、Ａ／Ｄ変換器（ＡＤＣ）１３と、直流成分再生手段（ＤＣ再生手段）１４と、ホワイトバランス（ＷＢ）手段１５とを有する。
分光感度補正手段４は、映像信号生成手段２から出力される第１の映像信号から、赤外成分、すなわち、映像信号生成手段２が赤外領域において分光感度を有することによって第１の映像信号に含まれる信号成分を除去して、第２の映像信号を生成するものである。
映像信号処理手段６は、分光感度補正手段４から出力される第２の映像信号を、外部に出力するのに適した信号（第３の映像信号）に変換するものである。

透視撮像防止手段８は、第１の映像信号に含まれる赤外成分が所定値よりも大きいかどうかの判定を行い、大きいと判定されたときに、赤外線を利用した透視撮像が行われていると判定し、第２の映像信号又はこれを変換することにより得られる映像信号の外部への出力を禁止するものである。

撮像手段１１は、例えば図２及び図３に示すように、レンズを含む光学系２１と、２次元的に配列され、それぞれ画素を構成する複数の光電変換素子を有する撮像素子２２とを有する。撮像素子２２の複数の光電変換素子は、例えば図２に示すように、色分離手段としての色フィルタ群２３で覆われている。
複数の光電変換素子は第１乃至第３の群に分けられている。
色フィルタ群２３は、第１の群の光電変換素子の各々に対して設けられた複数の赤のフィルタ（Ｒフィルタ）２６と、第２の群の光電変換素子の各々に対して設けられた複数の緑のフィルタ（Ｇフィルタ）２７と、第３の群の光電変換素子の各々に対して設けられた複数の青のフィルタ（Ｂフィルタ）２８とを有し、これらが例えば図示のように即ちベイヤ型に配列されている。

図４にはそれぞれＲ、Ｇ、Ｂの色フィルタ２６、２７、２８が設けられた光電変換素子の分光感度特性ｒ（λ）、ｇ（λ）、ｂ（λ）を示す。図４に示した分光感度特性は、色フィルタの透過率と撮像手段１１の各画素を構成する光電変換素子の分光感度特性との組合せの特性である。撮像手段１１の各画素を構成する光電変換素子は１０００ｎｍ近辺の波長まで感度を有するので、ｒ（λ）、ｇ（λ）、ｂ（λ）は、略色フィルタの分光透過率に対応したものである。従って、Ｒフィルタ２６は、略５６０ｎｍから透過率が大きくなる分光透過率特性を有し、Ｇフィルタ２７は、略４５０ｎｍから６００ｎｍまで透過率が大きくなり、略７００ｎｍから再び透過率が大きくなる分光透過率特性を有し、Ｂフィルタ２８は、略３８０ｎｍから５５０ｎｍまで透過率が大きくなり、略８００ｎｍから再び透過率が大きくなる分光透過率特性を有する。

レンズを含む光学系２１から入射した光は、撮像素子２２の受光面上に結像する。撮像素子２２は、上記のように色フィルタ群２３で覆われており、各光電変換素子からは、色フィルタ群２３の分光透過率に対応した色成分、即ちＲ、Ｇ、Ｂのアナログ映像信号Ｒａ、Ｇａ、Ｂａが出力される。

このようにして、撮像手段１１から出力されるＲ、Ｇ、Ｂのアナログ信号（以下、それぞれ「Ｒ信号」、「Ｇ信号」、「Ｂ信号」と言うことがある）は、増幅手段１２によって増幅される。増幅手段１２から出力された映像信号はＡＤＣ１３によってデジタル色信号Ｒｂ、Ｇｂ、Ｂｂに変換される。

デジタル色信号Ｒｂ、Ｇｂ、ＢｂはＤＣ再生手段１４により、ＤＣレベルが再生される。ＤＣ再生は通常映像信号の黒レベルが「０」になるように、ＡＤＣ１３によるＡ／Ｄ変換前に有していたオフセットレベルをＤＣシフトするか、クランプ処理を行う。

ホワイトバランス手段１５は、図５に示されるように、ＤＣ再生手段１４から出力される色信号Ｒｃ、Ｇｃ、Ｂｃを増幅して増幅された色信号Ｒｄ、Ｇｄ、Ｂｄを出力する３つの増幅手段３１ｒ、３１ｇ、３１ｂと、色信号Ｒｃ、Ｇｃ、Ｂｃをそれぞれ１画面内のすべての画素について積算して積算値ΣＲｃ、ΣＧｃ、ΣＢｃを出力する積算手段３２ｒ、３２ｇ、３２ｂと、積算手段３２ｒ、３２ｇ、３２ｂの出力ΣＲｃ、ΣＧｃ、ΣＢｃに基づいて増幅手段３１ｒ、３１ｇ、３１ｂの増幅率を制御する利得制御手段３３とを有する。

ホワイトバランス手段は、一般被写体の場合、１画面中の色は平均すれば無彩色に近くなるという統計的結果を利用して、画面内のすべての画素について積算値が互いに等しくなるように、それぞれの色の信号に対する増幅率を制御して行う。ホワイトバランス手段１５の出力が映像信号生成手段２の出力（第１の映像信号）となる。

分光感度補正手段４は、上記のように、映像信号Ｒｄ、Ｇｄ、Ｂｄから、映像信号生成手段２、特にその撮像手段１１が赤外領域において分光感度を有することによって、信号Ｒｄ、Ｇｄ、Ｂｄに含まれる信号成分（この信号成分を「赤外成分」と呼ぶ）を除去して、言い換えると、映像信号生成手段２が赤外領域に分光感度を有することによる影響を取り除いて、色信号（第２の映像信号）Ｒｅ、Ｇｅ、Ｂｅを生成するものである。
従って、色信号Ｒｅ、Ｇｅ、Ｂｅは、映像信号生成手段２が赤外領域に分光感度を持たない場合に、たとえば映像信号生成手段２の撮像手段１１がＩＲＣＦを備えたものである場合に、映像信号生成手段２の出力側に得られる信号と略同じものである。
分光感度補正手段４は、マトリクス演算によってそのような補正を行うものであり、マトリクス演算に用いられる係数が、上記のような条件を満たすように定められている。以下、分光感度補正手段４による分光感度補正について詳細に説明する。

図６に人間の色覚特性を表した分光感度特性を示す。図６に示した特性は正常色覚者の等色関数の平均値であり、ＣＩＥ（Ｃｏｍｍｉｓｓｉｏｎ Ｉｎｔｅｒｎａｔｉｏｎａｌｅ ｄｅ ｌ‘Ｅ’ｃｌａｉｒａｇｅ）１９３１にて規定されている。人間が感じる色は、色順応などの機能を無視し、簡単に表せば図６に示したＲ、Ｇ、Ｂの分光感度特性（等色関数）と被写体の反射分光特性と照明の分光特性とを乗算し、乗算結果を可視域にて積算することにより得られる値として表すことができる。図６に示したように人間の感度特性はいわゆる可視域と呼ばれるように略３８０ｎｍから７８０ｎｍまでしか感度が無く、７００ｎｍより長波長側ではほとんど感度がない。

撮像手段１１に色分解を行うＲＧＢの色フィルタ２３を設けた場合、色フィルタの分光透過率と撮像素子の分光感度の積に応じたＲ、Ｇ、Ｂの信号が撮像手段１１から出力されるが、撮像手段１１は光電変換を行う撮像素子例えばフォトダイオードがＳｉ（シリコン）などの半導体で形成されているため、可視域から赤外領域（１０００ｎｍ近辺）まで分光感度を有する。また、図４を参照して説明したように、Ｒフィルタ２６は、略５６０ｎｍから透過率が大きくなる分光透過率特性を有し、Ｇフィルタ２７は、略４５０ｎｍから６００ｎｍまで透過率が大きくなり、略７００ｎｍから再び透過率が大きくなる分光透過率特性を有し、Ｂフィルタ２８は、略３８０ｎｍから５５０ｎｍまで透過率が大きくなり、略８００ｎｍから再び透過率が大きくなる分光透過率特性を有する。さらに、Ｒフィルタ２６は、赤外領域の透過率も比較的高いため、赤外線を撮像素子２２に透過させる。また、Ｇフィルタ２７や、Ｂフィルタ２８も同様に赤外領域に一定の透過率を有する。これは、ＲＧＢの色フィルタは通常それぞれの色を含んだ染料や顔料を用いてフィルタを構成するが、その分光透過率は構成する材質に依存し、長波長側の可視域から赤外領域に掛けて再び透過率が上がる特性を有しているためである。

図４に示した撮像素子２２のＲ、Ｇ、Ｂの分光感度特性（ｒ（λ）、ｇ（λ）、ｂ（λ））は図６に示した等色関数とは異なり、特に赤外領域（７００ｎｍから１１００ｎｍ）では著しく異なるため、従来の撮像装置では赤外領域の光を通過させず除去する赤外カットフィルタ（ＩＲＣＦ）を撮像素子２２の前に設けている。ＩＲＣＦは図７にＩＲＣＦ（λ）で示すように、略７００ｎｍで急激に透過率を低下させる分光透過率特性を有している。ＩＲＣＦ（λ）とＲ、Ｇ、Ｂの色フィルタの分光透過率特性（ｒ（λ）、ｇ（λ）、ｂ（λ））とを掛け合わせた特性が従来のＩＲＣＦを具備した場合の撮像手段のＲ、Ｇ、Ｂ信号に対応するそれぞれの色の分光感度特性であり、図７に破線ｒ’（λ）、ｇ’（λ）、ｂ’（λ）で示されている。

なお、ＩＲＣＦはその材質によって分光透過率の特性が異なり、光の干渉を利用して複数の薄膜を重ねたタイプのＩＲＣＦは急峻なカットオフ特性を実現できるため図７に示した特性となる。一方、光の吸収を利用した通常青ガラスと呼ばれるＩＲＣＦは急峻なカットオフ特性を実現できないため、半値が略６５０ｎｍであるが、いずれのタイプにしても目的は等色関数にあわせるためであり、７００ｎｍ以上の透過をなくすための特性を有している。

従来の撮像装置はＩＲＣＦの使用により、図７に破線で示した撮像手段の分光感度特性にて撮像を行うが、厳密には図７の破線で示した分光感度特性は図６で示した等色関数とは異なるため、図７の破線の分光感度特性では、図６の等色関数から得られる画像とまったく同値の色再現性は得られない。しかし、ほぼ同等の色再現性が得られるため、従来の撮像装置では本特性にて充分であるとしていた。ここでの色再現性とは人間の目で見える色に略一致させることであり、かつ目で違うものに見える色は違う色に、同じものに見える色は同じ色に再現することを意味する。
また、更に厳密に色再現性の精度を上げるためにはＲ、Ｇ、Ｂ信号に対して３行３列のマトリクス演算を行うことにより、更に等色関数への近似を行い色再現性を向上させるという信号処理も行われていた。

上記のように従来は赤外領域における撮像素子２２の分光感度特性が人間の感度特性と異なるため、ＩＲＣＦを挿入し、分光感度特性を近似させていた。
撮像手段１１から得られた信号に対する処理により、赤外領域から得られる余分な信号成分を元の信号から除去することができれば、ＩＲＣＦを用いずに良好な色再現性を実現することができる。

分光感度補正手段４はその目的で用いられるものであり映像信号生成手段２から出力される色信号Ｒｄ、Ｇｄ、Ｂｄに対して下記の式（１）で示されるマトリクス演算を行って補正された色信号Ｒｅ、Ｇｅ、Ｂｅを出力する。

式（１）において、ｅ１１乃至ｅ３３はマトリクス係数である。

図４に示した撮像手段１１の分光感度特性と、図７に破線で示した分光感度特性とは特に赤外の領域においてその分光特性が大きく異なるが、式（１）で示したマトリクス係数を適切に定めることで条件等色を満たし良好な色再現性を得ることができる。ここで、条件等色とは分光特性の異なる２つの色刺激が、特定の観測条件で等しい色に見えることである。
すなわち、特定の照明を用いて特定の被写体を撮像したときの色再現性が最も良くなるように、すなわち、ＩＲＣＦを用いなくてもＩＲＣＦを用いたときと略等しい信号が分光感度補正手段４の出力側に得られるように、マトリクス係数を定める。

具体的なマトリクス係数の求め方は例えば、以下の通りである。
照明としては、例えば５０００Ｋの色温度を有する照明を用いる。図８に５０００Ｋの色温度の照明の分光特性を示す。
被写体としては、標準的なカラーチャート、例えばマクベスのカラーチェッカー（Ｍａｃｂｅｔｈ Ｃｏｌｏｒ Ｃｈｅｃｋｅｒ）の２４色のカラーパッチ（色票）を用いる。

マクベスカラーチェッカーは、被写体として現存する色を代表し、かつ人間の記憶色（肌色、植物の緑、空の青等）を重視して選択された２４色のカラーパッチを含むものであり、２４色のカラーパッチの３００ｎｍから１２００ｎｍの分光反射率が図９に示されている。図９でカラーパッチの番号１乃至２４はそれぞれ以下の色に対応する。

１：暗い肌色（Ｄａｒｋ ｓｋｉｎ）、
２：明るい肌色（Ｌｉｇｈｔ Ｓｋｉｎ）、
３：青空の色（Ｂｌｕｅ ｓｋｙ）、
４：草の色（Ｆｏｌｉａｇｅ）、
５：青色の花（Ｂｌｕｅ ｆｌｏｗｅｒ）、
６：青みの緑色（Ｂｌｕｉｓｈ ｇｒｅｅｎ）、
７：オレンジ色（Ｏｒａｎｇｅ）、
８：紫みの青色（Ｐｕｒｐｌｉｓｈ ｂｌｕｅ）、
９：中程の赤色（Ｍｏｄｅｒａｔｅ ｒｅｄ）、
１０：紫色（Ｐｕｒｐｌｅ）、
１１：黄緑色（Ｙｅｌｌｏｗ ｇｒｅｅｎ）、
１２：オレンジみの黄色（Ｏｒａｎｇｅ ｙｅｌｌｏｗ）、
１３：青色（Ｂｌｕｅ）、
１４：緑色（Ｇｒｅｅｎ）、
１５：赤色（Ｒｅｄ）、
１６：黄色（Ｙｅｌｌｏｗ）、
１７：マゼンタ（Ｍａｇｅｎｔａ）、
１８：シアン（Ｃｙａｎ）、
１９：白色（Ｗｈｉｔｅ）、
２０：グレイ８（Ｎｅｕｔｒａｌ ８）、
２１：グレイ６．５（Ｎｅｕｔｒａｌ ６．５）、
２２：グレイ５（Ｎｅｕｔｒａｌ ５）、
２３：グレイ３．５（Ｎｅｕｔｒａｌ ３．５）、
２４：黒色（Ｂｌａｃｋ）
である
（なお、上記した各カラーパッチの和訳は、新編色彩化学ハンドブック第２版、日本色彩学会編による。）

図８に示した照明の分光特性と、図９に示した被写体の分光反射率と、図７に破線に示した分光感度特性との積を、全波長に亘って積算することにより、積算和を求める。

図１の撮像装置でマクベスカラーチェッカーの各カラーパッチを撮像したときに分光感度補正手段４の出力側に得られる信号は、照明の分光特性（例えば図８に示されるもの）と、各カラーパッチの分光反射率と、映像信号生成手段２の分光感度特性（図４に示した分光感度特性に略等しい）と、分光感度補正手段４の応答特性との積に依存する。
一方、図１の撮像装置でマクベスカラーチェッカーの各カラーパッチを撮像したときに分光感度補正手段４の出力側に得られるべき信号（ターゲット信号）Ｒｔ、Ｇｔ、Ｂｔは、照明の分光特性（例えば図８に示されるもの）と、各カラーパッチの分光反射率（図９に示される）と、図７に破線で示される分光感度特性との積で求められる。
そこで、上記したターゲット信号Ｒｔ、Ｇｔ、Ｂｔの値に、分光感度補正手段４の出力側に得られる信号Ｒｅ、Ｇｅ、Ｂｅの値が最も近くなるように、係数ｅ１１乃至ｅ３３の値を定める。最も近いかどうかの判定は、最小二乗誤差法により、即ち両者のそれぞれ対応する値の差の二乗の総和を求めて、この総和が最小かどうかを判定することにより行われる。

上記の算出により求められたマトリクス係数を用い式（１）に示すマトリクス演算により得られたＲｅ、Ｇｅ、Ｂｅと、撮像手段の分光感度特性が図７の破線で示すごとくであるときに選られる信号Ｒｔ、Ｇｔ、Ｂｔとの色差ΔＥ＊ａｂを図１０に示す。用いられたマトリクス係数はｅ１１＝０．３２８８、ｅ１２＝０．４４５４、ｅ１３＝−０．３０８０、ｅ２１＝−０．１９８１、ｅ２２＝１．１２９４、ｅ２３＝−０．１５９４、ｅ３１＝−０．１４２１、ｅ３２＝０．１４９５、ｅ３３＝０．７８５７である。
色差ΔＥ＊ａｂは

で算出している（ＪＩＳ Ｚ８７３０−１９９５）。図１０に示すように平均の色差は３．０であり、人間の目にはほとんど同色の色再現性を実現できている。

上述した分光感度補正手段４の３行３列のマトリクス演算は一例であり、他の係数マトリクスを用いたマトリクス演算でも赤外線による不要な信号成分を補正する演算処理であれば良い。

よって、上述した分光感度補正手段４によるマトリクス演算により、その出力信号Ｒｅ、Ｇｅ、Ｂｅは、図７に破線で示す人間の眼で見える可視域の範囲の分光感度特性を介した信号と略等価であるため、補正信号積算手段４５は図７に破線で示す分光感度特性を介して得られたＲ、Ｇ、Ｂ信号の画面全体の積算値を算出していることになる。

映像信号処理手段６は、上記のように、分光感度補正手段４から出力される信号Ｒｅ、Ｇｅ、Ｂｅを、外部に出力するのに適した信号に変換するものであり、例えば、図１に示すように、ガンマ（γ）補正手段１６と、輝度色差信号生成手段１７とを有する。
ガンマ補正手段１６は分光感度補正手段４から出力された色信号Ｒｅ、Ｇｅ、Ｂｅに非線形の階調変換を行って、ガンマ補正された色信号Ｒｆ、Ｇｆ、Ｂｆを出力する。

輝度色差信号生成手段１７はガンマ補正手段１６から出力された色信号Ｒｆ、Ｇｆ、Ｂｆを、輝度信号（Ｙ信号）、及び２つの色差信号（Ｃｒ信号、Ｃｂ信号）に変換する。輝度色差信号生成手段１７は、この変換（ＹＣｒＣｂ変換）のため、通常３行３列の係数マトリクスを掛ける、下記の式（２）の線形マトリクス演算を行ってＹ、Ｃｒ、Ｃｂ信号を生成する。

式（２）において３行３列のマトリクス係数は例えば、ＩＥＣ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｅｌｅｃｔｒｏｔｅｃｈｎｉｃａｌ Ｃｏｍｍｉｓｓｉｏｎ）６１９６６−２−１）に規定されているように、ｙ１＝０．２９９０、ｙ２＝０．５８７０、ｙ３＝０．１１４０、ｃｒ１＝−０．１６８７、ｃｒ２＝−０．３３１３、ｃｒ３＝０．５０００、ｃｂ１＝０．５０００、ｃｂ２＝−０．４１８７、ｃｂ３＝−０．０８１３と定められる。

透視撮像防止手段８は、上記のように、第１の映像信号（映像信号生成手段２の出力）Ｒｄ、Ｇｄ、Ｂｄに含まれる赤外成分が所定値よりも大きいかどうかの判定を行い、大きいと判定されたときに、赤外線を利用した透視撮像が行われていると判定し、第２の映像信号（分光感度補正手段４の出力）又はこれを変換することにより得られる映像信号の外部への出力を禁止するものであり、例えば、図１に示すように、透視撮像検出手段４１と、出力手段４２とを有する。透視撮像検出手段４１は、図１に示すように、減算手段４３ｒ、４３ｇ、４３ｂと、差分積算手段４４と、補正信号積算手段４５と、判定手段４６とを有する。

透視撮像検出手段４１は、映像信号生成手段２の出力Ｒｄ、Ｇｄ、Ｂｄと分光感度補正手段４の出力Ｒｅ、Ｇｅ、Ｂｅに基づいて、映像信号に含まれる赤外成分が所定値よりも大きいことが検出されたときに、赤外線を利用した透視撮像が行われていると判定し、透視撮像検出信号ＢＳを第１の値、例えば「１」にする。透視撮像が行われていると判定されないときは、透視撮像検出信号ＢＳは第２の値、例えば「０」とされる。

出力手段４２は、透視撮像検出信号ＢＳに応じて、輝度色差信号生成手段１７から出力される輝度色差信号ＹＣｒＣｂを受けて、そのまま出力させたり、その出力を禁止したりするものである。
出力手段４２は、通常は、即ち透視撮像検出信号ＢＳの値が「０」のときは、輝度色差信号生成手段１７から供給される輝度色差信号ＹＣｒＣｂをそのまま出力するが、透視撮像検出信号ＢＳの値が「１」のときは、輝度色差信号ＹＣｒＣｂの出力を禁止する。

透視撮像検出手段４１を構成する減算手段４３ｒ、４３ｇ、４３ｂは映像信号生成手段２の出力信号Ｒｄ、Ｇｄ、Ｂｄから、分光感度補正手段４の出力信号Ｒｅ、Ｇｅ、Ｂｅを差し引き、その差分ΔＲ、ΔＧ、ΔＢを出力する。具体的には、前者Ｒｄ、Ｇｄ、Ｂｄから後者Ｒｅ、Ｇｅ、Ｂｅを差し引いたものをΔＲ、ΔＧ、ΔＢとして出力する。
映像信号生成手段２の出力信号Ｒｄ、Ｇｄ、Ｂｄは、赤外領域成分を含むものであり、分光感度補正手段４の出力信号Ｒｅ、Ｇｅ、Ｂｅは、赤外成分を含まないものであるので、前者から後者を差し引くことで得られる差分は、赤外成分を表すものとなる。
差分積算手段４４は、差分を積算し、赤外成分の積算値Σ（ΔＲ）、Σ（ΔＧ）、Σ（ΔＢ）を得る。

一方、補正信号積算手段４５は分光感度補正手段４の出力信号Ｒｅ、Ｇｅ、Ｂｅを積算し、積算値ΣＲｅ、ΣＧｅ、ΣＢｅを得る。
差分積算手段４４および補正信号積算手段４５は入力された信号を画像の例えば１画面に亘って積算する。
差分積算手段４４及び補正信号積算手段４５によって算出された積算値は判定手段４６に出力される。

判定手段４６は積算値Σ（ΔＲ）、Σ（ΔＧ）、Σ（ΔＢ）がΣＲｅ、ΣＧｅ、ΣＢｅを基準として比較的大きいかどうかの判定を行う。具体的には、判定手段４６は、差分積算手段４４の積算値Σ（ΔＲ）、Σ（ΔＧ）、Σ（ΔＢ）が補正信号積算手段４５の積算値のΣＲｅ、ΣＧｅ、ΣＢｅに予め定めた係数を掛けた値よいも大きいとき、赤外成分が比較的大きいと判断し、従って赤外線による透視を利用した不適切な撮像が行われたものと判断し、透視撮像検出信号ＢＳの値を「１」にする。
透視撮像検出信号ＢＳの値が「１」になると、後述のように、出力手段４２は、映像信号の出力を停止する。

具体的な判別式を下記の式（３）、（４）、（５）で示す。
Σ（ΔＲ）＞ｋ１×ΣＲｅ …（３）
Σ（ΔＧ）＞ｋ２×ΣＧｅ …（４）
Σ（ΔＢ）＞ｋ３×ΣＢｅ …（５）

式（３）、式（４）、式（５）においてｋ１、ｋ２、ｋ３は正の定数である。これら式（３）乃至（５）のすべて、またはいずれかを満たしたときに判定手段４６は透視撮像検出信号ＢＳの値を「１」にする。

判定手段は、上記の判定で、赤外成分が比較的大きいと判定したときは、透視撮像検出信号を所定の値、例えば「１」にする。これに応じて、出力手段４２は輝度色差信号生成手段１７から出力される輝度色差信号ＹＣｒＣｂの出力を停止する。

上記のような判定により、赤外線を利用した透視撮像を防止し得る理由は以下の通りである。水着などの薄い衣服を着用した被写体に対して、赤外線による透視を利用して撮像を行う際には、鮮明な映像を得るために目的で、赤外領域にも分光感度を有する撮像手段から、赤外成分だけを出力させるために、可視域の光線を透過させないシャープカットフィルタなどを撮像手段に装着して撮像が行われることがある。
そこで、差分積算手段４４の積算値が通常の撮像時の積算値から変化がなく、補正信号積算手段４５の積算値が著しく小さいときは、可視域の光線は透過させないシャープカットフィルタを装着して撮像を行っていると判断することができ、この判断に基づいて撮像によって得た映像信号の出力（表示のための出力、他の機器への伝送）を禁止することで、上記のような赤外線による透視を利用した不適切な撮像の際、撮像画像の利用ができないようにすることができるのである。

上述した判定手段４６による制御によって、赤外領域と可視域の撮像が両用可能な撮像装置の利点を損なうことなく、薄い衣服を着用した被写体に対する赤外線を利用した透視撮像を防止することができる。

なお、上記の例では、差分積算手段４４及び補正信号積算手段４５が１画面にわたる積算を行っているが、１画面より広い範囲にわたり積算を行っても良い。ホワイトバランス手段１５の積算手段３２ｒ、３２ｇ、３２ｂについても同様である。

さらに、上記の判別式（３）乃至（５）の代わりに、下記の式（６）に示すように信号レベルを比較する条件式でも良い。

ａ×Σ（ΔＲ）＋ｂ×Σ（ΔＧ）＋ｃ×Σ（ΔＢ）＞ｋ４×（ａ×ΣＲｅ＋ｂ×ΣＧｅ＋ｃ×ΣＢｅ） …（６）

式（６）においてｋ４は正の定数である。また、ａ、ｂ、ｃも定数である。

上記の例においては、赤外線の映像信号に対応する信号成分として、映像信号生成手段２の出力Ｒｄ、Ｇｄ、Ｂｄから分光感度補正手段４の出力Ｒｅ、Ｇｅ、Ｂｅを減算して、その差を積算手段４４により、１画面以上にわたる積算値ΣΔＲ、ΣΔＧ、ΣΔＢを求め、これらが、積算手段４５の積算値のΣＲｅ、ΣＧｅ、ΣＢｅに予め定めた係数を掛けた値よいも大きいとき、赤外成分が比較的大きいと判断している。このようにする代わりに、映像信号生成手段２の出力Ｒｄ、Ｇｄ、Ｂｄを１画面分積算して積算値ΣＲｄ、ΣＧｄ、ΣＢｄを求め、分光感度補正手段４の出力Ｒｅ、Ｇｅ、Ｂｅを１画面分積算して積算値ΣＲｅ、ΣＧｅ、ΣＢｅを求め、これらを用いて減算を行ってそれらの差Δ（ΣＲ）、Δ（ΣＧ）、Δ（ΣＢ）を、この差を赤外線の映像信号に対応する信号成分として、上記した差の積算値Σ（ΔＲ）、Σ（ΔＧ）、Σ（ΔＢ）の代わりに用いることが可能である。この場合、（差の積算値Σ（ΔＲ）、Σ（ΔＧ）、Σ（ΔＢ）の代わりに）積算値の差Δ（ΣＲ）、Δ（ΣＧ）、Δ（ΣＢ）が積算手段４５の積算値のΣＲｅ、ΣＧｅ、ΣＢｅに予め定めた係数を掛けた値よいも大きいとき、赤外成分が比較的大きいと判断することとする。

この場合、透視撮像検出手段４１で行っている演算及び判定を、Ｒ信号について総合すると以下のようになる。
ΔΣＲ＞ｋ１×ΣＲｅ
ΔΣＲ＝ΣＲｄ−ΣＲｅであるので、
ΣＲｄ−ΣＲｅ＞ｋ１×ΣＲｅ
従って、
ΣＲｄ＞（１＋ｋ１）×ΣＲｅ
即ち、映像信号生成手段２の出力Ｒｄが分光感度補正手段４の出力Ｒｅに所定の係数（１＋ｋ１）を掛けた値よりも大きいときは、透視撮像が行われていると判定していることになる。Ｇ信号、Ｂ信号についても同様に、映像信号生成手段２の出力（Ｇｄ、Ｂｄ）が分光感度補正手段４の出力（Ｇｅ、Ｂｅ）に所定の係数（（１＋ｋ２）、（１＋ｋ３））を掛けた値よりも大きいときは、透視撮像が行われていると判定していることになる。

上記の例では、透視撮像が検出されたときに第２の映像信号又はそれを変換することにより得られる映像信号（上記の例では輝度色差信号）の外部への出力を禁止するようにしているが、透視撮像が検出されたときに第１の映像信号又はそれを変換することにより得られる映像信号の外部への出力を禁止するように構成しても良い。

上記の例では、撮像手段１１が図７に破線で示す分光感度特性を有する場合に、得られる信号をターゲット信号としたが、撮像手段１１が図６の等色関数に等しい分光感度特性を有する場合に選られる信号をターゲット信号としても良い。すなわち、映像信号生成手段２から分光感度補正手段４までの総合的な特性が、映像信号生成手段２から分光感度補正手段４までの総合的な特性がＣＩＥ１９３１等色関数又はそれを線形変換することによって得られる等色関数に近似した分光感度特性、或いは人間の色覚特性又はそれを線形変換することによって得られる分光感度特性を有するときに得られる色信号をターゲット信号としても良い。

実施の形態２．
図１１は図１に示した撮像装置の出力部分の別の構成例である。図１１に示す例では、出力手段４２に加えて、文字発生手段５１と、合成手段５２とが設けられ、さらに合成手段５２の出力を受けて映像を表示する表示手段５３が設けられている。

文字発生手段５１は、透視撮像検出信号ＢＳが「１」（透視撮像が検出されたことを示すもの）であるときは、警告を表す文字データ、例えば「不適切な撮像です」、「今の撮像結果は表示することはできません」と言った文字列を表示するためのデータを出力し、透視撮像検出信号ＢＳが「０」（透視撮像が検出されないことを示すもの）であるときは、上記のような文字列を表示するためのデータ出力をしない。

出力手段４２は、透視撮像検出信号ＢＳが「０」であるときは、輝度色差信号生成手段１７からの映像信号（輝度色差信号ＹＣｒＣｂ）を出力し、透視撮像検出信号ＢＳが「１」であるときは、輝度色差信号生成手段１７からの映像信号を出力しない。
合成手段５２は、出力手段４２の出力及び文字発生手段５１の出力を合成して出力するものである。

透視撮像検出信号ＢＳが「０」のときは、出力手段４２の出力のみが供給され、文字発生手段５１の出力が発生されないので、出力手段４２からの映像信号のみが、合成手段５２を通って出力される。即ち、合成手段５２の出力は出力手段４２から出力される映像信号と同じものとなる。

透視撮像検出信号ＢＳが「１」のときは、出力手段４２から映像信号が出力されず、文字発生手段５１から文字データが供給されるので、合成手段５２の出力は、文字発生手段５１から出力される文字データと同じものとなり、この文字データに対応する文字列が表示手段５３に表示される。この文字列により警告することで使用者に撮像装置の透視撮像（不適切な使用）をやめるように働きかけることができる。

実施の形態３．
図１２は図１に示した撮像装置の出力部分のさらに別の構成例である。図１２に示す例では、出力手段４２に加えて、音声信号発生手段５４が設けられ、さらに、音声信号発生手段５４の出力を受けて音声を発生するスピーカ５５が設けられている。音声信号発生手段５４とスピーカ５５とで音声発生手段が構成されている。

音声信号発生手段５４は、透視撮像検出信号ＢＳが「１」であるときは、警告を表す音声信号、例えばブザーのような警告音を発するための音声信号、或いは、例えば、「不適切な撮像です」、「今の撮像結果は表示することはできません」と言った合成音声信号を発生し、透視撮像検出信号ＢＳが「０」であるときは、上記のような音声信号を出力しない。

出力手段４２は、透視撮像検出信号ＢＳが「０」であるときは、映像信号を出力し、透視撮像検出信号ＢＳが「１」であるときは、映像信号を出力しない。
透視撮像検出信号ＢＳが「０」のときは、出力手段４２が映像信号を出力し、音声信号発生手段５４の出力が発生されないので、スピーカ５５から音声が発生されない。

透視撮像検出信号ＢＳが「１」のときは、出力手段４２から映像信号が出力されず、音声信号発生手段５４が音声信号を発生するので、この音声信号に対応する音声がスピーカ５５から出力される。この音声による警告により、使用者に撮像装置の不適切な使用をやめるように働きかけることができる。

実施の形態４．
図１３は図１に示した撮像装置の別の構成例である。図１３の撮像装置は、図１に示した撮像装置と概ね同一であるが、電源５６が透視撮像防止手段８の一部を成し、透視撮像検出信号ＢＳの出力により制御される。透視撮像検出手段４１は、外部からのリセット信号ＲＳによりリセットされる。

電源手段５６は、映像信号生成手段２、映像信号処理手段６、赤外成分検出手段１０、及び出力手段４２へ電力を供給するものであるが、透視撮像検出信号ＢＳが「１」となると、映像信号生成手段２の撮像手段１１、増幅手段１２、ＡＤＣ１３、ＤＣ再生手段１４、ＷＢ手段５、分光感度補正手段４、映像信号処理手段６のガンマ補正手段１６、輝度色差信号生成手段１７、及び出力手段４２の一部又は全部への電力を供給を停止する。この結果、撮像装置の撮像動作が停止する。これにより、使用者に撮像装置の不適切な使用をやめるように働きかけることができる。
撮像動作が停止した撮像装置を動作状態に戻すためには、例えば、シャープカットフィルタを外した後、図示しない入力手段でリセット信号ＲＳを判定手段４６に供給する。

実施の形態５．
以上の実施の形態の撮像装置は、動画や静止画を撮像するビデオカメラ、カメラ一体型ＶＴＲ、デジタルスチルカメラ、ＰＣカメラ、並びに携帯電話や携帯端末機に内蔵されるデジタルスチルカメラに適用可能であり、これらからＩＲＣＦを不要とし、かつ暗視に利用することが多い、監視カメラや車載カメラなどにも適用でき、このようなカメラにおいて、赤外領域に分光感度を有する構成において、被写体が着用した衣服を赤外線により透視して行われる撮像を防ぐことができる。

以下デジタルスチルカメラに適用した場合の構成を、図１４を参照して説明する。図１４に示すように、このデジタルカメラは、図１に示した撮像装置を構成する各要素のうち、映像信号生成手段２の代わりに映像信号生成手段６１を備え、さらにシャッタボタン６２、シャッタ駆動手段６３、表示駆動手段６４、モニタ６５、画像圧縮手段６６、及び書込み手段６７を付加したものである。

シャッタ駆動手段６３は、シャッタボタン６２の操作に応じて映像信号生成手段６１内のシャッタを駆動する。表示駆動手段６４は、出力手段４２の出力を受けてビューファインダーとしてのモニタ６５に画像を表示させる。モニタ６５は、例えば液晶表示装置で構成され、表示駆動手段６４に駆動されて、映像信号生成手段６１内の撮像手段で撮像されている画像を表示する。画像圧縮手段６６は、出力手段４２の出力を受けて例えばＪＰＥＧに準拠した画像圧縮を行なう。書込み手段６７は、画像圧縮手段６６で圧縮されたデータを記録媒体６８に書き込む。

なお、撮像装置を動画撮影に用いて、画像データを図示しない機器に伝送する場合、出力手段４２の出力をエンコードしてＮＴＳＣ信号を生成して出力する。

上記のように不適切な撮像であることが検出されると、出力手段４２から映像信号が出力されなくなるので、モニタ６５による撮像画像の表示も行われず、画像圧縮手段６６による圧縮及び記録媒体６８への書込みも行われなくなる。これにより不適切な撮像による映像の利用を不能にする。

この発明の実施の形態１の撮像装置を示すブロック図である。 図１の撮像装置の撮像手段１内の撮像素子２２上のカラーフィルタの配列を示した図である。 撮像素子２２とカラーフィルタ、光学系の配置を示す図である。 撮像手段の分光感度特性を示す図である。 図１のホワイトバランス手段の一構成例を示すブロック図である。 ＣＩＥ１９３１による等色関数を示す図である。 撮像手段、ＩＲＣＦ、およびそれらを乗算した分光感度特性を示す図である。 ５０００Ｋの照明の分光特性を示す図である。 マクベスチャートの各カラーパッチの分光反射率特性を示す図である。 分光感度補正によって得られた信号の色差を示す図である。 実施の形態２の撮像装置の出力部分を示すブロック図である。 実施の形態３の撮像装置の出力部分を示すブロック図である。 実施の形態４の撮像装置の出力部分を示すブロック図である。 実施の形態５のカメラの構成を示すブロック図である。

符号の説明

２ 映像信号生成手段、 ４ 分光感度補正手段、 ６ 映像信号処理手段、 ８ 透視撮像防止手段、 １１ 撮像手段、 １２ 増幅手段、 １３ ＡＤＣ、 １４ ＤＣ再生手段、 １５ ホワイトバランス手段、 １６ ガンマ補正手段、 １７ 輝度色差信号生成手段、 ４１ 透視撮像検出手段、 ４２ 出力手段、 ４３ｒ、４３ｇ、４３ｂ 減算手段、 ４４ 差分積算手段、 ４５ 補正信号積算手段、 ４６ 判定手段、 ５１ 文字情報発生器、 ５２ 合成手段、 ５３ 表示手段、 ５４ 音声信号発生手段、 ５５ スピーカ、 ５６ 電源。

Claims (10)

1. 入射光を受けて、入射光に対応し、赤外成分を含む第１の映像信号を生成する映像信号生成手段と、
   前記第１の映像信号を受け、前記第１の映像信号から前記赤外成分を除去して第２の映像信号を生成する分光感度補正手段と、
   前記第１の映像信号及び前記第２の映像信号に基いて、前記第１の映像信号に含まれる赤外成分が所定値よりも大きいか否かの判定を行い、大きいと判定されたときに、赤外線を利用した透視撮像が行われていると判定し、前記第１の映像信号、前記第２の映像信号、又はこれらのいずれかを変換することにより得られる映像信号の外部への出力を禁止する透視撮像防止手段とを備え、
   前記透視撮像防止手段は、前記第１の映像信号と前記第２の映像信号の差に基いて、前記判定を行うことを特徴とする撮像装置。
2. 入射光を受けて、入射光に対応し、赤外成分を含む第１の映像信号を生成する映像信号生成手段と、
   前記第１の映像信号を受け、前記第１の映像信号から前記赤外成分を除去して第２の映像信号を生成する分光感度補正手段と、
   前記第１の映像信号及び前記第２の映像信号に基いて、前記第１の映像信号に含まれる赤外成分が所定値よりも大きいか否かの判定を行い、大きいと判定されたときに、赤外線を利用した透視撮像が行われていると判定し、前記第１の映像信号、前記第２の映像信号、又はこれらのいずれかを変換することにより得られる映像信号の外部への出力を禁止する透視撮像防止手段とを備え、
   前記透視撮像防止手段は、前記第１の映像信号の積算値と前記第２の映像信号の積算値の差に基いて、前記判定を行うことを特徴とする撮像装置。
3. 前記映像信号生成手段が、赤、緑、青の光を透過させる第１、第２、第３のカラーフィルタを有し、それぞれのカラーフィルタの分光透過率に対応した第１、第２、第３の信号を前記映像信号として出力するものであり、
   前記第１、第２、第３の色フィルタのうちの少なくとも一つが、赤外領域に分光透過率を有することを特徴とする請求項１又は２に記載の撮像装置。
4. 前記第１のカラーフィルタは、略５６０ｎｍから透過率が大きくなる分光透過率特性を有し、前記第２のカラーフィルタは、略４５０ｎｍから６００ｎｍまで透過率が大きくなり、略７００ｎｍから再び透過率が大きくなる分光透過率特性を有し、前記第３のカラーフィルタは、略３８０ｎｍから５５０ｎｍまで透過率が大きくなり、略８００ｎｍから再び透過率が大きくなる分光透過率特性を有することを特徴とする請求項３に記載の撮像装置。
5. 前記透視撮像防止手段は、前記差の積算値が、前記第２の映像信号の積算値に所定の係数を掛けたものよりも大きければ、前記透視撮像が行われていると判定することを特徴とする請求項１に記載の撮像装置。
6. 前記透視撮像防止手段は、前記積算値の差が、前記第２の映像信号の積算値に所定の係数を掛けたものよりも大きければ、前記透視撮像が行われていると判定することを特徴とする請求項２に記載の撮像装置。
7. 前記分光感度補正手段は、前記映像信号生成手段から前記分光感度補正手段までの総合的な分光感度特性が、人間の色覚特性若しくはそれを線形変換することによって得られる分光感度特性、又はＣＩＥ１９３１等色関数若しくはそれを線形変換することによって得られる分光感度特性に近似したものとなるような補正を行って前記第２の映像信号を生成することを特徴とする請求項１又は２に記載の撮像装置。
8. さらに前記映像信号で表される映像の表示を行う表示手段を有し、
   前記透視撮像防止手段は、前記透視撮像が行われていると判定したとき、前記表示手段に、前記映像信号で表される映像の代わりに警告を表示させる
   ことを特徴とする請求項１乃至７のいずれかに記載の撮像装置。
9. さらに音声発生手段を有し、
   前記透視撮像防止手段は、前記透視撮像が行われていると判定したとき、前記音声発生手段に警告音声を発生させる
   ことを特徴とする請求項１乃至７のいずれかに記載の撮像装置。
10. 前記透視撮像防止手段は、前記透視撮像が行われていると判定したとき、前記映像信号生成手段、前記分光感度補正手段、及び前記出力手段の少なくとも一つに対する電源の供給を停止することを特徴とする請求項１乃至７のいずれかに記載の撮像装置。

Images