JP3494662B2

JP3494662B2 - カメラ及びこのカメラを備えた撮影システム

Info

Publication number: JP3494662B2
Application number: JP52752398A
Authority: JP
Inventors: モハメッドアボレラアブデルラティフ
Original assignee: 有限会社ネイチャーテクノロジー
Priority date: 1996-12-17
Filing date: 1996-12-17
Publication date: 2004-02-09
Anticipated expiration: 2016-12-17
Also published as: KR20000057663A; US6624847B1; EP0952738A4; WO1998027744A1; CA2275466A1; EP0952738A1; CA2275466C; KR100417629B1

Description

【発明の詳細な説明】［技術分野］この発明は、撮影された物体の像の色を補正し、その
像の色を正しく表示することの可能な撮影システムに関
する。

［背景技術］物体の色は照明状況に影響され易く、カメラにより撮
影された像の色を常に正しく表示することは困難であ
る。人間はそのような環境にあっても、物体の色を正し
く認識することができ、この能力は色の不変性と呼ばれ
る。

既存のビデオカメラでは、このような特性を有する撮
像素子を備えたものは存在しない。そして、かかるビデ
オカメラを備えた撮影システムにおいて色の不変性を実
現するために、特定点の色をその周囲の色と比較して補
正したり、複雑な補正を行う試みがなされている。しか
し、これらの試みは特殊な画像の補正に限定されたり画
像処理に多くの時間を要することから、実用的ではなか
った。

本発明は、撮影された物体の像の色を実用的な速さで
補正し、その像の色を正しく表示することの可能なレス
ポンスの良い撮影システムを提供することを目的として
いる。

［発明の開示］本発明に係るカメラの特徴構成は、カラー画像を撮像
する撮像素子と、対象物の像を前記撮像素子上に結像す
るレンズとを備えたカメラであって、前記対象物の像を
散乱反射し前記レンズを介して前記撮像素子上に入射さ
せる反射面を前記レンズ及び撮像素子のなす最大視野内
に設け、前記対象物上の対象点の直接像を撮す直接像部
と前記反射面から得られる対象点の間接像を撮す間接像
部を有している撮像素子を備えたことにある。

後述する発明者の解析によれば、最大視野内に設けら
れた反射面により散乱反射された間接像は、対象点の照
明の色を代表することが判明した。

特に、前記撮像素子のうち前記直接像を撮す直接像部
の幅が前記間接像を撮す間接像部の幅よりも広くなるよ
うに前記反射面を設定すると、撮像素子の最大視野を有
効に活用することが可能となる。しかも、後述するよう
に、間接像部の幅が最大視野の25％程度になっても、色
の補正には不都合が生じないことが確認された。

また、少なくとも前記最大視野外の光を遮るための覆
いを前記レンズの採光部側に設けることが望ましい。最
大視野外の光は色の補正に誤差を与えるが、この覆いに
より誤差を低減させることが可能となるからである。

前記撮像の色は前記間接像と前記直接像とを比較する
ことにより補正される。

反射面の設計に当たっては、前記直接像部と前記間接
像部とが並ぶ方向に対し、前記対象物の直接像と間接像
とが相似形となるようにすることができる。この場合、
花や小さな物体を細部までより正確に色補正することが
可能となる。

一方、前記直接像を撮す直接像部と前記間接像を撮す
間接像部とが並ぶ方向に対し、前記間接像部と前記直接
像部とで対応し合う各ピクセル数の割合が一定となるよ
うに反射面を設計してもよい。この場合は、色補正のア
ルゴリズムが単純化され、色の補正を非常に高速に処理
することが可能となる。

反射面の形状設計は次式に従うとよい。

Xni＝ｆ(Ａ−tan(２α))／(１＋Ａ・tan(２α)) 但し、ｆはレンズの焦点距離、Ａは（X/Z）、Ｘは対
象点Ｐの水平基準線Chからの水平方向距離、Ｚは対象点
Ｐの垂直基準線Cvからの垂直距離、αは反射面と垂直基
準線Cvに平行な水平線とのなす角である。

発明者の実験によれば、前記反射面を表面に油脂膜を
形成した皮で構成すると、色の補正が非常に良好に行え
ることが判明した。

本発明に係る撮影システムの特徴は、上記いずれかの
特徴構成に係るカメラを備えると共に、スキャンライン
に沿って順次スキャンされた映像をデジタル化しメモリ
ーに記憶する映像入力部を備え、前記映像は直接像部と
間接像部とを有しているとよい。

また、直接像の色を間接像の色で除算することによっ
て前記画像処理を行うようにしてもよく、前記の除算に
よる結果と３つの色において共通の補正項（Ｓ）と掛け
合わされればよい。

前記対象物上の対象点が前記撮像素子上で結像して得
られる前記直接像の各主座標と、前記反射面により前記
撮像素子上に得られる前記対象点の間接像の各副座標と
を対応させる対応手段を設け、次式により色補正された
撮像を得る色補正部を備えてあるとよい。

D1（Xmi,Ymi）＝（Rmi/Rni）・S, D2（Xmi,Ymi）＝（Gmi/Gni）・S, D3（Xmi,Ymi）＝（Bmi/Bni）・Ｓ但し、D1,D2,D3は、それぞれ色補正された撮像の前記
主座標（Xmi,Ymi）でのR,G,B成分であり、Rmi,Gmi,Bmi
は、それぞれ前記主座標（Xmi,Ymi）における直接像ピ
クセル（Pm）でのR,G,B成分であり、Rni,Gni,Bniは、そ
れぞれ前記副座標（Xni,Yni）における間接像ピクセル
（Pn）でのR,G,B成分であり、Ｓは補正項である。

後述する発明者の解析によれば、最大視野内に設けら
れた反射面により散乱反射された間接像は、対象点の照
明の色を代表することが判明した。したがって、この照
明の色を代表するRni,Gni,BniによりRmi,Gmi,Bmiをそれ
ぞれ除することで、照明の色の影響による誤差を打ち消
すことが可能となる。この点は、発明者の実験により確
認された。また、補正項ＳはRmi,Gmi、BmiをRni,Gni,Bn
iにより除した結果、その出力が装置的なスケール幅の
限界を超えることによる飽和を防ぐ。

本発明を実施するに当たっては、記憶媒体に記憶させ
た上記対応手段を実現するためのソフトウエアを汎用の
パーソナルコンピューターに組み込むと共に、上記反射
面を備えた上記覆いを汎用のビデオカメラに取り付ける
とよい。

このように、上記本発明の特徴によれば、反射面によ
る間接像と直接像を対比させることで、撮影された物体
の像の色を実用的な速さで補正し、その像の色を正しく
表示するレスポンスの良い撮影システムを提供すること
が可能となった。

本発明の詳細は、以下に示す発明の実施の形態及び実
施例の項から明らかになるであろう。なお、特許請求の
範囲の項に記入した符号は、あくまでも図面との対照を
便利にするためのものにすぎず、該記入により本発明は
添付図面の構成に限定されるものではない。

［発明を実施するための最良の形態］まず、図１〜５を参照しながら、本発明の原理を説明
する。

図１に示す例は、単純化された光路の幾何学的モデル
を示し、ここでは一般的な対象物Ob上の対象点Ｐと、反
射面（ノーズ面）18上の特定の点である反射基準点Ｎと
の位置関係を考える。対象物Ob上の対象点Ｐが、カメラ
20のレンズ21におけるＯを通過して、CCD素子23上の直
接像部Fmに直接像として結像している。一方、対象物Ob
上の対象点Ｐの像は反射体15における反射面18表面によ
り散乱反射し、前記レンズ21を通過してCCD素子23上の
間接像部Fnに間接像として入射する。間接像部Fnでは反
射面18の散乱反射及び反射面18がレンズ21の焦点外にあ
ることから像を結ばないが、単純化のために反射面18は
鏡面反射を行うものとし、光の経路の中心を線分PN及び
NOにて便宜上表示する。

CCD素子23の全画像面Ｆのうち、一対の最大視野線
（面）Vm,Vmに囲まれる範囲は、レンズ21によりCCD素子
23上に結像可能な範囲であり、この範囲が最大視野に相
当する。なお、最大視野が図１の紙面垂直方向に広がり
を有していることはいうまでもない。この範囲に対応す
る全画像面Ｆの内、左上から右下に至る最大視野線Vm
と、反射面18の反射面頂部18a及びレンズ21のＯとを結
ぶ境界視野線Vnとにより囲まれる範囲に対応する間接像
部Fnは、間接像を撮像する範囲である。残りに対応する
範囲直接像部Fmは、直接像を撮像する範囲である。

図１における水平基準線Chはレンズ21の中心を通り水
平方向及び紙面厚み方向に対する零点を示す基準軸であ
り、CCD素子23の撮影面を通過する垂直基準線Cvは垂直
方向に対する基準点を示す基準軸である。画像座標は
（X,Y,Z）系の座標により表示される。図中の符号X,Xn,
Xmi及びXniは、それぞれ、対象点P,反射基準点N,直接像
部Fm上の対象点Ｐの直接像Im及び間接像部Fn上の対象点
Ｐの間接像Inと、水平基準線Chとの水平距離である。同
じくこれら各点と水平基準線Chとの図１紙面垂直方向に
対する水平距離は、符号Y,Yn,Ymi及びYniにより表示さ
れる。また、図中の符号Ｚ及びZnは、それぞれ、対象点
Ｐ及び反射基準点Ｎと、垂直基準線Cvとの水平距離であ
る。換言すれば、距離Znは反射基準点Ｎの深さであり、
対象点Ｐと反射基準点Ｎとの垂直方向距離はＺ−Znで示
される。

ところで、照明からの光は物体の表面にぶつかり、そ
して表面の光学的特徴に依存した形態を持って反射す
る。反射光のカメラ20による見え方Ｉ（λ）は、次式に
よって記述できる。

Ｉ（λ）＝Ｅ（λ）・ρ（λ）（１）ここでＥ（λ）は照明のスペクトル強度分布、ρ
（λ）は物体の表面反射、λは波長である。そして反射
Ｉ（λ）は三つの色R,G,Bに分解される。直接像Imを水
平方向に縮小した解像度で照明を反射するのが反射面18
であり、間接像Inを得ることは、照明をそうした形で測
定していることを意味する。

反射面18により鏡面反射した光線は、拡散光線の分布
によって囲まれている。それは異なる重みによりCCD素
子23の間接像部Fnとして到達する光線に影響を与える。
例えば、図２（ａ）において、光軸S1及びS2に沿ってそ
れぞれ入射した光線は、例えば鏡面反射の光軸S1,S2を
頂点とするガウス分布G1,G2に近似した拡散反射強度分
布を有している。そして、CCD素子23上に向かう特定の
光軸Sn上の光線は、強度DRC1、DRC2の値をもって間接像
部FnとしてCCD素子23に到達する光線に影響を与える。
かかる近似により、ノーズ上の点から反射した光線Ｃ
は、次式のように記述することができる。

Ｃ(X,Y)＝∫∫Eo(X,Y)・ρｏ(X,Y)・B1(X,Y)dXdY
（２）ここで、添字ｏは対象物Ob上の点であることを意味す
る。

光線Ｃは、情景からノーズ面上における全ての照明点
Ｎの重み付けされた総和を意味する。このときの重み付
けの係数は、光線の角度の変化によって、また、ノーズ
面の表面荒さによって変化する。ぼかし係数B1は反射面
18の光学的特性、及び、表面荒さに依存している。

反射面18がレンズ21の焦点外であるので、反射面18で
反射したそれぞれの光線は円形に投影される。その強度
分布は、図２（ｂ）に示すように、ぼかし円の直径方向
に対してガウス関数に従って変化すべく近似される。よ
って、CCD素子23における間接像部Fnのそれぞれのピク
セルの受光量は、円形窓の重み付けをもった総和とな
る。この円形窓の大きさは、ぼかし係数B2に依存し、こ
のぼかし係数は、焦点距離及びカメラ20のレンズ21から
の反射基準点Ｎの深さに依存する。

Cni＝∫∫・２（Xni,Yni）・Ｃ（Xni,Yni）dXni・dYn
i （３）ここで、添字niは間接像Inのピクセルを意味し、副座
標（Xni,Yni）は間接像のCCD素子23上の座標を意味す
る。

二種類のぼかし係数B1,B2を含む二つの式を組み合わ
せる結果として、二つの空間ぼかしの操作がなされる。
一つは反射面18上で、もう一つは反射面18がレンズ21の
焦点外にあることに起因するCCD素子23上での焦点のず
れによって行われる。ぼかしの過程は、別々にコントロ
ールされた２つの層で行われる。上記二つのぼかし係数
を含む２つの式を組み合わせることによる連続的なコン
ボリューションは、対象点Ｐの照明の色を代表している
ものと考える。すなわち、反射面18の反射によりCCD素
子23上に得られる間接像部Fnは、対象点Ｐ又はその近傍
の照明の色を代表しているものと考える。

したがって、次式（４）に示す演算処理を行って得ら
れる色強度信号D1,D2,D3は、補正された対象物Obにおけ
る対象点Ｐの色を代表することとなる。なぜなら、対象
点Ｐ自体の色を代表する各主座標におけるRmi,Gmi,Bmi
を、対象点Ｐの照明の色を代表する各副座標におけるRn
i,Gni,Bniにより除することで、対象点Ｐの照明の色の
影響を除去しているからである。

D1（Xmi,Ymi）＝（Rmi/Rni）・S, D2（Xmi,Ymi）＝（Gmi/Gni）・S, D3（Xmi,Ymi）＝（Bmi/Bni）・Ｓ（４）但し、上式中、添字ｍは直接像Imを,nは反射面１によ
る間接像Inを,iはCCD素子23上の画像を意味する。ま
た、D1,D2,D3は、それぞれ色補正された撮像の主座標
（Xmi,Ymi）でのR,G,B成分であり、Rmi,Gmi,Bmiは、そ
れぞれ主座標（Xmi,Ymi）における直接像ピクセル（P
m）でのR,G,B成分であり、Rni,Gni,Bniは、それぞれ副
座標（Xni,Yni）における間接像ピクセル（Pn）でのR,
G,B成分である。また、主座標（Xmi,Ymi）とは対象点Ｐ
が撮像素子23上で結像して得られる直接像の座標であ
り、副座標（Xni,Yni）とは反射面18により撮像素子23
上に得られる対象点Ｐの間接像の座標である。係数Ｓ
は、D1〜D3の値が飽和しないように絶対値を調節する。

空間的明るさを検出するためのセンサとしての反射面
18の役割は、簡単な実験によって確認することができ
る。強いスポットライトが直接に白い壁に当てられたと
き、本発明に係る撮影システム１は、図３（ｃ）に見ら
れる画像をとらえる。そのスポットの直接像Imは、境界
線DLの左側に白い円に近い図形として現れ、その間接像
Inは水平解像度が減少して周囲にフレアを伴った楕円の
形で投影される。反射面18による反射は、照明の色を代
表する。照明の色は、白熱灯と色フィルタを使うことに
よって変化させることができる。狭い帯状の光を白い壁
の上に投影すると、それらのR,G,Bの値は直接像Imと間
接像Inの中で対応する斑点として測定された。色強度信
号（D1,D2,D3）の割合は、照明の色を変化させてもほぼ
一定であった。

次に、反射面18とカメラ20との位置関係について説明
する。

反射面18と垂直基準線Cvに平行な水平線とのなす角は
αである。線NOで表された反射面18からの反射光線と水
平線のなす角はξであり、同じく線NOと反射面18とのな
す角はβである。線NOと反射面18の垂線との角はθであ
る。線NOは入射光を現す線PNを反射面18に関して鏡面反
射させたものであるから、線PNと反射面18の垂線とのな
す角も同じくθである。ｆはカメラ20のレンズ21の焦点
距離である。線PNと水平線とのなす角をｘ、線POと水平
線とのなす対象点水平位置角度をφ、線POと線PNとのな
す視野誤差角をψでそれぞれ表示する。

対象点Ｐに注目すると、ψ＝φ−ｘ（５）となる。

∠PNOに注目すると、ｘ＋ξ＝２θとなる。

反射基準点Ｎの対頂角より、α＝ξ＋βが成立する。

反射基準点Ｎ周りの反射面18の垂線の関係より、β＝
π/2−θとなる。

反射基準点Ｎ周りの上記２式より、ξ＝α−β＝α＋
θ−π/2が成立し、さらに、θ＝ξ−α＋π/2が成立す
る。

上記各式を整理すると、次式が成立する。

ψ＝φ−ｘ＝φ−（２θ−ξ）＝φ＋ξ−２θ＝φ＋ξ−２（ξ−α＋π/2）＝φ＋ξ−２ξ＋２α−π＝φ−ξ＋２α−π （６）反射面18の角度αは、上式から計算できる。また、対
象点水平位置角度φは、次式により求められる。

φ＝tan^-1（（Ｚ−ｆ）/x）（７）角度ξは、反射面18上における反射基準点Ｎないし間
接像Inの水平方向座標を示す指標となり、次式により求
められる。

ξ＝tan^-1（f/Xni）（８）ここで、対象点Ｐの水平座標を変化させる時の最適な
反射面18の角αを図５（ａ）に示す。角度αは視野誤差
角ψを２度という小さな値に設定して計算した。一方、
他の角度は、それらの平均値をもって代表させた。図５
（ａ）において、対象点水平位置角度ψを横軸に、反射
面18の角αの値を縦軸に示した。対象点水平位置角度φ
が増加するとき、視野誤差角ψを小さなほぼ一定の値に
保つために、反射面18の角αを適宜減少させることが望
ましい。

図１、３及び４に示すように、各画像ラインは、直接
像Imを捉える直接像部Fmと、境界線DLで隔てられ且つ間
接像Inを捉える間接像部Fnとよりなる。これら直接像部
Fm,間接像部Fnを隔てる境界線DLは、反射面18の反射面
頂部18aに対応する。本発明でのマッピングは、間接像
部Fnをなす間接像ピクセルPnを直接像部Fmの直接像ピク
セル集合Pmに割り当てることを意味する。対象物Obがカ
メラ20に近いと、角度ψは視野誤差の測定になるので、
マッピングは難しくなる。直接像Imと間接像Inとの視野
ズレを最小にするために、角度ψはできる限り小さいこ
とが要求される。角度ψが大きければ、対象物Obが直接
残部Fmには映るが、間接像部Fnには映らないか、あるい
はその反対のことが起こりうる。角度ψは反射面18の座
標の項で表すことができる。図１の幾何学的配置から、
次の関係が導き出せる。

tan（ｘ）＝（Ｚ−Zn）／（Xn−Ｘ）（９）式（５）の両辺のタンジェントを求めると、次式が成
立する。

tanψ＝(tanφ−tan(ｘ))／(１＋tanφ・tan(ｘ))（1
0）これら両式（９）（10）より、次式が求められる。

tanψ＝（Xn（Ｚ−ｆ）＋Zn・Ｘ＋Ｘ・ｆ−2X・Ｚ）／（Xn・Ｘ＋Zn（ｆ− Ｚ）＋Ｚ（Ｚ−ｆ）−X²）（11）式（11）は、対象点Ｐ（X,Z）と、反射面18上の反射
基準点Ｎ（Xn,Zn）との双方の角度の依存性を表してい
る。式（11）においてＸ＝０とすると、次式（12）に示
すようにカメラ光軸点でのタンジェント角度が得られ
る。

tanψ＝(Xn(Ｚ−ｆ)／(Zn(ｆ−Ｚ)＋Ｚ(Ｚ−ｆ)) （1
2）反射基準点Ｎと水平基準線Chとの水平距離である基準
点水平距離Xnが増加すれば、視野誤差ψが増加する。よ
って、反射面18を水平基準線Chに対してできる限り水平
に近づけるのがよい。誤差角度ψは反射基準点Ｎの深さ
Znの増加に伴って増加する。よって、カメラ20のレンズ
21から反射基準点Ｎまでの深さZnはできる限り小さい方
がよい。

対象物距離Ｚについての視野誤差角度の依存性を図５
（ｂ）に示す。距離Ｚが増加すると、視野誤差角度ψは
減少する。誤差角度ψは、対象物Obが近くにあるときは
かなりの値であるが、距離が40cm以上になると２度未満
になる。高解像度のストライプで照明をしない限り、視
野の問題は重要ではない。通常の照明状態では、明るさ
は短い周期で変化したりしない。反射基準点Ｎからの基
準点水平距離Xnの増加に伴い、誤差角度ψは増加する。
図５（ａ）に示すような傾向で反射面18の角度αが変化
するなら、この影響は最小化される。

上記式（５）及び式（６）より、ｘ＝φ−ψ＝π＋ξ
−２αとなり、さらに、これらの式のタンジェントを求
めると、次式が成立する。

tan（ｘ）＝tan（π＋ξ−２α）＝tan（ξ−２α）
（13）上式に式（７）、式（８）を代入すると、次式が求め
られる。

(Ｚ−Zn)／(Ｘ−Xn)＝((ｆ−Xni・tan(２α))／(Xni
＋ｆ・tan(２α)) （14）ここで（X/Z）＝Ａとおき、上式（14）を展開、整理
すると、次式が成立する。

Xni/f＝（（Ａ−tan（２α））−（Xn/Z−（Zn/Z）・tan（２α）））／
（（１＋Ａ・tan（２α））−（（Xn/Z）・tan（２α）＋Zn/Z））（15）さらに、Ｚ＞＞Zn、Ｘ＞＞Xnであるとすると、上式の
分子及び分母のそれぞれにおける後半の項が零となり、
次式が成立する。

Xni＝ｆ(Ａ−tan(２α))／(１＋Ａ・tan(２α)) （1
6）この式は、同じスキャンラインSLに属する対象物Obの
直線像Imと間接像Inとの水平座標に対するマッピングを
表している。対象物Ob上の一つの対象点Ｐに対応する間
接像部Fn上での点の座標を示すXniは、距離の値にはっ
きりと依存してはいないが、どちらかと言えば比率Ａ＝
（X/Z）に依存している。これは式の中でZnを省略する
ことによって説明できる。対象物Obがカメラ20の位置か
ら十分に隔たった位置にあると仮定すると、角度ψは非
常に小さくなる。その場合、もしOPに沿って注目すべき
対象点Ｐが移動するなら、線分PN上の反射面18の反射は
わずかに変化する。式（16）に記述されているように、
マッピングは反射面18の形状の決定に直接的に関係す
る。

図３（ａ）、図４（ａ）は非リニアマッピングの手法
を示し、図３（ｂ），図４（ｂ）はリニアマッピングの
手法を示す。マッピングは、直接像部Fmと間接像部Fnと
の位置的関係において、上記式（16）中のXni、Ａ＝（X
/Z）及び反射面の各微小部分の角度αをどのように定め
るかにより、非リニア又はリニアの関係を選択できる。
図４は、１つのスキャンラインSL上における直接像部Fm
上の直接像ピクセル集合Pmと間接像部Fn上の間接像ピク
セルPnとの対応関係を説明するために、直接像ピクセル
集合Pm、間接像ピクセルPnを斜めにずらすと共に対応す
るものを矢印で示している。直接像部Fmにおけるマッピ
ングの方向は矢印Mmに向かっているのに対し、間接像部
Fnにおけるマッピングの方向は逆の矢印Mnに向かってい
る。通常、直接像部Fmと間接像部Fnとの境界線DLは、全
画像面Ｆの下縁と直交している。

図３（ａ）、図４（ａ）の非リニアマッピングでは、
各間接像ピクセルPnは異なる個数のピクセルよりなる各
直接像ピクセル集合Pmに割り付けてある。このマッピン
グでは、互いに対応する直接像Imと間接像Inにおける各
部の寸法はa/d＝b/cとなるように割り付けられている。
すなわち、直接像部Fmと間接像部Fnとが並ぶ方向に対
し、対象物Obの直接像Imと間接像Inとが相似形となるよ
うに割り付けてある。このようなマッピングは、画像の
微少な部分を正確に色補正する場合、例えば、花や小さ
な物体を撮影する場合に適している。

図３（ｂ）、図４（ｂ）のリニアマッピングでは、直
接像部Fmと間接像部Fnとが並ぶ方向に対し、間接像部Fn
と直接像部Fmとで対応し合う各ピクセル数の割合（Pm/P
n）が一定となるように割り付けてある。このマッピン
グでは、互いに対応する直接像Imと間接像Inにおける各
部の寸法はa/dとb/cとが不均等となるように割り付けら
れている。すなわち、直接像Imと間接像Inとが非相似形
とならざるを得ず、直接像部Fmの部分は均一な解像度で
色補正される。本マッピングは、画像処理を高速に行う
ことができ、ほぼリアルタイムで色補正された画像を得
ることが可能となる。なお、上述の割付を行う対応手段
は、後述するように、パーソナルコンピューター30によ
り実現可能である。

反射面18は、その全体が図１に示すように直線的では
なく、各微小部分毎に表面の角度αが異なっており、全
体として曲面状となる。図１の反射面18は説明の便宜の
ために直線状に描かれているに過ぎない。

線図を用いて反射面18を設計するに当たり、まず、CC
D素子上における境界線DLよりも右側の間接像部Fnに、
可視像の垂直な限界線を投影できるように、反射面頂部
18aにおける反射面の微小部分の角度αを決定する。反
射面の各微小部分の角度αは、図５（ａ）に示した必要
性に基づいて決定した。深さ１メートルの範囲内におい
て、直接像から投影される長さと対応する反射面18の微
小部分長さとを線図により測定した。この場合、深さの
差は、式（16）から求められる概算的な数値として、大
きな誤差を生じさせることはなかった。すなわち、上述
のマッピングのための式は、直接像部Fmと間接像部Fnと
の間における各ピクセルの線図による測定に当てはまる
といえる。

一方、数式を用いて反射面18を設計するに当たって
は、まず、反射面頂部18aの座標（Xo,Zo）をカメラ20に
到達する光の境界線から求める。リニアマッピングを利
用する場合には、間接像部Fnと直接像部Fmとの対応関係
より、上記Ａ＝（X/Z）及びＭ＝（Xni/f）を求め、当該
座標における反射面の微小部分の角度αを上記式（16）
を用いて決定する。次いで、次式（17）、（18）を用い
て、座標（Xo,Zo）から微小距離離れた部分の座標を求
める。次の２つの式における添字“n"及び“ｎ−1"は反
射面18を微小部分に分割した場合における反射面頂部18
aにより近いｎ−１番目の微小部分とこの頂部から離れ
た反射面終端部18b側のｎ番目の微小部分位置との関係
を意味する。さらに、この新たな座標（Xn,Zn）におけ
る角度αを上式（16）により求める。このような作業を
順次繰り返すことで、反射面18の曲面が決定される。

Z_n＝（Z_n-1−tanα_n-1（M_nf_n−X_n-1））／（１−M_n・tan（α_n-1））（17） X_n＝X_n-1＋（Z_n-1−Z_n）/tanα_n-1 （18）次に、図1,3,4,7,8を参照しつつ、本発明にかかる撮
影システムの構成について説明する。

図７は、カメラ20近傍の具体的構成を示し、カメラ20
の先端側部分に反射体15を有する保護覆い10を取り付け
てある。保護覆い10は、角錐台状の覆い本体11とカメラ
20に外嵌するための取付部12とを有している。この保護
覆い10の覆い本体11は、図１に示す一対の最大視野線
（面）Vm,Vmで囲まれる範囲より外からカメラ20に対す
る光の侵入を防ぐための機能を果たす。一対の最大視野
線Vm,Vmで囲まれる範囲外からの光は、撮像を補正する
ための反射面18からの光に誤差を与えるので、これを除
去することが望ましいからである。

反射体15は、覆い本体11における一方の内面に取り付
けてあり、反射面18の表面形状を決めるための基材16
と、基材16の表面に張り付けた皮17とを備えている。皮
17の反射面18側は光を散乱反射するようにマット状で黒
又はグレーに着色されており、油脂を塗りつけて膜を形
成してある。

図８は撮影システム１の論理ブロック図であり、この
撮影システム１は、大略、保護覆い10と、カメラ20と、
パーソナルコンピューター30と、モニター装置41及びカ
ラープリンター42とにより構成してある。カメラ20のレ
ンズ21から取り込まれた映像は絞り22を介して光量を調
節された状態でCCD素子23上に結像する。CCD素子23の出
力はパーソナルコンピューター30の映像入力部31に取り
込まれる他、フレーム平均化部24において撮影された映
像の光量を求め、CCD素子23の出力が飽和しないように
開口調節モーター25により絞り22の開口量を制御する。

パーソナルコンピューター30は汎用品であり、ハード
ディスクやRAM等の記憶手段にソフトウエアを組み込ん
で、以下に示すタイマー32〜色彩応用回路37等の各種機
能を実現する。このソフトウエアはCD−ROMやフレキシ
ブルディスク等の記憶媒体に記憶させた状態で配布状態
である。映像入力部31はカメラ20においてスキャンライ
ンSLに沿って順次スキャンされた映像をデジタル化しメ
モリーに記憶する。タイマー32はメモリーに記憶された
全映像の直接像部Fmと間接像部Fnとを分割する境界線DL
の位置を決定するためのトリガーとして機能する。本実
施形態では、全画像のうち直接像部Fmを240ピクセル、
間接像部Fnを80ピクセルとしている。マッパー33は間接
像部Fnに含まれる１スキャン当たり80個の各間接像ピク
セルPnを、対応する直接像部Fmの各直接像ピクセル集合
Pmにマッピングする。このマッピングは上述の如く式
（16）に従って非リニア又はリニアに行われる。

色補正部34では先の式（４）によるD1,D2及びD3がそ
れぞれ求められ、全画像におけるこれらの値の最大値を
最大値選択部35により求める。この最大値が飽和しない
レベルが式（４）における係数である補正項Ｓの適切な
値であり、スケーラー36は補正項Ｓの適切な値を色補正
部34において決定し、出力D1,D2,D3の値を補正する。例
えば、８ビットコンピューターでは情報処理のスケール
幅が256であり、R,G,Bのうち１色当たりのスケール幅の
割付は約85となるから、D1,D2及びD3のスケール幅の最
大値が85以下となるように補正項Ｓを設定する。16,32
ビットコンピューターではさらに大きなスケール幅の割
付が可能であり、さらに細かな階調で色を表現すること
ができる。

色彩応用回路37は色補正された映像を記憶、再生、編
集等するための手段であって、ハードディスク等に記憶
されたソフトウエアをCPUその他のハードウエアにより
駆動させることで実現される。色彩応用回路37により再
生等された画像は、映像処理装置38を介してモニター装
置41にカラー動画等として表示される他、I/Oポート39
及びカラープリンター42を介して静止画としてカラー印
刷される。

上記発明を実証するため、上記カメラ20としてSONY社
製XC−711（商標）カラービデオカメラを用い、レンズ2
1には焦点距離12.5mmのコスミカ製Ｃマウント（商標）
を使用した。色の値は、ミノルタ製色差計CS−100（商
標）を使用した。撮影システム１の最初の構成は、実験
データを求めるべく静止画像を得るものとした。皮17は
拡散反射させるためにつや消しで灰色の色紙により作成
したが、上述の油脂膜を設けた皮革を用いた場合の方が
良好な結果が得られた。全画像面Ｆに対する間接像部Fn
の幅の比は最大値が25％に制限されるように設計した。
動作クロック120MHzのPentium（商標）を用いたパーソ
ナルコンピューター30を使用したときの処理時間は、32
0×220ピクセルの画像で0.55秒であった。

表面の色を補正するこの撮影システム１の応用性は、
色品質に関した明るさ強度の影響を研究することによっ
て確認できる。発明者は日光と蛍光灯とを組み合わせた
幾枚かのフルカラー画像について実験を行った。画像処
理は直接像Imの色を間接像Inの色で除算することによっ
て行われる。画像の色は改善され、暗い画像は明るくな
り細部まで確認できるようになり、明るすぎる画像は暗
くなった、100ルクス以下の暗い画像は反射面18を使用
する方法による処理の後でもノイズが目立った。

この撮影システム１による色補正の量的な品質を調査
するために、もう一つの実験を行った。赤色紙片をカメ
ラ平面に設置し、異なる照明強度の下で紙片の色を比較
した。赤色紙片の輝度における照明強度の効果を、補正
前後の対比により図６（ａ）に示す。横軸は照明の強さ
であり、縦軸は赤色紙片の輝度である。Before correct
ionに示すように、通常、情景照明の強さが増すと、画
像中の色紙片の明るさが増す。After correctionに示す
ように、補正後の紙片中の明るさは、照明の強さを変化
させてもほぼ一定で安定している。CIE1931基準に基づ
くxy色度座標についての照明の強さの効果を図６（ｂ）
に示す。図６（ｂ）のBefore correctionでは、横軸に
示す照明の強さが増加すると、縦軸に示す赤色紙片のｘ
色度座標の値も増加している。これは照明の強さが異な
ると、もとの色に対して色相の歪みが生じることを意味
している。補正後のｘ色度座標を見ると、照明が強くな
るにつれてわずかに減少している。なお、図６（ａ）
（ｂ）において、最も照明が弱い場合に相当する100ル
クスでの輝度及びｘ色度座標の値は、これより大きな照
明の強さのものと常に異なっているが、反射面の条件設
定を変更することにより、低強度の照明でも照度及び色
相の定常性を維持することは可能である。

反射面18を使用するこの撮影システム１による画像の
色の補正によって、歪ませられたもとの画像の色が除去
された。異なる強さの照明の下での補正された一画像の
ヒストグラムはどれもよく似ていた。このことからして
も、体験的に照明の強さは影響していないということが
言える。図６（ａ）（ｂ）に示すように、色補正の前後
におけるカラーパラメータは、照明の強さをある範囲で
変化させたときに、色の明るさと色相は小さな変化をす
るに止まっているといえる。

最後に、本発明の他の実施形態の可能性について説明
する。

上記実施形態では、CCD素子23の全画像面Ｆが平面状
であったが、全画像面Ｆが例えばレンズ21の点Ｏを中心
とする曲面状に形成されたCCD素子23を用いることも理
論的には可能である。この場合、上記式（15）は次の式
に置換することができる。

tan（２α）＝（Ａ・tanξ＋１−（（Zn/Z）＋（Xn/Z）・tanξ））／（１− Ａ・tanξ＋（（Zn/Z）・tanξ−（Xn/Z）））（19）さらに、Ｚ＞＞Zn、Ｘ＞＞Xnであるとすると、上式の
分子及び分母のそれぞれにおける後半の項が零となり、
上記式（16）と置換可能な次式が成立する。

tan（２α）＝（Ａ・tanξ＋１）／（１−Ａ・tan
ξ）（20）反射面18の曲面の設計は、上記式（16）の代わりにこ
の式（20）に基づいて行えばよい。

上記実施形態では反射面18を油脂膜を形成した黒色の
皮により構成したが、この反射面は光を適切な強度で散
乱反射させればよく、表面がマット調のグレー等の他の
材料により構成してもよい。

上記実施形態では、より実用的な例を示すべく、マッ
ピングにおいて１つの間接像ピクセルPnと複数の直接像
ピクセルよりなる直接像ピクセル集合Pmとを割り付け
た。しかし、間接像部Fnと直接像部Fmとの幅が等しい場
合は１つの間接像ピクセルPnと１つの直接像ピクセルPm
とを割り付けもよく、また、間接像部Fnが直接像部Fmよ
りも幅広な場合は複数の間接像ピクセルよりなるの間接
像ピクセル集合Pnと１つの直接像ピクセルPmとを割り付
けることも理論的には可能である。

［産業上の利用可能性］上述の撮影システム（装置）は、動画を撮影するため
のビデオカメラや静止画を撮影するためのデジタルカメ
ラ等に利用することができる。また、上述の撮影システ
ムは、色に基づいたスレテオ距離取得装置も好適に応用
することができる。現在のステレオ距離取得装置は、各
スキャンライン上でのカラーコードの変化点を特徴点と
し、それを検出するようになっている。その特徴点は、
右左のステレオ画像間で比較され、カラーコードが近け
れば一致となる。カラーコードの安定性は本発明に係る
色の不変性の大きな利点であり、本撮影システムをステ
レオ距離取得装置に適用することでステレオマッチング
の信頼性を高めることができる。

図面の簡単な説明図１は、本発明の原理を説明するための対象物Ob,反
射面，レンズ及びCCD素子の関係を示す説明図である。

図２の（ａ）は拡散反射パターンによる反射面上の最
初のコンボリューション、（ｂ）は焦点がずれた間接像
部FnによるCCD素子上の二番目のコンボリューションを
説明するための図である。

図３の（ａ）は非リニアマッピング、（ｂ）はリニア
マッピング、（ｃ）はスポットライト照明時のそれぞれ
における全画像面Ｆ上の直接像Imと間接像Inとの関係を
示す図である。

図４の（ａ）は非リニアマッピング、（ｂ）はリニア
マッピングのそれぞれにおける各直接像ピクセル集合Pm
と各間接像ピクセルPnとの割付を説明するための図であ
る。

図５の（ａ）は対象点Ｐの異なる水平位置と最適な反
射面の角αとの関係を示すグラフ、（ｂ）は対象点Ｐの
深さと視野誤差角ψとの関係を示すグラフである。

図６の（ａ）は照明の強さと輝度との関係における色
補正前後の変化を示すグラフ、（ｂ）は照明の強さとｘ
色度座標との関係における色補正前後の変化を示すグラ
フである。

図７の（ａ）は保護覆いを取り付けたカメラの斜視
図、（ｂ）は保護覆いの横断面図である。

図８は、本発明に係る撮影システムの論理ブロック図
である。

図９は、本発明の別の実施形態を示す図１相当図であ
る。

───────────────────────────────────────────────────── フロントページの続き (56)参考文献特開平３−286398（ＪＰ，Ａ) 特開平３−254727（ＪＰ，Ａ) 特開平５−122708（ＪＰ，Ａ) 実開平２−82127（ＪＰ，Ｕ) 独国特許出願公開19514629（ＤＥ，Ａ１) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 9/04 - 9/11 H04N 5/225 - 5/238

Claims

(57)【特許請求の範囲】

【請求項１】カラー画像を撮像する撮像素子（23）と、
対象物（Ob）の像を前記撮像素子上に結像するレンズ
（21）とを備えたカメラであって、前記対象物（Ob）の
像を散乱反射し前記レンズ（21）を介して前記撮像素子
（23）上に入射させる反射面（18）を前記レンズ（21）
及び撮像素子（23）のなす最大視野（Vm,Vm）内に設
け、前記対象物（Ob）上の対象点（Ｐ）の直接像を撮す
直接像部（Fm）と前記反射面（18）から得られる対象点
（Ｐ）の間接像を撮す間接像部（Fn）を有している撮像
素子（23）を備えたカメラ。
【請求項２】前記直接像部（Fm）の幅が前記間接像部
（Fn）の幅よりも広くなるように前記反射面（18）を設
定してある請求項１に記載のカメラ。
【請求項３】覆い（10）を前記レンズ（21）の採光部側
に設け、前記反射面（18）を覆い（10）の内面に設けて
ある請求項１又は２に記載のカメラ。
【請求項４】前記撮像の色が間接像（In）と直接像（I
m）とを比較することにより補正されることを特徴とす
る請求項１〜３のいずれかに記載のカメラ。
【請求項５】前記直接像部（Fm）と前記間接像部（Fn）
とが並ぶ方向に対し、前記対象物（Ob）の直接像（Im）
と間接像（In）とが相似形となる請求項１〜４のいずれ
かに記載のカメラ。
【請求項６】前記直接像部（Fm）と前記間接像部（Fn）
とが並ぶ方向に対し、前記間接像部（Fn）と前記直接像
部（Fm）とで対応し合う各ピクセル数の割合（Pm/Pn）
が一定となる請求項１〜５のいずれかに記載のカメラ。
【請求項７】前記反射面（18）の形状を次式に従って形
成してある請求項１〜６のいずれかに記載のカメラ。 Xni＝ｆ(Ａ−tan(２α))／(１＋Ａ・tan(２α)) 但し、ｆはレンズの焦点距離、Ａは（X/Z）、Ｘは対象
点（Ｐ）の水平基準線（Ch）からの水平方向距離、Ｚは
対象点（Ｐ）の垂直基準線（Cv）からの垂直距離、αは
反射面（18）と垂直基準線（Cv）に平行な水平線とのな
す角である。
【請求項８】記反射面（18）が表面に油脂膜を形成した
皮である請求項１〜７のいずれかに記載のカメラ。
【請求項９】スキャンライン（SL）に沿って順次スキャ
ンされた映像をデジタル化しメモリーに記憶する映像入
力部（31）を備え、前記映像は直接像部（Fm）と間接像
部（Fn）とを有している請求項１〜８のいずれかに記載
のカメラを備えた撮影システム。
【請求項１０】直接像（Im）の色を間接像（In）の色で
除算することによって前記画像処理を行う請求項１〜８
のいずれかに記載のカメラを備えた撮影システム。
【請求項１１】前記の除算による結果は３つの色におい
て共通の補正項（Ｓ）と掛け合わされるものである請求
項10に記載の撮影システム。
【請求項１２】前記対象物（Ob）上の対象点（Ｐ）が前
記撮像素子（23）上で結像して得られる前記直接像の各
主座標（Xmi,Ymi）と、前記反射面（18）により前記撮
像素子（23）上に得られる前記対象点（Ｐ）の間接像の
各副座標（Xni,Yni）とを対応させる対応手段（30）を
設け、次式により色補正された撮像を得る色補正部（3
4）を備えた請求項１〜８のいずれかに記載のカメラを
備えた撮影システム。 D1（Xmi,Ymi）＝（Rmi/Rni）・S, D2（Xmi,Ymi）＝（Gmi/Gni）・S, D3（Xmi,Ymi）＝（Bmi/Bni）・Ｓ但し、D1,D2,D3は、それぞれ色補正された撮像の前記主
座標（Xmi,Ymi）でのR,G,B成分であり、Rmi,Gmi,Bmi
は、それぞれ前記主座標（Xmi,Ymi）における直接像ピ
クセル（Pm）でのR,G,B成分であり、Rni,Gni,Bniは、そ
れぞれ前記副座標（Xni,Yni）における間接像ピクセル
（Pn）でのR,G,B成分であり、Ｓは補正項である。