JPH06105224A

JPH06105224A - ダイナミックレンジ拡大装置

Info

Publication number: JPH06105224A
Application number: JP24777092A
Authority: JP
Inventors: Noboru Ozaki; 暢尾崎
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 1992-09-17
Filing date: 1992-09-17
Publication date: 1994-04-15

Abstract

(57)【要約】【目的】画像入力装置のダイナミックレンジを拡大す
るために、一つのレンズ系から入力される光を分光した
後、日向の画像と日陰の画像に対してそれぞれ露出を調
整して入力し、これら２つの画像から影の部分と日向の
部分を抽出して合成することである。【構成】影と影でない部分の両方を鮮明に撮像処理す
る画像処理装置において、１個のレンズ系１と、このレ
ンズ系１からの光を複数の画像に分光する光分配器３
と、光分配器３からの光を撮像する複数のシャッタ付の
ＴＶカメラを有する画像入力手段６、７と、これら画像
入力手段６、７からの出力を入力として画像処理を行う
画像処理手段８、９と、これら画像処理手段８、９の出
力を入力としてそれらの処理結果を合成する合成手段１
０を具備し、画像入力手段６、７の一方で影の部分を鮮
明に入力し、他方で影でない部分を鮮明に入力して、こ
れらの鮮明の部分を合成手段１０により合成する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は画像入力装置のダイナミ
ックレンジを拡大するために、一つのレンズ系から入力
される光を分光した後、日向の画像と日陰の画像に対し
てそれぞれ露出を調整して入力し、これら２つの画像か
ら影の部分と日向の部分を抽出して合成するものであ
る。

【０００２】

【従来の技術】例えば、野外撮影用のＴＶカメラで、野
外を撮影するとき、日向部分と、日陰部分の両方を撮影
する場合がある。このような場合、日陰か日向かどちら
か一方をきれいに撮像できるようにレンズの絞りを調整
して撮像した画像を処理する。あるいは、日陰をきれい
に撮像する絞り位置と、日向をきれいに撮像する絞り位
置の中間の絞り位置で撮像した画像を処理する。

【０００３】これは、前記野外撮影用のＴＶカメラのみ
ならず、屋外ロボットの視覚センサであるロボットビジ
ョンや、屋外に引かれた２本の白線上を走行する自律走
行車の視覚部においてもこのようなカメラが使用されて
おり、同様である。

【０００４】

【発明が解決しようとする課題】ところで従来のＴＶカ
メラの濃度分解能はディジタルにすると２５６階調程度
しかない。そのため、コントラストが強い画像では、暗
い部分の中の物体をはっきりと映し出すことができな
い。例えば日向が１０００００ルックス、日陰が４００
０ルックスのものを一つの画面で撮像すると、日陰の中
の物体をはっきりと捉えることができなかった。

【０００５】このために、例えば競技場において行われ
るスポーツをＴＶカメラで撮影するとき、日向と日陰を
半分づつくらい撮像すると、日陰部分と、日向部分が同
時にきれいに映らないことがあげられる。また自律走行
車の視覚部では、白線が画像中で一本は日向で一本が日
陰の両方に存在するとき、どちらか片方の白線しか検知
できないという問題点があった。

【０００６】したがって、本発明の目的は、この日陰部
分の画像を明確に捉えるダイナミックレンジ拡大装置を
提供することである。

【０００７】

【課題を解決するための手段】前記目的を達成するた
め、日陰の部分と日向の部分のそれぞれに対し露出を調
整する。つまりレンズの絞りを調整するかシャッタスピ
ードにより撮像時間を調整して、画像に関し日陰または
日向の部分のいずれかを適応させておき、それぞれの画
像から適応している箇所を抜き出して利用したり、合成
すればよい。

【０００８】このため本発明では、図１に示す如く、レ
ンズ系１より入力された画像光は、絞り調整機構２によ
り絞られたのち光分配器３で分配され、一方ではシャッ
タ速度調整機構４で調整され、ＣＣＤの如き画像入力装
置６で撮像され、他方ではシャッタ速度調整機構５で調
整され、これまたＣＣＤの如き画像入力装置７で撮像さ
れる。

【０００９】このとき、絞り調整機構２とシャッタ速度
調整機構４は影の部分を対象にして調整が行われ、絞り
調整機構２とシャッタ速度調整機構５は影でない部分を
対象にして調整が行われる。したがって影の部分につい
ては画像入力装置６よりきれいな画像が得られるし、日
向の部分については画像入力装置７よりきれいな画像が
得られることになる。

【００１０】このようにして画像入力装置６、７により
撮像された各画像は、それぞれ画像処理装置８、９に入
力され、後述する日陰部分と日向部分を見分けるための
特徴を抽出するための処理が行われ、合成装置１０では
日陰の部分で抽出されたものと日陰でない部分で抽出さ
れたものの合成を行う。

【００１１】例えば、各画像処理装置８、９では、それ
ぞれの画素において明度と彩度を算出して入力画像とと
もに出力し、合成装置１０では画像処理装置９から出力
される明度がある値より低い画素の彩度が、画像処理装
置８から出力される同じ画素の彩度の値より低いとき
に、その部分を日陰の部分として画像処理装置９から出
力される入力画像の画素の部分を画像処理装置８から出
力される入力画像の画素値で置き換える。このような処
理により、画像処理装置９から出力される影の暗い部分
で不鮮明であった画像を、画像処理装置８から出力され
る影の部分でも鮮明な画像に置換できる。

【００１２】もう１つの例として、路上の２本の白線を
抽出する場合、各画像処理装置８、９では画像を微分
し、その絶対値がある程度大きいときにエッジとして抽
出するとともに、画像処理装置９において、入力画素値
つまり明度がある値より小さい部分を影として抽出す
る。合成装置では、影として抽出された部分に対して画
像処理装置８のエッジを採用し、影でない部分に対して
は画像処理装置９のエッジを採用する。このような処理
により、影と日向の両方の白線を認識することができ
る。

【００１３】

【作用】本発明によれば日向部分と、日陰部分をそれぞ
れ別々の露出機構を有する画像入力装置で鮮明な画像に
なるようにしておき、それぞれの鮮明な日向部分と日陰
部分を合成したり、白線認識のため利用するので、有効
なダイナミックレンジ倍増装置を提供することができ
る。

【００１４】

【実施例】本発明の一実施例を図２〜図４にもとづき説
明する。図２は本発明の第１実施例構成図、図３は光分
配器及び画像処理部、図４は合成部を示す。図中、図１
と同記号は同一部分を示し、１はレンズ系であり、図１
における絞り調整機構２を有するもの、１１は電子シャ
ッタ付ＴＶカメラモジュールであって図１におけるシャ
ッタ速度調整機構４とＣＣＤの如き画像入力装置６を有
するもの、１２は、同様にシャッタ速度調整機構５と画
像入力装置７を有する電子シャッタ付ＴＶカメラモジュ
ールである。また１３は同期信号生成回路であって、電
子シャッタ付ＴＶカメラモジュール１１、１２を同期す
るための同期信号を生成するものである。これにより電
子シャッタ付ＴＶカメラモジュール１１、１２のみなら
ず、画像処理部８、９も同期するものとなる。

【００１５】光分配器３は、図３（Ａ）に示す如く、ハ
ーフミラー３−１と全反射ミラー３−２により構成され
る。ハーフミラー３−１は入射する光の約５０％を透過
し、約５０％を反射することにより入射光を２つの出力
光に分配するものであり、レンズ系１からの入射光を、
電子シャッタ付ＴＶカメラモジュール１１、１２に均等
に分配するものである。

【００１６】画像処理部８は、例えば野外撮影用のＴＶ
カメラの場合には、図３（Ｂ）に示す如く、アナログ値
のＲ信号、Ｇ信号、Ｂ信号をそれぞれディジタル値に変
換するＡ／Ｄ変換回路２１、２２、２３及びその彩度、
明度を算出する色成分算出回路２４を具備する。この色
成分算出回路２４は、特開昭６３−３１４９８８号公報
に記載されている。画像処理部９も画像処理部８と同様
に構成される。

【００１７】また画像処理部８のもう一つの実施例とし
て自律走行車の視覚部の場合には、電子シャッタ付ＴＶ
カメラモジュール１１、１２としてモノクロＴＶカメラ
を使用し、図３（Ｃ）に示す如く、Ａ／Ｄ変換回路２
５、エッジ抽出部２６、二値化回路２７等で画像処理部
８を構成する。

【００１８】エッジ抽出部２６は、白線のエッジ部分を
抽出するものであり、図３（Ｄ）に示す如く、空間フィ
ルタ２６−１及び二値化回路２６−２を有する。この空
間フィルタ２６−１は微分フィルタであり、白線のエッ
ジの両端を検出するため、Ａ／Ｄ変換回路２５の出力を
この空間フィルタ２６−１で微分処理し、その出力の絶
対値を二値化回路２６−２で設定された閾値にもとづき
二値化し、変化分の大きいところをエッジとして抽出す
る。またＡ／Ｄ変換回路２５のディジタルＴＶ信号は、
二値化回路２７に入力される。この入力値が二値化回路
２７の閾値以下のとき、例えば「１」を出力して日陰部
分を示し、そうでないとき「０」を出力して日向部分を
示す。画像処理部９も、画像処理部８と同様に構成され
る。この場合、二値化回路２７はいずれか一方にあれば
よく、例えば日陰部分を処理する方にあればよい。

【００１９】合成部１０は、例えば野外撮影用のＴＶカ
メラの場合には、図４（Ａ）に示す如く、コンパレータ
３０、論理和回路３１、二値化回路３２、セレクタ３３
〜３５、レジスタ３６〜３８等を具備する。コンパレー
タ３０には画像処理装置８側から出力される彩度と、画
像処理装置９側から出力される彩度が入力され、画像処
理装置８側の出力が大きいとき「１」を出力する。

【００２０】二値化回路３２は、画像処理装置９側から
出力される明度が設定される閾値以下のとき「１」を出
力する。またセレクタ３３には画像処理装置８側から出
力されるディジタルのＲ信号と画像処理装置９側から出
力されるディジタルのＲ信号が出力され、論理和回路３
１から「１」が出力されたとき、画像処理装置８側から
出力された前記Ｒ信号が出力され、レジスタ３６に一時
保持される。論理和回路３１から「０」が出力されたと
き、画像処理装置９側から出力された前記Ｒ信号が出力
され、レジスタ３６に一時保持される。

【００２１】同じくセレクタ３３には画像処理装置８側
及び画像処理装置９側から出力されるディジタルのＧ信
号が出力され、論理和回路３１から出力される「１」、
「０」にもとづき、これらのＧ信号が選択的に出力さ
れ、レジスタ３７に一時保持される。そしてセレクタ３
４も、これまた同様に画像処理装置８側及び画像処理装
置９側から出力されるディジタルのＢ信号が出力され、
論理和回路３１の出力「１」、「０」にもとづき、これ
らのＢ信号が選択出力されてレジスタ３７に一時保持さ
れる。

【００２２】また、合成部１０のもう１つの実施例とし
て自律走行車の視覚部の場合には、図４（Ｂ）に示す如
く、セレクタ４０とレジスタ４１等を具備する。セレク
タ４０には、図３（Ｃ）の如き構成を有する画像処理部
８から出力されるエッジ信号及び影部分信号と、画像処
理部９から出力されるエッジ信号が入力される。そして
影部分信号が「１」のときセレクタ４０から画像処理装
置８側のエッジ信号が出力されてレジスタ４１に一時保
持され、「０」のときセレクタ４０から画像処理装置９
側のエッジ信号が出力されてレジスタ４１に一時保持さ
れる。

【００２３】次に本発明の動作について、まず野外撮影
用ＴＶカメラの場合について説明する。この場合、画像
処理部８、９は、それぞれ図３（Ｂ）に示す如く構成さ
れ、また合成部１０は図４（Ａ）に示す如く構成され
る。

【００２４】図２に示す如く、絞り機構付きのレンズ系
１から入力された光は、光分配器３で半分ずつ電子シャ
ッタ付ＴＶカメラモジュール１１、１２にそれぞれ分光
される。同期信号生成回路１３は、これら２つの電子シ
ャッタ付ＴＶカメラモジュール１１、１２に同じタイミ
ングで外部同期をかけるための同期信号を生成してこれ
を同期信号入力する。これにより電子シャッタ付ＴＶカ
メラモジュール１１、１２は与えられた同期信号に従っ
て、Ｒ、Ｇ、Ｂのアナログ画像信号を出力する。

【００２５】このとき電子シャッタ付ＴＶカメラモジュ
ール１１の電子シャッタのスピードは影の部分に合わ
せ、電子シャッタ付ＴＶカメラモジュール１２の電子シ
ャッタのスピードは影でない部分、例えば日向部分に合
わせる。即ち、この場合は、電子シャッタ付ＴＶカメラ
モジュール１１の電子シャッタのスピードが遅い値であ
る。

【００２６】電子シャッタ付ＴＶカメラモジュール１１
から出力される、アナログのＲ、Ｇ、Ｂ信号は、図３
（Ｂ）に示す如く、画像処理部８のＡ／Ｄ変換部２１、
２２、２３によりディジタル信号のＲ、Ｇ、Ｂ信号にそ
れぞれ変換されるとともに、色成分算出回路２４により
彩度と明度が算出される。同様に、電子シャッタ付ＴＶ
カメラモジュール１２から出力されるアナログのＲ、
Ｇ、Ｂ信号も、ディジタルのＲ、Ｇ、Ｂ信号にそれぞれ
変換され、また彩度と明度が算出される。そしてこれら
の信号が合成部１０に伝達される。

【００２７】合成部１０は、図４（Ａ）に示す如く構成
されている。したがって画像処理装置８側から出力され
た彩度が画像処理装置９側から出力された彩度より大き
いとき、コンパレータ３０は「１」を出力する。また画
像処理装置９側から出力された明度が二値化回路３２に
おける閾値より小さいとき、これは日陰部分の画像と判
断され、二値化回路３２から「１」が出力される。この
ときコンパレータ３０から「１」が出力されていれば、
論理和回路３１は「１」を出力する。

【００２８】セレクタ３３〜３５は、論理和回路３１か
ら「１」が出力されるとき、画像処理装置８側の出力信
号をレジスタ３６〜３８に選択出力するので、日陰部分
の画像について画像処理装置８の方の彩度が大きいと
き、この日陰部分に対して適切な調整が行われてきれい
な画像が出力されているこの画像処理装置８からの出力
が選択される。

【００２９】しかし日向部分の画像については、画像処
理装置９から出力される明度が前記閾値より大きいので
二値化回路３２は「０」を出力する。これにより論理和
回路３１は「０」を出力するので、セレクタ３３〜３５
は、今度は画像処理装置９からの出力を選択する。この
ようして日向部分の画像については、日向部分に対して
きれいな画像が出力される画像処理装置９からの出力が
選択される。

【００３０】このようにして合成部１０において日陰部
分については電子シャッタ付ＴＶカメラモジュール１１
からの画像が選択され、日向部分については電子シャッ
タ付ＴＶカメラモジュール１２からの画像が選択されて
合成されるので、日陰も日向もともにきれいな画像を得
ることができる。

【００３１】本発明の動作について自律走行車の視覚部
の場合について説明する。この場合、電子シャッタ付Ｔ
Ｖカメラモジュール１１、１２はモノクロＴＶカメラを
使用し、そのアナログＴＶ信号が画像処理部８、９に出
力される。画像処理部８、９は、それぞれ図３（Ｃ）に
示す如く構成されるが、二値化回路２７は画像処理部９
に設けられる例について説明する。また合成部１０は、
図４（Ｂ）に示す如く構成されている。

【００３２】図２に示す如く、絞り機構付きのレンズ系
１から入力された光は、光分配器３で半分ずつ電子シャ
ッタ付ＴＶカメラモジュール１１、１２にそれぞれ分光
される。また同期信号生成回路１３が、電子シャッタ付
ＴＶカメラモジュール１１、１２に同期信号を入力する
ので、これに同期した画像信号が、それぞれ画像処理部
８、９に出力される。

【００３３】画像処理部８では、電子シャッタ付ＴＶカ
メラモジュール１１から入力されたモノクロのアナログ
ＴＶ信号が、図３（Ｃ）に示すＡ／Ｄ変換部２５により
ディジタル信号に変換され、エッジ抽出部２６において
微分フィルタである空間フィルタ２６−１により空間フ
ィルタ処理され、二値化部２６−２により二値化されて
エッジ信号が出力される。

【００３４】画像処理部９も、電子シャッタ付ＴＶカメ
ラモジュール１２から入力されたモノクロのアナログＴ
Ｖ信号に対し同様の処理が行われエッジ信号が出力され
る。ところで画像処理部９には、図３（Ｃ）における二
値化回路２７が設けられ、Ａ／Ｄ変換回路２５の出力が
二値化回路２７で二値化され、画像が日陰部分であると
きこれを示す影部分信号が「１」となる。

【００３５】この影部分信号が「１」のとき、図４
（Ｂ）に示す合成部１０では、セレクタ４０が画像処理
装置８側から伝達されたエッジ信号を出力する。しかし
日向部分については、二値化回路２７は「０」を出力す
るので、セレクタ４０は画像処理装置９側から伝達され
たエッジ信号を出力する。

【００３６】このように、合成部１０において日陰部分
については、電子シャッタ付ＴＶカメラモジュール１１
からのきれいな画像にもとづき抽出されたエッジ信号が
選択され、日向部分については、電子シャッタ付ＴＶカ
メラモジュール１２からのきれいな画像にもとづき抽出
されたエッジ信号が選択されるので、日向、日陰ともに
正確な白線に対するエッジ信号が合成出力できる。

【００３７】なお、モノクロの代わりにＲ、Ｇ、Ｂのカ
ラー信号を用いて同様にエッジ信号を得ることもでき
る。前記図１、図２の構成は絞り調整機構が１つの場合
であるが、勿論本発明はこれのみに限定されるものでは
なく、図５に示す第２原理図のように、絞り調整機構２
−１、２−２を別々に設けることもできる。

【００３８】図２の実施例の場合には、絞りは共通の１
つのものしかないので、日陰部分をきれいにとるために
電子シャッタ付ＴＶカメラモジュール１１のシャッタ速
度は電子シャッタ付ＴＶカメラモジュール１２のシャッ
タ速度よりどうしても遅くなり、したがって高速に動く
ものに対しては問題があった。

【００３９】しかし、図５のものでは、絞り調整機構２
−１、２−２が独立して設けられているので、絞り調整
機構２−１の絞りを明るくしておけばシャッタ速度調整
機構４のシャッタ速度を速くすることができるので、画
像入力装置６、画像処理装置８側を日陰部分が鮮明にな
るように処理する場合でも高速に移動するものが処理可
能となる。

【００４０】図６は図５に示す第２原理図の実施例であ
る。絞り部分以外は他と同様に構成されているので、説
明については省略する。

【００４１】

【発明の効果】本発明によれば日陰部分と日向部分をそ
れぞれ別々のＴＶカメラでとり、一方のＴＶカメラでは
日陰部分を鮮明な画像で撮影し、他方のカメラでは日向
部分を鮮明な画像で撮影し、これら別々のものを合成す
ることができるので、日陰部分も日向部分も鮮明な画像
で処理することができ、結果としてダイナミックレンジ
を大幅に広いものとすることができる。

【図面の簡単な説明】

【図１】本発明の原理図である。

【図２】本発明の第一実施例構成図である。

【図３】光分配器及び画像処理部の説明図である。

【図４】合成部の説明図である。

【図５】本発明の第２原理図である。

【図６】本発明の第２実施例構成図である。

【符号の説明】

１レンズ系２絞り調整機構３光分配器４、５シャッタ速度調整機構６、７画像入力装置８、９画像処理装置１０合成装置

Claims

【特許請求の範囲】

【請求項１】影と影でない部分の両方を鮮明に撮像処
理する画像処理装置において、１個のレンズ系（１）と、このレンズ系（１）からの光を複数の画像に分光する光
分配器３と、光分配器（３）からの光を撮像する複数のシャッタ付の
ＴＶカメラを有する画像入力手段（６）、（７）と、これら画像入力手段（６）、（７）からの出力を入力と
して画像処理を行う画像処理手段（８）、（９）と、これら画像処理手段（８）、（９）の出力を入力として
それらの処理結果を合成する合成手段（１０）を具備
し、画像入力手段（６）、（７）の一方で影の部分を鮮明に
入力し、他方で影でない部分を鮮明に入力して、これら
の鮮明の部分を合成手段（１０）により合成することを
特徴とするダイナミックレンジ拡大装置。
【請求項２】前記各画像入力手段を、シャッタ付きか
つ外部同期機能付のＴＶカメラモジュールで構成し、ま
た各ＴＶカメラモジュールの同期を合わせるために同期
信号をそれぞれ各ＴＶカメラモジュールの外部同期入力
端子に入力する同期信号生成回路（１３）を具備するこ
とを特徴とする請求項１記載のダイナミックレンジ拡大
装置。
【請求項３】影と影でない部分の両方を鮮明に撮像処
理する画像処理装置において、１個のレンズ系（１）と、このレンズ系（１）からの光を複数の画像に分光する光
分配器（３）と、この光分配器（３）から光を絞る複数の絞り調整機構
（２−１）、（２−２）と、各々の絞り調整機構からの光を撮像する複数の外部同期
機能付のＴＶカメラモジュール（１１）、（１２）と、複数のＴＶカメラモジュール（１１）、（１２）の同期
を合わせるために同期信号をそれぞれ各ＴＶカメラモジ
ュール（１１）、（１２）の外部同期信号入力端子に入
力する同期信号生成回路（１３）と、各々のＴＶカメラモジュール（１１）、（１２）の出力
を入力とする複数の画像処理手段（８）、（９）と、これら複数の画像処理部（８）、（９）の出力を入力と
してこれらの結果を合成する合成手段（１０）を具備
し、ＴＶカメラモジュール（１１）、（１２）の一方で影の
部分を鮮明に入力し、他方で影でない部分を鮮明に入力
して、これらの鮮明の部分を合成手段（１０）により合
成することを特徴とするダイナミックレンジ拡大装置。
【請求項４】前記画像処理手段（８）、（９）に、ＴＶカメラモジュールからのＲ信号、Ｇ信号、Ｂ信号を
それぞれＡ／Ｄ変換して、ディジタルのＲ信号、Ｇ信
号、Ｂ信号を出力するＡ／Ｄ変換部（２１）、（２
２）、（２３）と、これらＡ／Ｄ変換部の出力を入力と
して明度、彩度を算出する色成分算出回路（２４）を具
備し、合成手段（１０）に、一方の画像処理手段の明度出力を入力として二値化を行
う二値化回路（３２）と、両方の画像処理手段（８）、
（９）の彩度出力を入力とするコンパレータ（３０）と
これらコンパレータ（３０）と、二値化回路（３２）の
出力を入力とする論理和回路（３１）と、この論理和回
路（３１）の出力をセレクト信号とし、前記両方の画像
処理手段（８）、（９）から出力されるディジタルのＲ
信号、Ｇ信号、Ｂ信号を入力するセレクタ手段（３
３）、（３４）、（３５）を具備することを特徴とする
請求項２又は請求項３に記載されたダイナミックレンジ
拡大装置。
【請求項５】前記画像処理手段（８）、（９）に、ＴＶカメラモジュールからのモノクロＴＶ信号をＡ／Ｄ
変換してディジタルＴＶ信号を出力するＡ／Ｄ変換部
（２５）と、このＡ／Ｄ変換部（２５）の出力を入力と
してその画素値の差が大きい部分を抽出するエッジ抽出
手段（２６）と、Ａ／Ｄ変換部（２５）の出力を入力と
してその画素値を二値化する二値化回路（２７）を具備
し、合成手段（１０）に、前記画像処理手段（８）、（９）の一方の二値化回路
（２７）の出力をセレクト信号とし、両方の画像処理手
段のエッジ抽出回路の出力をデータ入力とするセレクタ
（４０）を具備することを特徴とする請求項２又は請求
項３に記載されたダイナミックレンジ拡大装置。