JP3578826B2

JP3578826B2 - 色検出装置および警告装置

Info

Publication number: JP3578826B2
Application number: JP06189095A
Authority: JP
Inventors: 晴夫坂田
Original assignee: Clarion Co Ltd
Current assignee: Faurecia Clarion Electronics Co Ltd
Priority date: 1995-02-24
Filing date: 1995-02-24
Publication date: 2004-10-20
Anticipated expiration: 2019-10-20
Also published as: JPH08237637A

Description

【０００１】
【産業上の利用分野】
本発明は映像信号の色検出装置に関し、特に、検出対象物の色検出に加え、その対象物の距離判定測定機能を有する色検出装置及びその色検出装置を用いた警告装置に関する。
【０００２】
【従来の技術】
建設現場等のように大型機械等を用いる職場において、作業者等の着用するヘルメットや着衣の色を弁別して危険区域にいる作業者等に警告を行うと共にオペレータに対して危険区域内における人の存在を告知するためにカラーテレビカメラで当該区域を監視する等の安全対策として、
（イ）建設機械から超音波を発射して反射物体からの反射波を検出して、（ａ）反射物体からの距離の測定を行い、（ｂ）発射物体が作業者か否かを何らかの方法で弁別する方式や、
（ロ）特開平６−３２０１２号、特願平５−１２５４１７号に開示の色検出装置（映像信号の色成分抽出装置及び警告装置）のように危険物の近くにいる建設作業者の用いているヘルメットの色や着衣の色（建設機械の稼働現場では作業者同士とそれ以外の者を確認（区別）する必要上、注意色として黄色が選ばれる）に注目し、カラーテレビカメラをセンサとし、その映像信号から特定色（例えば黄色）を検出する色検出方式がある。
【０００３】
図９は上述した色検出装置の一例を示すものであり、特願平５−１２５４１７号（映像信号の色成分抽出装置及び警告装置の第６の発明）の色成分抽出回路の一実施例の構成を示すブロック図であり、以下の説明は特定色を黄色とした場合についてのものである。図９で、ＮＴＳＣ信号入力４１はカラーテレビカメラの出力信号であり、ＡＧＣ４２は映像信号のレベル（白ピーク値）を一定に保つ。ＹＣ分離回路４３は輝度信号とカラー搬送波信号の分離回路であり簡単なものとしては分波器があげられる。分波器を用いる場合、輝度信号には３ＭＨｚのＬＰＦ（ローパスフィルタ）出力を、色信号には３．６ＭＨｚを中心周波数とするＢＰＦを用いる。そして、通常の復調器と同様に、ＬＰＦ出力を同期分離回路４５を経てバーストゲートパルス発生器４６に加え、ＢＰＦ出力をバーストゲート４４に加えてバーストゲートパルス発生器４６の出力パルスでゲートし、バーストゲート４４の出力で副搬送波ｃｏｓωｓｃｔを発振する副搬送波発振器４７を駆動する。
【０００４】
位相調整回路４８は副搬送波発振器４７からの副搬送波ｃｏｓωｓｃｔの位相を調整し、ｃｏｓ（ωｓｃｔ＋φ_{ｙｅｌｌｏｗ}）とする。更に、９０°移相回路４９でｓｉｎ（ωｓｃｔ＋φ_{ｙｅｌｌｏｗ}）を作る。ＹＣ分離回路４３のＢＰＦ出力を更に同期検波回路５０，５１に加え、同期検波回路５０では位相調整回路４８の出力で、同期検波回路５１では９０°移相回路４９の出力で同期検波してＥ_{ｙｅｌｌｏｗ}と＾Ｅ_{ｙｅｌｌｏｗ}を得る。そして、同期検波回路５１の出力を利得ｋの利得制御回路６２に加えて数式（９）のｋを制御し、利得制御回路２２の出力を絶対値回路５２に加えて正極性のみとし｜＾Ｅ_{ｙｅｌｌｏｗ}｜を得て、引算回路５３で同期検波回路５０の出力のＥ_{ｙｅｌｌｏｗ}から引算する。引算回路５３の出力は振幅比較回路５４に加えて基準電圧５５と比較して基準値以上を出力する。１ビット化回路６０は振幅比較回路５４の出力をビット化するものであり、副搬送波信号から黄と判定する領域を１、判定しない領域を０、とするように２値で表すものである。
【０００５】
一方、ＹＣ分離回路４３の出力のＥＹ（輝度信号）は振幅比較回路５６で基準電圧５７と比較して一定値以上を取り出す。これは黄色は人工色の中では他の色に比べて比較的輝度信号が大きいからである。振幅比較回路５６の出力も１ビット化回路６１でビット化し、遅延回路６３で所定時間遅延された１ビット化回路６０からの出力と共にＡＮＤ回路１８に加える。ＡＮＤ回路１８では色度的黄色領域である１ビット化回路６０の出力と、輝度的黄色領域である１ビット回路２１の出力とから黄色の範囲を決めて出力信号５９として出力する。遅延回路２３は輝度信号と色度信号の遅延時間を調整するために用いる。
【０００６】
なお、図９の構成によれば色度的には、
（ａ）本例では黄色のみを例としているが、位相回路４８により任意の色が選択できる。
（ｂ）利得制御回路６２の利得ｋを制限して色相の範囲を調整できる。
（ｃ）基準電圧５５により彩度の下限を設定できる。
また、振幅比較回路５６による輝度の選択は色により条件が異なる。図９の回路によれば映像信号（ＮＴＳＣ信号）から画面のなかで所望の色相（例えば、黄）を必要な許容範囲で検出することができる。
【０００７】
【発明が解決しようとする課題】
しかしながら、上記（ａ）の技術では、（イ）通常、作業者の周囲には機械等色々な形状の物体があるので作業者からの反射波の強度が最高強度になるとは限らず、従って、精度の高い距離測定が行えるか否かがそのときの環境条件によって異なるというデリケートさがあり、また、（ロ）作業者か他の物体かの判別が実用条件下では困難である、という問題点があった。
【０００８】
また、（ｂ）の技術では、色検出方式単独では特定色（例えば、黄色のヘルメットや黄色の着衣）は検出できるが距離の測定が困難であり、例えば、黄色のヘルメットのみに限定すれば検出した黄色の物体のサイズから距離の判定は可能であるが、面積の大きい着衣が遠方にある場合とヘルメットが近くにある場合の区別は困難である。従って、建設現場の警報装置と組み合わせて使用する場合、建設機械から十分に離れた安全な場所にいる作業者についてもその黄色のヘルメットや黄色の着衣の色（黄色）を検出して警報を発してしまう場合があるという不都合があった。
【０００９】
本発明は上記従来技術の問題点や不都合を解消するためになされたものであり、撮像しているシーン中の特定の色の検出及び当該物体までのカメラからの距離の検出を同時に行い得る色検出装置の提供を目的とする。応用目的としては、例えば、建設現場で建設機械に組込み、安全対策として作業者が着用しているヘルメットの黄色を検出すると共に作業者までの距離を検出し危険レベル（距離）に応じて警報を発する安全監視装置等の提供が挙げられる。
【００１０】
【課題を解決するための手段】
上記の目的を達成するために第１の発明の色検出装置は、２系統の撮像信号を得る撮像部と、撮像部からの撮像信号を入力し特定色の信号を検出する色検出部と、撮像部からの撮像信号および色検出部からの出力信号に基づく特定色検出像の２系統の信号の水平方向の片側を時間的に遅延させて差をとることにより２系統の信号の差に相当する部分を求めると共に、垂直方向の大きさを求めることにより特定距離での特定色検出像の面積を得る面積算出部と、任意の距離での１系統分の特定色検出像信号と遅延させた他の系統の特定色検出像信号のそれぞれの立上りと立下り信号に基づいて互いの差に相当する部分の信号を抽出し、その信号レベルに比例した直流電圧を生成し、その直流電圧を閾値と比較して上記特定色検出像の遠近判定を行う距離判定部と、を有していることを特徴とする。
【００１１】
第２の発明の警告装置は、上記第１の発明の色検出装置からの出力信号のレベルによって報知状態が制御される報知手段を有することを特徴とする。
【００１２】
【作用】
上記構成により第１の発明の色検出装置は、色検出部で検出される検出信号から特定色検出像の面積（大きさ）を面積算出部で求め、距離判定部で面積と距離の関係から特定色検出像と撮像位置との距離の遠近関係を判定する。
【００１３】
第２の発明の警告装置は上記第１の発明の色検出装置からの出力信号のレベルによって距離に応じて報知を行うことができる。この場合、安全位置（例えば、建設機械の安全圏）にいる者に対しては仮に特定色が検出されても警告音等を発しないようにできる。
【００１４】
【実施例】
図１は本発明に基づく色検出装置の構成を示す基本ブロック図であり、色検出装置１００は、
（ａ）２系統の撮像信号を得る撮像部Ａ、
（ｂ）撮像部Ａからの撮像信号を入力し撮像対象について特定色の有無を検出する色検出部Ｂ、
（ｃ）撮像部Ａからの撮像信号および色検出部Ｂからの出力信号に基づいて特定色検出像について遠方（例えば、安全距離Ｄ０を設定）での像を仮定しそのうち先行した１系統分の像の信号（例えば、左眼像信号）の水平方向の信号を時間的に遅延させて他の１系統分の像信号（例えば、右眼像信号）との差をとることにより２系統の信号の差に相当する部分（ε１、ε２）を求め、また、垂直方向の高さを求めることにより特定距離（遠方距離Ｄ０）位置での特定色検出像の面積を得る面積算出部Ｃ、
（ｄ）任意の距離での特定色検出像信号の左眼像信号と右眼像信号の差信号成分を抽出し、その信号レベルに比例した直流電圧を生成し、生成された直流電圧を閾値と比較して特定色検出像とカメラとの遠近判定を行う距離判定部Ｄ、
とを有している。
【００１５】
なお、撮像部Ａは後述（図２参照）するように立体撮像用の２系統の光学系と１つの撮像素子（例えば、ＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ））を有するテレビカメラ、または２系統の撮像素子を撮像部として構成することができる。また、距離判定部Ｄによる距離の精度は高精度を要せず、例えば、遠い、近い、その中間を判別し得る程度の精度でもよい。また、距離判定部Ｄの出力信号（判別信号）を警報装置に入力することにより、例えば、建設機械に組み込まれたＴＶカメラと作業者との距離が遠い（安全）、近い（危険）、その中間（要注意）かにより無音、注意音、警告音等を発するよう構成することもできる。
【００１６】
図２は上述した撮像部Ａの一実施例の構成を示す俯瞰図であり、立体撮像用の２系統の光学系を有する撮像部の例である。図２で光路Ｌは反射鏡１，３を経てレンズ４でＣＣＤ５に結像し、同様に光路Ｒは反射鏡２，３を経てレンズ４でＣＣＤ５に結像する。ＣＣＤ５からは出力信号（撮像信号）６が出力される。
【００１７】
図３はＣＣＤ５の出力信号６の説明図であり、検出すべき被写体を方形とした場合の色検出回路７からの出力Ｌ０，Ｒ０をディスプレイ表示して左眼像、右眼像として画面に示したものである（画面の左半面には信号Ｌ０による左眼像が、右半面には信号Ｒ０による右眼像が示されている）。
【００１８】
図４は被写体と撮像素子との関係を示す説明図であり、上述した方形の被写体がＣＣＤ位置からＤ０，Ｄ２，Ｄ３の距離にある場合に撮像して遠方距離Ｄ０でＲ（右眼像）とＬ（左眼像）の像を表示系で重ねた場合（後述）のＤ１の位置の像をＬ１，Ｒ１に、Ｄ２の位置の像をＬ２，Ｒ２に示した図である。
【００１９】
図５は図１の色検出部Ｂ、面積算出部Ｃ、および距離判定部Ｄの構成例を示すブロック図である。なお、色検出部Ｂは図５では色検出回路７として示されており、色検出回路７としては図９に示した特願平５−１２５４１７号に開示の回路の他、例えば、特開平６−３２７０１２号、特願平６−３０３０６６号に開示の色検出装置等を用いることができる。
【００２０】
また、面積算出部Ｃは図５では可変遅延線８、差動増幅器９、Ｈ／２ゲートパルス発生器１０、ゲート回路１１、及びリミッター１２と垂直エッジ検出回路１３、マルチバイブレータ（ＭＶ）１４，１５、ゲートパルス発生器１６、及びゲート回路１７により構成され、距離判定部Ｄは微分回路１８，１９、正パルス取り出し回路２０，２２、負パルス取り出し回路２１，２３、フリップフロップ２４、ゲート回路２５、ローパスフィルタ（ＬＰＦ）２６、及びレベル比較回路２７から構成されている。
【００２１】
図５で、ＣＣＤ５からの撮像出力６は色検出回路７により特定色（例えば、黄色）が検出色信号（パルス）として出力され可変遅延線８、差動増幅器９、垂直エッジ検出回路１３、及び微分回路１９に入力される。
【００２２】
可変遅延線８の遅延時間はＨ／２（Ｈは１ライン長を意味する）±τであり、可変遅延線８の入力信号は図６に示すようにＬ，Ｒともに経時的で各々約Ｈ／２を占める。可変遅延線８の出力信号をＬ’，Ｒ’とすると可変遅延線８の入力のＲの位置と可変遅延線８の出力Ｌ’の位置（水平方向）を合わせるものとする。但し、この場合、被写体の位置はカメラ（ＣＣＤ）からの遠方位置（図４のＤ０の位置）とする。可変遅延線８の出力を差動増幅器９、Ｈ／２ゲートパルス発生器１０及び微分回路１８に与える。
【００２３】
差動増幅器９はＣＣＤ５の出力信号６及び可変遅延線８からの出力を得てその出力をゲート回路１１に通す。ゲート回路１１はＨ／２ゲートパルス発生器１０からのＨ／２幅のパルスで可変遅延線８からの出力をゲートし、図６の距離Ｄ０上で示されるＲ及びＬ’の重なった部分のみを取り出す。従って、ゲート回路１１の出力を取り出してディスプレイ上に再現すれば遠方距離Ｄ０でのＲとＬ’の位置は可変遅延線の調整により容易に一致させることができる。
【００２４】
リミッター１２はゲート回路１１の出力を一定値に限定するために用いているものであり、色検出回路７の出力が一定に保持される場合や、或いは差動増幅器９の動作が十分であれば不要である。
【００２５】
垂直エッジ検出回路１３〜ゲートパルス発生器１６は垂直方向のゲート信号を得るための構成であり、図３の検出パターンの上端ＮＨから△本（水平走査線Ｈの増分を意味する）経たところからｈの高さだけの部分をゲートするパルスを発生させる。垂直エッジ検出回路１３は可変遅延線８の入力信号（すなわち、色検出回路７の出力信号）から垂直エッジを検出し（上端ＮＨは被写体の位置により変化する）、マルチバイブレータ１４で△本分の幅パルスを発生させ、マルチバイブレータ１５では（△＋ｈ）本分の幅パルスを発生させ、ゲートパルス発生器１６を通してゲートパルスを発生させゲート回路１７に与える。ゲート回路１７ではリミッター１２（或いはゲート回路１１）の出力をゲートパルス発生器１６の出力でゲートすることでＬ０，Ｒ０（図３参照）に対してｈ本の高さに相当する信号を出力する。なお、ここで、ＣＣＤ上の信号をＤ０に投影したものが図４に示した位置Ｄ０上のサイズとなる。
【００２６】
図７は図５の差動増幅器９の入力信号を画像として再現した像と入出力信号の分布を示す図である。図７（ａ）は差動増幅器９の入力信号を視覚的に再現した像であり、図４においてＤ＝Ｄ０で図５で可変遅延線８の長さを調節して図６で左眼像Ｌ０’と右眼像０とを一致させたものとし、Ｄ＝Ｄ１の像をＲ１，Ｌ１で、Ｄ＝Ｄ２の像をＲ２，Ｌ２で示す。（ｂ）はＤ＝Ｄ１での差動増幅器９の入力信号の分布図であり（ｃ）は入力信号の分布図である。また、（ｄ）はＤ＝Ｄ２での差動増幅器９の入力信号の分布図であり（ｅ）は入力信号の分布図である。なお、（ａ）〜（ｅ）を通じてＲ像（Ｒ信号）は実線で示しＬ像（Ｌ信号）は破線で示してある。
【００２７】
図８は距離Ｄと差動増幅器９の出力εとの関係を示す図であり、図７の（ｃ）及び（ｅ）を斜線で示した面積（ε１，ε２）をεとして横軸に示し、縦軸に距離Ｄを示したものである。これにより図７の破線で囲まれた面積を測定することにより図４での被写体とカメラ（ＣＣＤ）との距離を算出することができる。なお、図３で被写体を方形として示したが、図５の垂直エッジ検出回路１３〜ゲートパルス発生器１６が図３の画像の一定の高さｈ本に相当する信号のみを出力しているので被写体との距離の算出は被写体の形状に依存することなくできることが明らかである（但し、距離Ｄが著しく大きくなり、検出色の像の高さが著しく小さくなれば検出は不可能となる）。
【００２８】
図５で微分回路１８以降の系（すなわち、距離判定部Ｄ）は図７のε１，ε２などを抽出する。差動増幅器９の２つの入力（色検出回路７の出力及び可変遅延線８の出力）のうち可変遅延線８の出力を微分回路１８で、色検出回路７の出力を微分回路１９で微分して検出色信号の立上りを正パルス取り出し回路２０，２２で取り出し、立下りを負パルス取り出し回路２１，２３で取り出してフリップフロップ２４の入力としフリップフロップ２４を動作させる。この場合、仮に正パルス取り出し回路２０出力の正パルスの後に正パルス取り出し回路２２出力のパルスがあっても、負パルス取り出し回路２１出力の負パルスの後に負パルス取り出し回路２３出力の負パルスであっても、フリップフロップ２４の動作は変わらない（正パルス取り出し回路２２、負パルス取り出し回路２３が先行する場合も同様である）。
【００２９】
フリップフロップ２４の出力でゲート回路２５をゲートしゲート回路１７の出力から図７（ｃ），（ｅ）のε１，ε２を取り出し、ローパスフィルタ２６でε１，ε２に比例した直流電圧としてからレベル比較回路２７で基準電圧Ｅｒ１，Ｅｒ２と比較して信号レベルに応じた出力信号を出力する。
【００３０】
図示しないが、本発明の色検出装置を警報装置に応用するような場合には、Ｅｒ１＞Ｅｒ２＞０として、次の（１）〜（３）の場合に分けて用いることができる。
【数１】
ε＞Ｅｒ２（式１）
上記（式１）の場合は被写体が近いので緊急音（例えば高周波ｆ２など）を警報として出す。次に、
【数２】
Ｅｒ２＞ε＞Ｅｒ１（式２）
上記（式２）の場合は被写体は遠いが注意を喚起するための注意音（例えば、低周波ｆ１など）を警報として出す。また、
【数３】
Ｅｒ１≧ε （式３）
上記（式３）の場合には被写体はカメラから遠く離れており安全なのでたとえ検出色があっても警報を出さない。
【００３１】
本実施例では撮像部Ａを立体撮像用の２系統の光学系と１つの撮像素子を有するものとして構成したが、これに限られず撮像部Ａは、例えば、２台のカメラで（図２のＲ，Ｌの各光軸に独立のカメラを配置し各々１つずつの撮像素子を用いて）実現することもできる。なお、この場合は図５で可変遅延線８はＨ／２±τではなくて±△／２程度の短いものでよく、しかも撮像範囲が水平方向に広くとれるメリットがある。
【００３２】
なお、上述の２台のカメラを用いる方式に対し、前述した立体撮像用の２系統の光学系と１つの撮像素子を用いる方式では、（ａ）カメラが１台で済むので経済的であること、（ｂ）１台のカメラでよいので２台のカメラを用いる場合のように色特性を合わせる必要がない等のメリットがある。以上本発明の一実施例について説明したが、本発明は上記実施例に限定されるものではなく、種々の変形実施が可能であることはいうまでもない。
【００３３】
【発明の効果】
以上説明したように第１の発明の色検出装置によれば、色検出部で検出される検出信号から特定色検出像の面積（大きさ）を面積算出部で求め、距離判定部で面積と距離の関係から特定色検出像と撮像位置との距離の遠近関係を判定するので、距離算出精度はラフでもよいので回路構成が簡単になる。
【００３４】
第２の発明の警告装置は上記第１の発明の色検出装置からの出力信号のレベルによって距離に応じて報知を行うことができる。この場合、安全位置（例えば、建設機械の安全圏）にいる者に対しては仮に特定色が検出されても警告音等を発しないようにできる。また、１台のカラーカメラに２光路の簡単な光学系を付加することで所望の色の色検出のみでなく、被写体までの距離をラフに測定することができるので建設現場等の注意色の黄色の検出装置に適用すると作業者が近い場合とやや離れている場合とで異なる警報を出し、安全圏にいる場合には色検出しても警報を出さないようにできるので、より安全かつ効率的な作業が可能となる。
【図面の簡単な説明】
【図１】本発明に基づく色検出装置の構成を示す基本ブロック図である。
【図２】図１の撮像部の一実施例の構成を示す俯瞰図であり、立体撮像用の２系統の光学系を有する撮像部の例である。
【図３】図２の撮像装置のＣＣＤ（撮像素子）からの出力信号の説明図である。
【図４】被写体と撮像素子との関係を示す説明図である。
【図５】図１の色検出部Ｂ、面積算出部Ｃ、および距離判定部Ｄの構成例を示すブロック図である。
【図６】図５の可変遅延線の入出力信号の説明図である。
【図７】図５の差動増幅器の入力再現像と入出力信号の分布を示す図である。
【図８】被写体との距離と差動増幅器の出力との関係を示す図である。
【図９】色検出装置の一例を示す図である。
【符号の説明】
１，２，３反射鏡（撮像部）
４レンズ（撮像部）
５ＣＣＤ（撮像部）
６出力信号（撮像信号）
７色検出回路（色検出部）
８可変遅延線（面積算出部）
９差動増幅器（面積算出部）
１０Ｈ／２ゲートパルス発生器（面積算出部）
１１ゲート回路（面積算出部）
１３垂直エッジ検出回路（面積算出部）
１４，１５マルチバイブレータ（面積算出部）
１７ゲート回路（面積算出部）
１８，１９微分回路（距離判定部）
２０，２２正パルス取り出し回路（距離判定部）
２１，２３負パルス取り出し回路（距離判定部）
２４フリップフロップ（距離判定部）
２５ゲート回路（距離判定部）
２６ローパスフィルタ（距離判定部）
２７レベル比較回路（距離判定部）
１００色検出装置
Ａ撮像部
Ｂ色検出部
Ｃ面積算出部
Ｄ距離判定部

Claims

２系統の撮像信号を得る撮像部と、
撮像部からの撮像信号を入力し特定色の信号を検出する色検出部と、
前記撮像部からの撮像信号および前記色検出部からの出力信号に基づく特定色検出像の２系統の信号の水平方向の片側を時間的に遅延させて差をとることにより前記２系統の信号の差に相当する部分を求めると共に、垂直方向の大きさを求めることにより特定距離での特定色検出像の面積を得る面積算出部と、
任意の距離での１系統分の特定色検出像信号と前記遅延させた他の系統の特定色検出像信号のそれぞれの立上りと立下り信号に基づいて前記互いの差に相当する部分の信号を抽出し、その信号レベルに比例した直流電圧を生成し、その直流電圧を閾値と比較して上記特定色検出像の遠近判定を行う距離判定部と、
を有していることを特徴とする色検出装置。
請求項１記載の色検出装置からの出力信号のレベルによって報知状態が制御される報知手段を有することを特徴とする警告装置。