JP4135123B2

JP4135123B2 - 表示処理装置

Info

Publication number: JP4135123B2
Application number: JP13075898A
Authority: JP
Inventors: 朗白鳥
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 1998-05-13
Filing date: 1998-05-13
Publication date: 2008-08-20
Anticipated expiration: 2018-05-13
Also published as: JPH11328364A

Description

【０００１】
【発明の属する技術分野】
本発明は、赤外線カメラのような赤外線撮影手段が撮影する赤外線画像から検出対象者の身体領域を判別する領域推定装置を有し、当該領域推定装置が決定した検出対象者の身体領域をその他の領域と区分して共に表示する表示処理装置に関する。
【０００２】
【従来の技術】
人の存在を他の物体と区別して検出するのに有効な手段として、赤外線カメラを含む赤外線センサがある。赤外線センサは対象物の温度で判別を行うので、対象物の形状や動きなどを調べる手段に比べて単純な構成が可能である。
【０００３】
このような赤外線検出技術を用いた従来例として、例えば特開平２−１４３０４７号公報に記載されたもので知られている。この従来例は、室内を複数の領域に分け、それぞれの領域に対応する赤外線センサを設け、各領域に人が存在すればそれぞれを検出し、空調機の風向制御に反映させようとするものである。
【０００４】
また特開平６-１１７８３６号公報には、別の従来例として、赤外線センサによる赤外線画像に対してニューラルネットワーク又はパターン認識機構を適用して、詳細な人間の個人判別を行う技術が開示されている。
【０００５】
特開平５−１３７０３０号公報にはさらに別の従来例が記載されている。この従来例は、夜間のような低視界において、検出対象者の身体から発散される赤外線を赤外線カメラによって検出し、表示装置に表示することによって運転者の視界を補助しようする技術である。
【０００６】
【発明が解決しようとする課題】
しかしながら、このような従来の技術では、次のような点が未解決であった。すなわち、検出対象者の身体は通常、着衣で覆われているために赤外線が身体全体から一様に発散されることがない。このため、身体全体に対応する領域の特定にずれが生じることがあり、特に、空調機の風向制御に反映させようとすれば、赤外線が多く発散される身体の頭部の位置に向けて風向制御されるようになり、身体全体を暖めるように風向を調節することができない場合がある。
【０００７】
また運転者の視界補助に適用しようする場合、運転者は歩行者らしい検出候補を視認し、その形状や動きから注意すべき対象か否かを判断する必要があるので、表示装置に表示された検出候補の位置は画像内においてより強調して一瞥して視認できるような表示であることが望ましく、併せて、検出しやすい頭部以外の着衣部分も強調表示の対象とするのが望ましい。ところが着衣部分の赤外線の発散が低く抑えられているので、従来の赤外線カメラの撮影した赤外線画像では、特に遠方の歩行者の映像では、皮膚が露出している頭部のみが強調されることになり、街灯などとの判別が困難となる場合がある。
【０００８】
本発明はこのような従来の技術的課題を解決するためになされたもので、赤外線画像を利用して検出対象者の身体全体を包含する領域を検出することができる領域推定装置を用いた表示処理装置であって、歩行者のような検出対象者の身体全体を包含する領域をその他の領域と区分して明確に表示し、運転者の視角補助に有効に利用できる表示処理装置を提供することを目的とする。
【００１０】
【課題を解決するための手段】
請求項１の発明の表示処理装置は、赤外線画像を撮影する撮影手段と、前記撮影手段の撮影した前記赤外線画像内から、検出対象者の頭部位置を判別する頭部位置判別手段と、前記頭部位置判別手段の判別した前記赤外線画像内の頭部位置の情報に基づき、当該赤外線画像内における前記検出対象者の身体に相当する領域を決定する領域決定手段とを備えて成る領域推定装置を用いたものであって、前記赤外線画像内における、前記領域決定手段の決定した前記検出対象者の身体に相当する領域をその他の領域と区分する画像処理手段と、前記画像処理手段の出力画像を表示する表示手段とを備え、前記画像処理手段が、
（１）前記赤外線画像内の該当領域に境界線を明示する、
（２）前記赤外線画像内の該当領域の明度又は色をその他の領域と異ならせる、
（３）前記赤外線画像内の該当領域以外の領域を所定の色で塗りつぶす、
の１又は複数の組合せにより前記赤外線画像内における、前記領域決定手段の決定した前記検出対象者の身体に相当する領域をその他の領域と区分するものである。
【００１１】
請求項２の発明は、請求項１の表示処理装置において、前記領域推定装置は、前記領域決定手段が、前記検出対象者の身体に相当する領域として当該検出対象者の身体を包含するのと同程度の領域を決定するものである。
【００１２】
請求項３の発明は、請求項１または２の表示処理装置において、前記領域推定装置は、前記領域決定手段が、前記検出対象者の身体に相当する領域を、前記赤外線画像の画像上の前記検出対象者の存在位置、前記撮影手段の設置高さ及び撮影方向の俯角、あらかじめ与えられている前記検出対象者の身長のデータを用いて決定するものである。
【００１７】
請求項１の発明の表示処理装置に用いる領域推定装置では、撮影手段の撮影した赤外線画像内から、検出対象者の頭部位置を頭部位置判別手段によって判別し、領域決定手段がこの赤外線画像内の頭部位置の情報に基づき、赤外線画像内における検出対象者の身体に相当する領域を決定する。
これにより、赤外線画像内における検出対象者の身体全体の位置を特定することができ、この情報を、例えば空調機の風向制御に反映させることによって人の頭部のみならず、身体全体に向けた風向制御が可能となる。また、この情報を運転者の視角補助に利用すれば、表示手段に表示される赤外線画像の中から歩行者のような検出対象者の身体全体の区分して強調表示するのに応用することができ、より効果的な運転者の視角補助が可能となる。
このような領域推定装置を用いた請求項１の発明の表示処理装置では、領域推定装置により赤外線画像内において検出対象者の身体全体を包含する領域を決定し、相当する領域を他の領域と区分して表示する。そして、この表示のために、（１）前記赤外線画像内の該当領域に境界線を明示する、（２）前記赤外線画像内の該当領域の明度又は色をその他の領域と異ならせる、あるいは（３）前記赤外線画像内の該当領域以外の領域を所定の色で塗りつぶす、の１又は複数の組合せる手法を採用する。
【００１８】
これによって、本装置を運転者の視角補助に利用すれば、表示手段に表示される赤外線画像の中から歩行者のような検出対象者の身体全体を区分して強調表示することができ、効果的な運転者の視角補助が可能となる。
【００１９】
【発明の効果】
以上のように請求項１の発明の表示処理装置に用いる領域推定装置によれば、赤外線画像内における検出対象者の身体全体の位置を特定することができ、この情報を、例えば空調機の風向制御に反映させることによって人の頭部のみならず、身体全体に向けた風向制御が可能である。また、この情報を運転者の視角補助に利用すれば、表示手段に表示される赤外線画像の中から歩行者のような検出対象者の身体全体を区分して強調表示するのに応用することができ、より効果的な運転者の視角補助が可能である。
そして、このような領域推定装置を用いた請求項１の発明の表示処理装置によれば、本装置を運転者の視角補助に利用すれば、表示手段に表示される赤外線画像の中から歩行者のような検出対象者の身体全体を区分して強調表示することができ、効果的な運転者の視角補助が可能である。
【００２１】
【発明の実施の形態】
以下、本発明の実施の形態を図に基づいて詳説する。図１は本発明の第１の実施の形態の表示処理装置のハードウェア構成を示し、図２はその機能構成を示している。第１の実施の形態の表示処理装置は、ハードウェア的には、車載され、車両前方の道路情景を所定の視野で撮影する赤外線カメラ１、この赤外線カメラ１の撮影する赤外線画像をディジタル化して記憶する赤外線画像フレームメモリ２、領域推定装置として赤外線画像内から歩行者のような検出対象者の身体全体を包含する領域を決定し、さらに表示処理装置としてその領域を他の領域と区分した画像に処理するＣＰＵ３、そしてこのＣＰＵ３の処理した赤外線画像を表示する表示モニタ４から構成されている。
【００２２】
またＣＰＵ３が処理する機能を機能別に分けて示すと、図２に示すように、赤外線画像フレームメモリ２に保存されている赤外線画像データを取りこみ、画素ごとに走査し、明部が集中している領域を探し、検出対象者の頭部の領域と決定する頭部検出処理部３１、頭部検出処理部３１の決定した頭部領域に対して、後述する手法により検出対象者の身体を包含する領域を決定する身体領域決定処理部３２、この身体領域決定処理部３２が決定した検出対象者の身体領域全体を後述する手法によって他の領域と区分する表示形態に変換し、赤外線画像データの全体を出力する領域強調処理部３３を備えている。
【００２３】
なお、この実施の形態は表示処理装置に関するものであるが、赤外線カメラ１、赤外線画像フレームメモリ２及びＣＰＵ３における頭部検出処理部３１と身体領域決定処理部３２によって本発明の領域推定装置が構成され、本実施の形態はこの領域推定装置を用いた表示処理装置を構成することになる。
【００２４】
次に、上記構成の領域決定装置及びそれを用いた表示処理装置の動作を説明する。赤外線カメラ１は設定された視野、画角の赤外線による車両前方の道路情景を撮影して赤外線画像フレームメモリ２に１フレームずつ記憶する。ＣＰＵ３は赤外線画像フレームメモリ２から赤外線画像データを取込み、図３のフローチャートに示す各処理によって検出対象者である歩行者の身体を含む領域を決定し、さらにその領域を他の領域と区分する表示形態に変換し、画像データを表示モニタ４に表示させる処理を繰り返し実行する。
【００２５】
そのためにまず、頭部検出処理部３１が赤外線画像フレームメモリ２から１フレーム分の赤外線画像データを取りこみ、画素ごとに走査し、歩行者の頭部に相当する領域を検出する（ステップＳ１，Ｓ２）。これには、例えば特開平９−１２８５４８号公報に記載されている技術を利用するが、赤外線画像内から重心位置、縦横比、充足率、実面積などの条件を満たす部位の存在を調べ、相当する領域を歩行者の頭部に相当する領域と決定するのである。
【００２６】
続いて、身体領域決定処理部３２により、その歩行者の身体に相当する領域を決定する（ステップＳ３）。この身体相当領域の決定は、次のようにして行う。図４を参照して、画像の水平画角中心から歩行者の頭部までの実距離feと、画面上での歩行者の身長ebは、カメラの設置高Ｈcamと俯角θ、歩行者の身長Ｈped、カメラからの水平距離Ｌとの間で、それぞれ次の数１〜数３の式で示す関係が存在する。
【００２７】
【数１】

【数２】

【数３】

ここで、歩行者の身長Ｈpedとして成人の平均身長を代表値として当てはめると、上記のfeとebとの関係式を得ることができる。一方、図５を参照して、頭部検出処理部３１が検出した歩行者の頭部の検出位置により、画面上にてfeに該当する値を得ることができる。これにより、Ｌに応じたebの値を求めることができる。
【００２８】
こうして求めた歩行者の頭部に該当する位置（＝ｅ）と、領域の高さ方向の大きさ（＝eb）をもとにして画面上で歩行者を包含する図形を当てはめ、歩行者の身体に相当する領域とするのである。
【００２９】
この実施の形態では、以下のような長辺eb、短辺eb／２の長方形領域を用いる。
【００３０】
（ａ）上部の辺の位置を垂直座標ｅとし、
（ｂ）水平方向の中心線を水平座標とし、
（ｃ）垂直方向の大きさをebとし、
（ｄ）水平方向の大きさをeb／２とする。
【００３１】
なお、検出対象者としての歩行者の身体に相当する領域としてこのような長方形領域を用いる代わりに、例えば長軸eb、短軸eb／２とし、頭部位置を頂点とするだ円領域のように、他の形状の領域を用いることも可能である。また画像上で歩行者の身体に相当する領域を決定するのに、比較的近距離に存在する歩行者を検出対象者とする場合には、頭部領域の大きさを調べ、頭部と体全体との比率、つまり、図５におけるα：βの値を固定値として、高さ方向の大きさebを簡易的に、eb＝α＋βとすることもできる。これらは、以下の第２、第３の実施の形態についても同様に適用できる。
【００３２】
こうして歩行者の頭部及びそれを含む身体に相当する領域を決定すれば、領域強調処理部３３がその領域を他の領域と明確に識別できるように強調処理を行う（ステップＳ４）。ここでは、強調処理として身体に相当する長方形領域の輪郭を目立つ色で縁取ることにより実現する。
【００３３】
こうして強調処理が済めば、ＣＰＵ３は強調処理の済んだ赤外線画像データを表示モニタ４に出力し、表示させる（ステップＳ５）。
【００３４】
以上のＣＰＵ３による画像処理を、実際の画面を用いて説明する。図６（ａ）は赤外線カメラ１による赤外線画像OG上での、検出対象者である歩行者の頭部位置、画面上での検出位置、身体に相当する領域（垂直領域）の関係を示している。これに対して、同図（ｂ）は表示モニタ４に実際に表示される画像例Ａであり、上述した身体に相当する長方形領域１１を目立つ色で強調表示することにより、画面上のこの長方形領域の位置に検出対象者が存在することが運転者に一瞥して認識できるようになっている。
【００３５】
以上のように、第１の実施の形態の表示処理装置では、運転者の視界補助に適応する表示処理装置として、歩行者の頭部以外の着衣部分を含めて検出候補の位置を画像内で強調表示することができ、これによって運転者は、歩行者らしき検出候補を容易に視認し、その形状や動きから注意すべき対象か否かを判断しやすくなる。
【００３６】
次に、本発明の第２の実施の形態の表示処理装置を、図１、図２、図７〜図９に基づいて説明する。第２の実施の形態の表示処理装置の構成は、図１及び図２に示した第１の実施の形態と同様である。ただし、ＣＰＵ３の実行する表示処理が異なっている。つまり、第２の実施の形態におけるＣＰＵ３の領域強調処理部３３は、検出対象者の身体に相当する領域１１の強調のために当該領域だけ、白黒反転処理を行うことにより、他の領域と区分する点に特徴がある。その他は、第１の実施の形態と同様である。
【００３７】
この第２の実施の形態の表示処理装置による画像処理表示について、図７のフローチャートを参照して説明する。第１の実施の形態と同様に頭部検出処理部３１が赤外線画像フレームメモリ２から取りこんだ赤外線画像に対し、歩行者の頭部領域を検出し、身体領域決定処理部３２が第１の実施の形態と同様の処理によって歩行者の身体に相当する領域１１を決定する（ステップＳ１〜Ｓ３）。
【００３８】
これに続いて、領域強調処理部３３は身体領域決定処理部３２が決定した領域１１の白黒反転処理を行い（ステップＳ４０）、その後、赤外線画像の全体を表示モニタ４に表示させる（ステップＳ５）。
【００３９】
ここで白黒反転処理について説明する。赤外線画像OGを１画素ごとに走査し、その画素の座標がステップＳ３で決定した領域１１に含まれているか否かを調べる。そして含まれている場合には、赤外線画像の該当する画素について、図８に示すように明度反転スケールにしたがって白黒反転処理を行う。そして、反転処理後の画素データを元の赤外線画像の該当する画素のデータと入れ換える。これを赤外線画像OGの全画素について繰返し、処理が終了すれば表示モニタ４に全体の画像を表示させるのである。こうして得られる表示画像Ｂは、図９に示すようなものとなる。
【００４０】
こうして第２の実施の形態の表示処理装置によれば、第１の実施の形態と同様の効果を奏し、さらに検出対象者の身体に相当する領域だけを白黒反転させた赤外線画像Ｂが表示できるので、自ら発光することがない歩行者が赤外線画像上で周囲よりも明るく映る違和感を低減し、かつ他の領域と明確に識別できる形態で表示できる。
【００４１】
なお、この第２の実施の形態では検出対象者の身体に相当する領域１１を白黒反転させて表示するようにしたが、これに限らず、例えばその他の領域と区別できるような色、明度に変更するようにしてもよい。
【００４２】
次に、本発明の第３の実施の形態の表示処理装置を、図１、図２、図１０及び図１１に基づいて説明する。第３の実施の形態の表示処理装置の構成も、図１及び図２に示した第１の実施の形態と同様である。ただし、ＣＰＵ３の実行する表示処理が異なっていて、第３の実施の形態におけるＣＰＵ３の領域強調処理部３３は、後述するように検出対象者の身体に相当する領域１１の強調のために、赤外線画像OGにおける当該領域１１以外の部分を所定の暗色で塗りつぶす処理を行うことにより、他の領域と区分する点に特徴がある。その他は、第１の実施の形態と同様である。
【００４３】
この第３の実施の形態の表示処理装置による画像処理表示について、図１０のフローチャートを参照して説明する。第１の実施の形態と同様に頭部検出処理部３１が赤外線画像フレームメモリ２から取りこんだ赤外線画像に対し、歩行者の頭部領域を検出し、身体領域決定処理部３２が第１の実施の形態と同様の処理によって歩行者の身体に相当する領域１１を決定する（ステップＳ１〜Ｓ３）。
【００４４】
これに続いて、領域強調処理部３３は身体領域決定処理部３２が決定した領域１１の強調のために、赤外線画像OGにおける当該領域１１以外の部分を所定の暗色で塗りつぶす処理を行い（ステップＳ４１）、その後、赤外線画像の全体を表示モニタ４に表示させる（ステップＳ５）。こうして得られる表示画像Ｃは、図１１に示すようなものとなる。
【００４５】
こうして第３の実施の形態の表示処理装置によれば、第１の実施の形態と同様の効果を奏し、さらに検出対象者の身体に相当する領域以外の領域を暗く塗りつぶした赤外線画像Ｃが表示できるので、特に夜間の運転時での使用を想定した場合、強調する必要のない領域は車外の存在物のない暗闇を連想させる表示となり、運転者に対して歩行者の存在を明確に識別させることができる。
【００４６】
なお、上記の第１〜第３の実施の形態は本発明の表示処理装置を示したが、それらの表示処理装置に組み込まれた赤外線カメラ１、赤外線画像フレームメモリ２、ＣＰＵ３の頭部検出処理部３１及び身体領域決定処理部３２からは本発明の領域推定装置を構成することができ、この部分だけを例えば、空調機の風向制御のための検出対象者の存在位置の検出のために用いるようにすれば、人の頭部のみならず、身体全体に向けた風向制御が可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態のハードウェア構成を示すブロック図。
【図２】上記の実施の形態におけるＣＰＵの機能構成を示すブロック図。
【図３】上記の実施の形態におけるＣＰＵの画像表示処理のフローチャート。
【図４】上記の実施の形態による画像処理の説明図。
【図５】上記の実施の形態による画像処理の説明図。
【図６】上記の実施の形態による表示画像例を示す説明図。
【図７】本発明の第２の実施の形態におけるＣＰＵの画像表示処理のフローチャート。
【図８】上記の実施の形態による白黒反転処理の説明図。
【図９】上記の実施の形態による表示画像例を示す説明図。
【図１０】本発明の第３の実施の形態におけるＣＰＵの画像表示処理のフローチャート。
【図１１】上記の実施の形態による表示画像例を示す説明図。
【符号の説明】
１赤外線カメラ
２赤外線画像フレームメモリ
３ＣＰＵ
４表示モニタ
３１頭部検出処理部
３２身体領域決定処理部
３３領域強調処理部

Claims

赤外線画像を撮影する撮影手段と、
前記撮影手段の撮影した前記赤外線画像内から、検出対象者の頭部位置を判別する頭部位置判別手段と、
前記頭部位置判別手段の判別した前記赤外線画像内の頭部位置の情報に基づき、当該赤外線画像内における前記検出対象者の身体に相当する領域を決定する領域決定手段とを備えて成る領域推定装置を用いた表示処理装置であって、
前記赤外線画像内における、前記領域決定手段の決定した前記検出対象者の身体に相当する領域をその他の領域と区分する画像処理手段と、
前記画像処理手段の出力画像を表示する表示手段とを備え、
前記画像処理手段は、次の１又は複数の組合せにより前記赤外線画像内における、前記領域決定手段の決定した前記検出対象者の身体に相当する領域をその他の領域と区分することを特徴とする表示処理装置。
（１）前記赤外線画像内の該当領域に境界線を明示する、
（２）前記赤外線画像内の該当領域の明度又は色をその他の領域と異ならせる、
（３）前記赤外線画像内の該当領域以外の領域を所定の色で塗りつぶす。
前記領域推定装置は、前記領域決定手段が、前記検出対象者の身体に相当する領域として当該検出対象者の身体を包含するのと同程度の領域を決定するものであることを特徴とする請求項１に記載の表示処理装置。
前記領域推定装置は、前記領域決定手段が、前記検出対象者の身体に相当する領域を、前記赤外線画像の画像上の前記検出対象者の存在位置、前記撮影手段の設置高さ及び撮影方向の俯角、あらかじめ与えられている前記検出対象者の身長のデータを用いて決定するものであることを特徴とする請求項１または２に記載の表示処理装置。