JPH1035320A - 車両状況認識方法、車載用画像処理装置および記憶媒体 - Google Patents

Abstract

(57)【要約】 【課題】薄暗い状況でも、感度よく車内外の状況を認識
する。 【解決手段】カラー画像撮像手段を用いて撮像データを
取得し、該撮像データにおける各画素の色相の相違を基
に、あらかじめ定められた対象物の画像データを抽出す
る車内外の状況を認識する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、車両の内外の環境
を撮像装置で撮像し、その撮像データに基づいて種々の
処理モードを実行する車載用画像処理装置に関するもの
である。

【０００２】

【従来の技術】従来より、撮像手段から得られた画像を
解析することで、車両内外の状況を把握する装置が知ら
れている。例えば、車両運転者を監視する技術として
は、特開平４−６８５００号公報に記載された車両運転
者監視装置がある。この装置は、撮像手段から得られた
モノクロ画像を用い、背景画像と車両運転者画像との差
分画像により、運転者の顔部の画像データを抽出し、こ
の顔部の画像データから顔の方向及び目の状態を検出し
て、車両運転者の顔の向きや目の状態を監視する。ま
た、特開昭６２−１２１５９９号公報には車両の進行方
向前方の画像データの中から、警報ランプの画像データ
を抽出して、前方の車の存在を検出したり、車間距離を
計測したりする装置が記載されている。また、特開平５
−１５１３４１号公報には、車両前方の画像から、車線
を抽出する装置が記載されている。

【０００３】

【発明が解決しようとする課題】このような従来技術で
は、画像の輝度が変化するエッジ点を認識することによ
り、目的物の画像データを抽出している。しかし、輝度
の変化により画像データを抽出するためには、撮像対象
が明るくなければならず、例えば夜間の車内のように薄
暗い状況で十分な感度を得るためには、高価な高感度の
撮像装置を用いなければならなかった。

【０００４】そこで、本発明では、薄暗い状況でも十分
な感度の得られる車両状況認識方法と、該方法を用いた
車載用画像処理装置を提供することを目的とする。

【０００５】

【課題を解決するための手段】上記目的を達成するた
め、本発明では、車両の車室内部または車外を撮像して
撮像データを取得し、該撮像データにおける各画素の色
相の相違を基に、あらかじめ定められた対象物の画像デ
ータを抽出する車両状況認識方法と、該方法を実行する
プログラムを保持する記憶媒体とが提供される。

【０００６】また、本発明では、上述の車両状況認識方
法を用いた車載用画像処理装置として、車両の車室内部
または車外を撮像して撮像データを取得する撮像装置
と、該撮像データを処理する制御装置とを備え、制御装
置が、撮像データにおける各画素の色相の相違を基に、
あらかじめ定められた対象物の画像データを抽出する抽
出手段を備える画像処理装置が提供される。

【０００７】

【発明の実施の形態】本発明の車両状況認識方法によれ
ば、車室内（貨物室内を含む）における種々の状況につ
いて認識することができる。また、本発明の車載用画像
処理装置によれば、取付が容易なカラー画像撮像装置に
より、画像認識結果を用いた種々の処理を行うことがで
きる。

【０００８】例えば、対象物を、上記車両の運転者の顔
および目の少なくとも一方とし、抽出した画像データを
基に、運転者が居眠り中であるか否かを推定することが
できる。また、対象物を、上記車室内の乗員および貨物
の少なくとも一方とし、抽出した画像データを基に対象
物の位置を推定して、推定結果を基に、荷重バランスを
求めてもよい。さらに、対象物を、車室内の乗員の少な
くとも一人の顔とし、抽出した画像データを基に、抽出
された顔の画像を、その表示領域が所定の大きさになる
ように、拡大または縮小して、表示画面の所定の位置に
表示するようにしてもよい。

【０００９】さらに、本発明では、外部からの処理モー
ドの選択を受け付ける処理モード選択手段と、車両の車
室内部または車外を撮像して撮像データを取得する撮像
装置と、撮像データを基に処理を行う制御装置とを備
え、制御装置は、撮像データから、選択を受け付けた処
理モードに応じて定められた対象物の画像データを抽出
する抽出手段と、抽出された画像データを用いて、選択
を受け付けた処理モードに応じて定められた処理を実行
する処理モード実行手段とを備える車載用画像処理装置
が提供される。

【００１０】このようにすれば、処理モード選択手段に
よって処理モードが選択されると、その制御目的に応じ
た特定の対象物（運転者の顔部、乗員の着座状況、特定
の乗員の姿態、車両前方の情景等）が特定物抽出手段に
よって抽出され、その抽出データに基いて選択された処
理モードが実行される。従って、一つの画像処理装置で
複数の処理モードを実行できるので、コンパクトかつ安
価な画像処理装置が提供される。

【００１１】処理モードには、例えば、居眠り警報モー
ド、バランス検出モード、鏡モード、前方認識モードな
どがあり、これらの内の二つ以上のモードを実行する画
像処理装置においては、処理モード選択手段が、外部か
らの選択指示の入力を受け付けて、選択されたモードを
処理モード実行手段に通知する。なお、例えば、モード
切り換えスイッチを備える操作パネルを設け、このスイ
ッチにより選択指示の入力を受け付けててもよい。

【００１２】また、撮像装置のレンズ倍率に応じて処理
モードを選択してもよい。このようにする場合は、撮像
装置に、レンズ倍率を切り換える倍率切り換え手段と、
レンズ倍率が切り換えられると、レンズ倍率を示す情報
を処理モード選択手段に通知する手段とを設け、処理モ
ード選択手段に、レンズ倍率を示す情報が通知される
と、該情報に応じて、処理モードを選択する手段を設け
ればよい。

【００１３】また、記憶媒体（ＩＣ（集積回路）カード
など）の読み取り結果に応じて、処理モードを選択して
もよい。例えば、記憶媒体読み取り装置を設け、いずれ
かの処理モードを実行するプログラムを保持する記憶媒
体を、該記憶媒体読み取り装置により読み取ると、処理
モード選択手段は、読み取られた情報に応じて、処理モ
ードを選択し、抽出手段および処理モード実行手段は、
それぞれ、記憶媒体読み取り装置により読み取られたプ
ログラムを実行するようにすればよい。

【００１４】上述の各処理モードに対応するためには、
処理モード選択手段に、居眠り警報モードの選択を受け
付ける手段と、バランス検出モードの選択を受け付ける
手段と、鏡モードの選択を受け付ける手段と、前方認識
モードの選択を受け付ける手段などを設け、処理モード
実行手段に、選択された処理モードごとにあらかじめ定
められた処理を実行する手段を設ければよい。

【００１５】居眠り警報モードを実現するためには、抽
出手段に、警報モードの選択を受け付けると、撮像デー
タにおける各画素の色相の相違を基に、車両の運転者
の、顔および目の少なくとも一方の画像データを抽出す
る手段を設け、処理モード実行手段に、警報モードの選
択を受け付けると、上記抽出された画像データを基に、
上記運転者が居眠り中であるか否かを推定する居眠り推
定手段を設ければよい。なお、この場合、処理モード実
行手段は、警報手段および危険回避手段のうちの少なく
とも一方を備えることが望ましい。ここで、警報手段と
は、居眠り推定手段により、上記運転者が居眠り中であ
ると推定されると、警報を発する手段であり、危険回避
手段とは、居眠り推定手段により、上記運転者が居眠り
中であると推定された場合は、車両の走行状態を変化さ
せる（例えば、車両運動制御装置の制御特性を変化させ
る、自動動作させる、または車両を停止させる、など）
手段である。

【００１６】バランス検出モードを実現するためには、
抽出手段に、バランス検出モードの選択を受け付ける
と、撮像データにおける各画素の色相の相違を基に、車
室内の乗員および貨物の少なくとも一方の画像データを
抽出する手段を設け、処理モード実行手段に、バランス
検出モードの選択を受け付けると、抽出された画像デー
タを基に、荷重バランスを求める荷重バランス検出手段
を設ければよい。なお、この場合、処理モード実行手段
は、検出結果に応じて、車両運動制御装置の制御特性を
変化させる手段を、さらに備えることが望ましい。

【００１７】鏡モードを実現するためには、抽出手段
に、鏡モードの選択を受け付けると、上記撮像データに
おける各画素の色相の相違を基に、上記車室内の乗員の
少なくとも一人の顔の画像データを抽出する手段を設
け、処理モード実行手段に、鏡モードの選択を受け付け
ると、抽出された画像データを基に、抽出された顔の画
像を、所定の大きさになるように拡大または縮小して、
表示装置の表示画面の所定の位置に表示する乗員画像表
示手段を設ければよい。なお、この鏡モードの実現手段
を備える本発明の画像処理装置は、テレビ電話の画像表
示装置として用いることもできる。

【００１８】前方認識モードを実現するためには、抽出
手段に、前方認識モードの選択を受け付けると、撮像デ
ータにおける各画素の色相の相違を基に、撮像データか
ら進行方向前方の対象物（車線、信号機、標識、および
／または前方車両）の画像データを抽出する手段を設
け、処理モード実行手段に、前方認識モードの選択を受
け付けると、抽出された画像データを基に、対象物と自
車両との相対的位置関係から、危険度を推定する危険度
推定手段を設ければよい。この場合、処理モード実行手
段は、推定された危険度に応じて警報処理を行う警報手
段と、推定された危険度に応じて危険回避処置を採る危
険回避手段との、少なくともいずれかを、さらに備える
ことが望ましい。危険回避処置には、例えば、自車両の
走行状態を変化させる処置（例えば、車両運動制御装置
の制御特性を変化させる、自動動作させる、または、車
両を停止させる）や、車両状態（特に車室内の環境）を
変化させる処置（例えば、エアコンを操作して、車室内
の温度を下げる、または、風向を、風が運転者の顔面に
あたるように変える）などがある。

【００１９】なお、車両のルームミラーを、裏から入射
した光は透過し、表から入射した光は反射するハーフミ
ラーとし、表示画面を、このハーフミラーの裏に設置す
るようにすれば、車内の限られたスペースを有効に利用
できるため、望ましい。このようにすれば、運転者また
は同乗者は、表示画面に画像が表示されている場合、該
画像をハーフミラーを透して視認することができ、ま
た、表示画面に画像が表示されていない場合は、該ハー
フミラーに投影された後方の景色を視認することができ
る。

【００２０】本発明では、各処理モードを実現するため
のプログラムを保持する記憶媒体が提供されるが、この
記憶媒体としては、例えば、ＩＣカード、磁気テープ、
磁気ディスク、フロッピーディスク、光ディスク、ＲＯ
Ｍ（Read Only Memory）カードなど、情報処理装置によ
り読み取り可能な情報が保持されるものであればどのよ
うな形態のものでも構わない。

【００２１】

【実施例】以下、本発明の実施例を図面を用いて詳細説
明する。なお、本実施例の車載用画像処理装置は、自動
車の車室内に搭載されるものであるが、本発明はこれに
限られず、例えば貨物室内などの搭載してもよい。ま
た、列車、船舶、飛行機などに用いることもできる。

【００２２】（１）ハードウエア構成 図１（１）に、本実施例の画像処理装置の外観を示す。
本実施例の画像処理装置は、本体１１７と、撮像系１０
６と、電源系１０４と、固定機構１０２ａとを備え、さ
らに図３に示す表示器３０２を備える。

【００２３】固定機構１０２ａは、本体１１７の上部に
設けられた自在継ぎ手１０２と、その自在継ぎ手１０２
に前後左右に角度変更可能に接続されたアタッチメント
１０１とからなる。アタッチメント１０１は本画像処理
装置をサンバイザ１１１等に固定するための機構であ
り、例えば、クリップのようなものをこのアタッチメン
ト１０１として用いることができる。クリップを用いる
場合には、車両のサンバイザ１１１等をこのアタッチメ
ント１０１で挾持することにより、本画像処理装置を固
定することができる。これにより、本装置は、本体１１
７を前後左右に角度を変更することができ、また様々な
場所に取り付けることができ、車内および車外の両方を
容易に撮像する事ができる。本画像処理装置の電源は、
シガーライタソケット１０４により供給される。なお、
電源は、太陽電池からの供給でもよく、さらに、充電式
のバッテリを備えれば、配線の手間を省き、野外での使
用を可能にすることができる。

【００２４】なお、本実施例の画像処理装置は、撮像系
１０６と本体１１７が図１（１）に示すように一体にな
っているが、図２に示すように別々にしてもよい。図２
に示す画像処理装置では、図２（１）に示すように、撮
像系１０６の上部に、自在継ぎ手１０２が取り付けられ
ており、この自在継ぎ手１０２に接続しているアタッチ
メント１０１により、撮像系１０６が固定される。例え
ば、アタッチメント１０１に吸盤のようなものを用いれ
ば、窓１１６等に撮像系１０６を固定することができ
る。撮像系１０６は送受信部１２０ａと電源スイッチ１
０８ａを備え、送受信部１２０と本体１０７の送受信部
１２０は、有線又は無線により接続されている。このよ
うにすれば、撮像系１０６を、前後左右に角度を変更す
ることができ、また様々な場所に取り付けることができ
るため、車内および車外の両方を容易に監視する事がで
きる。

【００２５】本実施例の装置本体１１７は、内部に情報
処理装置（中央演算処理装置（図示せず）とメモリ５０
（図４に図示）とを備える）を備える。また、装置本体
１１７には、図１（２）に示すように、ＩＣカード挿入
口１０３、モード切り換えスイッチ１０５、ズーム調製
スイッチ１０７、電源スイッチ１０８、電源モニタラン
プ１０９、動作モニタランプ１１０、取付設定スイッチ
１１２、スピーカ１１３、表示器出力部１１４、および
処理結果モニタランプ１１５が設けられている。

【００２６】ＩＣカード挿入口１０３には、ＩＣカード
から読み取った情報を本体１１７の情報処理装置に通知
するＩＣカード読み取り部５８（図４に図示）が備えら
れている。本実施例の画像処理装置では、ＩＣカード挿
入口１０３に差し込まれたＩＣカード（各種の機能を実
現するプログラムを保持する）を差し替える事により、
実行するプログラムを変更し、実現する機能を選択する
ことができる。また、モード切り替えスイッチ１０５に
より、装置本体に内蔵のメモリに書き込んでいる各種の
機能を切り替えて処理を行う。

【００２７】撮像系１０６はカラー画像対応であり、各
種の機能に対して、それぞれ倍率と絞りを調整するよう
にしている。また、ズーム調整スイッチ１０７により、
操作者の要望する倍率に任意に設定できる。

【００２８】表示器３０２の例を図３に示す。本実施例
の表示器３０２は超薄型の液晶モニタであり、鏡３０４
と共に車両の助手席あるいは運転席にあるサンバイザ１
１１に内蔵されている。なお、表示器３０２として、ナ
ビゲーション装置のモニタや、車載テレビ、その他の画
像出力装置を用いてもよい。表示器３０２と表示器出力
部１１４とは、有線により接続されているが、無線伝送
装置を介して無線により接続してもよい。このようにす
れば、例えば、本体１１７を車外に、表示器３０２を車
内に設置するなど、自由に設置場所を選択することがで
きる。

【００２９】本実施例では、表示器３０２の表示画面を
サンバイザに設置したが、ルームミラーを裏から入射し
た光は透過し、表から入射した光は反射するハーフミラ
ーとし、このハーフミラーの裏面に表示器３０２の表示
画面を設置してもよい。このようにすれば、運転者また
は同乗者は、表示画面に画像が表示されている場合、該
画像をハーフミラーを透して視認することができ、ま
た、表示画面に画像が表示されていない場合は、該ハー
フミラーに投影された後方の景色を視認することができ
るので、車内の限られたスペースを有効に利用できる。
同様に、サンバイザ１１１の鏡３０４をハーフミラーと
し、この裏に表示器３０２の表示画面を設けてもよい。

【００３０】（２）システム構成 本実施例の画像処理装置のシステム構成を、図４に示
す。本実施例の画像処理装置は、撮像部２４と、表示部
２６と、処理部２８とを備える。

【００３１】撮像部２４は、ズーム機構部２と、ズーム
調整部４と、アイリス機構部６と、アイリス調整部８
と、ＣＣＤ（電荷結合素子）カメラ１０と、Ａ／Ｄ変換
器１２と、色差変換回路１４とを備える。ズーム機構部
２およびズーム調整部４は、撮像画像の倍率を変えるも
のである。アイリス機構部６およびアイリス調整部８
は、被写体を含めた撮像画像が明るすぎる場合には絞り
を閉じ、被写体を含めた撮像画像が暗すぎる場合には絞
りを開くことにより、被写体の明るさを適正な値とす
る。さらにフォーカスの調整も行う。ＣＣＤカメラ１０
は、撮像手段の一例であり、被写体の画像をカラーアナ
ログ信号に変換する。Ａ／Ｄ変換器１２は、ＣＣＤカメ
ラ１０から出力されたアナログ画像信号をデジタル信号
に変換する。色差変換回路１４は、デジタル信号として
受け取った被写体の三原色（Ｒ（赤）、Ｇ（緑）、Ｂ
（青））信号を輝度信号Ｙ、色差信号（Ｒ−Ｙ、Ｂ−
Ｙ）の撮像画像信号に変換する回路である。撮像画像信
号（Ｙ、Ｒ−Ｙ、Ｂ−Ｙ）は、ＲＧＢ信号を用いて、以
下のように定義する。

【００３２】Ｒ' ＝ Ｒ・γR Ｇ' ＝ Ｇ・γG Ｂ' ＝ Ｂ・γB Ｙ ＝ ０.３Ｒ'＋０.６Ｇ'＋０.１Ｂ' Ｒ−Ｙ ＝ ０.７Ｒ'−０.６Ｇ'−０.１Ｂ' Ｂ−Ｙ ＝ -０.３Ｒ'−０.６Ｇ'＋０.９Ｂ' ここで、色強調ゲイン（γR，γG，γB）は、抽出条件
決定部３８により決定される値である。色強調ゲイン
は、通常、（１，１，１）が指定されているため、撮像
画像の色がそのまま出力される。また、夕暮れ等の暗い
ときには、１より大きな値が指定されるため、撮像画像
が明るめに出力される。

【００３３】表示部２６は、遅延回路１６と、置換回路
１８と、エンコーダ回路２０と、表示器出力部１１４と
を備える。遅延回路１６は、処理部２８で様々な処理を
行う間、画像出力を遅らせ、処理結果と撮像画像との同
期を合わせる回路である。置換回路１８は、撮像画像に
対し、処理部２８からの処理結果を重ね合わせる回路で
ある。エンコーダ回路２０は、置換回路１８で処理され
た処理画像信号を受け取り、ＮＴＳＣ（National Telev
ision System Committee）信号に変換する回路であり、
ＮＴＳＣ信号は表示器出力部１１４を介して装置の外部
に出力される。このＮＴＳＣ信号を、回線３０１を介し
て受け取った表示器３０２は、信号をもとに画像を表示
する。

【００３４】表示器３０２は、ＮＴＳＣ信号を受け取
り、処理画像を表示する。表示器出力部１１４は、簡単
には表示器３０２と有線で接続する。また、無線伝送装
置を介して表示器３０２と接続しても良い。このように
すれば、例えば、本体１１７を車外に、表示器３０２を
車内に設置するなど、自由に設置場所を選択することが
できる。

【００３５】処理部２８は、画像処理部３０と判断部３
２とを備える。画像処理部３０は、抽出処理回路３６
と、抽出条件決定部３８とを備える。

【００３６】抽出処理回路３６は、大きく二つの機能を
有する回路である。一つは、撮像画像に対して、抽出条
件決定部３８より送信された抽出色条件データ（後に説
明する）に相当する画素を識別し、水平ライン上での、
その画素に対する最初（立ち上がり）と最後（立ち下が
り）の座標データ（エッジ座標データ）を置換回路１８
および判断部３２に送信し、さらに、抽出色条件に相当
する画素の集まりに対して水平ラインと垂直ラインが接
する外接四角形の座標データ（抽出座標データ）を判断
部３２に送信するという機能である。もう一つは、撮像
画像中より特定画素の色データ（Ｙ、Ｒ−Ｙ，Ｂ−Ｙ）
をサンプリングし、そのデータを抽出条件決定部３８に
送信する機能である。

【００３７】抽出条件決定部３８は、各モードにあわせ
てメモリ５０に記憶してある抽出する対象物の基本的な
色データ（Ｙ、Ｒ−Ｙ，Ｂ−Ｙ）と抽出処理回路３６で
サンプリングした色データ（Ｙ、Ｒ−Ｙ，Ｂ−Ｙ）をも
とに抽出色条件データを決定し、抽出処理回路３６に送
信する。さらに、ズーム調整部４、アイリス調整部８に
対して、各モードにあわせてメモリ５０に記憶してある
基本的な調整データと抽出処理回路３６でサンプリング
した色データ（Ｙ、Ｒ−Ｙ，Ｂ−Ｙ）をもとに調整値を
決定して、送信し、さらに、色差変換回路１４での色強
調ゲイン（γR、γG、γB）を修正する。

【００３８】なお、抽出条件決定部３８は、装置本体１
１７の情報処理装置により実現される。すなわち、メモ
リ５０に保持されたプログラムを、情報処理装置の中央
演算処理装置が実行することにより、判断部３２が実現
される。

【００３９】対象物の基本的な色データは、対象物が人
の顔であれば、黒（髪の毛の色）と肌色との組み合わせ
とする。また、道路上の車線（白、黄色）を対象物とし
た場合は、車線の色である白色または黄色とする。ある
いは自車直前の道路すなわち路面の色として灰色とす
る。この場合、まず道路を認識し、その周辺曲線を車線
とすることにより代用する。また、標識や信号機等が対
象物であれば、それらを示す色の組み合わせ、すなわ
ち、青、赤、黄色、緑等を基本的な色データとする。基
本的な色データは、各モードにあわせてメモリ５０に記
憶されており、この色データは抽出条件決定部３６で抽
出色条件データとして修正される。本実施例では、ＩＣ
カード読み取り口１０３へのＩＣカードの差し替えによ
り、あるいはモード切り替えスイッチ１０５の状態によ
り、基本的な色データ、および、基本的な調整データ等
が変更され、対象物が変わる。

【００４０】ＩＣカード１５１の保持するデータの内容
を、図１０に示す。ＩＣカード１５１は、処理モード名
データを記憶している処理モード名領域１５１１と、こ
の処理モードに対応した判断部プログラムを記憶してい
る判断部プログラム領域１５１２と、この処理モードに
対応した基本的な色データ、および、基本的な調整デー
タ等を記憶している基本データ領域１５１３とを備え
る。

【００４１】メモリ５０の保持するデータの内容を、図
９に示す。メモリ５０は、ＲＯＭ(READ ONLY MEMORY)領
域５０ａとＲＡＭ(RANDOM ACCESS MEMORY)領域５０ｂと
からなる。ＲＯＭ領域５０ａは、本装置を制御する基本
プログラムを保持する領域１４１と、処理モード名を保
持する領域１４２と、本装置に内蔵のモードに対応した
判断部プログラムを保持する領域１４４と、本装置に内
蔵のモードに対応した基本的な色データや、基本的な調
整データ等を基本データとして保持する領域１４３とを
備える。また、ＲＡＭ領域５０ｂは、各回路で算出また
は推定したデータ（算出データ５００６（図６に図
示））を一時的に保持するための算出データ記憶領域１
４５と、ＩＣカード１５１の内容を取り込む領域１４６
と、処理モードの判別のための処理モード判別領域１４
７とを備える。ＩＣカード１５１の内容を取り込む領域
１４６は、判断部プログラム領域と基本データ領域とを
持つ。なお、基本プログラムと選択されたモードに対応
する基本データとをあわせて、制御データ５００４（図
６に図示）と呼ぶ。

【００４２】本実施例の画像処理装置は、出力手段とし
て、上述の表示部２６および表示器３０２に加えて、音
響装置（スピーカ）１１３、処理結果モニタランプ１１
５、および動作モニタランプ１１０を備える。これらの
出力手段は、判断部３２で判断した結果を運転者に報知
するための手段である。

【００４３】さらに、本実施例の画像処理装置は、車両
運動制御装置５４と車両状態センサ５６とを備える。車
両運動制御装置５４は、駆動系、制動系、操舵系の制御
装置である。車両状態センサ５６は、自車両の運動量、
運転者の操作意志等を検出する手段であり、検出された
信号を判断部３２に送信する。

【００４４】判断部３２は、装置本体１１７の情報処理
装置により実現される。すなわち、メモリ５０に保持さ
れたプログラムを、情報処理装置の中央演算処理装置が
実行することにより、判断部３２が実現される。

【００４５】なお、本実施例では、抽出条件決定部３８
および判断部３２はソフトウエアにより実現されるが、
専用回路など、他の手段により実現してもよい。同様
に、本実施例では、回路により実現されている手段（色
差変換回路１４、置換回路１８、エンコーダ回路、抽出
処理回路３６）は、メモリ５０に保持されたプログラム
を、情報処理装置の中央演算処理装置が実行することに
より実現してもよい。

【００４６】（３）処理内容 つぎに、本実施例の画像処理装置における処理の流れ
を、図５を用いて説明する。

【００４７】電源スイッチ１０８がオンにされると（ス
テップＳ２）、判断部３２は、まず、故障診断を行う
（ステップＳ４）。この故障診断処理では、メモリ５０
のチェックと、撮像部２４の診断とが行われる。すなわ
ち、メモリ５０のリード／ライトが出来なかったり、ズ
ームの変更あるいは絞りの開閉ができないような場合に
は、故障モード処理（ステップＳ１８）において、その
故障内容を動作モニタランプ１１０の点滅コードにより
知らせ、故障診断を繰り返す。

【００４８】故障がない場合、撮像部２４が、メモリ５
０に書き込まれているデータをもとに初期設定を行う
（ステップＳ６）。すなわち、撮像部２４において、倍
率や絞り等をメモリ５０に書き込まれているデータ値に
設定し、色差変換回路１４に対しては、通常画像出力状
態となるように色強調ゲイン（γR、γG、γB）を設定
する。また、撮像部２４は、表示部２６に対しては、撮
像画像をそのまま表示器３０２に出力するように初期設
定する。

【００４９】次に、撮像部２４は、ＣＣＤカメラ１０で
被写体を撮像し、得られた被写体の光映像信号をアナロ
グＲＧＢ信号に変換し（ステップＳ８）、ついで、Ａ／
Ｄ変換器１２によって、アナログＲＧＢ信号をデジタル
ＲＧＢ信号に変換した後（ステップＳ１０）、色差変換
回路１４によりＲＧＢ信号を輝度信号Ｙ、色差信号Ｒ−
Ｙ、Ｂ−Ｙに変換し（ステップＳ１２）、抽出処理回路
３６に送信する。

【００５０】つぎに、判断部３２が、モード判定処理を
行う（ステップＳ１４）。このモード判定処理の詳細
を、図１１により説明する。

【００５１】まず、判断部３２は、ＩＣカード１５１が
ＩＣカード挿入口１０３に差し込まれているかを判定す
る（ステップＳ１４０２）。

【００５２】ここで、ＩＣカード１５１が差し込まれて
いれば、判断部３２は、ＲＡＭ領域５０ｂの判断部プロ
グラム領域（処理モード判別領域１４７にある）のデー
タの有無を調べる（ステップＳ１４０４）。ＲＡＭ領域
の判断部プログラム領域のデータがなければ、判断部３
２は、ＩＣカード挿入口１０３に挿入されているＩＣカ
ード１５１の保持する情報（判断部プログラムと基本デ
ータ）を、ＲＡＭ領域５０ｂのＩＣカードデータ取り込
み領域１４６に、ＩＣカード読み取り部５８を介してダ
ウンロードする（ステップＳ１４０８）。

【００５３】ダウンロードが正常に終了すると、ＲＡＭ
領域５０ｂの所定の位置（処理モード判別領域１４７）
にＩＣカードの記憶領域の先頭番地（処理モード名領域
１５１１）に書き込まれているデータ（処理モード名デ
ータ）をコピーし、判断部プログラムの実行をＲＯＭ領
域５０ａからＲＡＭ領域５０ｂへ移行して（ステップＳ
１４１４）、処理をステップ１４１６に進める。

【００５４】ステップＳ１４０８においてダウンロード
が正常に終了しなかったときには、判断部３２は、ＲＡ
Ｍ領域の所定の位置（処理モード判別領域１４７）を初
期化してクリア状態として（ステップＳ１４１２）、処
理をステップ１４１６に進める。

【００５５】ステップＳ１４０４において、ＲＡＭ領域
５０ｂの判断部プログラム領域のデータがあれば、判断
部３２は、モード切り換えスイッチ１０５示すモード
と、ＲＡＭ領域５０ｂの所定の位置（処理モード判別領
域１４７）に書き込まれているモードとが、一致してい
るかをチェックする（ステップＳ１４１８）。

【００５６】ここで、判断部３２は、両モードが一致し
ていれば、次の処理（ステップＳ１４１６）を行い、一
致していないときには、ＩＣカード１５１の内容（判断
部プログラムと基本データ）をＲＡＭ領域５０ｂのＩＣ
カードデータ取り込み領域１４６に、ＩＣカード読み取
り部５８を介してダウンロードする（ステップＳ１４０
８）。

【００５７】また、ステップ１４０２においてＩＣカー
ド１５１が差し込まれていないことが検出されると、判
断部３２は、ＲＡＭ領域５０ｂの所定の位置（処理モー
ド判別領域１４７）にＲＯＭ領域５０ａの所定の位置
（処理モード名領域１４２）に書き込まれているデータ
（処理モード名データ）をコピーし、判断部プログラム
の実行をＲＯＭ領域５０ａへ移行して（ステップＳ１４
０６）、処理をステップ１４１６に進める。

【００５８】ステップ１４１６において、判断部３２
は、モード切り換えスイッチ１０５の示すモードとＲＡ
Ｍ領域５０ｂの所定の位置（処理モード判別領域１４
７）に書き込まれているモードとが一致しているかをチ
ェックする（ステップＳ１４１６）。一致していなけれ
ば、判断部３２は、動作モニタランプ１１０を点滅させ
（ステップＳ１４２６）、操作者に実行が不可であるこ
とを報知した後、実行モードを通常画像出力モードとす
る（ステップＳ１４２８）。

【００５９】ステップＳ１４１６においてモードが一致
していれば、判断部３２は、取り付け設定スイッチ１１
２の状態をチェックする（ステップＳ１４２０）。取り
付け設定スイッチ１１２がオンであれば、判断部３２
は、選択したモードの取り付け設定処理を実行モードと
し（ステップＳ１４２４）、その後、取り付け設定スイ
ッチ１１２がオフに変われば、選択したモードを実行モ
ードとする。また、取り付け設定スイッチ１１２がオフ
であれば、判断部３２は、選択したモードを実行モード
とする（ステップＳ１４２２）。

【００６０】以上によりモード判別処理（ステップＳ１
４）が終了すると、判断部３２は、選択されたモードの
処理を行った後（ステップＳ１６）、再び、処理を撮像
データ取込処理（ステップＳ８）に戻し、ステップＳ８
〜ステップＳ１６の処理を繰り返す。

【００６１】なお、本実施例の画像処理装置が実行可能
な処理モードには、車線認識モード、車線認識処理の取
り付け設定モード、居眠り警報モード、居眠り警報の取
り付け設定モード、荷重バランスモード、および鏡モー
ドがある。つぎに、これらのモードの処理（ステップＳ
１６）について説明する。

【００６２】（４）各モードの処理 ａ．車線認識モード 車線認識モードを実現するための構成を、図６に示す。
車線認識モードを実現するために、判断部３２は、エッ
ジ判断部３２０６と、車線算出部３２０８と、車線推定
部３２１２と、車両状態判断部３２０２と、危険度判断
部３２０４と、理想レーン幅データ取込部３２１０とを
備える。

【００６３】エッジ判断部３２０６は、抽出処理回路３
６より送られたエッジ座標データの種類（立ち上がり、
立ち下がり、座標位置等）が、左車線エッジデータ、右
車線エッジデータ、それ以外のエッジ点データであるか
判断し、分別する回路である。そして、左右車線のエッ
ジデータを車線算出部３２０８に、それ以外のエッジデ
ータ（前方車エッジデータ）を危険度判断部３２０４に
送信する。

【００６４】車線算出部３２０８は、エッジ判断部３２
０６より送信された左右車線エッジデータをもとに直線
性判断を行い、各車線エッジデータに対する候補車線を
算出する。

【００６５】車線推定部３２１２は、理想レーン幅デー
タ取込部３２１０より取り込んだメモリ５０の理想レー
ン幅データ５００２をもとに、車線算出部３２０６から
送信された候補車線の中から認識すべき左右車線（認識
車線）を推定し、危険度判断部３２０４に送信する。

【００６６】車両状態判断部３２０２は、車両状態セン
サ５６からの信号により、自車両の走行状態を判断し、
その判断結果を危険度判断部３２０４に送信する。

【００６７】危険度判断部３２０４では、車線推定部３
２１２より送信された左右の認識車線データで自車の走
行レーンを認識し、エッジ判断部３２０６より送信され
た前方車エッジデータで前方車及び障害物等を認識し、
車両状態判断部３２０２より送信されたデータで自車の
走行状態を認識する。そして、それらの３要素を考慮
し、自車の走行状態と走行可能な路面との関係より危険
度を推定する。ここで、危険度が高いと推定した場合、
音響装置５２を介して運転者に報知する。さらに、運転
者の操作が不十分であった場合には、車両状態制御装置
５４を介して危険を回避する。

【００６８】メモリ５０は、車線を推定する場合に用い
るデータを理想レーン幅データ５００２として記憶す
る。また、本装置を制御するデータと、道路色に相当す
るデータ（Ｙ、Ｒ−Ｙ、Ｂ−Ｙ）を制御データ５００４
として予め記憶しておく。また、各回路で算出及び推定
したデータを一時的に算出データ５００６として記憶す
る。理想レーン幅データ取込部３２１０は、メモリ５０
に保持された理想レーン幅データ５００２を取り込む手
段である。

【００６９】次に、図７により車線認識処理の動作につ
いて説明する。まず、抽出する色条件を決定する処理が
行われる（ステップＳ１６０２）。この処理は、まず、
抽出処理回路３６において、撮像画像中より特定（画面
上の道路位置）画素の色データ（Ｙ、Ｒ−Ｙ、Ｂ−Ｙ）
がサンプリングされ、次に、抽出色条件決定部３８が、
そのデータとメモリ５０の制御データ部５００４に予め
記憶してある道路色に相当するデータ（Ｙ、Ｒ−Ｙ、Ｂ
−Ｙ）を用いて抽出色条件データを決定するという処理
である。ここで決めた抽出色条件データは、 Ｙ（最小） ＜ Ｙ ＜ Ｙ（最大） Ｒ−Ｙ（最小） ＜ Ｒ−Ｙ ＜ Ｒ−Ｙ（最大） Ｂ−Ｙ（最小） ＜ Ｂ−Ｙ ＜ Ｂ−Ｙ（最大） のように、幅を持ったデータであり、前方の道路色が当
てはまるが、車線や前方車は当てはまらないように設定
する。なお、本実施例では、サンプリングしたデータと
予め設定しておいたデータをもとに抽出色条件データを
決定したが、予め設定したデータのみを用いて（例え
ば、輝度条件に合わせて予め設定しておく等）抽出色条
件データを決定することも可能である。

【００７０】次に、抽出処理回路３６は、撮像画像に対
して、抽出色条件決定部３８より送信された抽出色条件
データに相当する画素を識別し、水平ライン上での、そ
の画素に対する最初（立ち上がり）と最後（立ち下が
り）の座標データ（エッジ座標データ）をエッジ判断部
３２０６に送信する処理を行う（ステップＳ１６０
４）。すなわち、道路領域（自車レーン）を挟むエッジ
点を抽出する。

【００７１】ここでの処理を詳細に説明する。図８に示
すように、その抽出法は、撮像信号（Ｙ、Ｒ−Ｙ、Ｂ−
Ｙ）の中に、抽出色条件データの範囲に属する色を有す
る１フレーム内の全ての画素を検出し、検出された画素
をHigh「１」それ以外の画素をLow「０」とした２値化
データを与える手法である。画素データがLow「０」か
らHigh「１」に、あるいはHigh「１」からLow「０」に
変化する画素を１ライン毎に検索する（すなわち、Low
「０」からHigh「１」への立ち上がりエッジと、High
「１」からLow「０」への立ち下がりエッジを検出す
る。この様な画素が存在する場合、当該画素の位置をエ
ッジ座標データとする。エッジ座標データによって、１
ラインにおいて、抽出色条件データに当てはまる画素の
存在が把握でき、エッジ座標データに挟まれた領域が道
路領域となる。

【００７２】次に、エッジ判断部３２０６は、抽出処理
回路３６より送られたエッジ座標データに対して、左車
線エッジデータ、右車線エッジデータ、それ以外のエッ
ジ点データ（前方車エッジデータ）であるか判断し、分
別する処理を行う（ステップＳ１６０６）。

【００７３】この処理（ステップＳ１６０６）では、抽
出処理回路３６より送られたエッジ座標データの特徴を
もとにしてエッジデータが判定される。エッジ座標デー
タは、立ち上がり、立ち下がりの情報と、各エッジの座
標の情報で構成されている。一般に、道路色を抽出色条
件データにすると、立ち上がりエッジが左車線エッジと
なり、立ち下がりエッジが右車線エッジとなることが多
い。しかしながら、前方道路領域に前方車及び障害物等
が存在した場合、車線以外のエッジも車線エッジとして
認識してしまう。そこで、画面中心線１８より左の立ち
上がりエッジを左車線エッジデータ１４、右の立ち下が
りエッジを右車線エッジデータ１６とし、それ以外のエ
ッジを前方車エッジデータとして判別する。本実施例で
は、画面中心線１８を用いて判別したが、後に述べる左
右認識車線の交点と、画面下部中心点２０とを結ぶライ
ンを画面中心線１８の代わりに用いることも可能であ
る。

【００７４】以上によりエッジデータが判別されると、
エッジ判断部３２０６は、左右車線のエッジデータ１
４、１６を車線算出部３２０８に、前方車エッジデータ
を危険度判断部３２０４に、それぞれ送信する。

【００７５】次に、車線算出部３２０８が、エッジ判断
部３２０６より送信された左右車線エッジデータ１４、
１６をもとに直線性判断を行い、各車線エッジデータに
対する候補車線を算出する（ステップＳ１６０８）。

【００７６】次に、車線推定部３２１２が、理想レーン
幅データ取込部３２１０より取り込んだメモリ５０の理
想レーン幅データ５００２をもとに、車線算出部３２０
８から送信された候補車線の中から認識すべき左右車線
（認識車線）を推定し、危険度判断部３２０４に送信す
る（ステップＳ１６１０）。

【００７７】次に危険度推定処理（ステップＳ１６１
２）では、車両状態センサ（車速センサ、フットブレー
キ、方向指示器、ステア角センサ等）５６からの信号よ
り自車両の走行状態（車速、減速度、車線変更意志、ス
テア操舵量等）を判断し、その判断結果と前述の車線推
定部３２１２により認識された走行可能な路面と、エッ
ジ判断部３２０６より送信された前方車エッジデータの
関係から自車両に対する危険度（前方車との距離、相対
速度、側方車の有無、自車両のふらつき等）を推定す
る。このステップＳ１６１２において、危険度が所定の
値に達していなかった場合、危険度判断部３２０４は、
処理を撮像データ取り込み処理（ステップＳ８）に戻
す。

【００７８】危険度判断部３２０４は、推定された危険
度に応じて、警報処理を行う（ステップＳ１６１４）。
この警報処理において、危険度判断部３２０４は、推定
された危険度を音響装置（例えば、音声、警報音等）５
２や処理結果モニタランプ４０等を用いて自車の運転者
に報知する。例えば、危険度が大きいほど警報音を大き
くしたり、危険度に応じて定められた内容のメッセージ
を音声出力したりすることにより、運転者に危険度を認
識させることができる。このステップＳ１６１４におい
て、警報処理後に、運転者が適切な操作を行ったこと
を、車両状態センサ５６および車両状態判断部３２０２
を介して検出すると、危険度判断部３２０４は、処理を
撮像データ取り込み処理（ステップＳ８）に戻す。

【００７９】運転者が適切な操作を所定時間内に行わな
ければ、危険度判断部３２０４は、推定された危険度に
応じて、危険回避処理を行い（ステップＳ１６１６）、
撮像データ取り込み処理（ステップＳ８）に戻す。この
危険回避処理において、危険度判断部３２０４は、車両
運動制御装置５４の制御特性を変えたり、あるいは自動
動作させる（例えば、制動をかける）ことにより、危険
を回避する。

【００８０】ｂ．車線認識処理の取り付け設定モード つぎに、車線認識処理の取り付け設定モードについて説
明する。このモードは、車線認識モードの実行のため
の、撮像系の位置および角度の調整を行う際に、適切な
位置および角度になるように操作者を誘導するモードで
ある。

【００８１】車線認識処理の取り付け設定モードを実現
するための判断部３２の構成を、図１２に示す。車線認
識処理の取り付け設定モードを実現するために、判断部
３２は、エッジ判断部３２０６と、車線算出部３２０８
と、車線推定部３２１２と、理想レーン幅データ取込部
３２１０と、車線認識設定位置判断部３２１４とを、備
える。

【００８２】エッジ判断部３２０６は、抽出処理回路３
６より送られたエッジ座標データの種類（立ち上がり、
立ち下がり、座標位置等）が、左車線エッジデータ、右
車線エッジデータ、それ以外のエッジ点データであるか
判断し、分別する回路である。そして、左右車線のエッ
ジデータを車線算出部３２０８に、それ以外のエッジデ
ータ（前方車エッジデータ）を危険度判断部３２０４に
送信する。

【００８３】車線算出部３２０８は、エッジ判断部３２
０６より送信された左右車線エッジデータをもとに直線
性判断を行い、各車線エッジデータに対する候補車線を
算出する。

【００８４】車線推定部３２１２は、理想レーン幅デー
タ取込部３２１０より取り込んだメモリ５０の理想レー
ン幅データ５００２をもとに、車線算出部３２０８から
送信された候補車線の中から認識すべき左右車線（認識
車線）を推定し、車線認識設定位置判断部３２１４に送
信する。

【００８５】車線認識設定位置判断部３２１４では、車
線推定部３２１２より送信された左右の認識車線と撮像
画面の最下部の水平ラインとの交点を求める。そして、
求めた交点が撮像画面の最下部の水平ライン上のどの位
置にあるかで設定度合いを推定し、音響装置５２を介し
て運転者に報知する。

【００８６】メモリ５０は、車線を推定する場合に用い
るデータを理想レーン幅データ５００２として記憶す
る。また、本装置を制御するデータと、道路色に相当す
るデータ（Ｙ、Ｒ−Ｙ、Ｂ−Ｙ）を制御データ５００４
として予め記憶しておく。また、各回路で算出及び推定
したデータを一時的に算出データ５００６として記憶す
る。理想レーン幅データ取込部３２１０は、メモリ５０
に保持された理想レーン幅データ５００２を取り込む手
段である。

【００８７】次に、車線認識処理の取り付け設定モード
の処理を、図１３を用いて説明する。まず、抽出する色
条件を決定する処理が行われる（ステップＳ１６０
２）。この処理は、まず、抽出処理回路３６において、
撮像画像中より特定（画面上の道路位置）画素の色デー
タ（Ｙ、Ｒ−Ｙ、Ｂ−Ｙ）がサンプリングされ、次に、
抽出条件決定部３８が、そのデータと、メモリ５０の制
御データ部５００４に予め記憶してある道路色に相当す
るデータ（Ｙ、Ｒ−Ｙ、Ｂ−Ｙ）とを用いて抽出色条件
データを決定する処理である。ここで決めた抽出色条件
データは、 Ｙ（最小） ＜ Ｙ ＜ Ｙ（最大） Ｒ−Ｙ（最小）＜Ｒ−Ｙ＜Ｒ−Ｙ（最大） Ｂ−Ｙ（最小）＜Ｂ−Ｙ＜Ｂ−Ｙ（最大） のように、幅を持ったデータであり、前方の道路色が当
てはまるが、車線や前方車は当てはまらないように設定
する。なお、本実施例では、サンプリングしたデータと
予め設定しておいたデータをもとに抽出色条件データを
決定したが、予め設定したデータのみを用いて（例え
ば、輝度条件に合わせて予め設定しておく等）抽出色条
件データを決定することも可能である。

【００８８】次に、抽出処理回路３６は、撮像画像に対
して、抽出条件決定部３８より送信された抽出色条件デ
ータに相当する画素を識別し、水平ライン上での、その
画素に対する最初（立ち上がり）と最後（立ち下がり）
の座標データ（エッジ座標データ）を抽出して（すなわ
ち、道路領域（自車レーン）を挟むエッジ点を抽出し
て）、エッジ判断部３２０６に送信する（ステップＳ１
６０４）。

【００８９】エッジ座標データの通知を受けたエッジ判
断部３２０６は、抽出処理回路３６より送られたエッジ
座標データに対して、左車線エッジデータ、右車線エッ
ジデータ、それ以外のエッジ点データ（前方車エッジデ
ータ）のいずれであるか判断し、分別する処理を行う
（ステップＳ１６０６）。

【００９０】この処理（ステップＳ１６０６）では、抽
出処理回路３６より送られたエッジ座標データの特徴を
もとにしてエッジデータを判定し、左右車線のエッジデ
ータ８１４、８１６を車線算出部３２０８に送信する。
エッジ座標データは、立ち上がり、立ち下がりの情報
と、各エッジの座標の情報で構成されている。一般的
に、道路色を抽出色条件データにすると、立ち上がりエ
ッジが左車線エッジとなり、立ち下がりエッジが右車線
エッジとなることが多い。しかしながら、前方道路領域
に前方車及び障害物等が存在した場合、車線以外のエッ
ジも車線エッジとして認識してしまう。そこで図８に示
すように画面中心線８１８より左の立ち上がりエッジを
左車線エッジデータ８１４、右の立ち下がりエッジを右
車線エッジデータ８１６とし、それ以外のエッジを前方
車エッジデータとして判別する。

【００９１】エッジデータの通知を受けた車線算出部３
２０８は、エッジ判断部３２０６より送信された左右車
線エッジデータ８１４、８１６をもとに直線性判断を行
い、各車線エッジデータに対する候補車線を算出する
（ステップＳ１６０８）。

【００９２】次に、車線推定部３２１２は、理想レーン
幅データ取込部３２１０より取り込んだメモリ５０の理
想レーン幅データ５００２をもとに、車線算出部３２０
８から送信された候補車線の中から認識すべき左右車線
（認識車線）を推定し、設定位置判断部３２１４に送信
する（ステップＳ１６１０）。

【００９３】つぎに、設定位置判断部３２１４は、前述
の車線推定部３２１２により認識された左右車線と撮像
画面の最下部の水平ラインとの交点を求め、その交点が
撮像画面の最下部の水平ライン上のどの位置にあるかで
設定度合いを推定する設定位置推定処理（ステップＳ１
６２２）を行う。

【００９４】さらに、設定位置判断部３２１４は、車線
認識設定位置判断部３２１４で推定された設定度合いに
応じて、音響装置５２から音声、警報音等を出す報知処
理（ステップＳ１６２４）を行い、処理を撮像データ取
込処理（ステップＳ８）に戻す。この報知処理により、
自車の運転者に設定度合いが報知される。

【００９５】ｃ．居眠り警報モード つぎに、居眠り警報モードについて説明する。居眠り警
報モードの実現のための判断部３２の構成を、図１４に
示す。居眠り警報モードの実現のために、判断部３２
は、顔位置判断部３２１６と、目判断部３２１８と、車
両状態判断部３２０２と、覚醒度判断部３２２０とを備
える。

【００９６】顔位置判断部３２１６は、抽出処理回路３
６より送られた抽出座標データが、運転者の顔のデータ
であるか判断し、分別する回路である。そして、運転者
の顔の抽出座標データを目判断部３２１８と抽出条件決
定部３８と覚醒度判断部３２２０に送信する。

【００９７】目判断部３２１８は、顔位置判断部３２１
６より送信された運転者の顔のデータをもとに、抽出処
理回路３６から送信されたエッジデータより運転者の目
の開度を推定し、覚醒度判断部３２２０に送信する。

【００９８】車両状態判断部３２０２は、車両状態セン
サ５６からの信号により、自車両の走行状態を判断し、
その判断結果を覚醒度判断部３２２０に送信する。

【００９９】覚醒度判断部３２２０では、顔位置判断部
３２１６より送信された顔データで頭の動きを認識し、
目判断部３２１８より送信された目の開度で運転者の瞬
きを認識し、車両状態判断部３２０２より送信されたデ
ータで自車の走行状態を認識する。そして、それらの３
要素を考慮し、運転者の覚醒度を推定する。ここで、覚
醒度が低いと推定した場合、音響装置５２を介して運転
者に報知する。さらに、運転者の覚醒度に変化がない場
合には、車両状態制御装置５４（例えば、エアコン等）
を介して車室内の温度を下げる。

【０１００】メモリ５０は、覚醒度を推定する場合に用
いるデータを推定データ５００８として予め記憶してお
く。また、本装置を制御するデータと、顔と頭髪の色に
相当するデータ（Ｙ、Ｒ−Ｙ、Ｂ−Ｙ）を制御データ５
００４として予め記憶しておく。また、各回路で算出及
び推定したデータを一時的に算出データ５００６として
記憶する。

【０１０１】次に、居眠り警報処理の処理手順を図１５
に示す。まず、抽出する色条件を決定する処理が行われ
る（ステップＳ１６０２）。この処理は、まず、抽出処
理回路３６において、撮像画像中より特定（画面上の
顔、頭髪位置）画素の色データ（Ｙ、Ｒ−Ｙ、Ｂ−Ｙ）
がサンプリングされ、次に、抽出条件決定部３８が、そ
のデータとメモリ５０の制御データ部５００４に予め記
憶してある顔と頭髪の色に相当するデータ（Ｙ、Ｒ−
Ｙ、Ｂ−Ｙ）を用いて抽出色条件データを決定する処理
である。ここで決めた抽出色条件データは、 Ｙ（顔最小） ＜ Ｙ ＜ Ｙ（顔最大） Ｒ−Ｙ（顔最小）＜Ｒ−Ｙ＜Ｒ−Ｙ（顔最大） Ｂ−Ｙ（顔最小）＜Ｂ−Ｙ＜Ｂ−Ｙ（顔最大） Ｙ（頭髪最小） ＜ Ｙ ＜ Ｙ（頭髪最大） Ｒ−Ｙ（頭髪最小）＜Ｒ−Ｙ＜Ｒ−Ｙ（頭髪最大） Ｂ−Ｙ（頭髪最小）＜Ｂ−Ｙ＜Ｂ−Ｙ（頭髪最大） のように、幅を持った２種類のデータであり、このデー
タの内少なくとも一方を満たすか満たさないかで二値化
を行うための条件である。すなわち、顔や頭髪の色は当
てはまるが、シートや服等の色は当てはまらないように
設定する。なお、本実施例では、サンプリングしたデー
タと予め設定しておいたデータをもとに抽出色条件デー
タを決定したが、予め設定したデータのみを用いて（例
えば、輝度条件に合わせて予め設定しておく等）抽出色
条件データを決定することも可能である。

【０１０２】次に、抽出処理回路３６は、撮像画像に対
して、抽出条件決定部３８より送信された抽出色条件デ
ータに相当する画素を識別し、水平ライン上での、その
画素に対する最初（立ち上がり）と最後（立ち下がり）
の座標データ（エッジ座標データ）を目判断部３２１８
に送信する処理を行う（ステップＳ１６０４）。さら
に、抽出処理回路３６は、抽出色条件データに相当する
画素の集まりに対して撮像画面上における外接四角形の
位置と大きさ（抽出座標データ）を求め、顔位置判断部
３２１４に送信する処理を行う（ステップＳ１６３
２）。

【０１０３】データを受信した顔位置判断部３２１６
は、抽出処理回路３６より送信された複数の抽出座標デ
ータから、運転者の頭部の位置を算出し、その位置デー
タを目判断部３２１８、抽出条件決定部３８、覚醒度判
断部３２２０にそれぞれ送信する（ステップＳ１６３
４）。

【０１０４】データの送信を受けた目判断部３２１８
は、顔位置判断部３２１６より送信された位置データよ
り、抽出処理回路３６からの複数のエッジ座標データか
ら目の位置と開度を推定し、目の開度を覚醒度判断部３
２２０に送信する（ステップＳ１６３６）。

【０１０５】次に、覚醒度判断部３２２０は、顔位置判
断部３２１６より送信された運転者の頭部の位置データ
より、頭部の動きを認識し、さらに、目判断部３２１８
より送信された目の開度とにより、運転者の覚醒度を推
定する（ステップＳ１６３８）。

【０１０６】ステップ１６３８において推定された覚醒
度が所定の値より低い場合、覚醒度判断部３２２０は、
車両状態制御装置５４（例えば、シート駆動装置、ステ
ア振動装置等）を介して運転者を覚醒させ（ステップＳ
１６４０）、運転者の覚醒度が再度低くなった場合に
は、覚醒度に応じて、車両状態制御装置５４（例えば、
エアコン等）を介して車室内の温度を下げ、あるいは、
音響装置５２を介して運転者に休憩をとるよう報知する
（ステップＳ１６４０）。

【０１０７】ｄ．居眠り警報の取り付け設定モード 第四のモードとして居眠り警報の取り付け設定モードに
ついて説明する。このモードは、居眠り警報モードの実
行のための、撮像系の位置および角度の調整を行う際
に、適切な位置および角度になるように操作者を誘導す
るモードである。

【０１０８】居眠り警報モードでは、図１６に示すよう
に、運転者の顔が表示画面のほぼ中央位置にくるよう
に、そして、表示画面に映る顔の大きさが表示画面の２
／３程度の大きさになるように設定することが望まれ
る。そこで、居眠り警報モードの実行に際しては、表示
画面の中央付近に表示画面の２／３の大きさの設定目標
枠をもうけて運転者の顔がこの枠内におさまるように、
あらかじめ撮像系を設定しておく必要がある。居眠り警
報の取り付け設定モードでは、撮像系の位置および角度
の設定時に、設定目標枠と運転者の顔の位置関係を表示
器に表示して操作者に知らせるとともに、発信音により
顔が枠内に納まっているか否かを通知する。本実施例で
は、図１６に示すように顔が枠内に納まっている場合に
は、長い発信音”ピー”を発生させ、図１７のように顔
が枠内に納まっていない場合には、短い発信音”ピッピ
ッピッ”を発生させることにより、撮像系の設定を支援
する。

【０１０９】居眠り警報の取り付け設定モードの実現の
ための、判断部３２の構成を図１８に示す。居眠り警報
の取り付け設定モードの実現のために、判断部３２は、
顔位置判断部３２１６と、居眠り警報取付位置判断部３
２２２とを備える。

【０１１０】顔位置判断部３２１６は、抽出処理回路３
６より送られた抽出座標データが、運転者の顔のデータ
であるか判断し、分別する回路である。そして、運転者
の顔の抽出座標データを抽出条件決定部３８と居眠り警
報取付位置判断部３２２２に送信する。

【０１１１】居眠り警報取付位置判断部３２２２では、
顔位置判断部３２１６より送信された顔データで運転者
の頭が撮像画面にどのように写っているかを認識し、取
り付け設定度合いを推定する。ここで、設定度合いが低
いと推定した場合、音響装置５２を介して運転者に報知
する。

【０１１２】メモリ５０は、設定度合いを推定する場合
に用いるデータを設定データ５０１０として予め記憶し
ておく。また、本装置を制御するデータと、顔と頭髪の
色に相当するデータ（Ｙ、Ｒ−Ｙ、Ｂ−Ｙ）を制御デー
タ５００４として予め記憶しておく。また、各回路で算
出及び推定したデータを一時的に算出データ５００６と
して記憶する。

【０１１３】つぎに、居眠り警報の取り付け設定モード
の処理の流れを、図１９を用いて説明する。

【０１１４】まず、抽出する色条件を決定する処理が行
われる（ステップＳ１６０２）。この処理は、まず、抽
出処理回路３６において、撮像画像中より特定（画面上
の顔、頭髪位置）画素の色データ（Ｙ、Ｒ−Ｙ、Ｂ−
Ｙ）がサンプリングされ、次に、抽出条件決定部３８
が、そのデータとメモリ５０の制御データ部５００４に
予め記憶してある顔と頭髪の色に相当するデータ（Ｙ、
Ｒ−Ｙ、Ｂ−Ｙ）を用いて抽出色条件データを決定する
処理である。ここで決めた抽出色条件データは、 Ｙ（顔最小） ＜ Ｙ ＜ Ｙ（顔最大） Ｒ−Ｙ（顔最小）＜Ｒ−Ｙ＜Ｒ−Ｙ（顔最大） Ｂ−Ｙ（顔最小）＜Ｂ−Ｙ＜Ｂ−Ｙ（顔最大） Ｙ（頭髪最小） ＜ Ｙ ＜ Ｙ（頭髪最大） Ｒ−Ｙ（頭髪最小）＜Ｒ−Ｙ＜Ｒ−Ｙ（頭髪最大） Ｂ−Ｙ（頭髪最小）＜Ｂ−Ｙ＜Ｂ−Ｙ（頭髪最大） のように、幅を持った２種類のデータであり、このデー
タの内少なくとも一方を満たすか満たさないかで二値化
を行うための条件である。すなわち、顔や頭髪の色は当
てはまるが、シートや服等の色は当てはまらないように
設定する。なお、本実施例では、サンプリングしたデー
タと予め設定しておいたデータをもとに抽出色条件デー
タを決定したが、予め設定したデータのみを用いて（例
えば、輝度条件に合わせて予め設定しておく等）抽出色
条件データを決定することも可能である。

【０１１５】次に、抽出処理回路３６は、撮像された画
像データに対して、抽出条件決定部３８より送信された
抽出色条件データに相当する画素を識別し、水平ライン
上での、その画素に対する最初（立ち上がり）と最後
（立ち下がり）の座標データ（エッジ座標データ）を求
め（ステップＳ１６０４）、抽出色条件データに相当す
る画素の集まりに対して撮像画面上における外接四角形
の位置と大きさ（抽出座標データ）を求めて、居眠り警
報取付位置設定判断部３２２２に送信する（ステップＳ
１６３２）。

【０１１６】次に、顔位置判断部３２１６は、抽出処理
回路３８より送信された複数の抽出座標データから運転
者の頭部の位置を算出し、その位置データを居眠り警報
取付設定位置判断部３２２２に送信する処理を行う（ス
テップＳ１６３４）。

【０１１７】送信を受けた居眠り警報取付設定位置判断
部３２２２は、顔位置判断部３２１６より送信された位
置データより、設定度合いを算出し（ステップＳ１６４
２）、算出された設定度合いにより、音響装置５２を用
いて設定者に報知する（ステップＳ１６４４）。

【０１１８】ｅ．荷重バランスモード つぎに、荷重バランスモードについて説明する。本実施
例では、荷重バランスモードは、乗員の配置バランスを
検出するモードであるが、抽出色条件データを変えるこ
とにより、貨物の配置バランスについても適用可能であ
る。また、色と重さに対応関係がある場合には、該対応
関係をあらかじめメモリ５０に保持しておき、配置に加
えて、各貨物の重さを考慮した荷重バランスを求めるよ
うにしてもよい。

【０１１９】この荷重バランスモードでは、撮像画面に
は、運転席、助手席、後部座席が撮像されるように設定
されていることが望まれる。このときの設定目標枠は、
図２０の位置に設定されており、このモードを実行する
場合には、運転者の顔がこの枠内におさまるようにあら
かじめ撮像系の位置および角度を設定しておく必要があ
る。

【０１２０】この荷重バランスモードでは、撮像画像中
の人の顔を抽出して、乗員配置を求め、図２１に示すよ
うに乗員配置位置を表示し、さらに、車両運動制御装置
５４にこのデータを送信して、乗員位置のアンバランス
に対する制御を行う。車両運動制御装置５４には、サス
ペンションシステム、エアコン、エアバック等を用いる
ことができる。本実施例では、車両運動制御装置５４と
してエアコンおよびサスペンションシステムを用い、乗
員の配置に応じてエアコンの風向、風量を制御し、さら
に、乗員位置のバランスに応じてサスペンションの制御
状態を変更する。なお、図２１では、サスペンションの
制御状態を三角表示の塗りつぶし濃度で表している。

【０１２１】この荷重バランスモードを実現するため
の、判断部３２の構成を図２２に示す。荷重バランスモ
ードを実現するため、判断部３２は、顔位置判断部３２
１６と、荷重バランス判断部３２２４とを備える。

【０１２２】顔位置判断部３２１６は、抽出処理回路３
６より送られた抽出座標データが、運転者および同乗者
の顔のデータであるか判断し、分別して、運転者および
同乗者の顔の抽出座標データを抽出条件決定部３８と荷
重バランス判断部３２２４に送信する。

【０１２３】荷重バランス判断部３２２４は、顔位置判
断部３２１６より送信された顔データで頭の位置と個数
を認識し、頭の位置により子供か大人であるのかを推測
する。そして、これらのデータを車両状態制御装置５４
（例えば、エアコン等）に送信して人がいるところの空
間を適正な状態とする。

【０１２４】メモリ５０は、荷重バランスを推定する場
合に用いるデータを推定データ５０１２として予め記憶
しておく。また、本装置を制御するデータと、顔と頭髪
の色に相当するデータ（Ｙ、Ｒ−Ｙ、Ｂ−Ｙ）を制御デ
ータ５００４として予め記憶しておく。また、各回路で
算出及び推定したデータを一時的に算出データ５００６
として記憶する。

【０１２５】この荷重バランスモードの処理の流れを図
２３を用いて説明する。まず、抽出する色条件を決定す
る処理が行われる（ステップＳ１６０２）。この処理
は、抽出処理回路３６において、撮像画像中より特定
（画面上の顔、頭髪位置）画素の色データ（Ｙ、Ｒ−
Ｙ、Ｂ−Ｙ）がサンプリングされ、次に、抽出条件決定
部３８は、そのデータとメモリ５０の制御データ部５０
０４に予め記憶してある顔と頭髪の色に相当するデータ
（Ｙ、Ｒ−Ｙ、Ｂ−Ｙ）を用いて抽出色条件データを決
定する処理である。ここで決めた抽出色条件データは、 Ｙ（顔最小） ＜ Ｙ ＜ Ｙ（顔最大） Ｒ−Ｙ（顔最小）＜Ｒ−Ｙ＜Ｒ−Ｙ（顔最大） Ｂ−Ｙ（顔最小）＜Ｂ−Ｙ＜Ｂ−Ｙ（顔最大） Ｙ（頭髪最小） ＜ Ｙ ＜ Ｙ（頭髪最大） Ｒ−Ｙ（頭髪最小）＜Ｒ−Ｙ＜Ｒ−Ｙ（頭髪最大） Ｂ−Ｙ（頭髪最小）＜Ｂ−Ｙ＜Ｂ−Ｙ（頭髪最大） のように、幅を持った２種類のデータであり、このデー
タの内少なくとも一方を満たすか満たさないかで二値化
を行うための条件である。すなわち、顔や頭髪の色は当
てはまるが、シートや服等の色は当てはまらないように
設定する。なお、本実施例では、サンプリングしたデー
タと予め設定しておいたデータをもとに抽出色条件デー
タを決定したが、予め設定したデータのみを用いて（例
えば、輝度条件に合わせて予め設定しておく等）抽出色
条件データを決定することも可能である。

【０１２６】次に、抽出処理回路３６は、撮像画像に対
して、抽出条件決定部３８より送信された抽出色条件デ
ータに相当する画素を識別し、水平ライン上での、その
画素に対する最初（立ち上がり）と最後（立ち下がり）
の座標データ（エッジ座標データ）を求める処理を行い
（ステップＳ１６０４）、抽出色条件データに相当する
画素の集まりに対して撮像画面上における外接四角形の
位置と大きさ（抽出座標データ）を求め、顔位置判断部
３２１６に送信する処理を行う（ステップＳ１６３
２）。

【０１２７】抽出座標データを受信した顔位置判断部３
２１６は、抽出処理回路３６より送信された複数の抽出
座標データから運転者及び同乗者の頭部の位置を算出
し、その位置データを荷重バランス判断部３２２４に送
信する（ステップＳ１６３４）。

【０１２８】これを受信した荷重バランス判断部３２２
４は、顔位置判断部３２１６より送信された位置データ
より、運転者及び同乗者の人数と重量とを推定し（ステ
ップＳ１６５６）、推定した人数と重量とを、表示器３
０２の表示画面に表示して（ステップＳ１６５８）、荷
重バランスが所定の範囲であれば、処理を撮像データ取
込処理（ステップＳ８）に戻す。

【０１２９】荷重バランスが所定の範囲内になければ、
荷重バランス判断部３２２４は、推定した人数と重量と
を車両運動制御装置５４に送信して（ステップＳ１６６
０）、処理を撮像データ取込処理（ステップＳ８）に戻
す。この推定した人数と重量との通知を受けた車両運動
制御装置５４は、バランスに応じてあらかじめ定められ
た制御処理（例えば、サスペンションの制御状態を変更
する処理）を行う。

【０１３０】ｆ．鏡モード つぎに、鏡モードについて説明する。鏡モードは、乗員
の顔を表示器３０２の表示画面に表示するモードであ
る。本実施例では、図３に示すようにサンバイザ１１１
に鏡３０４と表示画面３０２とが並べて備えられてい
る。そこで、表示器３０２に乗員の横顔を表示すれば、
鏡３０４には正面の顔が写るので、正面の顔と横顔とを
同時に見ることができ、特に助手席での女性の化粧直し
等の便宜を図ることができる。本実施例の画像表示装置
は、撮像系を動かすことなく、常に人の顔が表示画面中
央部に大きく出力されるように抽出処理を行う。

【０１３１】鏡モードを実現するための、判断部３２の
構成を図２４に示す。鏡モードを実現するため、判断部
３２は、顔位置判断部３２１６を備える。この顔位置判
断部３２１６は、抽出処理回路３６より送られた抽出座
標データが、運転者の顔のデータであるか判断し、分別
し、運転者の顔の抽出座標データを抽出条件決定部３８
に送信する手段である。これを受けた抽出条件決定部３
８は、顔位置判断部３２１６より送信された顔データで
頭の動きを認識し、撮像画面をずらして顔が表示画面中
央にくるように表示する。

【０１３２】メモリ５０は、頭の動きを推定する場合に
用いるデータを推定データ５０１４として予め記憶して
おく。また、本装置を制御するデータと、顔と頭髪の色
に相当するデータ（Ｙ、Ｒ−Ｙ、Ｂ−Ｙ）を制御データ
５００４として予め記憶しておく。また、各回路で算出
及び推定したデータを一時的に算出データ５００６とし
て記憶する。

【０１３３】鏡モードの処理の流れを、図２５に示す。
まず、抽出する色条件を決定する処理を行が行われる
（ステップＳ１６０２）。この処理は、まず、抽出処理
回路３６において、撮像画像中より特定（画面上の顔、
頭髪位置）画素の色データ（Ｙ、Ｒ−Ｙ、Ｂ−Ｙ）がサ
ンプリングされ、次に、抽出条件決定部３８が、そのデ
ータとメモリ５０の制御データ部５００４に予め記憶し
てある顔と頭髪の色に相当するデータ（Ｙ、Ｒ−Ｙ、Ｂ
−Ｙ）を用いて抽出色条件データを決定する処理であ
る。ここで決めた抽出色条件データは、 Ｙ（顔最小） ＜ Ｙ ＜ Ｙ（顔最大） Ｒ−Ｙ（顔最小）＜Ｒ−Ｙ＜Ｒ−Ｙ（顔最大） Ｂ−Ｙ（顔最小）＜Ｂ−Ｙ＜Ｂ−Ｙ（顔最大） Ｙ（頭髪最小） ＜ Ｙ ＜ Ｙ（頭髪最大） Ｒ−Ｙ（頭髪最小）＜Ｒ−Ｙ＜Ｒ−Ｙ（頭髪最大） Ｂ−Ｙ（頭髪最小）＜Ｂ−Ｙ＜Ｂ−Ｙ（頭髪最大） のように、幅を持った２種類のデータであり、このデー
タの内少なくとも一方を満たすか満たさないかで二値化
を行うための条件である。すなわち、顔や頭髪の色は当
てはまるが、シートや服等の色は当てはまらないように
設定する。なお、本実施例では、サンプリングしたデー
タと予め設定しておいたデータをもとに抽出色条件デー
タを決定したが、予め設定したデータのみを用いて（例
えば、輝度条件に合わせて予め設定しておく等）抽出色
条件データを決定することも可能である。

【０１３４】次に、抽出処理回路３６は、撮像画像に対
して、抽出条件決定部３８より送信された抽出色条件デ
ータに相当する画素を識別し、水平ライン上での、その
画素に対する最初（立ち上がり）と最後（立ち下がり）
の座標データ（エッジ座標データ）を求める処理を行う
（ステップＳ１６０４）。次に、抽出処理回路３６は、
抽出色条件データに相当する画素の集まりに対して撮像
画面上における外接四角形の位置と大きさ（抽出座標デ
ータ）を求め、顔位置判断部３２１６に送信する処理を
行う（ステップＳ１６３２）。

【０１３５】この送信を受けた顔位置判断部３２１６
は、抽出処理回路３６より送信された複数の抽出座標デ
ータから運転者の頭部の位置を算出し、その位置データ
を抽出条件決定部３８に送信する処理を行う（ステップ
Ｓ１６３４）。

【０１３６】次に、位置データを受信した抽出条件決定
部３８は、顔位置判断部３２１６より送信された位置デ
ータより、頭の動きを推定して、頭が表示画面におい
て、中央に大きく写るように倍率と表示画面をずらす量
を決め（ステップＳ１６７２）、撮像部２４において抽
出条件決定部３８より送信されたデータに基づき、ズー
ムや撮像範囲を移動させて（ステップＳ１６７４）、処
理を撮像データ取込処理（ステップＳ８）に戻す。

【０１３７】

【発明の効果】本発明によれば、薄暗い状況でも、感度
よく車内外の状況を認識し、それに応じて処理を行うこ
とができる。

【図面の簡単な説明】

【図１】 実施例の画像処理装置を示す外観図である。

【図２】 本発明の画像処理装置の例を示す外観図であ
る。

【図３】 実施例の表示器を示す外観図である。

【図４】 実施例の画像処理装置のシステム構成図であ
る。

【図５】 実施例の画像処理装置の処理の流れを示すフ
ローチャートである。

【図６】 車線認識モードのためのシステム構成を示す
システム構成図である。

【図７】 車線認識処理の流れを示すフローチャートで
ある。

【図８】 エッジ判別処理例を表す説明図である。

【図９】 メモリの内容を示すデータ構造図である。

【図１０】 ＩＣカードの内容を示すデータ構造図であ
る。

【図１１】 モード判別処理の流れを示すフローチャー
トである。

【図１２】 車線認識取付設定モードのためのシステム
構成を示すシステム構成図である。

【図１３】 車線認識取付設定処理の流れを示すフロー
チャートである。

【図１４】 居眠り警報モードのためのシステム構成を
示すシステム構成図である。

【図１５】 居眠り警報処理の流れを示すフローチャー
トである。

【図１６】 居眠り警報モードでの正常取付設定時の撮
像画面を示す説明図である。

【図１７】 居眠り警報モードでのずれた取付設定時の
撮像画面を示す説明図である。

【図１８】 居眠り警報取付設定モードのためのシステ
ム構成を示すシステム構成図である。

【図１９】 居眠り警報取付設定処理の流れを示すフロ
ーチャートである。

【図２０】 荷重バランス制御モード時の撮像範囲の一
例を示す説明図である。

【図２１】 荷重バランスの制御状態を示す表示画面の
説明図である。

【図２２】 荷重バランスモードのためのシステム構成
を示すシステム構成図である。

【図２３】 荷重バランス処理の流れを示すフローチャ
ートである。

【図２４】 鏡モードのためのシステム構成を示すシス
テム構成図である。

【図２５】 鏡処理の流れを示すフローチャートであ
る。

【符号の説明】

２４…撮像部、２８…処理部、３０…画像処理部、３２
…判断部、３６…抽出処理回路、３２０６…エッジ判断
部、３２０８…車線算出部、３２１２…車線推定部、３
２０４…危険度判断部、１０１…アタッチメント、１０
２…自在継ぎ手、１０３…ＩＣカード、３０２…表示
器、１０５…モード切り換えスイッチ、１１２…取付設
定スイッチ、５０…メモリ、３８…抽出条件決定部、４
２…動作モニタランプ、４０…処理結果モニタランプ、
５２…設定目標枠。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｇ０８Ｇ 1/16 Ｈ０４Ｎ 7/18 Ｚ Ｈ０４Ｎ 7/18 Ｇ０６Ｆ 15/62 ３８０

Claims (20)

【特許請求の範囲】
1. 【請求項１】車両の車室内部および車外の少なくとも一
   方を撮像して撮像データを取得し、 上記撮像データにおける各画素の色相の相違を基に、あ
   らかじめ定められた対象物の画像データを抽出すること
   を特徴とする車両状況認識方法。
2. 【請求項２】請求項１において、 上記対象物は、上記車両の運転者の顔および目の少なく
   とも一方であり、 上記抽出した画像データを基に、上記運転者が居眠り中
   であるか否かを推定することを特徴とする車両状況認識
   方法。
3. 【請求項３】請求項１において、 上記対象物は、上記車室内の乗員および貨物の少なくと
   も一方であり、 上記抽出した画像データを基に、上記対象物の位置を推
   定し、 上記推定の結果を基に、荷重バランスを求めることを特
   徴とする車両状況認識方法。
4. 【請求項４】請求項１において、 上記対象物は、上記車室内の乗員の少なくとも一人の顔
   であり、 上記抽出した画像データを基に、上記顔の画像を、その
   表示領域が所定の大きさになるように、拡大または縮小
   して、表示画面の所定の位置に表示することを特徴とす
   る車両状況認識方法。
5. 【請求項５】請求項１記載の車両状況認識方法を実行す
   るプログラムを保持することを特徴とする記憶媒体。
6. 【請求項６】車両の車室内部および車外の少なくとも一
   方を撮像して撮像データを取得する撮像装置と、 上記撮像データを処理する制御装置とを備え、 上記制御装置は、 上記撮像データにおける各画素の色相の相違を基に、あ
   らかじめ定められた対象物の画像データを抽出する抽出
   手段を備えることを特徴とする画像処理装置。
7. 【請求項７】請求項６において、 上記対象物は、上記車両の運転者の、顔および目の少な
   くとも一方であり、 上記制御装置は、 上記抽出された画像データを基に、上記運転者が居眠り
   中であるか否かを推定する居眠り推定手段を、さらに備
   えることを特徴とする車載用画像処理装置。
8. 【請求項８】請求項７において、 上記制御装置は、 上記居眠り推定手段により、上記運転者が居眠り中であ
   ると推定されると、警報を発する警報手段と、 上記居眠り推定手段により、上記運転者が居眠り中であ
   ると推定された場合は、上記車両の走行状態を変化させ
   る危険回避手段との、少なくとも一方を、さらに備える
   ことを特徴とする車載用画像処理装置。
9. 【請求項９】請求項６において、 上記対象物は、上記車室内の乗員および貨物の少なくと
   も一方であり、 上記制御装置は、 上記抽出された画像データを基に、荷重バランスを求め
   る荷重バランス検出手段を、さらに備えることを特徴と
   する車載用画像処理装置。
10. 【請求項１０】請求項６において、 表示画面を有し、該表示画面に画像を表示する表示装置
    を、さらに備え、 上記対象物は、上記車室内の乗員の少なくとも一人の顔
    であり、 上記制御装置は、 上記抽出された画像データを基に、上記顔の画像を、そ
    の表示領域が所定の大きさになるように、拡大または縮
    小して、上記表示装置の表示画面に表示する乗員画像表
    示手段を、さらに備えることを特徴とする車載用画像処
    理装置。
11. 【請求項１１】外部からの処理モードの選択を受け付け
    る処理モード選択手段と、 車両の車室内および車外の少なくとも一方を撮像して撮
    像データを取得する撮像装置と、 上記撮像データを基に処理を行う制御装置とを備え、 上記制御装置は、 上記撮像データから、上記選択を受け付けた処理モード
    に応じて定められた対象物の画像データを抽出する抽出
    手段と、 上記抽出された画像データを用いて、上記選択を受け付
    けた処理モードに応じて定められた処理を実行する処理
    モード実行手段とを備えることを特徴とする車載用画像
    処理装置。
12. 【請求項１２】請求項１１において、 上記処理モード選択手段は、 居眠り警報モードの選択を受け付ける手段を備え、 上記抽出手段は、 上記居眠り警報モードの選択を受け付けると、上記撮像
    データにおける各画素の色相の相違を基に、上記車両の
    運転者の、顔および目の少なくとも一方の画像データを
    抽出する手段を備え、 上記処理モード実行手段は、 上記警報モードの選択を受け付けると、上記抽出された
    画像データを基に、上記運転者が居眠り中であるか否か
    を推定する居眠り推定手段を備えることを特徴とする車
    載用画像処理装置。
13. 【請求項１３】請求項１２において、 上記処理モード実行手段は、 上記居眠り推定手段により、上記運転者が居眠り中であ
    ると推定されると、警報を発する警報手段と、 上記居眠り推定手段により、上記運転者が居眠り中であ
    ると推定された場合は、上記車両の走行状態と車室内の
    環境とのうちの少なくともいずれかを変化させる危険回
    避手段との、少なくとも一方を、さらに備えることを特
    徴とする車載用画像処理装置。
14. 【請求項１４】請求項１１において、 上記処理モード選択手段は、 バランス検出モードの選択を受け付ける手段を備え、 上記抽出手段は、 上記バランス検出モードの選択を受け付けると、上記撮
    像データにおける各画素の色相の相違を基に、上記車室
    内の乗員および貨物の少なくとも一方の画像データを抽
    出する手段を備え、 上記処理モード実行手段は、 上記バランス検出モードの選択を受け付けると、上記抽
    出された画像データを基に、荷重バランスを求める荷重
    バランス検出手段を備えることを特徴とする車載用画像
    処理装置。
15. 【請求項１５】請求項１１において、 表示画面を有し、該表示画面に画像を表示する表示装置
    を、さらに備え、 上記処理モード選択手段は、 鏡モードの選択を受け付ける手段を備え、 上記抽出手段は、 上記鏡モードの選択を受け付けると、上記撮像データに
    おける各画素の色相の相違を基に、上記車室内の乗員の
    少なくとも一人の顔の画像データを抽出する手段を備
    え、 上記処理モード実行手段は、 上記鏡モードの選択を受け付けると、上記抽出された画
    像データを基に、上記顔の画像を、所定の大きさになる
    ように拡大または縮小して、上記表示装置の表示画面の
    所定の位置に表示する乗員画像表示手段を備えることを
    特徴とする車載用画像処理装置。
16. 【請求項１６】請求項１１において、 上記処理モード選択手段は、 前方認識モードの選択を受け付ける手段を備え、 上記抽出手段は、 上記前方認識モードの選択を受け付けると、上記撮像デ
    ータにおける各画素の色相の相違を基に、上記撮像デー
    タから進行方向前方の対象物の画像データを抽出する手
    段を備え、 上記処理モード実行手段は、 上記前方認識モードの選択を受け付けると、上記抽出さ
    れた画像データを基に、上記対象物と自車両との相対的
    位置関係から、危険度を推定する危険度推定手段を備
    え、 上記対象物は、車線、信号機、標識および他車両のうち
    の少なくともいずれかであることを特徴とする車載用画
    像処理装置。
17. 【請求項１７】請求項１６において、 上記処理モード実行手段は、 上記危険度に応じて警報処理を行う警報手段と、 上記危険度に応じて上記車両の走行状態と車室内の環境
    とのうちの少なくともいずれかを変化させる危険回避手
    段との、少なくともいずれかを、さらに備えることを特
    徴とする車載用画像処理装置。
18. 【請求項１８】請求項１１において、 上記車両のルームミラーは、裏から入射した光は透過
    し、表から入射した光は反射するハーフミラーを備え、 上記表示画面は、上記ハーフミラーの裏に設置されてい
    ることを特徴とする車載用画像処理装置。
19. 【請求項１９】請求項１１において、 上記撮像装置は、 レンズ倍率を切り換える倍率切り換え手段と、 レンズ倍率が切り換えられると、レンズ倍率を示す情報
    を上記処理モード選択手段に通知する手段とを備え、 上記処理モード選択手段は、 上記レンズ倍率を示す情報が通知されると、該情報に応
    じて、上記処理モードを選択する手段を備えることを特
    徴とする車載用画像処理装置。
20. 【請求項２０】請求項１１において、 請求項４記載の記憶媒体に保持された情報を読み取る記
    憶媒体読み取り装置を、さらに備え、 上記処理モード選択手段は、 上記記憶媒体読み取り装置により読み取られた情報に応
    じて、上記処理モードを選択する手段を備え、 上記抽出手段および上記処理モード実行手段は、 上記記憶媒体読み取り装置により読み取られたプログラ
    ムを実行する手段を、それぞれ備えることを特徴とする
    車載用画像処理装置。