JP3774448B2 - 車載用画像処理装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、車両の内外の環境を撮像装置で撮像する車載用画像処理装置に関するものである。
【０００２】
【従来の技術】
従来より、撮像手段から得られた画像を解析することで、車両内外の状況を把握する装置が知られている。例えば、車両運転者を監視する技術としては、特開平４−６８５００号公報に記載された車両運転者監視装置がある。この装置は、撮像手段から得られたモノクロ画像を用い、背景画像と車両運転者画像との差分画像により、運転者の顔部の画像データを抽出し、この顔部の画像データから顔の方向及び目の状態を検出して、車両運転者の顔の向きや目の状態を監視する。また、特開昭６２−１２１５９９号公報には車両の進行方向前方の画像データの中から、警報ランプの画像データを抽出して、前方の車の存在を検出したり、車間距離を計測したりする装置が記載されている。また、特開平５−１５１３４１号公報には、車両前方の画像から、車線を抽出する装置が記載されている。
【０００３】
【発明が解決しようとする課題】
一つの画像処理装置で複数の処理モードを実行できる車載用画像処理装置を提供する。
【０００５】
【課題を解決するための手段】
上記目的を達成するため、本発明では、外部からの処理モードの選択を受け付ける処理モード選択手段と、車両の車室内および車外の少なくとも一方を撮像して撮像データを取得する撮像装置と、上記処理モードの選択に応じて上記撮像手段の撮像条件を選択する抽出条件決定手段とを備えることを特徴とする車載用画像処理装置が提供される。
【０００９】
【発明の実施の形態】
本発明の一実施形態として、外部からの処理モードの選択を受け付ける処理モード選択手段と、車両の車室内部または車外を撮像して撮像データを取得する撮像装置と、撮像データを基に処理を行う制御装置とを備え、制御装置は、撮像データから、選択を受け付けた処理モードに応じて定められた対象物の画像データを抽出する抽出手段と、抽出された画像データを用いて、選択を受け付けた処理モードに応じて定められた処理を実行する処理モード実行手段とを備える車載用画像処理装置が提供される。
【００１０】
このようにすれば、処理モード選択手段によって処理モードが選択されると、その制御目的に応じた特定の対象物（運転者の顔部、乗員の着座状況、特定の乗員の姿態、車両前方の情景等）が特定物抽出手段によって抽出され、その抽出データに基いて選択された処理モードが実行される。従って、一つの画像処理装置で複数の処理モードを実行できるので、コンパクトかつ安価な画像処理装置が提供される。
【００１１】
処理モードには、例えば、居眠り警報モード、バランス検出モード、鏡モード、前方認識モードなどがあり、これらの内の二つ以上のモードを実行する画像処理装置においては、処理モード選択手段が、外部からの選択指示の入力を受け付けて、選択されたモードを処理モード実行手段に通知する。なお、例えば、モード切り換えスイッチを備える操作パネルを設け、このスイッチにより選択指示の入力を受け付けててもよい。
【００１２】
また、撮像装置のレンズ倍率に応じて処理モードを選択してもよい。このようにする場合は、撮像装置に、レンズ倍率を切り換える倍率切り換え手段と、レンズ倍率が切り換えられると、レンズ倍率を示す情報を処理モード選択手段に通知する手段とを設け、処理モード選択手段に、レンズ倍率を示す情報が通知されると、該情報に応じて、処理モードを選択する手段を設ければよい。
【００１３】
また、記憶媒体（ＩＣ（集積回路）カードなど）の読み取り結果に応じて、処理モードを選択してもよい。例えば、記憶媒体読み取り装置を設け、いずれかの処理モードを実行するプログラムを保持する記憶媒体を、該記憶媒体読み取り装置により読み取ると、処理モード選択手段は、読み取られた情報に応じて、処理モードを選択し、抽出手段および処理モード実行手段は、それぞれ、記憶媒体読み取り装置により読み取られたプログラムを実行するようにすればよい。
【００１４】
上述の各処理モードに対応するためには、処理モード選択手段に、居眠り警報モードの選択を受け付ける手段と、バランス検出モードの選択を受け付ける手段と、鏡モードの選択を受け付ける手段と、前方認識モードの選択を受け付ける手段などを設け、処理モード実行手段に、選択された処理モードごとにあらかじめ定められた処理を実行する手段を設ければよい。
【００１５】
居眠り警報モードを実現するためには、抽出手段に、警報モードの選択を受け付けると、撮像データにおける各画素の色相の相違を基に、車両の運転者の、顔および目の少なくとも一方の画像データを抽出する手段を設け、処理モード実行手段に、警報モードの選択を受け付けると、上記抽出された画像データを基に、上記運転者が居眠り中であるか否かを推定する居眠り推定手段を設ければよい。なお、この場合、処理モード実行手段は、警報手段および危険回避手段のうちの少なくとも一方を備えることが望ましい。ここで、警報手段とは、居眠り推定手段により、上記運転者が居眠り中であると推定されると、警報を発する手段であり、危険回避手段とは、居眠り推定手段により、上記運転者が居眠り中であると推定された場合は、車両の走行状態を変化させる（例えば、車両運動制御装置の制御特性を変化させる、自動動作させる、または車両を停止させる、など）手段である。
【００１６】
バランス検出モードを実現するためには、抽出手段に、バランス検出モードの選択を受け付けると、撮像データにおける各画素の色相の相違を基に、車室内の乗員および貨物の少なくとも一方の画像データを抽出する手段を設け、処理モード実行手段に、バランス検出モードの選択を受け付けると、抽出された画像データを基に、荷重バランスを求める荷重バランス検出手段を設ければよい。なお、この場合、処理モード実行手段は、検出結果に応じて、車両運動制御装置の制御特性を変化させる手段を、さらに備えることが望ましい。
【００１７】
鏡モードを実現するためには、抽出手段に、鏡モードの選択を受け付けると、上記撮像データにおける各画素の色相の相違を基に、上記車室内の乗員の少なくとも一人の顔の画像データを抽出する手段を設け、処理モード実行手段に、鏡モードの選択を受け付けると、抽出された画像データを基に、抽出された顔の画像を、所定の大きさになるように拡大または縮小して、表示装置の表示画面の所定の位置に表示する乗員画像表示手段を設ければよい。なお、この鏡モードの実現手段を備える本発明の画像処理装置は、テレビ電話の画像表示装置として用いることもできる。
【００１８】
前方認識モードを実現するためには、抽出手段に、前方認識モードの選択を受け付けると、撮像データにおける各画素の色相の相違を基に、撮像データから進行方向前方の対象物（車線、信号機、標識、および／または前方車両）の画像データを抽出する手段を設け、処理モード実行手段に、前方認識モードの選択を受け付けると、抽出された画像データを基に、対象物と自車両との相対的位置関係から、危険度を推定する危険度推定手段を設ければよい。この場合、処理モード実行手段は、推定された危険度に応じて警報処理を行う警報手段と、推定された危険度に応じて危険回避処置を採る危険回避手段との、少なくともいずれかを、さらに備えることが望ましい。危険回避処置には、例えば、自車両の走行状態を変化させる処置（例えば、車両運動制御装置の制御特性を変化させる、自動動作させる、または、車両を停止させる）や、車両状態（特に車室内の環境）を変化させる処置（例えば、エアコンを操作して、車室内の温度を下げる、または、風向を、風が運転者の顔面にあたるように変える）などがある。
【００１９】
なお、車両のルームミラーを、裏から入射した光は透過し、表から入射した光は反射するハーフミラーとし、表示画面を、このハーフミラーの裏に設置するようにすれば、車内の限られたスペースを有効に利用できるため、望ましい。このようにすれば、運転者または同乗者は、表示画面に画像が表示されている場合、該画像をハーフミラーを透して視認することができ、また、表示画面に画像が表示されていない場合は、該ハーフミラーに投影された後方の景色を視認することができる。
【００２０】
本発明では、各処理モードを実現するためのプログラムを保持する記憶媒体が提供されるが、この記憶媒体としては、例えば、ＩＣカード、磁気テープ、磁気ディスク、フロッピー（登録商標）ディスク、光ディスク、ＲＯＭ（Read Only Memory）カードなど、情報処理装置により読み取り可能な情報が保持されるものであればどのような形態のものでも構わない。
【００２１】
【実施例】
以下、本発明の実施例を図面を用いて詳細説明する。なお、本実施例の車載用画像処理装置は、自動車の車室内に搭載されるものであるが、本発明はこれに限られず、例えば貨物室内などの搭載してもよい。また、列車、船舶、飛行機などに用いることもできる。
【００２２】
（１）ハードウエア構成
図１（１）に、本実施例の画像処理装置の外観を示す。本実施例の画像処理装置は、本体１１７と、撮像系１０６と、電源系１０４と、固定機構１０２ａとを備え、さらに図３に示す表示器３０２を備える。
【００２３】
固定機構１０２ａは、本体１１７の上部に設けられた自在継ぎ手１０２と、その自在継ぎ手１０２に前後左右に角度変更可能に接続されたアタッチメント１０１とからなる。アタッチメント１０１は本画像処理装置をサンバイザ１１１等に固定するための機構であり、例えば、クリップのようなものをこのアタッチメント１０１として用いることができる。クリップを用いる場合には、車両のサンバイザ１１１等をこのアタッチメント１０１で挾持することにより、本画像処理装置を固定することができる。これにより、本装置は、本体１１７を前後左右に角度を変更することができ、また様々な場所に取り付けることができ、車内および車外の両方を容易に撮像する事ができる。本画像処理装置の電源は、シガーライタソケット１０４により供給される。なお、電源は、太陽電池からの供給でもよく、さらに、充電式のバッテリを備えれば、配線の手間を省き、野外での使用を可能にすることができる。
【００２４】
なお、本実施例の画像処理装置は、撮像系１０６と本体１１７が図１（１）に示すように一体になっているが、図２に示すように別々にしてもよい。図２に示す画像処理装置では、図２（１）に示すように、撮像系１０６の上部に、自在継ぎ手１０２が取り付けられており、この自在継ぎ手１０２に接続しているアタッチメント１０１により、撮像系１０６が固定される。例えば、アタッチメント１０１に吸盤のようなものを用いれば、窓１１６等に撮像系１０６を固定することができる。撮像系１０６は送受信部１２０ａと電源スイッチ１０８ａを備え、送受信部１２０と本体１０７の送受信部１２０は、有線又は無線により接続されている。このようにすれば、撮像系１０６を、前後左右に角度を変更することができ、また様々な場所に取り付けることができるため、車内および車外の両方を容易に監視する事ができる。
【００２５】
本実施例の装置本体１１７は、内部に情報処理装置（中央演算処理装置（図示せず）とメモリ５０（図４に図示）とを備える）を備える。また、装置本体１１７には、図１（２）に示すように、ＩＣカード挿入口１０３、モード切り換えスイッチ１０５、ズーム調製スイッチ１０７、電源スイッチ１０８、電源モニタランプ１０９、動作モニタランプ１１０、取付設定スイッチ１１２、スピーカ１１３、表示器出力部１１４、および処理結果モニタランプ１１５が設けられている。
【００２６】
ＩＣカード挿入口１０３には、ＩＣカードから読み取った情報を本体１１７の情報処理装置に通知するＩＣカード読み取り部５８（図４に図示）が備えられている。本実施例の画像処理装置では、ＩＣカード挿入口１０３に差し込まれたＩＣカード（各種の機能を実現するプログラムを保持する）を差し替える事により、実行するプログラムを変更し、実現する機能を選択することができる。また、モード切り替えスイッチ１０５により、装置本体に内蔵のメモリに書き込んでいる各種の機能を切り替えて処理を行う。
【００２７】
撮像系１０６はカラー画像対応であり、各種の機能に対して、それぞれ倍率と絞りを調整するようにしている。また、ズーム調整スイッチ１０７により、操作者の要望する倍率に任意に設定できる。
【００２８】
表示器３０２の例を図３に示す。本実施例の表示器３０２は超薄型の液晶モニタであり、鏡３０４と共に車両の助手席あるいは運転席にあるサンバイザ１１１に内蔵されている。なお、表示器３０２として、ナビゲーション装置のモニタや、車載テレビ、その他の画像出力装置を用いてもよい。表示器３０２と表示器出力部１１４とは、有線により接続されているが、無線伝送装置を介して無線により接続してもよい。このようにすれば、例えば、本体１１７を車外に、表示器３０２を車内に設置するなど、自由に設置場所を選択することができる。
【００２９】
本実施例では、表示器３０２の表示画面をサンバイザに設置したが、ルームミラーを裏から入射した光は透過し、表から入射した光は反射するハーフミラーとし、このハーフミラーの裏面に表示器３０２の表示画面を設置してもよい。このようにすれば、運転者または同乗者は、表示画面に画像が表示されている場合、該画像をハーフミラーを透して視認することができ、また、表示画面に画像が表示されていない場合は、該ハーフミラーに投影された後方の景色を視認することができるので、車内の限られたスペースを有効に利用できる。同様に、サンバイザ１１１の鏡３０４をハーフミラーとし、この裏に表示器３０２の表示画面を設けてもよい。
【００３０】
（２）システム構成
本実施例の画像処理装置のシステム構成を、図４に示す。本実施例の画像処理装置は、撮像部２４と、表示部２６と、処理部２８とを備える。
【００３１】
撮像部２４は、ズーム機構部２と、ズーム調整部４と、アイリス機構部６と、アイリス調整部８と、ＣＣＤ（電荷結合素子）カメラ１０と、Ａ／Ｄ変換器１２と、色差変換回路１４とを備える。ズーム機構部２およびズーム調整部４は、撮像画像の倍率を変えるものである。アイリス機構部６およびアイリス調整部８は、被写体を含めた撮像画像が明るすぎる場合には絞りを閉じ、被写体を含めた撮像画像が暗すぎる場合には絞りを開くことにより、被写体の明るさを適正な値とする。さらにフォーカスの調整も行う。ＣＣＤカメラ１０は、撮像手段の一例であり、被写体の画像をカラーアナログ信号に変換する。Ａ／Ｄ変換器１２は、ＣＣＤカメラ１０から出力されたアナログ画像信号をデジタル信号に変換する。色差変換回路１４は、デジタル信号として受け取った被写体の三原色（Ｒ（赤）、Ｇ（緑）、Ｂ（青））信号を輝度信号Ｙ、色差信号（Ｒ−Ｙ、Ｂ−Ｙ）の撮像画像信号に変換する回路である。撮像画像信号（Ｙ、Ｒ−Ｙ、Ｂ−Ｙ）は、ＲＧＢ信号を用いて、以下のように定義する。
【００３２】
Ｒ' ＝ Ｒ・γR
Ｇ' ＝ Ｇ・γG
Ｂ' ＝ Ｂ・γB
Ｙ ＝ ０.３Ｒ'＋０.６Ｇ'＋０.１Ｂ'
Ｒ−Ｙ ＝ ０.７Ｒ'−０.６Ｇ'−０.１Ｂ'
Ｂ−Ｙ ＝ -０.３Ｒ'−０.６Ｇ'＋０.９Ｂ'
ここで、色強調ゲイン（γR，γG，γB）は、抽出条件決定部３８により決定される値である。色強調ゲインは、通常、（１，１，１）が指定されているため、撮像画像の色がそのまま出力される。また、夕暮れ等の暗いときには、１より大きな値が指定されるため、撮像画像が明るめに出力される。
【００３３】
表示部２６は、遅延回路１６と、置換回路１８と、エンコーダ回路２０と、表示器出力部１１４とを備える。遅延回路１６は、処理部２８で様々な処理を行う間、画像出力を遅らせ、処理結果と撮像画像との同期を合わせる回路である。置換回路１８は、撮像画像に対し、処理部２８からの処理結果を重ね合わせる回路である。エンコーダ回路２０は、置換回路１８で処理された処理画像信号を受け取り、ＮＴＳＣ（National Television System Committee）信号に変換する回路であり、ＮＴＳＣ信号は表示器出力部１１４を介して装置の外部に出力される。このＮＴＳＣ信号を、回線３０１を介して受け取った表示器３０２は、信号をもとに画像を表示する。
【００３４】
表示器３０２は、ＮＴＳＣ信号を受け取り、処理画像を表示する。表示器出力部１１４は、簡単には表示器３０２と有線で接続する。また、無線伝送装置を介して表示器３０２と接続しても良い。このようにすれば、例えば、本体１１７を車外に、表示器３０２を車内に設置するなど、自由に設置場所を選択することができる。
【００３５】
処理部２８は、画像処理部３０と判断部３２とを備える。画像処理部３０は、抽出処理回路３６と、抽出条件決定部３８とを備える。
【００３６】
抽出処理回路３６は、大きく二つの機能を有する回路である。一つは、撮像画像に対して、抽出条件決定部３８より送信された抽出色条件データ（後に説明する）に相当する画素を識別し、水平ライン上での、その画素に対する最初（立ち上がり）と最後（立ち下がり）の座標データ（エッジ座標データ）を置換回路１８および判断部３２に送信し、さらに、抽出色条件に相当する画素の集まりに対して水平ラインと垂直ラインが接する外接四角形の座標データ（抽出座標データ）を判断部３２に送信するという機能である。もう一つは、撮像画像中より特定画素の色データ（Ｙ、Ｒ−Ｙ，Ｂ−Ｙ）をサンプリングし、そのデータを抽出条件決定部３８に送信する機能である。
【００３７】
抽出条件決定部３８は、各モードにあわせてメモリ５０に記憶してある抽出する対象物の基本的な色データ（Ｙ、Ｒ−Ｙ，Ｂ−Ｙ）と抽出処理回路３６でサンプリングした色データ（Ｙ、Ｒ−Ｙ，Ｂ−Ｙ）をもとに抽出色条件データを決定し、抽出処理回路３６に送信する。さらに、ズーム調整部４、アイリス調整部８に対して、各モードにあわせてメモリ５０に記憶してある基本的な調整データと抽出処理回路３６でサンプリングした色データ（Ｙ、Ｒ−Ｙ，Ｂ−Ｙ）をもとに調整値を決定して、送信し、さらに、色差変換回路１４での色強調ゲイン（γR、γG、γB）を修正する。
【００３８】
なお、抽出条件決定部３８は、装置本体１１７の情報処理装置により実現される。すなわち、メモリ５０に保持されたプログラムを、情報処理装置の中央演算処理装置が実行することにより、判断部３２が実現される。
【００３９】
対象物の基本的な色データは、対象物が人の顔であれば、黒（髪の毛の色）と肌色との組み合わせとする。また、道路上の車線（白、黄色）を対象物とした場合は、車線の色である白色または黄色とする。あるいは自車直前の道路すなわち路面の色として灰色とする。この場合、まず道路を認識し、その周辺曲線を車線とすることにより代用する。また、標識や信号機等が対象物であれば、それらを示す色の組み合わせ、すなわち、青、赤、黄色、緑等を基本的な色データとする。基本的な色データは、各モードにあわせてメモリ５０に記憶されており、この色データは抽出条件決定部３６で抽出色条件データとして修正される。本実施例では、ＩＣカード読み取り口１０３へのＩＣカードの差し替えにより、あるいはモード切り替えスイッチ１０５の状態により、基本的な色データ、および、基本的な調整データ等が変更され、対象物が変わる。
【００４０】
ＩＣカード１５１の保持するデータの内容を、図１０に示す。ＩＣカード１５１は、処理モード名データを記憶している処理モード名領域１５１１と、この処理モードに対応した判断部プログラムを記憶している判断部プログラム領域１５１２と、この処理モードに対応した基本的な色データ、および、基本的な調整データ等を記憶している基本データ領域１５１３とを備える。
【００４１】
メモリ５０の保持するデータの内容を、図９に示す。メモリ５０は、ＲＯＭ(READ ONLY MEMORY)領域５０ａとＲＡＭ(RANDOM ACCESS MEMORY)領域５０ｂとからなる。ＲＯＭ領域５０ａは、本装置を制御する基本プログラムを保持する領域１４１と、処理モード名を保持する領域１４２と、本装置に内蔵のモードに対応した判断部プログラムを保持する領域１４４と、本装置に内蔵のモードに対応した基本的な色データや、基本的な調整データ等を基本データとして保持する領域１４３とを備える。また、ＲＡＭ領域５０ｂは、各回路で算出または推定したデータ（算出データ５００６（図６に図示））を一時的に保持するための算出データ記憶領域１４５と、ＩＣカード１５１の内容を取り込む領域１４６と、処理モードの判別のための処理モード判別領域１４７とを備える。ＩＣカード１５１の内容を取り込む領域１４６は、判断部プログラム領域と基本データ領域とを持つ。なお、基本プログラムと選択されたモードに対応する基本データとをあわせて、制御データ５００４（図６に図示）と呼ぶ。
【００４２】
本実施例の画像処理装置は、出力手段として、上述の表示部２６および表示器３０２に加えて、音響装置（スピーカ）１１３、処理結果モニタランプ１１５、および動作モニタランプ１１０を備える。これらの出力手段は、判断部３２で判断した結果を運転者に報知するための手段である。
【００４３】
さらに、本実施例の画像処理装置は、車両運動制御装置５４と車両状態センサ５６とを備える。車両運動制御装置５４は、駆動系、制動系、操舵系の制御装置である。車両状態センサ５６は、自車両の運動量、運転者の操作意志等を検出する手段であり、検出された信号を判断部３２に送信する。
【００４４】
判断部３２は、装置本体１１７の情報処理装置により実現される。すなわち、メモリ５０に保持されたプログラムを、情報処理装置の中央演算処理装置が実行することにより、判断部３２が実現される。
【００４５】
なお、本実施例では、抽出条件決定部３８および判断部３２はソフトウエアにより実現されるが、専用回路など、他の手段により実現してもよい。同様に、本実施例では、回路により実現されている手段（色差変換回路１４、置換回路１８、エンコーダ回路、抽出処理回路３６）は、メモリ５０に保持されたプログラムを、情報処理装置の中央演算処理装置が実行することにより実現してもよい。
【００４６】
（３）処理内容
つぎに、本実施例の画像処理装置における処理の流れを、図５を用いて説明する。
【００４７】
電源スイッチ１０８がオンにされると（ステップＳ２）、判断部３２は、まず、故障診断を行う（ステップＳ４）。この故障診断処理では、メモリ５０のチェックと、撮像部２４の診断とが行われる。すなわち、メモリ５０のリード／ライトが出来なかったり、ズームの変更あるいは絞りの開閉ができないような場合には、故障モード処理（ステップＳ１８）において、その故障内容を動作モニタランプ１１０の点滅コードにより知らせ、故障診断を繰り返す。
【００４８】
故障がない場合、撮像部２４が、メモリ５０に書き込まれているデータをもとに初期設定を行う（ステップＳ６）。すなわち、撮像部２４において、倍率や絞り等をメモリ５０に書き込まれているデータ値に設定し、色差変換回路１４に対しては、通常画像出力状態となるように色強調ゲイン（γR、γG、γB）を設定する。また、撮像部２４は、表示部２６に対しては、撮像画像をそのまま表示器３０２に出力するように初期設定する。
【００４９】
次に、撮像部２４は、ＣＣＤカメラ１０で被写体を撮像し、得られた被写体の光映像信号をアナログＲＧＢ信号に変換し（ステップＳ８）、ついで、Ａ／Ｄ変換器１２によって、アナログＲＧＢ信号をデジタルＲＧＢ信号に変換した後（ステップＳ１０）、色差変換回路１４によりＲＧＢ信号を輝度信号Ｙ、色差信号Ｒ−Ｙ、Ｂ−Ｙに変換し（ステップＳ１２）、抽出処理回路３６に送信する。
【００５０】
つぎに、判断部３２が、モード判定処理を行う（ステップＳ１４）。このモード判定処理の詳細を、図１１により説明する。
【００５１】
まず、判断部３２は、ＩＣカード１５１がＩＣカード挿入口１０３に差し込まれているかを判定する（ステップＳ１４０２）。
【００５２】
ここで、ＩＣカード１５１が差し込まれていれば、判断部３２は、ＲＡＭ領域５０ｂの判断部プログラム領域（処理モード判別領域１４７にある）のデータの有無を調べる（ステップＳ１４０４）。ＲＡＭ領域の判断部プログラム領域のデータがなければ、判断部３２は、ＩＣカード挿入口１０３に挿入されているＩＣカード１５１の保持する情報（判断部プログラムと基本データ）を、ＲＡＭ領域５０ｂのＩＣカードデータ取り込み領域１４６に、ＩＣカード読み取り部５８を介してダウンロードする（ステップＳ１４０８）。
【００５３】
ダウンロードが正常に終了すると、ＲＡＭ領域５０ｂの所定の位置（処理モード判別領域１４７）にＩＣカードの記憶領域の先頭番地（処理モード名領域１５１１）に書き込まれているデータ（処理モード名データ）をコピーし、判断部プログラムの実行をＲＯＭ領域５０ａからＲＡＭ領域５０ｂへ移行して（ステップＳ１４１４）、処理をステップ１４１６に進める。
【００５４】
ステップＳ１４０８においてダウンロードが正常に終了しなかったときには、判断部３２は、ＲＡＭ領域の所定の位置（処理モード判別領域１４７）を初期化してクリア状態として（ステップＳ１４１２）、処理をステップ１４１６に進める。
【００５５】
ステップＳ１４０４において、ＲＡＭ領域５０ｂの判断部プログラム領域のデータがあれば、判断部３２は、モード切り換えスイッチ１０５示すモードと、ＲＡＭ領域５０ｂの所定の位置（処理モード判別領域１４７）に書き込まれているモードとが、一致しているかをチェックする（ステップＳ１４１８）。
【００５６】
ここで、判断部３２は、両モードが一致していれば、次の処理（ステップＳ１４１６）を行い、一致していないときには、ＩＣカード１５１の内容（判断部プログラムと基本データ）をＲＡＭ領域５０ｂのＩＣカードデータ取り込み領域１４６に、ＩＣカード読み取り部５８を介してダウンロードする（ステップＳ１４０８）。
【００５７】
また、ステップ１４０２においてＩＣカード１５１が差し込まれていないことが検出されると、判断部３２は、ＲＡＭ領域５０ｂの所定の位置（処理モード判別領域１４７）にＲＯＭ領域５０ａの所定の位置（処理モード名領域１４２）に書き込まれているデータ（処理モード名データ）をコピーし、判断部プログラムの実行をＲＯＭ領域５０ａへ移行して（ステップＳ１４０６）、処理をステップ１４１６に進める。
【００５８】
ステップ１４１６において、判断部３２は、モード切り換えスイッチ１０５の示すモードとＲＡＭ領域５０ｂの所定の位置（処理モード判別領域１４７）に書き込まれているモードとが一致しているかをチェックする（ステップＳ１４１６）。一致していなければ、判断部３２は、動作モニタランプ１１０を点滅させ（ステップＳ１４２６）、操作者に実行が不可であることを報知した後、実行モードを通常画像出力モードとする（ステップＳ１４２８）。
【００５９】
ステップＳ１４１６においてモードが一致していれば、判断部３２は、取り付け設定スイッチ１１２の状態をチェックする（ステップＳ１４２０）。取り付け設定スイッチ１１２がオンであれば、判断部３２は、選択したモードの取り付け設定処理を実行モードとし（ステップＳ１４２４）、その後、取り付け設定スイッチ１１２がオフに変われば、選択したモードを実行モードとする。また、取り付け設定スイッチ１１２がオフであれば、判断部３２は、選択したモードを実行モードとする（ステップＳ１４２２）。
【００６０】
以上によりモード判別処理（ステップＳ１４）が終了すると、判断部３２は、選択されたモードの処理を行った後（ステップＳ１６）、再び、処理を撮像データ取込処理（ステップＳ８）に戻し、ステップＳ８〜ステップＳ１６の処理を繰り返す。
【００６１】
なお、本実施例の画像処理装置が実行可能な処理モードには、車線認識モード、車線認識処理の取り付け設定モード、居眠り警報モード、居眠り警報の取り付け設定モード、荷重バランスモード、および鏡モードがある。つぎに、これらのモードの処理（ステップＳ１６）について説明する。
【００６２】
（４）各モードの処理
ａ．車線認識モード
車線認識モードを実現するための構成を、図６に示す。車線認識モードを実現するために、判断部３２は、エッジ判断部３２０６と、車線算出部３２０８と、車線推定部３２１２と、車両状態判断部３２０２と、危険度判断部３２０４と、理想レーン幅データ取込部３２１０とを備える。
【００６３】
エッジ判断部３２０６は、抽出処理回路３６より送られたエッジ座標データの種類（立ち上がり、立ち下がり、座標位置等）が、左車線エッジデータ、右車線エッジデータ、それ以外のエッジ点データであるか判断し、分別する回路である。そして、左右車線のエッジデータを車線算出部３２０８に、それ以外のエッジデータ（前方車エッジデータ）を危険度判断部３２０４に送信する。
【００６４】
車線算出部３２０８は、エッジ判断部３２０６より送信された左右車線エッジデータをもとに直線性判断を行い、各車線エッジデータに対する候補車線を算出する。
【００６５】
車線推定部３２１２は、理想レーン幅データ取込部３２１０より取り込んだメモリ５０の理想レーン幅データ５００２をもとに、車線算出部３２０６から送信された候補車線の中から認識すべき左右車線（認識車線）を推定し、危険度判断部３２０４に送信する。
【００６６】
車両状態判断部３２０２は、車両状態センサ５６からの信号により、自車両の走行状態を判断し、その判断結果を危険度判断部３２０４に送信する。
【００６７】
危険度判断部３２０４では、車線推定部３２１２より送信された左右の認識車線データで自車の走行レーンを認識し、エッジ判断部３２０６より送信された前方車エッジデータで前方車及び障害物等を認識し、車両状態判断部３２０２より送信されたデータで自車の走行状態を認識する。そして、それらの３要素を考慮し、自車の走行状態と走行可能な路面との関係より危険度を推定する。ここで、危険度が高いと推定した場合、音響装置５２を介して運転者に報知する。さらに、運転者の操作が不十分であった場合には、車両状態制御装置５４を介して危険を回避する。
【００６８】
メモリ５０は、車線を推定する場合に用いるデータを理想レーン幅データ５００２として記憶する。また、本装置を制御するデータと、道路色に相当するデータ（Ｙ、Ｒ−Ｙ、Ｂ−Ｙ）を制御データ５００４として予め記憶しておく。また、各回路で算出及び推定したデータを一時的に算出データ５００６として記憶する。理想レーン幅データ取込部３２１０は、メモリ５０に保持された理想レーン幅データ５００２を取り込む手段である。
【００６９】
次に、図７により車線認識処理の動作について説明する。
まず、抽出する色条件を決定する処理が行われる（ステップＳ１６０２）。この処理は、まず、抽出処理回路３６において、撮像画像中より特定（画面上の道路位置）画素の色データ（Ｙ、Ｒ−Ｙ、Ｂ−Ｙ）がサンプリングされ、次に、抽出色条件決定部３８が、そのデータとメモリ５０の制御データ部５００４に予め記憶してある道路色に相当するデータ（Ｙ、Ｒ−Ｙ、Ｂ−Ｙ）を用いて抽出色条件データを決定するという処理である。ここで決めた抽出色条件データは、
Ｙ（最小） ＜ Ｙ ＜ Ｙ（最大）
Ｒ−Ｙ（最小） ＜ Ｒ−Ｙ ＜ Ｒ−Ｙ（最大）
Ｂ−Ｙ（最小） ＜ Ｂ−Ｙ ＜ Ｂ−Ｙ（最大）
のように、幅を持ったデータであり、前方の道路色が当てはまるが、車線や前方車は当てはまらないように設定する。なお、本実施例では、サンプリングしたデータと予め設定しておいたデータをもとに抽出色条件データを決定したが、予め設定したデータのみを用いて（例えば、輝度条件に合わせて予め設定しておく等）抽出色条件データを決定することも可能である。
【００７０】
次に、抽出処理回路３６は、撮像画像に対して、抽出色条件決定部３８より送信された抽出色条件データに相当する画素を識別し、水平ライン上での、その画素に対する最初（立ち上がり）と最後（立ち下がり）の座標データ（エッジ座標データ）をエッジ判断部３２０６に送信する処理を行う（ステップＳ１６０４）。すなわち、道路領域（自車レーン）を挟むエッジ点を抽出する。
【００７１】
ここでの処理を詳細に説明する。図８に示すように、その抽出法は、撮像信号（Ｙ、Ｒ−Ｙ、Ｂ−Ｙ）の中に、抽出色条件データの範囲に属する色を有する１フレーム内の全ての画素を検出し、検出された画素をHigh「１」それ以外の画素をLow「０」とした２値化データを与える手法である。画素データがLow「０」からHigh「１」に、あるいはHigh「１」からLow「０」に変化する画素を１ライン毎に検索する（すなわち、Low「０」からHigh「１」への立ち上がりエッジと、High「１」からLow「０」への立ち下がりエッジを検出する。この様な画素が存在する場合、当該画素の位置をエッジ座標データとする。エッジ座標データによって、１ラインにおいて、抽出色条件データに当てはまる画素の存在が把握でき、エッジ座標データに挟まれた領域が道路領域となる。
【００７２】
次に、エッジ判断部３２０６は、抽出処理回路３６より送られたエッジ座標データに対して、左車線エッジデータ、右車線エッジデータ、それ以外のエッジ点データ（前方車エッジデータ）であるか判断し、分別する処理を行う（ステップＳ１６０６）。
【００７３】
この処理（ステップＳ１６０６）では、抽出処理回路３６より送られたエッジ座標データの特徴をもとにしてエッジデータが判定される。エッジ座標データは、立ち上がり、立ち下がりの情報と、各エッジの座標の情報で構成されている。一般に、道路色を抽出色条件データにすると、立ち上がりエッジが左車線エッジとなり、立ち下がりエッジが右車線エッジとなることが多い。しかしながら、前方道路領域に前方車及び障害物等が存在した場合、車線以外のエッジも車線エッジとして認識してしまう。そこで、画面中心線１８より左の立ち上がりエッジを左車線エッジデータ１４、右の立ち下がりエッジを右車線エッジデータ１６とし、それ以外のエッジを前方車エッジデータとして判別する。本実施例では、画面中心線１８を用いて判別したが、後に述べる左右認識車線の交点と、画面下部中心点２０とを結ぶラインを画面中心線１８の代わりに用いることも可能である。
【００７４】
以上によりエッジデータが判別されると、エッジ判断部３２０６は、左右車線のエッジデータ１４、１６を車線算出部３２０８に、前方車エッジデータを危険度判断部３２０４に、それぞれ送信する。
【００７５】
次に、車線算出部３２０８が、エッジ判断部３２０６より送信された左右車線エッジデータ１４、１６をもとに直線性判断を行い、各車線エッジデータに対する候補車線を算出する（ステップＳ１６０８）。
【００７６】
次に、車線推定部３２１２が、理想レーン幅データ取込部３２１０より取り込んだメモリ５０の理想レーン幅データ５００２をもとに、車線算出部３２０８から送信された候補車線の中から認識すべき左右車線（認識車線）を推定し、危険度判断部３２０４に送信する（ステップＳ１６１０）。
【００７７】
次に危険度推定処理（ステップＳ１６１２）では、車両状態センサ（車速センサ、フットブレーキ、方向指示器、ステア角センサ等）５６からの信号より自車両の走行状態（車速、減速度、車線変更意志、ステア操舵量等）を判断し、その判断結果と前述の車線推定部３２１２により認識された走行可能な路面と、エッジ判断部３２０６より送信された前方車エッジデータの関係から自車両に対する危険度（前方車との距離、相対速度、側方車の有無、自車両のふらつき等）を推定する。このステップＳ１６１２において、危険度が所定の値に達していなかった場合、危険度判断部３２０４は、処理を撮像データ取り込み処理（ステップＳ８）に戻す。
【００７８】
危険度判断部３２０４は、推定された危険度に応じて、警報処理を行う（ステップＳ１６１４）。この警報処理において、危険度判断部３２０４は、推定された危険度を音響装置（例えば、音声、警報音等）５２や処理結果モニタランプ４０等を用いて自車の運転者に報知する。例えば、危険度が大きいほど警報音を大きくしたり、危険度に応じて定められた内容のメッセージを音声出力したりすることにより、運転者に危険度を認識させることができる。このステップＳ１６１４において、警報処理後に、運転者が適切な操作を行ったことを、車両状態センサ５６および車両状態判断部３２０２を介して検出すると、危険度判断部３２０４は、処理を撮像データ取り込み処理（ステップＳ８）に戻す。
【００７９】
運転者が適切な操作を所定時間内に行わなければ、危険度判断部３２０４は、推定された危険度に応じて、危険回避処理を行い（ステップＳ１６１６）、撮像データ取り込み処理（ステップＳ８）に戻す。この危険回避処理において、危険度判断部３２０４は、車両運動制御装置５４の制御特性を変えたり、あるいは自動動作させる（例えば、制動をかける）ことにより、危険を回避する。
【００８０】
ｂ．車線認識処理の取り付け設定モード
つぎに、車線認識処理の取り付け設定モードについて説明する。このモードは、車線認識モードの実行のための、撮像系の位置および角度の調整を行う際に、適切な位置および角度になるように操作者を誘導するモードである。
【００８１】
車線認識処理の取り付け設定モードを実現するための判断部３２の構成を、図１２に示す。車線認識処理の取り付け設定モードを実現するために、判断部３２は、エッジ判断部３２０６と、車線算出部３２０８と、車線推定部３２１２と、理想レーン幅データ取込部３２１０と、車線認識設定位置判断部３２１４とを、備える。
【００８２】
エッジ判断部３２０６は、抽出処理回路３６より送られたエッジ座標データの種類（立ち上がり、立ち下がり、座標位置等）が、左車線エッジデータ、右車線エッジデータ、それ以外のエッジ点データであるか判断し、分別する回路である。そして、左右車線のエッジデータを車線算出部３２０８に、それ以外のエッジデータ（前方車エッジデータ）を危険度判断部３２０４に送信する。
【００８３】
車線算出部３２０８は、エッジ判断部３２０６より送信された左右車線エッジデータをもとに直線性判断を行い、各車線エッジデータに対する候補車線を算出する。
【００８４】
車線推定部３２１２は、理想レーン幅データ取込部３２１０より取り込んだメモリ５０の理想レーン幅データ５００２をもとに、車線算出部３２０８から送信された候補車線の中から認識すべき左右車線（認識車線）を推定し、車線認識設定位置判断部３２１４に送信する。
【００８５】
車線認識設定位置判断部３２１４では、車線推定部３２１２より送信された左右の認識車線と撮像画面の最下部の水平ラインとの交点を求める。そして、求めた交点が撮像画面の最下部の水平ライン上のどの位置にあるかで設定度合いを推定し、音響装置５２を介して運転者に報知する。
【００８６】
メモリ５０は、車線を推定する場合に用いるデータを理想レーン幅データ５００２として記憶する。また、本装置を制御するデータと、道路色に相当するデータ（Ｙ、Ｒ−Ｙ、Ｂ−Ｙ）を制御データ５００４として予め記憶しておく。また、各回路で算出及び推定したデータを一時的に算出データ５００６として記憶する。理想レーン幅データ取込部３２１０は、メモリ５０に保持された理想レーン幅データ５００２を取り込む手段である。
【００８７】
次に、車線認識処理の取り付け設定モードの処理を、図１３を用いて説明する。
まず、抽出する色条件を決定する処理が行われる（ステップＳ１６０２）。この処理は、まず、抽出処理回路３６において、撮像画像中より特定（画面上の道路位置）画素の色データ（Ｙ、Ｒ−Ｙ、Ｂ−Ｙ）がサンプリングされ、次に、抽出条件決定部３８が、そのデータと、メモリ５０の制御データ部５００４に予め記憶してある道路色に相当するデータ（Ｙ、Ｒ−Ｙ、Ｂ−Ｙ）とを用いて抽出色条件データを決定する処理である。ここで決めた抽出色条件データは、
Ｙ（最小） ＜ Ｙ ＜ Ｙ（最大）
Ｒ−Ｙ（最小）＜Ｒ−Ｙ＜Ｒ−Ｙ（最大）
Ｂ−Ｙ（最小）＜Ｂ−Ｙ＜Ｂ−Ｙ（最大）
のように、幅を持ったデータであり、前方の道路色が当てはまるが、車線や前方車は当てはまらないように設定する。なお、本実施例では、サンプリングしたデータと予め設定しておいたデータをもとに抽出色条件データを決定したが、予め設定したデータのみを用いて（例えば、輝度条件に合わせて予め設定しておく等）抽出色条件データを決定することも可能である。
【００８８】
次に、抽出処理回路３６は、撮像画像に対して、抽出条件決定部３８より送信された抽出色条件データに相当する画素を識別し、水平ライン上での、その画素に対する最初（立ち上がり）と最後（立ち下がり）の座標データ（エッジ座標データ）を抽出して（すなわち、道路領域（自車レーン）を挟むエッジ点を抽出して）、エッジ判断部３２０６に送信する（ステップＳ１６０４）。
【００８９】
エッジ座標データの通知を受けたエッジ判断部３２０６は、抽出処理回路３６より送られたエッジ座標データに対して、左車線エッジデータ、右車線エッジデータ、それ以外のエッジ点データ（前方車エッジデータ）のいずれであるか判断し、分別する処理を行う（ステップＳ１６０６）。
【００９０】
この処理（ステップＳ１６０６）では、抽出処理回路３６より送られたエッジ座標データの特徴をもとにしてエッジデータを判定し、左右車線のエッジデータ８１４、８１６を車線算出部３２０８に送信する。エッジ座標データは、立ち上がり、立ち下がりの情報と、各エッジの座標の情報で構成されている。一般的に、道路色を抽出色条件データにすると、立ち上がりエッジが左車線エッジとなり、立ち下がりエッジが右車線エッジとなることが多い。しかしながら、前方道路領域に前方車及び障害物等が存在した場合、車線以外のエッジも車線エッジとして認識してしまう。そこで図８に示すように画面中心線８１８より左の立ち上がりエッジを左車線エッジデータ８１４、右の立ち下がりエッジを右車線エッジデータ８１６とし、それ以外のエッジを前方車エッジデータとして判別する。
【００９１】
エッジデータの通知を受けた車線算出部３２０８は、エッジ判断部３２０６より送信された左右車線エッジデータ８１４、８１６をもとに直線性判断を行い、各車線エッジデータに対する候補車線を算出する（ステップＳ１６０８）。
【００９２】
次に、車線推定部３２１２は、理想レーン幅データ取込部３２１０より取り込んだメモリ５０の理想レーン幅データ５００２をもとに、車線算出部３２０８から送信された候補車線の中から認識すべき左右車線（認識車線）を推定し、設定位置判断部３２１４に送信する（ステップＳ１６１０）。
【００９３】
つぎに、設定位置判断部３２１４は、前述の車線推定部３２１２により認識された左右車線と撮像画面の最下部の水平ラインとの交点を求め、その交点が撮像画面の最下部の水平ライン上のどの位置にあるかで設定度合いを推定する設定位置推定処理（ステップＳ１６２２）を行う。
【００９４】
さらに、設定位置判断部３２１４は、車線認識設定位置判断部３２１４で推定された設定度合いに応じて、音響装置５２から音声、警報音等を出す報知処理（ステップＳ１６２４）を行い、処理を撮像データ取込処理（ステップＳ８）に戻す。この報知処理により、自車の運転者に設定度合いが報知される。
【００９５】
ｃ．居眠り警報モード
つぎに、居眠り警報モードについて説明する。居眠り警報モードの実現のための判断部３２の構成を、図１４に示す。居眠り警報モードの実現のために、判断部３２は、顔位置判断部３２１６と、目判断部３２１８と、車両状態判断部３２０２と、覚醒度判断部３２２０とを備える。
【００９６】
顔位置判断部３２１６は、抽出処理回路３６より送られた抽出座標データが、運転者の顔のデータであるか判断し、分別する回路である。そして、運転者の顔の抽出座標データを目判断部３２１８と抽出条件決定部３８と覚醒度判断部３２２０に送信する。
【００９７】
目判断部３２１８は、顔位置判断部３２１６より送信された運転者の顔のデータをもとに、抽出処理回路３６から送信されたエッジデータより運転者の目の開度を推定し、覚醒度判断部３２２０に送信する。
【００９８】
車両状態判断部３２０２は、車両状態センサ５６からの信号により、自車両の走行状態を判断し、その判断結果を覚醒度判断部３２２０に送信する。
【００９９】
覚醒度判断部３２２０では、顔位置判断部３２１６より送信された顔データで頭の動きを認識し、目判断部３２１８より送信された目の開度で運転者の瞬きを認識し、車両状態判断部３２０２より送信されたデータで自車の走行状態を認識する。そして、それらの３要素を考慮し、運転者の覚醒度を推定する。ここで、覚醒度が低いと推定した場合、音響装置５２を介して運転者に報知する。さらに、運転者の覚醒度に変化がない場合には、車両状態制御装置５４（例えば、エアコン等）を介して車室内の温度を下げる。
【０１００】
メモリ５０は、覚醒度を推定する場合に用いるデータを推定データ５００８として予め記憶しておく。また、本装置を制御するデータと、顔と頭髪の色に相当するデータ（Ｙ、Ｒ−Ｙ、Ｂ−Ｙ）を制御データ５００４として予め記憶しておく。また、各回路で算出及び推定したデータを一時的に算出データ５００６として記憶する。
【０１０１】
次に、居眠り警報処理の処理手順を図１５に示す。まず、抽出する色条件を決定する処理が行われる（ステップＳ１６０２）。この処理は、まず、抽出処理回路３６において、撮像画像中より特定（画面上の顔、頭髪位置）画素の色データ（Ｙ、Ｒ−Ｙ、Ｂ−Ｙ）がサンプリングされ、次に、抽出条件決定部３８が、そのデータとメモリ５０の制御データ部５００４に予め記憶してある顔と頭髪の色に相当するデータ（Ｙ、Ｒ−Ｙ、Ｂ−Ｙ）を用いて抽出色条件データを決定する処理である。ここで決めた抽出色条件データは、
Ｙ（顔最小） ＜ Ｙ ＜ Ｙ（顔最大）
Ｒ−Ｙ（顔最小）＜Ｒ−Ｙ＜Ｒ−Ｙ（顔最大）
Ｂ−Ｙ（顔最小）＜Ｂ−Ｙ＜Ｂ−Ｙ（顔最大）
Ｙ（頭髪最小） ＜ Ｙ ＜ Ｙ（頭髪最大）
Ｒ−Ｙ（頭髪最小）＜Ｒ−Ｙ＜Ｒ−Ｙ（頭髪最大）
Ｂ−Ｙ（頭髪最小）＜Ｂ−Ｙ＜Ｂ−Ｙ（頭髪最大）
のように、幅を持った２種類のデータであり、このデータの内少なくとも一方を満たすか満たさないかで二値化を行うための条件である。すなわち、顔や頭髪の色は当てはまるが、シートや服等の色は当てはまらないように設定する。なお、本実施例では、サンプリングしたデータと予め設定しておいたデータをもとに抽出色条件データを決定したが、予め設定したデータのみを用いて（例えば、輝度条件に合わせて予め設定しておく等）抽出色条件データを決定することも可能である。
【０１０２】
次に、抽出処理回路３６は、撮像画像に対して、抽出条件決定部３８より送信された抽出色条件データに相当する画素を識別し、水平ライン上での、その画素に対する最初（立ち上がり）と最後（立ち下がり）の座標データ（エッジ座標データ）を目判断部３２１８に送信する処理を行う（ステップＳ１６０４）。さらに、抽出処理回路３６は、抽出色条件データに相当する画素の集まりに対して撮像画面上における外接四角形の位置と大きさ（抽出座標データ）を求め、顔位置判断部３２１４に送信する処理を行う（ステップＳ１６３２）。
【０１０３】
データを受信した顔位置判断部３２１６は、抽出処理回路３６より送信された複数の抽出座標データから、運転者の頭部の位置を算出し、その位置データを目判断部３２１８、抽出条件決定部３８、覚醒度判断部３２２０にそれぞれ送信する（ステップＳ１６３４）。
【０１０４】
データの送信を受けた目判断部３２１８は、顔位置判断部３２１６より送信された位置データより、抽出処理回路３６からの複数のエッジ座標データから目の位置と開度を推定し、目の開度を覚醒度判断部３２２０に送信する（ステップＳ１６３６）。
【０１０５】
次に、覚醒度判断部３２２０は、顔位置判断部３２１６より送信された運転者の頭部の位置データより、頭部の動きを認識し、さらに、目判断部３２１８より送信された目の開度とにより、運転者の覚醒度を推定する（ステップＳ１６３８）。
【０１０６】
ステップ１６３８において推定された覚醒度が所定の値より低い場合、覚醒度判断部３２２０は、車両状態制御装置５４（例えば、シート駆動装置、ステア振動装置等）を介して運転者を覚醒させ（ステップＳ１６４０）、運転者の覚醒度が再度低くなった場合には、覚醒度に応じて、車両状態制御装置５４（例えば、エアコン等）を介して車室内の温度を下げ、あるいは、音響装置５２を介して運転者に休憩をとるよう報知する（ステップＳ１６４０）。
【０１０７】
ｄ．居眠り警報の取り付け設定モード
第四のモードとして居眠り警報の取り付け設定モードについて説明する。このモードは、居眠り警報モードの実行のための、撮像系の位置および角度の調整を行う際に、適切な位置および角度になるように操作者を誘導するモードである。
【０１０８】
居眠り警報モードでは、図１６に示すように、運転者の顔が表示画面のほぼ中央位置にくるように、そして、表示画面に映る顔の大きさが表示画面の２／３程度の大きさになるように設定することが望まれる。そこで、居眠り警報モードの実行に際しては、表示画面の中央付近に表示画面の２／３の大きさの設定目標枠をもうけて運転者の顔がこの枠内におさまるように、あらかじめ撮像系を設定しておく必要がある。居眠り警報の取り付け設定モードでは、撮像系の位置および角度の設定時に、設定目標枠と運転者の顔の位置関係を表示器に表示して操作者に知らせるとともに、発信音により顔が枠内に納まっているか否かを通知する。本実施例では、図１６に示すように顔が枠内に納まっている場合には、長い発信音”ピー”を発生させ、図１７のように顔が枠内に納まっていない場合には、短い発信音”ピッピッピッ”を発生させることにより、撮像系の設定を支援する。
【０１０９】
居眠り警報の取り付け設定モードの実現のための、判断部３２の構成を図１８に示す。居眠り警報の取り付け設定モードの実現のために、判断部３２は、顔位置判断部３２１６と、居眠り警報取付位置判断部３２２２とを備える。
【０１１０】
顔位置判断部３２１６は、抽出処理回路３６より送られた抽出座標データが、運転者の顔のデータであるか判断し、分別する回路である。そして、運転者の顔の抽出座標データを抽出条件決定部３８と居眠り警報取付位置判断部３２２２に送信する。
【０１１１】
居眠り警報取付位置判断部３２２２では、顔位置判断部３２１６より送信された顔データで運転者の頭が撮像画面にどのように写っているかを認識し、取り付け設定度合いを推定する。ここで、設定度合いが低いと推定した場合、音響装置５２を介して運転者に報知する。
【０１１２】
メモリ５０は、設定度合いを推定する場合に用いるデータを設定データ５０１０として予め記憶しておく。また、本装置を制御するデータと、顔と頭髪の色に相当するデータ（Ｙ、Ｒ−Ｙ、Ｂ−Ｙ）を制御データ５００４として予め記憶しておく。また、各回路で算出及び推定したデータを一時的に算出データ５００６として記憶する。
【０１１３】
つぎに、居眠り警報の取り付け設定モードの処理の流れを、図１９を用いて説明する。
【０１１４】
まず、抽出する色条件を決定する処理が行われる（ステップＳ１６０２）。この処理は、まず、抽出処理回路３６において、撮像画像中より特定（画面上の顔、頭髪位置）画素の色データ（Ｙ、Ｒ−Ｙ、Ｂ−Ｙ）がサンプリングされ、次に、抽出条件決定部３８が、そのデータとメモリ５０の制御データ部５００４に予め記憶してある顔と頭髪の色に相当するデータ（Ｙ、Ｒ−Ｙ、Ｂ−Ｙ）を用いて抽出色条件データを決定する処理である。ここで決めた抽出色条件データは、
Ｙ（顔最小） ＜ Ｙ ＜ Ｙ（顔最大）
Ｒ−Ｙ（顔最小）＜Ｒ−Ｙ＜Ｒ−Ｙ（顔最大）
Ｂ−Ｙ（顔最小）＜Ｂ−Ｙ＜Ｂ−Ｙ（顔最大）
Ｙ（頭髪最小） ＜ Ｙ ＜ Ｙ（頭髪最大）
Ｒ−Ｙ（頭髪最小）＜Ｒ−Ｙ＜Ｒ−Ｙ（頭髪最大）
Ｂ−Ｙ（頭髪最小）＜Ｂ−Ｙ＜Ｂ−Ｙ（頭髪最大）
のように、幅を持った２種類のデータであり、このデータの内少なくとも一方を満たすか満たさないかで二値化を行うための条件である。すなわち、顔や頭髪の色は当てはまるが、シートや服等の色は当てはまらないように設定する。なお、本実施例では、サンプリングしたデータと予め設定しておいたデータをもとに抽出色条件データを決定したが、予め設定したデータのみを用いて（例えば、輝度条件に合わせて予め設定しておく等）抽出色条件データを決定することも可能である。
【０１１５】
次に、抽出処理回路３６は、撮像された画像データに対して、抽出条件決定部３８より送信された抽出色条件データに相当する画素を識別し、水平ライン上での、その画素に対する最初（立ち上がり）と最後（立ち下がり）の座標データ（エッジ座標データ）を求め（ステップＳ１６０４）、抽出色条件データに相当する画素の集まりに対して撮像画面上における外接四角形の位置と大きさ（抽出座標データ）を求めて、居眠り警報取付位置設定判断部３２２２に送信する（ステップＳ１６３２）。
【０１１６】
次に、顔位置判断部３２１６は、抽出処理回路３８より送信された複数の抽出座標データから運転者の頭部の位置を算出し、その位置データを居眠り警報取付設定位置判断部３２２２に送信する処理を行う（ステップＳ１６３４）。
【０１１７】
送信を受けた居眠り警報取付設定位置判断部３２２２は、顔位置判断部３２１６より送信された位置データより、設定度合いを算出し（ステップＳ１６４２）、算出された設定度合いにより、音響装置５２を用いて設定者に報知する（ステップＳ１６４４）。
【０１１８】
ｅ．荷重バランスモード
つぎに、荷重バランスモードについて説明する。本実施例では、荷重バランスモードは、乗員の配置バランスを検出するモードであるが、抽出色条件データを変えることにより、貨物の配置バランスについても適用可能である。また、色と重さに対応関係がある場合には、該対応関係をあらかじめメモリ５０に保持しておき、配置に加えて、各貨物の重さを考慮した荷重バランスを求めるようにしてもよい。
【０１１９】
この荷重バランスモードでは、撮像画面には、運転席、助手席、後部座席が撮像されるように設定されていることが望まれる。このときの設定目標枠は、図２０の位置に設定されており、このモードを実行する場合には、運転者の顔がこの枠内におさまるようにあらかじめ撮像系の位置および角度を設定しておく必要がある。
【０１２０】
この荷重バランスモードでは、撮像画像中の人の顔を抽出して、乗員配置を求め、図２１に示すように乗員配置位置を表示し、さらに、車両運動制御装置５４にこのデータを送信して、乗員位置のアンバランスに対する制御を行う。車両運動制御装置５４には、サスペンションシステム、エアコン、エアバック等を用いることができる。本実施例では、車両運動制御装置５４としてエアコンおよびサスペンションシステムを用い、乗員の配置に応じてエアコンの風向、風量を制御し、さらに、乗員位置のバランスに応じてサスペンションの制御状態を変更する。なお、図２１では、サスペンションの制御状態を三角表示の塗りつぶし濃度で表している。
【０１２１】
この荷重バランスモードを実現するための、判断部３２の構成を図２２に示す。荷重バランスモードを実現するため、判断部３２は、顔位置判断部３２１６と、荷重バランス判断部３２２４とを備える。
【０１２２】
顔位置判断部３２１６は、抽出処理回路３６より送られた抽出座標データが、運転者および同乗者の顔のデータであるか判断し、分別して、運転者および同乗者の顔の抽出座標データを抽出条件決定部３８と荷重バランス判断部３２２４に送信する。
【０１２３】
荷重バランス判断部３２２４は、顔位置判断部３２１６より送信された顔データで頭の位置と個数を認識し、頭の位置により子供か大人であるのかを推測する。そして、これらのデータを車両状態制御装置５４（例えば、エアコン等）に送信して人がいるところの空間を適正な状態とする。
【０１２４】
メモリ５０は、荷重バランスを推定する場合に用いるデータを推定データ５０１２として予め記憶しておく。また、本装置を制御するデータと、顔と頭髪の色に相当するデータ（Ｙ、Ｒ−Ｙ、Ｂ−Ｙ）を制御データ５００４として予め記憶しておく。また、各回路で算出及び推定したデータを一時的に算出データ５００６として記憶する。
【０１２５】
この荷重バランスモードの処理の流れを図２３を用いて説明する。
まず、抽出する色条件を決定する処理が行われる（ステップＳ１６０２）。この処理は、抽出処理回路３６において、撮像画像中より特定（画面上の顔、頭髪位置）画素の色データ（Ｙ、Ｒ−Ｙ、Ｂ−Ｙ）がサンプリングされ、次に、抽出条件決定部３８は、そのデータとメモリ５０の制御データ部５００４に予め記憶してある顔と頭髪の色に相当するデータ（Ｙ、Ｒ−Ｙ、Ｂ−Ｙ）を用いて抽出色条件データを決定する処理である。ここで決めた抽出色条件データは、
Ｙ（顔最小） ＜ Ｙ ＜ Ｙ（顔最大）
Ｒ−Ｙ（顔最小）＜Ｒ−Ｙ＜Ｒ−Ｙ（顔最大）
Ｂ−Ｙ（顔最小）＜Ｂ−Ｙ＜Ｂ−Ｙ（顔最大）
Ｙ（頭髪最小） ＜ Ｙ ＜ Ｙ（頭髪最大）
Ｒ−Ｙ（頭髪最小）＜Ｒ−Ｙ＜Ｒ−Ｙ（頭髪最大）
Ｂ−Ｙ（頭髪最小）＜Ｂ−Ｙ＜Ｂ−Ｙ（頭髪最大）
のように、幅を持った２種類のデータであり、このデータの内少なくとも一方を満たすか満たさないかで二値化を行うための条件である。すなわち、顔や頭髪の色は当てはまるが、シートや服等の色は当てはまらないように設定する。なお、本実施例では、サンプリングしたデータと予め設定しておいたデータをもとに抽出色条件データを決定したが、予め設定したデータのみを用いて（例えば、輝度条件に合わせて予め設定しておく等）抽出色条件データを決定することも可能である。
【０１２６】
次に、抽出処理回路３６は、撮像画像に対して、抽出条件決定部３８より送信された抽出色条件データに相当する画素を識別し、水平ライン上での、その画素に対する最初（立ち上がり）と最後（立ち下がり）の座標データ（エッジ座標データ）を求める処理を行い（ステップＳ１６０４）、抽出色条件データに相当する画素の集まりに対して撮像画面上における外接四角形の位置と大きさ（抽出座標データ）を求め、顔位置判断部３２１６に送信する処理を行う（ステップＳ１６３２）。
【０１２７】
抽出座標データを受信した顔位置判断部３２１６は、抽出処理回路３６より送信された複数の抽出座標データから運転者及び同乗者の頭部の位置を算出し、その位置データを荷重バランス判断部３２２４に送信する（ステップＳ１６３４）。
【０１２８】
これを受信した荷重バランス判断部３２２４は、顔位置判断部３２１６より送信された位置データより、運転者及び同乗者の人数と重量とを推定し（ステップＳ１６５６）、推定した人数と重量とを、表示器３０２の表示画面に表示して（ステップＳ１６５８）、荷重バランスが所定の範囲であれば、処理を撮像データ取込処理（ステップＳ８）に戻す。
【０１２９】
荷重バランスが所定の範囲内になければ、荷重バランス判断部３２２４は、推定した人数と重量とを車両運動制御装置５４に送信して（ステップＳ１６６０）、処理を撮像データ取込処理（ステップＳ８）に戻す。この推定した人数と重量との通知を受けた車両運動制御装置５４は、バランスに応じてあらかじめ定められた制御処理（例えば、サスペンションの制御状態を変更する処理）を行う。
【０１３０】
ｆ．鏡モード
つぎに、鏡モードについて説明する。鏡モードは、乗員の顔を表示器３０２の表示画面に表示するモードである。本実施例では、図３に示すようにサンバイザ１１１に鏡３０４と表示画面３０２とが並べて備えられている。そこで、表示器３０２に乗員の横顔を表示すれば、鏡３０４には正面の顔が写るので、正面の顔と横顔とを同時に見ることができ、特に助手席での女性の化粧直し等の便宜を図ることができる。本実施例の画像表示装置は、撮像系を動かすことなく、常に人の顔が表示画面中央部に大きく出力されるように抽出処理を行う。
【０１３１】
鏡モードを実現するための、判断部３２の構成を図２４に示す。鏡モードを実現するため、判断部３２は、顔位置判断部３２１６を備える。この顔位置判断部３２１６は、抽出処理回路３６より送られた抽出座標データが、運転者の顔のデータであるか判断し、分別し、運転者の顔の抽出座標データを抽出条件決定部３８に送信する手段である。これを受けた抽出条件決定部３８は、顔位置判断部３２１６より送信された顔データで頭の動きを認識し、撮像画面をずらして顔が表示画面中央にくるように表示する。
【０１３２】
メモリ５０は、頭の動きを推定する場合に用いるデータを推定データ５０１４として予め記憶しておく。また、本装置を制御するデータと、顔と頭髪の色に相当するデータ（Ｙ、Ｒ−Ｙ、Ｂ−Ｙ）を制御データ５００４として予め記憶しておく。また、各回路で算出及び推定したデータを一時的に算出データ５００６として記憶する。
【０１３３】
鏡モードの処理の流れを、図２５に示す。まず、抽出する色条件を決定する処理を行が行われる（ステップＳ１６０２）。この処理は、まず、抽出処理回路３６において、撮像画像中より特定（画面上の顔、頭髪位置）画素の色データ（Ｙ、Ｒ−Ｙ、Ｂ−Ｙ）がサンプリングされ、次に、抽出条件決定部３８が、そのデータとメモリ５０の制御データ部５００４に予め記憶してある顔と頭髪の色に相当するデータ（Ｙ、Ｒ−Ｙ、Ｂ−Ｙ）を用いて抽出色条件データを決定する処理である。ここで決めた抽出色条件データは、
Ｙ（顔最小） ＜ Ｙ ＜ Ｙ（顔最大）
Ｒ−Ｙ（顔最小）＜Ｒ−Ｙ＜Ｒ−Ｙ（顔最大）
Ｂ−Ｙ（顔最小）＜Ｂ−Ｙ＜Ｂ−Ｙ（顔最大）
Ｙ（頭髪最小） ＜ Ｙ ＜ Ｙ（頭髪最大）
Ｒ−Ｙ（頭髪最小）＜Ｒ−Ｙ＜Ｒ−Ｙ（頭髪最大）
Ｂ−Ｙ（頭髪最小）＜Ｂ−Ｙ＜Ｂ−Ｙ（頭髪最大）
のように、幅を持った２種類のデータであり、このデータの内少なくとも一方を満たすか満たさないかで二値化を行うための条件である。すなわち、顔や頭髪の色は当てはまるが、シートや服等の色は当てはまらないように設定する。なお、本実施例では、サンプリングしたデータと予め設定しておいたデータをもとに抽出色条件データを決定したが、予め設定したデータのみを用いて（例えば、輝度条件に合わせて予め設定しておく等）抽出色条件データを決定することも可能である。
【０１３４】
次に、抽出処理回路３６は、撮像画像に対して、抽出条件決定部３８より送信された抽出色条件データに相当する画素を識別し、水平ライン上での、その画素に対する最初（立ち上がり）と最後（立ち下がり）の座標データ（エッジ座標データ）を求める処理を行う（ステップＳ１６０４）。次に、抽出処理回路３６は、抽出色条件データに相当する画素の集まりに対して撮像画面上における外接四角形の位置と大きさ（抽出座標データ）を求め、顔位置判断部３２１６に送信する処理を行う（ステップＳ１６３２）。
【０１３５】
この送信を受けた顔位置判断部３２１６は、抽出処理回路３６より送信された複数の抽出座標データから運転者の頭部の位置を算出し、その位置データを抽出条件決定部３８に送信する処理を行う（ステップＳ１６３４）。
【０１３６】
次に、位置データを受信した抽出条件決定部３８は、顔位置判断部３２１６より送信された位置データより、頭の動きを推定して、頭が表示画面において、中央に大きく写るように倍率と表示画面をずらす量を決め（ステップＳ１６７２）、撮像部２４において抽出条件決定部３８より送信されたデータに基づき、ズームや撮像範囲を移動させて（ステップＳ１６７４）、処理を撮像データ取込処理（ステップＳ８）に戻す。
【０１３７】
【発明の効果】
本発明によれば、一つの画像処理装置で複数の処理モードを実行することができるので、コンパクトかつ安価な画像処理装置が提供される。
【図面の簡単な説明】
【図１】 実施例の画像処理装置を示す外観図である。
【図２】 本発明の画像処理装置の例を示す外観図である。
【図３】 実施例の表示器を示す外観図である。
【図４】 実施例の画像処理装置のシステム構成図である。
【図５】 実施例の画像処理装置の処理の流れを示すフローチャートである。
【図６】 車線認識モードのためのシステム構成を示すシステム構成図である。
【図７】 車線認識処理の流れを示すフローチャートである。
【図８】 エッジ判別処理例を表す説明図である。
【図９】 メモリの内容を示すデータ構造図である。
【図１０】 ＩＣカードの内容を示すデータ構造図である。
【図１１】 モード判別処理の流れを示すフローチャートである。
【図１２】 車線認識取付設定モードのためのシステム構成を示すシステム構成図である。
【図１３】 車線認識取付設定処理の流れを示すフローチャートである。
【図１４】 居眠り警報モードのためのシステム構成を示すシステム構成図である。
【図１５】 居眠り警報処理の流れを示すフローチャートである。
【図１６】 居眠り警報モードでの正常取付設定時の撮像画面を示す説明図である。
【図１７】 居眠り警報モードでのずれた取付設定時の撮像画面を示す説明図である。
【図１８】 居眠り警報取付設定モードのためのシステム構成を示すシステム構成図である。
【図１９】 居眠り警報取付設定処理の流れを示すフローチャートである。
【図２０】 荷重バランス制御モード時の撮像範囲の一例を示す説明図である。
【図２１】 荷重バランスの制御状態を示す表示画面の説明図である。
【図２２】 荷重バランスモードのためのシステム構成を示すシステム構成図である。
【図２３】 荷重バランス処理の流れを示すフローチャートである。
【図２４】 鏡モードのためのシステム構成を示すシステム構成図である。
【図２５】 鏡処理の流れを示すフローチャートである。
【符号の説明】
２４…撮像部、２８…処理部、３０…画像処理部、３２…判断部、３６…抽出処理回路、３２０６…エッジ判断部、３２０８…車線算出部、３２１２…車線推定部、３２０４…危険度判断部、１０１…アタッチメント、１０２…自在継ぎ手、１０３…ＩＣカード、３０２…表示器、１０５…モード切り換えスイッチ、１１２…取付設定スイッチ、５０…メモリ、３８…抽出条件決定部、４２…動作モニタランプ、４０…処理結果モニタランプ、５２…設定目標枠。

Claims (8)

1. 外部からの処理モードの選択を受け付ける処理モード選択手段と、
   車両の車室内および車外の少なくとも一方を撮像して撮像データを取得する撮像装置と、
   上記処理モードの選択に応じて上記撮像手段の撮像条件を選択する抽出条件決定手段とを備え、
   上記撮像手段は、所定の抽出色条件に相当する画像を識別する抽出処理手段を有し、
   上記抽出条件決定手段は、上記処理モード選択手段が、居眠り警告モード、荷重バランスモード及び鏡モードのいずれかの選択を受け付けると、運転者の顔の色に相当するデータに所定の幅を付加した条件と、運転者の頭髪の色に相当するデータに所定の幅を付加した条件とを抽出色条件として決定することを特徴とする車載用画像処理装置。
2. 上記撮像手段は、上記撮像データを取得する倍率を変えるズーム調整部を有し、
   上記抽出条件決定手段は、選択された上記処理モードに応じて、上記ズーム調整部を調整することを特徴とする請求項１記載の車載用画像処理装置。
3. 上記撮像手段は、上記撮像データを取得する画像の明るさを調整するアイリス調整部を有し、
   上記抽出条件決定手段は、選択された上記処理モードに応じて、上記アイリス調整部を制御することを特徴とする請求項１記載の車載用画像処理装置。
4. 上記撮像手段は、
   上記撮像データをアナログ画像信号に変換する手段と、
   上記アナログ画像信号をデジタル画像信号に変換する手段と、
   上記デジタル画像信号を輝度信号および色差信号に変換する色差変換手段とを有し、
   上記抽出条件決定手段は、選択された上記処理モードに応じて、上記色差変換手段の色強調ゲインを変化させることを特徴とする請求項１記載の車載用画像処理装置。
5. 上記処理モード選択手段が車線認識モードの選択を受け付けると、上記抽出条件決定手段は、前方の道路色に相当するデータに所定の幅を付加した条件を、上記抽出色条件として決定することを特徴とする請求項１記載の車載用画像処理装置。
6. 裏から入射した光は透過し、表から入射した光は反射するハーフミラーと、
   上記ハーフミラーの裏に設置されている表示画面とを備えることを特徴とする請求項１記載の車載用画像処理装置。
7. 記憶媒体に保持された情報を読み取る記憶媒体読み取り手段を、さらに備え、
   上記処理モード選択手段は、上記記憶媒体読み取り手段により読み取られた情報に応じて、上記処理モードを選択する手段を備えることを特徴とする請求項１記載の車載用画像処理装置。
8. 上記処理モード選択手段は、モード切り替えスイッチを備える操作パネルを有することを特徴とする請求項１記載の車載用画像処理装置。

Images