JP4372804B2 - 画像処理装置 - Google Patents

Description

本発明は、画像処理装置に関する。

特許文献１には、ステレオカメラで撮影されたユーザの顔画像に対して、顔探索、顔トラッキング、まばたき検出、及び視線方向検出の一連の処理を行うことにより、リアルタイムでユーザの顔向きや視線方向を検出する顔・視線認識装置が開示されている。この顔・視線認識装置では、高速な画像処理を実現するため、無駄な演算時間を発生させるエラーの低減が図られている。
特開２００３−１５８１６号公報

ここで、画像処理の出力結果にリアルタイム性が要求されるシステム（例えば、プリクラッシュセーフティシステム等）では、所定時間内に一連の処理が終了する必要がある。しかし、エラーが発生していない状態であっても、画像処理における各処理の処理時間は、一定ではなく、条件分岐の状態や他の割り込み処理（特に多重割り込み）等によって変化する（図８参照）。一方、それぞれの処理の重要度や処理に対する要求精度等は、処理毎に異なっている場合も多い。そのため、すべての処理を一律に実行することは、リアルタイム性や要求精度などの観点からも、効率的とは言い難い。

本発明は、上記問題点を解消する為になされたものであり、複数の処理からなる一連の画像処理をより効率的に実行することが可能な画像処理装置を提供することを目的とする。

本発明に係る画像処理装置は、撮像手段により撮像された画像に対して複数の処理を実行することにより、基本周期毎に一連の画像処理を行う画像処理装置において、一連の画像処理を行う基本周期を複数の単位周期に分割し、複数の処理に含まれる各処理の優先度に応じて、複数の処理の中から、基本周期の一周期を構成する複数の単位周期毎に実行される処理の組み合わせを設定する処理設定手段と、処理設定手段により設定された組み合わせにしたがって、処理を実行する処理手段と、を備え、実行される順序及び処理の組み合わせを示すカウンタ値が単位周期毎に設定され、処理手段は、優先度及びカウンタ値に応じた単位周期毎の処理を順次実行することを特徴とする。

本発明に係る画像処理装置によれば、一連の画像処理を構成する複数の処理がすべて同じ優先度で一律に実行されるのではなく、処理毎に設定された優先度に応じて、単位周期毎に実行される処理の組み合わせが設定されるとともに、複数の単位周期からなる基本周期の一周期で一連の画像処理が行われる構成とされているため、各処理の優先度を考慮して、限られた処理周期（処理時間）の中で最適な処理の組み合わせを実現することができる。その結果、複数の処理からなる一連の画像処理を効率的に実行することが可能となる。また、このような画像処理装置は、画像処理を効率的に実行することが可能であるため、利用可能な資源が限定される環境において（例えば車載用画像処理装置として）特に有効であり、必要とされる情報をリアルタイムに取得することができる。

なお、ここでいう「処理」として、画像から「各種情報」を取得するための処理が挙げられる。また、「各種情報」として、物体の検出情報、状態の検出情報、及びそれらを用いた判断情報等が挙げられる。このように、画像から「各種情報」を取得するための処理について優先度を設定し、この優先度に応じて、複数の単位周期毎に実行される処理の組み合わせを設定することで、画像処理を効率的に実行することができる。

ここで、上記処理設定手段は、複数の処理の中から、優先度が高い処理ほど基本周期における占有率が高くなるように、複数の単位周期毎に実行される処理の組み合わせを設定することが好ましい。このように、優先度の高い処理ほど、基本周期における占有率を高めることで、処理回数、処理時間を増加させ、複数の画像処理を効率的に実行することができる。

本発明に係る画像処理装置では、上記処理設定手段が、基本周期の一周期の間に入力画像が入力される回数に対する各処理の必要実行回数、及び／又は、各処理の処理時間と要求精度を考慮して処理の組み合わせを設定することが好ましい。

このようにすれば、優先度を設定する際の基準となる処理の重要度、処理結果に要求される更新周期、処理負荷や要求精度などを考慮して処理の組み合わせを設定することができるため、全体の処理負荷に占める各処理の処理負荷を各処理の優先度に応じて調節することが可能となる。

また、上記処理設定手段は、単位周期毎に実行される各処理が、単位周期の一周期の間で終了するように処理の組み合わせを設定することが好ましい。

この場合、単位周期の周期内で処理が終了するように組み合わせが設定されるため、画像処理結果のリアルタイム性を保障することが可能となる。

その際に、上記処理設定手段は、単位周期毎に実行される各処理の処理時間の合計値が、単位周期の一周期の時間よりも短くなるように処理の組み合わせを設定することが好適である。

処理設定手段は、各処理の優先度を変更すると共に、変更された該優先度に応じて、複数の処理の中から、単位周期毎に実行される処理を選択することが好ましい。このように、優先度を変更することで、状況の変化に起因する処理に関して、処理の重要度、要求精度の変化に対応して画像処理を効率的に行うことが可能となる。

本発明に係る画像処理装置は、車両の走行状態を検知する走行状態検知手段をさらに備え、撮像手段が、車両に取り付けられており、上記処理設定手段が、走行状態検知手段により検知された車両の走行状態に基づいて各処理の優先度を設定するとともに、設定された該優先度に応じて、複数の処理の中から、単位周期毎に実行される処理を選択することが好ましい。

車両に取り付けられた撮像手段により撮像される画像に対して一連の画像処理を実行する場合、上述した各処理の優先度や処理負荷は車両の走行状態（例えば、車両の運動状態や走行環境等）の影響を受ける。本発明に係る画像処理装置によれば、車両の走行状態に基づいて各処理の優先度が設定されるとともに、設定された優先度に応じて単位周期毎に実行される処理が選択されるため、撮像画像に応じた適切な優先度を各処理について設定することができ、かつその優先度に応じて単位周期毎に実行する処理を選択して組み合わせることができる。その結果、車両に取り付けられた撮像手段により撮像された画像に対して、複数の処理からなる一連の画像処理をより効率的に実行することが可能となる。

本発明に係る画像処理装置は、運転者の状態を検知する運転者状態検知手段をさらに備え、撮像手段により撮像された前記画像が、運転者の顔画像であり、上記処理設定手段が、運転者状態検知手段により検知された運転者の状態に基づいて各処理の優先度を設定するとともに、設定された該優先度に応じて、複数の処理の中から、単位周期毎に実行される処理を選択することが好ましい。

運転者の顔画像に対して一連の画像処理を実行する場合、上述した各処理の優先度や処理負荷は運転者の状態（例えば、運転者の動きや外見的特徴、個人的特徴等）の影響を受ける。本発明に係る画像処理装置によれば、運転者の状態に基づいて各処理の優先度が設定されるとともに、設定された優先度に応じて単位周期毎に実行される処理が選択されるため、運転者の顔画像に適した優先度を各処理について設定することができ、かつその優先度に応じて単位周期毎に実行する処理を選択して組み合わせることができる。その結果、運転者の顔画像に対して、複数の処理からなる一連の画像処理をより効率的に実行することが可能となる。

本発明に係る画像処理装置では、上記処理設定手段が、撮像手段により撮像された運転者の顔画像をさらに考慮して、各処理の優先度を設定することが好ましい。

運転者の顔画像に対して一連の画像処理を実行する場合、上述した各処理の優先度や処理負荷は運転者の顔画像自体（例えば、顔の向き等）の影響を受ける。本発明に係る画像処理装置によれば、運転者の顔画像をさらに考慮して各処理の優先度が設定されるため、個別の顔画像に対応して最適な優先度を各処理について設定することができる。その結果、運転者の顔画像に対して、複数の処理からなる一連の画像処理をより効率的に実行することが可能となる。

本発明によれば、入力画像に対して複数の処理を実行することにより、基本周期毎に一連の画像処理を行う画像処理装置において、複数の処理に含まれる各処理の優先度に応じて、複数の処理の中から、基本周期の一周期を構成する単位周期毎に実行される処理の組み合わせを設定するする構成としたので、複数の処理からなる一連の画像処理をより効率的に実行することが可能となる。

以下、図面を参照して本発明の好適な実施形態について詳細に説明する。図中、同一又は相当部分には同一符号を用いることとする。なお、ここでは、車両に搭載され、撮像された運転者の顔画像から該運転者の眠気を判定する場合を例にして説明する。

［第１実施形態］
まず、図１を用いて、第１実施形態に係る画像処理装置１の構成について説明する。図１は画像処理装置１の構成を示すブロック図である。

画像処理装置１は、車両に搭載され、撮像された運転者の顔画像に対して画像処理を施すことにより、運転者の顔向き、視線方向や瞬き状態を検出するとともに、これらの検出結果から運転者の居眠り判定や意識低下レベル判断を行うものである。そのために、画像処理装置１は、運転者の顔画像を撮像するカメラ１０、及び画像処理ＥＣＵ（Electronic Control Unit）４０を備えている。

カメラ１０は、運転者の顔周辺の撮像画像を取得するものである。カメラ１０は、インストルメントパネルあるいはステアリングコラムに運転者の顔の方向に向けて取り付けられている。カメラ１０では、一定時間（例えば、１／３０秒）毎に撮像し、各フレームの画像情報を画像信号として画像処理ＥＣＵ４０に送信する。なお、鮮明な画像を得るために、ＬＥＤ照明を備える構成としてもよい。

画像処理ＥＣＵ４０は、演算を行うマイクロプロセッサ、マイクロプロセッサに各処理を実行させるためのプログラム等を記憶するＲＯＭ、演算結果などの各種データを記憶するＲＡＭ及びバッテリによってその記憶内容が保持されるバックアップＲＡＭ等により構成されている。

画像処理ＥＣＵ４０は、カメラ１０により撮像された運転者の顔画像を読み込むとともに、読み込まれた顔画像に対して、基本周期（例えば６００ｍｓ）毎に一連の画像処理（初期処理・画像入力処理、フィルタリング処理・特徴点抽出処理、顔向き判定処理、視線方向検出処理、瞬き状態検出処理、居眠り判定処理、意識低下レベル判断処理、出力処理・ダイアグノーシス処理）を繰り返し実行することにより、運転者の居眠り判定や意識低下レベル判断を行うものである。なお、基本周期内で１つの処理が複数回実行されることは妨げられない。

その際に、画像処理ＥＣＵ４０は、上述した一連の画像処理に含まれる各処理（顔向き判定処理、視線方向検出処理、瞬き状態検出処理、居眠り判定処理、及び意識低下レベル判断処理）の優先度に応じて、これら複数の処理の中から、上述した基本周期を構成する６つの単位周期（例えば１００ｍｓ）毎に実行される処理の組み合わせを設定し、この組み合わせにしたがって処理を実行する。また、画像処理ＥＣＵ４０は、単位周期毎に実行される各処理が、単位周期の一周期の間で終了するように処理の組み合わせを設定する。すなわち、単位周期毎に実行される各処理の処理時間の合計値が、単位周期の一周期の時間よりも短くなるように処理の組み合わせを設定する。すなわち、画像処理ＥＣＵ４０は、特許請求の範囲に記載の処理設定手段及び処理手段として機能する。なお、初期処理・画像入力処理、フィルタリング処理・特徴点抽出処理、及び出力処理・ダイアグノーシス処理は、単位周期毎に毎回実行される。

次に、図２及び図３を併せて参照しつつ、画像処理装置１の動作について説明する。図２は、画像処理装置１による画像処理（以下「第１の画像処理」という）の処理手順を示すフローチャートである。この処理は、画像処理ＥＣＵ４０によって行われるものであり、画像処理ＥＣＵ４０の電源がオンされてからオフされるまでの間、所定の周期（例えば１００ｍｓ）で繰り返し実行される。また、図３は、第１の画像処理における各処理の処理タイミング及び処理時間を示す図である。

ステップＳ１００では、カメラ１０により撮像された運転者の顔画像が読み込まれる。続いて、ステップＳ１０２では、読み込まれた顔画像に対して、フィルタリング処理が施される。

続く、ステップＳ１０４では、取得された顔画像中から運転者の顔位置が求められる。この顔位置の検出は、エッジ検出やパターン認識を組み合わせることにより行われる。

次に、ステップＳ１０６では、ステップＳ１０４で検出された顔の特徴点が検出される。ここで、顔の特徴点としては、例えば、両目の各目尻、各目頭、鼻の左右の孔、口の左右端などの肌との境界となる箇所であり、輝度や色などの画像情報に明らかな差がある箇所とする。

続いて、ステップＳ１０８では、１から６の値を取り、単位周期毎に設定されている処理を実行するためのカウンタＣＴの値が１だけインクリメントされる。すなわち、カウンタＣＴの値は、本処理が実行される度に１づつインクリメントされ、６までカウントアップされたときにゼロにリセット（後述するステップＳ１３２）される。

続くステップＳ１１０では、カウンタＣＴの値が「１」であるか否かについての判断が行われる。ここで、カウンタＣＴの値が「１」である場合には、顔向き判定（ステップＳ１２２）、及び視線方向検出（ステップＳ１２４）が実行された後、ステップＳ１３４に処理が移行される（図３中のカウンタＣＴ＝１のときを参照）。ここで、顔向き判定（ステップＳ１２２）では、取得された画像中からエッジ検出等の既知の手法を組み合わせることで、顔の中心位置（鼻先を通る線）と両端位置が検出され、その顔中心位置と顔両端位置とから顔向き角度が計算される。また、視線方向検出（ステップＳ１２４）では、ステップＳ１０６で求められた特徴点に基づいて運転者の視線が検出される。より具体的には、例えば、眼の両端の特徴点と瞳の中心点との相対的な位置変化を用いて視線が検出される。なお、顔向きと視線方向は、例えば、自車両の進行方向を０°とし、正面から右側をプラス値とし、正面から右側をマイナス値として規定される。一方、カウンタＣＴの値が「１」でないときには、ステップＳ１１２に処理が移行する。

ステップＳ１１２では、カウンタＣＴの値が「２」であるか否かについての判断が行われる。ここで、カウンタＣＴの値が「２」である場合には、視線方向検出（ステップＳ１２４）、及び瞬き検出（ステップＳ１２６）が実行された後、ステップＳ１３４に処理が移行される（図３中のカウンタＣＴ＝２のときを参照）。視線方向検出については上述した通りであるので、ここでは説明を省略する。瞬き検出（ステップＳ１２６）では、ステップＳ１０６で検出された各特徴点の中で、眠気によって変形が起こる部位である目に関する特徴点について変形状態、すなわち瞬きが検出される。一方、カウンタＣＴの値が「２」でないときには、ステップＳ１１４に処理が移行する。

ステップＳ１１４では、カウンタＣＴの値が「３」であるか否かについての判断が行われる。ここで、カウンタＣＴの値が「３」である場合には、顔向き判定（ステップＳ１２２）、及び瞬き検出（ステップＳ１２６）が実行された後、ステップＳ１３４に処理が移行される（図３中のカウンタＣＴ＝３のときを参照）。顔向き判定及び瞬き検出については上述した通りであるので、ここでは説明を省略する。一方、カウンタＣＴの値が「３」でないときには、ステップＳ１１６に処理が移行する。

ステップＳ１１６では、カウンタＣＴの値が「４」であるか否かについての判断が行われる。ここで、カウンタＣＴの値が「４」である場合には、視線方向検出（ステップＳ１２４）、居眠り判定（ステップＳ１２８）、及び意識低下レベル判断（ステップＳ１３０）が実行された後、ステップＳ１３４に処理が移行される（図３中のカウンタＣＴ＝４のときを参照）。視線方向検出については上述した通りであるので、ここでは説明を省略する。居眠り判定（ステップＳ１２８）では、ステップＳ１２４で検出された視線やステップＳ１２６で検出された瞬き状態に基づいて、例えば運転者の目が所定時間以上閉じている場合には、運転者が居眠り状態であると判断される。また、意識低下レベル判断（ステップＳ１３０）では、ステップＳ１２６で検出された瞬き状態に基づいて、運転者の意識が低下しているか否かが判断される。より具体的には、瞬目状態（特に、瞬目状態の群発：通常の瞬き間隔よりも短い間隔で行われる複数回の瞬き）に着目し、瞬目状態の群発が検出されたときに、運転者の意識が低下していると判断される。一方、カウンタＣＴの値が「４」でないときには、ステップＳ１１８に処理が移行する。

ステップＳ１１８では、カウンタＣＴの値が「５」であるか否かについての判断が行われる。ここで、カウンタＣＴの値が「５」である場合には、顔向き判定（ステップＳ１２２）、視線方向検出（ステップＳ１２４）、及び瞬き検出（ステップＳ１２６）が実行された後、ステップＳ１３４に処理が移行される（図３中のカウンタＣＴ＝５のときを参照）。顔向き判定、視線方向検出、及び瞬き検出については上述した通りであるので、ここでは説明を省略する。一方、カウンタＣＴの値が「３」でないときには、ステップＳ１２０に処理が移行する。

ステップＳ１２０では、カウンタＣＴの値が「６」であるか否かについての判断が行われる。ここで、カウンタＣＴの値が「６」である場合には、瞬き検出（ステップＳ１２６）、居眠り判定（ステップＳ１２８）、及び意識低下レベル判断（ステップＳ１３０）が実行された後、カウンタＣＴの値がゼロにリセットされる（図３中のカウンタＣＴ＝６のときを参照）。その後、ステップＳ１３４に処理が移行される。瞬き検出、居眠り判定、及び意識低下レベル判断については上述した通りであるので、ここでは説明を省略する。一方、カウンタＣＴの値が「６」でないときには、ステップＳ１３４に処理が移行する。

ステップＳ１３４では、上述したいずれかの処理が実行された後、その処理結果が出力される。その後、所定の単位周期に従って本処理が繰り返し実行される。

本実施形態によれば、上述したように各ステップが実行されることにより、図３に示されるように、カウンタＣＴ＝１のときには、顔向き判定，視線方向検出が行われ、カウンタＣＴ＝２のときには、視線方向検出，瞬き検出が行われ、カウンタＣＴ＝３のときには、顔向き判定，瞬き検出が行われる。また、カウンタＣＴ＝４のときには、視線方向検出，居眠り判定，意識低下レベル判断が行われ、カウンタＣＴ＝５のときには、顔向き判定，視線方向検出，瞬き検出が行われ、カウンタＣＴ＝６のときには、瞬き検出，居眠り判定，意識低下レベル判断が行われる。

このように、本実施形態によれば、一連の画像処理を構成する複数（本実施形態では５つ）の処理がすべて同じ優先度で一律に実行されるのではなく、処理毎に設定された優先度に応じて、単位周期毎に（カウンタＣＴの値に応じて）実行される処理の組み合わせが設定されるとともに、６つの単位周期からなる基本周期の一周期で一連の画像処理が行われる構成とされているため、各処理の優先度を考慮して、限られた処理周期（処理時間）の中で最適な処理の組み合わせを実現することができる。その結果、複数の処理からなる一連の画像処理を効率的に実行することが可能となる。

本実施形態によれば、優先度を設定する際の基準となる処理の重要度、処理結果に要求される更新周期、処理負荷や要求精度などを考慮して処理の組み合わせを予め設定することができるため、全体の処理負荷に占める各処理の処理負荷を各処理の優先度に応じて調節することが可能となる。

また、本実施形態によれば、単位周期毎に実行される各処理が、単位周期の一周期の間で終了するように処理の組み合わせが設定されるため、画像処理結果のリアルタイム性を保障することが可能となる。

［第２実施形態］
上述した第１実施形態では、各処理の優先度や組み合わせが予め定められていたが、車両の走行状態や運転者の状態に応じて各処理の優先度や組み合わせを変更する構成とすることもできる。

次に、図４を用いて、第２実施形態に係る画像処理装置２の構成について説明する。図４は、画像処理装置２の構成を示すブロック図である。なお、図４において第１実施形態と同一又は同等の構成要素については同一の符号が付されている。

画像処理装置２は、車両の走行状態を検知する走行状態検知手段２０、及び車両が走行している道路環境を検知する走行環境検知手段３０をさらに備えている点で上述した画像処理装置１と異なっている。

また、画像処理装置２を構成する画像処理ＥＣＵ４１が、走行状態検知手段２０や走行環境検知手段３０により検知された車両の走行状態の状態に基づいて、各処理の優先度を設定するとともに、設定された優先度に応じて、上述した複数の処理の中から、単位周期毎に実行される処理を選択して組み合わせる点で、上記第１実施形態と異なる。その他の構成は、上述した第１実施形態と同一または同様であるので、ここでは説明を省略する。

走行状態検知手段２０としては、舵角センサ２１、アクセル開度センサ２２、車速センサ２３、横加速度センサ２４、前後加速度センサ２５等がある。舵角センサ２１は、ステアリングホイールの舵角を検出するセンサであり、その検出値を画像処理ＥＣＵ４１に出力する。アクセル開度センサ２２は、アクセルペダルの開度を検出するセンサであり、その検出値を画像処理ＥＣＵ４１に出力する。車速センサ２３は、車両の速度を検出するセンサであり、その検出値を画像処理ＥＣＵ４１に出力する。横加速度センサ２４は、車両に作用する横加速度を検出するセンサであり、その検出値を画像処理ＥＣＵ４１に出力する。

走行環境検知手段３０としては、前方車両車速・距離認識センサ３１やカーナビゲーションシステム３２などがある。前方車両車速・距離認識センサ３１は、レーダセンサによる自車前方のレーダ情報などに基づいて前方車両の有無及び前方車両が存在する場合には前方車両の車速や前方車両との距離を認識し、その認識情報を画像処理ＥＣＵ４１に出力する。カーナビゲーションシステム３２は、車両の現在位置や走行方向の検出、及び目的地までの経路案内などを行うシステムであり、これらの情報を画像処理ＥＣＵ４１に出力する。また、カーナビゲーションシステム３２は、現在位置周辺の道路情報などを画像処理ＥＣＵ４１に出力する。道路情報としては、例えば、渋滞情報、信号機情報、交差点形状、及び車線数などがある。このように、走行状態検知手段２０及び走行環境検知手段３０は、特許請求の範囲に記載の走行状態検知手段に相当する。

次に、図５及び図６を併せて参照しつつ、画像処理装置２の動作について説明する。図５は、画像処理装置２による画像処理（以下「第２の画像処理」という）の処理手順を示すフローチャートである。この処理は、画像処理ＥＣＵ４１によって行われるものであり、画像処理ＥＣＵ４１の電源がオンされてからオフされるまでの間、所定の周期（例えば１００ｍｓ）で繰り返し実行される。また、図６は、第２の画像処理における各処理の処理タイミング及び処理時間を示す図である。

ステップＳ２００〜Ｓ２０６は、上述したステップＳ１００〜Ｓ１０６と同一であるので、ここでは説明を省略する。

続いて、ステップＳ２０８では、走行状態検知手段２０及び走行環境検知手段３０により検知された車両の走行状態を示す検知結果が読み込まれる。また、運転者の状態が読み込まれる。ここで、運転者の状態は、撮像された運転者の画像から検知することができる。この場合、カメラ１０及び画像処理ＥＣＵ４１は、特許請求の範囲に記載の運転者状態検知手段として機能する。

続くステップＳ２１０では、ステップＳ２０８で読み込まれた各種情報に基づいて、車両運動状態、走行環境や運転者状態などが判断・分類される。ここで、分類の一例を図６に示す。図６に示されるように、大分類項目としては、「車両運動状態」「走行環境１」「走行環境２」及び「運転者状態」がある。「車両運動状態」の下位には、「高速走行」「低速走行」「横加速度大」「前後加速度大」などの小分類項目がある。「走行環境１」の下位には、「渋滞路（信号なし）」「渋滞路（信号あり）」「山岳路」「直線路」「細街路・住宅街」「多車線」「高速道路走行」「首都高速道路走行」「有料道路・自動車専用道」などの小分類項目がある。「走行環境２」の下位には、「太陽直射光入射」「夜間走行」「通勤時間帯」「周辺車両」「歩行者」などの小分類項目がある。また、「運転者状態」の下位には、「めがね装着」「サングラス装着」「髪の毛で目隠し」「帽子着用」「慣れた走行路」「初めての走行路」なの小分類項目がある。

小分類項目の「高速走行」や「低速走行」は車速センサ２３の検出結果により判断され、「横加速度大」は横加速度センサ２４により判断され、「前後加速度大」は前後加速度センサ２５やアクセル開度センサ２２の検出結果により判断される。また、「渋滞路（信号あり）」や「渋滞路（信号なし）」はカーナビゲーションシステム３２のＶＩＣＳ（Vehicle Information and Communication System ）情報や地図情報から判断され、「山岳路」「直線路」「細街路・住宅街」「多車線」「高速道路走行」「首都高速道路走行」「有料道路・自動車専用道」はカーナビゲーションシステム３２の地図情報から判断される。「太陽直射光入射」は顔画像の輝度により判断され、「夜間走行」や「通勤時間帯」はカーナビゲーションシステム３２の時間情報により判断され、「周辺車両」や「歩行者」は前方車両車速・距離認識センサ３１の検出結果により判断される。また、「めがね装着」「サングラス装着」「髪の毛で目隠し」「帽子着用」は顔画像から判断され、「慣れた走行路」「初めての走行路」はカーナビゲーションシステム３２の走行軌跡情報から判断される。

続いて、ステップＳ２１２では、単位周期毎に実行される演算処理のスケジューリングが行われる。より具体的には、ステップＳ２１０で判断・分類された車両運動状態、走行環境や運転者状態などに基づいて、各処理の優先度が設定されるとともに、設定された優先度に応じて、単位周期毎に実行される処理が選択されて組み合わせが設定される。ここで、上述した小分類項目と、各処理（顔向き判定、視線方向検出、瞬き状態検出、居眠り判定、意識低下レベル判断）の優先度との関係の一例を図６に示す。例えば、高速走行状態であると判断された場合における各処理の優先度は、顔向き判定が「Ａ」、視線方向検出が「Ｂ」、瞬き状態検出が「Ａ」、居眠り判定が「Ａ」、意識低下レベル判断が「Ｂ」とされる。ただし、図６において、処理の優先度は「Ａ」＞「Ｂ」＞「Ｃ」とする。

ここで、車両運動状態として「高速走行」「横加速度大」と判断され、走行環境１として「首都高速道路走行」と判断され、走行環境２として「夜間走行」「周辺車両あり」と判断され、運転者状態として「めがね装着」と判断された場合を例にして、演算処理のスケジューリング方法について説明する。

上述したように「高速走行」状態の処理優先度は、顔向き判定が「Ａ」、視線方向検出が「Ｂ」、瞬き状態検出が「Ａ」、居眠り判定が「Ａ」、意識低下レベル判断が「Ｂ」である。同様に、「横加速度大」状態の処理優先度は、顔向き判定が「Ｂ」、視線方向検出が「Ｂ」、瞬き状態検出が「Ｂ」、居眠り判定が「Ｃ」、意識低下レベル判断が「Ｃ」である。同様にして、「首都高速道路走行」「夜間走行」「周辺車両あり」「めがね装着」それぞれについて各処理の処理優先度が抽出される。

次に、各処理それぞれについて、「高速走行」「横加速度大」「首都高速道路走行」「夜間走行」「周辺車両あり」「めがね装着」の場合の処理優先度が設定される。より具体的には、例えば「顔向き判定」については、「高速走行」−Ａ、「横加速度大」−Ｂ、「首都高速道路走行」−Ａ、「夜間走行」−Ａ、「周辺車両あり」−Ａ、「めがね装着」−Ａであるため、Ａ＝４点，Ｂ＝２点，Ｃ＝１点として平均点を計算すると、（４＋２＋４＋４＋４＋４）／６≒３．７となる。ここで、平均点が３以上の処理は優先度「Ａ」とし、３未満２以上であれば優先度「Ｂ」とし、２未満は優先度「Ｃ」とすると、「顔向き判定」の処理優先度は「Ａ」となる。

同様に、「視線方向検出」については、「高速走行」−Ｂ、「横加速度大」−Ｂ、「首都高速道路走行」−Ａ、「夜間走行」−Ｂ、「周辺車両あり」−Ａ、「めがね装着」−Ｂであるため、（２＋２＋４＋２＋４＋２）／６≒２．７となる。したがって「視線方向検出」の処理優先度は「Ｂ」となる。以下同様にして、処理優先度を求めると、「瞬き状態検出」が優先度「Ａ」、「居眠り判定」が優先度「Ｂ」、「意識低下レベル判断」が優先度「Ｃ」となる。

そして、求められた各処理の優先度に基づいて、演算処理のスケジューリングが行われる。ここで、スケジューリング方法の一例について説明する。上述した第１実施形態の処理の組み合わせ（スケジューリング）をデフォルト状態とし、処理優先度（Ａ，Ｂ，Ｃ）に対する割付原則を基本周期（６単位周期）の占有率として、「Ａ」＝６６％以上、「Ｂ」＝略５０％、「Ｃ」＝３０％以下、と定める。すなわち、６つの単位周期に対して、優先度「Ａ」の処理は４回以上、優先度「Ｂ」の処理は３回、優先度「Ｃ」の処理は２回程度実行されるように（優先度が高い処理ほど基本周期における占有率が高くなるように）、各処理が６つの単位周期に割り振られる。

また、本実施形態では、処理装置の演算能力の最大値を、優先度「Ａ」の処理を３と優先度「Ｂ」の処理を２とした。この場合、３×６６（％）＋２×５０（％）＝３×（４／６）＋２×（３／６）＝３となるため、この値を超えないように優先度「Ａ」「Ｂ」「Ｃ」の各処理が割り振られる。本実施形態の例では、「顔向き判定」−Ａ、「視線方向検出」−Ｂ、「瞬き状態検出」−Ａ、「居眠り判定」−Ｂ、「意識低下レベル判断」−Ｃ、であるので、２×（４／６）＋２×（３／６）＋１×（２／６）≒２．７となり、演算能力の最大値を超えないため、演算周期及びスケジューリングに問題がないと判断することができる。

続いて、ステップＳ２１４では、ステップＳ２１２で設定された単位周期毎の演算処理スケジュールに従って、各処理が実行される。単位周期毎の各処理は、第１実施形態で用いた手法（ステップＳ１０８〜Ｓ１３２）と同様の手法により実行される。その手法は、上述した通りであるので、ここでは詳細な説明を省略する。

次に、ステップＳ２１６において処理結果が出力された後、本処理から一旦抜ける。その後、所定の単位周期に従って本処理が繰り返し実行される。

本実施形態によれば、車両運動状態、走行環境や運転者状態などに基づいて、各処理の優先度が設定されるとともに、設定された優先度に応じて、単位周期毎に実行される処理が選択されてスケジューリングされる。そして、この演算処理スケジュールに従って各処理が実行される結果、図７に示されるように、カウンタＣＴ＝１のときには、顔向き判定，居眠り判定，意識低下レベル判断が行われ、カウンタＣＴ＝２のときには、顔向き判定，視線方向検出，瞬き状態検出が行われ、カウンタＣＴ＝３のときには、瞬き状態検出，居眠り判定が行われる。また、カウンタＣＴ＝４のときには、顔向き判定，視線方向検出，意識低下レベル判断が行われ、カウンタＣＴ＝５のときには、顔向き判定，視線方向検出が行われ、カウンタＣＴ＝６のときには、顔向き判定，居眠り判定，意識低下レベル判断が行われる。

本実施形態によれば、車両の運動状態、走行環境や運転者の状態に基づいて各処理の優先度が設定されるとともに、設定された優先度に応じて単位周期毎に実行される処理が選択されるため、撮像画像に応じた適切な優先度を各処理について設定することができ、かつその優先度に応じて単位周期毎に実行する処理を選択してスケジューリングすることができる。その結果、車両に取り付けられたカメラ１０により撮像された運転者の顔画像に対して、複数の処理からなる一連の画像処理をより効率的に実行することが可能となる。

さらに、上述した第２実施形態において、瞬き検出に対する左右の眼の信頼度差に応じて検出結果の採用優先度を設定するとともに、運転者の顔向きから左右の眼の検出優先度を決定し、信頼度が低い眼や低優先度の眼については次回の演算を省略することにより、演算負荷を低減させる構成としてもよい。

また、運転者が正面を向いている時に左右のまぶた位置の検出を行う場合、光環境などによっては、いずれか一方の検出精度が他方に比べて低下することが生じうるが、このような場合に、信頼度が高いと判断される方の瞬き情報のみを利用し、もう一方はそれと同等と推定し演算処理を省略する構成としてもよい。

運転者が右を向いている場合には左眼、左を向いているときには右眼のみを検出することにより、また、閉眼状態の場合であって、瞬きが検出できないときは、視線方向検出処理を省略することにより、演算負荷を低減させる構成としてもよい。

このようにすれば、運転者の顔画像をさらに考慮して各処理の優先度が設定されるため、個別の顔画像に対応して最適な優先度を各処理について設定することができる。その結果、運転者の顔画像に対して、複数の処理からなる一連の画像処理をより効率的に実行することが可能となる。

以上、本発明の実施の形態について説明したが、本発明は、上記実施形態に限定されるものではなく種々の変形が可能である。例えば、上記実施形態では、画像処理装置が、車両に搭載され、撮像された運転者の顔画像から運転者の眠気を判定する場合を例にして説明したが、本発明に係る画像処理装置の適用範囲がこの実施形態に限られないことは言うまでもない。

また、一連の画像処理が実行される基本周期を構成する単位周期の数は６に限られない。さらに、複数の処理の処理内容や機能分担などは上記実施形態に限られない。

また、走行状態検知手段２０や走行環境検知手段３０を構成する各種センサは、上記実施形態に限定されることなく、上述したセンサ類に代えて、又は加えて異なるセンサを用いてもよい。

上記実施形態では、各処理の優先度に応じ、優先度の高い処理ほど、単位周期中の処理回数（処理時間）が多くなるようにしているが、優先度の高い処理ほど、精度の高いアルゴリズムを使用する一方、優先度の低い処理ほど、精度の低いアルゴリズムを使用したり、処理を省略したりしてもよい。

すなわち、各処理について処理精度（処理密度）の異なる複数のアルゴリズムを用意しておき、優先度に応じて処理資源（処理能力）を各処理に割り当てることで、優先度に応じて処理負荷を調整することが可能となる。また、精度の低いアルゴリズムを使用することで、負荷の小さいアルゴリズムを設定することが可能となる。

アルゴリズムには、精度は高いが演算処理に時間がかかるものと、精度は高くないが演算処理に時間がかからないものとがある。車両の走行状態、運転者の状態に基づいて優先度を設定し、この優先度に応じてアルゴリズムを選択することで、一連の画像処理を効率的に実行することが可能となる。

第１実施形態に係る画像処理装置の構成を示すブロック図である。 第１実施形態に係る画像処理装置による画像処理（第１の画像処理）の処理手順を示すフローチャートである。 第１の画像処理における各処理の処理タイミング及び処理時間を示す図である。 第２実施形態に係る画像処理装置の構成を示すブロック図である。 第２実施形態に係る画像処理装置による画像処理（第２の画像処理）の処理手順を示すフローチャートである。 車両運動状態、走行環境や運転者状態と各処理の優先度との一例を示す図である。 第２の画像処理における各処理の処理タイミング及び処理時間を示す図である。 従来の画像処理における各処理の処理タイミング及び処理時間を示す図である。

符号の説明

１，２…画像処理装置、１０…カメラ、２０…車両情報検知手段、３０…環境情報検知手段、４０，４１…画像処理ＥＣＵ。

Claims (9)

1. 撮像手段により撮像された画像に対して複数の処理を実行することにより、基本周期毎
   に一連の画像処理を行う画像処理装置において、
   前記一連の画像処理を行う前記基本周期を複数の単位周期に分割し、前記複数の処理に含まれる各処理の優先度に応じて、前記複数の処理の中から、前記基本周期の一周期を構成する複数の前記単位周期毎に実行される処理の組み合わせを設定する処理設定手段と、
   前記処理設定手段により設定された組み合わせにしたがって、処理を実行する処理手段と、を備え、
   実行される順序及び前記処理の組み合わせを示すカウンタ値が前記単位周期毎に設定され、
   前記処理手段は、前記優先度及び前記カウンタ値に応じた前記単位周期毎の処理を順次実行することを特徴とする画像処理装置。
2. 前記処理設定手段は、前記複数の処理の中から、前記優先度が高い処理ほど前記基本周期における占有率が高くなるように、前記複数の単位周期毎に実行される処理の組み合わせを設定することを特徴とする請求項１に記載の画像処理装置。
3. 前記処理設定手段は、前記基本周期の一周期の間に前記入力画像が入力される回数に対する前記各処理の必要実行回数、及び／又は、前記各処理の処理時間と要求精度を考慮して前記処理の組み合わせを設定することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記処理設定手段は、前記単位周期毎に実行される前記各処理が、前記単位周期の一周期の間で終了するように前記処理の組み合わせを設定することを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
5. 前記処理設定手段は、前記単位周期毎に実行される前記各処理の処理時間の合計値が、前記単位周期の一周期の時間よりも短くなるように前記処理の組み合わせを設定することを特徴とする請求項４に記載の画像処理装置。
6. 前記処理設定手段は、前記各処理の優先度を変更すると共に、変更された該優先度に応じて、前記複数の処理の中から、前記単位周期毎に実行される処理を選択することを特徴とする請求項１〜５のいずれか１項に記載の画像処理装置。
7. 車両の走行状態を検知する走行状態検知手段をさらに備え、
   前記撮像手段は、前記車両に取り付けられており、
   前記処理設定手段は、前記走行状態検知手段により検知された前記車両の走行状態に基づいて前記各処理の優先度を設定するとともに、設定された該優先度に応じて、前記複数の処理の中から、前記単位周期毎に実行される処理を選択することを特徴とする請求項１〜６のいずれか１項に記載の画像処理装置。
8. 運転者の状態を検知する運転者状態検知手段をさらに備え、
   前記撮像手段により撮像された前記画像は、前記運転者の顔画像であり、
   前記処理設定手段は、前記運転者状態検知手段により検知された前記運転者の状態に基づいて前記各処理の優先度を設定するとともに、設定された該優先度に応じて、前記複数の処理の中から、前記単位周期毎に実行される処理を選択することを特徴とする請求項１〜７のいずれか１項に記載の画像処理装置。
9. 前記処理設定手段は、前記撮像手段により撮像された前記運転者の顔画像をさらに考慮して、前記各処理の優先度を設定することを特徴とする請求項８に記載の画像処理装置。
   

Images