JPH08161698A - 車載用画像データ生成装置 - Google Patents

Abstract

(57)【要約】 【目的】 車両の進行状態を検知してドライバーの死角
となる領域を認識処理対象とすること。 【構成】 車両前方を撮像する撮像手段１と、この撮像
手段１の動作を制御して撮像手段１が撮像した原画像デ
ータの出力タイミングを制御する撮像制御部２と、当該
原画像データからノイズ除去等の前処理を行うことで画
像データを生成する前処理部４とを備えている。しか
も、撮像制御部２に、車両の右折及び左折方向等の走行
状態を検出する走行状態検出部３を併設すると共に、撮
像制御部２が、走行状態検出部３からの出力信号が車両
の右折を示す信号であれば左方向を撮像方向とし又左折
であれば右方向を撮像方向とするように撮像手段を駆動
制御する機能を備えた。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像データ生成装置に
係り、特に、車載用の画像処理装置に用いられる画像デ
ータを生成する車載用画像データ生成装置に関する。

【０００２】

【従来の技術】従来、画像認識装置では、認識領域は自
車両の進行方向であるため、画像認識処理用の画像デー
タの生成は、当該進行方向を対象に行われている。これ
は、ビデオカメラ等の撮像手段を車両前方を撮影するよ
うに設置しておき、当該ビデオカメラ等からの画像に前
処理を加え、画像データとして画像認識装置に出力する
ものである。

【０００３】画像認識処理の例としては白線認識処理が
ある。これは、道路面上に施されたライン（白線）を認
識する画像認識処理であり、前処理部が出力する画像デ
ータを処理して路面上の白線を識別する画像認識処理で
ある。この手法は種々の応用がされており、車両の自動
運転や、走行中のレーンはみ出し警報、および路上の障
害物検出時の検出範囲の決定等を行う際に用いられてい
る。

【０００４】この白線認識処理については、例えば、車
両の進行方向の前方を撮像した画像情報のうち、車線端
が撮像されている所定の領域を決定し、決定された領域
における明度分布をフィルタによって強調し、強調され
た明度分布に基づいて所定の領域における車線端を検出
するものが、特開平３−１９４６６９号公報によって開
示されている。

【０００５】

【発明が解決しようとする課題】このような画像認識装
置では、右折（左折）時には車両前方を撮像するため、
自車両の進行方向に存在する障害物を検出することがで
きる。しかし、このとき左側（右側）は撮像されないた
め、認識処理の対象とならない。また、右折（左折）時
においては、ドライバーの視線は当該曲がる方向になる
ため、左側（右側）については死角となっている。

【０００６】

【発明の目的】本発明は、係る従来例の有する不都合を
改善し、特に、車両の進行状態を検知してドライバーの
死角となる領域を認識処理対象とすることのできる車載
用画像データ生成装置を提供することを、その目的とす
る。

【０００７】

【課題を解決する手段】そこで、本発明では、車両前方
を撮像する撮像手段と、この撮像手段の動作を制御して
撮像手段が撮像した原画像データを前処理部に出力する
よう制御する撮像制御部と、当該原画像データからノイ
ズ除去等の前処理を行うことで画像データを生成する前
処理部とを備えている。

【０００８】しかも、撮像制御部に、車両の右左折方向
等の走行状態を検出する走行状態検出部を併設すると共
に、撮像制御部が、走行状態検出部からの出力信号が車
両の右折を示す信号であれば左方向を撮像方向とし又左
折であれば右方向を撮像方向とするように撮像手段を駆
動制御する機能を備えた、という構成を採っている。こ
れによって前述した目的を達成しようとするものであ
る。

【０００９】ここで、車両の右左折等の走行状態とは、
ウインカやハンドル舵角による車両の方向転換や、走行
時の速度などの走行状態をいう。

【００１０】

【作用】車載用画像データ生成装置の動作中、走行状態
検出部は、車両の右左折方向等の進行状態を一定周期で
検出する。この走行状態についての出力信号は撮像制御
部に入力され、撮像制御部では、この走行状態検出部か
らの出力信号に基づいて当該右左折方向の左右反対方向
を撮像方向とするように撮像手段を駆動制御する。例え
ば、右折を示すウインカ信号が走行状態検出部から入力
された場合には撮像手段を左方向に回転駆動する。撮像
手段は、この撮像制御部の駆動制御に従って撮像するこ
とで原画像データを生成し、前処理部は、当該原画像デ
ータから画像データを生成する。生成された画像データ
は画像処理部に出力され画像認識処理が行われる。

【００１１】撮像制御部が、車両の転回方向の反対側を
撮像するように制御するため、撮像装置は、ドライバー
にとっての死角部分を撮像することとなる。

【００１２】

【実施例】次に本発明の一実施例について図面を参照し
て説明する。

【００１３】図１は、本発明による車載用画像データ生
成装置の構成を示すブロック図である。車載用画像デー
タ生成装置は、車両前方を撮像する撮像手段１と、この
撮像手段１の動作を制御して撮像手段１が撮像した原画
像データの出力タイミングを制御する撮像制御部２と、
当該原画像データからノイズ除去等の前処理を行うこと
で画像データを生成する前処理部４とを備えている。

【００１４】しかも、撮像制御部２に、車両の右折及び
左折方向等の走行状態を検出する走行状態検出部３を併
設すると共に、撮像制御部２が、走行状態検出部３から
の出力信号が車両の右折を示す信号であれば左方向を撮
像方向とし又左折であれば右方向を撮像方向とするよう
に撮像手段を駆動制御する機能を備えている。

【００１５】これを詳細に説明する。撮像手段１は、ビ
デオカメラ等であり、車両に設置され当該車両の前方の
風景を撮影する。本実施例による撮像手段１は、水平面
に回動可能に支持されており、撮像制御部２により駆動
制御される。ここでは、例えば、撮像制御部２からの信
号によって動作を制御されるステッピングモータにより
回動される。前処理部４は、画像の切り出しのほか、ノ
イズの除去等を行って原画像データを画像処理部５が扱
いやすい画像データに編集している。

【００１６】走行状態検出部３は、車両の進行方向（転
回方向）を検出する進行方向検出機能や、車速を検出す
る車速検出機能を備えている。この走行状態検出部３の
構成には種々のものがあり、本実施例では、ウインカ信
号や、ハンドル舵角量を利用して車両の進行方向を検出
するようにしている。

【００１７】撮像制御部２は、走行状態検出部３からの
進行方向等の情報に基づいて撮像手段１を駆動制御す
る。本実施例では、撮像手段を回動させることにより撮
像対象を変更するよう制御している。また、撮像の開始
及び終了等通常の動作も制御する。

【００１８】図２及び図３は撮像制御部２の駆動制御の
一例を示す説明図である。図２に示すように、走行状態
による撮像手段１の駆動を行なわない通常の撮像では、
撮像手段１は撮像方向１Ａを撮像するように設置されて
いるため、画像認識領域１Ｂは図２（ａ）に示す如くと
なる。すると、図２（ｂ）に示すような原画像を得るこ
とができる。なお、説明のため、図面中誇張若しくは省
略をした表現を用いている。

【００１９】これに対し、本実施例の特徴点である走行
状態に基づいた制御が機能すると、図３に示すように、
撮像制御部２が、走行状態検出部３からの進行方向等の
情報に基づいて撮像手段を回動制御するため、撮像手段
１の方向１Ａは図３（ａ）に示すようにドライバーにと
っての死角部分となる。そのため、画像認識領域１Ｂは
図３（ａ）に示す範囲となり、その原画像データは図３
（ｂ）に示すような位置関係となる。

【００２０】図４はウインカ信号３ａを利用して検出し
た進行方向に基づいて撮像手段１を駆動制御する例を示
すブロック図であり、図５はそのフローチャートであ
る。ここでは、撮像手段の位置を３種類に設定してあ
り、「右折」を示すウインカ信号の場合には撮像手段を
左に回動させ、「左折」を示すウインカ信号の場合には
撮像手段を右に回動する。この進行方向の反対方向を撮
像方向１Ａとすることで、ドライバーにとっての死角部
分を画像認識処理の対象領域１Ｂとしている。

【００２１】その動作を図５を参照して説明する。ま
ず、ウインカ信号を周期的に確認し（ステップＳ１）、
ウインカ信号が発せられていない場合、撮像手段の移動
（回動）は行わない（ステップＳ２）。「右折」を示す
ウインカ信号が発せられている場合、撮像方向１Ａを左
方向へ移動する（ステップＳ３）。逆に、「左折」を示
すウインカ信号が発せられている場合には撮像方向１Ａ
を右方向へ移動する（ステップＳ４）。次いで、ウイン
カ信号が出力されなくなったとき（ステップＳ５）、撮
像手段の撮像方向１Ａを元の位置に戻す。これを一定周
期で繰り返す。

【００２２】このようにウインカ信号による場合、ウイ
ンカ信号がこれから進行しようとする方向を前もって示
すものであることから、ドライバーの視線が当該ウイン
カ信号が示す方向へ向いたときの死角を画像認識処理の
対象領域とすることができる。また、撮像方向を直進時
を含めて３種類としていることから、車線変更時でも交
差点の右左折時であっても有効に死角部分となる方向に
設定しておくことで、ウインカ信号に基づく撮像方向の
制御を安定させることができる。

【００２３】図６はハンドル舵角３ｂを利用して検出し
た進行方向に基づいて撮像手段１を駆動制御する例を示
すブロック図であり、図７はそのフローチャートであ
る。ここでは、ハンドル舵角を検出し、その角度分撮像
手段をハンドルを回した方向の反対方向へ撮像手段を回
動制御している。

【００２４】その動作を図７を参照して説明する。ま
ず、ハンドル舵角を検出する（ステップＳ１１）。ここ
ではハンドル舵角θを右転舵時を正とし、左転舵時を負
としている。このハンドル舵角θが「０」のとき、撮像
手段の移動（回動）は行わない（ステップＳ１２）。ハ
ンドルが右方向へ回転された場合、撮像方向１Ａを当該
角度θの絶対値分左方向へ移動する（ステップＳ１
３）。逆に、ハンドルが左方向へ回転された場合、撮像
方向１Ａを当該角度θの絶対値分右方向へ移動する（ス
テップＳ１４）。次いで、ハンドル舵角θが「０」とな
ったとき（ステップＳ１５）、撮像手段の撮像方向１Ａ
を元の位置に戻す（ステップＳ１６）。これを一定周期
で繰り返す。

【００２５】このようにハンドル舵角の大きさによって
撮像手段の回転角度を変更する構成であるため、特に低
速で交差点等を右左折する場合や、ゆるやかなカーブを
走行する場合などに特に効果を奏する。即ち、交差点時
で右折する場合にはハンドル舵角が大きくなり、ドライ
バーの視線も右方向に大きく移動するため、撮像手段１
の撮像方向１Ａも反対側に大きい角度とし、必要な死角
部分を漏れなく撮像するようにしている。

【００２６】図８はハンドル舵角変化量３ｃを利用して
検出した進行方向に基づいて撮像手段１を駆動制御する
例を示すブロック図であり、図９はそのフローチャート
である。ここでは、ハンドル舵角変化量３ｃを検出し、
当該ハンドル舵角変化量３ｃが一定の変化量ｘ以上の場
合に撮像手段１をハンドルを回した方向の反対方向へ撮
像手段を回動制御している。

【００２７】その動作を図９を参照して説明する。ま
ず、ハンドル舵角変化量を検出する（ステップＳ２
１）。ここではハンドル舵角変化量（ｄθ／ｄｔ）を、
右転舵時を正とし、左転舵時を負としている。このハン
ドル舵角変化量（ｄθ／ｄｔ）の絶対値が一定値ｘより
も小さい又は等しいとき、ハンドルの回転によるドライ
バーの視線の変化が少ないものとして直進方向の撮像を
継続する（ステップＳ２２）。ハンドル舵角変化量（ｄ
θ／ｄｔ）が一定値ｘよりも大きいとき、右に転舵した
のであるから撮像方向１Ａを左方向へ回転する（ステッ
プＳ２３）。逆に、ハンドル舵角変化量（ｄθ／ｄｔ）
が一定値−ｘよりも小さいとき、左に転舵したのである
から撮像方向１Ａを右方向へ回転する（ステップＳ２
４）。次いで、ハンドル舵角変化量（ｄθ／ｄｔ）の絶
対値が一定値ｘよりも小さい又は等しいものとなったと
き（ステップＳ２５）、撮像手段の撮像方向１Ａを元の
位置に戻す（ステップＳ２６）。これを一定周期で繰り
返す。

【００２８】このようにハンドル舵角変化量の大きさに
よって撮像手段の回転角度を変更する構成であるため、
車線変更やゆるやかなカーブの場合には撮像方向の回転
制御を行わず、交差点等を右左折する場合などハンドル
舵角変化量が大きくなった走行状態の場合に、死角が生
じる部分の撮像をするよう制御することができる。

【００２９】図１０は車速により撮像手段１を駆動制御
する処理例を示す説明図である。ここでは、ギヤポジシ
ョン又は車速に応じて撮像手段を上下方向に駆動制御す
る。即ち、高速になればより前方の画像が必要になるた
め、車両の走行速度によって画像処理で必要となる対象
を変更している。

【００３０】車速が４０［ｋｍ／ｈ］未満である場合、
図１０に示す領域Ａを撮像すべく、撮像方向１Ａを下方
向に駆動する。４０［ｋｍ／ｈ］以上〜８０［ｋｍ／
ｈ］未満である場合は、領域Ｂを撮像するよう撮像手段
を駆動制御する。また、８０［ｋｍ／ｈ］以上である場
合は領域Ｃ撮像すべく撮像手段１を上方向に駆動制御す
る。

【００３１】また、ギアポジションを利用して処理を行
っても良い。ギアポジションを利用すると車両の車速を
予測することとなり、画像処理に必要な時間との対応を
十分に取ることができる。ギアポジションによって、
「１速」の場合は低速であるとして図１０に示す領域Ａ
を対象にする。「２速」の場合には領域Ｂを、「３速」
以上の場合は領域Ｃを撮像するように撮像手段１を上下
方向に駆動制御する。このため、図２に示した場合には
ドライバーの視点よりも低い部分を撮像することとな
る。

【００３２】本実施例では、このような車速による撮像
手段の駆動制御を行い、右左折時には、当該速度による
上下方向の位置づけ上で、左右方向の制御を行ってい
る。図３に示した例では、撮像方向１Ａでかつ図１０の
領域Ａ部分を撮像することとなる。また、上述したウイ
ンカ信号による左右方向の駆動制御において、５段階に
回転させることとし、低速の場合と高速の場合とで撮像
手段の回転角度を変更するように制御しても良い。

【００３３】画像処理部５は、上述のように生成された
画像データを対象に障害物の検出等の画像処理を行う。
そのため、右左折時の死角を対象に障害物の検出等を行
うことができる。

【００３４】また、撮像手段を２つ備えた構成として、
動画像解析を行うようにしても良い。これは、２つの撮
像手段からの２画像から差分画像を生成し、動物体の輪
郭を抽出しようとするものである。ここでは、撮像手段
からの動画により連続差分画像を生成し、この連続した
画像での論理和をとることで、移動中の物体を検出す
る。

【００３５】他の例として、１つの撮像手段であって
も、画像中の明度の変化を抽出することで、画像中に移
動体が含まれるか否かを検出する手法も提案されてい
る。これら動画像解析を用いて、右左折時の低速走行中
に死角を撮像して当該死角の画像中に動物体があるか否
かの検出を行うようにしてもよい。

【００３６】また、画像処理を行わずに、死角部分の撮
像を継続して記憶しておくようにしてもよい。

【００３７】上述したように本実施例によると、撮像制
御部が、ウインカ信号等に基づいて撮像手段の撮像方向
を制御するため、これまでの画像処理では死角になりや
すい領域を対象に画像認識処理を行うことができる。

【００３８】

【発明の効果】本発明は以上のように構成され機能する
ので、これによると、走行状態検出部が、車両の右左折
や車線変更等の進行状態を検出し、撮像制御部が、この
走行状態検出部からの出力信号が示す当該右折及び左折
方向に対して左右反対方向を撮像方向とするように撮像
手段を駆動制御するため、撮像手段は、この撮像制御部
の駆動制御に従って撮像することで走行状態に応じた死
角部分の原画像データを生成することができる。さら
に、前処理部が、当該原画像データから画像データを生
成するため、ドライバーにとっての死角部分について画
像認識処理を行う場合の前提となる画像データを出力す
ることができる。このように、車両の進行状態を検知し
てドライバーの死角となる領域を認識処理対象とするこ
とができる従来にない優れた車載用画像データ生成装置
を提供することができる。

【図面の簡単な説明】

【図１】本発明の一実施例の構成を示すブロック図であ
る。

【図２】撮像制御部の通常の処理例を示す説明図で、図
２（ａ）は車両前方を撮像する例を示す説明図で、図２
（ｂ）はその原画像データの概略図である。

【図３】撮像制御部の本実施例による処理例を示す説明
図で、図３（ａ）は右折時に左方向を撮像する例を示す
説明図で、図３（ｂ）はその原画像データの概略図であ
る。

【図４】図１に示した走行状態検出部がウインカ信号に
より走行状態を検出する処理例を示すブロック図であ
る。

【図５】図４に示した例における処理工程を示すフロー
チャートである。

【図６】図１に示した走行状態検出部がハンドル舵角に
より走行状態を検出する処理例を示すブロック図であ
る。

【図７】図６に示した例における処理工程を示すフロー
チャートである。

【図８】図１に示した走行状態検出部がハンドル舵角変
化量により走行状態を検出する処理例を示すブロック図
である。

【図９】図８に示した例における処理工程を示すフロー
チャートである。

【図１０】図１に示した走行状態検出部が車速により走
行状態を検出する処理による撮像位置の一例を示す説明
図である。

【符号の説明】

１ 撮像手段 ２ 撮像制御部 ３ 走行状態検出部 ４ 前処理部 ５ 画像処理部

Claims (1)

【特許請求の範囲】
1. 【請求項１】 車両前方を撮像する撮像手段と、この撮
   像手段の動作を制御して当該撮像手段が撮像した原画像
   データの出力タイミングを制御する撮像制御部と、当該
   原画像データからノイズ除去等の前処理を行うことで画
   像データを生成する前処理部とを備えた車載用画像デー
   タ生成装置において、 前記撮像制御部に、車両の右折及び左折方向等の走行状
   態を検出する走行状態検出部を併設すると共に、前記撮
   像制御部が、前記走行状態検出部からの出力信号が前記
   車両の右折を示す信号であれば左方向を撮像方向とし又
   左折であれば右方向を撮像方向とするように前記撮像手
   段を駆動制御する機能を備えたことを特徴とする車載用
   画像データ生成装置。