JP3685574B2 - 運転支援画像取り込み装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、複数方向の画像を取り込み、取り込まれた複数の画像から有用な合成画像情報を得る技術に関するものであり、自動車の運転の教習にあたって、被教習者と教官とが教習用自動車に同乗し、教習所外の路上を運転する場合に、自動車の四方の画像を撮影しておき、このような撮像画像を路上運転の実習後、再生して教官による教習の用に供する等の用途に役立つ、運転支援画像取り込み技術に関する。
【０００２】
【従来の技術】
自動者教習用に従来使用されてきた装置の構成例を図３に示した。
装置は、複数の撮像装置（具体的にはＣＣＤカメラ）８、９、２と、これらのカメラからの画像情報を所定の表示状態に適合するように処理する画像処理装置４（例えば４分割表示用画像処理ユニット）とを備え、さらに、この４分割表示用画像処理ユニットからの合成画像情報を記憶するための記録装置５（所謂、ビデオレコーダ）を備えて構成されていた。
装置の使用にあたっては、図３（イ）に示すように、４台の撮像装置を備える場合、第１の撮像装置８を自動車前方画像の撮像に、第２、３の撮像装置を自動車、左右前方画像９ａ、９ｂの撮像に、さらに、第４の撮像装置９ｃを運転席画像の撮像に供するようにしていた。得られた合成画像情報は、４台の撮像装置により採録された画像が、同一画面上に、図３（ロ）に示すように４分割状態で合成されるものとされており、収録後の再生にあたっては、図３（ロ）に示すような４分割状態の表示が常にされる構成となっていた。
一方、前方画像のみからなる合成画像（画像処理しないもの）も、装置動作開始前の選択により、得られるようになっていた。
【０００３】
【発明が解決しようとする課題】
従って、初期の選択により、運転開始から終了に到るまで、１方向のみの画像を使用した合成画像、もしくは、４方向の画像を得て合成画像を得るものとなっていた。
さて、例えば、４方向の画像から合成画像を得る選択を行った場合、教官と被教習者が教習所にもどって、再生して見ることができる画像は、図３（ロ）に示すような分割画像であり、この構成の画像が、路上運転開始から路上運転終了まで連続する。結果、本来、見る必要の無い画像まで、常時、見ることとなっていた。
さらに、教官は、収録された路上運転の状況をみながら、要所々で、コメントすることとなるが、経時的に連続した画像情報上でのこのようなコメント必要部位の割り出しは、連続的に画面を送りながら手動でおこなう必要があった。
【０００４】
本発明は、上記のような問題を解消し、使用勝手のよい運転支援画像取り込み装置を得ることにある。
【０００５】
【課題を解決するための手段】
この目的を達成するための本発明による、運転支援画像取り込み装置の特徴構成は、請求項１に記載されているように、
自動車運転教習用自動車の運転室内から見た前方正面の画像を撮像可能な主撮像装置と、前記主撮像装置とは異なった方向の画像を撮像可能な複数の副撮像装置とを備え、前記複数の副撮像装置により、前方正面を除く車周りと運転者の運転状態とを撮像可能に構成され、
走行速度を検出する走行速度検出装置を状態検出装置として備え、
前記走行速度検出装置により検出される走行速度に基づいて前記主撮像装置及び前記副撮像装置からの画像信号を選択し、
前記走行速度が高い場合に、自動車の前方正面画像を、前記走行速度が低い場合に、前記自動車の前方正面画像と、前方正面を除く車周りの画像とが組み合わされた画像を得る画像処理装置を備えるとともに、
前記画像処理装置で得られた画像を記憶する記録装置を備えたことにある。
この運転支援画像取り込み装置は、複数の撮像装置（主撮像装置及び副撮像装置）を備え、これら複数の撮像装置からそれぞれ、異なった方向の画像信号が取りこまれ、これが画像処理装置に送られ、処理の対象となる。
ここで、副撮像装置としては、少なくとも前方正面を除く車周りと、運転者の運転状態とを撮像可能に構成されている。
一方、この画像取り込み装置には、状態検出装置が備えられ、この検出装置により、撮像環境の状態が検出される。このような撮像環境の状態として、自動車の走行速度を挙げることができる。
そして、この装置の画像処理装置にあっては、状態検出装置の検出結果に基づいて、画像を構成する要素となる原画像の選択が行われ、選択された画像信号から画像が合成される。即ち、走行速度が高い場合に、自動車の前方正面画像を、走行速度が低い場合に、自動車の前方正面画像と、前方正面を除く車周りの画像とが組み合わされた画像を得る。
従って、装置においては、画像を撮像環境に状態に応じたものとでき、このような環境状態に応じた画像を得ることができる。
そして、このような構成の運転支援画像取り込み装置において、この装置に記録装置を備えておくことで、画像処理装置で生成される画像を記録装置に記憶させておいて、後の用に供することができる。
走行速度は、自動車周りの情報を必要とする場合に対応する場合が多く、この検出情報に連動して画像の生成構成を変化させることにより、運転環境に適切に対応した画像を得ることができる。
【０００６】
この目的を達成するための本発明による、運転支援画像取り込み装置の特徴構成は、請求項２に記載されているように、
自動車運転教習用自動車の運転室内から見た前方正面の画像を撮像可能な主撮像装置と、前記主撮像装置とは異なった方向の画像を撮像可能な副撮像装置とを備え、
前記複数の副撮像装置により、前方正面を除く車周りと運転者の運転状態とを撮像可能に構成され、
運転席付近の音声情報を収集する音声検出装置を状態検出装置として備え、
前記音声検出装置により検出される音声の有無に基づいて前記主撮像装置及び前記副撮像装置からの画像信号を選択し、
前記検出される音声が無い場合に、自動車の前方正面画像を、前記検出される音声が有る場合に、前記自動車の前方正面画像と、前方正面を除く車周りの画像とを組み合わせた画像を得る画像処理装置を備えるとともに、
前記画像処理装置で得られた画像を記憶する記録装置を備えたことにある。
この運転支援画像取り込み装置は、複数の撮像装置（主撮像装置及び副撮像装置）を備え、これら複数の撮像装置からそれぞれ、異なった方向の画像信号が取りこまれ、これが画像処理装置に送られ、処理の対象となる。
ここで、これら複数の副撮像装置により、前方正面を除く車周りと運転者の運転状態とを撮像可能に構成されている。
一方、この画像取り込み装置には、状態検出装置が備えられ、この検出装置により、撮像環境の状態が検出される。このような撮像環境の状態としては、教習用自動車の例の場合は、運転席付近の音声情報の有無を挙げることができる。
そして、この装置の画像処理装置にあっては、前記音声検出装置により検出される音声の有無に基づいて、画像を構成する要素となる原画像の選択が行われ、選択された画像信号から画像が合成される。即ち、検出される音声が無い場合に、自動車の前方正面画像を、前記検出される音声が有る場合に、前記自動車の前方正面画像と、前方正面を除く車周りの画像とを組み合わせた画像を得る。従って、装置においては、画像を撮像環境の状態に応じたものとでき、このような環境状態に応じた画像を得ることができる。
そして、このような構成の運転支援画像取り込み装置において、この装置に記録装置を備えておくことで、画像処理装置で生成される画像を記録装置に記憶させておいて、後の用に供することができる。
【０００７】
さて、上記のような運転支援画像取り込み装置において、前記副撮像装置が、自動車の左前方領域を撮像する左前方副撮像装置と、自動車の右前方領域を撮像する右前方副撮像装置とを備えていることが好ましい。
この装置にあっては、前記主撮像装置からの画像に加えて、自動車の左右前方一対の画像を取り込むことができ、車前方の画像と左右前方の画像とを、適切に選択、組み合わせた合成画像を得ることができる。
【０００８】
さらに、前記主撮像装置の撮像範囲が、バックミラーに写る後方画像を含む前記運転室内から見た自動車の前方正面領域であることが好ましい。
自動車前方の画像としては、フロントガラスから見える画像を撮れば、一応の走行状態の把握は可能であり、この画像を使用して、有用な合成画像を得ることができる。しかしながら、例えば、自動車教習用等に使用する場合にあっては、バックミラーからの自動車後方の情報も含まれている方が、運転者が実際に体験する運転状況をよりリアルに代表するものとなる。
従って、バックミラーに写る自動車後方画像を含む画像情報を主撮像装置によって捕らえることにより、より現実感のある合成画像を得ることができる。
【０００９】
さらに、前記画像処理装置で得られた画像には、前記運転者の運転状態を撮像した画像が、画像内に含まれる。
【００１０】
【発明の実施の形態】
本願の実施の形態を図面に基づいて以下説明する。
図１には、本願の自動車教習用の運転支援画像取り込み装置１の構成及び使用状態が示されており、図２は、本願の画像取り込み装置１により取り込まれるとともに、合成処理された合成画像の表示状態を示している。
【００１１】
運転支援画像取り込み装置１は、基本的には、複数の撮像装置２（これは、主撮像装置８と副撮像装置９とからなる）と、撮像環境の状態を検出する状態検出装置３と、複数の撮像装置２からの画像信号を選択し、選択された画像信号からなる合成画像信号を得る画像処理装置４と、作成された合成画像信号を記憶する記録装置５を備えて構成されている。従って、従来技術との差異は、状態検出装置３が備えられ、この状態検出装置３の検出結果に基づいて、合成画像情報を構成する原画が選択されて、適切に合成される点にある。さらに、後にも示すように、従来、４分割均等に表示する構成とされていた合成画像は、本願の場合、原画の、合成画像全体に於ける部分を成す画像（この画像を部分画像と呼ぶ）の位置、専有面積等が設定変更可能に構成されており、予め、各部分画像の位置、専有面積等が、使用者によって適切に設定され、この設定に従って合成画像信号を生成し、さらに表示できるように構成されている。
【００１２】
さらに、詳細に、図１、２に基づいて説明する。
この運転支援画像取り込み装置１は、運転教習用自動車６の運転室７内から見た前方正面の画像を撮像可能な主撮像装置８と、この主撮像装置８とは異なった方向の画像を撮像可能な副撮像装置９とを備えている。
さらに具体的には、主撮像装置８の撮像範囲は、バックミラー１０に写る後方画像を含む運転室７内から見た自動車６の前方正面領域に設定されている。一方、副撮像装置９は、図１にも示すように、自動車６の左前方領域を撮像する左前方副撮像装置９ａ、右前方領域を撮像する右前方副撮像装置９ｂ、運転状態にある運転者の運転状態を撮像する運転者副撮像装置９ｃを備えている。従って、本願の画像取り込み装置１においては、合計４種の原画を得ることができる構成となっている。この場合、副撮像装置として、図１に示すように、自動車の後方画像を得るものを使用してもよい。
次に装置１には、運転教習用自動車６の運転状態を検出する状態検出装置３が備えられている。この状態検出装置３として、様々な装置を採用可能であるが、この実施の態様においては、所謂、走行速度検出装置１２が状態検出装置３として働くように構成されている。
この状態検出装置３によって、自動車６の走行速度が検出され、この走行速度の検出値に従って、合成画像の合成状態が変更される構成とされている。図２に示すように、合成画像の一例として、本願においては、図２（イ）に示す標準画像１１と、図２（ロ）に示すオプション画像１３が用意されている。
ここで、図示するように標準画像１１は、主撮像装置８によって取り込まれるバックミラー１０を含む運転室７内から見た自動車の前方正面画像１４に、運転者副撮像装置９ｃからの画像を合成したものである。この運転者画像１５は、前方正面画像１４に対して、その右上に配設されている。
一方、オプション画像１３は、前記標準画像１１の左右に、前記左前方副撮像装置９ａ、右前方副撮像装置９ｂ、それぞれからの画像が追加されたものとなっている。即ち、左前方副撮像装置９ａからの左前方画像１６が標準画像１１の向かって左側に、右前方副撮像装置９ｂからの右前方画像１７が標準画像１１の向かって右側に、追加されている。
オプション画像１３は、これら全ての部分画像が合成されて一画面を構成するものである。
【００１３】
以上説明したように、本願にあっては、複数の合成状態（その第１は基本となる標準画像１１を合成する状態であり、第２は前記オプション画像１３を合成する状態）が予め設定されている。ここで、当然、この設定にあたっては、使用される部分画像である原画の配置、専有面積等も所望の状態に設定される。
さて、本願の画像取り込み装置１においては、上記複数の合成状態の選択が、
先に説明した状態検出装置３として働く走行速度検出装置１２の検出情報に従って行われる。即ち、走行速度が大きい場合（例えば２０ｋｍ／ｈｒより大きい）は、先に説明した標準画像１１を得る処理をおこなうように構成され，走行速度が小さい場合（例えば２０ｋｍ／ｈｒ以下）は、合成画像の状態を先に説明したオプション画像１３を得る処理をおこなうように構成されている。
即ち、本願の運転支援画像取り込み装置１は、状態検出装置３の検出結果に基づいて主撮像装置８及び副撮像装置９からの画像信号を選択し、選択された画像信号からなる合成画像信号を得る画像処理装置４を備える構成となっているのである。
従って、画像処理装置４は、先に説明した２状態での合成画像の画像信号情報を選択的に生成するように構成されており、この２状態の切り換えは、走行速度検出装置１２からの検出情報によるものとされている。即ち、画像処理装置４には、各原画像に対して、使用すべき部分画像の選択、選択された部分画像の配置、各専有面積を予め設定可能な合成画像処理条件入力機構１８を備えており、この機構１８より入力される条件に従って、画像処理をおこなう構成とされている。
一方、状態検出装置３からの入力は、画像の取り込みと同時に行われ、検出情報の値に従って、先に説明した２状態の選択が行われる。
さらに、この画像処理装置４の出力側に、上記条件に従って、処理合成生成された合成画像信号を記憶する記録装置５が備えられている。
さて、本願の運転支援画像取り込み装置１には、運転席付近の音声情報を収集するマイクロホン（音声検出装置）２０も備えられ、このマイクロホン２０により運転席付近の音声も合成画像情報と並行して取り込むことができるようになっている。この音声情報は、その有無を確認できる構成とされ、音声入力がある場合に、合成画像をオプション画像１３に合成し、音声入力がない場合に、合成画像を標準画像１１に維持する構成とされている。従って、この構成においては、マイクロホン２０も一種の状態検出装置３として働く。言い換えれば、この運転支援画像取り込み装置１には、状態検出装置３として、運転教習時に運転者と同乗する教官により入力される入力信号（実質上は教官の声）の有無を検出する教示ポイント入力信号検出装置２１（教官音声情報の有無を検出する装置）が備えられている。このマイクロホン２０は、運転席付近の音声を検出するため、この位置に伝わってくる音声を環境音として捕らえる。
【００１４】
以下、本願の運転支援画像取り込み装置１を自動車教習用に使用する場合を説明する。
使用にあたっては、運転教習用自動車６の所定箇所に先に説明した撮像装置８、９を取付けた状態で装置は使用される。
装置１は、路上走行時に使用され、一定の走行順路を経る訓練運転時に渡って作動する。先に説明したように、記録装置５に記憶される合成画像は、通常走行時（比較的高速での運転が行われている）には、図２（イ）に示す状態の標準画像１１の状態とされており、低速運転時あるいは教官等の音声が入っている場合は、図２（ロ）に示すオプション画像１３が記録されたものとなる。
そして、路上走行を終了した時点で、記憶媒体であるテープ２２を外し、別途、用意されているＴＶ（図外）で、路上運転の状態を被教習者、教官が共に見ることができる。
この場合、これまで説明してきたように記録されている合成画像情報は、２状態の表示画像が混ざったものとなる。
即ち、一般に路上運転にあたっては、低速運転は、車が交差点にさしかかった場合、カーブに掛かった場合等に起こるものであり、このような場合に、車の周り状況を再度、合成画像情報から得て、適切な教官のアドバイス等を得ることができる。このような場合に、自動車６の前方正面画像のみでなく、自動車６の周囲の情報も載録されていることが、非常に有用である。
さらに、教官が音声で何か指示を与えた状況にあっても、本願においては、オプション画像１３が表れる構成となる。このような場合も、通常、一旦停止が必要であったり、左右の確認が必要な場合が多い。このような状況において、本願にあっては、オプション画像１３を見て、適切なアドバイス等を受けることができる。
さて、通常の高速走行時は、特に問題なく走行している場合が多い。このような場合にあっては、標準画像１１の確認だけて、充分、運転状況を把握することができる。
【００１５】
【図面の簡単な説明】
【図１】 本願の画像取り込み装置の使用状態を示す図
【図２】 合成画像信号の表示状態を示す図
【図３】 従来技術の説明図
【符号の説明】
１ 運転支援画像取り込み装置
２ 撮像装置
３ 状態検出装置
４ 画像処理装置
５ 記録装置
６ 運転教習用自動車
７ 運転室
８ 主撮像装置
９ 副撮像装置
１０ バックミラー
１１ 標準画像
１２ 走行速度検出装置
１３ オプション画像
２１ 教示ポイント入力信号検出装置

Claims (5)

1. 自動車運転教習用自動車の運転室内から見た前方正面の画像を撮像可能な主撮像装置と、前記主撮像装置とは異なった方向の画像を撮像可能な複数の副撮像装置とを備え、前記複数の副撮像装置により、前方正面を除く車周りと運転者の運転状態とを撮像可能に構成され、
   走行速度を検出する走行速度検出装置を状態検出装置として備え、
   前記走行速度検出装置により検出される走行速度に基づいて前記主撮像装置及び前記副撮像装置からの画像信号を選択し、
   前記走行速度が高い場合に自動車の前方正面画像を、前記走行速度が低い場合に、前記自動車の前方正面画像と、前方正面を除く車周りの画像とが組み合わされた画像を得る画像処理装置を備え、
   前記画像処理装置で得られた画像を記憶する記録装置を備えた運転支援画像取り込み装置。
2. 自動車運転教習用自動車の運転室内から見た前方正面の画像を撮像可能な主撮像装置と、前記主撮像装置とは異なった方向の画像を撮像可能な複数の副撮像装置とを備え、前記複数の副撮像装置により、前方正面を除く車周りと運転者の運転状態とを撮像可能に構成され、
   運転席付近の音声情報を収集する音声検出装置を状態検出装置として備え、
   前記音声検出装置により検出される音声の有無に基づいて前記主撮像装置及び前記副撮像装置からの画像信号を選択し、
   前記検出される音声が無い場合に、自動車の前方正面画像を、前記検出される音声が有る場合に、前記自動車の前方正面画像と、前方正面を除く車周りの画像とを組み合わせた画像を得る画像処理装置を備え、
   前記画像処理装置で得られた画像を記憶する記録装置を備えた運転支援画像取り込み装置。
3. 前記副撮像装置が、自動車の左前方領域を撮像する左前方副撮像装置と、自動車の右前方領域を撮像する右前方副撮像装置とを備えた請求項１又は２項記載の運転支援画像取り込み装置。
4. 前記主撮像装置の撮像範囲が、バックミラーに写る後方画像を含む前記運転室内から見た自動車の前方正面領域である請求項１〜３のいずれか１項に記載の運転支援画像取り込み装置。
5. 前記画像処理装置で得られた画像に、前記運転者の運転状態を撮像した画像が含まれている請求項１〜４のいずれか１項記載の運転支援画像取り込み装置。

Images