JPWO2010050012A1

JPWO2010050012A1 - 車載用カメラモジュール

Info

Publication number: JPWO2010050012A1
Application number: JP2010535554A
Authority: JP
Inventors: 秀行瀬戸; 英敏梅田; 圭俊中田
Original assignee: Kyocera Corp
Current assignee: Kyocera Corp
Priority date: 2008-10-29
Filing date: 2008-10-29
Publication date: 2012-03-29
Also published as: US20110317015A1; WO2010050012A1

Abstract

車の走行状況と運転手の状況とから運転手の居眠りやよそ見などを検知し、危険を知らせたり、前の車との車間距離や道に飛び出してくる物体を検知して危険がある場合は知らせたり、ドライブレコーダとして機能し、事故の際に運転手の状況、車の状況、道路状況などの撮像結果を証拠として使うことができ、かつ、複雑な画像処理を必要とせずに車の前方と車内の両方の撮像を可能とした、車載用カメラモジュールをコストを抑えながら提供することが課題であり、撮像素子と、その撮像素子に車内の映像を結像させる車内撮像用光学系と、前記撮像素子に車前方の車外映像を結像させる反射鏡を含んだ車外撮像用光学系とで構成され、車内に設けられて車内及び車外とを監視するようにした。

Description

本発明は車載用カメラモジュールに係り、特に、車内の運転手の状態と車前方の車外映像とを１つの撮像装置で撮像し、車の走行状況と運転手の状況とから運転手の居眠りやよそ見などを検知して危険を知らせたり、前の車との車間距離や道に飛び出してくる物体を検知して危険がある場合に警告を発したり、ドライブレコーダとして機能し、事故の際に運転手の状況や車の状況、道路状況などの撮像結果を証拠として使えるようにする、等に好適な車載用カメラモジュールに関するものである。

車の内外を撮像し、車内の運転手の状態と車外撮像画像から判断される車の走行状況とから運転手の居眠りやよそ見などを検知し、危険を知らせたり、前の車との車間距離や道に飛び出してくる物体を検知して危険が有る場合は知らせたり、ドライブレコーダとして機能させ、事故の際に運転手の状況、車の状況、道路状況などの撮像結果を証拠として使えるようにする、等に好適な車載用カメラモジュールに関しては例えば特許文献１がある。

この特許文献１に示された車両監視ユニットおよびルームミラー装置は、ルームミラー装置に設けられた前方監視カメラと、車内監視カメラと、これらのカメラの撮影画像を記憶する画像記憶装置とを有し、車に人が乗り込むと前方監視カメラがオンし、車が動き始めると前方監視カメラで撮影されている画像が動くのでこれに基づき、制御部が自動車が動きはじめたことを検出して車内監視カメラをオンに切り替える。この車内監視カメラは運転者の顔面および車内の撮影をおこない、運転者の顔面が一定時間以上に亘って継続して下向きあるいは上向きの状態になっていることが検出されると、警報部から警報音を発生させて居眠り運転による危険を未然に防止する。

また特許文献２には、車のアウトサイドミラー装置のハウジング後側に可視光は通して近赤外線を反射するミラーを内蔵させ、その背面に可視光及び近赤外線を撮像可能なカメラを配置すると共にハウジング前方に開口を設け、この開口から入射した近赤外線と後の車のヘッドランプなどの近赤外線反射ミラーを透過した可視光とを撮像し、車内モニターに表示するようにした自動車周囲監視装置が示されている。

また、車の内外状況を視野内に収める取付位置に、３６０°全方位にわたる視野を有して視野内に運転者の映像が含まれるような姿勢となした全方位カメラを設け、映像信号を記録すると共に必要に応じて外部機器にも出力できるようにして、事故発生原因や被害の発生原因を客観的に分析することを可能にした監視装置なども用いられている。

特開２００６−１９３０５７号公報特開２００７−５０７４９号公報

しかしながら特許文献１に示された車両監視ユニットおよびルームミラー装置は、前方監視カメラと車内監視カメラという複数のカメラを使用するため、コストが高くなってしまう。また、特許文献２に示された自動車周囲監視装置は車室外しか監視できず、さらに構造上、前方の撮像画像と後方の撮像画像が混ざって見づらくなってしまう。そして３６０°全方位にわたる視野を有し、視野内に運転者の映像が含まれるような姿勢となした全方位カメラを用いる方法は、全方位カメラや球面レンズが必要で、球型レンズ部分が視認できる外観となるから車内の美観が損なわれる可能性がある。また、球型レンズを使用するため撮影した画像が歪み、補正が必要となるが、画像の歪み補正を行なった場含は画像がぼやける現象が起こり、例えば運転者の目を撮像したり白線を撮像して車の揺らぎや運転者が居眠りやよそ見しているかどうかの判断をする場合、的確な判断ができなくなる可能性がある。

そのため本発明においては、車の走行状況と運転手の状況とから運転手の居眠りやよそ見などを検知して危険を知らせたり、前の車との車間距離や道に飛び出してくる物体を検知して危険がある場合は知らせたり、ドライブレコーダとして機能し、事故の際に運転手の状況、車の状況、道路状況などの撮像結果を証拠として使うことができ、かつ、複雑な画像処理を必要とせずに車の前方と車内の両方の撮像を可能とした、車載用カメラモジュールをコストを抑えながら提供することが課題である。

上記課題を解決するため本発明になる車載用カメラモジュールは、
車内に設けられて車内及び車外とを監視する車載用カメラモジュールであって、
撮像素子と、該撮像素子に車内の映像を結像させる車内撮像用光学系と、前記撮像素子に車前方の車外映像を結像させる車外撮像用光学系と、前記車内撮像用光学系または車外撮像用光学系のいずれかからの光を前記撮像素子側に向ける反射鏡、または前記車内撮像用光学系または車外撮像用光学系のそれぞれに対応して設けられてそれぞれの光学系からの光を前記撮像素子側に向ける反射鏡と、からなることを特徴とする。

このように車載用カメラモジュールを構成することで、例え撮像素子を１つとしてコストを抑えても車内と車の前方の両方の撮像が可能となる。しかもそれにより、車内の運転手の状態や車の前方車外の状態とから、運転手の居眠りやよそ見や前の車との車間距離が近くなりすぎている、道に飛び出してくる物体があるなどの危険を察知し、それを運転手に警報で知らせたりドライブレコーダとして機能させることが可能となると共に、事故の際に運転手の状況、車の状況、道路状況などの撮像結果を証拠として使うこともできる。

また、前記撮像素子は、前記車内撮像用光学系により映像が結像される領域と、前記車外撮像用光学系により映像が結像される領域とが別領域とすると、車載用カメラモジュールに動く部分を何も設けずとも車内と車外とを同時に撮像でき、表示装置に表示させたり録画装置に記録するなどのことが可能となるから、それによって危険検知や事故の際の証拠映像としての価値が高まる。

さらに、前記車載用カメラモジュールは、前記車内撮像用光学系と車外撮像用光学系とにそれぞれシャッターを有し、前記一のシャッターを開いた状態で他のシャッターを閉じ、他のシャッターを開いた状態で一のシャッターを閉じて撮像を行わせるシャッター制御部をさらに有していることで、車内と車外の映像を切り換えて表示、あるいは記録することができ、それぞれの映像が画面を２分した場合より広く、若しくは詳細な映像として表示したり記録したりすることができる。

そして、前記反射鏡は、反射角度を電気的に制御可能な鏡を複数併設して構成することで、シャッターや反射角度を機械的に変化させることのできる鏡などの複雑な構成を用いずとも、例えば車内の映像と車外の映像を切り換えて撮像したり、複数の鏡のそれぞれの反射角を変化させ、広範囲に亘る映像を撮像素子数を増やすことなく撮像できるようにする、などのことが可能となる。

そして、前記車載用カメラモジュールは、前記車内撮像用光学系によって撮像された車内撮像画像情報と、前記車外撮像用光学系によって撮像された車外撮像画像情報とに基づき、異常を検知して警告信号を発する異常検知制御部を有していることで、前記したように車内の運転手の状態や車の前方車外の状態から、運転手の居眠りやよそ見や前の車との車間距離が近くなりすぎている、道に飛び出してくる物体があるなどの場合は運転手に警報で知らせることが可能となる。

また、前記車載用カメラモジュールは、前記撮像素子の撮像した画像情報を記憶する記録部を有していることで、これも前記したように、事故などに際して運転手の状況、車の状況、道路状況などの撮像結果を証拠として使うようにすることができる。

さらに、前記車載用カメラモジュールは、車内におけるルームミラーに設置されていることで、運転の邪魔にならず、また、車内の美観を損ねることや新たに本発明のカメラモジュールを設置する場所を設けることなく、設置することができる。

以上記載のごとく本発明になる車載用カメラモジュールは、撮像素子を１つとしてコストを抑えているにもかかわらず車内と車の前方の両方を撮像することが可能であり、運転手の状態や車の前方車外の状態から、運転手の居眠りやよそ見や前の車との車間距離が近くなりすぎていること、道に飛び出してくる物体がある、などの判断をすることが可能となり、車載用カメラモジュールとして多くの効果を呈することができる。

（Ａ）は、本発明になる車載用カメラモジュールを組み込んだルームミラーの車内の配置状態概略であり、（Ｂ）はその車載用カメラモジュールを組み込んだルームミラーの概略断面と車内における運転手の目と車外前方との撮像状態の光路を示した図である。本発明になる車載用カメラモジュールによる危険検知のフロー図である。（Ａ）は図２のフロー図のステップＳ１２における道路の白線の画像認識による危険検知のフロー図、図３（Ｂ）は同じく図２のフロー図のステップＳ１３における運転手５２の目の画像認識による危険予知のフロー図である。本発明になる車載用カメラモジュールの実施例１の構成概略である。本発明になる車載用カメラモジュールの実施例１の説明ブロック図である。本発明になる車載用カメラモジュールの実施例２の構成概略である。本発明になる実施例２の車載用カメラモジュールにより車内と車外を交互に撮像するときの説明ブロック図で、（Ａ）は車内を撮像する場合、（Ｂ）は車外を撮像する場合である。本発明になる実施例２の車載用カメラモジュールの、（Ａ）が時分割のフロー図、（Ｂ）がそのタイムチャートである。本発明になる車載用カメラモジュールの実施例３の構成概略である。本発明になる実施例３の車載用カメラモジュールにより、撮像素子上領域で車内の画像を、下領域で車外を時系列的に広範囲な画像を、それぞれ撮像するときの制御回路を含んだ動作説明のブロック図である。本発明になる実施例３の車載用カメラモジュールを用い、（Ａ）は車外を時系列的に広範囲に撮像する場合のフロー図で、（Ｂ）はそのタイムチャートである。本発明になる車載用カメラモジュールの実施例４の構成概略であり、ＤＭＤを用いて車内と車外を交互に撮像する場合である。本発明になる実施例４の車載用カメラモジュールにより、時分割で車内と車外を交互に撮像するときの制御回路を含んだ動作説明のブロック図で、（Ａ）は車内を撮像する場合、（Ｂ）は車外を撮像する場合である。本発明になる実施例４の車載用カメラモジュールを用い、（Ａ）は時分割のフロー図で、（Ｂ）がそのタイムチャートである。

以下、図面を参照して本発明の好適な実施例を例示的に詳しく説明する。但しこの実施例に記載されている構成部品の形状等は、この発明の範囲をそれに限定する趣旨ではなく、単なる説明例に過ぎない。

図１（Ａ）は、本発明になる車載用カメラモジュールを組み込んだルームミラー１０の車内の配置状態概略であり、（Ｂ）はその車載用カメラモジュールを組み込んだルームミラー１０の概略断面と車内における運転手の目と車外前方との撮像状態の光路を示した図である。

本発明になる車載用カメラモジュールは、図１（Ａ）に示したように、運転手５２が運転する自動車５０における後方確認用ルームミラー１０などに組み込まれる。なお、以下の説明では、本発明になる車載用カメラモジュールを後方確認用ルームミラー１０の内部に設けた場合を例に説明してゆくが、現在の車にはサンバイザーなどに女性用の化粧鏡などが組み込まれた車輛も存在し、後記する構造により車の前方と車内の運転手とが撮像でき、かつ、車内の美観を損ねたり新たに本発明のカメラモジュールを設置する場所を設けることなく設置できるのであれば、こういった化粧鏡などに組み込んでも良いことは勿論である。

そして、図１（Ｂ）の概略断面図に示したように本発明になる車載用カメラモジュールは、後方確認用ルームミラー１０における鏡の部分をハーフミラー１２とし、内部に撮像素子１４、車内撮像用光学系１６、車外撮像用光学系１８、車外からの光を撮像素子１４に向かわせる反射鏡２０、などを必須構成要素とし、必要に応じて車内用シャッター２２、車外用シャッター２４が組み込まれてなっている。なお、反射鏡２０はこのように車外からの光を撮像素子１４に向かわせるために用いるだけでなく、車内の光を撮像素子１４に向かわせるため、もしくは、車内、車外の両者の光を撮像素子１４に向かわせるよう、それぞれの光学系に対応させて設けても良い。

そしてこの車載用カメラモジュールは、車が動き始めるとハーフミラー１２、車内撮像用光学系１６を介して撮像素子１４に結像される運転手５２の様子、車外撮像用光学系１８を介して撮像素子１４に結像される車外前方の様子の両方を、１つの撮像素子１４で撮像する。このとき、後方確認用ルームミラー１０の内部には光源がないため、ハーフミラー１２は運転手が後方を確認するときは通常のミラーとして機能し、内部の撮像素子１４からは素通しの状態と同じに作用し、運転手５２の撮像には何ら支障を生じない。また、車外撮像用光学系１８は、このルームミラー１０における車の前方に設けられるから車内からは見えず、車内の美観を損ねることがない。

またこのとき、車内と車外の映像は、後記するように撮像素子１４を上下に分割して同時に撮像する、車内と車外の映像をシャッターを用いて時分割で撮像する、反射角度を電気的に制御可能な鏡を用い、車外の広範囲な画像撮像を可能とする、あるいはシャッターの替わりに車内と車外の映像を切り換えて時分割で撮像する、等の方法を取る。

図２は、本発明になる車載用カメラモジュールによる危険検知のフロー図であり、図３（Ａ）はこの図２のフロー図のステップＳ１２における道路の白線の画像認識による危険検知のフロー図、図３（Ｂ）は同じく図２のフロー図のステップＳ１３における運転手５２の目の画像認識による危険予知のフロー図である。

まず図２のステップＳ１０で、以上説明した車外撮像用光学系１８により車の前方の画像を得て、ステップＳ１２で後記図３（Ａ）で説明するように、車外前方における道路の白線を画像認識で認識し、車が白線を複数回跨ぐように揺らいで運転されていることが検知され、また、ステップＳ１１で車内撮像用光学系１６により運転手５２の画像を得て、ステップＳ１３で後記図３（Ａ）で説明するように、特に運転手５２の目を画像認識で監視して一定時間目が検出できない、または顔が上や下を向いているなどと判断されると、ステップＳ１４で運転手５２が居眠りやよそ見などをしている可能性があるとして、それがステップＳ１５で車のＥＣＵ（Electronic Control Unit）に伝えられる。

前記した道路の白線の画像認識と危険の判断は、図３（Ａ）のフロー図に示したようにステップＳ２０で処理がスタートすると、ステップＳ２１で車外前方の監視が行われて白線などが画像認識され、ステップＳ２２で白線を跨いだことが認識され、ステップＳ２３でそれが例えば一定時間に３回以上など、予め定めた回数Ｎ以上行われると車が揺らいで走行している、としてステップＳ２４でＥＣＵへの報告が行われる。

また運転手５２の目の検出は、図３（Ｂ）のフロー図に示したように、ステップＳ３０で処理がスタートすると、ステップＳ３１で運転手５２の映像による監視が行われて目が画像認識され、ステップＳ３２で目検出ができない場合はステップＳ３３でそれが例えば１０秒など、予め定めたＮ秒という一定時間以上にわたると、運転手が居眠りやよそ見などをしている可能性がある、としてステップＳ３４でＥＣＵへの報告が行われる。なお、白線の認識や目の検出は、パターンマッチング方など、従来から知られている画像認識技術を用いて実施する。

再度図２に戻って、このように車が揺らいでいる、目が検出されないなど、運転手が居眠りやよそ見などをしている可能性があると判断されるとステップＳ１５のＥＣＵは、ステップＳ１６でアラームを発したり、ステップＳ１７でハンドル操作を重くして車が揺らぐのを防ぎ、ステップＳ１８でブレーキ制御を行ってスピードを緩めるなど、事故を防止するための処置を行う。

このようにすることで、運転手の居眠りやよそ見などによる事故を未然に防ぐことができ、また以上の説明では言及しなかったが、例えば前を走行する車を認識して車間距離を判断し、それによって前の車との間隔が小さくなりすぎたら警告を発したりブレーキを動作させ、さらに、横から人が飛び出してきたことを認識したら、同様にして警告を発したりブレーキを動作させる、などして危険を未然に防ぐためにも使用できる。また、このようにして撮像した画像を記憶する記録部を設ければ、事故などに際して運転手の状況、車の状況、道路状況などの撮像結果を証拠として使うようにすることもできる。

図４は、以上説明してきた本発明になる車載用カメラモジュールの実施例１の構成概略で、図５はその説明ブロック図である。なお、以下の説明では、前記図１で説明した構成要素と同一の構成要素に同一番号を付してある。

図４において１２はハーフミラー、１４は撮像素子、１４２は車内の運転手５２の目を撮像する撮像素子１４の上領域、１４４は車外の映像を撮像する撮像素子１４の下領域、１６は車内の映像を撮像素子１４に導く車内撮像用光学系、１８は車外の映像を撮像素子１４に導く車外撮像用光学系、２０は車外の映像を撮像素子１４方向に反射させる反射鏡である。なお、本実施例では撮像素子１４の上領域１４２を運転手監視用とし、下領域１４４を車外の映像撮像用としたが、撮像対象は逆であっても構わない。また、撮像素子１４を左右で分割するなど、車内と車外を撮像する領域が別領域であれば良く、図示した形態にこだわるものではない。

この実施例１の車載用カメラモジュールでは、撮像素子１４は、車内撮像用光学系１６による映像が結像される領域１４２と、車外撮像用光学系１８により映像が結像される領域１４４とが別領域とされ、車内と車外の映像を同時に表示装置に表示させたり、録画装置に記録させるなどのことを可能としたものである。

この場合の制御回路を含んだ動作説明のブロック図が図５であり、車内の運転手５２の目の画像はハーフミラー１２から車内撮像用光学系１６を介し、撮像素子１４の上領域１４２に結像する。一方、車の前方車外の映像は、車外撮像用光学系１８から反射鏡２０で反射されて、撮像素子１４の下領域１４４に結像する。

そのため撮像素子制御部３２は、これらの映像から前記図２に示したようなフロー図に従い、車の前方の画像から道路の白線を画像認識で認識し、車が白線を複数回跨ぐように揺らいで運転されていることが検知され、また、車内撮像用光学系１６により撮像された運転手５２の目が検出できないと判断されると、警告装置３４により警報を発したり、ハンドル操作を重くして車が揺らぐのを防いでブレーキ制御を行ない、スピードを緩めるなど、事故を防止するための処置を行うわけである。また撮像素子制御部３２は、こうして撮像したデータを記録部３０にも送らせ、事故の際の証拠となるよう、ビデオテープ、各種メモリなどに記録する。

このようにすることで、この実施例１の車載用カメラモジュールでは動く部分が何もないにもかかわらず、車内の運転手５２の目の映像と車の前方車外の映像を同時に撮像することができ、表示装置に表示させたり録画装置に記録するなどのことが可能となるから、それによって危険検知や事故の際の証拠映像としての価値が高まる。

以上説明してきた実施例１の車載用カメラモジュールにおいては、撮像素子１４を上下に分割して車内と車外の映像を撮像していたため、それぞれの領域は或る程度狭まり、素子数の少ない撮像素子１４を用いた場合は目の検出などに支障が出る場合も考えられる。そういった問題を起こさないよう、車内と車外の映像を交互に時分割で撮像するようにしたのが、図６、図７、図８に示した本発明になる実施例２の車載用カメラモジュールである。

まず図６は本発明になる車載用カメラモジュールの実施例２の構成概略であり、図７は車内と車外を交互に撮像するときの説明ブロック図で、図７（Ａ）は車内を撮像する場合、図７（Ｂ）は車外を撮像する場合、図８は（Ａ）が時分割のフロー図で、（Ｂ）がそのタイムチャートである。

この実施例２の車載用カメラモジュールでは、車内と車外の映像を切り換えるため、それぞれの光学系内にシャッター２２、２４を配してある。すなわち、車内撮像用光学系１６内にシャッター２２が、車外撮像用光学系１８にはシャッター２４が設けられ、車内の運転手５２の目を撮像する場合は車外撮像用光学系１８のシャッター２４が閉じられ、車外の道路状況を撮像する場合は車内撮像用光学系１６のシャッター２２が閉じられる。従って撮像素子１４には、撮像素子１４の有効画像領域一杯に車内の運転手５２の目と、車外の道路状況とが交互に結像され、それぞれの映像領域が狭められるということがない。

この場合の制御回路を含んだ動作説明のブロック図は図７に示したようになり、車内の運転手５２の状態を撮像する場合を示した図７（Ａ）は、運転手５２の目の画像がハーフミラー１２から車内撮像用光学系１６、シャッター制御部３６により開かれているシャッター２２を介して撮像素子１４に結像し、車外撮像用光学系１８側のシャッター２４はシャッター制御部３６でこの間、閉じられている。一方、車の前方車外の映像を撮像する場合を示した図７（Ｂ）は、車の前方車外の映像が車外撮像用光学系１８、シャッター制御部３６により開かれているシャッター２４、反射鏡２０を介して撮像素子１４に結像し、車内撮像用光学系１６側のシャッター２２はこの間、閉じられている。

この状態を示したのが図８（Ａ）のフロー図であり、ステップＳ４０で処理がスタートすると、ステップＳ４１で図８（Ｂ）の時間ｔ_１からｔ_２のようにシャッター１（図４におけるシャッター２４）が開いた状態では、ステップＳ４２でシャッター２（図４におけるシャッター２２）が図８（Ｂ）の時間ｔ_１からｔ_３のように閉じられる。そしてステップＳ４３で車外前方（白線）の画像が取得され、ステップＳ４４で前記図３（Ａ）に示したような白線検知アルゴリズムで白線が検知されて、それが済むとステップＳ４５でシャッター１（図４におけるシャッター２４）が図８（Ｂ）の時間ｔ_２で閉じられる。

一方、ステップＳ４１でシャッター１（図４におけるシャッター２４）が図８（Ｂ）の時間ｔ_２からｔ_５のように閉じた状態では、ステップＳ４６で同じく図８（Ｂ）の時間ｔ_３からｔ_４のようにシャッター２（図４におけるシャッター２２）が開かれる。そしてステップＳ４７で車の運転手５２の画像が取得され、ステップＳ４８で前記図３（Ｂ）に示したような目線検知アルゴリズムで目が検知されて、それが済むとステップＳ４９でシャッター１（図４におけるシャッター２４）が図８（Ｂ）の時間ｔ_５で開かれる。

このようにして撮像素子１４には車内と車外の画像が交互に結像されるから、撮像素子制御部３２は、これらの映像から前記図２に示したようなフロー図に従い、車の前方の画像から道路の白線を画像認識で認識し、車が白線を複数回跨ぐように揺らいで運転されていることが検知され、また、車内撮像用光学系１６により撮像された運転手５２の目が検出できないと判断されると、警告装置３４により警報を発したり、ハンドル操作を重くして車が揺らぐのを防いでブレーキ制御を行ない、スピードを緩めるなど、事故を防止するための処置を行うわけである。また撮像素子制御部３２は、こうして撮像したデータを記録部３０にも送らせ、事故の際の証拠となるよう、ビデオテープ。各種メモリなどに記録する。

このようにシャッター２２、２４を用いることで、この実施例２の車載用カメラモジュールは、車内の運転手５２の目の映像と車の前方車外の映像を交互に撮像することができるから、例えば図８（Ｂ）に示したタイムチャートのシャッター１が開いているタイミングだけの映像を表示装置に送れば車外の映像を、逆にシャッター２が開いているタイミングだけの映像を表示装置に送れば車内の映像を、それぞれ表示装置に表示させることも可能となり、また、両画像を録画装置に記録すれば、それによって危険検知や事故の際の証拠映像としての価値が高まる。

この実施例２の車載用カメラモジュールにおいては、車内と車外の画像を交互に撮像して実施例１における撮像素子１４を分割した場合の領域の狭まりに対応したが、運転手５２の目の撮像にはそれほどの画素数を必要としないから、車外の撮像における領域の狭まりに対処できれば、実施例１のように撮像素子１４の撮像領域を上下に分割する方法でも問題が生じない。そのような考え方に従って構成したのが図９、図１０、図１１に示した本発明になる実施例３の車載用カメラモジュールである。

図９は本発明になる車載用カメラモジュールの実施例３の構成概略であり、この本発明になる実施例３の車載用カメラモジュールにおいては、車外の画像を撮像素子１４に導く反射鏡２０２として、反射角度を電気的に制御可能な鏡、例えばシリコン基板上に数μｍ角程度の微小ミラーを多数並べ、この微小ミラーの傾きを静電引力を利用して変えることで、角度の異なる被写体からの光を撮像素子１４の異なった領域に導けるようにした、いわゆるＤＭＤ（Digital Micromirror Device：米テキサスインスツルメンツ社の登録商標）を用いたものである。

この反射角可変ミラー（以下、ＤＭＤと略称する）２０２を構成する２次元的に配置された微小な反射鏡は、各微小ミラーが画素を構成し、画素の対角位置において対角方向に設けられた二つの回転支軸によって、±１０度の範囲でシーソーのように可動するよう構成されている。そのため、例えば微小ミラーが＋１０度傾いた状態がＯＮ、−１０度傾いた状態がＯＦＦとすることで光線の出射方向を制御することができる。

そのため本発明においては、図９において下側に四角で囲った部分に示したように、複数のＤＭＤ２０２を角度を変えて複数配置し、それぞれのＤＭＤ２０２を順次ＯＮ／ＯＦＦさせることで、撮像素子１４の下領域１４４の四角で囲った部分の右側に図示したように、時系列で道路の白線の像を順次投影できるようにしたものである。このようにすることで、例え撮像素子１４を上下に分けた場合でも、広範な車外の画像を得ることができ、車外の撮像領域の狭まりに対処できる。

図１０は本発明になる実施例３の車載用カメラモジュールにより、撮像素子上領域で車内の画像を、下領域で車外の画像を時系列的に広範囲に、それぞれ撮像するときの制御回路を含んだ動作説明のブロック図、図１１（Ａ）は車外を時系列的に広範囲に撮像する場合のフロー図で、図１１（Ｂ）はそのタイムチャートである。

前記図５で説明したのと同様、この図１０においても車内の運転手５２の目の画像はハーフミラー１２から車内撮像用光学系１６を介し、撮像素子１４の上領域１４２に結像する。一方、車の前方車外の映像は、車外撮像用光学系１８からＤＭＤ２０２で反射され、撮像素子１４の下領域１４４に結像するが、このとき、ＤＭＤ制御部３８が前記したように複数のＤＭＤ２０２を順次ＯＮ／ＯＦＦさせることで、図９の下部右の図で説明したように、時系列で道路の白線の像を順次投影させることができる。

この状態を示したのが図１１（Ａ）のフロー図と（Ｂ）のタイムチャートである。今、図１１（Ａ）のフロー図におけるステップＳ５０で処理がスタートすると、図１０に３８で示したＤＭＤ制御部が、図１１（Ｂ）のタイムチャートにおける「ＤＭＤ電圧」と記したところに示したように、時間ｔ_１２でＤＭＤ電圧をＶ１とする。そのためステップＳ５１でＤＭＤ２０２に印加されている電圧が何ボルトであるかが判断されたとき、現在電圧がＶ１であるから処理がステップＳ５２に進み、ＤＭＤの角度がＲ１にされる。

そのため、ステップＳ５３でこのＤＭＤの角度Ｒ１に対応した映像が撮像素子１４の下領域１４４に送られ、ステップＳ５４で前記図３（Ａ）に示した白線検知アルゴリズムで白線が検知される。それが終了すると次のステップＳ５５、すなわち図１１（Ｂ）のタイムチャートにおける「ＤＭＤ電圧」と記したところの時間ｔ_１３で、ＤＭＤ電圧が今度はＶ２とされ、処理がステップＳ５１に戻る。

そしてこのステップＳ５１で、現在ＤＭＤ電圧はＶ２であるから処理がステップＳ５６に進み、ここからさらにステップＳ５７へ進んでＤＭＤの角度がＲ２にされる。そして前記と同様、ステップＳ５８でこのＤＭＤの角度Ｒ２に対応した映像が撮像素子１４の下領域１４４に送られ、ステップＳ５９で前記図３（Ａ）に示した白線検知アルゴリズムで白線が検知され、さらに次のステップＳ６０で、図１１（Ｂ）のタイムチャートにおける「ＤＭＤ電圧」と記したところの時間ｔ_１４で、ＤＭＤ電圧が今度はＶ３とされ、処理がステップＳ５１に戻る。

以下は同様にして、ステップＳ６１以下の処理、ステップＳ６６以下の処理が行われ、図９の図上、下側に示したように時系列で道路の白線の像を順次撮像し、車が白線を複数回跨ぐように揺らいで運転されていることが検知され、また、車内撮像用光学系１６により撮像された運転手５２の目が検出できないと判断されると、警告装置３４により警報を発したり、ハンドル操作を重くして車が揺らぐのを防いでブレーキ制御を行ない、スピードを緩めるなど、事故を防止するための処置を行うわけである。また撮像素子制御部３２は、こうして撮像したデータを記録部３０に送って事故の際の証拠となるよう、ビデオテープ、各種メモリなどに記録する。

このようにすることで、実施例３の車載用カメラモジュールでは、実施例１と同様撮像素子１４を上領域１４２と下領域１４４に分けたにもかかわらず、複数のＤＭＤ２０２により車外の広範囲の映像を取得することができ、車内の運転手５２の目の映像と車の前方車外の映像を同時に撮像することができることと相俟って危険検知や事故の際の証拠映像としての価値が高まる。

このようにＤＭＤを使うことで、車外の撮像における領域の狭まりに対処できるわけであるが、実施例２のように車内と車外の映像を交互に時分割で撮像するようにした場合にも、シャッターを使用せずＤＭＤを使用すれば、電圧の印加だけで同様に交互に時分割で撮像するようにすることができる。その場合が図１２、図１３、図１４に示した実施例４である。

この図１２に示した実施例４の車載用カメラモジュールにおいて、２０４と２０６はＤＭＤ、４０は反射鏡であり、車内の運転手５２の像は、ハーフミラー１２から車内撮像用光学系１６、反射鏡４０、ＤＭＤ２０４を介して撮像素子１４に結像する。一方、車の前方車外の映像は、車外撮像用光学系１８からＤＭＤ２０６で反射されて撮像素子１４に結像する。このとき、実施例３の場合と同様、ＤＭＤ２０４、２０６にはそれぞれの撮像フレームに合わせて電圧が印加され、それによって撮像素子１４に選択的に画像が送られて車内、車外が交互に撮像される。

図１３はこの実施例４の車載用カメラモジュールにより、時分割で車内と車外を交互に撮像するときの制御回路を含んだ動作説明のブロック図で、（Ａ）は車内を撮像する場合、（Ｂ）は車外を撮像する場合である。図中、３８はＤＭＤ制御部である。まず（Ａ）の車内を撮像する場合は、ＤＭＤ制御部３８がＤＭＤ２０４をＯＮして車内の画像を撮像できるようにし、運転手５２の目の画像がハーフミラー１２から、車内撮像用光学系１６、反射鏡４０、ＤＭＤ２０４を介して撮像素子１４に結像して撮像される。このときＤＭＤ２０６はＤＭＤ制御部３８によりＯＦＦにされている。

一方図１３（Ｂ）の車外の撮像は、ＤＭＤ制御部３８がＤＭＤ２０６をＯＮしてＤＭＤ２０４をＯＦＦし、車外の画像が車外撮像用光学系１８、ＤＭＤ２０６を介して撮像素子１４に結像して撮像される。

この様子を示したのが図１４（Ａ）のフロー図と、（Ｂ）のタイムチャートである。図１４（Ａ）の時分割のフロー図では、ステップＳ７０で処理がスタートするとステップＳ７１でＤＭＤ１（２０６）がＯＮかＯＦＦかが判断され、図１４（Ｂ）の時間ｔ_３０のようにＯＮの場合はＤＭＤ２（２０４）がステップＳ３２でＯＦＦされる。そして車外前方（白線）の画像が取得され、ステップＳ７４で前記図３（Ａ）に示したような白線検知アルゴリズムで白線が検知される。それが済むと、ステップＳ７５でＤＭＤ１（２０６）がＯＦＦされてステップＳ７１に戻り、今度はＤＭＤ１（２０６）がＯＦＦであるからステップＳ７６に進む。

そしてステップＳ７６で図１４（Ｂ）の時間ｔ_３２のようにＤＭＤ２（２０４）がＯＮされ、同様にして運転手の画像取得（ステップＳ７７）、前記図３（Ｂ）に示したような目線検知アルゴリズム（ステップＳ７８）で目が検知されて、それが済むとステップＳ７９でＤＭＤ１（２０６）がＯＮされて同様の処理がくり返される。

このようにすることで撮像素子１４には車内と車外の画像が交互に結像されるから、撮像素子制御部３２は、これらの映像から前記図２に示したようなフロー図に従い、車の前方の画像から道路の白線を画像認識で認識し、車が白線を複数回跨ぐように揺らいで運転されていることが検知され、また、車内撮像用光学系１６により撮像された運転手５２の目が検出できないと判断されると、警告装置３４により警報を発したり、ハンドル操作を重くして車が揺らぐのを防いでブレーキ制御を行ない、スピードを緩めるなど、事故を防止するための処置を行うわけである。また撮像素子制御部３２は、こうして撮像したデータを記録部３０にも送らせ、事故の際の証拠となるよう、ビデオテープ、各種メモリなどに記録する。

このようにＤＭＤ２０４、２０６を用いることで、車内の運転手５２の目の映像と車の前方車外の映像を交互に撮像することができるから、例えば図１４（Ｂ）に示したタイムチャートのＤＭＤ１（２０６）がＯＮのタイミングだけの映像を表示装置に送れば車外の映像を、逆にＤＭＤ２（２０４）がＯＮのタイミングだけの映像を表示装置に送れば車内の映像を、それぞれ表示装置に表示させることが可能となり、また、両画像を録画装置に記録すれば、それによって危険検知や事故の際の証拠映像としての価値が高まる。

本発明によれば、コストを抑えると共に、複雑な画像処理を必要とせずに車の前方と車内の両方の撮像を可能とし、車の走行状況と運転手の状況とから運転手の居眠りやよそ見などを検知して危険を知らせたり、前の車との車間距離や道に飛び出してくる物体を検知して危険がある場合は知らせたり、ドライブレコーダとして機能し、事故の際に運転手の状況、車の状況、道路状況などの撮像結果を証拠として使うことができ、有用な車載用カメラモジュールを提供することができる。

この状態を示したのが図８（Ａ）のフロー図であり、ステップＳ４０で処理がスタートすると、ステップＳ４１で図８（Ｂ）の時間ｔ_１からｔ_２のようにシャッター１（図６におけるシャッター２４）が開いた状態では、ステップＳ４２でシャッター２（図６におけるシャッター２２）が図８（Ｂ）の時間ｔ_１からｔ_３のように閉じられる。そしてステップＳ４３で車外前方（白線）の画像が取得され、ステップＳ４４で前記図３（Ａ）に示したような白線検知アルゴリズムで白線が検知されて、それが済むとステップＳ４５でシャッター１（図６におけるシャッター２４）が図８（Ｂ）の時間ｔ_２で閉じられる。

Claims

車内に設けられて車内及び車外とを監視する車載用カメラモジュールであって、
撮像素子と、該撮像素子に車内の映像を結像させる車内撮像用光学系と、前記撮像素子に車前方の車外映像を結像させる車外撮像用光学系と、前記車内撮像用光学系または車外撮像用光学系のいずれかからの光を前記撮像素子側に向ける反射鏡、または前記車内撮像用光学系または車外撮像用光学系のそれぞれに対応して設けられてそれぞれの光学系からの光を前記撮像素子側に向ける反射鏡と、からなることを特徴とする車載用カメラモジュール。
前記撮像素子は、前記車内撮像用光学系により映像が結像される領域と、前記車外撮像用光学系により映像が結像される領域とが別領域とされていることを特徴とする請求項１に記載した車載用カメラモジュール。
前記車載用カメラモジュールは、前記車内撮像用光学系と車外撮像用光学系とにそれぞれシャッターを有し、前記一のシャッターを開いた状態で他のシャッターを閉じ、他のシャッターを開いた状態で一のシャッターを閉じて撮像を行わせるシャッター制御部をさらに有していることを特徴とする請求項１に記載した車載用カメラモジュール。
前記反射鏡は、反射角度を電気的に制御可能な鏡を複数併設して構成されていることを特徴とする請求項１乃至３のいずれかに記載した車載用カメラモジュール。
前記車載用カメラモジュールは、前記車内撮像用光学系によって撮像された車内撮像画像情報と、前記車外撮像用光学系によって撮像された車外撮像画像情報とに基づき、異常を検知して警告信号を発する異常検知制御部を有していることを特徴とする請求項１乃至４のいずれかに記載した車載用カメラモジュール。
前記車載用カメラモジュールは、前記撮像素子の撮像した画像情報を記憶する記録部を有していることを特徴とする請求項１乃至５のいずれかに記載した車載用カメラモジュール。
前記車載用カメラモジュールは、車内におけるルームミラーに設置されていることを特徴とする請求項１乃至６のいずれかに記載した車載用カメラモジュール。