JP6489155B2 - 画像処理装置およびカメラ - Google Patents

Description

本発明は、画像処理装置およびカメラに関する。

複数の異なる領域の映像を一台のカメラで取得し、領域毎に異なる種類の判定に供する車両用撮像装置がある（例えば特許文献１参照）。
［特許文献１］ 特開２０１０−２２３６８５号公報

上記撮影装置においては、領域毎に異なる種類の判定を一の画像処理部で処理する。このため、処理回路が複雑になり、処理時間も長くなる。

本発明の第１態様においては、画像を示す原画像データを取得して、画像における予め定められた部分領域に対応する第１画像データを抽出するデータ抽出部と、データ抽出部により抽出された第１画像データを解析して、解析結果を外部に出力するデータ解析部とを備え、データ抽出部は、原画像データのうち、データ解析部へ受け渡した部分領域を含まない画像に対応する第２画像データを外部に出力する画像処理装置が提供される。

本発明の第２態様においては、上記画像処理装置および撮像素子を備える車載カメラユニットが提供される。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

車両１００の斜視図である。 撮像領域３００の模式図である。 天空撮像光学系２１０の分解斜視図である。 雨滴撮像光学系２３０の分解斜視図である。 雨滴撮像光学系２３０の模式的断面図である。 画像データ４００の模式図である。 内部回路２４０のブロック図である。 外部処理装置２７０のブロック図である。 前方画像データ４３０等の模式図である。 内部回路２４０の動作を示す流れ図である。 前方画像データ４３０等の模式図である。 内部回路２４１のブロック図である。 内部回路２４３のブロック図である。

以下、発明の実施の形態を通じて本発明を説明する。下記の実施形態は、特許請求の範囲に係る発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、車両１００の前部を示す部分的且つ模式的な斜視図である。車両１００は、ウインドシールド１１０、ワイパ１２０およびライトユニット１３０を備える。なお、記載を簡潔にする目的で、図中に矢印で示すように、車両１００の車幅方向をＸ方向、車両１００の高さ方向をＹ方向、車両１００の進行方向をＺ方向、とそれぞれ記載する場合がある。

ウインドシールド１１０は、車両１００の車室前面に固定された強化ガラスにより形成される。ウインドシールド１１０の外面下端近傍には、ワイパ１２０が配される。ワイパ１２０は、一端を回転軸として往復回転動作し、ウインドシールド１１０の外表面を払拭する。これにより、ウインドシールド１１０に付着した雨滴、雪片等が除去され、運転車の前方視界が確保される。

ウインドシールド１１０内面には、ルームミラー１１２および車載カメラユニット２００を併せて支持する支持部１１４が固定される。運転席に着座した運転者は、ウインドシールド１１０を通じた車両１００前方の様子と、ルームミラー１１２を通じた車両１００後方の様子とを、それぞれ観察できる。

車載カメラユニット２００は、ウインドシールド１１０を通じて車室外の画像を撮影する。ウインドシールド１１０の外表面において、ワイパ１２０は、車載カメラユニット２００の前方も払拭する。よって、車載カメラユニット２００は、降雨時においてもウインドシールド１１０を通じて車室外を撮影できる。

ライトユニット１３０は、車両１００の前端近傍に配される。ライトユニット１３０は、主灯、車幅灯、方向指示器、フォグランプ、デイタイムライト等の発光部を収容する。ライトユニット１３０において、主灯および車幅灯は夜間に点灯され、フォグランプは降雨、濃霧等、前方視界が劣化した場合に点灯される。デイタイムライトは、昼間に原動機が稼働している場合に点灯される。このように、ライトユニット１３０は、車両１００のおかれた環境条件に応じて様々な点灯状態をとり得る。

図２は、車載カメラユニット２００の撮像素子２２２の撮像領域３００を示す。撮像素子２２２は、画素が二次元的に配されたＣＣＤ、ＣＭＯＳ等であり、被写体光に対応したデジタルの画像データを生成する。

撮像領域３００は、前方領域３３０、天空領域３１０および雨滴領域３２０を含む。天空領域３１０は、撮像領域３００のうち上辺に沿った横長の領域を占める。雨滴領域３２０は、撮像領域３００から天空領域３１０を除いた領域において、撮像領域３００の側辺に沿った一対の領域を占める。前方領域３３０は、撮像領域３００から天空領域３１０および雨滴領域３２０を除いた領域全体を占める。前方領域３３０は、天空領域３１０および雨滴領域３２０に比較すると面積が広い。

前方領域３３０は、車両１００の運転者が運転席からウインドシールド１１０を通じてＺ方向を観察する外部空間を被写体とする。よって、前方領域３３０で取得される画像には、道路、車線、先行車両、標識等が含まれる。

天空領域３１０は、車両１００に対してＹ方向を見上げた場合の天空を被写体とする。天空領域３１０で取得される画像には、空、雲等の識別可能なオブジェクトも含まれ得るが、主に輝度分布を示す。よって、天空領域３１０の解像度は、低くてもよい場合がある。

雨滴領域３２０は、ウインドシールド１１０の外表面に合焦しており、ウインドシールド１１０に雨滴、雪片等が付着した場合の当該付着物を含む画像を取得する。単に雨滴の有無を検出する場合は、雨滴領域３２０に高い解像度は要求されない。

図３は、車載カメラユニット２００において天空領域３１０に天空の被写体光を導く天空撮像光学系２１０の分解斜視図である。天空撮像光学系２１０は、撮像部２２０の前に配されたライトガイドユニット２１１を含む。

ライトガイドユニット２１１は、互いに対向する入射端２１２および射出端２１４を有する。入射端２１２は、車両１００の前方にあたるＺ方向に面して配される。ライトガイドユニット２１１の入射端２１２は、射出端２１４に対して、Ｙ方向について上方にずれた位置に配される。このため、入射端２１２と射出端２１４とは、Ｙ方向について徐々に下降する傾斜した光路により結合される。これにより、撮像部２２０に対してＹ方向、即ち上方に位置する天空の被写体像が撮像部２２０に導かれる。

射出端２１４は、撮像部２２０の入射端に対面する。ここで、ライトガイドユニット２１１の射出端２１４は、撮像部２２０の撮像範囲の上端近傍に配される。これにより、ライトガイドユニット２１１から射出された被写体光束は、撮像領域３００の天空領域３１０に入射する。

ライトガイドユニット２１１における傾斜した光路の上面および下面は、より低い屈折率を有するクラッド層２１６によりそれぞれ被覆される。よって、ライトガイドユニット２１１の入射端２１２から入射した被写体光束は、射出端２１４まで低損失に伝播される。

上記のようなライトガイドユニット２１１を設けることにより、車両１００に対してＺ方向に向かって設置された車載カメラユニット２００を用いて、車両１００に対してＹ方向に位置する天空の被写体像を、天空領域３１０で取得し、画像データを生成することができる。天空領域３１０の画像データを解析することにより、例えば、昼夜の別あるいは天候に応じた環境の明るさを検出できる。

図４は、車載カメラユニット２００において雨滴領域３２０に被写体光を導く雨滴撮像光学系２３０の空間的な配置を示す分解斜視図である。雨滴撮像光学系２３０は、光源２３１、プリズム２３２、複数の反射鏡２３３、２３４、２３５を含む。また、雨滴撮像光学系２３０は、それぞれが光源２３１、プリズム２３２および複数の反射鏡２３３、２３４、２３５を含み、撮像部２２０の光軸に対してＸ方向に対称に形成された一対の光学系を含む。

一対の光学系の一方に着目すると、プリズム２３２の一面は、ウインドシールド１１０の内面に沿った傾きを有する。光源２３１は、プリズム２３２において、ウインドシールド１１０に沿って傾いた面に隣接する面に対向して配される。

光源２３１は、赤外帯域または近赤外帯域の照射光を発生してプリズム２３２の内部に向かって照射する。プリズム２３２内を伝播した照射光は、プリズム２３２においてウインドシールド１１０の内面に沿った面に隣接し、且つ、照射光が入射した面に対向する面から射出される。

複数の反射鏡２３３、２３４、２３５のうちのひとつの反射鏡２３３は、プリズム２３２から射出された照射光を反射する。更に、他の反射鏡２３４、２３５は、当該照射光を順次反射して、撮像部２２０の入射端に誘導する。雨滴撮像光学系２３０の射出端となる反射鏡２３５は、照射光を、撮像部２２０の撮像領域３００の側方縁部近傍に誘導する。これにより、雨滴撮像光学系２３０から射出された照射光は、撮像領域３００の雨滴領域３２０に導かれる。

図５は、雨滴撮像光学系２３０の断面図であり、雨滴領域３２０を撮像する雨滴撮像光学系２３０を形成する一対の光学系の一方の光学的機能を示す。また、図５には、前方領域３３０を撮像する場合に用いる前方撮像光学系２２４も併せて示す。

光源２３１から放射状に射出された照射光は、プリズム２３２内を平行光として伝播し、プリズム２３２の図中上面からウインドシールド１１０に向かって照射される。ウインドシールド１１０の内面には、反射防止層１１６が設けられる。これにより、ウインドシールド１１０の内面における照射光の反射が抑制され、照射光はウインドシールド１１０の外表面に照射される。なお、反射防止層１１６は、シリコン薄膜、誘電体多層膜等により形成できる。

ここで、照射光は、ウインドシールド１１０の外表面における領域Ａと大気との界面において全反射を生じる角度で、ウインドシールド１１０外表面に照射される。よって、ウインドシールド１１０外表面における領域Ａにおいて、照射光は効率よく反射され、再びウインドシールド１１０およびプリズム２３２内を伝播した後、プリズム２３２から反射鏡２３３に向かって射出される。

プリズム２３２から射出された照射光は、複数の反射鏡２３３、２３４、２３５に順次反射された後、撮像部２２０に入射される。ひとつの反射鏡２３４は凹面状の反射面を有するので、撮像部２２０には、ウインドシールド１１０における領域Ａ全体の縮小像が入射する。

車両１００においてウインドシールド１１０の外表面に雨滴、雪片等の付着物が付着した場合、ウインドシールド１１０外表面における屈折率差が変化する。よって、当該外表面における全反射の臨界角度が変化する。その結果、乾燥状態ではウインドシールド１１０外表面で全反射されていた照射光の一部が、ウインドシールド１１０の外側に射出される。

このため、ウインドシールド１１０の表面に雨滴等が付着した場合には、当該付着物が付着した領域において、雨滴撮像光学系２３０を通じて撮像部２２０に導かれる照射光の光量が低下する。よって、ウインドシールド１１０外表面に対する付着物の形状は、撮像部２２０により暗点として撮像される。このように、雨滴撮像光学系２３０を通じて撮像部２２０が生成した画像データを解析することにより、ウインドシールド１１０に付着した付着物の量を検出できる。

なお、上記の雨滴撮像光学系２３０は、他の構造にすることもできる。即ち、プリズム２３２に換えて、反射鏡、レンズ等を用いて照射光を平行光線に変換できる。また、反射鏡２３３、２３４、２３５としてすべて平面鏡を用い、レンズ等の他の光学部品により照射光を合焦させてもよい。また、反射鏡２３３、２３４、２３５の数が三枚に限られないことはいうまでもない。

また、図５に示すように、車載カメラユニット２００において、撮像部２２０は、撮像素子２２２、前方撮像光学系２２４および絞り装置２２６を有する。前方撮像光学系２２４は、Ｚ方向、即ち、車両１００の前方に向かって車両１００に設置される。また、前方撮像光学系２２４の途中には絞り装置２２６が配される。

前方撮像光学系２２４は、Ｚ方向、即ち車両１００前方の領域を、撮像領域３００の前方領域３３０上に結像させる光学特性を有する。よって、撮像部２２０は、ウインドシールド１１０を通じて前方撮像光学系２２４に対して直接に入射する被写体光束により、前方領域３３０に入射した被写体像に対応した画像データを生成する。また、絞り装置２２６を動作させることにより、前方撮像光学系２２４の被写体深度を変化させることができると共に、撮像する場合に被写界輝度を調節できる。

撮像部２２０は、単一の撮像素子２２２を用いて、天空領域３１０、雨滴領域３２０および前方領域３３０の被写体像を併せて撮像する。よって、単一の撮像素子２２２の出力に基づいて、互いに異なる視野による天空領域３１０、雨滴領域３２０および前方領域３３０を一括して画像データに変換できる。これにより、車載カメラユニット２００は、少ないハードウェア資源を用いて多彩な画像情報を取得できる。また、撮像領域３００における画素のアドレスが指定されることにより、撮像領域３００に入射した被写体光に基づいて生成された画像データから、上記前方領域３３０、天空領域３１０および雨滴領域３２０のそれぞれに対応する画像データが抽出される。

なお、上記の例では、天空撮像光学系２１０および雨滴撮像光学系２３０が形成する被写体像が、前方撮像光学系２２４を通じて撮像素子２２２に結像する。しかしながら、撮像素子２２２の直前まで、天空撮像光学系２１０、雨滴撮像光学系２３０および前方撮像光学系２２４が相互に独立した構造にしてもよい。これにより、撮像部２２０は、天空撮像光学系２１０、雨滴撮像光学系２３０および前方撮像光学系２２４の各々において、互いに異なる撮像条件の下で撮像できる。

図６は、撮像部２２０が生成する画像データ４００を模式的に示す図である。説明の都合上、画像データ４００を画像そのものとして示している。

撮像部２２０は、予め定められたフレームレートに応じた時間間隔毎に、撮像素子２２２により撮像領域３００を電気信号に変換して画像データ４００を生成する。よって、撮像部２２０は、撮像領域３００で取得された画像に対応する複数のフレーム１〜ｎを、順次出力する。すなわち、フレーム１〜ｎの各々が、撮像領域３００の全体の画像に対応する原画像データの一例である。フレーム１〜ｎの各々は、図３の天空領域３１０の画像に対応した天空画像データ４１０、雨滴領域３２０の画像に対応した雨滴画像データ４２０、および、前方領域３３０に対応した画像の前方画像データ４３０を含む。

図７は、車載カメラユニット２００の内部回路２４０を含む車両１００の制御系のブロック図である。車載カメラユニット２００の内部回路２４０は、抽出部２４２、撮像制御部２４４および内蔵処理装置２５０を有する。また、内蔵処理装置２５０は、天空画像データ解析部２５２、雨滴画像データ解析部２５４および送信部２５６を有する。

撮像制御部２４４は、撮影制御信号を撮像部２２０に向かって出力する。撮影制御信号は、撮像部２２０が撮像領域３００を撮像する場合の撮像条件を指示する。即ち、撮像制御部２４４は、例えば、撮像部２２０に入射した被写体光束の輝度に応じて、撮像素子２２２の感度、絞り装置２２６の開度等を変化させる。これにより、撮像部２２０は、撮像領域３００を鮮明な画像データ４００に変換できる。

また、撮像制御部２４４は、画像データ４００のフレーム毎に撮像部２２０の撮像条件を変化させてもよいし、撮像制御部２４４は、複数のフレーム毎に撮像条件を変化させてもよい。更に、撮像制御部２４４は、不等なフレーム間隔で撮像条件を変化させてもよい。

抽出部２４２は、撮像部２２０が撮像領域３００を撮像して出力した画像データ４００を原画像データとして取得し、前方画像データ４３０、天空画像データ４１０および雨滴画像データ４２０をそれぞれ抽出する。前方画像データ４３０は、画像データ通信路２６２を通じて外部に出力される。画像データ通信路２６２としては、例えばＭＯＳＴ（Ｍｅｄｉａ Ｏｒｉｅｎｔｅｄ Ｓｙｓｔｅｍｓ Ｔｒａｎｓｐｏｒｔ）バスを用いることができる。

抽出部２４２において抽出された天空画像データ４１０および雨滴画像データ４２０は、それぞれ、内蔵処理装置２５０へ出力される。内蔵処理装置２５０において、天空画像データ解析部２５２は、天空画像データ４１０を解析し、解析結果を、例えば車両１００がおかれた環境の明るさを数値化した明るさデータ２５１として出力する。また、内蔵処理装置２５０において、雨滴画像データ解析部２５４は、雨滴画像データ４２０を解析して、解析結果を、例えば、降雨の有無および降雨量を数値化した降雨データ２５３として出力する。

送信部２５６は、天空画像データ解析部２５２が出力した明るさデータ２５１と、雨滴画像データ解析部２５４が出力した降雨データ２５３とを、それぞれ、予め定められた通信手順に応じた信号形式に変換して、非画像データ通信路２６４に出力する。

数値化された明るさデータ２５１は、天空画像データ４１０に比較するとデータ容量が小さい。また、降雨データ２５３も、雨滴画像データ４２０に比較するとデータ容量が小さい。よって、明るさデータ２５１および降雨データ２５３を転送することにより、データ転送量を抑制して車両１００における情報通信負荷を軽減できる。

なお、非画像データ通信路２６４としては、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）バスまたはＬＩＮ（Ｌｏｃａｌ Ｉｎｔｅｒｃｏｎｎｅｃｔ Ｎｅｔｗｏｒｋ）バスを用いることができる。また、ゲートウェイにより結合された複数チャネルのＣＡＮバスおよびＬＩＮバスとそれらの混成ネットワークを用いてもよい。

図８は、外部処理装置２７０のブロック図である。外部処理装置２７０は、内部回路２４０とは別のチップ、モジュール等として形成され、画像データ通信路２６２および非画像データ通信路２６４を通じて内部回路２４０に結合される。

外部処理装置２７０は、前方画像データ解析部２７２、灯火制御部２７４、ワイパ制御部２７６等を有する。なお、前方画像データ解析部２７２、灯火制御部２７４、ワイパ制御部２７６は、一体のモジュールとは限らず、画像データ通信路２６２または非画像データ通信路２６４を通じて、内部回路２４０に個別に結合されている場合もある。

前方画像データ解析部２７２は、画像データ通信路２６２を通じて抽出部２４２から受けた前方画像データ４３０に対する解析を実行する。前方画像データ解析部２７２は、例えば、走行車線、先行車、路上障害物等を前方画像データ４３０から検出する画像処理を実行する。また、前方画像データ解析部２７２は、画像処理により前方画像データ４３０の赤外帯域を画像解析して、車両１００前方の路面温度等を検出してもよい。

更に、前方画像データ解析部２７２は、前方画像データ４３０に対する画像処理を実行する場合に、内蔵処理装置２５０の天空画像データ解析部２５２および雨滴画像データ解析部２５４が出力する明るさデータ２５１および降雨データ２５３を参照してもよい。これにより、前方画像データ解析部２７２による前方画像データ４３０の解析精度を向上させることができる。

前方画像データ解析部２７２の解析結果は、更に他の外部処理装置２７０、例えば、ＡＢＳ（Ａｎｔｉｌｏｃｋ Ｂｒａｋｅ Ｓｙｓｔｅｍ）、ＥＳＣ（Ｅｌｅｃｔｒｏｎｉｃ Ｓｔａｂｉｌｉｔｙ Ｃｏｎｔｒｏｌ）等から参照されてもよい。これにより、前方画像データ４３０の利用範囲を更に拡大できる。

なお、前方画像データ解析部２７２における画像処理を、車載カメラユニット２００の内部回路２４０で実行した場合は、処理装置の負荷が高くなり、処理速度が低下する場合がある。しかしながら、画像処理の少なくとも一部を外部処理装置２７０に委ねることにより、高速且つ高精度な処理ができ、車両１００全体として前方画像データ４３０をより有効に利用できる。

灯火制御部２７４は、非画像データ通信路２６４を通じて明るさデータ２５１を参照した場合に、例えば、ライトユニット１３０における主灯、車幅灯、デイタイムライト等を適宜点灯または消灯させる。また、灯火制御部２７４は、降雨データ２５３を参照して、ライトユニット１３０におけるフォグランプ点灯または消灯させる。これにより、車両１００を運転する運転者の灯火操作を軽減できる。

また、ワイパ制御部２７６は、非画像データ通信路２６４を通じて降雨データ２５３を参照した場合に、例えば、ワイパ１２０を動作または停止させる。更に、ワイパ制御部２７６は、降雨量が増加した場合にワイパ１２０の動作速度を高くする等、ワイパの動作速度を変化させてもよい。これにより、車両１００を運転する運転者のワイパ操作を軽減できる。

更に、ワイパ制御部２７６は、非画像データ通信路２６４を通じて明るさデータ２５１を参照し、例えば昼間であるにもかかわらず天空が暗い場合に、曇天または雨天と判断して、降雨データ２５３の検出間隔を短くする等の制御を実行してもよい。これにより、曇天から降雨が始まった場合に、ワイパ１２０を即座に動作させることができる。

図９は、内部回路２４０の抽出部２４２における処理を説明する模式図である。抽出部２４２は、画像データ４００から、天空画像データ４１０、雨滴画像データ４２０および前方画像データ４３０を抽出する。

図示の例では、画像データ４００の複数のフレーム１〜ｎのうちの、互いに異なるフレームから、天空画像データ４１０、雨滴画像データ４２０および前方画像データ４３０が抽出される。例えば、抽出部２４２は、画像データ４００を形成する複数のフレーム１〜ｎのうち、７フレームおきのフレーム８、１６から天空画像データ４１０を抽出する。また、抽出部２４２は、他の７フレームおきのフレーム４、１２から雨滴画像データ４２０を抽出する。抽出部２４２は、残るフレームから前方画像データ４３０を抽出する。

ここで、前方画像データ４３０のひとつに着目すると、抽出部２４２は、原画像データのうち、前方領域３３０に対応する画素のアドレスを指定することにより、前方画像データ４３０が切り出される。よって、当該前方画像データ４３０には、内蔵処理装置２５０の天空画像データ解析部２５２および雨滴画像データ解析部２５４に出力される天空画像データ４１０および雨滴画像データ４２０は含まれない。

同様に、天空画像データ４１０は、天空領域３１０に対応する画素のアドレスが指定されることにより抽出され、前方画像データ４３０および雨滴画像データ４２０を含まない。また、雨滴画像データ４２０は、雨滴領域３２０に対応する画素のアドレスが指定されることにより抽出され、前方画像データ４３０および天空画像データ４１０を含まない。

このように、画像データ４００における各フレームは、フレーム単位で抽出先が決められる。よって、撮像制御部２４４は、撮像部２２０の撮像条件を、フレーム単位で最適化できる。従って、例えば、前方画像データ４３０として抽出されるフレームは、撮像領域３００における前方領域３３０に適した撮像条件で撮像できる。

また、抽出部２４２により抽出された当該フレームにおいては、撮像条件が適していたとは限らない天空画像データ４１０および雨滴画像データ４２０は、外部処理装置２７０に出力することなく破棄されている。これにより、前方画像データ解析部２７２が抽出された前方画像データ４３０を解析する場合に、天空画像データ４１０および雨滴画像データ４２０が混在しないので、解析速度を向上させることができる。また、不要な天空画像データ４１０および雨滴画像データ４２０を含まないので、画像データ通信路２６２の容量に対する負荷も軽減される。

同様に、撮像制御部２４４は、天空画像データ４１０として抽出されるフレームを生成する場合に、天空領域３１０を撮像する場合に最適な撮像条件で撮像を実行する。これにより、天空画像データ解析部２５２は、高品質な天空画像データ４１０から、明るさデータ２５１等を高精度に解析できる。

更に、撮像制御部２４４は、雨滴画像データ４２０として抽出されるフレームを生成する場合に、雨滴領域３２０を撮像する場合に最適な撮像条件で撮像を実行する。例えば、光源２３１の照射光により形成された雨滴領域３２０を鮮明に撮像する目的で、光源２３１の発光波長に対して撮像部２２０の感度を高くしてもよい。これにより、雨滴画像データ解析部２５４は、高品質な雨滴画像データ４２０から、明るさデータ２５１等を高精度に解析できる。

図１０は、図７に示した内部回路２４０の動作手順を示す流れ図である。車両１００が起動されて車載カメラユニット２００が動作を開始した場合、内部回路２４０は、まず、撮像制御部２４４において、撮像部２２０による撮像の撮像条件を撮像部２２０に設定する（ステップＳ１０１）。このステップで設定される撮像条件は、撮像部２２０が次に撮像するフレームの用途に応じて設定される。

前方画像データ４３０用のフレームを撮像する場合に、撮像制御部２４４は、前方領域３３０の撮像に適した撮像条件を撮像部２２０に設定する。例えば、撮像制御部２４４は、撮像部２２０の撮像素子２２２の感度を高く設定すると共に前方撮像光学系２２４の絞り２２６の開度を小さくし、撮像部２２０の被写界深度を深くしてもよい。これにより、前方領域３３０の広い領域において、合焦した鮮明な像が撮像される。

同様に、天空画像データ４１０用のフレームを撮像する場合に、撮像制御部２４４は、天空領域３１０の撮像に適した撮像条件を撮像部２２０に設定する。例えば、昼間であれば、天空領域３１０は、前方領域３３０よりも著しく明るい場合が多い。よって、撮像制御部２４４は、撮像素子２２２の撮像感度を低下させると共に、絞りを閉じてもよい。また、撮像制御部２４４は、撮像素子２２２の電荷蓄積時間を変化させて、撮影画像データ４００の明るさを調節することもできる。

また、雨滴画像データ４２０用のフレームを撮像する場合に、撮像制御部２４４は、雨滴領域３２０の撮像に適した撮像条件を撮像部２２０に設定する。例えば、雨滴領域３２０を撮像する場合に、光源２３１の照射光の帯域以外については撮像部２２０の感度を低下させてもよい。これにより、雨滴領域３２０に対するコントラストを強調して、雨滴画像データ４２０における背景の影響を抑制できる。

なお、撮像制御部２４４が設定する撮像条件を決定する場合に、直前に撮像した他のフレームの画像データ４００を参照してもよい。即ち、直前に撮像したフレームにおいて、白とびが生じている場合には、これから撮像するフレームについては露出を抑制してもよい。

内部回路２４０において撮像条件が撮像部２２０に設定されると、撮像制御部２４４は、撮像部２２０に撮像領域３００の撮像を実行させて、当該フレームを生成させる（ステップＳ１０２）。また、撮像制御部２４４は、当該フレームが、天空領域３１０、雨滴領域３２０および前方領域３３０のいずれに用いられるかを抽出部２４２に通知する。撮像部２２０により生成されたフレームを、抽出部２４２が取得する（ステップＳ１０３）。

抽出部２４２は、撮像制御部２４４からの通知を参照して、今回取得したフレームが前方画像データ４３０用であるか否かを判断する（ステップＳ１０４）。当該フレームが前方画像データ４３０用である場合（ステップＳ１０４：ＹＥＳ）、抽出部２４２は、画像データ４００から、前方画像データ４３０を抽出する（ステップＳ１０５）。

抽出部２４２は、前方画像データ４３０を、画像データ通信路２６２を通じて、内部回路２４０の外部に出力する（ステップＳ１０６）。なお、抽出された前方画像データ４３０を含むフレームにおける天空画像データ４１０および雨滴画像データ４２０は、車載カメラユニット２００では使用されない。

先のステップＳ１０４において、今回取得したフレームが前方画像データ４３０用でない場合に（ステップＳ１０４：ＮＯ）、抽出部２４２は更に、当該フレームが天空画像データ４１０用であるか否かを判断する（ステップＳ１０８）。当該フレームが天空画像データ４１０用である場合（ステップＳ１０８：ＹＥＳ）、抽出部２４２は、画像データ４００から、天空画像データ４１０を抽出する（ステップＳ１０９）。

抽出部２４２は、抽出された天空画像データ４１０を内蔵処理装置２５０に出力し、天空画像データ解析部２５２は当該天空画像データ４１０を解析する（ステップＳ１１０）。送信部２５６は、解析の結果得られた明るさデータ２５１を非画像データ通信路２６４から外部に出力する（ステップＳ１１１）。

非画像データ通信路２６４に出力された明るさデータ２５１は、既に説明した通り、例えば、外部処理装置２７０の灯火制御部２７４、ワイパ制御部２７６等から参照される。抽出された天空画像データ４１０を含むフレームにおける前方画像データ４３０および雨滴画像データ４２０は、車載カメラユニット２００では使用されない。

先のステップＳ１０８において、今回取得したフレームが天空画像データ４１０用でない場合（ステップＳ１０８：ＮＯ）、抽出部２４２は、当該フレームが雨滴画像データ４２０用であるとして、雨滴画像データ４２０を抽出する（ステップＳ１１２）。更に、抽出部２４２は、雨滴画像データ４２０を内蔵処理装置２５０に出力し、雨滴画像データ解析部２５４は、当該雨滴画像データ４２０を解析する（ステップＳ１１３）。

送信部２５６は、解析の結果得られた降雨データ２５３を非画像データ通信路２６４から外部に出力される（ステップＳ１１４）。非画像データ通信路２６４に出力された降雨データ２５３は、既に説明した通り、例えば、外部処理装置２７０の灯火制御部２７４、ワイパ制御部２７６等から参照される。なお、当該フレームに含まれる前方画像データ４３０および天空画像データ４１０は、車載カメラユニット２００では使用されない。

上記ステップＳ１０６、Ｓ１１１およびＳ１１４に続いて、次に、抽出部２４２は、車載カメラユニット２００の動作を終了すべき旨の指示があるか否かを判断する（ステップＳ１０７）。原動機を停止させる等の車両１００に対する操作から、車載カメラユニット２００の動作を終了すべき旨の指示を検出した場合（ステップＳ１０７：ＹＥＳ）、抽出部２４２は車載カメラユニット２００全体の動作を停止させる。また、動作を終了すべき旨の指示がない場合（ステップＳ１０７：ＮＯ）、抽出部２４２は、動作手順をステップＳ１０１に戻し、上記動作を繰り返す。

上記のような一連の手順を繰り返すことにより、内部回路２４０は、前方画像データ４３０、天空画像データ４１０および雨滴画像データ４２０を継続的に抽出して、前方画像データ４３０、明るさデータ２５１および降雨データ２５３を、順次出力する。

図１１は、抽出部２４２における他の処理を説明する模式図である。図示の例では、画像データ４００を形成する複数のフレーム１〜ｎの各々から前方画像データ４３０、天空画像データ４１０および雨滴画像データ４２０が抽出される。

すなわち１のフレーム１等から、前方画像データ４３０、天空画像データ４１０および雨滴画像データ４２０の３つが抽出される。よって、前方画像データ４３０、天空画像データ４１０および雨滴画像データ４２０が同く高いフレームレートで取得され、前方画像データ解析部２７２、天空画像データ解析部２５２および雨滴画像データ解析部２５４の各々において、時間的精度が高い解析ができる。

この場合に、撮像制御部２４４は、前方領域３３０、天空領域３１０および雨滴領域３２０を一括して共通の撮像条件で撮像する。このため、撮像条件が、前方領域３３０、天空領域３１０および雨滴領域３２０のすべてに対して最適になるとは限らない。

しかしながら、前方画像データ解析部２７２、天空画像データ解析部２５２および雨滴画像データ解析部２５４は、撮像条件を考慮した画像処理を実行することにより、最適条件からずれた撮像条件を補償できる。例えば、前方画像データ４３０のコントラストを天空画像データ４１０のコントラストよりも強調してもよい。また、雨滴画像データ４２０の彩度を、前方画像データ４３０の彩度よりも意図的に低下させてもよい。

なお、内部回路２４０において抽出部２４２は、図９に示した処理と、図１１に示した処理とを状況に応じて切り換えてもよい。即ち、時間的に昼間であることが判っており、晴天の場合は、図９に示したように、天空画像データ４１０および雨滴画像データ４２０を抽出する間隔を大きくしてもよい。これにより、前方画像データ４３０の時間的精度を向上させることができる。

また、雨天であることが既に判明している場合は、図１１に示したように、雨滴画像データ４２０の抽出間隔を狭くしてもよい。これにより、ワイパ制御部２７６における制御精度を向上させることができる。

このように、内部回路２４０における抽出部２４２は、撮像部２２０から取得した原画像データである画像データ４００のうち、内蔵処理装置２５０の天空画像データ解析部２５２および雨滴画像データ解析部２５４に出力した部分を含まない前方画像データ４３０を、外部処理装置２７０に出力する。これにより、外部処理装置２７０に前方画像データ４３０を出力する場合の通信負荷を軽減できると共に、外部処理装置２７０の前方画像データ解析部２７２における解析処理の精度を向上させることができる。

図１２は、他の内部回路２４１のブロック図である。図７に示した内部回路２４０と共通の要素には同じ参照番号を付して重複する説明を省く。

内部回路２４１は、天空画像データ解析部２５２、雨滴画像データ解析部２５４および送信部２５６が、抽出部２４２等と共に実装されている。このような内部回路２４１は、例えばＳｏＣ（Ｓｙｓｔｅｍ ｏｎ Ｃｈｉｐ）として一体のモジュールとして製造できる。よって、内部回路２４１を一体化することにより、車載カメラユニット２００を小型化できると共に、内部配線を短縮して、処理を高速化し、更に、内部回路２４１の信頼性を向上できる。

図１３は、また他の内部回路２４３のブロック図である。図７に示した内部回路２４０と共通の要素には同じ参照番号を付して重複する説明を省く。

内部回路２４３は、抽出部２４２および撮像制御部２４４を備える。また、内部回路２４３は、外部に配された付属処理装置２５８を備える。

付属処理装置２５８は、天空画像データ解析部２５２、雨滴画像データ解析部２５４および送信部２５６を有する。付属処理装置２５８は、専用線を通じて内部回路２４３に結合されてもよい。また、付属処理装置２５８は、ＭＯＳＴバス等を通じて内部回路２４３に結合されてもよい。いずれの場合も、付属処理装置２５８は、内部回路２４３から天空画像データ４１０および雨滴画像データ４２０を取得して解析する。

このような構造により、内部回路２４３の構造を簡素化して、車載カメラユニット２００を小型化、廉価化できる。また、付属処理装置２５８を交換して、天空画像データ解析部２５２および雨滴画像データ解析部２５４の機能および性能を簡単に変更できる。

なお、上記図９の形態において、抽出部２４２は、前方画像データ４３０を画像データ通信路２６２から外部に出力しているが、これに代えて、前方画像データ４３０を含むフレーム全体を外部に出力してもよい。同様に、図１１の形態においても、抽出部２４２は、前方画像データ４３０を含むフレーム全体を外部に出力してもよい。

以上、本発明を実施の形態を用いて説明した。しかしながら、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加え得ることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１００ 車両、１１０ ウインドシールド、１１２ ルームミラー、１１４ 支持部、１１６ 反射防止層、１２０ ワイパ、１３０ ライトユニット、２００ 車載カメラユニット、２１０ 天空撮像光学系、２１１ ライトガイドユニット、２１２ 入射端、２１４ 射出端、２１６ クラッド層、２２０ 撮像部、２２２ 撮像素子、２２４ 前方撮像光学系、２２６ 絞り装置、２３０ 雨滴撮像光学系、２３１ 光源、２３２ プリズム、２３３、２３４、２３５ 反射鏡、２４０、２４１、２４３ 内部回路、２４２ 抽出部、２４４ 撮像制御部、２５０ 内蔵処理装置、２５１ 明るさデータ、２５２ 天空画像データ解析部、２５３ 降雨データ、２５４ 雨滴画像データ解析部、２５６ 送信部、２５８ 付属処理装置、２６２ 画像データ通信路、２６４ 非画像データ通信路、２７０ 外部処理装置、２７２ 画像データ解析部、２７４ 灯火制御部、２７６ ワイパ制御部、３００ 撮像領域、３１０ 天空領域、３２０ 雨滴領域、３３０ 前方領域、４００ 画像データ、４１０ 天空画像データ、４２０ 雨滴画像データ、４３０ 前方画像データ

Claims (5)

1. 撮像素子で生成された画像データを取得する取得部と、
   前記取得部で取得された前記画像データのうち一部の領域の画像データを解析する解析部と、
   前記解析部で解析する前記一部の領域の画像データを生成するために用いられる撮像条件と、前記一部の領域以外の画像データを生成するために用いられる撮像条件とが異なる画像処理装置。
2. 前記画像データのうち前記一部の領域以外の画像データを出力する請求項１に記載の画像処理装置。
3. 前記撮像条件は、前記撮像素子に入射する光の量を調節する絞りの設定を含む請求項１または２に記載の画像処理装置。
4. 前記解析部は、前記画像データのうち一部の領域の画像データを解析して、明るさを示すデータ、または降雨量を示すデータを出力する請求項１から３の何れか一項に記載の画像処理装置。
5. 請求項１から４のいずれか１項に記載の画像処理装置と、撮像素子とを備えるカメラ。

Images