JP4542174B2 - 画像処理カメラシステム及び画像処理カメラ制御方法 - Google Patents

Description

本発明は、１つの撮像デバイスを複数の用途で共有する画像処理カメラシステム及びその制御方法に関する。

画像処理技術は、不審者の侵入や異常を検知する監視システムや、車の安全走行を支援する車載システムに適用され始めている。車載システムのような、屋外の画像処理システムでは、１つの撮像デバイスから複数のアプリケーションに必要な映像を取得するために、外界の状況に合わせたカメラ制御が必要となる。１つのアプリケーションでも見たい場所や使用する時間帯によって、カメラの向きや露光を制御する必要が出てくる。例えば、車線認識のために自動車に搭載されたカメラシステムでは、トンネルの出入り口、西日による太陽光、対向車のヘッドライトなどによって得られる映像の明るさが急激に変化する。このような場合にも、カメラシステムは、前方向に設置された１台のカメラで安定に車線の認識を行わなければならない。アプリケーションが必要としている画像を安定して取得する露光制御の技術としては、例えば、特許文献１や、特許文献２などに開示された技術がある。

これらのシステムへの画像処理技術を普及するためには、画像処理装置の小スペース化、低価格化が求められている。この小スペース、低価格を実現するために、１つの撮像デバイスを複数のアプリケーションに共有する技術がある。例えば、特許文献３に開示されているように、複数のアプリケーションが１つのカメラを効率良く利用できるようにするものである。具体的には、まず、複数のアプリケーションが望むカメラ制御（露光、視野角、カメラ方向）が同一で、共有できる映像が取得できる場合に、複数のアプリケーションで１つのカメラを共有している。また、カメラ制御の前記各パラメータの差が所定の範囲内にあり、複数のアプリケーションでの画像が途切れない微小時間内に設定を切替えて時分割制御が可能な場合に、１つのカメラを共有している。そして、前記各パラメータの差が所定の範囲を逸脱した場合には、該当アプリケーションに対して、撮影不可能であることを知らせ、該当アプリケーション側で、適切な処理を実行する。

特開平８−２４０８３３号公報 特開平９−１８１９６２号公報 特開平７−４６５６８号公報

ここで、ある決められた周期で画像処理をすることが求められている監視システムや車載システムのアプリケーションを想定する。例えば、車載システムの例として、走行車線を画像処理により認識して車両が走行車線をはみ出したりしないようにステアリングを制御する車線維持システムがある。このシステムでは、画像処理による車線の認識結果を一定時間内（例えば２００ｍｓ以内）に取得してステアリングの制御をする必要がある。画像処理結果をその後の制御に使用するこのようなシステムでは、画像処理の処理周期は絶対に守らなければならない。この周期が守れない場合は、画像処理による制御ができなくなり、システムが機能しなくなり、誤動作などの原因となるので運用は認められない。このように高い信頼性が要求されるシステムとしては、侵入者検知、人流／交通流計測装置、異常検知装置などの監視システムがあり、車載システムにおいては、安全支援システム、各種警報システムなど多数存在する。これら監視システムや車載システムで使用されるカメラでは、外界を認識する必要があるため、画像処理のために、１つのアプリケーションでもカメラパラメータは時々刻々と変化している。したがって、一時期のカメラパラメータの近似によってカメラを共有することはできない。例えば、前記車線維持システムにおいて、ある一時期、別のアプリケーションと偶然カメラパラメータが近似すると、システムが稼動する。しかし、次の瞬間、カメラパラメータが変化してカメラが共有できなくなり、車線維持システムが停止してしまう。制御に使用するシステムにこのような状況があってはならず、信頼性のあるシステムは得られない。

本発明の目的は、１つの撮像デバイスを、複数のアプリケーションで、信頼性高く共有することのできる画像処理カメラシステムを提供することである。

本発明の他の目的は、実行できる複数のアプリケーションをユーザに明示し、ユーザが実行するアプリケーションを迷うことなく選ぶことができる、使い勝手に優れた画像処理カメラシステムを提供することである。

本発明はその一面において、画像を取得する撮像手段と、複数のアプリケーションからの画像取得要求を受付け撮像デバイスを制御する撮像デバイスコントロール部と、実行するアプリケーションを選択するアプリケーションスケジューリング部とを具備し、アプリケーションスケジューリング部は、複数のアプリケーションにおける必要な画像データ数と画像データ取込み頻度を記憶する手段から読み出した画像データ数と画像データ取込み頻度に基き、並行して実行可能な複数のアプリケーションを選択する手段と、実行可能な複数のアプリケーションが、１つの撮像デバイスから時間的に重なることなく画像データの取込みを繰返す画像データ取込みのタイミングとインターバルを決定する画像取込みスケジューリング部を備えたことを特徴とする。

本発明は他の一面において、並行して実行可能な複数のアプリケーションを表示する手段と、この表示された実行可能なアプリケーションの起動をユーザが指示するための操作手段を備えたことを特徴とする。

本発明の一面によれば、カメラパラメータを動的に変化させる複数のアプリケーションで１つの撮像デバイスを信頼性高く共有することが可能となる。

本発明の他の一面によれば、実行できる複数のアプリケーションをユーザに明示し、ユーザが実行するアプリケーションを迷うことなく選べる使い勝手に優れた画像処理カメラシステムを提供することができる。

本発明のその他の目的と特徴は以下の実施形態の説明で明らかにする。

図１は、本発明の一実施形態による自動車に搭載した画像処理カメラシステムの概略構成ブロック図と画像処理カメラのハードウェア構成図である。この画像処理カメラシステムは、自動車１の前方向や後方向に設置したカメラ２，３を使用して、後述するような多数のアプリケーションを実現するものである。画像処理カメラ２，３は、ネットワーク４を介してインターフェース手段５と接続されている。自動車１の場合、ネットワーク４は、ＣＡＮ（ Control Area Network ）など規格化されたネットワークや、単なる電力線でＯＮ／ＯＦＦを表現するだけの接続方法などが利用できる。インターフェース手段５は、ナビゲーションシステム、ハンドル、ブレーキなどドライバとの情報のやり取りをするデバイスであったり、エンジンコントロールユニット、ＧＰＳ、各種センサなど制御装置との情報をやり取りするデバイスである。インターフェース手段５がナビゲーションシステムである場合は、ＣＡＮなどのネットワーク４を通して多量の情報を伝達する。また、インターフェース手段５がサイドブレーキなどである場合は、必要最小限のＯＮ／ＯＦＦ情報のみを伝達する。

図１（ｂ）を用いて画像処理カメラ２，３のハードウェア構成の一実施形態を説明する。撮像デバイス６によって取得された画像は、撮像デバイスインターフェース７を介してＲＡＭ８に格納される。後述する多数のアプリケーションのプログラムや、撮像デバイス６の制御プログラムなどは、予めＲＯＭ９に格納されており、必要に応じてＣＰＵ１０によって実行される。画像処理カメラ２，３の内部では、外部インターフェース手段１１が、ネットワーク４を介して外部のデバイスとの仲介を行っている。すなわち、これらの要素７〜１１は、マイクロコンピュータ１２を構成しており、ＲＯＭ９には、画像処理カメラ２，３を起動するためのプログラムや実行可能なアプリケーションに関する情報が記憶されている。また、ＲＡＭ８にはアプリケーションの実行に必要な情報を格納している。アプリケーションの実行に必要な情報としては、後述する環境情報や、図１（ａ）のインターフェース手段５から得られた情報、及び画像データなどがある。撮像デバイス６は、マイクロコンピュータ１２すなわちＣＰＵ１０が処理するプログラムによって制御され、その制御情報は、撮像デバイスインターフェース７を介して送信される。

図２は、自動車における多数のアプリケーションと、必要画質、レート、カメラ制御及び画像処理機能の説明図である。図２中に示すように、アプリケーション例として、次のようなものが挙げられる。（１）車両周囲のモニタリング、（２）走行時の状況を記録するドライブレコーダ、（３）走行時の周囲映像を記念として記録する映像アルバム、（４）走行レーンをカメラによって認識することにより実現される車線逸脱警報、（５）走行中の障害に対して警報を出す障害物警報、（６）割込み・追越し車両警報、（７）自動的にライトの消灯を制御したりライトの明るさ強度や方向を制御するライト自動制御機能、（８）駐車や車線変更するときの駐車支援・車線変更支援機能、（９）衝突前に衝突被害をできるだけ軽減する衝突軽減・回避機能などである。

これらの多数のアプリケーションが必要とする（１）画質、（２）レート、（３）カメラ制御及び（４）画像処理機能について説明する。

まず、「（１）画質」については、高ければ高いほど望ましいが、解像度が上がればデータ量が増加し、処理に負担がかかってしまい、結果として所定のレートで処理できなくなってしまう場合がある。そのため、アプリケーションに適した画質が存在する。図２では映像アルバムのみ使用する画質を指定しているが、他のアプリケーションでも映像アルバムと同様に適した画質がある。例えば、レーン認識に必要な画質は白線などのレーンマークが判別できれば良く、必要以上に高画質の画像を時間とメモリを消費して取得する必要はない。

次に、「（２）レート」についても画質同様、それぞれのアプリケーションに適したレートが存在する。ここでレートとは処理の頻度のことであり、レートが高いほど処理サイクル数が小さく、短い時間間隔で処理が繰返される。一般的に高画質な映像を取得しようとしたり、安全性に関係する制御をしようとすると短い間隔で画像の取得が必要となりレートは高くなる。例えば、衝突軽減や衝突回避など高い信頼性と高速な応答性を求められるアプリケーションでは、画像処理の回数を増やして信頼性の向上と応答性を改善する必要がある。このように、アプリケーションの中には、１秒間に１回処理できれば機能を満たすものもあれば、１６ミリ秒間隔で処理が必要なものもあるため、撮像デバイスを共有するためにはレートを考慮しなければならない。

また、「（３）カメラ制御」は、主に人間が映像を見るアプリケーションと計算機が画像を処理するアプリケーションに分かれる。図２中のモニタリング、ドライブレコーダ、映像アルバム機能は見るアプリケーションであり、ライト自動制御以下のアプリケーションは認識処理を行うものである。カメラ制御の内容としては、モニタリング用の制御では、人間の見た目で自然な画像が取得できれば良く、画像処理用の制御では、画像処理する部分が処理できるような画像が取得できるように制御を行う。画像処理用の画像では、画像の暗い部分の処理用に低速シャッターで取得した画像や、明るい部分の処理用に高速シャッターで取得した画像などがある。これらシャッター制御を行った画像は、見た目には暗すぎたり、明るすぎたりしてモニタリング用のカメラ制御とは異なる場合が多い。また、カラー制御も信号を検知するために赤色や黄色を強調した画像を取得したりするため、自然な色を再現するモニタリング用のカメラ制御と異なる。

最後に、図２では、各アプリケーション別に、必要となる「（４）画像処理機能」を示している。基本となる画像処理機能としては、画像圧縮、色補正、レーン認識、車両検知などがあるが、いくつかの機能は複数のアプリケーションで同一の機能が必要とされている。複数のアプリケーションで同一機能が必要とされているのであれば、その機能が必要とするカメラ制御はアプリケーション間で共有できると考えられる。例えば、車線逸脱警報であればレーン認識機能が必要となり、同様にレーン認識機能が必要となる割込み車両警報とレーン認識機能の共有化を実施すれば、それに伴なって撮像デバイスの使用も共有化することができる。

以下に、１つのカメラ（撮像デバイス）を共有して、多数のアプリケーションを実現する本発明の一実施形態を説明する。

図３は、本発明による画像処理システムの一実施形態の概要を示す機能ブロック図である。ここに示す殆どの機能は、図１で説明したマイクロコンピュータ１２によって実行される。まず、画像を取得する撮像デバイス６を制御する撮像デバイスコントロール部１３と、アプリケーションの実行や停止を制御するアプリケーションスケジューリング部１４を備える。Ｎ個のアプリケーション１５１〜１５Ｎを備えたシステムであり、各アプリケーションは、基本となる画像処理機能（Ａ〜Ｍ）１６Ａ〜１６Ｍのうち必要なものを利用して動作する。また、各アプリケーションが処理に使用したり、アプリケーションスケジューリング部１４が、アプリケーションの制御に使用する環境情報１７を備えている。本実施形態では、通常カメラと呼ばれる撮像デバイス６に加えて、撮像デバイス６を制御する撮像デバイスコントロール部１３、各アプリケーションＡ〜Ｍを実行する部分を、図１（ａ）に示す画像処理カメラ２，３部に集約している。そこで、前述したアプリケーションを実現する高度な処理機能まで持ったカメラ（例えば、カメラ２，３）のことを単なる画像を取得するカメラと区別するために画像処理カメラと呼ぶことにする。

まず、図３に示した各アプリケーション１〜Ｎのうちのひとつ１５１が、単独で実行する場合について説明する。この単独実行の説明は、従来技術の特許文献１、特許文献２などの動作と同様である。アプリケーション１５１は、処理に必要な画像を撮像デバイス６から取得するために、周囲の明るさ、画像処理範囲、現在取得している画像の状態などの環境情報１７を参照する。これに基き、カメラパラメータ（カメラ向き、絞り値、シャッタースピードなど）を決定し、撮像デバイスコントロール部１３に撮像デバイス６の制御を依頼する。撮像デバイスコントロール部１３では、撮像デバイス６の露光タイミングなどを考慮して、アプリケーション１５１が欲するカメラパラメータを設定する。ここで、環境情報１７は、地図情報、日時（季節）、車外の照度、天候、注視範囲などがある。

このように、単独のアプリケーションのみ存在した場合は、アプリケーションが欲するカメラパラメータを撮像デバイスコントロール部１３が撮像デバイス６に設定するだけの機能で十分である。しかし、図３ではアプリケーションが複数であるため、各アプリケーションから要求されるカメラパラメータを受付け、撮像デバイス６がそれぞれの画像を限られた時間間隔で取得できるように制御する機能が必要となる。本実施例では、アプリケーションスケジューリング部１４がその機能を果たしている。つまり、アプリケーションスケジューリング部１４は、複数のアプリケーション１〜Ｎから要求され、撮像デバイス６に対する制御を調整して実行する機能を持つ。

アプリケーションの種類によっては、撮像デバイス６を共有できない場合が発生する。例えば、映像を高画質で録画したいため綺麗な画像を毎フレーム取得したいアプリケーションと、衝突回避のように画像処理に必要な画像をできるだけ短い時間間隔で毎回取得したいというアプリケーションである。この２つのアプリケーションを１つの撮像デバイスを使用して並行して実行することは、２つのアプリケーションのカメラ制御が全く同一でない限り困難である。このため、並行して実行するアプリケーションが限定されることになるが、その制御もアプリケーションスケジューリング部１４で行う。アプリケーションスケジューリング部１４は、各アプリケーションが必要とする画像制御情報と処理量、及び自動車１の走行状況から実行可能なアプリケーションを判断する。そして、実行できる場合には、画像の取得タイミングと処理タイミングとを調整する。このアプリケーションスケジューリング部１４によって、カメラパラメータを動的に変化させる複数のアプリケーションでも、１つの撮像デバイスを効率的に共有することができる。なお、インターフェース手段５は、図１で説明したように、ナビゲーションシステム、ハンドル、ブレーキなどドライバや自動車１の走行制御システムとの仲介役を果している。

次に、図４、図５を用いて撮像デバイス１のカメラパラメータの制御について説明する。

図４は、撮像デバイスコントロール部１３の機能ブロック図である。図に示すように、撮像デバイス６から得られる画像を制御するには、次の５つの制御機能部がある。まず、光量を電気信号に変換するための撮像素子に入射する光量を制御する露光制御部１３１、光量を電気信号に変換した後に電気信号で明るさを制御するゲイン制御部１３２及び色情報を制御するカラー制御部１３３がある。また、データ転送する範囲を限定し高速に画面をスキャンするスキャン範囲制御部１３４及び映像入力制御部１３５である。それぞれの制御は、図１（ｂ）で説明したように、マイクロコンピュータ１２のプログラム処理によって実行される。制御の対象によって、リアルタイムに変更できる静的パラメータもあれば、装置を機械的に制御して変更する動的パラメータもあり、後者の場合には希望する画像を取得するのに時間を要することもある。

図５は、撮像デバイス６のハードウェア構成図である。撮像デバイス６の内部では、信号処理部６１によって、カメラパラメータを変更できるゲイン制御及びカラー制御などの静的制御を実行する。一方、レンズ６２、絞り６３及び撮像素子６４などの光学系において、フォーカスやシャッタースピードを動的に制御する光学系制御部６５がある。本実施例では、これらの変更に関するスケジューリングに関しても実行し、前述したように、信号処理のパラメータ変更は瞬時に可能であるが、光学系は、瞬時に変更ができない場合が多い。

次に、スケジューリングの方法について説明する。前述したように、各アプリケーションは所定のレートで処理する必要がある。例えば、車線逸脱警報において、車線を逸脱してから３００［ｍｓ］以内に警報を出す必要があれば車線逸脱警報処理の処理サイクルは最長でも３００［ｍｓ］以下でなければならない。もし、実行中のアプリケーションとの関係で所定のレートを実現できない場合は、この車線逸脱警報処理を起動すべきでない。このため、所定のレートが実現できるようにスケジューリングされて、各アプリケーションを起動しなければならない。以下にスケジューリングについて詳述する。

図６は、複数アプリケーションの動作スケジューリングの一例タイムチャートであり、割込み車両警報とドライブレコーダの２つのアプリケーションが１つの撮像デバイスを共有し、並行して実行される場合のスケジューリングを示す。映像フレーム３００は、画像が取得できるタイミングを規定しており、それぞれのタイミングをフレームＦ０〜F５のフレーム番号で表現している。例えば、通常の撮像デバイスでは、１つのフレームは３３［ｍｓ］もしくは１６［ｍｓ］である。割込み車両警報３０１では、図２のカメラ制御の欄に示したように、高速と低速のシャッター制御を行った２枚の画像を用いて割込み車両の認識（車両検知）処理を行っている。このため、画像１，２の２枚の画像を取得して処理する必要がある。この図では、割込み車両警報３０１の処理サイクル（１周期）を６フレームとしているので、６フレームの期間内で２枚の画像の取得と、それぞれの画像処理を行う。一方、ドライブレコーダ３０２は、画像を記録する処理であるが、こちらの処理サイクルも６フレームであり、取得する画像は１枚である。図３のアプリケーションスケジューリング部１４は、割込み車両警報３０１のための画像１，２の取得と、処理１，２の処理時間を計算する。そして、割込み車両警報３０１には６フレーム必要であることから、フレームＦ０に画像１の取込み、フレームＦ１〜Ｆ２に処理１を割当て、フレームＦ３に画像２の取込み、フレームＦ４〜Ｆ５に処理２を割当てる。他方、ドライブレコーダ３０２の処理は画像取得のみであり、割込み車両警報３０１で撮像デバイス６を使用していないフレームＦ１に画像３の取込みを割当てている。ここで、両アプリケーションにおいて、画像の取込みタイミングは異なっているため、画像１〜３のカメラパラメータは全く異なる設定が可能であり、これらのアプリケーションに１つの撮像デバイス６を共有することができる。

図７は、本発明の一実施形態におけるアプリケーションのスケジューリングの処理フロー図である。これを用いてスケジューリング処理の周期（サイクル）について説明する。前述した図６では、処理周期（サイクル）は、フレームＦ０〜Ｆ５からなる６フレームであり、この処理周期を繰返している。まず、周期的に繰返される処理周期の最初のステップ７１で、実行中の処理スケジュールが更新されているかを確認する。スケジュールが変更になっていない場合は、ステップ７２のフレームＦ０の期間の処理に移る。ステップ７２の内部では、まずステップ７２１で、フレームＦ０の期間内に取込む画像データの取得コマンドの発行を行う。画像データの取込みは、通常ＤＭＡ転送と呼ばれるＣＰＵに負荷をかけない転送方法で実現されるため、ＣＰＵの処理は次のステップ７２２に移る。ステップ７２２では、次に来るフレームＦ１の期間内に取込むカメラパラメータ例えば、シャッタースピードなどの露光制御の設定を行う。カメラパラメータの設定は、図３の撮像デバイスコントロール部１３の機能として、図１（ｂ）に示したマイクロコンピュータ１２によって実行する。すなわち、撮像デバイスインターフェース７を介し、撮像デバイス６に適したタイミングで設定する。この処理を終了すると、ステップ７２３に移行する。ステップ７２３では、フレームＦ０の期間で実行するソフト処理を行う。フレームＦ０期間に実行する処理を全て実行したのち、ステップ７３では、次回にはフレームＦ１での処理を行うように設定し、今回の処理を終了する。その後、フレームF１の時期が来てタイマー割込みにより、再びこの処理が起動されると、今度は同様にしてフレームF１での処理を実行することになる。このようにして、タイマー割込みにより、順次フレームＦ０〜Ｆ５の処理を繰返す。

ステップ７１において、スケジュールが更新されている場合も、以降の処理は上記で説明した処理内容と同様になるが、各処理タイミングは、新しいスケジュールに従って必要に応じて初期化される。新しいスケジュールの適用は、ステップ７１で実行される。

図８は、複数アプリケーションの動作スケジューリングの他の一例タイムチャートであり、車線逸脱警報３１０，ライト自動制御３１１及びドライブレコーダ３０２の並行動作についての説明図である。車線逸脱警報３１０は、処理サイクルが６フレームとなっており、必要な画像は高速／低速シャッターの２枚、処理量はそれぞれの画像に対し１フレームで合計２フレームとなっている。ライト自動制御３１１も、処理サイクルは６サイクルで、高速／低速シャッターで２枚の画像、処理量はそれぞれの画像に対し１フレームとなっている。ドライブレコーダ３０２は、一定間隔（ここでは６フレーム）毎に１枚の画像を記録すればよい。この場合のアプリケーション実行のスケジューリングを、図８（ａ）と（ｂ）に示す。同図（ａ）では、車線逸脱警報３１０で使用する高速／低速シャッターを適用した画像１，２を、ライト自動制御３１１で使用する画像と共有できる場合を示している。このとき、車両検知とレーン認識の画像処理機能のカメラ制御が同一であるとする。車線逸脱警報３１０とライト自動制御３１１とで同じ画像が使用できるため、画像１に対して、車線逸脱警報３１０の処理１とライト自動制御３１１の処理３とを実行し、画像２に対してそれぞれ処理２と処理４を実行する。結果として、同図（ａ）のようなスケジューリングを図３のアプリケーションスケジューリング部１４の機能によって実行し、３つのアプリケーションで１つの撮像デバイス６を共有することができる。

車線逸脱警報３１０とライト自動制御３１１がそれぞれの画像を共有できない場合について、図８（ｂ）を用いて説明する。このとき、それぞれのアプリケーションで使用するカメラパラメータ制御が異なり、必ずしも同一の制御にならない場合を想定している。車線逸脱警報３１０とライト自動制御３１１の画像が共有できないため、ライト自動制御３１１は独自に画像４，５の２枚の画像を取得する必要がある。車線逸脱警報３１０とドライブレコーダ３０２が使用していないフレームＦ２，Ｆ５で画像４，５をそれぞれ取得するようにスケジューリングを行っている。また、画像を取得するタイミングに合せてライト自動制御３１１のための処理３，４をフレームＦ０，Ｆ３にスケジューリングする。これにより、これら３つのアプリケーションで１つの撮像デバイス６を共有しながら、並行して動作させることができる。

図９は、映像アルバムのアプリケーションを動作させた場合のスケジューリングタイムチャートである。映像アルバムの高画質モード３１２では、画像を毎フレーム取得して、リアルタイムに圧縮する処理が求められる。画像の取得が毎フレーム行われるため、処理周期（サイクル）は１フレームとなり、図９（ａ）に示すようになる。一方、映像アルバムの低画質モード３１３の場合、画像を毎フレーム記録する必要はなく、コマ落ちした映像となる。この時の処理周期（サイクル）を仮に６フレームとすると、同図（ｂ）に示すようなスケジューリングとなる。図から分るように、高画質の映像アルバム機能を実行させた場合、新たに撮像デバイス６を使用するアプリケーションが動作する余地が無く、ドライブレコーダ３０２など、映像アルバム（高画質）３１２と完全に画像を共有できるアプリケーションのみ並行して実行可能となる。

一方で、低画質の映像アルバム機能では、新たに別のカメラパラメータで撮像デバイス６を制御し画像を取得することができるので、様々なアプリケーションを選択して実行することができる。

図１０は、アプリケーションを追加起動する手順のスケジューリングタイムチャートであり、低画質の映像アルバム機能３１３を動作させている状態で、ライト自動制御３１１を追加起動した場合を説明する図である。同図（ａ）では、低画質の映像アルバム機能３１３のみ動作しているため、撮像デバイス６も使用していない期間が多い。ここで、ライト自動制御３１１を追加する場合、その処理周期（サイクル）は最短４フレーム（画像の取込み２回、処理２回）であるため、映像アルバム機能３１３の処理サイクルである６フレーム内に収まる。また、サイクル数が４フレーム以上であれば、映像アルバム（低画質）３１３とライト自動制御３１１は並行して実行することができる。本実施例では、ライト自動制御３１１のサイクル数を６フレームとしている。

図１０（ｂ）のようなスケジューリングを、図３のアプリケーションスケジューリング部１４において実行した結果、映像アルバム機能３１３とライト自動制御３１１の２つのアプリケーションを並行して動作させることができる。このとき、追加されたライト自動制御３１１の処理の開始は、映像アルバムの処理サイクルに合せて始めるようにコントロールされる。また、画像取込みにおいて映像の同期信号に同期して画像取得を行うため、処理のサイクルや開始タイミングは全て映像の同期信号に合せている。

以上の本発明の実施形態によれば、カメラパラメータを動的に変化させるアプリケーションの間においても、撮像デバイス６を共有することができる。

図１１は、並行して動作可能なアプリケーションのグループ化の一例図である。動作可能なアプリケーションを予めグルーピングしておき、グループ毎に最適なスケジューリングを行うように制御することができる。予め動作するアプリケーションをグループ化することにより、ユーザが一つひとつのアプリケーションを選択する手間を省け、また、常に最適なスケジューリングができるため撮像デバイス６を効率的に使用することができる。各アプリケーション間における基本の画像処理機能（図２）の一致度合いなどを考慮して、図６，８〜１０で説明した画像取込みと処理スケジュールの実行の可否から、グルーピングを決定する。この例では、グループ１〜４に、それぞれ３つ，２つ，５つ及び２つのアプリケーションを含むようにグループ化した場合を示している。

次に、本発明の一実施形態におけるユーザインターフェースについて説明する。本発明によれば、１つの撮像デバイス６を共有することで、複数のアプリケーションを切替えたり、並行して処理したりすることができる。そこで、ドライバが、走行中に画像処理カメラ２，３の機能を切替えたり、もしくは新しく始めたりすることができるユーザインターフェースを提供する。

図１２は、アプリケーションの選択や切替えを行うナビゲーション画面の一例図である。ドライバーが、ナビゲーション画面１９上でアプリケーションを選択し、あるいは切替える場合の手順について説明する。図１２には、選択できる多数のアプリケーションが画面１９上に表示されており、ドライバは、ナビゲーション画面１９のアプリケーション表示部にタッチすることで、実行アプリケーションを選択することができる。例えば、映像アルバムの高画質を選択した場合について説明する。なお、図１２以降の画面１９においては、図２に示した多数のアプリケーションのうちの一部を紙面のスペースの都合で割愛しているが、実際には、全てのアプリケーションが表示される。

図１３は、映像アルバムの高画質を選択した後の画面を示す。まず、高画質の映像アルバム機能３１２が選ばれ、動作中であるため、画面１９上には、太線で図示するように、「映像アルバム（高画質）」が明るく表示されている。映像アルバム（高画質）３１２が動作中である場合には、図９（ａ）で説明したように、並行して動作できるアプリケーションは大幅に限定される。ここでは、図１１の並行動作可能グループ４に示したように、モニタリング機能３０３が並行して動作可能であるものとする。したがって、「モニタリング」の表示は、実線で図示したように選択可能であることを示す色や明るさで表示されている。これ以外のアプリケーションの表示は、破線で示したように、全て選択不可の状態表示に切替わっている。

ドライバが、映像アルバム（高画質）３１２を止めたい場合は、「リセット」ボタン部にタッチするか、「映像アルバム（高画質）」表示部に再度タッチするとこのアプリケーションを終了する。アプリケーションの起動や停止は、直ちに撮像デバイスの制御に反映され、撮像デバイスから得られる画像は変化する。このとき、得られる画像自体が露光制御などによって変化する場合と、処理サイクルが変化して出力する画像のタイミングが変化する場合の２種類の変化が発生する。１つの撮像デバイス６を複数のアプリケーションで共有しているため、動作しているアプリケーションが変化すると、撮像デバイスの出力データを変化させる必要がある。

図１４は、アプリケーションの追加を行うナビゲーション画面の一例図である。映像アルバム（低画質）が動作中には、映像アルバム（高画質）が動作中の場合よりも、他の多数のアプリケーションが実行可能である。図１１の並行動作可能グループ４に示したように、映像アルバム（低画質）３１３のほかに、ライト自動制御３１１、割込み車両警報３０１、車線逸脱警報３１０及び駐車支援３０４の処理が可能である。図１４（ａ）のナビゲーション画面１９では、映像アルバム（低画質）が動作中であることを明示するとともに、そのほかに上記の４つのアプリケーションが起動可能であることを表示している。ここで、ドライバが、ライト自動制御３１１を追加起動した場合について説明する。この場合、図１４（ａ）の画面で、「ライト自動制御」の表示部にタッチしたとする。

図１４（ｂ）は、ライト自動制御３１１が追加起動された画面である。図示するように、「ライト自動制御」の表示部は動作中であることを示す表示に切換るとともに、このアプリケーションが起動される。

さて、ナビゲーション画面１９では、アプリケーションの選択や切替えは、ドライバの指示によることを想定しているが、ドライバ以外の情報でアプリケーションの選択や切替えを行うこともできる。例えば、高速で走行中には、駐車することはあり得ないため、駐車支援機能３０４は選択されることはない。この場合、アプリケーションの選択範囲を車速で限定して駐車支援機能を選択できないようにすることが望ましい。図１４（ｂ）では、高速走行中であるため、「駐車支援」の表示部が、選択不可に切換った状態を例示している。また、ドライバが駐車支援を予め選択していたとしても、予定の高速となった場合、同様に、「駐車支援」の表示を消し、選択も不可能とする。高速移動中は、割込み車両警報３０１や車線逸脱警報３１０などのアプリケーションが動作可能であり、これら可能なアプリケーションのみを表示し、選択を可能としている。

また、アプリケーションの切替えの例として、市街地を走行中は、衝突軽減などの安全機能が優先的に動作し、車線逸脱警報や映像アルバム機能よりも優先して動作させることもできる。その反対に、観光地や風光明媚な場所では、映像アルバム機能を優先して動作させ、他の機能を停止させることも可能である。さらに、このように、ドライバの操作以外に、ブレーキ、ＧＰＳ、車速など各種センサからの情報を下に、周囲環境の変化に応じて動作するアプリケーションの選択を制限したり、アプリケーションの動作自体を切替えたりすることができる。

以上のように、図３のアプリケーションスケジューリング部１４によって、アプリケーションの実行、追加起動及び停止などを行えば、ナビゲーション画面からドライバの意志によって動作アプリケーションを切替えることができる。

図１２〜１４では、ナビゲーション画面１９上でのアプリケーションの切替え手順を説明したが、ナビゲーション画面以外で実行するアプリケーションの選択を行っても良い。例えば、ハンドルにボタンを付けて、レーン維持走行機能を選択しても良い。この場合、ドライバがボタンを押した時点でどのアプリケーションが動作しているか分らない。そのため、スケジューリングの方法としては、レーン維持走行機能を最優先に設定して、レーン維持走行機能と並行して動作しないアプリケーションについて、強制的に終了するよう制御することが考えられる。このような仕組みは、ボタンだけではなく、自動車に搭載されている様々なセンサがその役割を果たしても良い。例えば、障害物を検知する距離センサと接続して、障害物がありそうだとの信号が入力された場合、最優先で障害物回避のアプリケーションが起動するということも可能である。この場合、それまで動作しているアプリケーションを動作させたまま障害物回避アプリケーションが動作するのであれば、動作中のアプリケーションはそのままでよい。また、並行して動作できないのであれば、動作中のアプリケーションを中断し、障害物回避のアプリケーションを即座に起動して安全支援のための機能が作動しはじめるように制御することもできる。これらの機能は図３のアプリケーションスケジューリング部１４によって実現される。

図１５は、本発明の一実施形態によるアプリケーションの追加起動を行う処理フロー図である。例えば、図１０及び図１４で述べたように、映像アルバム（低画質）３１３の動作中に、ドライバが、ナビゲーション画面１９において、ライト自動制御３１１を追加起動する場合を想定する。ドライバによって、「ライト自動制御」がタッチパネルにより選択されると、ステップ２０１において、ナビゲーションからアプリケーション追加のイベントを受け付け、割込み処理でこの処理を起動する。イベントを受け付けた後、プログラムは、ステップ２０２において、実行中及び追加するアプリケーションの情報を取得する。これらの情報は、図３の環境情報データベース１７に格納されており、実行中のスケジュール、現在のフレーム、各アプリケーションの処理サイクル、カメラパラメータを含む画像取得情報である。また、図１１で説明したような、どのアプリケーションが並行して実行できるかを調査したグルーピング情報などがある。ステップ２０３のスケジューリング処理では、選択されたライト自動制御が、動作している映像アルバム（低画質）機能と同じグループにあるかを確認する。グルーピング情報がなくても、選択されたアプリケーションが実行可能なアプリケーションであるか否かを、アプリケーション情報を参照して確認できる。実行可能か否かは、処理のサイクル数、取得画像枚数、必要な画像処理機能の情報を基に、図６〜１０で説明したような、処理周期内への必要処理の割振りの可否により判定される。実行可能なアプリケーションと実行不可能なアプリケーションとの区分けを行った後、それらの情報をアプリケーション情報に反映する。実行可能であった場合、環境情報１７内のアプリケーション情報やスケジューリング情報を用いてスケジュールを更新する。すなわち、追加起動を要求されたアプリケーションが動作中のアプリケーションとの間で、時間的に重なることなく１つの撮像デバイスから画像データの取込みを繰返すようにスケジュールを更新するのである。ステップ２０４では、更新した新たなスケジュールで再度、追加可能なアプリケーションを解析し、ドライバに通知したり、次のアプリケーション追加イベントに備えた後、ステップ２０５で処理を終了する。

このアプリケーションの追加起動の処理は、イベント発生を検知して割込み処理にて実行されるため、図７で説明したフローのどのステップで割込み処理が行われるか分からない。処理中の情報の整合性を確保するために、本実施の形態では、スケジュールの更新は図７のステップ７１で行っている。

この実施形態による画像処理カメラシステムを要約すると次の通りである。まず、並行して実行可能な複数のアプリケーションを選択するステップ（２０２）を備えている。次に、実行可能な複数のアプリケーションが、時間的に重なることなく１つの撮像デバイスから画像データの取込みを繰返す画像データ取込みタイミングとインターバルを決定するスケジューリングステップ（２０３）を備えている。また、このスケジューリングステップ（２０３）は、各アプリケーションにおける取込んだ画像データを用いる処理を含めたタイミングを決定するステップを含んでいる。さらに、複数のアプリケーションにおいて必要な画像データの枚数と、必要な取込み頻度とを、これらを記憶した記憶手段（１７）から読出すステップを含む。そして、読出した画像データの枚数と取込み頻度とに基いて、実行可能な複数のアプリケーションが、１つの撮像デバイスから画像データの取込みを繰返す画像データ取込みタイミングとインターバルを決定するステップを含んでいる。

図１６は、新規アプリケーションの追加と既存アプリケーションの削除を実行する画面の一例である。アプリケーションは、処理周期（サイクル）、画像処理機能、使用する画像、処理量など動作に必要な情報を規定して、メニューに追加することができる。これを、従来のアプリケーションと同様に、画面から選択したり、削除したりすることができる。図１６では、新たなアプリケーションを追加するために、ダウンロードするタッチパネル部１９１と、既存のアプリケーションを削除するためのタッチパネル部１９２を表示している。

図１７は、新規アプリケーションをダウンロードする処理フロー図である。図１６の画面を用いてダウンロードする際の説明を行う。新しいアプリケーションは、インターネットやコンパクトフラッシュ（登録商標）などの記録メディアから取得する。ユーザがダウンロードからの新規アプリケーションの選択を選んだ場合、ステップ１７１から、この処理が起動される。ステップ１７２では、ダウンロード可能なアプリケーションがユーザにメニューとして提示される。ステップ１７３において、ユーザは、メニューの中から必要な新規アプリケーションを選択する。この結果の下に、ステップ１７４で追加する新規アプリケーションの選択が終了すると、ステップ１７５では、並行して動作可能なアプリケーションの解析を実行する。並行して実行可能なアプリケーションの組合せは、前述した通り、処理のサイクル数，取得画像枚数及び必要な画像処理機能等から判断する。この結果により、図１１に示した既存のグルーピングを更新する。ステップ１７６では、全てのグループでの組合せを確認した後、情報をアプリケーション情報として格納し、ステップ１７７でダウンロード処理を終了する。

図１８は、新規アプリケーションを含めた動作スケジューリングの処理フロー図である。このスケジューリング処理は、図１５のステップ２０３のスケジューリングで行っている処理である。まず、ステップ１８１でスケジューリング処理が起動され、ステップ１８２で実行中のアプリケーション及び追加されるアプリケーションの情報を取得する。そして、ステップ１８３で、最短の処理サイクルを持つアプリケーションについて、スケジュール上にマッピングする。このとき、他のアプリケーションが動作可能なように、できるだけ余裕を持たせてマッピングする。例えば、６フレーム以内に処理が完了すればよいアプリケーションを３フレームで処理をするようなマッピングはしない。最短の処理サイクル数を持ったアプリケーションをマッピングした後、ステップ１８４では、次に短い処理サイクル数を持ったアプリケーションをマッピングする。ここで、マッピングに失敗した場合、つまり、撮像デバイス６が使用できなかったり、ソフト処理の時間が取れなかった場合、１つ前のステップ１８３のアプリケーションのスケジューリング処理に戻る。そして、撮像デバイス６の使用タイミングやソフト処理のタイミングを変更し、再度、ステップ１８４の２番目に短い処理サイクル数を持つアプリケーションのマッピングを行う。マッピングができた場合、ステップ１８５に移行し、逐次、スケジュールにアプリケーションをマッピングする。ステップ１８６では、最長の処理サイクル数をもつアプリケーションについてスケジュール上にマッピングできることを確認する。途中でスケジュール上にマッピングできないアプリケーションが出現した時点で、要求されたアプリケーションの追加は、並行して実行できるアプリケーションではないと判断して、その旨をユーザに知らせ、追加起動を断念する。

以上の実施形態においては、画像データを取得する撮像デバイス（６）と、この撮像デバイスから得られた画像データを用いてそれぞれが異なる機能を持つように設定された複数のアプリケーション（１５１〜１５Ｎ）を備えている。また、複数のアプリケーションに対応した画像データ取得要求に応じて撮像デバイスを制御する撮像デバイスコントロール部（１３）を備えている。さらに、複数のアプリケーションが１つの撮像デバイスからの画像データを取込んで複数のアプリケーションを並行して実行させる制御部（１４）を備えた画像処理カメラシステムを前提としている。ここで、複数のアプリケーションにおける必要な画像データ数と画像データ取込み頻度を記憶する手段（１７）を備える。また、これら画像データ数と画像データ取込み頻度に基き、並行して実行可能な複数のアプリケーションを選択する手段（１４）を備える。次に、実行可能な複数のアプリケーションが、１つの撮像デバイスから時間的に重なることなく画像データの取込みを繰返す画像データ取込みのタイミングとインターバルを決定する画像取込みスケジューリング部（１４）を備える。このスケジューリング部（１４）は、各アプリケーションにおける取込んだ画像データを用いた処理を含めたタイミングを決定するように構成している。

また、１つの撮像デバイスからの画像データを用いて並行して実行する複数のアプリケーションの組合せを記憶するアプリケーショングループ記憶手段（１７）を備える。ここで、前記の選択手段は、アプリケーショングループ記憶手段から、並行して実行可能なアプリケーショングループについてのデータを読出している。

さらに、複数のアプリケーションを実行させるために撮像デバイスを制御する複数の基本画像処理機能部（１６Ａ〜１６Ｍ）を備える。そして、必要とするこれら基本画像処理機能の一致の度合いに基き、１つの撮像デバイスからの画像データを用いて並行して実行する複数のアプリケーションを決定する手段を備えている。

前記の、画像データ数と画像データ取込み頻度に基き、並行して実行可能な複数のアプリケーションを選択する手段（１４）は、あるアプリケーションを実行中に、実行中のアプリケーションと同一のアプリケーショングループに属することに基いて、実行可能な他のアプリケーションを選択するようにしている。また、必要とする基本画像処理機能について、実行中のアプリケーションとの一致の度合いに基いて、実行可能な他のアプリケーションを選択する一助としている。さらに、実行中のアプリケーションによる撮像デバイスからの画像データの取込み期間の合間のタイミングで、他のアプリケーションが必要とする撮像デバイスからの画像データ取込みが可能であることに応じて、他のアプリケーションを実行可能なアプリケーションとして選択するようにしている。

次に、マンマシンインターフェースについては、実行可能なアプリケーションを表示する手段（１９）と、この表示された実行可能なアプリケーションの起動をユーザが指示するための操作手段を備えている。また、実行中のアプリケーション及び追加実行可能なアプリケーションを表示する手段と、追加実行可能なアプリケーションの起動及び実行中のアプリケーションの停止をユーザが指示するための操作手段を備えている。そして、この操作手段による指示入力に基きアプリケーションの起動及び停止を行う制御手段を備えている。

また、周囲環境の変化に応じて追加実行可能なアプリケーションを切替える実行可能アプリケーション選択手段と、この選択手段によって選択された実行可能なアプリケーションを表示する手段を備えている。

さらに、新たなアプリケーションのダウンロードによる追加を要求する操作手段を備えている。

これらの特徴により、複数のアプリケーションで１つの撮像デバイスを信頼性高く、かつ効率的に共有することができる。また、実行可能なアプリケーションをユーザが選択でき、ユーザに選択されたアプリケーションを即座に実行することができる。さらに、優先的に実行すべきアプリケーションをシステムの状況によって選択し、実行することができる。

これまで、本発明を、自動車に搭載する画像処理カメラシステムに適用した実施形態について詳細に説明したが、本発明は多種の画像処理カメラシステムに応用することができる。例えば、侵入者監視カメラシステムにも本発明を適用できる。ある特定の機能を実現するカメラを複数台設置するよりも、共有できる画像処理機能がある場合に本発明を適用し、アプリケーションが必要とする機能毎にカメラを信頼性高く共有して、カメラ台数を削減することができる。

本発明によれば、１つの撮像デバイスを、複数のアプリケーションで、信頼性高く共有することのできる画像処理カメラシステムを提供することができる。

また、本発明の実施形態によれば、実行できる複数のアプリケーションをユーザに明示し、ユーザが実行するアプリケーションを迷うことなく選べる使い勝手に優れた画像処理カメラシステムを提供することができる。

本発明を自動車に適用した一実施形態における画像処理カメラシステムのブロック図及び画像処理カメラのハードウェア構成図。 自動車における多数のアプリケーションが必要とする画質、レート、カメラ制御及び画像処理機能の種別を示す図。 本発明の一実施形態における画像処理カメラシステムの機能ブロック図。 撮像デバイスコントロール部の機能ブロック図。 撮像デバイスのハードウェア構成図。 複数アプリケーションの動作スケジューリングの一例タイムチャート。 本発明の一実施形態におけるアプリケーションをスケジューリングする処理フロー図。 複数アプリケーションの動作スケジューリングの他の一例タイムチャート。 映像アルバムのアプリケーションを動作させた場合のスケジューリングタイムチャート。 アプリケーションを追加起動する手順のスケジューリングタイムチャート。 並行して動作可能なアプリケーションのグルーピングの一例図。 アプリケーションの選択や切替えを行うナビゲーション画面の一例図。 映像アルバムの高画質を選択した後の画面例。 アプリケーションの追加を行う前後のナビゲーション画面の変化の一例を示す図。 本発明の一実施形態によるアプリケーションの追加起動を行う処理フロー図。 新規アプリケーションの追加と既存アプリケーションの削除を実行する画面の一例図。 本発明の一実施形態による新規アプリケーションのダウンロード処理フロー図。 新規アプリケーションを含めた複数アプリケーションの動作スケジューリングの処理フロー図。

符号の説明

１…自動車、２，３…カメラ、４…ネットワーク、５…インターフェース手段、６…撮像デバイス、７…撮像デバイスインターフェース、８…ＲＡＭ、９…ＲＯＭ、１０…ＣＰＵ、１１…外部インターフェース手段、１２…マイクロコンピュータ、１３…撮像デバイスコントロール部、１４…アプリケーションスケジューリング部、１５１〜１５Ｎ…Ｎ個のアプリケーション、１６Ａ〜１６Ｍ…画像処理機能（Ａ〜Ｍ）、１７…環境情報、１８…インターフェース、１９…画面。

Claims (4)

1. 車両走行のための第１と第２のアプリケーションに使用する画像を車両に搭載された光学系から取り込み、取り込まれた画像を処理する、画像処理方法であって、
   第１のレートで第１の画像を取り込み、車両走行のための第１の画像処理を行う第１のアプリケーションと、
   第２のレートで第２の画像を取り込み、車両走行のための第２の画像処理を行う第２のアプリケーションと、
   前記第１のアプリケーションと前記第２のアプリケーションで使用する第１と第２の画像を、共通に使用する前記光学系から取り込むために複数のフレームで構成される処理周期を有し、
   前記処理周期には、前記第１のアプリケーションの第１のレートと前記第２のアプリケーションの第２のレートにそれぞれ基づいて前記第１と第２の画像をそれぞれ取込むためのフレームがそれぞれ割り付けられており、
   前記処理周期を実行することにより、前記第１と第２の画像を順にそれぞれ取込むために前記第１あるいは第２の画像に対する前記光学系の設定制御が行われ、前記設定制御が行われた光学系から割り付けられたフレームの実行により第１あるいは第２の画像が順に取り込まれ、
   前記取り込まれた画像に基づき、前記第１のあるいは前記第２のアプリケーションが実行され、
   前記処理周期の実行を繰り返すことにより、前記第１のアプリケーションあるいは第２のアプリケーションで使用する画像に対応して前記光学系の設定制御が繰り返し行われ、前記設定制御された光学系から画像が繰り返し取り込まれ、前記取り込まれた画像に基づき、前記第１のアプリケーションと第２のアプリケーションが繰り返し実行されることを特徴とする画像処理方法。
2. 車両走行のための第１と第２のアプリケーションに使用する画像を車両に搭載された光学系から取り込み、取り込まれた画像を処理する、画像処理方法であって、
   前記画像処理方法は、
   第１の撮像条件に基づいて前記光学系で撮像された第１の画像を第１のレートで取り
   込み、車両走行のための第１の画像処理を行う第１のアプリケーション処理と、
   第２の撮像条件に基づいて前記光学系で撮像された第２の画像を第２のレートで取り
   込み、車両走行のための第２の画像処理を行う第２のアプリケーション処理と、
   前記第１のアプリケーションあるいは前記第２のアプリケーションで使用する第１あるいは第２の画像を、共通に使用する前記光学系からそれぞれ取り込むための複数のフレームで構成される処理周期を有し、
   前記処理周期には、前記第１のアプリケーションの第１のレートと前記第２のアプリケーションの第２のレートにそれぞれ基づいて前記第１と第２の画像をそれぞれ取込むためのフレームがそれぞれ割り付けられており、
   前記処理周期を実行することにより、前記第１と第２の画像を順それぞれ取込むために前記第１あるいは第２の画像に対する前記光学系の設定制御が順にそれぞれ行われ、前記設定制御が行われた光学系から割り付けられたフレームの実行により第１あるいは第２の画像が順に取り込まれ、
   前記取り込まれた画像に基づき、前記第１のあるいは前記第２のアプリケーションが実行され、
   前記処理周期の実行を繰り返すことにより、前記第１のアプリケーションあるいは第２のアプリケーションで使用する画像に対応して前記光学系の設定制御が繰り返し行われ、前記設定制御された光学系から画像が繰り返し取り込まれ、前記取り込まれた画像に基づき、前記第１のアプリケーションと第２のアプリケーションが繰り返し実行されることを特徴とする画像処理方法。
3. 車両の前方方向あるいは車両の後方方向に向けられて車両に搭載された、レンズや絞りや撮像素子を有する光学系の撮影条件を設定する設定処理手順と、
   第１の撮影条件に基づいて前記光学系で撮像された画像を第１のレートで処理する第１処理手順と、
   第２の撮影条件に基づいて前記光学系で撮像された画像を第２のレートで処理する第２処理手順と、を有し、
   前記第１処理手順と第２処理手順で使用する画像を、共通に使用する前記光学系から取得するために、前記第１のレートと前記第２のレートに基づき、時間的に重ならない状態で取り込み、前記第１処理手順あるいは前記第２処理手順を繰返し実行するための第１と第２のフレームを１つ以上有して成る処理周期を設定し、
   設定された前記処理周期を繰り返し実行し、前記処理周期を繰り返し実行することにより、前記第１と第２のフレームを繰り返し実行し、
   前記第１と第２のフレームの実行の繰り返しにより、車両の前方方向あるいは車両の後方方向に向けられて車両に搭載された、レンズや絞りや撮像素子を有する光学系の撮影条件の設定処理手順を繰り返し実行し、
   前記設定された撮影条件に基づき、前記第１処理手順と第２処理イ順で使用する画像を、共通に使用する前記光学系から繰り返し取得し、
   取得した画像に基づき前記第１処理手順あるいは前記第２処理手順を繰返し実行することを特徴とする画像処理方法。
4. 車両の前方方向あるいは車両の後方方向に向けられて車両に搭載された、レンズや絞りや撮像素子を有する光学系の撮影条件を設定する設定処理手順と、
   第１の撮影条件に基づいて前記光学系で撮像された画像を第１のレートで処理する第１処理手順と、
   第２の撮影条件に基づいて前記光学系で撮像された画像を第２のレートで処理する第２処理手順と、を有し、
   車両の運転状態に基づいて前記第１処理手順あるいは前記第２処理手順を実行するかどうかを判断し、前記第１処理手順あるいは前記第２処理手順を実行すると判断した場合には、
   前記第１処理手順と第２処理手順で使用する画像を、共通に使用する前記光学系から取得するために、前記第１のレートと前記第２のレートに基づき、時間的に重ならない状態で取り込み、前記第１処理手順あるいは前記第２処理手順を繰返し実行するための第１と第２のフレームを１つ以上有して成る処理周期を設定し、
   設定された前記処理周期を繰り返し実行し、前記処理周期を繰り返し実行することにより、前記第１と第２のフレームを繰り返し実行し、
   前記第１と第２のフレームの実行の繰り返しにより、車両の前方方向あるいは車両の後方方向に向けられて車両に搭載された、レンズや絞りや撮像素子を有する光学系の撮影条件の設定処理手順を繰り返し実行し、
   前記設定された撮影条件に基づき、前記第１処理手順と第２処理イ順で使用する画像を、共通に使用する前記光学系から繰り返し取得し、
   取得した画像に基づき前記第１処理手順あるいは前記第２処理手順を繰返し実行することを特徴とする画像処理方法。

Images