JP6003745B2 - 画像処理装置 - Google Patents

Description

本発明は、撮像手段に取得させる画像データを用いて画像処理を行う画像処理装置に関する。

従来、撮像手段によって撮像された画像データを用いて、種々の用途（アプリケーション）に応じた画像処理を実行する画像処理装置が知られている。これらの画像処理装置は、アプリケーションに応じて、撮像手段により撮像した画像データの全体（以下、全画面データという）を用いた画像処理や、全画面データから必要となる一部を切り出した画像データ（切り出し画像データ）を用いた画像処理を行う。例えば、切り出し画像データを用いた画像処理を行う画像処理装置として、撮像手段の光軸を調整するものが知られている（特許文献１参照）。

特開２０１０−２５１９３８

ところで、アプリケーションが実行される頻度はその目的や用途により異なる。例えば、より高い頻度で画像処理を必要とするアプリケーションを実行しようとする場合、上記従来装置では、全画面データをより高いフレームレートで取得しなくてはならないため、撮像手段を動作させる動作クロックの周波数を高くする必要が生じるという問題があった。

本発明は、このような問題に鑑みてなされたものであり、高速な動作クロックを用いることなく、種々のアプリケーションに対応する画像処理装置を提供することを目的とする。

上記目的を達成するためになされた請求項１に記載の画像処理装置では、撮像手段が、予め設定されたフレーム毎に、予め設定された撮像範囲の画像データを取得する。また、画像処理手段が、撮像手段が取得した画像データについて画像処理を実行する。ここで特に、第１設定手段は、撮像手段が撮像する撮像範囲のうち予め設定された第１範囲を、予め設定された第１フレームレートで撮像手段に撮像させるように設定を行う。

また、第２設定手段は、撮像手段が撮像する撮像範囲の一部であり第１範囲より狭い第２範囲を、第１フレームレートより高い第２フレームレートで、撮像手段に撮像させるように設定を行う。そして、判断手段が、画像処理が実行する処理内容に応じて、第１設定手段及び第２設定手段のうちいずれを選択するかを判断し、処理内容のうち実行頻度の低い処理内容においては第１設定手段を選択するように判断する。

従って、本発明の画像処理装置は、アプリケーションに必要とされる画像処理を、高速な動作クロックを用いることなく、必要とされる実行頻度で実現することができる。ここで、より高い頻度で画像処理を必要とするアプリケーションを実現する場合、画像処理装置は、第２範囲を、このアプリケーションの実現に少なくとも必要とされる画像範囲として、撮像手段にデータを取得させ、この画像データを用いた画像処理を行う。これによると、必要とされる画像範囲を切り出す処理を行うことが無いため、画像処理装置の処理負
荷を軽減することができる。

ここで、請求項２に記載のように、第１設定手段は、第１範囲を撮像範囲の全域に設定してもよい。また、請求項３に記載のように、第２設定手段は、一組の第２範囲及び第２フレームレートを設定してもよいし、複数組の第２範囲及び第２フレームレートを設定してもよい。

なお、請求項４に記載のように、撮像手段は、判断手段での判断にかかわらず、同じ周波数の動作クロックに従って撮像を行うものであってもよい。つまり、本発明の画像処理装置は、フレームレートの変更を、動作クロックの周波数を変化させること無く行うため、動作クロックの周波数を高くした場合に懸念されるＥＭＣ特性の劣化、及び発熱の増加を抑制することができる。
また、請求項５に記載のように、撮像手段が撮像した画像における無限遠点の該画像における中央に対するずれ量を算出するずれ量算出手段を備え、第２設定手段は、該ずれ量に基づいて第２範囲を設定してもよい。

第１実施形態の画像処理装置の構成を表すブロック図である。 （ａ）は全画面モードの撮像範囲を説明する説明図であり、（ｂ）は切り出し画面モードの撮像範囲を説明する説明図である。 （ａ）は全画面モードのタイミング信号を説明する説明図であり、（ｂ）は切り出し画面モードのタイミング信号を説明する説明図である。 光軸補正処理で検出する無限遠点（ＦＯＥ）について説明する説明図であり、（ａ）はカメラの光軸とＦＯＥとの関係を示す説明図であり、（ｂ）は光軸のずれによるＦＯＥのずれを説明する説明図である。 起動時光軸補正処理の内容を示すフローチャートである。 光軸補正処理の内容を示すフローチャートである。 第２実施形態の通常処理の内容を示すフローチャートである。 画像設定処理の内容を示すフローチャートである。 第３実施形態において、クロック周波数を第１実施形態の切り出し画面モードより高い周波数に設定したときのタミング信号を説明する説明図である。 他の実施形態での切り出し画面を説明する説明図である。

以下に本発明の実施形態を図面と共に説明する。
［第１実施形態］
［１．全体構成］
図１は、第１実施形態の画像処理装置１０の構成を示すブロック図である。

画像処理装置１０は、車両に搭載された状態で用いられるものであり、その車両に搭載されている車載カメラ（以下、単に「カメラ」という）２０、統合判断ＥＣＵ６０、警報部７０及び操舵ＥＣＵ８０とともに、前方車両の認識に基づく警報処理及び操舵制御を実現する。なお、画像処理装置１０及びカメラ２０からなる構成をカメラシステム１という。

カメラ２０は、車室内の所定位置、例えばルームミラーの裏側に設置され、車両の進行方向前方の道路を撮像する。なお、カメラ２０は、車室内の所定位置に設置されるときに、その撮像範囲が車両の進行方向に対して所定の撮像範囲となるように、その向き等が調整されている
カメラ２０は、垂直方向及び水平方向にＰＤ（Photo Diode）を配列した公知のＰＤアレイからなるＣＭＯＳイメージセンサを備えるセンサ部３０と、発振器４０と、制御部５０とを備え、画像処理装置１０からのカメラ制御値に基づく制御部５０からの指示に従って、露出時間（シャッタースピード）、画像処理装置１０へ出力する信号（画素値）のゲ
イン、フレームレート及び撮像範囲等を調整することが可能に構成されている。カメラ２０は、撮像した画像の画素毎の輝度（明るさ）を示すデジタル信号を画素値として、該画素値を、画像の垂直・水平同期信号とともに画像処理装置１０へ出力する。

このカメラ２０では、センサ部３０が、垂直・水平同期信号、及びピクセルクロック（以下、これらをタイミング信号という）に従うタイミングで画素値を出力し、発振器４０が、これらのタイミング信号を制御部５０からの指示に従って生成する。

垂直同期信号は、１フレームの区切り（撮像範囲の総画素数）を設定する信号であり、水平同期信号は、フレーム内の水平方向毎の区切りを設定する信号であり、ピクセルクロックは、センサ部３０によって撮像する画像の画素毎の画素値を取得するタイミングを設定する信号（動作クロック）である。カメラ２０では、ピクセルクロックは予め定められた周波数に固定されている。また、１フレームの区切りに要する時間は可変であり、その最小時間は撮像時間（露光時間）に比べて十分に大きい値となっている。

制御部５０は、画像処理装置１０から出力されたカメラ制御値に基づいて、フレームレート及び撮像範囲の調整を指示する。
具体的には、フレームレートを調整するカメラ制御値として、垂直同期信号をハイ（Ｈｉｇｈ）レベルとする期間（垂直同期信号ハイ期間Ｈｖという）及びロー（ＬＯＷ）レベルとする期間（垂直同期信号ロー期間Ｌｖという）と、水平同期信号をハイレベルとする期間（水平同期信号ハイ期間Ｈｈ）及びローレベルとする期間（水平同期信号ロー期間Ｌｈ）とが設定される。ただし、垂直同期信号ロー期間Ｌｖ、及び水平同期信号ロー期間Ｌｈの長さは、それぞれ、一定時間に設定されている。以下では、必要に応じ、各期間Ｈｖ、Ｌｖ、Ｈｈ、Ｌｈの長さを、これらの記号で表すものとする。

また、撮像範囲を調整するパラメータとして、撮像範囲のうち最初に取得される画素の撮像画面上の座標（開始座標Ｓという）、及び最後に取得される画素の撮像画面上の座標（終了座標Ｅという）が設定される。

ここで、図２（ａ）に示すように、ｘ方向にｍ画素及びｙ方向にｎ画素からなる矩形の撮像画面全体（以下、全画面という）の画素値を取得する場合の各タイミング信号について説明する。制御部５０は、垂直・水平同期信号がともにハイに設定されている期間、ピクセルクロックに従ってセンサ部３０から画素値を出力させるように制御する。

まず、撮像範囲の開始座標Ｓ１は全画面の画面左上角に設定され、終了座標Ｅ１は画面右下角に設定される。
そして、図３（ａ）に示すように、垂直同期信号ハイ期間Ｈｖ１の長さは全画面（全画素数（ｍ×ｎ画素））の画素値を取得するために必要な時間として設定される。垂直同期信号ロー期間Ｌｖ１の長さは、所定時間ａに設定される。この期間Ｈｖ１及び期間Ｌｖ１の長さの合計が、垂直同期信号の周期、つまりフレーム周期Ｔ１として決定される。

また、水平同期信号ハイ期間Ｈｈ１の長さは、ここでは、ｘ方向についてｍピクセル分の画素値を取得するために必要な時間として、ピクセルクロックの周期とｘ方向の画素数（ｍ）との積として設定される。水平同期信号ロー期間Ｌｈ１の長さは、所定時間ｂに設定されている。この期間Ｈｈ１及び期間Ｌｈ１の長さの合計が、水平同期信号の周期として決定される。以下では、このように全画面の画素値を取得するモードを全画面モードという。

次に、図２（ｂ）に示すように、全画面のうち一部を切り出した切り出し画面の画素値を取得する場合（切り出しモードという）のタイミング信号について説明する。簡単のた
め、切り出し画面は、ｘ方向にｍ画素及びｙ方向にｐ（ｐ＜ｎ）画素の画素数ｍ×ｐ（ｍ×ｐ＜ｍ×ｎ）からなる矩形の画面とする。

この場合、開始座標Ｓ２及び終了座標Ｅ２は、それぞれ切り出し画面の左上角及び右下角に設定される。また、図３（ｂ）に示すように、垂直同期信号ハイ期間Ｈｖ２の長さは、ｐライン分の画素値を取得するために必要な時間に設定される。水平同期信号ハイ期間Ｈｈ２の長さは、ｘ方向の画素数が同じであることから、全画面モードの水平同期信号ハイ期間Ｈｈ１の長さと同じ値に設定される。切り出し画面モードのフレーム周期Ｔ２は、取得するライン数が少ない（取得する画素数が少ない）ことから、全画面モードのフレーム周期Ｔ１より短い周期に決定される。

このように、カメラ２０は、より広い撮像範囲（画素数大）の画素値を取得するように設定された場合、結果としてフレームレートが低く設定される。一方より狭い撮像範囲（画素数小）の画素値を取得するように設定された場合、結果としてフレームレートはより高く設定される。このようなフレームレートの変更は、動作クロックを変更せずに行われる。

つまり、カメラ２０は、撮像範囲が設定されることにより１フレームで伝送する画素数が設定され、画素数が設定されることによりフレームレートが設定される、という構成になっている。

画像処理装置１０は、少なくとも、ＣＰＵ１１、メモリ１２、カメラ２０の撮像画像を入力するための画像インタフェース１３、及び統合判断ＥＣＵ６０との通信を行うための通信インタフェース１４を備える。

画像インタフェース１３は、カメラ２０から出力される画素値及び水平・垂直同期信号が入力される。ＣＰＵ１１は、画像インタフェース１３に入力された水平・垂直同期信号に基づいて、カメラ２０から順次出力される画素値が、いずれの画素位置に対応するものかを認識する。そして、認識した画素位置に対応するように、カメラ２０から出力される画素値をメモリ１２に記憶する。このようにして、カメラ２０から出力される画像信号がメモリ１２に保存される。

ＣＰＵ１１は、カメラ２０から出力された画像信号を処理することにより、
統合ＥＣＵが行う各種制御の用途（アプリケーション）に応じた画像処理を行うとともに、その処理結果を統合ＥＣＵに出力する。具体的には、統合ＥＣＵが実行するアプリケーションとしての警報処理及び操舵処理の実現のために、ＣＰＵ１１は、画像処理として認識対象物（ここでは前方車両）の位置の認識処理を行う。

またＣＰＵ１１は、認識対象物が適切に認識されるように、カメラ２０の露出制御、撮像範囲及びフレームレートを調整する制御を行う。具体的には、ＣＰＵ１１は、カメラ２０の露光時間、ゲイン、フレームレート、及び撮像画像範囲を調整するため、これらの調整指示値を含むカメラ制御値をカメラ２０へ出力する。通信インタフェース１４は、ＣＰＵ１１と、統合判断ＥＣＵ６０との間の通信を実行するものである。

統合ＥＣＵは、ＣＰＵ１１から送信された前方車両の位置に基づいて、自車両が前方車両と接触する危険性があるか否かを判定し、危険があると判定した場合には、警報部７０に対して警報を発するように指示する（警報処理）。また、危険性が高い場合には、単に警報を発するだけでなく、操舵ＥＣＵ８０に対して操舵制御（操舵装置のアシスト量を調節したり、操舵装置を自動的に駆動したりして危険を回避する制御）を行うように指示する（操舵処理）。

［２．ＣＰＵでの処理］
次に、ＣＰＵ１１が実行する処理（起動時光軸補正処理という）について説明する。ＣＰＵ１１は、カメラ２０の光軸のずれを補正する光軸補正処理を実行した後に、統合ＥＣＵが実行するアプリケーションとしての警報処理及び操舵処理に応じた画像処理（前方車両認識）を実行する。

はじめに、カメラ２０の光軸補正処理の概要について説明する。カメラ２０は、車室内の所定位置に設置されるときに、図４（ａ）に示すように光軸Ｐが車両の進行方向正面を向き、撮像した画像（Ｇ０）における無限遠点（ＦＯＥ：Focus of Expansion）が、図４（ｂ）に示すように、水平方向の画面幅中央、且つ垂直方向の画面幅中央（つまり画面中央）に位置するように調整されているものとする。

しかし、実際にはカメラ２０の取り付け状態が変換することによって、カメラ２０の光軸Ｐの向きには誤差が生じ、撮像画像（例えばＧ１、Ｇ２）から精度の高い位置検出ができない虞がある。この光軸Ｐの向きのずれを補正する処理が、次に説明する光軸補正処理である。光補正処理を行う場合、光軸のずれ分を考慮し、撮像範囲を全画面とすることが望ましい。

次に、図５示すフローチャートを用いて、ＣＰＵ１１が実行する処理について説明する。本処理は、予め記憶されているプログラムに従い、ＣＰＵ１１が予め定めたタイミング（例えば、イグニションスイッチがオンされるタイミング）毎に、あるいは所定の周期毎に実行される。

ＣＰＵ１１は、起動時光軸補正処理を開始すると、まずＳ１１０で光軸補正処理を実行した後、アプリケーションとしての警報処理及び操舵処理を終了するタイミングとなるまで（Ｓ１４０：ＹＥＳ）、露出設定（Ｓ１２０）を行った後に、これらのアプリケーションに応じた画像処理を行う（Ｓ１３０）、という処理を繰り返し実行する。

Ｓ１１０で実行する光軸補正処理では、図６のフローチャートに示すように、まずＳ２１０では、予め定められた露出条件でカメラ２０から撮像画像を取得する。続いて、Ｓ２２０では、光軸を補正した履歴がメモリ１２に記憶されているか否かを確認し、履歴が記憶されている場合はＳ２６０に移行し、履歴が記憶されていない場合はＳ２３０に移行する。

光軸を補正した履歴が記憶されていない場合に移行するＳ２３０では、カメラ２０の撮像範囲を全画面とするように、カメラ制御値を設定する。次にＳ２４０では、Ｓ２３０で設定された全画面モードで全画面の画像（画素値）を取得し、取得した画像から無限遠点を算出し、算出した無限遠点と本来位置すべき無限遠点である画面中央とのずれ（以下、光軸ずれ量という）を算出する。無限遠点の算出方法は種々の方法が周知であるため、説明を省略する。続くＳ２５０では、算出した光軸ずれ量と、光軸補正を行ったという履歴（例えば、履歴を示すフラグ値等）をメモリ１２に記憶した後、Ｓ２６０に移行する。

続いてＳ２６０では、アプリケーションとしての警報処理及び操舵処理に少なくとも必要とされる画面範囲、すなわち全画面から必要とされる範囲を切り出した切り出し画面を撮像範囲とするように、カメラ制御値を設定し、本処理を終了する。なお、Ｓ２６０では、Ｓ２５０から移行する場合は、Ｓ２４０で算出した光軸ずれ量に基づいて、このずれ分を補正するずれ量補正処理を実行し、カメラ制御値を設定する。ずれ量補正処理によるずれの補正は、駆動機構によりカメラ２０の光軸を調整することにより実現されてもよいし、画面座標の算出時にずれ量分を調整することにより実現されてもよい。

これにより、光軸補正処理は、全画面で、相対的に低いフレームレートで実現される。一方、アプリケーションとしての、前方車両認識に基づく警報処理及び操舵処理に応じた画像処理は、自車両走行レーンの前方を切り出し画面（撮像画面）として、相対的に高いフレームレートで実現される。

［３．効果］
以上説明したように、本実施形態の画像処理装置１０では、アプリケーションを実現するための画像処理の内容に応じて、高速な動作クロックを用いることなく、カメラ２０が画像を取得するフレームレートを変更することができる。ここで、フレームレートが高く設定される場合、必要とされる画像範囲を切り出す処理はカメラ２０が行うため、画像処理装置１０の処理負荷を軽減することができる。

また、本実施形態の画像処理装置１０では、フレームレートの変更を、動作クロックの周波数を変更することなく行っているため、動作クロックの周波数を高くした場合に懸念されるＥＭＣ特性の劣化、及び発熱の増加を抑制することができる。

［４．特許請求の範囲との対応］
本実施形態では、カメラ２０が撮像手段に相当する。また、Ｓ１３０の処理が画像処理手段としての処理に相当し、Ｓ２２０が判断手段としての処理に相当し、Ｓ２３０の処理が第１設定手段としての処理に相当し、Ｓ２６０の処理が第２設定手段としての処理に相当する。さらにまた、本実施形態における画像処理装置１０及びカメラ２０からなるカメラシステム１が、画像処理システムに相当する。また、全画面が第１範囲に相当し、切り出し画面が第２範囲に相当し、全画面モードでのフレームレートＴ１が第１フレームレートに相当し、切り出し画面モードでのフレームレートＴ２が第２フレームレートに相当する。

［第２実施形態］
第２実施形態について説明する。本実施形態の画像処理装置は、構成は上記実施形態と同様であるが、ＣＰＵ１１が実行する処理内容が異なる。つまり、上記実施形態では、画像処理装置１０（ＣＰＵ１１）は、図５に示すように、光軸補正処理（Ｓ１１０）を実行した後に操舵処理等のアプリケーションのための画像処理（Ｓ１３０）を実行したが、本発明は、はじめに光軸を補正する処理を実行することなく、各種アプリケーションに応じた画像処理を実行する場合にも適用できる。

本実施形態のＣＰＵ１１が実行する通常処理を、図７のフローチャートを用いて説明する。本処理では、まずＳ３１０で画像設定処理を実行する。続いてＳ３２０〜Ｓ３４０では、アプリケーションを終了させるまで（Ｓ３４０：ＹＥＳ）、図５に示すＳ１２０〜Ｓ１４０と同様の処理を繰り返す。

Ｓ３１０で実行する画像設定処理では、図８のフローチャートに示すように、まずＳ４１０では、Ｓ３３０で実行する画像処理、すなわち統合処理で実現するアプリケーションに応じた画像処理を、全画面で且つ相対的に低いフレームレートで撮像した画像について実行するのか否かを判断する。

ここで、Ｓ４１０にて全画面で且つ相対的に低いフレームレートで撮像した画像について画像処理を実行すると判断された場合（Ｓ４１０：ＹＥＳ）、Ｓ４２０に移行し、カメラ制御値として全画面モードの制御値を設定して本処理を終了する。一方、Ｓ４１０にて否定判断された場合（Ｓ４１０：ＮＯ）、Ｓ４３０に移行し、カメラ制御値として切り出し画面モードの制御値を設定して本処理を終了する。

具体的には、例えばアプリケーションとしての光軸補正処理に対応する画像処理を実行する場合は、Ｓ４１０にて肯定判断され、カメラ制御値が全画面モードの制御値に設定される。また、アプリケーションとしての前方車両認識に基づく警報処理及び操舵制御処理を実行する場合は、Ｓ４１０にて否定判断され、カメラ制御値が、自車両走行レーン前方を撮像範囲とする切り出し画面モードの制御値に設定される。

以上説明したように、本実施形態では、Ｓ４１０での判断に従って、各種アプリケーションに応じた画像範囲及びフレームレートで撮像された撮像画像を用いて画像処理を実行することができ、上記実施形態と同様の効果を得ることができる。

［第３実施形態］
第３実施形態について説明する。本実施形態は、装置構成は上記実施形態と同様であるが、カメラ制御値のパラメータが上記実施形態とは一部異なる。つまり、本実施形態のカメラ制御値のパラメータは、上記実施形態で設定したカメラ制御値パラメータに、カメラ２０のピクセルクロックの周波数を設定するクロック周波数パラメータが追加されている。そして、カメラ２０は、該クロック周波数パラメータの制御値によって、カメラ２０のピクセルクロックの周波数を変更可能な構成となっている。

つまり、上記実施形態ではフレームレートの変更を、ピクセルクロックのクロック周波数（ｆ１）を変更することなく実現していたが、本実施形態では、クロック周波数（ｆ２）を変更（ｆ２＞ｆ１）することにより、必要がある場合には、図９に示すように更に高いフレームレートを実現することができる。

［他の実施形態］
（１）上記実施形態では、切り出し画面モードで取得した撮像画像についての画像処理（前方車両の認識処理）を用いるアプリケーション（以下、切り出し画面アプリケーションという）として警報処理及び操舵制御を実現するための画像処理装置１０について説明したが、画像処理装置の用途（アプリケーション）はこれに限定されるものではない。

具体的には、切り出し画面アプリケーションとしては、上記前方車両認識に基づく警報処理及び操舵制御処理のほか、少なくとも自車両前方の白線の存在する範囲を切り出し範囲とする白線認識処理に基づく警報処理や操舵制御処理、及び、少なくとも自車両前方の歩行者の検出範囲を切り出し範囲とする歩行者認識処理に基づく警報処理及び回避処理等、自車両前方のセンシングを実現する各種アプリケーションであってもよい。

または、切り出し画面アプリケーションとしては、フロントガラスにおける雨滴を検出する雨滴センサ、フロントガラスのくもり状況を検出するくもりセンサ、自車両前方の霧の発生状況を検出する霧センサ、天空の明るさを検出する照度センサ、ステレオカメラを用いて対象物との距離を検出する距離センサ、路面のエッジを検出する路面検出センサ等の機能を実現するアプリケーションであってもよい。

つまり、切り出し画面モードは、予め想定される認識範囲を切り出し画面として、且つ切り出し画面を高頻度に更新する必要のあるアプリケーションに適用される。なお、この切り出し画面（認識範囲）Ｋは、図１０に示すように、全画面のうちカメラ２０の搭載誤差として設定される搭載誤差範囲Ｅを除いた範囲に設定されてもよい。

一方、全画面モードで取得した撮像画像を用いた画像処理を行うアプリケーション（以下、全画面アプリケーションという）としては、上記光軸補正処理のほか、鳥瞰図を生成する処理、カーナビゲーションシステムの画面上に所定の情報を付加した画像を生成する
処理、自車両の運転内容や運転時の周囲の状況を記録するドライブレコーダや、夜間の視界を確保するナイトビューシステムのための処理等のアプリケーションが挙げられる。

つまり、全画面モードは、光軸補正処理のほか、光軸がずれていてもアプリケーションの実行精度への影響が少なく且つ実行頻度の低いアプリケーションに適用される。なお、必要に応じて、全画面モードを上記に挙げた切り出し画面アプリケーションに適用してもよい。

（２）上記実施形態では、カメラは車両前方を撮像するものであったが、これに限らず、例えば車両後方を撮像するものや車両側方を撮像するものなど、車両周辺を撮像するカメラによる撮像画像を用いて実行できる種々アプリケーションについて、本発明を適用することが可能である。

（３）上記実施形態では、アプリケーションに応じて全画面モード及び切り出しモードの２つのモードのうちいずれか一方のモードに切り替えて、カメラ２０により撮像画像を取得していた。これに対し、アプリケーションに応じて切り出す画像範囲及びフレームレートが異なる複数の切り出し画面モードを設定し、これらのモードを切り替える構成としてもよい。または、全画面モードを設定せず、切り出す画像範囲及びフレームレートが異なる複数の切り出し画面モードを設定し、これらのモードを切り替える構成としてもよい。

（４）上記実施形態では、センサ部３０はＣＭＯＳイメージセンサで構成されていたが、センサ部３０はＣＣＤイメージセンサで構成されていてもよい。
（５）上記実施形態において、通信インタフェース１４によるカメラ２０と画像処理装置１０との間でのデータ伝送は、パラレル伝送方式であっても、シリアル伝送方式であってもよい。

（６）上記実施形態において、カメラ２０で用いられる動作クロックの周波数が画像処理装置１０のＣＰＵ１１等で用いられる動作クロック周波数より高い場合、カメラ２０から画像処理装置１０へのデータ伝送経路に分周回路を設けてもよい。

（７）画像処理装置２０は、上記実施形態において統合判断ＥＣＵ６０が実行する処理を行うように構成されてもよい。
（８）上記実施形態で例示した画像処理装置１０の構成要素は、ハードウェアで実現してもよく、ソフトウェアで実現してもよく、ハードウェアとソフトウェアとの組み合わせで実現してもよい。例えば、上述した処理（プログラム）を実行するコンピュータ装置（例えばマイコン）により画像処理装置１０の少なくとも一部を構成してもよい。また、これらの構成要素は機能概念的なものであり、その一部又は全部を、機能的又は物理的に分散又は統合してもよい。

（９）上記実施形態は、本発明が適用された実施形態の一例に過ぎない。本発明は、画像処理装置、画像処理方法、画像処理装置としてコンピュータを機能させるためのプログラム、そのプログラムを記録した記録媒体、などの種々の形態で実現することができる。

１・・・カメラシステム １０・・・画像処理装置 １１・・・ＣＰＵ ２０・・・カメラ ３０・・・センサ部 ４０・・・発振器 ５０・・・制御部

Claims (6)

1. 予め設定されたフレームレート毎に、予め設定された撮像範囲について撮像手段（２０）が撮像した画像を処理する画像処理装置であって、
   前記撮像手段が撮像した画像の画像データについて画像処理を実行する画像処理手段（Ｓ１３０、Ｓ３３０）と、
   前記撮像手段に、前記撮像範囲のうち予め設定された第１範囲を、予め設定された第１フレームレートで撮像させる設定を行う第１設定手段（Ｓ２３０、Ｓ４２０）と、
   前記撮像手段に、前記撮像手段が撮像する撮像範囲の一部であり、前記第１範囲より狭い第２範囲を、前記第１フレームレートより高い第２フレームレートで撮像させる設定を行う第２設定手段（Ｓ２６０、Ｓ４３０）と、
   前記画像処理手段が実行する処理内容に応じて、前記第１設定手段及び前記第２設定手段のうちいずれを選択するかを判断し、前記処理内容のうち実行頻度の低い処理内容においては前記第１設定手段を選択するように判断する判断手段（Ｓ１１０、Ｓ３１０）と、
   を備えることを特徴とする画像処理装置。
2. 前記第１設定手段は、前記第１範囲を、前記撮像範囲の全域とすることを特徴とする請求項１に記載の画像処理装置。
3. 前記第２設定手段は、少なくとも一組の前記第２範囲及び前記第２フレームレートを設定することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記撮像手段は、前記判断手段での判断にかかわらず、同じ周波数のクロックに従って動作することを特徴とする請求項１から３のいずれか一項に記載の画像処理装置。
5. 前記撮像手段が撮像した画像における無限遠点の該画像における中央に対するずれ量を算出するずれ量算出手段を備え、
   前記第２設定手段は、該ずれ量に基づいて前記第２範囲を設定することを特徴とする請求項１から４のいずれか一項に記載の画像処理装置。
6. 請求項１から５のいずれか一項に記載の画像処理装置と、前記撮像手段とを備える画像処理システム。