JP2024106871A - 画像処理システム、移動体、画像処理方法、およびコンピュータプログラム - Google Patents

Abstract

【課題】高画質な画像を取得可能な画像処理システムを提供する。【解決手段】画像処理システムにおいて、光学像を撮像する撮像手段により生成した画像信号を取得する画像取得手段と、前記画像信号の一部の画角範囲を選択する選択手段と、前記選択手段によって選択された前記画角範囲の画質に応じて、前記画像信号による画像について露光制御および画質調整の少なくとも一方を行う制御手段と、を有することを特徴とする。【選択図】 図５

Description

本発明は、画像処理システム、移動体、画像処理方法、およびコンピュータプログラムに関する。

近年、車両に搭載されるルームミラー（後写鏡）を電子ルームミラーで置き換えるという要望がある。例えば特許文献１には、車両外の後方を撮像範囲とする撮像手段と車両内の表示手段で構成され、撮像手段で撮像した画像を車両内のディスプレイで表示することにより、ドライバーが車両外の後方の様子を確認できる電子ルームミラーシステムが開示されている。

他方、車両の後退時などに車両後方の死角をドライバーが確認できるようにする後方確認システムがある。特許文献２には、車両後方を撮像するようにカメラを設置し、撮像画像を車室内に表示することにより、後退時などに車両後方の死角をドライバーが確認できるようにするための後方確認システムが開示されている。

特開２０１０－９５２０２号公報 特開２００４－３４５５５４号公報

上述の電子ルームミラー用画像を撮像する撮像手段としてのカメラは、ドライバーが後方の比較的遠方の様子をより精細に確認するため高解像度を有することが求められる。一方で、後方確認用カメラシステムは、後退時などの衝突を回避するために、車両後方の死角や後側方を含んだより広い範囲での安全を確認するため、より広い範囲を撮像することが求められる。

又、電子ルームミラーシステムと後方確認システムを車両に同時に搭載する場合、電子ルームミラーシステム用のカメラと、後方確認システム用のカメラを個別に搭載すると車載画像処理システムが複雑になってしまう。このような課題は、例えば、車両の周囲の状況を撮影するために複数のカメラを配置して自動運転などを行う自動運転システムにおいても同様に発生している。

したがって本発明では、上記の課題に鑑みて、高画質な画像を取得可能な画像処理システムを提供することを目的の１つとする。

上記目的を達成するために、本発明の１つの側面の画像処理システムは、
光学像を撮像する撮像手段により生成した画像信号を取得する画像取得手段と、
前記画像信号の一部の画角範囲を選択する選択手段と、
前記選択手段によって選択された前記画角範囲の画質に応じて、前記画像信号による画像について露光制御および画質調整の少なくとも一方を行う制御手段と、
を有することを特徴とする。

本発明によれば、高画質な画像を取得可能な画像処理システムを実現することができる。

実施形態１の画像処理システムにおける車両と撮像部の位置関係を説明する図である。 （Ａ）、（Ｂ）は、実施形態１のカメラユニット１１の撮像部の光学特性を説明するための図である。 実施形態１における画像処理システムの構成を説明するための機能ブロック図である。 実施形態１の後方のカメラユニット１３の画角と高解像度領域と低解像度領域の対応関係を説明するための図である。 実施形態１における画像処理方法を説明するためのフローチャートである。 実施形態１における画像処理部３１ａの構成例を説明するための機能ブロック図である。 実施形態１における表示処理の例を説明するためのフローチャートである。 図８（Ａ）は実施形態１の第１表示部５０の表示画面５０１の表示例を説明するための図、図８（Ｂ）は実施形態１の第２表示部５１の表示画面５１１の表示例を説明するための図である。 本発明の実施形態２の動作を説明するためのフローチャートである。

以下、添付図面を参照して、本発明の好適な実施の形態について実施例を用いて説明する。尚、各図において、同一の部材ないし要素については同一の参照番号を付し、重複する説明は省略ないし簡略化する。

［実施形態１］
実施形態１では、高精細な電子ルームミラー用の表示や広範囲な後方などの車両周辺確認用の表示を少ない数のカメラで両立する改善された方法について説明する。図１は、実施形態１の画像処理システムにおける車両と撮像部の位置関係を説明する図である。

本実施形態では、図１に示すように、移動体としての例えば自動車の車両１の前方、右側方、後方、左側方にそれぞれカメラユニット１１、１２、１３、１４が設置されている。尚、本実施形態では４つのカメラユニットを有するが、カメラユニットの数は４に限定されず、少なくとも１つ以上のカメラユニットがあればよい。

尚、図１に示すように、カメラユニット１１～１４の夫々の撮影画角は、移動体としての車両１のそれぞれ前方、右側方、左側方、後方を撮像範囲とするように設置されている。カメラユニット１１～１４は略同様の構成を有し、それぞれ光学像を撮像する撮像素子と、撮像素子の受光面に光学像を形成する光学系とを有する。

尚、例えばカメラユニット１１、１３が有する光学系の光軸は略水平となるように設置し、カメラユニット１２、１４が有する光学系の光軸は水平よりも若干下方を向くように設置されている。

又、本実施形態で使用するカメラユニット１１、１３が有する光学系はそれぞれ光軸周辺の画角において高精細な画像を得ることができ、かつ光軸から離れた周辺の画角において低解像度の撮像画像を得ることができるように構成されている。

一方、カメラユニット１２、１４が有する光学系はそれぞれ光軸周辺の画角において低解像度の画像を得ることができ、かつ光軸から離れた周辺の画角において高解像度の撮像画像を得ることができるように構成されている。尚、１１ａ～１４ａは高解像度で低歪曲な像を撮像可能な撮像画角であり、１１ｂ～１４ｂはカメラユニット１１～１４の夫々の最大の撮影可能な範囲を示している。

本実施形態におけるカメラユニット１１、１３が有する光学系について図２を用いて説明する。尚、それぞれのカメラユニット１１、１３の光学系の特性は同じでなくてもよいが、本実施形態においては、カメラユニット１１、１３が有する光学系は略同じ特性を有するものとし、カメラユニット１１が有する光学系について例示的に説明する。

図２（Ａ）、（Ｂ）は、本発明の本実施形態におけるカメラユニット１１の撮像部の光学特性を説明するための図である。図２（Ａ）は、本実施形態におけるカメラユニット１１が有する光学系の、撮像素子の受光面上での各半画角における像高ｙを等高線状に示した図である。

図２（Ｂ）は、本実施形態におけるカメラユニット１１が有する光学系の像高ｙと半画角θとの関係を表す射影特性を表した図である。図２（Ｂ）では、半画角（光軸と入射光線とがなす角度）θを横軸とし、カメラユニット１１のセンサ面上（像面上）での結像高さ（像高）ｙを縦軸として示している。

本実施形態におけるカメラユニット１１が有する光学系は、図２（Ｂ）に示すように、所定の半画角θａ未満の領域と半画角θａ以上の領域でその射影特性ｙ（θ）が異なるように構成されている。したがって、単位あたりの半画角θに対する像高ｙの増加量を解像度というとき解像度が領域によって異なる。

この局所的な解像度は、射影特性ｙ（θ）の半画角θでの微分値ｄｙ（θ）／ｄθで表されるともいえる。即ち、図２（Ｂ）の射影特性ｙ（θ）の傾きが大きいほど解像度が高いといえる。又、図２（Ａ）の等高線状の各半画角における像高ｙの間隔が大きいほど解像度が高いともいえる。

本実施形態においては、半画角θが所定の半画角θａ未満のときにセンサ面上に形成される中心寄りの領域を高解像度領域１０ａ、半画角θが所定の半画角θａ以上の外寄りの領域を低解像度領域１０ｂと呼ぶ。尚、高解像度領域１０ａは撮像画角１１ａに対応しており、高解像度領域１０ａと低解像度領域１０ｂを合わせたものが撮像画角１１ｂに対応している。

尚、本実施形態では、高解像度領域１０ａと低解像度領域１０ｂの境界の円を解像度境界と呼び、解像度境界に対応する表示画面上の境界画像を表示解像度境界又は単に境界画像と呼ぶ。尚、表示画面に表示される境界画像（表示解像度境界）は円状でなくてもよい。楕円やその他の形状であってもよい。

尚、本実施形態において、高解像度領域１０ａは歪曲が相対的に少ない低歪曲領域であり、低解像度領域１０ｂは歪曲が相対的に多い高歪曲領域となっている。したがって、本実施形態においては、高解像度領域、低解像度領域はそれぞれ低歪曲領域、高歪曲領域に対応しており、高解像度領域、低解像度領域をそれぞれ低歪曲領域、高歪曲領域と呼ぶことがある。又、逆に低歪曲領域、高歪曲領域をそれぞれ高解像度領域、低解像度領域と呼ぶこともある。

本実施形態におけるカメラユニット１１が有する光学系は、高解像度領域（低歪曲領域）１０ａにおいてその射影特性ｙ（θ）がｆ×θより大きくなるように構成されている（ｆはカメラユニット１１が有する光学系の焦点距離）。又、高解像度領域（低歪曲領域）における射影特性ｙ（θ）は低解像度領域（高歪曲領域）における射影特性とは異なるように設定されている。

又、θｍａｘをカメラユニット１１が有する光学系が有する最大の半画角とするとき、θａとθｍａｘの比θａ／θｍａｘは所定の下限値以上であることが望ましく、例えば所定の下限値として０．１５～０．１６が望ましい。

又、θａとθｍａｘの比θａ／θｍａｘは所定の上限値以下であることが望ましく、例えば０．２５～０．３５とすることが望ましい。例えば、θｍａｘを９０°とし、所定の下限値を０．１５、所定の上限値０．３５とする場合、θａは１３．５～３１．５°の範囲で決定することが望ましい。

更に、カメラユニット１１が有する光学系は、その射影特性ｙ（θ）が、以下の式１を満足するように構成されている。
１＜ｆ×ｓｉｎθｍａｘ／ｙ（θｍａｘ）≦Ａ・・・（式１）

ｆは、前述のようにカメラユニット１１が有する光学系の焦点距離であり、Ａは所定の定数である。下限値を１とすることで、同じ最大結像高さを有する正射影方式（ｙ＝ｆ×ｓｉｎθ）の魚眼レンズよりも中心解像度を高くすることができ、上限値をＡとすることで、魚眼レンズ同等の画角を得つつ良好な光学性能を維持することができる。所定の定数Ａは、高解像度領域と、低解像度領域の解像度のバランスを考慮して決めればよく、１．４～１．９となるようにするのが望ましい。

以上のように光学系を構成することで、高解像度領域１０ａにおいては、高解像度が得られる一方、低解像度領域１０ｂでは、単位あたりの半画角θに対する像高ｙの増加量を小さくし、より広い画角を撮像することが可能になる。したがって、魚眼レンズと同等の広画角を撮像範囲としつつ、高解像度領域１０ａにおいては、高い解像度を得ることができる。

更に、本実施形態では、高解像度領域（低歪曲領域）においては、通常の撮像用の光学系の射影特性である中心射影方式（ｙ＝ｆ×ｔａｎθ）や等距離射影方式（ｙ＝ｆ×θ）に近似した特性としている。従って、光学歪曲が小さく、精細に表示することが可能となる。又、先行車や後続車両といった周囲の車両などを目視する際における自然な遠近感が得られると共に、画質の劣化を抑えて良好な視認性を得ることができる。

尚、上述の式１の条件を満たす射影特性ｙ（θ）であれば、同様の効果を得ることができるため、本実施形態は図２に示した射影特性に限定されない。尚、本実施形態では上述の式１の条件を満たす射影特性ｙ（θ）を有する光学系を中心高解像度レンズと呼ぶ場合がある。

尚、本実施形態においては、カメラユニット１２，１４には、図２や式１で示したような中心高解像度レンズではなく、以下の式２の条件を満たす射影特性ｙ（θ）を有する光学系を用いる。この光学系は、上記の中心高解像度レンズと比べて、高解像度領域と低解像度領域が凡そ反対になる。

即ち、前述の中心高解像度レンズは中心寄りの領域が高解像度領域１０ａであり、半画角θが所定の半画角θａ以上の外寄りの領域が低解像度領域１０ｂである。しかし式２の条件を満たす光学系では、中心寄りの領域が低解像度領域１０ｂとなり、半画角θが所定の半画角θａ以上の外寄りの領域が高解像度領域１０ａとなる。このような光学系を周辺高解像度レンズと呼ぶ場合がある。
０．２＜２×ｆ×ｔａｎ（θｍａｘ／２）／ｙ（θｍａｘ） ＜Ｂ・・・（式２）

このように、カメラユニットの少なくとも１つは、その光学系の焦点距離をｆ、半画角をθ、像面での像高をｙ、像高ｙと半画角θとの関係を表す射影特性をｙ（θ）、θｍａｘを前記光学系が有する最大の半画角とするとき、上記の式２を満足する。尚、Ｂは所定の定数であり、高解像度領域と、低解像度領域の解像度のバランスを考慮して決めれば良いが、０．９２程度となるようにするのが望ましく、更に好ましくは０．８程度とするのが望ましい。

尚、本実施形態では、移動体の前方と後方を撮影するために前述の中心高解像度レンズを有するカメラユニットを用いるのに対して、側方を撮影するためには周辺高解像度レンズを有するカメラユニットを用いる。これは、移動体の側方の前方と後方に、移動体の走行時に注意すべき被写体が映る可能性が高く、電子サイドミラーで表示する領域を高解像度かつ低歪曲で撮影したいからである。

次に本実施形態における画像処理システムの構成について図３を用いて説明する。図３は実施形態１における画像処理システムの構成を説明するための機能ブロック図である。

尚、図３に示される機能ブロックの一部は、画像処理システムに含まれるコンピュータとしてのＣＰＵ等に、記憶媒体としてのメモリに記憶されたコンピュータプログラムを実行させることによって実現されている。しかし、それらの一部又は全部をハードウェアで実現するようにしても構わない。ハードウェアとしては、専用回路（ＡＳＩＣ）やプロセッサ（リコンフィギュラブルプロセッサ、ＤＳＰ）などを用いることができる。

又、図３に示される夫々の機能ブロックは、同じ筐体に内蔵されていなくても良く、互いに信号路を介して接続された別々の装置により構成しても良い。尚、図３に関する上記の説明は、図６についても同様に当てはまる。

図３において画像処理システム１００は、移動体としての車両１に搭載されており、カメラユニット１１～１４の筐体内にはそれぞれ撮像部２１～２４とカメラ処理部３１～３４が配置されている。

撮像部２１、２３はそれぞれ中心高解像度レンズ２１ｃ、２３ｃと例えばＣＭＯＳイメージセンサやＣＣＤイメージセンサなどの撮像手段としての撮像素子２１ｄ、２３ｄを有する。撮像部２２、２４はそれぞれ周辺高解像度レンズ２２ｃ、２４ｃと例えばＣＭＯＳイメージセンサやＣＣＤイメージセンサなどの撮像素子２２ｄ、２４ｄを有する。

ここで、撮像部２１～２４はそれぞれ画像取得手段として機能しており、各画像取得手段は、低歪曲領域と高歪曲領域とを有する光学像を撮像する撮像部により生成した画像信号を取得する画像取得ステップを実行する。又、本実施形態においては異なる位置に配置された複数の画像取得手段を有している。

光学系としての中心高解像度レンズ２１ｃ、２３ｃは、１枚以上の光学レンズから構成されており、式１の条件を満たす射影特性ｙ（θ）を有し、低歪曲領域と高歪曲領域とを有する光学像をそれぞれ撮像素子２１ｄ、２３ｄの受光面に形成する。光学系としての周辺高解像度レンズ２２ｃ、２４ｃは、１枚以上の光学レンズから構成されており、式２の条件を満たす射影特性ｙ（θ）を有し、低歪曲領域と高歪曲領域とを有する光学像をそれぞれ撮像素子２２ｄ、２４ｄの受光面に形成する。

撮像素子２１ｄ～２４ｄは光学像を光電変換して撮像信号を出力する。撮像素子２１ｄ～２４ｄの受光面には例えばＲＧＢの色フィルタが画素毎に配列されている。ＲＧＢの配列は例えばベイヤー配列となっている。

したがって、撮像素子からは、ベイヤー配列にしたがって例えば所定の行からはＲ，Ｇ，Ｒ、Ｇの信号が順次出力され、隣の行からはＧ，Ｂ，Ｇ，Ｂ、の信号が順次出力されるように構成されている。
３１～３４はカメラ処理部であり、撮像部２１～２４と共にそれぞれ同じカメラユニット１１～１４の筐体に収納されており、撮像部２１～２４から出力された撮像信号をそれぞれ処理する。尚、図３では撮像部２４、カメラ処理部３４の詳細およびその配線は便宜上省略されている。

カメラ処理部３１～３４はそれぞれ画像処理部３１ａ～３４ａ、認識部３１ｂ～３４ｂ、カメラ情報部３１ｃ～３４ｃを有する。画像処理部３１ａ～３４ａは撮像部２１～２４から出力された撮像信号をそれぞれ画像処理する。尚、カメラ処理部３１の一部又は全部を撮像素子２１ｄ～２４ｄ内の積層された信号処理部で行ってもよい。

具体的には、画像処理部３１ａ～３４ａは、撮像部２１～２４からベイヤー配列にしたがって入力された画像データをそれぞれホワイトバランス調整し、デベイヤ処理してＲＧＢのラスタ形式の画像データへ変換する。更に、ゲイン調整、ローカル・トーン・マッピング、ガンマ処理、カラーマトリックス処理や可逆圧縮処理など種々の補正処理を行う。

カメラ情報部３１ｃ～３４ｃ（特性情報保持手段）はそれぞれカメラユニット１１～１４のカメラ情報を予めメモリに保持している。カメラ情報部はカメラユニット１１～１４内に設けた各種センサ等からの情報を一時的に保持することもできる。

カメラ情報は、例えば中心高解像度レンズ２１ｃ、２３ｃや周辺高解像度レンズ２２ｃ、２４ｃが形成する光学像の特性情報（解像度境界情報など）を含む。又、撮像素子２１ｄ～２４ｄの画素数、カメラユニットの車両座標における取り付け位置座標および姿勢（ピッチ、ロール、ヨーなど）の情報、撮像方向などを含む。カメラ情報は、ガンマ特性、感度特性、フレームレートなどの情報を含んでも良い。

更に、カメラ情報は、画像処理部３１ａ～３４ａにおいて画像信号を生成する際の画像処理方法や画像フォーマットに関する情報を含んでもよい。尚、取り付け位置座標は、カメラユニット毎に車両に対する取り付け位置が決まっている場合が多いので、事前にカメラ情報部内のメモリに記憶しておいてもよい。又、カメラユニットの姿勢座標は車両１に対する相対的な座標であり、カメラユニットに設けられた不図示のエンコーダなどから取得してもよい。あるいは３次元加速度センサなどを用いて取得してもよい。

又、撮像方向に関する情報は例えば地磁気センサを用いて取得してもよい。カメラの解像度境界情報はレンズ設計によって決まるので予めカメラ情報部内のメモリに記憶しておくものとする。

尚、カメラ情報は撮像部２１～２４の夫々固有の情報であり、互いに異なり、それらの情報は統合処理部４０に送信され、統合処理部４０において画像処理などをする際に参照される。ここで、カメラ情報部３１ｃ～３４ｃは、光学像の特性に関する特性情報を保持する特性情報保持部として機能している。

尚、カメラ処理部３１～３４の内部にはコンピュータとしてのＣＰＵや記憶媒体としてのコンピュータプログラムを記憶したメモリが内蔵されている。又、ＣＰＵはメモリ内のコンピュータプログラムを実行することにより、カメラ処理部３１～３４内の各部を制御するように構成されている。

尚、本実施形態では、画像処理部３１ａ～３４ａや認識部３１ｂ～３４ｂは例えば専用回路（ＡＳＩＣ）やプロセッサ（リコンフィギュラブルプロセッサ、ＤＳＰ）などのハードウェアを用いる。

又、カメラ処理部３１～３４の内部の機能ブロックの一部又は全部を、ＣＰＵに、メモリに記憶されたコンピュータプログラムを実行させることによって実現してもよいが、その場合には、ＣＰＵの処理速度を高めることが望ましい。

４０は統合処理部であり、ＳＯＣ（Ｓｙｔｅｍ Ｏｎ Ｃｈｉｐ）／ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）４１、コンピュータとしてのＣＰＵ４２、記憶媒体としてのメモリ４３を有する。ＣＰＵ４２はメモリ４３に記憶されたコンピュータプログラムを実行することによって、画像処理システム１００全体の各種制御を行う制御手段として機能している。尚、本実施形態では統合処理部４０はカメラユニットとは別の筐体に収納されている。

ＳＯＣ／ＦＰＧＡ４１は画像処理部４１ａ、統合制御部４１ｃを有する。画像処理部４１ａはカメラ処理部３１～３４からそれぞれの画像信号を取得すると共に、カメラ情報部３１ｃ～３４ｃより各カメラユニット１１～１４のカメラ情報を取得する。

カメラ情報は、前述のように、中心高解像度レンズ２１ｃ、２３ｃ、周辺高解像度レンズ２２ｃ、２４ｃの光学特性や撮像素子２１ｄ～２４ｄの画素数、光電変換特性、ガンマ特性、感度特性、画像信号のフォーマット情報を含む。又、カメラ情報は、カメラユニットの車両座標における取り付け座標や姿勢情報などを含む。

画像処理部４１ａはそれらのカメラ情報に基づきカメラ処理部３１～３４からのそれぞれの画像信号に対して解像度変換を行うと共に、撮像部２１～２４のそれぞれの低解像度領域１０ｂから得られた画像信号に対して歪曲補正を行う。

すなわち、光学像の特性に基づき歪曲補正領域の画像信号に対して歪曲補正すると共に、歪曲補正された画像信号と、歪曲補正しない非歪曲補正領域の画像信号とを合成して合成画像を生成する。すなわち、画像処理部４１ａは表示信号生成部としても機能しており、歪曲補正などを行って、合成画像を生成する表示信号生成ステップを行う。尚、本実施形態において歪曲補正領域はユーザにより、又は自動で設定可能である。

尚、本実施形態では画像処理部４１ａは、高解像度領域１０ａから得られた画像信号は歪曲が殆どないので歪曲補正は行わない。但し、画像処理部４１ａは、高解像度領域１０ａから得られた画像信号に対しても簡略的な歪曲補正を行ってもよい。又、画像処理部４１ａはカメラ処理部３１～３４から送られるそれぞれの画像信号に対して適宜非可逆圧縮処理などを行う。

又、画像処理部４１ａは歪曲補正を行った撮像部２１～２４のそれぞれの低解像度領域１０ｂの画像信号と、高解像度領域１０ａの画像信号をスムーズにつなぎ合わせるように合成して撮像部２１～２４毎の夫々の全体画像を形成する。

尚、低解像度領域１０ｂの画像信号と高解像度領域１０ａから得られた画像信号の両方に対して歪曲補正を行う場合には、画像処理部３１ａ～３４ａでそれぞれ得られた画像信号をそのまま歪曲補正してもよい。

本実施形態では、画像処理部４１ａは、複数の撮像部としてのカメラユニット１２～１４からの画像をつなぎ合わせるように合成して、パノラマ的な合成画像を形成することができる。

その場合、つなぎ合わされる複数の撮像部の画像は、それぞれの撮影画角の少なくとも一部が互いに所定量以上のオーバーラップ領域を有するように設定されている。即ち、カメラユニット１２と１３の撮影範囲が互いに重複するようにそれぞれ配置されている。又、カメラユニット１３と１４の撮影範囲が互いに重複するようにそれぞれ配置されている。

又、統合制御部４１ｃは、撮像部２１～２４毎の全体画像や、パノラマ的な合成画像などの内、所望の画像を第１表示部５０，第２表示部５１、第３表示部５２などに表示するための表示信号を形成する。その際、認識された対象物を強調表示するための枠や、対象物の種類、サイズ、位置、速度などに関する情報や警告などのためのＣＧなどを生成する。更に、カメラ情報部３１ｃ～３４ｃから取得した表示解像度境界情報などの光学系の特性情報に基づき境界を表示するための境界画像のＣＧを生成する。

又、これらのＣＧや文字を画像に重畳するための表示処理などを行う。尚、統合制御部４１ｃは、複数の画像取得手段から取得した画像信号を合成して合成画像を生成する表示信号生成手段として機能している。又、第１表示部５０，第２表示部５１、第３表示部５２などは表示部として機能しており、画像信号や統合された画像認識結果を表示する。

第１表示部５０は例えば車両１の運転席の前方上部の車幅方向の中央付近に、表示画面を車両後方に向けて設置され、電子ルームミラーとして機能する。尚、ハーフミラーなどを用いて、ディスプレイとして使用しないときは鏡として使用できる構成としてもよい。又、タッチパネルや操作ボタンを備え、ユーザからの指示を取得し、統合制御部４１ｃへ出力可能な構成になっている。

第２表示部５１は、例えば車両１の運転席の前方の車幅方向の中央付近の操作パネル周辺に設置される。尚、移動体としての車両１には、不図示のナビゲーションシステムや、オーディオシステムなどが搭載されている。

そして、例えば第２表示部には、ナビゲーションシステムや、オーディオシステムや走行制御部（ＥＣＵ）６０からの各種制御信号なども表示することができる。又、第２表示部５１には後進時の後方確認用の画像が表示されバックモニタとして用いられる。又、タッチパネルや操作ボタンを備え、ユーザからの指示を取得可能な構成になっている。

尚、第２表示部５１は例えばタブレット端末の表示部であってもよく、統合処理部４０に対して有線で接続することにより表示することもできるし、通信部６２を介して無線で画像を受信して表示することもできる。

第３表示部５２は例えば電子サイドミラーとして機能する表示部であり、本実施形態では、第３表示部５２は第１表示部５０とは別体で設けているが、第１表示部５０の左右の端の部分に第３表示部５２と同様の表示をしても良い

第３表示部５２は右側の電子サイドミラーと左側の電子サイドミラーとして構成され、右側の電子サイドミラーは例えば右ドアの内側に配置され、左側の電子サイドミラーは例えば左ドアの内側に配置される。又、第３表示部５２もタッチパネルや操作ボタンを備え、ユーザからの指示を取得可能な構成になっている。

本実施形態では、移動体の電源が入っている状態では、第３表示部５２は、常に表示状態になっているものとする。又、第３表示部５２における表示画角は、カメラユニット１２、１４の夫々の全撮影画角が表示されていても良い。

尚、第１表示部５０、第２表示部５１、第３表示部５２のディスプレイパネルとしては、液晶ディスプレイや有機ＥＬディスプレイなどを用いることができる。尚、表示部の数は３つに限定されない。

又、統合制御部４１ｃは走行制御部（ＥＣＵ）６０などとＣＡＮやＦｌｅｘＲａｙ、Ｅｔｈｅｒｎｅｔなどのプロトコルを用いて内部に設けられた不図示の通信部を介して通信を行う。それによって、走行制御部（ＥＣＵ）６０などから受信した車両制御信号に基づき、表示する情報を適宜変更する表示処理を行う。即ち、例えば車両制御信号により取得された車両の移動状態に応じて表示部に表示する画像の範囲などを変化させる。

尚、走行制御部（ＥＣＵ）６０は、車両１に搭載されており、車両１の駆動制御、方向制御などを総合的に行うためのコンピュータやメモリを内蔵したユニットである。走行制御部（ＥＣＵ）６０からは車両制御信号として例えば走行速度、走行方向、シフトレバー、シフトギア、ウインカーの状態、地磁気センサなどによる車両の向きなどの車両の走行（移動状態）に関する情報などが統合処理部４０に対して入力される。

一方、統合制御部４１ｃは、認識部３１ｂ～３４ｂ等で認識された所定の対象物（障害物など）の種類、位置、移動方向、移動速度などの情報を走行制御部（ＥＣＵ）６０に送信する。尚、障害物に関しては障害物検知部６４によっても検知されるように構成されている。

そして認識部３１ｂ～３４ｂや障害物検知部６４で障害物が検知された場合には、走行制御部（ＥＣＵ）６０は車両の停止、駆動、走行方向の変更などの障害物の回避などに必要な制御を行う。ここで走行制御部（ＥＣＵ）６０は、画像認識結果等に基づき移動体としての車両の移動を制御する移動制御部として機能している。

尚、統合処理部４０などに含まれる機能ブロックの一部又は全部をハードウェアで実現するようにしてもよいし、ＣＰＵ４２に、メモリ４３に記憶されたコンピュータプログラムを実行させることによって実現してもよい。ハードウェアとしては、専用回路（ＡＳＩＣ）やプロセッサ（リコンフィギュラブルプロセッサ、ＤＳＰ）などを用いることができる。尚、画像処理部３１ａ～３４ａで行っている画像処理の一部又は全部を統合処理部４０の画像処理部４１ａで行ってもよい。

尚、本実施形態では統合処理部４０は移動体としての車両１に搭載されているが、統合処理部４０の画像処理部４１ａ、統合制御部４１ｃの一部の処理を例えばネットワークを介して外部サーバなどで行ってもよい。その場合、画像取得部としての撮像部２１～２４は移動体としての車両１に搭載されるが、例えばカメラ処理部３１～３４や統合処理部４０の機能の一部を外部サーバなどで処理することが可能になる。又、統合処理部４０の一部又は全部の機能を走行制御部（ＥＣＵ）６０に持たせることも可能である。

６１は記憶部であり、統合処理部４０で生成された撮像部２１～２４毎の全体画像や、パノラマ的な合成画像を記憶する。更に、認識された対象物を示す所定の枠や文字や警告などのＣＧや、ＣＧが重畳され第１表示部５０，第２表示部５１などに表示された画像を時刻などやＧＰＳ情報などと共に記憶する。統合処理部４０は記憶部６１に記憶された過去の情報を再生し、それを第１表示部５０や第２表示部５１に表示することも可能である。

６２は通信部であり、ネットワークを介して外部サーバなどと通信するためのものであり、記憶部６１に記憶される前の情報や記憶部６１に記憶された過去の情報を外部サーバなどに送信して外部サーバなどに保存することが可能である。

又、前述のように画像を外部のタブレット端末などに送信して、タブレット端末の表示部である第２表示部５１に画像を表示することもできる。又、外部サーバなどから渋滞情報や、各種の情報を取得して、統合処理部４０を介して第１表示部５０や第２表示部５１や第３表示部５２に表示することも可能である。尚、本実施形態ではこれらの複数の表示部は同時にそれぞれの画角の画像を夫々表示可能である。

６３は操作部でありユーザの操作によって画像処理システムに対する様々な指示を入力するためのものである。操作部は例えばタッチパネルや操作ボタンなどのユーザの選択を受け付けるＵＩを含む。６４は障害物検知部であり、例えばレーザ光等を用いて移動体の周囲に存在する障害物を検知するためのものである。

尚、本実施形態では制御手段としてのＣＰＵ４２は、信号線７１～７４によって夫々画像処理部３１ａ、３２ａ，３３ａ、３４ａにおける画像処理の制御と撮像部２１～２４における露光制御（絞り制御や電荷蓄積時間制御等）を行うことができる。尚、信号線７４は図３においては不図示である。

又、表示部に表示される画角に応じて、その画角内のホワイトバランスやゲインやγやローカル・トーン・マッピング等を最適化すると共に、撮像時の露光制御によってその画角内の画像の輝度レベルを適正化することができる。詳しくは後述する。

図４は実施形態１の後方のカメラユニット１３の画角と高解像度領域と低解像度領域の対応関係を説明するための図である。図４に示すように、後方のカメラユニット１３の撮像画角１３ａの画像は撮像素子の受光面８１の高解像度領域（低歪曲領域）１０ａに結像する。又、撮像画角１３ｂの周辺部の画像は、撮像素子の受光面８１の低解像度領域（高歪曲領域）１０ｂに結像する。

次に図５は実施形態１における画像処理方法を説明するためのフローチャートである。図５のフローは、走行制御部（ＥＣＵ）６０からの走行状態を示す信号に応じて統合処理部４０のＣＰＵ４２がメモリ４３内のコンピュータプログラムを実行することにより例えばフレーム単位で処理される。

図５のステップＳ５００において、第１表示部５０～第３表示部５２の少なくとも１つにユーザが指でタッチしたか否かを判別する。Ｙｅｓの場合には、ステップＳ５０９に進む。尚、ここでは表示部へのタッチによって、どの表示部をメインに用いるかを判別しているが、タッチに限定されない。例えばメニューボタンで表示部を選択しても良い。

又、タッチ範囲等により画角範囲を選択しても良いし、カーソル等で画角範囲を選択しても良い。ステップＳ５０９では、タッチにより指定された画角範囲の画像を、タッチされた表示部に表示する。タッチされたら、その画角範囲の画像の画質を調整する。

即ち、前述のように、統合制御部４１ｃが、信号線７１～７４によって夫々画像処理部３１ａ、３２ａ，３３ａ、３４ａにおける画像処理の制御と撮像部２１～２４における露光制御（絞り制御や電荷蓄積時間制御等）を行う。尚、本実施形態では画像処理制御と露光制御の両方を行っているが、画像処理制御と露光制御の少なくとも一方であっても良い。又、画像処理制御は、例えば異なる電荷蓄積時間で撮影された画像を合成してダイナミックレンジを広げるＨＤＲ制御を含んでも良い。

即ち、表示部に表示される画角に応じて、その画角内のホワイトバランスやゲインやγやローカル・トーン・マッピング等を最適化すると共に、撮像時の露光制御によってその画角内の画像の輝度レベルを適正化する。

図６は実施形態１における画像処理部３１ａの構成例を説明するための機能ブロック図である。図６に示すように、画像処理部３１ａは、ホワイトバランス補正部３１０、デベイヤ処理部３１１、ゲイン補正部３１２、ローカル・トーン・マッピング部３１３、ガンマ補正部３１４、画像解析部３１５を有する。

ホワイトバランス補正部３１０は画像信号の色を被写体の色温度に応じて補正する。デベイヤ処理部３１１は、撮像素子から得られるＲ，Ｇ、Ｂの各色信号を同時化してＲプレーン、Ｇプレーン、Ｂプレーンの色信号に分離する。ゲイン補正部３１２は、例えば選択された画角範囲の画像の輝度レベルの例えば平均値が所定の最適値となるようにゲインを調整する。

ローカル・トーン・マッピング部３１３は、選択された画角範囲の画像についてシーンの再現性を高めるために局所的に異なる輝度変換を行う。ガンマ補正部３１４は、例えば輝度のヒストグラムに応じて、ガンマカーブを最適化する。

画像解析部３１５は、統合制御部４１ｃから、選択された画角範囲（所定の位置、所定の大きさ）に関する情報を取得し、その画角範囲の画像を解析する。例えば、その画角範囲の画像の色温度や平均輝度値や輝度ヒストグラム等を解析し、解析結果に基づきホワイトバランス補正部３１０によってホワイトバランスを補正し、ゲイン補正部３１２によりゲイン補正をする。又、輝度のヒストグラムの解析結果に基づきガンマ補正部３１４によりガンマ曲線を補正する。

図７は、ステップＳ５０９における処理の例を説明するためのフローチャートである。図７のフローは、走行制御部（ＥＣＵ）６０からの走行状態を示す信号に応じて統合処理部４０のＣＰＵ４２がメモリ４３内のコンピュータプログラムを実行することにより例えばフレーム単位で処理される。

具体的には、例えばユーザが指で第１表示部５０（電子ルームミラー）にタッチしたとする。その場合に、その時に第１表示部５０（電子ルームミラー）には前方の画像が表示されていたとする。そして、その画像において、タッチ操作により、所定の画角範囲（所定の位置、所定の大きさ）が選択されたとする。

すると図７のステップＳ７１０において、統合制御部４１ｃは、第１表示部５０における選択された画角範囲（所定の位置、所定の大きさ）を制御対象として決定する。次にステップＳ７１１において、統合制御部４１ｃは、第１表示部５０における選択された画角範囲（所定の位置、所定の大きさ）が制御対象として決定されたことを、信号線７１を介して夫々画像処理部３１ａ及び撮像部２１に送信する。

画像解析部３１５は、選択された画角範囲（所定の位置、所定の大きさ）における画像を解析し、ステップＳ７１２において、その解析結果に基づき撮像部と画像処理部における制御方法を決定する。

即ち、例えば選択された画角範囲の画像の例えば輝度レベルが適切になるように、撮像部２１の撮像素子の電荷蓄積時間又は画像処理部３１ａにおけるゲインの少なくとも一方を調整することを決定する。或いは解析結果に基づきホワイトバランス補正や、ガンマ補正等を制御することを決定する。

次にステップＳ７１３において、ステップＳ７１２で決定された制御を実行する。例えば撮像素子の電荷蓄積時間とゲイン補正を行うことにより例えば選択された画角範囲の画像に太陽光の反射等によって白飛びしていても適切な輝度レベルの画像を得ることができる。又、ホワイトバランスやガンマ等を適正に補正する。次にステップＳ７１４において補正後の画角範囲の画像をその表示部に表示する。上記のような処理をステップＳ５０９において実行した後でステップＳ５１０に進む。

尚、ステップＳ５０９で第１表示部５０において画質調整された画像の表示を行っている際に、例えば第２表示部５１等には例えばカメラユニット１１で撮像された例えば最大画角の画像を表示していても良い。その場合、第２表示部５１等に表示される画像の画質は第１表示部５０における画質に合わせた画質で表示すれば良い。

即ち、他の表示部における表示は画角が異なっていても、露光調整や画質調整状態は第１表示部と同じ状態で良い。後述のステップＳ５０５，ステップＳ５０６、ステップＳ５０７、ステップＳ５０８においても同様である。但し、このとき他の表示部に表示される画像の画質は第１表示部５０における画質より劣る場合がある。これは、他の表示部に表示される画像と第１表示部５０に表示される画像とでは画角が異なるために露光等の最適値が異なるからである。

ステップＳ５００でＮｏの場合にはステップＳ５０１に進む。ステップＳ５０１で走行制御部（ＥＣＵ）６０から、車両制御情報を取得する。車両制御情報は前述のように、例えば走行速度、走行方向、シフトレバー、シフトギア、ウインカーなどの車両の走行に関する情報などを含む。

ステップＳ５０２において、車両制御情報に基づき車両が走行中であって前進状態か否かを判別する。前進であればステップＳ５０３において、障害物を検出した又は進路変更中か否かを判別し、Ｎｏの場合にはステップＳ５０４で前進速度が所定の閾値Ｖ１（例えば６０ｋｍ／ｈ）よりも大きいか否かを判別する。

ステップＳ５０４でＮｏの場合にはステップＳ５０５で、予めユーザが設定した所定の基準画角の画像を画質調整して第１表示部に表示する。即ち、所定の基準画角の画像８２Ｃ、８２Ｂ、８２Ｌ、８２Ｒを例えば電子ルームミラーとしての第１表示部５０に表示し、その後でステップＳ５１０に進む。尚、上記の画質調整はステップＳ５０９における画質調整と同様のものとする。即ち、撮像素子の露光調整（絞りや電荷蓄積時間等の調整）、画像処理による画質調整などである。

図８（Ａ）は実施形態１の第１表示部５０の表示画面５０１の表示例を説明するための図、図８（Ｂ）は実施形態１の第２表示部５１の表示画面５１１の表示例を説明するための図である。尚、図８（Ａ）において８２Ｌは左側方のカメラユニット１４からの一部の画像、８２Ｃは正面のカメラユニット１１の基準画角の画像、８２Ｒは右側方のカメラユニット１２からの一部の画像を示している。

図８（Ａ）に示すように、ステップＳ５０４で前進速度がＶ１（例えば時速６０ｋｍ）以下と判別された場合には、ステップＳ５０５に進み、画像８２Ｌ、基準画角の８２Ｃと、画像８２Ｒを並べて第１表示部５０の表示画面５０１に表示する。尚、画像８２Ｌ、画像８２Ｒは、車両の電源をオンしたら、夫々左の電子サイドミラー及び右の電子サイドミラーとしての第３表示部５２にも表示される。

尚、図８（Ａ）において８２Ｂは後方用のカメラユニット１３の、予め設定した後方用の基準画角の画像であり、第１表示部５０の表示画面５０１の中に例えばピクチャーインピクチャーで表示される。

尚、図８（Ａ）では前方画像がメインで後方画像がピクチャーインピクチャーで表示される例を示しているが、通常の走行状態では、後方画像をメインとし、前方画像はピクチャーインピクチャーで表示する。その際前方画像は表示しなくても良い。

本実施形態ではステップＳ５０４で前進速度がＶ１以下と判別された場合には、カメラユニット１１，１３からの夫々基準画角の画像８２Ｃ、８２Ｂが表示される。

一方、ステップＳ５０４で前進速度がＶ１より大きいと判別された場合にはステップＳ５０６に進む。そして、図８の８２Ｂ、８２Ｃよりも左右が狭く上側の画角の表示領域の画像を画質調整して電子ルームミラーとしての第１表示部に表示し、その後でステップＳ５１０に進む。

尚、上記の画質調整はステップＳ５０９における画質調整と同様のものとする。即ち、撮像素子の露光調整、画像処理による画質調整などである。ステップＳ５０６における前方と後方の画像の画角は、は前述の基準画角より上下左右方向が狭い画角とする。
これは前進速度が大きい場合には、運転者の上下左右の視野が狭くなるからである。

このように、前進速度がＶ１（例えば６０ｋｍ）より大きい場合には視覚が狭くなるので、上下左右を狭くして表示したほうが必要な情報を速やかに視認しやすくなる。

また、図５のステップＳ５０３において障害物検出又は進路変更中であると判断された場合には、ステップＳ５０７に進み、画質調整して、左右及び下方に広画角の少なくとも前方の画像を表示する。尚、上記の画質調整はステップＳ５０９における画質調整と同様のものとする。即ち、撮像素子の露光調整、画像処理による画質調整などである。ここでステップＳ５０７における表示領域は基準画角の表示領域よりも左右方向の幅が広く、下方向に広げたものとする。

このように、本実施形態では障害物検出した場合や進路変更中は左右に広げた画角の少なくとも前方の画像を表示するので周囲の安全を、より視認しやすくなる。しかも下方に画角を広げた画像を表示しているので、道路の障害物をより視認しやすくなる。ステップＳ５０７の後はステップＳ５１０に進む。

図５のステップＳ５０２において、走行中であって前進ではないと判断された場合にはステップＳ５０８に進む。ステップＳ５０８では基準画角より下方及び左右方向に広い画角の後進用の画像を画質調整し、例えば図８（Ｂ）のように、バックモニタ用の第２表示部５１の表示画面５１１に表示する。その後でステップＳ５１０に進む。

尚、ステップＳ５０８における画質調整はステップＳ５０９における画質調整と同様のものとする。即ち、撮像素子の露光調整、画像処理による画質調整などである。

尚、ステップＳ５０８で下方及び左右に画角を広げているのは、後進中において広い範囲の障害物を見つけやすくするためである。

図８（Ｂ）は車両１を後退する際に第２表示部５１の表示画面５１１に表示される画面の例を示しており、例えば駐車スペースに車両１をガイドするためのガイド表示５１２が重畳表示される。

ステップＳ５０８の後でステップＳ５１０に進み、ユーザから終了要求があったか否かを判別し、Ｙｅｓであれば図５のフローを終了し、ＮｏであればステップＳ５００に戻る。

尚、ステップＳ５１０において、後進速度がＶ２より大きい場合には、表示領域後方用の基準画角よりも上下左右方向に画角が広げられている。これは、後進速度がＶ２よりも大きい場合には、より広く後方を表示して障害物を視認しやすくするためである。

ここで、ステップＳ５００～Ｓ５０４は、画像信号の一部の画角範囲を選択する選択ステップ（選択手段）として機能している。又、ステップＳ５０５～Ｓ５０９は、選択ステップによって選択された画角範囲の画質に応じて、画像信号による画像について露光制御及び画質調整の少なくとも一方を行う制御ステップ（制御手段）として機能している。

このように、実施形態１においては、移動体としての車両１の移動状態に応じて、運転手が主に見る画面の画質が好適に制御され視認性が向上する。又、表示領域を適切に変更することが可能なので、中心高解像度レンズや周辺高解像度レンズのような光学系を用いた画像処理システムの性能を更に引き出すことができる。

又、表示領域を切り替えた場合に、その画角範囲（表示領域）について露光調整や画質調整を行い、画像処理や露光制御を最適化しているので、より白飛びや黒つぶれによる視認性の低下を防ぐことができる。

又、前述のように、同じ撮像部からの画像を用いて同時に他の表示部において異なる画角の表示を行っている場合においては、上記のような特定の表示部の露光を適正化したことによって、他の表示部の表示画質の劣化を抑制するように画質補正を行えば良い。

又、実施形態１、２では、前方及び後方を撮影するカメラユニットの高解像度領域（低歪曲領域）を、通常の撮像用の光学系の中心射影方式（ｙ＝ｆ×ｔａｎθ）又は等距離射影方式（ｙ＝ｆ×θ）に近似した射影特性となるように構成している。

又、図８に示すように、電子ルームミラーとしての第１表示部５０には、中心高解像度レンズ２１ｃを介してカメラユニット１１により撮像された画像８２Ｃが表示されている。又、第１表示部５０には、中心高解像度レンズ２３ｃを介してカメラユニット１３により撮像された画像８２Ｂが表示されている。又、第２表示部５１には、後進時において、カメラユニット１３により撮像された画像が表示される。

したがって、例えば第１表示部５０や第２表示部５１に表示される高解像度領域（低歪曲領域）１０ａの画像は、解像度が低解像度領域（高歪曲領域）１０ｂと比較して高く、車両１の正面、後方の遠方を、より精細に表示することができる。

一方、側面のカメラユニットの光学系の特性を前方や後方のカメラユニットの光学特性の逆の特性にしているので、移動体の側方の前と後ろ方向の移動体などを電子サイドミラーにより視認しやすくなる。

［実施形態２］
図９は本発明の実施形態２の動作を説明するためのフローチャートである。実施形態２においては、移動体としての車両の移動状態（走行状態）に応じて第３表示部の表示を制御する。図９のフローは、走行制御部（ＥＣＵ）６０からの走行状態を示す信号に応じて統合処理部４０のＣＰＵ４２がメモリ４３内のコンピュータプログラムを実行することにより処理される。

図９のステップＳ９０１は図５のステップＳ５０７において、広画角の画像を画質調整して第１表示部に表示した後で、行われる処理である。ステップＳ９０１において、カメラユニット１２又はカメラユニット１４の画像から障害物が検知されたか判別する。尚、障害物の検知は、例えば認識部３２ｂ、３４ｂにより行われる。

ステップＳ９０１でＹｅｓの場合にはステップＳ９０２に進み、Ｎｏの場合にはステップＳ９０３に進む。ステップＳ９０２において、ＣＰＵ４２は、第２表示部５１にカメラユニット１２又はカメラユニット１４の内の障害物が検知された方のカメラユニットからの画像の、下方向の広画角の画像を例えば第２表示部５１に表示する。

尚、この時の表示先は第３表示部でも良い。即ち、カメラユニット１２、１４の画像から障害物が検出された時には夫々右又は左の電子サイドミラーとしての第３表示部５２にカメラユニット１２からの画像の下方向の広画角の画像を表示しても良い。

尚、上記の下方向の広画角の画像とは、例えば略水平方向を向いたカメラユニット１２、１４の画角の内、例えば下半分の画角とする。又、カメラユニット１２、１４の画角の中央周辺は低解像度であると共に歪曲しているので、歪曲補正をしたうえで表示をする。このような画像を表示することにより例えば車両の下側の死角に存在する障害物をより視認しやすくなる。

ステップＳ９０１においてＮｏの場合には、ステップＳ９０３に進み、車両の前進速度がＶ２（例えば２０ｋｍ／ｈ）未満か判別し、Ｎｏの場合にはステップＳ９０２に進んで、ステップＳ９０２の処理を行う。Ｙｅｓの場合にはステップＳ９０４に進む。

ステップＳ９０４においては、右左折の動作が行われているか判別する。右左折の動作が行われているか否かは、例えばウインカー操作、車輪の向き、ハンドルの回転角度、走行制御ＥＣＵ６０からの信号等により判別する。

ステップＳ９０４で右折又は左折の動作が判別された場合には、ステップＳ９０５に進み、Ｎｏの場合にはステップＳ９０２に進んでステップＳ９０２の処理を行う。

ステップＳ９０５においては、右のカメラユニット１２又は左のカメラユニット１４から得られた画像の内の、斜め後方に相当する画角の画像を切り出して電子サイドミラーとしての第３表示部５２に表示する。その際にステップＳ５０９と同様の方法で例えば露光制御や画像処理によって画質を調整する。

このように、ステップＳ９０５では速度がＶ２未満で、かつ、右折又は左折動作中には、夫々右又は左の電子サイドミラーに斜め後方の画像が表示される。従って、例えば斜め後方から自転車や自動二輪車などが接近している場合にそれを直ちに視認することができる。ステップＳ９０５の処理後にステップＳ５１０に進む。
以上のように、実施形態２においては、移動体としての車両の走行状態に応じて、電子サイドミラーとしての第３表示部５２に最適な画質の画像を表示することができる。

尚、以上の実施形態では複数のカメラユニットを用いる例を説明したが、カメラユニットが１つだけのシステムにおいても有効である。

尚、上述の実施形態においては車両などの移動体に画像処理システムを搭載した例について説明した。しかし、これらの実施形態の移動体は、自動車などの車両に限らず、列車、船舶、飛行機、ロボット、ドローンなどの移動をする移動装置であれば、どのようなものであってもよい。

又、実施形態の画像処理システムはそれらの移動体に搭載されていてもよいし、搭載されていなくてもよい。又、例えば移動体をリモートでコントロールする場合にもこれらの実施形態の構成を適用することができる。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明は上記実施形態に限定されるものではなく、本発明の趣旨に基づき種々の変形が可能であり、それらを本発明の範囲から除外するものではない。尚、上記実施形態は、以下の組み合わせを含む。

（構成１）光学像を撮像する撮像手段により生成した画像信号を取得する画像取得手段と、前記画像信号の一部の画角範囲を選択する選択手段と、前記選択手段によって選択された前記画角範囲の画質に応じて、前記画像信号による画像について露光制御および画質調整の少なくとも一方を行う制御手段と、を有することを特徴とする画像処理システム。

（構成２）前記画像取得手段は移動体に設置されており、前記選択手段は、前記移動体の移動状態に応じて前記画角範囲を選択することを特徴とする構成１に記載の画像処理システム。

（構成３）前記選択手段は、ユーザによる選択を受け付けるＵＩを有することを特徴とする構成１又は２に記載の画像処理システム。

（構成４）異なる位置に配置された複数の前記画像取得手段を有し、複数の前記画像取得手段から取得した前記画像信号を合成して合成画像を生成する表示信号生成手段を有することを特徴とする構成１～３のいずれか１つに記載の画像処理システム。

（構成５）前記画像取得手段は、前記光学像を形成する光学系と、前記光学系により形成された前記光学像を撮像する撮像素子と、を含むことを特徴とする構成１～４のいずれか１つに記載の画像処理システム。

（構成６）前記光学像は高解像度領域と低解像度領域を有することを特徴とする構成５に記載の画像処理システム。

（構成７）前記光学系の焦点距離をｆ、半画角をθ、像面での像高をｙ、像高ｙと半画角θとの関係を表す射影特性をｙ（θ）とするとき、前記高解像度領域におけるｙ（θ）はｆ×θより大きく、前記低解像度領域における前記射影特性とは異なることを特徴とする構成６に記載の画像処理システム。

（構成８）前記高解像度領域は、ｙ＝ｆ×ｔａｎθ又はｙ＝ｆ×θに近似した射影特性となるように構成されていることを特徴とする構成６又は７に記載の画像処理システム。

（構成９）θｍａｘを前記光学系が有する最大の半画角、Ａを所定の定数とするとき、１＜ｆ×ｓｉｎθｍａｘ／ｙ（θｍａｘ）≦Ａを満足するように構成されていることを特徴とする構成６～８のいずれか１つに記載の画像処理システム。

（構成１０）θｍａｘを前記光学系が有する最大の半画角、Ｂを所定の定数とするとき、０．２＜２×ｆ×ｔａｎ（θｍａｘ／２）／ｙ（θｍａｘ）＜Ｂを満足するように構成されていることを特徴とする構成６～９のいずれか１つに記載の画像処理システム。

（構成１１）θｍａｘを前記光学系が有する最大の半画角、Ａ、Ｂを所定の定数とするとき、１＜ｆ×ｓｉｎθｍａｘ／ｙ（θｍａｘ）≦Ａを満足する前記画像取得手段と、０．２＜２×ｆ×ｔａｎ（θｍａｘ／２）／ｙ（θｍａｘ）＜Ｂを満足する前記画像取得手段を有することを特徴とする構成６～１０のいずれか１つに記載の画像処理システム。

（構成１２）前記画質調整は、ホワイトバランス補正、ゲイン調整、ガンマ補正の少なくとも１つを含むことを特徴とする構成１～１１のいずれか１つに記載の画像処理システム。

（構成１３）前記制御手段は、前記選択手段によって選択された前記画角範囲に適した画質となるように、前記画像信号による前記画像について前記露光制御および前記画質調整の少なくとも一方を行うことを特徴とする構成１～１２のいずれか１つに記載の画像処理システム。

（構成１４）前記選択手段は、前記移動体に設置されている電子ルームミラーおよびバックモニタのうち少なくとも一方に対応する画角範囲を選択することを特徴とする構成２～１３のいずれか１つに記載の画像処理システム。

（構成１５）前記選択手段は、前記移動体が後進する場合に、バックモニタに対応する画角範囲を選択することを特徴とする構成２～１４のいずれか１つに記載の画像処理システム。

（構成１６）構成１～１５のいずれか１つに記載の画像処理システムの前記撮像手段を搭載し、前記選択手段により、移動体の移動状態に応じて前記画角範囲を選択するように構成したことを特徴とする移動体。

（方法）光学像を撮像する撮像手段により生成した画像信号を取得する画像取得ステップと、前記画像信号の一部の画角範囲を選択する選択ステップと、前記選択ステップによって選択された前記画角範囲の画質に応じて、前記画像信号により画像について露光制御及び画質調整の少なくとも一方を行う制御ステップと、を有することを特徴とする画像処理方法。

（プログラム）構成１～１５のいずれか１つに記載の画像処理システム又は構成１６に記載の移動体の各手段をコンピュータにより制御するためのコンピュータプログラム。

尚、上記実施形態における制御の一部又は全部を実現するために、上述した実施形態の機能を実現するコンピュータプログラムをネットワーク又は各種記憶媒体を介して画像処理システム等に供給するようにしてもよい。そしてその画像処理システム等におけるコンピュータ（又はＣＰＵやＭＰＵ等）がそのプログラムを読み出して実行するようにしてもよい。その場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することとなる。

１：車両
１０ａ：高解像度領域
１０ｂ：低解像度領域
１１～１４：カメラユニット
２１～２４：撮像部
３１～３４：カメラ処理部
３１ｂ～３４ｂ：認識部
４０：統合処理部
５０：第１表示部
５１：第２表示部
６０：走行制御部ＥＣＵ

Claims (18)

1. 光学像を撮像する撮像手段により生成した画像信号を取得する画像取得手段と、
   前記画像信号の一部の画角範囲を選択する選択手段と、
   前記選択手段によって選択された前記画角範囲の画質に応じて、前記画像信号による画像について露光制御および画質調整の少なくとも一方を行う制御手段と、
   を有することを特徴とする画像処理システム。
2. 前記画像取得手段は移動体に設置されており、
   前記選択手段は、前記移動体の移動状態に応じて前記画角範囲を選択することを特徴とする請求項１に記載の画像処理システム。
3. 前記選択手段は、ユーザによる選択を受け付けるＵＩを有することを特徴とする請求項１に記載の画像処理システム。
4. 異なる位置に配置された複数の前記画像取得手段を有し、
   複数の前記画像取得手段から取得した前記画像信号を合成して合成画像を生成する表示信号生成手段を有することを特徴とする請求項１に記載の画像処理システム。
5. 前記画像取得手段は、前記光学像を形成する光学系と、
   前記光学系により形成された前記光学像を撮像する撮像素子と、を含むことを特徴とする請求項１に記載の画像処理システム。
6. 前記光学像は高解像度領域と低解像度領域を有することを特徴とする請求項５に記載の画像処理システム。
7. 前記光学系の焦点距離をｆ、半画角をθ、像面での像高をｙ、像高ｙと半画角θとの関係を表す射影特性をｙ（θ）とするとき、
   前記高解像度領域におけるｙ（θ）はｆ×θより大きく、前記低解像度領域における前記射影特性とは異なることを特徴とする請求項６に記載の画像処理システム。
8. 前記高解像度領域は、ｙ＝ｆ×ｔａｎθ又はｙ＝ｆ×θに近似した射影特性となるように構成されていることを特徴とする請求項６に記載の画像処理システム。
9. θｍａｘを前記光学系が有する最大の半画角、Ａを所定の定数とするとき、
   １＜ｆ×ｓｉｎθｍａｘ／ｙ（θｍａｘ）≦Ａ
   を満足するように構成されていることを特徴とする請求項６に記載の画像処理システム。
10. θｍａｘを前記光学系が有する最大の半画角、Ｂを所定の定数とするとき、
    ０．２＜２×ｆ×ｔａｎ（θｍａｘ／２）／ｙ（θｍａｘ）＜Ｂ
    を満足するように構成されていることを特徴とする請求項６に記載の画像処理システム。
11. θｍａｘを前記光学系が有する最大の半画角、Ａ、Ｂを所定の定数とするとき、
    １＜ｆ×ｓｉｎθｍａｘ／ｙ（θｍａｘ）≦Ａ
    を満足する前記画像取得手段と、
    ０．２＜２×ｆ×ｔａｎ（θｍａｘ／２）／ｙ（θｍａｘ）＜Ｂ
    を満足する前記画像取得手段を有することを特徴とする請求項６に記載の画像処理システム。
12. 前記画質調整は、ホワイトバランス補正、ゲイン調整、ガンマ補正の少なくとも１つを含むことを特徴とする請求項１に記載の画像処理システム。
13. 前記制御手段は、前記選択手段によって選択された前記画角範囲に適した画質となるように、前記画像信号による前記画像について前記露光制御および前記画質調整の少なくとも一方を行うことを特徴とする請求項１に記載の画像処理システム。
14. 前記選択手段は、前記移動体に設置されている電子ルームミラーおよびバックモニタのうち少なくとも一方に対応する画角範囲を選択することを特徴とする請求項２に記載の画像処理システム。
15. 前記選択手段は、前記移動体が後進する場合に、バックモニタに対応する画角範囲を選択することを特徴とする請求項２に記載の画像処理システム。
16. 請求項１に記載の画像処理システムの前記撮像手段を搭載し、
    前記選択手段により、移動体の移動状態に応じて前記画角範囲を選択するように構成したことを特徴とする移動体。
17. 光学像を撮像する撮像手段により生成した画像信号を取得する画像取得ステップと、
    前記画像信号の一部の画角範囲を選択する選択ステップと、
    前記選択ステップによって選択された前記画角範囲の画質に応じて、前記画像信号により画像について露光制御及び画質調整の少なくとも一方を行う制御ステップと、
    を有することを特徴とする画像処理方法。
18. 請求項１～１５のいずれか１項に記載の画像処理システム又は請求項１６に記載の移動体の各手段をコンピュータにより制御するためのコンピュータプログラム。

Images