JP2024063155A - 移動体、画像処理方法、およびコンピュータプログラム - Google Patents

Abstract

【課題】画角の設定等が容易なカメラユニットを提供する。【解決手段】高解像度領域と低解像度領域を有する光学像を受光する光学系を有し、高解像度領域の垂直、水平画角をθｖ、θｈ、光軸の垂直、水平方向角度をφｖ、φｈ、移動体の長軸方向のドライバの視点とカメラユニットのオフセットをｘ、移動体の短軸方向の移動体の側面からのオフセットをｙ、地面高さ方向のオフセットをｈ、長軸方向における、ドライバの視点位置から後方の距離をｄ１、ｄ２、距離ｄ１、ｄ２における地面上の所定の幅をｗ１，ｗ２とするとき、Ａｔａｎ（ｈ／（ｄ１＋ｘ））－θｖ／２＜φｖ＜Ａｔａｎ（ｈ／（ｄ２＋ｘ））＋θｖ／２、Φｈ＿ｌｉｍｉｔ＝ｍａｘ（Ａｔａｎ（（ｗ１－ｙ）／（ｄ１＋ｘ））－θｈ／２，Ａｔａｎ（（ｗ２－ｙ）／（ｄ２＋ｘ））－θｈ／２）、Φｈ＿ｌｉｍｉｔ＜φｈ＜－Ａｔａｎ（ｙ／（ｄ１＋ｘ））＋θｈ／２を満たすよう設置する。【選択図】図４

Description

本発明は、カメラユニットを有する移動体、画像処理方法、およびコンピュータプログラム等に関する。

近年、車両に搭載されるルームミラー（後写鏡）を電子ルームミラーで置き換えるという要望がある。例えば特許文献１には、車両外の後方を撮像範囲とする撮像手段と車両内の表示手段で構成され、撮像手段で撮像した画像を車両内のディスプレイで表示することにより、ドライバが車両外の後方の様子を確認できる電子ルームミラーシステムが開示されている。

他方、車両の後退時などに車両後方の死角をドライバが確認できるようにする後方確認システムがある。特許文献２には、車両後方を撮像するようにカメラを設置し、撮像画像を車室内に表示することにより、後退時などに車両後方の死角をドライバが確認できるようにするための後方確認システムが開示されている。

特開２０１０－９５２０２号公報 特開２００４－３４５５５４号公報

上述の電子ルームミラー用画像を撮像する撮像手段としてのカメラは、ドライバが後方の比較的遠方の様子をより精細に確認するため高解像度を有することが求められる。一方で、後方確認システム用カメラは、後退時などの衝突を回避するために、車両後方の死角や後側方を含んだより広い範囲での安全を確認するため、より広い範囲を撮像することが求められる。

又、電子ルームミラーシステムと後方確認システムを車両に同時に搭載する場合、電子ルームミラーシステム用のカメラと、後方確認システム用のカメラを個別に搭載すると車載画像処理システムが複雑になってしまう。このような課題は、例えば、車両の周囲の状況を撮影するために複数のカメラを配置して自動運転などを行う自動運転システムにおいても同様に発生している。

これに対して、例えば特殊な超広角レンズを用いたカメラを採用することによって、車両に設置するカメラの数を減らすことができる。しかし、超広角レンズなどを用いた場合には、広い画角は得られるものの周辺部の歪曲が大きく、高解像度で低歪曲の画像を電子サイドミラーなどに表示することが難しいという問題がある。

従って本発明では、上記の課題を鑑みて、高解像度で低歪曲の画像を電子サイドミラーなどに表示できる移動体を提供することを１つの目的とする。

上記目的を達成するために、移動体は、
高解像度領域と低解像度領域を有する光学像を撮像手段の受光面に形成する光学系を有すると共に移動体の側方に設置されるカメラユニットを有し、
前記高解像度領域の垂直画角をθｖ、水平画角をθｈ、前記光学系の光軸の垂直方向角度をφｖ、水平方向角度をφｈ、前記移動体の長軸方向のドライバの視点と前記カメラユニットのオフセットをｘ、前記移動体の短軸方向の前記カメラユニットの前記移動体の側面からのオフセットをｙ、前記カメラユニットの地面からの高さ方向のオフセットをｈ、前記長軸方向における、前記ドライバの視点位置からの距離をｄ１、ｄ２、前記距離ｄ１、ｄ２における地面上の所定の幅をｗ１，ｗ２とするとき、
Ａｔａｎ（ｈ／（ｄ１＋ｘ））－θｖ／２＜φｖ＜Ａｔａｎ（ｈ／（ｄ２＋ｘ））＋θｖ／２・・・（数２）
Φｈ＿ｌｉｍｉｔ
＝ｍａｘ（Ａｔａｎ（（ｗ１－ｙ）／（ｄ１＋ｘ））－θｈ／２，Ａｔａｎ（（ｗ２－ｙ）／（ｄ２＋ｘ））－θｈ／２）・・・（数３）
Φｈ＿ｌｉｍｉｔ＜φｈ＜－Ａｔａｎ（ｙ／（ｄ１＋ｘ））＋θｈ／２・・（数４）
を満たすように前記カメラユニットを設置することを特徴とする。

本発明によれば、高解像度で低歪曲の画像を電子サイドミラーなどに表示できる移動体を実現することができる。

実施形態１のカメラユニットと車両の位置関係を説明する図である。 （Ａ）、（Ｂ）は、実施形態１の撮像部の光学特性を説明するための図である。 実施形態１における画像処理システムの構成を説明するための機能ブロック図である。 実施形態１のカメラユニットの車両１への設置条件について説明するための図である。 貨物車等における設置条件を説明するための図である。 図５の一部を拡大した図である。 図５，図６の貨物車を側面から見た図である。

以下、添付図面を参照して、本発明の好適な実施の形態について実施例を用いて説明する。尚、各図において、同一の部材ないし要素については同一の参照番号を付し、重複する説明は省略ないし簡略化する。

［実施形態１］
実施形態１では、高精細な電子ルームミラーや電子サイドミラー用の表示や広範囲な後方などの車両周辺確認用の表示を少ない数のカメラで両立すると共に、画角の割り当てを最適化できる画像処理システムについて説明する。
図１は、実施形態１のカメラユニットと車両の位置関係を説明する図である。

本実施形態では、図１に示すように、移動体としての例えば自動車の車両１の前方、右側方、後方、左側方に夫々カメラユニット１１、１２、１３、１４が設置されている。尚、本実施形態では４つのカメラユニットを有するが、カメラユニットの数は４に限定されず、少なくとも１つ以上のカメラユニットがあればよい。

カメラユニット１１～１４は、移動体としての車両１の夫々前方、右側方、左側方、後方を撮像範囲とするように設置されている。
本実施形態では、カメラユニット１１～１４は略同様の構成を有し、夫々光学像を撮像する撮像素子と、撮像素子の受光面に光学像を形成する光学系とを有する。
尚、例えばカメラユニット１１、１３が有する光学系の光軸は略水平となるように設置し、カメラユニット１２、１４が有する光学系の光軸は水平よりも若干下方を向くか、或いは真下を向くように設置されている。

又、本実施形態で使用するカメラユニット１１～１４が有する光学系は夫々光軸周辺の狭い画角において高精細な画像を得ることができ、かつ広い画角において低解像度の撮像画像を得ることができるように構成されている。尚、１１ａ～１４ａは高解像度で低歪曲な像を撮像可能な撮像画角であり、１１ｂ～１４ｂは低解像度で高歪曲な像を撮像可能な撮像画角を示している。尚、１１ｂ～１４ｂは、１１ａ～１４ａの領域を含む。

本実施形態におけるカメラユニット１１～１４が有する光学系について図２を用いて説明する。尚、夫々のカメラユニット１１～１４の光学系の特性は同じでなくてもよいが、本実施形態においては、カメラユニット１１～１４が有する光学系は略同じ特性を有するものとし、カメラユニット１１が有する光学系について例示的に説明する。

図２（Ａ）、（Ｂ）は、本発明の本実施形態における撮像部の光学特性を説明するための図であり、図２（Ａ）は、本実施形態におけるカメラユニット１１が有する光学系の、撮像素子の受光面上での各半画角における像高ｙを等高線状に示した図である。
図２（Ｂ）は、本実施形態におけるカメラユニット１１が有する光学系の像高ｙと半画角θとの関係を表す射影特性を表した図である。図２（Ｂ）では、半画角（光軸と入射光線とがなす角度）θを横軸とし、カメラユニット１１のセンサ面上（像面上）での結像高さ（像高）ｙを縦軸として示している。

本実施形態におけるカメラユニット１１が有する光学系は、図２（Ｂ）に示すように、所定の半画角θａ未満の領域と半画角θａ以上の領域でその射影特性ｙ（θ）が異なるように構成されている。従って、単位あたりの半画角θに対する像高ｙの増加量を解像度というとき解像度が領域によって異なる。この局所的な解像度は、射影特性ｙ（θ）の半画角θでの微分値ｄｙ（θ）／ｄθで表されるともいえる。即ち、図２（Ｂ）の射影特性ｙ（θ）の傾きが大きいほど解像度が高いといえる。又、図２（Ａ）の等高線状の各半画角における像高ｙの間隔が大きいほど解像度が高いともいえる。

本実施形態においては、半画角θが所定の半画角θａ未満のときにセンサ面上に形成される中心寄り（中央部）の領域を高解像度領域１０ａ、半画角θが所定の半画角θａ以上の外寄り（周辺部）の領域を低解像度領域１０ｂと呼ぶ。尚、高解像度領域１０ａは撮像画角２１ａに対応しており、低解像度領域１０ｂは撮像画角２１ｂに対応している。

尚、本実施形態では、高解像度領域１０ａと低解像度領域１０ｂの境界の円を解像度境界と呼び、解像度境界に対応する表示画面上の境界画像を表示解像度境界又は単に境界画像と呼ぶ。尚、表示画面に表示される境界画像（表示解像度境界）は円状でなくてもよい。便宜的に長方形などにしてもよい。又、高解像度領域１０ａと低解像度領域１０ｂの境界は円状でなくてもよく、楕円でもよく、或いは歪んだ形状でもよい。

又、境界９３（高解像度領域１０ａ）の重心は、光学系の光軸が受光面と交わる位置と一致していなくてもよい。ただし、本実施形態では、境界９３（高解像度領域１０ａ）の重心は、光学系の光軸が受光面と交わる位置とほぼ一致しているので光学系の設計が容易であると共に、安定的な光学特性が得られ、歪曲補正の負荷も抑制することができる効果がある。

尚、本実施形態において、高解像度領域１０ａは歪曲が相対的に少ない低歪曲領域であり、低解像度領域１０ｂは歪曲が相対的に多い高歪曲領域となっている。従って、本実施形態においては、高解像度領域、低解像度領域は夫々低歪曲領域、高歪曲領域に対応しており、高解像度領域、低解像度領域を夫々低歪曲領域、高歪曲領域と呼ぶことがある。又、逆に低歪曲領域、高歪曲領域を夫々高解像度領域、低解像度領域と呼ぶこともある。

本実施形態におけるカメラユニット１１が有する光学系は、高解像度領域（低歪曲領域）１０ａにおいてその射影特性ｙ（θ）がｆ×θより大きくなるように構成されている（ｆはカメラユニット１１が有する光学系の焦点距離）。又、高解像度領域（低歪曲領域）における射影特性ｙ（θ）は低解像度領域（高歪曲領域）における射影特性とは異なるように設定されている。
又、θｍａｘをカメラユニット１１が有する光学系が有する最大の半画角とするとき、θａとθｍａｘの比θａ／θｍａｘは所定の下限値以上であることが望ましく、例えば所定の下限値として０．１５～０．１６が望ましい。

又、θａとθｍａｘの比θａ／θｍａｘは所定の上限値以下であることが望ましく、例えば０．２５～０．３５とすることが望ましい。例えば、θｍａｘを９０°とし、所定の下限値を０．１５、所定の上限値０．３５とする場合、θａは１３．５～３１．５°の範囲で決定することが望ましい。
更に、カメラユニット１１が有する光学系は、その射影特性ｙ（θ）が、以下の数１も満足するように構成されている。

１＜ｆ×ｓｉｎ（θｍａｘ）／ｙ（θｍａｘ）≦１．９・・・・・（数１）
ｆは、前述のようにカメラユニット１１が有する光学系の焦点距離である。下限値を１とすることで、同じ最大結像高さを有する正射影方式（すなわち、ｙ＝ｆ×ｓｉｎθの場合）の魚眼レンズよりも中心解像度を高くすることがでる。上限値を１．９とすることで、魚眼レンズ同等の画角を得つつ良好な光学性能を維持することができる。上限値は、高解像度領域と、低解像度領域の解像度のバランスを考慮して決めればよく、１．４～１．９の範囲で設定するのが望ましい。

以上のように光学系を構成することで、高解像度領域１０ａにおいては、高解像度が得られる一方、低解像度領域１０ｂでは、単位あたりの半画角θに対する像高ｙの増加量を小さくし、より広い画角を撮像することが可能になる。従って、魚眼レンズと同等の広画角を撮像範囲としつつ、高解像度領域１０ａにおいては、高い解像度を得ることができる。

更に、本実施形態では、高解像度領域（低歪曲領域）においては、通常の撮像用の光学系の射影特性である中心射影方式（ｙ＝ｆ×ｔａｎθ）や等距離射影方式（ｙ＝ｆ×θ）に近い特性としているため、光学歪曲が小さく、精細に表示することが可能となる。従って、周囲の車両などを目視する際における自然な遠近感が得られると共に、画質の劣化を抑えて良好な視認性を得ることができる。

尚、上述の数１の条件を満たす射影特性ｙ（θ）であれば、同様の効果を得ることができるため、本発明は図２に示した射影特性に限定されない。尚、本実施形態では上述の数１の条件を満たす射影特性ｙ（θ）を有する光学系を異画角レンズと呼ぶ場合がある。
尚、カメラユニット１１～１４の夫々の光学系の高解像度領域１０ａは撮像画角１１ａ～１４ａに対応しており、低解像度領域１０ｂは撮像画角１１ｂ～１４ｂに対応している。

尚、本実施形態では、カメラユニット１１～１４の撮像素子の受光面の略中央と高解像度領域１０ａの重心（光学系の光軸）はほぼ重なっており、高解像度領域１０ａの重心は光学系の光軸が受光面と交わる位置と一致している。しかし、例えば撮像素子の受光面の略中央と高解像度領域１０ａの重心（光学系の光軸）は所定の方向（第１の方向）にずれていても良い。又、高解像度領域１０ａの重心は光学系の光軸が受光面と交わる位置とずれていても良い。

次に本実施形態における画像処理システムの構成について図３を用いて説明する。
図３は実施形態１における画像処理システムの構成を説明するための機能ブロック図である。
図３において画像処理システム１００は、移動体としての車両１に搭載されており、カメラユニット１１～１４の筐体内には夫々撮像部２１～２４とカメラ処理部３１～３４が配置されている。

撮像部２１～２４は夫々異画角レンズ２１ｃ～２４ｃと例えばＣＭＯＳイメージセンサやＣＣＤイメージセンサなどの撮像素子２１ｄ～２４ｄを有する。
光学系としての異画角レンズ２１ｃ～２４ｃは、１枚以上の光学レンズから構成されており、数１の条件を満たす射影特性ｙ（θ）を有し、低歪曲領域と高歪曲領域とを有する光学像を夫々撮像素子２１ｄ～２４ｄの受光面に形成する。撮像素子２１ｄ～２４ｄは撮像手段として機能しており、光学像を光電変換して撮像信号を出力する。撮像素子２１ｄ～２４ｄの受光面には例えばＲＧＢの色フィルタが画素毎に配列されている。ＲＧＢの配列は例えばベイヤー配列となっている。

従って、撮像素子からは、ベイヤー配列に従って例えば所定の行からはＲ，Ｇ，Ｒ、Ｇの信号が順次出力され、隣の行からはＧ，Ｂ，Ｇ，Ｂ、の信号が順次出力されるように構成されている。
３１～３４はカメラ処理部であり、撮像部２１～２４と共に夫々同じカメラユニット１１～１４の筐体に収納されており、撮像部２１～２４から出力された撮像信号を夫々処理する。尚、図３では撮像部２４、カメラ処理部３４の詳細およびその配線は便宜上省略されている。

カメラ処理部３１～３４は夫々画像処理部３１ａ～３４ａ、認識部３１ｂ～３４ｂ、カメラ情報部３１ｃ～３４ｃを有する。画像処理部３１ａ～３４ａは撮像部２１～２４から出力された撮像信号を夫々画像処理する。尚、カメラ処理部３１の一部又は全部を撮像素子２１ｄ～２４ｄ内の積層された信号処理部で行ってもよい。

具体的には、画像処理部３１ａ～３４ａは、撮像部２１～２４からベイヤー配列に従って入力された画像データを夫々デベイヤ処理し、ＲＧＢのラスタ形式の画像データへ変換する。更に、ホワイトバランスの調整やゲイン・オフセット調整、ガンマ処理、カラーマトリックス処理や可逆圧縮処理などを行っても良い。

認識部３１ｂ～３４ｂは画像処理部３１ａ～３４ａで画像処理された歪曲補正前の画像データから夫々所定の対象物（例えば自動車、人物、障害物など）を画像認識する。即ち、認識部３１ｂ～３４ｂは、低歪曲領域に対応する画像データを歪曲補正せずに画像認識して第１の画像認識結果を出力する。
尚、本実施形態の認識部３１ｂ～３４ｂは少なくとも高解像度領域１０ａから得られた画像データに対して画像認識処理を行い、所定の対象物を認識する。そのために、高解像度領域１０ａだけを切り出してから画像認識処理してもよい。

尚、この時、認識部３１ｂ～３４ｂは、低解像度領域１０ｂから得られた歪曲補正前の画像データについても画像認識処理をしてもよい。但し、歪曲補正されていないので、異画角レンズの周辺部の画像は歪が大きく認識の信頼性は落ちることになる。
或いは、認識部３１ｂ～３４ｂは、高解像度領域１０ａから得られた画像データを切り出して、その高解像度領域１０ａから得られた画像データに対してだけ画像認識処理を行ってもよい。

尚、その際画像認識のために切り出す領域は、画像認識処理に適した形状である矩形にすることが望ましい。又、切り出す矩形領域は高解像度領域１０ａ内の一部だけ（例えば高解像度領域１０ａに内接する矩形）でもよいし、高解像度領域１０ａと低解像度領域１０ｂの両方を含んだ矩形でもよい。

ここで、認識部３１ｂ～３４ｂは撮像手段により取得された画像信号の内、少なくとも一部領域の画像信号に基づき画像認識して第１の画像認識結果を出力する第１の画像認識手段として機能している。尚、本実施形態において、前記一部領域は低歪曲領域に対応する領域である。

認識部３１ｂ～３４ｂは、対象物の種類と座標のセットを認識結果として統合処理部４０に送信する。
一方、認識部３１ｂ～３４ｂは、統合処理部４０の統合制御部４１ｃから、対象物の種類と、その対象物の移動方向に関する情報又は優先認識領域情報のセットである予測情報を受信する。この予測情報については後述する。

ここで、正面に対して設置されたカメラユニット１１の認識部３１ｂの出力は走行制御部（ＥＣＵ）６０にも直接供給されている。これは、認識部３１ｂの障害物などの認識結果に基づいて直ちに走行を停止したり、障害物を回避するように走行を制御したりする必要が生じる場合があるからである。

カメラ情報部３１ｃ～３４ｃは夫々カメラユニット１１～１４のカメラ情報を予めメモリに保持している。カメラ情報部はカメラユニット１１～１４内に設けた各種センサ等からの情報を一時的に保持することもできる。カメラ情報は、例えば異画角レンズ２１ｃ～２４ｃが形成する光学像の図２に示されるような特性情報（解像度境界情報など）を含む。又、撮像素子２１ｄ～２４ｄの画素数、カメラユニットの車両座標における取り付け位置座標および姿勢（ピッチ、ロール、ヨーなど）の情報、撮像方向などを含む。カメラ情報は、ガンマ特性、感度特性、フレームレートなどの情報を含んでも良い。

更に、カメラ情報は、画像処理部３１ａ～３４ａにおいて画像データを生成する際の画像処理方法や画像フォーマットに関する情報を含んでもよい。
尚、取り付け位置座標は、カメラユニット毎に車両に対する取り付け位置が決まっている場合が多いので、事前にカメラ情報部内のメモリに記憶しておいてもよい。又、カメラユニットの姿勢座標は車両１に対する相対的な座標であり、カメラユニットに設けられた不図示のエンコーダなどから取得してもよい。あるいは３次元加速度センサなどを用いて取得してもよい。

又、撮像方向に関する情報は例えば地磁気センサを用いて取得してもよい。カメラの解像度境界情報はレンズ設計によって決まるので予めカメラ情報部内のメモリに記憶しておくものとする。
尚、カメラ情報は撮像部２１～２４の固有の情報であり、互いに異なり、それらの情報は統合処理部４０に送信され、統合処理部４０において画像処理などをする際に参照される。ここで、カメラ情報部３１ｃ～３４ｃは、光学像の特性に関する特性情報やカメラユニットの位置姿勢情報を保持する保持手段として機能している。

尚、カメラ処理部３１～３４の内部にはコンピュータとしてのＣＰＵや記憶媒体としてのコンピュータプログラムを記憶したメモリが内蔵されている。又、ＣＰＵはメモリ内のコンピュータプログラムを実行することにより、カメラ処理部３１～３４内の各部を制御するように構成されている。

尚、本実施形態では、画像処理部３１ａ～３４ａや認識部３１ｂ～３４ｂは例えば専用回路（ＡＳＩＣ）やプロセッサ（リコンフィギュラブルプロセッサ、ＤＳＰ）などのハードウェアを用いる。それによって、高解像度領域の画像認識の高速化が実現でき、事故を回避できる可能性を高めることができる。尚、画像処理部３１ａ～３４ａは歪曲補正機能を持っていてもよい。
尚、カメラ処理部３１～３４の内部の機能ブロックの一部又は全部を、ＣＰＵに、メモリに記憶されたコンピュータプログラムを実行させることによって実現してもよいが、その場合には、ＣＰＵの処理速度を高めることが望ましい。

４０は統合処理部であり、ＳＯＣ（Ｓｙｔｅｍ Ｏｎ Ｃｈｉｐ）／ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）４１、コンピュータとしてのＣＰＵ４２、記憶媒体としてのメモリ４３を有する。ＣＰＵ４２はメモリ４３に記憶されたコンピュータプログラムを実行することによって、画像処理システム１００全体の各種制御を行う。尚、本実施形態では統合処理部４０はカメラユニットとは別の筐体で収納されている。

ＳＯＣ／ＦＰＧＡ４１は画像処理部４１ａ、認識部４１ｂ、統合制御部４１ｃを有する。
画像処理部４１ａはカメラ処理部３１～３４から夫々の画像データを取得すると共に、カメラ情報部３１ｃ～３４ｃより各カメラユニット１１～１４のカメラ情報を取得する。
カメラ情報は、前述のように、異画角レンズ２１ｃ～２４ｃの光学特性や撮像素子２１ｄ～２４ｄの画素数、光電変換特性、γ特性、感度特性、画像データのフォーマット情報、カメラユニットの車両座標における取り付け位置の座標や姿勢情報などを含む。

画像処理手段としての画像処理部４１ａは光学系の特性情報などのカメラ情報を取得する。そしてカメラ情報に基づきカメラ処理部３１～３４からの夫々の画像データに対して解像度変換を行うと共に、撮像部２１～２４の夫々の低解像度領域１０ｂから得られた画像信号に対して歪曲補正等の画像処理ステップを実行する。

すなわち、光学像の特性に基づき歪曲補正領域の画像信号に対して歪曲補正すると共に、歪曲補正された画像信号と、歪曲補正しない非歪曲補正領域の画像信号とを合成して合成画像を生成する。すなわち、画像処理部４１ａは表示信号生成手段としても機能しており、歪曲補正などを行って、合成画像を生成する表示信号生成ステップを行う。尚、本実施形態において歪曲補正領域はユーザにより、又は自動で設定可能である。

本実施形態では画像処理部４１ａは、高解像度領域１０ａから得られた画像信号は歪曲が殆どないので歪曲補正は行わない。但し、画像処理部４１ａは、高解像度領域１０ａから得られた画像信号に対しても簡略的な歪曲補正を行ってもよい。又、画像処理部４１ａはカメラ処理部３１～３４から夫々の画像データに対して適宜非可逆圧縮処理などを行う。

又、画像処理部４１ａは歪曲補正を行った撮像部２１～２４の夫々の低解像度領域１０ｂの画像信号と、高解像度領域１０ａの画像信号をスムーズにつなぎ合わせるように合成して撮像部２１～２４毎の全体画像を形成する。

尚、低解像度領域１０ｂの画像信号と高解像度領域１０ａから得られた画像信号の両方に対して歪曲補正を行う場合には、画像処理部３１ａ～３４ａで夫々得られた画像データをそのまま歪曲補正してもよい。
尚、画像処理部４１ａでは、カメラ情報の中の特にカメラの配置位置と姿勢情報に基づき画像の回転等の画像処理を行う。これについては後述する。

認識部４１ｂは少なくとも低解像度領域を歪曲補正した後の、撮像部２１～２４毎の全体画像に対して画像認識処理を行い、撮像部２１～２４毎の全体画像における所定の対象物（例えば自動車、人物、障害物など）を画像認識する。即ち、認識部４１ｂは、少なくとも低解像度領域（高歪曲領域）に対応する画像信号を歪曲補正した後で画像認識して第２の画像認識結果を出力する。

その際に、認識部３１ｂ～３４ｂによる認識結果（対象物の種類や座標）も参照する。尚、上記では、認識部４１ｂは撮像部２１～２４毎の全体画像に対して画像認識をしているが、必ずしも全体画像に対して画像認識をしなくてもよい。例えば画像の最外周部（図２の最外周部近傍）については画像認識しなくても良い。

尚、本実施形態では、認識部４１ｂは、例えば認識部３１ｂ～３４ｂにより認識した領域を含む広い領域について画像認識をしているが、認識部４１ｂは、認識部３１ｂ～３４ｂにより認識した領域以外だけを画像認識しても良い。
ここで、認識部４１ｂは、画像取得手段により取得された画像信号の内、第１の画像認識手段で画像認識を行った一部領域を含む、該一部領域より広い領域の画像信号を画像認識して第２の画像認識結果を出力する第２の画像認識手段として機能している。尚、第２の画像認識手段は、低歪曲領域としての高解像度領域１０ａと高歪曲領域としての低解像度領域１０ｂに対応した画像信号を合成した合成画像について画像認識して第２の画像認識結果を出力している。

本実施形態では、画像処理部４１ａは、複数の撮像部としてのカメラユニット１２～１４からの画像をつなぎ合わせるように合成して、パノラマ的な合成画像を形成する。
その場合、つなぎ合わされる複数の撮像部の画像は、夫々の撮影画角の少なくとも一部が互いに所定量以上のオーバーラップ領域を有するように設定されていることが望ましい。

尚、後述するように、カメラユニット１２と１３の撮影範囲は互いに重複するように夫々配置してもよい。又、カメラユニット１３と１４の撮影範囲が互いに重複するように夫々配置してもよい。しかも、その際、少なくとも２つの画像取得手段の低歪曲領域の撮影範囲が互いに重複するように配置してもよい。

又、前述のように、認識部４１ｂは、そのパノラマ的な合成画像に対して画像認識を行う。そうすることによって、例えば複数の撮像部の画角にまたがるように撮影された対象物の画像認識が可能となる。これは、夫々の撮像部からの個別の全体画像では対象物の全体像が分からない場合があるが、パノラマ的な合成画像においてはその対象物のほぼ全体が映り画像処理により画像認識が可能になる場合があるからである。

統合制御部４１ｃは、例えば認識部３１ｂ～３４ｂによる認識結果と認識部４１ｂによる認識結果が異なる場合には、より信頼性が高い方の認識結果を採用することで統合された画像認識結果を出力する。
例えば認識部３１ｂ～３４ｂにより認識された画像内の対象物の占める割合と認識部４１ｂにより認識された同じ対象物の、画面内に閉める割合を比較し、その割合が大きい方の認識結果を、より信頼性が高いと判断して採用してもよい。

或いは高解像度領域内と低解像度領域の両方にまたがっている対象物の場合には、認識部３１ｂ～３４ｂによる認識結果よりも認識部４１ｂによる認識結果を、より信頼性が高いと判断して採用してもよい。或いは、認識部３１ｂ～３４ｂにより認識された対象物の位置が画面の周辺部の場合には、信頼性が低いと判断して、認識部４１ｂによる認識結果を、より信頼性が高いと判断して採用してもよい。

或いは、認識部４１ｂでは、低解像度領域を歪曲補正した状態で、低解像度領域だけ画像認識をすると共に、もし低解像度領域と高解像度領域にまたがる対象物があった場合には、その対象物に対して画像認識をするようにしてもよい。即ち、高解像度領域だけに存在する対象物に対しては認識部３１ｂ～３４ｂによる認識の信頼性の方が高いとみなして認識部４１ｂでは画像認識処理をしないように制御してもよい。
ここで、統合制御部４１ｃは、第１の画像認識結果の信頼性と第２の画像認識結果の信頼性に基づき統合された画像認識結果を出力する統合処理手段として機能している。

又、統合制御部４１ｃは、撮像部２１～２４毎の全体画像や、パノラマ的な合成画像などの内、所望の画像を第１表示部５０，第２表示部５１などに表示するための信号を形成する。又、認識された対象物を強調表示するための枠や、対象物の種類、サイズ、位置、速度などに関する情報や警告などのためのＣＧなどを生成する。更に、カメラ情報部３１ｃ～３４ｃから取得した表示解像度境界情報などの光学系の特性情報に基づき境界を表示するための境界画像のＣＧを生成してもよい。

又、これらのＣＧや文字を画像に重畳するための表示処理などを行う。ここで第１表示部５０，第２表示部５１などは表示手段として機能しており、画像信号や統合された画像認識結果を表示する。

更に又、本実施形態においては、統合制御部４１ｃは複数のカメラユニットの間で認識された対象物に関する情報を共有するように構成されている。即ち、例えばカメラユニット１４において認識された対象物がカメラユニット１１の画角の方向に移動していることが認識されたものとする。その場合には、統合制御部４１ｃはその対象物の種類と、その対象物の移動方向に関する情報又は優先認識領域情報を含む予測情報をカメラユニット１１の認識部３１ｂに送信する。

このような予測情報をカメラユニット１１～１４の認識部３１ｂ～３４ｂと共有することによってカメラユニット１１～１４の認識部３１ｂ～３４ｂにおける画像認識精度を向上させることができる。尚、このような予測情報を共有するメリットは、カメラユニット１１～１４の認識部３１ｂ～３４ｂが統合処理部４０の認識部４１ｂと別体の場合に特に効果が大きい。

又、統合制御部４１ｃは走行制御部（ＥＣＵ）６０などとＣＡＮやＦｌｅｘＲａｙ、Ｅｔｈｅｒｎｅｔなどのプロトコルを用いて内部に設けられた不図示の通信手段を介して通信を行う。それによって、走行制御部（ＥＣＵ）６０などから受信した車両制御信号に基づき表示する情報を適宜変更する表示処理を行う。即ち、例えば車両制御信号により取得された車両の移動状態に応じて表示手段に表示する画像の範囲などを変化させる。

尚、走行制御部（ＥＣＵ）６０は、車両１に搭載されており、車両１の駆動制御、方向制御などを総合的に行うためのコンピュータやメモリを内蔵したユニットである。走行制御部（ＥＣＵ）６０からは車両制御信号として例えば走行速度、走行方向、シフトレバー、シフトギア、ウインカーの状態、地磁気センサなどによる車両の向きなどの車両の走行（移動状態）に関する情報などが統合処理部４０に対して入力される。

逆に統合制御部４１ｃは、認識部４１ｂで認識された所定の対象物（障害物など）の種類、位置、移動方向、移動速度などの情報を走行制御部（ＥＣＵ）６０に送信する。それによって走行制御部（ＥＣＵ）６０は車両の停止、駆動、走行方向の変更などの障害物の回避などに必要な制御を行う。ここで走行制御部（ＥＣＵ）６０は、統合された画像認識結果に基づき移動体としての車両の移動を制御する移動制御手段として機能している。

第１表示部５０は例えば車両１の運転席の前方上部の車幅方向の中央付近に、表示画面を車両後方に向けて設置され電子ルームミラーとして機能する。尚、ハーフミラーなどを用いて、ディスプレイとして使用しないときは鏡として使用できる構成としてもよい。又、タッチパネルや操作ボタンを備えユーザからの指示を取得し、統合制御部４１ｃへ出力可能な構成としてもよい。又、第１表示部５０を例えば従来の光学的なサイドミラーの代わりに、左右の障害物などを確認するための電子サイドミラーとして用いることもできる。

第２表示部５１は、例えば車両１の運転席の前方の車幅方向の中央付近の操作パネル周辺に設置される。尚、移動体としての車両１には、不図示のナビゲーションシステムや、オーディオシステムなどが搭載されている。

そして、例えば第２表示部には、ナビゲーションシステムや、オーディオシステムや走行制御部（ＥＣＵ）６０からの各種制御信号なども表示することができる。又、タッチパネルや操作ボタンを備え、ユーザからの指示を取得可能な構成としている。
尚、第２表示部５１は例えばタブレット端末の表示部であってもよく、統合処理部４０に対して有線で接続することにより表示することもできるし、通信部６２を介して無線で画像を受信して表示することもできる。

尚、第１表示部５０、第２表示部５１のディスプレイパネルとしては、液晶ディスプレイや有機ＥＬディスプレイなどを用いることができる。尚、表示部の数は３つに限定されない。
尚、統合処理部４０などに含まれる機能ブロックの一部又は全部をハードウェアで実現するようにしてもよいし、ＣＰＵ４２に、メモリ４３に記憶されたコンピュータプログラムを実行させることによって実現してもよい。ハードウェアとしては、専用回路（ＡＳＩＣ）やプロセッサ（リコンフィギュラブルプロセッサ、ＤＳＰ）などを用いることができる。

尚、画像処理部３１ａ～３４ａで行っている画像処理の一部又は全部を統合処理部４０の画像処理部４１ａで行ってもよい。即ち、本実施形態では、例えば画像取得手段と第１の画像認識手段とは同じカメラユニットの筐体に収納されており、カメラユニットと第２の画像認識手段とは別の筐体に収納されている。しかし、例えば第１の画像認識手段を第２の画像認識手段と共に統合処理部４０の筐体に収納してもよい。

尚、本実施形態では統合処理部４０は移動体としての車両１に搭載されているが、統合処理部４０の画像処理部４１ａ、認識部４１ｂ、統合制御部４１ｃの一部の処理を例えばネットワークを介して外部サーバなどで行ってもよい。その場合、例えば画像取得手段としての撮像部２１～２４は移動体としての車両１に搭載されるが、例えばカメラ処理部３１～３４や統合処理部４０の機能の一部を外部サーバなどで処理することが可能になる。又、統合処理部４０の一部又は全部の機能を走行制御部（ＥＣＵ）６０に持たせることも可能である。

６１は記憶部であり、統合処理部４０で生成された撮像部２１～２４毎の全体画像や、パノラマ的な合成画像を記憶する。更に、認識された対象物を示す所定の枠や文字や警告などのＣＧや、ＣＧが重畳され第１表示部５０，第２表示部５１などに表示された画像を時刻などやＧＰＳ情報などと共に記憶する。
統合処理部４０は記憶部６１に記憶された過去の情報を再生し、それを第１表示部５０や第２表示部５１に表示することも可能である。

６２は通信部であり、ネットワークを介して外部サーバなどと通信するためのものであり、記憶部６１に記憶される前の情報や記憶部６１に記憶された過去の情報を外部サーバなどに送信して外部サーバなどに保存することが可能である。又、前述のように画像を外部のタブレット端末などに送信して、タブレット端末の表示部である第２表示部５１に画像を表示することもできる。又、外部サーバなどから渋滞情報や、各種の情報を取得して、統合処理部４０を介して第１表示部５０や第２表示部５１に表示することも可能である。
６３は操作部でありユーザの操作によって画像処理システムに対する様々な指示を入力するためのものである。操作部は例えばタッチパネルや操作ボタンなどを含む。

図４は実施形態１のカメラユニットの車両１への設置条件について説明するための図である。
図４において１４は左側方に設置されたカメラユニットであり、電子サイドミラー表示用の画像を撮像する。

又、ドライバが、電子サイドミラーの表示により車両周辺の安全を確認するためには、図４の網掛けで示すような車両側方や後方の地面上の領域を表示する必要がある。以降、本実施形態では図４における網掛け領域を規定領域とも記載する。図４では、ドライバの視点位置Ｅから後方の距離ｄ１において幅ｗ１の領域を、距離ｄ２の距離において幅ｗ２の地面上の領域を、規定領域とする。この規定領域が第１表示部５０に表示されることが望ましい。即ちｄ１、ｄ２は、図４のＸ方向における、ドライバの視点位置Ｅから後方の距離であり、ｗ１，ｗ２は夫々距離ｄ１、ｄ２における地面上の幅である。

図４に示す規定領域を電子サイドミラーに表示するためには、少なくとも規定領域をカメラユニット１４の撮像領域に含めるように設置する必要がある。従って本実施形態では、カメラユニット１４の、数１の条件を満たす高解像度領域１０ａに対応した撮像画角で、規定領域が撮像可能なようにカメラユニット１４を設置する。

ここで、数１の条件を満たす高解像度領域１０ａを用いて、規定領域を表示するようにサイドミラー用の画像を形成するためには、カメラユニット１４を垂直方向について、以下の数２の条件を満たすように設置することが望ましい。
Ａｔａｎ（ｈ／（ｄ１＋ｘ））－θｖ／２＜φｖ＜Ａｔａｎ（ｈ／（ｄ２＋ｘ））
＋θｖ／２・・・・・（数２）

又、水平方向については以下の数３、数４の条件を満たすように設置することが望ましい。
Φｈ＿ｌｉｍｉｔ
＝ｍａｘ（Ａｔａｎ（（ｗ１－ｙ）／（ｄ１＋ｘ））－θｈ／２，Ａｔａｎ（（ｗ２－ｙ）／（ｄ２＋ｘ））－θｈ／２）・・・（数３）
Φｈ＿ｌｉｍｉｔ＜φｈ＜－Ａｔａｎ（ｙ／（ｄ１＋ｘ））＋θｈ／２・・・（数４）

ここで、図４に示すように、θｖは高解像度領域１０ａの垂直画角、θｈは高解像度領域１０ａの水平画角、φｖはカメラユニット１４の光学系の光軸の垂直方向角度、φｈはカメラユニット１４の光学系の光軸の水平方向角度とする。又、ｘは車両１の長軸方向（図４のＸ方向）におけるドライバの視点位置Ｅとカメラユニット１４のオフセット、ｙはカメラユニット１４の車両側面からの短軸方向（図４のＹ方向）のオフセットとする。又、ｈはカメラユニット１４の地面からの高さ方向（図４のＺ方向）のオフセットとする。

尚、ドライバの視点位置Ｅは、ドライバの着座位置での目の位置又はドライバの座席面の中央位置とする。
尚、以上の説明では左側方のカメラユニット１４の設置条件について説明したが、右側方のカメラユニット１２についても同じ条件となる。

以上のように数１～数４の条件を全て満たすことによって、図２のようなドライバが安全を確認すべき規定領域を高解像度領域１０ａの画角内に含めて撮像することができる。従って、電子サイドミラーにより高解像度で低歪曲の画像を適切に表示することができる。

このように、本実施形態では上記数１～数４の条件を満たすようにすることで、高解像度領域１０ａの画角に車両後側方の規定領域を撮像範囲に含めて撮像することが可能となる。従って、車両後側方の規定領域を電子サイドミラーに表示することができドライバが安全を確認することができる。更に高解像度領域１０ａは、歪曲が小さく解像度が高いためドライバは高解像度で低歪曲の画像によってタイムリーに障害物等を目視することができる。

しかも、高解像度領域１０ａについては歪曲補正前の画像データに対して画像認識を行うようにすることで、遅延なく画像認識ができるので障害物などに関する情報をドライバに速やかに通知することもできる。又、このように上記数１～数４の条件が満たされることで、自動車は、ＵＮ－Ｒ４６（Ｕｎｉｔｅｄ Ｎａｔｉｏｎｓ Ｒｅｇｕｌａｔｉｏｎ Ｎｏ． ４６）などの規定を満足しながら、ドライバが安全を確認しやすい映像を電子サイドミラーに表示できる。

以上のように本実施形態では、高解像度領域（低歪曲領域）１０ａにおいては、通常の撮像用の光学系の射影特性である中心射影方式（即ち、ｙ＝ｆ×ｔａｎθである場合）や等距離射影方式（即ち、ｙ＝ｆ×θである場合）に近い特性としている。従って、光学歪曲が小さく、高解像度で表示することが可能となる。又、周囲の車両などを目視する際における自然な遠近感が得られる。更に、画質の劣化を抑えて良好な視認性を得ることができると共に画像認識も歪曲補正せずに行える。

尚、上述の数１の条件を満たさない射影特性ｙ（θ）であっても、光学系が高解像度領域１０ａと低解像度領域１０ｂを有する光学像を形成するものであって、かつ数２～数４の条件を満たすように設置しても良い。その場合であっても、ある程度高解像で低歪曲の画像を目視或いは画像認識することができる。

尚、例えば乗員が９人以下の乗用車や小型の貨物車（例えば車両重量が３．５トン以下）の場合にはｄ１＝４ｍ、ｗ１＝１ｍ、ｄ２＝２０ｍ、ｗ２＝４ｍなどの規定領域をドライバが電子サイドミラーで確認できることが望ましい。この場合に、例えば高解像度領域１０ａの垂直画角θｖと水平画角θｈが夫々４７．２度のカメラユニットを用い、ｘ＝０．５ｍ、ｙ＝０．２ｍ、ｈ＝１ｍの位置にカメラユニットを設置する場合、カメラユニットの光軸の垂直方向の角度φｖと水平方向の角度φｈは夫々、－１１．０７°＜φｖ＜２６．４°、－１３．１°＜φｈ＜２６．１°となる。

カメラユニットは、これらの条件を満たすように、カメラの光軸を合わせて設置される。又、乗員が１０人以下の乗用車や、中型や大型の貨物車の場合には、より後方が確認できることが望ましいため、ｄ１＝４ｍ、ｗ１＝１ｍ、ｄ２＝３０ｍ、ｗ２＝５ｍなどの規定領域をドライバが電子サイドミラーで確認できることが望ましい。その場合、高解像度領域１０ａの垂直画角θｖと水平画角θｈが夫々４７．２度のカメラユニットを用い、ｘ＝０．５ｍ、ｙ＝０．２ｍ、ｈ＝１ｍの位置にカメラユニットを設置すると、カメラユニットの光軸の垂直方向の角度φｖと水平方向の角度φｈは夫々、－１１．１°＜φｖ＜２５．５°、－１３．５°＜φｈ＜２６．１°となる。

尚、上述の数値例では、カメラユニットの設置位置（ｘ、ｙ、ｈ）を固定の条件として、その場合のカメラユニットの光軸の角度条件を算出したが、数２～３の条件を満たしていればよく、設置条件の算出方法はこれに限定しない。例えば、車両設計上の制約条件として、カメラユニットの光軸の角度があらかじめ決まっている場合、それに基づいて、数２～３の条件を満たすカメラユニットの設置位置の範囲を決定する。

これにより、規定領域をカメラユニットの高解像度領域の撮像範囲に含めることができる。同様に両設計上の制約条件としてカメラユニットの設置位置（ｘ、ｙ、ｈ）とカメラユニットの光軸の角度が予め決まっている場合、それに基づいて、数２～３の条件を満たすカメラユニットの高解像度領域１０ａの垂直画角θｖと水平画角θｈを夫々決定してもよい。

［実施形態２］
実施形態２では、中型貨物車にカメラユニットを設置する場合の設置条件を説明する。中型貨物車として例えば車両総重量が３．５トンを超え１２トン以下の車両とすることが望ましく、３．５トンを超え７．５トン以下の車両とすることが、より望ましい。中型貨物車では、乗用車や小型貨物車に比較して側方方向により広い範囲の安全をドライバが確認する必要がある。

図５は貨物車等における設置条件を説明するための図であり、図６は図５の一部を拡大した図である。又、図７は、図５，図６の貨物車を側面から見た図である。図５～図７に示すように、ドライバの視点位置Ｅからの距離ｄ１～ｄ６と夫々の距離に対応する幅ｗ１～ｗ６が電子サイドミラーに表示されてドライバが確認できることが望ましい。

尚ｄ１～ｄ６と夫々の距離に対応する幅ｗ１～ｗ６で規定されている領域を本実施形態における規定領域とする。又、本実施形態においては、規定領域の全てをカメラユニットの高解像度領域１０ａで撮像できるようにカメラユニットを設置する。尚、図５において、Ｐ３～Ｐ５はＰ３’～Ｐ５’と対応しており、車両１の長軸方向（Ｘ方向）の中心線に対して夫々対称な位置関係にある。

尚、図６に示されるように、サイドミラー表示のために設置されるカメラユニット１４の位置はドライバの視点位置Ｅからｘだけ前に配置され、車両の側面からｙだけオフセットしているものとする。
本実施形態において、図５に示す規定領域の全てをカメラユニットの高解像度領域１０ａで撮像できるように設置するためには、カメラユニット１４の位置や角度は上記の数１～数４の条件に加え、更に以下の数５～数９の条件を満たすことが望ましい。

垂直方向については、
Ａｔａｎ（ｈ／（ｄ３＋ｘ））－θｖ／２＞φｖ・・・・（数５）
水平方向については、距離ｄ３の車体側の点Ｐ１を撮像するために、
－Ａｔａｎ（ｙ／（ｄ３＋ｘ））＋θｈ／２＞φｈ・・・・（数６）
又、距離ｄ３の外側の点Ｐ３を撮像するために、
Ａｔａｎ（（ｗ３－ｙ）／（ｄ３＋ｘ））－θｈ／２＜φｈ・・・・（数７）

又、距離ｄ４の外側の点Ｐ４を撮像するために、
Ａｔａｎ（（ｗ４－ｙ）／（ｄ４＋ｘ））－θｈ／２＜φｈ・・・・（数８）
又、距離ｄ５の外側の点Ｐ５を撮像するために、
Ａｔａｎ（（ｗ５－ｙ）／（ｄ５＋ｘ））－θｈ／２＜φｈ・・・・（数９）
の条件を満たすことが望ましい。

ここでｄ３～ｄ５は、図５に示すＸ方向についての、ドライバの視点位置Ｅから後方の距離であり、ｗ３～ｗ５は、図５に示すＹ方向の車両１の側面から外側に広がる幅である。
又、ｘは車両の長軸方向（図５、図６のＸ方向）におけるドライバの視点位置Ｅとカメラユニット１４のオフセット、ｙはカメラユニット１４の車両側面からの短軸方向（図５～８のＹ方向）のオフセットとする。又、ｈはカメラユニット１４の地面からの高さ方向（図７のＺ方向）のオフセットとする。尚、本実施形態では、ｗ４＝ｗ５とする。

［実施形態３］
実施形態３では、大型貨物車にカメラユニットを設置する場合の設置条件を説明する。大型貨物車として例えば車両総重量が１２トンを超える車両とすることが望ましく、７．５トンを超える車両とすることが、より望ましい。実施形態２の規定領域のうち距離ｄ１の幅ｗ１と、距離ｄ２の幅ｗ２、距離ｄ５の幅ｗ５の領域をカメラユニットの高解像度領域の撮像範囲に含めるようにカメラユニットを設置する。

その場合の設置条件として、上記の数２～数４の条件の他に数５、数６、数９を満たすようにする。即ち、垂直方向については数５の条件とし、水平方向について、距離ｄ３の車両１の側の点を撮像するための条件は数６とし、距離ｄ５の外側の点を撮像するための条件は数９とする。

［実施形態４］
実施形態４では、実施形態２の規定領域のうち距離ｄ４の幅ｗ４とｄ５の幅ｗ５の領域をカメラユニットの高解像度領域の撮像範囲に含めるようにする。その場合の設置条件として、上記の数２～数４の条件の他に数５、数６、数８、数９の条件を満たすようにする。
即ち、垂直方向については数５の条件とし、水平方向については、距離ｄ３の車両１の側の点を撮像するために数６の条件とし、距離ｄ４の外側の点を撮像するために数８の条件とし、距離ｄ５の外側の点を撮像するために数９の条件とする。

［実施形態５］
実施形態５では、実施形態１の規定領域に加え、図６～図７に示す距離ｄ６、ｄ３の位置で、幅ｗ６で規定される領域を低解像度領域１０ｂで撮像できるように構成する。運転席とは反対側の地面を確認するため、このような規定領域を撮像範囲に含めることが望ましい。
この場合、上記の数１～数４の条件の他に以下の数１０～数１６の条件を満たすことが望ましい。又、その際、実施形態２～４のうちのいずれかの実施形態の条件も満たすようにしても良い。そのようにすることで、一つのカメラユニットで各規定領域を撮像範囲に含めることができる。

即ち、ｘ＞ｄ６の場合、
垂直方向については、
Ａｔａｎ（ｈ／（ｘ－ｄ６））－θｌｖ／２＜φｖ・・・・（数１０）
水平方向については、
Ａｔａｎ（（ｗ６－ｙ）／（ｘ－ｄ６））－θｌｈ／２＜φｈ
＜－Ａｔａｎ（ｙ／（ｘ－ｄ６））＋θｌｈ／２・・・・（数１１）

又、ｘ＜ｄ６の場合、
垂直方向については
Ａｔａｎ（ｈ／（ｄ６－ｘ））＋９０°－θｌｖ／２＜φｖ・・・・（数１２）
水平方向については、
Ａｔａｎ（（ｗ６－ｙ）／（ｘ－ｄ６））－θｌｈ／２＋９０°＜φｈ
＜－Ａｔａｎ（ｙ／（ｘ－ｄ６））＋θｌｈ／２－９０°・・・・（数１３）

又、ｘ＝ｄ６の場合、
垂直方向については、
＋９０°＜φｖ＋θｌｖ／２・・・・（数１４）
水平方向の車体側については、
－９０°＞φｈ－θｌｈ／２・・・・（数１５）
水平方向の外側については、
＋９０°＜φｈ＋θｌｈ／２・・・・（数１６）
を満たすことが望ましい。

尚、ここで、θｌｖは低解像度領域１０ｂの垂直画角、θｌｈは低解像度領域１０ｂの水平画角とする。
尚、以上の実施形態１～５の説明では左側方のカメラユニット１４について説明したが右側方のカメラユニット１２についても同様の条件が成り立つ。

以上のような実施形態２～５の規定領域の具体例として、例えばｄ１＝４ｍ、ｗ１＝１ｍ、ｄ２＝２０ｍ、ｗ２＝４ｍ、ｄ３＝１．５ｍ、ｗ３＝４．５ｍ、ｄ４＝１０ｍ、ｗ４＝１５ｍの規定領域をドライバが電子サイドミラーで確認できることが望ましい。
更に又、ｄ５＝２５ｍ、ｗ５＝１５ｍ、ｄ６＝１ｍ、ｗ６＝２ｍの規定領域をドライバが電子サイドミラーで確認できることが望ましい。
例えば、カメラユニットの設置位置をｘ＝１．１ｍ、ｙ＝０．３ｍ、ｈ＝２．３ｍとすると、カメラユニットの光軸の垂直方向の角度φｖと水平方向の角度φｈは夫々、０．６７度＜φｖ＜１７．９度、－３．３７度＜φｈ＜１７度などになる。

尚、以上の説明では、カメラユニット１１～１４の撮像素子の受光面の略中央と高解像度領域１０ａの重心（光学系の光軸）はほぼ重なっており、高解像度領域１０ａの重心は光学系の光軸が受光面と交わる位置と一致しているものとした。しかし、前述のように、受光面の略中央と高解像度領域１０ａの重心（光学系の光軸）はずれていてもよいし、高解像度領域１０ａの重心と、光学系の光軸が受光面と交わる位置とは一致していなくてもよい。
即ち、例えばカメラユニット１４の高解像度領域（低歪曲領域）１０ａの重心を撮像素子の受光面１４０の中心から上側（第１の方向）にずれるように配置して、けられが生じるようにしてもよい。

そして、上記のけられの方向（第１の方向）を例えば車両１の方向を向くように配置すれば、車体の外側の撮像可能な画角は広がることになり、撮像画角を最適化でき撮像素子の画素を最大限有効に用いることができる。
尚、けられが生じている部分は、θｌｖやθｌｈの範囲から除外される。すなわち、θｌｖやθｌｈの端のけられが生じている部分が含まれないように、実施形態１～５において、上記の数式１～１６は計算される。

以上のように、実施形態１～５では、高解像度領域（低歪曲領域）１０ａは、通常の撮像用の光学系の中心射影方式（すなわち、ｙ＝ｆ×ｔａｎθの場合）又は等距離射影方式（すなわち、ｙ＝ｆ×θの場合）に近似した射影特性となるように構成されている。従って、例えば第１表示部５０などの電子サイドミラーに表示される高解像度領域（低歪曲領域）１０ａの画像は、解像度が低解像度領域（高歪曲領域）１０ｂと比較して高く、車両１側方の遠方を、より精細に表示することができる。しかも画角の異なる複数のカメラユニットを用いて側方を撮像する場合に比べてコスト、処理効率、小型化等において優れている。

尚、各規定領域を表示できれば表示の仕方は限定しない。例えば、距離ｄ６、ｄ３の幅ｗ６で規定される規定領域と、距離ｄ３～ｄ５の幅ｗ３～ｗ５で規定される規定領域をカメラユニットの撮像画像から夫々個別の画像として切り出して異なる表示部に表示してもよい。又、距離ｄ１、ｄ２の幅ｗ１、ｗ２で規定される規定領域もカメラユニットの撮像画像から個別の画像として切り出して異なる表示部に表示してもよい。このようにすることで各規定領域の目的に合った表示を行うことができる。

又、１つのカメラユニットで、距離ｄ６、ｄ３の幅ｗ６で規定される規定領域と、距離ｄ３～ｄ５の幅ｗ３～ｗ５で規定される規定領域と、距離ｄ１、ｄ２の幅ｗ１、ｗ２で規定される規定領域を撮像範囲に含んでいる。従って、カメラユニットの撮像画像をそのまま１つの表示部に表示する構成としてもよい。このようにすることで、規定領域をドライバが確認できるようにしつつ画像切り出しの処理を簡易化することができる。

又、本実施形態の高解像度領域１０ａは光学歪曲が小さいため、第１表示部５０に表示される電子ルームミラーや電子サイドミラー用の画像も歪みが小さい状態で表示することができ、車両の周囲を運転者がより自然な遠近感で視認できる。
又、高解像度領域１０ａは、光学歪みが小さいので、歪曲補正をしない段階で画像認識ができ、画像認識のための処理負荷を低減し高速で画像認識をすることができる。

従って画像認識結果に基づき障害物を早期に発見でき、障害物を回避するための動作をタイムリーに行える。このように、以上の実施形態の条件式を満たすように構成した場合には、特に高速道路などでの高速走行時において大きな効果を得ることができる。
尚、以上の実施形態では複数のカメラユニットを用いる例を説明したが、カメラユニットが１つだけのシステムにおいても有効である。

［実施形態６］
上述した実施形態１～５において説明された様々な機能、処理および方法の少なくとも一つは、プログラムを用いて実現することができる。以下、実施形態６では、上述した実施形態１～５において説明された様々な機能、処理および方法の少なくとも一つを実現するためのプログラムを「プログラムＸ」と呼ぶ。更に、実施形態４では、プログラムＸを実行するためのコンピュータを「コンピュータＹ」と呼ぶ。パーソナルコンピュータ、マイクロコンピュータ、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などは、コンピュータＹの一例である。上述した実施形態における画像処理システムなどのコンピュータも、コンピュータＹの一例である。

上述した実施形態１～３において説明された様々な機能、処理および方法の少なくとも一つは、コンピュータＹがプログラムＸを実行することによって実現することができる。この場合において、プログラムＸは、コンピュータ読み取り可能な記憶媒体を介してコンピュータＹに供給される。実施形態４におけるコンピュータ読み取り可能な記憶媒体は、ハードディスク装置、磁気記憶装置、光記憶装置、光磁気記憶装置、メモリカード、ＲＯＭ、ＲＡＭなどの少なくとも一つを含む。更に、実施形態４におけるコンピュータ読み取り可能な記憶媒体は、ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ（非一時的）な記憶媒体である。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明は上記実施形態に限定されるものではなく、本発明の主旨に基づき種々の変形が可能であり、それらを本発明の範囲から除外するものではない。

１：車両
１０ａ：高解像度領域
１０ｂ：低解像度領域
１１～１４：カメラユニット
２１～２４：撮像部
３１～３４：カメラ処理部
３１ｂ～３４ｂ：認識部
４０：統合処理部
４１ｂ：認識部
５０：第１表示部
５１：第２表示部
６０：走行制御部ＥＣＵ

Claims (19)

1. 高解像度領域と低解像度領域を有する光学像を撮像手段の受光面に形成する光学系を有すると共に移動体の側方に設置されるカメラユニットを有し、
   前記高解像度領域の垂直画角をθｖ、水平画角をθｈ、前記光学系の光軸の垂直方向角度をφｖ、水平方向角度をφｈ、前記移動体の長軸方向のドライバの視点と前記カメラユニットのオフセットをｘ、前記移動体の短軸方向の前記カメラユニットの前記移動体の側面からのオフセットをｙ、前記カメラユニットの地面からの高さ方向のオフセットをｈ、前記長軸方向における、前記ドライバの視点位置からの距離をｄ１、ｄ２、前記距離ｄ１、ｄ２における地面上の所定の幅をｗ１，ｗ２とするとき、
   Ａｔａｎ（ｈ／（ｄ１＋ｘ））－θｖ／２＜φｖ＜Ａｔａｎ（ｈ／（ｄ２＋ｘ））＋θｖ／２・・・（数２）
   Φｈ＿ｌｉｍｉｔ
   ＝ｍａｘ（Ａｔａｎ（（ｗ１－ｙ）／（ｄ１＋ｘ））－θｈ／２，Ａｔａｎ（（ｗ２－ｙ）／（ｄ２＋ｘ））－θｈ／２）・・・（数３）
   Φｈ＿ｌｉｍｉｔ＜φｈ＜－Ａｔａｎ（ｙ／（ｄ１＋ｘ））＋θｈ／２・・（数４）
   を満たすように前記カメラユニットを設置することを特徴とする移動体。
2. 前記ドライバの視点の位置は、前記ドライバの着座位置での目の位置又は前記ドライバの座席面の中央位置であることを特徴とする請求項１に記載の移動体。
3. 前記高解像度領域と前記低解像度領域は低歪曲領域と高歪曲領域に夫々対応していることを特徴とする請求項１又は２に記載の移動体。
4. 前記光学系の焦点距離をｆ、半画角をθ、像面での像高をｙ、像高ｙと半画角θとの関係を表す射影特性をｙ（θ）とするとき、
   前記低歪曲領域におけるｙ（θ）はｆ×θより大きく、前記高歪曲領域における前記射影特性とは異なることを特徴とする請求項３に記載の移動体。
5. 前記低歪曲領域は、中心射影方式（ｙ＝ｆ×ｔａｎθ）又は等距離射影方式（ｙ＝ｆ×θ）に近似した射影特性となるように構成されていることを特徴とする請求項４に記載の移動体。
6. θｍａｘを前記光学系が有する最大の半画角とするとき、
   １＜ｆ×ｓｉｎ（θｍａｘ）／ｙ（θｍａｘ）≦１．９
   を満足するように構成されていることを特徴とする請求項４又は５に記載の移動体。
7. 前記ｗ１は１ｍ，ｗ２は４ｍ、前記距離ｄ１は４ｍ、ｄ２は２０ｍであることを特徴とする請求項４に記載の移動体。
8. 更に、ｄ３～ｄ５を前記長軸方向についての前記ドライバの視点位置からの距離、ｗ３～ｗ５を前記距離ｄ３～ｄ５における地面上の所定の幅とするときに、
   前記カメラユニットを
   Ａｔａｎ（ｈ／（ｄ３＋ｘ））－θｖ／２＞φｖ・・・・（数５）
   －Ａｔａｎ（ｙ／（ｄ３＋ｘ））＋θｈ／２＞φｈ・・・・（数６）
   Ａｔａｎ（（ｗ３－ｙ）／（ｄ３＋ｘ））－θｈ／２＜φｈ・・・・（数７）
   Ａｔａｎ（（ｗ４－ｙ）／（ｄ４＋ｘ））－θｈ／２＜φｈ・・・・（数８）
   Ａｔａｎ（（ｗ５－ｙ）／（ｄ５＋ｘ））－θｈ／２＜φｈ・・・・（数９）
   の条件を満たすように配置したことを特徴とする請求項１～７のいずれか１項に記載の移動体。
9. 更に、ｄ３、ｄ５を前記長軸方向についての、前記ドライバの視点位置からの距離、ｗ５を前記距離ｄ５における地面上の所定の幅とするときに、
   前記カメラユニットを
   Ａｔａｎ（ｈ／（ｄ３＋ｘ））－θｖ／２＞φｖ・・・・（数５）
   －Ａｔａｎ（ｙ／（ｄ３＋ｘ））＋θｈ／２＞φｈ・・・・（数６）
   Ａｔａｎ（（ｗ５－ｙ）／（ｄ５＋ｘ））－θｈ／２＜φｈ・・・・（数９）
   の条件を満たすように配置したことを特徴とする請求項１～７のいずれか１項に記載の移動体。
10. 更に、ｄ３～ｄ５を前記長軸方向についての、前記ドライバの視点位置から後方の距離、ｗ４、ｗ５を夫々前記距離ｄ４、ｄ５における地面上の所定の幅とするときに、
    前記カメラユニットを
    Ａｔａｎ（ｈ／（ｄ３＋ｘ））－θｖ／２＞φｖ・・・・（数５）
    －Ａｔａｎ（ｙ／（ｄ３＋ｘ））＋θｈ／２＞φｈ・・・・（数６
    Ａｔａｎ（（ｗ４－ｙ）／（ｄ４＋ｘ））－θｈ／２＜φｈ・・・・（数８）
    Ａｔａｎ（（ｗ５－ｙ）／（ｄ５＋ｘ））－θｈ／２＜φｈ・・・・（数９）
    の条件を満たすように配置したことを特徴とする請求項１～７のいずれか１項に記載の移動体。
11. 更に、ｄ６を前記長軸方向についての、前記ドライバの視点位置からの距離、ｗ６を前記距離ｄ６における地面上の所定の幅とするときに、
    前記カメラユニットを
    ｘ＞ｄ６の場合、
    Ａｔａｎ（ｈ／（ｘ－ｄ６））－θｌｖ／２＜φｖ・・・・（数１０）
    Ａｔａｎ（（ｗ６－ｙ）／（ｘ－ｄ６））－θｌｈ／２＜φｈ
    ＜－Ａｔａｎ（ｙ／（ｘ－ｄ６））＋θｌｈ／２・・・・（数１１）
    ｘ＜ｄ６の場合、
    Ａｔａｎ（ｈ／（ｄ６－ｘ））＋９０°－θｌｖ／２＜φｖ・・・・（数１２）
    Ａｔａｎ（（ｗ６－ｙ）／（ｘ－ｄ６））－θｌｈ／２＋９０°＜φｈ
    ＜－Ａｔａｎ（ｙ／（ｘ－ｄ６））＋θｌｈ／２－９０°・・・・（数１３）
    ｘ＝ｄ６の場合、
    ＋９０°＜φｖ＋θｌｖ／２・・・・（数１４）
    －９０＞φｈ－θｌｈ／２・・・・（数１５）
    ＋９０＜φｈ＋θｌｈ／２・・・・（数１６）
    の条件を満たすように配置したことを特徴とする請求項１～７のいずれか１項に記載の移動体。
12. 前記カメラユニットの位置と姿勢の情報を保持する保持手段を有することを特徴とする請求項１～１１のいずれか１項に記載の移動体。
13. 前記カメラユニットの位置と姿勢情報に基づき前記カメラユニットから得られた画像信号を処理する画像処理手段を有することを特徴とする請求項１２に記載の移動体。
14. 前記画像処理手段は、前記光学系の特性情報に基づき前記撮像手段からの画像信号に対して歪曲補正をすることを特徴とする請求項１３に記載の移動体。
15. 前記画像処理手段は、前記撮像手段からの画像信号に対して画像認識をすることを特徴とする請求項１３又は１４に記載の移動体。
16. 前記画像処理手段は、複数の前記カメラユニットからの画像信号を合成して合成画像を生成すると共に、前記合成画像に対して前記画像認識をすることを特徴とする請求項１５に記載の移動体。
17. 前記画像処理手段は、前記カメラユニットの位置と姿勢情報に基づき前記カメラユニットから得られた画像信号を所定の方向に回転することを特徴とする請求項１３～１６のいずれか１項に記載の移動体。
18. 請求項１３～１７のいずれか１項に記載の前記移動体の前記画像処理手段を用いて、前記カメラユニットの位置と姿勢情報に基づき前記カメラユニットから得られた画像信号を処理する画像処理ステップを有することを特徴する画像処理方法。
19. 請求項１８に記載の画像処理方法を前記移動体のコンピュータに、実行させるためのコンピュータプログラム。
    
    

Images