JP4760138B2 - 画像処理装置 - Google Patents

Description

本発明は、車両側後方に係る広角画像データの部分領域に対応する切り出し画像をディスプレイに表示させる画像処理装置に関するものであって、より詳しくは、ナビゲーション装置などに関するものである。

背景技術として、速度が所定値より大きい場合に車両の後方に係る広域画像を表示し、速度が所定値より小さい場合に車両の後方に係る狭域画像を表示する表示切替装置が知られている。この表示切替装置は、広域画像の部分領域を切り出して狭域画像し、２枚の広域画像から視点を異にした画像を作成している（以上の点について特許文献１を参照）。
特開２００３−２１２０４１号公報（特に、段落［００３４］、［００３９］および［００４３］ならびに図１１を参照）

特許文献１に記載のものにおいては、車両の後方に係る広域画像が速度に応じて切り出されているにすぎないので、車両の側後方を車両の状況に応じた画像によって確認させることができなかった。そこで、本発明は、車両の側後方を車両の状況に応じた画像によって確認させることができる画像処理装置を提供することを目的とする。

本発明に係る画像処理装置は、車両の側後方に係る広角画像データの部分領域に対応する画像をディスプレイに表示させ、前記部分領域を車両位置に係る道路種別データに応じて異ならせる制御部を備え、前記制御部は、前記道路種別データに対応する道路種別が高速道であれば、広角画像データの中心座標よりも側方を中心座標とする領域を前記部分領域とするものである。本発明における字句の解釈は、次のとおりである。

「車両の側後方」とは、車両の右側または左側に定められた視点からの後方向である。視点の一例として、車両のフロントグリルの右側に定められた視点、車両のフロントグリルの左側に定められた視点、車両の右サイドミラーに定められた視点や車両の左サイドミラーに定められた視点などがある。

「広角画像データ」とは、広角カメラで出力された画像データである。「広角」とは、画角がおよそ６０度以上であることである。

「部分領域」として、広角画像データの中心座標よりも側方を中心座標とする領域、広角画像データの中心座標よりも下方を中心座標とする領域や広角画像データの中心座標よりも下方かつ側方を中心座標とする領域などがある。

「車両位置に係る道路種別データ」とは、道路位置と道路種別とを関連付けた道路種別データおよび車両位置に対応する位置データで特定されるデータを含む概念である。道路種別として、高速道、一般道、国道、市道、有料道などがある。

「前記部分領域を車両位置に係る道路種別データに応じて異ならせる」態様の一例として、次のものがある。「車両位置に係る道路種別」が一般道であれば、「前記部分領域」は広角画像データの中心座標よりも下方を中心座標とする領域とする。また、「車両位置に係る道路種別」が高速道であれば、「前記部分領域」は広角画像データの中心座標よりも側方を中心座標とする領域とする。

本発明に係る画像処理装置は、車両の側後方に係る広角画像データの部分領域に対応する画像をディスプレイに表示させ、前記部分領域を速度センサで出力された速度データに応じて異ならせる制御部を備え、前記制御部は、前記速度データに対応する速度が第２の基準値以上であれば、広角画像データの中心座標よりも側方を中心座標とする領域を前記部分領域とするものである。本発明における字句の解釈は、次のとおりである。

「前記部分領域を速度センサで出力された速度データに応じて異ならせる」態様の一例として、次のものがある。速度データに対応する速度が第１の基準値以下であれば、「前記部分領域」は広角画像データの中心座標よりも下方を中心座標とする領域部分とする。ここで、「第１の基準値」は、市街地での走行を想定し、時速３０キロメートルから時速５０キロメートルまでの範囲内で定められる。他方、速度データに対応する速度が第２の基準値以上であれば、「前記部分領域」は広角画像データの中心座標よりも側方を中心座標とする領域とする。ここで、「第２の基準値」は、高速走行を想定し、時速６０キロメートルから時速８０キロメートルまでの範囲内で定められる。

「レンジ」とは、変速機の状態であって、マニュアルトランスミッションであれば、１速、２速、３速、４速、５速、６速、Ｎ（ニュートラル）、Ｐ（パーキング）やＲ（リバース）などであり、オートマチックトランスミッションであれば、１速（またはＬ）、２速（またはＳ）、Ｄ（ドライブ）、Ｎ（ニュートラル）、Ｐ（パーキング）やＲ（リバース）などである。

「前記部分領域を変速機側で出力されたレンジデータに応じて異ならせる」態様として、次のものがある。レンジデータに対応するレンジがリバースレンジであれば、「前記部分領域」は広角画像データの中心座標よりも下方かつ側方を中心座標とする領域とする。

本発明は、車両の側後方に係る広角画像データの部分領域に対応する画像をディスプレイに表示させ、前記部分領域を車両の状況に係る各種データに応じて異ならせることによって、車両の側後方を車両の状況に応じた画像によって確認させることができるという効果を有する画像処理装置を提供することができるものである。

＜第１の実施の形態＞本発明に係る画像処理装置を実施するための第１の実施の形態であるナビゲーション装置について、図１ないし図９を参照しながら説明する。
＜全体構成について＞本実施の形態の全体構成について図１を参照しながら説明する。図１に示すように、車両１は、フロントグリル１ａの右側および左側にそれぞれ広角カメラ２ａおよび広角カメラ２ｂを備えている。また、車両１には、本実施の形態に係るナビゲーション装置１０が搭載されている。

広角カメラ２ａは、車両１の右後方（「側後方」に相当する）を撮影しており、車両１の右後方に係る広角画像データを出力する。他方、広角カメラ２ｂは、車両１の左後方（「側後方」に相当する）を撮影しており、車両１の左後方に係る広角画像データを出力する。これらの広角画像データは、ナビゲーション装置１０に入力される。
＜装置構成について＞本実施の形態に係るナビゲーション装置１０の構成について図２を参照しながら説明する。図２に示すように、ナビゲーション装置１０は、各種データを入力する入力インターフェース（以下、入力ＩＦという）１１と、各種データを記憶するＨＤＤ１２と、各種プログラムを格納するＲＯＭ１３（「制御部」に相当する）と、ＲＯＭ１３に格納されたプログラムを解釈し実行するＣＰＵ１４（「制御部」に相当する）と、入力ＩＦ１１やＣＰＵ１４などからのデータを保持するＲＡＭ１５と、ＣＰＵ１４からのデータに応じて音声出力を制御する音声プロセッサ１６と、ＣＰＵ１４からのデータに応じて画像出力を制御する画像プロセッサ１７と、画像データを保持するＶＲＡＭ１８と、各種データを出力する出力インターフェース（以下、出力ＩＦという）１９とを備え、これらはバスで接続されている。

入力ＩＦ１１には、広角カメラ２ａと、広角カメラ２ｂと、衛星からのＧＰＳデータを受信するＧＰＳ受信機２１と、方位に対応する方位データを出力する方位センサ２２と、速度に対応する速度データを出力する速度センサ２３と、物体との接触に応じて接触座標に係るデータを出力するタッチパネル２４とが接続されている。特に、広角カメラ２ａおよび広角カメラ２ｂで出力された広角画像データは、入力ＩＦ１１を介してＲＡＭ１５に入力される。

ＨＤＤ１２には、リンクデータ、地図画像データ、位置と道路種別とを対応付けた道路種別データ、位置と車線数とを対応付けた車線数データなどが記憶されている。

ＲＯＭ１３には、ナビゲーションプログラムの他に、ＣＰＵ１４を車両１の側後方に係る広角画像データの部分領域に対応する画像をディスプレイ３２に表示させ、この部分領域を車両位置に係る道路種別データに応じて異ならせる制御部として機能させるための画像処理プログラムが格納されている。

出力ＩＦ１９には、音声データに対応する音声を出力するスピーカ３１と、画像データに対応する画像を表示するディスプレイ３２とが接続されている。ディスプレイ３２は、、タッチパネル２４の接触座標をディスプレイ３２の表示座標に一致させるようにタッチパネル２４の背面に位置している。
＜動作（処理）について＞以上のように構成されたナビゲーション装置１０について、図３ないし図６を参照しながらその動作を説明する。図３に示すように、ＣＰＵ１４は、ＲＯＭ１３に格納された画像処理プログラムを解釈し、以下の処理を実行する。

ＣＰＵ１４は、ＲＡＭ１５に車両位置に係る道路種別データが保持されているか否かを判定する（ステップＳ１）。ここで、車両位置に係る道路種別データは、ＧＰＳ受信機２１で受信されたＧＰＳデータが示す車両位置およびＨＤＤ１２に記憶された道路種別データによって得られる。ステップＳ１で道路種別データが保持されていないとの判定がなされると（Ｓ１のＮｏ）、ＣＰＵ１４は、処理を終了する。

他方、ステップＳ１で道路種別データが保持されているとの判定がなされると（Ｓ１のＹｅｓ）、ＣＰＵ１４は、道路種別データに対応する道路種別が一般道であるか否かを判定する（ステップＳ２）。

ステップＳ２で道路種別が一般道であるとの判定がなされると（Ｓ２のＹｅｓ）、ＣＰＵ１４は、ディスプレイ３２に対して広角画像（図５（ａ）を参照）の下方部分（図５（ｂ）を参照）を表示させる（ステップＳ３）。具体的には、ＣＰＵ１４は、広角画像データの中心座標よりも下方を中心座標とする領域（「部分領域」に相当する）を切り出す旨の制御データを出力する。画像プロセッサ１７は、ＣＰＵ１４からの制御データに従って、広角画像データの部分領域をＲＡＭ１５からＶＲＡＭ１８に転送し、ＶＲＡＭ１８に保持された広角画像データの部分領域をディスプレイ３２へ出力する。このとき、ＣＰＵ１４は、ＨＤＤ１２に記憶された車線数データを参照し、走行中の道路の車線数に応じて部分領域の幅方向の大きさを異ならせてもよい。すなわち、車線数が多ければ、部分領域の幅は大きくなる。他方、車線数が少なければ、部分領域の幅は小さくなる。また、広角画像の部分領域に相当する画像は拡大表示されてもよい。

他方、ステップＳ２で道路種別が一般道ではないとの判定がなされると（Ｓ２のＮｏ）、ＣＰＵ１４は、道路種別データに対応する道路種別が高速道であるか否かを判定する（ステップＳ４）。

ステップＳ４で道路種別が高速道であるとの判定がなされると（Ｓ４のＹｅｓ）、ＣＰＵ１４は、ディスプレイ３２に対して広角画像（図６（ａ）を参照）の側方部分（図６（ｂ）を参照）を表示させる（ステップＳ５）。具体的には、ＣＰＵ１４は、広角画像データの中心座標よりも側方を中心座標とする領域（「部分領域」に相当する）を切り出す旨の制御データを出力する。画像プロセッサ１７は、ＣＰＵ１４からの制御データに従って、広角画像データの部分領域をＲＡＭ１５からＶＲＡＭ１８に転送し、ＶＲＡＭ１８に保持された広角画像データの部分領域をディスプレイ３２へ出力する。

他方、ステップＳ４で道路種別が高速道ではないとの判定がなされると（Ｓ４のＮｏ）、ＣＰＵ１４は、ディスプレイ３２に対して広角画像を表示させる（ステップＳ６）。具体的には、ＣＰＵ１４は、広角画像データの全領域を切り出す旨の制御データを出力する。画像プロセッサ１７は、ＣＰＵ１４からの制御データに従って、広角画像データの全領域をＲＡＭ１５からＶＲＡＭ１８に転送し、ＶＲＡＭ１８に保持された広角画像データの全領域をディスプレイ３２へ出力する。広角画像の部分領域に相当する画像は拡大表示されてもよい。
＜本実施の形態における効果＞以上本実施の形態によれば、車両１が一般道を走行中であれば、広角画像（図５（ａ）を参照）の下方部分（図５（ｂ）を参照）がディスプレイ３２に表示される。広角画像の下方部分はカメラのアングルを俯角に設定して得られる画像に近似するから、右左折時などに必要な車両近傍の様子を運転者に知らしめることができる。また、カメラのアングルを俯角に設定して得るべき画像は広角画像の下方部分に近似されるので、広角カメラ２のアングルを制御する必要がなく、広角カメラ２の構成が簡単になる。

本実施の形態によれば、部分領域の幅方向の大きさが走行中の道路の車線数に応じてを異なるので、車線数の多い道路であっても右左折時などに必要な車両近傍の様子を運転者に知らしめることができる。

本実施の形態によれば、車両１が高速道を走行中であれば、広角画像（図６（ａ）を参照）の側方部分（図６（ｂ）を参照）がディスプレイ３２に表示される。広角画像の側方部分は狭角カメラ（焦点距離の大きなカメラ）で得られた画像に近似するから、車線変更時などに必要な車両遠方の様子を運転者に知らしめることができる。また、狭角カメラで得るべき画像は広角画像の側方部分に近似されるので、広角カメラと狭角カメラとを別個に設ける必要がなくなる。
＜変形例＞以上の説明では、道路種別が一般道である場合および道路種別が高速道である場合について説明したが、その他の道路種別についても同様に実施可能である。例えば、道路種別が一般道である場合と同一の処理が行われる場合として、市道、国道や私道など市街地に多く存在する道路種別がある。他方、道路種別が高速道である場合と同一の処理が行われる場合として、有料道など法定速度が７０ｋｍ／ｈないし８０ｋｍ／ｈに設定されている道路種別がある。
＜第２の実施の形態＞本発明に係る画像処理装置を実施するための第２の実施の形態であるナビゲーション装置について、図２および図７を主に参照しながら説明する。第１の実施の形態と重複する説明については、これを省略する。
＜装置構成について＞本実施の形態に係るナビゲーション装置４０の構成について図２を参照しながら説明する。

ＲＯＭ１３には、ナビゲーションプログラムの他に、ＣＰＵ１４を車両１の側後方に係る広角画像データの部分領域に対応する画像をディスプレイ３２に表示させ、前記部分領域を速度センサ２３で出力された速度データに応じて異ならせる制御部として機能させるための画像処理プログラムが格納されている。
＜動作（処理）について＞以上のように構成されたナビゲーション装置４０について、図７を参照しながらその動作を説明する。図７に示すように、ＣＰＵ１４は、ＲＯＭ１３に格納された画像処理プログラムを解釈し、以下の処理を実行する。

ＣＰＵ１４は、ＲＡＭ１５に速度データが保持されているか否かを判定する（ステップＳ１１）。ステップＳ１１で速度データが保持されていないとの判定がなされると（Ｓ１１のＮｏ）、ＣＰＵ１４は、処理を終了する。

他方、ステップＳ１１で速度データが保持されているとの判定がなされると（Ｓ１１のＹｅｓ）、ＣＰＵ１４は、速度データに対応する速度Ｖが６０ｋｍ／ｈ以下であるか否かを判定する（ステップＳ１２）。

ステップＳ１２で速度Ｖが６０ｋｍ／ｈ以下であるとの判定がなされると（Ｓ１２のＹｅｓ）、ＣＰＵ１４は、ディスプレイ３２に対して広角画像（図５（ａ）を参照）の下方部分（図５（ｂ）を参照）を表示させる（ステップＳ１３）。

他方、ステップＳ１２で速度Ｖが６０ｋｍ／ｈ以下ではないとの判定がなされると（Ｓ１２のＮｏ）、ＣＰＵ１４は、速度Ｖが８０ｋｍ／ｈ以上であるか否かを判定する（ステップＳ１４）。

ステップＳ１４で速度Ｖが８０ｋｍ／ｈ以上であるとの判定がなされると（Ｓ１４のＹｅｓ）、ＣＰＵ１４は、ディスプレイ３２に対して広角画像（図６（ａ）を参照）の側方部分（図６（ｂ）を参照）を表示させる（ステップＳ１５）。

他方、ステップＳ１４で速度Ｖが８０ｋｍ／ｈ以上ではないとの判定がなされると（Ｓ１４のＮｏ）、ＣＰＵ１４は、ディスプレイ３２に対して広角画像を表示させる（ステップＳ１６）。
＜本実施の形態における効果＞以上本実施の形態によれば、車両１の速度が６０ｋｍ／ｈ以下であれば、広角画像（図５（ａ）を参照）の下方部分（図５（ｂ）を参照）がディスプレイ３２に表示される。広角画像の下方部分はカメラのアングルを俯角に設定して得られる画像に近似するから、右左折時などに必要な車両近傍の様子を運転者に知らしめることができる。また、カメラのアングルを俯角に設定して得るべき画像は広角画像の下方部分に近似されるので、広角カメラ２のアングルを制御する必要がなく、広角カメラ２の構成が簡単になる。

本実施の形態によれば、車両１の速度が８０ｋｍ／ｈ以上であれば、広角画像（図６（ａ）を参照）の側方部分（図６（ｂ）を参照）がディスプレイ３２に表示される。広角画像の側方部分は狭角カメラ（焦点距離の大きなカメラ）で得られた画像に近似するから、車線変更時などに必要な車両遠方の様子を運転者に知らしめることができる。また、狭角カメラで得るべき画像は広角画像の側方部分に近似されるので、広角カメラと狭角カメラとを別個に設ける必要がなくなる。
＜変形例＞以上の説明では、車両１の速度が６０ｋｍ／ｈ以下である場合および車両１の速度が８０ｋｍ／ｈ以上場合について説明したが、その他の速度についても同様に実施可能である。例えば、車両１の速度が６０ｋｍ／ｈ以下である場合と同一の処理が行われる条件は市街地での走行を想定し得るものであれば足り、判定閾値は時速３０キロメートルから時速５０キロメートルまでの範囲内で定められればよい。他方、車両１の速度が８０ｋｍ／ｈ以上である場合と同一の処理が行われる条件は高速道での走行を想定し得るものであれば足り、判定閾値は時速６０キロメートルから時速８０キロメートルまでの範囲内で定められればよい。
＜第３の実施の形態＞本発明に係る画像処理装置を実施するための第３の実施の形態であるナビゲーション装置について、図２、図８および図９を主に参照しながら説明する。第１の実施の形態と重複する説明については、これを省略する。
＜装置構成について＞本実施の形態に係るナビゲーション装置５０の構成について図２を参照しながら説明する。

ＲＯＭ１３には、ナビゲーションプログラムの他に、ＣＰＵ１４を車両１の側後方に係る広角画像データの部分領域に対応する画像をディスプレイ３２に表示させ、前記部分領域を図示しない変速機（いわゆるオートマチックトランスミッションやマニュアルトランスミッションなど）側で出力されたレンジデータに応じて異ならせる制御部として機能させるための画像処理プログラムが格納されている。
＜動作（処理）について＞以上のように構成されたナビゲーション装置５０について、図８を参照しながらその動作を説明する。図８に示すように、ＣＰＵ１４は、ＲＯＭ１３に格納された画像処理プログラムを解釈し、以下の処理を実行する。

ＣＰＵ１４は、ＲＡＭ１５にレンジデータが保持されているか否かを判定する（ステップＳ２１）。ステップＳ２１でレンジデータが保持されていないとの判定がなされると（Ｓ２１のＮｏ）、ＣＰＵ１４は、処理を終了する。

他方、ステップＳ２１でレンジデータが保持されているとの判定がなされると（Ｓ２１のＹｅｓ）、ＣＰＵ１４は、レンジデータに対応する変速機の状態がリバース（Ｒ）であるか否かを判定する（ステップＳ２２）。

ステップＳ２２で変速機の状態がリバース（Ｒ）あるとの判定がなされると（Ｓ２２のＹｅｓ）、ＣＰＵ１４は、ディスプレイ３２に対して広角画像（図９（ａ）を参照）の下方かつ側方部分（図９（ｂ）を参照）を表示させる（ステップＳ２３）。

他方、ステップＳ２２で変速機の状態がリバース（Ｒ）ではないとの判定がなされると（Ｓ２２のＮｏ）、ＣＰＵ１４は、変速機の状態が４速以下であるか否かを判定する（ステップＳ２４）。

ステップＳ２４で変速機の状態が４速以下であるとの判定がなされると（Ｓ２４のＹｅｓ）、ＣＰＵ１４は、ディスプレイ３２に対して広角画像（図５（ａ）を参照）の下方部分（図５（ｂ）を参照）を表示させる（ステップＳ２５）。

他方、ステップＳ２４で変速機の状態が４速以下ではないとの判定がなされると（Ｓ２４のＮｏ）、ＣＰＵ１４は、ディスプレイ３２に対して広角画像（図６（ａ）を参照）の側方（図６（ｂ）を参照）を表示させる（ステップＳ２６）。
＜本実施の形態における効果＞以上本実施の形態によれば、変速機の状態が４速以下であれば、広角画像（図５（ａ）を参照）の下方部分（図５（ｂ）を参照）がディスプレイ３２に表示される。広角画像の下方部分はカメラのアングルを俯角に設定して得られる画像に近似するから、右左折時などに必要な車両近傍の様子を運転者に知らしめることができる。また、カメラのアングルを俯角に設定して得るべき画像は広角画像の下方部分に近似されるので、広角カメラ２のアングルを制御する必要がなく、広角カメラ２の構成が簡単になる。

本実施の形態によれば、変速機の状態が５速以上であれば、広角画像（図６（ａ）を参照）の側方部分（図６（ｂ）を参照）がディスプレイ３２に表示される。広角画像の側方部分は狭角カメラ（焦点距離の大きなカメラ）で得られた画像に近似するから、車線変更時などに必要な車両遠方の様子を運転者に知らしめることができる。また、狭角カメラで得るべき画像は広角画像の側方部分に近似されるので、広角カメラと狭角カメラとを別個に設ける必要がなくなる。

本実施の形態によれば、変速機の状態がリバースレンジ（Ｒ）であれば、広角画像（図９（ａ）を参照）の下方かつ側方部分（図９（ｂ）を参照）がディスプレイ３２に表示される。広角画像の下方かつ側方部分は狭角カメラ（焦点距離の大きなカメラ）のアングルを俯角に設定して得られる画像に近似するから、後退時に必要な車両１の後輪付近の様子を運転者に知らしめることができる。また、狭角カメラのアングルを俯角に設定して得るべき画像は広角画像の下方かつ側方部分に近似されるので、広角カメラと狭角カメラとを別個に設ける必要がなくなるとともに、カメラのアングルを制御する必要がなくなる。
＜変形例＞以上の説明では、変速機の状態が４速以下であれば市街地での走行を想定し得るものとして説明したが、判定閾値は変速機の性質などに応じて適宜設定されるべきものである。

以上のように、本発明に係る画像処理装置は、車両の側後方を車両の状況に応じた画像によって確認させることができるという効果を有し、ナビゲーション装置などとして有用である。

本発明に係る画像処理装置を実施するための最良の形態の全体構成を示す図 本発明に係る画像処理装置を実施するための最良の形態であるナビゲーション装置の装置構成を示す図 第１の実施の形態における処理の流れを示すフローチャート 本実施の形態における広角画像データと部分領域との関係を示す図 （ａ）広角カメラで得られた一般道走行中における車両側後方の広域画像を示す図（ｂ）部分領域を拡大表示した様子を示す図 （ａ）広角カメラで得られた高速道走行中における車両側後方の広域画像を示す図（ｂ）部分領域の拡大図 第２の実施の形態における処理の流れを示すフローチャート 第３の実施の形態における処理の流れを示すフローチャート （ａ）広角カメラで得られた後退中における車両側後方の広域画像を示す図（ｂ）部分領域の拡大図

符号の説明

１、４０、５０ ナビゲーション装置（画像処理装置）
１３ ＲＯＭ（制御部）
１４ ＣＰＵ（制御部）
１７ 画像プロセッサ（制御部）
３２ ディスプレイ

Claims (4)

1. 車両の側後方に係る広角画像データの部分領域に対応する画像をディスプレイに表示させ、前記部分領域を車両位置に係る道路種別データに応じて異ならせる制御部を備え、
   前記制御部は、前記道路種別データに対応する道路種別が高速道であれば、広角画像データの中心座標よりも側方を中心座標とする領域を前記部分領域とする画像処理装置。
2. 前記制御部は、前記道路種別データに対応する道路種別が一般道であれば、広角画像データの中心座標よりも下方を中心座標とする領域を前記部分領域とすることを特徴とする請求項１に記載の画像処理装置。
3. 車両の側後方に係る広角画像データの部分領域に対応する画像をディスプレイに表示させ、前記部分領域を速度センサで出力された速度データに応じて異ならせる制御部を備え、前記制御部は、前記速度データに対応する速度が、時速６０キロメートルから時速８０キロメートルまでの範囲内で定められた第１の基準値以上であれば、広角画像データの中心座標よりも側方を中心座標とする領域を前記部分領域とする画像処理装置。
4. 前記制御部は、前記速度データに対応する速度が、時速３０キロメートルから時速５０キロメートルまでの範囲内で定められた第２の基準値以下であれば、広角画像データの中心座標よりも下方を中心座標とする領域を前記部分領域とすることを特徴とする請求項３に記載の画像処理装置。

Images