JP6851782B2 - 画像処理装置、画像処理システムおよび画像処理方法 - Google Patents

Description

本発明は、画像処理装置、画像処理システムおよび画像処理方法に関する。

従来、車両周囲の撮像画像に基づいて運転を支援するための情報（以下、支援情報という）を生成し、表示装置へ出力する画像処理装置がある。かかる画像処理装置では、例えば、取り付け時などに支援情報の設定を行うことができる（例えば、特許文献１参照）。

また、車載用の表示装置は、車両のシフトセンサから入力されるリバース信号を受け付けた場合に、画像処理装置によって生成される支援情報を表示する。

特開２０００−１３４６０８号公報

しかしながら、上記した従来の技術では、ユーザは車両のシフトレバをリバースにした状態で支援情報の設定を行う必要があり、操作性が低下するおそれがあった。

本発明は、上記に鑑みてなされたものであって、支援情報の設定時における操作性を向上させることができる画像処理装置、画像処理システムおよび画像処理方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、信号出力部と、受付部と、信号置換部と、画像出力部とを備える。信号出力部は、車両のシフトセンサから入力されるシフト信号を表示装置へ出力する。受付部は、ユーザによる設定開始の操作信号を受け付ける。信号置換部は、前記受付部が前記操作信号を受付け、かつ、前記シフト信号がパーキング信号である特定状態の場合に、前記信号出力部が出力する当該パーキング信号をリバース信号へ置き換える。画像出力部は、前記特定状態の場合に、前記表示装置へ表示する情報の設定を行う設定画像を前記表示装置へ出力する。

本発明によれば、支援情報の設定時における操作性を向上させることができる画像処理装置、画像処理システムおよび画像処理方法を提供することができる。

図１は、画像処理方法の概要を示す図である。 図２は、画像処理システムの構成を示すブロック図である。 図３は、操作部の一例を示す図である。 図４は、画像処理システムの状態遷移図である。 図５Ａは、設定画像の具体例を示す図（その１）である。 図５Ｂは、設定画像の具体例を示す図（その２）である。 図５Ｃは、設定画像の具体例を示す図（その３）である。 図５Ｄは、設定画像の具体例を示す図（その４）である。 図６は、警告画像の一例を示す図である。 図７は、画像処理装置が実行する第１処理手順を示すフローチャートである。 図８は、画像処理装置が実行する第２処理手順を示すフローチャートである。

以下に、本発明に係る画像処理装置、画像処理システムおよび画像処理方法を添付図面に基づいて説明する。なお、この実施形態によりこの発明が限定されるものではない。

まず、図１を用いて実施形態に係る画像処理方法の概要について説明する。図１は、実施形態に係る画像処理方法の概要を示す図である。なお、かかる画像処理方法は、画像処理装置１０によって実行される。

また、画像処理装置１０は、例えば、後述するカメラＣ（図２参照）から入力される撮像画像に基づいて車両１００の運転を支援するための情報（以下、支援情報という）を生成する。なお、画像処理装置１０は、支援情報として、例えば、車両１００の車幅を示す固定ガイド線を生成することができる。

図１に示すように、画像処理装置１０は、車両１００に搭載される。また、画像処理装置１０は、シフトセンサ５および表示装置３１の間に設置され、シフトセンサ５および表示装置３１に接続される。

シフトセンサ５は、シフトレバの位置を示すシフト信号を生成し、画像処理装置１０へ出力する。表示装置３１は、例えば、操作部を備えたタッチパネルディスプレイであり、例えば、後述するナビゲーション装置３２（図２参照）によって生成されるナビ画像を表示する。

また、一般的に、車載用の表示装置３１は、シフトセンサ５からリバース信号が入力された場合に、ナビゲーション装置３２から入力されるナビ画像に代えて外部入力に切り替える仕様となっている。

これは、車両１００が後進する場合に、表示装置３１は、車両１００の周囲が撮像された撮像画像を表示するためである。

ここで、例えば、ユーザが中古車を購入した場合などに、画像処理装置１０は、表示装置３１を備えた車両１００に後付けで取り付けられる場合がある。このため、ユーザは、取り付けられる車両１００にあわせて上記した固定ガイド線などの支援情報の設定を行う必要がある。

しかしながら、従来の画像処理装置では、支援情報の設定時において、表示装置３１を外部入力に切り替えるためにシフトレバをリバースにしておく必要があった。

シフトレバをリバースにする場合、ユーザは、車両１００が移動しないようにサイドブレーキの確認を行ったりする必要がある。また、シフトレバをリバースにした状態では、車両１００からビープ音が発生し、ユーザがかかるビープ音を煩わしく感じてしまうおそれもある。

これらのことより、従来の画像処理装置では、支援情報の設定時においてシフトレバをリバースにしておく必要があり、ユーザの操作性が低下するおそれがあった。

そこで、実施形態に係る画像処理方法では、シフトレバがパーキングである場合に支援情報の設定を行えるようにすることで、支援情報の設定時における操作性を向上させることとした。以下、実施形態に係る画像処理方法の概要について説明する。

例えば、画像処理装置１０は、後述する操作部１４（図２参照）からユーザによる設定開始の操作信号を受け付ける（ステップＳ１）。このとき、画像処理装置１０は、例えば、シフトセンサ５から入力されるシフト信号を確認する。

そして、画像処理装置１０は、シフト信号がパーキング信号であれば、かかるパーキング信号をリバース信号に置換して表示装置３１へ出力する（ステップＳ２）。

すなわち、画像処理装置１０は、操作信号を受け付け、かつ、シフト信号がパーキング信号である特定状態である場合に、表示装置３１へ出力するシフト信号をパーキング信号からリバース信号へ置換する。

これにより、シフトレバがパーキングであっても、表示装置３１を外部入力へ切り替えることができる。そして、画像処理装置１０は、上記した特定状態の場合に、表示装置３１へ支援情報の設定画像を出力する（ステップＳ３）。

したがって、表示装置３１には、設定画像が表示され、シフトレバをパーキングにした状態で支援情報の設定が可能となる。このため、シフトレバがリバースである場合のように、サイドブレーキの確認を必要とせず、また、上記したビープ音が発生しない状態で設定操作を行うことが可能となる。

したがって、実施形態に係る画像処理方法によれば、支援情報の設定時における操作性を向上させることができる。なお、画像処理装置１０は、上記した特定状態となる場合に、ステップＳ２およびステップＳ３の処理を並列して行うことにしてもよいし、あるいは、ステップＳ３の処理をステップＳ２の処理に先立って行うことにしてもよい。

ところで、画像処理装置１０は、車両１００に衝突するおそれのある障害物を検知することができ、かかる障害物の検知範囲を設定することもできる。この点の詳細については図５Ｃを用いて後述する。

また、上記したように、例えば、画像処理装置１０は、表示装置３１に後付けで取り付けられる。このため、画像処理装置１０では、表示装置３１の機種によらず、支援情報の設定を行えるように専用の操作部１４を備えることにしている。この点の詳細については、図３を用いて後述する。

なお、以下では、用語の混同をさけるために、シフトセンサ５から入力されるリバース信号を車両リバース信号といい、画像処理装置１０が置換したリバース信号を疑似リバース信号という場合がある。

次に、図２を用いて画像処理装置１０を含む画像処理システム５０の構成について説明する。図２は、画像処理システム５０のブロック図である。なお、図２には、シフトセンサ５およびナビゲーション装置３２を併せて示す。

図２に示すように、画像処理システム５０は、画像処理装置１０と、表示装置３１と、カメラＣとを備える。表示装置３１は、例えば、タッチパネルディスプレイであり、ナビゲーション装置３２から入力されるナビ画像を表示する。また、表示装置３１は、リバース信号が入力される場合に、ナビ画像に代えて外部入力に切り替わる。そして、表示装置３１は、かかる外部入力モードの期間に、画像処理装置１０から入力される画像を表示する。

なお、本実施形態では、表示装置３１がナビゲーション装置３２の表示部として機能する場合について説明するが、これに限定されるものではない。

例えば、表示装置３１をテレビ受信機能、ＣＤ（Compact Disc）再生機能、ＤＶＤ（Digital Versatile Disk）再生機能等を備えた、いわゆるオーディオディスプレイとすることにしてもよい。

ナビゲーション装置３２は、目的地までの経路を示す地図などといったナビ画像を生成し、表示装置３１へ出力する。また、ナビゲーション装置３２は、動画や音楽を再生する機能を備え、かかる動画や音楽を表示装置３１へ出力することもできる。

カメラＣは、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を備え、例えば車両１００の後方を撮像するバックカメラである。

また、カメラＣは、撮像した撮像画像を画像処理装置１０の制御部１１へ出力する。なお、画像処理システム５０では、車両１００の全周囲を撮像するようにカメラＣを複数設けることにしてもよい。

画像処理装置１０は、制御部１１と、記憶部１２と、信号出力部１３と、操作部１４とを備える。また、記憶部１２は、設定情報１２ａを記憶する。なお、操作部１４の詳細については、図３を用いて後述するため、ここでの説明は省略する。

制御部１１は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Desk Drive）、入出力ポートなどを有するコンピュータや各種回路を含む。

コンピュータのＣＰＵは、たとえば、ＲＯＭに記憶されたプログラムを読み出して実行することによって、制御部１１の受付部１１ａ、信号置換部１１ｂ、物体検知部１１ｃ、画像生成部１１ｄおよび画像出力部１１ｅとして機能する。

また、制御部１１の受付部１１ａ、信号置換部１１ｂ、物体検知部１１ｃ、画像生成部１１ｄおよび画像出力部１１ｅの少なくとも一つまたは全てをＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアで構成することもできる。

また、記憶部１２は、たとえば、ＲＯＭおよびＨＤＤに対応する。ＲＯＭおよびＨＤＤは、設定情報１２ａを記憶することができる。なお、制御部１１は、有線や無線のネットワークで接続された他のコンピュータや可搬型記録媒体を介して各種情報を取得することとしてもよい。

受付部１１ａは、操作部１４から入力される設定開始の操作信号を受け付ける。そして、受付部１１ａは、かかる操作信号を受け付けた場合に、信号置換部１１ｂに対して置換要求を出力する。

また、受付部１１ａは、支援情報の設定時において操作部１４から入力される操作信号を受け付け、記憶部１２に記憶された設定情報１２ａを更新する。これにより、画像処理装置１０では、ユーザにより設定された支援情報を出力することができる。

信号置換部１１ｂは、受付部１１ａから置換要求が入力された場合に、シフトセンサ５から入力されるシフト信号がパーキング信号であれば、かかるパーキング信号を疑似リバース信号へ置き換える。

換言すると、信号置換部１１ｂは、受付部１１ａが操作信号を受け付け、かつ、シフト信号がパーキング信号である特定状態の場合に、信号出力部１３が出力するパーキング信号をリバース信号へ置き換える。

そして、信号置換部１１ｂは、疑似リバース信号を信号出力部１３へ出力する。このとき、信号置換部１１ｂは、画像生成部１１ｄへ設定画像の生成を指示する。

また、信号置換部１１ｂは、受付部１１ａから置換要求が入力された場合に、シフトセンサ５から入力されるシフト信号がパーキング信号以外であった場合、画像生成部１１ｄに設定画像に代えて警告画像の生成を指示する。

このとき、信号置換部１１ｂは、車両リバース信号およびパーキング信号以外のシフト信号を疑似リバース信号へ置換し、信号出力部１３へ出力する。これにより、画像出力部１１ｅは、表示装置３１が外部入力に切り替わっている期間に警告画像を出力することとなる。

なお、設定画像の詳細については、図５Ａ〜５Ｄを用いて後述する。また、警告画像の詳細については図６を用いて後述する。

また、信号置換部１１ｂは、受付部１１ａから設定開始の操作信号が入力されない場合、すなわち、支援情報の設定時以外にシフトセンサ５から車両リバース信号が入力された場合、画像生成部１１ｄへ支援情報の生成を指示する。

信号出力部１３は、シフトセンサ５から入力されるシフト信号を表示装置３１へ出力する。また、信号出力部１３は、例えば、ＯＲ合成回路であり、シフトセンサ５および信号置換部１１ｂから入力される車両リバース信号および疑似リバース信号をＯＲ合成し、表示装置３１へ出力する。

換言すると、信号出力部１３は、車両リバース信号および疑似リバース信号のうち少なくとも一方が入力された場合に、表示装置３１へリバース信号を出力する。

なお、信号出力部１３は、リバース信号以外の他のシフト信号を、表示装置３１へ出力することにしてもよいし、出力しないことにしてもよい。

また、同図に示すように、画像処理装置１０では、信号出力部１３を制御部１１と別に設けることにしている。このようにすることで、制御部１１に故障などの不具合が生じた場合であっても、シフトセンサ５から入力される車両リバース信号を表示装置３１へ出力することが可能となる。

つまり、制御部１１に不具合が生じた場合であっても車両リバース信号を確実に表示装置３１へ出力することができる。なお、信号出力部１３を制御部１１に設け、ソフトウェアとして機能させることにしてもよい。

また、同図では、カメラＣの撮像画像が画像処理装置１０を介して表示装置３１へ出力される場合について示したが、カメラＣは、撮像画像を直接表示装置３１へ出力するようにしてもよい。

このようにすることで、画像処理装置１０が故障した場合であっても、ユーザは、シフトレバをリバースしたときに、車両１００の後方の撮像画像を確認することができる。

物体検知部１１ｃは、例えば、カメラＣから入力される撮像画像に基づいて車両１００の周囲に存在する障害物を検知する。例えば、物体検知部１１ｃは、時系列に並んだ複数フレームの撮像画像から、同一特徴点を結んだ移動ベクトル（オプティカルフロー）を抽出し、抽出したオプティカルフローに基づいて障害物の位置や大きさを検知する。

そして、物体検知部１１ｃは、検知範囲以内で障害物を検知した場合、検知結果を画像生成部１１ｄへ出力し、警告シンボルの生成を指示する。このように、画像処理装置１０は、物体検知部１１ｃを備えることで、ユーザに対して障害物の存在を報知することが可能となる。

したがって、車両１００による障害物との衝突の回避を支援することができる。なお、物体検知部１１ｃは、例えば、車両１００の周囲に設けられたソナーなどのレーダ（図示略）から入力される信号に基づいて障害物を検出することにしてもよい。

また、画像処理装置１０では、物体検知部１１ｃによる障害物の検知範囲を設定可能にしている。この点の詳細については、図５Ｃを用いて後述する。

画像生成部１１ｄは、信号置換部１１ｂから入力される設定画像または警告画像の生成指示を受けて、設定画像または警告画像を生成し、画像出力部１１ｅへ出力する。

また、画像生成部１１ｄは、支援情報となる合成用画像を生成し、画像出力部１１ｅへ出力する。例えば、画像生成部１１ｄは、合成用画像として車両１００の車幅を示す固定ガイド線を生成する。

また、画像生成部１１ｄは、例えば、図示しない舵角センサから入力されるセンサ値に基づいて予測される車両１００の走行軌跡を示す予測線を合成することもできる。このように、画像生成部１１ｄは、合成用画像として固定ガイド線や、予測線を生成する。これにより、車両１００の運転を支援することができる。

また、画像生成部１１ｄは、物体検知部１１ｃによる検知結果を受けて、合成用画像として警告シンボルを生成することもできる。これにより、表示装置３１には、障害物の存在を視覚的に警告することができる。なお、かかる場合に、例えば、図示しないスピーカから警告音を併せて出力させることにしてもよい。

なお、車両１００の全周囲を撮像する複数のカメラＣを備える場合、画像生成部１１ｄは、支援情報として車両１００を上方の仮想視点からみた仮想視点画像を生成することにしてもよい。

画像出力部１１ｅは、信号置換部１１ｂがパーキング信号を疑似リバース信号へ置き換えた場合に、画像生成部１１ｄから入力される設定画像を表示装置３１へ出力する。換言すると、画像出力部１１ｅは、受付部１１ａが操作信号を受け付け、かつ、シフト信号がパーキング信号である特定状態の場合に、上記した設定画像を表示装置３１へ出力する。

また、画像出力部１１ｅは、車両１００が後進する場合に、カメラＣから入力される撮像画像に対して、画像生成部１１ｄが生成した合成用画像を重畳させて表示装置３１へ出力する。

次に図３を用いて操作部１４について説明する。図３は、操作部１４の一例を示す図である。同図に示すように、操作部１４は、例えば、ケーブルを介して制御部１１に接続される。

また、例えば、操作部１４は、複数のスイッチを備える。同図に示す例では、操作部１４は、切替スイッチ１４ａ、決定スイッチ１４ｂ、マイナススイッチ１４ｃおよびプラススイッチ１４ｄを備える。

操作部１４は、例えば、切替スイッチ１４ａがユーザによって押下されると、設定開始の操作信号を制御部１１へ出力する。すなわち、切替スイッチ１４ａが押下されたことをトリガとして、表示装置３１に設定画面または警告画像が表示されることとなる。

また、決定スイッチ１４ｂ、マイナススイッチ１４ｃおよびプラススイッチ１４ｄは、それぞれ支援情報の設定時において、支援情報を調整するためのスイッチである。操作部１４は、決定スイッチ１４ｂ、マイナススイッチ１４ｃおよびプラススイッチ１４ｄが操作されると、各スイッチに応じた操作信号を受付部１１ａへ出力する。

このように、画像処理装置１０は、専用の操作部１４を設けることとしている。これは、表示装置３１が、例えば、操作部を備えない場合に、支援情報の設定を行うことができない場合があるためである。

したがって、専用の操作部１４を設けることで、表示装置３１の機種によらず、支援情報の設定を行うことが可能となる。また、画像処理装置１０では、操作部１４を制御部１１と取り外し可能に設けることとしている。

例えば、操作部１４を支援情報の設定後に取り外す場合、操作部１４の分だけ、画像処理装置１０の設置スペースを小型化することができる。

また、画像処理装置１０の購入店で支援情報の設定を行う場合、各購入店に１つの操作部１４があれば足りることとなる。したがって、操作部１４を画像処理装置１０よりも少なく製造すればよいため、価格を抑えて提供することができる。

また、操作部１４を支援情報の設定後も取り付けたままにしておく場合、操作部１４の各スイッチを例えば、上記した仮想視点画像の視点位置を切り替える切替スイッチとして用いるなど、他のスイッチとして機能させることもできる。

なお、同図に示す操作部１４は、一例であって、これに限定されるものではなく、例えば、操作部１４をタッチパッドなどで構成することにしてもよい。

また、ケーブルを介して操作部１４および制御部１１が接続される場合について示したが、操作部１４および制御部１１は、無線通信で相互に接続されることとしてもよい。また、表示装置３１が設定操作に対応している場合、操作部１４は不要となる。

次に、図４を用いて、画像処理システム５０の状態遷移図について説明する。図４は、画像処理システム５０の状態遷移図である。同図に示すように、画像処理システム５０は、例えば、ナビモードｓｔ１と、設定モードｓｔ２およびリバースモードｓｔ３を有する。

例えば、ナビモードｓｔ１において、表示装置３１は、ナビゲーション装置３２から入力されるナビ画像や動画などを表示する。また、ナビモードｓｔ１では、図示しないスピーカから経路案内および動画の音声や音楽などが出力される。また、設定モードｓｔ２において、表示装置３１は、画像処理装置１０から入力される設定画像を表示する。

また、リバースモードｓｔ３において、表示装置３１は、画像処理装置１０から入力される支援画像を表示する。なお、設定モードｓｔ２およびリバースモードｓｔ３において、表示装置３１には、リバース信号が入力されるため、外部入力モードとなる。

次に、同図に示す各モードｓｔ１〜ｓｔ３の移行条件ｃ１〜ｃ６について説明する。ナビモードｓｔ１およびリバースモードｓｔ３から設定モードｓｔ２への移行条件ｃ１、ｃ５は、ユーザが、例えば、図２に示した切替スイッチ１４ａを押下した状態で、シフトレバをパーキングにすることで移行する。

また、設定モードｓｔ２からナビモードｓｔ１への移行条件ｃ２は、例えば、ユーザが、支援情報の設定の終了操作（例えば、図５Ｂなどに示すＯＫボタンＢ３を選択する操作）や、設定モードｓｔ２中に再度、図２に示した切替スイッチ１４ａを押下すると移行する。

また、ナビモードｓｔ１からリバースモードｓｔ３への移行条件ｃ３は、例えば、ユーザが、シフトレバをリバースにすることで移行する。また、リバースモードｓｔ３からナビモードｓｔ１への移行条件ｃ４は、ユーザが、シフトレバをリバースから他のギアに切り替えることで移行する。

また、設定モードｓｔ２からリバースモードｓｔ３への移行条件ｃ６は、例えば、ユーザが設定完了後にシフトレバをリバースに切り替えることで移行する。なお、上記した各移行条件は一例であって、これに限定されるものではない。

次に、図５Ａ〜５Ｄを用いて、設定画像の詳細について説明する。図５Ａ〜５Ｄは設定画像の具体例を示す図である。図５Ａは、設定画像として最初に表示されるメニュー画像を示す。かかるメニュー画像は、画像生成部１１ｄによって生成される画像である。

同図に示すように、メニュー画像は、複数の操作項目を含む。かかる操作項目として、固定ガイド線設定Ｍ１、予測線表示設定Ｍ２、障害物検知設定Ｍ３などを含む。

また、メニュー画像は、操作項目に加え、戻るボタンＢ１や、後方確認ボタンＢ２を含む。例えば、戻るボタンＢ１が選択された場合、画像処理システム５０は、設定モードｓｔ２からナビモードｓｔ１へ戻る。

また、後方確認ボタンＢ２が選択された場合、画像処理システム５０は、カメラＣから入力される撮像画像を表示する。これにより、ユーザは、シフトレバをリバースに入れずとも、後方の様子を確認することができる。

次に図５Ｂを用いて固定ガイド線の設定画面について説明する。同図では、図５Ａに示した固定ガイド線設定Ｍ１が選択された場合を示す。同図に示すように、固定ガイド線の設定画面では、左ガイド線ＬＬおよび右ガイド線ＬＲの位置を設定することができる。

なお、同図に示す固定ガイド線や各種ボタンは、画像生成部１１ｄによって生成された合成用画像であり、設定画像は、画像出力部１１ｅによってかかる合成画像にカメラＣから入力される撮像画像を重畳したものである。

例えば、ユーザは、ボタンＢＲ１およびボタンＢＬ１を選択することで、左ガイド線ＬＬの位置を調整し、ボタンＢＲ２およびボタンＢＬ２を選択することで、右ガイド線ＬＲの位置を調整することができる。

この際、操作部１４は、調整操作に応じた調整信号を受付部１１ａへ出力し、受付部１１ａは、かかる調整信号を受けて記憶部１２の設定情報１２ａを更新する。

そして、画像生成部１１ｄは、更新された設定情報１２ａに基づいて位置を変更した固定ガイド線を合成用画像として生成することとなる。

このように、固定ガイド線の設定時に撮像画像をあわせて表示することで、ユーザは、実際の映像に合わせて固定ガイド線を調整することができる。

これにより、固定ガイド線の調整を容易にすることができ、設定時におけるユーザの操作性を向上させることができる。また、固定ガイド線を調整することで、適切に運転を支援することが可能となる。

なお、同図では、固定ガイド線の表示態様を設定する場合について示したが、上記した予測線についても同様に背景に撮像画像を用いることにしてもよい。また、画像処理装置１０は、固定ガイド線および予測線の表示態様として太さや色などを設定することにしてもよいし、固定ガイド線および予測線を表示させないように設定することにしてもよい。

次に、図５Ｃを用いて障害物検知の設定画像について説明する。同図に示す距離は、例えば、車両１００の後端から検知する障害物までの距離を示す。また、かかる設定画像は、画像生成部１１ｄによって生成されるものである。

ユーザは、同図に示すアップボタンＢＵ１、ＢＵ２およびＢＵ３を選択することで対応する位の数字が上昇し、ダウンボタンＢＤ１、ＢＤ２およびＢＤ３ＢＵ１、ＢＤ２およびＢＤ３を選択することで対応する位の数字が減少する。

かかる場合に、操作部１４は、上記と同様に、調整操作に応じた調整信号を受付部１１ａへ出力し、受付部１１ａは、かかる調整信号を受けて記憶部１２の設定情報１２ａを更新する。

そして、画像生成部１１ｄは、設定情報１２ａに基づいて数字を変更した画像を生成する。また、物体検知部１１ｃは、設定情報１２ａに基づいて設定された距離の検知範囲において、障害物を検知することとなる。

このように、画像処理装置１０では、障害物の検知範囲を設定することができるため、利便性を向上させることができる。なお、物体検知部１１ｃの検知範囲は、車両１００の後方に限定されず、前方や側方の障害物を検知することにしてもよい。かかる場合に、方向によって異なる距離の検知範囲を設定することにしてもよい。

次に、図５Ｄを用いてその他の設定画面について説明する。同図に示すように、設定モードｓｔ２における調整過程において車両１００を移動させる場合がある。

かかる場合に、例えば、ユーザが、ＯＫボタンＢ３を選択すると、操作部１４は、継続信号を受付部１１ａへ出力する。そして、受付部１１ａは、信号置換部１１ｂへ置換要求の出力を継続する。

これにより、例えば、シフトレバがパーキングからドライブに切り替わったあとも、信号置換部１１ｂは、シフト信号を疑似リバース信号に置換することとなる。

このため、表示装置３１では、設定画面を継続して表示することが可能となる。なお、ここでは、車両１００を前進させる場合について例示したが、車両１００が後進する場合であってもよい。かかる場合に、シフト信号は、車両リバース信号であるため、信号置換部１１ｂは、シフト信号を置換する必要はないが、設定モードｓｔ２は継続される。

次に、図６を用いて、警告画像について説明する。図６は、警告画像の一例を示す図である。なお、かかる警告画像は、図３に示した切替スイッチ１４ａが操作されたときに、シフトレバがパーキング以外であった場合に画像生成部１１ｄによって生成される画像である。

同図に示すように、警告画像には、例えば、シフトレバのパーキングへの切り替えを促す文字が表示される。そして、ユーザが、シフトレバをパーキングに入れると、図５Ａに示した設定画像に切り替わることとなる。

つまり、図５Ａに示した設定画像は、シフトレバがパーキングの場合にのみ表示装置３１に表示されることとなる。換言すると、パーキング以外では、支援情報の設定へ移行しないようにしている。

これにより、パーキングでは、車両１００が自走するおそれがないため、ユーザは、安全な状態で支援情報の設定を行うことができる。なお、警告画像は、図６に示す例に限定されず、設定画像を表示しない旨をユーザに伝える画像であってもよいし、あるいは、警告画像を生成しないことにしてもよい。また、警告画像にあわせて警告音を出力するようにしてもよい。

次に、図７および図８を用いて実施形態に係る画像処理システム５０が実行する処理手順について説明する。図７は、実施形態に係る画像処理装置１０が実行する第１処理手順を示すフローチャートである。図８は、実施形態に係る画像処理装置１０が実行する第２処理手順を示すフローチャートである。

ここでは、画像処理装置１０が、支援情報の設定時において実行する処理を第１処理といい、設定時以外に実行する処理を第２処理という。

図７に示すように、まず、受付部１１ａは、設定開始の操作信号を受け付け（ステップＳ１０１）、信号置換部１１ｂは、リバース信号以外のシフト信号を疑似リバース信号へ置換する（ステップＳ１０２）。

このとき、信号置換部１１ｂは、シフトセンサ５から入力されるシフト信号はパーキング信号であるか否かを判定する（ステップＳ１０３）。ここで、シフトセンサ５から入力されるシフト信号がパーキング信号であった場合（ステップＳ１０３，Ｙｅｓ）、上記した特定状態の条件を満たすため、画像出力部１１ｅは、図５Ａに示した設定画像を出力し、設定モードｓｔ２へ移行させる（ステップＳ１０４）。

なお、画像処理装置１０は、ステップＳ１０３およびステップＳ１０２の処理を並列して実行することにしてもよいし、あるいはステップＳ１０３の処理の後に、ステップＳ１０２の処理を実行することにしてもよい。

そして、受付部１１ａは、設定モードｓｔ２の終了の操作信号を受け付け（ステップＳ１０５）、信号置換部１１ｂは、パーキング信号を疑似リバース信号への置換を停止して（ステップＳ１０６）、処理を終了する。

一方、ステップＳ１０３の判定において、シフトセンサ５から入力されるシフト信号がパーキング信号でなかった場合（ステップＳ１０３，Ｎｏ）、画像出力部１１ｅは、警告画像を出力する（ステップＳ１０７）。その後、画像処理装置１０は、ステップＳ１０３以降の処理を繰り返すこととなる。このとき、ユーザが、警告画像を見てシフトレバをリバースに切り替えた場合、画像処理装置１０は、設定モードｓｔ２へ移行することになる。

次に、図８を用いて画像処理装置１０が実行する第２処理手順について説明する。まず、信号置換部１１ｂは、シフト信号がリバース信号か否かを判定する（ステップＳ２０１）。かかる判定において、シフト信号がリバース信号であった場合（ステップＳ２０１，Ｙｅｓ）、信号出力部１３は、リバース信号を出力し、リバースモードｓｔ３へ移行させる（ステップＳ２０２）。

そして、画像生成部１１ｄは、合成用画像を生成し（ステップＳ２０３）、画像出力部１１ｅは、撮像画像に合成用画像を重畳させた支援情報を出力して（ステップＳ２０４）、処理を終了する。

また、ステップＳ２０１の判定において、シフト信号がリバース信号でなかった場合（ステップＳ２０１，Ｎｏ）、リバース信号は、表示装置３１へ出力されないため、画像処理システム５０は、ナビモードｓｔ１を継続し（ステップＳ２０５）、処理を終了する。

上述したように、本実施形態に係る画像処理装置１０は、信号出力部１３と、受付部１１ａと、信号置換部１１ｂと、画像出力部１１ｅとを備える。信号出力部１３は、車両１００のシフトセンサ５から入力されるシフト信号を表示装置３１へ出力する。受付部１１ａは、ユーザによる設定開始の操作信号を受け付ける。信号置換部１１ｂは、受付部１１ａが操作信号を受付け、かつ、シフト信号がパーキング信号である特定状態の場合に、信号出力部１３が出力する当該パーキング信号をリバース信号へ置き換える。画像出力部１１ｅは、特定状態の場合に、表示装置３１へ表示する情報の設定を行う設定画像を表示装置３１へ出力する。したがって、本実施形態に係る画像処理装置１０によれば、支援情報の設定時おける操作性を向上させることができる。

なお、上述した実施形態では、操作部１４の切替スイッチ１４ａ（図３参照）が、ユーザに操作された場合に、信号置換部１１ｂがシフト信号をリバース信号へ置き換える場合について説明したが、これに限定されるものではない。

そこで、以下では、信号置換部１１ｂがシフト信号をリバース信号に置き換えるための他のトリガについて説明する。例えば、制御部１１または操作部１４に音声やジェスチャーを認識する機能を備え、所定の音声キーワードやジェスチャーの認識をトリガとしてシフト信号をリバース信号へ置き換えることにしてもよい。

また、画像処理装置１０に通信部を備え、赤外線リモコンまたは携帯、スマートフォンなどの電子装置と通信されたことをトリガとしてシフト信号をリバース信号へ置き換えることにしてもよい。

かかる場合に、例えば、表示装置３１に２次元コードなどの識別画像を表示し、かかる識別画像を読み込んだ電子装置のみで上記した支援情報の設定を行えるようにしてもよい。また、電子装置との通信形式として非同期式のシリアル通信を用いることにしてもよい。

また、画像処理装置１０をＧセンサや照度センサなどの各種センサと接続し、各種センサから入力される信号をトリガとしてシフト信号をリバース信号に置き換えることにしてもよい。

また、例えば、画像処理装置１０にＵＳＢ（Universal Serial Bus）やＳＤカードなどの外部媒体が挿入されたことをトリガとして、シフト信号をリバース信号に置き換えることにしてもよい。

また、画像処理装置１０は、イルミネーション信号などの車両信号を取得し、車両信号が所定時間内に所定回数以上、点滅したことをトリガとして信号置換部１１ｂがシフト信号をリバース信号に置き換えることにしてもよい。

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な様態は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲および、その均等物によって定義される統括的な発明の概念の精神または範囲から逸脱することなく、様々な変化が可能である。

１０ 画像処理装置
１１ａ 受付部
１１ｂ 信号置換部
１１ｃ 物体検知部
１１ｄ 画像生成部
１１ｅ 画像出力部
１３ 信号出力部
１４ 操作部
３１ 表示装置
３２ ナビゲーション装置
５０ 画像処理システム
１００ 車両
Ｃ カメラ

Claims (17)

1. 車両のシフトセンサから入力されるシフト信号を表示装置へ出力する信号出力部と、
   ユーザによる設定開始の操作信号を受け付ける受付部と、
   前記受付部が前記操作信号を受け付け、かつ、前記シフト信号がパーキング信号である特定状態の場合に、前記信号出力部が出力する当該パーキング信号をリバース信号へ置き換える信号置換部と、
   前記特定状態の場合に、前記表示装置へ表示する情報の設定を行う設定画像を前記表示装置へ出力する画像出力部と
   を備えることを特徴とする画像処理装置。
2. 前記表示装置は、
   前記リバース信号が入力された場合に、外部入力状態に移行して前記画像出力部から出力される画像を表示すること
   を特徴とする請求項１に記載の画像処理装置。
3. 前記情報として前記車両の車幅を示す合成用画像を生成する画像生成部
   をさらに備え、
   前記画像出力部は、
   前記画像生成部によって生成される前記合成用画像の表示態様を調整するための操作項目を含む前記設定画像を出力すること
   を特徴とする請求項１または２に記載の画像処理装置。
4. 前記画像出力部は、
   前記合成用画像の設定時において前記合成用画像を前記車両の周囲が撮像される撮像画像に重畳させて出力すること
   を特徴とする請求項３に記載の画像処理装置。
5. 前記車両の周囲に存在する障害物を検知する物体検知部
   をさらに備え、
   前記画像出力部は、
   前記物体検知部による検知範囲を設定するための操作項目を含む前記設定画像を出力すること
   を特徴とする請求項１〜４のいずれか一つに記載の画像処理装置。
6. 前記信号置換部は、
   前記受付部が前記操作信号を受け付けた場合に、前記リバース信号および前記パーキング信号以外の前記シフト信号を前記リバース信号へ置き換え、
   前記画像出力部は、
   前記シフト信号が前記リバース信号である場合、および、前記信号置換部が前記リバース信号および前記パーキング信号以外の前記シフト信号を前記リバース信号へ置き換えた場合に、前記設定画像に代えて警告画像を出力すること
   を特徴とする請求項１〜５のいずれか一つに記載の画像処理装置。
7. ユーザによる所定の操作を受け付けた場合に、前記設定開始の操作信号を前記受付部へ出力する操作部
   をさらに備えること
   を特徴とする請求項１〜６のいずれか一つに記載の画像処理装置。
8. 請求項１〜７のいずれか一つに記載の画像処理装置と、
   前記車両の周囲を撮像する撮像装置と、
   前記表示装置と
   を備えることを特徴とする画像処理システム。
9. 車両のシフトセンサから入力されるシフト信号を表示装置へ出力する信号出力工程と、
   ユーザによる設定開始の操作信号を受け付ける受付工程と、
   前記受付工程が前記操作信号を受け付け、かつ、前記シフト信号がパーキング信号である特定状態の場合に、前記信号出力工程で出力する当該パーキング信号をリバース信号へ置き換える信号置換工程と、
   前記特定状態の場合に、前記表示装置へ表示する情報の設定を行う設定画像を前記表示装置へ出力する画像出力工程と
   を含むことを特徴とする画像処理方法。
10. 車両のシフトセンサから入力されるシフト信号を表示装置へ出力する信号出力部と、
    ユーザによる設定開始の操作信号を受け付ける受付部と、
    前記受付部が前記操作信号を受け付けた場合に、前記信号出力部が出力するリバース信号以外の信号をリバース信号へ置き換える信号置換部と、
    前記シフト信号がパーキング信号である場合に、前記表示装置へ表示する情報の設定を行う設定画像を前記表示装置へ出力し、前記シフト信号が前記パーキング信号以外である場合に前記表示装置へ警告画像を出力する画像出力部と
    を備えることを特徴とする画像処理装置。
11. 前記表示装置は、
    前記リバース信号が入力された場合に、外部入力状態に移行して前記画像出力部から出力される画像を表示すること
    を特徴とする請求項１０に記載の画像処理装置。
12. 前記情報として前記車両の車幅を示す合成用画像を生成する画像生成部
    をさらに備え、
    前記画像出力部は、
    前記画像生成部によって生成される前記合成用画像の表示態様を調整するための操作項目を含む前記設定画像を出力すること
    を特徴とする請求項１０または１１に記載の画像処理装置。
13. 前記画像出力部は、
    前記合成用画像の設定時において前記合成用画像を前記車両の周囲が撮像される撮像画像に重畳させて出力すること
    を特徴とする請求項１２に記載の画像処理装置。
14. 前記車両の周囲に存在する障害物を検知する物体検知部
    をさらに備え、
    前記画像出力部は、
    前記物体検知部による検知範囲を設定するための操作項目を含む前記設定画像を出力すること
    を特徴とする請求項１０〜１３のいずれか一つに記載の画像処理装置。
15. ユーザによる所定の操作を受け付けた場合に、前記設定開始の操作信号を前記受付部へ出力する操作部
    をさらに備えること
    を特徴とする請求項１０〜１４のいずれか一つに記載の画像処理装置。
16. 請求項１０〜１５のいずれか一つに記載の画像処理装置と、
    前記車両の周囲を撮像する撮像装置と、
    前記表示装置と
    を備えることを特徴とする画像処理システム。
17. 車両のシフトセンサから入力されるシフト信号を表示装置へ出力する信号出力工程と、
    ユーザによる設定開始の操作信号を受け付ける受付工程と、
    前記受付工程が前記操作信号を受け付けた場合に、前記信号出力工程が出力するリバース信号以外の信号をリバース信号へ置き換える信号置換工程と、
    前記シフト信号がパーキング信号である場合に、前記表示装置へ表示する情報の設定を行う設定画像を前記表示装置へ出力し、前記シフト信号が前記パーキング信号以外である場合に前記表示装置へ警告画像を出力する画像出力工程と
    を含むことを特徴とする画像処理方法。

Images