JP5460635B2

JP5460635B2 - 画像処理判定装置

Info

Publication number: JP5460635B2
Application number: JP2011077966A
Authority: JP
Inventors: 正行佐藤
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2011-03-31
Filing date: 2011-03-31
Publication date: 2014-04-02
Anticipated expiration: 2031-03-31
Also published as: US8855365B2; CN102729824A; US20120249399A1; CN102729824B; JP2012212338A

Description

この発明は、画像処理判定装置に関する。

従来、例えば道路を撮影するカメラから出力される画像データに移動体を抽出するための前処理を行なって、この前処理後の画像データを車両に送信する処理システムが知られている（例えば、特許文献１参照）。

この処理システムにおいて、前処理後の画像データを受信した車両は、例えば、これらの画像データ（例えば、背景差分画像、時間差分画像、エッジ画像など）を原画像に重ね合わせた表示などを行なう。

特開２００８−４６７６１号公報

ところで、上記従来技術に係る処理システムにおいては、道路の交通状況を撮像するカメラから出力される画像データに基づいて、車両から死角となる移動体を運転者に認識させるための表示を行なうだけであるが、これに限らず、各種の外部機器から出力される画像データに基づいて、各種の情報を運転者に的確に認識させるための表示を行なうことが望まれている。

本発明は上記事情に鑑みてなされたもので、各種の外部機器から出力される画像データに基づいて、各種の情報を運転者に的確に認識させることが可能な画像処理判定装置を提供することを目的としている。

上記課題を解決して係る目的を達成するために、本発明の請求項１に係る画像処理判定装置は、道路情報を有すると共に地図データを画像として有する表示データを出力する外部機器であるナビゲーション装置（例えば、実施の形態でのナビゲーション装置１５）と、前記外部機器から出力される前記表示データが有する前記画像上の物体の輪郭を線で示す複数のエッジを抽出するエッジ抽出手段（例えば、実施の形態でのエッジ画像生成部２１）と、前記エッジ抽出手段により抽出された前記複数のエッジから所定の選択方法により所定のエッジを選択するエッジ選択手段（例えば、実施の形態でのエッジ画像生成部２１が兼ねる）と、前記エッジ選択手段により選択された前記所定のエッジから成るエッジ画像を作成するエッジ画像作成手段（例えば、実施の形態でのエッジ画像生成部２１が兼ねる）と、前記エッジ画像作成手段により作成された前記エッジ画像を表示する表示部（例えば、実施の形態での第１表示器１２、第２表示器１３）と、を備え、前記エッジ選択手段は、前記表示データが有する前記画像のうち前記道路情報が含まれるエッジまたは該エッジの中で所定太さ以上の太い線のエッジを選択する。

さらに、本発明の請求項２に係る画像処理判定装置は、画像を有する表示データを出力する外部機器（例えば、実施の形態での端末装置１４、ナビゲーション装置１５、撮影装置１６）と、前記外部機器から出力される前記表示データが有する前記画像上の物体の輪郭を線で示す複数のエッジを抽出するエッジ抽出手段（例えば、実施の形態でのエッジ画像生成部２１）と、前記エッジ抽出手段により抽出された前記複数のエッジから所定の選択方法により所定のエッジを選択するエッジ選択手段（例えば、実施の形態でのエッジ画像生成部２１が兼ねる）と、前記エッジ選択手段により選択された前記所定のエッジから成るエッジ画像を作成するエッジ画像作成手段（例えば、実施の形態でのエッジ画像生成部２１が兼ねる）と、前記エッジ画像作成手段により作成された前記エッジ画像を表示する表示部（例えば、実施の形態での第１表示器１２、第２表示器１３）と、を備え、前記表示部は、少なくとも車両のフロントウィンドウ上に表示を行なうヘッドアップディスプレイ（例えば、実施の形態での第１表示器１２）と他の表示デバイス（例えば、実施の形態での第２表示器１３）とから成り、前記エッジ選択手段は、前記ヘッドアップディスプレイでの表示用に選択する前記所定のエッジの量を、前記他の表示デバイスでの表示用に選択する前記所定のエッジの量に比べて少なくする。

さらに、本発明の請求項３に係る画像処理判定装置は、撮影により生成した画像を有する表示データを出力する外部機器である撮影装置（例えば、実施の形態での撮影装置１６）と、前記外部機器から出力される前記表示データが有する前記画像上の物体の輪郭を線で示す複数のエッジを抽出するエッジ抽出手段（例えば、実施の形態でのエッジ画像生成部２１）と、前記エッジ抽出手段により抽出された前記複数のエッジから所定の選択方法により所定のエッジを選択するエッジ選択手段（例えば、実施の形態でのエッジ画像生成部２１が兼ねる）と、前記エッジ選択手段により選択された前記所定のエッジから成るエッジ画像を作成するエッジ画像作成手段（例えば、実施の形態でのエッジ画像生成部２１が兼ねる）と、前記エッジ画像作成手段により作成された前記エッジ画像を表示する表示部（例えば、実施の形態での第１表示器１２、第２表示器１３）と、を備え、前記エッジ選択手段は、前記表示データが有する前記画像上の前記物体のうち所定量以上の移動量を有する移動体の前記エッジを選択する。

本発明の請求項１に係る画像処理判定装置によれば、地図データの画像から過剰な情報を削減して得られるエッジ画像を表示部に表示することにより、適切な情報量で的確な内容の情報を表示することができる。
また、表示データに含まれる画像に比べてエッジ画像のデータ量は小さいことから、エッジ画像の処理（例えば、表示部での表示など）に要する負荷を低減することができる。
本発明の請求項２に係る画像処理判定装置によれば、車両のフロントウィンドウ上あるいはフロントウィンドウ越しの視認者の視界を妨げることを抑制しつつ、適切な情報量で的確な内容の情報を表示することができる。
また、表示データに含まれる画像に比べてエッジ画像のデータ量は小さいことから、エッジ画像の処理（例えば、表示部での表示など）に要する負荷を低減することができる。

本発明の請求項３に係る画像処理判定装置によれば、所定量以上の移動量を有する移動体のエッジによるエッジ画像を表示部に表示することにより、移動体に対する適切な注意喚起を促すことができる。

本発明の実施の形態に係る画像処理判定装置の構成図である。本発明の実施の形態に係る画像処理判定装置により生成されるエッジ画像の例を示す図である。本発明の実施の形態に係る画像処理判定装置の撮影装置により撮影された画像から得られるエッジ画像の例を示す図である。本発明の実施の形態に係る画像処理判定装置の動作を示すフローチャートである。

以下、本発明の一実施形態に係る画像処理判定装置について添付図面を参照しながら説明する。
本実施の形態による画像処理判定装置１０は、例えば図１に示すように、処理装置１１と、第１表示器１２と、第２表示器１３と、端末装置１４と、ナビゲーション装置１５と、撮影装置１６とを備えて構成されている。

処理装置１１は、例えば、エッジ画像生成部２１と、オプティカルフロー比較部２２と、色変換部２３とを備えて構成されている。

エッジ画像生成部２１は、処理装置１１に接続される外部機器（つまり、端末装置１４とナビゲーション装置１５と撮影装置１６となど）から出力される表示データが有する画像から、画像上の物体の輪郭を線で示す複数のエッジを抽出する。そして、抽出した複数のエッジから、各外部機器の特性に応じた所定の選択方法により所定のエッジを選択し、選択した所定のエッジから成るエッジ画像を作成する。

例えば外部機器がアイコンおよび文字を画像として有する表示データを出力する端末装置１４である場合、エッジ画像生成部２１は、画像上のアイコンおよび文字を認識可能であって、端末装置１４から出力される表示データが有する画像のうちアイコンおよび文字のエッジを選択する。

また、エッジ画像生成部２１は、例えば端末装置１４の各種の機能に応じて、文字情報とアイコンとグラフィックとを画像として有する表示データが出力される場合には、端末装置１４の各種の機能に応じた所定のエッジを選択する。

例えば所定のアイコンが操作者により選択されることによってメッセージを表示するメッセージ表示機能の場合、エッジ画像生成部２１は、表示データから文字情報のみを抽出し、運転中の妨げにならない程度の情報量（例えば、メールの題名のみや、所定文字数の文字情報など）のエッジを選択する。

また、例えば音楽の出力を操作する音楽操作機能などのように各種の操作を行なう操作機能の場合、エッジ画像生成部２１は、各種の操作画面や操作用のアイコンなどを画像として有する表示データから操作用のアイコンのエッジのみを選択する。

また、例えば写真アルバムやフォトフレームなどのように複数の画像から適宜の画像を選択して表示する画像表示機能の場合、表示データから文字情報や操作用のアイコンなどのエッジは選択せずに、表示対象である画像のエッジのみを選択する。

また、例えば図２（Ａ）に示すような各種の操作メニューを表示するメニュー表示機能の場合、エッジ画像生成部２１は、例えば図２（Ｂ）に示すように、表示データからメニュー項目の内容を示す文字情報とメニュー項目のアイコンとの各エッジを選択する。
そして、例えば図２（Ｃ）に示すように、選択したエッジのうち文字情報であると認識した領域のエッジを他の領域に比べて拡大表示するように設定する。

また、例えば、外部機器がナビゲーション装置１５である場合、エッジ画像生成部２１は、ナビゲーション装置１５から出力される表示データが有する画像のうち道路情報が含まれるエッジまたは該エッジの中で所定太さ以上の太い線のエッジを選択する。

例えば、表示データに地図情報が含まれる場合、エッジ画像生成部２１は、地図内の自車両近傍の領域で主要な道路の線や文字のエッジのみを抽出し、抽出したエッジを太線化や大文字化などにより拡大表示するように設定する。
また、例えば表示データに交差点や建造物などの立体表示などのグラフィック画像が含まれる場合、エッジ画像生成部２１は、グラフィック画像のエッジを抽出する。

また、例えば表示データに実風景の静止画などの画像が含まれる場合、エッジ画像生成部２１は、画像上の各種の物体などに対して抽出される多数のエッジのうちから、エッジの強さ、太さ、連続性などに基づいて細かなエッジを除外して、所定のエッジを抽出する。
また、例えば表示データに道路標識や看板などの文字を含む画像が含まれる場合、エッジ画像生成部２１は、文字認識の処理に基づき抽出した文字のエッジを、実際よりも大文字化して拡大表示するように設定する。

また、例えば外部機器が車両の外界を撮影して得られる画像を含む表示データを出力する撮影装置１６である場合、エッジ画像生成部２１は、撮影装置１６から出力される表示データが有する画像上の物体のうち所定量以上の移動量を有する移動体のエッジを選択する。

例えば、車両の左後方の外界を撮影する撮影装置１６の場合、エッジ画像生成部２１は、図３（Ａ）に示すような画像から、図３（Ｂ）に示すような道路や他車両や歩行者などの輪郭を強調するエッジを抽出する。このとき、画像上の各種の物体などに対して抽出される多数のエッジのうちから、エッジの強さ、太さ、連続性などに基づいて細かなエッジを除外して、所定のエッジを抽出する。

そして、オプティカルフロー比較部２２は、例えば図３（Ｃ）に示すように、各種のセンサ（図示略）から出力される車両の速度およびヨーレートの検出結果と、撮影装置１６の撮影方向および撮影角度などの情報に基づき、画像中の消失点Ｐと、画像中の静止物に対して予測されるオプティカルフローＦａ（画像の流れ）と、画像中の移動体のオプティカルフローＦｂとを算出する。
そして、例えば図３（Ｄ）に示すように、静止物に対して予測されるオプティカルフローＦａと移動体のオプティカルフローＦｂとの差が大きい領域のエッジのみを抽出する。

なお、オプティカルフロー比較部２２は、例えば操作者の要求などに応じて、静止物であっても路面の情報（例えば、車線など）のエッジを表示することが指示されている場合には、例えば図３（Ｅ）に示すように、水平線よりも下方の領域においては、移動体のエッジに加えて、静止物であっても路面の情報（例えば、車線など）のエッジを表示するように設定し、水平線よりも上方の領域においては、静止物に対して予測されるオプティカルフローＦａと移動体のオプティカルフローＦｂとの差が大きい領域のエッジを表示するように設定してもよい。

そして、色変換部２３は、エッジ画像生成部２１またはオプティカルフロー比較部２２により抽出されたエッジの表示色を、例えば色彩の強い色などに変換する。

第１表示器１２は、例えば車両のフロントウィンドウ上を表示画面として表示を行なうヘッドアップディスプレイである。
また、第２表示器１３は、第１表示器１２とは異なる他の表示デバイス、例えば車両のダッシュボードの上部に表示画面が配置されたダッシュボードディスプレイや、車両のインストルメントパネルに表示画面が配置されたマルチインフォメーションディスプレイや、車両のインストルメントパネルの各種計器類付近に表示画面が配置されたディスプレイなどである。

そして、ヘッドアップディスプレイである第１表示器１２での表示用にエッジ画像生成部２１により選択されるエッジの量は、他の表示デバイスである第２表示器１３での表示用にエッジ画像生成部２１により選択されるエッジの量に比べて少なくされている。

本実施の形態による画像処理判定装置１０は上記構成を備えており、次に、画像処理判定装置１０の動作について説明する。

まず、例えば図４に示すステップＳ０１においては、第１表示器１２および第２表示器１３の情報を取得する。
次に、ステップＳ０２においては、処理対象がヘッドアップディスプレイである第１表示器１２であるか否かを判定する。
この判定結果が「ＮＯ」である場合、つまり処理対象がヘッドアップディスプレイではない第２表示器１３である場合には、ステップＳ０３に進む。
一方、この判定結果が「ＹＥＳ」である場合には、ステップＳ０４に進む。

そして、ステップＳ０３においては、所定の第１表示処理を選択して、エンドに進む。
なお、所定の第１表示処理は、後述する所定の第２表示処理と同一であってもよいし、例えば所定のエッジ処理と、このエッジ処理により生成されたエッジ画像を表示する表示処理とからなる適宜の処理などであってもよい。

また、ステップＳ０４においては、所定の第２表示処理を選択する。
次に、ステップＳ０５においては、表示対象の外部機器の情報を取得する。
次に、ステップＳ０６においては、外部機器は端末装置１４であるか否かを判定する。
この判定結果が「ＹＥＳ」である場合には、ステップＳ０７に進む。
一方、この判定結果が「ＮＯ」である場合には、ステップＳ１１に進む。

そして、ステップＳ０７においては、端末装置１４から出力された表示データが有する画像からエッジを抽出するエッジ処理を行ない、エッジ画像を生成する。
次に、ステップＳ０８においては、エッジ画像に文字のエッジが存在するか否かを判定する。
この判定結果が「ＮＯ」である場合には、ステップＳ０９に進み、このステップＳ０９においては、生成されたエッジ画像を表示して、エンドに進む。
一方、この判定結果が「ＹＥＳ」である場合には、ステップＳ１０に進み、このステップＳ１０においては、エッジ画像の文字のエッジを拡大して表示し、エンドに進む。

また、ステップＳ１１においては、外部機器はナビゲーション装置１５であるか否かを判定する。
この判定結果が「ＹＥＳ」である場合には、ステップＳ１２に進む。
一方、この判定結果が「ＮＯ」である場合には、ステップＳ１９に進む。

そして、ステップＳ１２においては、ナビゲーション装置１５から出力される表示データが有する画像のうちから道路情報の画像を取得する。
次に、ステップＳ１３においては、取得した道路情報の画像からエッジを抽出するエッジ処理を行ない、エッジ画像を生成する。
次に、ステップＳ１４においては、予め操作者などにより設定されている表示設定を取得する。

次に、ステップＳ１５においては、取得した表示設定において表示データの道路情報の全てを表示することが指示されているか否かを判定する。
この判定結果が「ＹＥＳ」である場合には、ステップＳ１６に進み、このステップＳ１６においては、エッジ画像を表示して、エンドに進む。
一方、この判定結果が「ＮＯ」である場合には、ステップＳ１７に進む。
そして、ステップＳ１７においては、エッジ画像から所定太さ以上のエッジ（例えば、所定道路幅以上の主要道路のエッジなど）のみを抽出する。
次に、ステップＳ１８においては、抽出したエッジのみを表示して、エンドに進む。

また、ステップＳ１９においては、外部機器は撮影装置１６であるか否かを判定する。
この判定結果が「ＮＯ」である場合には、ステップＳ２０に進む。
一方、この判定結果が「ＹＥＳ」である場合には、ステップＳ２２に進む。
そして、ステップＳ２０においては、撮影装置１６から出力される表示データが有する画像からエッジを抽出するエッジ処理を行ない、エッジ画像を生成する。
次に、ステップＳ２１においては、生成されたエッジ画像を表示して、エンドに進む。

また、ステップＳ２２においては、撮影装置１６から出力される表示データが有する画像からエッジを抽出するエッジ処理を行ない、エッジ画像を生成する。
次に、ステップＳ２３においては、エッジ画像上の移動体の移動量を検出する。
次に、ステップＳ２４においては、移動量が所定量以上の移動体が存在するか否かを判定する。
この判定結果が「ＮＯ」である場合には、ステップＳ２５に進み、このステップＳ２５においては、エッジ画像を表示せずに、エンドに進む。
一方、この判定結果が「ＹＥＳ」である場合には、ステップＳ２６に進み、このステップＳ２６においては、エッジ画像において移動量が所定量以上の移動体のみを表示し、エンドに進む。

上述したように、本実施の形態による画像処理判定装置１０によれば、各種の外部機器の特性に応じて異なるエッジ画像を表示することにより、適切な情報量で的確な内容の情報を表示することができる。
また、外部機器から出力される表示データに含まれる画像に比べて、エッジ画像のデータ量は小さいことから、エッジ画像の処理（例えば、表示など）に要する負荷を低減することができる。

さらに、所定量以上の移動量を有する移動体のエッジによるエッジ画像を表示することにより、移動体に対する適切な注意喚起を促すことができる。
さらに、アイコンおよび文字の画像から過剰な情報を削減して得られるエッジ画像を表示することにより、ヘッドアップディスプレイであっても視認者の視界を妨げることを抑制し、適切な情報量で的確な内容の情報を表示することができる。
また、文字と認識された領域を他の領域に比べて拡大表示することにより、文字の視認性を向上させることができる。
さらに、地図データの画像から過剰な情報を削減して得られるエッジ画像を表示することにより、適切な情報量で的確な内容の情報を表示することができる。

そして、ヘッドアップディスプレイである第１表示器１２においては、車両のフロントウィンドウ上あるいはフロントウィンドウ越しの視認者の視界を妨げることを抑制しつつ、適切な情報量で的確な内容の情報を表示することができる。
また、エッジ画像を表示する場合において、エッジ以外の部分は、例えば液晶表示画面などでは黒色表示、例えばヘッドアップディスプレイでは透明表示となり、背景となる画面、例えば車両前方の景色などを妨げることは無い。
また、エッジ部分は、例えば液晶表示画面などでは白色表示、例えばヘッドアップディスプレイでは高輝度表示となり、他車両などの物体や歩行者などの輪郭を容易に視認させることができる。

１０画像処理判定装置
１２第１表示器（表示部、ヘッドアップディスプレイ）
１３第２表示器（表示部、他の表示デバイス）
１４端末装置（外部機器）
１５ナビゲーション装置（外部機器）
１６撮影装置（外部機器）
２１エッジ画像生成部（エッジ抽出手段、エッジ選択手段、エッジ画像作成手段、文字判定手段）

Claims

道路情報を有すると共に地図データを画像として有する表示データを出力する外部機器であるナビゲーション装置と、
前記外部機器から出力される前記表示データが有する前記画像上の物体の輪郭を線で示す複数のエッジを抽出するエッジ抽出手段と、
前記エッジ抽出手段により抽出された前記複数のエッジから所定の選択方法により所定のエッジを選択するエッジ選択手段と、
前記エッジ選択手段により選択された前記所定のエッジから成るエッジ画像を作成するエッジ画像作成手段と、
前記エッジ画像作成手段により作成された前記エッジ画像を表示する表示部と、
を備え、
前記エッジ選択手段は、前記表示データが有する前記画像のうち前記道路情報が含まれるエッジまたは該エッジの中で所定太さ以上の太い線のエッジを選択する、
ことを特徴とする画像処理判定装置。
画像を有する表示データを出力する外部機器と、
前記外部機器から出力される前記表示データが有する前記画像上の物体の輪郭を線で示す複数のエッジを抽出するエッジ抽出手段と、
前記エッジ抽出手段により抽出された前記複数のエッジから所定の選択方法により所定のエッジを選択するエッジ選択手段と、
前記エッジ選択手段により選択された前記所定のエッジから成るエッジ画像を作成するエッジ画像作成手段と、
前記エッジ画像作成手段により作成された前記エッジ画像を表示する表示部と、
を備え、
前記表示部は、少なくとも車両のフロントウィンドウ上に表示を行なうヘッドアップディスプレイと他の表示デバイスとから成り、
前記エッジ選択手段は、前記ヘッドアップディスプレイでの表示用に選択する前記所定のエッジの量を、前記他の表示デバイスでの表示用に選択する前記所定のエッジの量に比べて少なくする、
ことを特徴とする画像処理判定装置。
撮影により生成した画像を有する表示データを出力する外部機器である撮影装置と、
前記外部機器から出力される前記表示データが有する前記画像上の物体の輪郭を線で示す複数のエッジを抽出するエッジ抽出手段と、
前記エッジ抽出手段により抽出された前記複数のエッジから所定の選択方法により所定のエッジを選択するエッジ選択手段と、
前記エッジ選択手段により選択された前記所定のエッジから成るエッジ画像を作成するエッジ画像作成手段と、
前記エッジ画像作成手段により作成された前記エッジ画像を表示する表示部と、
を備え、
前記エッジ選択手段は、前記表示データが有する前記画像上の前記物体のうち所定量以上の移動量を有する移動体の前記エッジを選択する、
ことを特徴とする画像処理判定装置。