JP7442933B2 - 車両用画像処理装置 - Google Patents

車両用画像処理装置 Download PDF

Info

Publication number
JP7442933B2
JP7442933B2 JP2020050335A JP2020050335A JP7442933B2 JP 7442933 B2 JP7442933 B2 JP 7442933B2 JP 2020050335 A JP2020050335 A JP 2020050335A JP 2020050335 A JP2020050335 A JP 2020050335A JP 7442933 B2 JP7442933 B2 JP 7442933B2
Authority
JP
Japan
Prior art keywords
image
vehicle
user
video data
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020050335A
Other languages
English (en)
Other versions
JP2021150871A (ja
Inventor
友也 浜口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alpine Electronics Inc
Original Assignee
Alpine Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alpine Electronics Inc filed Critical Alpine Electronics Inc
Priority to JP2020050335A priority Critical patent/JP7442933B2/ja
Priority to US17/171,130 priority patent/US11661004B2/en
Priority to EP21160294.1A priority patent/EP3882079B1/en
Priority to CN202110274300.9A priority patent/CN113497875A/zh
Publication of JP2021150871A publication Critical patent/JP2021150871A/ja
Application granted granted Critical
Publication of JP7442933B2 publication Critical patent/JP7442933B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/306—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using a re-scaling of images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B60R2300/308—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene by overlaying the real scene, e.g. through a head-up display on the windscreen
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B60R2300/605—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint the adjustment being automatic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Description

本発明は、車室内から見える周囲の景色を撮像して表示する車両用画像処理装置に関する。
従来から、取得された視点位置の情報と液晶ディスプレイの設定状態の情報とに基づいて、運転者の視点位置から液晶ディスプレイの設置領域が透過して車外が見えた場合と同じ映像が液晶ディスプレイに表示されるように、撮影装置により撮影された映像を座標変換する車両周囲映像提供装置が知られている（例えば、特許文献１参照。）。この車両周囲映像提供装置を用いることにより、運転者の視線方向に見えるであろう景色に相当する映像を液晶ディスプレイに表示することが可能となる。
特開２００７－９６６３８号公報
ところで、上述した特許文献１に開示された車両周囲映像提供装置では、撮影装置で撮影した映像を液晶ディスプレイに表示しているだけであるため、走行中の車両を想定した場合には、映像の内容が時々刻々変化してしまい、内容の把握が容易ではないという問題があった。特に、車両に近い物体ほど表示範囲内に留まる時間が短くなり、運転者等がその物体を確認しようとしても、すぐに見えなくなってしまい、表示範囲内の物体を確認することはできない。
本発明は、このような点に鑑みて創作されたものであり、その目的は、利用者から見える範囲に含まれる物体を確認することができる車両用画像処理装置を提供することにある。
上述した課題を解決するために、本発明の車両用画像処理装置は、車両の周囲を撮像して映像データを出力する撮像手段と、画像取り込みを指示する所定の操作がなされたときに、映像データから画像を抽出する画像抽出手段と、画像抽出手段によって抽出された画像を、車室内の利用者の視界に合わせて加工する画像加工手段と、画像加工手段によって加工された画像を、利用者の視線に合わせた位置に配置された画面に表示する画像表示手段とを備えている。利用者が確認したい物体が視界に入った際に所定の操作を行うことにより、この物体が含まれる画像を利用者の視線に合わせた位置に表示することができるため、利用者から見える範囲に含まれる物体の確認が容易となる。
また、上述した撮像手段による撮像によって得られた映像データを所定時間にわたって保存する映像データ保存手段をさらに備え、画像抽出手段は、映像データ保存手段によって保存された映像データから画像を抽出することが望ましい。映像データを保存して画像の抽出を行うことにより、確認したい物体の撮像が間に合わない事態を回避することができる。
また、上述した画像抽出手段は、映像データから画像を抽出するタイミングを、車両の走行速度に基づいて可変することが望ましい。これにより、利用者の操作遅れにより、確認したい物体が撮像範囲から外れてしまうことを防止することができる。
また、上述した画像抽出手段は、映像データから画像を抽出するタイミングを、利用者の指示に基づいて可変することが望ましい。これにより、視界に入った物体を時間を遡って確認することが可能となる。
また、利用者の視線を検出する視線検出手段をさらに備え、画像加工手段は、視線検出手段によって検出された視線に基づいて、利用者の視界に対応する画像を生成することが望ましい。利用者が顔を向けている方向に合わせて画像を抽出、加工して表示することにより、利用者の視界に含まれ、実際に見えている範囲の画像を再現することが可能となる。
また、上述した画像表示手段によって表示された画像に対して画像認識を行い、この画像に含まれる部分画像を抽出する画像認識手段と、画像認識手段によって抽出された部分画像に関する情報を取得する情報取得手段とをさらに備え、画像表示手段は、情報取得手段によって取得した情報を、部分画像に対応付けて画面に表示する。これにより、利用者の視界に含まれる物体の情報を煩雑な操作を行うことなく取得することが可能となる。
また、上述した画像表示手段は、情報取得手段によって情報が取得された部分画像を識別可能な態様で表示するとともに、利用者によって情報の表示が指示された部分画像について、情報取得手段によって取得した情報を表示する。これにより、画面内に情報が氾濫して視認性が悪化することを防止しつつ、利用者が見たい情報については速やかに表示させることができる。
一実施形態の車両用画像処理装置の構成を示す図である。 利用者が車両の窓を通して見える景色と同じ画像をこの窓に表示する動作手順を示す流れ図である。 車両の窓に表示した画像に対して画像認識を行う変形例の動作手順を示す流れ図である。
以下、本発明を適用した一実施形態の車両用画像処理装置について、図面を参照しながら説明する。
図１は、一実施形態の車両用画像処理装置の構成を示す図である。図１に示す本実施形態の車両用画像処理装置１は、例えば、車両の後部座席の搭乗者が窓を通して見える景色と同じ画像をこの窓に表示し、必要に応じてこの画像（動画像）を停止させたり、この画像に含まれる各表示要素としての物体（建物など）についての情報提供を行うものである。このために、車両用画像処理装置１は、カメラ１０、１２、映像データ格納部２０、車速検出部３０、自車位置・方位検出部３２、表示装置４０、地図ＤＢ（データベース）５０、ＰＯＩ ＤＢ５２、汎用ＤＢ５４、制御部６０を備えている。
カメラ１０は、車両の周囲を撮像して映像データ（動画像）を出力する。例えば、車両の右側面に取り付けられており、車両の右側に広がる広範囲の景色を撮像する。カメラ１２は、車室内に設置されており、利用者の顔を撮像する。
映像データ格納部２０は、カメラ１０から出力される映像データを所定時間記録する。映像データ格納部２０には所定時間分の最新の映像データが記録され、それ以前の映像データは消去（上書き）される。
車速検出部３０は、車両の速度（車速）を検出する。
自車位置・方位検出部３２は、車両の位置と方位を検出する。検出方法は、ＧＰＳ受信機を用いる場合や、自律航法センサを用いる場合、これらを組み合わせて用いる場合などが考えられる。
表示装置４０は、後部座席の窓（後部ドアの窓）に画像（動画像や静止画像）を表示する。例えば、スマートウインドウと称される透明度が変更可能な窓ガラスに画像を投影したり、透明有機ＥＬディスプレイや透明無機ＥＬディスプレイなどを用いることにより実現される。
地図ＤＢ５０は、道路とその周辺の地形、施設の位置などの地図データを格納する。
ＰＯＩ ＤＢ５２は、ＰＯＩ（Point of Interest、関心地点）としての施設や自然物（山など）の詳細情報を格納する。このＰＯＩ ＤＢ５２は、地図ＤＢ５０に含めるようにしてもよい。
汎用ＤＢ５４は、利用者の視界に含まれる各種物体の詳細情報を格納する。例えば、ＰＯＩ ＤＢ５２に格納された施設や自然物以外（重複してもよい）の各物体に関する情報が含まれる。各物体には、ＰＯＩ ＤＢ５２に情報が格納されたＰＯＩ以外の有形物が広く含まれる。この汎用ＤＢ５４は、ＰＯＩ ＤＢ５２に含めるようにしてもよい。
制御部６０は、車両用画像処理装置１の全体を制御し、表示装置４０にカメラ１０で撮像した画像を表示したり、この画像に含まれるＰＯＩや各種物体に関する情報を表示する動作を行う。このために、制御部６０は、画像抽出部６１、視線検出部６２、画像加工部６３、表示処理部６４、画像認識部６５、情報検索部６６、操作検出部６７を含んで構成されている。この制御部６０は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を用いて所定の動作プログラムを実行することにより、これらの各種機能を実現することができる。
画像抽出部６１は、利用者によって所定の操作（後述する）がなされたときに、映像データ格納部２０に格納された映像データから画像を抽出する。
視線検出部６２は、カメラ１２によって撮像された利用者の顔画像に基づいて、利用者の目の位置と見ている方向（視点の位置と視線の向き）を検出する。
画像加工部６３は、画像抽出部６１によって抽出された画像を、利用者の視界に合わせて加工する。具体的には、画像加工部６３は、画像抽出部６１によって抽出された画像に対して視点変換を行って、利用者が表示装置４０の画面を透過して見える景色に対応する画像を生成する。
表示処理部６４は、画像加工部６３によって生成される画像を、利用者の視線に合わせた位置に配置された画面（表示装置４０の画面）に表示する。
画像認識部６５は、画像加工部６３によって生成された表示装置４０の画面に表示された画像に対して画像認識を行い、この画像に含まれる部分画像を抽出する。
情報検索部６６は、地図ＤＢ５０、ＰＯＩ ＤＢ５２、汎用ＤＢ５４を用いて、画像認識部６５による画像認識によって抽出された部分画像に対応する物体の詳細情報を検索して取得する。なお、この検索は、インターネットを介して接続された外部の検索サーバに依頼して行うようにしてもよい。
操作検出部６７は、利用者によって行われる操作を検出する。例えば、カメラ１２の撮像範囲に表示装置４０の画面を含ませ、利用者による画面上の操作ボタンの押下動作を検出する場合や、表示装置４０の画面上に透明のタッチパネルを配置して画面上の操作ボタンの押下動作を検出する場合などが考えられる。
上述したカメラ１０が撮像手段に、画像抽出部６１が画像抽出手段に、画像加工部６３が画像加工手段に、表示処理部６４、表示装置４０が画像表示手段に、映像データ格納部２０が映像データ保存手段に、カメラ１２、視線検出部６２が視線検出手段に、画像認識部６５が画像認識手段に、情報検索部６６が情報取得手段にそれぞれ対応する。
本実施形態の車両用画像処理装置１はこのような構成を有しており、次にその動作を説明する。
図２は、利用者が車両の窓を通して見える景色と同じ画像をこの窓に表示する動作手順を示す流れ図である。この動作手順と並行して、カメラ１０による撮像によって得られた映像データを映像データ格納部２０に格納する動作が行われている。
画像抽出部６１は、利用者によって画像の取り込み、表示を指示する所定の操作、例えば窓ガラスを利用した画面の一部に表示された「Ｃａｐｔｕｒｅ」ボタンが利用者の指で押下されたか否か（利用者の指が触れたか否か）を判定する（ステップ１００）。押下されない場合には否定判断が行われ、この判定が繰り返される。
また、「Ｃａｐｔｕｒｅ」ボタンが押下された場合にはステップ１００の判定において肯定判断が行われる。次に、画像抽出部６１は、映像データ格納部２０に格納された映像データの中から、「Ｃａｐｔｕｒｅ」ボタンが押下されたタイミングに対応する画像を抽出する（ステップ１０２）。車窓から外の景色を見ていた利用者が、気になる景色を認識してから「Ｃａｐｔｕｒｅ」ボタンを押すまでの間にはタイムラグが生じる。画像抽出部６１は、このタイムラグとその時点での車速を考慮して、映像データの中から抽出する１枚の画像を決定する。
次に、画像加工部６３は、抽出された画像に対して視点変換等を行い、利用者の視界に合わせて加工する（ステップ１０４）。表示処理部６４は、加工された画像を表示装置４０の画面（窓ガラス）に表示する（ステップ１０６）。このようにして表示された画像を見ることにより、車両走行とともに一瞬で通り過ぎた地点で見えていた景色を再現することができ、利用者は、その時点で視界に入ってきた各種の物体等を確認することが可能となる。
このように、本実施形態の車両用画像処理装置１では、利用者が確認したい物体が視界に入った際に所定の操作（「Ｃａｐｔｕｒｅ」ボタンの押下）を行うことにより、この物体が含まれる画像を利用者の視線に合わせた位置に表示することができるため、利用者から見える範囲に含まれる物体の確認が容易となる。特に、撮像された映像データを保存しておいて画像の抽出を行うことにより、確認したい物体の撮像が間に合わない事態を回避することができる。また、映像データから画像を抽出するタイミングを、車両の走行速度に基づいて可変することにより、利用者の操作遅れにより、確認したい物体が撮像範囲から外れてしまうことを防止することができる。
また、視線検出部６２によって視点位置や視線の向きを検出し、利用者が顔を向けている方向に合わせて画像を抽出、加工して表示することにより、利用者の視界に含まれ、実際に見えている範囲の画像を確実に再現することが可能となる。
図３は、車両の窓に表示した画像に対して画像認識を行う変形例の動作手順を示す流れ図である。図３に示す動作手順は、図２に示した動作手順に対して、ステップ１０６の次にステップ１１０、１１２、１１４、１１６、１１８を追加した点が異なっている。以下では、これらの追加した各ステップについて説明する。
加工後の画面が表示（ステップ１０６）された後（表示動作と並行あるいは前であってもよい）、画像認識部６５は、表示された画像に対して画像認識を行い、この画像に含まれるＰＯＩやその他の各種物体に対応する部分画像を抽出する（ステップ１１０）。
また、情報検索部６６は、地図ＤＢ５０、ＰＯＩ ＤＢ５２、汎用ＤＢ５４を用いて、画像認識によって抽出した部分画像に対応する物体の詳細情報を取得する（ステップ１１２）。
次に、情報検索部６６は、詳細情報が得られた部分画像を強調表示する指示を表示処理部６４に送り、これらの部分画像を強調表示する（ステップ１１４）。例えば、該当する部分画像をハイライト表示や特殊な色彩を付すなどして他と識別可能な態様で表示する。
次に、情報検索部６６は、これらの強調表示された部分画像のいずれかが利用者によって指示されたか否かを判定する（ステップ１１６）。利用者による指示操作がなされない場合には否定判断が行われ、この判定が繰り返される。
また、強調表示されたいずれかの部分画像が利用者によって指示されるとステップ１１６の判定において肯定判断が行われる。情報検索部６６は、この指し示された部分画像に対応する詳細情報を表示する（ステップ１１８）。例えば、この部分画像の隣接位置に詳細説明を含むウインドウが表示される。
このように、画像認識によって抽出した部分画像について詳細情報を表示することにより、利用者の視界に含まれる物体の情報を煩雑な操作を行うことなく取得することが可能となる。また、詳細情報が取得された部分画像が識別可能な態様で表示され、利用者によって情報の表示が指示された場合に詳細情報を表示しており、画面内に詳細情報が氾濫して視認性が悪化することを防止しつつ、利用者が見たい情報については速やかに表示させることが可能になる。
なお、本発明は上記実施形態に限定されるものではなく、本発明の要旨の範囲内において種々の変形実施が可能である。例えば、上述した実施形態では、映像データから画像を抽出するタイミングを、車速等に応じて決定したが、利用者の指示に基づいて可変するようにしてもよい。気になる景色を認識してから「Ｃａｐｔｕｒｅ」ボタンを押すまでの時間は、利用者によって個人差があるため、この個人差による画像抽出タイミングのずれを調整できれば、さらに実用性を高めることが可能となる。例えば、図２に示すステップ１０６において加工後の画像を表示しているが、この表示とともに、映像データから画像を抽出するタイミングを秒単位で前後にずらすボタンを表示し、利用者によってこのボタンが押されたときにその操作回数に合わせて画像の抽出タイミングを前後にずらしてステップ１０４、１０６の動作を繰り返す。このようにすることで、視界に入った物体を時間を遡って確実に確認することが可能となる。
また、上述した実施形態では、最初に「Ｃａｐｔｕｒｅ」ボタンを押下することで、対応する画像を表示しているが、この押下操作の替わりに音声で指示を行うようにしてもよい。例えば、利用者が「キャプチャ」と発声したことを音声認識処理によって判定し、画像の抽出を行う場合が考えられる。
また、上述した実施形態では、カメラ１２によって撮像した利用者の顔画像から利用者の視点位置と視野の方向を検出して画像加工部６３による視点変換等の画像加工を行ったが、利用者が所定の位置に着座し、窓ガラスを通して外の景色を見ていることを想定し、固定の視点位置および視線方向を用いて画像加工を行うようにしてもよい。
上述したように、本発明によれば、利用者が確認したい物体が視界に入った際に所定の操作を行うことにより、この物体が含まれる画像を利用者の視線に合わせた位置に表示することができるため、利用者から見える範囲に含まれる物体の確認が容易となる。
１ 車両用画像処理装置
１０、１２ カメラ
２０ 映像データ格納部
３０ 車速検出部
３２ 自車位置・方位検出部
４０ 表示装置
５０ 地図ＤＢ
５２ ＰＯＩ ＤＢ
５４ 汎用ＤＢ
６０ 制御部
６１ 画像抽出部
６２ 視線検出部
６３ 画像加工部
６４ 表示処理部
６５ 画像認識部
６６ 情報検索部
６７ 操作検出部

Claims (5)

  1. 車両の周囲を撮像して映像データを出力する撮像手段と、
    画像取り込みを指示する所定の操作がなされたときに、前記映像データから画像を抽出する画像抽出手段と、
    前記画像抽出手段によって抽出された画像を、車室内の利用者の視界に合わせて加工する画像加工手段と、
    前記画像加工手段によって加工された画像を、利用者の視線に合わせた位置に配置された画面に表示する画像表示手段と、
    前記画像表示手段によって表示された画像に対して画像認識を行い、この画像に含まれる部分画像を抽出する画像認識手段と、
    前記画像認識手段によって抽出された前記部分画像に関する情報を取得する情報取得手段と、
    を備え、前記画像表示手段は、前記情報取得手段によって情報が取得された前記部分画像を識別可能な態様で表示するとともに、利用者によって情報の表示が指示された前記部分画像について、前記情報取得手段によって取得した情報を、前記部分画像に対応付けて前記画面に表示することを特徴とする車両用画像処理装置。
  2. 前記撮像手段による撮像によって得られた前記映像データを所定時間にわたって保存する映像データ保存手段をさらに備え、
    前記画像抽出手段は、前記映像データ保存手段によって保存された前記映像データから画像を抽出することを特徴とする請求項１に記載の車両用画像処理装置。
  3. 前記画像抽出手段は、前記映像データから画像を抽出するタイミングを、車両の走行速度に基づいて可変することを特徴とする請求項２に記載の車両用画像処理装置。
  4. 前記画像抽出手段は、前記映像データから画像を抽出するタイミングを、利用者の指示に基づいて可変することを特徴とする請求項２または３に記載の車両用画像処理装置。
  5. 利用者の視線を検出する視線検出手段をさらに備え、
    前記画像加工手段は、前記視線検出手段によって検出された視線に基づいて、利用者の視界に対応する画像を生成することを特徴とする請求項１～４のいずれか一項に記載の車両用画像処理装置。
JP2020050335A 2020-03-20 2020-03-20 車両用画像処理装置 Active JP7442933B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2020050335A JP7442933B2 (ja) 2020-03-20 2020-03-20 車両用画像処理装置
US17/171,130 US11661004B2 (en) 2020-03-20 2021-02-09 Vehicle image processing device
EP21160294.1A EP3882079B1 (en) 2020-03-20 2021-03-02 Vehicle image processing device
CN202110274300.9A CN113497875A (zh) 2020-03-20 2021-03-15 车辆用图像处理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020050335A JP7442933B2 (ja) 2020-03-20 2020-03-20 車両用画像処理装置

Publications (2)

Publication Number Publication Date
JP2021150871A JP2021150871A (ja) 2021-09-27
JP7442933B2 true JP7442933B2 (ja) 2024-03-05

Family

ID=74856664

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020050335A Active JP7442933B2 (ja) 2020-03-20 2020-03-20 車両用画像処理装置

Country Status (4)

Country Link
US (1) US11661004B2 (ja)
EP (1) EP3882079B1 (ja)
JP (1) JP7442933B2 (ja)
CN (1) CN113497875A (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7442933B2 (ja) * 2020-03-20 2024-03-05 アルパイン株式会社 車両用画像処理装置
KR20220170293A (ko) * 2021-06-22 2022-12-29 현대자동차주식회사 영상기록장치 및 그의 동작 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006242859A (ja) 2005-03-04 2006-09-14 Denso Corp 車両用情報表示装置
JP2009093706A (ja) 2007-10-04 2009-04-30 Canon Inc ディスクドライブ装置
JP2018038009A (ja) 2016-09-02 2018-03-08 株式会社デンソーテン 映像出力装置及び映像出力方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3160108B2 (ja) 1993-02-23 2001-04-23 三菱電機株式会社 運転支援システム
US8179435B2 (en) * 2005-09-28 2012-05-15 Nissan Motor Co., Ltd. Vehicle surroundings image providing system and method
JP2007096638A (ja) 2005-09-28 2007-04-12 Nissan Motor Co Ltd 車両周囲映像提供装置
EP1974998B1 (en) 2007-03-26 2011-05-25 Aisin AW Co., Ltd. Driving support method and driving support apparatus
JP4725595B2 (ja) 2008-04-24 2011-07-13 ソニー株式会社 映像処理装置、映像処理方法、プログラム及び記録媒体
JP4876118B2 (ja) * 2008-12-08 2012-02-15 日立オートモティブシステムズ株式会社 立体物出現検知装置
JP5630518B2 (ja) * 2012-03-14 2014-11-26 株式会社デンソー 運転支援装置
WO2013161028A1 (ja) 2012-04-26 2013-10-31 パイオニア株式会社 画像表示装置、ナビゲーション装置、画像表示方法、画像表示プログラム、及び記録媒体
US9405982B2 (en) * 2013-01-18 2016-08-02 GM Global Technology Operations LLC Driver gaze detection system
US9280202B2 (en) * 2013-05-10 2016-03-08 Magna Electronics Inc. Vehicle vision system
DE102013214369B4 (de) * 2013-07-23 2021-03-04 Application Solutions (Electronics and Vision) Ltd. Verfahren und Vorrichtung zur Wiedergabe eines Umgebungsbereichs eines Fahrzeugs
JP6384188B2 (ja) * 2014-08-12 2018-09-05 ソニー株式会社 車両用表示装置と表示制御方法および後方モニタリングシステム
WO2017122294A1 (ja) * 2016-01-13 2017-07-20 株式会社ソシオネクスト 周囲監視装置、画像処理方法、及び画像処理プログラム
CN108701415B (zh) * 2016-02-25 2021-08-03 富士胶片株式会社 驾驶辅助装置、驾驶辅助方法及驾驶辅助程序
CN105799594B (zh) 2016-04-14 2019-03-12 京东方科技集团股份有限公司 一种图像显示的方法、车载显示装置、遮阳板及汽车
CN107776488A (zh) * 2016-08-24 2018-03-09 京东方科技集团股份有限公司 汽车用辅助显示系统、显示方法以及汽车
JP6669019B2 (ja) * 2016-09-08 2020-03-18 株式会社Ｊｖｃケンウッド 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
JP7442933B2 (ja) * 2020-03-20 2024-03-05 アルパイン株式会社 車両用画像処理装置
KR20210120398A (ko) * 2020-03-26 2021-10-07 삼성전자주식회사 차량에 탑재된 CMS 사이드 디스플레이(Camera Monitoring System Side Display)를 이용하여 영상을 디스플레이하는 전자 장치 및 그 동작 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006242859A (ja) 2005-03-04 2006-09-14 Denso Corp 車両用情報表示装置
JP2009093706A (ja) 2007-10-04 2009-04-30 Canon Inc ディスクドライブ装置
JP2018038009A (ja) 2016-09-02 2018-03-08 株式会社デンソーテン 映像出力装置及び映像出力方法

Also Published As

Publication number Publication date
JP2021150871A (ja) 2021-09-27
EP3882079B1 (en) 2022-12-21
CN113497875A (zh) 2021-10-12
US11661004B2 (en) 2023-05-30
US20210291853A1 (en) 2021-09-23
EP3882079A1 (en) 2021-09-22

Similar Documents

Publication Publication Date Title
JP5798392B2 (ja) 駐車支援装置
JP4885632B2 (ja) ナビゲーション装置
JP7442933B2 (ja) 車両用画像処理装置
JP4715718B2 (ja) 車両用表示装置
JP2007050757A (ja) 車両用表示制御装置
JP5533766B2 (ja) 車両用表示装置
JP4579132B2 (ja) 車両／周囲画像提供装置
KR20130107697A (ko) 내비게이션 단말기의 배경 화면 표시 장치 및 방법
JP6375633B2 (ja) 車両周辺画像表示装置、車両周辺画像表示方法
JP5131152B2 (ja) 視覚支援装置
WO2018042976A1 (ja) 画像生成装置、画像生成方法、記録媒体、および画像表示システム
JP4857159B2 (ja) 車両運転支援装置
CN111742550A (zh) 一种3d影像拍摄方法、3d拍摄设备及存储介质
US11039087B2 (en) Image processing apparatus and computer-readable storage medium
KR101767435B1 (ko) 헤드업 디스플레이의 표시 제어 장치 및 방법
JP2005214730A (ja) 車両用画像表示装置、車両用画像表示方法及び車両用画像表示プログラム
JP4836878B2 (ja) 画像識別表示装置及び画像識別表示方法
KR101709009B1 (ko) 어라운드 뷰 왜곡 보정 시스템 및 방법
JP2005215879A (ja) 車両用画像表示装置、車両用画像表示方法及び車両用画像表示プログラム
JP2016158160A (ja) 撮影装置、制御方法、プログラム及び記憶媒体
KR20150129542A (ko) 어라운드 뷰 시스템의 동작방법
KR101750161B1 (ko) 관심영역 이미지 패치 관리 시스템 및 방법
JP2018097541A (ja) 運転支援装置
JP4285229B2 (ja) 車両用表示装置
KR20160035345A (ko) 자동차용 표시장치 및 그 제어 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221222

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231005

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231010

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231129

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240220

R150 Certificate of patent or registration of utility model

Ref document number: 7442933

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150