JP6446595B2 - 投写型表示装置、投写表示方法、及び、投写表示プログラム - Google Patents

投写型表示装置、投写表示方法、及び、投写表示プログラム Download PDF

Info

Publication number
JP6446595B2
JP6446595B2 JP2018501029A JP2018501029A JP6446595B2 JP 6446595 B2 JP6446595 B2 JP 6446595B2 JP 2018501029 A JP2018501029 A JP 2018501029A JP 2018501029 A JP2018501029 A JP 2018501029A JP 6446595 B2 JP6446595 B2 JP 6446595B2
Authority
JP
Japan
Prior art keywords
image data
contour
projection display
captured image
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018501029A
Other languages
English (en)
Other versions
JPWO2017145546A1 (ja
Inventor
広大 藤田
広大 藤田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2017145546A1 publication Critical patent/JPWO2017145546A1/ja
Application granted granted Critical
Publication of JP6446595B2 publication Critical patent/JP6446595B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/002—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/207—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using multi-purpose displays, e.g. camera image and navigation or video on same display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Optics & Photonics (AREA)
  • Instrument Panels (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、投写型表示装置、投写表示方法、及び、投写表示プログラムに関する。
自動車、電車、船舶、重機、航空機、又は、農作用機械等の乗り物内において、ウインドシールド、又は、ウインドシールドの付近に配置されるコンバイナをスクリーンとして用い、これに光を投写して画像を表示させる乗り物用のＨＵＤ（Ｈｅａｄ−ｕｐ Ｄｉｓｐｌａｙ）が知られている。このＨＵＤによれば、ＨＵＤから投写された光に基づく画像を、スクリーン上で実像として、又は、スクリーン前方において虚像として、運転者に視認させることができる。
このＨＵＤを利用して、自動車の駐車支援を行う装置が特許文献１に記載されている。特許文献１に記載の駐車支援装置は、自動車のシフトレバーが“リア（後退）”の位置に移動されると、自動車の後方に設置された撮像部により撮像された撮像画像をＨＵＤに表示させている。
特許文献２には、自動車の左方向を撮像する撮像部、自動車の右方向を撮像する撮像部、及び、自動車の後方を撮像する撮像部の各々により撮像された撮像画像をＨＵＤに表示させることによって、車線変更を安全かつ容易に行うことを実現する車両安全確認装置が記載されている。
特開２０１３−２１２７２３号公報 特開２００６−２４８３７４号公報
特許文献１のように、自動車を駐車する際に、自動車の後方の景色を撮像して得られる撮像画像がＨＵＤに表示されることによって、運転者は、前方を向いたまま視線を動かすことなく、駐車作業を行うことができる。しかし、駐車作業時には、自動車の切り返しを行う場合があり、前進と後退が頻繁に切り替えられる可能性がある。
例えば、運転者が、ＨＵＤに表示される自動車後方の撮像画像を確認しながら、自動車を後退させている状態を考える。この状態では、ＨＵＤに表示される撮像画像によって、自動車前方にある障害物が運転者によって気付かれない可能性がある。そして、この状態から、切り返しのために、運転者が自動車を前進モードに設定して自動車を前進させると、ＨＵＤの表示はオフになる。このとき、ＨＵＤに撮像画像が表示されていた領域に障害物が存在していると、運転者はこの障害物を認知できなくなる可能性がある。
また、特許文献２のように、自動車を前進させている状態において、撮像部により撮像された撮像画像をＨＵＤに表示させる構成では、ＨＵＤに表示される撮像画像によって前方の視界が妨げられる。これにより、自動車前方の障害物又は白線等を認知することができなくなる可能性がある。
また、特許文献１，２に限らず、乗り物が前進している状態において、乗り物の周囲を撮像して得られる撮像画像をＨＵＤに表示させるケースは他にも想定され、このケースにおいても、乗り物前方の視界が妨げられる可能性がある。
本発明は、上記事情に鑑みてなされたものであり、前進時における進行方向の視界を十分に確保しながら、有益な情報を運転者に提供することのできる投写型表示装置、投写表示方法、及び、投写表示プログラムを提供することを目的とする。
本発明の投写型表示装置は、乗り物の周囲を撮像する撮像部により撮像して得られた撮像画像データを取得する撮像画像データ取得部と、前記撮像画像データに基づいて、前記撮像画像データに基づく撮像画像の輪郭を表す輪郭像データを生成する輪郭像データ生成部と、光源から出射される光を、前記輪郭像データを含む画像データに基づいて空間変調し、前記空間変調して得られた画像光を前記乗り物における投写面に投写する投写表示部と、前記撮像画像データから物体を検出する物体検出部と、を備え、前記投写表示部は、前記物体検出部により検出された物体の面積が閾値以下の場合には、前記輪郭像データにおける当該物体に対応する部分を、前記撮像画像データのうちの当該物体に対応する部分に置換した後の置換後輪郭像データに基づいて画像光の投写を行い、前記物体検出部により検出された物体の面積が前記閾値を超える場合には、前記輪郭像データに基づいて画像光の投写を行うものである。
本発明の投写表示方法は、乗り物の周囲を撮像する撮像部により撮像して得られた撮像画像データを取得する撮像画像データ取得ステップと、前記撮像画像データに基づいて、前記撮像画像データに基づく撮像画像の輪郭を表す輪郭像データを生成する輪郭像データ生成ステップと、光源から出射される光を、前記輪郭像データを含むデータに基づいて空間変調し、前記空間変調して得られた画像光を前記乗り物における投写面に投写する投写表示ステップと、前記撮像画像データから物体を検出する物体検出ステップと、を備え、前記投写表示ステップでは、前記物体検出ステップにより検出された物体の面積が閾値以下の場合には、前記輪郭像データにおける当該物体に対応する部分を、前記撮像画像データのうちの当該物体に対応する部分に置換した後の置換後輪郭像データに基づいて画像光の投写を行い、前記物体検出ステップにより検出された物体の面積が前記閾値を超える場合には、前記輪郭像データに基づいて画像光の投写を行うものである。
本発明の投写表示プログラムは、乗り物の周囲を撮像する撮像部により撮像して得られた撮像画像データを取得する撮像画像データ取得ステップと、
前記撮像画像データに基づいて、前記撮像画像データに基づく撮像画像の輪郭を表す輪郭像データを生成する輪郭像データ生成ステップと、
光源から出射される光を、前記輪郭像データを含むデータに基づいて空間変調し、前記空間変調して得られた画像光を前記乗り物における投写面に投写する投写表示ステップと、前記撮像画像データから物体を検出する物体検出ステップと、をコンピュータに実行させるための投写表示プログラムであって、前記投写表示ステップでは、前記物体検出ステップにより検出された物体の面積が閾値以下の場合には、前記輪郭像データにおける当該物体に対応する部分を、前記撮像画像データのうちの当該物体に対応する部分に置換した後の置換後輪郭像データに基づいて画像光の投写を行い、前記物体検出ステップにより検出された物体の面積が前記閾値を超える場合には、前記輪郭像データに基づいて画像光の投写を行うものである。
本発明によれば、前進時における進行方向の視界を十分に確保しながら、有益な情報を運転者に提供することのできる投写型表示装置、投写表示方法、及び、投写表示プログラムを提供することができる。
本発明の投写型表示装置の一実施形態であるＨＵＤ１００が搭載される自動車１０の概略構成を示す模式図である。 図１に示すＨＵＤ１００が搭載される自動車１０の室内構成を示す模式図である。 図２に示すＨＵＤ１００の制御ユニット４の詳細構成を示す模式図である。 図３に示すシステム制御部６０の機能ブロック図である。 図２に示すＨＵＤ１００の動作を説明するためのフローチャートである。 ＨＵＤ１００に表示される輪郭画像の一例を示す図である。 自動車１０の室内における図６に示した輪郭画像１１０の観察状態を示す模式図である。 ＨＵＤ１００に表示される輪郭画像の別の例を示す図である。 ＨＵＤ１００に表示される輪郭画像の更に別の例を示す図である。 図４に示すＨＵＤ１００のシステム制御部６０の機能ブロックの変形例を示す図である。 図１に示す自動車１０の撮像部１１により撮像された撮像画像データの一例を示す図である。 図１１に示す撮像画像データから生成された置換後輪郭像データを示す図である。 図１１に示す撮像画像データが得られた状態から自動車１０が更に後方に進んだ状態で撮像部１１により撮像された撮像画像データを示す図である。 図１３に示す撮像画像データから生成された輪郭像データを示す図である。
以下、本発明の実施形態について図面を参照して説明する。
図１は、本発明の投写型表示装置の一実施形態であるＨＵＤ１００が搭載される自動車１０の概略構成を示す模式図である。図２は、図１に示すＨＵＤ１００が搭載される自動車１０の室内構成を示す模式図である。
図１に示すように、自動車１０は、自動車１０の後部に位置するトランク部分に取り付けられた撮像部１１を備える。また、自動車１０のフロントウインドシールド１の一部は、後述する画像光を反射させる加工がなされた領域となっており、この領域が投写面２を構成している。
撮像部１１は、自動車１０の後方を撮像するためのものであり、有線又は無線によってＨＵＤ１００と接続されている。撮像部１１で撮像して得られた撮像画像データは、有線通信又は無線通信によってＨＵＤ１００に転送される。この撮像部１１は、例えば、自動車１０のナンバープレートの近傍位置又はリヤウインドウ近傍位置等、後方を撮像できるのであれば、その具体的な位置は限定されない。
なお、図１には、自動車１０の後部に設置される撮像部１１のみが例示されているが、自動車１０の周囲（右前方又は左前方等）の外界を撮像することができる複数の撮像部が自動車１０に搭載されていてもよい。
ＨＵＤ１００は、自動車１０に搭載され、自動車１０のフロントウインドシールド１の一部の領域である投写面２に投写される画像光により、自動車１０の運転者によって虚像又は実像を視認可能にするものである。
ＨＵＤ１００は、自動車以外に、電車、重機、建機、航空機、船舶、又は、農作機械等の乗り物に搭載して用いることができる。
図２の例では、ＨＵＤ１００は、自動車１０のダッシュボード３に内蔵されている。ダッシュボード３は、自動車１０のスピードメータ、タコメータ、燃料計、水温計、又は、距離計等の走行に必要な情報を通知するための計器類等を含む内装部品を内蔵する部材である。
ＨＵＤ１００は、光源及びこの光源から出射される光を画像データに基づいて空間変調する光変調素子を含む制御ユニット４と、制御ユニット４の光変調素子により空間変調された画像光をフロントウインドシールド１における投写面２に投写する投写部を構成する拡散部材５、反射ミラー６、及び、凹面鏡７と、を備える。
拡散部材５は、制御ユニット４の光変調素子により空間変調された画像光を拡散させて面光源化する部材である。拡散部材５は、表面に微細構造を有するマイクロミラーアレイ、拡散ミラー、又は、反射ホログラフィクディフューザー等が用いられる。
反射ミラー６は、拡散部材５で拡散された画像光を反射する。
凹面鏡７は、反射ミラー６で反射された画像光を拡大して反射し、投写面２に投写する。フロントウインドシールド１における投写面２は、凹面鏡７から投写された画像光を運転者の目の方向に反射するような加工がなされている。
なお、ＨＵＤ１００は、自動車１０の天井付近に配置され、自動車１０の天井付近に設置されたサンバイザタイプのコンバイナに対して画像光を投写する構成であってもよい。この構成では、コンバイナが投写面を構成する。
自動車の運転者は、投写面２に投写され、投写面２で反射された画像光に基づく虚像により、運転を支援するためのアイコン又は文字等の情報を視認することができる。また、投写面２は、フロントウインドシールド１の外部（車外）からの光を透過する機能を持つ。このため、運転者は、凹面鏡７から投写された画像光に基づく虚像と外界の景色とが重畳された像を視認することができる。
図３は、図２に示すＨＵＤ１００の制御ユニット４の詳細構成を示す模式図である。
制御ユニット４は、光源ユニット４０と、光変調素子４４と、光変調素子４４を駆動する駆動部４５と、ＨＵＤ１００全体を統括制御するシステム制御部６０と、を備える。
システム制御部６０は、一つ又は複数のプロセッサ（CPU：Central Processing Unit：中央処理装置）を主体に構成されており、プロセッサの実行するプログラム等が記憶される非一時性の記録媒体ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及び、ワークメモリとしてのＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等を含み、記録媒体に記憶されているプログラムをロードされることにより動作する。
光源ユニット４０は、光源制御部４０Ａと、赤色光を出射する赤色光源であるＲ光源４１ｒと、緑色光を出射する緑色光源であるＧ光源４１ｇと、青色光を出射する青色光源であるＢ光源４１ｂと、ダイクロイックプリズム４３と、Ｒ光源４１ｒとダイクロイックプリズム４３の間に設けられたコリメータレンズ４２ｒと、Ｇ光源４１ｇとダイクロイックプリズム４３の間に設けられたコリメータレンズ４２ｇと、Ｂ光源４１ｂとダイクロイックプリズム４３の間に設けられたコリメータレンズ４２ｂと、を備える。Ｒ光源４１ｒとＧ光源４１ｇとＢ光源４１ｂはＨＵＤ１００の光源を構成する。
ダイクロイックプリズム４３は、Ｒ光源４１ｒ、Ｇ光源４１ｇ、及びＢ光源４１ｂの各々から出射される光を同一光路に導くための光学部材である。ダイクロイックプリズム４３は、コリメータレンズ４２ｒによって平行光化された赤色光を透過させて光変調素子４４に出射する。また、ダイクロイックプリズム４３は、コリメータレンズ４２ｇによって平行光化された緑色光を反射させて光変調素子４４に出射する。さらに、ダイクロイックプリズム４３は、コリメータレンズ４２ｂによって平行光化された青色光を反射させて光変調素子４４に出射する。光を同一光路に導く機能を持つ光学部材としては、ダイクロイックプリズムに限らない。例えば、クロスダイクロイックミラーを用いてもよい。
Ｒ光源４１ｒ、Ｇ光源４１ｇ、及びＢ光源４１ｂは、それぞれ、レーザ又はＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）等の発光素子が用いられる。ＨＵＤ１００の光源は、Ｒ光源４１ｒとＧ光源４１ｇとＢ光源４１ｂの３つの例に限らず、１つ、２つ、または４つ以上の光源によって構成されていてもよい。
光源制御部４０Ａは、Ｒ光源４１ｒ、Ｇ光源４１ｇ、及びＢ光源４１ｂの各々を制御し、Ｒ光源４１ｒ、Ｇ光源４１ｇ、及び、Ｂ光源４１ｂから光を出射させる制御を行う。
光変調素子４４は、Ｒ光源４１ｒ、Ｇ光源４１ｇ、及び、Ｂ光源４１ｂから出射され、ダイクロイックプリズム４３から出射された光を、システム制御部６０により入力される画像データに基づいて空間変調する。
光変調素子４４としては、例えば、ＬＣＯＳ（Ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｏｎ ｓｉｌｉｃｏｎ）、ＤＭＤ（Ｄｉｇｉｔａｌ Ｍｉｃｒｏｍｉｒｒｏｒ Ｄｅｖｉｃｅ）、ＭＥＭＳ（Ｍｉｃｒｏ Ｅｌｅｃｔｒｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍｓ）素子、又は、液晶表示素子等を用いることができる。
駆動部４５は、システム制御部６０から入力される画像データに基づいて光変調素子４４を駆動し、画像データに応じた画像光（赤色画像光、青色画像光、及び、緑色画像光）を、光変調素子４４から拡散部材５に出射させる。
図１に示した拡散部材５、反射ミラー６、及び、凹面鏡７から構成される投写部は、投写面２に投写された画像光に基づく画像が、フロントウインドシールド１前方の位置において虚像として運転者に視認可能となるように光学設計がなされている。この画像光に基づく画像が、フロントウインドシールド１において実像として運転者に視認可能となるように投写部の光学設計がなされていてもよい。
システム制御部６０は、光源制御部４０Ａ及び駆動部４５を制御して、画像データに基づく画像光を制御ユニット４から拡散部材５に出射させる。
光源ユニット４０、光変調素子４４、駆動部４５、拡散部材５、反射ミラー６、及び、凹面鏡７は、Ｒ光源４１ｒ、Ｇ光源４１ｇ、及びＢ光源４１ｂから出射される光を、システム制御部６０から入力された画像データに基づいて空間変調し、空間変調して得られた画像光を自動車１０の投写面２に投写する投写表示部を構成する。
図４は、図３に示すシステム制御部６０の機能ブロック図である。
システム制御部６０は、撮像画像データ取得部６１と、輪郭像データ生成部６２と、表示情報入力部６３と、を備える。撮像画像データ取得部６１、輪郭像データ生成部６２、及び、表示情報入力部６３は、ＲＯＭに記憶されるプログラムを１つ又は複数のプロセッサが実行することによって構成される。このプログラムは、投写表示プログラムを含む。
撮像画像データ取得部６１は、撮像部１１が自動車１０の後方を撮像して得られた撮像画像データを有線通信又は無線通信により取得する。
輪郭像データ生成部６２は、撮像画像データ取得部６１により取得された撮像画像データに基づいて、この撮像画像データに基づく撮像画像の輪郭を表す輪郭像データを生成する。具体的には、輪郭像データ生成部６２は、撮像画像データに輪郭抽出処理又は特徴点抽出処理を施して、輪郭像データを生成する。
輪郭像データは、例えば、輪郭抽出処理によって抽出された撮像画像のうちの輪郭部分を黒色以外の色（例えば白色）とし、その他の部分を黒色にした画像データであり、輪郭抽出処理によって抽出された輪郭部分を線ではなく、黒色以外の色（例えば白色）の破線又は鎖線等とし、その他の部分を黒色にした画像データであり、又は、特徴点抽出を行って得られる特徴点を黒色以外の色（例えば白色）とし、その他の部分を黒色とした画像データ等である。
表示情報入力部６３は、ナビゲーション情報、燃料残量、又は、走行速度等の情報を含む第一の画像データと、輪郭像データ生成部６２で生成された輪郭像データを少なくとも含む第二の画像データとのいずれか一方を駆動部４５に入力して、入力した画像データに基づく画像光を投写面２に投写させる。表示情報入力部６３は、自動車１０の運転モードに基づいて、第一の画像データと第二の画像データのどちらを駆動部４５に入力するかを決定する。
第二の画像データは、輪郭像データに加えて、障害物の存在を文字又はアイコン等によって警告するための情報等の自動車を後退させる際の運転を支援するための情報が含まれていてもよい。
運転モードとは、運転者から見てフロントウインドシールド１の前方（ボンネット側）に自動車１０が進行するための前進モードと、この前方の反対の方向に自動車１０が進行するための後退モードの２つのモードを少なくとも含む。この運転モードは、自動車１０のシフトレバー等を操作することで、運転者によって設定可能である。
表示情報入力部６３は、自動車１０が後退モードに設定された場合には第二の画像データを駆動部４５に入力する。表示情報入力部６３は、自動車１０が前進モードに設定された場合には第一の画像データを駆動部４５に入力する。
図５は、図２に示すＨＵＤ１００の動作を説明するためのフローチャートである。図５の説明にあたり、図６及び図７を参照し、運転者から観察される像の表示例も説明する。なお、図５に示す処理は、ＨＵＤ１００の電源がオンされている間、繰り返し実行される。
まず、表示情報入力部６３は、自動車１０の運転モードを検知し（ステップＳ１）、運転モードが後退モードに設定されたか否かを判定する（ステップＳ２）。表示情報入力部６３は、シフトレバーが“リア”の位置にある状態が所定時間（例えば２秒間）継続した場合に、後退モードが設定されたと判定し、後退モードが設定されたと判定した（ステップＳ２：ＹＥＳ）場合には、撮像画像データ取得部６１が、撮像部１１により撮像された撮像画像データを取得する（ステップＳ３）。
ここで、シフトレバーが“リア”の位置にある状態が所定時間継続した場合に後退モードが設定されたと判定しているのは、例えば、シフトレバーを“ドライブ”の位置から“パーキング”の位置まで移動させる操作等によってシフトレバーが瞬間的に“リア”の位置にある状態によりステップＳ３以降の処理が行われるのを防ぐためである。なお、ボタン操作等によって運転モードを個別に設定することのできる自動車であれば、後退モードに対応するボタンの押下を検知した時点で、ステップＳ２の判定がＹＥＳとなるようにしてもよい。
次に、輪郭像データ生成部６２は、ステップＳ３で取得された撮像画像データに輪郭抽出処理を施し、輪郭像データを生成する（ステップＳ４）。
次に、表示情報入力部６３は、輪郭像データ生成部６２により生成された輪郭像データを含む第二の画像データを駆動部４５に入力する。駆動部４５は、表示情報入力部６３から入力された第二の画像データに基づいて光変調素子４４を駆動することによって、第二の画像データに基づく画像光を投写面２に投写させる（ステップＳ５）。これにより、図６に示すように、輪郭画像１１０が運転者により観察される。
図６に示すように、輪郭画像１１０には、駐車場に駐車されている自動車の輪郭１１０Ａ及び輪郭１１０Ｂと、駐車場の地面に引かれた白線の輪郭１１０Ｃとが含まれている。光変調素子４４が液晶表示素子である場合には、輪郭画像１１０における輪郭１１０Ａ〜１１０Ｃ以外の部分は、光変調素子４４において光が遮断された部分に相当するため、この部分は透明になっている。光変調素子４４がＤＭＤである場合には、輪郭画像１１０における輪郭１１０Ａ〜１１０Ｃ以外の部分は、光が投写面２に投写されない方向に反射されることによって、透明として視認される。
図７は、自動車１０の室内における輪郭画像１１０の観察状態を示す模式図である。投写面２の前方には、自動車１０の後方を撮像して得られた輪郭画像１１０が虚像として観察される。図７の例では、フロントウインドイールド１における投写面２の前方に障害物１２０が存在している。運転者は、輪郭画像１１０を視認しつつ、輪郭画像１１０の透明部分（輪郭以外の部分）を通して、障害物１２０を視認することができる。
ステップＳ５の後、表示情報入力部６３は、自動車１０が後退モードに設定されたと判定してから予め決められた時間が経過したか否かを判定し（ステップＳ６）、この時間が経過していない場合（ステップＳ６：ＮＯ）には、ステップＳ３に処理が戻る。表示情報入力部６３は、この時間が経過したと判定した場合（ステップＳ６：ＹＥＳ）には、ステップＳ１に処理を戻し、上述した処理が繰り返される。
表示情報入力部６３は、ステップＳ２において前進モードが設定されていると判定した場合（ステップＳ２：ＮＯ）には、第一の画像データを駆動部４５に入力する。駆動部４５は、表示情報入力部６３から入力された第一の画像データに基づいて光変調素子４４を駆動することで、第一の画像データに基づく画像光を投写面２に投写させる。これにより、投写面２には、ナビゲーション情報、燃料残量、又は、走行速度等の自動車１０の前進時における運転を支援するための情報が投写される。ステップＳ７の後は、ステップＳ１に処理が戻り、上述した処理が繰り返される。
以上のようにＨＵＤ１００によれば、自動車１０が後退モードに設定されている場合には、撮像部１１により撮像して得られる撮像画像データから生成された輪郭像データに基づく画像光が投写面２に投写される。このため、運転者は、この画像光に基づく輪郭画像によって、フロントウインドシールド１側を見たままの姿勢で、自動車１０の進行方向（後方）の障害物等の状況を確認することができる。したがって、自動車１０の駐車作業等を安全かつ容易に行うことができる。
また、図７に例示したように、輪郭画像１１０は、輪郭以外が透明な画像である。このため、輪郭画像１１０が表示された状態においても、フロントウインドシールド１前方の視界を妨げることはなく、自動車１０の切り返し動作を行う際の安全性を十分に確保することができる。
また、ＨＵＤ１００によれば、後退モードに設定されたと判定してから予め決められた時間が経過するまでの間は、輪郭画像１１０の表示が継続して行われる。このため、駐車作業時等のように前進モードと後退モードとを頻繁に切り替える状況であっても、輪郭画像１１０の表示と非表示が頻繁に切り替わるのを防ぐことができ、円滑な駐車作業を支援することができる。
なお、輪郭像データは、輪郭抽出処理によって抽出された撮像画像の輪郭を単一の表示形態ではなく複数の表示形態で表すデータであってもよい。
例えば、図６の例では、白線の輪郭１１０Ｃを白色、自動車の輪郭１１０Ａ及び１１０Ｂを赤色等といったように、輪郭像データが撮像画像の輪郭を複数色によって表す画像データであってもよい。このような構成とすることにより、白線と障害物といった複数の物の区別が容易となり、視認性を向上させることができる。
または、図８に示すように、白線の輪郭を星記号の集合体２１０Ｃによって表し、自動車の輪郭を丸記号の集合体２１０Ａ，２１０Ｂによって表すように、輪郭像データが撮像画像の輪郭を複数の記号によって表す画像データであってもよい。このような構成とすることにより、白線と障害物といった複数の物の区別が容易となり、視認性を向上させることができる。
或いは、輪郭像データは、図９に示すように、直線部分の多い白線の輪郭については記号の集合体２１０Ｃによって表し、自動車等の曲線の多い物体については線によって輪郭１１０Ａ，１１０Ｂを表した画像データであってもよい。このような構成とすることにより、自動車１０の後方の視認性を向上させることができる。
なお、輪郭像データにおける輪郭を表す各記号は、黒色で塗りつぶされたデータとするのが好ましい。このようにすることにより、記号が虚像として表示された場合に、この記号によって前方の視界が妨げられるのを防ぐことができる。
図１０は、図４に示すＨＵＤ１００のシステム制御部６０の機能ブロックの変形例を示す図である。図１０において図４と同じ構成には同一符号を付して説明を省略する。
図１０に示すシステム制御部６０は、物体検知部６４が追加された点を除いては図４と同じ構成である。
物体検知部６４は、撮像画像データ取得部６１で取得された撮像画像データから画像処理により物体を検知する。物体とは、例えば人物、壁、電柱、又は、自動車等の自動車の走行時に障害となり得る立体物である。
図１０に示すシステム制御部６０の表示情報入力部６３は、物体検知部６４により検知された物体の面積が閾値以下の場合には、輪郭像データ生成部６２により生成された輪郭像データのうち、この物体に対応する部分を、撮像画像データ取得部６１により取得された撮像画像データのうちのこの物体に対応する部分に置換した置換後輪郭像データを生成し、置換後輪郭像データを駆動部４５に入力する。
表示情報入力部６３は、物体検知部６４により検知された物体の面積が閾値を超える場合には、輪郭像データ生成部６２により生成された輪郭像データを駆動部４５に入力する。
例えば、撮像部１１により撮像された撮像画像データが図１１に示すようなものである場合を説明する。図１１に示す撮像画像データには、駐車スペースを示す白線３０１と、別の自動車等の物体３００とが含まれる。
図１１に示す撮像画像データから物体検知部６４により検知される物体３００の面積は閾値以下である。このため、表示情報入力部６３は、撮像画像データから生成した輪郭像データ（白線３０１の輪郭と、物体３００の輪郭を示す画像データ）のうち、物体３００の輪郭で囲まれる部分を、図１１に示す物体３００の画像そのものに置換した置換後輪郭像データを生成し、この置換後輪郭像データを駆動部４５に入力する。
図１２は、図１１に示す撮像画像データから生成された置換後輪郭像データを示す図である。図１２に示す置換後輪郭像データには、図１１に示した白線３０１の輪郭３０１Ａと、図１１に示した物体３００とが含まれる。
図１３は、図１１に示す撮像画像データが得られた状態から自動車１０が更に後方に進んだ状態において撮像部１１により撮像された撮像画像データを示す図である。
図１３に示す撮像画像データには、図１１と同様に、駐車スペースを示す白線３０１と、別の自動車等の物体３００とが含まれる。図１３に示す撮像画像データは、図１１とは異なり、物体３００の面積が大きくなっており、図１３に示す撮像画像データから物体検知部６４により検知される物体３００の面積は閾値を超えている。
この場合、表示情報入力部６３は、撮像画像データから生成した輪郭像データ（白線３０１の輪郭と、物体３００の輪郭を示す画像データ）を駆動部４５に入力する。
図１４は、図１３に示す撮像画像データから生成された輪郭像データを示す図である。図１４に示す輪郭像データには、図１３に示した白線３０１の輪郭３０１Ａと、図１３に示した物体３００の輪郭３００Ａとが含まれる。
このように、変形例のシステム制御部６０は、物体の面積が閾値以下である状態、つまり、障害物となる物体が遠くにある状態では、その物体は輪郭ではなく画像そのものを表示させる。物体の面積が小さい状態では、画像そのものが表示されても、フロントウインドシールド１前方の視界を遮る面積は僅かとなるため、前方の視界を十分に確保することができる。また、物体の面積が小さい状態では、この物体が輪郭ではなく画像として表示されることによって、この物体の視認性を高めることができ、物体の存在に早い段階で気付くことができ、必要な行動の準備を行うことができる。
一方、物体の面積が閾値を超えた状態では、この物体が画像ではなく輪郭として表示されることになる。このため、物体を運転者に認識させながら、自動車１０の前方の視界を十分に確保することができる。
以上の説明では、自動車１０の後部に取り付けられた撮像部１１により撮像された撮像画像データから輪郭像データを生成する構成としたが、自動車１０の左右のサイドミラーに新たな撮像部を取り付け、自動車１０の右側の側方から後方と、自動車１０の左側の側方から後方をそれぞれ撮像するように構成してもよい。この構成では、システム制御部６０が、左右の撮像部により撮像された撮像画像データから輪郭像データを生成し、生成した輪郭像データに基づく画像光を投写面２に投写させる。これにより、運転者は、走行中においても、前方を向いたまま視線を動かすことなく、左右の状況を認知することができる。この構成は、車線変更を行う際に有効である。
以上説明してきたように、本明細書には以下の事項が開示されている。
開示された投写型表示装置は、乗り物の周囲を撮像する撮像部により撮像して得られた撮像画像データを取得する撮像画像データ取得部と、上記撮像画像データに基づいて、上記撮像画像データに基づく撮像画像の輪郭を表す輪郭像データを生成する輪郭像データ生成部と、光源から出射される光を、上記輪郭像データを含む画像データに基づいて空間変調し、上記空間変調して得られた画像光を上記乗り物における投写面に投写する投写表示部と、を備えるものである。
開示された投写型表示装置は、上記乗り物は、運転者から見て上記乗り物のフロントウインドシールドの前方に進行する前進モードと、上記前方の反対方向である前記乗り物の後方に進行する後退モードとが設定可能であり、上記撮像部は、上記乗り物の上記後方を撮像し、上記投写表示部は、上記乗り物が上記後退モードに設定されたタイミングに同期して、上記輪郭像データを含む画像データに基づく画像光の投写を開始するものである。
開示された投写型表示装置は、上記投写表示部は、上記乗り物が上記後退モードに設定されてから予め決められた期間において、上記輪郭像データを含む画像データに基づく画像光の投写を行うものである。
開示された投写型表示装置は、上記輪郭像データは、上記撮像画像の輪郭を複数の表示形態によって表すデータであるものを含む。
開示された投写型表示装置は、上記輪郭像データは、上記撮像画像の輪郭を複数色によって表すデータであるものを含む。
開示された投写型表示装置は、上記輪郭像データは、上記撮像画像の輪郭を複数の記号によって表すデータであるものを含む。
開示された投写型表示装置は、上記撮像画像データから物体を検出する物体検出部を更に備え、上記投写表示部は、上記物体検出部により検出された物体の面積が閾値以下の場合には、上記輪郭像データにおけるその物体に対応する部分を、上記撮像画像データのうちのその物体に対応する部分に置換した後の置換後輪郭像データに基づいて画像光の投写を行い、上記物体検出部により検出された物体の面積が上記閾値を超える場合には、上記輪郭像データに基づいて画像光の投写を行うものである。
開示された投写表示方法は、乗り物の周囲を撮像する撮像部により撮像して得られた撮像画像データを取得する撮像画像データ取得ステップと、上記撮像画像データに基づいて、上記撮像画像データに基づく撮像画像の輪郭を表す輪郭像データを生成する輪郭像データ生成ステップと、光源から出射される光を、上記輪郭像データを含むデータに基づいて空間変調し、上記空間変調して得られた画像光を上記乗り物における投写面に投写する投写表示ステップと、を備えるものである。
開示された投写表示方法は、上記乗り物は、運転者から見て上記乗り物のフロントウインドシールドの前方に進行する前進モードと、上記前方の反対方向である前記乗り物の後方に進行する後退モードとが設定可能であり、上記撮像部は、上記乗り物の上記後方を撮像し、上記投写表示ステップは、上記乗り物が上記後退モードに設定されたタイミングに同期して、上記輪郭像データに基づく画像光の投写を開始するものである。
開示された投写表示方法は、上記投写表示ステップは、上記乗り物が上記後退モードに設定されてから予め決められた期間において、上記輪郭像データに基づく画像光の投写を行うものである。
開示された投写表示方法は、上記輪郭像データは、上記撮像画像の輪郭を複数の表示形態によって表すデータであるものを含む。
開示された投写表示方法は、上記輪郭像データは、上記撮像画像の輪郭を複数色によって表すデータであるものを含む。
開示された投写表示方法は、上記輪郭像データは、上記撮像画像の輪郭を複数の記号によって表すデータであるものを含む。
開示された投写表示方法は、上記撮像画像データから物体を検出する物体検出ステップを更に備え、上記投写表示ステップでは、上記物体検出ステップにより検出された物体の面積が閾値以下の場合には、上記輪郭像データにおけるその物体に対応する部分を、上記撮像画像データのうちのその物体に対応する部分に置換した後の置換後輪郭像データに基づいて画像光の投写を行い、上記物体検出ステップにより検出された物体の面積が上記閾値を超える場合には、上記輪郭像データに基づいて画像光の投写を行うものである。
開示された投写表示プログラムは、乗り物の周囲を撮像する撮像部により撮像して得られた撮像画像データを取得する撮像画像データ取得ステップと、上記撮像画像データに基づいて、上記撮像画像データに基づく撮像画像の輪郭を表す輪郭像データを生成する輪郭像データ生成ステップと、光源から出射される光を、上記輪郭像データを含むデータに基づいて空間変調し、上記空間変調して得られた画像光を上記乗り物における投写面に投写する投写表示ステップと、をコンピュータに実行させるためのプログラムである。
本発明は、特に、後退する際に後方が直視しにくいバス、トラック、建機、重機、又は、ダンプカー等の乗り物に搭載して利便性が高く、有効である。
１００ ＨＵＤ
１ フロントウインドシールド
２ 投写面
３ ダッシュボード
４ 制御ユニット
５ 拡散部材
６ 反射ミラー
７ 凹面鏡
１０ 自動車
１１ 撮像部
４０ 光源ユニット
４０Ａ 光源制御部
４１ｒ Ｒ光源
４１ｇ Ｇ光源
４１ｂ Ｂ光源
４２ｒ、４２ｇ、４２ｂ コリメータレンズ
４３ ダイクロイックプリズム
４４ 光変調素子
４５ 駆動部
６０ システム制御部
６１ 撮像画像データ取得部
６２ 輪郭像データ生成部
６３ 表示情報入力部
６４ 物体検知部
１１０，２１０ 輪郭画像
１１０Ａ，１１０Ｂ 自動車の輪郭
１１０Ｃ 白線の輪郭
１２０ 障害物
２１０Ａ，２１０Ｂ 自動車の輪郭を示す丸記号の集合体
２１０Ｃ 白線を示す星記号の集合体
３００ 物体
３０１ 白線
３００Ａ 物体の輪郭
３０１Ａ 白線の輪郭

Claims (7)

  1. 乗り物の周囲を撮像する撮像部により撮像して得られた撮像画像データを取得する撮像画像データ取得部と、
    前記撮像画像データに基づいて、前記撮像画像データに基づく撮像画像の輪郭を表す輪郭像データを生成する輪郭像データ生成部と、
    光源から出射される光を、前記輪郭像データを含む画像データに基づいて空間変調し、前記空間変調して得られた画像光を前記乗り物における投写面に投写する投写表示部と、
    前記撮像画像データから物体を検出する物体検出部と、を備え、
    前記投写表示部は、前記物体検出部により検出された物体の面積が閾値以下の場合には、前記輪郭像データにおける当該物体に対応する部分を、前記撮像画像データのうちの当該物体に対応する部分に置換した後の置換後輪郭像データに基づいて画像光の投写を行い、前記物体検出部により検出された物体の面積が前記閾値を超える場合には、前記輪郭像データに基づいて画像光の投写を行う投写型表示装置。
  2. 請求項１記載の投写型表示装置であって、
    前記乗り物は、運転者から見て前記乗り物のフロントウインドシールドの前方に進行する前進モードと、前記前方の反対方向である前記乗り物の後方に進行する後退モードとが設定可能であり、
    前記撮像部は、前記乗り物の前記後方を撮像し、
    前記投写表示部は、前記乗り物が前記後退モードに設定されたタイミングに同期して、前記輪郭像データを含む画像データに基づく画像光の投写を開始する投写型表示装置。
  3. 請求項２記載の投写型表示装置であって、
    前記投写表示部は、前記乗り物が前記後退モードに設定されてから予め決められた期間において、前記輪郭像データを含む画像データに基づく画像光の投写を行う投写型表示装置。
  4. 乗り物の周囲を撮像する撮像部により撮像して得られた撮像画像データを取得する撮像画像データ取得ステップと、
    前記撮像画像データに基づいて、前記撮像画像データに基づく撮像画像の輪郭を表す輪郭像データを生成する輪郭像データ生成ステップと、
    光源から出射される光を、前記輪郭像データを含むデータに基づいて空間変調し、前記空間変調して得られた画像光を前記乗り物における投写面に投写する投写表示ステップと、
    前記撮像画像データから物体を検出する物体検出ステップと、を備え、
    前記投写表示ステップでは、前記物体検出ステップにより検出された物体の面積が閾値以下の場合には、前記輪郭像データにおける当該物体に対応する部分を、前記撮像画像データのうちの当該物体に対応する部分に置換した後の置換後輪郭像データに基づいて画像光の投写を行い、前記物体検出ステップにより検出された物体の面積が前記閾値を超える場合には、前記輪郭像データに基づいて画像光の投写を行う投写表示方法。
  5. 請求項４記載の投写表示方法であって、
    前記乗り物は、運転者から見て前記乗り物のフロントウインドシールドの前方に進行する前進モードと、前記前方の反対方向である前記乗り物の後方に進行する後退モードとが設定可能であり、
    前記撮像部は、前記乗り物の前記後方を撮像し、
    前記投写表示ステップは、前記乗り物が前記後退モードに設定されたタイミングに同期して、前記輪郭像データに基づく画像光の投写を開始する投写表示方法。
  6. 請求項５記載の投写表示方法であって、
    前記投写表示ステップは、前記乗り物が前記後退モードに設定されてから予め決められた期間において、前記輪郭像データに基づく画像光の投写を行う投写表示方法。
  7. 乗り物の周囲を撮像する撮像部により撮像して得られた撮像画像データを取得する撮像画像データ取得ステップと、
    前記撮像画像データに基づいて、前記撮像画像データに基づく撮像画像の輪郭を表す輪郭像データを生成する輪郭像データ生成ステップと、
    光源から出射される光を、前記輪郭像データを含むデータに基づいて空間変調し、前記空間変調して得られた画像光を前記乗り物における投写面に投写する投写表示ステップと、
    前記撮像画像データから物体を検出する物体検出ステップと、をコンピュータに実行させるための投写表示プログラムであって、
    前記投写表示ステップでは、前記物体検出ステップにより検出された物体の面積が閾値以下の場合には、前記輪郭像データにおける当該物体に対応する部分を、前記撮像画像データのうちの当該物体に対応する部分に置換した後の置換後輪郭像データに基づいて画像光の投写を行い、前記物体検出ステップにより検出された物体の面積が前記閾値を超える場合には、前記輪郭像データに基づいて画像光の投写を行う投写表示プログラム。
JP2018501029A 2016-02-22 2017-01-12 投写型表示装置、投写表示方法、及び、投写表示プログラム Active JP6446595B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016030907 2016-02-22
JP2016030907 2016-02-22
PCT/JP2017/000767 WO2017145546A1 (ja) 2016-02-22 2017-01-12 投写型表示装置、投写表示方法、及び、投写表示プログラム

Publications (2)

Publication Number Publication Date
JPWO2017145546A1 JPWO2017145546A1 (ja) 2018-12-20
JP6446595B2 true JP6446595B2 (ja) 2018-12-26

Family

ID=59685155

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018501029A Active JP6446595B2 (ja) 2016-02-22 2017-01-12 投写型表示装置、投写表示方法、及び、投写表示プログラム

Country Status (4)

Country Link
US (1) US10645308B2 (ja)
JP (1) JP6446595B2 (ja)
CN (1) CN108702488B (ja)
WO (1) WO2017145546A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11119315B2 (en) * 2015-10-15 2021-09-14 Maxell, Ltd. Information display apparatus
FR3098176B1 (fr) * 2019-07-02 2021-06-11 Psa Automobiles Sa Procédé et système de traitement d’image pour véhicule
JP7445447B2 (ja) * 2020-02-05 2024-03-07 株式会社東海理化電機製作所 表示装置及び表示システム
JP2021124597A (ja) * 2020-02-05 2021-08-30 株式会社東海理化電機製作所 表示装置及び表示システム
GB2595889A (en) * 2020-06-10 2021-12-15 Daimler Ag Methods and systems for displaying visual content on a motor vehicle and method for providing a motor vehicle
CN114312569B (zh) * 2021-12-06 2024-09-20 浙江吉利控股集团有限公司 一种车辆中投影操作的管理方法和装置及车辆

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7366595B1 (en) * 1999-06-25 2008-04-29 Seiko Epson Corporation Vehicle drive assist system
IL136652A0 (en) * 2000-06-08 2001-06-14 Arlinsky David A closed-loop control system in a car
DE10259882A1 (de) 2002-12-20 2004-07-15 Daimlerchrysler Ag Darstellungsbereich eines automobilen Nachsichtssystems
JP2006248374A (ja) 2005-03-10 2006-09-21 Seiko Epson Corp 車両安全確認装置及びヘッドアップディスプレイ
US7937667B2 (en) * 2006-09-27 2011-05-03 Donnelly Corporation Multimedia mirror assembly for vehicle
US7835592B2 (en) * 2006-10-17 2010-11-16 Seiko Epson Corporation Calibration technique for heads up display system
JP2008308063A (ja) * 2007-06-15 2008-12-25 Pioneer Electronic Corp ナビゲーション装置、並びに、表示制御方法及びプログラム
JP5171723B2 (ja) * 2009-04-27 2013-03-27 アルプス電気株式会社 障害物検知装置、および当該装置を搭載した車両
DE102009028498A1 (de) * 2009-08-13 2011-02-17 Daimler Ag Projektionsanzeigevorrichtung für Fahrzeuge
KR101098640B1 (ko) * 2009-12-30 2011-12-23 이명수 휴대용 방향지시등
JP5460635B2 (ja) 2011-03-31 2014-04-02 本田技研工業株式会社 画像処理判定装置
JP2013156324A (ja) * 2012-01-27 2013-08-15 Seiko Epson Corp プロジェクター、および、プロジェクターによる画像投射方法
JP5914114B2 (ja) 2012-03-30 2016-05-11 富士通テン株式会社 駐車支援装置、及び駐車支援方法
JP6264606B2 (ja) * 2013-03-19 2018-01-24 パナソニックＩｐマネジメント株式会社 投写型表示装置
CN105222801A (zh) * 2014-06-13 2016-01-06 大陆汽车投资（上海）有限公司 导航提示方法及导航提示系统
US9360668B2 (en) * 2014-08-07 2016-06-07 Continental Automotive Systems, Inc. Dynamically calibrated head-up display
CN105333883B (zh) * 2014-08-07 2018-08-14 深圳点石创新科技有限公司 一种用于抬头显示器的导航路径轨迹显示方法和装置
CN104677377A (zh) * 2015-02-10 2015-06-03 奇瑞汽车股份有限公司 车载导航方法及系统

Also Published As

Publication number Publication date
CN108702488B (zh) 2020-05-26
WO2017145546A1 (ja) 2017-08-31
US10645308B2 (en) 2020-05-05
US20180338094A1 (en) 2018-11-22
JPWO2017145546A1 (ja) 2018-12-20
CN108702488A (zh) 2018-10-23

Similar Documents

Publication Publication Date Title
JP6446595B2 (ja) 投写型表示装置、投写表示方法、及び、投写表示プログラム
JP6175589B2 (ja) 投写型表示装置及び投写表示方法
US10629106B2 (en) Projection display device, projection display method, and projection display program
JP6175588B2 (ja) 投写型表示装置及び運転支援方法
US10746988B2 (en) Projection display device, projection control method, and non-transitory computer readable medium storing projection control program
US10412354B2 (en) Projection type display device and projection control method
EP4411455A2 (en) Head-up display for vehicles and head-up display system for vehicles
US10630946B2 (en) Projection type display device, display control method of projection type display device, and program
JP6464326B2 (ja) 投写型表示装置及びその制御方法
JP6236577B2 (ja) 投写型表示装置及び投写制御方法
CN114466761A (zh) 平视显示器及图像显示系统
US10746992B2 (en) Projection display device with light blocking region detection, and control method and control program for projection display device with light blocking region detection
WO2013088486A1 (ja) 表示装置、表示方法及び表示プログラム
JP6780477B2 (ja) 映像表示装置、及び映像表示方法
WO2017145565A1 (ja) 投写型表示装置、投写表示方法、及び、投写表示プログラム
JP2019077340A (ja) ヘッドアップディスプレイ装置
JPWO2019130860A1 (ja) ヘッドアップディスプレイ装置、および制御プログラム
WO2018139433A1 (ja) 車両用表示装置
WO2019021587A1 (ja) 投写型表示装置、投写型表示装置の制御方法、投写型表示装置の制御プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180801

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180801

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20180801

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20181031

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181106

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181203

R150 Certificate of patent or registration of utility model

Ref document number: 6446595

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250