JP7035989B2 - Display device, discrimination method and irradiation method - Google Patents
Display device, discrimination method and irradiation method Download PDFInfo
- Publication number
- JP7035989B2 JP7035989B2 JP2018228826A JP2018228826A JP7035989B2 JP 7035989 B2 JP7035989 B2 JP 7035989B2 JP 2018228826 A JP2018228826 A JP 2018228826A JP 2018228826 A JP2018228826 A JP 2018228826A JP 7035989 B2 JP7035989 B2 JP 7035989B2
- Authority
- JP
- Japan
- Prior art keywords
- laser
- light
- region
- display device
- irradiated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Mechanical Optical Scanning Systems (AREA)
- Projection Apparatus (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Controls And Circuits For Display Device (AREA)
Description
本発明はディスプレイ装置、判別方法および照射方法に関する。 The present invention relates to a display device, a discrimination method and an irradiation method.
近年、プロジェクタを利用した画像表示技術が進展している。また、建物等の任意の物体に画像を表示するプロジェクションマッピングに代表されるように、様々な場所に画像を表示するニーズが高まっている。 In recent years, image display technology using a projector has been developed. In addition, there is an increasing need to display an image in various places, as represented by projection mapping in which an image is displayed on an arbitrary object such as a building.
例えば、非特許文献1には、自動車のガラスに表示する情報量の増加に対応した中間膜の開発について記載されている。また、非特許文献2には、様々な場所に対してフォーカスフリーで画像を投影する技術が記載されている。
For example, Non-Patent
非特許文献1に記載の技術は、ガラスに表示する技術に特化したものであり、非特許文献2に記載の技術は、可視光が反射する面にしか対応していない。一方、日常環境には、可視光を透過する領域と可視光を反射する領域が混在している。このような可視光を透過する領域と可視光を反射する領域に対して包括的・一元的に情報を表示するために、可視光を透過する領域と可視光を反射する領域を、使用者の安全性に配慮しつつ適切に判別して情報を表示する技術が期待されている。
The technique described in
本発明は、ユーザに対する安全性を確保しながら、被照射面の領域を適切に判別して情報を表示することができる、ディスプレイ装置、判別方法および照射方法を提供する。 The present invention provides a display device, a discrimination method, and an irradiation method capable of appropriately discriminating an area of an irradiated surface and displaying information while ensuring safety for a user.
本発明にかかるディスプレイ装置は、可視光レーザを受けることにより反射光を発する第1領域と、可視光を透過するとともに紫外光レーザを受けることにより所定の波長の蛍光を発する第2領域と、を有する被照射面に画像光を照射する。また、ディスプレイ装置は、被照射面の照射位置に可視光レーザおよび紫外光レーザのうち選択されたレーザ光を照射するレーザ光源部と、ユーザの顔の方向を検出する顔方向検出部と、ユーザの顔の方向に応じて照射位置にレーザ光を照射するか否かを判断し、レーザ光を照射可能と判定した場合に、レーザ光源部に対して予め設定された波長のレーザ光である参照光を照射するレーザ光源制御部と、照射位置において入力される光を検出する光検出部と、光検出部が検出した光に応じて照射位置が第1領域か第2領域かを判断する領域判断部と、を備える。 The display device according to the present invention has a first region that emits reflected light by receiving a visible light laser and a second region that transmits visible light and emits fluorescence of a predetermined wavelength by receiving an ultraviolet light laser. The imaged surface is irradiated with image light. Further, the display device includes a laser light source unit that irradiates the irradiation position of the irradiated surface with a laser beam selected from a visible light laser and an ultraviolet light laser, a face direction detection unit that detects the direction of the user's face, and a user. It is determined whether or not to irradiate the irradiation position with the laser light according to the direction of the face, and when it is determined that the laser light can be irradiated, the laser light has a wavelength preset for the laser light source unit. A laser light source control unit that irradiates light, a light detection unit that detects light input at the irradiation position, and an area that determines whether the irradiation position is the first region or the second region according to the light detected by the light detection unit. It has a judgment unit.
本発明にかかる判別方法は、被照射面における、可視光レーザを受けることにより反射光を発する第1領域と、可視光を透過するとともに紫外光レーザを受けることにより所定の波長の蛍光を発する第2領域とを判別する方法であって、ユーザの顔の方向を検出する顔方向検出ステップと、ユーザの顔の方向に応じて、被照射面の照射位置に、予め設定された波長のレーザ光を照射するか否かを判断し、レーザ光を照射可能と判定した場合にレーザ光を照射する参照光照射ステップと、参照光照射ステップで照射したレーザ光により被照射面が発した反射光または蛍光を検出する検出ステップと、検出ステップで検出した光に応じて照射位置が第1領域か第2領域かを判断する領域判断ステップと、を備える。 The discrimination method according to the present invention is a first region on an irradiated surface that emits reflected light by receiving a visible light laser, and a first region that transmits visible light and emits fluorescence of a predetermined wavelength by receiving an ultraviolet light laser. It is a method of discriminating between two regions, that is, a face direction detection step for detecting the direction of the user's face, and a laser beam having a preset wavelength at the irradiation position of the irradiated surface according to the direction of the user's face. The reference light irradiation step of irradiating the laser beam when it is determined that the laser beam can be irradiated, and the reflected light emitted by the irradiated surface by the laser beam irradiated in the reference light irradiation step. It includes a detection step for detecting fluorescence and a region determination step for determining whether the irradiation position is a first region or a second region according to the light detected in the detection step.
本発明にかかる照射方法は、可視光レーザを受けることにより反射光を発する第1領域と、可視光を透過するとともに紫外光レーザを受けることにより所定の波長の蛍光を発する第2領域と、を有する被照射面に画像光を照射する照射方法であって、ユーザの顔の方向を検出する顔方向検出ステップと、ユーザの顔の方向に応じて、被照射面の照射位置に、予め設定された波長のレーザ光を照射するか否かを判断し、レーザ光を照射可能と判定した場合にレーザ光を照射する参照光照射ステップと、参照光照射ステップで照射したレーザ光により被照射面が発した反射光または蛍光を検出する検出ステップと、検出ステップで検出した光に応じて照射位置が第1領域か第2領域かを判断する領域判断ステップと、領域判断ステップで第1領域と判定した照射位置に対しては可視光レーザを照射し、領域判断ステップで第2領域と判定した照射位置に対しては紫外光レーザを照射して画像光を照射する画像光照射ステップと、を備える。 The irradiation method according to the present invention comprises a first region that emits reflected light by receiving a visible light laser and a second region that transmits visible light and emits fluorescence of a predetermined wavelength by receiving an ultraviolet light laser. It is an irradiation method for irradiating the irradiated surface with image light, and is set in advance at the irradiation position of the irradiated surface according to the face direction detection step for detecting the direction of the user's face and the direction of the user's face. It is determined whether or not to irradiate the laser beam of the same wavelength, and when it is determined that the laser beam can be irradiated, the irradiated surface is exposed to the reference light irradiation step of irradiating the laser beam and the laser beam irradiated in the reference light irradiation step. A detection step for detecting emitted reflected light or fluorescence, a region determination step for determining whether the irradiation position is the first region or the second region according to the light detected in the detection step, and a region determination step for determining the first region. The irradiation position is provided with a visible light laser, and the irradiation position determined to be the second region in the region determination step is provided with an image light irradiation step of irradiating the ultraviolet light laser to irradiate the image light. ..
本発明によれば、ユーザに対する安全性を確保しながら、被照射面の領域を適切に判別して情報を表示することができる、ディスプレイ装置、判別方法および照射方法を提供することができる。 INDUSTRIAL APPLICABILITY According to the present invention, it is possible to provide a display device, a discrimination method, and an irradiation method capable of appropriately discriminating an area of an irradiated surface and displaying information while ensuring safety for a user.
以下、図面を参照しながら本発明の実施の形態について説明する。説明の明確化のため、以下の記載および図面は、適宜、省略、および簡略化がなされている。なお、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. For the sake of clarity, the following description and drawings have been omitted and simplified as appropriate. In each drawing, the same elements are designated by the same reference numerals, and duplicate explanations are omitted as necessary.
<実施の形態1>
図1を参照しながら実施の形態1について説明する。図1は、実施の形態にかかるディスプレイ装置を搭載した自動車の上面図である。図に示す自動車900は、カメラ901およびディスプレイ装置1を有している。カメラ901は自動車900の周辺画像を撮像する複数のカメラである。図に示すように、自動車900は右側のドアミラーにカメラ901Rを有し、左側のドアミラーにカメラ901Lを有している。カメラ901Rは、自動車900の右側の周辺画像を撮像し、カメラ901Lは、自動車900の左側の周辺画像を撮像する。具体的には、カメラ901Rは、自動車900の右側から右後方を撮像し、カメラ901Lは、自動車の左側から左後方を撮像する。また、カメラ901は、自動車900の前方を撮影するために自動車900の前方を向いて配置されているカメラを含んでもよい。また、カメラ901は、自動車900の後方を撮影するために自動車900の後方を向いて配置されているカメラを含んでもよい。
<
The first embodiment will be described with reference to FIG. FIG. 1 is a top view of an automobile equipped with the display device according to the embodiment. The
ディスプレイ装置1は、自動車900の室内に設定された被照射領域にレーザ光を照射することにより所定の画像を表示するレーザプロジェクタである。図に示すように、自動車900は2台のディスプレイ装置(ディスプレイ装置1Aおよびディスプレイ装置1B)を有している。
The
図2を参照しながら自動車内におけるディスプレイ装置の配置について説明する。図2は、実施の形態1にかかるディスプレイ装置を搭載した自動車の室内の例を示した図である。 The arrangement of the display device in the automobile will be described with reference to FIG. FIG. 2 is a diagram showing an example of the interior of an automobile equipped with the display device according to the first embodiment.
ディスプレイ装置1は頭部センサ50を有している。頭部センサ50はイメージセンサを含み、運転者Uの頭部を撮像することができるように設置されている。ディスプレイ装置1は運転者Uの頭部を撮像することにより運転者Uの顔の方向を検出する。
The
ディスプレイ装置1Aおよびディスプレイ装置1Bは、自動車900の運転席上方の天井に固定され、ディスプレイ装置1Aが室内の右前方の領域に画像を照射し、ディスプレイ装置1Bが室内の左前方の領域に画像を照射するように設定されている。ディスプレイ装置1Aは、例えば、カメラ901Rが撮像した自動車900の右側の周辺画像に所定の処理を施して、室内の右前方にその画像を照射する。同様に、ディスプレイ装置1Bは、例えば、カメラ901Lが撮像した自動車900の左側の周辺画像に所定の処理を施して、室内の左前方にその画像を照射する。
The
ディスプレイ装置1は、可視光レーザを受けることにより反射光を発する第1領域と、可視光を透過するとともに紫外光レーザを受けることにより所定の波長の蛍光を発する第2領域と、を有する被照射面に画像光を照射する。
The
図2を参照しながらディスプレイ装置1による表示の例について説明する。図2は、ディスプレイ装置1が運転者に対するメッセージ画像を照射した例を示している。メッセージ画像とは、ディスプレイ装置1が画像光を照射することにより運転者Uに認識させるために表示する画像である。図は、自動車900の運転者が見ている風景を示したものである。図に示すように、自動車900の左前方には自転車801が走行している。また、自動車900の進行方向には歩行者802が存在している。さらに、自動車900の右前方には側道に他の自動車803が進行している状況である。また、ディスプレイ装置1は、自動車900の外部に設置されたカメラ901により撮像された画像の画像データから、これらの物体を認識することができるように構成されている。
An example of display by the
このように、本実施の形態におけるディスプレイ装置1は、カメラが撮像した画像に基づいて、Aピラーやドアトリムにより死角になっている外部の物体を、可視光レーザを照射することにより、被照射領域に表示することができる。
As described above, the
また、ディスプレイ装置1は、カメラにより撮像された画像に基づいて、自動車900の前方に存在している歩行者802を認識している。ディスプレイ装置1は、歩行者802の存在を運転者に認識させるために、メッセージ画像として、歩行者802の周囲を矩形など多角形の枠で囲む表示を行っている。この場合、ディスプレイ装置1は、第2領域に紫外光レーザを照射することにより歩行者802を囲う矩形の表示等を行う。
Further, the
このように、ディスプレイ装置1は、運転者の視覚の範囲内において、任意の情報を運転者に認識させるためのメッセージ画像を表示する。この際、ディスプレイ装置1は、第1領域に対しては可視光レーザを照射し、第2領域に対しては紫外光レーザを照射する。
In this way, the
図3を参照しながら、自動車900の室内における被照射領域について説明する。図3は、実施の形態1にかかるディスプレイ装置の被照射領域を示した図である。自動車900の室内前方における運転者の視界として想定される領域の内、右側には被照射領域F91が設定され、被照射領域F91の左側には被照射領域F92が隣接して設定されている。
The irradiated area in the interior of the
被照射領域F91は、ディスプレイ装置1Aが画像を照射する領域である。被照射領域F91は、ウィンドシールド904、右側のAピラー905、サイドウィンドウ906、ダッシュボード、ドアトリム等を含んでいる。また、被照射領域F92は、ディスプレイ装置1Bが画像を照射する領域である。被照射領域F92は、ウィンドシールド904、左側のAピラー903、サイドウィンドウ902、ダッシュボードおよびドアトリム等を含んでいる。すなわち、被照射領域F91および被照射領域F92は、可視光を比較的に透過しない領域(Aピラーおよびダッシュボード等)と、可視光を比較的に透過する領域(サイドウィンドウおよびウィンドシールド)とを含んでいる。以降の説明において、可視光を比較的に透過しない領域を第1領域と称する。また、可視光を比較的に透過する領域を第2領域と称する。被照射領域F91の左端部と被照射領域F92の右端部とは、部分的に重なっていてもよく、間隔があってもよい。
The irradiated area F91 is an area where the
被照射領域F91と被照射領域F92とを合わせた領域は、運転者が前方を向いているときの視界とほぼ一致している。複数のディスプレイ装置1を設置し、照射範囲を隣接させた状態において、複数のディスプレイ装置により照射する画像を配置させることにより、ディスプレイ装置1は、広角の画像を好適に表示することができる。
The combined region of the irradiated region F91 and the irradiated region F92 substantially coincides with the field of view when the driver is facing forward. By installing a plurality of
被照射領域を形成する領域のうち第1領域を形成する、Aピラー905やダッシュボード等は、可視光を透過しない領域である。第1領域は、可視光を透過せず、可視光を反射する機能を有している。したがって、第1領域では、ディスプレイ装置1が照射する可視光を反射し、反射した可視光を運転者等に視認させることができる。第1領域の表面は、ディスプレイ装置1が照射した可視光を好適に反射することができるように、再帰性反射材を含む材料により構成されていてもよい。
The A-pillar 905, the dashboard, and the like, which form the first region of the regions forming the irradiated region, are regions that do not transmit visible light. The first region has a function of reflecting visible light without transmitting visible light. Therefore, in the first region, the visible light emitted by the
被照射領域を形成する領域のうち第2領域を形成する、サイドウィンドウ902、ウィンドシールド904およびサイドウィンドウ906は、可視光を透過するとともに、所定の波長を有する紫外光を受けると発光する機能を有している。このような機能を有する材料は、例えば、自発光中間膜を有する合せガラスである。
The
ディスプレイ装置1Aおよびディスプレイ装置1Bは、運転者の上部後方にそれぞれ異なる方向を照射するように配置されている。ディスプレイ装置1Aは、運転者の上部左後方に設置され、運転者の右前方を照射する。ディスプレイ装置1Aは照射可能範囲に被照射領域F91が含まれるように設置されている。同様に、ディスプレイ装置1Bは照射可能範囲内に被照射領域F92が含まれるように設置されている。
The
上述のように、被照射領域F91および被照射領域F92は、可視光を反射する第1領域と、可視光を透過するとともに紫外光を受けることにより可視光の波長域の蛍光を発する第2領域とを有する。 As described above, the irradiated region F91 and the irradiated region F92 have a first region that reflects visible light and a second region that transmits visible light and emits fluorescence in the wavelength region of visible light by receiving ultraviolet light. And have.
次に、図4を参照しながらウィンドシールドが有する自発光中間膜の原理について概要を説明する。図4は、実施の形態1にかかるウィンドシールドの断面を模式的に示した図である。ウィンドシールド904は、2枚のガラス板904Gと、この2枚のガラス板904Gの間に挟まれた自発光中間膜904IMと、により構成されている。また、自発光中間膜904IMは、発光材料904Aを含んでいる。発光材料904Aは、特定の波長を有する紫外光によって励起されると可視光域の波長を有する蛍光を発するとともに、上記紫外光以外の光を透過する性質を有している。すなわち、上述の構成を有するウィンドシールド904に対してディスプレイ装置1から所定の紫外光を照射することによって自発光中間膜904IMが発光する。これにより、自動車900に搭乗している運転者等は、ウィンドシールド904に表示される画像を視認することができる。
Next, the principle of the self-luminous interlayer film of the windshield will be described with reference to FIG. FIG. 4 is a diagram schematically showing a cross section of the windshield according to the first embodiment. The
なお、サイドウィンドウ902、ウィンドシールド904およびサイドウィンドウ906は、上述した材料に限らず、可視光を透過するとともに、所定の波長を有する紫外光を受けると発光する機能を有していれば、別の構造を有していてもよい。例えば、可視光を透過するアクリル等の樹脂と発光材料との組み合わせにより構成されていてもよい。また、サイドウィンドウ902、ウィンドシールド904およびサイドウィンドウ906は、上述した構成に加えて、自動車の外面側に、紫外光をカットする性質を有するUVカット層を有してもよい。これにより、ディスプレイ装置1が照射する紫外光が外部へ漏れるのを抑制することができるとともに、太陽光に含まれる紫外光により全面が蛍光し視界を妨げることも回避できる。
The
次に、図5を参照しながらディスプレイ装置1の構成について説明する。図5は、実施の形態1にかかるディスプレイ装置の構成図である。ディスプレイ装置1は主な構成として、制御部10、レーザ光源部20、スキャナ部30、メモリ40および頭部センサ50を有している。
Next, the configuration of the
制御部10は、カメラ901と、レーザ光源部20と、スキャナ部30と、メモリ40と、頭部センサ50とにそれぞれ接続し、ディスプレイ装置1の動作の制御を司る。制御部10は例えばCPU(Central Processing Unit)、GPU(Graphics Processing Unit)またはその他の電気回路の組み合わせにより構成される。したがって、例えば、制御部10を制御回路ということもできる。制御部10は主な構成として、画像データ取得部11、画像処理部12、領域判断部13、レーザ光源制御部14、スキャナ制御部15および顔方向検出部16を有している。
The
画像データ取得部11は、カメラ901が撮像した自動車900の周辺画像のデータである画像データを、所定のインタフェースを介して受け取る処理を行う。
The image
画像処理部12は、画像データ取得部11が取得した画像データから所定の物体を認識し、認識した物体に関する情報に基づいて、画像データに対して所定の処理を行う。所定の処理の一例は、認識した対象物体の画像データを抽出し、抽出した画像データを被照射領域F91および被照射領域F92に照射するための照射画像データを生成する処理である。なお、照射画像データとは、ディスプレイ装置1が照射する画像の画像データである。所定の処理の別の例は、認識した対象物体に対して、ユーザから見た対象物体の位置に対象物体の周囲を囲う枠を描画させる処理や、認識した物体が歩行者であるか、自転車であるか、などの種別を表示するアイコンや文字情報を描画させる処理である。また、画像処理部12は、歪み調整を行う機能を有しており、画像データに対して被照射面に対応した歪み調整処理を行う。画像処理部12は、上述の処理を行い、照射画像データを生成する。
The
領域判断部13は、領域判断処理を行う。領域判断処理において、領域判断部13は、レーザ光源部20が可視光レーザまたは紫外光レーザを照射した位置である被照射面の照射位置に関する情報を取得する。照射位置に関する情報は、スキャナ制御部15がスキャナ部30を制御する際に使用している情報であり、例えば、スキャナミラーの角度に対応している。
The
また、領域判断処理において、領域判断部13は、光源部に対して予め設定された波長のレーザ光を被照射面に対して順次照射することを指示する。なお、領域判断処理においてディスプレイ装置1が照射する予め設定された波長のレーザ光を「参照光」と称する。領域判断部13は、参照光を照射する照射位置において光検出部24が生成した信号を取得する。これにより、領域判断部13は、光検出部24が生成した信号の大きさと予め設定された閾値とを比較して、レーザ光を照射した照射位置が第1領域か第2領域かを判断する。なお、領域判断処理のさらに詳細については後述する。
Further, in the area determination process, the
レーザ光源制御部14は、照射画像データに基づいたレーザ駆動信号をレーザドライバ22に出力して、レーザダイオードの出力を制御する。これにより、レーザ光源制御部14は、レーザ光源部20による光の出力を制御する。具体的には、レーザ光源制御部14は、画像処理部12において処理された照射画像データに含まれる各画素の色や輝度に応じて、可視光のレーザ光源である赤色、青色、緑色のレーザダイオード211R、211B、211Gおよび紫外レーザダイオード211UVの駆動を制御する。また、レーザ光源制御部14は、フォトダイオード23が検出したレーザ光のエネルギの強さに基づいて、レーザ光源部20の状態を判断し、レーザダイオード211の駆動電流値を決定してレーザドライバ22を制御するAPC(Automatic Power Control)処理を行う。
The laser light
また、レーザ光源制御部14は、スキャナ制御部15と同期して動作する。より具体的には、例えば、レーザ光源制御部14は、水平方向の同期を図る水平同期信号と、垂直方向の同期を図る垂直同期信号をスキャナ制御部15と共有し、これらの信号に基づいて各レーザの出力を決定する。このように、レーザ光源制御部14とスキャナ制御部15とが同期して動作することにより、ディスプレイ装置1は、照射画像データを構成する各画素の色および出力を制御する。ディスプレイ装置1は、これにより所望の画像を生成することができる。
Further, the laser light
また、レーザ光源制御部14は、波長選択部141を有している。波長選択部141は、被照射面における第1領域および第2領域の分布に関する情報である領域分布情報に基づいて、第1領域には、第1領域に対応している可視光を第1波長光として選択し、第2領域には第2領域に対応している紫外光を第2波長光として選択する機能を有している。
Further, the laser light
波長選択部141は、例えば、ディスプレイ装置1が照射する画像の画素に対応する照射位置ごとに、可視光または紫外光の出力を設定する処理を行う。レーザ光源制御部14は、メモリ40に格納されている領域分布情報と、水平同期信号および垂直同期信号に基づいて波長選択部141が設定したレーザ光を出力させることにより、可視光か紫外光かの出力を切り換える。これにより、ディスプレイ装置1は、第1領域に含まれる画素を照射する場合には可視光レーザを駆動させ、第2領域に含まれる画素を照射する場合には紫外光レーザを駆動させる。このように、予め設定されている領域分布情報に基づいてレーザ光を切り換えることにより、効率よく波長の切換動作を行うことができる。
The
また、レーザ光源制御部14は、顔方向検出部16が検出した運転者Uの顔の方向に応じて、レーザ光を照射するか否かを判断する。具体的には例えばディスプレイ装置1が領域判断処理を行う際に、レーザ光源制御部14は、運転者Uの顔が被照射領域に向いている場合には、レーザ光を照射しないことを決定する。参照光は予め設定された波長のレーザ光を被照射領域の前面に照射する。したがって、第1領域において参照光により生成される反射光や第2領域において参照光により生成される蛍光が運転者Uの視覚に対して強い刺激になる可能性がある。また運転者Uの視覚に対して強い刺激を与えた場合、自動車ないし運転者Uの安全性を低下させる可能性がある。そのため、レーザ光源制御部14は、運転者U被照射領域を目視していると推定される状況では参照光を照射しないことを決定する。
Further, the laser light
また、例えば、ディスプレイ装置1がメッセージ画像を表示している場合において、運転者Uが被照射領域に向いていない場合には、メッセージ画像を表示する必要がない可能性がある。そのような場合レーザ光源制御部14は、レーザ光を照射しないことを決定する。
Further, for example, when the
スキャナ制御部15は、スキャナ駆動信号をスキャナドライバ32に出力してスキャナ31によるレーザ光の走査を制御する。スキャナ制御部15は、上述の水平同期信号および垂直同期信号に応じてスキャナ部30の動作を制御する。また、スキャナ制御部15は、スキャナ31の走査角を検出する走査角検出部(図示せず)の検出信号を監視して、スキャナ31の走査角、波形の生成、揺動周波数の制御等を行う。
The
顔方向検出部16は、頭部センサ50から供給される信号を受け取り、受け取った信号から運転者Uの顔の方向を検出する。顔方向検出部16は、例えば、頭部センサ50から運転者Uの頭部を撮像した画像データを取得する。顔方向検出部16は、取得した画像データから運転者Uの顔の部分を認識するとともに、運転者Uの顔の面積と頭の面積との比から、運転者Uの顔がどの方向に向いているかを検出する。
The face
レーザ光源部20は、主な構成として、レーザ光を出力するレーザモジュール21、レーザモジュール21が有するレーザダイオードを駆動するレーザドライバ22、レーザ光の光量を測定するフォトダイオード23、そしてスキャナ部30から受ける光のエネルギの強さを検出する光検出部24を有する。
The laser
図6を参照しながらレーザ光源部20の詳細について説明する。図6は、実施の形態1にかかるディスプレイ装置のレーザ光源部の構成図である。レーザモジュール21は、図に示すように、赤色レーザダイオード211R、緑色レーザダイオード211G、青色レーザダイオード211B、紫外レーザダイオード211UV、各レーザダイオード211R、211B、211G、211UVにそれぞれ対応するダイクロイックミラー212R、212G、212B、212UVを有する。レーザダイオード211から出力された各色のレーザ光は、ダイクロイックミラー212によって合波されてスキャナ部30に出力される。
The details of the laser
ダイクロイックミラー212Rは、赤色レーザダイオード211Rから出力される赤色の波長の光をほぼ100%反射する特性を有する。ダイクロイックミラー212Gは、赤色レーザダイオード211Rから出力される赤色の波長の光をほぼ100%透過させるとともに、緑色レーザダイオード211Gから出力される緑色の波長の光をほぼ100%反射する特性を有する。ダイクロイックミラー212Bは、その特性例として、赤色レーザダイオード211Rから出力される赤色の波長の光および緑色レーザダイオード211Gから出力される緑色の波長の光をほぼ100%透過させる特性を有する。さらにダイクロイックミラー212Bは、その特性例として、青色レーザダイオード211Bから出力される青色の波長の光をほぼ100%反射する特性を有する。ダイクロイックミラー212UVは、赤色の波長の光、緑色の波長の光および青色の波長の光を約98%反射するとともに約2%透過させる特性を有する。また、ダイクロイックミラー212UVは、紫外レーザダイオード211UVから出力される紫外光を約98%透過させ、約2%反射させる特性を有する。
The
このようなダイクロイックミラー212の構成により、レーザダイオード211から出力された可視光および紫外光(赤色の波長のレーザ光、緑色の波長のレーザ光、青色の波長のレーザ光および紫外光)の約98%はスキャナ部30に入射され、これらのレーザ光の約2%は、フォトダイオード23に入射される。レーザドライバ22は、制御部10からのレーザ駆動信号に基づいてレーザダイオード211を駆動する。フォトダイオード23は入射したレーザ光の光量を測定し、測定結果を制御部10に出力する。なお、レーザダイオード211およびダイクロイックミラー212の配置は図に示したものに限らず、スキャナ部30およびフォトダイオード23に同様の出力がなされれば良い。
With such a configuration of the dichroic mirror 212, about 98 of visible light and ultraviolet light (red wavelength laser light, green wavelength laser light, blue wavelength laser light and ultraviolet light) output from the laser diode 211. % Is incident on the
また、レーザ光源部20は、上記構成に加えて、ビームスプリッタ213、1/4波長板214および光検出部24を有する。ビームスプリッタ213は、スキャナ部30から受ける光のうち、予め設定された波長の光を反射する。ビームスプリッタ213は、例えば偏光依存性を有し、ダイクロイックミラー212UV側から入射したレーザ光をほぼ100%透過するとともに、外部から反射して戻ってきた光の直交偏光成分を光検出部24に供給する。1/4波長板214は、レーザ光源部20から射出されたレーザ光を往復で概ね直交させるために用いており、往路の反射を抑制し、戻り光を効率よく光検出部24に導くために設けられている。
In addition to the above configuration, the laser
光検出部24は、スキャナ部30、1/4波長板214およびビームスプリッタ213を介して受ける光を電気信号に変換する光電変換素子を含むフォトディテクタである。光検出部24は、予め設定された波長の光を受けた場合に、その光のエネルギの強さに応じた電流を生成する。光検出部24は、生成した電流の電流値に応じた信号を、制御部10に供給する。
The
例えば、光検出部24は、ウィンドシールドに設けられた自発光中間膜が発する蛍光の光の強さを検出する機能を有することができる。光検出部24が蛍光の光の強さを検出する場合、領域判断部13は、光検出部24から供給される信号に応じて、検出した位置が第2領域であることを判定する。一方、光検出部24が、Aピラー等の自動車の内装に所定の可視光が当たることにより発する反射光の光の強さを検出する場合、領域判断部13は、光検出部24から供給される信号に応じて、検出した位置が第1領域であることを判定する。
For example, the
図5に戻り説明を続ける。スキャナ部30は、レーザ光源部20から入射されたレーザ光を被照射領域に照射する。スキャナ部30は、主な構成として、レーザ光源部20から出力されたレーザ光を反射してレーザ光の照射位置を走査する走査ミラー部であるスキャナ31、スキャナ31を駆動するスキャナドライバ32、スキャナ31の走査角を検出する走査角検出部(図示せず)等を有する。スキャナ31は、レーザ光を反射して垂直方向に走査する垂直ミラー311、レーザ光を反射して水平方向に走査する水平ミラー312等を有する。垂直ミラー311および水平ミラー312は、MEMS(micro electro mechanical system)ミラー等により構成される。
Returning to FIG. 5, the explanation will be continued. The
スキャナドライバ32は、スキャナ制御部15からのスキャナ駆動信号に基づき、スキャナ31を駆動する。スキャナ31を垂直ミラー311および水平ミラー312で構成する場合に、一般的には、垂直ミラー311はスキャナドライバ32によって制御される走査角および揺動周波数で動作し、水平ミラー312は揺動周波数が高いために共振による走査角および揺動周波数で動作する。なお、水平ミラー312は垂直ミラー311と同様にスキャナドライバ32によって制御される走査角および揺動周波数で動作するようにしても良い。
The
メモリ40は例えばEPROM(Erasable Programmable Read Only Memory)、フラッシュメモリまたはFeRAM(Ferroelectric Random Access Memory)等の書き換え可能な不揮発性の記憶装置である。メモリ40は、制御部10に接続しており、制御部10の指示により、任意のデータを記憶し、あるいはメモリ40内に記憶している任意のデータを制御部10に提供する。またメモリ40は、書き換え可能な情報として領域分布情報を記憶している。
The
領域分布情報は、ディスプレイ装置1が操作する照射位置ごとに、その照射位置が第1領域か第2領域かを示した情報である。換言すると、領域分布情報は被照射領域を、第1領域と第2領域とに画定した情報である。レーザ光源制御部14は、この領域分布情報を参照しながら、第1領域に対しては可視光レーザを照射し、第2領域に対しては紫外光レーザを照射することをレーザ光源部20に指示する。
The region distribution information is information indicating whether the irradiation position is the first region or the second region for each irradiation position operated by the
頭部センサ50は、上述のように、運転者Uの頭部を撮像するイメージセンサを含み、撮像した運転者Uの頭部の画像データを顔方向検出部16に供給する。なお、頭部センサ50は運転者Uの顔の方向を認識することができる程度の解像度を有する画像データを取得することができればよい。すなわち頭部センサはイメージセンサであってもよい。また頭部センサ50は、イメージセンサに代えて測距センサであってもよいし、熱画像が取得できる赤外線センサであってもよい。
As described above, the
次に、図7および図8を参照しながら、頭部センサ50が検出する運転者Uの頭部のイメージおよび顔方向検出部16が顔の方向を検出する処理の例について説明する。
Next, with reference to FIGS. 7 and 8, an image of the head of the driver U detected by the
図7は、運転者Uが左を向いている場合のイメージである。図の上側に示す画像50Aにおいて、運転者Uの頭部は略中央に存在している。頭部センサ50は、画像50Aを撮像し、撮像した画像の画像データを顔方向検出部16に供給する。顔方向検出部16は、頭部センサ50から受け取った画像データから、エッジ検出により頭部を抽出する。図の下側に示す画像51Aは、顔方向検出部16が運転者Uの頭部を抽出し、抽出した頭部の画像を分割した状態を示している。顔方向検出部16は、このように抽出した頭部の画像を分割して、各アドレスの特徴量を算出し、運転者Uの顔の方向を推定する。顔方向検出部16はこのような処理を行い、画像51Aにおいて運転者Uの顔が左側を向いていることを検出する。
FIG. 7 is an image when the driver U is facing to the left. In the
図8は、運転者Uが右を向いている場合のイメージである。図7の場合と同様に、頭部センサ50は、画像50Bを撮像し、撮像した画像の画像データを顔方向検出部16に供給する。顔方向検出部16は、頭部センサ50から受け取った画像データから、エッジ検出により頭部を抽出する。そして、顔方向検出部16は、抽出した頭部の画像を分割して、各アドレスの特徴量を算出し、運転者Uの顔の方向を推定する。顔方向検出部16はこのような処理を行い、画像51Bにおいて運転者Uの顔が右側を向いていることを検出する。
FIG. 8 is an image when the driver U is facing to the right. Similar to the case of FIG. 7, the
次に、図9および図10を参照しながらディスプレイ装置1が領域判断処理を行う場合について説明する。図9は、制御部10が領域判断処理を行う場合にレーザ光源制御部14が行う処理のフローチャートである。
Next, a case where the
まず、制御部10のレーザ光源制御部14は、顔方向検出部16から顔の方向に関する情報を受け取る(ステップS1)。次に、レーザ光源制御部14は、顔方向検出部16から受け取った情報から、レーザ光を照射して走査すること(レーザ走査)が可能か否かを判断する(ステップS2)。運転者Uの顔が被照射領域に向いていないことが検出された場合、レーザ光源制御部14は、レーザ走査可能と判断する(ステップS2:Yes)。その場合、制御部10は、領域判断処理を実行する(ステップS3)。ステップS1の処理は、顔方向検出ステップである。
First, the laser light
一方、運転者Uの顔が被照射領域に向いていることが検出された場合、レーザ光源制御部14は、レーザ走査可能と判断しない(ステップS2:No)。その場合、制御部10は、ステップS1に戻り、再び運転者Uの顔の方向に関する情報を受け取る。なお、レーザ光源制御部14がレーザ走査可能と判断しない場合に、制御部10は処理を終了させてもよい。
On the other hand, when it is detected that the face of the driver U faces the irradiated area, the laser light
次に、図10を参照しながら領域判断処理について説明する。図10は、ディスプレイ装置1が行う領域判断処理のフローチャートである。図10のフローチャートは、図9のステップS3の詳細であり、ディスプレイ装置1が有する制御部10の処理を示している。図に示す領域判断処理においてディスプレイ装置1は、被照射領域に対して参照光として紫外光レーザを照射する。また、光検出部24は、自発光中間膜が発する蛍光を検出する。そして領域判断部13は、光検出部24が蛍光を検出した場合に、蛍光を検出した位置が第2領域であると判定する構成となっている。
Next, the area determination process will be described with reference to FIG. FIG. 10 is a flowchart of the area determination process performed by the
領域判断処理を開始すると、まず制御部10は、スキャナ部30を動作させるとともに、レーザ光の照射を開始することで、レーザ光の走査(レーザ走査)を開始する(ステップS10)。より具体的には、制御部10が有するレーザ光源制御部14は、領域判断処理において照射することが設定されているレーザ光を照射することをレーザドライバに指示する。
When the area determination process is started, the
次に制御部10が有するスキャナ制御部15は、水平方向の座標Hnを1~Hmaxまでインクリメントさせるとともに、垂直方向の座標Vmを1~Vmaxまでインクリメントさせる。これにより、レーザ光は、被照射領域を順次走査しながら予め設定されたレーザ光を照射する。上述の動作を行うに際して、制御部10が有するスキャナ制御部15は、垂直ミラー311の座標Vmを1に設定する(ステップS11)。また、スキャナ制御部15は、水平ミラー312の座標Hnを1に設定する(ステップS12)。ステップS2、ステップS11およびステップS12は、参照光照射ステップである。
Next, the
次に、制御部10が有する領域判断部13は、水平方向の座標Hn=1、垂直方向Vm=1を照射位置とした場合に光検出部24が受ける光を検出し、光のエネルギの強さに相当する電流値Abが閾値Athを超えたか否かを判断する(ステップS13)。電流値Abが閾値Athを超えたこと検出した場合(ステップS13:Yes)、領域判断部13は、照射位置を第1領域であると判定する(ステップS14)。一方、電流値Abが閾値Athを超えたこと検出しない場合(ステップS13:No)、領域判断部13は、照射位置を第2領域であると判定する(ステップS15)。領域判断部13は、ステップS14またはステップS15において判定した情報をレジストリに一時的に記憶する(ステップS16)。
Next, the
次に、スキャナ制御部15は、レーザ光の水平方向の座標をインクリメントする(ステップS17)。制御部10は、ステップS12~ステップS17の処理を、Hn>Hmaxとなるまで繰り返す。ステップS13からステップS18の処理は、検出ステップおよび領域判断ステップである。
Next, the
次に、スキャナ制御部15は、レーザ光の垂直方向の座標をインクリメントする(ステップS18)。制御部10は、ステップS11~ステップS18の処理を、Vm>Vmaxとなるまで繰り返す。
Next, the
次に、制御部10はレーザ光の走査を停止させ(ステップS19)、レジストリに一時的に記憶していた領域分布情報をメモリ40に書き込み(ステップS20)、処理を終了させる。
Next, the
以上、領域判断処理について説明したが、領域判断処理は上述のステップに限らず、例えば以下の構成であってもよい。すなわち領域判断処理は、被照射領域全体を複数回走査し、対応する照射位置において光検出部24が生成した値の統計値を算出し、算出した統計値によって第1領域か第2領域かを判断してもよい。また、領域判断処理は、レーザ光の照射位置を走査する処理において水平方向と垂直方向の処理順序を入れ替えたり、インターレース方式にしたりするといった当業者にとって自明の変更が可能である。
Although the area determination process has been described above, the area determination process is not limited to the above steps, and may have, for example, the following configuration. That is, in the area determination process, the entire irradiated area is scanned a plurality of times, statistical values of the values generated by the
次に、図11を参照しながらディスプレイ装置1がレーザ光を走査する状態について説明する。図11は、ディスプレイ装置1のレーザ光の走査イメージを示す図である。図に示した被照射領域F92は、図3においてディスプレイ装置1Bが照射する領域を理解容易にするために矩形にして示したものである。被照射領域F92は左上を原点として、水平方向がH方向、垂直方向がV方向である。図に示すように、被照射領域F92の左上が座標(1,1)であり、右上が座標(Hmax,1)である。また、被照射領域F92の左下が座標(1,Vmax)であり、右下が座標(Hmax,Vmax)である。ディスプレイ装置1Bは、被照射領域F92を左上の座標(1,1)から右下の座標(Hmax,Vmax)に順に走査しながらレーザ光を照射する。
Next, a state in which the
次に図12を参照しながらレーザ光のエネルギの強さと光検出部24が検出した光のエネルギの強さについて説明する。図12は、ディスプレイ装置1が照射したレーザ光のエネルギの強さと光検出部24が検出した光のエネルギの強さの例を示すグラフである。図に示したグラフは、図11に示した被照射領域F92においてレーザ光を走査した場合の例である。グラフの横軸は時刻を示しており、グラフの縦軸は光のエネルギの強さを示している。ディスプレイ装置1は時刻t0から座標(1,1)を起点としてレーザ光の照射を開始し、時刻t1に座標(Hmax,1)に達する。そしてディスプレイ装置1は、時刻t1から時刻t2にかけて、座標(1,2)から座標(Hmax,2)まで走査し、それ以降も同様に走査を繰り返す。
Next, the intensity of the energy of the laser beam and the intensity of the energy of the light detected by the
グラフに示した直線L10は、領域判断処理においてディスプレイ装置1が照射する参照光である紫外光レーザの放射強度に相当する電流値を示している。また、グラフに示した折れ線L11は、光検出部24が検出した光のエネルギの強さに相当する電流値を示している。すなわちディスプレイ装置1は電流値A0の紫外光レーザを照射して、折れ線L11の蛍光を検出している。折れ線L11を横切るように示されている直線は閾値Athを示している。領域判断部13は、光検出部24が検出した光の電流値が閾値Athを超えている場合に、その超えている範囲に対応した照射位置は第2領域であると判定する。
The straight line L10 shown in the graph indicates a current value corresponding to the radiation intensity of the ultraviolet light laser, which is the reference light emitted by the
次に、図13を参照しながら領域分布情報の例について説明する。図13は、領域判断処理により生成された領域分布情報の例を示す図である。図に示した被照射領域F92は、領域分布情報が重畳されている。図に示した複数の矩形はそれぞれが照射位置の座標を模式的に示したものである。図においてグレーの矩形は第2領域であることを示しており、白の矩形は第2領域と判定されなかった領域であることを示している。本実施の形態において、ディスプレイ装置1の制御部10は、第2領域と判定されなかった領域は、第1領域であると判定する。したがって、ディスプレイ装置1は、このように照射位置ごとに第1領域または第2領域であることを判断し、判定結果により生成した領域分布情報をメモリ40に格納する。
Next, an example of region distribution information will be described with reference to FIG. FIG. 13 is a diagram showing an example of region distribution information generated by the region determination process. Area distribution information is superimposed on the irradiated area F92 shown in the figure. Each of the plurality of rectangles shown in the figure schematically shows the coordinates of the irradiation position. In the figure, the gray rectangle indicates that it is the second region, and the white rectangle indicates that it is the region that was not determined to be the second region. In the present embodiment, the
上述した領域判断処理は、自動車900が有するディスプレイ装置1Aおよびディスプレイ装置1Bそれぞれが実行する。したがって、例えば運転者Uの頭部が右側を向いている間に、ディスプレイ装置1Bは被照射領域F92の領域判断処理を行う。また、運転者Uの頭部が左側を向いている間に、ディスプレイ装置1Aは被照射領域F91の領域判断処理を行う。
The area determination process described above is executed by each of the
以上、実施の形態1について説明したが、実施の形態1の構成は上記の例に限られない。例えば、光検出部24は、検出した光の強さに加えて光の波長を検出してもよい。光検出部24が光の波長を検出することができる場合、ディスプレイ装置1は、参照光として可視光の少なくとも1部と紫外光とを併せて照射してもよい。これにより領域判断部13は、可視光により生成される反射光の強さと、紫外光により生成される蛍光の強さとを比較し、上記反射光のエネルギが上記蛍光より強い場合には、検出した照射位置を第1領域と判定する。また領域判断部13は、上記反射光のエネルギが上記蛍光より弱い場合には、検出した照射位置を第2領域と判定する。さらに、この場合、上記反射光および上記蛍光のいずれも検出できない場合には、領域判断部13は、いずれも検出できない照射位置をレーザ光を照射しない領域として設定することができる。
Although the first embodiment has been described above, the configuration of the first embodiment is not limited to the above example. For example, the
実施の形態1にかかるディスプレイ装置1は、上述の構成により領域判断処理を行い、照射位置ごとに第1領域または第2領域であることを判断する。そのため、ディスプレイ装置1は、取り付け時に高精度の位置調整を行う必要がない。また、振動、経時変化または温度変化等によりディスプレイ装置1の位置が変化した場合は、再度領域判断処理を行うことにより、第1領域および第2領域に対して対応する波長のレーザ光による照射画像の表示を行うことができる。さらには、この領域判断において可視光や非可視光の参照光照射や検出を用いる場合に、この参照光は本来の表示すべき内容や強度の範囲を逸脱した場合においても、これがユーザの視界に入らないようにすることができる。したがって、本実施の形態によれば、ユーザの視野角内に設けられた被照射面に対して好適に情報を表示することができるディスプレイ装置を提供することができる。
The
なお、顔方向検出部16は、自動車900における運転者Uの視線の方向を検出し、視線の方向に応じて上述の機能を実現してもよい。具体的には、例えば、自動車900のダッシュボード等の位置に視線検出センサを配置し、運転者Uの眼の方向を検出する。視線検出センサが生成する信号は、自動車900内の通信ネットワークを介してディスプレイ装置1に供給されてもよい。これにより、高精度にユーザの視覚に不要な刺激を与えることを抑制したディスプレイ装置を提供することができる。
The face
<実施の形態1の変形例>
次に、図14~図15を参照しながら、実施の形態1の変形例について説明する。実施の形態1の変形例1~2は、領域判断処理において照射するレーザ光の態様およびそれに伴う光検出部の態様が上述の実施の形態1と異なる。
<Modified example of the first embodiment>
Next, a modification of the first embodiment will be described with reference to FIGS. 14 to 15.
<実施の形態1の変形例1>
図14を参照しながら実施の形態1の変形例1について説明する。変形例1に示すディスプレイ装置は、領域判断処理において、参照光として、紫外光レーザに代えて予め設定された可視光レーザを照射する点が、上述の実施の形態と異なる。
<
A
図14は、実施の形態1の変形例1にかかるディスプレイ装置が照射したレーザ光のエネルギの強さと光検出部24が検出した光のエネルギの強さの例を示すグラフである。図に示すグラフは、図12のグラフに示した折れ線L11に代えて折れ線L12が示されている点が、実施の形態1と異なる。図に示したグラフにおいて、閾値Athを超えた範囲は、光検出部24が可視光レーザの反射光を検出したことを示している。この場合、領域判断部13は、光検出部24が検出した光の電流値が閾値Athを超えている場合に、その超えている範囲に対応した照射位置は第1領域であると判定する。
FIG. 14 is a graph showing an example of the energy intensity of the laser light irradiated by the display device according to the
<実施の形態1の変形例2>
図15を参照しながら実施の形態1の変形例2について説明する。変形例2に示すディスプレイ装置1は、領域判断処理において、照射する参照光が可視光レーザおよび紫外光レーザをいずれも含む光である。すなわち参照光は、可視光レーザまたは紫外光レーザを予め設定された時間パターンおよび予め設定された放射強度パターンに基づいて順次照射される光である。
<Modification 2 of
The second modification of the first embodiment will be described with reference to FIG. In the
図15は、実施の形態1の変形例2にかかるディスプレイ装置1が照射したレーザ光のエネルギの強さと光検出部24が検出した光のエネルギの強さの例を示すグラフである。図に示すグラフは、横軸が時刻であり、縦軸がレーザ光のエネルギの強さを電流値で示したものである。グラフに示した折れ線L13は、参照光のエネルギの強さである。また、図の時刻表示の下方に示したR、G、B、UVの表示は、折れ線L12が照射しているレーザ光の波長を示している。例えば時刻t10からt11にかけて、ディスプレイ装置1はRレーザを電流値A2に相当する放射強度で照射している。時刻t11から時刻t12にかけて、ディスプレイ装置1はGレーザを電流値A4に相当する放射強度で照射している。時刻t12から時刻t13にかけて、ディスプレイ装置1はBレーザを電流値A3に相当する放射強度で照射している。時刻t13から時刻t14にかけて、ディスプレイ装置1はUVレーザを電流値A4に相当する放射強度で照射している。そして、t14以降、ディスプレイ装置1は同様のパターンを繰り返している。
FIG. 15 is a graph showing an example of the energy intensity of the laser light irradiated by the
図に示した折れ線L14は、光検出部24が検出した光のエネルギの強さの例を示している。折れ線L14は、参照光が再帰性反射材を含む第1領域に照射された場合である。変形例2に示す光検出部24は、可視光の幅広い帯域(例えば波長400ナノメートル~700ナノメートル)を検出する。したがって、第1領域に照射された参照光により、光検出部24は、図に示すように可視光に応じた放射強度パターンを示す。
The polygonal line L14 shown in the figure shows an example of the intensity of light energy detected by the
このように参照光が予め設定されたパターンを有する場合、領域判断部13は、検出した光が外光によるノイズではないことを判断することが可能となる。
When the reference light has a preset pattern as described above, the
<実施の形態2>
次に、図16を参照しながら実施の形態2について説明する。実施の形態2にかかるディスプレイ装置は、メッセージ画像を照射する場合に運転者Uの顔の方向に応じてレーザを照射するか否かを判断する点が実施の形態1と異なる。なお、本実施の形態におけるディスプレイ装置1のハードウェア構成は実施の形態1に示したものと同様であるため、ここでは説明を省略する。
<Embodiment 2>
Next, the second embodiment will be described with reference to FIG. The display device according to the second embodiment is different from the first embodiment in that it determines whether or not to irradiate the laser according to the direction of the face of the driver U when irradiating the message image. Since the hardware configuration of the
図16は、実施の形態2にかかるディスプレイ装置が行うメッセージ画像表示処理のフローチャートである。図に示すフローチャートは、ディスプレイ装置1が被照射面に対してメッセージ画像を表示する場合の制御装置10の処理を示している。
FIG. 16 is a flowchart of a message image display process performed by the display device according to the second embodiment. The flowchart shown in the figure shows the processing of the
まず、制御装置10は、メモリ40が記憶している領域分布情報を読み取る(ステップS30)。領域分布情報は、実施の形態1において説明した領域判断処理によって生成されたものである。
First, the
次に、制御装置10は、図10を参照しながら説明した場合と同様に、スキャナ部30を制御してレーザ光の走査を行う。すなわち、制御部10が有するスキャナ制御部15は、レーザ光の水平方向の走査を開始するため、垂直ミラー311の座標Vmを1に設定する(ステップS31)。また、スキャナ制御部15は、レーザ光の水平方向の走査を開始するため、水平ミラー312の座標Hnを1に設定する(ステップS32)。
Next, the
次に、制御部10が有するレーザ光源制御部14は、レーザ走査を行うか否かを判断する(ステップS33)。レーザ走査を行うか否かを判断するに際し、レーザ光源制御部14は、顔方向検出部16からの情報を取得して、運転者Uが被照射領域を向いているか否かを検出する。
Next, the laser light
運転者が被照射領域を向いている場合には、レーザ光源制御部14は、レーザ走査を行うことを決定する(ステップS33:Yes)。その場合、レーザ光源制御部14は、レーザ光源部20に対して所定のレーザ光を照射することを指示する(ステップS34)。より具体的にはレーザ光源制御部14は、領域判断部13が第1領域と判定した照射位置に対しては可視光レーザを照射し、領域判断部が第2領域と判定した照射位置に対しては紫外光レーザを照射することをレーザ光源部20に指示する。これによりディスプレイ装置1は、画像処理部12が生成したメッセージ画像を被照射面に照射する。
When the driver is facing the irradiated area, the laser light
一方、運転者が被照射領域を向いていない場合には、レーザ光源制御部14は、レーザ走査を行うことを決定しない(ステップS33:No)。その場合、レーザ光源制御部14は、レーザ光源部20に対して所定のレーザ光を照射することを指示せず、ステップS35に進む。すなわちこの場合には、ディスプレイ装置1は、メッセージ画像を被照射面に照射しない。
On the other hand, when the driver is not facing the irradiated area, the laser light
次に、スキャナ制御部15は、レーザ光の水平方向の座標をインクリメントする(ステップS35)。制御部10は、ステップS12~ステップS17の処理を、Hn>Hmaxとなるまで繰り返す。
Next, the
次に、スキャナ制御部15は、レーザ光の垂直方向の座標をインクリメントする(ステップS36)。制御部10は、ステップS11~ステップS18の処理を、Vm>Vmaxとなるまで繰り返す。
Next, the
以上の処理により被照射面に対する1フレーム分の走査を行うと、制御部10は、一連の処理を終了するか否かを判定する(ステップS37)。一連の処理を終了しない場合(ステップS37:No)、制御部10は、ステップS31に戻り、スキャナ部30を制御しながらレーザ走査をするか否かを判断する処理を繰り返す。一方、一連の処理を終了する場合(ステップS37:Yes)、制御部10は、レーザ光の走査の停止を指示して(ステップS38)、一連の処理を終了する。
After scanning one frame of the irradiated surface by the above processing, the
以上、実施の形態2について説明したが、実施の形態2は上記の構成に限られない。例えば、ディスプレイ装置1は、メッセージ画像として表示する情報の種別により上記処理を行うか否かを判断してもよい。例えば、被照射領域に対応した方向への注意を喚起するための警告表示を行う場合には、運転者Uが被照射領域を向いているか否かに関わらずレーザ照射を行ってもよい。
Although the second embodiment has been described above, the second embodiment is not limited to the above configuration. For example, the
実施の形態2によれば、ディスプレイ装置1は被照射面に対してメッセージ画像の表示をしながら動的にレーザ光の照射をするか否かを判断し、適宜レーザ光の照射をすることまたはしないことを切り換えることができる。したがって、実施の形態2にかかるディスプレイ装置1は、運転者に好適に情報を表示しつつ、消費電力を抑えることができる。
According to the second embodiment, the
<実施の形態3>
次に、図17を参照しながら実施の形態3について説明する。実施の形態3は、複数のディスプレイ装置が通信機能を有する点が、実施の形態1および2と異なる。図17は、実施の形態3にかかるディスプレイ装置の構成図である。実施の形態3は、自動車900に設置されたディスプレイ装置1Aおよびディスプレイ装置1Bがそれぞれ通信機能を有する。
以降の説明において、ディスプレイ装置1Aが画像光を照射する範囲(被照射領域F91)を第1区画とも称する。またディスプレイ装置1Bが画像光を照射する範囲(被照射領域F92)を第1区画とも称する。
<Embodiment 3>
Next, the third embodiment will be described with reference to FIG. The third embodiment is different from the first and second embodiments in that a plurality of display devices have a communication function. FIG. 17 is a configuration diagram of the display device according to the third embodiment. In the third embodiment, the
In the following description, the range in which the
図に示すディスプレイ装置1は、通信部17を有している。ディスプレイ装置1Aは、通信部17を介してディスプレイ装置1Bと接続している。通信部17は、ディスプレイ装置1Bに対して予め設定された通信を行う。すなわち通信部17は、ディスプレイ装置1Aが照射する第1区画とは異なる第2区画に対してレーザ光を照射するディスプレイ装置1Bに対して、レーザ光を照射することまたは照射しないことの指示をする。
The
より具体的には、例えば、運転者Uの顔が第1区画に向いている場合には、通信部17は、ディスプレイ装置1Bに対してレーザ光を照射しないことの指示をする。あるいは、運転者Uの顔が第2区画に向いている場合には、通信部17は、ディスプレイ装置1Bに対してレーザ光を照射することの指示をする。このような構成により、ディスプレイ装置は、複数のディスプレイ装置が協働することにより運転者に好適に情報を表示しつつ、消費電力を抑えることができる。
More specifically, for example, when the face of the driver U faces the first section, the
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、上述のディスプレイ装置は、自動車に限らず、電車、航空機、船舶等の移動体に適用することが可能である。また、上述のディスプレイ装置に利用されている表示技術は、上述の移動体に限らず、住宅や屋外においても適用することが可能である。 The present invention is not limited to the above embodiment, and can be appropriately modified without departing from the spirit. For example, the above-mentioned display device can be applied not only to automobiles but also to moving objects such as trains, aircrafts, and ships. Further, the display technology used in the above-mentioned display device can be applied not only to the above-mentioned moving body but also to a house or outdoors.
1、2 ディスプレイ装置
10 制御部
11 画像データ取得部
12 物体認識部
13 画像処理部
14 レーザ光源制御部
15 スキャナ制御部
16 顔方向検出部
17 通信部
20 レーザ光源部
21 レーザモジュール
22 レーザドライバ
23 フォトダイオード
30 スキャナ部
31 スキャナ
32 スキャナドライバ
40 メモリ
50 頭部センサ
121 警告判断部
131 歪み調整部
132、141 波長選択部
211 レーザダイオード
212 ダイクロイックミラー
801 自転車
802 歩行者
803 他の自動車
900 自動車
901 カメラ
902、906 サイドウィンドウ
903、905 Aピラー
904 ウィンドシールド
R91、R92 領域分布情報
1, 2
Claims (8)
前記被照射面の照射位置に前記可視光レーザおよび紫外光レーザのうち、選択されたレーザ光を照射するレーザ光源部と、
ユーザの顔の方向を検出する顔方向検出部と、
前記ユーザの顔の方向に応じて前記照射位置に前記レーザ光を照射するか否かを判断し、前記レーザ光を照射可能と判定した場合に、前記レーザ光源部に対して予め設定された波長の前記レーザ光である参照光を照射することを指示するレーザ光源制御部と、
前記レーザ光が前記照射位置において入力され、反射した光および前記蛍光を検出する光検出部と、
前記光検出部が検出した光に応じて前記照射位置が前記第1領域か前記第2領域かを判断する領域判断部と、
を備えるディスプレイ装置。 Image light is emitted to an irradiated surface having a first region that emits reflected light by receiving a visible light laser and a second region that transmits visible light and emits fluorescence of a predetermined wavelength by receiving an ultraviolet light laser. It is a display device that illuminates
A laser light source unit that irradiates the irradiation position of the irradiated surface with a selected laser beam from the visible light laser and the ultraviolet light laser, and the laser light source unit.
A face direction detector that detects the direction of the user's face,
It is determined whether or not to irradiate the laser beam to the irradiation position according to the direction of the user's face, and when it is determined that the laser beam can be irradiated, the wavelength preset for the laser light source unit is set. A laser light source control unit that instructs to irradiate the reference light, which is the laser light of the above.
A photodetector that detects the reflected light and fluorescence that the laser beam is input at the irradiation position, and
A region determination unit that determines whether the irradiation position is the first region or the second region according to the light detected by the photodetection unit.
Display device.
請求項1に記載のディスプレイ装置。 The laser light source control unit irradiates the visible light laser to the irradiation position determined by the region determination unit to be the first region, and the region determination unit determines to the irradiation position as the second region. On the other hand, the laser light source unit is instructed to irradiate the ultraviolet light laser.
The display device according to claim 1.
請求項1または2に記載のディスプレイ装置。 When the laser light source control unit detects that the direction of the user's face is not directed to the irradiated surface, the laser light source control unit determines that the reference light can be irradiated.
The display device according to claim 1 or 2.
請求項1~3のいずれか1項に記載のディスプレイ装置。 The reference light instructing the region determination unit to irradiate the laser light source unit is light that is sequentially emitted from the visible light laser and the ultraviolet light laser based on a preset pattern.
The display device according to any one of claims 1 to 3.
請求項1~4のいずれか一項に記載のディスプレイ装置。 The laser light source control unit irradiates the image light when it detects that the direction of the user's face is toward the irradiated surface.
The display device according to any one of claims 1 to 4.
前記第1区画とは異なる第2区画に対して前記レーザ光を照射する第2ディスプレイ装置に対して前記レーザ光を照射することまたは照射しないことの指示をする通信部をさらに備え、
前記第1ディスプレイ装置は、前記顔方向検出部が検出する前記ユーザの顔の方向に応じて、前記第2ディスプレイ装置に対する指示をする、
請求項1~5のいずれか一項に記載のディスプレイ装置。 The display device is a first display device that irradiates the first section of the irradiated surface with the laser beam.
Further, a communication unit for instructing the second display device that irradiates the second display device different from the first section to irradiate the laser beam with or without irradiating the laser beam is provided.
The first display device gives an instruction to the second display device according to the direction of the user's face detected by the face direction detection unit.
The display device according to any one of claims 1 to 5.
ユーザの顔の方向を検出する顔方向検出ステップと、
前記ユーザの顔の方向に応じて、前記被照射面の照射位置に、前記可視光レーザまたは前記紫外光レーザによるレーザ光を照射するか否かを判断し、前記レーザ光を照射可能と判定した場合に前記レーザ光を照射する参照光照射ステップと、
前記参照光照射ステップで照射した前記レーザ光により前記被照射面が発した前記反射光または前記蛍光を検出する検出ステップと、
前記検出ステップで検出した光に応じて前記照射位置が前記第1領域か前記第2領域かを判断する領域判断ステップと、
を備える判別方法。 A method for discriminating between a first region on an irradiated surface that emits reflected light by receiving a visible light laser and a second region that transmits visible light and emits fluorescence of a predetermined wavelength by receiving an ultraviolet light laser. There,
A face direction detection step that detects the direction of the user's face,
It was determined whether or not to irradiate the irradiation position of the irradiated surface with the laser beam by the visible light laser or the ultraviolet light laser according to the direction of the user's face, and it was determined that the laser beam could be irradiated. In the case of the reference light irradiation step of irradiating the laser beam,
A detection step for detecting the reflected light or the fluorescence emitted from the irradiated surface by the laser beam irradiated in the reference light irradiation step.
A region determination step for determining whether the irradiation position is the first region or the second region according to the light detected in the detection step.
Distinguished method.
ユーザの顔の方向を検出する顔方向検出ステップと、
前記ユーザの顔の方向に応じて、前記被照射面の照射位置に、前記可視光レーザまたは前記紫外光レーザによるレーザ光を照射するか否かを判断し、前記レーザ光を照射可能と判定した場合に前記レーザ光を照射する参照光照射ステップと、
前記参照光照射ステップで照射した前記レーザ光により前記被照射面が発した前記反射光または前記蛍光を検出する検出ステップと、
前記検出ステップで検出した光に応じて前記照射位置が前記第1領域か前記第2領域かを判断する領域判断ステップと、
前記領域判断ステップで前記第1領域と判定した前記照射位置に対しては前記可視光レーザを照射し、前記領域判断ステップで前記第2領域と判定した前記照射位置に対しては前記紫外光レーザを照射して画像光を照射する画像光照射ステップと、
を備える照射方法。
Image light is emitted to an irradiated surface having a first region that emits reflected light by receiving a visible light laser and a second region that transmits visible light and emits fluorescence of a predetermined wavelength by receiving an ultraviolet light laser. It is an irradiation method to irradiate
A face direction detection step that detects the direction of the user's face,
It was determined whether or not to irradiate the irradiation position of the irradiated surface with the laser beam by the visible light laser or the ultraviolet light laser according to the direction of the user's face, and it was determined that the laser beam could be irradiated. In the case of the reference light irradiation step of irradiating the laser beam,
A detection step for detecting the reflected light or the fluorescence emitted from the irradiated surface by the laser beam irradiated in the reference light irradiation step.
A region determination step for determining whether the irradiation position is the first region or the second region according to the light detected in the detection step.
The visible light laser is irradiated to the irradiation position determined to be the first region in the region determination step, and the ultraviolet light laser is applied to the irradiation position determined to be the second region in the region determination step. The image light irradiation step of irradiating the image light and irradiating the image light,
Irradiation method including.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018228826A JP7035989B2 (en) | 2018-12-06 | 2018-12-06 | Display device, discrimination method and irradiation method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018228826A JP7035989B2 (en) | 2018-12-06 | 2018-12-06 | Display device, discrimination method and irradiation method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020091409A JP2020091409A (en) | 2020-06-11 |
JP7035989B2 true JP7035989B2 (en) | 2022-03-15 |
Family
ID=71012809
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018228826A Active JP7035989B2 (en) | 2018-12-06 | 2018-12-06 | Display device, discrimination method and irradiation method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7035989B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2023174351A (en) * | 2022-05-27 | 2023-12-07 | 京セラ株式会社 | image display device |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008506972A (en) | 2003-11-03 | 2008-03-06 | スーパーイメージング,インコーポレーション | Transparent substrate integrated light emitting material |
US20090091718A1 (en) | 2006-03-16 | 2009-04-09 | Hiroshi Obi | Image projection device, image projection screen and image display system |
JP2009180967A (en) | 2008-01-31 | 2009-08-13 | Seiko Epson Corp | Image forming apparatus |
JP2009250919A (en) | 2008-04-10 | 2009-10-29 | Denso Corp | Visible light laser beam irradiation system for vehicle |
JP2014122953A (en) | 2012-12-20 | 2014-07-03 | Seiko Epson Corp | Projector, multiple projection system, connection member and control method of projector |
JP2015012559A (en) | 2013-07-02 | 2015-01-19 | 株式会社デンソー | Projection type display device |
WO2017018122A1 (en) | 2015-07-29 | 2017-02-02 | 富士フイルム株式会社 | Projection display device and projection control method |
-
2018
- 2018-12-06 JP JP2018228826A patent/JP7035989B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008506972A (en) | 2003-11-03 | 2008-03-06 | スーパーイメージング,インコーポレーション | Transparent substrate integrated light emitting material |
US20090091718A1 (en) | 2006-03-16 | 2009-04-09 | Hiroshi Obi | Image projection device, image projection screen and image display system |
JP2009180967A (en) | 2008-01-31 | 2009-08-13 | Seiko Epson Corp | Image forming apparatus |
JP2009250919A (en) | 2008-04-10 | 2009-10-29 | Denso Corp | Visible light laser beam irradiation system for vehicle |
JP2014122953A (en) | 2012-12-20 | 2014-07-03 | Seiko Epson Corp | Projector, multiple projection system, connection member and control method of projector |
JP2015012559A (en) | 2013-07-02 | 2015-01-19 | 株式会社デンソー | Projection type display device |
WO2017018122A1 (en) | 2015-07-29 | 2017-02-02 | 富士フイルム株式会社 | Projection display device and projection control method |
Also Published As
Publication number | Publication date |
---|---|
JP2020091409A (en) | 2020-06-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6784295B2 (en) | Distance measurement system, distance measurement method and program | |
KR100947147B1 (en) | Image projector and image projecting method | |
JP4402400B2 (en) | Object recognition device | |
JP5753409B2 (en) | Panorama image creation method and three-dimensional laser scanner | |
US9787907B2 (en) | Substance detection device | |
JP2004070298A (en) | Image projector and image projecting method | |
WO2017073111A1 (en) | Light radiation device and light radiation method | |
JP2016097818A (en) | Headup display system | |
JP2010243940A (en) | Image display device | |
JP2022517985A (en) | Ballistic light modulation for image enhancement through fog | |
US11312301B2 (en) | Display apparatus, display method, and program | |
JP4992197B2 (en) | Night vision device | |
JP7035989B2 (en) | Display device, discrimination method and irradiation method | |
US20210168339A1 (en) | Display apparatus, display method, and program | |
JP4655751B2 (en) | Irradiation device and night vision device | |
JP2019001226A (en) | Electronic mirror device | |
JP7010200B2 (en) | Display device, discrimination method and irradiation method | |
JP7103194B2 (en) | Display device, discrimination method and irradiation method | |
JP2007089094A (en) | Pedestrian detection device | |
JP2005173097A (en) | Image display apparatus and method of controlling the same | |
JP7208459B2 (en) | Area setting method and display device | |
CN114868037A (en) | Information processing device, imaging device, information processing method, and program | |
JP7298562B2 (en) | Vehicle peripheral detection device | |
US20230311741A1 (en) | Apparatus and method for capturing surroundings of a vehicle | |
WO2019225165A1 (en) | Light distribution control device, light projection system, and light distribution control method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210226 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211111 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220104 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220113 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220201 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220214 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7035989 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |