JP6882659B2 - 光走査型ヘッドマウントディスプレイ及び網膜走査型ヘッドマウントディスプレイ - Google Patents

光走査型ヘッドマウントディスプレイ及び網膜走査型ヘッドマウントディスプレイ Download PDF

Info

Publication number
JP6882659B2
JP6882659B2 JP2016192102A JP2016192102A JP6882659B2 JP 6882659 B2 JP6882659 B2 JP 6882659B2 JP 2016192102 A JP2016192102 A JP 2016192102A JP 2016192102 A JP2016192102 A JP 2016192102A JP 6882659 B2 JP6882659 B2 JP 6882659B2
Authority
JP
Japan
Prior art keywords
image
image data
unit
format
optical scanning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016192102A
Other languages
English (en)
Other versions
JP2018054944A (ja
Inventor
隆之 黒川
隆之 黒川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsumi Electric Co Ltd
Original Assignee
Mitsumi Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsumi Electric Co Ltd filed Critical Mitsumi Electric Co Ltd
Priority to JP2016192102A priority Critical patent/JP6882659B2/ja
Priority to CN201710823251.3A priority patent/CN107884928A/zh
Priority to US15/704,478 priority patent/US10257478B2/en
Priority to EP17193331.0A priority patent/EP3301499A1/en
Publication of JP2018054944A publication Critical patent/JP2018054944A/ja
Application granted granted Critical
Publication of JP6882659B2 publication Critical patent/JP6882659B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3129—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] scanning a light beam on the display screen
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3188—Scale or resolution adjustment
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/10—Scanning systems
    • G02B26/101—Scanning systems with both horizontal and vertical deflecting means, e.g. raster or XY scanners
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N3/00—Scanning details of television systems; Combination thereof with generation of supply voltages
    • H04N3/02—Scanning details of television systems; Combination thereof with generation of supply voltages by optical-mechanical means only
    • H04N3/08—Scanning details of television systems; Combination thereof with generation of supply voltages by optical-mechanical means only having a moving reflector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/0122—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal the input and the output signals having different aspect ratios
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0125—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence

Description

本発明は、光走査型ヘッドマウントディスプレイ及び網膜走査型ヘッドマウントディスプレイに関する。
近年では、頭部に装着する頭部装着型の表示装置が知られている。この表示装置では、頭部に装着される画像表示部に外景撮像用のカメラを設け、利用者が向いている方向の外景をカメラにより撮像し、撮像したコンテンツを、コードを介して画像表示部から制御部に伝送する。
また、この表示装置では、制御部において、画像表示部の有する光学像表示部を制御する信号が生成される。画像表示部は、この信号に基づき光学像表示部を制御して、カメラにより撮像されたコンテンツの画像を表示させる。
特開２０１６−７５７３５号公報
上述した従来の技術では、カメラにより撮像された画像の画像データは、コードを介して制御部に伝送されるが、この伝送による画質の劣化については考慮されていない。
開示の技術は、上述した事情に鑑みて成されたものであり、画像データの伝送における画質の劣化を抑制することが可能な光走査型ヘッドマウントディスプレイ及び網膜走査型ヘッドマウントディスプレイを提供することを目的としている。
開示の技術は、光源（１２５）から出射された光線を走査して投影面に照射する光走査部（３０）と、
撮像した画像の画像データを、パラレル通信方式に従った第一のフォーマットの画像データとして出力する撮像装置（５１）と、前記撮像装置（５１）から取得した前記第一のフォーマットの画像データを、映像・音声をデジタル信号で伝送する第二のフォーマットの画像データに変換して出力するインターフェイス部（５２）と、を有する撮像ユニットと、
が設けられたヘッドマウント部（ＨＭ）と、
前記撮像ユニットから、前記第二のフォーマットの画像データを伝送する伝送ケーブル（２０）と、
前記伝送ケーブルを介して、前記第二のフォーマットの画像データを取得し、前記第二のフォーマットの画像データに基づき前記光源（１２５）からの前記光線の出射制御を行う制御装置（１０）と、
を有し、
前記インターフェイス部は、前記伝送ケーブルを介して前記制御装置から所定の値の電圧の供給を受けて、前記撮像装置の撮像に係る機構に電源として供給される電圧と、前記撮像装置の制御を行う回路に電源として供給される電圧と、を含む複数の値の電圧を生成する電圧生成部を有する、光走査型ヘッドマウントディスプレイである。

なお、上記括弧内の参照符号は、理解を容易にするために付したものであり、一例にすぎず、図示の態様に限定されるものではない。
開示の技術によれば、画像データの伝送における画質の劣化を抑制できる。
網膜走査型ヘッドマウントディスプレイを説明する第一の図である。 網膜走査型ヘッドマウントディスプレイを説明する第二の図である。 カメラインターフェイス部の機能を説明する図である。 フォーマット変換部を説明する図である。 カメラインターフェイス部の処理を説明するフローチャートである。 画像処理部による画像処理を説明する第一の図である。 画像処理部による画像処理を説明する第二の図である。
本実施形態では、利用者の頭部に装着されるヘッドマウント部において、ヘッドマウント部に設けられた撮像装置が撮像した画像データを、制御装置へのケーブルによる伝送に適したフォーマットの画像データに変換するインターフェイス部を設ける。
以下に、図面を参照して本実施形態について説明する。図１は、網膜走査型ヘッドマウントディスプレイを説明する図である。
本実施形態の網膜走査型ヘッドマウントディスプレイ１は、マクスウェル視を利用した網膜走査型ヘッドマウントディスプレイである。マクスウェル視とは、画像データに基づく画像光（以下、画像用光線とも云う）を一旦瞳孔の中心で収束させてから網膜上に投影することで、利用者の水晶体の機能に影響されずに利用者に画像データが表す画像を視認させる方法である。
網膜走査型ヘッドマウントディスプレイ１の全体的な構成について説明する。図１に示すように、網膜走査型ヘッドマウントディスプレイ１は、制御装置１０と、伝送ケーブル２０と、ヘッドマウント部ＨＭを有する。
制御装置１０は、利用者の衣服のポケットなどに収納して携行可能な程度の大きさとされ、画像信号に応じた強度のレーザ光を画像光として出射する。制御装置１０の詳細は後述する。
伝送ケーブル２０は、制御装置１０から出射された画像光を光走査部３０まで伝送する。
ヘッドマウント部ＨＭは、光走査部３０と、眼鏡型フレーム４０と、撮像ユニット５０と、を含む。
光走査部３０は、伝送ケーブル２０によって伝送された画像光を走査して利用者の眼球（網膜）に照射することで、利用者の網膜上に画像光が示す画像を投影させる。
眼鏡型フレーム４０は、利用者の頭部に装着可能に構成されている。撮像ユニット５０は、カメラ等を有する。光走査部３０及び撮像ユニット５０は、眼鏡型フレーム４０に具備されている。
ここで、画像光とは、光走査部３０により利用者の網膜上に投影される画像の元になる情報に基づき生成される光である。画像の元になる情報は、文字、数字等の記号であっても良いし、画像であっても良い。
制御装置１０は、利用者が操作可能な筐体１１と、電子回路基板１２と、操作部１３と、を備える。操作部１３は、筐体１１の側面部に設けられる。操作部１３は、電源１３ａ、フェイズスイッチ部１３ｂ、及び画像の大きさを調整させる調整部１３ｃなどを有している。電子回路基板１２は、筐体１１内に収納されるものであり、制御装置１０の動作を実現させるための複数のＩＣチップ１４が搭載されている。
制御装置１０には、外部入力端子１５（図２参照）が設けられている。制御装置１０は、外部入力端子１５を介して図示しないパーソナルコンピュータ等の外部機器から送信されるコンテンツ情報等の受信を行っている。なお、コンテンツ情報とは、利用者の網膜に投影される情報であり、例えば文字や画像、動画等である。具体的には、コンテンツ情報は、例えば、パソコン等で使用される文書ファイルや画像ファイル、動画ファイル等である。
本実施形態の制御装置１０は、２系統からの画像信号が入力可能な構成とされている。１つは撮像ユニット５０から入力される画像信号であり、もう１つは外部機器から入力される画像信号である。
上記の点から本実施形態の操作部１３は、撮像ユニット５０からの画像信号を網膜に投影させるか、外部機器からの画像信号を網膜に投影させるかを利用者に選択させる選択スイッチ（不図示）を有している。
図２は、網膜走査型ヘッドマウントディスプレイを説明する第二の図である。図２では、ヘッドマウント部ＨＭの構成と、電子回路基板１２に実装された回路ブロックとを示している。
初めに、ヘッドマウント部ＨＭについて説明する。
本実施形態のヘッドマウント部ＨＭは、光走査部３０、ＭＥＭＳ（Micro Electro Mechanical System）インターフェイス部４２、撮像ユニット５０、光学系部６０を備えている。
光走査部３０は、例えばＭＥＭＳ（Micro Electro Mechanical System）ミラーである。光走査部３０は、例えば、眼鏡型フレーム４０のツル４１に配置されている。光走査部３０は、後述するレーザモジュール１２５から出射された画像光を、駆動制御信号に基づいて、水平方向及び垂直方向に走査する。駆動制御信号は、後述するＭＥＭＳドライバ１２３から出力される。
また、画像光を走査して眼球Ｇの網膜Ｇ１に画像を投影する方法として、画像を投影する領域の左上から右下に向かって光を高速に走査し、画像を表示させる方法（例えばラスタースキャン）が実施できる。
光走査部３０から出射された画像光は、光学系部６０により収束され、網膜Ｇ１へ投影される。なお、光学系部６０は、眼鏡型フレーム４０のツル４１に配置されている。
ＭＥＭＳインターフェイス部４２は、光走査部３０（ＭＥＭＳミラー）の動作（振れ角）を検知し、光走査部３０の傾きに応じた動作情報を後述の主制御部１２１へ出力する。なお、本実施形態のＭＥＭＳインターフェイス部４２は、温度センサ（不図示）を有し、光走査部３０の温度を検知し、温度情報を主制御部１２１へ出力してよい。
本実施形態の撮像ユニット５０は、撮像装置５１と、カメラインターフェイス部５２とを含む。
撮像装置５１は、ＣＭＯＳなどのカメラである。撮像装置５１は、撮像装置５１の仕様等によって決められたフォーマットで撮像した画像データをカメラインターフェイス部５２へ出力する。
カメラインターフェイス部５２は、撮像装置５１から出力された画像データを後述する主制御部１２１へ出力する。本実施形態のカメラインターフェイス部５２では、撮像装置５１から受け取った画像データを、伝送ケーブル２０による伝送に適したフォーマットに変換した後に、主制御部１２１へ出力する。
また、本実施形態のカメラインターフェイス部５２は、カメラインターフェイス部５２に供給される電源電圧から、複数の電圧を生成し、撮像装置５１へ提供する。さらに、本実施形態のカメラインターフェイス部５２は、制御装置１０の操作部１３において、撮像された画像のズームインやズームアウトを指示する操作が行われると、撮像装置５１から出力された画像データに対して操作に対応した画像処理を行う。
本実施形態のカメラインターフェイス部５２の詳細は後述する。
次に、制御装置１０の電子回路基板１２の回路ブロックについて説明する。
電子回路基板１２には、主制御部１２１、レーザ制御部１２２、ＭＥＭＳドライバ１２３、レーザドライバ１２４、レーザモジュール（光源）１２５が実装されている。
主制御部１２１は、ＣＰＵ（CentralProcessing Unit）等のプロセッサ並びにＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）等により実現される。主制御部１２１には、撮像ユニット５０から出力された画像データと、外部入力端子１５を介して外部機器から出力されたコンテンツ情報（画像データ）の２系統の画像データが入力される。主制御部１２１は、入力された画像データの処理と、光走査部３０（ＭＥＭＳミラー）の駆動制御を行う。
また、主制御部１２１は、ＭＥＭＳインターフェイス部４２から取得した光走査部３０の動作情報や温度情報等に基づいて、光走査部３０（ＭＥＭＳミラー）の駆動と、レーザモジュール１２５からの画像光の出射を制御する。
また、主制御部１２１は、光走査部３０の駆動を制御する駆動制御信号をＭＥＭＳドライバ１２３へ出力する。ＭＥＭＳドライバ１２３は、受信した駆動制御信号を光走査部３０へ出力する。
また、主制御部１２１は、入力された画像データをレーザドライバ１２４へ出力する。レーザドライバ１２４は、画像データに基づいて光源の点灯及び消灯を制御する出射制御信号を生成し、生成した出射制御信号をレーザモジュール１２５へ出力する。
レーザ制御部１２２は、ＣＰＵ等のプロセッサ並びにＲＡＭ及びＲＯＭ等により実現される。レーザ制御部１２２は、操作部１３から電源ＯＮ信号や、ズームイン信号又はズームアウト信号などが入力されると、信号に応じた制御信号をレーザモジュール１２５へ出力する。なお、本実施形態のレーザ制御部１２２は、操作部１３の選択スイッチにおいて、２系統の画像データのうちどちらの画像データの選択を受け付けると、選択に応じて、制御信号をレーザモジュール１２５へ出力する。
レーザモジュール１２５は、主制御部１２１の指示の下、例えば単一又は複数の波長の光線Ｌを光走査部３０へ出力（出射）する。この光線Ｌは、ユーザの眼球Ｇの網膜Ｇ１に画像を投影するための画像用光線である。なお、レーザモジュール１２５から出射された光源Ｌは、伝送ケーブル２０を介して光走査部３０へ伝送される。
レーザモジュール１２５は、例えば赤色レーザ光（波長：７１０ｎｍ〜６６０ｎｍ程度）、緑色レーザ光（波長：５１５ｎｍ〜５４０ｎｍ程度）、及び青色レーザ光（波長：４４０ｎｍ〜４８０ｎｍ程度）を出射する。赤色、緑色、及び青色レーザ光を出射する。本実施形態のレーザモジュール１２５は、例えばＲＧＢ（赤・緑・青）それぞれのレーザダイオードチップと３色合成デバイスとマイクロコリメートレンズと、が集積された光源等により実現される。
また、レーザモジュール１２５は、光量センサ１２５ａ、温度センサ１２５ｂを備えている。光量センサ１２５ａは、レーザモジュール１２５の各レーザダイオードの光量を検知し、検知した光量情報をレーザ制御部１２２へ出力する。温度センサ１２５ｂは、レーザモジュール１２５の各レーザダイオードの温度を検知し、検知した温度情報をレーザ制御部１２２へ出力する。
レーザ制御部１２２は、光量センサ１２５ａから取得した光量情報に基づいて、レーザモジュール１２５の各レーザダイオードの光量を制御する信号を生成し、レーザモジュール１２５へ出力する。
次に、図３を参照して本実施形態のカメラインターフェイス部５２について説明する。図３は、カメラインターフェイス部の機能を説明する図である。
はじめに、撮像ユニット５０内の撮像装置５１とカメラインターフェイス部５２との間の授受について説明する。
本実施形態の撮像装置５１は、カメラインターフェイス部５２から出力される制御信号Ｓ１により、動作が制御される。
具体的には、撮像装置５１は、制御信号Ｓ１により、撮像の開始が指示されても良い。撮像の開始は、例えば制御装置１０において、操作部１３の選択スイッチが操作されて、撮像装置５１が撮像した画像データが選択された場合に、指示されても良い。この場合、制御装置１０は、撮像装置５１に対して撮像開始が指示されたことを制御信号Ｓ１１によりカメラインターフェイス部５２へ通知する。カメラインターフェイス部５２は、制御信号Ｓ１１を受信すると、撮像装置５１に対して撮像開始を指示する制御信号Ｓ１を通知しても良い。
撮像装置５１は、撮像開始の指示を受けて、撮像を開始し、撮像した画像データをカメラインターフェイス部５２へ送信する。このとき、撮像装置５１から出力される画像データＳ２は、モバイル端末に内蔵されたカメラ等とのインターフェイス規格の１つであるＭＩＰＩ（Mobile Industry Processor Interface）規格に従ってカメラインターフェイス部５２へ送信される。また、撮像装置５１から出力される画像データＳ２は、パラレル通信によってカメラインターフェイス部５２へ送信される。
また、本実施形態の撮像装置５１は、カメラインターフェイス部５２より、電源となる電圧Ｖ１〜Ｖ４が供給される。
次に、カメラインターフェイス部５２と制御装置１０の間の授受について説明する。
本実施形態のカメラインターフェイス部５２は、撮像装置５１から受信した画像データＳ２を、映像・音声をデジタル信号で伝送する通信インターフェイスの標準規格であるＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）規格に従った画像データＳ２１として、制御装置１０へ送信する。
つまり、本実施形態のフォーマット変換部５２１は、ＭＩＰＩ規格に従った画像データか、パラレル通信で送信された画像データを、ＨＤＭＩ規格に従った画像データに変換する。ここでは、ＭＩＰＩ規格に従ったフォーマット又はパラレル通信方式に従ったフォーマットを第一のフォーマットと呼び、ＨＤＭＩ規格に従ったフォーマットを第二のフォーマットと呼ぶ。
また、カメラインターフェイス部５２は、制御装置１０から、撮像装置５１に対する指示を通知する制御信号Ｓ１１を受信する。撮像装置５１に対する指示とは、例えば撮像開始の指示や、ズームイン又はズームアウト等の指示を含む。
また、カメラインターフェイス部５２は、制御装置１０から、カメラインターフェイス部５２の電源となる電圧Ｖ３１が供給される。
次に、本実施形態のカメラインターフェイス部５２の機能について説明する。本実施形態のカメラインターフェイス部５２は、フォーマット変換部５２１、画像処理部５２２、電圧生成部５２３を有する。
上述したカメラインターフェイス部５２のフォーマット変換部５２１、画像処理部５２２の機能をＦＰＧＡにより実現し、電圧生成部５２３は、公知の昇圧／降圧回路等により実現されても良い。
フォーマット変換部５２１は、撮像装置５１から送信された画像データＳ２を、制御装置１０へ送信するための規格に従った画像データＳ２１へ変換する。
画像処理部５２２は、制御装置１０からの指示に応じて、フォーマット変換部５２１による変換前の画像データＳ２に対して画像処理を行う。
電圧生成部５２３は、撮像装置５１へ提供する電圧を生成する。
以下に、各部についてさらに説明する。はじめに、フォーマット変換部５２１について説明する。図４は、フォーマット変換部を説明する図である。
本実施形態のフォーマット変換部５２１は、ＨＤＭＩトランスミッタ５３１、ＭＩＰＩ／パラレル変換部５３２、ビット拡張部５３３を有する。
本実施形態のＨＤＭＩトランスミッタ５３１は、８ｂｉｔの入力信号として入力された画像データをＨＤＭＩ規格に従った画像データＳ２１に変換する。具体的には、本実施形態のＨＤＭＩトランスミッタ５３１は、ＲＧＢ画像データにおけるＲ成分の画像データ、Ｇ成分の画像データ、Ｂ成分の画像データのそれぞれを８ｂｉｔの入力信号として受信し、ＨＤＭＩ規格に従った画像データに変換する。
ＭＩＰＩ／パラレル変換部５３２は、画像データＳ２が、ＭＩＰＩ規格に従って送信された場合、この画像データのＲ成分、Ｇ成分、Ｂ成分のそれぞれを８ｂｉｔの入力信号に変換する。
ビット拡張部５３２は、画像データＳ２が、パラレル通信によって送信された場合、この画像データのＲ成分、Ｇ成分、Ｂ成分のそれぞれを８ｂｉｔの信号に拡張する。
より具体的には、パラレル通信により撮像装置５１から画像データが送信される場合、画像データは、Ｒ成分が５ｂｉｔ、Ｇ成分が６ｂｉｔ、Ｂ成分が５ｂｉｔの信号として送信される。よって、ビット拡張部５３２は、これらの信号を、各成分８ｂｉｔの信号に拡張する。
本実施形態では、このように、撮像装置５１から受信した画像データＳ２を、ＨＤＭＩ規格の画像データＳ２１に変更することで、撮像装置５１が撮像した画像（映像）データや音声データをデジタル信号として制御装置１０へ送信することができる。よって、本実施形態によれば、撮像ユニット５０から制御装置１０までの伝送ケーブル２０による画像データの伝送において、ノイズを低減し、画質の劣化を抑制することができる。
また、ＨＤＭＩ規格では、デジタル伝送により画像データＳ２１が伝送されるため、伝送経路の長さにも制約を設ける必要がなくなる。
したがって、本実施形態では、撮像ユニット５０が設けられたヘッドマウント部ＨＭと制御装置１０とを繋ぐ伝送ケーブル２０の長さに制約を設けなくて良い。つまり、本実施形態によれば、利用者がヘッドマウント部ＨＭを頭部の装着し、制御装置１０を衣服等に身に着ける際に、利用者の動作が制限されないように、伝送ケーブル２０の長さを十分に長くすることができる。このため、本実施形態では、網膜走査型ヘッドマウントディスプレイ１の装着感を向上させることができる。
また、本実施形態では、このように画像データを変換することで、画像データの伝送に必要となる信号線（ピン）の本数を削減できる。よって、例えばパラレル通信により画像データＳ２を制御装置１０へ伝送する場合よりも、ＨＤＭＩ規格に従って画像データを伝送した方が、伝送ケーブル２０の直径を細くすることができる。
伝送ケーブル２０は、直径が細くなるほど硬さが和らぎ、利用者の動作を制限しなくなる。したがって、本実施形態によれば、網膜走査型ヘッドマウントディスプレイ１の装着感を向上させることができる。
次に、画像処理部５２２について説明する。
本実施形態の画像処理部５２２は、制御装置１０からズームイン又はズームアウトの指示を受けると、撮像装置５１から受信した画像データＳ２に対して、対応する画像処理を行う。画像処理部５２２の処理の詳細は後述する。
次に、電圧生成部５２３について説明する。本実施形態の電圧生成部５２３は、制御装置１０から供給される電圧Ｖ３１から電圧Ｖ１〜Ｖ４を生成し、撮像装置５１へ供給する。
撮像装置５１の電源となる電圧Ｖ１〜Ｖ４は、撮像装置５１の仕様に応じて予め決められた値の電圧であり、複数の値を含む。
撮像装置５１では、例えば、撮像に係る機構を駆動させるためのモータ等に電源として供給される電圧と、撮像装置５１内の各種制御を行うＩＣ（Integrated circuit）チップ等に電源として供給される電圧とは、その大きさが異なる。したがって、本実施形態のカメラインターフェイス部５２では、撮像装置５１において必要とされる値の電圧を生成し、撮像装置５１へ提供している。
尚、電圧生成部５２３は、撮像装置５１に供給する電圧Ｖ１〜Ｖ４以外にも、自身が必要とする値の電圧も生成しても良い。また、撮像装置５１に供給する電圧の値は、電圧Ｖ１〜Ｖ４以外の値が含まれても良い。
本実施形態では、撮像装置５１に提供する電圧を、撮像装置５１の近傍に配置されているカメラインターフェイス部５２において生成して提供する。したがって、本実施形態では、カメラインターフェイス部５２よりも撮像装置５１と物理的に離れている制御装置１０から電圧が供給される場合と比較して、電源ラインによる電圧降下（損失）を抑制できる。言い換えれば、本実施形態では、撮像装置５１の近傍に配置されたカメラインターフェイス部５２において、撮像装置５１の電源となる電圧を生成するため、両者を結ぶ電源ラインの抵抗による電圧の損失を低減させることができる。
次に、図５を参照して、本実施形態のカメラインターフェイス部５２が撮像装置５１から画像データを受信したときの処理について説明する。図５は、カメラインターフェイス部の処理を説明するフローチャートである。
本実施形態のカメラインターフェイス部５２は、撮像装置５１から画像データを受信する（ステップＳ５０１）。続いて、カメラインターフェイス部５２は、画像処理部５２２により、ズームイン又はズームアウトの指示を受け付けたか否かを判定する（ステップＳ５０２）。
ステップＳ５０２において、該当する指示を受け付けた場合、画像処理部５２２は、受信した画像データに対して、指示に対応した画像処理を行う（ステップＳ５０３）。
ステップＳ５０２において、該当する指示を受け付けない場合、カメラインターフェイス部５２は、フォーマット変換部５２１により、受信した画像データをＨＤＭＩ規格の画像データＳ２１に変更し、制御装置１０に出力し（ステップＳ５０４）、処理を終了する。
以下に、図６及び図７を参照し、図５のステップＳ５０３における画像処理部５２２による画像処理を説明する。図６は、画像処理部による画像処理を説明する第一の図である。
図６では、制御装置１０の操作部１３において、ズームインを指示する操作が行われた場合の画像処理を示している。図６（Ａ）は、画像処理前の画像を示し、図６（Ｂ）は、画像処理後の画像を示している。
図６（Ａ）は、ズームインの指示もズームアウトの指示も受けていない場合の画像６０１を示す。ここでは、画像６０１は、ｘ画素×ｙ画素の画像とし、中心点を点Ｐとする。
この画像６０１に対して、例えば倍率が２倍のズームインと対応する画像処理を行うと、画像６０１は、図６（Ｂ）に示す画像６０１Ａとなる。
画像６０１Ａは、点Ｐを中心にとしたｘ画素×ｙ画素の画像である。つまり、画像６０１Ａは、画像処理前の画像６０１と同じ大きさの画像である。
画像６０１Ａは、領域６０２と、領域６０２の周囲をマスクする黒色領域６０３とを含む。領域６０２は、中心を点Ｐとするｘ／２画素×ｙ／２画素の領域である。
本実施形態の画像処理部５２２は、例えば制御信号Ｓ１１により、倍率２倍のズームインの指示を受けると、撮像装置５１から取得した画像６０１の画像データに対し、中心を点Ｐとするｘ／２画素×ｙ／２画素の領域６０２の外側の領域６０３を黒色一色でマスクして黒色領域６０３とした画像６０１Ａを生成する。
そして、画像処理部５２２は、画像６０１Ａをフォーマット変換部５２１へ渡す。フォーマット変換部５２１は、この画像６０１Ａの画像データをＨＤＭＩ規格にしたがって画像データに変換し、制御装置１０へ送信する。
制御装置１０は、画像６０１Ａの画像データを走査することで、画像６０１を２倍にズームインさせた画像を利用者の網膜に投影する。尚、制御装置１０は、光走査部３０に対し、倍率２倍のズームインの指示に対応した制御を行う。
尚、図６では、ズームインの指示を受けた際の画像処理部５２２の処理を説明した。本実施形態の画像処理部５２２は、ズームアウトの指示を受けた場合は、ズームインの指示と対応した処理と逆の処理を行えば良い。
例えば、倍率２倍のズームアウトの指示を受け付けた場合には、画像６０１Ａから黒色領域６０３を削除すれば良い。
尚、本実施形態では、一度ズームインの指示に応じて画像処理した画像に対しては、ズームアウトの指示と対応する画像処理を行うことを可能とする。また、本実施形態では、ズームインの指示に対応する画像処理が行われていない画像に対しては、ズームアウトと対応する画像処理は行わないものとしても良い。
次に、図７を参照して、本実施形態において、ズームインと対応する画像処理において、黒色領域を設ける理由について説明する。
図７は、画像処理部による画像処理を説明する第二の図である。図７（Ａ）は、一般的な投影装置によるズームインと対応する画像処理を説明する図である。図７（Ｂ）は、本実施形態によるズームインと対応する画像処理を説明する第一の図であり、図７（Ｃ）は、本実施形態によるズームインと対応する画像処理を説明する第二の図である。
図７（Ａ）に示すように、投影領域が平面のスクリーン等である投影装置の場合、ｘ画素×ｙ画素であり点Ｐ１を中心とする画像７０１に対し、２倍のズームインが指示された場合、画像７０１のうち、点Ｐ１を中心とするｘ／２画素×ｙ／２画素の領域の画像を投影領域７１０に対して投影すれば良い。尚、投影領域とは、光走査部により走査される領域である。
このように投影すれば、図７（Ａ）の例では、投影領域と、投影領域に投影される画像の大きさ及び形状が一致しているため、領域７０２の画像が投影領域７１０全体に投影される。
これに対し、本実施形態のように、画像を人の網膜に照射する場合、投影面となる網膜は、眼球が球状であるために平面ではなく、曲面となる。このため、本実施形態では、網膜の曲面に合わせて、投影面を台形状に走査している。よって、本実施形態では、投影領域７１０Ａの形状は、図７（Ｂ）、（Ｃ）に示すように、台形となる。
よって、本実施形態では、図７（Ｂ）に示すように、画像７０１のうち、点Ｐ１を中心とするｘ／２画素×ｙ／２画素の領域７０２の画像のみを投影領域７１０Ａに投影しようとしても、実際には、画像７０１における領域７０３の画像が投影されることになる。
この場合、実際に注目したい画像以外の画像も利用者の網膜に投影されることになり、好ましくない。
そこで、本実施形態の画像処理部５２２は、図７（Ｃ）に示すように、画像７０１を、画像７０１において、投影領域７１０Ａに投影させたい領域７０２以外の領域を、黒一色でマスクした黒色領域７０４とした画像７０１Ａとする。
本実施形態では、光走査部３０は、黒色の画像に対しては、レーザダイオードを発光させない制御を行う。つまり、光走査部３０は、画像７０１Ａのうち、黒色領域７０４内については、レーザダイオードを消灯させる。
よって、本実施形態の網膜走査型ヘッドマウントディスプレイにより、画像７０１Ａを投影した場合、投影領域７１０Ａでは、領域７０２の画像以外は投影されなくなる。
したがって、本実施形態によれば、画像の投影面が網膜等のように曲面である場合において、画像を拡大して投影させようとした場合に、利用者が注目したい画像以外の画像まで拡大して投影されてしまう、という問題を解決できる。つまり、本実施形態によれば、利用者が注目したい領域の画像のみを拡大して投影させることができる。
また、本実施形態では、ズームインの指示を受けた場合、カメラインターフェイス部５２において、画像データＳ２のフォーマットを変換する前に、上述した画像処理を行う。
したがって、本実施形態によれば、制御装置１０では、ズームインの指示に対する画像処理を行う必要がなく、公知の処理によって利用者が注目したい領域の画像のみを拡大して投影させることができ、制御装置１０の処理負荷を軽減できる。
尚、上述した説明では、本実施形態は、網膜走査型ヘッドマウントディスプレイに適用されるものとしたが、これに限定されない。本実施形態は、光走査部３０と撮像ユニット５０とが、制御装置１０と伝送ケーブル２０で接続されている投影装置であれば、どのような投影装置に適用されても良い。
以上、各実施形態に基づき本発明の説明を行ってきたが、上記実施形態にあげた構成、その他の要素との組み合わせなど、ここで示した要件に本発明が限定されるものではない。これらの点に関しては、本発明の主旨をそこなわない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。
１ 網膜走査型ヘッドマウントディスプレイ
１０ 制御装置
１１ 筐体
１２ 電子回路基板
１３ 操作部
１４ ＩＣチップ
１５ 外部入力端子
２０ 伝送ケーブル
３０ 光走査部
４０ 眼鏡型フレーム
４２ ＭＥＭＳインターフェイス部
５０ 撮像ユニット
５１ 撮像装置
５２ カメラインターフェイス部
６０ 光学系部
ＨＭ ヘッドマウント部
１２１ 主制御部
１２２ レーザ制御部
１２３ ＭＥＭＳドライバ
１２４ レーザドライバ
１２５ レーザモジュール
５２１ フォーマット変換部
５２２ 画像処理部
５２３ 電圧生成部

Claims (5)

  1. 光源から出射された光線を走査して投影面に照射する光走査部と、
    撮像した画像の画像データを、パラレル通信方式に従った第一のフォーマットの画像データとして出力する撮像装置と、前記撮像装置から取得した前記第一のフォーマットの画像データを、映像・音声をデジタル信号で伝送する第二のフォーマットの画像データに変換して出力するインターフェイス部と、を有する撮像ユニットと、
    が設けられたヘッドマウント部と、
    前記撮像ユニットから、前記第二のフォーマットの画像データを伝送する伝送ケーブルと、
    前記伝送ケーブルを介して、前記第二のフォーマットの画像データを取得し、前記第二のフォーマットの画像データに基づき前記光源からの前記光線の出射制御を行う制御装置と、
    を有し、
    前記インターフェイス部は、前記伝送ケーブルを介して前記制御装置から所定の値の電圧の供給を受けて、前記撮像装置の撮像に係る機構に電源として供給される電圧と、前記撮像装置の制御を行う回路に電源として供給される電圧と、を含む複数の値の電圧を生成する電圧生成部を有する、光走査型ヘッドマウントディスプレイ。
  2. 前記第一のフォーマットは、ＭＩＰＩ規格に従ったフォーマットであり、
    前記第二のフォーマットは、ＨＤＭＩ規格に従ったフォーマットである、請求項１記載の光走査型ヘッドマウントディスプレイ。
  3. 前記インターフェイス部は、
    前記第一のフォーマットの画像データに対する画像処理を行う画像処理部を有し、
    前記画像処理部は、
    前記制御装置が、ズームインを指示する操作を受けたとき、
    前記第一のフォーマットの画像データが示す画像において、ズームインの対象とされた領域以外の領域を黒色として、前記インターフェイス部へ出力する請求項１又は２記載の光走査型ヘッドマウントディスプレイ。
  4. 前記光走査部は、前記光線を利用者の網膜に照射させる請求項１乃至３の何れか一項に記載の光走査型ヘッドマウントディスプレイ。
  5. 光源から出射された光線を走査して利用者の網膜に照射させる光走査部と、
    撮像した画像の画像データを、パラレル通信方式に従った第一のフォーマットの画像データとして出力する撮像装置と、前記撮像装置から取得した前記第一のフォーマットの画像データを、映像・音声をデジタル信号で伝送する第二のフォーマットの画像データに変換して出力するインターフェイス部と、を有する撮像ユニットと、
    が設けられたヘッドマウント部と、
    前記撮像ユニットから前記第二のフォーマットの画像データを伝送する伝送ケーブルと、
    前記伝送ケーブルを介して、前記第二のフォーマットの画像データを取得し、前記第二のフォーマットの画像データに基づき前記光源からの前記光線の出射制御を行う制御装置と、
    を有し、
    前記インターフェイス部は、前記伝送ケーブルを介して前記制御装置から所定の値の電圧の供給を受けて、前記撮像装置の撮像に係る機構に電源として供給される電圧と、前記撮像装置の制御を行う回路に電源として供給される電圧と、を含む複数の値の電圧を生成する電圧生成部を有する、網膜走査型ヘッドマウントディスプレイ。
JP2016192102A 2016-09-29 2016-09-29 光走査型ヘッドマウントディスプレイ及び網膜走査型ヘッドマウントディスプレイ Active JP6882659B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2016192102A JP6882659B2 (ja) 2016-09-29 2016-09-29 光走査型ヘッドマウントディスプレイ及び網膜走査型ヘッドマウントディスプレイ
CN201710823251.3A CN107884928A (zh) 2016-09-29 2017-09-13 光扫描式头戴式显示器以及视网膜扫描式头戴式显示器
US15/704,478 US10257478B2 (en) 2016-09-29 2017-09-14 Optical scanning head-mounted display and retinal scanning head-mounted display
EP17193331.0A EP3301499A1 (en) 2016-09-29 2017-09-26 Optical scanning head-mounted display and retinal scanning head-mounted display

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016192102A JP6882659B2 (ja) 2016-09-29 2016-09-29 光走査型ヘッドマウントディスプレイ及び網膜走査型ヘッドマウントディスプレイ

Publications (2)

Publication Number Publication Date
JP2018054944A JP2018054944A (ja) 2018-04-05
JP6882659B2 true JP6882659B2 (ja) 2021-06-02

Family

ID=59974178

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016192102A Active JP6882659B2 (ja) 2016-09-29 2016-09-29 光走査型ヘッドマウントディスプレイ及び網膜走査型ヘッドマウントディスプレイ

Country Status (4)

Country Link
US (1) US10257478B2 (ja)
EP (1) EP3301499A1 (ja)
JP (1) JP6882659B2 (ja)
CN (1) CN107884928A (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112306444A (zh) * 2020-11-23 2021-02-02 青岛海信移动通信技术股份有限公司 移动终端及其投影方法
US20230290318A1 (en) * 2022-03-11 2023-09-14 Medicapture, Inc. Power-optimized monitor

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69908574D1 (de) 1998-03-25 2003-07-10 Mann W Stephan G Tragbares kamerasystem mit visiermittel
EP2950528A1 (en) * 2006-11-07 2015-12-02 Sony Corporation Video signal transmitting device
JP2008310130A (ja) * 2007-06-15 2008-12-25 Konica Minolta Holdings Inc 制御ユニットおよびヘッドマウントディスプレイ
CN101150727A (zh) * 2007-10-19 2008-03-26 深圳华为通信技术有限公司 多路视频信号传输和电视墙显示的方法、系统以及处理设备
JP5045590B2 (ja) * 2008-07-23 2012-10-10 三菱電機株式会社 表示装置
JP5223835B2 (ja) * 2009-09-30 2013-06-26 ブラザー工業株式会社 ヘッドマウントディスプレイ
JP2011205327A (ja) * 2010-03-25 2011-10-13 Nikon Corp 画像出力装置
JP5478761B2 (ja) * 2013-07-22 2014-04-23 オリンパス株式会社 撮像装置
JP6079614B2 (ja) * 2013-12-19 2017-02-15 ソニー株式会社 画像表示装置及び画像表示方法
US20170084203A1 (en) * 2014-03-07 2017-03-23 D.R.I. Systems LLC Stereo 3d head mounted display applied as a low vision aid
JP6137092B2 (ja) * 2014-09-12 2017-05-31 ブラザー工業株式会社 表示装置、ヘッドマウントディスプレイ、表示制御装置、表示プログラム、及び表示方法
JP6500382B2 (ja) 2014-10-03 2019-04-17 セイコーエプソン株式会社 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
CN107076992A (zh) 2014-10-03 2017-08-18 精工爱普生株式会社 适应于环境的头戴式显示装置
JP5861071B1 (ja) * 2014-10-14 2016-02-16 パナソニックＩｐマネジメント株式会社 内視鏡
CN104883527A (zh) * 2015-06-04 2015-09-02 段然 一种mipi接口转化成hdmi接口的方法及其应用系统
JP6734532B2 (ja) 2016-04-22 2020-08-05 ミツミ電機株式会社 表示装置

Also Published As

Publication number Publication date
EP3301499A1 (en) 2018-04-04
US10257478B2 (en) 2019-04-09
US20180091783A1 (en) 2018-03-29
JP2018054944A (ja) 2018-04-05
CN107884928A (zh) 2018-04-06

Similar Documents

Publication Publication Date Title
US20190265485A1 (en) Display control device, display control method, and computer program
US10194074B2 (en) Imaging system, warning generation device and method, imaging device and method, and program
JP5880210B2 (ja) 通信装置、撮像装置、撮像システム及びプログラム
CN107870431B (zh) 光扫描式头戴式显示器以及视网膜扫描式头戴式显示器
JP2007241756A (ja) 遠隔制御装置、遠隔制御システムおよび機器固有情報表示方法
JP6882659B2 (ja) 光走査型ヘッドマウントディスプレイ及び網膜走査型ヘッドマウントディスプレイ
US7940295B2 (en) Image display apparatus and control method thereof
JP2006350256A (ja) 走査型画像表示装置
JP2016158886A (ja) 内視鏡及び内視鏡システム
US10341607B2 (en) Display device
JP4631370B2 (ja) プロジェクタ装置、携帯電話、カメラ
JP4961662B2 (ja) プロジェクタ装置、携帯電話、カメラ
JP6853473B2 (ja) 光走査用制御装置及び網膜走査型投影装置
JP6997383B2 (ja) 光走査装置及び網膜走査型ヘッドマウントディスプレイ
JP7140514B2 (ja) 投射型表示装置およびその制御方法
JP2011155434A (ja) 資料提示システム
JP2005286501A (ja) カメラシステム
JP4655563B2 (ja) プロジェクタ装置、携帯電話、カメラ
JP5880221B2 (ja) 撮像装置、撮像方法、及び画像処理装置
US11972742B2 (en) Display apparatus, photoelectric conversion apparatus, electronic equipment, and wearable device
US20230032431A1 (en) Display apparatus, photoelectric conversion apparatus, electronic equipment, and wearable device
JP4493426B2 (ja) 電子内視鏡システム
JP2023020881A (ja) 表示装置、光電変換装置、電子機器、および、ウェアラブルデバイス
JP6859996B2 (ja) 発光ユニット、発光制御方法及びプログラム
JP5338248B2 (ja) 画像処理装置、電子カメラおよび画像処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190822

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200630

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200728

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200925

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20201201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210224

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20210224

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20210303

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20210309

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210406

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210419

R150 Certificate of patent or registration of utility model

Ref document number: 6882659

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150