JP7438737B2 - 3次元映像を表示する装置及び方法 - Google Patents

3次元映像を表示する装置及び方法 Download PDF

Info

Publication number
JP7438737B2
JP7438737B2 JP2019223016A JP2019223016A JP7438737B2 JP 7438737 B2 JP7438737 B2 JP 7438737B2 JP 2019223016 A JP2019223016 A JP 2019223016A JP 2019223016 A JP2019223016 A JP 2019223016A JP 7438737 B2 JP7438737 B2 JP 7438737B2
Authority
JP
Japan
Prior art keywords
light
optical layer
optical
dimensional display
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019223016A
Other languages
English (en)
Other versions
JP2020095271A (ja
Inventor
振鎬 李
マリノフスカヤ エリナ
ヤヌシック イゴール
東▲きょん▼ 南
倫善 崔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2020095271A publication Critical patent/JP2020095271A/ja
Application granted granted Critical
Publication of JP7438737B2 publication Critical patent/JP7438737B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/50Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/363Image reproducers using image projection screens
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/27Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B27/0103Head-up displays characterised by optical features comprising holographic elements
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/60Instruments characterised by their location or relative disposition in or on vehicles
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189Recording image signals; Reproducing recorded image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/32Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using arrays of controllable light sources; using moving apertures or moving light sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/322Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using varifocal lenses or mirrors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/211Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays producing three-dimensional [3D] effects, e.g. stereoscopic images
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B27/0103Head-up displays characterised by optical features comprising holographic elements
    • G02B2027/0105Holograms with particular structures
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0112Head-up displays characterised by optical features comprising device for genereting colour display
    • G02B2027/0114Head-up displays characterised by optical features comprising device for genereting colour display comprising dichroic elements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0132Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B2027/0192Supplementary details
    • G02B2027/0196Supplementary details having transparent supporting structure for display mounting, e.g. to a window or a windshield
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/10Scanning systems
    • G02B26/101Scanning systems with both horizontal and vertical deflecting means, e.g. raster or XY scanners
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10Beam splitting or combining systems
    • G02B27/1006Beam splitting or combining systems for splitting or combining different wavelengths
    • G02B27/102Beam splitting or combining systems for splitting or combining different wavelengths for generating a colour image from monochromatic image signal sources
    • G02B27/104Beam splitting or combining systems for splitting or combining different wavelengths for generating a colour image from monochromatic image signal sources for use with scanning systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10Beam splitting or combining systems
    • G02B27/14Beam splitting or combining systems operating by reflection only
    • G02B27/141Beam splitting or combining systems operating by reflection only using dichroic mirrors

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Mechanical Optical Scanning Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Diffracting Gratings Or Hologram Optical Elements (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Instrument Panels (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Description

以下の実施形態は3次元映像を表示する装置及び方法に関する。
HUD(head up display)システムは、運転者の前方に虚像(virtual image)を生成して虚像内に情報を表示し、運転者に様々な情報を提供することができる。運転者に提供される情報は、車両速度、注油残量、エンジンRPM(revolution per minute)などの計器盤情報及びナビゲーション情報を含む。運転者は、運転中に視線を移動することなく前方に表示されている情報を容易に把握することができるため、運転の安定性が高くなる。HUDシステムは、計器盤情報及びナビゲーション情報の他にも、前方視野が良くない場合を補助するための車線表示、工事表示、交通事故の表示、道を行いている人を示す警告表示などを運転者に拡張現実(AR:Augmented Reality)方式に提供することができる。
本発明の目的は、3次元映像を表示する装置及び方法を提供することにある。
本発明の一態様によれば、3次元ディスプレイ装置は、複数の光学素子を含む光学レイヤーと、光学レイヤーに光を走査するプロジェクターと、プロジェクターが光学レイヤーに光を走査するタイミングを制御し、タイミングに基づいて予め決定された視聴空間に3次元映像を提供するプロセッサとを含む。
本発明の一実施形態によれば、プロセッサは、タイミングにより走査された光によって実現される仮想のスキャンピクセルに基づいて3次元映像を提供し得る。
本発明の一実施形態によれば、プロセッサは、光学レイヤーに光が走査されるタイミングにより前記光の色を制御して3次元映像を提供し得る。
本発明の一実施形態によれば、プロセッサは、光学レイヤーに光が走査されるタイミングに対応するスキャンピクセルの値に基づいて、光を生成する複数の光源を制御することにより前記3次元映像を提供し得る。
本発明の一実施形態によれば、プロセッサは、複数の光学素子と仮想のスキャンピクセルとの間の対応位置関係による光の方向に基づいて、3次元映像を提供するように3次元映像を提供し得る。
本発明の一実施形態によれば、光学レイヤーは、第1波長を有する光のみを屈折させ、第1波長と異なる第2波長を有する光は透過させ得る。
本発明の一実施形態によれば、光学レイヤーの光学パラメータは、プロジェクターの位置と視聴空間の位置とに基づいて決定され得る。
本発明の一実施形態によれば、光学レイヤーは、自動車のフロントガラス上又は内部に提供され得る。
本発明の一実施形態によれば、光学レイヤーは、HOEレンズアレイを含み得る。
本発明の一実施形態によれば、HOEレンズアレイは、プロジェクターの位置と視聴空間の位置とに基づいて視聴空間に3次元映像を提供できるように記録され得る。
本発明の一実施形態によれば、光学レイヤーは、可視光の波長により透過率が異なる光学コーティング層でコーティングされたレンズアレイを含み得る。
本発明の一実施形態によれば、プロジェクターは、光学レイヤーにレーザ光線を走査する1つ以上のレーザスキャニングモジュールを含み得る。
本発明の一実施形態によれば、1つ以上のレーザスキャニングモジュールは、複数の色に対応するレーザ光線を出射する複数のレーザ光源と、複数のレーザ光源の出力を1つの統合光線に合成するビームコンバイナと、1つの統合光線を光学レイヤーに走査するために1つの統合光線の方向を制御するスキャニングミラーとを含み得る。
本発明の一実施形態によれば、3次元映像は、対象物体の3次元情報が含まれた基礎映像を集積して複数の視点領域を形成する集積映像を含み得る。
本発明の一実施形態によれば、3次元ディスプレイ装置は、光学レイヤー上に形成され、光学レイヤーと同じ屈折率を有するイマージョンレイヤーをさらに含み得る。
本発明の一実施形態によれば、3次元ディスプレイ装置は、プロジェクターと光学レイヤーとの間に形成され、画像の歪曲補正のための補償レンズをさらに含み得る。
本発明の一態様によれば、3次元ディスプレイ方法は、プロジェクターで光学レイヤーに光を走査するタイミングに関連する情報を取得するステップと、プロジェクターが光学レイヤーに光を走査するタイミングを制御するステップと、タイミングに基づいて予め決定された視聴空間に3次元映像を提供するステップとを含む。
本発明の一実施形態によれば、3次元映像を提供するステップは、タイミングにより走査された光によって実現される仮想のスキャンピクセルに基づいて3次元映像を提供するステップを含み得る。
本発明の一実施形態によれば、3次元映像を提供するステップは、光学レイヤーに光が走査されるタイミングにより光の色を制御するステップを含み得る。
本発明の一実施形態によれば、3次元映像を提供するステップは、光学レイヤーに光が走査されるタイミングに対応するスキャンピクセルの値に基づいて光を生成する複数の光源を制御するステップを含み得る。
本発明の一実施形態によれば、3次元映像を提供するステップは、光学レイヤーに含まれた複数の光学素子と仮想のスキャンピクセルとの間の対応位置関係による光の方向に基づいて前記3次元映像を提供するステップを含み得る。
本発明の一態様によれば、3次元ディスプレイ装置は、1つ以上の命令を格納するメモリと、1つ以上の命令を実行するプロセッサとを含み、1つ以上の命令がプロセッサによって実行されれば、プロセッサは、光の第1波長に関連する第1タイミング情報を取得し、光の第2波長に関連する第2タイミング情報を取得し、第1タイミング情報に基づいて第1タイミング期間の間に光学レイヤーに第1波長を有する光を走査し、第2タイミング期間の間に光学レイヤーに第2波長を有する光を走査するようにプロジェクターを制御し、プロジェクターによってスキャンされた光に基づいて視聴空間に3次元映像を提供する。
本発明の一実施形態によれば、3次元ディスプレイ装置は、光の方向を制御するスキャニングミラーと、スキャニングミラーを介して光を出力するレーザスキャニングモジュールとをさらに含み、レーザスキャニングモジュールは、水平方向又は垂直方向に前記光を走査し得る。
本発明の一実施形態によれば、光学レイヤーは、第1波長を有する光のみを屈折させ、第1波長と異なる第2波長を有する光は透過させる第1光学素子と、第2波長を有する光のみを屈折させ、第1波長を有する光は透過させる第2光学素子とを含み得る。
本発明によると、3次元映像を表示する装置及び方法を提供することができる。
一実施形態に従った3次元ディスプレイ装置を示す図である。 一実施形態に従った3次元ディスプレイ装置によって出力される光線分布を説明するための図である。 一実施形態に従ったパネルのRGBサブピクセルに対応するスキャンピクセルの実現方法を説明するための図である。 一実施形態に従った多視点映像生成方法を説明するための図である。 一実施形態に従った多視点映像生成方法を説明するための図である。 スキャンピクセルを用いたW(white)ピクセルの実現方法を説明するための図である。 スキャンピクセルを用いたW(white)ピクセルの実現方法を説明するための図である。 一実施形態に従ったレーザスキャニングモジュールの構造を説明するための図である。 一実施形態に従ったHOEレンズアレイを製造する方法を説明するための図である。 一実施形態に従ったHOE(Holographic Optical Element)レンズアレイを実現する方法を説明するための図である。 一実施形態に従った補償レンズ(compensating lens)を含む3次元ディスプレイ装置を説明するための図である。 一実施形態に従ったイマージョンレイヤー(immersion layer)を含む3次元ディスプレイ装置を説明するための図である。 一実施形態に従った3次元ディスプレイ装置100を用いた円形ディスプレイ装置が示す図である。 一実施形態に従った集積映像方式による3次元映像を実現する方法を説明するための図である。 一実施形態に従った集積映像方式による3次元映像を実現する方法を説明するための図である。 一実施形態に従った3次元ディスプレイ方法を説明するための図である。 一実施形態に従った3次元ディスプレイ装置の構造を説明するための図である。
実施形態に対する特定な構造的又は機能的な説明は単なる例示のための目的として開示されたものとして、様々な形態に変更される。したがって、実施形態は特定な開示形態に限定されるものではなく、本明細書の範囲は技術的な思想に含まれる変更、均等物ないし代替物を含む。
第1又は第2などの用語を複数の構成要素を説明するために用いることがあるが、このような用語は1つの構成要素を他の構成要素から区別する目的としてのみ解釈されなければならない。例えば、第1構成要素は第2構成要素と命名することができ、同様に第2構成要素は第1構成要素にも命名することができる。
いずれかの構成要素が他の構成要素に「連結」されているか「接続」されていると言及されたときには、その他の構成要素に直接的に連結されているか又は接続されているが、中間に他の構成要素が存在し得るものと理解されなければならない。
本明細書で用いられる用語は、単に特定の実施形態を説明するために使用されたものであり、本発明を限定しようとする意図はない。単数の表現は、文脈上、明白に異なる意味をもたない限り複数の表現を含む。本明細書において、「含む」又は「有する」等の用語は明細書上に記載した特徴、数字、ステップ、動作、構成要素、部品又はこれらを組み合わせたものが存在することを示すものであって、1つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、又はこれを組み合わせたものなどの存在又は付加の可能性を予め排除しないものとして理解しなければならない。
異なるように定義さがれない限り、技術的又は科学的な用語を含むここで用いる全ての用語は、本実施形態が属する技術分野で通常の知識を有する者によって一般的に理解されるものと同じ意味を有する。一般的に用いられる予め定義された用語は、関連技術の文脈上で有する意味と一致する意味を有するものと解釈すべきであって、本明細書で明白に定義しない限り、理想的又は過度に形式的な意味として解釈されることはない。
以下、実施形態を添付の図面を参照して詳細に説明する。各図面に提示される同一な参照符号は同一な部材を示す。
図1は、一実施形態に従った3次元ディスプレイ装置を示す図である。
図1を参照すると、一実施形態に従った3次元ディスプレイ装置100の構成が示されている。
3次元ディスプレイ装置100は、3次元映像140を実現する装置として、例えば、ユーザの左側の目及び右側の目に互いに異なる映像を見せることで3次元映像140を実現することができる。ユーザは、両眼視差(binocular disparity)による立体感を感じることができる。
一般的に、3次元映像を実現するためにはパネルと視差分離手段とが求められる。例えば、3次元ディスプレイ装置は、視差分離手段であるパララックスバリア又はレンチキュラーレンズをパネルの前面に配置させ、適切な視点映像をパネルのピクセルに配置して3次元映像を提供することにある。レンチキュラーレンズは、レンズを通過するとき光が屈折される性質を用いて3次元空間で伝播する光線の方向を制御し、パララックスバリアは、スリットを用いて光を選択的に通過させることで、3次元空間に伝播する光線の方向を制御する。
一実施形態に係る3次元ディスプレイ装置100は、パネルを使用せずに光学レイヤー120に光を走査する方法を用いて3次元映像140を生成する。図1には、3次元ディスプレイ装置100の実施形態において、3次元ディスプレイ装置100を用いたHUD(head up display)システムが示されている。以下、説明の便宜のためにHUDシステムにおける実施形態を説明するが、3次元ディスプレイ装置の実施形態は、HUDシステムに限定されることなく、TV、DID(Digital Information Display)、モニター、モバイル装置などの各種のディスプレイ装置へ様々に応用され得る。
3次元ディスプレイ装置100は、プロジェクター110と、光学レイヤー120とを含む。プロジェクター110は、光学レイヤー120に光を走査する。光学レイヤー120は、複数の光学素子を含む。光学素子は、多視点映像を生成する最小単位である。各光学素子から出力される光が視聴空間で一定のピッチをもって集まる。一実施形態に係るピッチは、予め決定されたピッチであってもよい。それぞれの光学素子は、3D画素と称される。3D画素は、特定の波長を有する光のみを屈折させ、特定の波長以外の波長を有する光は透過させることができる。一実施形態に係る特定の波長は、予め決定された波長を含む。また、特定の波長は特定範囲の波長を含んでもよい。
予め決定された波長を有する光のみを屈折させ、予め決定された波長以外の波長を有する光は透過させることから、光学レイヤー120は、可視光の波長により透過率の異なる光学コーティング層でコーティングされたレンズアレイを含むことができる。例えば、一般の光学レンズに予め決定された波長に対しては選択的に反射特性を高め、その他の波長に対しては、透過率を高めたダイクロックミラー(dichroic mirror)コーティングをレンズアレイ面に適用してもよい。
光学レイヤー120のパラメータは、プロジェクター110の位置と予め決定された視聴空間の位置とに基づいて決定される。例えば、光学レイヤー120に含まれる光学素子それぞれの屈折率は、プロジェクターの位置と予め決定された視聴空間の位置とに基づいて決定される。光学レイヤー120のパラメータを決定する方法については、次の図7Aを参照して詳細に説明される。
プロジェクター110は、予め決定された波長を有する光を光学レイヤー120に走査する。プロジェクター110からの光が走査された1つの3D画素は、設計された方向に光を出力する。一実施形態によれば、プロジェクター110からの光は、プロベクトル110から予め決定された時間の間に走査されることができる。3D画素から出力される光は、視点映像を形成する。3次元ディスプレイ装置100は、複数の3D画素を用いて3次元空間上の点などを表現できる。
3次元ディスプレイ装置100は、光学レイヤー120上に生成される映像をレンダリングする。ここで、「レンダリング」は、ユーザに3次元映像140を提供するために、光学レイヤー120に表示される2次元の映像を生成又は決定する動作である。例えば、「レンダリング」は、ユーザの特定の視聴空間に3次元映像140を提供するように、自動車の前面ガラスであるウィンドウシールド130の内側表面に付着又はウィンドウシールド130の内部に挿入される光学レイヤー120に表示される2次元の映像を生成する動作である。特定の視聴空間は、ユーザの予め決定された視聴空間を含む。映像情報は、光学レイヤー120上に生成される映像に対するデータである。例えば、映像情報は、光学レイヤー120上に生成される映像の大きさ、色に関するデータを含む。
図示していないが、「レンダリング」動作は、3次元ディスプレイ装置100に含まれたプロセッサによって駆動される。ここで、プロセッサは、ハードウェアモジュール、ソフトウェアモジュール、又は、それらの様々な組合せで実現することができる。プロセッサは、予め決定された視聴空間に3次元映像を提供するよう、光学レイヤーに光が走査されるタイミングに基づいて映像情報を制御する。予め決定された視聴空間は、ユーザの目及び目の周辺位置でユーザが左右移動しても持続的に3次元映像を観察することのできる程度の空間を意味する。
一実施形態に係る3次元映像140は、多視点映像(multiview image)及び集積映像(integral image)を含む。例えば、多視点映像方式は、複数の視点のうち互いに異なる2つの視点に該当する映像をユーザの両眼に提供することで、3次元映像を実現することができる。例えば、ユーザは、左側の目で第1視点に対応する映像を視聴し、右側の目で第2視点に対応する映像を視聴することで、3次元映像から立体感を感じることができる。また、集積映像方式は、複数の基礎レンズ(elemental lens)で構成されたレンズアレイを用いて対象物体の3次元情報を基礎映像の形態に格納し、レンズアレイを介して格納された基礎映像を集積して3次元映像を実現することができる。集積映像方式は、次の図11A及び図11Bを参照して詳細に説明される。
図2は、一実施形態に係る3次元ディスプレイ装置によって出力される光線分布を説明するための図である。
図2を参照すると、一実施形態に係るプロジェクターは、光学レイヤー220に光を走査する。プロジェクターは、光学レイヤー220にレーザを走査する1つ以上のレーザスキャニングモジュール210を含む。プロジェクターで走査する光は、スキャニングモジュール210で走査するレーザ光線を含む。1つのレーザスキャニングモジュールが1つのプロジェクターとして動作してもよく、2つ以上のレーザスキャニングモジュールが1つのプロジェクターとして動作してもよい。
レーザスキャニングモジュール210は、複数の色に対応するレーザ光線を出射する複数のレーザ光源の各々で出射される光線が反透過光学素子を介して合わせられた後、反射鏡を用いて方向制御が可能なスキャニングミラー211を介して光線を出射する装置である。例えば、複数のレーザ光源は、赤色レーザ光源、緑色レーザ光源、青色レーザ光源であり得る。レーザスキャニングモジュール210は、次の図6を参照して詳細に説明される。
レーザスキャニングモジュール210は、スキャニングミラー211を回転させることで、光学レイヤー220にレーザ光線を第1方向に移動しながら(例えば、上方から下方へ行きながら)第2方向のラインを(例えば、横に一行ずつ)走査する。レーザスキャニングモジュール210は、レーザ光線走査を介して光学レイヤー220に2次元の映像を生成する。レーザスキャニングモジュール210のスキャニングミラー211は、光学レイヤー220にレーザ光線を走査するために予め決定された周期で回転する。
光学レイヤー220に表示される2次元映像に基づいて、3次元空間で複数の光線230が決定される。例えば、光学レイヤー220に表示される2次元映像の映像情報により3次元空間上に生成される複数の光線が変更される。スキャニングミラー211の回転により、他の情報(例えば、他の色)の光線を光学レイヤー220の他の位置に出射するために、スキャニングミラー211のスキャン周期と映像情報が同期化される。例えば、レーザ光線の情報は、映像情報に基づいてスキャン周期により順次変更される。
光学レイヤー220は、複数の光学素子221,222を含む。レーザが走査されるタイミングに対応して複数の光学素子に走査される光線を変更することによって、スキャンピクセルが実現される。スキャンピクセルは、実際のピクセルではない、レーザによって実現されるピクセルの役割を果たす仮想のピクセルであることができる。レーザ光線は走査され、光学レイヤー220内でライン形態を保持するため、レーザ光線を映像情報に合わせて一定の時間間隔をもってオンオフ制御(on-off制御)すれば、光学レイヤー220に含まれる複数の光学素子221,222に走査される分離した光線を生成することができ、光線それぞれによってスキャンピクセルが実現される。例えば、レーザ光線215によって光学素子221に対応する第1スキャンピクセルが具現され、スキャニングミラー211を回転してレーザ光線215が下方へ移動するにつれて、レーザ光線215により光学素子222に対応する第2スキャンピクセルを実現することができる。
光学素子とスキャンピクセルとの間の対応位置関係による光線の方向に基づいて、光学素子から出力される光線の伝播方向が決定されるため、3次元空間上の点などが表現される。
図3は、一実施形態に係るパネルのRGBサブピクセルに対応するスキャンピクセルの実現方法を説明するための図である。
図3を参照すると、一実施形態に係る3次元ディスプレイ装置は、光学レイヤーに光が走査されるタイミングにより光の色を制御して映像情報を制御する。
前述したように、3次元ディスプレイ装置は、空間的3次元映像を分離するために、視差分離手段であるパララックスバリア又はレンチキュラーレンズをパネルの前面に配置させ、適切な視点映像をパネルのピクセルに配置することで、3次元映像を提供するこができる。
一般的なRGBパネル310は、1つのピクセルにR(red)サブピクセル、G(green)サブピクセル、及びB(blue)サブピクセルが含まれるピクセル構造を有する。一実施形態に係る3次元ディスプレイ装置は、実際のパネルのピクセルの代わりに、スキャンピクセルを用いて3次元映像を提供する。より具体的に、RGBサブピクセルの位置に対応する走査タイミングにRGBレーザ光源を映像情報に合わせて制御してスキャンピクセルが実現される。
例えば、RGBパネル310のR(赤色)サブピクセル位置311に対応する走査タイミングには、R(赤色)レーザ光線320のみを出射し、G(緑色)レーザ光線330及びB(青色)レーザ光線340は出射することなく遮断し、R(赤色)スキャンピクセルを形成する。G(緑色)サブピクセル及びB(青色)サブピクセルの位置312,313に対応においても同じ原理でG(緑色)スキャンピクセル及びB(青色)スキャンピクセルを形成する。
また、RGBレーザ光源を映像情報に合わせて一定の時間間隔でオンオフ制御すると同時に、映像情報により各レーザ光源の出力レーザ光線を変調して光線の明るさを調整することで、スキャンピクセルの色を制御することができる。
図4A及び図4Bは、一実施形態に係る多視点映像生成方法を説明するための図である。図4Bを参照して、一実施形態に係る多視点映像生成方法を説明する前に、図4Aを参照してパネルを用いた一般的な多視点表示方式について簡略に説明する。
図4Aは、裸眼3次元表示方式を実現するために一般的な多視点表示方式が用いられる場合、パネル400に含まれた複数のピクセルから出力された光線が3次元空間に伝播する方向を示す。パネル400のピクセルから発生した光線は、パネル400の前面に付着されたレンチキュラーレンズによって一定の方向を有し、ユーザ方向に均一に広がる。ユーザの左右側の目の位置に入射される光線を発生させるピクセルに対して、各々視点の異なる左右映像を印加すれば、ユーザは3次元映像を認知することができる。各ピクセルはサブピクセルを含む。例えば、1つのピクセルはRGBサブピクセルを含む。
図4Bは、一実施形態に係る3次元ディスプレイ装置を用いる場合、パネルを使用せずにプロジェクターを用いてパネル400のRGBサブピクセルに対応するスキャンピクセルから出力された光線が3次元空間に伝播する方向を示す。
一実施形態に係る3次元ディスプレイ装置は、プロジェクターと光学レイヤーを含む。光学レイヤーはプロジェクターから走査された光を様々な方向に異なる情報を含む光線に出力するという点から、一般的な多視点表示方式の3次元ディスプレイ装置のレンチキュラーレンズに対応する。一実施形態に他の3次元ディスプレイ装置は、パネル400を含んでいないが、プロジェクターを介して光を光学レイヤーに走査してRGBサブピクセルに対応するスキャンピクセルを生成することができる。
例えば、RGBサブピクセルの位置に対応する走査タイミングにRGBレーザ光源を映像情報に合わせて一定の時間間隔でオンオフ制御してスキャンピクセルを生成する。プロジェクターから走査される光を図4Aに示すパネルのサブピクセルの位置に対応させれば、一般的な多視点表示方式の3次元ディスプレイ装置と同一に3次元映像を実現することができる。
図5A及び図5Bは、スキャンピクセルを用いたW(白色)ピクセルの実現方法を説明するための図である。図5Aに示された第1実施形態510による3次元ディスプレイ装置は、スキャンピクセル単位のタイミングに合わせてRGBレーザ光源のオンオフを共に制御し、W(白色)スキャンピクセルを実現し、同時に変調を介して光線の階調を表現することができる。図5Bに示された第2実施形態520による3次元ディスプレイ装置は、スキャンピクセル内サブピクセル単位のタイミングに合わせて、RGBレーザ光源のオンオフを共に制御してWスキャンピクセルを実現することができる。
或いは、図3に示すように、スキャンピクセル内サブピクセルを同時にオンオフしながらも、各サブピクセルの明るさを同一に制御することによって、Wスキャンピクセルを実現することもできる。
図6は、一実施形態に係るレーザスキャニングモジュールの構造を説明するための図である。
図6を参照すると、一実施形態に係るレーザスキャニングモジュール600は、赤色レーザ光線を出射するR(赤色)レーザ光源612、緑色レーザ光線を出射するG(緑色)レーザ光源611、青色レーザ光線を出射するB(青色)レーザ光源613、各R、G、Bレーザ光源で出射する光を集光する集光レンズC1、C2、C3、複数のレーザ光源の出力を1つの統合光線に合成するビームコンバイナ621,622、光線の経路を制御するための1つ以上の反射ミラー630、及び統合光線を光学レイヤーに走査するために統合光線の方向を制御するスキャニングミラー640を含む。
ビームコンバイナ621,622は、各R、G、Bレーザダイオードから発生して集光レンズを介して集光された特定の波長の光のみを反射させ、その他の光は透過させるダイクロックミラー621a,622aを含む。例えば、ダイクロックミラー621aは赤色レーザ光線のみを反射し、ダイクロックミラー622aは青色レーザ光線のみを反射する特性を有する。緑色光線は、ダイクロックミラー621a,622aを透過し、赤色光線はダイクロックミラー622aを透過することができるため、ダイクロックミラー621a,622aを用いてRGBレーザ光源の出力を1つの統合光線に合成することができる。
スキャニングミラー640は、MEMS(Micro Electro Mechanical System)技術を用いて製造され、一点に集束されたレーザ光線を2つの駆動軸を用いて光学レイヤーに走査して2次元映像を作ることができる。2次元映像は、垂直方向に位置が相異なる水平ラインの集合として実現される。
レーザスキャニングモジュール600は、構造が簡単であるため小型化に有利であり、超小型プロジェクターとして活用される。また、スキャニングミラー640の走査角度を増加させることによって視野角(field of view)を容易に増加させることもできる。例えば、HUDシステムの場合、自動車ダッシュボード(dashboard)の内部の限定された空間によってHUD(head up display)システムの大きさが大きい場合、実際的な装着を困難にしている。レーザスキャニングモジュール600を使用してHUDシステムを構成する場合、運転者に大きい視野角の3次元のHUD映像を提供することができる。
図7Aは、一実施形態に係るHOE(Holographic Optical Element)レンズアレイを製造する方法を説明するための図である。
図7Aを参照すると、一実施形態に係る光学レイヤーは、HOEレンズアレイを含む。HOEは狭い波長帯域幅を有し、特定の波長領域だけで光学素子として使用される。HOEレンズアレイは、一般の光学レンズアレイ710とフォトポリマー720とを用いて製造する。プロジェクターの位置と予め決定された視聴空間の位置とを考慮して、HOEレンズアレイ(例えば、フォトポリマー層に)を記録する。HOEレンズアレイを記録することは、光学レイヤーの役割を果たすHOEレンズアレイに含まれる複数の光学素子の光学パラメータを決定するものである。例えば、光学レイヤー120又は220に含まれる光学素子それぞれの屈折率は、プロジェクターの位置と予め決定された視聴空間の位置とを考慮して決定される。
一般の光学レンズアレイ710とフォトポリマー720とが重なった状態で、予め決定された視聴空間の方向に水平に進むシグナル光線とプロジェクターの位置で一定の発散角αに一般の光学レンズアレイ710とフォトポリマー720に向かって入射される基準光線を用いてHOEレンズアレイを記録する。図7Aにおいて、一般の光学レンズアレイ710を垂直方向に表現したが、水平方向又は水平、垂直の両方に製造されてもよい。
図7Bは、一実施形態に係るHOE(Holographic Optical Element)レンズアレイを実現する方法を説明するための図である。
図7Bを参照すると、HOEレンズアレイ730は、予め決定された波長を有する光のみを屈折させ、予め決定された波長以外の波長を有する光は透過させるように製造され、視差分離手段であるパララックスバリア又はレンチキュラーレンズの役割を行うことができる。例えば、図7Aを参照して説明された方法により製造されたHOEレンズアレイ730は、RGBレーザ光線にだけ反応し、その他の波長を有する光は透過させることができる。
プロジェクター740を記録する時と同じ位置で配置し、光をHOEレンズアレイ730に一定の発散角αに走査すると、ユーザは、予め決定された視聴空間750の位置で3次元映像を観察することができる。
図8は、一実施形態に係る補償レンズ(compensating lens)を含む3次元ディスプレイ装置を説明するための図である。
図8を参照すると、一実施形態に係る3次元ディスプレイ装置100を用いたHUDシステムが示されている。3次元ディスプレイ装置100は、補償レンズ850をさらに含む。
補償レンズ850は、画像の歪曲(distortion)補正手段であってもよい。プロジェクター110と光学レイヤー820との間に画像の歪曲補正のための補償レンズ850をさらに備え、光学レイヤー120で耐える負担を減らすことができる。
他の実施形態によれば、HOEレンズアレイの製造時に、HOEレイヤーを複数備え、1層はレンズアレイの役割を果たし、他の1層は画像歪曲を補正する機能を担当するようにしてもよい。
図9は、一実施形態に係るイマージョンレイヤー(immersion layer)を含む3次元ディスプレイ装置を説明するための図である。
一実施形態に係る光学レイヤー910は、予め決定された波長を有する光のみを屈折させ、予め決定された波長以外の波長を有する光は透過させることができる。例えば、光学レイヤー910は、波長の選択性を用いて外部光の透過率には影響を与えることなく、プロジェクターで走査するレーザ光線にのみ反応して外部光による視認性を除去する。
図9を参照すると、外部光による視認性除去のためにイマージョンレイヤー920を光学レイヤー910上に適用してもよい。一実施形態によれば、イマージョンレイヤー920は、プロジェクターで走査される光の波長について選択的に反射特性を高め、その他の波長については透過率を高めた光学コーティングを有する。イマージョンレイヤー920は、光学レイヤー910と屈折率が同一であってもよい。例えば、光学レイヤー910の屈折率n1及びイマージョンレイヤー920の屈折率n2は同一であってもよい。光学レイヤー910と同じ屈折率を有するイマージョンレイヤー920を用いて、光学レイヤー910を介して観測される対象に歪曲の発生を防止することができる。
図10は、一実施形態に係る3次元ディスプレイ装置を用いた円形ディスプレイ装置を示す図である。図1~図9の説明は図10にも適用可能であるため、重複する内容の説明は省略する。
図10を参照すると、一実施形態に係る3次元ディスプレイ装置を用いた円柱型ディスプレイ装置1000は、プロジェクター1010及び光学レイヤー1020を含む。光学レイヤー1020は円柱の横面の形状を有する。以下、説明の便宜のために、円柱形態のディスプレイ装置を説明するが、3次元ディスプレイ装置の実施形態は、円柱形態のディスプレイ装置に限定されず、様々な形に応用され得る。
プロジェクター1010は、360度回転を介して光学レイヤー1020に光を走査する。3次元ディスプレイ装置1000は、ユーザが視野空間1030で見られるように複数の光学素子1021,1022を用いて3次元空間上の複数の点を表現することができる。
図11A及び図11Bは、一実施形態に係る集積映像方式による3次元映像を実現する方法を説明するための図である。
図11A及び図11Bを参照すると、一般的な集積映像方式の立体映像表示装置は、図11Aに示すピックアップ部1100と、図11Bに示す表示部1150から構成される。ピックアップ部1100は、第1レンズアレイ1130及びカメラなどのような撮影装置1140を用いて3次元物体1120の3次元情報を全体の要素映像に変えて撮影装置1140に格納する。
表示部1150は、予め決定された視聴空間1190に表示パネル1160と第2レンズアレイ1170とを備え、表示パネル1160に表示された全体要素映像を再び立体映像1180の形態に表される。
一般的な集積映像方式によると、視点が相異なる複数の視点領域を形成する。集積映像方式に係る3次元映像ディスプレイ装置は、光学アレイでマイクロレンズアレイを使用する。マイクロレンズアレイを利用すれば、視聴空間内で左右映像に分離される形態に光学アレイから出光される光線を制御することができる。
一実施形態に係る3次元ディスプレイ装置が集積映像方式により3次元映像を生成するためには、HOEレンズアレイをマイクロレンズアレイの役割を果たすように、プロジェクターの位置と予め決定された視聴空間の位置を考慮して記録する。
図1ないし10の説明は、図11A及び図11Bにも適用されるため、重複する内容の説明は省略する。例えば、集積映像方式により3次元映像を実現するとき、図2に示されたスキャンピクセルは該当のピクセルに割り当てられた方向角に該当する映像を出力する。方向角は、スキャンピクセルで光線が照射される角度として、該当のスキャンピクセルに出力された映像を所定の方向角に照射することによって3次元映像が実現される。
図12は、一実施形態に係る3次元ディスプレイ方法を説明するための図である。
ステップS1210~S1220は、図1を参照して3次元ディスプレイ装置100によって実行される。3次元ディスプレイ装置100は、1つ又はそれ以上のハードウェアモジュール、1つ又はそれ以上のソフトウェアモジュール、又は、それらの様々な組合せによって実現される。
ステップS1210において、3次元ディスプレイ装置100は、予め決定された視聴空間に3次元映像を提供するよう、光学レイヤーに光を走査するタイミングに関する情報を取得する。例えば、ステップS1210において、3次元ディスプレイ装置100は、R(赤色)スキャンピクセルが形成される第1タイミングに関する情報、G(緑色)スキャンピクセルが形成される第2タイミングに関する情報、及びB(青色)スキャンピクセルが形成される第3タイミングに関する情報を取得する。
ステップS1220において、3次元ディスプレイ装置100は、光を走査するタイミングに関連する情報に基づいて光学レイヤー上に生成される映像情報を制御する。一実施形態によれば、第1タイミングには、3次元ディスプレイ装置100は、RGBパネル310のR(赤色)サブピクセル位置にR(赤色)レーザ光線だけ出射し、G(緑色)レーザ光線及びB(青色)レーザ光線は出射することなく遮断する。例えば、3次元ディスプレイ装置100は、第1タイミングにはG(緑色)レーザ光線330及びB(青色)レーザ光線340は出射することなく遮断する。同じ原理により、G(緑色)サブピクセルは第2タイミングに形成され、B(青色)サブピクセルは第3タイミングに形成される。
図13は、一実施形態に係る3次元ディスプレイ装置の構造を説明するための図である。
図13を参照すると、3次元ディスプレイ装置1300は、プロセッサ1330、メモリ1350と、通信インターフェース1370とを含む。プロセッサ1330、メモリ1350及び通信インターフェース1370は、通信バス1305を介して通信する。
一実施形態に係るレンダリング動作は、プロセッサ1330によって駆動される。プロセッサ1330は、予め決定された視聴空間に3次元映像を提供するように光学レイヤーに光が走査されるタイミングに基づいて映像情報を制御する。予め決定された視聴空間は、ユーザの目及び目の周辺位置でユーザが左右に移動しても持続的に3次元映像を観察できる程度の空間を意味する。
一実施形態によれば、プロセッサ1330は、メモリ1350と通信してイメージ情報の制御実行に関するデータを格納したり、データを検索したり、又は命令を検索する。通信インターフェース1370は、外部入力情報を受信して受信された情報をメモリ1350又はプロセッサ1330に提供する。通信インターフェース1370は、プロセッサ1330によって処理されたり、メモリ1350から検索された情報を出力するように構成される。
一実施形態によれば、メモリ1350は、1つ以上の命令を格納するように構成され、メモリ1350に格納された1つ以上の命令の実行時、プロセッサ1330は、光の第1波長に関連する第1タイミング情報を取得し、光の第2波長に関する第2タイミング情報を取得し、第1タイミング情報に基づいて第1タイミング期間の間に光学レイヤーに第1波長を有する光を走査し、第2タイミング期間の間に光学レイヤーに第2波長を有する光を走査するようにプロジェクターを制御し、プロジェクターによってスキャンされた光に基づいて視聴空間で3次元映像を生成することができる。
以上述した実施形態は、ハードウェア構成要素、ソフトウェア構成要素、又はハードウェア構成要素及びソフトウェア構成要素の組み合せで具現される。例えば、本実施形態で説明した装置及び構成要素は、例えば、プロセッサ、コントローラ、ALU(arithmetic logic unit)、デジタル信号プロセッサ(digital signal processor)、マイクロコンピュータ、FPA(field programmable array)、PLU(programmable logic unit)、マイクロプロセッサー、又は命令(instruction)を実行して応答する異なる装置のように、1つ以上の汎用コンピュータ又は特殊目的コンピュータを用いて具現される。処理装置は、オペレーティングシステム(OS)及びオペレーティングシステム上で実行される1つ以上のソフトウェアアプリケーションを実行する。また、処理装置は、ソフトウェアの実行に応答してデータをアクセス、格納、操作、処理、及び生成する。理解の便宜のために、処理装置は1つが使用されるものとして説明する場合もあるが、当技術分野で通常の知識を有する者は、処理装置が複数の処理要素(processing element)及び/又は複数類型の処理要素を含むことが把握する。例えば、処理装置は、複数のプロセッサ又は1つのプロセッサ及び1つのコントローラを含む。また、並列プロセッサ(parallel processor)のような、他の処理構成も可能である。
ソフトウェアは、コンピュータプログラム、コード、命令、又はそのうちの一つ以上の組合せを含み、希望の通りに動作するよう処理装置を構成したり、独立的又は結合的に処理装置を命令することができる。ソフトウェア及び/又はデータは、処理装置によって解釈されたり処理装置に命令又はデータを提供するために、いずれかの類型の機械、構成要素、物理的装置、仮想装置、コンピュータ格納媒体又は装置、又は送信される信号波に永久的又は一時的に具体化することができる。ソフトウェアはネットワークに連結されたコンピュータシステム上に分散され、分散した方法で格納されたり実行され得る。ソフトウェア及びデータは一つ以上のコンピュータで読出し可能な記録媒体に格納され得る。
本実施形態による方法は、様々なコンピュータ手段を介して実施されるプログラム命令の形態で具現され、コンピュータ読み取り可能な記録媒体に記録される。記録媒体は、プログラム命令、データファイル、データ構造などを単独又は組み合せて含む。記録媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例として、ハードディスク、フロッピー(登録商標)ディスク及び磁気テープのような磁気媒体、CD-ROM、DVDのような光記録媒体、フロプティカルディスクのような磁気-光媒体、及びROM、RAM、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置を含む。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。ハードウェア装置は、本発明に示す動作を実行するために1つ以上のソフトウェアモジュールとして作動するように構成してもよく、その逆も同様である。
上述したように実施形態をたとえ限定された図面によって説明したが、当技術分野で通常の知識を有する者であれば、上記の説明に基づいて様々な技術的な修正及び変形を適用することができる。例えば、説明された技術が説明された方法と異なる順で実行されるし、及び/又は説明されたシステム、構造、装置、回路などの構成要素が説明された方法と異なる形態で結合又は組み合わせられてもよいし、他の構成要素又は均等物によって置き換え又は置換されたとしても適切な結果を達成することができる。

Claims (32)

  1. 各光学素子がピクセルアレイを含まない複数の光学素子を含む光学レイヤーと、
    前記光学レイヤーに光を走査するプロジェクターと、
    前記プロジェクターが前記光学レイヤーに前記光を走査するタイミングを制御し、前記タイミングに基づいて予め決定された視聴空間に3次元映像を提供する、プロセッサと、を含み、
    前記プロセッサは、前記タイミングに対応する前記複数の光学素子に走査される前記光の色を変更することによって実現されるスキャンピクセルに基づいて前記3次元映像を提供する、
    3次元ディスプレイ装置。
  2. 前記プロセッサは、前記光学レイヤーに前記光が走査されるタイミングにより前記光の色を制御して前記3次元映像を提供する、請求項1に記載の3次元ディスプレイ装置。
  3. 前記プロセッサは、前記光学レイヤーに前記光が走査されるタイミングに対応する前記スキャンピクセルの値に基づいて、前記光を生成する複数の光源を制御することにより前記3次元映像を提供する、請求項1に記載の3次元ディスプレイ装置。
  4. 前記プロセッサは、前記複数の光学素子と前記スキャンピクセルとの間の対応位置関係による前記光の方向に基づいて、前記3次元映像を提供するように前記3次元映像を提供する、請求項1に記載の3次元ディスプレイ装置。
  5. 前記光学レイヤーは、第1波長を有する光のみを屈折させ、前記第1波長と異なる第2波長を有する光は透過させる、請求項1乃至4のうちのいずれか1項に記載の3次元ディスプレイ装置。
  6. 前記光学レイヤーの光学パラメータは、前記プロジェクターの位置と前記視聴空間の位置とに基づいて決定される、請求項1乃至5のうちのいずれか1項に記載の3次元ディスプレイ装置。
  7. 前記光学レイヤーは、自動車のフロントガラス上又は内部に提供される、請求項1乃至6のうちのいずれか1項に記載の3次元ディスプレイ装置。
  8. 前記光学レイヤーは、HOEレンズアレイを含む、請求項1乃至7のうちのいずれか1項に記載の3次元ディスプレイ装置。
  9. 前記HOEレンズアレイは、前記プロジェクターの位置と前記視聴空間の位置とに基づいて前記視聴空間に前記3次元映像を提供できるように記録される、請求項8に記載の3次元ディスプレイ装置。
  10. 前記光学レイヤーは、可視光の波長により透過率が異なる光学コーティング層でコーティングされたレンズアレイを含む、請求項1乃至9のうちのいずれか1項に記載の3次元ディスプレイ装置。
  11. 前記プロジェクターは、前記光学レイヤーにレーザ光線を走査する1つ以上のレーザスキャニングモジュールを含む、請求項1乃至10のうちのいずれか1項に記載の3次元ディスプレイ装置。
  12. 前記1つ以上のレーザスキャニングモジュールは、
    複数の色に対応するレーザ光線を出射する複数のレーザ光源と、
    前記複数のレーザ光源の出力を1つの統合光線に合成するビームコンバイナと、
    前記1つの統合光線を前記光学レイヤーに走査するために前記1つの統合光線の方向を制御するスキャニングミラーと、
    を含む、
    請求項11に記載の3次元ディスプレイ装置。
  13. 前記3次元映像は、対象物体の3次元情報が含まれた基礎映像を集積して複数の視点領域を形成する集積映像を含む、請求項1乃至12のうちのいずれか1項に記載の3次元ディスプレイ装置。
  14. 前記光学レイヤー上に形成され、前記光学レイヤーと同じ屈折率を有するイマージョンレイヤーをさらに含む、請求項1乃至13のうちのいずれか1項に記載の3次元ディスプレイ装置。
  15. 前記プロジェクターと前記光学レイヤーとの間に形成され、画像の歪曲補正のための補償レンズをさらに含む、請求項1乃至14のうちのいずれか1項に記載3次元ディスプレイ装置。
  16. プロジェクターで各光学素子がピクセルアレイを含まない複数の光学素子を含む光学レイヤーに光を走査するタイミングに関連する情報を取得するステップと、
    前記プロジェクターが前記光学レイヤーに前記光を走査する前記タイミングを制御するステップと、
    前記タイミングに基づいて予め決定された視聴空間に3次元映像を提供するステップと、を含み、
    前記3次元映像を提供するステップは、前記タイミングに対応する前記複数の光学素子に走査される前記光の色を変更することによって実現されるスキャンピクセルに基づいて前記3次元映像を提供するステップを含む、
    3次元ディスプレイ方法。
  17. 前記3次元映像を提供するステップは、前記光学レイヤーに前記光が走査されるタイミングにより前記光の色を制御するステップを含む、請求項16に記載3次元ディスプレイ方法。
  18. 前記3次元映像を提供するステップは、前記光学レイヤーに前記光が走査されるタイミングに対応する前記スキャンピクセルの値に基づいて前記光を生成する複数の光源を制御するステップを含む、請求項16に記載3次元ディスプレイ方法。
  19. 前記3次元映像を提供するステップは、前記光学レイヤーに含まれた複数の光学素子と前記スキャンピクセルとの間の対応位置関係による前記光の方向に基づいて前記3次元映像を提供するステップを含む、請求項16に記載3次元ディスプレイ方法。
  20. 前記光学レイヤーは、第1波長を有する光のみを屈折させ、前記第1波長と異なる第2波長を有する光は透過させる、請求項16乃至19のうちのいずれか1項に記載3次元ディスプレイ方法。
  21. 前記光学レイヤーの光学パラメータは、前記プロジェクターの位置と前記視聴空間の位置に基づいて決定される、請求項16乃至20のうちのいずれか1項に記載3次元ディスプレイ方法。
  22. 前記光学レイヤーは、自動車のフロントガラス上又は内部に提供される、請求項16乃至21のうちのいずれか1項に記載3次元ディスプレイ方法。
  23. 前記光学レイヤーは、HOEレンズアレイを含む、請求項16乃至22のうちのいずれか1項に記載3次元ディスプレイ方法。
  24. 前記HOEレンズアレイは、前記プロジェクターの位置と前記視聴空間の位置に基づいて前記視聴空間に前記3次元映像を提供できるように記録される、請求項23に記載3次元ディスプレイ方法。
  25. 前記光学レイヤーは、可視光の波長により透過率が異なる光学コーティング層でコーティングされたレンズアレイを含む、請求項16乃至24のうちのいずれか1項に記載3次元ディスプレイ方法。
  26. 前記プロジェクターは、前記光学レイヤーにレーザ光線を走査する1つ以上のレーザスキャニングモジュールを含む、請求項16乃至25のうちのいずれか1項に記載3次元ディスプレイ方法。
  27. 前記1つ以上のレーザスキャニングモジュールは、
    複数の色に対応するレーザ光線を出射する複数のレーザ光源と、
    前記複数のレーザ光源の出力を1つの統合光線に合成するビームコンバイナと、
    前記1つの統合光線を前記光学レイヤーに走査するために前記1つの統合光線の方向を制御するスキャニングミラーと、を含む、
    請求項26に記載3次元ディスプレイ方法。
  28. 前記3次元映像は、対象物体の3次元情報が含まれた基礎映像を集積して複数の視点領域を形成する集積映像を含む、請求項16乃至27のうちのいずれか1項に記載3次元ディスプレイ方法。
  29. ハードウェアと結合して請求項16乃至請求項28のいずれか1項に記載の方法を実行させるために媒体に格納されたコンピュータプログラム。
  30. 1つ以上の命令を格納するメモリと、
    前記1つ以上の命令を実行するプロセッサと、をさらに含み、
    前記1つ以上の命令が前記プロセッサによって実行されると、前記プロセッサは、
    光の第1波長に関連する第1タイミング情報を取得し、前記光の第2波長に関連する第2タイミング情報を取得し、前記第1タイミング情報に基づいて第1タイミング期間の間に各光学素子がピクセルアレイを含まない複数の光学素子を含む光学レイヤーに第1波長を有する前記光を走査し、第2のタイミング情報に基づいて第2タイミング期間の間に前記光学レイヤーに第2波長を有する前記光を走査するようにプロジェクターを制御し、前記プロジェクターによってスキャンされる前記光に基づいて視聴空間に3次元映像を提供し、
    前記プロセッサは、前記第1タイミング情報及び前記第2タイミング情報に基づいて前記第1タイミング期間及び前記第2タイミング期間の間に前記複数の光学素子に走査される前記光の色を変更することによって実現されるスキャンピクセルに基づいて前記3次元映像を提供する、
    3次元ディスプレイ装置。
  31. 前記光の方向を制御するスキャニングミラーと、
    前記スキャニングミラーを介して光を出力するレーザスキャニングモジュールと、
    を含み、
    前記レーザスキャニングモジュールは、水平方向又は垂直方向に前記光を走査する、
    請求項30に記載の3次元ディスプレイ装置。
  32. 前記光学レイヤーは、
    前記第1波長を有する光のみを屈折させ、前記第1波長と異なる第2波長を有する光は透過させる第1光学素子と、
    前記第2波長を有する光のみを屈折させ、前記第1波長を有する光は透過させる第2光学素子と、を含む、
    請求項30又は31に記載の3次元ディスプレイ装置。
JP2019223016A 2018-12-12 2019-12-10 3次元映像を表示する装置及び方法 Active JP7438737B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2018-0159967 2018-12-12
KR1020180159967A KR102650332B1 (ko) 2018-12-12 2018-12-12 3차원 영상을 표시하는 장치 및 방법

Publications (2)

Publication Number Publication Date
JP2020095271A JP2020095271A (ja) 2020-06-18
JP7438737B2 true JP7438737B2 (ja) 2024-02-27

Family

ID=68771506

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019223016A Active JP7438737B2 (ja) 2018-12-12 2019-12-10 3次元映像を表示する装置及び方法

Country Status (5)

Country Link
US (1) US11733539B2 (ja)
EP (1) EP3667400A1 (ja)
JP (1) JP7438737B2 (ja)
KR (1) KR102650332B1 (ja)
CN (1) CN111308704A (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200072641A (ko) 2018-12-12 2020-06-23 삼성전자주식회사 3차원 증강 현실을 제공하는 헤드 업 디스플레이 장치
WO2022052111A1 (zh) * 2020-09-14 2022-03-17 华为技术有限公司 抬头显示装置、抬头显示方法及车辆

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002202475A (ja) 2000-12-28 2002-07-19 Yazaki Corp 車両用表示装置
JP2008129136A (ja) 2006-11-17 2008-06-05 Daiso Co Ltd 3次元像表示用スクリーンシステム及びこれを用いた3次元像表示装置
JP2010078860A (ja) 2008-09-25 2010-04-08 Toshiba Corp 光学部材、表示装置および移動体
JP2010107615A (ja) 2008-10-29 2010-05-13 Sanyo Electric Co Ltd 画像投写装置
JP2013068886A (ja) 2011-09-26 2013-04-18 Nhk Media Technology Inc 映像表示装置
US20180101018A1 (en) 2016-10-11 2018-04-12 Samsung Electronics Co., Ltd. Light-field display

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0618810A (ja) * 1992-07-06 1994-01-28 Fujitsu Ltd 表示装置
JPH09166762A (ja) * 1995-12-14 1997-06-24 Denso Corp 立体表示装置
US7656585B1 (en) * 2008-08-19 2010-02-02 Microvision, Inc. Embedded relay lens for head-up displays or the like
GB2461294B (en) 2008-06-26 2011-04-06 Light Blue Optics Ltd Holographic image display systems
US8520310B2 (en) * 2008-09-26 2013-08-27 Konica Minolta Opto, Inc. Image display device, head-mounted display and head-up display
FR2957683B1 (fr) * 2010-03-17 2012-03-23 Delphi Tech Inc Combineur diffractif pour afficheur tete haute couleur
JP5508946B2 (ja) 2010-06-16 2014-06-04 デクセリアルズ株式会社 光学体、窓材、建具、日射遮蔽装置、および建築物
JP6064257B2 (ja) * 2011-10-20 2017-01-25 パナソニックIpマネジメント株式会社 画像表示装置
US20130229712A1 (en) * 2012-03-02 2013-09-05 Google Inc. Sandwiched diffractive optical combiner
KR20160066942A (ko) 2014-12-03 2016-06-13 서울대학교산학협력단 홀로그래픽 광학 소자의 제조 방법 및 장치
US20170255020A1 (en) * 2016-03-04 2017-09-07 Sharp Kabushiki Kaisha Head mounted display with directional panel illumination unit
FR3054898B1 (fr) * 2016-08-03 2019-06-14 Valeo Comfort And Driving Assistance Dispositif de generation d'images tridimentionnelles et afficheur tete-haute associe
US20180095278A1 (en) * 2016-10-01 2018-04-05 Intel Corporation Techniques for image projection
KR102564478B1 (ko) 2016-11-22 2023-08-07 삼성전자주식회사 3d 영상 렌더링 방법 및 장치
KR102397089B1 (ko) 2017-07-28 2022-05-12 삼성전자주식회사 이미지 처리 방법 및 이미지 처리 장치
KR102447101B1 (ko) 2017-09-12 2022-09-26 삼성전자주식회사 무안경 3d 디스플레이를 위한 영상 처리 방법 및 장치
KR102556420B1 (ko) 2017-09-25 2023-07-17 삼성전자주식회사 디스플레이 장치
KR102427854B1 (ko) 2017-09-25 2022-08-01 삼성전자주식회사 영상 렌더링 방법 및 장치
KR102495359B1 (ko) 2017-10-27 2023-02-02 삼성전자주식회사 객체 트래킹 방법 및 장치
KR102410834B1 (ko) 2017-10-27 2022-06-20 삼성전자주식회사 반사 영역을 제거하는 방법, 사용자의 눈을 추적하는 방법 및 그 장치
KR102401168B1 (ko) 2017-10-27 2022-05-24 삼성전자주식회사 3차원 디스플레이 장치의 파라미터 캘리브레이션 방법 및 장치
KR102547822B1 (ko) 2017-11-24 2023-06-26 삼성전자주식회사 Hud 시스템 및 hud를 위한 광학 소자

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002202475A (ja) 2000-12-28 2002-07-19 Yazaki Corp 車両用表示装置
JP2008129136A (ja) 2006-11-17 2008-06-05 Daiso Co Ltd 3次元像表示用スクリーンシステム及びこれを用いた3次元像表示装置
JP2010078860A (ja) 2008-09-25 2010-04-08 Toshiba Corp 光学部材、表示装置および移動体
JP2010107615A (ja) 2008-10-29 2010-05-13 Sanyo Electric Co Ltd 画像投写装置
JP2013068886A (ja) 2011-09-26 2013-04-18 Nhk Media Technology Inc 映像表示装置
US20180101018A1 (en) 2016-10-11 2018-04-12 Samsung Electronics Co., Ltd. Light-field display

Also Published As

Publication number Publication date
US20200192109A1 (en) 2020-06-18
JP2020095271A (ja) 2020-06-18
KR20200072623A (ko) 2020-06-23
US11733539B2 (en) 2023-08-22
EP3667400A1 (en) 2020-06-17
CN111308704A (zh) 2020-06-19
KR102650332B1 (ko) 2024-03-22

Similar Documents

Publication Publication Date Title
US12054047B2 (en) Image processing method of generating an image based on a user viewpoint and image processing device
TWI666467B (zh) 眼睛投影系統
JP4227076B2 (ja) 立体画像を表示する表示装置及び立体画像を表示する表示方法
US11768380B2 (en) 3-dimensional image display apparatus and method of providing expanded viewing window
WO2018142610A1 (ja) 立体表示装置およびヘッドアップディスプレイ
CN103108207B (zh) 双全息三维显示装置
US20160202594A1 (en) Backlight unit and display apparatus including the same
WO2018061444A1 (ja) 反射板、情報表示装置および移動体
US11553171B2 (en) Light field display device and method of processing image of the same
US11226486B2 (en) Head-up display device for providing three-dimensional augmented reality
JP7438737B2 (ja) 3次元映像を表示する装置及び方法
JP2023517828A (ja) 高解像度液晶ディスプレイ
JP7354846B2 (ja) ヘッドアップディスプレイ装置
JP6121097B2 (ja) 情報提示装置
US11054641B2 (en) Image generating device for screen and head-up display
CN112970247A (zh) 显示多重景深影像的系统与方法
JP7127415B2 (ja) 虚像表示装置
Kovacs et al. 3D Display technologies and effects on the human vision system
JP2021103276A (ja) 画像表示装置
CN112526748A (zh) 一种抬头显示设备、成像系统和车辆
WO2022123918A1 (ja) 画像表示装置及び表示装置
CN210666207U (zh) 一种抬头显示设备、成像系统和车辆
US11947114B2 (en) Holographic lens and apparatus including the same
JP2005099425A (ja) 三次元表示装置
CN117130162A (zh) 一种图像显示方法及相关设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220825

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230620

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230621

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230920

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231003

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240116

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240214

R150 Certificate of patent or registration of utility model

Ref document number: 7438737

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150