JP6595570B2 - ヘッドマウントディスプレイ及びその制御方法 - Google Patents

ヘッドマウントディスプレイ及びその制御方法 Download PDF

Info

Publication number
JP6595570B2
JP6595570B2 JP2017240488A JP2017240488A JP6595570B2 JP 6595570 B2 JP6595570 B2 JP 6595570B2 JP 2017240488 A JP2017240488 A JP 2017240488A JP 2017240488 A JP2017240488 A JP 2017240488A JP 6595570 B2 JP6595570 B2 JP 6595570B2
Authority
JP
Japan
Prior art keywords
image data
data
frame
head mounted
mounted display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017240488A
Other languages
English (en)
Other versions
JP2018106157A (ja
Inventor
ゴンウ ウォン,
サンリン イ,
Original Assignee
エルジー ディスプレイ カンパニー リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by エルジー ディスプレイ カンパニー リミテッド filed Critical エルジー ディスプレイ カンパニー リミテッド
Publication of JP2018106157A publication Critical patent/JP2018106157A/ja
Application granted granted Critical
Publication of JP6595570B2 publication Critical patent/JP6595570B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2092Details of a display terminals using a flat panel, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G3/2096Details of the interface to the display terminal specific for a flat panel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/011Head-up displays characterised by optical features comprising device for correcting geometrical aberrations, distortion
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0132Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0141Head-up displays characterised by optical features characterised by the informative content of the display
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2310/00Command of the display device
    • G09G2310/02Addressing, scanning or driving the display screen or processing steps related thereto
    • G09G2310/0264Details of driving circuits
    • G09G2310/0286Details of a shift registers arranged for use in a driving circuit
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2310/00Command of the display device
    • G09G2310/02Addressing, scanning or driving the display screen or processing steps related thereto
    • G09G2310/0264Details of driving circuits
    • G09G2310/0289Details of voltage level shifters arranged for use in a driving circuit
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2310/00Command of the display device
    • G09G2310/08Details of timing specific for flat panels, other than clock recovery
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0261Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/028Improving the quality of display appearance by changing the viewing angle properties, e.g. widening the viewing angle, adapting the viewing angle to the view direction
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/14Solving problems related to the presentation of information to be displayed
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Liquid Crystal Display Device Control (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)

Description

本発明は、ヘッドマウントディスプレイ及びその制御方法に関する。具体的には、ヘッドマウントディスプレイの動きに対するセンシング時点からディスプレイにイメージが実際に出力される時までの遅延時間(motion to photon latency)を低減させるヘッドマウントディスプレイ及びその制御方法に関する。
最近、IT技術の発達によりヘッドマウントディスプレイ(Head mounted display、HMD)は、日常生活でビックイシューとして浮かび上がっている。特に、ヘッドマウントディスプレイは、多様なプログラム、アプリケーションと繋がって、日常生活で必須な機能を遂行するコミュニケーションツールとして活用されている。
仮想現実(Virtual Reality、VR)は、コンピュータを利用して構築した仮想空間と人間感覚系との相互作用を通じて、まるで現実であるような経験を提供する技術に関するものであって、コンピュータを利用して作り出した架空状況や環境を言う。この時に作られた仮想環境や状況は、使用者の感覚を刺激して実際に似たような空間的、時間的体験をさせることで、まるで現実にに起きるように見せる。
仮想現実機器(VR devices)を利用すると、使用者は、かかる仮想現実をよりリアルに感じることができ、実際と仮想空間との境界線を容易に越えながら仮想現実世界に没入することができる。また、仮想現実機器は、かかる仮想現実世界において使用者の動きと経験をコントロールする手段として作用するが、仮想現実世界における対象らとの相互作用も可能であるため、使用者毎に異なる経験をすることができる点が特徴である。
仮想現実では、目の前に現れることを意味する現前(Presence)という概念が登場するが、これは、高い没入感を提供することで、使用者が仮想に構成された非物理的世界に実際に存在すると認知させることを意味する。このような現前の経験を形成するにおいて、遅延時間(motion to photon latency)が発生し得る。
遅延時間は、使用者が動き始める瞬間からそれが実際の画面に反映して光子が使用者の目まで到逹するまでにかかる時間であって、すなわち、使用者の視線の移動と、これによる画面アップデートの間に発生する時間差を言う。遅延時間を最小化することは、快適なVR使用環境を提供するに決定的な要素である。
一般的に使用者は、遅延時間が20ms以下である場合は遅延時間を認知しない。
但し、遅延時間が長くなる場合(例えば、50ms以上)、ヘッドマウントディスプレイ(Head mounted display、HMD)を着用して仮想現実プログラムを実行する時、使用者は酔い(Sim Sickness)を感じることがある。また、遅延時間が長くなる場合、使用者の動きに対するヘッドマウントディスプレイの応答性が落ちるという問題点があった。
本発明は、画面出力に対する遅延時間を最小化して、使用者の感じる不自然さ及び酔いを最小化できるヘッドマウントディスプレイ及びその制御方法を提供することを目的とする。
また、本発明は、既存の構成要素をそのまま利用するものの、複数のセンシング情報に基づいて計算されたピクセル移動情報を利用して、ディスプレイに入力されたイメージデータの出力タイミングを決定するデータ印加信号をシフト(shift)することで、表示パネルに出力されるイメージデータをフレームシフト(frame shift)させるヘッドマウントディスプレイ及びその制御方法を提供することを目的とする。
本発明の目的は、以上で言及した目的に制限されないし、言及していない本発明の他の目的及び長所は、下記の説明により理解され、本発明の実施形態によりさらに明らかに理解されるだろう。また、本発明の目的及び長所は、特許請求の範囲に示した手段及びその組み合わせによって実現できることが分かり得るだろう。
従来のヘッドマウントディスプレイは、映像データが増加するにつれて遅延時間は長くなり(例えば、50ms以上)、動きに対する画像の応答性が落ちて、使用者は酔い(Sim Sickness)を感じるという問題点があった。
かかる問題を解決するために、本発明のヘッドマウントディスプレイは、前記ヘッドマウントディスプレイの動きを測定するセンサー部、第1時点に、前記センサー部で測定した第1センシング情報に基づいてイメージデータを生成する制御部、及び生成された前記イメージデータをフレームシフト(frame shift)して表示パネルに出力するディスプレイ部を含み、前記ディスプレイ部は、前記第1時点の以後である第2時点に、前記センサー部で測定した第2センシング情報を利用して前記イメージデータをフレームシフトし、前記第2時点は、前記制御部が前記イメージデータを生成した後、前記表示パネルに前記イメージデータを出力する直前に該当することを含む。
また、前記ディスプレイ部は、レンズ補正情報に基づいて入力されたイメージデータに含まれたディストーション(distortion)を除去する第1映像処理部、ピクセル移動情報に基づいて、前記第1映像処理部で出力されたイメージデータをフレームシフトする信号を生成するフレーム移動部、及び前記レンズ補正情報に基づいて、前記フレーム移動部で出力されたイメージデータにディストーションを適用する第2映像処理部を含んでもよい。
また、前記ディスプレイ部は、前記センサー部で入力されたセンシング情報をオイラー角に変換する相補フィルタ、及び前記オイラー角を利用して前記ピクセル移動情報を計算する角度ピクセル変換部をさらに含んでもよい。
また、前記フレーム移動部は、前記第1及び第2センシング情報に基づいて計算された前記ピクセル移動情報のベクトル値を利用して、前記表示パネルに出力されるイメージデータの位置をフレームシフトすることができる。
また、前記表示パネルは、互いに交差する複数のデータラインと複数のゲートラインを含み、前記ディスプレイ部は、入力されたイメージデータをデータ電圧に変換して前記複数のデータラインに出力するデータ駆動部、前記データ電圧に同期されるゲートパルスを前記複数のゲートラインに順次に出力するゲート駆動部、及び前記データ駆動部に入力される前記イメージデータを補償処理して、出力タイミングを制御するタイミング制御部をさらに含み、前記タイミング制御部は、前記データ駆動部に入力されたイメージデータの出力タイミングを決定するデータ印加信号をシフトして、前記表示パネルに出力される前記イメージデータをフレームシフトさせることができる。
また、前記データ印加信号は、前記データ駆動部に入力されるイメージデータの単位クロック内でシフトされる場合、前記表示パネルに出力されるイメージデータは、左右にフレームシフトされてもよい。
また、前記データ印加信号は、前記データ駆動部に入力されるイメージデータの一つ以上の単位クロックでシフトされる場合、前記表示パネルに出力されるイメージデータは、上下にフレームシフトされてもよい。
また、前記第2時点と前記第1時点の間の時間間隔は、前記制御部で前記第1センシング情報に基づいて、一つのイメージフレームを生成する時間と同一であってもよい。
本発明のヘッドマウントディスプレイの制御方法は、第1時点で、ヘッドマウントディスプレイの動きを測定する段階、前記第1時点で測定した第1センシング情報に基づいてイメージデータを生成する段階、前記第1時点の以後である第2時点で、前記ヘッドマウントディスプレイの動きを測定する段階、前記第2時点で測定した第2センシング情報に基づいて、前記第1センシング情報を利用して生成された前記イメージデータをフレームシフトする段階、及びフレームシフトされた前記イメージデータを表示パネルに出力する段階を含み、前記第2時点は、前記イメージデータを生成した後、前記表示パネルに前記イメージデータを出力する直前に該当することを含む。
また、前記第1センシング情報を利用して生成された前記イメージデータをフレームシフトする段階は、レンズ補正情報に基づいて入力されたイメージデータに含まれたディストーションを除去する段階、ピクセル移動情報に基づいてディストーションが除去された前記イメージデータをフレームシフトする段階、及び前記レンズ補正情報に基づいてフレームシフトされた前記イメージデータにディストーションを適用する段階を含んでもよい。
また、前記第1センシング情報を利用して生成された前記イメージデータをフレームシフトする段階は、前記第1及び第2センシング情報をオイラー角に変換する段階、及び前記オイラー角を利用して前記ピクセル移動情報を計算する段階をさらに含んでもよい。
また、前記ピクセル移動情報に基づいて、前記イメージデータをフレームシフトする段階は、前記第1及び第2センシング情報に基づいて計算された前記ピクセル移動情報のベクトル値を利用して、前記表示パネルに出力されるイメージデータの位置をフレームシフトすることができる。
また、前記表示パネルは、互いに交差する複数のデータラインと複数のゲートラインを含み、前記フレームシフトされた前記イメージデータを表示パネルに出力する段階は、入力されるイメージデータをデータ電圧に変換して前記複数のデータラインに出力する段階、前記データ電圧に同期されるゲートパルスを前記複数のゲートラインに順次に出力する段階、及び前記イメージデータを補償処理して出力タイミングを制御する段階を含み、前記出力タイミングを制御する段階は、前記入力されたイメージデータの出力タイミングを決定するデータ印加信号をシフトして、前記表示パネルに出力される前記イメージデータをフレームシフトさせることができる。
また、前記データ印加信号は、入力されるイメージデータの単位クロック内でシフトされる場合、前記表示パネルに出力されるイメージデータは、左右にフレームシフトされてもよい。
また、前記データ印加信号は、入力されるイメージデータの一つ以上の単位クロックでシフトされる場合、前記表示パネルに出力されるイメージデータは、上下にフレームシフトされてもよい。
また、前記第2時点と前記第1時点の間の時間間隔は、前記第1センシング情報に基づいて一つのイメージフレームを生成する時間と同一であってもよい。
本発明の一実施形態によれば、本発明のヘッドマウントディスプレイは、第1時点に測定した第1センシング情報を利用してイメージデータを生成し、前記イメージデータを表示パネルに出力する直前である第2時点に測定した第2センシング情報を利用して、前記イメージデータをフレームシフトすることで、出力されるイメージデータの遅延誤差を低減することができる。これを通じて、本発明のヘッドマウントディスプレイ装置は、早い応答性を確保することができる。
また、本発明のヘッドマウントディスプレイは、短い遅延時間(motion to photon latency)を有する仮想現実画面を出力することで、より自然な仮想現実画面を具現することができ、仮想現実プログラムを実行する時、使用者の感じる酔い(Sim Sickness)を低減することができる。
また、本発明のヘッドマウントディスプレイは、既存にある構成要素をそのまま利用して遅延時間を低減することができ、製作費用を増加させることなく、動作性能を改善することができる。
ヘッドマウントディスプレイを着用した使用者の動きを示すための斜視図である。 従来のヘッドマウントディスプレイの画像表現方法を示したブロック図である。 本発明のいくつかの実施形態によるヘッドマウントディスプレイを説明するためのブロック図である。 図3のディスプレイ部の構成要素を説明するためのブロック図である。 図4のタイミング制御部の構成要素を説明するためのブロック図である。 本発明のいくつかの実施形態によるヘッドマウントディスプレイの動作を説明するためのブロック図である。 本発明のいくつかの実施形態によるヘッドマウントディスプレイの動作を説明するための図面である。 本発明のいくつかの実施形態によるヘッドマウントディスプレイの改善点を説明するためのグラフである。 本発明の一実施形態によるヘッドマウントディスプレイの動作を説明するための図面である。 本発明の一実施形態によるヘッドマウントディスプレイの動作を説明するための図面である。 本発明の他の実施形態によるヘッドマウントディスプレイの動作を説明するための図面である。 本発明の他の実施形態によるヘッドマウントディスプレイの動作を説明するための図面である。 本発明のさらに他の実施形態によるヘッドマウントディスプレイの動作を説明するための図面である。
前述の目的、特徴及び長所は、添付図面を参照して詳細に後述し、これによって本発明が属する技術分野において通常の知識を有する者は、本発明の技術的思想を容易に実施することができるだろう。本発明を説明するにおいて、本発明に係る公知技術に対する具体的な説明は、本発明の要旨を曖昧にすると判断される場合には詳細な説明を省略する。以下、添付図面を参照して、本発明による望ましい実施形態を詳説する。図面において同じ参照符号は、同一または類似の構成要素を指すものとして使われる。
以下、本発明の実施形態によるヘッドマウントディスプレイ及びその制御方法について図面を参照して詳説する。
図1は、ヘッドマウントディスプレイを着用した使用者の動きを示すための斜視図である。
図1を参照すれば、ヘッドマウントディスプレイ1000は、使用者の頭に固定して、使用者の目の上に着用されて、二つの異なる映像を表示することができる。
使用者の頭の中心は、ピッチ(pitch)、ヨー(yaw)及びロール(roll)軸の3次元中心に位置する。3次元座標系において、ピッチ(pitch)はx軸回転で、ヨー(yaw)はy軸回転であり、ロール(roll)はz軸回転である。
使用者が着用したヘッドマウントディスプレイ1000の動きは、ピッチ(pitch)、ヨー(yaw)、ロール(roll)で表現することができる。
図2は、従来のヘッドマウントディスプレイの画像表現方法を示したブロック図である。
図2を参照すれば、従来のヘッドマウントディスプレイは、3D仮想空間上で使用者の視線に沿って動いた角度を計算して、それに該当する映像をディスプレイする。
ヘッドマウントディスプレイは、使用者の頭が動いた場合、内装したトラッキングシステム(tracking system)に含まれた複数のセンサーを利用して、動きに対する方向情報を取得する(S110)。このとき、トラッキングシステムに内装したセンサー部は、ジャイロスコープ、加速度センサー、磁気センサー、少なくとも一つのビデオカメラ、カラーセンサーを含み、モーションセンサー、ポジションセンサー、オリエンテーションセンサーを含んでもよい。
次いで、ヘッドマウントディスプレイの制御部は、実行されるアプリケーションに従う演算を遂行する(S120)。ここで、アプリケーションは、オペレーティングシステムまたは応用プログラム等を含み得る。例えば、制御部は、センサー部で測定したデータに基づいて、使用者が動いた角度を含む移動情報を計算することができる。但し、本発明はこれに限定されるものではない。
次いで、ヘッドマウントディスプレイの制御部は、リアルタイムで使用者が眺める方向に該当するイメージを生成する(S130)。例えば、制御部は、前記移動情報に基づいて新しいイメージを生成することができる。
次いで、生成されたイメージを画面に出力する(S140)。
一般的にヘッドマウントディスプレイは、センサー部から使用者の動きを取得した時点から画面に該映像をディスプレイするまで一定時間(以下、遅延時間(motion to photon latency)とする)がかかる。
遅延時間が20ms以下であるとき、使用者は遅延現象を認知されない。しかし、従来の方式によるヘッドマウントディスプレイの場合、遅延時間は50ms以上であり、これは、アプリケーションの複雑度によってさらに増加し得る。
遅延時間が長くなる場合(例えば、50ms以上)、ヘッドマウントディスプレイを着用して仮想現実プログラムを実行する時、使用者は映像に不自然さ及び違和感を感じるようになり、ひどい場合は酔い(Sim Sickness)を感じることがある。
図3は、本発明のいくつかの実施形態によるヘッドマウントディスプレイを説明するためのブロック図である。
図3を参照すれば、本発明のいくつかの実施形態によるヘッドマウントディスプレイ1000は、ディスプレイ部1100、制御部1200、センサー部1300、無線通信部1400、インターフェース部1500、メモリー部1600及びバス1700を含む。
ディスプレイ部1100は、制御部1200からの制御命令に従ってプロセッシングされたイメージデータを表示パネル(図4の400)にディスプレイする。
ディスプレイ部1100は、第1時点にセンサー部1300で測定した第1センシング情報に基づいて生成されたイメージデータを、第2時点にセンサー部1300で測定した第2センシング情報を利用してフレームシフト(frame shift)することができる。このとき、第2時点は、制御部1200が第1時点に対するイメージデータを生成した後、表示パネル(図4の400)にイメージデータを出力する直前に該当する。
このとき、第2時点と第1時点の間の時間間隔は、制御部1200で第1センシング情報に基づいて一つのイメージフレームを生成する時間と同一であってもよい。但し、本発明はこれに限定されるものではなく、これに対する詳説は後述する。
表示パネル(図4の400)は、少なくとも一つになってもよい。例えば、表示パネル(図4の400)は、ヘッドマウントディスプレイを着用した使用者の両眼のすぐ前にある。このような場合、同じイメージを遠くにあるスクリーンにディスプレイするより比較的に少ない解像度を利用してディスプレイできるという長所がある。
制御部1200は、ヘッドマウントディスプレイ1000内のあらゆる構成要素の動作を制御することができる。
具体的には、制御部1200は、センサー部1300で測定したデータに基づいて位置情報を計算して、前記位置情報に基づいて新しいイメージデータを生成する。生成された新しいイメージデータは、ディスプレイ部1100に伝達される。制御部1200は、中央処理装置(Central Processing Unit;以下、CPU)、グラフィック処理装置(Graphic Processing Unit;以下、GPU)を含んでもよい。
新しいイメージデータを生成する動作は、例えばレンダリング(rendering)及び場面の移動等を含んでもよい。レンダリング(rendering)は、フレームに含まれたイメージの影、色相及び濃度のうち少なくとも一つを変更したものである。フレーム(Frame)は、ビデオフレームで動画を再生する時、場面の動きが連続して表示されるそれぞれの映像、一画面を言う。
センサー部1300は、ヘッドマウントディスプレイ1000の動きを感知する。
センサー部1300は、モーション、ポジション、オリエンテーションデータを生成するセンサーらを含む。センサー部1300は、ジャイロスコープ、加速度センサー、磁気センサー、少なくとも一つのビデオカメラ、カラーセンサーを含み、モーションセンサー、ポジションセンサー、オリエンテーションセンサーを含んでもよい。ここで、オリエンテーションは、ヘッドマウントディスプレイ1000を着用した使用者が事物を眺める3次元空間における方向ベクトルを意味する。
センサー部1300は、高い割合でセンサーデータを提供するため比較的に高い周波数帯域で動作することができる。例えば、センサーデータは、1,000Hzの割合で生成されてもよい。又は、センサー部1300は、百万分の1秒毎にセンシングすることができる。このような方法で、1秒当たり数千個のセンサーデータを生成することができる。但し、本発明はこれに限定されるものではない。
無線通信部1400は、通信ネットワークでデータを送るか、通信ネットワークからデータを受信する機能を遂行することができる。無線通信部1400は、プロトコルを利用してデータを送受信する。例えば、無線通信部1400は、ヘッドマウントディスプレイ1000と繋がって動作する使用者コントローラー、又は外部センサーと無線でデータを取り交わすことができる。
インターフェース部1500は、使用者の入力を受信することができる。インターフェース部1500は、複数のボタン、赤外線センサー、キネティックセンサ等を利用して使用者の命令を受信することができる。但し、本発明はこれに限定されるものではない。
メモリー部1600は、制御部1200で生成されたイメージデータを保存する。また、メモリー部1600は、センサー部1300で測定したセンシングデータ及びディスプレイ部1100に含まれるレンズに対するレンズ補正情報等を保存して、制御部1200又はディスプレイ部1100に提供することができる。
メモリー部1600は、揮発性または非揮発性メモリーを含んでもよい。また、メモリー部1600は、生成されたイメージデータを一時的に保存するバッファーとして動作することができる。
バス1700は、ディスプレイ部1100、制御部1200、センサー部1300、無線通信部1400、インターフェース部1500及びメモリー部1600が互いにデータ通信をするに利用することができる。本発明のいくつかの実施形態において、このようなバス1700は、多層構造を有してもよい。具体的には、このようなバス1700の例としては、多層AHB(multi−layer Advanced High−performance Bus)、又は多層AXI(multi−layer Advanced eXtensible Interface)が利用され得るが、本発明はこれに制限されるものではない。
図4は、図3のディスプレイ部の構成要素を説明するためのブロック図である。
図4を参照すれば、発明のいくつかの実施形態によるヘッドマウントディスプレイ1000のディスプレイ部1100は、タイミング制御部100、データ駆動部200、ゲート駆動部300及び表示パネル400を含む。
タイミング制御部100は、RGB画像信号、RGB画像信号のディスプレイのための同期信号(Hsync、Vsync)、クロック信号(MCLK)を受信する。タイミング制御部100は、補償されたRGB画像信号(R’ 、G’、B’)をデータ駆動部200に出力する。タイミング制御部100は、データ駆動部200とゲート駆動部300を制御するためのタイミング信号を生成して、データ駆動部200とゲート駆動部300にそれぞれ出力する。
タイミング制御部100は、データ駆動部200にデータ印加信号(DE)、水平同期開始信号(STH)、ロード信号(LOAD)を伝達する。
具体的には、データ印加信号(DE)は、画像信号の横線(line)の周期を表す。例えば、1920×1080の解像度を有する画像信号の場合、一フレームの画像信号が出力される間に、データ印加信号(DE)の活性化状態は、1080回表れる。但し、本発明はこれに限定されるものではない。
データ印加信号(DE)は、データ駆動部200に入力されたイメージデータをフレームシフト(frame shift)させるために利用される。但し、本発明では、データ駆動部200に入力されたイメージデータに対する入力タイミングはそのまま維持するものの、データ印加信号(DE)をシフトして、イメージデータの出力画面をシフト(shift)することができる。これに対する詳しい説明は、後で図9ないし図13を参照して詳説する。
水平同期開始信号(STH)は、データ駆動部200に入力されたデータをアナログに変換させて、変換されたアナログ値を表示パネル400に印加するために利用される。ロード信号(LOAD)は、データ駆動部200がデータ信号をローディングすることを命令する。
また、タイミング制御部100は、ゲート駆動部300にゲートラインに印加されるゲートオン信号の周期設定のためのゲートクロック信号(Gate clock)、前記ゲートオン信号の開始を命令する垂直同期開始信号(STV)、及び前記ゲート駆動部300の出力をイネーブルさせるデータイネーブル信号(OE;Out Enable)を出力する。
また、タイミング制御部100は、RGB画像信号(R、G、B)を補償して、補償されたRGB画像信号(R’、G’、B’)をデータ駆動部200に伝達することができる。
データ駆動部200は、タイミング制御部100から補償されたR、G、Bデジタルデータ(R’、G’、B’)を提供されてこれを保存する。その後、ロード信号(LOAD)が印加されると、データ駆動部200は、それぞれのデジタルデータに該当する電圧を選択して、表示パネル400にデータ信号(V1、V2、V3、〜Vn)(未図示)を伝達する。
ゲート駆動部300は、シフトレジスター、レベルシフター及びバッファー等を含む。ゲート駆動部300は、タイミング制御部100からゲートクロック信号(Gate clock)と垂直ライン開始信号(STV)を提供されて、ゲート駆動電圧発生部(未図示)又はタイミング制御部100から電圧(Von、Voff、及びVcom)(未図示)を提供されて、表示パネル400上の各薄膜トランジスタをオンオフ(On−Off)して、画素に画素電圧を印加または遮断する。
表示パネル400は、n個のデータラインと前記データラインと直交して配列されたm個のゲートライン、前記データラインと前記ゲートラインの間に格子配列された一定領域を含む。表示パネル400は、一端はゲートラインに連結されて、他の一端はデータラインに連結されて、残りの一端は画素電極に連結される薄膜トランジスタ、及び画素電極からなる。表示パネル400でゲート駆動部300から提供されるゲート電圧(G1、G2、〜 Gn)(未図示)は、該画素列に印加されて、この場合、該画素列の薄膜トランジスタは活性化される。これを通じて、データ駆動部200で提供するデータ電圧(D1、D2、〜Dm)(未図示)は、表示パネル400の該画素電極に印加される。
図5は、図4のタイミング制御部の構成要素を説明するためのブロック図である。
図5を参照すれば、本発明のいくつかの実施形態によるタイミング制御部100は、演算制御部110、第1メモリー120、第2メモリー125、相補フィルタ130、角度ピクセル変換部140、メモリコントローラ145、第1映像処理部150、フレーム移動部160、第2映像処理部170を含む。
演算制御部110は、センサー部1300からセンサー情報を受信する。演算制御部110は、受信したセンサー情報に基づいてイメージデータを生成する。例えば、演算制御部110は、第1時点にセンサー部1300で測定した第1センシング情報に基づいてイメージデータを生成する。
第1メモリー120は、表示パネル400と結合されるレンズモジュールに対するレンズ補正情報を受信して保存することができる。レンズ補正情報は、レンズの光学構造に合わせてイメージデータをディストーション(distortion)するか、前記ディストーションを除去することに利用されてもよい。
ここで、ディストーションは、広角レンズの歪曲現象を意味し、イメージの遠近感が極端に誇張されて映像が歪むことを意味する。但し、本発明はこれに限定されるものではない。
第1メモリー120は、非揮発性メモリーを含んでもよい。第1メモリー120は、角度とピクセルの間の関係を表すルックアップテーブル(LUT)を保存することができ、前記ルックアップテーブル(LUT)を角度ピクセル変換部140に提供することができる。
第2メモリー125は、第1メモリー120からレンズ補正情報を受信することができる。レンズ補正情報は、表示パネル400と結合されるレンズモジュールに対する倍率情報を含んでもよい。
第2メモリー125は、揮発性メモリーを含み、高速のキャッシュメモリであってもよいが、本発明はこれに限定されるものではない。
また、第2メモリー125は、メモリコントローラ145から制御信号を受信して、第1映像処理部150及び第2映像処理部170に伝達することができる。
相補フィルタ130は、演算制御部110からセンサー部1300で測定したセンシング情報を受信して、これをオイラー角(Euler angle)に変換することができる。具体的には、センシング情報は、加速センサー(acceleration sensor)で測定した加速情報、ジャイロスコープセンサー(gyroscope sensor)で測定したデータ、地磁気センサー(geomagnetic sensor)で測定したデータを含んでもよい。
ここで、オイラー角は、固定点のまわりを回転する剛体の方向を3次元空間に表示するための三つの角度を意味する。
角度ピクセル変換部140は、相補フィルタ130からオイラー角を受信して、前記オイラー角に基づいてピクセル移動情報を計算する。このとき、角度ピクセル変換部140は、第1メモリー120で受信したルックアップテーブル(LUT)を利用してピクセル移動情報を計算することができる。
メモリコントローラ145は、第2メモリー125の動作を制御する制御信号を生成して提供することができる。例えば、メモリコントローラ145は、第2メモリー125に保存されたレンズ補正情報が第1映像処理部150及び第2映像処理部170に入力されるタイミングを制御することができる。但し、本発明はこれに限定されるものではない。
第1映像処理部150は、第2メモリー125で受信したレンズ補正情報を受信して、一つのフレームに対するイメージデータを受信することができる。第1映像処理部150は、レンズ補正情報に基づいて入力されたイメージデータに含まれたディストーション(distortion)を除去することができる。
フレーム移動部160は、角度ピクセル変換部140で計算されたピクセル移動情報を受信することができる。フレーム移動部160は、第1映像処理部150から受信したディストーションの除去されたイメージデータを、ピクセル移動情報に基づいてフレームシフト(frame shift)させる信号を生成することができる。
このとき、フレーム移動部160は、第1時点で測定した第1センシング情報と、第2時点で測定した第2センシング情報に基づいて計算されたピクセル移動情報のベクトル値を利用して、イメージデータの位置をシフトすることができる。
より具体的には、フレーム移動部160は、データ駆動部(図4の200)に入力されたイメージデータの出力タイミングを決定するデータ印加信号(DE)をシフトして、表示パネル400に出力されるイメージデータをフレームシフトさせることができる。データ印加信号(DE)は、タイミング制御部(図4の100)からデータ駆動部(図4の200)に伝達される。これに対する詳しい説明は、図9ないし図13を参照して詳説する。
第2映像処理部170は、第2メモリー125で受信したレンズ補正情報を受信して、フレーム移動部160からフレームシフトされたイメージデータを受信することができる。第2映像処理部170は、レンズ補正情報に基づいて入力されたイメージデータにディストーション(distortion)を適用することができる。
第2映像処理部170は、ディストーションの適用されたイメージデータをデータ駆動部(図4の200)に伝達することができる。
図6は、本発明のいくつかの実施形態によるヘッドマウントディスプレイの動作を説明するためのブロック図である。
図6を参照すれば、本発明のいくつかの実施形態によるヘッドマウントディスプレイは、先ず、センサー部1300から測定されたデータを受信して相補処理(complementary processing)する(S210)。例えば、センサー部1300は、6軸ジャイロセンサーを含み、6軸ジャイロセンサーで測定したセンシング情報は、ax、ay、az、gx、gy、gz軸に対するデータを含んでもよい。但し、本発明はこれに限定されるものではない。
次いで、相補フィルタ130は、受信したセンシング情報をオイラー角(Euler angle)に変換する(S220)。
次いで、角度ピクセル変換部140は、前記オイラー角に基づいてピクセル移動情報を計算する(S230)。このとき、角度ピクセル変換部140は、第1メモリー120で受信したルックアップテーブル(LUT)を利用してピクセル移動情報を計算することができる。
具体的には、角度ピクセル変換部140は、第1時点で測定した第1センシング情報と第2時点で測定した第2センシング情報に基づいて、ピクセル移動情報のベクトル値を含むピクセル移動量を計算する。計算済みピクセル移動量に関するピクセル移動情報は、フレーム移動部160に伝達される。
一方、第1映像処理部150は、入力受けたレンズ補正情報に基づいて入力されたイメージデータに含まれたディストーション(distortion)を除去することができる(S240)。
次いで、フレーム移動部160は、第1映像処理部150から受信したイメージデータを、ピクセル移動情報に基づいてフレームシフト(frame shift)させる信号を生成することができる(S250)。このとき、フレーム移動部160は、データ駆動部(図4の200)に入力されたイメージデータの出力タイミングを決定するデータ印加信号(DE)をシフトして、表示パネル400に出力されるイメージデータをフレームシフトさせることができる。
次いで、第2映像処理部170は、レンズ補正情報に基づいて入力されたイメージデータにディストーション(distortion)を適用することができる(S260)。これを通じて、フレームシフトされたイメージデータは、広角レンズの歪曲現象を考慮したディストーションが適用されて、第2時点で測定した第2センシング情報を考慮したイメージデータを出力することができる。
図7は、本発明のいくつかの実施形態によるヘッドマウントディスプレイの動作を説明するための図面である。図8は、本発明のいくつかの実施形態によるヘッドマウントディスプレイの改善点を説明するためのグラフである。
図7を参照すれば、第1時点(A)で測定した第1センシング情報に基づいて新しいイメージデータを演算する場合、アプリケーション(例えば、game、OS)で演算に所要の時間(例えば、gameで5ms、osで15ms)と、GPUで演算に所要の時間(例えば、17ms)、ディスプレイに所要の時間(例えば、16.7ms)がかかる。すなわち、第1時点(A)で測定した第1センシング情報に基づいて、新しいイメージデータを完全に表示するに所要の時間は、約55.7msになり、これはヘッドマウントディスプレイの遅延時間になる。
本発明のヘッドマウントディスプレイは、第1時点(A)で測定した第1センシング情報と、第2時点(B)で測定した第2センシング情報を利用してピクセル移動情報を計算する。このとき、ピクセル移動情報は、ピクセル移動のベクトル値を含む。
次いで、ピクセル移動情報を利用してイメージデータをフレームシフトさせる。
図8を参照すれば、図8の<A>は、第2センシング情報を利用しない従来のヘッドマウントディスプレイの動作を示す。第1時点(A)で測定した第1センシング情報のみを利用してイメージデータを生成する場合、遅延時間は約55.7msが発生することになる。
一方、図8の<B>は、本発明のヘッドマウントディスプレイの動作を示す。第2時点(B)(例えば、イメージデータを生成した後、前記表示パネルに前記イメージデータを出力する直前である39ms時点)に測定した第2センシング情報を利用する場合、イメージデータのピクセル移動ベクトルを計算することができる。このとき、第2時点(B)は、イメージデータを生成した後、前記表示パネルに前記イメージデータを出力する直前である時点(例えば、第1時点で39ms過ぎた時点)に該当する。
これを通じて、本発明のヘッドマウントディスプレイは、遅延誤差を相当部分改善することができる。すなわち、本発明は、ディスプレイに所要の時間(例えば、約16.7ms)だけの遅延時間を有するイメージデータを画面に表示することができる。
遅延時間を減らすことで、本発明のヘッドマウントディスプレイ装置は、早い応答性を確保することができ、より自然な仮想現実画面を具現することができる。また、ヘッドマウントディスプレイを利用して仮想現実プログラムを体験する時、使用者の感じ得る酔い(Sim Sickness)を低減させることができる。
図9及び図10は、本発明の一実施形態によるヘッドマウントディスプレイの動作を説明するための図面である。
図9及び図10を参照すれば、本発明の一実施形態によるヘッドマウントディスプレイの動作に利用される同期信号(Vsync)とデータ印加信号(DE)とデータ信号(DATA)を示す。
このとき、データ印加信号(DE)は、同期信号(Vsync)内部のバックポーチ(Back Porch)とフロントポーチ(Front Porch)のマージン(margin)内で生成される。但し、本発明はこれに限定されるものではない。
データ印加信号(DE)それぞれのクロックは、イメージデータの一つの水平ラインを出力するに利用される。例えば、データ印加信号(DE)の一番目クロックでは、イメージデータの第1水平ライン(L1)を出力して、二番目クロックでは、イメージデータの第2水平ライン(L2)を出力する。
図9の<A>を考察すると、データ印加信号(DE)とデータ信号(DATA)の開始時点は同一である。例えば、データ印加信号(DE)とデータ信号(DATA)は、第1時点(t1)で開始されてもよい。したがって、図10の<A>を参照すれば、イメージデータは、損失なしにそのまま表示パネル上に出力される。
一方、図9の<B>を考察すると、データ印加信号(DE)とデータ信号(DATA)の開始時点は異なる。データ印加信号(DE)は、データ信号(DATA)の単位クロック内でシフトされてもよい。この場合、表示パネル上に出力されるイメージデータは、左右にフレームシフトされてもよい。
例えば、データ信号(DATA)の開始時点は第1時点(t1)であり、データ印加信号(DE)の開始時点は第2時点(t2)であってもよい。このとき、図10の<B>を参照すれば、イメージデータは、左側にフレームシフトされて、S1の間隔は、第1時点(t1)と第2時点(t2)の差に該当する。但し、本発明はこれに限定されるものではなく、データ信号(DATA)は固定したまま、データ印加信号(DE)は、単位クロック内で左右に動くことで、出力されるイメージデータも左右にフレームシフトされてもよい。
図11及び図12は、本発明の他の実施形態によるヘッドマウントディスプレイの動作を説明するための図面である。説明の便宜のために以下では、前述した実施形態と同じ事項については、重複する説明を省略して差異点を中心に説明する。
図11及び図12を参照すれば、本発明の他の実施形態によるヘッドマウントディスプレイの動作に利用される同期信号(Vsync)とデータ印加信号(DE)とデータ信号(DATA)を示す。
図11の<A>を考察すると、データ印加信号(DE)とデータ信号(DATA)の開始時点は同一である。例えば、データ印加信号(DE)とデータ信号(DATA)は、第4時点(t4)で開始されてもよい。したがって、図12の<A>を参照すれば、イメージデータは、損失なしにそのまま表示パネル上に出力される。
一方、図11の<B>を考察すると、データ印加信号(DE)とデータ信号(DATA)の開始時点は異なる。データ印加信号(DE)は、データ信号(DATA)の一つ以上の単位クロックでシフトされてもよい。但し、この場合、データ印加信号(DE)のライジングエッジ(rising edge)とデータ信号(DATA)のライジングエッジは一致する。この場合、表示パネル上に出力されるイメージデータは、上下にフレームシフトされてもよい。
例えば、データ印加信号(DE)の開始時点は第3時点(t3)であり、データ信号(DATA)の開始時点は第4時点(t4)であってもよい。このとき、図12の<B>を参照すれば、イメージデータは、下側にフレームシフトされてもよい。但し、本発明はこれに限定されるものではなく、データ信号(DATA)は固定したまま、データ印加信号(DE)は、一つ以上の単位クロックでデータ信号(DATA)とシンクを合わせて左右に動くことで、出力されるイメージデータは、上下にフレームシフトされてもよい。
図13は、本発明のさらに他の実施形態によるヘッドマウントディスプレイの動作を説明するための図面である。説明の便宜のために以下では、前述した実施形態と同じ事項については、重複する説明を省略して差異点を中心に説明する。
図13を参照すれば、本発明のさらに他の実施形態によるヘッドマウントディスプレイの動作を示す。このとき、ヘッドマウントディスプレイに出力のために入力されるイメージデータの大きさ(R)は、表示パネルに表示されるイメージの大きさ(P)より大きくてもよい。
図面に明確に示されてはいないが、この場合、データ印加信号(DE)がシフティングされることで、イメージデータは、左右または上下にフレームシフトされてもよい。但し、入力されるイメージデータの大きさ(R)は、表示パネルに表示されるイメージの大きさ(P)より大きいため、イメージデータのフレームシフトにもかかわらず、表示パネルに表示されるイメージは、切られるか黒い色に処理されない場合がある。但し、本発明はこれに限定されるものではない。
すなわち、本発明のヘッドマウントディスプレイは、データ印加信号(DE)をシフトすることで、出力されるイメージデータをフレームシフトさせることができる。これを通じて、本発明のヘッドマウントディスプレイは、既存にある構成要素をそのまま利用して、画面を表示するためにかかる遅延時間を低減することができ、遅延時間を減らすために要する費用を削減して、動作性能を改善することができる。
前述の本発明は、本発明が属する技術分野において通常の知識を有する者は、本発明の技術的思想を脱しない範囲内で様々な置換、変形及び変更が可能であり、前述の実施形態及び添付図面によって限定されるものではない。
100:タイミング制御部
110:演算制御部
120:第1メモリー
125:第2メモリー
130:相補フィルタ
140:角度ピクセル変換部
145:メモリコントローラ
150:第1映像処理部
160:フレーム移動部
170:第2映像処理部

Claims (14)

  1. ヘッドマウントディスプレイにおいて,
    前記ヘッドマウントディスプレイの動きを測定するセンサー部;
    第1時点に、前記センサー部で測定した第1センシング情報に基づいてイメージデータを生成する制御部;及び
    生成された前記イメージデータをフレームシフト(frame shift)して、表示パネルに出力するディスプレイ部を含み、
    前記ディスプレイ部は、前記第1時点の以後である第2時点に、前記センサー部で測定した第2センシング情報を利用して、前記イメージデータをフレームシフトし、
    前記第2時点は、前記制御部が前記イメージデータを生成した後、前記表示パネルに前記イメージデータを出力する直前に該当することを含み、
    前記ディスプレイ部は,
    レンズ補正情報に基づいて入力されたイメージデータに含まれたディストーション(distortion)を除去する第1映像処理部;
    前記第1及び第2センシング情報に基づいて計算されたピクセル移動情報に基づいて、前記第1映像処理部で出力されたイメージデータをフレームシフトする信号を生成するフレーム移動部;及び
    前記レンズ補正情報に基づいて、前記フレーム移動部で出力されたイメージデータにディストーションを適用する第2映像処理部を含む
    ヘッドマウントディスプレイ。
  2. 前記ディスプレイ部は、
    前記センサー部で入力された前記第1及び第2センシング情報をオイラー角に変換する相補フィルタ;及び
    前記オイラー角を利用して、前記ピクセル移動情報を計算する角度ピクセル変換部をさらに含む、
    請求項に記載のヘッドマウントディスプレイ。
  3. 前記フレーム移動部は、前記第1及び第2センシング情報に基づいて計算された前記ピクセル移動情報のベクトル値を利用して、前記表示パネルに出力されるイメージデータの位置をフレームシフトする、
    請求項に記載のヘッドマウントディスプレイ。
  4. 前記表示パネルは、互いに交差する複数のデータラインと複数のゲートラインを含み、
    前記ディスプレイ部は、
    入力受けたイメージデータをデータ電圧に変換して、前記複数のデータラインに出力するデータ駆動部;
    前記データ電圧に同期されるゲートパルスを前記複数のゲートラインに順次に出力するゲート駆動部;及び
    前記データ駆動部に入力される前記イメージデータを補償処理して、出力タイミングを制御するタイミング制御部をさらに含み、
    前記タイミング制御部は、
    前記データ駆動部に入力されたイメージデータの出力タイミングを決定するデータ印加信号をシフトして、前記表示パネルに出力される前記イメージデータをフレームシフトさせる、
    請求項1に記載のヘッドマウントディスプレイ。
  5. 前記データ印加信号は、前記データ駆動部に入力されるイメージデータの一つの水平ラインに対応する単位クロック内でシフトされる場合、前記表示パネルに出力されるイメージデータは、左右にフレームシフトされる、
    請求項に記載のヘッドマウントディスプレイ。
  6. 前記データ印加信号は、前記データ駆動部に入力されるイメージデータの一つの水平ラインに対応する単位クロックの一つ以上でシフトされる場合、前記表示パネルに出力されるイメージデータは、上下にフレームシフトされる、
    請求項に記載のヘッドマウントディスプレイ。
  7. 前記第2時点と前記第1時点の間の時間間隔は、前記制御部で前記第1センシング情報に基づいて、一つのイメージフレームを生成する時間と同一である、
    請求項1に記載のヘッドマウントディスプレイ。
  8. 第1時点でヘッドマウントディスプレイの動きを測定する段階;
    前記第1時点で測定した第1センシング情報に基づいてイメージデータを生成する段階;
    前記第1時点の以後である第2時点で、前記ヘッドマウントディスプレイの動きを測定する段階;
    前記第2時点で測定した第2センシング情報に基づいて、前記第1センシング情報を利用して生成された前記イメージデータをフレームシフトする段階;及び
    フレームシフトされた前記イメージデータを表示パネルに出力する段階を含み、
    前記第2時点は、前記イメージデータを生成した後、前記表示パネルに前記イメージデータを出力する直前に該当することを含み、
    前記第1センシング情報を利用して生成された前記イメージデータをフレームシフトする段階は、
    レンズ補正情報に基づいて入力されたイメージデータに含まれたディストーションを除去する段階;
    前記第1及び第2センシング情報に基づいて計算されたピクセル移動情報に基づいてディストーションが除去された前記イメージデータをフレームシフトする段階;及び
    前記レンズ補正情報に基づいてフレームシフトされた前記イメージデータにディストーションを適用する段階を含む
    ヘッドマウントディスプレイの制御方法。
  9. 前記第1センシング情報を利用して生成された前記イメージデータをフレームシフトする段階は、
    前記第1及び第2センシング情報をオイラー角に変換する段階;及び
    前記オイラー角を利用して前記ピクセル移動情報を計算する段階をさらに含む、
    請求項に記載のヘッドマウントディスプレイの制御方法。
  10. 前記ピクセル移動情報に基づいて、前記イメージデータをフレームシフトする段階は、
    前記第1及び第2センシング情報に基づいて計算された前記ピクセル移動情報のベクトル値を利用して、前記表示パネルに出力されるイメージデータの位置をフレームシフトする、
    請求項に記載のヘッドマウントディスプレイの制御方法。
  11. 前記表示パネルは、互いに交差する複数のデータラインと複数のゲートラインを含み、
    前記フレームシフトされた前記イメージデータを表示パネルに出力する段階は、
    入力されるイメージデータをデータ電圧に変換して、前記複数のデータラインに出力する段階;
    前記データ電圧に同期されるゲートパルスを前記複数のゲートラインに順次に出力する段階;及び
    前記イメージデータを補償処理して、出力タイミングを制御する段階を含み、
    前記出力タイミングを制御する段階は、前記入力されたイメージデータの出力タイミングを決定するデータ印加信号をシフトして、前記表示パネルに出力される前記イメージデータをフレームシフトさせる、
    請求項に記載のヘッドマウントディスプレイの制御方法。
  12. 前記データ印加信号は、入力されるイメージデータの一つの水平ラインに対応する単位クロック内でシフトされる場合、前記表示パネルに出力されるイメージデータは、左右にフレームシフトされる、
    請求項11に記載のヘッドマウントディスプレイの制御方法。
  13. 前記データ印加信号は、入力されるイメージデータの一つの水平ラインに対応する単位クロックの一つ以上でシフトされる場合、前記表示パネルに出力されるイメージデータは、上下にフレームシフトされる、
    請求項11に記載のヘッドマウントディスプレイの制御方法。
  14. 前記第2時点と前記第1時点の間の時間間隔は、前記第1センシング情報に基づいて一つのイメージフレームを生成する時間と同一である、
    請求項に記載のヘッドマウントディスプレイの制御方法。
JP2017240488A 2016-12-26 2017-12-15 ヘッドマウントディスプレイ及びその制御方法 Active JP6595570B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020160178860A KR20180075732A (ko) 2016-12-26 2016-12-26 헤드 마운티드 디스플레이 및 그 제어 방법
KR10-2016-0178860 2016-12-26

Publications (2)

Publication Number Publication Date
JP2018106157A JP2018106157A (ja) 2018-07-05
JP6595570B2 true JP6595570B2 (ja) 2019-10-23

Family

ID=62509987

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017240488A Active JP6595570B2 (ja) 2016-12-26 2017-12-15 ヘッドマウントディスプレイ及びその制御方法

Country Status (5)

Country Link
US (1) US10515573B2 (ja)
JP (1) JP6595570B2 (ja)
KR (1) KR20180075732A (ja)
CN (1) CN108241213B (ja)
DE (1) DE102017130581A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6731059B2 (ja) * 2016-09-23 2020-07-29 シャープ株式会社 表示装置および表示装置の制御方法。
KR102360412B1 (ko) * 2017-08-25 2022-02-09 엘지디스플레이 주식회사 영상 생성 방법과 이를 이용한 표시장치
US10762691B2 (en) * 2017-09-08 2020-09-01 Microsoft Technology Licensing, Llc Techniques for compensating variable display device latency in image display
EP3594166B1 (de) * 2018-07-13 2024-01-24 EPSILON Kran GmbH. Kransteuerung mit visualisierungsvorrichtung
US10600236B2 (en) * 2018-08-06 2020-03-24 Valve Corporation Prediction and throttling adjustments based on application rendering performance
US10997884B2 (en) 2018-10-30 2021-05-04 Nvidia Corporation Reducing video image defects by adjusting frame buffer processes
KR102629441B1 (ko) * 2018-12-11 2024-01-24 엘지디스플레이 주식회사 영상 생성 방법과 이를 이용한 표시장치
KR102087841B1 (ko) * 2018-12-19 2020-03-12 주식회사 라온텍 패널 타임 워프를 갖는 ar/vr/mr 시스템용 디스플레이 유닛
CN109743626B (zh) 2019-01-02 2022-08-12 京东方科技集团股份有限公司 一种图像显示方法、图像处理方法和相关设备
CN109696747B (zh) * 2019-01-16 2022-04-12 京东方科技集团股份有限公司 一种vr显示装置及其控制方法
FR3098629B1 (fr) * 2019-07-12 2021-08-13 Aledia Système de visualisation d’images et procédé de commande
JP6655751B1 (ja) 2019-07-25 2020-02-26 エヌ・ティ・ティ・コミュニケーションズ株式会社 映像表示制御装置、方法およびプログラム
US11195498B2 (en) * 2020-01-15 2021-12-07 Charter Communications Operating, Llc Compensating for latency in a streaming virtual reality environment
CN112992247A (zh) * 2021-03-05 2021-06-18 京东方科技集团股份有限公司 移位寄存单元、移位寄存器、显示面板及其驱动方法
KR20220156331A (ko) * 2021-05-18 2022-11-25 삼성전자주식회사 이미지 지연을 보정하기 위한 전자 장치 및 방법
US20230237730A1 (en) * 2022-01-21 2023-07-27 Meta Platforms Technologies, Llc Memory structures to support changing view direction

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5933125A (en) 1995-11-27 1999-08-03 Cae Electronics, Ltd. Method and apparatus for reducing instability in the display of a virtual environment
JP2004109994A (ja) 2002-08-30 2004-04-08 Olympus Corp 頭部装着型画像表示システム装置及びその画像処理方法
US20050156817A1 (en) 2002-08-30 2005-07-21 Olympus Corporation Head-mounted display system and method for processing images
JP2006323255A (ja) 2005-05-20 2006-11-30 Nippon Telegr & Teleph Corp <Ntt> 表示装置
JP4734640B2 (ja) 2006-02-10 2011-07-27 国立大学法人岐阜大学 仮想現実画像表示装置
JP4857196B2 (ja) * 2007-05-31 2012-01-18 キヤノン株式会社 頭部装着型表示装置、及びその制御方法
JP5047090B2 (ja) 2008-07-31 2012-10-10 キヤノン株式会社 システム
KR101289653B1 (ko) 2008-12-26 2013-07-25 엘지디스플레이 주식회사 액정표시장치
JP5499854B2 (ja) 2010-04-08 2014-05-21 ソニー株式会社 頭部装着型ディスプレイにおける光学的位置調整方法
GB201208088D0 (en) 2012-05-09 2012-06-20 Ncam Sollutions Ltd Ncam
US20130326364A1 (en) * 2012-05-31 2013-12-05 Stephen G. Latta Position relative hologram interactions
KR102036034B1 (ko) * 2012-10-22 2019-10-24 주식회사 오리온 멀티 디스플레이 환경에서의 디스플레이 장치간 신호 지연 완충 장치 및 방법
GB201303707D0 (en) * 2013-03-01 2013-04-17 Tosas Bautista Martin System and method of interaction for mobile devices
JP6313432B2 (ja) * 2013-06-09 2018-04-18 株式会社ソニー・インタラクティブエンタテインメント 頭部装着ディスプレイ
US9514571B2 (en) 2013-07-25 2016-12-06 Microsoft Technology Licensing, Llc Late stage reprojection
JP5786910B2 (ja) 2013-08-29 2015-09-30 ソニー株式会社 頭部装着型ディスプレイにおける光学的位置調整方法
WO2016098591A1 (ja) * 2014-12-15 2016-06-23 株式会社島津製作所 ヘッドマウントディスプレイ用の動画像処理装置、ヘッドマウントディスプレイ用の動画像処理方法およびヘッドマウントディスプレイシステム
US9824498B2 (en) 2014-12-30 2017-11-21 Sony Interactive Entertainment Inc. Scanning display system in head-mounted display for virtual reality
US10789892B2 (en) * 2015-03-11 2020-09-29 Facebook Technologies, Llc Dynamic illumination persistence for organic light emitting diode display device
JP2017124079A (ja) * 2016-01-15 2017-07-20 セイコーエプソン株式会社 表示方法、スイング解析装置、スイング解析システム、スイング解析プログラム、および記録媒体

Also Published As

Publication number Publication date
JP2018106157A (ja) 2018-07-05
KR20180075732A (ko) 2018-07-05
US10515573B2 (en) 2019-12-24
CN108241213A (zh) 2018-07-03
CN108241213B (zh) 2020-08-11
US20180182273A1 (en) 2018-06-28
DE102017130581A1 (de) 2018-06-28

Similar Documents

Publication Publication Date Title
JP6595570B2 (ja) ヘッドマウントディスプレイ及びその制御方法
JP7442608B2 (ja) 仮想現実および拡張現実ディスプレイシステムのための連続時間ワーピングおよび両眼時間ワーピングおよび方法
US20180146189A1 (en) Head mounted display and control method therefor
CN109427283B (zh) 图像产生方法和使用该方法的显示装置
US11244427B2 (en) Image resolution processing method, system, and apparatus, storage medium, and device
US11004427B2 (en) Method of and data processing system for providing an output surface
US9766458B2 (en) Image generating system, image generating method, and information storage medium
JP7134060B2 (ja) 画像生成装置および画像生成方法
JP7431244B2 (ja) 仮想、拡張、および複合現実システムおよび方法
KR102422036B1 (ko) 낮은 레이턴시 가상 현실을 구동 및 보상하는 표시장치
GB2559864A (en) Head mounted display and method for controlling the same
CN109753155B (zh) 头戴显示设备、其驱动方法及虚拟现实显示装置
KR102617175B1 (ko) 화면 왜곡 보정이 가능한 디스플레이 장치 및 그의 화면 왜곡 보정 방법
KR102629441B1 (ko) 영상 생성 방법과 이를 이용한 표시장치
US20240013480A1 (en) Projection of an image in an extended reality device
US20210132399A1 (en) Image translation
JP2022540182A (ja) 画像ビューイングシステム及び制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171218

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181025

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190301

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190903

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190926

R150 Certificate of patent or registration of utility model

Ref document number: 6595570

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250