KR20190022099A - 영상 생성 방법과 이를 이용한 표시장치 - Google Patents

영상 생성 방법과 이를 이용한 표시장치 Download PDF

Info

Publication number
KR20190022099A
KR20190022099A KR1020170107933A KR20170107933A KR20190022099A KR 20190022099 A KR20190022099 A KR 20190022099A KR 1020170107933 A KR1020170107933 A KR 1020170107933A KR 20170107933 A KR20170107933 A KR 20170107933A KR 20190022099 A KR20190022099 A KR 20190022099A
Authority
KR
South Korea
Prior art keywords
screen
frame data
user
pixel displacement
image
Prior art date
Application number
KR1020170107933A
Other languages
English (en)
Other versions
KR102360412B1 (ko
Inventor
이호철
이상린
Original Assignee
엘지디스플레이 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지디스플레이 주식회사 filed Critical 엘지디스플레이 주식회사
Priority to KR1020170107933A priority Critical patent/KR102360412B1/ko
Priority to CN201810762521.9A priority patent/CN109427283B/zh
Priority to US16/041,531 priority patent/US10754163B2/en
Publication of KR20190022099A publication Critical patent/KR20190022099A/ko
Application granted granted Critical
Publication of KR102360412B1 publication Critical patent/KR102360412B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2092—Details of a display terminals using a flat panel, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G3/2096—Details of the interface to the display terminal specific for a flat panel
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/22—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources
    • G09G3/30—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels
    • G09G3/32—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED]
    • G09G3/3208—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED] organic, e.g. using organic light-emitting diodes [OLED]
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/144—Processing image signals for flicker reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/327—Calibration thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0147—Head-up displays characterised by optical features comprising a device modifying the resolution of the displayed image
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0252—Improving the response speed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0435—Change or adaptation of the frame rate of the video stream
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/16—Determination of a pixel data signal depending on the signal applied in the previous frame
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/002—Eyestrain reduction by processing stereoscopic signals or controlling stereoscopic devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Chemical & Material Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

본 발명은 영상 생성 방법과 이를 이용한 표시장치에 관한 것으로, 모션 센서로부터 얻어진 각도값을 바탕으로 픽셀 변위값을 산출하고, 이 픽셀 변위값 만큼 상기 화면 상에 표시된 영상의 프레임 데이터를 이동시켜 사용자의 움직임을 화면 상에 실시간 반영할 수 있다.

Description

영상 생성 방법과 이를 이용한 표시장치{IMAGE GENERATION METHOD AND DISPLAY DEVICE USING THE SAME}
본 발명은 모션 센서로부터 얻어진 각도값을 바탕으로 지연 없이 사용자의 움직임을 화면 상에 실시간 반영하는 영상 생성 방법과 이를 이용한 표시장치에 관한 것이다.
가상 현실 기술은 국방, 건축, 관광, 영화, 멀티미디어, 게임 분야 등에서 가장 빠르고 발전하고 있다. 가상 현실은 입체 영상 기술을 이용하여 실제 환경과 유사하게 느껴지는 특정한 환경, 상황을 의미한다.
가상 현실(Virtual　Reality. 이하 “VR”이라 함) 시스템은 사용자의 움직임에 따라 입체 영상을 이동하고 입체 음향을 출력하여 사용자에게 가상 체험을 제공한다. VR 시스템은 HMD(Head Mounted Display), FMD(Face Mounted Display) 형태로 구현되고 있다. 증강 현실(Augmented Reality, AR) 시스템은 현실 세계에 디지털 콘텐츠를 겹쳐 보이게 한다. 증강 현실 시스템은 EGD(Eye Glasses-type Display) 형태로 구현된다.
VR 시스템에서 표시패널의 화면 상에 입력 영상이 표시될 때까지의 지연 시간(Latency)이 화질에 큰 영향을 준다. 그래픽 처리 장치(Graphic Processing Unit, 이하 “GPU”라 함)로부터 생성된 영상 데이터가 디스플레이 구동부를 통해 표시패널의 픽셀들에 기입된다. 입력 영상의 데이터는 GPU의 이미지 처리 지연 시간과 표시장치의 지연 시간을 합한 총 지연 시간 이후에 데이터가 픽셀들에 표시된다. 총 지연 시간이 길어지면 사용자가 화면 끌림이나 모션 블러(Motion blur)를 느낄 수 있다. 이러한 현상은 영상 품질을 떨어뜨릴 뿐 아니라 사용자의 피로감을 크게 한다.
VR/AR 시스템에서 모션 투 포톤 지연(Motion to Photon Latency)이 크면 멀미나 어지럼증이 유발될 수 있다. 모션 투 포톤 지연은 사용자의 움직임이 디스플레이 화면에 반영되도록 하기 위하여 화면이 업데이트될 때까지 필요한 시간이다. 모션 투 포톤이 크면 사용자의 움직임 보다 늦게 디스플레이 화면이 업데이트되기 때문에 사용자가 고개를 돌릴 때 화면 상의 영상이 늦게 이동된다.
VR/AR 시스템에서 GPU는 사용자의 움직임이 감지될 때 영상 데이터를 생성하기 때문에 GPU에서 생성되는 영상의 FPS(Frame per Second)가 일정하지 않다. 이는 잔연(Persistence) 발생의 원인이 된다. 또한, FPS가 일정하지 않으면 사용자가 고개를 돌릴 때 화면 상에서 재현된 영상이 흐릿하게(blur) 보이거나(motion blur) 끊기는 현상(motion judder)을 초래한다.
본 발명은 사용자가 움직일 때 발생되는 모션 블러(Motion blur)와 모션 저더(Motion judder)를 방지하도록 한 영상 생성 방법과 이를 이용한 표시장치를 제공한다.
본 발명의 영상 생성 방법은 수평 해상도와 수직 해상도를 갖는 화면 상에 입력 영상을 표시하는 표시패널을 포함한 표시장치의 영상 생성 방법에 있어서, 모션 센서로부터 얻어진 각도값을 수신하는 단계, 상기 각도값을 바탕으로 픽셀 변위값을 산출하는 단계, 상기 픽셀 변위값 만큼 상기 화면 상에 표시된 영상의 프레임 데이터를 이동시켜 보간 프레임 데이터를 생성하는 단계, 및 상기 입력 영상의 프레임 데이터와 상기 보간 프레임 데이터를 상기 화면 상에 표시하는 단계를 포함한다.
상기 픽셀 변위값은 상기 각도값에 사용자의 상하 시야각에 대한 상기 화면의 상하 해상도 비율을 곱한 값으로 산출되는 제1 픽셀 변위값과, 상기 각도값에 상기 사용자의 좌우 시야각에 대한 상기 화면의 좌우 해상도 비율을 곱한 값으로 산출되는 제2 픽셀 변위값을 포함한다.
본 발명의 표시장치는 수평 해상도와 수직 해상도를 갖는 화면 상에 입력 영상을 표시하는 표시패널, 모션 센서로부터 얻어진 각도값을 바탕으로 픽셀 변위값을 산출하는 움직임 계산부, 상기 픽셀 변위값 만큼 상기 화면 상에 표시된 영상의 프레임 데이터를 이동시켜 보간 프레임 데이터를 생성하는 보간 프레임 생성부, 및 상기 입력 영상의 프레임 데이터와 상기 보간 프레임 데이터를 상기 화면 상에 표시하는 디스플레이 구동부를 구비한다.
본 발명은 모션 센서로부터 얻어진 각도값과 표시패널의 물리적 해상도를 바탕으로 사용자의 움직임을 판정하여 사용자의 움직임을 화면 상에 실시간 반영한다. 그 결과, 본 발명이 적용된 VR 및 AR 시스템에 의하면, 사용자는 고개를 돌릴 때 어지러움을 느끼지 않고 영상을 감상할 수 있고 또한, 모션 블러와 모션 저더 없는 화질을 감상할 수 있다.
도 1은 본 발명의 실시예에 따른 영상 생성 방법을 보여 주는 도면이다.
도 2는 본 발명의 모션 블러 및 모션 저더 제거 효과를 보여 주는 도면이다.
도 3은 본 발명의 실시예에 따른 표시장치를 보여 주는 블록도이다.
도 4는 도 3에 도시된 디스플레이 구동부와 표시패널을 상세히 보여 주는 도면이다.
도 5는 본 발명의 실시예에 따른 영상 생성 장치를 보여 주는 도면이다.
도 6은 도 5에 도시된 영상 생성 장치의 입출력 영상을 보여 주는 도면이다.
도 7a 및 도 7b는 픽셀 변위값과 보간 프레임 데이터의 생성 타이밍을 보여 주는 도면들이다.
도 8은 사용자가 고개를 돌릴 때 사용자가 바라 보는 픽셀의 위치가 시간축 상에서 변하는 예를 보여 주는 도면이다.
도 9는 사용자의 머리가 3 축 방향(X, Y, Z) 상에서 회전할 때 피치(pitch), 요(yaw) 및 롤(roll)을 보여 주는 도면이다.
도 10은 표시패널의 화면을 바라 보는 사용자의 수평 및 수직 방향의 시야각을 보여 주는 도면이다.
도 11은 사용자가 고개를 돌릴 때 모션 센서의 각도값을 보여 주는 도면이다.
도 12는 모센 센서의 각도값에 따라 발생하는 실시간 픽셀 변위값을 바탕으로 생성된 보간 프레임 영상을 보여 주는 도면이다.
도 13a 및 도 13b는 MEMC 모듈이 타이밍 콘트롤러에 연결된 예를 보여 주는 도면이다.
도 13c는 MEMC 모듈 없이 모션 센서의 출력을 수신 받는 타이밍 콘트롤러를 보여 주는 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다는 것에 주의하여야 한다. 이하의 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 본 발명은 특허청구범위에 의해 정의된다.
본 발명의 실시예를 설명하기 위한 도면에 개시된 형상, 크기, 비율, 각도, 개수 등은 예시적인 것이므로 본 발명이 도시된 사항에 한정되는 것은 아니다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다. 또한, 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다.
본 명세서 상에서 언급된 '구비한다', '포함한다', '갖는다', '이루어진다' 등이 사용되는 경우 ' ~ 만'이 사용되지 않는 이상 다른 부분이 추가될 수 있다. 구성 요소를 단수로 표현한 경우에 특별히 명시적인 기재 사항이 없는 한 복수를 포함하는 경우를 포함한다.
구성 요소를 해석함에 있어서, 별도의 명시적 기재가 없더라도 오차 범위를 포함하는 것으로 해석한다.
위치 관계에 대한 설명일 경우, 예를 들어, ' ~ 상에', ' ~ 상부에', ' ~ 하부에', ' ~ 옆에' 등으로 두 부분의 위치 관계가 설명되는 경우, '바로' 또는 '직접'이 사용되지 않는 이상 두 부분 사이에 하나 이상의 다른 부분이 위치할 수도 있다.
실시예의 설명에서, 제1, 제2 등이 다양한 구성 요소들을 서술하기 위해서 사용되지만, 이들 구성 요소들은 이들 용어에 의해 제한되지 않는다. 이들 용어들은 단지 하나의 구성 요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다.
본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.
이하 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예들을 상세히 설명한다. 명세서 전체에 걸쳐서 동일한 참조번호들은 실질적으로 동일한 구성요소들을 의미한다. 이하의 설명에서, 본 발명과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 상세한 설명을 생략한다.
본 발명의 표시장치는 VR 시스템, AR 시스템과 같이 사용자의 움직임에 따라 영상 데이터의 프레임을 업데이트(update)하는 시스템에 적용 가능하다. 본 발명의 표시장치는 액정표시장치(Liquid Crystal Display, LCD), 유기 발광 다이오드 표시장치(Organic Light Emitting Display, OLED Display) 등의 평판 표시장치로 구현될 수 있다.
VR/AR 시스템은 모션 센서를 이용하여 사용자의 움직임을 감지할 수 있고, 사용자가 움직일 때 표시장치에서 재현되는 영상 데이터의 프레임을 업데이트한다. 모션 센서(Motion sensor)는 피치(pitch), 요(yaw) 및 롤(roll) 정보를 각도 값으로 제공할 수 있다. 모션 센서는 자이로 센서 또는 가속도 센서를 포함할 수 있다.
본 발명의 영상 생성 방법은 모션 센서로부터 수신된 각도 값을 픽셀 변위값으로 변환하고, 이 픽셀 변위값 만큼 제n(n은 양의 정수) 프레임 데이터를 이동하여 보간 프레임 데이터(interpolated frame data)를 생성한다. 보간 프레임 데이터는 GPU로부터 생성된 제n 프레임 데이터와 제n+1 프레임 데이터 사이에 추가되어 표시장치에서 재현되는 영상의 프레임 레이트(frame rate)를 높인다.
도 1은 본 발명의 실시예에 따른 영상 생성 방법을 보여 주는 도면이다. 도 2는 본 발명의 모션 블러 및 모션 저더 제거 효과를 보여 주는 도면이다. 도 2에서 위치 변화 축은 사용자가 AR/VR 기기를 착용한 상태에서 고개를 돌릴 때 디스플레이 화면 상에 표시된 객체(Object)의 상대적인 위치 변화를 나타낸다.
도 1 및 도 2를 참조하면, GPU는 소정의 FPS 예를 들어, 30 FPS의 프레임 레이트로 입력 영상의 프레임 데이터(Sn, S(n+1), S(n+2))를 생성한다. GPU는 사용자가 움직일 때 사용자의 움직임을 반영하기 위하여 프레임 데이터(S(n+1))를 생성할 수 있다. 본 발명에 의하면 표시장치에서 모션 센서의 출력에 응답하여 보간 프레임 데이터를 생성하기 때문에 GPU에서 보간 프레임 데이터를 생성할 필요가 없다.
본 발명의 표시장치는 모션 센서와 GPU에 연결된다. 본 발명의 표시장치는 GPU로부터 입력 영상 데이터를 수신하고, 센서 기반 예측 모델을 이용하여 보간 프레임 데이터(Sn', S(n+1)')를 생성하여 GPU의 FPS 보다 높은 FPS 예를 들어, 60 FPS로 디스플레이 화면 상에 표시되는 영상을 업데이트하여 프레임 레이트를 높인다. 도 1에서 “PNL”은 디스플레이 화면이 구현되는 표시패널을 나타낸다. 센서 기반 예측 모델은 모션 센서로부터 수신된 각도값을 픽셀 변위값으로 변환하고, 이전 프레임 데이터에 비하여 픽셀 변위값만큼 이동된 보간 프레임 데이터를 생성한다.
VR/AR 기기는 HMD, FMD, EMG 형태로 제작된다. 사용자가 VR/AR 기기를 착용하여 VR/AR 콘텐츠를 재현할 때, 사용자의 고개가 움직이면 사용자의 움직임과 반대 방향으로 디스플레이 화면 상의 영상이 이동된다. 모션 센서는 사용자가 움직일 때 사용자의 모션 정보를 각도값으로 출력한다. 본 발명의 표시장치는 모션 션서로부터 출력되는 각도값을 바탕으로 픽셀 변위값을 산출하여 사용자의 움직임을 디스플레이 화면 상의 실시간 반영한다. 픽셀 변위값은 디스플레이 화면 상에 표시된 영상의 위치 변화 값이다. 본 발명은 지연이 거의 없는 모션 센서의 출력에 따라 픽셀 변위값을 발생하기 때문에 모션 투 포톤의 지연 없이 사용자의 움직임을 반영하여 디스플레이 화면을 업데이트할 수 있다. 또한, 본 발명은 매 프레임마다 모션 센서의 출력에 응답하여 보간 프레임을 생성하여 프레임 레이트를 높일 수 있으므로 도 2와 같이 일정한 FOS로 화면을 업데이트하여 모션 블러와 모션 저더를 방지할 수 있다.
한편, 움직임 추정 및　움직임　보상(MEMC) 알고리즘은 입력 영상의 1 프레임 데이터를 프레임 메모리에 저장하고, 이전 프레임과 현재 프레임 사이에서 블록 단위로 픽셀 데이터를 비교하여 영상의 움직임을 추정한다. 이러한 움직임 추정 및　움직임　보상(MEMC) 알고리즘은 1 프레임 기간 만큼의 지연 후에 보간 프레임 데이터를 생성하기 때문에 1 프레임 기간 이상의 지연이 발생할 수 밖에 없다. 본 발명은 이러한 움직임 추정 및 움직임 보상(MEMC) 알고리즘 없이 모션 센서의 출력에 따라 픽셀 변위값을 산출하기 때문에 사용자의 움직임을 디스플레이 화면 상에 반영할 때까지의 지연 시간이 거의 없이 보간 프레임 데이터를 생성할 수 있다.
도 3은 본 발명의 실시예에 따른 표시장치를 보여 주는 블록도이다. 도 4는 도 3에 도시된 디스플레이 구동부와 표시패널을 상세히 보여 주는 도면이다.
도 3 및 도 4를 참조하면, 본 발명의 표시장치는 표시패널(100, 100A, 100B), 시스템 제어부(300), 디스플레이 구동부(200) 등을 구비한다.
시스템 제어부(300)는 VR/AR 시스템일 수 있으나 이에 한정되지 않는다. 예를 들어, 시스템 제어부(300)는 TV(Television) 시스템, 컴퓨터 시스템, 셋톱 박스, 네비게이션 시스템, DVD 플레이어, 블루레이 플레이어, 홈 시어터 시스템, 모바일 기기 시스템, 웨어러블 기기 시스템 중 어느 하나일 수 있다.
시스템 제어부(300)는 모션 센서(302), 카메라(304) 등에 연결된다. 시스템 제어부(300)는 메모리나 외부 비디오 소스와 연결되는 외부 기기 인터페이스, 사용자 명령을 수신하는 유저 인터페이스(User interface), 전원을 생성하는 전원부 등을 더 포함한다. 외부 기기 인터페이스, 유저 인터페이스, 전원부 등은 도면에서 생략되어 있다. 외부 기기 인터페이스는 Universal serial bus(USB), High definition　multimedia interface (HDMI) 등 공지된 다양한 인터페이스 모듈로 구현될 수 있다.
시스템 처리부(300)는 입력 영상의 이미지 처리를 수행하는 GPU를 포함할 수 있다. GPU는 표시패널(100, 100A, 100B)의 해상도에 맞게 입력 영상의 해상도를 변환한다. GPU는 미리 설정된 아이 트랙킹 알고리즘(eye tracking algorithm)으로 카메라(304)로부터 얻어진 영상을 분석하여 사용자의 시선이 향하는 초점 영역을 추정하고, 포비에이티드 렌더링 알고리즘(foveated rendering algorithm)을 이용하여 초점 영역의 해상도를 높이고, 초점 영역 밖의 주변 영역에서 입력 영상의 해상도를 낮추어 사용자의 눈동자 움직임에 반응하는 화면 업데이트 속도를 빠르게 할 수 있다. 시스템 제어부(300)는 GPU로부터 출력된 영상 데이터를 디스플레이 구동부(200)로 전송한다.
표시패널(100)은 액정 표시장치(Liquid Crystal Display, LCD), 전계 방출 표시장치(Field Emission Display, FED), 및 전계 발광 표시장치(Electroluminescence Display) 등의 평판 표시장치에서 영상이 표시되는 표시패널로 구현될 수 있다. 전계 발광 표시장치는 발광층의 재료에 따라 무기발광 표시장치와 유기 발광 표시장치로 구별될 수 있다. 무기발광 표시장치의 일 예로, 양자점(quantum dot) 표시장치가 있다.
표시패널(100)의 픽셀 어레이는 입력 영상이 재현되는 디스플레이 화면(AA)을 구현한다. 픽셀 어레이는 데이터 전압이 인가되는 데이터 라인들(102), 게이트 펄스(또는 스캔 펄스)가 인가되는 게이트 라인들(또는 스캔 라인들)(104), 및 데이터 라인들(102)과 게이트 라인들(104)의 직교 구조에 의해 매트릭스 형태로 배열되어 데이터 라인들과 게이트 라인들(104)에 전기적으로 연결된 픽셀들을 포함한다. 픽셀들 각각은 컬러 구현을 위하여 적색 서브 픽셀(101), 녹색 서브 픽셀(101) 및 청색 서브 픽셀(101)로 나뉘어진다. 픽셀들 각각은 백색 서브 픽셀(101)을 더 포함할 수 있다. 서브 픽셀들 각각은 하나 이상의 TFT(Thin Film Transistor)를 포함할 수 있다.
VR/AR 시스템의 경우에 표시패널(100)은 도 4에 도시된 바와 같이 좌안 영상 데이터가 표시되는 제1 표시패널(100A)과, 우안 영상 데이터가 표시되는 제2 표시패널(100B)로 나뉘어질 수 있다.
디스플레이 구동부(200)는 도 7에 도시된 바와 같이 시스템 제어부(300)로부터 초점 영역의 위치 정보를 지시하는 아이 트랙킹(eye tracking) 결과와, 포비에이티브 렌더링 처리된 입력 영상을 수신한다. 디스플레이 구동부(200)는 초점 영역의 위치 정보를 바탕으로 입력 영상의 1 프레임 데이터를 초점 영역, 주변 영역 및 외곽 영역으로 구분한다. 디스플레이 구동부(200)는 시스템 제어부(300)로부터 수신된 영상 데이터를 표시패널(100)의 픽셀들에 기입한다. 디스플레이 구동부(200)는 도 3에 도시된 타이밍 콘트롤러(130), 데이터 구동부(130), 게이트 구동부(120) 등을 포함한다.
디스플레이 구동부(200)는 가상 현실 기기의 경우에, 표시패널들(100A, 100B) 각각의 화면 상에서 초점 영역과 주변 영역을 구분하고 시스템 제어부(300)로부터 수신된 영상 데이터의 입력 프레임 주파수 이상으로 표시패널들(100A, 100B)의 프레임 주파수를 설정한다. 디스플레이 구동부(200)는 초점 영역에 비하여 주변 영역에서 게이트 라인들에 인가되는 게이트 신호의 시프트 횟수를 낮춘다.
디스플레이 구동부(200)는 표시패널들(100A, 100B)에 입력 영상의 데이터를 기입한다. 디스플레이 구동부(200)는 표시패널들(100A, 100B) 각각에서 데이터 구동부(110), 게이트 구동부(120), 및 타이밍 콘트롤러(130) 등을 구비한다. 표시패널들(100A, 100B)의 데이터 구동부(110)는 하나의 타이밍 콘트롤러(130)를 공유할 수 있다.
데이터 구동부(110)는 타이밍 콘트롤러(130)로부터 수신된 입력 영상의 데이터를 감마보상전압으로 변환하여 아날로그 데이터 신호의 전압(데이터 전압)을 발생하고, 그 데이터 전압을 데이터 라인들(102)로 출력한다. 게이트 구동부(120)는 데이터 전압에 동기되는 게이트 신호(또는 스캔 신호)를 게이트 라인들(104)로 출력한다.
게이트 구동부(120)는 게이트 신호의 펄스를 시프트하여 게이트 라인들에 게이트 신호를 순차적으로 공급하기 위한 시프트 레지스터(shift register)를 포함한다. 게이트 구동부(120)는 타이밍 콘트롤러(130)의 제어 하에 게이트 라인들(104)로 출력되는 게이트 신호를 시프트한다.
타이밍 콘트롤러(130)의 입력단은 시스템 제어부(300)와 모션 센서(302)에 연결된다. 타이밍 콘트롤러(130)의 출력단은 데이터 구동부(110)와 게이트 구동부(120)에 연결된다. 타이밍 콘트롤러(130)는 도 5에 도시된 영상 생성 장치를 포함할 수 있다. 영상 생성 장치는 도 1에 도시된 센서 기반 예측 모델 알고리즘을 실행한다.
타이밍 콘트롤러(130)는 모션 센서(302)의 출력(SA)에 응답하여 보간 프레임 데이터를 생성하고, 이 보간 프레임 데이터를 시스템 제어부(300)로부터 수신된 입력 영상(RGB)의 프레임 데이터 사이에 삽입하여 프레임 레이트를 높인다. 타이밍 콘트롤러(130)는 모션 센서(302)의 출력(SA)에 응답하여 보간 프레임 데이터를 셍성함으로써 사용자의 움직임을 반영한 픽셀 변위값 만큼 디스플레이 화면 상의 영상을 이동하여 지연 없이 사용자의 움직임을 디스플레이 화면 상에 실시간 반영할 수 있다. 타이밍 콘트롤러(130)에 의해 출력된 영상 데이터는 데이터 구동부(110)로 전송된다.
타이밍 콘트롤러(130)는 입력 영상 데이터와 동기되는 타이밍 신호들을 시스템 제어부(300)로부터 수신하고, 이 타이밍 신호들을 바탕으로 데이터 구동부(110)와 게이트 구동부(120)의 동작 타이밍을 제어한다.
도 5는 본 발명의 실시예에 따른 영상 생성 장치를 보여 주는 도면이다. 도 6은 도 5에 도시된 영상 생성 장치의 입출력 영상을 보여 주는 도면이다. 도 7a 및 도 7b는 픽셀 변위값(DP)과 보간 프레임 데이터의 생성 타이밍을 보여 주는 도면이다.
도 5 내지 도 7b을 참조하면, 타이밍 콘트롤러(130)는 도 5 및 도 6에 도시된 바와 같은 영상 생성 장치를 포함한다. 도 6에서 “I/F”는 본 발명의 영상 생성 장치를 의미한다. 영상 생성 장치는 기수 번째 프레임 기간에 GPU로부터 수신된 프레임 데이터(n, n+1, n+2)를 그대로 출력하고, 우수 번째 프레임 기간에 모션 센서(302)의 출력(SA)에 따라 생성된 보간 프레임 데이터(n, (n+1)', (n+2)')를 출력한다.
영상 생성 장치는 메모리(132), 움직임 계산부(134), 보간 프레임 생성부(136), 멀티플렉서(Multiplexer)(138), 및 도시하지 않은 프레임 카운터(Frame counter)를 포함한다. 프레임 카운터는 1 프레임 기간에 1회 발생되는 타이밍 신호 예를 들어 수직 동기신호(Vsync), 게이트 구동부(120)의 스타트 신호 중 적어도 하나를 계수(count)하여 카운트값을 생성하고 그 카운트값을 멀티플렉서(138)의 선택 단자에 공급한다.
메모리(132)는 시스템 제어부(300)의 GPU로부터 수신된 입력 영상의 프레임 데이터를 저장한다. 영상 생성 장치에 제n 프레임 데이터가 수신될 때, 제n 프레임 데이터(n)는 멀티플렉서(FC)를 통해 그대로 출력된다. 움직임 계산부(134)와 보간 프레임 생성부(136)는 센서 기반 예측 모델을 바탕으로 제n 프레임 데이터(n)의 픽셀 데이터들을 이동시켜 제n 보간 프레임 데이터(n')를 생성한다. 보간 프레임 생성부(136)로부터 생성된 제n 보간 프레임 데이터(n')는 멀티플렉서(138)를 통해 출력된다. 멀티플렉서(138)는 프레임 카운터값(FC)에 응답하여 제n 프레임 데이터(n)를 출력한 후에 제n 보간 프레임 데이터(n')를 출력한다.
움직임 계산부(134)는 모션 센서(302)로부터 수신된 각도값을 픽셀 변위값으로 변환한다. 보간 프레임 생성부(136)는 픽셀 변위값 만큼 프레임 데이터를 이동시켜 제n 보간 프레임(n”)을 생성한다. 도 6에서, n, n+1 및 n+2는 GPU에 의해 생성된 프레임 데이터이다. n', (n+1)', 및 (n+2)'는 영상 생성 장치에 의해 생성된 보간 브레임 데이터이다.
GPU는 30 FPS의 영상 데이터를 30Hz 또는 60Hz의 프레임 주파수로 타이밍 콘트롤러(130)로 전송할 수 있다. 30 FPS의 영상 데이터는 초당 30 개의 프레임 데이터를 포함한다.
GPU는 도 7a에 도시된 바와 같이 30 FPS의 1 프레임 기간(33.3ms) 동안 동일한 1 프레임 데이터를 2회 연속 생성함으로써 60Hz의 프레임 주파수로 30 FPS의 영상 데이터를 타이밍 콘트롤러(130)로 전송할 수 있다. 도 7a에서 1, 2, 3, 4는 프레임 데이터의 번호를 나타낸다. 도 7a에서 GPU는 제1 프레임 기간 동안 제1 프레임 데이터(1)를 2회 출력한 후에, 제2 프레임 기간 동안 제2 프레임 데이터(2)를 2회 출력한다. 타이밍 콘트롤러(130)는 모션 센서(302)로부터 실시간 수신된 각도값을 바탕으로 픽셀 변위값을 산출하여 이 픽셀 변위값만큼 동일한 프레임 데이터 중에서 첫 번째 수신된 프레임 데이터를 시프트하여 보간 프레임 데이터(1', 2', 3', 4')를 생성한다. 보간 프레임 데이터(1', 2', 3', 4')는 동일한 프레임 데이터 중에서 두 번째 프레임 데이터 대신에 데이터 구동부(110)로 전송된다.
GPU는 도 7b에 도시된 바와 같이 30 FPS의 1 프레임 기간(33.3ms) 동안 동일한 1 프레임 데이터를 1회 연속 생성함으로써 30Hz의 프레임 주파수로 30 FPS의 영상 데이터를 타이밍 콘트롤러(130)로 전송할 수 있다. 도 7b에서 1, 2, 3, 4는 프레임 데이터의 번호를 나타낸다. 타이밍 콘트롤러(130)는 모션 센서(302)로부터 실시간 수신된 각도값을 바탕으로 산출된 픽셀 변위값을 이용하여 GPU로부터 수신된 프레임 데이터를 이동시켜 보간 프레임 데이터(1', 2', 3', 4')를 생성한다. 보간 프레임 데이터(1', 2', 3', 4')는 GPU에 의해 생성된 제n 및 제n+1 프레임 데이터 사이에 추가되어 데이터 구동부(110)로 전송된다.
도 8 내지 도 12는 본 발명의 영상 생성 방법을 보여 주는 도면들이다.
도 8 및 도 11을 참조하면, VR/AR 시스템을 착용한 사용자가 고개를 돌릴 때 모션 센서(302)는 사용자의 움직임을 피치(pitch), 요(yaw) 및 롤(roll)의 각도값으로 출력하여 사용자의 움직임을 감지한다. 피치는 Z 축을 중심으로 한 회전이고, 피치는 Y축을 중심으로 한 회전이다. 롤은 x축을 중심으로 한 회전이다. 사용자가 좌우 방향으로 회전할 때 롤의 각도값이 커지고, 사용자가 상하 방향으로 회전할 때 피치의 각도값이 커진다.
사용자가 고개를 돌리면 사용자가 바라 보는 픽셀의 위치가 도 8과 같이 화면 상에서 A 위치와 B 위치로 변한다. 사용자가 고개를 돌릴 때 모션 센서(302)가 사용자의 고개가 돌아가는 회전 방향을 따라 회전하기 때문에 사용자가 바라 보는 픽셀 위치는 모션 센서(302)로부터 출력되는 각도값(도 11, Δd)으로 측정될 수 있다. 본 발명의 영상 생성 방법은 아래와 같이 모션 센서(302)의 출력 신호 즉, 각도값(Δd)과, 메모리에 저장된 디스플레이 화면의 수직 및 수직 해상도를 이용하여 픽셀 변위값(DPYAW, DPPITCH)을 산출한다. DPYAW는 요 방향의 픽셀 변위값이고, DPPITCH는 피치 방향의 픽셀 변위값이다.
Figure pat00001
Figure pat00002
여기서, H와 V는 도 10에 도시된 바와 같이 디스플레이 화면의 수평 해상도(H)와 수직 해상도(V)이다. FOV(Field of View)는 디스플레이 화면을 바라 보는 사용자의 시야각이다. FOVH는 수평 시야각이고, FOVV는 수직 시야각이다.
따라서, 픽셀 변위값(DP)은 각도값에 사용자의 상하 시야각에 대한 상기 화면의 상하 해상도 비율을 곱한 값으로 산출되는 제1 픽셀 변위값(DPPITCH)과, 각도값에 사용자의 좌우 시야각에 대한 화면의 좌우 해상도 비율을 곱한 값으로 산출되는 제2 픽셀 변위값(DPYAW)을 포함한다.
도 11 및 도 12를 참조하면, 사용자의 시점이 a 위치로부터 b 위치로 변하면 사용자가 바라 보는 픽셀의 위치가 변한다. 사용자가 움직일 때, 지연 없이 사용자의 움직임과 반대로 디스플레이 화면(AA)이 이동되어야 사용자가 실감 있는 가상 세계를 체험할 수 있다. 도 11 및 도 12에서 “OBJ”는 디스플레이 화면(AA) 상에 표시된 객체를 나타낸다. 객체(OBJ)는 사용자가 움직이는 방향과 반대 방향으로 이동된다.
도 13a 및 도 13b는 MEMC 모듈이 타이밍 콘트롤러에 연결된 예를 보여 주는 도면이다.
타이밍 콘트롤러(T-con)에 도 13a 및 도 13b에 도시된 바와 같이 MEMC 모듈이 집적된 칩(chip)이 연결되거나, MEMC 모듈이 내장될 수 있다. MEMC 모듈은 전술한 바와 같이 GPU로부터 수신된 프레임 데이터들을 비교하여 모션 벡터(Motion vector)를 계산하기 때문에 필연적으로 프레임 데이터를 1 프레임 기간만큼 지연시킨다.
이에 비하여, 본 발명의 타이밍 콘트롤러(T-con)는 모션 션서(302)의 출력(sensor data)를 바탕으로 실시간으로 사용자의 움직임을 판정하기 때문에 사용자의 움직임을 디스플레이 화면에 지연 없이 반영할 수 있다. 따라서, 본 발명은 도 13c에 도시된 바와 같이 타이밍 콘트롤러(T-con)에 별도의 MEMC 모듈을 연결할 필요가 없다.
GPU가 30Hz의 프레임 주파수로 영상 데이터를 타이밍 콘트롤러(T-con)로 전송할 때 프레임 데이터를 저장하는 메모리가 필요하다. 도 13c에 도시된 메모리는 도 5의 메모리(132)일 수 있다.
이상 설명한 내용을 통해 당업자라면 본 발명의 기술사상을 일탈하지 아니하는 범위에서 다양한 변경 및 수정이 가능함을 알 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허 청구의 범위에 의해 정하여져야만 할 것이다.
100 : 표시패널 101 : 서브 픽셀
110 : 데이터 구동부 120 : 게이트 구동부
130 : 타이밍 콘트롤러 132 : 메모리
134 : 움직임 계산부 136 : 보간 프레임 생성부
138 : 멀티플렉서 200 : 디스플레이 구동부
300 : 시스템 제어부 302 : 모션 센서
304 : 카메라

Claims (5)

  1. 수평 해상도와 수직 해상도를 갖는 화면 상에 입력 영상을 표시하는 표시패널을 포함한 표시장치의 영상 생성 방법에 있어서,
    모션 센서로부터 얻어진 각도값을 수신하는 단계;
    상기 각도값을 바탕으로 픽셀 변위값을 산출하는 단계;
    상기 픽셀 변위값 만큼 상기 화면 상에 표시된 영상의 프레임 데이터를 이동시켜 보간 프레임 데이터를 생성하는 단계; 및
    상기 입력 영상의 프레임 데이터와 상기 보간 프레임 데이터를 상기 화면 상에 표시하는 단계를 포함하는 영상 생성 방법.
  2. 제 1 항에 있어서,
    상기 픽셀 변위값은
    상기 각도값에 사용자의 상하 시야각에 대한 상기 화면의 상하 해상도 비율을 곱한 값으로 산출되는 제1 픽셀 변위값과,
    상기 각도값에 상기 사용자의 좌우 시야각에 대한 상기 화면의 좌우 해상도 비율을 곱한 값으로 산출되는 제2 픽셀 변위값을 포함하는 영상 생성 방법.
  3. 수평 해상도와 수직 해상도를 갖는 화면 상에 입력 영상을 표시하는 표시패널;
    모션 센서로부터 얻어진 각도값을 바탕으로 픽셀 변위값을 산출하는 움직임 계산부;
    상기 픽셀 변위값 만큼 상기 화면 상에 표시된 영상의 프레임 데이터를 이동시켜 보간 프레임 데이터를 생성하는 보간 프레임 생성부; 및
    상기 입력 영상의 프레임 데이터와 상기 보간 프레임 데이터를 상기 화면 상에 표시하는 디스플레이 구동부를 구비하는 표시장치.
  4. 제 3 항에 있어서,
    상기 픽셀 변위값은
    상기 각도값에 사용자의 상하 시야각에 대한 상기 화면의 상하 해상도 비율을 곱한 값으로 산출되는 제1 픽셀 변위값과,
    상기 각도값에 상기 사용자의 좌우 시야각에 대한 상기 화면의 좌우 해상도 비율을 곱한 값으로 산출되는 제2 픽셀 변위값을 포함하는 표시장치.
  5. 제 4 항 또는 제 5 항에 있어서,
    상기 표시패널은 가상 현실(VR) 시스템 또는 증강 현실(AR) 시스템에 배치되는 표시장치.
KR1020170107933A 2017-08-25 2017-08-25 영상 생성 방법과 이를 이용한 표시장치 KR102360412B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020170107933A KR102360412B1 (ko) 2017-08-25 2017-08-25 영상 생성 방법과 이를 이용한 표시장치
CN201810762521.9A CN109427283B (zh) 2017-08-25 2018-07-12 图像产生方法和使用该方法的显示装置
US16/041,531 US10754163B2 (en) 2017-08-25 2018-07-20 Image generation method and display device using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170107933A KR102360412B1 (ko) 2017-08-25 2017-08-25 영상 생성 방법과 이를 이용한 표시장치

Publications (2)

Publication Number Publication Date
KR20190022099A true KR20190022099A (ko) 2019-03-06
KR102360412B1 KR102360412B1 (ko) 2022-02-09

Family

ID=65435933

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170107933A KR102360412B1 (ko) 2017-08-25 2017-08-25 영상 생성 방법과 이를 이용한 표시장치

Country Status (3)

Country Link
US (1) US10754163B2 (ko)
KR (1) KR102360412B1 (ko)
CN (1) CN109427283B (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102360412B1 (ko) * 2017-08-25 2022-02-09 엘지디스플레이 주식회사 영상 생성 방법과 이를 이용한 표시장치
JP7121523B2 (ja) * 2018-04-10 2022-08-18 キヤノン株式会社 画像表示装置、画像表示方法
WO2020177053A1 (en) * 2019-03-04 2020-09-10 Boe Technology Group Co., Ltd. Display-driving circuit, display apparatus, and display method based on time-division data output
CN110557626B (zh) * 2019-07-31 2021-06-08 华为技术有限公司 一种图像显示的方法及电子设备
US10916163B1 (en) * 2019-10-29 2021-02-09 Disney Enterprises, Inc. Large-scale infinity optics window for use in small facility packaging applications
KR20210107409A (ko) 2020-02-24 2021-09-01 삼성전자주식회사 엣지 컴퓨팅 서비스를 이용한 영상 컨텐츠 전송 방법 및 장치
CN115209181B (zh) * 2022-06-09 2024-03-22 咪咕视讯科技有限公司 一种基于环绕视角的视频合成方法、控制器及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120093601A (ko) * 2011-02-15 2012-08-23 엘지전자 주식회사 이동 단말기 및 그 제어방법
KR20160140193A (ko) * 2015-05-29 2016-12-07 삼성전기주식회사 영상 보정 회로 및 그 보정 방법

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5579026A (en) * 1993-05-14 1996-11-26 Olympus Optical Co., Ltd. Image display apparatus of head mounted type
US6388638B2 (en) * 1994-10-28 2002-05-14 Canon Kabushiki Kaisha Display apparatus and its control method
US20050156817A1 (en) * 2002-08-30 2005-07-21 Olympus Corporation Head-mounted display system and method for processing images
US7903166B2 (en) * 2007-02-21 2011-03-08 Sharp Laboratories Of America, Inc. Methods and systems for display viewer motion compensation based on user image data
US8578192B2 (en) * 2008-06-30 2013-11-05 Intel Corporation Power efficient high frequency display with motion blur mitigation
KR101328808B1 (ko) * 2010-05-13 2013-11-13 엘지디스플레이 주식회사 영상표시장치
WO2013085639A1 (en) 2011-10-28 2013-06-13 Magic Leap, Inc. System and method for augmented and virtual reality
TWI505696B (zh) 2011-11-08 2015-10-21 Samsung Electronics Co Ltd 解碼影像的方法
US8970495B1 (en) * 2012-03-09 2015-03-03 Google Inc. Image stabilization for color-sequential displays
US9230473B2 (en) * 2013-06-24 2016-01-05 Microsoft Technology Licensing, Llc Dual duty cycle OLED to enable dynamic control for reduced motion blur control with constant brightness in augmented reality experiences
CN103686133A (zh) * 2013-12-24 2014-03-26 友达光电股份有限公司 一种用于裸眼立体显示器的图像补偿装置及其方法
US9575319B2 (en) * 2014-03-10 2017-02-21 Ion Virtual Technology Corporation Method and system for reducing motion blur when experiencing virtual or augmented reality environments
CN106937531B (zh) * 2014-06-14 2020-11-06 奇跃公司 用于产生虚拟和增强现实的方法和系统
WO2016098591A1 (ja) * 2014-12-15 2016-06-23 株式会社島津製作所 ヘッドマウントディスプレイ用の動画像処理装置、ヘッドマウントディスプレイ用の動画像処理方法およびヘッドマウントディスプレイシステム
US9824498B2 (en) * 2014-12-30 2017-11-21 Sony Interactive Entertainment Inc. Scanning display system in head-mounted display for virtual reality
KR20170033462A (ko) * 2015-09-16 2017-03-27 삼성디스플레이 주식회사 전자 기기 및 헤드 마운트 디스플레이 장치의 영상 표시 방법
US9928660B1 (en) * 2016-09-12 2018-03-27 Intel Corporation Hybrid rendering for a wearable display attached to a tethered computer
KR20180075732A (ko) * 2016-12-26 2018-07-05 엘지디스플레이 주식회사 헤드 마운티드 디스플레이 및 그 제어 방법
US10628994B2 (en) * 2017-03-07 2020-04-21 Google Llc Reducing visually induced motion sickness in head mounted display systems
US10642352B2 (en) * 2017-05-18 2020-05-05 Tectus Coporation Gaze calibration via motion detection for eye-mounted displays
GB2564866B (en) * 2017-07-24 2021-07-28 Advanced Risc Mach Ltd Method of and data processing system for providing an output surface
KR102360412B1 (ko) * 2017-08-25 2022-02-09 엘지디스플레이 주식회사 영상 생성 방법과 이를 이용한 표시장치
US10445922B2 (en) * 2017-08-31 2019-10-15 Intel Corporation Last-level projection method and apparatus for virtual and augmented reality

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120093601A (ko) * 2011-02-15 2012-08-23 엘지전자 주식회사 이동 단말기 및 그 제어방법
KR20160140193A (ko) * 2015-05-29 2016-12-07 삼성전기주식회사 영상 보정 회로 및 그 보정 방법

Also Published As

Publication number Publication date
KR102360412B1 (ko) 2022-02-09
US20190064530A1 (en) 2019-02-28
CN109427283B (zh) 2022-01-07
US10754163B2 (en) 2020-08-25
CN109427283A (zh) 2019-03-05

Similar Documents

Publication Publication Date Title
CN109427283B (zh) 图像产生方法和使用该方法的显示装置
US10078922B2 (en) Eye tracking for display resolution adjustment in a virtual reality system
JP6622279B2 (ja) 表示装置及びそのゲート駆動回路
AU2017314940B2 (en) Continuous time warp and binocular time warp for virtual and augmented reality display systems and methods
US10628994B2 (en) Reducing visually induced motion sickness in head mounted display systems
US9595083B1 (en) Method and apparatus for image producing with predictions of future positions
US20160267884A1 (en) Non-uniform rescaling of input data for displaying on display device
KR101626742B1 (ko) 멀티 영상 표시 시스템
KR102448919B1 (ko) 표시 장치
US11562701B2 (en) Data processing systems
CN113272715A (zh) 基于眼睛跟踪的动态渲染时间确定
KR20160055651A (ko) 영상왜곡 보정장치 및 보정방법, 이를 포함하는 곡면형 표시장치
US11218691B1 (en) Upsampling content for head-mounted displays
US20160252730A1 (en) Image generating system, image generating method, and information storage medium
US20200168001A1 (en) Display unit for ar/vr/mr systems
KR102551131B1 (ko) 표시 장치 및 표시 장치를 포함하는 헤드 마운트 장치
KR102422036B1 (ko) 낮은 레이턴시 가상 현실을 구동 및 보상하는 표시장치
KR102629441B1 (ko) 영상 생성 방법과 이를 이용한 표시장치
US11076143B1 (en) In-band tear detection with compression
KR102087841B1 (ko) 패널 타임 워프를 갖는 ar/vr/mr 시스템용 디스플레이 유닛
CN110659005B (zh) 操作数据处理系统和方法、显示装置以及计算机可读介质
KR20180025430A (ko) 개인 몰입형 장치와 그 표시장치
KR20180059294A (ko) 표시 장치 및 표시 장치 구동 방법
US20170054941A1 (en) In-band tear detection system

Legal Events

Date Code Title Description
A201 Request for examination
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right