KR20190034775A - 영상 렌더링 방법 및 장치 - Google Patents

영상 렌더링 방법 및 장치 Download PDF

Info

Publication number
KR20190034775A
KR20190034775A KR1020170123202A KR20170123202A KR20190034775A KR 20190034775 A KR20190034775 A KR 20190034775A KR 1020170123202 A KR1020170123202 A KR 1020170123202A KR 20170123202 A KR20170123202 A KR 20170123202A KR 20190034775 A KR20190034775 A KR 20190034775A
Authority
KR
South Korea
Prior art keywords
display area
image
display
rendering
pixel
Prior art date
Application number
KR1020170123202A
Other languages
English (en)
Other versions
KR102427854B1 (ko
Inventor
강병민
남동경
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020170123202A priority Critical patent/KR102427854B1/ko
Priority to US15/921,186 priority patent/US10497169B2/en
Priority to CN201810271710.6A priority patent/CN109561294B/zh
Priority to EP18179748.1A priority patent/EP3461129B1/en
Priority to JP2018169492A priority patent/JP7290925B2/ja
Publication of KR20190034775A publication Critical patent/KR20190034775A/ko
Application granted granted Critical
Publication of KR102427854B1 publication Critical patent/KR102427854B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3635—Guidance using 3D or perspective road maps
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B27/2214—
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/27—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/30—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving parallax barriers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/356—Image reproducers having separate monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/361—Reproducing mixed stereoscopic images; Reproducing mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Instrument Panels (AREA)
  • Processing Or Creating Images (AREA)

Abstract

영상 렌더링 방법 및 장치가 개시된다. 영상 렌더링 장치는 2D 영상이 출력되는 2D 디스플레이 영역과 3D 영상이 출력되는 3D 디스플레이 영역 중 현재 픽셀이 어느 디스플레이 영역에 포함되는지를 결정하고, 현재 픽셀이 2D 디스플레이 영역에 포함되는 경우, 현재 픽셀의 위치에서 2D 렌더링을 수행하고, 현재 픽셀이 3D 디스플레이 영역에 포함되는 경우, 현재 픽셀의 위치에서 3D 렌더링을 수행할 수 있다.

Description

영상 렌더링 방법 및 장치{METHOD AND APPARATUS FOR RENDERING IMAGE}
아래의 설명은 영상 렌더링 방법 및 장치에 관한 것이다.
시청자가 3D(dimensional) 영상의 입체감을 인지하기 위해서는 시청자의 양 눈에 보여지는 영상이 달라야 한다. 시청자의 양 눈에 서로 다른 영상을 보여주기 위한 방법으로 편광을 이용한 분할, 시분할, 원색(primary color)의 파장을 다르게 한 파장 분할 등을 통하여 원하는 영상을 필터링하는 안경식(stereoscopic) 방식과, 패럴랙스 배리어(parallax barrier), 렌티큘러 렌즈(lenticular lens), 또는 방향성 백라이트 유닛(directional backlight unit) 등의 3D 광학 소자를 이용하여 영상을 공간의 특정 시점 별로 보이게 하는 무안경식(autostereoscopic) 방식이 있다.
일 실시예에 따른 영상 렌더링 장치는 2D 영상이 출력되는 2D 디스플레이 영역과 3D 영상이 출력되는 3D 디스플레이 영역 중 현재 픽셀이 어느 디스플레이 영역에 포함되는지를 결정하는 단계, 상기 현재 픽셀이 상기 2D 디스플레이 영역에 포함되는 경우, 상기 현재 픽셀의 위치에서 2D 렌더링을 수행하는 단계 및 상기 현재 픽셀이 상기 3D 디스플레이 영역에 포함되는 경우, 상기 현재 픽셀의 위치에서 3D 렌더링을 수행하는 단계를 포함한다.
상기 2D 디스플레이 영역과 상기 3D 디스플레이 영역은 하나의 스크린에 포함될 수 있다.
상기 2D 디스플레이 영역은 상기 3D 디스플레이 영역의 주변에 위치할 수 있다.
상기 영상 렌더링 방법은 전체 픽셀들 각각에 대해 상기 2D 렌더링 또는 상기 3D 렌더링을 수행하여 상기 2D 영상 및 상기 3D 영상이 혼합된 결과 영상을 생성하는 단계를 더 포함할 수 있다.
상기 2D 디스플레이 영역은, 텍스트 또는 안내 표시를 디스플레이할 수 있다.
상기 2D 디스플레이 영역은, 차량의 운행 정보를 제공하기 위한 텍스트 또는 안내 표시를 디스플레이할 수 있다.
상기 3D 디스플레이 영역은, 3D 객체를 디스플레이할 수 있다.
상기 3D 디스플레이 영역은, 차량의 주행 경로를 가이드하기 위한 3D 객체를 디스플레이할 수 있다.
상기 3D 디스플레이 영역에서, 패럴랙스 배리어 또는 렌티큘러 렌즈를 통해 상기 3D 객체를 디스플레이 하기 위한 복수의 시역들이 생성될 수 있다.
상기 디스플레이 장치는, 헤드업 디스플레이(Head-Up Display; HUD) 장치일 수 있다.
컴퓨터 판독 가능한 기록 매체는 상기 방법을 컴퓨터에서 실행하기 위한 프로그램을 기록할 수 있다.
일 실시예에 따른 영상 렌더링 장치는, 적어도 하나의 프로세서 및 2D 영상이 출력되는 2D 디스플레이 영역과 3D 영상이 출력되는 3D 디스플레이 영역을 포함하는 디스플레이 패널을 포함하고, 상기 프로세서는, 상기 디스플레이 패널을 통해 출력될 픽셀들 각각에 대해 2D 렌더링 및 3D 렌더링 중 어느 하나를 수행하여 상기 2D 영상 및 상기 3D 영상이 혼합된 결과 영상을 생성하고, 상기 디스플레이 패널은, 상기 결과 영상을 출력한다.
도 1은 일 실시예에 따른 헤드업 디스플레이 장치에 적용된 영상 렌더링 장치의 동작을 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 영상 렌더링 방법을 설명하기 위한 흐름도이다.
도 3은 일 실시예에 따른 2D 디스플레이 영역과 3D 디스플레이 영역을 포함하는 스크린의 일례를 도시한 도면이다.
도 4는 일 실시예에 따른 영상 렌더링 방법의 일례를 설명하기 위한 흐름도이다.
도 5는 일 실시예에 따른 영상 렌더링 장치의 구성을 설명하기 위한 도면이다.
도 6a는 일 실시예에 따른 픽셀의 위치에 기초하여 2D 렌더링 또는 3D 렌더링을 수행하는 과정을 설명하기 위한 도면이다.
도 6b는 일 실시예에 따른 2D 디스플레이 영역과 3D 디스플레이 영역을 구분하는 방법을 설명하기 위한 도면이다.
도 7a 내지 도 7c는 일 실시예에 따른 2D 디스플레이 영역과 3D 디스플레이 영역이 배치된 구조들의 일례를 도시하는 도면들이다.
도 8a 및 도 8b는 일 실시예에 따른 렌티큘러 렌즈 또는 패럴랙스 배리어를 포함하는 디스플레이 패널의 일례를 도시한 도면들이다.
실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 실시될 수 있다. 따라서, 실시예들은 특정한 개시형태로 한정되는 것이 아니며, 본 명세서의 범위는 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
한편, 어떤 실시예가 달리 구현 가능한 경우에 특정 블록 내에 명기된 기능 또는 동작이 순서도와 다르게 수행될 수 있다. 예를 들어, 연속하는 두 블록들이 실제로는 실질적으로 동시에 수행될 수도 있고, 관련된 기능 또는 동작에 따라서는 해당 블록들의 순서가 뒤바뀌어 수행될 수도 있다.
이하, 실시예들을 첨부된 도면들을 참조하여 상세하게 설명한다. 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고, 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 일 실시예에 따른 헤드업 디스플레이 장치에 적용된 영상 렌더링 장치의 동작을 설명하기 위한 도면이다.
영상 렌더링 장치(100)는 영상을 렌더링하고, 렌더링 결과 영상을 사용자에게 제공한다. 이 때, 영상 렌더링 장치(100)는 2D 렌더링 및 3D 렌더링을 모두 수행할 수 있다. 영상 렌더링 장치(100)는 2D 렌더링 및 3D 렌더링을 통해 하나의 스크린에 2D 영상과 3D 영상을 함께 출력할 수 있다. 영상 렌더링 장치(100)는 2D 영상을 디스플레이 하기 위한 2D 디스플레이 영역과 3D 영상을 디스플레이 하기 위한 3D 디스플레이 영역을 모두 가지는 디스플레이를 구비하며, 해당 2D 디스플레이 영역을 통해 2D 영상을 출력하고, 3D 디스플레이 영역을 통해 3D 영상을 출력할 수 있다.
영상 렌더링 장치(100)는 2D 영상과 3D 영상을 함께 제공하는 것이 가능한 어플리케이션들에 적용될 수 있다. 이러한 어플리케이션들에서, 영상 렌더링 장치(100)는 2D 영상과 3D 영상이 혼합된 영상 컨텐츠를 제공할 수 있다. 예를 들어, 영상 렌더링 장치(100)는 도 1에 도시된 것과 같이 헤드업 디스플레이 장치에서 화살표와 같은 경로 안내 지시자를 3D 영상으로 표시하고, 그 밖에 텍스트 형태의 운행 정보(예를 들어, 현재 위치에서 목적지까지 남은 거리 및 목적지까지 이동하는데 걸리는 예상 시간 등)를 2D 영상으로 표시하는데 이용될 수 있다. 다른 예로, 영상 렌더링 장치(100)는 영상 컨텐츠를 3D 영상으로 제공하고, 자막을 2D 영상으로 제공하는 것과 같이, 2D 영상과 3D 영상을 혼합하여 제공하는 영상 시스템에서 이용될 수 있다. 그 밖에, 영상 렌더링 장치(100)는 증강 현실(augmented reality, AR) 등의 분야에서도 이용될 수 있다. 영상 렌더링 장치(100)는 입체적으로 표시하는 것이 더 효과적인 컨텐츠를 3D 영상으로 출력하고, 입체감보다는 정보를 정확하고 알기 쉽게 표시하는 것이 중요한 컨텐츠를 2D 영상으로 출력할 수 있다.
도 1을 참조하면, 헤드업 디스플레이 장치에 적용된 영상 렌더링 장치(100)는 자동차(150)에 설치되어 운전자(140)에게 2D 영상(121)과 3D 영상(123)이 혼합된 결과 영상(120)을 제공할 수 있다. 결과 영상(120)은 2D 영상(121)과 3D 영상(123)을 포함할 수 있다. 2D 영상(121)과 3D 영상(123)은 다양한 방식으로 배치될 수 있다. 예를 들어, 도 1에 도시된 것과 같이, 3D 영상(123)은 2D 영상(121)에 둘러싸인 형태로 배치될 수 있다. 하지만, 이는 예시일 뿐이며, 배치 방식은 이에 한정되지 않으며, 2D 영상(121)과 3D 영상(123)은 다양한 형태로 배치될 수 있다.
영상 렌더링 장치(100)는 텍스트와 같이 고해상도와 빠른 연산 속도가 요구되는 컨텐츠를 2D 영상(121)으로 출력할 수 있다. 예를 들어, 제한 속도 90 km/h, 현재 속도 92 km/h, 현재 시각 13:00, 예상 도착 시각 13:15, 목적지까지의 남은 거리 15 km와 같이 3D 영상보다는 2D의 텍스트로 표시하는 것이 더 적절한 운행 정보(131)가 2D 영상(121)으로 표시될 수 있다.
3D 영상(123)은 사실감과 입체감이 요구되는 컨텐츠를 3D 영상(123)으로 출력할 수 있다. 예를 들어, 전방의 도로 상황과 정합되어 운전자(140)에게 입체적으로 표시되면 더 효과적인 경로 안내 지시자(133)가 3D 영상(123)으로 표시될 수 있다. 3D 영상(123)에 포함된 경로 안내 지시자(133)는 운전자(140)의 시점에서 도로와 정합된 안내 표시(135)로 입체적으로 보여지므로 운전자(140)는 3D 형태의 경로 안내 지시자(133)를 통해 보다 높은 사실감을 느낄 수 있다.
다른 실시예에서, 영상 렌더링 장치(100)는 3D 렌더링을 수행할 때, 운전자(140)의 눈의 위치에 좌시점 영상과 우시점 영상이 정확히 보이게 하기 위해 운전자(140)의 눈의 위치를 추적하고, 추적된 눈의 위치에 기반하여 3D 렌더링을 수행할 수 있다. 도 1에 도시된 것과 같은 실시예에서, 시점 추적을 위한 카메라(미도시)가 차량의 리어 뷰 미러(rear view mirror) 또는 대쉬보드(dashboard) 위에 설치되어 운전자(140)의 눈이 나타난 영상을 획득할 수 있다. 영상 렌더링 장치(100)는 카메라로부터 해당 카메라를 통해 획득된 영상(또는 동영상)을 수신하고, 수신한 영상에서 특징점 검출 또는 템플릿 매칭 등의 기법을 이용하여 운전자(140)의 눈의 위치를 검출할 수 있다. 영상 렌더링 장치(100)는 검출된 눈의 위치에 기초하여 3D 렌더링 영상을 구성하는 각 픽셀에 좌시점 영상의 픽셀 값을 할당할지 아니면 우시점 영상의 픽셀 값을 할당할지 여부를 결정할 수 있다. 예를 들어, 3D 디스플레이 영역을 구성하는 디스플레이 픽셀의 광선 방향이 우안보다 좌안에 가까운 경우에는, 해당 디스플레이 픽셀에 좌시점 영상의 픽셀 값이 할당되고, 해당 광선 방향이 좌안보다 우안에 가까운 경우에는 해당 디스플레이 픽셀에 우시점 영상의 픽셀 값이 할당될 수 있다. 이러한 과정을 디스플레이 픽셀들 전체에 대해 수행하면, 운전자(140)의 눈의 위치에 기반한 3D 렌더링 영상이 생성될 수 있다. 여기서, 디스플레이 픽셀의 광선 방향은 3D 디스플레이 영역에 포함된 렌티큘러 렌즈(Lenticular lens) 또는 패럴랙스 배리어(Parallax barrier)의 3D 광학 소자의 구조적 특징에 의해 결정된다.
도 1을 참조하면, 헤드업 디스플레이 장치에 적용된 영상 렌더링 장치(100)는 디스플레이 패널(101)과 하나 이상의 반사 거울(103, 105)을 포함하여 렌더링 결과 영상(120)을 운전자(140)에게 제공할 수 있다. 디스플레이 패널(101)은 2D 영상과 3D 영상이 혼합된 렌더링 결과 영상(120)을 반사 거울(103)으로 출력하고, 반사 거울(103)은 다른 반사 거울(105)을 통하여 렌더링 결과 영상이 운전자(140)에게 제공될 수 있다.
영상 렌더링 장치(100)는 자동차(150)의 윈드쉴드(windshield)(111)에 운행 정보를 표시함으로써 운전자(140)는 운전 상태에서 시선을 이동시키지 않아도 운행 정보를 제공받을 수 있다. 이를 통해, 영상 렌더링 장치(100)는 운전자(140)에게 보다 높은 편의를 제공하고 사고의 위험을 줄일 수 있다.
디스플레이 패널(101)의 스크린은 2D 디스플레이 영역과 3D 디스플레이 영역을 모두 포함할 수 있다. 일 실시예에서, 2D 디스플레이 영역은 3D 디스플레이 영역을 둘러싸거나 3D 디스플레이 영역의 상측, 하측 좌측 또는 우측에 배치되는 등과 같이 다양하게 배치될 수 있다. 이러한 배치 방식은 예시에 불과하며, 2D 디스플레이 영역과 3D 디스플레이 영역의 배치 방식은 이에 한정되지 않는다.
3D 디스플레이 영역은 3D 영상을 표현하기 위해 운전자(140)의 좌안 및 우안에 보여지는 영상 간의 시점 차이를 이용할 수 있다. 3D 디스플레이 영역은 안경식(stereoscopy) 3D 디스플레이 또는 무안경식(autostereoscopic) 3D 디스플레이로 구현될 수 있다. 무안경식 3D 디스플레이는 시점(view point)을 분할하는 3D 광학 소자를 이용할 수 있다. 예를 들어, 3D 디스플레이 영역은 렌티큘러 렌즈 또는 패럴랙스 배리어와 같이 영상을 서로 다른 시점 방향으로 출력하는 3D 광학 소자를 포함할 수 있다.
일 실시예에서, 3D 디스플레이 영역은 3D 영상 중 좌시점 영상을 운전자(140)의 좌안에 표시하고, 우시점 영상을 운전자(140)의 우안에 표시함으로써 운전자(140)가 컨텐츠의 입체감을 느끼게 한다. 이 때, 좌시점 영상과 우시점 영상의 불완전한 분리는 3D 영상의 화질을 떨어뜨리는 크로스토크(crosstalk) 현상을 유발한다. 크로스토크 현상은 좌시점 영상과 우시점 영상이 완전히 분리되지 못하여 좌시점 영상의 일부가 우안에 보여지거나 우시점 영상의 일부가 좌안에 보여지는 현상을 의미한다. 시점 분리가 제대로 이루어지지 않아 크로스토크 현상이 발생하는 경우, 운전자(140)는 어지러움 등을 느낄 수 있다.
실제 주행 도로 상에 정합되어 표시되는 화살표와 같은 경로 안내 지시자와 다르게, 텍스트로 표시되는 컨텐츠에 대해 크로스토크 현상이 발생하는 경우, 운전자(140)는 큰 불편을 느끼게 되고, 이로 인하여 사고 위험이 증가할 수 있다. 따라서, 전체 디스플레이 영역을 3D 디스플레이 영역으로 구성하는 것보다는 텍스트와 같이 3D보다는 2D로 표현하는 것이 더 적절한 컨텐츠는 2D로 표시하는 것이 바람직하다.
일 실시예에 따르면, 영상 렌더링 장치(100)는 텍스트와 같이 의미 전달이 중요한 컨텐츠는 2D 렌더링을 통해 2D 영상으로서 제공함으로써, 텍스트 정보를 제공하는데 있어 크로스토크 현상이 발생하는 것을 방지할 수 있다. 2D 영상은 3D 영상과 달리 좌안과 우안에 동일한 영상을 제공하기 때문에 크로스토크 현상이 발생하지 않는다. 또한, 2D 렌더링은 3D 렌더링보다 연산 속도가 빠르기 때문에 텍스트와 같이 의미 전달이 중요한 컨텐츠는 2D 렌더링을 통해 보다 빠르게 처리하는 것이 가능해 진다.
위와 같이, 영상 렌더링 장치(100)는 2D 디스플레이 영역과 3D 디스플레이 영역을 포함하는 디스플레이 영역을 통해 사실감, 입체감이 중요한 컨텐츠는 3D 영상으로 제공하고, 의미 전달, 정확도가 중요한 컨텐츠는 2D 영상으로 제공할 수 있다. 이를 통해, 영상 렌더링 장치(100)는 운전자(140)에게 3D 영상의 사실감을 제공하면서도, 텍스트 정보를 크로스토크 현상 없이 정확하고 빠르게 제공할 수 있다.
도 1에 도시된 실시예에서는, 영상 렌더링 장치(100)가 헤드업 디스플레이 장치에 적용된 실시예가 도시되어 있으나, 헤드업 디스플레이 장치는 예시에 불과하며, 영상 렌더링 장치(100)는 다른 형태의 디스플레이 장치에 적용될 수 있다. 예를 들어, 영상 렌더링 장치(100)는 자동차(150)의 천장에 부착된 프로젝터(projector)에 적용될 수도 있다. 그 밖에, 영상 렌더링 장치(100)는 2D 영상과 3D 영상을 모두 표시할 수 있는 디스플레이 장치면 어느 것에나 적용될 수 있다.
도 2는 일 실시예에 따른 영상 렌더링 방법을 설명하기 위한 흐름도이다.
도 2를 참조하면, 단계(201)에서 영상 렌더링 장치는 2D 영상이 출력되는 2D 디스플레이 영역과 3D 영상이 출력되는 3D 디스플레이 영역 중 현재 픽셀이 어느 디스플레이 영역에 포함되는지를 결정할 수 있다. 2D 디스플레이 영역과 3D 디스플레이 영역은 하나의 스크린에 포함될 수 있다. 일 실시예에 따르면, 2D 디스플레이 영역은 3D 디스플레이 영역의 주변에 위치할 수 있고, 3D 디스플레이 영역에는 해당 3D 디스플레이 영역의 크기에 대응하는 렌티큘러 렌즈나 패럴랙스 배리어가 배치될 수 있다. 디스플레이 패널은 복수의 픽셀들을 포함할 수 있고, 영상 렌더링 장치는 각 픽셀에 대한 렌더링을 순차적 또는 병렬적으로 처리할 수 있다.
픽셀을 통해 출력되는 영상은 2D 영상 또는 3D 영상일 수 있으며, 이는 픽셀이 2D 디스플레이 영역에 포함되는지 3D 디스플레이 영역에 포함되는지 여부에 따라 결정될 수 있다. 단계(203)에서, 현재 픽셀이 2D 디스플레이 영역에 포함되는 경우, 영상 렌더링 장치는 현재 픽셀의 위치에서 2D 렌더링을 수행할 수 있다. 영상 렌더링 장치는 2D 입력 영상으로부터 현재 픽셀에 대응하는 픽셀 값을 검색하고, 해당 픽셀 값을 2D 디스플레이 영역에 포함된 현재 픽셀에 할당할 수 있다. 일 실시예에 따르면, 2D 디스플레이 영역은 텍스트 또는 안내 표시를 디스플레이할 수 있다.
단계(205)에서 영상 렌더링 장치는 현재 픽셀이 3D 디스플레이 영역에 포함되는 경우, 현재 픽셀의 위치에서 3D 렌더링을 수행할 수 있다. 영상 렌더링 장치는 좌시점 영상 및 우시점 영상을 이용하여 현재 픽셀에 할당할 픽셀 값을 결정하고, 해당 픽셀 값을 3D 디스플레이 영역에 포함된 현재 픽셀에 할당할 수 있다. 일 실시예에 따르면, 3D 디스플레이 영역은 3D 객체를 디스플레이할 수 있다. 예를 들어, 3D 디스플레이 영역은 차량의 경로 안내 지시자를 나타내기 위한 3D 객체를 디스플레이할 수 있다. 영상 렌더링 장치는 렌티큘러 렌즈 또는 패럴랙스 배리어와 같은 3D 광학 소자를 이용하여 좌시점 영상과 우시점 영상을 분리하여 제공할 수 있다. 3D 디스플레이 영역에서는 위 3D 광학 소자를 통해 3D 객체를 디스플레이하기 위한 복수의 시역들이 생성될 수 있다.
단계(203) 또는 단계(205)가 수행되면, 단계(207)에서 영상 렌더링 장치는 전체 픽셀들에 대해 2D 렌더링 또는 3D 렌더링이 수행되었는지 여부를 판단한다. 아직 전체 픽셀들에 대해 2D 렌더링 또는 3D 렌더링이 수행되지 않은 경우, 단계(209)에서 영상 렌더링 장치는 다음 픽셀을 선택하고, 다음 픽셀에 대해 단계(201) 내지 단계(207)의 과정을 수행한다.
전체 픽셀들에 대해 2D 렌더링 또는 3D 렌더링이 수행된 경우, 단계(211)에서, 영상 렌더링 장치는 전체 픽셀들 각각에 대해 2D 렌더링 또는 3D 렌더링을 수행되면, 2D 영상 및 3D 영상이 혼합된 렌더링 결과 영상을 생성하고, 해당 렌더링 결과 영상을 출력할 수 있다.
도 3은 일 실시예에 따른 2D 디스플레이 영역과 3D 디스플레이 영역을 포함하는 스크린의 일례를 도시한 도면이다.
도 3을 참조하면, 디스플레이 장치의 스크린(310)은 2D 영상이 출력되는 2D 디스플레이 영역(311)과 3D 영상이 출력되는 3D 디스플레이 영역(321)을 포함할 수 있다. 스크린(310)에 표시되는 렌더링 결과 영상에서 화살표 형태의 경로 안내 지시자(323)는 3D 디스플레이 영역(321) 내에서 표시되고, 제한 속도, 현재 시각, 예상 도착 시간 및 목적지까지의 거리와 같은 운행 정보(313)는 2D 디스플레이 영역(311)에 표시될 수 있다. 본 실시예와 같이, 영상 렌더링 장치는 2D 디스플레이 영역(311)을 통해 차량의 운행 정보를 제공하기 위한 텍스트 또는 안내 표시를 디스플레이하고, 3D 디스플레이 영역(321)을 통해 차량의 주행 경로를 가이드하기 위한 3D 객체를 디스플레이할 수 있다.
도 4는 일 실시예에 따른 영상 렌더링 방법의 일례를 설명하기 위한 흐름도이다.
도 4를 참조하면, 단계(401)에서 영상 렌더링 장치는 디스플레이 패널에서 렌더링을 수행할 픽셀의 위치를 확인할 수 있다. 디스플레이 패널에서 픽셀의 위치는 2차원 좌표, 예를 들어 D(x, y)로 표시될 수 있다.
단계(403)에서, 영상 렌더링 장치는 픽셀의 위치 D(x, y)가 3D 영상을 표시하는 3D 디스플레이 영역에 포함되는지 여부를 판단할 수 있다. 일 실시예에서, 3D 디스플레이 영역이 사각형의 형태라 가정할 때, 3D 디스플레이 영역의 범위는 Oleft, Oright, Otop 및 Obottom으로 정의될 수 있다. 여기서, Oleft는 3D 영상 디스플레이 영역의 좌측 경계의 x 좌표이고, Oright는 우측 경계의 x 좌표이고, Otop는 위쪽 경계의 y 좌표이고, Obottom는 아래쪽 경계의 y 좌표이다.
영상 렌더링 장치는 픽셀의 x 좌표가 x > Oleft 및 x < Oright 의 조건을 만족하고, 픽셀의 y좌표가 y < Otop 및 y > Obottom 의 조건을 만족하는지 여부를 결정할 수 있다. 위 조건들이 만족되는 경우, 픽셀은 3D 디스플레이 영역에 포함되는 것으로 추정될 수 있다. 이와 다르게, 위 조건들 중 어느 하나라도 만족되지 않는 경우, 픽셀은 2D 영상을 표시하는 2D 디스플레이 영역에 포함되는 것으로 추정될 수 있다.
단계(403)에서 픽셀의 위치가 3D 디스플레이 영역에 포함되는 것으로 결정된 경우, 단계(405)에서 영상 렌더링 장치는 해당 픽셀의 위치에서 3D 렌더링을 수행할 수 있다. 영상 렌더링 장치는 복수의 시점 영상들에 기초하여 3D 렌더링을 수행하여 해당 픽셀에 할당될 픽셀 값을 결정할 수 있다.
단계(403)에서 픽셀의 위치가 2D 디스플레이 영역에 포함되는 것으로 결정된 경우, 단계(407)에서 영상 렌더링 장치는 해당 픽셀의 위치에서 2D 렌더링을 수행할 수 있다. 영상 렌더링 장치는 입력 영상으로부터 해당 픽셀의 픽셀 값을 결정하고, 해당 픽셀에 픽셀 값을 할당할 수 있다.
도 5는 일 실시예에 따른 영상 렌더링 장치의 구성을 설명하기 위한 도면이다.
도 5를 참조하면, 영상 렌더링 장치(500)는 디스플레이 패널(501), 프로세서(503) 및 메모리(505)를 포함한다.
디스플레이 패널(501)은 프로세서(503)에 의해 생성된 렌더링 결과 영상을 출력한다. 디스플레이 패널(501)은 렌더링 결과 영상에 기초하여 2D 영상과 3D 영상이 조합된 영상을 출력한다. 디스플레이 패널(501)은 2D 영상이 출력되는 2D 디스플레이 영역과 3D 영상이 출력되는 3D 디스플레이 영역을 포함하고, 3D 디스플레이 영역은 렌더링 결과 영상을 다중 시점(multi view)에 따라 분리하여 3D 영상의 입체감을 구현하기 위한 3D 광학 소자, 예를 들어, 패럴랙스 배리어 또는 렌티큘러 렌즈를 포함할 수 있다.
디스플레이 패널(501)의 2D 디스플레이 영역과 3D 디스플레이 영역은 다양한 방식으로 배치될 수 있다. 예를 들어, 2D 디스플레이 영역은 3D 디스플레이 영역을 둘러싸도록 배치되거나 또는 3D 디스플레이 영역의 일측 또는 양측에 배치될 수 있다.
프로세서(503)는 영상 렌더링 장치(500)를 제어하고, 앞서 설명된 도 1 내지 도 4에 설명된 동작들을 수행할 수 있다. 예를 들어, 프로세서(500)는 도 2 및 도 4에서 설명된 각 단계들을 수행할 수 있다. 일 실시예에서, 프로세서(503)는 단일 프로세서, 멀티 프로세서, 하드웨어 가속기(hardware accelerator; HWA), 그래픽 처리 유닛(Graphic Processing Unit; GPU) 또는 이들의 조합 등으로 다양하게 구성될 수 있다.
프로세서(503)는 디스플레이 패널(501)을 통해 출력될 픽셀들 각각에 대해 2D 렌더링 및 3D 렌더링 중 어느 하나를 수행하여 2D 영상 및 3D 영상이 혼합된 렌더링 결과 영상을 생성한다. 이를 위해, 프로세서(503)는 각 픽셀이 2D 디스플레이 영역과 3D 디스플레이 영역 중 어느 디스플레이 영역에 포함되는지를 판단하고, 그 판단 결과에 기초하여 해당 픽셀의 위치에서 2D 렌더링 또는 3D 렌더링을 수행할 수 있다. 픽셀이 2D 디스플레이 영역에 포함되는 경우에는 해당 픽셀의 위치에서 2D 렌더링이 수행되고, 픽셀이 3D 디스플레이 영역에 포함되는 경우에는 해당 픽셀의 위치에서 3D 렌더링이 수행된다.
메모리(505)는 시점 영상들(예를 들어, 좌시점 영상 및 우시점 영상의 스테레오 영상), 2D 영상, 패널 영상, 프로세서(503)의 동작을 위한 인스트럭션들(instructions), 각종 함수, 수학식 및 연산 결과 등과 같은 데이터를 저장할 수 있다. 또한, 메모리(505)는 해당 데이터를 프로세서(503)로 전송하거나, 그 밖에 메모리(505)에 저장된 데이터를 프로세서(503)에 전송할 수 있다.
도 6a는 일 실시예에 따른 픽셀의 위치에 기초하여 2D 렌더링 또는 3D 렌더링을 수행하는 과정을 설명하기 위한 도면이다.
도 6a를 참조하면, 디스플레이 패널(610)은 2D 디스플레이 영역(611)과 3D 디스플레이 영역(621)을 포함하고, 2D 디스플레이 영역(611)과 3D 디스플레이 영역(621) 각각은 복수의 픽셀들을 포함할 수 있다. 3D 디스플레이 영역(621)은 3D 광학 소자를 포함하는 영역으로, 3D 디스플레이 영역(621)의 위치는 디스플레이 장치가 생산될 때 결정된다.
일 실시예에 따르면, 도 6a에 도시된 것과 같이, 3D 디스플레이 영역(621)은 2D 디스플레이 영역(611)에 둘러싸이게 배치될 수 있다. 3D 디스플레이 영역(621)이 사각형의 형태라 가정할 때, 위에서 설명한 것과 같이, 3D 디스플레이 영역(621)은 Oleft, Oright, Otop 및 Obottom에 기초하여 정의될 수 있다. 3D 디스플레이 영역(621)의 위치는 (x, y)가 Oleft < x < Oright, 및 Obottom < y < Otop 의 조건을 만족하는 곳이다.
일 실시예에서, 영상 렌더링 장치는 렌더링될 픽셀의 위치가 위 3D 디스플레이 영역에 포함되는지 여부에 기초하여 해당 픽셀의 위치에서 수행될 렌더링의 타입을 결정할 수 있다. 일 실시예에서, 영상 렌더링 장치는 D(0, 0)에 위치하는 픽셀부터 순차적으로 해당 픽셀이 3D 디스플레이 영역(621)에 위치하는지 여부를 판단하고, 만약 해당 픽셀이 3D 디스플레이 영역(621)에 존재하는 것으로 결정되면 해당 픽셀의 위치에서 복수의 시점 영상들에 기초하여 3D 렌더링을 수행한다. 만약, 해당 픽셀의 위치가 3D 디스플레이 영역(621)이 아닌 2D 디스플레이 영역(611)에 존재하는 것으로 결정되면, 영상 렌더링 장치는 해당 픽셀의 위치에서 2D 렌더링을 수행한다. 다른 실시예에서, 영상 렌더링 장치는 복수의 픽셀들 각각에 대해 위와 같은 과정을 병렬적으로 처리할 수 있다.
도 6b는 일 실시예에 따른 2D 디스플레이 영역과 3D 디스플레이 영역을 구분하는 방법을 설명하기 위한 도면이다.
도 6b를 참조하면, 영상 렌더링 장치는 2D 디스플레이 영역(611)과 3D 디스플레이 영역(621)을 구분하기 위해 테스트 영상을 출력할 수 있다. 일 실시예에서, 테스트 영상은 교차하는 두 직선들로 구성될 수 있다. 2D 디스플레이 영역(611)에서는 해당 직선들이 선명하게 출력될 수 있다. 반면에, 3D 디스플레이 영역(621)에서는 3D 광학 소자에 의해 두 직선들이 선명하게 출력되지 않을 수 있다. 선명하게 출력되지 않는 범위를 기초로 3D 디스플레이 영역(621)의 위치 및 크기가 추정될 수 있다. 예를 들어, 선명하게 출력되지 않는 부분들의 위치들에 기초하여 3D 디스플레이 영역(621)의 경계를 특정하기 위한 Oleft, Oright, Otop 및 Obottom가 정의될 수 있다.
도 7a는 내지 7c는 일 실시예에 따른 2D 디스플레이 영역과 3D 디스플레이 영역이 배치된 구조들의 일례를 도시하는 도면들이다.
디스플레이 패널(700)은 2D 디스플레이 영역과 3D 디스플레이 영역을 모두 포함하며, 2D 디스플레이 영역과 3D 디스플레이 영역은 도 7a 내지 도 7c에 도시된 것과 같이 다양한 형태로 배치될 수 있다. 다만, 도 7a 내지 7c에 도시된 배치 형태는 예시들에 불과하며, 배치 방식은 이에 한정되지 않는다.
도 7a에 도시된 것과 같이, 2D 디스플레이 영역(711)은 3D 디스플레이 영역(713)을 둘러싸도록 배치되거나 또는 7b에 도시된 것과 같이, 2D 디스플레이 영역(721)은 3D 디스플레이 영역(723)의 일측에 배치될 수도 있다. 다른 실시예에 따르면, 도 7c에 도시된 것과 같이, 디스플레이 패널(700)은 복수의 2D 디스플레이 영역들(731, 733)을 포함할 수도 있다. 이 때, 2D 디스플레이 영역들(731, 733) 각각은 3D 디스플레이 영역(735)의 일측 및 타측에 배치될 수 있다.
도 8a 및 도 8b는 일 실시예에 따른 렌티큘러 렌즈 또는 패럴랙스 배리어를 포함하는 디스플레이 패널의 일례를 도시한 도면들이다.
일 실시예에서, 영상 렌더링 장치는 무안경식 3D 디스플레이 방식에 따라 3D 영상을 구현할 수 있다. 영상 렌더링 장치는 패럴랙스 배리어 또는 렌티큘러 렌즈와 같은 3D 광학 소자를 이용하여 사용자의 좌안 및 우안에 서로 다른 영상을 보이게 하여 사용자에게 입체감을 제공할 수 있다. 일 실시예에 따르면, 3D 광학 소자는 디스플레이 패널에서 3D 디스플레이 영역에 대응되는 부분에 배치될 수 있다.
도 8a는 렌티큘러 렌즈를 포함하는 디스플레이 패널을 도시한다. 도 8a를 참조하면, 렌티큘러 렌즈(813)를 이용한 방식은 디스플레이 패널 전면에 피치(pitch)가 작은 실린더 렌즈를 여러 개 배열하여 좌시점 영상과 우시점 영상을 서로 분리시킨다. 일 실시예에서, 렌티큘러 렌즈(813)는 도 8a에 도시된 것과 같이 픽셀들(811)의 전방에 배치될 수 있다. 픽셀들(811)은 좌시점 영상에 대응되는 픽셀 'L'과 우시점 영상에 대응되는 픽셀 'R'로 구분되어 배치될 수 있다. 렌티큘러 렌즈(813)에 의해 영상이 시점 방향에 따라 서로 분리되어 보여지는 영역인 복수의 시역들(821, 823)이 형성될 수 있다.
도 8b는 패럴랙스 배리어를 포함하는 디스플레이 패널을 도시한다. 도 8b를 참조하면, 패럴랙스 배리어(833)를 이용한 방식은 디스플레이 패널 전면에 광 진행 방향을 제한하는 배리어를 배치하여 좌시점 영상과 우시점 영상을 서로 분리시킨다. 일 실시예에서, 배리어는 도 8b에 도시된 것과 같이 픽셀들(831)의 전방에 배치되거나 또는 픽셀들(831)의 후방에 배치될 수 있다. 렌티큘러 렌즈와 마찬가지로, 패럴랙스 배리어(833)에 의해 복수의 시역들(841, 843)이 형성될 수 있다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

Claims (19)

  1. 디스플레이 장치에 출력될 영상을 렌더링하는 영상 렌더링 방법에 있어서,
    2D 영상이 출력되는 2D 디스플레이 영역과 3D 영상이 출력되는 3D 디스플레이 영역 중 현재 픽셀이 어느 디스플레이 영역에 포함되는지를 결정하는 단계;
    상기 현재 픽셀이 상기 2D 디스플레이 영역에 포함되는 경우, 상기 현재 픽셀의 위치에서 2D 렌더링을 수행하는 단계;
    상기 현재 픽셀이 상기 3D 디스플레이 영역에 포함되는 경우, 상기 현재 픽셀의 위치에서 3D 렌더링을 수행하는 단계; 및
    를 포함하는 영상 렌더링 방법.
  2. 제1항에 있어서,
    상기 2D 디스플레이 영역과 상기 3D 디스플레이 영역은 하나의 스크린에 포함되는, 영상 렌더링 방법.
  3. 제2항에 있어서,
    상기 2D 디스플레이 영역은 상기 3D 디스플레이 영역의 주변에 위치하는, 영상 렌더링 방법.
  4. 제1항에 있어서,
    전체 픽셀들 각각에 대해 상기 2D 렌더링 또는 상기 3D 렌더링을 수행하여 상기 2D 영상 및 상기 3D 영상이 혼합된 결과 영상을 생성하는 단계
    를 더 포함하는 영상 렌더링 방법.
  5. 제1항에 있어서,
    상기 2D 디스플레이 영역은, 텍스트 또는 안내 표시를 디스플레이하는, 영상 렌더링 방법.
  6. 제5항에 있어서,
    상기 2D 디스플레이 영역은, 차량의 운행 정보를 제공하기 위한 텍스트 또는 안내 표시를 디스플레이하는, 영상 렌더링 방법.
  7. 제1항에 있어서,
    상기 3D 디스플레이 영역은, 3D 객체를 디스플레이하는, 영상 렌더링 방법.
  8. 제7항에 있어서,
    상기 3D 디스플레이 영역은, 차량의 주행 경로를 가이드하기 위한 3D 객체를 디스플레이하는, 영상 렌더링 방법.
  9. 제7항에 있어서,
    상기 3D 디스플레이 영역에서,
    패럴랙스 배리어(parallax barrier) 또는 렌티큘러 렌즈(lenticular lens)를 통해 상기 3D 객체를 디스플레이 하기 위한 복수의 시역들이 생성되는, 영상 렌더링 방법.
  10. 제1항에 있어서,
    상기 디스플레이 장치는, 헤드업 디스플레이(Head-Up Display; HUD) 장치인, 영상 렌더링 방법.
  11. 제1항 내지 제10항 중 어느 한 항의 방법을 컴퓨터에서 실행하기 위한 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체.
  12. 적어도 하나의 프로세서; 및
    2D 영상이 출력되는 2D 디스플레이 영역과 3D 영상이 출력되는 3D 디스플레이 영역을 포함하는 디스플레이 패널을 포함하고,
    상기 프로세서는, 상기 디스플레이 패널을 통해 출력될 픽셀들 각각에 대해 2D 렌더링 및 3D 렌더링 중 어느 하나를 수행하여 상기 2D 영상 및 상기 3D 영상이 혼합된 결과 영상을 생성하고,
    상기 디스플레이 패널은, 상기 결과 영상을 출력하는, 영상 렌더링 장치.
  13. 제12항에 있어서,
    상기 프로세서는,
    현재 픽셀이 상기 2D 디스플레이 영역과 상기 3D 디스플레이 영역 중 어느 디스플레이 영역에 포함되는지를 결정하고,
    상기 현재 픽셀이 상기 2D 디스플레이 영역에 포함되는 경우, 상기 현재 픽셀의 위치에서 상기 2D 렌더링을 수행하고,
    상기 현재 픽셀이 상기 3D 디스플레이 영역에 포함되는 경우, 상기 현재 픽셀의 위치에서 상기 3D 렌더링을 수행하는, 영상 렌더링 장치.
  14. 제12항에 있어서,
    상기 디스플레이 패널은,
    상기 3D 영상을 디스플레이 하기 위한 복수의 시역들을 생성하는 패럴랙스 배리어 또는 렌티큘러 렌즈를 포함하는, 영상 렌더링 장치.
  15. 제14항에 있어서,
    상기 디스플레이 패널에 포함되는 상기 패럴랙스 배리어 또는 상기 렌티큘러 렌즈는, 상기 디스플레이 패널에서 상기 3D 디스플레이 영역에 대응되는 일 부분에 배치되는, 영상 렌더링 장치.
  16. 제12항에 있어서,
    상기 2D 디스플레이 영역은 상기 3D 디스플레이 영역의 주변에 위치하는, 영상 렌더링 장치.
  17. 제12항에 있어서,
    상기 2D 디스플레이 영역은 상기 3D 디스플레이 영역의 일측에 배치되는, 영상 렌더링 장치.
  18. 제12항에 있어서,
    상기 디스플레이 패널은, 복수의 2D 디스플레이 영역들을 포함하고,
    상기 2D 디스플레이 영역들은 상기 3D 디스플레이 영역의 일측 및 타측에 배치되는, 영상 렌더링 장치.
  19. 제12항에 있어서,
    상기 2D 디스플레이 영역은, 차량의 운행 정보를 제공하기 위한 텍스트 또는 안내 표시를 디스플레이하고,
    상기 3D 디스플레이 영역은, 차량의 주행 경로를 가이드하기 위한 3D 객체를 디스플레이하는, 영상 렌더링 장치.
KR1020170123202A 2017-09-25 2017-09-25 영상 렌더링 방법 및 장치 KR102427854B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020170123202A KR102427854B1 (ko) 2017-09-25 2017-09-25 영상 렌더링 방법 및 장치
US15/921,186 US10497169B2 (en) 2017-09-25 2018-03-14 Method and apparatus for rendering image
CN201810271710.6A CN109561294B (zh) 2017-09-25 2018-03-29 用于渲染图像的方法和设备
EP18179748.1A EP3461129B1 (en) 2017-09-25 2018-06-26 Method and apparatus for rendering image
JP2018169492A JP7290925B2 (ja) 2017-09-25 2018-09-11 映像レンダリング方法及び装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170123202A KR102427854B1 (ko) 2017-09-25 2017-09-25 영상 렌더링 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20190034775A true KR20190034775A (ko) 2019-04-03
KR102427854B1 KR102427854B1 (ko) 2022-08-01

Family

ID=62909334

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170123202A KR102427854B1 (ko) 2017-09-25 2017-09-25 영상 렌더링 방법 및 장치

Country Status (5)

Country Link
US (1) US10497169B2 (ko)
EP (1) EP3461129B1 (ko)
JP (1) JP7290925B2 (ko)
KR (1) KR102427854B1 (ko)
CN (1) CN109561294B (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021100917A1 (ko) * 2019-11-21 2021-05-27 엘지전자 주식회사 헤드업 디스플레이 장치
US11733539B2 (en) 2018-12-12 2023-08-22 Samsung Electronics Co., Ltd. Apparatus and method for displaying three-dimensional image
WO2024071537A1 (ko) * 2022-09-26 2024-04-04 엘지전자 주식회사 투사광학계를 이용한 큰 종횡비를 갖는 차량용 영상 장치

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3054899B1 (fr) * 2016-08-03 2018-08-17 Valeo Comfort And Driving Assistance Dispositif de generation d'images pour ecran et afficheur tete-haute
KR102565277B1 (ko) 2017-11-24 2023-08-09 삼성전자주식회사 영상 복원 장치 및 방법
JP7100523B2 (ja) * 2018-07-27 2022-07-13 京セラ株式会社 表示装置、表示システムおよび移動体
KR102030288B1 (ko) * 2018-11-01 2019-11-29 가부시키가이샤 덴소 헤드업 디스플레이 시스템
JP7317517B2 (ja) * 2019-02-12 2023-07-31 株式会社ジャパンディスプレイ 表示装置
CN112584124A (zh) * 2019-09-30 2021-03-30 北京芯海视界三维科技有限公司 实现3d显示的方法及装置、3d显示终端
JP7358909B2 (ja) * 2019-10-28 2023-10-11 日本精機株式会社 立体表示装置及びヘッドアップディスプレイ装置
EP4070151A4 (en) * 2019-12-05 2024-01-10 3M Innovative Properties Company OPTICAL SYSTEM AND HEAD-UP DISPLAY SYSTEMS
CN112929643B (zh) * 2019-12-05 2022-06-28 北京芯海视界三维科技有限公司 3d显示设备、方法及终端
US11938817B2 (en) * 2020-08-24 2024-03-26 Samsung Electronics Co., Ltd. Method and apparatus for controlling head-up display based on eye tracking status
DE112022002430T5 (de) 2021-04-30 2024-02-15 Nippon Seiki Co., Ltd. Anzeigesteuervorrichtung, Head-up-Display-Vorrichtung und Anzeigesteuerverfahren

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110140090A (ko) * 2010-06-24 2011-12-30 소니 주식회사 표시 장치
JP2012186653A (ja) * 2011-03-04 2012-09-27 Toshiba Corp 画像表示装置、方法およびプログラム
CN103149768A (zh) * 2013-03-11 2013-06-12 华映视讯（吴江）有限公司 裸视立体显示装置及其显示方法
KR101360061B1 (ko) * 2012-12-05 2014-02-12 현대자동차 주식회사 증강 현실 제공 방법 및 그 장치
JP2016107945A (ja) * 2014-12-10 2016-06-20 株式会社リコー 情報提供装置、情報提供方法及び情報提供用制御プログラム

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05122733A (ja) * 1991-10-28 1993-05-18 Nippon Hoso Kyokai <Nhk> ３次元画像表示装置
DE4309667A1 (de) 1993-03-26 1994-09-29 Univ Dresden Tech Optisches System zur zwei- und dreidimensionalen Darstellung von Information
JPH10224825A (ja) * 1997-02-10 1998-08-21 Canon Inc 画像表示システム及び該システムにおける画像表示装置及び情報処理装置及びそれらの制御方法及び記憶媒体
JP2005269022A (ja) * 2004-03-17 2005-09-29 Ricoh Co Ltd 符号化装置およびその方法、符号データ編集装置およびその方法、並びに、プログラムおよび記録媒体
JP4367212B2 (ja) * 2004-04-15 2009-11-18 株式会社デンソー 虚像表示装置およびプログラム
US8195386B2 (en) 2004-09-28 2012-06-05 National University Corporation Kumamoto University Movable-body navigation information display method and movable-body navigation information display unit
DE102006030990A1 (de) * 2005-11-14 2007-05-16 Univ Muenster Wilhelms Verfahren und Anordnung zum monoskopischen Darstellen wenigstens eines Bereiches eines Bildes auf einer autostereoskopischen Anzeigevorrichtung
KR101314601B1 (ko) 2006-10-30 2013-10-04 엘지전자 주식회사 콘텐츠 전송 장치, 콘텐츠 표출 장치, 콘텐츠 전송 방법 및 콘텐츠 표출 방법
US8493408B2 (en) * 2008-11-19 2013-07-23 Apple Inc. Techniques for manipulating panoramas
RU2538335C2 (ru) 2009-02-17 2015-01-10 Конинклейке Филипс Электроникс Н.В. Объединение данных 3d изображения и графических данных
JP2010193340A (ja) * 2009-02-20 2010-09-02 Fujifilm Corp 表示装置および方法
KR20120088467A (ko) * 2011-01-31 2012-08-08 삼성전자주식회사 2차원 영상 표시 영역 내에 부분 3차원 영상을 디스플레이 하는 방법 및 장치
CN102170579B (zh) * 2011-03-23 2013-10-09 深圳超多维光电子有限公司 一种图形图像处理系统、方法和芯片
JP5883723B2 (ja) 2012-03-21 2016-03-15 株式会社ジオ技術研究所 ３次元画像表示システム
JP6266229B2 (ja) 2013-05-14 2018-01-24 東芝メディカルシステムズ株式会社 画像処理装置、方法、及びプログラム
KR102071693B1 (ko) 2014-02-07 2020-01-30 엘지전자 주식회사 헤드 업 디스플레이 장치
US9756319B2 (en) 2014-02-27 2017-09-05 Harman International Industries, Incorporated Virtual see-through instrument cluster with live video
JP6304628B2 (ja) * 2014-05-12 2018-04-04 パナソニックＩｐマネジメント株式会社 表示装置および表示方法
KR20160059783A (ko) 2014-11-19 2016-05-27 삼성전자주식회사 백라이트 유닛, 이를 포함하는 디스플레이 장치 및 백라이트 유닛 제조방법
GB2532954A (en) * 2014-12-02 2016-06-08 Ibm Display control system for an augmented reality display system
CN106604015B (zh) * 2016-12-20 2018-09-14 宇龙计算机通信科技(深圳)有限公司 一种图像处理方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110140090A (ko) * 2010-06-24 2011-12-30 소니 주식회사 표시 장치
JP2012186653A (ja) * 2011-03-04 2012-09-27 Toshiba Corp 画像表示装置、方法およびプログラム
KR101360061B1 (ko) * 2012-12-05 2014-02-12 현대자동차 주식회사 증강 현실 제공 방법 및 그 장치
CN103149768A (zh) * 2013-03-11 2013-06-12 华映视讯（吴江）有限公司 裸视立体显示装置及其显示方法
JP2016107945A (ja) * 2014-12-10 2016-06-20 株式会社リコー 情報提供装置、情報提供方法及び情報提供用制御プログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11733539B2 (en) 2018-12-12 2023-08-22 Samsung Electronics Co., Ltd. Apparatus and method for displaying three-dimensional image
WO2021100917A1 (ko) * 2019-11-21 2021-05-27 엘지전자 주식회사 헤드업 디스플레이 장치
WO2024071537A1 (ko) * 2022-09-26 2024-04-04 엘지전자 주식회사 투사광학계를 이용한 큰 종횡비를 갖는 차량용 영상 장치

Also Published As

Publication number Publication date
CN109561294A (zh) 2019-04-02
CN109561294B (zh) 2023-09-01
JP7290925B2 (ja) 2023-06-14
JP2019062532A (ja) 2019-04-18
US10497169B2 (en) 2019-12-03
KR102427854B1 (ko) 2022-08-01
EP3461129A1 (en) 2019-03-27
EP3461129B1 (en) 2022-04-27
US20190096121A1 (en) 2019-03-28

Similar Documents

Publication Publication Date Title
KR102427854B1 (ko) 영상 렌더링 방법 및 장치
KR102415502B1 (ko) 복수의 사용자를 위한 라이트 필드 렌더링 방법 및 장치
KR101940971B1 (ko) 가속된 라이트 필드 디스플레이
US20200175752A1 (en) Content visualizing device and method
JP7098452B2 (ja) イメージ処理方法、イメージ処理装置、コンピュータ・プログラム及び記録媒体
US8294754B2 (en) Metadata generating method and apparatus and image processing method and apparatus using metadata
WO2018142610A1 (ja) 立体表示装置およびヘッドアップディスプレイ
US10672311B2 (en) Head tracking based depth fusion
KR20200040507A (ko) 영상을 지면에 위치시켜 운전자의 시점에 증강현실을 구현하는 3차원 증강현실 헤드업 디스플레이
US11711502B2 (en) Method of outputting three-dimensional image and electronic device performing the method
KR20220022340A (ko) 컨텐츠를 시각화하는 장치 및 방법
US11938817B2 (en) Method and apparatus for controlling head-up display based on eye tracking status
JP7358909B2 (ja) 立体表示装置及びヘッドアップディスプレイ装置
US20220072957A1 (en) Method for Depicting a Virtual Element
JP7354846B2 (ja) ヘッドアップディスプレイ装置
KR20160025922A (ko) 영상 처리 방법 및 장치
JP2022083609A (ja) 表示制御装置、ヘッドアップディスプレイ装置、及び画像の表示制御方法
WO2021171397A1 (ja) 表示制御装置、表示装置、及び表示制御方法
KR20160087463A (ko) 다시점 영상 표시 장치
JP2022100119A (ja) 表示制御装置、ヘッドアップディスプレイ装置、及び画像の表示制御方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant