KR102240564B1 - 영상 렌더링 장치 및 방법 - Google Patents

영상 렌더링 장치 및 방법 Download PDF

Info

Publication number
KR102240564B1
KR102240564B1 KR1020140096251A KR20140096251A KR102240564B1 KR 102240564 B1 KR102240564 B1 KR 102240564B1 KR 1020140096251 A KR1020140096251 A KR 1020140096251A KR 20140096251 A KR20140096251 A KR 20140096251A KR 102240564 B1 KR102240564 B1 KR 102240564B1
Authority
KR
South Korea
Prior art keywords
image
pixel
display
pixels
disparity
Prior art date
Application number
KR1020140096251A
Other languages
English (en)
Other versions
KR20160014260A (ko
Inventor
정영주
조양호
남동경
박두식
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140096251A priority Critical patent/KR102240564B1/ko
Priority to US14/591,184 priority patent/US10721460B2/en
Priority to EP15155620.6A priority patent/EP2981080B1/en
Priority to CN201510170809.3A priority patent/CN105323574B/zh
Priority to JP2015145009A priority patent/JP6717576B2/ja
Publication of KR20160014260A publication Critical patent/KR20160014260A/ko
Application granted granted Critical
Publication of KR102240564B1 publication Critical patent/KR102240564B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/229—Image signal generators using stereoscopic image cameras using a single 2D image sensor using lenticular lenses, e.g. arrangements of cylindrical lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/305—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/317—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using slanted parallax optics

Abstract

입체 영상을 렌더링하는 영상 렌더링 장치 및 방법이 개시된다. 영상 렌더링 장치는 입력 영상에 포함된 영상 픽셀의 디스패리티를 추정할 수 있다. 영상 픽셀의 디스패리티에 기초하여 영상 픽셀이 가지는 시점 방향이 결정될 수 있다. 영상 렌더링 장치는 다시점 영상을 생성하지 않고, 영상 픽셀의 시점 방향에 대응하는 시점 방향을 가지는 하나 또는 복수의 디스플레이 픽셀에 해당 영상 픽셀의 픽셀 값을 할당하여 입체 영상을 렌더링할 수 있다.

Description

영상 렌더링 장치 및 방법{APPARATUS AND METHOD FOR RENDERING IMAGE}
아래의 설명은 입체 영상을 렌더링하는 영상 처리 기술에 관한 것이다.
3D(dimensional) 디스플레이 장치가 3D 영상을 디스플레이하는 방식에는, 입체 영상을 시청하기 위해 3D 안경을 필요로 하는 안경식 방식과 3D 안경의 필요 없이 입체 영상을 구현하는 무안경식 방식이 있다. 안경식 방식에서는, 편광을 이용한 분할, 시분할, 원색(primary color)의 파장을 다르게 한 파장 분할 등을 이용하여 원하는 영상을 필터링한다. 무안경식 방식에서는, 패럴랙스 베리어(parallax barrier) 또는 렌티큘러 렌즈(lenticular lens) 등을 통해 각 영상이 특정 시점에서만 볼 수 있도록 디스플레이된다. 무안경 방식 중 라이트 필드(light field)를 재현하는 방식에서는, 일정 공간에 존재하는 점들로부터 여러 방향으로 출력되는 광선들을 디스플레이를 통해 그대로 재현한다. 라이트 필드를 재현하는 방식에서는, 다른 위치와 다른 각도의 이용 가능한 영상들을 획득하고, 획득된 영상들을 이용하여 현재 시점에 적합한 영상을 렌더링한다. 일반적으로, 라이트 필드를 재현하는 방식에서는, 디스플레이될 다수의 영상을 생성하기 위해 일반적으로 2 개 이상의 입력 영상에 기초하여 N 개의 중간 영상들을 생성하고, 생성된 N 개의 중간 영상들에 기초하여 3D 디스플레이 장치의 각 픽셀에서 출력할 3D 영상 정보를 결정한다.
일 실시예에 따른 복수의 디스플레이 픽셀들을 포함하는 디스플레이 장치를 통해 디스플레이될 입체 영상을 렌더링하는 영상 렌더링 방법은, 입력 영상에 포함된 영상 픽셀의 디스패리티를 추정하는 단계; 및 다시점 영상을 생성하지 않고, 상기 영상 픽셀의 시점 방향에 대응하는 시점 방향을 가지는 적어도 하나의 디스플레이 픽셀에 상기 영상 픽셀의 픽셀 값을 할당하는 단계를 포함할 수 있다.
일 실시예에 따른 영상 렌더링 방법에서, 상기 영상 픽셀의 시점 방향은 상기 영상 픽셀의 디스패리티에 기초하여 결정될 수 있다.
일 실시예에 따른 영상 렌더링 방법에서, 상기 영상 픽셀의 픽셀 값을 할당하는 단계는, 상기 디스플레이 픽셀들의 시점 방향에 대한 제1 모델 및 상기 영상 픽셀의 디스패리티에 기초한 상기 영상 픽셀의 시점 방향에 대한 제2 모델을 이용하여 상기 영상 픽셀의 픽셀 값을 할당할 적어도 하나의 디스플레이 픽셀을 결정하는 단계일 수 있다.
일 실시예에 따른 영상 렌더링 방법에서, 상기 제1 모델은 상기 디스플레이 픽셀들의 위치와 시점 방향 간의 대응 관계에 기초한 모델일 수 있다.
일 실시예에 따른 영상 렌더링 방법에서, 상기 제2 모델은 상기 입력 영상 내 상기 영상 픽셀의 위치를 기준으로 상기 영상 픽셀로부터 출력될 광선의 방향을 모델링한 모델일 수 있다.
일 실시예에 따른 영상 렌더링 방법에서, 상기 영상 픽셀의 픽셀 값을 할당하는 단계는, 상기 제1 모델과 상기 제2 모델 간의 대응 관계에 기초하여 상기 영상 픽셀의 시점 방향과 동일한 시점 방향을 가지는 디스플레이 픽셀을 식별하고, 상기 식별된 디스플레이 픽셀에 상기 영상 픽셀의 픽셀 값을 할당하는 단계를 포함할 수 있다.
일 실시예에 따른 영상 렌더링 방법에서, 적어도 하나의 디스플레이 픽셀을 결정하는 단계는, 상기 제1 모델과 복수의 영상 픽셀들에 대한 제2 모델들을 이용하여 상기 영상 픽셀들의 픽셀 값을 할당할 적어도 하나의 디스플레이 픽셀을 결정하는 단계를 포함할 수 있고, 상기 복수의 영상 픽셀들은 서로 인접한 영상 픽셀들일 수 있다.
일 실시예에 따른 영상 렌더링 방법에서, 상기 영상 픽셀의 픽셀 값을 할당하는 단계는, 상기 결정된 적어도 하나의 디스플레이 픽셀에 상기 복수의 영상 픽셀들의 픽셀 값들을 보간하여 할당하는 단계를 포함할 수 있다.
일 실시예에 따른 영상 렌더링 방법에서, 상기 복수의 디스플레이 픽셀들은, 미리 결정된 개수의 서로 다른 시점 방향들 중 어느 하나의 시점 방향을 가질 수 있다.
일 실시예에 따른 디스플레이 장치는, 미리 결정된 시점 방향을 가지는 복수의 디스플레이 픽셀들을 통해 입체 영상을 디스플레이하는 디스플레이부; 및 다시점 영상을 생성하지 않고, 입력 영상의 영상 픽셀이 가지는 시점 방향에 기초하여 결정된 적어도 하나의 디스플레이 픽셀에 상기 영상 픽셀의 픽셀 값을 할당하여 상기 입체 영상을 렌더링하는 영상 렌더링부를 포함할 수 있다.
일 실시예에 따른 디스플레이 장치에서, 상기 영상 렌더링부는, 상기 디스플레이 픽셀들의 시점 방향에 대한 제1 모델 및 상기 영상 픽셀의 시점 방향에 대한 제2 모델을 이용하여 상기 적어도 하나의 디스플레이 픽셀을 결정할 수 있다.
일 실시예에 따른 디스플레이 장치에서, 상기 영상 렌더링부는, 상기 제1 모델과 복수의 영상 픽셀들에 대한 제2 모델들을 이용하여 상기 영상 픽셀들의 픽셀 값을 할당할 적어도 하나의 디스플레이 픽셀을 결정하는 단계를 포함할 수 있다.
일 실시예에 따른 영상 렌더링 장치는, 입력 영상에 포함된 영상 픽셀의 디스패리티를 추정하는 디스패리티 추정부; 및 다시점 영상을 생성하지 않고, 상기 영상 픽셀의 시점 방향에 대응하는 시점 방향을 가지는 적어도 하나의 디스플레이 픽셀에 상기 영상 픽셀의 픽셀 값을 할당하여 입체 영상을 렌더링하는 영상 렌더링부를 포함할 수 있다.
일 실시예에 따른 영상 렌더링 장치에서, 상기 영상 픽셀의 시점 방향은 상기 영상 픽셀의 디스패리티에 기초하여 결정될 수 있고, 상기 디스플레이 픽셀은 미리 결정된 시점 방향을 가질 수 있다.
일 실시예에 따른 영상 렌더링 장치에서, 상기 영상 렌더링부는, 상기 영상 픽셀의 시점 방향 및 디스플레이 픽셀들의 시점 방향에 기초하여 복수의 디스플레이 픽셀들 중에서 상기 영상 픽셀의 픽셀 값을 할당할 디스플레이 픽셀들을 탐색할 수 있다.
도 1은 일 실시예에 따른 디스플레이 장치의 동작을 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 영상 렌더링 장치의 동작을 설명하기 위한 도면이다.
도 3은 일 실시예에 따른 디스플레이 픽셀이 가지는 시점 방향을 설명하기 위한 도면이다.
도 4 및 도 5는 일 실시예에 따른 제1 모델을 설명하기 위한 도면이다.
도 6은 일 실시예에 따른 제2 모델을 설명하기 위한 도면이다.
도 7은 일 실시예에 따른 제1 모델 및 제2 모델에 기초하여 입체 영상을 렌더링하는 과정을 설명하기 위한 도면이다.
도 8은 다른 실시예에 따른 제1 모델 및 제2 모델에 기초하여 입체 영상을 렌더링하는 과정을 설명하기 위한 도면이다.
도 9는 일 실시예에 따른 영상 렌더링 방법의 동작을 설명하기 위한 흐름도이다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 아래의 특정한 구조적 내지 기능적 설명들은 단지 실시예들을 설명하기 위한 목적으로 예시된 것으로, 권리 범위가 본문에 설명된 실시예들에 한정되는 것으로 해석되어서는 안된다. 관련 기술 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타내며, 공지된 기능 및 구조는 생략하도록 한다.
도 1은 일 실시예에 따른 디스플레이 장치의 동작을 설명하기 위한 도면이다.
디스플레이 장치(110)는 입력 영상을 수신하고, 입체 영상(또는, 3D(dimensional) 영상)을 디스플레이할 수 있다. 디스플레이 장치(110)는 표시하고자 하는 입체 영상에 대응하는 광선 분포(또는, 라이트 필드)를 재생하는 방식으로 입체 영상을 디스플레이할 수 있다. 예를 들어, 디스플레이 장치(110)는 위치별 및 방향별 광선의 분포를 디스플레이 면에서 재생하는 것에 의해 입체 영상을 구현할 수 있다.
디스플레이 장치(110)는 렌티큘러 렌즈(Lenticular lens)와 같은 광학 부재를 이용하여 입체 영상을 구현할 수 있다. 예를 들어, 디스플레이 장치(110)는 렌티큘러 렌즈에서 발생하는 빛의 굴절에 의해 사용자의 좌안과 우안에 각각 서로 다른 영상을 출력할 수 있고, 사용자는 좌안을 통해 인지한 영상과 우안을 통해 인지한 영상 간의 시점 차이에 의해 입체감을 인지할 수 있다.
일 실시예에 따르면, 디스플레이 장치(110)는 입력 영상으로 컬러 영상을 수신하고, 해당 컬러 영상에 대한 깊이 영상을 함께 수신할 수 있다. 깊이 영상(depth image)은 영상이 촬영된 위치에서 피사체까지의 거리를 나타내는 깊이 정보를 포함할 수 있다. 다른 실시예에 따르면, 디스플레이 장치(110)는 입력 영상으로 컬러 영상을 수신하고, 입력 영상의 시점과 다른 시점에서 촬영된 참조 영상을 함께 수신할 수 있다. 참조 영상은 입력 영상이 촬영된 시점과 다른 시점에서 촬영된 영상을 나타내고, 하나 또는 복수 개의 영상을 포함할 수 있다.
디스플레이 장치(110)는 입체 영상을 디스플레이하기 위해 다시점 영상(multiview image)을 생성하지 않고, 입체 영상을 직접 렌더링할 수 있다. 디스플레이 장치(110)는 디스플레이 픽셀이 가지는 시점 정보 및 입력 영상 내 영상 픽셀이 가지는 디스패리티 정보에 기초하여 각 디스플레이 픽셀에 입력 영상의 픽셀 값을 직접 할당할 수 있다. 디스플레이 픽셀이 가지는 시점 정보는 디스플레이 픽셀의 위치 정보 및 디스플레이 픽셀이 가지는 시점 방향 정보를 포함할 수 있다. 디스플레이 장치(110)는 중간 영상으로 다시점 영상을 생성하지 않고, 디스플레이 픽셀에 직접 입체 영상의 픽셀 값을 매칭하기 때문에, 입체 영상의 렌더링 과정에서 요구되는 자원량을 줄이고, 복잡도를 저감시킬 수 있다.
도 1을 참조하면, 디스플레이 장치(110)는 디스플레이부(120) 및 영상 렌더링부(130)를 포함할 수 있다.
디스플레이부(120)는 복수의 디스플레이 픽셀들을 포함할 수 있다. 예를 들어, 디스플레이 픽셀은 R(red) 서브 픽셀, G(green) 서브 픽셀, 및 B(blue) 서브 픽셀에 해당될 수 있다. 또한, 디스플레이부(120)는 입체 영상을 구현하기 위한 렌티큘러 렌즈를 포함할 수 있다. 렌티큘러 렌즈는 디스플레이 픽셀들의 상부에 구비될 수 있다. 디스플레이 픽셀로부터 방사되는 광선은 렌티큘러 렌즈에 의해 굴절 또는 통과될 수 있다.
디스플레이부(120)에 포함된 각각의 디스플레이 픽셀들은 미리 결정된 시점 방향을 가질 수 있다. 디스플레이부(120)는 미리 결정된 시점 방향을 가지는 복수의 디스플레이 픽셀들을 통해 입체 영상을 디스플레이할 수 있다. 디스플레이 픽셀들의 시점 방향은 렌티큘러 렌즈에 의해 결정될 수 있다. 디스플레이 픽셀이 가지는 시점 방향은 렌티큘러 렌즈의 구조적 특징에 의해 디스플레이 픽셀의 그룹 단위로 주기성 또는 반복성을 가질 수 있다. 렌티큘러 렌즈의 구조적 특징에 의해 각각의 디스플레이 픽셀에서 방사되는 광선들의 이동 경로가 결정될 수 있다.
예를 들어, 디스플레이 픽셀에서 출력되는 광선의 이동 경로는 렌티큘러 렌즈와 디스플레이 픽셀 간의 거리, 렌티큘러 렌즈의 피치(pitch) 및 기울기, 광선이 굴절되는 렌티큘(lenticule)의 특성 등에 의해 결정될 수 있다. 디스플레이 픽셀에서 방사되는 광선은 렌티큘러 렌즈를 통해 굴절 또는 통과되어 3D 공간 상의 특정 위치를 향해 이동하게 되고, 해당 광선이 이동하는 방향이 해당 디스플레이 픽셀이 가지는 시점 방향에 해당될 수 있다.
디스플레이 픽셀이 가질 수 있는 시점 방향들은 디스플레이 장치(110)의 설계 과정에서 미리 결정될 수 있다. 디스플레이 픽셀들은 미리 결정된 개수의 서로 다른 시점 방향들 중 어느 하나의 시점 방향을 가질 수 있고, 해당 시점 방향은 디스플레이 장치(110)의 설계 과정에서 미리 결정될 수 있다. 예를 들어, 디스플레이 장치(110)는 제1 시점 방향부터 제N(1보다 큰 자연수) 시점 방향까지 표현할 수 있고, 디스플레이 장치(110)에 포함된 각각의 디스플레이 픽셀들은 제1 시점 방향 내지 제N 시점 방향 중 어느 하나의 시점 방향을 가질 수 있다.
영상 렌더링부(130)는 입력 영상으로부터 디스플레이부(120)를 통해 디스플레이할 입체 영상을 렌더링할 수 있다. 입력 영상은 복수의 영상 픽셀들을 포함할 수 있다. 영상 픽셀의 디스패리티(disparity)에 기초하여 해당 영상 픽셀이 가지는 시점 방향이 결정될 수 있다. 영상 픽셀의 디스패리티는 좌영상과 우영상의 스테레오 영상에서 서로 대응되는 영상 픽셀들 간의 시점 차이 또는 거리를 나타낸다. 예를 들어, 입력 영상은 좌영상에 대응될 수 있고, 좌영상과 좌영상에 대응되는 우영상 간의 대응 관계에 기초하여 좌영상에 포함된 영상 픽셀들의 디스패리티가 결정될 수 있다.
영상 렌더링부(130)는 입력 영상에 포함된 영상 픽셀들의 디스패리티를 추정할 수 있다. 추정된 디스패리티에 기초하여 영상 픽셀이 가지는 시점 방향이 결정될 수 있다. 입력 영상에 포함된 각 영상 픽셀들마다 영상 픽셀에서 출력하는 광선에 관한 디스패리티 함수가 결정될 수 있다. 디스패리티 함수는 영상 픽셀과 해당 영상 픽셀의 디스패리티가 표현하는 라이트 필드 표현식을 나타낸다.
일 실시예에 따르면, 디스플레이 장치(110)는 입력 영상으로서 좌영상을 수신하고, 참조 영상으로서 우영상을 수신할 수 있다. 디스플레이 장치(110)는 좌영상 및 우영상을 포함하는 스테레오 영상을 수신하고, 영상 렌더링부(130)는 스테레오 영상에 기초하여 입체 영상을 렌더링할 수 있다. 참조 영상은 동일한 피사체를 입력 영상이 촬영된 시점과 다른 시점에서 촬영한 영상을 나타낸다. 영상 렌더링부(130)는 입력 영상과 참조 영상 간의 시점 차이에 기초하여 영상 픽셀의 디스패리티를 추정할 수 있다. 영상 렌더링부(130)는 좌영상과 우영상에 대한 스테레오 정합을 통하여 깊이 정보를 추정하고, 깊이 정보로부터 입력 영상에 포함된 영상 픽셀들의 디스패리티를 추정할 수 있다. 스테레오 정합은 스테레오 영상에서 대응되는 영상 픽셀들의 시점 차이 또는 거리를 이용하여 깊이 정보를 획득하는 방법이다.
다른 실시예에 따르면, 디스플레이 장치(110)는 입력 영상으로서 컬러 영상을 수신하고, 디스패리티 영상으로서 깊이 영상을 수신할 수 있다. 영상 렌더링부(130)는 깊이 영상으로부터 컬러 영상의 특정 영상 픽셀이 가지는 깊이 정보를 식별하고, 식별된 깊이 정보에 기초하여 해당 영상 픽셀의 디스패리티를 추정할 수 있다.
영상 렌더링부(130)는 입력 영상의 영상 픽셀이 가지는 시점 방향에 기초하여 결정된 하나 또는 복수의 디스플레이 픽셀(또는, 입체 영상 내 위치)에 해당 영상 픽셀의 픽셀 값(또는, 컬러 값)을 할당하여 입체 영상을 렌더링할 수 있다. 영상 렌더링부(130)는 입력 영상에 포함된 영상 픽셀의 디스패리티를 추정한 후, 디스플레이 픽셀들의 시점 방향에 대한 제1 모델 및 영상 픽셀의 시점 방향에 대한 제2 모델을 결정할 수 있다.
디스플레이 픽셀들의 시점 방향에 대한 제1 모델은, 디스플레이 장치(110)가 나타내는 라이트 필드 함수로서 디스플레이 픽셀들에서 출력되는 광선들이 가지는 시점 방향 또는 시점 위치에 관한 함수를 나타낸다. 각 디스플레이 픽셀들이 가지는 시점 방향에 대한 시점 정보는 미리 저장될 수 있고, 영상 렌더링부(130)는 해당 시점 정보에 기초하여 제1 모델을 결정할 수 있다. 일 실시예에 따르면, 제1 모델은, 디스플레이부(120)에 포함된 전체 디스플레이 픽셀들 중 수직 방향 또는 수평 방향의 어느 하나의 라인에 포함된 디스플레이 픽셀들의 시점 방향에 기초하여 결정될 수 있다.
영상 픽셀의 시점 방향에 대한 제2 모델은, 영상 픽셀이 나타내는 라이트 필드 함수로서 영상 픽셀로부터 출력되는 광선이 가지는 시점 방향 또는 시점 위치에 관한 함수로서, 해당 광선이 가지는 시점 방향 또는 시점 위치는 영상 픽셀의 디스패리티에 기초하여 결정될 수 있다. 영상 렌더링부(130)는 영상 픽셀에 대해 추정된 디스패리티에 기초하여 영상 픽셀에서 출력되는 광선의 시점 방향을 결정할 수 있다. 제2 모델은 각각의 영상 픽셀마다 결정될 수 있다.
영상 렌더링부(130)는 디스플레이 픽셀들의 시점 방향에 대한 제1 모델 및 영상 픽셀의 시점 방향에 대한 제2 모델을 이용하여 해당 영상 픽셀의 픽셀 값을 할당할 디스플레이 픽셀을 결정할 수 있다. 영상 렌더링부(130)는 제1 모델 및 제2 모델 간의 대응 관계를 이용하여 영상 픽셀의 픽셀 값을 할당할 디스플레이 픽셀을 결정하고, 결정된 디스플레이 픽셀에 제2 모델의 대상인 특정 영상 픽셀의 픽셀 값을 할당하여 입체 영상을 렌더링할 수 있다. 이와 같이, 영상 렌더링부(130)는 입체 영상을 디스플레이하기 위해 다시점 영상을 이용하지 않고, 입체 영상을 직접 생성할 수 있다.
영상 렌더링부(130)는 특정 라인에 위치하는 디스플레이 픽셀들의 시점 방향 정보와 위치 정보에 기초하여 제1 모델을 결정할 수 있다. 영상 렌더링부(130)는 디스플레이 픽셀의 위치와 해당 디스플레이 픽셀이 가지는 시점 방향(또는, 시점 위치) 간의 대응 관계를 나타내는 복수의 기준점들을 설정하고, 설정된 기준점들을 지나는 중간 함수를 결정하는 것에 의해 제1 모델을 모델링할 수 있다. 예를 들어, 영상 렌더링부(130)는 기준점들을 지나고, 서로 동일한 기울기를 가지는 선형 함수들의 집합을 중간 함수로 결정할 수 있다.
기준점들은 디스플레이 장치(110)에 포함된 전체 디스플레이 픽셀들 중 수직 방향의 어느 한 라인에 위치한 디스플레이 픽셀들 또는 수평 방향의 어느 한 라인에 위치한 디스플레이 픽셀들 단위로 설정될 수 있다. 예를 들어, 기준점들은 디스플레이 장치(110)의 전체 디스플레이 픽셀들 중에서 어느 하나의 행(row) 또는 어느 하나의 열(column)에 위치하는 디스플레이 픽셀들 단위로 설정될 수 있다.
영상 렌더링부(130)는 영상 픽셀이 가지는 디스패리티에 기초하여 제2 모델을 결정할 수 있다. 영상 렌더링부(130)는 영상 픽셀에서 출력되는 광선의 시점 방향에 관한 함수인 디스패리티 함수를 결정하는 것에 의해 제2 모델을 모델링할 수 있다. 디스패리티 함수는 각 영상 픽셀들마다 결정될 수 있다.
일 실시예에 따르면, 영상 렌더링부(130)는 중간 함수와 디스패리티 함수 간의 교차점을 결정하고, 중간 함수와 디스패리티 함수 간의 교차점에 기초하여 영상 픽셀의 픽셀 값이 할당될 하나 또는 복수의 디스플레이 픽셀을 결정할 수 있다. 예를 들어, 영상 렌더링부(130)는 중간 함수에 포함된 기준점들 중 중간 함수와 디스패리티 함수 간의 교차점과 가장 가까운 거리에 있는 기준점을 결정하고, 결정된 기준점에 대응되는 디스플레이 픽셀에 해당 영상 픽셀의 픽셀 값을 할당할 수 있다.
예를 들어, 영상 픽셀 P의 디스패리티 함수가 Q이고, 중간 함수와 디스패리티 함수 Q 간의 교차점에 가장 가까운 거리에 있는 기준점이 기준점 R이라고 가정하면, 영상 렌더링부(130)는 기준점 R에 대응하는 디스플레이 픽셀 K에 영상 픽셀 P의 픽셀 값을 할당할 수 있다. 입체 영상이 디스플레이될 때, 디스플레이 픽셀 K를 통해 영상 픽셀의 P의 픽셀 값이 출력될 수 있다.
다른 실시예에 따르면, 영상 렌더링부(130)는 복수의 제2 모델을 이용하여 입체 영상을 렌더링할 수 있다. 영상 렌더링부(130)는 복수의 영상 픽셀들의 디스패리티 함수들을 이용하여 픽셀 값이 할당될 디스플레이 픽셀을 결정할 수 있다. 영상 렌더링부(130)는 디스플레이 픽셀의 위치와 해당 디스플레이 픽셀이 가지는 시점 방향 간의 대응 관계를 나타내는 기준점을 설정하고, 복수의 기준점들을 지나는 중간 함수를 결정할 수 있다. 영상 렌더링부(130)는 서로 인접한 영상 픽셀들 각각에 대한 디스패리티 함수를 결정할 수 있다. 영상 렌더링부(130)는 복수의 디스패리티 함수들 사이의 영역과 오버랩되는 중간 함수의 기준점을 식별하고, 식별된 기준점에 대응되는 디스플레이 픽셀에 해당 영상 픽셀들의 픽셀 값들을 보간(interpolation)하여 할당할 수 있다.
예를 들어, 영상 렌더링부(130)는 영상 픽셀 A에 관한 디스패리티 함수 B와 영상 픽셀 C에 관한 디스패리티 함수 D를 결정하고, 디스패리티 함수 B와 디스패리티 함수 D 사이의 영역에 포함되는 중간 함수의 기준점을 식별할 수 있다. 그 후, 영상 렌더링부(130)는 식별된 기준점에 대응되는 디스플레이 픽셀에 영상 픽셀 A의 픽셀 값 및 영상 픽셀 C의 픽셀 값을 보간하여 할당할 수 있다.
디스플레이 픽셀에 대한 제1 모델은 디스플레이부(120)에 포함된 전체 디스플레이 픽셀들 중 수평 방향 또는 수직 방향의 어느 한 라인에 위치한 디스플레이 픽셀들에 기초하여 정의될 수 있다. 영상 픽셀에 대한 제2 모델은 위 디스플레이 픽셀들의 라인에 대응하는 위치에 포함된 영상 픽셀들 중 어느 하나의 영상 픽셀에 대해 정의될 수 있다. 예를 들어, 제1 모델이 디스플레이부(120)에 포함된 전체 디스플레이 픽셀들 중 i 행(row)에 위치한 디스플레이 픽셀들을 대상으로 결정되었다면, 제2 모델은 위 i 행에 대응하는 위치에 있는 각각의 영상 픽셀들에 대해 결정될 수 있다.
영상 렌더링부(130)는 다른 라인에 위치한 디스플레이 픽셀들 및 영상 픽셀들에 대해 위 과정을 반복하여 수행함으로써 디스플레이부(120)를 통해 디스플레이할 입체 영상을 생성할 수 있다.
도 2는 일 실시예에 따른 영상 렌더링 장치의 동작을 설명하기 위한 도면이다.
영상 렌더링 장치(210)는 입체 영상을 렌더링할 수 있다. 영상 렌더링 장치(210)는 입체 영상을 렌더링하기 위해 멀티뷰 영상을 생성하지 않고, 디스플레이 픽셀에 직접 영상 픽셀의 픽셀 값을 할당하여 입체 영상을 생성할 수 있다. 일 실시예에 따르면, 영상 렌더링 장치(210)는 3D TV, 3D 스마트폰, 3D 태블릿, 3D DID(digital information display) 등의 3D 렌더링 기기에서 동작할 수 있다.
도 2를 참조하면, 영상 렌더링 장치(210)는 디스패리티 추정부(220) 및 영상 렌더링부(230)를 포함할 수 있다.
디스패리티 추정부(220)는 입력 영상에 포함된 영상 픽셀의 디스패리티를 추정할 수 있다. 영상 픽셀의 디스패리티에 기초하여 해당 영상 픽셀이 가지는 시점 방향이 결정될 수 있다. 예를 들어, 디스패리티 추정부(220)는 다른 시점에서 촬영된 영상인 참조 영상과 입력 영상 간의 시점 차이에 기초하여 영상 픽셀의 디스패리티를 추정할 수 있다. 디스패리티 추정부(220)는 입력 영상에 포함된 모든 영상 픽셀들에 대해 참조 영상에서 대응되는 영상 픽셀들을 탐색하고, 입력 영상과 참조 영상 사이에서 대응되는 영상 픽셀들 간의 거리를 계산하여 입력 영상 내 모든 영상 픽셀들에 대해 거리/디스패리티 값을 포함하는 영상을 획득할 수 있다. 다른 예로, 디스패리티 추정부(220)는 깊이 영상에 나타난 깊이 정보를 이용하여 해당 영상 픽셀의 디스패리티를 추정할 수 있다. 추정된 디스패리티는 깊이 맵(depth map) 또는 디스패리티 맵(disparity map)의 형태로 표현될 수 있다.
영상 렌더링부(230)는 영상 픽셀의 시점 방향에 대응하는 시점 방향을 가지는 하나 또는 복수의 디스플레이 픽셀에 영상 픽셀의 픽셀 값을 할당하여 입체 영상을 렌더링할 수 있다. 디스플레이 픽셀은 미리 결정된 시점 방향을 가질 수 있고, 미리 결정된 개수의 서로 다른 시점 방향들 중 어느 하나의 시점 방향을 가질 수 있다. 디스플레이 픽셀의 시점 방향은 입체 영상을 디스플레이하는 디스플레이 장치에 포함된 렌티큘러 렌즈의 구조적 특징에 기초하여 결정될 수 있다. 렌티큘러 렌즈의 구조적 특징에 의해 각각의 디스플레이 픽셀로부터 방사되는 광선들의 이동 경로가 결정될 수 있다.
영상 렌더링부(230)는 영상 픽셀의 시점 방향 및 디스플레이 픽셀들의 시점 방향에 기초하여 복수의 디스플레이 픽셀들 중에서 영상 픽셀의 픽셀 값을 할당할 디스플레이 픽셀들을 탐색할 수 있다. 영상 렌더링부(230)는 디스플레이 픽셀들의 시점 방향에 대한 제1 모델과 영상 픽셀의 시점 방향에 대한 제2 모델에 기초하여 멀티뷰 영상을 이용하지 않고, 입체 영상을 직접 렌더링할 수 있다.
영상 렌더링부(230)는 디스플레이 픽셀들의 시점 방향에 대한 제1 모델을 결정할 수 있다. 영상 렌더링부(230)는 디스플레이 픽셀들의 위치와 시점 방향 간의 대응 관계에 기초하여 제1 모델을 결정할 수 있다. 영상 렌더링부(230)는 디스플레이 패널에 배치된 디스플레이 픽셀들의 위치와 각 디스플레이 픽셀에 할당된 시점 방향 간의 대응 관계에 기초하여 제1 모델을 결정할 수 있다. 영상 렌더링부(230)는 디스플레이 픽셀의 위치와 해당 디스플레이 픽셀이 가지는 시점 방향 간의 대응 관계를 나타내는 복수의 기준점들을 설정하고, 설정된 기준점들을 지나는 중간 함수를 결정하는 것에 의해 제1 모델을 모델링할 수 있다.
영상 렌더링부(230)는 디스패리티 추정부(220)에 의해 추정된 영상 픽셀의 디스패리티에 기초하여 영상 픽셀의 시점 방향에 대한 제2 모델을 결정할 수 있다. 영상 렌더링부(230)는 입력 영상 내 영상 픽셀의 위치를 기준으로 영상 픽셀로부터 출력될 광선의 방향을 모델링하여 제2 모델을 결정할 수 있다. 영상 렌더링부(230)는 제2 모델로서 영상 픽셀에서 출력되는 광선의 시점 방향에 관한 함수인 디스패리티 함수를 결정할 수 있다. 디스패리티 함수는 각 영상 픽셀들마다 결정될 수 있다.
영상 렌더링부(230)는 제1 모델 및 제2 모델을 이용하여 해당 영상 픽셀의 픽셀 값을 할당할 하나 또는 복수의 디스플레이 픽셀을 결정할 수 있다. 영상 렌더링부(230)는 제1 모델 및 제2 모델 간의 대응 관계를 이용하여 영상 픽셀의 픽셀 값을 할당할 디스플레이 픽셀을 결정하고, 결정된 디스플레이 픽셀에 제2 모델의 대상인 특정 영상 픽셀의 픽셀 값을 할당하여 입체 영상을 렌더링할 수 있다.
일 실시예에 따르면, 영상 렌더링부(230)는 중간 함수와 디스패리티 함수 간의 교차점을 결정하고, 중간 함수와 디스패리티 함수 간의 교차점에 기초하여 영상 픽셀의 픽셀 값이 할당될 하나 또는 복수의 디스플레이 픽셀을 결정할 수 있다. 예를 들어, 영상 렌더링부(230)는 중간 함수에 포함된 기준점들 중 중간 함수와 디스패리티 함수 간의 교차점과 가장 가까운 거리에 있는 기준점을 결정하고, 결정된 기준점에 대응하는 디스플레이 픽셀에 해당 영상 픽셀의 픽셀 값을 할당할 수 있다. 또는, 영상 렌더링부(230)는 영상 픽셀의 디스패리티에 기초하여 결정된 픽셀 영역에 포함되는 기준점을 식별하고, 식별된 기준점에 대응하는 디스플레이 픽셀에 해당 영상 픽셀의 픽셀 값을 할당할 수 있다.
다른 실시예에 따르면, 영상 렌더링부(230)는 제1 모델과 복수의 영상 픽셀들에 대한 제2 모델들을 이용하여 영상 픽셀들의 픽셀 값을 할당할 하나 또는 복수의 디스플레이 픽셀을 결정할 수 있다. 영상 픽셀들은 서로 인접한 영상 픽셀들일 수 있다. 영상 렌더링부(230)는 복수의 영상 픽셀들의 디스패리티 함수들을 이용하여 픽셀 값이 할당될 디스플레이 픽셀을 결정할 수 있다. 영상 렌더링부(230)는 디스플레이 픽셀의 위치와 해당 디스플레이 픽셀이 가지는 시점 방향 간의 대응 관계를 나타내는 기준점을 설정하고, 복수의 기준점들을 지나는 중간 함수를 결정할 수 있다. 영상 렌더링부(230)는 서로 인접한 영상 픽셀들 각각에 대한 디스패리티 함수를 결정할 수 있다. 영상 렌더링부(230)는 복수의 디스패리티 함수들 사이의 영역과 오버랩되는 중간 함수의 기준점을 식별하고, 식별된 기준점에 대응하는 디스플레이 픽셀에 해당 영상 픽셀들의 픽셀 값들을 보간하여 할당할 수 있다. 기준점이 복수 개가 식별된 경우, 영상 렌더링부(230)는 각각의 기준점들에 대응하는 디스플레이 픽셀들에 해당 영상 픽셀들의 픽셀 값들을 보간하여 할당할 수 있다.
도 3은 일 실시예에 따른 디스플레이 픽셀이 가지는 시점 방향을 설명하기 위한 도면이다.
입체 영상을 디스플레이하는 디스플레이 장치의 디스플레이 패널(310)은 복수 개의 디스플레이 픽셀들(332, 334, 336, 338, 340)을 포함할 수 있다. 예를 들어, 각각의 디스플레이 픽셀들(332, 334, 336, 338, 340)은 R 서브 픽셀, G 서브 픽셀, 및 B 서브 픽셀 중 어느 하나일 수 있다. 디스플레이 장치는 디스플레이 패널(310)이외에 입체 영상을 구현하기 위한 렌티큘러 렌즈(320)를 포함할 수 있다. 렌티큘러 렌즈(320)는 디스플레이 패널(310)의 상부에 구비될 수 있다.
일 실시예에 따르면, 렌티큘러 렌즈(320)는 복수 개의 렌티큘들을 포함할 수 있고, 대각선 방향으로 기울어진 형태를 가질 수 있다. 각각의 디스플레이 픽셀들(332, 334, 336, 338, 340)로부터 출력된 광선들은 렌티큘러 렌즈(320)에 의해 굴절 또는 통과되어 3D 공간 상의 특정 위치로 이동하게 된다. 렌티큘러 렌즈(320)의 구조적 특징에 의해 각각의 디스플레이 픽셀들(332, 334, 336, 338, 340)로부터 출력된 광선들의 이동 경로가 결정될 수 있고, 이에 따라 디스플레이 픽셀들(332, 334, 336, 338, 340)은 미리 설정된 시점 방향을 가질 수 있다.
각각의 디스플레이 픽셀들(332, 334, 336, 338, 340)마다 어떤 시점 방향의 픽셀 정보가 출력되어야 하는지가 미리 결정될 수 있다. 예를 들어, 디스플레이 장치가 입체 영상을 정상적으로 디스플레이 하기 위해서는, 디스플레이 픽셀들(332, 334, 336, 338, 340)이 각각 제1 시점 방향의 픽셀 정보, 제2 시점 방향의 픽셀 정보, 제3 시점 방향의 픽셀 정보, 제4 시점 방향의 픽셀 정보 및 제5 시점 방향의 픽셀 정보를 출력해야 한다는 것이 렌티큘러 렌즈(320)의 구조적 특징에 의해 미리 결정될 수 있다.
디스플레이 픽셀(332)로부터 출력되는 광선은 렌티큘러 렌즈(320)를 경유하여 제1 시점 방향으로 이동하고, 디스플레이 픽셀(334)로부터 출력되는 광선은 렌티큘러 렌즈(320)를 경유하여 제2 시점 방향으로 이동한다. 유사하게, 디스플레이 픽셀(336)로부터 출력되는 광선은 렌티큘러 렌즈(320)를 경유하여 제3 시점 방향으로 이동하고, 디스플레이 픽셀(338)로부터 출력되는 광선은 렌티큘러 렌즈(320)를 경유하여 제4 시점 방향으로 이동하며, 디스플레이 픽셀(340)로부터 출력되는 광선은 렌티큘러 렌즈(320)를 경유하여 제5 시점 방향으로 이동한다.
렌티큘러 렌즈(320)의 구조적 특징에 의해, 디스플레이 픽셀들이 가지는 시점 방향은 반복성 또는 주기성을 가질 수 있다. 예를 들어, 도 3에서와 같이 디스플레이 패널(310)의 하나의 열에 위치한 디스플레이 픽셀들은 제1 시점 방향, 제2 시점 방향, 제3 시점 방향, 제4 시점 방향, 및 제5 시점 방향이 계속적으로 반복되는 패턴을 가질 수 있다.
디스플레이 패널(310)에 포함된 디스플레이 픽셀들이 가지는 시점 방향은 디스플레이 장치의 설계 과정에서 미리 결정되고, 디스플레이 패널(310)의 전체 디스플레이 픽셀들의 시점 방향에 관한 정보가 미리 저장될 수 있다. 영상 렌더링 장치는 디스플레이 픽셀들에 관한 정보를 이용하여 제1 모델을 결정할 수 있다. 예를 들어, 디스플레이 픽셀들에 관한 정보는 각 디스플레이 픽셀의 디스플레이 패널(310) 상의 위치 정보 및 각 디스플레이 픽셀이 가지는 시점 방향 정보를 포함할 수 있다.
도 4 및 도 5는 일 실시예에 따른 제1 모델을 설명하기 위한 도면이다.
디스플레이 장치의 라이트 필드 함수에 대응되는 제1 모델은, 디스플레이 픽셀들의 위치와 각각의 디스플레이 픽셀들이 가지는 시점 방향 간의 대응 관계에 기초하여 결정될 수 있다. 도 4는 디스플레이 픽셀의 위치와 디스플레이 픽셀이 가지는 시점 방향 간의 대응 관계를 나타내는 좌표 평면을 도시하고 있다. 도 4의 좌표 평면에서, x축은 디스플레이 픽셀의 위치를 나타내고, y축은 디스플레이 픽셀이 가지는 시점 방향을 나타낸다. 여기서는, 설명의 편의를 위해 디스플레이 픽셀이 가질 수 있는 시점 방향이 총 5개라고 가정한다. 좌표 평면에서 디스플레이 픽셀의 위치와 해당 디스플레이 픽셀의 시점 방향에 대응되는 점을 기준점이라고 정의한다.
제1 모델은 특정 라인 상에 배치된 디스플레이 픽셀들에 기초하여 모델링될 수 있다. 도 4에는 수평 방향의 어느 하나의 행(row)에 배치된 10개의 디스플레이 픽셀들의 위치와 각 디스플레이 픽셀이 가지는 시점 방향 간의 대응 관계를 나타내는 10개의 기준점들이 도시되어 있다. 기준점은 디스플레이 장치가 표현할 수 있는 광선을 나타낸다. 디스플레이 장치는 모든 라이트 필드, 다시 말해 실제 세상의 모든 광선을 표현할 수 없기에 특정 구조를 갖는 라이트 필드로 광선을 출력하게 된다.
도 5는 렌티큘러 렌즈를 이용하여 입체 영상을 구현하는 디스플레이 장치의 라이트 필드를 도시한다. 도 5에서 디스플레이 장치의 라이트 필드는 'X' 부호로 표시되어 있고, 'X' 부호는 기준점(510)에 대응한다. 디스플레이 장치의 라이트 필드는 디스플레이 장치에 포함된 디스플레이 픽셀의 위치와 해당 디스플레이 픽셀에서 출력되는 광선의 시점 위치에 기초하여 결정될 수 있다. 도 5에서, x축은 디스플레이 장치에서 수직 방향 또는 수평 방향 중 어느 하나의 라인에 위치한 디스플레이 픽셀들의 위치를 나타내고, y축은 각 디스플레이 픽셀들이 가지는 시점 방향을 나타낸다.
실제 디스플레이 장치는 무한 개의 디스플레이 픽셀이 아닌, 서브 픽셀이라는 한정된 광원을 이용하기 때문에, 디스플레이 장치의 라이트 필드는 도 5의 'X' 부호와 같이 샘플링된 기준점(510)들로 표현할 수 있다. 기준점(510)들은 디스플레이 장치의 디스플레이 픽셀이 가지는 시점 방향에 기초하여 결정될 수 있다. 영상 렌더링 장치는 기준점(510)들에 대응되는 디스플레이 픽셀들의 라이트 필드를 생성하는 것에 의해 입체 영상을 생성할 수 있다.
디스플레이 장치가 표현하는 연속적인 라이트 필드 함수 fLF(x)는 다음의 수학식 1과 같이 나타낼 수 있다.
Figure 112014071579716-pat00001
여기서, x는 3D 디스플레이 장치에 포함된 디스플레이 픽셀들에서 수직 방향 또는 수평 방향의 한 라인에 포함된 디스플레이 픽셀들의 위치를 식별하기 위한 변수이다. f는 렌티큘러 렌즈의 초점 거리를 나타내고, D는 디스플레이 장치로부터의 시청 거리를 나타낸다. vn(x)는 x 위치의 디스플레이 픽셀로부터 출력된 광선이 렌티큘러 렌즈의 n 번째 렌티큘을 통과한 후에 도달하는 시점 위치를 나타낸다.
예를 들어, 도 5의 기준점(510)은 다음의 수학식 2와 같이 나타낼 수 있다.
Figure 112014071579716-pat00002
수학식 2의 fLF(i, s)는 샘플링된 값을 갖는 디스플레이 장치의 라이트 필드 함수를 나타낸다. 위 샘플링된 값은 기준점(510)에 대응될 수 있다. 수학식 2는 시청 영역 V와 렌티큘러 렌즈의 특성을 고려하여 수학식 1을 재정의한 수학식이다. 렌티큘러 렌즈를 이용하는 디스플레이 장치의 라이트 필드 함수는 수학식 2와 같이 이산적인 형태를 가질 수 있다. 시청 영역 V는 좌안의 시점 위치 VL과 우안의 시점 위치 VR 사이의 영역을 나타내고, f는 렌티큘러 렌즈의 초점 거리를 나타낸다. D는 디스플레이 장치로부터의 시청 거리를 나타내고, mod(a, b)는 a를 b로 나누었을 때의 나머지를 출력하는 함수를 나타낸다.
i는 3D 디스플레이 장치에 포함된 디스플레이 픽셀들에서 수직 방향 또는 수평 방향의 한 라인에 포함된 디스플레이 픽셀의 위치를 식별하기 위한 변수를 나타내고, 1, 2, ... , n(자연수)의 값을 갖는다. s는 i*3의 차원(dimension)을 갖는 변수를 나타내고, 1, 2, ... , m(자연수)의 값을 갖는다. x(s)는 s에 따른 디스플레이 픽셀의 위치 값을 나타낸다. vs(i)는 디스플레이 픽셀 i로부터 출력된 광선이 렌티큘러 렌즈의 s번째 렌티큘을 통과한 후 도달하는 시점 위치를 나타낸다. 렌티큘러 렌즈가 대각 방향으로 기울어진 형태를 가지는 경우, 렌티큘의 시작점 v1(s=1)은 i에 따라 달라지기 때문에 vs(i)는 i의 함수로 표현된다.
디스플레이 픽셀들이 가지는 시점 방향은 디스플레이 장치 내에서 특정 디스플레이 픽셀을 식별하기 위한 위치 인덱스와 특정 디스플레이 픽셀이 가지는 시점 방향을 식별하기 위한 시점 인덱스에 기초하여 일정한 패턴으로 나타낼 수 있다. 디스플레이 픽셀에 대한 위치 인덱스 및 시점 인덱스에 기초하여 각 디스플레이 픽셀의 시점 방향을 나타내는 패턴을 위빙 패턴(weaving pattern)이라고 정의한다. 위빙 패턴은 디스플레이 장치에서 수평 방향 또는 수직 방향의 어느 한 라인에 위치한 디스플레이 픽셀들이 가지는 시점 방향 또는 시점 위치를 나타낸다. 위빙 패턴은 디스플레이 픽셀의 위치와 해당 디스플레이 픽셀의 시점 방향 간의 대응 관계를 나타내는 복수의 기준점(510)들을 포함할 수 있다. 렌티큘러 렌즈의 구조적 특성에 의한 주기성을 이용하면, 각 디스플레이 픽셀에 대응되는 시점 방향을 도 5와 같은 패턴으로 나타낼 수 있다.
영상 렌더링 장치는 디스플레이 픽셀에 따른 시점 방향을 나타내는 기준점(510)에 기초하여 중간 함수(520)를 결정할 수 있다. 중간 함수(520)는 하나 또는 복수의 기준점(510)을 지나는 함수로 표현될 수 있다. 디스플레이 픽셀들에 대한 제1 모델은 기준점(510)을 지나는 복수의 중간 함수(520)들로 모델링될 수 있다. 일 실시예에 따르면, 영상 렌더링 장치는 다음의 수학식 3에 기초하여 중간 함수를 결정할 수 있다. 수학식 3에 의하면, 중간 함수는 기준점을 지나는 복수의 선형 함수들로 정의될 수 있다.
Figure 112014071579716-pat00003
수학식 3에서, p는 위빙 패턴을 복수의 선형 함수들로 그룹핑하기 위해 이용되는 변수를 나타내고, 1, 2, ... , q (자연수)의 값을 갖는다. i는 디스플레이 장치에 포함된 디스플레이 픽셀들에서 수직 방향 또는 수평 방향의 어느 한 라인에 포함된 디스플레이 픽셀의 위치를 식별하기 위한 변수를 나타내고, 1, 2, ... , n(자연수)의 값을 갖는다. s는 i*3의 차원을 갖는 변수를 나타내고, 1, 2, ... , m(자연수)의 값을 갖는다. fWP(s, p, i)는 변수 s, p, i의 값에 기초하여 결정되는 중간 함수를 나타낸다. aWP는 fWP(s, p, i)의 기울기를 나타내고, 다음의 수학식 4와 같이 정의할 수 있다.
Figure 112014071579716-pat00004
수학식 4에서, fLF( , )는 수학식 2의 샘플링된 값을 갖는 3D 디스플레이 장치의 라이트 필드 함수에 대응된다. i는 3D 디스플레이 장치에 포함된 디스플레이 픽셀들에서 수직 방향 또는 수평 방향의 어느 한 라인에 포함된 디스플레이 픽셀의 위치를 식별하기 위한 변수를 나타내고, 1, 2, ... , n(자연수)의 값을 갖는다. c는 일반 상수이고, 1, 2, ... , w(자연수)의 값을 갖는다. nWP는 동일 중간 함수에 포함된 기준점들 중 서로 인접한 기준점들이 가지는 s 방향으로의 이격 거리를 나타낸다.
bWP(i)는 i에 따른 fWP(s, p, i) 함수의 y 절편을 나타내고, 다음의 수학식 5와 같이 정의할 수 있다.
Figure 112014071579716-pat00005
수학식 5에서, fLF( , )는 수학식 2의 샘플링된 값을 갖는 디스플레이 장치의 라이트 필드 함수에 대응된다. aWP는 수학식 4의 변수 s, p, i의 값에 기초하여 결정되는 중간 함수 fWP(s, p, i)의 기울기에 대응된다.
수학식 3에서, ap는 fWP(s, p, i)가 나타내는 복수의 중간 함수(520)들에서 인접한 중간 함수들이 서로 얼마나 이격되어 있는지를 나타낸다. ap는 다음의 수학식 6과 같이 정의할 수 있다.
Figure 112014071579716-pat00006
수학식 6에서, fLF( , )는 수학식 2의 샘플링된 값을 갖는 3D 디스플레이 장치의 라이트 필드 함수에 대응되고, aWP는 수학식 4의 변수 s, p, i의 값에 기초하여 결정되는 중간 함수 fWP(s, p, i)의 기울기에 대응된다. c는 일반 상수를 나타내고, 1, 2, ... , w(자연수)의 값을 갖는다. nmr은 수학식 3의 fWP(s, p, i)에서 p에 따른 중간 함수들의 시작점들 사이의 이격 거리를 나타낸다. 예를 들어, p=1인 중간 함수의 시작점을 a라고 가정하면, p=2인 중간 함수의 시작점은 a+nmr이 된다.
도 6은 일 실시예에 따른 제2 모델을 설명하기 위한 도면이다.
3D 공간에서 특정 시점의 광선을 캡쳐한 카메라 영상이 입력 영상으로서 영상 렌더링 장치에 입력될 수 있다. 입력 영상의 라이트 필드는 여러 가지 방법에 의해 표현할 수 있다. 입력 영상의 라이트 필드는 입력 영상 내 영상 픽셀의 위치와 영상 픽셀로부터 출력되는 광선의 시점 방향에 기초하여 결정될 수 있다. 영상 픽셀로부터 출력되는 광선의 시점 방향은 해당 영상 픽셀이 가지는 디스패리티에 기초하여 결정될 수 있다.
입력 영상에서 칼라 값과 디스패리티를 갖는 영상 픽셀의 라이트 필드는, 좌시점과 우시점 간의 거리를 시청 영역 V라 가정하였을 때, 'V/디스패리티'의 기울기를 가지고 원래의 영상 위치를 지나는 직선 방정식인 디스패리티 함수로 모델링할 수 있다. 도 6의 좌표 평면에서, 디스패리티 함수(630)은 'V/디스패리티'의 기울기를 가지고, 원래의 영상 위치 (a, VL)를 지나는 직선 방정식으로 도시되어 있다. 'VL'(620)은 시청 영역에서 좌안의 시점 위치를 나타내고, 'VR'(610)은 시청 영역에서 우안의 시점 위치를 나타낸다.
영상 렌더링 장치는 입력 영상의 영상 픽셀이 가지는 디스패리티에 기초하여 영상 픽셀과 영상 픽셀의 디스패리티가 표현하는 디스패리티 함수(630)를 결정할 수 있다. 영상 픽셀이 가지는 디스패리티 함수(630)에 의해 해당 영상 픽셀에 대한 제2 모델이 결정될 수 있다.
예를 들어, 영상 렌더링 장치는 다음의 수학식 7에 기초하여 (i, j)에 위치한 영상 픽셀의 디스패리티 함수를 결정할 수 있다.
Figure 112014071579716-pat00007
좌시점 VL과 우시점 VR의 사이의 거리를 시청 영역 V라고 하고, 입력 영상이 좌영상이라고 가정하였을 때, 영상 렌더링 장치는 x 방향의 디스패리티 간의 V의 기울기를 가지고 영상 픽셀의 원래 위치 (3j, VL)를 지나는 직선 방정식을 디스패리티 함수로 결정할 수 있다. 수학식 7은 입력 영상에서 위치(i, j)의 영상 픽셀이 가지는 디스패리티 함수를 나타낸다. i는 입력 영상에서 영상 픽셀의 행(row) 위치를 식별하기 위한 변수이고, j는 입력 영상에서 영상 픽셀의 열(column) 위치를 식별하기 위한 변수이다. s는 디스플레이 픽셀의 위치가 3개의 서브 픽셀들(R 서브 픽셀, G 서브 픽셀, 및 B 서브 픽셀)에 기초하여 설정됨에 따라 디스플레이 장치의 라이트 필드 함수와 차원을 맞춰주기 위한 변수로서, j*3의 차원을 가진다. d는 입력 영상에서 위치(i, j)의 영상 픽셀이 가지는 디스패리티를 나타낸다.
도 7은 일 실시예에 따른 제1 모델 및 제2 모델에 기초하여 입체 영상을 렌더링하는 과정을 설명하기 위한 도면이다.
영상 렌더링 장치는 디스플레이 픽셀들에 대한 제1 모델과 영상 픽셀에 대한 제2 모델에 기초하여 입체 영상을 렌더링할 수 있다. 제1 모델은 디스플레이 픽셀의 위치와 디스플레이 픽셀이 가지는 시점 방향 간의 대응 관계를 나타내는 기준점들에 기초하여 모델링될 수 있고, 제2 모델은 영상 픽셀이 가지는 디스패리티에 따른 디스패리티 함수에 기초하여 모델링될 수 있다. 영상 렌더링 장치는 영상 픽셀의 시점 방향에 대응하는 시점 방향을 가지는 하나 또는 복수의 디스플레이 픽셀에 해당 영상 픽셀의 픽셀 값을 할당할 수 있다.
일 실시예에 따르면, 디스플레이 패널에 포함된 디스플레이 픽셀들을 통해 출력될 입체 영상(710)은 라인 단위로 렌더링될 수 있다. 도 7에 도시된 도면에서는 출력될 입체 영상(710)에서 라인(720)의 위치에 대응하는 디스플레이 픽셀들에 대해 제1 모델이 결정될 수 있다. 영상 렌더링 장치는 라인(720)의 위치에 배치된 디스플레이 픽셀들의 위치와 해당 디스플레이 픽셀들이 가지는 시점 방향에 기초하여 제1 모델을 결정할 수 있다. 제1 모델은 수학식 3 내지 수학식 6에 기초하여 결정된 중간 함수(520)들에 의해 결정될 수 있고, 중간 함수(520)는 복수의 기준점(510)들을 연결하는 함수를 나타낸다.
영상 렌더링 장치는 입력 영상에서 라인(720)에 대응하는 위치에 존재하는 영상 픽셀들 중 어느 하나의 영상 픽셀에 대한 디스패리티 함수(630)에 기초하여 제2 모델을 결정할 수 있다. 제2 모델은 수학식 7에 기초하여 모델링될 수 있다.
영상 렌더링 장치는 복수의 중간 함수(520)들과 디스패리티 함수(630) 간의 교차점을 결정할 수 있다. 영상 렌더링 장치는 교차점에 대응하는 디스플레이 픽셀을 결정하고, 결정된 디스플레이 픽셀에 디스패리티 함수(630)의 대상이 되는 영상 픽셀의 픽셀 값을 할당할 수 있다.
일 실시예에 따르면, 영상 렌더링 장치는 교차점과 가장 가까운 기준점을 결정하고, 결정된 기준점에 대응하는 디스플레이 픽셀에 디스패리티 함수(630)의 대상이 되는 영상 픽셀의 픽셀 값을 할당할 수 있다. 영상 렌더링 장치는 중간 함수(520)와 디스패리티 함수(630) 간의 모든 교차점들에 대해 위 과정을 반복 수행할 수 있다. 기준점(510)들은 렌티큘러 렌즈의 구조적 특징으로 인한 주기성을 가지기 때문에, 두 개의 교차점들 간의 차이에 기초하여 다른 교차점들을 결정할 수 있다.
다른 실시예에 따르면, 디스패리티 함수(630)는 영역으로 표현될 수 있고, 영상 렌더링 장치는 디스패리티 함수(630)가 나타내는 영역에 포함되는 기준점들을 식별하고, 식별된 기준점에 대응하는 디스플레이 픽셀에 디스패리티 함수(630)의 대상이 되는 영상 픽셀의 픽셀 값을 할당할 수 있다.
도 7에서는, 중간 함수(520)들과 디스패리티 함수(630) 간의 교차점에 대응되는 기준점들이 6개가 결정되었고, 각 기준점들에 대응하는 디스플레이 픽셀들의 위치(732, 734, 736, 738, 740, 742)에 디스패리티 함수(630)의 대상이 되는 영상 픽셀의 픽셀 값이 할당될 수 있다.
예를 들어, 디스패리티 함수(630)가 영상 픽셀 'A'에 대한 디스패리티 함수라면, 디스플레이 픽셀들의 위치(732, 734, 736, 738, 740, 742)에는 영상 픽셀 'A'가 가지는 픽셀 값이 할당될 수 있다. 그 후, 입력 영상에서 라인(720)에 대응하는 위치에 존재하는 영상 픽셀들 중 영상 픽셀 'A'가 아닌 다른 영상 픽셀 'B'에 대한 제2 모델이 결정되고, 다시 라인(720)의 위치에 대응하는 디스플레이 픽셀들에 대한 제1 모델과 영상 픽셀 'B'에 대한 제2 모델에 기초하여 영상 픽셀 'B'의 픽셀 값을 할당할 디스플레이 픽셀이 결정될 수 있다. 영상 픽셀 'B'에 대한 제2 모델은 영상 픽셀 'B'에 대해 추정된 디스패리티에 기초하여 결정될 수 있다.
라인(720)에 대응하는 위치에 존재하는 영상 픽셀들에 대해 위 과정이 수행되면, 영상 렌더링 장치는 라인(720)의 다음 라인에 위치하는 디스플레이 픽셀들에 대해 제1 모델을 결정하고, 다음 라인에 대응하는 위치에 존재하는 영상 픽셀들에 대해 다시 위와 같은 과정을 계속적으로 수행할 수 있다. 위와 같이 영상 렌더링 장치는 입력 영상에 포함된 각각의 영상 픽셀들의 픽셀 값을 디스플레이 픽셀에 직접 맵핑하는 것에 의해, 다시점 영상을 생성하지 않아도 입체 영상을 직접 렌더링할 수 있고, 입체 영상의 렌더링 과정에서 요구되는 계산량과 자원량을 현저히 줄일 수 있다.
도 8은 다른 실시예에 따른 제1 모델 및 제2 모델에 기초하여 입체 영상을 렌더링하는 과정을 설명하기 위한 도면이다.
영상 렌더링 장치는 복수의 영상 픽셀들이 가지는 복수의 제2 모델들을 이용하여 입체 영상을 렌더링할 수 있다. 영상 렌더링 장치는 복수의 제2 모델들을 이용하여 영상 픽셀들의 픽셀 값을 할당할 디스플레이 픽셀을 결정할 수 있다. 도 8은 인접한 영상 픽셀들에 대한 복수의 디스패리티 함수들(830, 840)을 이용하는 실시예에 관한 것으로, 디스패리티 함수(830)는 어느 하나의 영상 픽셀에 대한 디스패리티 함수를 나타내고, 디스패리티 함수(840)는 위 영상 픽셀에 인접한 영상 픽셀에 대한 디스패리티 함수를 나타낸다. 영상 렌더링 장치는 디스패리티 함수(830)와 디스패리티 함수(840) 사이의 영역에 기초하여 영상 픽셀들의 픽셀 값을 할당할 디스플레이 픽셀을 결정할 수 있다.
영상 렌더링 장치는 디스플레이 픽셀의 위치와 디스플레이 픽셀이 가지는 시점 방향 간의 대응 관계를 나타내는 기준점(810)들에 기초하여 중간 함수(820)들을 결정하고, 중간 함수(820)들과 디스패리티 함수들(830, 840)에 기초하여 영상 픽셀들의 픽셀 값을 할당할 디스플레이 픽셀을 결정할 수 있다. 영상 렌더링 장치는 결정된 디스플레이 픽셀에 영상 픽셀들의 픽셀 값들이 보간된 픽셀 값을 할당할 수 있다.
일 실시예에 따르면, 기준점(810)들을 포함하는 중간 함수(820)는 수학식 3에 의해 결정될 수 있고, 영상 픽셀들의 디스패리티 함수들(830, 840)은 수학식 7에 기초하여 결정될 수 있다. 영상 렌더링 장치는 디스패리티 함수(830)와 디스패리티 함수(840) 사이의 영역에 오버랩되는 중간 함수(820)들의 기준점(860)들을 결정할 수 있다. 영상 렌더링 장치는 디스패리티 함수(830)와 디스패리티 함수(840) 사이의 영역에 오버랩되는 각 기준점(860)들에 대응되는 디스플레이 픽셀들에 디스패리티 함수들(830, 840)에 대응되는 영상 픽셀들의 픽셀 값을 보간하여 할당할 수 있다. 예를 들어, 디스패리티 함수(830)이 영상 픽셀 'A'에 대한 디스패리티 함수이고, 디스패리티 함수(840)이 영상 픽셀 'B'에 대한 디스패리티 함수라고 하면, 기준점(860)에 대응되는 디스플레이 픽셀에는 영상 픽셀 'A'의 픽셀 값과 영상 픽셀 'B'에 대한 픽셀 값이 보간되어 할당될 수 있다. 영상 렌더링 장치는, 다른 디스플레이 픽셀들 및 다른 영상 픽셀들에 대해서도 위 과정을 수행할 수 있다.
도 9는 일 실시예에 따른 영상 렌더링 방법의 동작을 설명하기 위한 흐름도이다.
단계(910)에서, 영상 렌더링 장치는 입력 영상에 포함된 영상 픽셀의 디스패리티를 추정할 수 있다. 영상 픽셀의 디스패리티에 기초하여 해당 영상 픽셀이 가지는 시점 방향이 결정될 수 있다. 예를 들어, 영상 렌더링 장치는 다른 시점에서 촬영된 영상인 참조 영상과 입력 영상 간의 시점 차이에 기초하여 영상 픽셀의 디스패리티를 추정할 수 있다. 영상 렌더링 장치는 입력 영상에 포함된 모든 영상 픽셀들에 대해 참조 영상에서 대응되는 영상 픽셀들을 탐색하고, 입력 영상과 참조 영상 사이에서 대응되는 영상 픽셀들 간의 거리를 계산하여 영상 픽셀의 디스패리티를 추정할 수 있다. 다른 예로, 영상 렌더링 장치는 깊이 영상에 나타난 깊이 정보를 이용하여 해당 영상 픽셀의 디스패리티를 추정할 수도 있다.
단계(920)에서, 영상 렌더링 장치는 영상 픽셀의 시점 방향에 대응하는 시점 방향을 가지는 하나 또는 복수의 디스플레이 픽셀에 영상 픽셀의 픽셀 값을 할당하여 입체 영상을 렌더링할 수 있다. 디스플레이 픽셀은 미리 결정된 시점 방향을 가질 수 있고, 미리 결정된 개수의 서로 다른 시점 방향들 중 어느 하나의 시점 방향을 가질 수 있다. 디스플레이 픽셀의 시점 방향은 입체 영상을 디스플레이하는 디스플레이 장치에 포함된 렌티큘러 렌즈의 구조적 특징에 기초하여 결정될 수 있다.
영상 렌더링 장치는 영상 픽셀의 시점 방향 및 디스플레이 픽셀들의 시점 방향에 기초하여 복수의 디스플레이 픽셀들 중에서 영상 픽셀의 픽셀 값을 할당할 디스플레이 픽셀들을 탐색할 수 있다. 영상 렌더링 장치는 디스플레이 픽셀들의 시점 방향에 대한 제1 모델과 영상 픽셀의 시점 방향에 대한 제2 모델에 기초하여 멀티뷰 영상을 이용하지 않고, 입체 영상을 직접 렌더링할 수 있다.
영상 렌더링 장치는 디스플레이 패널에 배치된 디스플레이 픽셀들의 위치와 각 디스플레이 픽셀에 할당된 시점 방향 간의 대응 관계에 기초하여 제1 모델을 결정할 수 있다. 영상 렌더링 장치는 디스플레이 픽셀의 위치와 해당 디스플레이 픽셀이 가지는 시점 방향 간의 대응 관계를 나타내는 복수의 기준점들을 설정하고, 설정된 기준점들을 지나는 중간 함수를 결정하는 것에 의해 제1 모델을 모델링할 수 있다.
영상 렌더링 장치는 영상 픽셀의 디스패리티에 기초하여 영상 픽셀의 시점 방향에 대한 제2 모델을 결정할 수 있다. 영상 렌더링 장치는 입력 영상 내 영상 픽셀의 위치를 기준으로 영상 픽셀로부터 출력될 광선의 방향을 모델링하여 제2 모델을 결정할 수 있다. 영상 렌더링 장치는 영상 픽셀에서 출력되는 광선의 시점 방향에 관한 함수인 디스패리티 함수를 결정하는 것에 의해 제2 모델을 모델링할 수 있다.
영상 렌더링 장치는 제1 모델 및 제2 모델을 이용하여 해당 영상 픽셀의 픽셀 값을 할당할 하나 또는 복수의 디스플레이 픽셀을 결정할 수 있다. 영상 렌더링 장치는 제1 모델 및 제2 모델 간의 대응 관계를 이용하여 영상 픽셀의 픽셀 값을 할당할 디스플레이 픽셀을 결정하고, 결정된 디스플레이 픽셀에 제2 모델의 대상인 특정 영상 픽셀의 픽셀 값을 할당하여 입체 영상을 렌더링할 수 있다.
일 실시예에 따르면, 영상 렌더링 장치는 제1 모델과 하나의 영상 픽셀에 대한 제2 모델을 이용하여 영상 픽셀들의 픽셀 값을 할당할 하나 또는 복수의 디스플레이 픽셀을 결정할 수 있다. 영상 렌더링 장치는 중간 함수와 디스패리티 함수 간의 교차점을 결정하고, 중간 함수와 디스패리티 함수 간의 교차점에 기초하여 영상 픽셀의 픽셀 값이 할당될 하나 또는 복수의 디스플레이 픽셀을 결정할 수 있다. 예를 들어, 영상 렌더링 장치는 중간 함수에 포함된 기준점들 중 중간 함수와 디스패리티 함수 간의 교차점과 가장 가까운 거리에 있는 기준점을 결정하고, 결정된 기준점에 대응하는 디스플레이 픽셀에 해당 영상 픽셀의 픽셀 값을 할당할 수 있다. 또는, 영상 렌더링 장치는 영상 픽셀의 디스패리티에 기초하여 결정된 픽셀 영역에 포함되는 기준점을 식별하고, 식별된 기준점에 대응하는 디스플레이 픽셀에 해당 영상 픽셀의 픽셀 값을 할당할 수 있다.
다른 실시예에 따르면, 영상 렌더링 장치는 제1 모델과 복수의 영상 픽셀들에 대한 제2 모델들을 이용하여 영상 픽셀들의 픽셀 값을 할당할 하나 또는 복수의 디스플레이 픽셀을 결정할 수 있다. 영상 픽셀들은 서로 인접한 영상 픽셀들일 수 있다. 영상 렌더링 장치는 복수의 영상 픽셀들의 디스패리티 함수들을 이용하여 픽셀 값이 할당될 디스플레이 픽셀을 결정할 수 있다. 영상 렌더링 장치는 디스플레이 픽셀의 위치와 해당 디스플레이 픽셀이 가지는 시점 방향 간의 대응 관계를 나타내는 기준점을 설정하고, 복수의 기준점들을 지나는 중간 함수를 결정할 수 있다. 영상 렌더링 장치는 복수의 디스패리티 함수들 사이의 영역과 오버랩되는 중간 함수의 기준점을 식별하고, 식별된 기준점에 대응하는 디스플레이 픽셀에 해당 영상 픽셀들의 픽셀 값들을 보간하여 할당할 수 있다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 비록 한정된 도면에 의해 실시예들이 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (20)

  1. 복수의 디스플레이 픽셀들을 포함하는 디스플레이 장치를 통해 디스플레이될 입체 영상을 렌더링하는 영상 렌더링 방법에 있어서,
    입력 영상에 포함된 영상 픽셀의 디스패리티를 추정하는 단계; 및
    다시점 영상을 생성하지 않고, 상기 영상 픽셀의 시점 방향에 대응하는 시점 방향을 가지는 적어도 하나의 디스플레이 픽셀에 상기 영상 픽셀의 픽셀 값을 할당하는 단계를 포함하고,
    상기 영상 픽셀의 시점 방향은 상기 영상 픽셀의 디스패리티에 기초하여 결정되고,
    상기 영상 픽셀의 픽셀 값을 할당하는 단계는,
    상기 디스플레이 픽셀들의 시점 방향에 대한 제1 모델 및 상기 영상 픽셀의 디스패리티에 기초한 상기 영상 픽셀의 시점 방향에 대한 제2 모델을 이용하여 상기 영상 픽셀의 픽셀 값을 할당하는 단계를 포함하는,
    영상 렌더링 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 제1 모델은
    상기 디스플레이 픽셀들의 위치와 시점 방향 간의 대응 관계에 기초한 모델인 영상 렌더링 방법.
  4. 제1항에 있어서,
    상기 제2 모델은
    상기 입력 영상 내 상기 영상 픽셀의 위치를 기준으로 상기 영상 픽셀로부터 출력될 광선의 방향을 모델링한 모델인 영상 렌더링 방법.
  5. 제1항에 있어서,
    상기 영상 픽셀의 픽셀 값을 할당하는 단계는,
    상기 제1 모델과 상기 제2 모델 간의 대응 관계에 기초하여 상기 영상 픽셀의 시점 방향과 동일한 시점 방향을 가지는 디스플레이 픽셀을 식별하고, 상기 식별된 디스플레이 픽셀에 상기 영상 픽셀의 픽셀 값을 할당하는 단계
    를 포함하는 영상 렌더링 방법.
  6. 제1항에 있어서,
    적어도 하나의 디스플레이 픽셀을 결정하는 단계는,
    상기 제1 모델과 복수의 영상 픽셀들에 대한 제2 모델들을 이용하여 상기 영상 픽셀들의 픽셀 값을 할당할 적어도 하나의 디스플레이 픽셀을 결정하는 단계를 포함하고,
    상기 복수의 영상 픽셀들은, 서로 인접한 영상 픽셀들인, 영상 렌더링 방법.
  7. 제6항에 있어서,
    상기 영상 픽셀의 픽셀 값을 할당하는 단계는,
    상기 결정된 적어도 하나의 디스플레이 픽셀에 상기 복수의 영상 픽셀들의 픽셀 값들을 보간(interpolation)하여 할당하는 단계
    를 포함하는 영상 렌더링 방법.
  8. 제1항에 있어서,
    상기 복수의 디스플레이 픽셀들은,
    미리 결정된 개수의 서로 다른 시점 방향들 중 어느 하나의 시점 방향을 가지는, 영상 렌더링 방법.
  9. 제1항에 있어서,
    상기 디스플레이 픽셀의 시점 방향은,
    상기 디스플레이 장치에 포함된 렌티큘러 렌즈의 구조적 특징에 기초하여 결정되는, 영상 렌더링 방법.
  10. 제1항에 있어서,
    상기 디스패리티를 추정하는 단계는,
    깊이 영상에 포함된 깊이 정보를 이용하여 상기 영상 픽셀의 디스패리티를 추정하는 단계
    를 포함하는 영상 렌더링 방법.
  11. 제1항에 있어서,
    상기 디스패리티를 추정하는 단계는,
    상기 입력 영상이 촬영된 시점과 다른 시점에서 촬영된 영상인 참조 영상과 상기 입력 영상 간의 시점 차이에 기초하여 상기 영상 픽셀의 디스패리티를 추정하는 단계
    를 포함하는 영상 렌더링 방법.
  12. 제1항 및 제3항 내지 제11항 중 어느 한 항의 방법을 실행하기 위한 프로그램이 기록된 컴퓨터에서 판독 가능한 기록 매체.
  13. 미리 결정된 시점 방향을 가지는 복수의 디스플레이 픽셀들을 통해 입체 영상을 디스플레이하는 디스플레이부; 및
    다시점 영상을 생성하지 않고, 입력 영상의 영상 픽셀이 가지는 시점 방향에 기초하여 결정된 적어도 하나의 디스플레이 픽셀에 상기 영상 픽셀의 픽셀 값을 할당하여 상기 입체 영상을 렌더링하는 영상 렌더링부를 포함하고,
    상기 영상 렌더링부는,
    상기 디스플레이 픽셀들의 시점 방향에 대한 제1 모델 및 상기 영상 픽셀의 디스패리티에 기초한 상기 영상 픽셀의 시점 방향에 대한 제2 모델을 이용하여 상기 영상 픽셀의 픽셀 값을 할당하는,
    디스플레이 장치.
  14. 삭제
  15. 제13항에 있어서,
    상기 영상 렌더링부는,
    상기 제1 모델과 복수의 영상 픽셀들에 대한 제2 모델들을 이용하여 상기 영상 픽셀들의 픽셀 값을 할당할 적어도 하나의 디스플레이 픽셀을 결정할 수 있고,
    상기 복수의 영상 픽셀들은, 서로 인접한 영상 픽셀들인, 디스플레이 장치.
  16. 제13항에 있어서,
    상기 영상 렌더링부는,
    다른 시점에서 촬영된 참조 영상과 상기 입력 영상 간의 시점 차이에 기초하여 상기 영상 픽셀의 디스패리티를 추정하고,
    상기 영상 픽셀이 가지는 시점 방향은, 상기 추정된 디스패리티에 기초하여 결정되는, 디스플레이 장치.
  17. 제13항에 있어서,
    상기 영상 렌더링부는,
    깊이 영상에 나타난 깊이 정보를 이용하여 상기 영상 픽셀의 디스패리티를 추정하고,
    상기 영상 픽셀이 가지는 시점 방향은, 상기 추정된 디스패리티에 기초하여 결정되는, 디스플레이 장치.
  18. 제13항에 있어서,
    상기 디스플레이부는,
    상기 디스플레이 픽셀들의 상부에 구비되는 렌티큘러 렌즈를 포함하고,
    상기 디스플레이 픽셀들의 시점 방향은, 상기 렌티큘러 렌즈에 의해 결정되는, 디스플레이 장치.
  19. 입력 영상에 포함된 영상 픽셀의 디스패리티를 추정하는 디스패리티 추정부; 및
    다시점 영상을 생성하지 않고, 상기 영상 픽셀의 시점 방향에 대응하는 시점 방향을 가지는 적어도 하나의 디스플레이 픽셀에 상기 영상 픽셀의 픽셀 값을 할당하여 입체 영상을 렌더링하는 영상 렌더링부를 포함하고,
    상기 영상 픽셀의 시점 방향은, 상기 영상 픽셀의 디스패리티에 기초하여 결정되고,
    상기 영상 렌더링부는,
    상기 디스플레이 픽셀들의 시점 방향에 대한 제1 모델 및 상기 영상 픽셀의 디스패리티에 기초한 상기 영상 픽셀의 시점 방향에 대한 제2 모델을 이용하여 상기 영상 픽셀의 픽셀 값을 할당하는,
    영상 렌더링 장치.
  20. 제19항에 있어서,
    상기 디스플레이 픽셀은, 미리 결정된 시점 방향을 가지고,
    상기 영상 렌더링부는,
    상기 영상 픽셀의 시점 방향 및 디스플레이 픽셀들의 시점 방향에 기초하여 복수의 디스플레이 픽셀들 중에서 상기 영상 픽셀의 픽셀 값을 할당할 디스플레이 픽셀들을 탐색하는, 영상 렌더링 장치.
KR1020140096251A 2014-07-29 2014-07-29 영상 렌더링 장치 및 방법 KR102240564B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020140096251A KR102240564B1 (ko) 2014-07-29 2014-07-29 영상 렌더링 장치 및 방법
US14/591,184 US10721460B2 (en) 2014-07-29 2015-01-07 Apparatus and method for rendering image
EP15155620.6A EP2981080B1 (en) 2014-07-29 2015-02-18 Apparatus and method for rendering image
CN201510170809.3A CN105323574B (zh) 2014-07-29 2015-04-10 用于渲染图像的设备和方法
JP2015145009A JP6717576B2 (ja) 2014-07-29 2015-07-22 映像レンダリング装置及び方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140096251A KR102240564B1 (ko) 2014-07-29 2014-07-29 영상 렌더링 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20160014260A KR20160014260A (ko) 2016-02-11
KR102240564B1 true KR102240564B1 (ko) 2021-04-15

Family

ID=52573610

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140096251A KR102240564B1 (ko) 2014-07-29 2014-07-29 영상 렌더링 장치 및 방법

Country Status (5)

Country Link
US (1) US10721460B2 (ko)
EP (1) EP2981080B1 (ko)
JP (1) JP6717576B2 (ko)
KR (1) KR102240564B1 (ko)
CN (1) CN105323574B (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102647351B1 (ko) * 2017-01-26 2024-03-13 삼성전자주식회사 3차원의 포인트 클라우드를 이용한 모델링 방법 및 모델링 장치
WO2021133139A1 (en) * 2019-12-27 2021-07-01 Samsung Electronics Co., Ltd. Electronic apparatus and control method thereof
CN113490963A (zh) * 2020-01-22 2021-10-08 华为技术有限公司 显示系统、图形处理器gpu、显示控制器以及显示方法
CN111839681A (zh) * 2020-07-08 2020-10-30 胡飞青 利用内容解析的压迫区域识别平台及方法
CN115022612B (zh) * 2022-05-31 2024-01-09 北京京东方技术开发有限公司 一种显示装置的驱动方法、装置及显示设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008103820A (ja) 2006-10-17 2008-05-01 Sharp Corp 立体画像処理装置
WO2009027691A1 (en) * 2007-08-29 2009-03-05 Setred As Rendering improvement for 3d display
US20120105597A1 (en) 2010-11-02 2012-05-03 Sony Corporation Image processor, image processing method, and image pickup apparatus
US20120139902A1 (en) * 2010-12-03 2012-06-07 Tatsuro Fujisawa Parallax image generating apparatus, stereoscopic picture displaying apparatus and parallax image generation method
US20130135448A1 (en) 2011-11-28 2013-05-30 Sony Corporation Image processing device and method, recording medium, and program

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7113634B2 (en) * 2001-07-31 2006-09-26 Canon Kabushiki Kaisha Stereoscopic image forming apparatus, stereoscopic image forming method, stereoscopic image forming system and stereoscopic image forming program
JP2003044880A (ja) * 2001-07-31 2003-02-14 Canon Inc 立体画像形成装置、立体画像形成方法、プログラム、及び記憶媒体
JP3966830B2 (ja) * 2003-03-28 2007-08-29 株式会社東芝 立体表示装置
US7746377B2 (en) 2003-11-28 2010-06-29 Topcon Corporation Three-dimensional image display apparatus and method
CA2511040A1 (en) * 2004-09-23 2006-03-23 The Governors Of The University Of Alberta Method and system for real time image rendering
JP4212564B2 (ja) * 2005-02-28 2009-01-21 ザイオソフト株式会社 画像処理方法および画像処理プログラム
JP4703635B2 (ja) 2007-12-12 2011-06-15 株式会社日立製作所 立体視画像生成方法、その装置、及び立体視画像表示装置
KR100950046B1 (ko) * 2008-04-10 2010-03-29 포항공과대학교 산학협력단 무안경식 3차원 입체 ｔｖ를 위한 고속 다시점 3차원 입체영상 합성 장치 및 방법
KR101105244B1 (ko) 2010-03-11 2012-01-13 중앙대학교 산학협력단 3차원 격자구조에서의 교점을 이용한 곡면 모델링 장치 및 방법
JP5660361B2 (ja) 2010-03-26 2015-01-28 ソニー株式会社 画像処理装置および方法、並びにプログラム
WO2011121397A1 (en) 2010-04-01 2011-10-06 Nokia Corporation Method, apparatus and computer program for selecting a stereoscopic imaging viewpoint pair
US8582865B2 (en) 2010-04-28 2013-11-12 General Electric Company Ultrasound imaging with ray casting and software-based image reconstruction
BR112014010846A8 (pt) 2011-11-09 2017-06-20 Koninklijke Philips Nv dispositivo de exibição, e painel de exibição
CN103425806A (zh) 2012-05-17 2013-12-04 鸿富锦精密工业（深圳）有限公司 三次元编程产品模拟系统及方法
KR101402185B1 (ko) 2012-06-01 2014-06-19 광운대학교 산학협력단 색상 성분 보정을 위한 특징점 기반 다시점 비디오의 전처리 방법
KR101944911B1 (ko) * 2012-10-31 2019-02-07 삼성전자주식회사 영상 처리 방법 및 영상 처리 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008103820A (ja) 2006-10-17 2008-05-01 Sharp Corp 立体画像処理装置
WO2009027691A1 (en) * 2007-08-29 2009-03-05 Setred As Rendering improvement for 3d display
US20120105597A1 (en) 2010-11-02 2012-05-03 Sony Corporation Image processor, image processing method, and image pickup apparatus
US20120139902A1 (en) * 2010-12-03 2012-06-07 Tatsuro Fujisawa Parallax image generating apparatus, stereoscopic picture displaying apparatus and parallax image generation method
US20130135448A1 (en) 2011-11-28 2013-05-30 Sony Corporation Image processing device and method, recording medium, and program

Also Published As

Publication number Publication date
EP2981080B1 (en) 2019-04-17
CN105323574B (zh) 2019-05-10
JP2016032298A (ja) 2016-03-07
US20160037153A1 (en) 2016-02-04
KR20160014260A (ko) 2016-02-11
JP6717576B2 (ja) 2020-07-01
EP2981080A1 (en) 2016-02-03
US10721460B2 (en) 2020-07-21
CN105323574A (zh) 2016-02-10

Similar Documents

Publication Publication Date Title
KR102415502B1 (ko) 복수의 사용자를 위한 라이트 필드 렌더링 방법 및 장치
KR102240568B1 (ko) 영상 처리 방법 및 장치
KR101944911B1 (ko) 영상 처리 방법 및 영상 처리 장치
KR102370062B1 (ko) 3차원 디스플레이 장치를 위한 보정 계수 결정 방법 및 그 방법을 이용한 3차원 디스플레이 장치
KR102240564B1 (ko) 영상 렌더링 장치 및 방법
KR20110090958A (ko) 이미지 속성들에 대한 오클루젼 데이터의 생성
EP2787734B1 (en) Apparatus and method for forming light field image
KR102551274B1 (ko) 장면의 계층적 깊이 데이터를 생성하기 위한 방법
US20160182813A1 (en) Method and apparatus for generating an adapted slice image from a focal stack
US20170116777A1 (en) Image processing method and apparatus
KR102006079B1 (ko) 육각 렌즈를 이용한 집적영상 시스템의 시점영상 매핑 방법
JP6595878B2 (ja) 要素画像群生成装置及びそのプログラム
KR102608466B1 (ko) 영상 처리 방법 및 영상 처리 장치
KR20180037738A (ko) 디스플레이 장치 및 디스플레이 장치 설계 방법
KR20210069593A (ko) 플랜옵틱 포인트 클라우드 생성 방법 및 장치
JP2014186587A (ja) 画像処理装置、画像処理装置の制御方法、及びプログラム
KR20150039060A (ko) 사용자의 눈의 위치에 기초하는 레이어드 디스플레이 기법을 위한 영상 생성 장치 및 디스플레이 장치
KR20170049933A (ko) 렌티큘러 합성영상 생성장치

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right