KR102143944B1 - Method of adjusting three-dimensional effect and stereoscopic image display using the same - Google Patents
Method of adjusting three-dimensional effect and stereoscopic image display using the same Download PDFInfo
- Publication number
- KR102143944B1 KR102143944B1 KR1020130115303A KR20130115303A KR102143944B1 KR 102143944 B1 KR102143944 B1 KR 102143944B1 KR 1020130115303 A KR1020130115303 A KR 1020130115303A KR 20130115303 A KR20130115303 A KR 20130115303A KR 102143944 B1 KR102143944 B1 KR 102143944B1
- Authority
- KR
- South Korea
- Prior art keywords
- depth
- image data
- data
- eye image
- eye
- Prior art date
Links
Images
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
본 발명은 입체감 조절 방법과 이를 이용한 입체 영상 표시장치에 관한 것으로, 제1 파라미터를 이용하여 상기 포지티브 뎁쓰를 조절하고 제2 파라미터를 이용하여 상기 네가티브 뎁쓰를 조절하여 상기 좌안 영상 데이터와 상기 우안 영상 데이터의 디스패리티를 변경하고, 제로 뎁쓰의 좌안 및 우안 영상 데이터를 변경되지 않는 단계; 상기 포지티브 뎁쓰와 상기 네가티브 뎁쓰가 조절된 좌안 영상 및 우안 영상의 픽셀 데이터와, 제로 뎁쓰의 좌안 및 우안 영상 데이터를 데이터 구동회로에 전송하는 단계; 및 상기 데이터 구동회로로부터 출력된 픽셀 데이터의 데이터 전압을 표시패널의 데이터 라인들에 공급하는 단계를 포함한다. The present invention relates to a three-dimensional effect adjustment method and a stereoscopic image display device using the same, wherein the left-eye image data and the right-eye image data are adjusted by adjusting the positive depth using a first parameter and adjusting the negative depth using a second parameter. Changing the disparity of and not changing left-eye and right-eye image data of zero depth; Transmitting pixel data of a left-eye image and a right-eye image in which the positive depth and the negative depth are adjusted, and left-eye and right-eye image data of zero depth to a data driving circuit; And supplying a data voltage of the pixel data output from the data driving circuit to data lines of the display panel.
Description
본 발명은 입체감 조절 방법과 이를 이용한 입체 영상 표시장치에 관한 것이다.
The present invention relates to a three-dimensional effect adjustment method and a three-dimensional image display device using the same.
텔레비젼이나 모니터와 같은 표시장치에 입체 영상 재현 기술이 적용되어 가정에서도 3D 입체 영상을 감상할 수 있게 되었다. 입체 영상 표시장치는 안경 방식과 무안경 방식으로 나뉘어질 수 있다. 안경 방식은 직시형 표시소자나 프로젝터에 좌우 시차 영상의 편광 방향을 바꿔서 또는 시분할 방식으로 표시하고, 편광 안경 또는 셔터 안경을 사용하여 입체 영상을 구현한다 무안경 방식은 일반적으로 좌우 시차 영상의 광축을 분리하기 위한 패럴랙스 베리어(parallax barrier), 렌티큘러 렌즈(lenticular lens) 등의 광학 부품을 표시 화면의 앞에 또는 뒤에 설치하여 입체 영상을 구현한다. 3D image reproduction technology has been applied to display devices such as TVs and monitors, allowing 3D stereoscopic images to be enjoyed even at home. The stereoscopic image display device may be divided into a glasses type and a non-glasses type. The glasses method displays a three-dimensional image by changing the polarization direction of left and right parallax images on a direct-view display device or projector or by using a time division method, and uses polarized glasses or shutter glasses to implement a stereoscopic image. Optical components such as a parallax barrier and a lenticular lens for separation are installed in front of or behind the display screen to realize a 3D image.
입체 영상 표시장치는 사용자가 입체감을 조절할 수 있는 유저 인터페이스를 제공하고 있다. 사용자는 유저 인터페이스를 통해 입체 영상의 뎁쓰(depth)와 포커스(focus)를 조절할 수 있다. 입체 영상 표시장치는 사용자로부터 입력된 파라미터 값을 뎁쓰에 가산하거나 곱하여 입체감을 조절한다. The stereoscopic image display device provides a user interface through which a user can adjust the stereoscopic effect. The user can adjust the depth and focus of the 3D image through the user interface. The 3D image display device adjusts the 3D effect by adding or multiplying the parameter value input from the user to the depth.
입체 영상 표시장치에 표시되는 3D 이미지로부터 느낄 수 있는 입체감은 디스패리티(Disparity)로 조절될 수 있다. 디스패리티를 조절하면 뎁쓰(Depth)가 조절된다. 뎁쓰는 도 1 및 도 2와 같이 화면 앞 방향에서 객체의 허상이 맺히는 네가티브 뎁쓰(Negative depth)와, 화면의 뒤로 객체의 화상이 맺히는 포지티브 뎁쓰(Positive depth)으로 나뉘어진다. The three-dimensional effect that can be felt from the 3D image displayed on the three-dimensional image display device may be adjusted by disparity. When disparity is adjusted, depth is adjusted. As shown in FIGS. 1 and 2, the depth is divided into a negative depth in which a virtual image of an object is formed in the front direction of the screen and a positive depth in which an image of an object is formed behind the screen.
도 1에서, 'S'는 화면에 표시되는 동일 객체에 대한 좌안 영상의 픽셀 데이터(이하, "좌안 픽셀(L)"이라 함)와, 우안 영상의 픽셀 데이터(이하, "우안 픽셀(R)"이라 함) 간의 거리로 표현되는 디스패리티(disparity)이다. 시청자는 좌안으로 좌안 픽셀을 보고 우안으로 우안 픽셀을 볼 때 양안 시차로 인하여 입체감을 느낀다. 'D'는 화면과 사용자간 거리, 'l'은 사용자의 양안간 거리(6~7cm)이다. 'd'는 화면과 컨버젼스 포인트(Convergence point) 사이의 뎁쓰 즉, 심도이다. 컨버젼스 포인트(Convergence point)는 시청자의 좌안과 우안의 초점 거리에 위치한다. 시청자는 객체의 허상 위치를 컨버젼스 포인트에 위치로 인지한다. 화면은 시차가 없는 면(zero parallax)이다. In FIG. 1,'S' denotes pixel data of a left-eye image (hereinafter referred to as "left-eye pixel (L)") and pixel data of a right-eye image (hereinafter, "right-eye pixel (R)") for the same object displayed on the screen. It is a disparity expressed as a distance between the two. When a viewer sees the left eye pixel with the left eye and the right eye pixel with the right eye, the viewer feels a three-dimensional effect due to binocular parallax. 'D' is the distance between the screen and the user, and'l' is the distance between the user's eyes (6~7cm). 'd' is the depth between the screen and the convergence point, that is, the depth. The convergence point is located at the focal length of the viewer's left and right eyes. The viewer perceives the position of the virtual image of the object as the position at the convergence point. The screen is a zero parallax.
네가티브 뎁쓰는 시청자와 화면 사이에 객체의 허상이 맺히게 한다. 시청자의 좌안과 좌안 픽셀 사이의 광경로(이하, "L 광경로"라 함)와, 시청자의 우안과 우안 픽셀 사이의 광경로(이하, "R 광경로"라 함)가 화면의 앞에서 교차될 때 네가티브 뎁쓰가 구현된다. 따라서, 네가티브 뎁쓰에서 좌안 픽셀과 우안 픽셀의 위치는 도 3의 좌측 원형 객체와 같다. 도 1과 같은 기하학적 해석에서 볼 때, 네가티브 뎁쓰는 d = (S×D)/(I+S)로 나타낼 수 있다. Negative depth causes an illusion of an object to form between the viewer and the screen. The light path between the viewer's left and left eye pixels (hereinafter referred to as "L light path") and the viewer's right eye and right eye pixels (hereinafter referred to as "R light path") cross the front of the screen. When negative depth is implemented. Accordingly, the positions of the left-eye and right-eye pixels in the negative depth are the same as the left circular object of FIG. 3. In the geometric analysis as shown in FIG. 1, the negative depth can be expressed as d = (S×D)/(I+S).
포지티브 뎁쓰는 화면 뒤로 객체의 허상이 맺히게 한다. L 광경로와 R 광경로가 화면의 뒤에 위치하는 컨버젼스 포인터에서 만난다. 따라서, 포지티브 뎁쓰에서 좌안 픽셀과 우안 픽셀의 위치는 도 3의 삼각형 객체와 같다. 도 1과 같은 기하학적 해석에서, 포지티브 뎁쓰는 d = (S×D)/(I-S)로 나타낼 수 있다. Positive depth causes the virtual image of an object to form behind the screen. The L light path and the R light path meet at the convergence pointer located behind the screen. Therefore, the positions of the left-eye and right-eye pixels in the positive depth are the same as those of the triangular object of FIG. 3. In the geometric analysis as shown in FIG. 1, the positive depth may be represented by d = (S×D)/(I-S).
도 3에서 사각형 객체는 좌안 픽셀과 우안 픽셀 사이의 디스패리티가 없는 제로 뎁쓰(zero depth) 객체이다. 사각형 객체의 컨버젼스 포인트는 화면 상에 위치한다. In FIG. 3, a square object is a zero depth object without disparity between a left-eye pixel and a right-eye pixel. The convergence point of the rectangular object is located on the screen.
종래의 입체감 조절 방법은 좌안 픽셀과 우안 픽셀의 거리와 교차 정도 즉, 디스패리티에 변화를 주어 사용자가 느끼는 입체감을 변화시킨다. 그런데 종래의 입체감 조절 방법은 뎁쓰 유형이나 사용자 입체감 인지 특성과 무관하게 같은 파라미터 값을 가산하거나 곱하기 때문에 입체감을 왜곡시킬 수 있다. 예를 들어, 종래의 입체가 조절 방법은 네가티브 뎁쓰(Negative depth), 제로 뎁쓰(zero depth), 및 포지티브 뎁쓰(Positive depth)를 포함하는 3D 이미지의 모든 뎁쓰에 같은 파라미터 값을 가산하거나 곱한다. 제로 뎁쓰는 디스패리티가 제로(zero)이므로 화면 상에 컨버젼스 포인트가 위치하므로 입체감이 없다. 이 방법은 네가티브 뎁쓰와 포지티브 뎁쓰에 대하여 사용자가 느끼는 입체감을 다르게 하고 또한, 제로 뎁쓰에 입체감을 부여하여 입체감을 왜곡시킨다.
The conventional method for adjusting the three-dimensional effect changes the three-dimensional effect that the user feels by changing the distance and the degree of intersection between the left-eye pixel and the right-eye pixel, that is, disparity. However, the conventional method of adjusting the three-dimensional effect may distort the three-dimensional effect because the same parameter value is added or multiplied regardless of the depth type or the user's three-dimensional effect perception characteristic. For example, in the conventional stereoscopic value adjustment method, the same parameter value is added or multiplied to all depths of a 3D image including negative depth, zero depth, and positive depth. Since the zero depth has zero disparity, there is no three-dimensional effect because the convergence point is located on the screen. In this method, the three-dimensional effect that the user feels is different for the negative depth and the positive depth, and the three-dimensional effect is distorted by giving a three-dimensional effect to the zero depth.
본 발명은 입체감을 조절할 때 시청자의 입체감 인지 특성을 고려하여 입체감 왜곡을 줄이도록 한 입체감 조절 방법과 이를 이용한 입체 영상 표시장치를 제공한다.
The present invention provides a three-dimensional effect adjustment method and a three-dimensional image display device using the same, in which three-dimensional effect is reduced in consideration of a viewer's three-dimensional effect when adjusting the three-dimensional effect.
본 발명의 영상 데이터 생성 방법은 입체 영상 데이터로부터 좌안 영상 데이터와 우안 영상 데이터를 분리하는 단계; 입력 입체 영상 데이터의 포지티브 뎁쓰와 네가티브 뎁쓰를 판단하는 단계; 제1 파라미터를 이용하여 상기 포지티브 뎁쓰를 조절하고 제2 파라미터를 이용하여 상기 네가티브 뎁쓰를 조절하여 상기 좌안 영상 데이터와 상기 우안 영상 데이터의 디스패리티를 변경하고, 제로 뎁쓰의 좌안 및 우안 영상 데이터를 변경되지 않는 단계; 상기 포지티브 뎁쓰와 상기 네가티브 뎁쓰가 조절된 좌안 영상 및 우안 영상의 픽셀 데이터와, 제로 뎁쓰의 좌안 및 우안 영상 데이터를 데이터 구동회로에 전송하는 단계; 및 상기 데이터 구동회로로부터 출력된 픽셀 데이터의 데이터 전압을 표시패널의 데이터 라인들에 공급하는 단계를 포함한다.
상기 제2 파라미터는 상기 제1 파라미터 보다 크다.The image data generation method of the present invention includes the steps of separating left-eye image data and right-eye image data from stereoscopic image data; Determining a positive depth and a negative depth of the input stereoscopic image data; The positive depth is adjusted using a first parameter and the negative depth is adjusted using a second parameter to change the disparity of the left-eye image data and the right-eye image data, and the left-eye and right-eye image data of zero depth are changed. Steps not to be taken; Transmitting pixel data of a left-eye image and a right-eye image in which the positive depth and the negative depth are adjusted, and left-eye and right-eye image data of zero depth to a data driving circuit; And supplying a data voltage of the pixel data output from the data driving circuit to data lines of the display panel.
The second parameter is greater than the first parameter.
삭제delete
본 발명의 입체 영상 표시장치는 입체 영상 데이터로부터 좌안 영상 데이터와 우안 영상 데이터를 분리하여 상기 입력 입체 영상 데이터의 포지티브 뎁쓰와 네가티브 뎁쓰를 판단하고, 제1 파라미터를 이용하여 상기 포지티브 뎁쓰를 조절하고 제2 파라미터를 이용하여 상기 네가티브 뎁쓰를 조절하여 상기 좌안 영상 데이터와 상기 우안 영상 데이터의 디스패리티를 변경하고, 제로 뎁쓰의 좌안 및 우안 영상 데이터를 변경하지 않는 이미지 조절 장치; 및 상기 포지티브 뎁쓰와 상기 네가티브 뎁쓰가 조절된 좌안 영상 및 우안 영상의 픽셀 데이터와, 제로 뎁쓰의 좌안 및 우안 영상 데이터를 입력 받아 데이터 전압으로 변환하여 표시패널의 데이터 라인들로 출력하는 데이터 구동회로를 포함한다.
상기 이미지 조절 장치는 상기 네가티브 뎁쓰에서 디스패리티가 큰 뎁쓰일수록 상기 네가티브 뎁쓰를 높은 계조로 표현하고, 상기 포지티브 뎁쓰에서 상기 디스패리티가 큰 뎁쓰일수록 상기 포지티브 뎁쓰를 낮은 계조로 표현한 디스패리티 맵 이미지를 생성한다.The stereoscopic image display device of the present invention separates the left-eye image data and the right-eye image data from the stereoscopic image data to determine the positive depth and the negative depth of the input stereoscopic image data, and adjusts the positive depth using a first parameter. An image adjusting device that adjusts the negative depth using a 2 parameter to change the disparity of the left-eye image data and the right-eye image data, and does not change the left-eye and right-eye image data of zero depth; And a data driving circuit that receives pixel data of a left-eye image and a right-eye image in which the positive depth and the negative depth are adjusted, and the left-eye and right-eye image data of zero depth, converts it into a data voltage, and outputs the data to data lines of the display panel. Include.
The image adjustment device expresses the negative depth as a higher grayscale as the depth of the negative depth is greater, and the disparity map image expresses the positive depth as a lower grayscale as the depth is greater in the positive depth. Create
본 발명은 네가티브 뎁쓰를 조절하기 위한 파라미터와 포지티브 뎁쓰를 조절하기 위한 파라미터를 독립적으로 설정하여 입체감을 조절할 때 입체감 왜곡을 줄일 수 있다.
In the present invention, a parameter for adjusting a negative depth and a parameter for adjusting a positive depth may be independently set to reduce distortion of a three-dimensional effect when adjusting a three-dimensional effect.
도 1 내지 도 3은 입체감을 구현하기 위한 네가티브 뎁쓰과 포지티브 뎁쓰를 보여 주는 도면들이다.
도 4는 네가티브 뎁쓰에서 디스패리티에 따라 변하는 시청자의 입체감 인지 뎁쓰를 보여 주는 도면이다.
도 5는 포지티브 뎁쓰에서 디스패리티에 따라 변하는 시청자의 입체감 인지 뎁쓰를 보여 주는 도면이다.
도 6은 본 발명의 실시예에 따른 입체감 조절 방법의 제어 수순을 보여 주는 흐름도이다.
도 7은 입체 영상 데이터 포맷의 예들을 보여 주는 도면이다.
도 8은 포지티브 뎁쓰와 네가티브 뎁쓰를 조절하기 위한 파라미터들을 보여 주는 도면이다.
도 9는 본 발명의 실시예에 따른 입체 영상 표시장치를 보여 주는 블록도이다. 1 to 3 are diagrams showing negative depth and positive depth for realizing a three-dimensional effect.
4 is a diagram showing a viewer's three-dimensional perception depth that changes according to disparity in a negative depth.
FIG. 5 is a diagram showing a viewer's three-dimensional perception depth that changes according to disparity in a positive depth.
6 is a flowchart showing a control procedure of a method for adjusting a three-dimensional effect according to an embodiment of the present invention.
7 is a diagram showing examples of a 3D image data format.
8 is a diagram showing parameters for adjusting the positive depth and the negative depth.
9 is a block diagram showing a 3D image display device according to an embodiment of the present invention.
이하 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예들을 상세히 설명한다. 명세서 전체에 걸쳐서 동일한 참조번호들은 실질적으로 동일한 구성요소들을 의미한다. 이하의 설명에서, 본 발명과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 상세한 설명을 생략한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. The same reference numerals throughout the specification mean substantially the same elements. In the following description, when it is determined that a detailed description of a known function or configuration related to the present invention may unnecessarily obscure the subject matter of the present invention, a detailed description thereof will be omitted.
실시예 설명에 앞서 실시예에서 이용되는 일부 용어들에 대하여 정의하면 다음과 같다. Prior to the description of the embodiment, some terms used in the embodiment will be defined as follows.
디스패리티(disparity)는 양안 시차를 구현하는 픽셀 데이터들 간의 거리로서, 화면에 표시되는 동일 객체에 대한 좌안 픽셀과 우안 픽셀 간의 거리이다.Disparity is a distance between pixel data implementing binocular parallax, and is a distance between a left-eye pixel and a right-eye pixel for the same object displayed on the screen.
본 발명은 좌안에서 보이는 픽셀 데이터와 우안에서 보이는 픽셀 데이터의 시프트(shift) 양으로 디스패리티를 구현한다. The present invention implements disparity by a shift amount of pixel data visible from the left eye and pixel data visible from the right eye.
도 4는 네가티브 뎁쓰에서 디스패리티(x축)에 따라 변하는 시청자의 입체감 인지 뎁쓰(y축)이다. 도 5는 포지티브 뎁쓰에서 디스패리티(x축)에 따라 변하는 시청자의 입체감 인지 뎁쓰(y축)이다. FIG. 4 is a 3D perception depth (y-axis) of a viewer that changes according to disparity (x-axis) in negative depth. 5 is a perspective view of a viewer's three-dimensional perception depth (y-axis) that changes according to disparity (x-axis) in positive depth.
도 4 및 도 5를 참조하면, 시청자가 느끼는 입체감은 디스패리티를 조절하여 변화시킬 수 있다. 그런데, 네가티브 뎁쓰와 포지티브 뎁쓰에서 같은 디스패리티 변화에서도 전혀 다르다. 이는 Journal of the SID, 2/2, 1994에 개시된 "Depth perception in stereoscopic displays (저자 Robert Patterson, Steve Becker, G. Scott Boucek, and Ray Phinney) 등에서 소개된 바 있다. Referring to FIGS. 4 and 5, the three-dimensional effect that a viewer feels may be changed by adjusting disparity. However, it is completely different in the same disparity change in negative depth and positive depth. This has been introduced in "Depth perception in stereoscopic displays (authors Robert Patterson, Steve Becker, G. Scott Boucek, and Ray Phinney)" disclosed in Journal of the SID, 2/2, 1994.
네가티브 뎁쓰는 디스패리티가 증가함에 따라 점차적으로 증가하여 어느 뎁쓰 값에 수렴하지만, 포지티브 뎁쓰는 디스패리티가 증가함에 따라 급격히 증가한다. 그 결과, 네가티브 뎁쓰와 포지티브 뎁쓰에서 디스패리티를 같은 양만큼 변화시키면, 포지티브 뎁쓰의 변화양이 네가티브 뎁쓰의 그 것에 비하여 현저히 커진다. 따라서, 종래 기술의 종래의 입체감 조절 방법과 같이 네가티브 뎁쓰와 포지티브 뎁쓰에서 같은 파라미터를 더하거나 곱하면 원본 3D 이미지의 입체감과 대비할 때 입체감이 심하게 왜곡된다. 또한, 종래 기술의 종래의 입체감 조절 방법은 네가티브 뎁쓰와 포지티브 뎁쓰에 적용되는 파라미터를 입체감이 없는 Disparity = 0(zero)인 화면 상의 객체에도 더하거나 곱하기 때문에 입체감의 왜곡이 더 심하게 된다. 이러한 종래 기술의 문제를 방지하기 위하여, 본 발명의 입체감 조절 방법은 도 4 및 도 5와 같은 시청자의 입체감 인지 특성을 고려하여 네가티브 뎁쓰와 포지티브 뎁쓰에 서로 다른 파라미터를 적용하여 뎁쓰를 조절하는 반면, Disparity = 0(zero)인 화면 상의 객체에 대하여 뎁쓰를 조절하지 않는다. The negative depth gradually increases as the disparity increases and converges to a certain depth value, but the positive depth increases rapidly as the disparity increases. As a result, if the disparity is changed by the same amount in the negative depth and the positive depth, the amount of change in the positive depth becomes significantly larger than that of the negative depth. Therefore, when the same parameter is added or multiplied in the negative depth and the positive depth, as in the conventional method for adjusting the three-dimensional effect of the prior art, the three-dimensional effect is severely distorted when compared to the three-dimensional effect of the original 3D image. In addition, the conventional three-dimensional effect adjustment method of the prior art adds or multiplies the parameters applied to the negative depth and the positive depth to the object on the screen with Disparity = 0 (zero) without the three-dimensional effect, so that the distortion of the three-dimensional effect is more severe. In order to prevent such a problem of the prior art, the method of adjusting the three-dimensional effect of the present invention adjusts the depth by applying different parameters to the negative depth and the positive depth in consideration of the viewer's three-dimensional effect perception characteristics as shown in FIGS. 4 and 5. Do not adjust the depth for objects on the screen with Disparity = 0 (zero).
도 6은 본 발명의 실시예에 따른 입체감 조절 방법의 제어 수순을 보여 주는 흐름도이다. 도 7은 입체 영상 데이터 포맷의 예들을 보여 주는 도면이다.6 is a flowchart showing a control procedure of a method for adjusting a three-dimensional effect according to an embodiment of the present invention. 7 is a diagram showing examples of a 3D image data format.
도 6 및 도 7을 참조하면, 본 발명의 입체감 조절 방법은 3D 이미지를 포함한 입체 영상 데이터를 입력 받아 좌안 영상 데이터와 우안 영상 데이터를 분리한다(S1 및 S2). 1 프레임 분량의 입체 영상 데이터는 도 7과 같이 좌안 영상 데이터와, 우안 영상 데이터를 포함한다. 6 and 7, the method for adjusting a three-dimensional effect of the present invention receives three-dimensional image data including a 3D image and separates left-eye image data and right-eye image data (S1 and S2). The three-dimensional image data for one frame includes left-eye image data and right-eye image data as shown in FIG. 7.
도 7 (a)와 같은 데이터 포맷은 1 프레임 데이터를 좌우로 2 분할하여 좌반부에 좌안 영상 데이터(LEFT)를 할당하고 우반부에 우안 영상 데이터(RIGHT)를 할당한다. 도 7 (b)와 같은 데이터 포맷은 1 프레임 데이터를 상하로 2 분할하여 상반부에 좌안 영상 데이터(LEFT)를 할당하고 하반부에 우안 영상 데이터(RIGHT)를 할당한다. 도 7 (c)와 같은 데이터 포맷은 1 프레임 데이터를 체크 패턴 형태의 블록들로 분할하고 이웃하는 블록들에 좌안 영상 데이터(LEFT)와 우안 영상 데이터(RIGHT)를 할당한다. 본 발명의 입체감 조절 방법은 S2 단계에서 1 프레임 데이터에서 각각 1/2 프레임 분량의 좌안 영상 데이터(LEFT)와 우안 영상 데이터(RIGHT)를 분리한 후에 좌안 영상 데이터와 우안 영상 데이터를 보간(interpolation)할 수 있다. In the data format as shown in FIG. 7A, one frame data is divided into two left and right, and left-eye image data LEFT is allocated to the left half and right-eye image data RIGHT is allocated to the right half. In the data format as shown in FIG. 7B, one frame data is divided into two vertically, and left-eye image data LEFT is allocated to the upper half and right-eye image data RIGHT is allocated to the lower half. In the data format shown in FIG. 7C, one frame data is divided into check pattern-shaped blocks and left-eye image data LEFT and right-eye image data RIGHT are allocated to neighboring blocks. The method for adjusting the three-dimensional effect of the present invention divides the left-eye image data (LEFT) and the right-eye image data (RIGHT) for each 1/2 frame from one frame data in step S2, and then interpolates the left-eye image data and the right-eye image data. can do.
이어서, 본 발명의 입체감 조절 방법은 좌안 영상 데이터와 우안 영상 데이터의 디스패리티를 계산하여 디스패리티 맵(Disparity map) 이미지를 생성한다.(S3) 디스패리티 맵 이미지에서, 뎁쓰(depth)는 계조로 표현된다. 화면으로부터 시청자 쪽으로 돌출되는 네가티브 뎁쓰에서 디스패리티가 큰 뎁쓰일수록 높은 계조(또는 화이트 계조)로 표현된다. 반면에, 화면 뒤로 멀어지는 포지티브 뎁쓰에서 디스패리티가 큰 뎁쓰일수록 낮은 계조(또는 블랙 계조)로 표현된다. Subsequently, in the method of adjusting the three-dimensional effect of the present invention, a disparity map image is generated by calculating disparity of the left-eye image data and the right-eye image data. (S3) In the disparity map image, the depth is grayscale. Is expressed. In the negative depth protruding from the screen toward the viewer, the higher the disparity is, the higher the gray scale (or white gray scale) is expressed. On the other hand, in a positive depth that is further away from the screen, the greater the disparity is, the lower the grayscale (or black grayscale) is expressed.
본 발명의 입체감 조절 방법은 표시패널 특성에 따라 또는 시청자가 원할 때 입체감을 조절한다. 입체감 조절이 필요할 때, 본 발명의 입체감 조절 방법은 디스패리티 맵을 분석하여 입체 영상 데이터의 뎁쓰를 판단하고, 포지티브 뎁쓰에 적용될 제1 파라미터(도 8, a)를 선택하고, 네가티브 뎁쓰에 제2 파라미터(도 8, b)를 선택한다(S4, S5a, S5b). 이어서, 본 발명의 입체감 조절 방법은 제1 파라미터(a)를 이용하여 포지티브 뎁쓰를 조절하고, 제2 파라미터(b)를 이용하여 네가티브 뎁쓰를 조절한다. 이 때, 본 발명의 입체감 조절 방법은 제로 뎁쓰(zero depth)를 조절하지 않는다.(S6) The method for adjusting the three-dimensional effect of the present invention adjusts the three-dimensional effect according to the characteristics of a display panel or when a viewer desires. When 3D effect adjustment is required, the 3D effect adjustment method of the present invention analyzes a disparity map to determine the depth of 3D image data, selects a first parameter (Fig. 8, a) to be applied to the positive depth, and selects a second parameter for the negative depth. The parameters (Fig. 8, b) are selected (S4, S5a, S5b). Subsequently, in the method of adjusting the three-dimensional effect of the present invention, the positive depth is adjusted using the first parameter (a), and the negative depth is adjusted using the second parameter (b). In this case, the method for adjusting the three-dimensional effect of the present invention does not adjust the zero depth (S6).
이어서, 본 발명의 입체감 조절 방법은 뎁쓰가 조절된 디스패리티 맵 이미지를 바탕으로 좌안 영상 데이터와 우안 영상 데이터의 디스패리티를 변경하여 표시패널에 표시한다(S7 및 S8) Subsequently, in the method of adjusting the three-dimensional effect of the present invention, the disparity of the left-eye image data and the right-eye image data is changed and displayed on the display panel based on the disparity map image whose depth is adjusted (S7 and S8).
도 8과 같이, 네가티브 뎁쓰에 비하여 포지티브 뎁쓰에서 작은 디스패리티 변화에도 시청자가 느끼는 입체감이 더 크게 변화된다. 따라서, 본 발명의 입체감 조절 방법은 시청자의 입체감 인지 특성을 고려하여 네가티브 뎁쓰에 적용될 제2 파라미터(b)를 포지티브 뎁쓰에 적용될 제1 파라미터(a) 보다 큰 값으로 설정한다. As shown in FIG. 8, the three-dimensional effect that the viewer feels is significantly changed even with a small disparity change in the positive depth compared to the negative depth. Accordingly, in the method of adjusting the 3D effect of the present invention, the second parameter (b) to be applied to the negative depth is set to a value larger than the first parameter (a) to be applied to the positive depth in consideration of the viewer's 3D perception characteristic.
제1 및 제2 파라미터(a,b)는 시청자의 입체감 인지 특성 실험을 통해 측정된 표시패널 특성에 따라 미리 최적화된 값으로 설정될 수 있다. 따라서, 제1 및 제2 파라미터(a,b)는 표시패널 특성에 따라 달라질 수 있다. 또한, 제1 및 제2 파라미터(a,b)는 유저 인터페이스를 통해 시청자에 의해 가변될 수 있다. The first and second parameters a and b may be set to values optimized in advance according to a display panel characteristic measured through an experiment on a viewer's 3D perception characteristic. Accordingly, the first and second parameters a and b may vary according to the characteristics of the display panel. In addition, the first and second parameters a and b may be changed by the viewer through the user interface.
본 발명의 입체 영상 표시장치는 액정표시소자(Liquid Crystal Display, LCD), 전계방출 표시소자(Field Emission Display : FED), 플라즈마 디스플레이 패널(Plasma Display Panel, PDP), 유기발광 다이오드 표시장치(Organic Light Emitting Display, OLED), 전기영동 표시소자(Electrophoresis, EPD) 등의 평판 표시소자 기반으로 구현될 수 있다. 본 발명의 입체 영상 표시장치는 무안경 방식의 입체 영상 표시장치 또는 안경 방식의 입체 영상 표시장치로 구현될 수 있으며, 2D 모드에서 2D 영상 데이터를 표시하고 3D 모드에서 3D 영상 데이터를 표시한다. 입체 영상 표시장치의 표시패널 상에는 3D 광학 소자가 접합될 수 있다. 안경 방식의 입체 영상 표시장치는 편광 안경 방식이나 셔터 안경 방식으로 구현될 수 있다. The stereoscopic image display device of the present invention includes a liquid crystal display (LCD), a field emission display (FED), a plasma display panel (PDP), an organic light emitting diode display (Organic Light). It can be implemented based on flat panel display devices such as Emitting Display, OLED), and Electrophoresis (EPD). The stereoscopic image display device of the present invention may be implemented as an autostereoscopic stereoscopic image display device or a glasses stereoscopic image display device, and displays 2D image data in 2D mode and 3D image data in 3D mode. A 3D optical element may be attached to the display panel of the stereoscopic image display device. The three-dimensional image display device of the glasses type may be implemented as a polarizing glasses method or a shutter glasses method.
3D 광학 소자는 무안경 방식에서 시청자의 좌안을 통해 보이는 서브 픽셀들과 우안을 통해 보이는 서브 픽셀들을 분리하는 광학 소자로서, 패럴랙스 베리어나 렌티큘러 렌즈와 같은 광학 부품일 수 있다. 또한, 3D 광학 소자는 안경 방식에서 좌안 영상과 우안 영상의 편광 특성을 다르게 변환하는 패턴 리타더나 액티브 리타더일 수 있다. 패럴랙스 베리어와 렌티큘러 렌즈는 액정패널을 이용하여 전기적으로 제어되는 스위쳐블 베리어(switchable barrier)나 스위쳐블 렌즈(switchable lens)로 구현될 수 있다. 본원 출원인은 미국출원 13/077565, 미국출원 13/325272 등을 통해 스위쳐블 베리어와 스위쳐블 렌즈를 제안한 바 있다. 안경 방식은 편광 안경이나 셔터 안경과 같은 3D 안경이 필요하다. The 3D optical element is an optical element that separates subpixels seen through the viewer's left eye and subpixels seen through the right eye in a glasses-free method, and may be an optical component such as a parallax barrier or a lenticular lens. In addition, the 3D optical device may be a pattern retarder or an active retarder that converts polarization characteristics of a left-eye image and a right-eye image differently in the glasses method. The parallax barrier and the lenticular lens may be implemented as a switchable barrier or a switchable lens electrically controlled using a liquid crystal panel. The applicant of the present application has proposed a switchable barrier and a switchable lens through US application 13/077565 and US application 13/325272. The glasses method requires 3D glasses such as polarized glasses or shutter glasses.
도 9는 본 발명의 실시예에 따른 입체 영상 표시장치를 보여 주는 블록도이다. 도 9에서 3D 광학 소자와 3D 안경이 생략되어 있다. 9 is a block diagram showing a 3D image display device according to an embodiment of the present invention. In FIG. 9, 3D optical elements and 3D glasses are omitted.
도 9를 참조하면, 본 발명의 입체 영상 표시장치는 표시패널(100), 표시패널 구동부, 입체감 조절 장치(110) 등을 포함한다.Referring to FIG. 9, the stereoscopic image display device of the present invention includes a
표시패널(100)에는 데이터라인들과 스캔라인들(또는 게이트라인들)이 직교되고, 픽셀들이 매트릭스 형태로 배치된 픽셀 어레이를 포함한다. 픽셀 어레이는 2D 모드에서 2D 영상을 표시하고, 3D 모드에서 좌안 영상과 우안 영상을 표시한다.The
표시패널 구동부는 표시패널(100)의 데이터라인들에 2D/3D 영상의 데이터전압들을 공급하기 위한 데이터 구동회로(102), 표시패널(100)의 스캔라인들에 스캔펄스(또는 게이트펄스)를 순차적으로 공급하기 위한 스캔 구동회로(104), 및 구동회로들(102, 104)을 제어하는 타이밍 콘트롤러(120)를 포함한다. 이 표시패널 구동부는 입체감 조절 장치(110)에 의해 디스패리티가 가변되는 좌안 및 우안 영상 데이터를 표시패널(100)의 픽셀들에 시간적으로 또는 공간적으로 분산하여 기입한다. The display panel driver applies a
데이터 구동회로(102)는 타이밍 콘트롤러(120)로부터 입력되는 디지털 비디오 데이터를 아날로그 감마전압으로 변환하여 데이터전압들을 발생하고 그 데이터전압을 표시패널(100)의 데이터라인들에 공급한다. 액정표시소자의 경우에, 데이터 구동회로(102)는 타이밍 콘트롤러(120)의 제어 하에 데이터라인들에 공급되는 데이터전압의 극성을 반전시킬 수 있다. 스캔 구동회로(104)는 타이밍 콘트롤러(120)의 제어 하에 데이터라인들에 공급되는 데이터전압과 동기되는 스캔펄스를 스캔라인들에 공급하고, 그 스캔펄스를 순차적으로 시프트시킨다.The
타이밍 콘트롤러(120)는 호스트 시스템(200)으로부터 입력되는 2D/3D 입력 영상의 디지털 비디오 데이터를 데이터 구동회로(102)에 공급한다. 또한, 타이밍 콘트롤러(120)는 2D/3D 입력 영상의 디지털 비디오 데이터와 동기되어 호스트 시스템(200)으로부터 입력된 수직 동기신호, 수평 동기신호, 데이터 인에이블 신호, 메인 클럭 등의 타이밍신호를 수신하고, 그 타이밍 신호를 이용하여 표시패널 구동부(102, 103)의 동작 타이밍을 제어한다.The
타이밍 콘트롤러(120)는 입력 영상의 프레임 주파수×N(N은 2 이상의 양의 정수) Hz의 프레임 주파수로 높여 표시패널 구동부(102, 103)의 동작 주파수를 N 배 체배된 프레임 레이트로 제어할 수 있다. 입력 영상의 프레임 주파수는 NTSC(National Television Standards Committee) 방식에서 60Hz이며, PAL(Phase-Alternating Line) 방식에서 50Hz이다.The
입체감 조절 장치(110)는 호스트 시스템(200)으로부터 도 7과 같은 포맷의 입체 영상 데이터를 입력 받는다. 입체감 조절 장치(110)는 도 6과 같은 제어 수순을 따라 제1 및 제2 파라미터(a, b)를 이용하여 제로 뎁쓰를 제외한 네가티브 뎁쓰와 포지티브 뎁쓰를 조절하여 좌안 영상 데이터와 우안 영상 데이터의 디스패리티를 변경한다. 입체감 조절 장치(110)에 의해 재구성된 좌안 영상 데이터와 우안 영상 데이터는 타이밍 콘트롤러(120)를 통해 데이터 구동회로(102)로 전송한다.The
호스트 시스템(200)은 TV 시스템, 셋톱박스, 네비게이션 시스템, DVD 플레이어, 블루레이 플레이어, 개인용 컴퓨터(PC), 홈 시어터 시스템, 폰 시스템(Phone system) 중 어느 하나로 구현될 수 있다. 호스트 시스템(200)은 스케일러(scaler)를 이용하여 2D/3D 입력 영상의 디지털 비디오 데이터를 표시패널(100)의 해상도에 맞는 호스트 시스템(110)은 도시하지 않은 사용자 인터페이스를 통해 입력되는 사용자 데이터에 응답하여 타이밍 콘트롤러에 모드 신호를 전송하여 2D 모드 동작과 3D 모드 동작을 전환할 수 있다. The
시청자는 유저 인터페이스(210)를 통해 입체감을 조절할 수 있다. 호스트 시스템은 유저 인터페이스(210)를 통해 입력되는 입체감 조절량에 맞추어 제1 및 제2 파라미터(a, b)를 조절하여 이미지 조절 장치(110)로 전송한다. 유저 인터페이스(210)는 키패드, 키보드, 마우스, 온 스크린 디스플레이(On Screen Display, OSD), 리모트 콘트롤러(Remote controller), 그래픽 유저 인터페이스(Graphic User Interface, GUI), 터치 UI(User Interface), 음성 인식 UI, 3D UI 등으로 구현될 수 있다. The viewer can adjust the three-dimensional effect through the
이상 설명한 내용을 통해 당업자라면 본 발명의 기술사상을 일탈하지 아니하는 범위 내에서 다양한 변경 및 수정이 가능함을 알 수 있을 것이다. 따라서, 본 발명은 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허 청구의 범위에 의해 정하여져야만 할 것이다.
It will be appreciated by those skilled in the art through the above description that various changes and modifications can be made without departing from the technical idea of the present invention. Accordingly, the present invention should not be limited to the content described in the detailed description, but should be defined by the claims.
100 : 표시패널 110 : 이미지 조절 장치
102 : 데이터 구동회로 104 : 스캔 구동회로
120 : 타이밍 콘트롤러 200 : 호스트 시스템100: display panel 110: image adjustment device
102: data driving circuit 104: scan driving circuit
120: timing controller 200: host system
Claims (7)
입체 영상 데이터의 포지티브 뎁쓰와 네가티브 뎁쓰를 판단하는 단계;
제1 파라미터를 이용하여 상기 포지티브 뎁쓰를 조절하고 제2 파라미터를 이용하여 상기 네가티브 뎁쓰를 조절하여 상기 좌안 영상 데이터와 상기 우안 영상 데이터의 디스패리티를 변경하고, 제로 뎁쓰의 좌안 및 우안 영상 데이터를 변경되지 않는 단계;
상기 포지티브 뎁쓰와 상기 네가티브 뎁쓰가 조절된 좌안 영상 및 우안 영상의 픽셀 데이터와, 제로 뎁쓰의 좌안 및 우안 영상 데이터를 데이터 구동회로에 전송하는 단계; 및
상기 데이터 구동회로로부터 출력된 픽셀 데이터의 데이터 전압을 표시패널의 데이터 라인들에 공급하는 단계를 포함하고,
상기 제2 파라미터는 상기 제1 파라미터 보다 크고,
상기 입체 영상 데이터의 포지티브 뎁쓰와 네가티브 뎁쓰를 판단하는 단계는,
상기 네가티브 뎁쓰에서 디스패리티가 큰 뎁쓰일수록 상기 네가티브 뎁쓰를 높은 계조로 표현하고, 상기 포지티브 뎁쓰에서 상기 디스패리티가 큰 뎁쓰일수록 상기 포지티브 뎁쓰를 낮은 계조로 표현한 디스패리티 맵 이미지를 생성하는 단계를 포함하는 것을 특징으로 하는 입체감 조절 방법.Separating left-eye image data and right-eye image data from the stereoscopic image data;
Determining a positive depth and a negative depth of the stereoscopic image data;
The positive depth is adjusted using a first parameter and the negative depth is adjusted using a second parameter to change the disparity of the left-eye image data and the right-eye image data, and the left-eye and right-eye image data of zero depth are changed. Steps not to be taken;
Transmitting pixel data of a left-eye image and a right-eye image in which the positive depth and the negative depth are adjusted, and left-eye and right-eye image data of zero depth to a data driving circuit; And
Supplying a data voltage of the pixel data output from the data driving circuit to data lines of the display panel,
The second parameter is greater than the first parameter,
The step of determining the positive depth and the negative depth of the stereoscopic image data,
The step of generating a disparity map image expressing the positive depth as a low grayscale as the depth of the negative depth has a higher disparity, the higher the grayscale and the greater the disparity in the positive depth. Three-dimensional control method comprising a.
상기 포지티브 뎁쓰와 상기 네가티브 뎁쓰가 조절된 좌안 영상 및 우안 영상의 픽셀 데이터와, 제로 뎁쓰의 좌안 및 우안 영상 데이터를 입력 받아 데이터 전압으로 변환하여 표시패널의 데이터 라인들로 출력하는 데이터 구동회로를 포함하고,
상기 제2 파라미터는 상기 제1 파라미터 보다 크고,
상기 이미지 조절 장치는,
상기 네가티브 뎁쓰에서 디스패리티가 큰 뎁쓰일수록 상기 네가티브 뎁쓰를 높은 계조로 표현하고, 상기 포지티브 뎁쓰에서 상기 디스패리티가 큰 뎁쓰일수록 상기 포지티브 뎁쓰를 낮은 계조로 표현한 디스패리티 맵 이미지를 생성하는 것을 특징으로 하는 입체 영상 표시장치.
The left-eye image data and the right-eye image data are separated from the stereoscopic image data to determine the positive depth and the negative depth of the stereoscopic image data, and the positive depth is adjusted using a first parameter, and the negative depth is determined using a second parameter. An image adjustment device that adjusts to change the disparity of the left-eye image data and the right-eye image data, and does not change the left-eye and right-eye image data of zero depth; And
A data driving circuit that receives pixel data of a left-eye image and a right-eye image with the positive depth and negative depth adjusted, and the left-eye and right-eye image data of zero depth, converts it into a data voltage, and outputs it to data lines of a display panel. and,
The second parameter is greater than the first parameter,
The image adjustment device,
In the negative depth, as the depth of the disparity is greater, the negative depth is expressed as a high grayscale, and as the depth in the positive depth, the disparity is high, a disparity map image that expresses the positive depth as a low grayscale is generated. 3D video display device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020130115303A KR102143944B1 (en) | 2013-09-27 | 2013-09-27 | Method of adjusting three-dimensional effect and stereoscopic image display using the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020130115303A KR102143944B1 (en) | 2013-09-27 | 2013-09-27 | Method of adjusting three-dimensional effect and stereoscopic image display using the same |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20150035104A KR20150035104A (en) | 2015-04-06 |
KR102143944B1 true KR102143944B1 (en) | 2020-08-12 |
Family
ID=53030164
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020130115303A KR102143944B1 (en) | 2013-09-27 | 2013-09-27 | Method of adjusting three-dimensional effect and stereoscopic image display using the same |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102143944B1 (en) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100739730B1 (en) * | 2005-09-03 | 2007-07-13 | 삼성전자주식회사 | Apparatus and method for processing 3D dimensional picture |
KR101185870B1 (en) * | 2005-10-12 | 2012-09-25 | 삼성전자주식회사 | Apparatus and method for processing 3 dimensional picture |
KR100924432B1 (en) * | 2007-12-06 | 2009-10-29 | 한국전자통신연구원 | Apparatus and method for controlling perceived depth of multi-view images |
KR101181962B1 (en) * | 2009-12-24 | 2012-09-11 | 동신대학교산학협력단 | Apparatus for transforming 3d image and the method therefor |
KR20120133951A (en) * | 2011-06-01 | 2012-12-11 | 삼성전자주식회사 | 3d image conversion apparatus, method for adjusting depth value thereof, and computer-readable storage medium thereof |
-
2013
- 2013-09-27 KR KR1020130115303A patent/KR102143944B1/en active IP Right Grant
Non-Patent Citations (1)
Title |
---|
박병진 외 2명, 한국방송미디어공학회 학술발표대회 논문집, "고품질 3D 입체영상 제작을 위한 최대 스크린 시차 제안", 333-336(4 pages), (2011.11.30. 공개) 1부.* |
Also Published As
Publication number | Publication date |
---|---|
KR20150035104A (en) | 2015-04-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9838674B2 (en) | Multi-view autostereoscopic display and method for controlling optimal viewing distance thereof | |
KR101380517B1 (en) | Multi-view autostereoscopic image display and method of controlling optimal viewing distance | |
TWI598846B (en) | Image data processing method and stereoscopic image display using the same | |
KR101777875B1 (en) | Stereoscopic image display and method of adjusting stereoscopic image thereof | |
KR102197382B1 (en) | Bendable stereoscopic 3d display device | |
WO2011125368A1 (en) | Three-dimensional image display device, display system, drive method, drive device, display control method, display control device, program, and computer-readable recording medium | |
US10694173B2 (en) | Multiview image display apparatus and control method thereof | |
TWI502958B (en) | 3d image display apparatus and method thereof | |
KR102143473B1 (en) | Multi view image display apparatus and multi view image display method thereof | |
TWI432013B (en) | 3d image display method and image timing control unit | |
US9167237B2 (en) | Method and apparatus for providing 3-dimensional image | |
KR20130056133A (en) | Display apparatus and driving method thereof | |
KR102143463B1 (en) | Multi view image display apparatus and contorl method thereof | |
KR102279816B1 (en) | Autostereoscopic 3d display device | |
US8994791B2 (en) | Apparatus and method for displaying three-dimensional images | |
KR102334031B1 (en) | Autostereoscopic 3d display device and driving method thereof | |
KR102143944B1 (en) | Method of adjusting three-dimensional effect and stereoscopic image display using the same | |
JP2016535516A (en) | Multi-view video processing apparatus and video processing method thereof | |
TW201330592A (en) | Image processing apparatus and method thereof | |
KR102080611B1 (en) | Device and method of generating a new image for multi-view autostereoscopic image display | |
KR102232462B1 (en) | Autostereoscopic 3d display device | |
KR102275491B1 (en) | Crosstalk reduction method and device, and multi-view autostereoscopic image display using the same | |
KR20150038954A (en) | Image processing device and method for autostereoscopic image display | |
KR102135914B1 (en) | Image data processing method and multi-view autostereoscopic image display using the same | |
KR20140025782A (en) | Stereoscopic image display and polarity control method thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
AMND | Amendment | ||
E601 | Decision to refuse application | ||
AMND | Amendment | ||
X701 | Decision to grant (after re-examination) | ||
GRNT | Written decision to grant |