KR102135914B1

KR102135914B1 - Image data processing method and multi-view autostereoscopic image display using the same

Info

Publication number: KR102135914B1
Application number: KR1020130147030A
Authority: KR
Inventors: 안충환
Original assignee: 엘지디스플레이 주식회사
Priority date: 2013-11-29
Filing date: 2013-11-29
Publication date: 2020-07-20
Also published as: KR20150062412A

Abstract

본 발명에 따른 멀티 뷰 무안경 입체 영상 표시장치는 입력 영상 데이터의 뎁쓰 맵을 생성하는 뎁쓰 맵 생성부; 상기 뎁쓰 맵을 기초로 멀티 뷰 영상을 생성하는 멀티 뷰 영상 합성부; 상기 입력 영상 데이터의 이웃한 프레임들 간 모션 벡터를 추출한 후, 상기 모션 벡터의 크기를 미리 정해진 기준값과 비교하여 뎁쓰 제어신호를 발생하는 뎁쓰 제어부; 및 상기 뎁쓰 제어신호에 따라 상기 멀티 뷰 영상의 뎁스를 변조하는 뎁스 변조부를 구비한다.The multi-view autostereoscopic 3D image display apparatus according to the present invention includes a depth map generator for generating a depth map of input image data; A multi-view image synthesizer generating a multi-view image based on the depth map; A depth controller for extracting a motion vector between neighboring frames of the input image data, and comparing the size of the motion vector with a predetermined reference value to generate a depth control signal; And a depth modulator for modulating the depth of the multi-view image according to the depth control signal.

Description

IMAGE DATA PROCESSING METHOD AND MULTI-VIEW AUTOSTEREOSCOPIC IMAGE DISPLAY USING THE SAME

본 발명은 영상 데이터 처리 방법과 이를 이용한 멀티 뷰 무안경 입체 영상 표시장치에 관한 것이다.
The present invention relates to an image data processing method and a multi-view autostereoscopic 3D image display device using the same.

텔레비젼이나 모니터와 같은 표시장치에 입체 영상 재현 기술이 적용되어 가정에서도 3D 입체 영상을 감상할 수 있는 시대가 도래하였다. 입체 영상 표시장치는 안경 방식과 무안경 방식으로 나뉘어질 수 있다. 안경 방식은 직시형 표시소자나 프로젝터에 좌우 시차 영상의 편광 방향을 바꿔서 또는 시분할 방식으로 표시하고, 편광 안경 또는 액정셔터 안경을 사용하여 입체 영상을 구현한다. 무안경 방식은 일반적으로 좌우 시차 영상의 광축을 분리하기 위한 패럴랙스 베리어(parallax barrier, 이하 "베리어"라 함), 렌티큘라 렌즈(lenticular lens, 이하 "렌즈"라 함) 등의 광학 부품을 표시 화면의 앞이나 뒤에 설치하여 입체 영상을 구현한다. The era has come in which 3D stereoscopic images can be viewed even at home by applying stereoscopic image reproduction technology to display devices such as televisions and monitors. The stereoscopic image display device may be divided into a glasses type and a glassesless type. The spectacle method displays a polarization direction of the left and right parallax images on a direct-view display device or a projector in a time-division manner, and implements a stereoscopic image using polarized glasses or liquid crystal shutter glasses. The autostereoscopic method generally displays optical components such as a parallax barrier (hereinafter referred to as a "barrier") and a lenticular lens (hereinafter referred to as a "lens") to separate the optical axis of left and right parallax images. It is installed in front of or behind the screen to realize a stereoscopic image.

무안경 입체 영상 표시장치는 도 1과 같이 표시패널의 픽셀 어레이(PIX)와 렌즈(LENS) 사이의 배면 거리, 렌즈(LENS)의 초점 거리, 픽셀 피치(pixel pitch, Ppix), 렌즈 피치(lens pitch, Plens), 시청자의 좌안과 우안 간의 거리 등을 고려하여 시청자가 정상적으로 입체 영상을 시청할 수 있는 최적 시청 거리(Optimal Viewing Distance, OVD)가 계산된다. 도 1에서 배면 거리, 렌즈(LENS)의 초점 거리, 픽셀 피치(Ppix), 렌즈 피치(Plens), 시청자의 좌안과 우안 간의 거리 등은 상수값으로 고정된다. 시청자의 좌안과 우안 간의 거리는 성인의 평균 양안 기준인 65mm이다. 따라서, 무안경 입체 영상 표시장치에서 최적 시청 거리(OVD)는 도 1과 같이 특정 위치로 고정되어 있고, 최적 시청 거리(OVD)를 조정하려면 배면 거리나 렌즈의 초점 거리를 변경하여야 한다. 도 1에서 렌즈(LENS)를 베리어로 교체한 무안경 입체 영상 표시장치에서도 최적 시청 거리(OVD)는 특정 위치로 고정된다.As shown in FIG. 1, the autostereoscopic 3D display device has a rear distance between a pixel array (PIX) and a lens (LENS) of a display panel, a focal length of a lens (LENS), a pixel pitch (pixel pitch), and a lens pitch (lens). pitch, Plens), and an optimal viewing distance (OVD) for a viewer to normally view a stereoscopic image is calculated in consideration of the distance between the viewer's left and right eyes. In FIG. 1, the rear distance, the focal length of the lens LENS, the pixel pitch Ppix, the lens pitch Plens, and the distance between the left and right eyes of the viewer are fixed to constant values. The distance between the left and right eyes of the viewer is 65 mm, which is the average binocular standard for adults. Therefore, in the autostereoscopic 3D display device, the optimal viewing distance OVD is fixed to a specific position as shown in FIG. 1, and to adjust the optimal viewing distance OVD, the rear distance or the focal length of the lens must be changed. In FIG. 1, the optimal viewing distance (OVD) is also fixed to a specific position in the autostereoscopic 3D display device in which the lens LENS is replaced with a barrier.

도 1에서, "REZ"는 우안 영상이 기입된 픽셀(이하, "우안 픽셀")(R)을 볼 수 있는 우안 뷰잉 존(Viewing zone)이고, "LEZ"는 픽셀 어레이(PIX)에서 좌안 영상이 기입된 픽셀(이하, "좌안 픽셀")(L)을 볼 수 있는 좌안 뷰잉 존이다. "PSUBS"는 픽셀 어레이(PIX)와 렌즈(LENS) 간의 배면 거리를 확보하기 위한 투명 기판이다. In FIG. 1, “REZ” is a right-eye viewing zone in which the right-eye image is written (hereinafter “right-eye pixel”) R, and “LEZ” is a left-eye image in the pixel array PIX. This is the left-eye viewing zone where the written pixels (hereinafter referred to as "left-eye pixels") L can be viewed. "PSUBS" is a transparent substrate for securing the rear distance between the pixel array (PIX) and the lens (LENS).

무안경 입체 영상 표시장치는 멀티 뷰 시스템으로 구현될 수 있다. 멀티 뷰 시스템은 최적 시청 거리(OVD)에서 시청자가 표시패널의 화면을 바라 볼 때 여러 위치에서 입체 영상을 정상적으로 감상할 수 있도록 화면의 픽셀 어레이에 멀티 뷰 영상을 기입할 수 있다. 도 2에는 제1 내지 제3 뷰 영상들(1~3)이 하나의 화면에 표시된 예이다. 이웃한 뷰 영상들은 객체의 입체감을 정량적으로 표현한 뎁쓰 맵에 의해 정의된 픽셀들 간의 간격(즉, 디스패리티(disparity))만큼 동일 좌안 영상으로 보이는 픽셀 데이터와 우안 영상으로 보이는 픽셀 데이터의 간격이 설정되어 사용자로 하여금 양안 시차를 느끼게 한다. 예를 들어, 시청자는 도 2의 (a) 위치에서 화면을 바라볼 때 좌안으로 제2 뷰 영상(2)을 표시하는 픽셀들을 보게 되고, 우안으로 제1 뷰 영상(1)을 표시하는 픽셀들을 보게 되어 양안 시차를 느끼게 된다. 시청자가 도 2의 (b) 위치로 이동하면, 좌안으로 제3 뷰 영상(5)을 표시하는 픽셀들을 보게 되고, 우안으로 제2 뷰 영상(4)을 표시하는 픽셀들을 보게 되어 양안 시차를 느끼게 된다. 도 2의 (a) 및 (b)에는 정입체시 영역, 도 2의 (c)에는 역입체시 영역이 나타나 있다. The autostereoscopic 3D display device may be implemented as a multi-view system. The multi-view system may write a multi-view image in a pixel array of a screen so that a viewer can normally view a stereoscopic image at various positions when the viewer looks at the screen of the display panel at the optimum viewing distance (OVD). 2 is an example in which the first to third view images 1 to 3 are displayed on one screen. In the neighboring view images, the distance between the pixels viewed as the same left-eye image and the pixel data viewed as the right-eye image is set by the distance between pixels defined by the depth map quantitatively expressing the three-dimensional effect of the object (ie, disparity). It makes the user feel binocular disparity. For example, the viewer sees pixels displaying the second view image 2 with the left eye when looking at the screen at position (a) of FIG. 2, and pixels displaying the first view image 1 with the right eye. You will see the binocular time difference. When the viewer moves to the position (b) of FIG. 2, the pixels displaying the third view image 5 are seen in the left eye, and the pixels displaying the second view image 4 are seen in the right eye, so that the binocular parallax is felt. do. 2(a) and 2(b) show a stereoscopic viewing area and FIG. 2(c) shows a reverse stereoscopic viewing area.

한편, 사람이 입체감 즉, 깊이감을 인식할 수 있는 시각적인 요인에는 생리적인 요인과 경험적인 요인이 있다. 생리적인 요인에는 망막의 조절(Accomodation), 폭주(Convergence), 양안시차(Binocular Disparity) 등이 있다. On the other hand, there are physiological and empirical factors in the visual factors that a person can perceive a three-dimensional effect, that is, depth. Physiological factors include retinal regulation, convergence, and binocular disparity.

경험적인 요인에는 단안 운동시차(Monocular Movement Disparity), 상의 크기(Retinal Image Size), 선 원근(Linear Perspective), 면적 원근(Areal Perspective), 상의 겹침(Overlapping), 명암(Contrast), 텍스처 구배(Texture Gradient) 등이 있다. 경험적인 요인은 객체들의 크기 차이에 따른 원근감, 객체들의 겹침에 따른 원근감, 객체들의 밝기 차이에 따른 원근감, 객체들의 선명도 차이에 따른 원근감과 같은 학습된 원근감으로 입체감을 느낀다. 예를 들어, 인간의 뇌는 원근감 학습에 의해 큰 물체와 작은 물체가 함께 보일 때 상대적으로 큰 물체를 가까운 물체로 느끼고, 물체가 겹쳐 있을 때 앞에 있는 물체를 가까운 물체로 느끼며, 밝은 물체와 어두운 물체가 동시에 보일 때 밝은 물체를 가까운 물체로 느낀다. 또한, 인간의 뇌는 원근감 학습에 의해 선명한 물체와 흐릿한 물체가 함께 보일 때 선명한 물체를 가까운 물체로 느낀다. Empirical factors include Monocular Movement Disparity, Retinal Image Size, Linear Perspective, Area Perspective, Image Overlapping, Contrast, Texture Gradient Gradient). The empirical factor feels a three-dimensional effect with the learned perspective, such as perspective due to differences in size of objects, perspective due to overlapping of objects, perspective according to differences in brightness of objects, and perspective according to differences in sharpness of objects. For example, the human brain senses a relatively large object as a close object when a large object and a small object are seen together by perspective learning, and senses a front object as a close object when objects overlap, and a bright object and a dark object. When it is visible at the same time, it feels a bright object as a nearby object. In addition, the human brain feels a clear object as a close object when a clear object and a blurry object are seen together by perspective learning.

사람이 입체 영상 표시장치에서 재현되는 3D 입체 영상을 감상할 때 주로 생리적 요인에 의해 피로도를 심하게 느끼거나 심한 경우에 메스껍거나 두통을 느낄 수 있다. 이러한 증상의 원인은 사람이 바라 보는 객체(또는 피사체)의 상이 맺히는 위치와 초점 거리가 다르기 때문이다.When a person views a 3D stereoscopic image reproduced in a stereoscopic image display device, fatigue may be severely felt or a nausea or headache may be experienced in severe cases mainly due to physiological factors. The cause of these symptoms is that the position and focal length of the object (or subject) that a person looks at is different.

사람이 피사체를 바라볼 때 두 눈의 시선은 한 점으로 모이며, 이러한 현상을 수렴(convergence)이라 한다. 실제 상황에서 사람이 두 눈을 통해 인식하는 객체는 도 3 (a)와 같이 수렴(convergence) 위치(즉, 객체의 상이 맺히는 위치)와 망막의 초점 조절(Accomodation) 위치가 일치하기 때문에 수렴을 통해 느끼는 거리와 망막의 초점 조절을 통해 느끼는 거리가 같다. 따라서, 사람은 실제 상황에서 피로감 없이 입체감을 느낄 수 있다. 이에 비하여, 도 3의 (b)와 같이 입체 영상 표시장치의 표시패널(PNL)에 양안 시차로 분리된 좌안 영상과 우안 영상을 표시하면 망막의 초점 조절(Accomodation) 위치가 표시패널(PNL)의 화면 상에 존재하고 3D 입력 영상의 뎁쓰(depth) 정보에 따라 객체의 상이 맺히는 위치가 표시패널(PNL)의 화면 앞이나 뒤에 존재하여 두 눈의 초점 거리(L1)와 객체의 상이 맺히는 거리(L2)가 일치하지 않는다. 이렇게 두 눈의 초점 거리(L1)와 객체의 상이 맺히는 거리(L2)가 일치하지 않기 때문에 입체 영상 표시장치를 시청하는 시청자는 피로감을 느끼게 된다. 특히, 동영상에서 그 거리들(L1, L2) 간의 차가 장면 마다 변동하기 때문에 입체 영상 표시장치에 운동량이 큰 객체를 표시할 때 피로감이 더 커지고 입체 영상이 더욱 블러(blur) 해지는 등 시인성이 악화된다.
When a person looks at a subject, the gazes of both eyes converge to one point, and this phenomenon is called convergence. In an actual situation, an object recognized by a person through both eyes is converged because the convergence position (that is, the position where the object is imaged) and the refocusing position of the retina are identical as shown in FIG. 3(a). The distance felt is the same as the distance felt through the focus control of the retina. Therefore, a person can feel a three-dimensional effect without feeling tired in a real situation. On the other hand, when the left-eye image and right-eye image separated by binocular parallax are displayed on the display panel PNL of the stereoscopic image display device as shown in FIG. 3B, the position of the focus adjustment (Accomodation) of the retina is displayed on the display panel PNL. The location where the image of the object exists on the screen and according to the depth information of the 3D input image exists in front of or behind the screen of the display panel PNL, so that the focal length L1 of both eyes and the distance L2 of the object form (L2) ) Does not match. Since the focal length (L1) of the two eyes and the distance (L2) of the image of the object do not coincide, the viewer watching the stereoscopic image display device feels tired. In particular, because the difference between the distances (L1, L2) in the video fluctuates from scene to scene, when a large-motion object is displayed on a stereoscopic image display device, fatigue is increased and visibility is deteriorated such that the stereoscopic image is further blurred. .

따라서, 본 발명의 목적은 객체의 움직임에 따라 뎁쓰를 조절하여 시청하기 편안한 입체 영상을 구현할 수 있도록 한 영상 데이터 처리 방법과 이를 이용한 멀티 뷰 무안경 입체 영상 표시장치를 제공하는 데 있다.
Accordingly, an object of the present invention is to provide an image data processing method and a multi-view autostereoscopic 3D display device using the image data processing method so as to realize a comfortable stereoscopic image by adjusting the depth according to the movement of the object.

상기 목적을 달성하기 위하여, 본 발명의 실시예에 따른 멀티 뷰 무안경 입체 영상 표시장치는 입력 영상 데이터의 뎁쓰 맵을 생성하는 뎁쓰 맵 생성부; 상기 뎁쓰 맵을 기초로 멀티 뷰 영상을 생성하는 멀티 뷰 영상 합성부; 상기 입력 영상 데이터의 이웃한 프레임들 간 모션 벡터를 추출한 후, 상기 모션 벡터의 크기를 미리 정해진 기준값과 비교하여 뎁쓰 제어신호를 발생하는 뎁쓰 제어부; 및 상기 뎁쓰 제어신호에 따라 상기 멀티 뷰 영상의 뎁스를 변조하는 뎁스 변조부를 구비한다.In order to achieve the above object, a multi-view autostereoscopic 3D display device according to an exemplary embodiment of the present invention includes a depth map generating unit generating a depth map of input image data; A multi-view image synthesizer generating a multi-view image based on the depth map; A depth controller for extracting a motion vector between neighboring frames of the input image data, and comparing the size of the motion vector with a predetermined reference value to generate a depth control signal; And a depth modulator for modulating the depth of the multi-view image according to the depth control signal.

상기 뎁스 변조부는, 상기 멀티 뷰 영상의 뎁스를 변조하기 위해 상기 뎁쓰 제어신호에 따라 상기 뎁쓰 맵의 계조값을 보정한다.The depth modulator corrects a gradation value of the depth map according to the depth control signal to modulate the depth of the multi-view image.

상기 뎁스 변조부는, 상기 모션 벡터의 크기가 상기 기준값보다 큰 경우에 상기 뎁쓰 맵에 1보다 작은 가중치를 곱하여 상기 뎁쓰 맵의 계조값을 낮춘다.When the size of the motion vector is larger than the reference value, the depth modulator multiplies the depth map by a weight less than 1 to lower the gradation value of the depth map.

상기 뎁스 변조부는, 상기 모션 벡터의 크기가 상기 기준값보다 작은 경우에 상기 뎁쓰 맵에 1보다 큰 가중치를 곱하여 상기 뎁쓰 맵의 계조값을 높인다.The depth modulator increases the gradation value of the depth map by multiplying the depth map by a weight greater than 1 when the size of the motion vector is smaller than the reference value.

상기 뎁스 변조부는, 상기 멀티 뷰 영상의 뎁스를 변조하기 위해 상기 뎁쓰 제어신호에 따라 상기 멀티 뷰 영상을 구현하는 뷰 영상들 간 계조 별 디스패러티 값을 보정한다.The depth modulator corrects a disparity value for each gray level between view images implementing the multi view image according to the depth control signal in order to modulate the depth of the multi view image.

상기 뎁스 변조부는, 상기 모션 벡터의 크기가 상기 기준값보다 큰 경우에 상기 계조 별 디스패러티 값에 1보다 작은 가중치를 곱하여 상기 계조 별 디스패러티 값을 감소시킨다.The depth modulator decreases the disparity value for each gray level by multiplying the disparity value for each gray level by a weight less than 1 when the size of the motion vector is greater than the reference value.

상기 뎁스 변조부는, 상기 모션 벡터의 크기가 상기 기준값보다 작은 경우에 상기 계조 별 디스패러티 값에 1보다 큰 가중치를 곱하여 상기 계조 별 디스패러티 값을 증가시킨다.The depth modulator increases the disparity value for each gradation by multiplying the disparity value for each gradation by a weight greater than 1 when the size of the motion vector is smaller than the reference value.

상기 뎁쓰 제어부는, 상기 입력 영상 데이터의 이웃한 프레임들 간 모션 벡터를 추출하는 모션 벡터 추출부; 다수의 프레임들을 통해 추출되어 누적된 모션 벡터를 평균화 처리하는 모션 벡터 평균화부; 및 상기 평균화 처리된 모션 벡터의 크기를 상기 기준값과 비교하여 상기 뎁쓰 제어신호를 발생하는 모션 벡터 크기 비교부를 구비한다.The depth control unit may include: a motion vector extraction unit for extracting motion vectors between neighboring frames of the input image data; A motion vector averaging unit for averaging the motion vectors extracted and accumulated through a plurality of frames; And a motion vector size comparison unit generating a depth control signal by comparing the averaged motion vector size with the reference value.

상기 모션 벡터 추출부는, 상기 모션 벡터를 추출하기 위해 상기 이웃한 프레임들의 좌안 영상 데이터만을 서로 비교하거나 또는, 상기 이웃한 프레임들의 우안 영상 데이터만을 서로 비교한다.The motion vector extractor compares only the left-eye image data of the neighboring frames with each other or the right-eye image data of the neighboring frames with each other to extract the motion vector.

또한, 본 발명의 실시예에 따른 멀티 뷰 무안경 입체 영상 표시장치의 영상 데이터 처리 방법은 입력 영상 데이터의 뎁쓰 맵을 생성하는 단계; 상기 뎁쓰 맵을 기초로 멀티 뷰 영상을 생성하는 단계; 상기 입력 영상 데이터의 이웃한 프레임들 간 모션 벡터를 추출한 후, 상기 모션 벡터의 크기를 미리 정해진 기준값과 비교하여 뎁쓰 제어신호를 발생하는 단계; 및 상기 뎁쓰 제어신호에 따라 상기 멀티 뷰 영상의 뎁스를 변조하는 단계를 포함한다.
In addition, the image data processing method of the multi-view autostereoscopic image display apparatus according to an embodiment of the present invention includes generating a depth map of input image data; Generating a multi-view image based on the depth map; Generating a depth control signal by extracting a motion vector between neighboring frames of the input image data, and comparing the size of the motion vector with a predetermined reference value; And modulating the depth of the multi-view image according to the depth control signal.

본 발명은 모션 벡터를 활용하여 객체의 움직임에 따라 영상의 뎁쓰를 조절함으로써 시청하기 편안한 입체 영상을 구현할 수 있음은 물론이거니와 시인성을 높일 수 있다.
According to the present invention, a three-dimensional image that is comfortable to watch can be realized by adjusting the depth of an image according to the movement of an object by using a motion vector, as well as enhancing visibility.

도 1은 무안경 입체 영상 표시장치에서 최적 시청 거리를 보여 주는 도면.
도 2는 무안경 입체 영상 표시장치에서 구현되는 멀티 뷰 영상의 일 예를 보여주는 도면.
도 3은 무안경 입체 영상 표시장치에서 시청자의 피로도를 유발하는 원인을 보여 주는 도면.
도 4는 본 발명의 실시 예에 따른 멀티 뷰 무안경 입체 영상 표시장치를 개략적으로 보여주는 블록도.
도 5는 본 발명의 실시 예에 따른 멀티 뷰 무안경 입체 영상 표시장치에서 멀티 뷰 영상을 구현하는 일 예를 보여주는 도면.
도 6은 도 4의 영상 처리회로를 상세히 보여주는 블록도.
도 7은 본 발명의 실시 예에 따른 멀티 뷰 영상 데이터를 보여주는 일 예시도면.
도 8은 도 6의 모션 벡터 추출부의 상세 구성을 보여주는 도면.
도 9는 영상 비교 방식의 일 예로서 SAD 방식을 보여주는 도면.
도 10은 SAD 방식 등을 통해 이웃한 프레임들 간의 좌안 영상들(또는 우안 영상들)을 서로 비교하여 모션 벡터를 추출하는 것을 보여주는 도면.
도 11은 동일 프레임을 구성하는 좌안 영상과 우안 영상을 서로 비교하여 뎁쓰 정보를 추출하는 것을 보여주는 도면.
도 12는 뎁쓰 맵 생성부에서 생성된 뎁쓰 맵의 일 예를 보여주는 도면.
도 13은 뎁쓰 맵 생성부에 포함되는 뎁쓰 변조부를 이용하여 뎁쓰 맵의 계조값을 모션 벡터의 크기에 따라 보정하는 일 예를 보여주는 도면.
도 14a 및 도 14b는 뎁쓰 맵의 계조값 보정 전후에 있어 영상의 깊이감이 달라지는 일 예를 보여주는 도면.
도 15는 멀티 뷰 영상 합성부에 포함되는 뎁쓰 변조부를 이용하여 뷰 영상들 간 디스패리티 값을 모션 벡터의 크기에 따라 보정하는 일 예를 보여주는 도면.
도 16a 및 도 16b는 뷰 영상들 간 디스패리티 값 보정 전후에 있어 영상의 깊이감이 달라지는 일 예를 보여주는 도면.
도 17은 본 발명의 일 영상 데이터 처리 방법으로서, 모션 벡터의 크기에 따라 뎁쓰 맵의 계조값을 보정한 후 멀티 뷰 영상을 처리하는 일련의 과정을 보여주는 도면.
도 18은 본 발명의 일 영상 데이터 처리 방법으로서, 모션 벡터의 크기에 따라 뷰 영상들 간 디스패리티 값을 보정한 후 멀티 뷰 영상을 처리하는 일련의 과정을 보여주는 도면.1 is a view showing an optimal viewing distance in an autostereoscopic 3D display device.
2 is a view showing an example of a multi-view image implemented in an autostereoscopic 3D image display device.
3 is a view showing a cause of the viewer's fatigue in the autostereoscopic 3D display device.
4 is a block diagram schematically showing a multi-view autostereoscopic 3D image display device according to an embodiment of the present invention.
5 is a view showing an example of implementing a multi-view image in a multi-view autostereoscopic 3D image display device according to an embodiment of the present invention.
6 is a block diagram showing the image processing circuit of FIG. 4 in detail.
7 is an exemplary view showing multi-view image data according to an embodiment of the present invention.
8 is a view showing a detailed configuration of the motion vector extractor of FIG. 6;
9 is a view showing an SAD method as an example of an image comparison method.
FIG. 10 is a diagram illustrating that a motion vector is extracted by comparing left-eye images (or right-eye images) between neighboring frames through an SAD method or the like.
11 is a diagram showing that depth information is extracted by comparing a left-eye image and a right-eye image constituting the same frame with each other.
12 is a diagram showing an example of a depth map generated by the depth map generator.
13 is a diagram illustrating an example of correcting a gradation value of a depth map according to the size of a motion vector using a depth modulator included in the depth map generator.
14A and 14B are diagrams showing an example in which a sense of depth of an image is changed before and after correcting a gradation value of a depth map.
15 is a diagram illustrating an example of correcting a disparity value between view images according to a size of a motion vector using a depth modulator included in a multi-view image synthesis unit.
16A and 16B are diagrams showing an example in which a sense of depth of an image is changed before and after correction of a disparity value between view images.
17 is a diagram illustrating a series of processes of processing a multi-view image after correcting a gradation value of a depth map according to the size of a motion vector as a method of processing image data according to the present invention.
18 is a diagram illustrating a series of processes of processing a multi-view image after correcting a disparity value between view images according to the size of a motion vector as a method of processing image data according to the present invention.

이하 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예들을 상세히 설명한다. 명세서 전체에 걸쳐서 동일한 참조번호들은 실질적으로 동일한 구성요소들을 의미한다. 이하의 설명에서, 본 발명과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 상세한 설명을 생략한다. 이하의 설명에서 사용되는 구성요소 명칭은 명세서 작성의 용이함을 고려하여 선택된 것일 수 있는 것으로서, 실제 제품의 부품 명칭과는 상이할 수 있다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. Throughout the specification, the same reference numerals refer to substantially the same components. In the following description, when it is determined that a detailed description of known functions or configurations related to the present invention may unnecessarily obscure the subject matter of the present invention, the detailed description is omitted. The component names used in the following description may be selected in consideration of ease of specification preparation, and may be different from parts names of actual products.

도 4는 본 발명의 실시 예에 따른 멀티 뷰 무안경 입체 영상 표시장치를 개략적으로 보여주는 블록도이다. 4 is a block diagram schematically showing a multi-view autostereoscopic 3D display device according to an embodiment of the present invention.

도 4를 참조하면, 본 발명의 실시 예에 따른 멀티 뷰 무안경 입체 영상 표시장치는 표시패널(10), 광학판(30), 게이트 구동회로(110), 데이터 구동회로(120), 타이밍 콘트롤러(130), 영상 처리회로(140), 및 호스트 시스템(150) 등을 구비한다. 본 발명의 실시 예에 따른 멀티 뷰 무안경 입체 영상 표시장치의 표시패널(10)은 액정표시소자(Liquid Crystal Display, LCD), 전계 방출 표시소자(Field Emission Display, FED), 플라즈마 디스플레이 패널(Plasma Display Panel, PDP), 유기발광다이오드 소자(Organic Light Emitting Diode, OLED) 등의 평판 표시소자로 구현될 수 있다. 본 발명은 아래의 실시 예에서 표시패널(10)이 액정표시소자로 구현된 것을 중심으로 예시하였지만, 이에 한정되지 않는 것에 주의하여야 한다.Referring to FIG. 4, a multi-view autostereoscopic 3D display device according to an embodiment of the present invention includes a display panel 10, an optical plate 30, a gate driving circuit 110, a data driving circuit 120, and a timing controller 130, an image processing circuit 140, a host system 150, and the like. The display panel 10 of the multi-view autostereoscopic image display device according to an embodiment of the present invention includes a liquid crystal display (LCD), a field emission display (FED), and a plasma display panel (Plasma) It may be implemented as a flat panel display element such as a display panel (PDP), an organic light emitting diode (OLED). The present invention has been mainly illustrated that the display panel 10 is implemented as a liquid crystal display device in the following embodiments, but it should be noted that it is not limited thereto.

표시패널(10)은 액정층을 사이에 두고 대향하는 상부기판과 하부기판을 포함한다. 표시패널(10)에는 데이터 라인(D)들과 게이트 라인(G)들(또는 스캔 라인들)의 교차 구조에 의해 매트릭스 형태로 배열되는 액정셀들을 포함하는 화소 어레이가 형성된다. 화소 어레이의 화소들 각각은 TFT(Thin Film Transistor)를 통해 데이터 전압이 충전되는 화소 전극과 공통전압이 인가되는 공통전극의 전압 차에 의해 액정층의 액정을 구동시켜 빛의 투과량을 조정함으로써 화상을 표시한다. 표시패널(10)의 상부기판상에는 블랙매트릭스와 컬러필터가 형성된다. 공통전극은 TN(Twisted Nematic) 모드와 VA(Vertical Alignment) 모드와 같은 수직전계 구동방식의 경우에 상부기판상에 형성되며, IPS(In-Plane Switching) 모드와 FFS(Fringe Field Switching) 모드와 같은 수평전계 구동방식의 경우에 화소전극과 함께 하부기판상에 형성될 수 있다. 표시패널(10)의 액정모드는 TN 모드, VA 모드, IPS 모드, FFS 모드뿐 아니라 어떠한 액정모드로도 구현될 수 있다. 표시패널(10)의 상부기판과 하부기판 각각에는 편광판이 부착되고 액정의 프리틸트각(pre-tilt angle)을 설정하기 위한 배향막이 형성된다. 표시패널(10)의 상부기판과 하부기판 사이에는 액정층의 셀갭(cell gap)을 유지하기 위한 스페이서(spacer)가 형성된다.The display panel 10 includes an upper substrate and a lower substrate facing each other with a liquid crystal layer interposed therebetween. A pixel array including liquid crystal cells arranged in a matrix is formed on the display panel 10 by a crossing structure of data lines D and gate lines G (or scan lines). Each of the pixels in the pixel array is driven by the liquid crystal of the liquid crystal layer by adjusting the amount of light transmitted by driving the liquid crystal of the liquid crystal layer by the voltage difference between the pixel electrode charged with the data voltage through the TFT (Thin Film Transistor) and the common electrode applied with the common voltage. Display. A black matrix and a color filter are formed on the upper substrate of the display panel 10. The common electrode is formed on the upper substrate in the case of a vertical electric field driving method such as TN (Twisted Nematic) mode and VA (Vertical Alignment) mode, such as IPS (In-Plane Switching) mode and FFS (Fringe Field Switching) mode. In the case of the horizontal electric field driving method, it may be formed on the lower substrate together with the pixel electrode. The liquid crystal mode of the display panel 10 may be implemented in any liquid crystal mode as well as TN mode, VA mode, IPS mode, and FFS mode. A polarizing plate is attached to each of the upper and lower substrates of the display panel 10, and an alignment layer for setting a pre-tilt angle of the liquid crystal is formed. A spacer for maintaining a cell gap of the liquid crystal layer is formed between the upper and lower substrates of the display panel 10.

표시패널(10)은 투과형 액정표시패널, 반투과형 액정표시패널, 반사형 액정표시패널 등 어떠한 형태로도 구현될 수 있다. 투과형 액정표시패널과 반투과형 액정표시패널에서는 백라이트 유닛이 필요하다. 백라이트 유닛은 직하형(direct type) 백라이트 유닛 또는 에지형(edge type) 백라이트 유닛으로 구현될 수 있다.The display panel 10 may be implemented in any form, such as a transmissive liquid crystal display panel, a semi-transmissive liquid crystal display panel, and a reflective liquid crystal display panel. A backlight unit is required in a transmissive liquid crystal display panel and a semi-transmissive liquid crystal display panel. The backlight unit may be implemented as a direct type backlight unit or an edge type backlight unit.

멀티 뷰 영상은 3D 영상을 분석하여 뎁쓰 맵(depth map)을 추출하고, 뎁쓰 맵에 기반한 뷰 영상들 간 디스패리티(disparity)에 따라 생성될 수도 있다. 광학판(30)은 표시패널(10) 상에 배치되어 표시패널(10)의 화소들에 표시되는 제1 내지 제k 뷰 영상들을 제1 내지 제k 뷰 영역들로 진행시킨다. 제1 내지 제k 뷰 영상들은 제1 내지 제k 뷰 영역들과 일대일로 매칭된다. 즉, 광학판(30)은 화소들에 표시되는 제t(t는 1≤t≤k을 만족하는 자연수) 뷰 영상을 제t 뷰 영역으로 진행시킨다. 본 발명의 실시 예에 따른 입체 영상 표시장치의 광학판(30)은 패럴렉스 배리어(parallax barrier), 스위쳐블 배리어(switchable barrier), 렌티큘러 렌즈(lenticular lens), 스위쳐블 렌즈(switchable lens) 등 어떠한 형태로도 구현될 수 있다. 한편, 광학판(30)이 스위쳐블 배리어 또는 스위쳐블 렌즈로 구현되는 경우, 광학판(30)을 구동하기 위한 광학판 구동회로가 필요하다. 광학판 구동회로는 광학판(30)에 구동전압을 공급함으로써 스위쳐블 배리어 또는 스위쳐블 렌즈의 광분리 동작을 온-오프시킬 수 있다. The multi-view image may be generated according to a disparity between view images based on the depth map by analyzing a 3D image and extracting a depth map. The optical plate 30 is disposed on the display panel 10 to advance the first to k-th view images displayed on the pixels of the display panel 10 to the first to k-th view regions. The first to k-th view images are matched one-to-one with the first to k-th view regions. That is, the optical plate 30 advances the t-th (t is a natural number that satisfies 1≤t≤k) view image displayed on the pixels to the t-th viewing area. The optical plate 30 of the stereoscopic image display device according to an exemplary embodiment of the present invention includes any of a parallax barrier, a switchable barrier, a lenticular lens, a switchable lens, and the like. It can also be implemented in form. Meanwhile, when the optical plate 30 is implemented as a switchable barrier or a switchable lens, an optical plate driving circuit for driving the optical plate 30 is required. The optical plate driving circuit may turn on/off the optical separation operation of the switchable barrier or switchable lens by supplying a driving voltage to the optical plate 30.

도 5는 본 발명의 실시 예에 따른 멀티 뷰 무안경 입체 영상 표시장치에서 멀티 뷰 영상을 구현하는 일 예를 보여준다. 도 5에서는 설명의 편의를 위해 표시패널(10)이 4 개의 뷰 영상들(V1, V2, V3, V4)을 표시하고, 광학판(30)이 표시패널(10)에 표시된 4 개의 뷰 영상들(V1, V2, V3, V4)을 4 개의 뷰 영역들(VP1, VP2, VP3, VP4)로 진행시키는 것을 중심으로 설명하였다. 도 5에서 광학판(30)은 렌티큘러 렌즈로 구현된 것을 중심으로 예시하였지만, 본 발명의 실시 예에 따른 광학판(30)은 패럴렉스 배리어, 스위쳐블 배리어, 스위쳐블 렌즈 등 어떠한 형태로도 구현될 수 있음에 유의하여야 한다.5 shows an example of implementing a multi-view image in a multi-view autostereoscopic 3D image display device according to an embodiment of the present invention. In FIG. 5, for convenience of explanation, the display panel 10 displays four view images V1, V2, V3, and V4, and the optical plate 30 displays four view images displayed on the display panel 10 It has been mainly described that (V1, V2, V3, V4) proceeds to four view regions (VP1, VP2, VP3, VP4). In FIG. 5, the optical plate 30 is mainly illustrated as being implemented with a lenticular lens, but the optical plate 30 according to an embodiment of the present invention is implemented in any form such as a parallax barrier, a switchable barrier, and a switchable lens. It should be noted that it can be.

도 5를 참조하면, 광학판(30)은 화소들에 표시되는 제1 뷰 영상(V1)을 제1 뷰 영역(VP1)으로 진행시키고, 화소들에 표시되는 제2 뷰 영상(V2)을 제2 뷰 영역(VP2)으로 진행시키며, 화소들에 표시되는 제3 뷰 영상(V3)을 제3 뷰 영역(VP3)으로 진행시키고, 화소들에 표시되는 제4 뷰 영상(V4)을 제4 뷰 영역(VP4)으로 진행시킨다. 사용자의 좌안이 제t 뷰 영역(VPt)에 위치하고, 우안이 제t-1 뷰 영역(VPt-1)에 위치하는 경우, 사용자는 좌안으로 제t 뷰 영상(Vt)을 시청하고, 우안으로 제t-1 뷰 영상(Vt-1)을 시청할 수 있다. 따라서, 사용자는 양안 시차에 의해 입체감을 느낄 수 있다. Referring to FIG. 5, the optical plate 30 advances the first view image V1 displayed on the pixels to the first view area VP1 and removes the second view image V2 displayed on the pixels. Proceeds to the 2 view area VP2, advances the third view image V3 displayed on the pixels to the third view area VP3, and the fourth view image V4 displayed on the pixels to the fourth view It advances to the area VP4. When the user's left eye is located in the t-th viewing area VPt and the right eye is located in the t-1 viewing area VPt-1, the user views the t-view image Vt with the left eye, and the You can watch the t-1 view video (Vt-1). Therefore, the user can feel a three-dimensional effect by binocular parallax.

데이터 구동회로(120)는 다수의 소스 드라이브 집적회로(Integrated Circuit, 이하 'IC'라 칭함)들을 포함한다. 소스 드라이브 IC들은 타이밍 콘트롤러(130)의 제어 하에 멀티 뷰 영상 데이터(MVD)를 정극성/부극성 감마보상전압으로 변환하여 정극성/부극성 아날로그 데이터전압들을 발생한다. 소스 드라이브 IC들로부터 출력되는 정극성/부극성 아날로그 데이터 전압들은 표시패널(10)의 데이터 라인(D)들에 공급된다.The data driving circuit 120 includes a plurality of source drive integrated circuits (hereinafter referred to as'IC'). The source drive ICs convert the multi-view image data MVD into a positive/negative gamma compensation voltage under the control of the timing controller 130 to generate positive/negative analog data voltages. The positive/negative analog data voltages output from the source drive ICs are supplied to the data lines D of the display panel 10.

게이트 구동회로(110)는 타이밍 콘트롤러(130)의 제어 하에 표시패널(10)의 게이트 라인(G)들에 게이트 펄스들(또는 스캔 펄스들)을 순차적으로 공급한다. 게이트 구동부(110)는 쉬프트 레지스터, 쉬프트 레지스터의 출력신호를 액정셀의 TFT 구동에 적합한 스윙폭으로 변환하기 위한 레벨 쉬프터, 및 출력 버퍼 등을 각각 포함하는 다수의 게이트 드라이브 집적회로들로 구성될 수 있다. 게이트 드라이브 집적회로는 GIP(Gate driver In Panel) 방식에 따라 표시패널(10)의 하부기판에 직접 형성될 수 있다.The gate driving circuit 110 sequentially supplies gate pulses (or scan pulses) to the gate lines G of the display panel 10 under the control of the timing controller 130. The gate driver 110 may be composed of a plurality of gate drive integrated circuits each including a shift register, a level shifter for converting the output signal of the shift register to a swing width suitable for TFT driving of the liquid crystal cell, and an output buffer. have. The gate drive integrated circuit may be directly formed on the lower substrate of the display panel 10 according to a GIP (Gate driver In Panel) method.

타이밍 콘트롤러(130)는 영상 처리회로(140)로부터 멀티 뷰 영상 데이터(MVD)와 타이밍 신호들 등을 입력받는다. 타이밍 신호들은 수직동기신호(vertical synchronization signal), 수평동기신호(horizontal synchronization signal), 데이터 인에이블 신호(data enable signal), 및 클럭 신호(clock signal) 등을 포함할 수 있다.The timing controller 130 receives multi-view image data (MVD) and timing signals from the image processing circuit 140. The timing signals may include a vertical synchronization signal, a horizontal synchronization signal, a data enable signal, and a clock signal.

타이밍 콘트롤러(130)는 타이밍 신호들에 기초하여 게이트 구동회로(110)를 제어하기 위한 게이트 제어신호(GCS)를 생성하고, 데이터 구동회로(120)를 제어하기 위한 데이터 제어신호(DCS)를 생성한다. 타이밍 콘트롤러(130)는 게이트 제어신호(GCS)를 게이트 구동회로(110)에 공급한다. 타이밍 콘트롤러(130)는 멀티 뷰 영상 데이터(MVD)와 데이터 제어신호(DCS)를 데이터 구동회로(120)로 공급한다.The timing controller 130 generates a gate control signal GCS for controlling the gate driving circuit 110 based on the timing signals, and a data control signal DCS for controlling the data driving circuit 120. do. The timing controller 130 supplies the gate control signal GCS to the gate driving circuit 110. The timing controller 130 supplies the multi-view image data MVD and the data control signal DCS to the data driving circuit 120.

호스트 시스템(150)은 외부 비디오 소스 기기로부터 입력되는 3D 영상 데이터(L,R)를 표시패널(10)에 표시하기에 적합한 해상도의 데이터 포맷으로 변환하기 위해 스케일러(scaler)가 내장된 시스템 온 칩(System on Chip)을 포함할 수 있다. 호스트 시스템(150)은 LVDS(Low Voltage Differential Signaling) 인터페이스, TMDS(Transition Minimized Differential Signaling) 인터페이스 등의 인터페이스 회로를 통해 3D 영상 데이터(L,R)와 타이밍 신호들을 영상 처리회로(140)에 공급한다. The host system 150 is a system on chip with a scaler built in to convert 3D image data (L,R) input from an external video source device into a data format of a resolution suitable for display on the display panel 10. (System on Chip). The host system 150 supplies 3D image data (L,R) and timing signals to the image processing circuit 140 through interface circuits such as a Low Voltage Differential Signaling (LVDS) interface and a Transition Minimized Differential Signaling (TMDS) interface. .

영상 처리회로(140)는 호스트 시스템(150)으로부터 입력받은 3D 영상 데이터(L,R)로부터 멀티 뷰 영상 데이터(MVD)를 생성하여 타이밍 콘트롤러(130)로 출력한다. 3D 영상 데이터(L,R)는 제1 단안(單眼) 영상 데이터와 제2 단안 영상 데이터(또는 2 개의 뷰 영상 데이터)를 포함한다. 이하에서는 설명의 편의를 위해 제1 단안 영상 데이터가 좌안 영상 데이터(L)이고, 제2 단안 영상 데이터가 우안 영상 데이터(R)인 것을 예로 하여 설명한다. 영상 처리회로(140)는 3D 영상 데이터(L,R)를 참조로 뎁쓰 맵을 생성하고, 뎁쓰 맵에서 계조 차이로 표현된 뷰 영상들 간 디스패리티(disparity) 값을 이용하여 멀티 뷰 영상 데이터(MVD)를 생성한다. 멀티 뷰 영상 데이터(MVD)에 따라 생성되는 이웃한 뷰 영상들은, 객체의 입체감을 정량적으로 표현한 뎁쓰 맵에 의해 정의된 픽셀들 간의 간격(즉, 디스패리티)만큼 좌안 영상으로 보이는 픽셀 데이터와 우안 영상으로 보이는 픽셀 데이터의 간격이 설정되어 사용자로 하여금 양안 시차를 느끼게 한다. The image processing circuit 140 generates multi-view image data MVD from 3D image data L and R received from the host system 150 and outputs the multi-view image data MVD to the timing controller 130. The 3D image data L and R include first monocular image data and second monocular image data (or two view image data). Hereinafter, for convenience of description, it will be described as an example that the first monocular image data is the left eye image data L and the second monocular image data is the right eye image data R. The image processing circuit 140 generates a depth map with reference to the 3D image data (L, R), and uses the disparity value between view images expressed as grayscale differences in the depth map to generate multi-view image data ( MVD). The neighboring view images generated according to the multi-view image data (MVD) include pixel data that is viewed as a left-eye image and a right-eye image as much as an interval (ie, disparity) between pixels defined by a depth map quantitatively expressing a three-dimensional effect of an object. The spacing of the pixel data shown by is set to make the user feel binocular parallax.

특히, 영상 처리회로(140)는 객체의 움직임에 따라 뎁쓰를 조절하여 시청하기 편안한 입체 영상을 구현한다. 입체 영상을 시청함에 있어 객체의 움직임이나 속도 변화가 클 경우, 시청자는 양안시차(Binocular Disparity)의 급격한 변화 및 컨버젼스 포이트(Convergence Point) 변화로 인해 어지러움 등의 불편함을 느끼게 된다. 더욱이, 입체 영상에서 객체의 상이 맺히는 위치와 시청자의 초점 조절 위치가 불일치 하는 환경에서 객체의 운동량이 크면, 표시 장치의 응답속도 영향이 더해져 영상이 더욱 블러(Blur)해 지는 등 시인성도 악화 된다. 이러한 문제점을 해결하기 위해 본 발명의 영상 처리회로(140)는 이웃한 프레임 간 모션 벡터(Motion Vector)의 크기를 감지하여 입력 영상의 프레임 별 객체의 운동량 변화를 추출한다. 그리고, 모션 벡터의 크기 즉, 객체의 운동량 변화에 따라 뎁쓰 맵의 계조값을 보정하거나, 또는 뷰 영상들 간 계조 별 디스패리티 값을 보정한다. 본 발명의 영상 처리회로(140)는 객체의 운동량이 일정치 미만인 경우에만 입체감을 강조하고, 객체의 운동량이 일정치 이상인 경우에는 이웃한 뷰 영상들 간의 입체감을 줄여 영상의 시인성을 향상시킨다.In particular, the image processing circuit 140 controls the depth according to the movement of the object to implement a comfortable stereoscopic image. When viewing a stereoscopic image, if the movement or speed of the object is large, the viewer may experience discomfort such as dizziness due to a rapid change in binocular disparity and a change in convergence point. Moreover, if the momentum of the object is large in an environment in which the position of the object in the stereoscopic image and the position of the viewer's focus are inconsistent, the influence of the response speed of the display device is added and the visibility is further deteriorated, such as blurring of the image. To solve this problem, the image processing circuit 140 of the present invention detects the size of a motion vector between neighboring frames and extracts a change in the momentum of an object for each frame of the input image. Then, the gradation value of the depth map is corrected according to the size of the motion vector, that is, the movement amount of the object, or the disparity value for each gradation between view images is corrected. The image processing circuit 140 of the present invention emphasizes a three-dimensional effect only when the motion amount of the object is less than a certain value, and when the motion amount of the object is more than a certain value, reduces the three-dimensional effect between neighboring view images to improve the visibility of the image.

도 6은 도 4의 영상 처리회로(140)를 상세히 보여주는 블록도이다. 도 7은 본 발명의 실시 예에 따른 멀티 뷰 영상을 보여준다.6 is a block diagram showing the image processing circuit 140 of FIG. 4 in detail. 7 shows a multi-view image according to an embodiment of the present invention.

도 6을 참조하면, 영상 처리회로(140)는 뎁쓰 제어부(210), 멀티 뷰 영상 생성기(300), 및 데이터 포맷부(250)를 구비한다.Referring to FIG. 6, the image processing circuit 140 includes a depth control unit 210, a multi-view image generator 300, and a data format unit 250.

멀티 뷰 영상 생성기(300)는 입력 3D 영상 데이터(L,R)의 뎁쓰 맵(DISM) 생성하고, 뎁쓰 맵(DISM)을 기초로 좌안 영상 데이터(L) 또는 우안 영상 데이터(R)를 쉬프트시켜 멀티 뷰 영상(MV)을 생성한다. 이를 위해, 멀티 뷰 영상 생성기(300)는 뎁쓰 맵 생성부(220), 멀티 뷰 영상 합성부(240)를 포함한다. The multi-view image generator 300 generates a depth map DISM of the input 3D image data L and R, and shifts the left-eye image data L or the right-eye image data R based on the depth map DISM. Create a multi-view image (MV). To this end, the multi-view image generator 300 includes a depth map generator 220 and a multi-view image synthesizer 240.

뎁쓰 맵 생성부(220)는 입력 3D 영상 데이터(L,R)의 뎁쓰 맵(DISM)을 생성한다. The depth map generator 220 generates a depth map DISM of the input 3D image data L and R.

멀티 뷰 영상 합성부(240)는 뎁쓰 맵(DISM)에서 정의된 디스패리티만큼 좌안 영상 데이터(L) 또는 우안 영상 데이터(R)를 쉬프트시켜 멀티 뷰 영상(MV)을 생성한다. 구체적으로, 멀티 뷰 영상 생성기(300)는 도 7과 같이 좌안 영상 데이터(L)를 제1 뷰 영상(V1)으로 설정하고, 우안 영상 데이터(RGBR)를 제n 뷰 영상(Vn)으로 설정하며, 뎁쓰 맵(DISM)의 계조에 따라 정해진 디스패리티들을 이용하여 좌안 영상 데이터(L) 또는 우안 영상 데이터(R)를 소정 픽셀 간격씩 쉬프트시킴으로써 제2 내지 제n-1 뷰 영상 (V2 ~ Vn-1)을 생성한다. The multi-view image synthesizing unit 240 generates a multi-view image MV by shifting the left-eye image data L or the right-eye image data R by a disparity defined in the depth map DISM. Specifically, the multi-view image generator 300 sets the left-eye image data L as the first view image V1 and the right-eye image data RGBR as the n-th view image Vn, as shown in FIG. 7. , By shifting the left-eye image data L or the right-eye image data R at predetermined pixel intervals using disparities determined according to the gradation of the depth map DISM, the second to n-1 view images (V2 to Vn- 1).

멀티 뷰 영상 생성기(300)는 후처리부(230)를 더 포함하여 뎁쓰 맵 생성부(220)에서 생성된 뎁쓰 맵(DISM)을 공지의 다양한 필터링 기법들을 이용하여 후 처리함으로써 뎁쓰 맵(DISM)에서 불필요한 노이즈를 제거하고 스테레오 매칭의 정확도를 높일 수 있다. 후처리부(230)는 필요에 따라 생략될 수 있다.The multi-view image generator 300 further includes a post-processing unit 230 to post-process the depth map DISM generated by the depth map generating unit 220 by using various known filtering techniques in the depth map DISM. Remove unnecessary noise and increase the accuracy of stereo matching. The post-processing unit 230 may be omitted if necessary.

본 발명의 멀티 뷰 영상 생성기(300)는 뎁쓰 제어부(210)로부터 입력되는 뎁쓰 제어신호(RMVET)에 따라 멀티 뷰 영상(MV)의 뎁쓰를 변조하는 뎁쓰 변조부를 포함하는 특징이 있다. 뎁쓰 변조부(221, 241)는 도 13 및 도 15에서와 같이 뎁쓰 맵 생성부(220)에 구비되거나 또는 멀티 뷰 영상 합성부(240)에 구비될 수도 있다. 뎁쓰 변조부((221, 241)에 대해서는 도 13 내지 도 16b를 통해 후술한다.The multi-view image generator 300 of the present invention is characterized by including a depth modulator for modulating the depth of the multi-view image MV according to the depth control signal RMBET input from the depth control unit 210. The depth modulators 221 and 241 may be provided in the depth map generator 220 or the multi-view image synthesizer 240 as shown in FIGS. 13 and 15. The depth modulators 221 and 241 will be described later with reference to FIGS. 13 to 16B.

뎁쓰 제어부(210)는 입력 3D 영상 데이터(L,R)를 분석하여 모션 벡터를 추출한 후, 모션 벡터의 크기를 미리 정해진 기준값과 비교하여 뎁쓰 제어신호(RMVET)를 출력한다. 뎁쓰 제어부(210)에 대해서는 도 8 내지 도 10을 통해 후술한다.The depth controller 210 analyzes the input 3D image data L and R to extract a motion vector, and then compares the size of the motion vector with a predetermined reference value and outputs a depth control signal RMBET. The depth control unit 210 will be described later with reference to FIGS. 8 to 10.

데이터 포맷부(250)는 멀티 뷰 영상 합성부(240)에서 입력되는 멀티 뷰 영상(MV)을 표시패널(10)의 3D 표시 배열에 맞게 멀티 뷰 영상 데이터 포맷으로 재정렬하여 멀티 뷰 영상 데이터(MVD)를 생성한다. 그리고, 이 멀티 뷰 영상 데이터(MVD)를 타이밍 콘트롤러(101)에 전송한다. 데이터 포맷부(250)는 공지의 3D 포맷터로 구현될 수 있다.The data format unit 250 rearranges the multi-view image (MV) input from the multi-view image synthesis unit 240 into a multi-view image data format according to the 3D display arrangement of the display panel 10, thereby multi-view image data (MVD) ). Then, the multi-view video data (MVD) is transmitted to the timing controller 101. The data formatter 250 may be implemented in a known 3D formatter.

도 8은 도 6의 뎁쓰 제어부(210)의 상세 구성을 보여준다. 도 9는 영상 비교 방식의 일 예로서 SAD 방식을 보여준다. 그리고, 도 10은 SAD 방식 등을 통해 이웃한 프레임들 간의 좌안 영상들(또는 우안 영상들)을 서로 비교하여 모션 벡터를 추출하는 일 예를 보여준다.8 shows a detailed configuration of the depth control unit 210 of FIG. 6. 9 shows an SAD method as an example of an image comparison method. In addition, FIG. 10 shows an example of extracting a motion vector by comparing left-eye images (or right-eye images) between neighboring frames through an SAD method or the like.

도 8을 참조하면, 뎁쓰 제어부(210)는 모션 벡터 추출부(211), 모션 벡터 평균화부(212), 및 모션 벡터 크기 비교부(213)를 포함한다.Referring to FIG. 8, the depth control unit 210 includes a motion vector extraction unit 211, a motion vector averaging unit 212, and a motion vector size comparison unit 213.

모션 벡터 추출부(211)는 현재 프레임(예컨대, 제n 프레임)의 3D 영상 데이터(Ln,Rn)와 이전 프레임(예컨대, 제n-1 프레임)의 3D 영상 데이터(Ln-1,Rn-1)을 입력 받고, 도 9와 같은 공지의 SAD(Sum of Absolute Differences) 방식 등을 이용하여 3D 영상 데이터의 이웃한 프레임들 간 모션 벡터(MVET)를 추출하여 프레임 별 객체의 운동량을 체크한다. 모션 벡터(MVET)를 추출하는 방식은 SAD 방식에 한정되지 않으며, 공지의 어떠한 방법으로도 가능하다. 하드웨어적인 적용 용이성을 고려하여 SAD 방식이 채용되는 경우, 모션 벡터 추출부(211)는 템플레이트(template)를 서치 이미지에 마스킹한 상태에서 좌에서 우로 이동시키며 그 차이를 계산한다. 센터 영역의 차이값이 가장 적으므로 서치 이미지의 중앙에 찾고자 하는 영상(혹은 객체)가 존재함을 알 수 있다.The motion vector extracting unit 211 includes 3D image data (Ln,Rn) of the current frame (eg, nth frame) and 3D image data (Ln-1,Rn-1) of the previous frame (eg, n-1th frame). ) Is input, and a motion vector (MVET) between neighboring frames of 3D image data is extracted using a known SAD (Sum of Absolute Differences) method as shown in FIG. 9 to check the motion amount of the object for each frame. The method of extracting the motion vector (MVET) is not limited to the SAD method, and can be any known method. When the SAD method is adopted in consideration of hardware ease of application, the motion vector extraction unit 211 calculates the difference by moving the template from left to right while masking the search image. Since the difference value of the center area is the smallest, it can be seen that the image (or object) to be searched exists in the center of the search image.

모션 벡터 추출부(211)는 도 10과 같이 모션 벡터(MVET)를 추출하기 위해 이웃한 프레임들의 좌안 영상 데이터(Ln-1,Ln)만을 서로 비교하거나 또는, 이웃한 프레임들의 우안 영상 데이터(Rn-1,Rn)만을 서로 비교한다. 스테레오 영상 구현을 위한 3D 영상 데이터는 좌안 영상 데이터와 우안 영상 데이터가 각각 절반씩 포함하고, 좌안 영상 데이터에 대한 프레임 간 변화량과 우안 영상 데이터에 대한 프레임 변화량은 실질적으로 동일하므로, 본 발명의 모션 벡터 추출부(211)는 좌안 영상 데이터에 대한 프레임 간 변화량 및, 우안 영상 데이터에 대한 프레임 변화량 중 어느 하나만을 이용하여 모션 벡터(MVET)를 추출한다. 이를 통해, 본 발명은 모션 벡터(MVET) 추출을 위한 연산 처리 시간, 로직 사이즈, 및 필요 메모리 량을 줄일 수 있다.The motion vector extraction unit 211 compares only the left-eye image data Ln-1 and Ln of neighboring frames with each other or extracts the right-eye image data Rn of neighboring frames to extract the motion vector MVET as shown in FIG. 10. -1,Rn) is compared with each other. The 3D image data for stereo image realization includes half the left-eye image data and the right-eye image data, and since the inter-frame change amount for the left-eye image data and the frame change amount for the right-eye image data are substantially the same, the motion vector of the present invention The extraction unit 211 extracts a motion vector (MVET) using only one of a change amount between frames for the left eye image data and a change amount of frames for the right eye image data. Through this, the present invention can reduce the calculation processing time, logic size, and required memory amount for motion vector (MVET) extraction.

모션 벡터 평균화부(212)는 다수의 프레임들을 통해 추출되어 누적된 모션 벡터(MVET)를 평균화 처리함으로써, 모션 벡터(MVET) 추출시 발생되는 에러와 모션 벡터(MVET)에 혼입되는 노이즈를 줄이고, 특정 한두 프레임의 급격한 변화에 따른 영향을 배제한다. 평균화 프레임 수는 2개 ~ 64개 정도로 설정될 수 있다. The motion vector averaging unit 212 averages and processes the accumulated motion vector (MVET) extracted through a plurality of frames, thereby reducing errors generated when extracting the motion vector (MVET) and noise introduced into the motion vector (MVET), Eliminate the effects of a sudden change in one or two frames. The number of averaging frames can be set to about 2 to 64.

모션 벡터 크기 비교부(213)는 평균화된 모션 벡터(MVET)의 크기를 미리 정해진 기준값과 비교하여 뎁쓰 제어신호(RMVET)를 출력한다. 여기서, 기준값은 실험에 의해 미리 설정되는 값으로, 뎁쓰를 유지하거나 또는 상하로 조정하는 데 있어 기준이 된다. The motion vector size comparison unit 213 compares the size of the averaged motion vector MVET with a predetermined reference value and outputs a depth control signal RMBET. Here, the reference value is a value that is set in advance by experiments, and is a reference for maintaining the depth or adjusting it up and down.

도 11은 동일 프레임을 구성하는 좌안 영상과 우안 영상을 서로 비교하여 뎁쓰 정보를 추출하는 것을 보여준다. 그리고, 도 12는 뎁쓰 맵 생성부(220)에서 생성된 뎁쓰 맵의 일 예를 보여준다.11 shows that depth information is extracted by comparing a left-eye image and a right-eye image constituting the same frame with each other. In addition, FIG. 12 shows an example of the depth map generated by the depth map generator 220.

뎁쓰 맵 생성부(220)는 다양한 공지의 방법(예를 들어, 도 9의 SAD 기법 등)으로 도 11과 같이 동일 프레임 내의 좌안 영상 데이터(L)와 우안 영상 데이터(R)를 서로 비교하여 뎁쓰 정보를 추출하고, 이 뎁쓰 정보를 통해 뎁쓰 맵(DISM)을 생성할 수 있다. 뎁쓰 맵 생성부(220)는 모션 벡터 추출 기법과 동일한 방법으로 뎁쓰 정보를 추출하여 리소스를 줄일 수 있다. SAD 기법을 공통으로 사용하는 경우, 모션 벡터 추출시에는 이웃한 프레임들의 좌안 영상 데이터만(또는 우안 영상 데이터만)을 서로 비교하는 데 반해, 뎁쓰 정보 추출시에는 동일 프레임내의 좌안 영상 데이터와 우안 영상 데이터를 서로 비교한다. 뎁쓰 맵(DISM)은 도 12에서 보여지는 바와 같이 물체 혹은 객체(Object)의 3차원 공간 정보를 화면으로부터의 거리에 따라 계조로 표현한 이미지 데이터이다. 뎁쓰(depth, 심도) 값은 픽셀 데이터의 시프트(shift) 정도 즉, 디스패리티(disparity)를 정의한다. 뎁쓰 맵(DISM)에서, 화면의 앞으로 돌출되는 객체는 높은 계조(또는 화이트 계조)의 데이터로 표현되고, 화면 뒤로 멀어지는 객체는 낮은 계조(또는 블랙 계조)로 표현된다. The depth map generation unit 220 compares the depths of the left-eye image data L and the right-eye image data R in the same frame as shown in FIG. 11 by various known methods (for example, the SAD technique of FIG. 9 ). Information may be extracted and a depth map (DISM) may be generated through the depth information. The depth map generator 220 may reduce the resource by extracting the depth information in the same way as the motion vector extraction technique. When the SAD technique is commonly used, when extracting motion vectors, only the left-eye image data of neighboring frames are compared with each other (or only the right-eye image data), whereas when extracting depth information, the left-eye image data and the right-eye image within the same frame. Compare data to each other. The depth map DISM is image data in which three-dimensional spatial information of an object or object is expressed in grayscale according to a distance from the screen, as shown in FIG. 12. The depth value defines a degree of shift of pixel data, that is, disparity. In the depth map DISM, an object protruding in front of the screen is represented by data of high gradation (or white gradation), and an object distant from the screen is represented by low gradation (or black gradation).

도 13은 뎁쓰 맵 생성부(220)에 포함되는 뎁쓰 변조부(221)를 이용하여 뎁쓰 맵(DISM)의 계조값을 모션 벡터(MVET)의 크기에 따라 보정하는 일 예를 보여준다. 13 shows an example of correcting the gradation value of the depth map DISM according to the size of the motion vector MVET using the depth modulator 221 included in the depth map generator 220.

도 13을 참조하면, 본 발명의 일 실시예에 따른 뎁쓰 변조부(221)는 뎁쓰 맵 생성부(220)에 구비될 수 있다. 뎁쓰 맵 생성부(220)는 전술한 방법으로 뎁쓰 맵(DISM)을 생성한다. 그러면, 뎁쓰 변조부(221)는 멀티 뷰 영상(MV)의 뎁스를 변조하기 위해 뎁쓰 제어신호(RMVET)에 따라 뎁쓰 맵(DISM)의 계조값을 일률적으로 보정할 수 있다. Referring to FIG. 13, a depth modulator 221 according to an embodiment of the present invention may be provided in the depth map generator 220. The depth map generator 220 generates a depth map DISM in the manner described above. Then, the depth modulator 221 may uniformly correct the gradation value of the depth map DISM according to the depth control signal RMBET in order to modulate the depth of the multi-view image MV.

뎁쓰 제어신호(RMVET)는, 이웃한 프레임들 간 모션 벡터(MVET)의 크기가 기준값보다 큰 경우에 제1 로직레벨로 입력되고, 기준값보다 작은 경우에 제2 로직레벨로 입력될 수 있으며, 기준값과 동일한 경우에 입력이 스킵(skip)될 수 있다. The depth control signal RMVET may be input as a first logic level when the magnitude of the motion vector MVET between neighboring frames is greater than a reference value, and may be input as a second logic level when it is smaller than the reference value. In the same case as, the input may be skipped.

뎁쓰 제어신호(RMVET)가 제1 로직레벨로 입력될 때(즉, 모션 벡터(MVET)의 크기가 기준값보다 큰 경우), 뎁스 변조부(221)는 뎁쓰 맵(DISM)에 1보다 작은 가중치를 곱하여 뎁쓰 맵(DISM)의 계조값을 일률적으로 낮춘다. 뎁쓰 맵(DISM)의 계조값이 일정한 비율로 낮아지면, 멀티 뷰 영상 합성부(240)에서 뎁쓰 맵(DISM)을 참조로 생성되는 멀티 뷰 영상들 간의 뎁쓰(심도, 깊이감, 입체감)가 줄어들게 된다. 이렇게 본 발명은 객체의 운동량이 큰 고속 영상에서 뎁쓰를 일률적으로 줄임으로써 피로감을 줄이고 영상의 시인성을 높일 수 있다.When the depth control signal RMVET is input to the first logic level (that is, when the size of the motion vector MVET is greater than the reference value), the depth modulator 221 weights the depth map DISM with a weight less than 1. By multiplying, the gradation value of the depth map DISM is uniformly lowered. When the gradation value of the depth map DISM decreases at a constant rate, the depth (depth, depth, and stereoscopic sense) between multi-view images generated by referring to the depth map DISM in the multi-view image synthesis unit 240 is reduced. do. In this way, the present invention can reduce the feeling of fatigue and increase the visibility of the image by uniformly reducing the depth in a high-speed image having a large amount of motion of the object.

반면, 뎁쓰 제어신호(RMVET)가 제2 로직레벨로 입력될 때(즉, 모션 벡터(MVET)의 크기가 기준값보다 작은 경우), 뎁스 변조부(221)는 뎁쓰 맵(DISM)에 1보다 큰 가중치를 곱하여 뎁쓰 맵(DISM)의 계조값을 일률적으로 높일 수 있다. 뎁쓰 맵(DISM)의 계조값이 일정한 비율로 높아지면, 멀티 뷰 영상 합성부(240)에서 뎁쓰 맵(DISM)을 참조로 생성되는 멀티 뷰 영상들 간의 뎁쓰(심도, 깊이감, 입체감)가 커지게 된다. 본 발명은 객체의 운동량이 매우 작은 영상에서 뎁쓰를 일률적으로 늘림으로써 입체감을 보다 강조할 수도 있다. On the other hand, when the depth control signal RMVET is input to the second logic level (that is, when the size of the motion vector MVET is smaller than the reference value), the depth modulator 221 is greater than 1 in the depth map DISM. The gradation value of the depth map DISM can be uniformly increased by multiplying the weights. When the gradation value of the depth map DISM increases at a constant rate, the depth (depth, depth, and stereoscopic sense) between multi-view images generated by referring to the depth map DISM in the multi-view image synthesis unit 240 increases. Lose. According to the present invention, a three-dimensional effect may be further emphasized by uniformly increasing the depth in an image in which the motion of the object is very small.

한편, 뎁스 맵(DISM)이 8비트 계조 스케일로 표현되는 경우, 일반적으로 125 계조가 컨버젼스 포인트(convergence point)가 되며, 이에 따라 125 계조보다 높은 계조 구간은 객체가 화면 앞의 시청자 쪽으로 돌출되 보이는 포지티브 뎁쓰(positive depth)가 되고, 125 계조보다 낮은 계조 구간은 객체가 화면 뒤로 들어가 보이는 네거티브 뎁쓰(negative depth)가 된다. 뎁스 맵(DISM) 상의 컨버젼스 포인트(convergence point)는 임의의 계조값으로 미리 설정될 수 있으며, 이 경우 설정된 계조값에 해당하는 객체는 화면상에 위치하여 그 뎁쓰가 0이 된다.On the other hand, when the depth map (DISM) is expressed in 8-bit gradation scale, generally 125 gradations become convergence points, and accordingly, a gradation section higher than 125 gradations looks like an object protruding toward the viewer in front of the screen. It becomes a positive depth, and a gradation section lower than 125 gradations becomes a negative depth where an object enters behind the screen. The convergence point on the depth map DISM may be preset as an arbitrary gradation value, and in this case, an object corresponding to the set gradation value is located on the screen, and its depth is 0.

이 상태에서 뎁쓰 맵(DISM)에 1보다 작거나 큰 가중치가 곱해지면 뎁쓰 맵(DISM)의 모든 계조값(컨버젼스 포인트로 설정된 계조값 포함)이 변화된다. 예컨대, 뎁쓰 맵(DISM)에 가중치 0.8이 곱해지는 경우, 컨버젼스 포인트로 설정된 125 계조에 해당하는 객체는 뎁쓰 맵(DISM) 상에서 100 계조(125*0.8)로 그 계조값이 바뀌어 뎁쓰가 변경된다. 즉, 컨버젼스 포인트에 있던 객체의 뎁스는 0에서 음의 값으로 바뀌게 된다. 이는 뎁쓰 맵의 계조값 보정 전후에 있어 영상의 깊이감이 달라지는 일 예를 보여주는 도 14a 및 도 14b를 통해 명확히 알 수 있다.In this state, if the depth map DISM is multiplied by a weight less than or equal to 1, all the gradation values of the depth map DISM (including the gradation value set as the convergence point) are changed. For example, when the weight of the depth map DISM is multiplied by 0.8, an object corresponding to 125 gray levels set as the convergence point is changed to 100 gray levels (125*0.8) on the depth map DISM to change the depth. That is, the depth of the object at the convergence point is changed from 0 to a negative value. This can be clearly seen through FIGS. 14A and 14B showing an example in which a sense of depth of an image is changed before and after correcting a gradation value of a depth map.

도 14a에는 계조값 보정 전의 뎁쓰 맵(DISM)에 따른 객체들(OB1~OB4)의 공간상 분포 위치가 나타나 있으며, 도 14b에는 계조값 하향 보정 후의 뎁쓰 맵(DISM)에 따른 객체들(OB1~OB4)의 공간상 분포 위치가 나타나 있다. 뎁쓰 맵(DISM)에 대한 계조값 하향 보정에 의해 도 14b는 도 14a에 비해 객체들(OB1~OB4)의 공간상 분포 위치가 전체적으로 패널(화면) 안쪽으로 쉬프트된다. 그 결과 컨버젼스 포인트에 해당되는 계조값까지 변하게 된다. 이에 따라, 뎁스 맵의 계조값을 보정하는 방식은 보정 전후에 있어 표시패널과 객체들 간의 상대적 거리 비율을 변화시켜, 도 14a 및 도 14b에서 a:b≠c:d와 같은 결과를 초래할 수 있다. 14A shows spatial distribution positions of objects OB1 to OB4 according to the depth map DISM before gradation value correction, and FIGS. 14B to OB1 to objects according to the depth map DISM after gradation value downward correction. The spatial distribution position of OB4) is shown. 14B of the depth map for the depth map DISM, the positions of spatial distribution of the objects OB1 to OB4 are shifted to the inside of the panel (screen) as compared to FIG. 14A. As a result, even the gradation value corresponding to the convergence point is changed. Accordingly, the method of correcting the gradation value of the depth map changes the relative distance ratio between the display panel and the objects before and after the correction, and may result in a:b≠c:d in FIGS. 14A and 14B. .

도 15는 멀티 뷰 영상 합성부(240)에 포함되는 뎁쓰 변조부(241)를 이용하여 뷰 영상들 간 디스패리티 값을 모션 벡터(MVET)의 크기에 따라 보정하는 일 예를 보여준다. 15 shows an example of correcting a disparity value between view images according to the size of a motion vector (MVET) by using a depth modulator 241 included in the multi-view image synthesizer 240.

도 15를 참조하면, 본 발명의 일 실시예에 따른 뎁쓰 변조부(241)는 멀티 뷰 영상 합성부(240)에 구비될 수 있다. 멀티 뷰 영상 합성부(240)는 전술한 방법으로 뎁쓰 맵(DISM)에서 정의된 계조 별 디스패리티만큼 좌안 영상 데이터(L) 또는 우안 영상 데이터(R)를 쉬프트시켜 멀티 뷰 영상(MV)을 생성한다. 이러한 멀티 뷰 영상(MV)을 생성하는 과정에서, 뎁쓰 변조부(221)는 뷰 영상들 간의 계조 별 디스패리티 값을 뎁쓰 제어신호(RMVET)에 따라 일정한 비율로 조정하여 멀티 뷰 영상(MV)의 뎁스를 변조할 수 있다.15, the depth modulator 241 according to an embodiment of the present invention may be provided in the multi-view image synthesizer 240. The multi-view image synthesizing unit 240 generates a multi-view image MV by shifting the left-eye image data L or the right-eye image data R by the disparity for each gray level defined in the depth map DISM in the manner described above. do. In the process of generating such a multi-view image (MV), the depth modulator 221 adjusts the disparity value for each gray level between the view images at a constant rate according to the depth control signal (RMVET), thereby generating a multi-view image (MV). The depth can be modulated.

뎁쓰 제어신호(RMVET)가 제1 로직레벨로 입력될 때(즉, 모션 벡터(MVET)의 크기가 기준값보다 큰 경우), 뎁스 변조부(241)는 뷰 영상들 간의 계조 별 디스패리티 값에 1보다 작은 가중치를 곱하여 뷰 영상들 간에 쉬프트되는 픽셀 간격을 계조별로 일정하게 감소시킨다. 뷰 영상들 간에 쉬프트되는 픽셀 간격이 일정한 비율로 감소되면, 멀티 뷰 영상 합성부(240)에서 생성되는 멀티 뷰 영상들 간의 뎁쓰(심도, 깊이감, 입체감)가 줄어들게 된다. 이렇게 본 발명은 객체의 운동량이 큰 고속 영상에서 뎁쓰를 일률적으로 줄임으로써 피로감을 줄이고 영상의 시인성을 높일 수 있다.When the depth control signal RMVET is input to the first logic level (that is, when the magnitude of the motion vector MVET is greater than the reference value), the depth modulator 241 is 1 to the disparity value for each gray level between view images. Pixel spacing shifted between view images is uniformly reduced by gray level by multiplying by a smaller weight. When the pixel spacing shifted between the view images is reduced at a constant rate, the depth (depth, depth, and three-dimensional effect) between the multi-view images generated by the multi-view image synthesis unit 240 is reduced. In this way, the present invention can reduce the feeling of fatigue and increase the visibility of the image by uniformly reducing the depth in a high-speed image having a large amount of motion of the object.

반면, 뎁쓰 제어신호(RMVET)가 제2 로직레벨로 입력될 때(즉, 모션 벡터(MVET)의 크기가 기준값보다 작은 경우), 뎁스 변조부(241)는 뷰 영상들 간의 계조 별 디스패리티 값에 1보다 큰 가중치를 곱하여 뷰 영상들 간에 쉬프트되는 픽셀 간격을 계조별로 일정하게 증가시킨다. 뷰 영상들 간에 쉬프트되는 픽셀 간격이 일정한 비율로 증가되면, 멀티 뷰 영상 합성부(240)에서 생성되는 멀티 뷰 영상들 간의 뎁쓰(심도, 깊이감, 입체감)가 커지게 된다. 본 발명은 객체의 운동량이 매우 작은 영상에서 뎁쓰를 일률적으로 늘림으로써 입체감을 보다 강조할 수도 있다. On the other hand, when the depth control signal RMVET is input as the second logic level (ie, when the size of the motion vector MVET is smaller than the reference value), the depth modulator 241 disparity value for each gray level between view images By multiplying by a weight greater than 1, the pixel spacing shifted between view images is constantly increased for each gradation. When the pixel interval shifted between the view images is increased at a constant rate, the depth (depth, depth, stereoscopic feeling) between the multi-view images generated by the multi-view image synthesis unit 240 increases. According to the present invention, a three-dimensional effect may be further emphasized by uniformly increasing the depth in an image in which the motion of the object is very small.

한편, 뎁스 맵(DISM)이 8비트 계조 스케일로 표현되는 경우, 일반적으로 125 계조가 컨버젼스 포인트(convergence point)가 되며, 이에 따라 125 계조보다 높은 계조 구간은 객체가 화면 앞의 시청자 쪽으로 돌출되 보이는 포지티브 뎁쓰(positive depth)가 되고, 125 계조보다 낮은 계조 구간은 객체가 화면 뒤로 들어가 보이는 네거티브 뎁쓰(negative depth)가 된다. 뎁스 맵(DISM) 상의 컨버젼스 포인트(convergence point)는 임의의 계조값으로 미리 설정될 수 있으며, 이 경우 설정된 계조값에 해당하는 객체는 화면상에 위치하여 그 뎁쓰가 0이 된다. 255 계조가 125 계조 대비 (+) 뎁쓰이고 컨버젼스 포인트를 기준으로 10 픽셀만큼 좌측으로 디스패러티를 갖는다고 할 경우, 190 계조는 (+) 뎁쓰이고 컨버젼스 포인트를 기준으로 5 픽셀만큼 좌측으로 디스패러티를 갖게 된다. 또한, 0 계조는 125 계조 대비 (-) 뎁쓰이고 컨버젼스 포인트를 기준으로 10 픽셀만큼 우측으로 디스패러티를 갖게 되고, 63 계조는 125 계조 대비 (-) 뎁쓰이고 컨버젼스 포인트를 기준으로 5 픽셀만큼 우측으로 디스패러티를 갖게 된다.On the other hand, when the depth map (DISM) is expressed in 8-bit gradation scale, generally 125 gradations become convergence points, and accordingly, a gradation section higher than 125 gradations looks like an object protruding toward the viewer in front of the screen. It becomes a positive depth, and a gradation section lower than 125 gradations becomes a negative depth where an object enters behind the screen. The convergence point on the depth map DISM may be preset as an arbitrary gradation value, and in this case, an object corresponding to the set gradation value is located on the screen, and its depth is 0. If 255 gradations are (+) depth compared to 125 gradations and have a disparity to the left of 10 pixels based on the convergence point, 190 gradations are (+) depth and 5 pixels based on the convergence point to disparity to the left. You have. In addition, the 0 gradation is (-) depth compared to 125 gradations and has a disparity to the right by 10 pixels based on the convergence point, and the 63 gradation is (-) depth compared to 125 gradations and is 5 pixels to the right based on the convergence point. Disparity.

이 상태에서, 뷰 영상들 간의 계조 별 디스패리티 값에 1보다 작거나 큰 가중치가 곱해지면 뷰 영상들 간에 쉬프트되는 픽셀 간격은 일률적으로 변화된다. 예컨대, 뷰 영상들 간의 계조 별 디스패리티 값에 가중치 0.8이 곱해지는 경우, 255 계조는 125 계조 대비 (+) 뎁쓰이고 컨버젼스 포인트를 기준으로 8 픽셀(10*0.8)만큼 좌측으로 디스패러티를 갖도록 변경되고, 190 계조는 (+) 뎁쓰이고 컨버젼스 포인트를 기준으로 4 픽셀(5*0.8)만큼 좌측으로 디스패러티를 갖도록 변경된다. 또한, 0 계조는 125 계조 대비 (-) 뎁쓰이고 컨버젼스 포인트를 기준으로 8 픽셀만큼 우측으로 디스패러티를 갖도록 변경되고, 63 계조는 125 계조 대비 (-) 뎁쓰이고 컨버젼스 포인트를 기준으로 4 픽셀만큼 우측으로 디스패러티를 갖도록 변경된다. 이에 따르면, 컨버젼스 포인트로 설정된 125 계조는 디스패리티 값이 0이므로 어떠한 가중치가 곱해지더라도 변화없이 0을 유지한다. 즉, 컨버젼스 포인트에 있는 객체의 뎁스는 가중치 적용에도 불구하고 0을 유지한다. 이는 뷰 영상들 간 디스패리티 값 보정 전후에 있어 영상의 깊이감이 달라지는 일 예를 보여주는 도 16a 및 도 16b를 통해 명확히 알 수 있다.In this state, when a disparity value for each gradation between view images is multiplied by a weight less than or equal to 1, a pixel interval shifted between view images is uniformly changed. For example, when the disparity value for each gradation between view images is multiplied by a weight of 0.8, 255 gradation is (+) depth compared to 125 gradation, and is changed to have disparity to the left by 8 pixels (10*0.8) based on the convergence point. The 190 gray level is (+) depth and is changed to have disparity to the left by 4 pixels (5*0.8) based on the convergence point. In addition, the 0 gradation is (-) depth compared to 125 gradations and is changed to have disparity to the right by 8 pixels based on the convergence point, and the 63 gradation is (-) depth compared to 125 gradations and is right by 4 pixels based on the convergence point. Is changed to have disparity. According to this, the 125 gradation set as the convergence point has a disparity value of 0, so it maintains 0 without changing any weights. That is, the depth of the object at the convergence point remains 0 despite the weighting. This can be clearly seen through FIGS. 16A and 16B showing an example in which a sense of depth of an image is changed before and after correction of a disparity value between view images.

도 16a에는 보정 전의 디스패리티 값 적용에 따른 객체들(OB1~OB4)의 공간상 분포 위치가 나타나 있으며, 도 16b에는 보정 후의 디스패리티 값 적용에 따른 객체들(OB1~OB4)의 공간상 분포 위치가 나타나 있다. 디스패리티 값을 하향 보정함에 따라, 도 16b는 도 16a에 비해 객체들(OB1~OB4)의 공간상 분포 위치가 전체적으로 표시 패널(컨버젼스 포인트)을 향해 모이거나 또는, 표시 패널(컨버젼스 포인트)을 기준으로 멀어진다. 이에 따라, 디스패리티 값을 보정하는 방식은 보정 전후에 있어 표시패널과 객체들 간의 상대적 거리 비율을 일정하게 유지할 수 있다. 디스패리티 값을 보정하는 방식은 도 16a 및 도 16b에서 보여지듯이 a:b=c:d와 같은 결과를 얻을 수 있다. 이러한, 디스패리티 값을 보정하는 방식은, 뎁스 맵의 계조값을 보정하는 방식에 비해, 모션 벡터의 크기에 따라 멀티 뷰 영상의 뎁스를 변경시킬 때 입체감이 왜곡되는 것을 최소화할 수 있다.16A shows a spatial distribution position of objects OB1 to OB4 according to the application of the disparity value before correction, and FIG. 16B shows the spatial distribution position of objects OB1 to OB4 according to the application of the disparity value after correction. Is shown. As the disparity value is downwardly corrected, FIG. 16B shows that the locations of spatial distribution of objects OB1 to OB4 as a whole are gathered toward the display panel (convergence point) or based on the display panel (convergence point) as compared to FIG. 16A. Away with. Accordingly, the method of correcting the disparity value can keep the relative distance ratio between the display panel and the objects constant before and after correction. As a method of correcting the disparity value, as shown in FIGS. 16A and 16B, a result such as a:b=c:d can be obtained. The method of correcting the disparity value can minimize distortion of the stereoscopic effect when changing the depth of the multi-view image according to the size of the motion vector, compared to the method of correcting the gradation value of the depth map.

도 17은 본 발명의 일 영상 데이터 처리 방법으로서, 모션 벡터의 크기에 따라 뎁쓰 맵의 계조값을 보정한 후 멀티 뷰 영상을 처리하는 일련의 과정을 보여준다.17 is a method of processing image data according to the present invention, and shows a series of processes for processing a multi-view image after correcting a gradation value of a depth map according to the size of a motion vector.

도 17을 참조하면, 본 발명의 일 영상 데이터 처리 방법은 입력 영상 데이터의 뎁쓰 맵을 생성하고, 상기 입력 영상 데이터의 이웃한 프레임들 간 모션 벡터를 추출한다.(S10)Referring to FIG. 17, a method for processing image data according to the present invention generates a depth map of input image data and extracts a motion vector between neighboring frames of the input image data (S10).

이어서, 본 발명은 모션 벡터의 크기를 미리 정해진 기준값과 비교하여 뎁쓰 제어신호를 발생한다. 본 발명은 뎁쓰 제어신호에 따라, 뎁쓰 맵에 일정한 가중치를 곱하여 뎁스 맵의 계조값을 보정(낮추거나 높임)하거나 또는, 뎁스 맵의 계조값을 보정없이 유지한다.(S11,S12,S13)Subsequently, the present invention compares the magnitude of the motion vector with a predetermined reference value to generate a depth control signal. The present invention corrects (decreases or increases) the gradation value of the depth map by multiplying the depth map by a constant weight according to the depth control signal, or maintains the gradation value of the depth map without correction. (S11, S12, S13)

이어서, 본 발명은 선택적으로 계조값이 보정된 뎁스 맵을 후처리한다.(S14) 후처리 과정은 필요에 의해 생략될 수 있다.Subsequently, the present invention optionally post-processes the depth map in which the gradation value is corrected. (S14) The post-processing process may be omitted if necessary.

이어서, 본 발명은 보정된 뎁스 맵을 기초로 하여 좌안 영상 데이터 또는 우안 영상 데이터를 정해진 디스패러티 값만큼 쉬프트시켜 멀티 뷰 영상을 생성한다.(S15)Subsequently, the present invention shifts the left-eye image data or the right-eye image data by a predetermined disparity value based on the corrected depth map to generate a multi-view image. (S15)

이어서, 본 발명은 멀티 뷰 영상을 표시패널의 3D 표시 배열에 맞게 멀티 뷰 영상 데이터 포맷으로 재정렬하여 멀티 뷰 영상 데이터를 생성한다.(S16)Subsequently, the present invention rearranges the multi-view image into a multi-view image data format to match the 3D display arrangement of the display panel to generate multi-view image data. (S16)

도 18은 본 발명의 일 영상 데이터 처리 방법으로서, 모션 벡터의 크기에 따라 뷰 영상들 간 디스패리티 값을 계조 별로 보정한 후 멀티 뷰 영상을 처리하는 일련의 과정을 보여준다.18 is a method of processing an image data according to the present invention, and shows a series of processes for processing a multi-view image after correcting disparity values between view images according to the size of a motion vector by grayscale.

도 18을 참조하면, 본 발명의 일 영상 데이터 처리 방법은 입력 영상 데이터의 뎁쓰 맵을 생성하고, 상기 입력 영상 데이터의 이웃한 프레임들 간 모션 벡터를 추출한다.(S10)Referring to FIG. 18, a method for processing image data according to the present invention generates a depth map of input image data, and extracts a motion vector between neighboring frames of the input image data (S10).

이어서, 본 발명은 모션 벡터의 크기를 미리 정해진 기준값과 비교하여 뎁쓰 제어신호를 발생한다. (S11)Subsequently, the present invention compares the magnitude of the motion vector with a predetermined reference value to generate a depth control signal. (S11)

이어서, 본 발명은 뎁쓰 맵을 후처리한다.(S13) 후처리 과정은 필요에 의해 생략될 수 있다.Subsequently, the present invention post-processes the depth map. (S13) Post-processing may be omitted if necessary.

이어서, 본 발명은 뎁쓰 제어신호에 따라, 뷰 영상들 간의 계조 별 디스패리티 값에 일정한 가중치를 곱하여 계조 별 디스패리티 값을 보정(낮추거나 높임)하거나 또는, 계조 별 디스패리티값을 보정없이 유지한다. 그리고, 본 발명은 뎁스 맵을 기초로 하여 좌안 영상 데이터 또는 우안 영상 데이터를 선택적으로 보정된 디스패러티 값만큼 쉬프트시켜 멀티 뷰 영상을 생성한다.(S12,S14,S15)Subsequently, the present invention corrects (decreases or increases) the disparity value for each gray level by multiplying the disparity value for each gray level between view images according to the depth control signal, or maintains the disparity value for each gray level without correction. . Then, the present invention shifts the left-eye image data or the right-eye image data based on the depth map by a selectively corrected disparity value to generate a multi-view image. (S12, S14, S15)

이어서, 본 발명은 멀티 뷰 영상을 표시패널의 3D 표시 배열에 맞게 멀티 뷰 영상 데이터 포맷으로 재정렬하여 멀티 뷰 영상 데이터를 생성한다.(S16)
Subsequently, the present invention rearranges the multi-view image into a multi-view image data format to match the 3D display arrangement of the display panel to generate multi-view image data. (S16)

이상에서 살펴본 바와 같이, 본 발명은 모션 벡터를 활용하여 객체의 움직임에 따라 영상의 뎁쓰를 조절함으로써 시청하기 편안한 입체 영상을 구현할 수 있음은 물론이거니와 시인성을 높일 수 있다.As described above, according to the present invention, by using a motion vector, the depth of an image is adjusted according to the movement of an object, and thus, a stereoscopic image that is comfortable to watch can be implemented, and visibility can be improved.

이상 설명한 내용을 통해 당업자라면 본 발명의 기술사상을 일탈하지 아니하는 범위 내에서 다양한 변경 및 수정이 가능함을 알 수 있을 것이다. 따라서, 본 발명은 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허 청구의 범위에 의해 정하여져야만 할 것이다.
Through the above description, those skilled in the art will appreciate that various changes and modifications are possible without departing from the technical idea of the present invention. Therefore, the present invention should not be limited to the contents described in the detailed description, but should be defined by the claims.

10: 표시패널 30: 광학판
110: 게이트 구동회로 120: 데이터 구동회로
130: 타이밍 콘트롤러 140: 영상 처리회로
150: 호스트 시스템 210: 뎁쓰 제어부
211 : 모션 벡터 추출부 212 : 모션 벡터 평균화부
213 : 모션 벡터 크기 비교부 220: 뎁쓰 맵 생성부
230: 후처리부 240: 멀티 뷰 영상 합성부
221,241: 뎁쓰 변조부 300 : 멀티 뷰 영상 생성기10: display panel 30: optical plate
110: gate driving circuit 120: data driving circuit
130: timing controller 140: image processing circuit
150: host system 210: depth control unit
211: Motion vector extraction unit 212: Motion vector averaging unit
213: motion vector size comparison unit 220: depth map generation unit
230: post-processing unit 240: multi-view image synthesis unit
221,241: depth modulator 300: multi-view image generator

Claims

A depth map generator for generating a depth map of input image data;
A multi-view image synthesizer generating a multi-view image based on the depth map;
A depth controller for extracting a motion vector between neighboring frames of the input image data, and comparing the size of the motion vector with a predetermined reference value to generate a depth control signal; And
And a depth modulator for multiplying the disparity value for each gradation of view images for generating the multi-view image by a weight according to the depth control signal, and correcting the disparity value for each gradation of the view images,
In order to implement the multi-view image, the first object and the second object arranged based on a predetermined convergence point gather toward the convergence point as the disparity value for each gray level of the view images is corrected, or the convergence point Moving away from the reference, the convergence point is a multi-view autostereoscopic 3D display device, characterized in that fixed to a predetermined position regardless of the disparity value of each gray level of the view images is corrected.

delete

According to claim 1,
The depth modulator,
When the size of the motion vector is greater than the reference value, a multi-view autostereoscopic 3D image display device, wherein the disparity value for each gray level is reduced by multiplying the disparity value for each gray level by a weight less than 1.

According to claim 1,
The depth modulator,
When the size of the motion vector is smaller than the reference value, a multi-view autostereoscopic 3D image display device characterized in that the disparity value for each gradation is multiplied by a weight greater than 1 to increase the disparity value for each gradation.

According to claim 1,
The depth control unit,
A motion vector extraction unit for extracting motion vectors between neighboring frames of the input image data;
A motion vector averaging unit for averaging the motion vectors extracted and accumulated through a plurality of frames; And
And a motion vector size comparator for generating the depth control signal by comparing the size of the averaging-processed motion vector with the reference value.

The method of claim 8,
The motion vector extraction unit,
A multi-view autostereoscopic 3D image display device, characterized in that only the left-eye image data of the neighboring frames are compared with each other, or only the right-eye image data of the neighboring frames are compared with each other to extract the motion vector.

Generating a depth map of the input image data;
Generating a multi-view image based on the depth map;
Generating a depth control signal by extracting a motion vector between neighboring frames of the input image data, and comparing the size of the motion vector with a predetermined reference value; And
Comprising the step of correcting the disparity value for each gradation of the view images by multiplying the disparity value for each gradation of view images for generating the multi-view image by a weight according to the depth control signal,
In order to implement the multi-view image, the first object and the second object arranged based on a predetermined convergence point gather toward the convergence point as the disparity value for each gray level of the view images is corrected, or the convergence point Moving away from the reference, the convergence point is fixed to a predetermined position regardless of the disparity value of each gray level of the view images is corrected. .

delete

The method of claim 10,
The step of modulating the depth of the multi-view image,
When the size of the motion vector is greater than the reference value, multiplying the disparity value for each gradation by a weight less than 1 to reduce the disparity value for each gradation, the image of the multi-view autostereoscopic 3D image display device. Data processing method.

The method of claim 10,
The step of modulating the depth of the multi-view image,
When the size of the motion vector is smaller than the reference value, multiplying the disparity value for each gradation by a weight greater than 1 to increase the disparity value for each gradation, the image of the multi-view autostereoscopic 3D display device. Data processing method.

The method of claim 10,
Generating the depth control signal,
Extracting a motion vector between neighboring frames of the input image data;
Averaging a motion vector extracted and accumulated through a plurality of frames; And
And generating the depth control signal by comparing the magnitude of the averaging-processed motion vector with the reference value, and processing the image data of the multi-view autostereoscopic 3D image display device.

The method of claim 17,
Extracting the motion vector,
In order to extract the motion vector, only the left-eye image data of the neighboring frames are compared with each other, or only the right-eye image data of the neighboring frames are compared with each other, and the image data of the multi-view autostereoscopic 3D image display device. Processing method.