KR20150062412A

KR20150062412A - Image data processing method and multi-view autostereoscopic image display using the same

Info

Publication number: KR20150062412A
Application number: KR1020130147030A
Authority: KR
Inventors: 안충환
Original assignee: 엘지디스플레이 주식회사
Priority date: 2013-11-29
Filing date: 2013-11-29
Publication date: 2015-06-08
Also published as: KR102135914B1

Abstract

A multi-view auto-stereoscopic image display device according to the present invention comprises: a depth map generation unit which generates a depth map of input image data; a multi-view image synthesis unit which generates a multi-view image based on the depth map; a depth control unit which extracts motion vectors among frames near the input image data, and generates a depth control signal by comparing a size of the motion vector with a previously determined reference value; and a depth modulation unit which modulates a depth of the multi-view image according to the depth control signal.

Description

TECHNICAL FIELD [0001] The present invention relates to an image data processing method, and a multi-view stereoscopic image display apparatus using the same. [0002]

본 발명은 영상 데이터 처리 방법과 이를 이용한 멀티 뷰 무안경 입체 영상 표시장치에 관한 것이다.
The present invention relates to a method of processing image data and a multi-view spectacles stereoscopic image display using the same.

텔레비젼이나 모니터와 같은 표시장치에 입체 영상 재현 기술이 적용되어 가정에서도 3D 입체 영상을 감상할 수 있는 시대가 도래하였다. 입체 영상 표시장치는 안경 방식과 무안경 방식으로 나뉘어질 수 있다. 안경 방식은 직시형 표시소자나 프로젝터에 좌우 시차 영상의 편광 방향을 바꿔서 또는 시분할 방식으로 표시하고, 편광 안경 또는 액정셔터 안경을 사용하여 입체 영상을 구현한다. 무안경 방식은 일반적으로 좌우 시차 영상의 광축을 분리하기 위한 패럴랙스 베리어(parallax barrier, 이하 "베리어"라 함), 렌티큘라 렌즈(lenticular lens, 이하 "렌즈"라 함) 등의 광학 부품을 표시 화면의 앞이나 뒤에 설치하여 입체 영상을 구현한다. A stereoscopic image reproduction technology has been applied to a display device such as a television or a monitor, and it is time to appreciate 3D stereoscopic images at home. The stereoscopic image display device can be divided into a spectacle method and a non-spectacle method. The spectacle method realizes a stereoscopic image by using polarizing glasses or liquid crystal shutter glasses to display the right and left parallax images in a direct view type display device or a projector by changing the polarization directions of the parallax images in a time division manner. The non-eyeglass system generally displays optical components such as a parallax barrier (hereinafter referred to as a "barrier") and a lenticular lens (hereinafter referred to as a "lens") for separating the optical axis of left and right parallax images It is installed in front of or behind the screen to realize a stereoscopic image.

무안경 입체 영상 표시장치는 도 1과 같이 표시패널의 픽셀 어레이(PIX)와 렌즈(LENS) 사이의 배면 거리, 렌즈(LENS)의 초점 거리, 픽셀 피치(pixel pitch, Ppix), 렌즈 피치(lens pitch, Plens), 시청자의 좌안과 우안 간의 거리 등을 고려하여 시청자가 정상적으로 입체 영상을 시청할 수 있는 최적 시청 거리(Optimal Viewing Distance, OVD)가 계산된다. 도 1에서 배면 거리, 렌즈(LENS)의 초점 거리, 픽셀 피치(Ppix), 렌즈 피치(Plens), 시청자의 좌안과 우안 간의 거리 등은 상수값으로 고정된다. 시청자의 좌안과 우안 간의 거리는 성인의 평균 양안 기준인 65mm이다. 따라서, 무안경 입체 영상 표시장치에서 최적 시청 거리(OVD)는 도 1과 같이 특정 위치로 고정되어 있고, 최적 시청 거리(OVD)를 조정하려면 배면 거리나 렌즈의 초점 거리를 변경하여야 한다. 도 1에서 렌즈(LENS)를 베리어로 교체한 무안경 입체 영상 표시장치에서도 최적 시청 거리(OVD)는 특정 위치로 고정된다.The non-eyeglass stereoscopic image display apparatus includes a rear distance between a pixel array PIX and a lens LENS of a display panel, a focal length of a lens LENS, a pixel pitch Ppix, pitch, and Plens), and the distance between the left eye and the right eye of the viewer, an optimal viewing distance (OVD) is calculated so that the viewer can normally view the stereoscopic image. In FIG. 1, the back distance, the focal length of the lens LENS, the pixel pitch Ppix, the lens pitch, and the distance between the viewer's left eye and the right eye are fixed to constant values. The distance between the viewer's left eye and the right eye is 65 mm, which is the average binocular standard for adults. Therefore, the optimal viewing distance OVD in the spectacle-free stereoscopic image display apparatus is fixed to a specific position as shown in FIG. 1, and the rear distance or the focal length of the lens must be changed to adjust the optimal viewing distance OVD. 1, the optimal viewing distance OVD is fixed at a specific position even in a non-eyeglass stereoscopic image display apparatus in which the lens LENS is replaced with a barrier.

도 1에서, "REZ"는 우안 영상이 기입된 픽셀(이하, "우안 픽셀")(R)을 볼 수 있는 우안 뷰잉 존(Viewing zone)이고, "LEZ"는 픽셀 어레이(PIX)에서 좌안 영상이 기입된 픽셀(이하, "좌안 픽셀")(L)을 볼 수 있는 좌안 뷰잉 존이다. "PSUBS"는 픽셀 어레이(PIX)와 렌즈(LENS) 간의 배면 거리를 확보하기 위한 투명 기판이다. 1, "REZ" is a right-eye viewing zone in which a right-eye image-written pixel (hereinafter referred to as "right- (Hereinafter referred to as "left-eye pixel") L in the left-eye viewing zone. "PSUBS" is a transparent substrate for ensuring a back distance between the pixel array PIX and the lens LENS.

무안경 입체 영상 표시장치는 멀티 뷰 시스템으로 구현될 수 있다. 멀티 뷰 시스템은 최적 시청 거리(OVD)에서 시청자가 표시패널의 화면을 바라 볼 때 여러 위치에서 입체 영상을 정상적으로 감상할 수 있도록 화면의 픽셀 어레이에 멀티 뷰 영상을 기입할 수 있다. 도 2에는 제1 내지 제3 뷰 영상들(1~3)이 하나의 화면에 표시된 예이다. 이웃한 뷰 영상들은 객체의 입체감을 정량적으로 표현한 뎁쓰 맵에 의해 정의된 픽셀들 간의 간격(즉, 디스패리티(disparity))만큼 동일 좌안 영상으로 보이는 픽셀 데이터와 우안 영상으로 보이는 픽셀 데이터의 간격이 설정되어 사용자로 하여금 양안 시차를 느끼게 한다. 예를 들어, 시청자는 도 2의 (a) 위치에서 화면을 바라볼 때 좌안으로 제2 뷰 영상(2)을 표시하는 픽셀들을 보게 되고, 우안으로 제1 뷰 영상(1)을 표시하는 픽셀들을 보게 되어 양안 시차를 느끼게 된다. 시청자가 도 2의 (b) 위치로 이동하면, 좌안으로 제3 뷰 영상(5)을 표시하는 픽셀들을 보게 되고, 우안으로 제2 뷰 영상(4)을 표시하는 픽셀들을 보게 되어 양안 시차를 느끼게 된다. 도 2의 (a) 및 (b)에는 정입체시 영역, 도 2의 (c)에는 역입체시 영역이 나타나 있다. The non-eyeglass stereoscopic image display apparatus can be implemented as a multi-view system. The multi-view system can write a multi-view image to the pixel array of the screen so that the viewer can normally view the stereoscopic image at various positions when viewing the screen of the display panel at the optimum viewing distance (OVD). FIG. 2 shows an example in which the first to third view images 1 to 3 are displayed on one screen. Neighboring view images are obtained by setting the distance between the pixel data which is seen by the same left eye image and the pixel data which is seen by the right eye image by the distance (i.e., disparity) between the pixels defined by the depth map quantitatively expressing the object's three- So that the user can feel the binocular disparity. For example, when the viewer looks at the screen at the position (a) in FIG. 2, the viewer sees the pixels displaying the second view image 2 in the left eye, and the pixels displaying the first view image 1 in the right eye So that he or she can feel the parallax. When the viewer moves to the position (b) in FIG. 2, the pixels for displaying the third view image 5 in the left eye are seen, and the pixels for displaying the second view image 4 in the right eye are viewed, do. 2 (a) and 2 (b) show the stereoscopic viewing area, and FIG. 2 (c) shows the inverse stereoscopic viewing area.

한편, 사람이 입체감 즉, 깊이감을 인식할 수 있는 시각적인 요인에는 생리적인 요인과 경험적인 요인이 있다. 생리적인 요인에는 망막의 조절(Accomodation), 폭주(Convergence), 양안시차(Binocular Disparity) 등이 있다. On the other hand, there are physiological factors and empirical factors for visual factors in which a person can perceive the depth sense of depth. Physiological factors include retinal accommodation, convergence, and binocular disparity.

경험적인 요인에는 단안 운동시차(Monocular Movement Disparity), 상의 크기(Retinal Image Size), 선 원근(Linear Perspective), 면적 원근(Areal Perspective), 상의 겹침(Overlapping), 명암(Contrast), 텍스처 구배(Texture Gradient) 등이 있다. 경험적인 요인은 객체들의 크기 차이에 따른 원근감, 객체들의 겹침에 따른 원근감, 객체들의 밝기 차이에 따른 원근감, 객체들의 선명도 차이에 따른 원근감과 같은 학습된 원근감으로 입체감을 느낀다. 예를 들어, 인간의 뇌는 원근감 학습에 의해 큰 물체와 작은 물체가 함께 보일 때 상대적으로 큰 물체를 가까운 물체로 느끼고, 물체가 겹쳐 있을 때 앞에 있는 물체를 가까운 물체로 느끼며, 밝은 물체와 어두운 물체가 동시에 보일 때 밝은 물체를 가까운 물체로 느낀다. 또한, 인간의 뇌는 원근감 학습에 의해 선명한 물체와 흐릿한 물체가 함께 보일 때 선명한 물체를 가까운 물체로 느낀다. The empirical factors include: Monocular Movement Disparity, Retinal Image Size, Linear Perspective, Areal Perspective, Overlapping, Contrast, Texture, Gradient). The empirical factor is sensed by the learned perspective such as the perspective of the object according to the size difference, the perspective by the overlap of the objects, the perspective by the brightness difference of the objects, and the perspective by the difference of the sharpness of the objects. For example, the human brain senses a relatively large object as a close object when a large object and a small object are viewed together by perspective learning, and feels the object in front of the object when the object is superimposed, A bright object is felt as a close object. In addition, the human brain senses a sharp object as a close object when a clear object and a blurred object are seen together by perspective learning.

사람이 입체 영상 표시장치에서 재현되는 3D 입체 영상을 감상할 때 주로 생리적 요인에 의해 피로도를 심하게 느끼거나 심한 경우에 메스껍거나 두통을 느낄 수 있다. 이러한 증상의 원인은 사람이 바라 보는 객체(또는 피사체)의 상이 맺히는 위치와 초점 거리가 다르기 때문이다.When a person views a 3D stereoscopic image reproduced in a stereoscopic image display device, he or she feels fatigue due to a physiological factor or can feel a scalpel or a headache in a severe case. The cause of such a symptom is that the position of the object (or object) seen by a person is different from the focal distance.

사람이 피사체를 바라볼 때 두 눈의 시선은 한 점으로 모이며, 이러한 현상을 수렴(convergence)이라 한다. 실제 상황에서 사람이 두 눈을 통해 인식하는 객체는 도 3 (a)와 같이 수렴(convergence) 위치(즉, 객체의 상이 맺히는 위치)와 망막의 초점 조절(Accomodation) 위치가 일치하기 때문에 수렴을 통해 느끼는 거리와 망막의 초점 조절을 통해 느끼는 거리가 같다. 따라서, 사람은 실제 상황에서 피로감 없이 입체감을 느낄 수 있다. 이에 비하여, 도 3의 (b)와 같이 입체 영상 표시장치의 표시패널(PNL)에 양안 시차로 분리된 좌안 영상과 우안 영상을 표시하면 망막의 초점 조절(Accomodation) 위치가 표시패널(PNL)의 화면 상에 존재하고 3D 입력 영상의 뎁쓰(depth) 정보에 따라 객체의 상이 맺히는 위치가 표시패널(PNL)의 화면 앞이나 뒤에 존재하여 두 눈의 초점 거리(L1)와 객체의 상이 맺히는 거리(L2)가 일치하지 않는다. 이렇게 두 눈의 초점 거리(L1)와 객체의 상이 맺히는 거리(L2)가 일치하지 않기 때문에 입체 영상 표시장치를 시청하는 시청자는 피로감을 느끼게 된다. 특히, 동영상에서 그 거리들(L1, L2) 간의 차가 장면 마다 변동하기 때문에 입체 영상 표시장치에 운동량이 큰 객체를 표시할 때 피로감이 더 커지고 입체 영상이 더욱 블러(blur) 해지는 등 시인성이 악화된다.
When a person looks at a subject, the eyes of both eyes converge to one point, and this phenomenon is called convergence. In an actual situation, an object that a person recognizes through two eyes coincides with a convergence position (i.e., a position where an image of the object is formed) and an accomodation position of the retina as shown in FIG. 3 (a) The distances you feel are the same as the distances you feel through the focusing of the retina. Therefore, people can feel stereoscopic feeling without fatigue in actual situation. 3 (b), when the left eye image and the right eye image separated by the binocular parallax are displayed on the display panel PNL of the stereoscopic image display device, the focus position of the retina is positioned on the display panel PNL The position where an image is formed on the screen exists in front of or behind the screen of the display panel PNL according to the depth information of the 3D input image so that the focal distance L1 of the two eyes and the distance L2 ) Do not match. Since the focal length L1 of the two eyes and the distance L2 of the image of the object do not coincide with each other, a viewer who views the stereoscopic image display device feels fatigue. Particularly, since the difference between the distances L1 and L2 in the moving image varies from scene to scene, visibility is increased when the object having a large momentum is displayed on the stereoscopic image display apparatus, and the stereoscopic image is further blurred, .

따라서, 본 발명의 목적은 객체의 움직임에 따라 뎁쓰를 조절하여 시청하기 편안한 입체 영상을 구현할 수 있도록 한 영상 데이터 처리 방법과 이를 이용한 멀티 뷰 무안경 입체 영상 표시장치를 제공하는 데 있다.
Accordingly, it is an object of the present invention to provide an image data processing method that can realize a comfortable stereoscopic image by controlling depth according to the movement of an object, and a multi-view stereoscopic image display device using the same.

상기 목적을 달성하기 위하여, 본 발명의 실시예에 따른 멀티 뷰 무안경 입체 영상 표시장치는 입력 영상 데이터의 뎁쓰 맵을 생성하는 뎁쓰 맵 생성부; 상기 뎁쓰 맵을 기초로 멀티 뷰 영상을 생성하는 멀티 뷰 영상 합성부; 상기 입력 영상 데이터의 이웃한 프레임들 간 모션 벡터를 추출한 후, 상기 모션 벡터의 크기를 미리 정해진 기준값과 비교하여 뎁쓰 제어신호를 발생하는 뎁쓰 제어부; 및 상기 뎁쓰 제어신호에 따라 상기 멀티 뷰 영상의 뎁스를 변조하는 뎁스 변조부를 구비한다.According to an aspect of the present invention, there is provided a multi-view spectacles stereoscopic image display apparatus including a depth map generation unit for generating a depth map of input image data; A multi-view image synthesizer for generating a multi-view image based on the depth map; A depth controller for generating a depth control signal by extracting a motion vector between neighboring frames of the input image data and comparing the size of the motion vector with a predetermined reference value; And a depth modulator for modulating the depth of the multi-view image according to the depth control signal.

상기 뎁스 변조부는, 상기 멀티 뷰 영상의 뎁스를 변조하기 위해 상기 뎁쓰 제어신호에 따라 상기 뎁쓰 맵의 계조값을 보정한다.The depth modulator corrects the tone value of the depth map according to the depth control signal to modulate the depth of the multi-view image.

상기 뎁스 변조부는, 상기 모션 벡터의 크기가 상기 기준값보다 큰 경우에 상기 뎁쓰 맵에 1보다 작은 가중치를 곱하여 상기 뎁쓰 맵의 계조값을 낮춘다.When the magnitude of the motion vector is larger than the reference value, the depth modulator multiplies the depth map by a weight smaller than 1, thereby lowering the tone value of the depth map.

상기 뎁스 변조부는, 상기 모션 벡터의 크기가 상기 기준값보다 작은 경우에 상기 뎁쓰 맵에 1보다 큰 가중치를 곱하여 상기 뎁쓰 맵의 계조값을 높인다.When the magnitude of the motion vector is smaller than the reference value, the depth modulator multiplies the depth map by a weight greater than 1 to increase the tone value of the depth map.

상기 뎁스 변조부는, 상기 멀티 뷰 영상의 뎁스를 변조하기 위해 상기 뎁쓰 제어신호에 따라 상기 멀티 뷰 영상을 구현하는 뷰 영상들 간 계조 별 디스패러티 값을 보정한다.The depth modulator corrects the disparity value for each gray level between the view images implementing the multi-view image in accordance with the depth control signal in order to modulate the depth of the multi-view image.

상기 뎁스 변조부는, 상기 모션 벡터의 크기가 상기 기준값보다 큰 경우에 상기 계조 별 디스패러티 값에 1보다 작은 가중치를 곱하여 상기 계조 별 디스패러티 값을 감소시킨다.The depth modulator may multiply the disparity value for each gray level by a weight value smaller than 1 to reduce the gray value disparity value when the size of the motion vector is larger than the reference value.

상기 뎁스 변조부는, 상기 모션 벡터의 크기가 상기 기준값보다 작은 경우에 상기 계조 별 디스패러티 값에 1보다 큰 가중치를 곱하여 상기 계조 별 디스패러티 값을 증가시킨다.The depth modulator multiplies the disparity value for each gray level by a weight value greater than 1 to increase the gray value disparity value when the magnitude of the motion vector is smaller than the reference value.

상기 뎁쓰 제어부는, 상기 입력 영상 데이터의 이웃한 프레임들 간 모션 벡터를 추출하는 모션 벡터 추출부; 다수의 프레임들을 통해 추출되어 누적된 모션 벡터를 평균화 처리하는 모션 벡터 평균화부; 및 상기 평균화 처리된 모션 벡터의 크기를 상기 기준값과 비교하여 상기 뎁쓰 제어신호를 발생하는 모션 벡터 크기 비교부를 구비한다.Wherein the depth control unit comprises: a motion vector extraction unit for extracting a motion vector between neighboring frames of the input image data; A motion vector averaging unit that averages motion vectors extracted and accumulated through a plurality of frames; And a motion vector magnitude comparison unit for comparing the magnitude of the averaged motion vector with the reference value to generate the depth control signal.

상기 모션 벡터 추출부는, 상기 모션 벡터를 추출하기 위해 상기 이웃한 프레임들의 좌안 영상 데이터만을 서로 비교하거나 또는, 상기 이웃한 프레임들의 우안 영상 데이터만을 서로 비교한다.The motion vector extraction unit compares only the left eye image data of the neighboring frames with each other or only the right eye image data of neighboring frames to extract the motion vector.

또한, 본 발명의 실시예에 따른 멀티 뷰 무안경 입체 영상 표시장치의 영상 데이터 처리 방법은 입력 영상 데이터의 뎁쓰 맵을 생성하는 단계; 상기 뎁쓰 맵을 기초로 멀티 뷰 영상을 생성하는 단계; 상기 입력 영상 데이터의 이웃한 프레임들 간 모션 벡터를 추출한 후, 상기 모션 벡터의 크기를 미리 정해진 기준값과 비교하여 뎁쓰 제어신호를 발생하는 단계; 및 상기 뎁쓰 제어신호에 따라 상기 멀티 뷰 영상의 뎁스를 변조하는 단계를 포함한다.
According to another aspect of the present invention, there is provided a method of processing image data of a multi-view spectacles stereoscopic image display device, including: generating a depth map of input image data; Generating a multi-view image based on the depth map; Generating a depth control signal by extracting a motion vector between neighboring frames of the input image data and comparing the size of the motion vector with a predetermined reference value; And modulating the depth of the multi-view image according to the depth control signal.

본 발명은 모션 벡터를 활용하여 객체의 움직임에 따라 영상의 뎁쓰를 조절함으로써 시청하기 편안한 입체 영상을 구현할 수 있음은 물론이거니와 시인성을 높일 수 있다.
The present invention can realize a stereoscopic image that is easy to view by adjusting the depth of the image according to the movement of the object by utilizing the motion vector, and can improve the visibility.

도 1은 무안경 입체 영상 표시장치에서 최적 시청 거리를 보여 주는 도면.
도 2는 무안경 입체 영상 표시장치에서 구현되는 멀티 뷰 영상의 일 예를 보여주는 도면.
도 3은 무안경 입체 영상 표시장치에서 시청자의 피로도를 유발하는 원인을 보여 주는 도면.
도 4는 본 발명의 실시 예에 따른 멀티 뷰 무안경 입체 영상 표시장치를 개략적으로 보여주는 블록도.
도 5는 본 발명의 실시 예에 따른 멀티 뷰 무안경 입체 영상 표시장치에서 멀티 뷰 영상을 구현하는 일 예를 보여주는 도면.
도 6은 도 4의 영상 처리회로를 상세히 보여주는 블록도.
도 7은 본 발명의 실시 예에 따른 멀티 뷰 영상 데이터를 보여주는 일 예시도면.
도 8은 도 6의 모션 벡터 추출부의 상세 구성을 보여주는 도면.
도 9는 영상 비교 방식의 일 예로서 SAD 방식을 보여주는 도면.
도 10은 SAD 방식 등을 통해 이웃한 프레임들 간의 좌안 영상들(또는 우안 영상들)을 서로 비교하여 모션 벡터를 추출하는 것을 보여주는 도면.
도 11은 동일 프레임을 구성하는 좌안 영상과 우안 영상을 서로 비교하여 뎁쓰 정보를 추출하는 것을 보여주는 도면.
도 12는 뎁쓰 맵 생성부에서 생성된 뎁쓰 맵의 일 예를 보여주는 도면.
도 13은 뎁쓰 맵 생성부에 포함되는 뎁쓰 변조부를 이용하여 뎁쓰 맵의 계조값을 모션 벡터의 크기에 따라 보정하는 일 예를 보여주는 도면.
도 14a 및 도 14b는 뎁쓰 맵의 계조값 보정 전후에 있어 영상의 깊이감이 달라지는 일 예를 보여주는 도면.
도 15는 멀티 뷰 영상 합성부에 포함되는 뎁쓰 변조부를 이용하여 뷰 영상들 간 디스패리티 값을 모션 벡터의 크기에 따라 보정하는 일 예를 보여주는 도면.
도 16a 및 도 16b는 뷰 영상들 간 디스패리티 값 보정 전후에 있어 영상의 깊이감이 달라지는 일 예를 보여주는 도면.
도 17은 본 발명의 일 영상 데이터 처리 방법으로서, 모션 벡터의 크기에 따라 뎁쓰 맵의 계조값을 보정한 후 멀티 뷰 영상을 처리하는 일련의 과정을 보여주는 도면.
도 18은 본 발명의 일 영상 데이터 처리 방법으로서, 모션 벡터의 크기에 따라 뷰 영상들 간 디스패리티 값을 보정한 후 멀티 뷰 영상을 처리하는 일련의 과정을 보여주는 도면.1 is a view showing an optimal viewing distance in a spectacle-free three-dimensional image display apparatus.
2 is a view showing an example of a multi-view image implemented in a spectacle-free three-dimensional image display apparatus.
3 is a diagram showing a cause of fatigue of a viewer in a spectacle-free three-dimensional image display apparatus.
4 is a block diagram schematically showing a multi-view spectacles stereoscopic image display apparatus according to an embodiment of the present invention.
5 is a view showing an example of implementing a multi-view image in a multi-view spectacles stereoscopic image display apparatus according to an embodiment of the present invention.
6 is a block diagram showing the image processing circuit of FIG. 4 in detail;
7 is an exemplary view showing multi-view image data according to an embodiment of the present invention.
FIG. 8 is a diagram showing a detailed configuration of a motion vector extracting unit of FIG. 6; FIG.
9 is a diagram showing an SAD scheme as an example of a video comparison scheme;
10 is a diagram illustrating a method of extracting a motion vector by comparing left eye images (or right eye images) between neighboring frames through an SAD scheme or the like.
11 is a view showing extraction of depth information by comparing a left eye image and a right eye image constituting the same frame with each other.
12 is a view showing an example of a depth map generated by the depth map generating unit;
13 is a diagram illustrating an example of correcting a tone value of a depth map according to the size of a motion vector using a depth modulation unit included in a depth map generation unit.
FIGS. 14A and 14B are diagrams showing an example in which the depth of the image varies before and after correction of the tone value of the depth map. FIG.
15 is a diagram illustrating an example of correcting a disparity value between view images according to the size of a motion vector using the depth modulation unit included in the multi-view image combining unit.
FIGS. 16A and 16B are views illustrating an example in which the depth of a video image varies before and after a disparity value correction between view images. FIG.
17 is a diagram illustrating a series of processes of processing a multi-view image after correcting a tone value of a depth map according to the size of a motion vector, according to an embodiment of the present invention.
18 is a diagram illustrating a series of processes of processing a multi-view image after correcting a disparity value between view images according to the size of a motion vector, according to the present invention.

이하 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예들을 상세히 설명한다. 명세서 전체에 걸쳐서 동일한 참조번호들은 실질적으로 동일한 구성요소들을 의미한다. 이하의 설명에서, 본 발명과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 상세한 설명을 생략한다. 이하의 설명에서 사용되는 구성요소 명칭은 명세서 작성의 용이함을 고려하여 선택된 것일 수 있는 것으로서, 실제 제품의 부품 명칭과는 상이할 수 있다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Reference will now be made in detail to the preferred embodiments of the present invention, examples of which are illustrated in the accompanying drawings. Like reference numerals throughout the specification denote substantially identical components. In the following description, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. The component name used in the following description may be selected in consideration of easiness of specification, and may be different from the actual product name.

도 4는 본 발명의 실시 예에 따른 멀티 뷰 무안경 입체 영상 표시장치를 개략적으로 보여주는 블록도이다. 4 is a block diagram schematically showing a multi-view spectacles stereoscopic image display apparatus according to an embodiment of the present invention.

도 4를 참조하면, 본 발명의 실시 예에 따른 멀티 뷰 무안경 입체 영상 표시장치는 표시패널(10), 광학판(30), 게이트 구동회로(110), 데이터 구동회로(120), 타이밍 콘트롤러(130), 영상 처리회로(140), 및 호스트 시스템(150) 등을 구비한다. 본 발명의 실시 예에 따른 멀티 뷰 무안경 입체 영상 표시장치의 표시패널(10)은 액정표시소자(Liquid Crystal Display, LCD), 전계 방출 표시소자(Field Emission Display, FED), 플라즈마 디스플레이 패널(Plasma Display Panel, PDP), 유기발광다이오드 소자(Organic Light Emitting Diode, OLED) 등의 평판 표시소자로 구현될 수 있다. 본 발명은 아래의 실시 예에서 표시패널(10)이 액정표시소자로 구현된 것을 중심으로 예시하였지만, 이에 한정되지 않는 것에 주의하여야 한다.4, a multi-view spectacles stereoscopic image display apparatus according to an exemplary embodiment of the present invention includes a display panel 10, an optical plate 30, a gate driving circuit 110, a data driving circuit 120, An image processing circuit 140, a host system 150, and the like. The display panel 10 of the multi-view spectacles stereoscopic image display apparatus according to the embodiment of the present invention may be applied to a liquid crystal display (LCD), a field emission display (FED), a plasma display panel A display panel, a plasma display panel (PDP), or an organic light emitting diode (OLED). Although the present invention has been described with reference to the case where the display panel 10 is implemented as a liquid crystal display device in the following embodiments, it should be noted that the present invention is not limited thereto.

표시패널(10)은 액정층을 사이에 두고 대향하는 상부기판과 하부기판을 포함한다. 표시패널(10)에는 데이터 라인(D)들과 게이트 라인(G)들(또는 스캔 라인들)의 교차 구조에 의해 매트릭스 형태로 배열되는 액정셀들을 포함하는 화소 어레이가 형성된다. 화소 어레이의 화소들 각각은 TFT(Thin Film Transistor)를 통해 데이터 전압이 충전되는 화소 전극과 공통전압이 인가되는 공통전극의 전압 차에 의해 액정층의 액정을 구동시켜 빛의 투과량을 조정함으로써 화상을 표시한다. 표시패널(10)의 상부기판상에는 블랙매트릭스와 컬러필터가 형성된다. 공통전극은 TN(Twisted Nematic) 모드와 VA(Vertical Alignment) 모드와 같은 수직전계 구동방식의 경우에 상부기판상에 형성되며, IPS(In-Plane Switching) 모드와 FFS(Fringe Field Switching) 모드와 같은 수평전계 구동방식의 경우에 화소전극과 함께 하부기판상에 형성될 수 있다. 표시패널(10)의 액정모드는 TN 모드, VA 모드, IPS 모드, FFS 모드뿐 아니라 어떠한 액정모드로도 구현될 수 있다. 표시패널(10)의 상부기판과 하부기판 각각에는 편광판이 부착되고 액정의 프리틸트각(pre-tilt angle)을 설정하기 위한 배향막이 형성된다. 표시패널(10)의 상부기판과 하부기판 사이에는 액정층의 셀갭(cell gap)을 유지하기 위한 스페이서(spacer)가 형성된다.The display panel 10 includes an upper substrate and a lower substrate facing each other with a liquid crystal layer interposed therebetween. The display panel 10 is formed with a pixel array including liquid crystal cells arranged in a matrix by the intersection structure of the data lines D and the gate lines G (or scan lines). Each of the pixels of the pixel array drives the liquid crystal of the liquid crystal layer by a voltage difference between a pixel electrode through which a data voltage is charged through a TFT (Thin Film Transistor) and a common electrode to which a common voltage is applied, Display. On the upper substrate of the display panel 10, a black matrix and a color filter are formed. The common electrode is formed on the upper substrate in the case of a vertical electric field driving method such as a TN (Twisted Nematic) mode and a VA (Vertical Alignment) mode. The common electrode may be formed in the IPS (In-Plane Switching) mode and the FFS And may be formed on the lower substrate together with the pixel electrode in the case of the horizontal field driving method. The liquid crystal mode of the display panel 10 may be implemented in any liquid crystal mode as well as a TN mode, a VA mode, an IPS mode, and an FFS mode. On the upper substrate and the lower substrate of the display panel 10, a polarizing plate is attached and an alignment film for setting a pre-tilt angle of the liquid crystal is formed. A spacer is formed between the upper substrate and the lower substrate of the display panel 10 to maintain a cell gap of the liquid crystal layer.

표시패널(10)은 투과형 액정표시패널, 반투과형 액정표시패널, 반사형 액정표시패널 등 어떠한 형태로도 구현될 수 있다. 투과형 액정표시패널과 반투과형 액정표시패널에서는 백라이트 유닛이 필요하다. 백라이트 유닛은 직하형(direct type) 백라이트 유닛 또는 에지형(edge type) 백라이트 유닛으로 구현될 수 있다.The display panel 10 can be implemented in any form such as a transmissive liquid crystal display panel, a transflective liquid crystal display panel, and a reflective liquid crystal display panel. In a transmissive liquid crystal display panel and a transflective liquid crystal display panel, a backlight unit is required. The backlight unit may be implemented as a direct type backlight unit or an edge type backlight unit.

멀티 뷰 영상은 3D 영상을 분석하여 뎁쓰 맵(depth map)을 추출하고, 뎁쓰 맵에 기반한 뷰 영상들 간 디스패리티(disparity)에 따라 생성될 수도 있다. 광학판(30)은 표시패널(10) 상에 배치되어 표시패널(10)의 화소들에 표시되는 제1 내지 제k 뷰 영상들을 제1 내지 제k 뷰 영역들로 진행시킨다. 제1 내지 제k 뷰 영상들은 제1 내지 제k 뷰 영역들과 일대일로 매칭된다. 즉, 광학판(30)은 화소들에 표시되는 제t(t는 1≤t≤k을 만족하는 자연수) 뷰 영상을 제t 뷰 영역으로 진행시킨다. 본 발명의 실시 예에 따른 입체 영상 표시장치의 광학판(30)은 패럴렉스 배리어(parallax barrier), 스위쳐블 배리어(switchable barrier), 렌티큘러 렌즈(lenticular lens), 스위쳐블 렌즈(switchable lens) 등 어떠한 형태로도 구현될 수 있다. 한편, 광학판(30)이 스위쳐블 배리어 또는 스위쳐블 렌즈로 구현되는 경우, 광학판(30)을 구동하기 위한 광학판 구동회로가 필요하다. 광학판 구동회로는 광학판(30)에 구동전압을 공급함으로써 스위쳐블 배리어 또는 스위쳐블 렌즈의 광분리 동작을 온-오프시킬 수 있다. The multi-view image may be generated according to the disparity between the view images based on the depth map by analyzing the 3D image to extract a depth map. The optical plate 30 is disposed on the display panel 10 and advances the first to k-th view images displayed on the pixels of the display panel 10 to the first to k-th view areas. The first to k-th view images are matched one-to-one with the first to k-th view areas. That is, the optical plate 30 advances the t-th view area (t is a natural number satisfying 1? T? K) displayed on the pixels to the t-view area. The optical plate 30 of the stereoscopic image display apparatus according to the exemplary embodiment of the present invention may be any of various types such as a parallax barrier, a switchable barrier, a lenticular lens, a switchable lens, But may also be implemented in other forms. On the other hand, when the optical plate 30 is implemented as a switchable barrier or a switchable lens, an optical plate driving circuit for driving the optical plate 30 is required. The optical plate driving circuit can turn on / off the optical isolating operation of the switchable barrier or the switchable lens by supplying a driving voltage to the optical plate 30. [

도 5는 본 발명의 실시 예에 따른 멀티 뷰 무안경 입체 영상 표시장치에서 멀티 뷰 영상을 구현하는 일 예를 보여준다. 도 5에서는 설명의 편의를 위해 표시패널(10)이 4 개의 뷰 영상들(V1, V2, V3, V4)을 표시하고, 광학판(30)이 표시패널(10)에 표시된 4 개의 뷰 영상들(V1, V2, V3, V4)을 4 개의 뷰 영역들(VP1, VP2, VP3, VP4)로 진행시키는 것을 중심으로 설명하였다. 도 5에서 광학판(30)은 렌티큘러 렌즈로 구현된 것을 중심으로 예시하였지만, 본 발명의 실시 예에 따른 광학판(30)은 패럴렉스 배리어, 스위쳐블 배리어, 스위쳐블 렌즈 등 어떠한 형태로도 구현될 수 있음에 유의하여야 한다.FIG. 5 illustrates an example of implementing a multi-view image in a multi-view spectacles stereoscopic image display apparatus according to an embodiment of the present invention. 5, the display panel 10 displays four view images (V1, V2, V3, and V4), and the optical plate 30 displays four view images (V1, V2, V3, V4) to four view areas (VP1, VP2, VP3, VP4). The optical plate 30 according to the embodiment of the present invention may be implemented in any form such as a parallax barrier, a switchable barrier, a switchable lens, or the like. It should be noted that

도 5를 참조하면, 광학판(30)은 화소들에 표시되는 제1 뷰 영상(V1)을 제1 뷰 영역(VP1)으로 진행시키고, 화소들에 표시되는 제2 뷰 영상(V2)을 제2 뷰 영역(VP2)으로 진행시키며, 화소들에 표시되는 제3 뷰 영상(V3)을 제3 뷰 영역(VP3)으로 진행시키고, 화소들에 표시되는 제4 뷰 영상(V4)을 제4 뷰 영역(VP4)으로 진행시킨다. 사용자의 좌안이 제t 뷰 영역(VPt)에 위치하고, 우안이 제t-1 뷰 영역(VPt-1)에 위치하는 경우, 사용자는 좌안으로 제t 뷰 영상(Vt)을 시청하고, 우안으로 제t-1 뷰 영상(Vt-1)을 시청할 수 있다. 따라서, 사용자는 양안 시차에 의해 입체감을 느낄 수 있다. 5, the optical plate 30 advances the first view image V1 displayed on the pixels to the first view area VP1 and the second view image V2 displayed on the pixels 2 view area VP2 and advances the third view image V3 displayed on the pixels to the third view area VP3 and the fourth view image V4 displayed on the pixels to the fourth view area VP2, And proceeds to the area VP4. When the user's left eye is located in the t-th view region VPt and the right eye is located in the t-1 view region VPt-1, the user views the t-view image Vt in the left eye, t-1 view image (Vt-1). Therefore, the user can feel the three-dimensional effect by the binocular parallax.

데이터 구동회로(120)는 다수의 소스 드라이브 집적회로(Integrated Circuit, 이하 'IC'라 칭함)들을 포함한다. 소스 드라이브 IC들은 타이밍 콘트롤러(130)의 제어 하에 멀티 뷰 영상 데이터(MVD)를 정극성/부극성 감마보상전압으로 변환하여 정극성/부극성 아날로그 데이터전압들을 발생한다. 소스 드라이브 IC들로부터 출력되는 정극성/부극성 아날로그 데이터 전압들은 표시패널(10)의 데이터 라인(D)들에 공급된다.The data driving circuit 120 includes a plurality of source drive integrated circuits (ICs). The source driver ICs convert the multi-view image data MVD into a positive / negative gamma compensation voltage under the control of the timing controller 130 to generate positive / negative analog data voltages. Positive / negative polarity analog data voltages output from the source drive ICs are supplied to the data lines D of the display panel 10.

게이트 구동회로(110)는 타이밍 콘트롤러(130)의 제어 하에 표시패널(10)의 게이트 라인(G)들에 게이트 펄스들(또는 스캔 펄스들)을 순차적으로 공급한다. 게이트 구동부(110)는 쉬프트 레지스터, 쉬프트 레지스터의 출력신호를 액정셀의 TFT 구동에 적합한 스윙폭으로 변환하기 위한 레벨 쉬프터, 및 출력 버퍼 등을 각각 포함하는 다수의 게이트 드라이브 집적회로들로 구성될 수 있다. 게이트 드라이브 집적회로는 GIP(Gate driver In Panel) 방식에 따라 표시패널(10)의 하부기판에 직접 형성될 수 있다.The gate driving circuit 110 sequentially supplies gate pulses (or scan pulses) to the gate lines G of the display panel 10 under the control of the timing controller 130. The gate driver 110 may be composed of a plurality of gate drive integrated circuits each including a shift register, a level shifter for converting an output signal of the shift register into a swing width suitable for TFT driving of the liquid crystal cell, have. The gate drive integrated circuit may be formed directly on the lower substrate of the display panel 10 according to a GIP (Gate Driver In Panel) method.

타이밍 콘트롤러(130)는 영상 처리회로(140)로부터 멀티 뷰 영상 데이터(MVD)와 타이밍 신호들 등을 입력받는다. 타이밍 신호들은 수직동기신호(vertical synchronization signal), 수평동기신호(horizontal synchronization signal), 데이터 인에이블 신호(data enable signal), 및 클럭 신호(clock signal) 등을 포함할 수 있다.The timing controller 130 receives the multi-view image data MVD and timing signals from the image processing circuit 140. The timing signals may include a vertical synchronization signal, a horizontal synchronization signal, a data enable signal, and a clock signal.

타이밍 콘트롤러(130)는 타이밍 신호들에 기초하여 게이트 구동회로(110)를 제어하기 위한 게이트 제어신호(GCS)를 생성하고, 데이터 구동회로(120)를 제어하기 위한 데이터 제어신호(DCS)를 생성한다. 타이밍 콘트롤러(130)는 게이트 제어신호(GCS)를 게이트 구동회로(110)에 공급한다. 타이밍 콘트롤러(130)는 멀티 뷰 영상 데이터(MVD)와 데이터 제어신호(DCS)를 데이터 구동회로(120)로 공급한다.The timing controller 130 generates a gate control signal GCS for controlling the gate driving circuit 110 based on the timing signals and generates a data control signal DCS for controlling the data driving circuit 120 do. The timing controller 130 supplies a gate control signal GCS to the gate driving circuit 110. [ The timing controller 130 supplies the multi-view image data MVD and the data control signal DCS to the data driving circuit 120.

호스트 시스템(150)은 외부 비디오 소스 기기로부터 입력되는 3D 영상 데이터(L,R)를 표시패널(10)에 표시하기에 적합한 해상도의 데이터 포맷으로 변환하기 위해 스케일러(scaler)가 내장된 시스템 온 칩(System on Chip)을 포함할 수 있다. 호스트 시스템(150)은 LVDS(Low Voltage Differential Signaling) 인터페이스, TMDS(Transition Minimized Differential Signaling) 인터페이스 등의 인터페이스 회로를 통해 3D 영상 데이터(L,R)와 타이밍 신호들을 영상 처리회로(140)에 공급한다. The host system 150 includes a system-on-chip (D / A) chip having a built-in scaler for converting 3D image data (L, R) input from an external video source device into a data format having a resolution suitable for display on the display panel (System on Chip). The host system 150 supplies the 3D image data L and R and the timing signals to the image processing circuit 140 through an interface circuit such as a Low Voltage Differential Signaling (LVDS) interface or a TMDS (Transition Minimized Differential Signaling) interface .

영상 처리회로(140)는 호스트 시스템(150)으로부터 입력받은 3D 영상 데이터(L,R)로부터 멀티 뷰 영상 데이터(MVD)를 생성하여 타이밍 콘트롤러(130)로 출력한다. 3D 영상 데이터(L,R)는 제1 단안(單眼) 영상 데이터와 제2 단안 영상 데이터(또는 2 개의 뷰 영상 데이터)를 포함한다. 이하에서는 설명의 편의를 위해 제1 단안 영상 데이터가 좌안 영상 데이터(L)이고, 제2 단안 영상 데이터가 우안 영상 데이터(R)인 것을 예로 하여 설명한다. 영상 처리회로(140)는 3D 영상 데이터(L,R)를 참조로 뎁쓰 맵을 생성하고, 뎁쓰 맵에서 계조 차이로 표현된 뷰 영상들 간 디스패리티(disparity) 값을 이용하여 멀티 뷰 영상 데이터(MVD)를 생성한다. 멀티 뷰 영상 데이터(MVD)에 따라 생성되는 이웃한 뷰 영상들은, 객체의 입체감을 정량적으로 표현한 뎁쓰 맵에 의해 정의된 픽셀들 간의 간격(즉, 디스패리티)만큼 좌안 영상으로 보이는 픽셀 데이터와 우안 영상으로 보이는 픽셀 데이터의 간격이 설정되어 사용자로 하여금 양안 시차를 느끼게 한다. The image processing circuit 140 generates multi-view image data MVD from the 3D image data L and R received from the host system 150 and outputs the multi-view image data MVD to the timing controller 130. The 3D image data L and R include the first monocular image data and the second monocular image data (or two view image data). Hereinafter, the first monocular image data is the left eye image data L and the second monocular image data is the right eye image data R for convenience of explanation. The image processing circuit 140 generates a depth map with reference to the 3D image data L and R and generates a multi-view image data (D, R) using the disparity value between the view images expressed by the gradation difference in the depth map MVD). The neighboring view images generated according to the multi-view image data MVD may include pixel data that is displayed as a left eye image by an interval (i.e. disparity) between pixels defined by a depth map that quantitatively expresses a three- So that the user can feel the binocular parallax.

특히, 영상 처리회로(140)는 객체의 움직임에 따라 뎁쓰를 조절하여 시청하기 편안한 입체 영상을 구현한다. 입체 영상을 시청함에 있어 객체의 움직임이나 속도 변화가 클 경우, 시청자는 양안시차(Binocular Disparity)의 급격한 변화 및 컨버젼스 포이트(Convergence Point) 변화로 인해 어지러움 등의 불편함을 느끼게 된다. 더욱이, 입체 영상에서 객체의 상이 맺히는 위치와 시청자의 초점 조절 위치가 불일치 하는 환경에서 객체의 운동량이 크면, 표시 장치의 응답속도 영향이 더해져 영상이 더욱 블러(Blur)해 지는 등 시인성도 악화 된다. 이러한 문제점을 해결하기 위해 본 발명의 영상 처리회로(140)는 이웃한 프레임 간 모션 벡터(Motion Vector)의 크기를 감지하여 입력 영상의 프레임 별 객체의 운동량 변화를 추출한다. 그리고, 모션 벡터의 크기 즉, 객체의 운동량 변화에 따라 뎁쓰 맵의 계조값을 보정하거나, 또는 뷰 영상들 간 계조 별 디스패리티 값을 보정한다. 본 발명의 영상 처리회로(140)는 객체의 운동량이 일정치 미만인 경우에만 입체감을 강조하고, 객체의 운동량이 일정치 이상인 경우에는 이웃한 뷰 영상들 간의 입체감을 줄여 영상의 시인성을 향상시킨다.In particular, the image processing circuit 140 implements a comfortable stereoscopic image by controlling the depth according to the motion of the object. When viewing a stereoscopic image, when the movement or speed of the object changes greatly, the viewer feels discomfort such as dizziness due to a sudden change in binocular disparity and a change in convergence point. Furthermore, if the amount of motion of the object is large in an environment where the position of the image of the stereoscopic image is discordant with the position of the focus control of the viewer, the response speed of the display device is added, and the visibility of the image is further degraded such as blurring. In order to solve such a problem, the image processing circuit 140 of the present invention senses the size of a motion vector between neighboring frames and extracts a change in momentum of the object of each input image frame. Then, the tone value of the depth map is corrected in accordance with the magnitude of the motion vector, that is, the change in the momentum of the object, or the disparity value per gradation between the view images is corrected. The image processing circuit 140 of the present invention emphasizes the three-dimensional effect only when the momentum of the object is less than a predetermined value and improves the visibility of the image by reducing the sense of three-dimensional effect between neighboring view images when the momentum of the object is equal to or more than a predetermined value.

도 6은 도 4의 영상 처리회로(140)를 상세히 보여주는 블록도이다. 도 7은 본 발명의 실시 예에 따른 멀티 뷰 영상을 보여준다.FIG. 6 is a block diagram showing the image processing circuit 140 of FIG. 4 in detail. 7 shows a multi-view image according to an embodiment of the present invention.

도 6을 참조하면, 영상 처리회로(140)는 뎁쓰 제어부(210), 멀티 뷰 영상 생성기(300), 및 데이터 포맷부(250)를 구비한다.Referring to FIG. 6, the image processing circuit 140 includes a depth control unit 210, a multi-view image generator 300, and a data format unit 250.

멀티 뷰 영상 생성기(300)는 입력 3D 영상 데이터(L,R)의 뎁쓰 맵(DISM) 생성하고, 뎁쓰 맵(DISM)을 기초로 좌안 영상 데이터(L) 또는 우안 영상 데이터(R)를 쉬프트시켜 멀티 뷰 영상(MV)을 생성한다. 이를 위해, 멀티 뷰 영상 생성기(300)는 뎁쓰 맵 생성부(220), 멀티 뷰 영상 합성부(240)를 포함한다. The multi view image generator 300 generates a depth map (DISM) of the input 3D image data L and R and shifts the left eye image data L or the right eye image data R based on the depth map DISM Thereby generating a multi-view image (MV). To this end, the multi-view image generator 300 includes a depth map generator 220 and a multi-view image synthesizer 240.

뎁쓰 맵 생성부(220)는 입력 3D 영상 데이터(L,R)의 뎁쓰 맵(DISM)을 생성한다. The depth map generating unit 220 generates a depth map (DISM) of the input 3D image data (L, R).

멀티 뷰 영상 합성부(240)는 뎁쓰 맵(DISM)에서 정의된 디스패리티만큼 좌안 영상 데이터(L) 또는 우안 영상 데이터(R)를 쉬프트시켜 멀티 뷰 영상(MV)을 생성한다. 구체적으로, 멀티 뷰 영상 생성기(300)는 도 7과 같이 좌안 영상 데이터(L)를 제1 뷰 영상(V1)으로 설정하고, 우안 영상 데이터(RGBR)를 제n 뷰 영상(Vn)으로 설정하며, 뎁쓰 맵(DISM)의 계조에 따라 정해진 디스패리티들을 이용하여 좌안 영상 데이터(L) 또는 우안 영상 데이터(R)를 소정 픽셀 간격씩 쉬프트시킴으로써 제2 내지 제n-1 뷰 영상 (V2 ~ Vn-1)을 생성한다. The multi-view image synthesizer 240 generates the multi-view image MV by shifting the left eye image data L or the right eye image data R by the disparity defined in the depth map DISM. Specifically, the multi-view image generator 300 sets the left-eye image data L as the first view image V1 and the right-eye image data RGBR as the n-th view image Vn as shown in FIG. 7 The second through n-l-1 view images V2 through Vn-1 are generated by shifting the left eye image data L or the right eye image data R by predetermined pixel intervals using the disparities determined according to the gradation of the depth map DISM, 1).

멀티 뷰 영상 생성기(300)는 후처리부(230)를 더 포함하여 뎁쓰 맵 생성부(220)에서 생성된 뎁쓰 맵(DISM)을 공지의 다양한 필터링 기법들을 이용하여 후 처리함으로써 뎁쓰 맵(DISM)에서 불필요한 노이즈를 제거하고 스테레오 매칭의 정확도를 높일 수 있다. 후처리부(230)는 필요에 따라 생략될 수 있다.The multi-view image generator 300 further includes a post-processing unit 230 to post-process the depth map (DISM) generated by the depth map generator 220 using various known filtering techniques to generate a depth map (DISM) Eliminating unnecessary noise and increasing the accuracy of stereo matching. The post-processing unit 230 may be omitted if necessary.

본 발명의 멀티 뷰 영상 생성기(300)는 뎁쓰 제어부(210)로부터 입력되는 뎁쓰 제어신호(RMVET)에 따라 멀티 뷰 영상(MV)의 뎁쓰를 변조하는 뎁쓰 변조부를 포함하는 특징이 있다. 뎁쓰 변조부(221, 241)는 도 13 및 도 15에서와 같이 뎁쓰 맵 생성부(220)에 구비되거나 또는 멀티 뷰 영상 합성부(240)에 구비될 수도 있다. 뎁쓰 변조부((221, 241)에 대해서는 도 13 내지 도 16b를 통해 후술한다.The multi view image generator 300 of the present invention is characterized by including a depth modulation unit for modulating the depth of the multi view image MV according to the depth control signal RMVET input from the depth control unit 210. [ The depth modulation units 221 and 241 may be provided in the depth map generation unit 220 or in the multi view image synthesis unit 240 as shown in FIGS. The depth modulation units 221 and 241 will be described later with reference to FIG. 13 through FIG. 16B.

뎁쓰 제어부(210)는 입력 3D 영상 데이터(L,R)를 분석하여 모션 벡터를 추출한 후, 모션 벡터의 크기를 미리 정해진 기준값과 비교하여 뎁쓰 제어신호(RMVET)를 출력한다. 뎁쓰 제어부(210)에 대해서는 도 8 내지 도 10을 통해 후술한다.The depth controller 210 extracts a motion vector by analyzing the input 3D image data L and R and then compares the magnitude of the motion vector with a predetermined reference value to output a depth control signal RMVET. The depth control unit 210 will be described later with reference to FIG. 8 through FIG.

데이터 포맷부(250)는 멀티 뷰 영상 합성부(240)에서 입력되는 멀티 뷰 영상(MV)을 표시패널(10)의 3D 표시 배열에 맞게 멀티 뷰 영상 데이터 포맷으로 재정렬하여 멀티 뷰 영상 데이터(MVD)를 생성한다. 그리고, 이 멀티 뷰 영상 데이터(MVD)를 타이밍 콘트롤러(101)에 전송한다. 데이터 포맷부(250)는 공지의 3D 포맷터로 구현될 수 있다.The data format unit 250 rearranges the multi-view image MV input from the multi-view image synthesizer 240 into the multi-view image data format according to the 3D display arrangement of the display panel 10 to generate multi-view image data MVD ). Then, the multi-view image data MVD is transmitted to the timing controller 101. [ The data format unit 250 may be implemented by a known 3D formatter.

도 8은 도 6의 뎁쓰 제어부(210)의 상세 구성을 보여준다. 도 9는 영상 비교 방식의 일 예로서 SAD 방식을 보여준다. 그리고, 도 10은 SAD 방식 등을 통해 이웃한 프레임들 간의 좌안 영상들(또는 우안 영상들)을 서로 비교하여 모션 벡터를 추출하는 일 예를 보여준다.FIG. 8 shows a detailed configuration of the depth control unit 210 of FIG. 9 shows an SAD method as an example of the image comparison method. 10 shows an example of extracting a motion vector by comparing left eye images (or right eye images) between neighboring frames through an SAD scheme or the like.

도 8을 참조하면, 뎁쓰 제어부(210)는 모션 벡터 추출부(211), 모션 벡터 평균화부(212), 및 모션 벡터 크기 비교부(213)를 포함한다.Referring to FIG. 8, the depth controller 210 includes a motion vector extractor 211, a motion vector averager 212, and a motion vector magnitude comparator 213.

모션 벡터 추출부(211)는 현재 프레임(예컨대, 제n 프레임)의 3D 영상 데이터(Ln,Rn)와 이전 프레임(예컨대, 제n-1 프레임)의 3D 영상 데이터(Ln-1,Rn-1)을 입력 받고, 도 9와 같은 공지의 SAD(Sum of Absolute Differences) 방식 등을 이용하여 3D 영상 데이터의 이웃한 프레임들 간 모션 벡터(MVET)를 추출하여 프레임 별 객체의 운동량을 체크한다. 모션 벡터(MVET)를 추출하는 방식은 SAD 방식에 한정되지 않으며, 공지의 어떠한 방법으로도 가능하다. 하드웨어적인 적용 용이성을 고려하여 SAD 방식이 채용되는 경우, 모션 벡터 추출부(211)는 템플레이트(template)를 서치 이미지에 마스킹한 상태에서 좌에서 우로 이동시키며 그 차이를 계산한다. 센터 영역의 차이값이 가장 적으므로 서치 이미지의 중앙에 찾고자 하는 영상(혹은 객체)가 존재함을 알 수 있다.The motion vector extracting unit 211 extracts the 3D image data Ln-1 and Rn-1 of the current frame (for example, the n-th frame) and the 3D image data Ln and Rn of the previous frame And extracts a motion vector MVET between neighboring frames of the 3D image data using a known Sum of Absolute Differences (SAD) method as shown in FIG. 9 to check the momentum of the object for each frame. The method of extracting the motion vector MVET is not limited to the SAD method, and any known method can be used. When the SAD scheme is adopted in consideration of easiness of application to hardware, the motion vector extracting unit 211 moves the template from left to right in a masked state on a search image, and calculates the difference. Since the difference value of the center area is the smallest, it can be seen that the image (or object) to be searched exists in the center of the search image.

모션 벡터 추출부(211)는 도 10과 같이 모션 벡터(MVET)를 추출하기 위해 이웃한 프레임들의 좌안 영상 데이터(Ln-1,Ln)만을 서로 비교하거나 또는, 이웃한 프레임들의 우안 영상 데이터(Rn-1,Rn)만을 서로 비교한다. 스테레오 영상 구현을 위한 3D 영상 데이터는 좌안 영상 데이터와 우안 영상 데이터가 각각 절반씩 포함하고, 좌안 영상 데이터에 대한 프레임 간 변화량과 우안 영상 데이터에 대한 프레임 변화량은 실질적으로 동일하므로, 본 발명의 모션 벡터 추출부(211)는 좌안 영상 데이터에 대한 프레임 간 변화량 및, 우안 영상 데이터에 대한 프레임 변화량 중 어느 하나만을 이용하여 모션 벡터(MVET)를 추출한다. 이를 통해, 본 발명은 모션 벡터(MVET) 추출을 위한 연산 처리 시간, 로직 사이즈, 및 필요 메모리 량을 줄일 수 있다.The motion vector extracting unit 211 may compare only the left eye image data Ln-1 and Ln of the neighboring frames with each other or extract the right eye image data Rn -1, Rn) are compared with each other. Since the 3D image data for implementing the stereo image includes half of the left eye image data and the right eye image data, and the frame change amount for the left eye image data and the frame change amount for the right eye image data are substantially the same, The extraction unit 211 extracts a motion vector MVET using only one of the inter-frame variation of the left eye image data and the frame variation of the right eye image data. Thus, the present invention can reduce the computation processing time, logic size, and required memory amount for motion vector (MVET) extraction.

모션 벡터 평균화부(212)는 다수의 프레임들을 통해 추출되어 누적된 모션 벡터(MVET)를 평균화 처리함으로써, 모션 벡터(MVET) 추출시 발생되는 에러와 모션 벡터(MVET)에 혼입되는 노이즈를 줄이고, 특정 한두 프레임의 급격한 변화에 따른 영향을 배제한다. 평균화 프레임 수는 2개 ~ 64개 정도로 설정될 수 있다. The motion vector averaging unit 212 averages the motion vectors MVET extracted and accumulated through a plurality of frames to reduce errors generated in the extraction of the motion vector MVET and noise mixed in the motion vector MVET, It excludes the effects of a sudden change in one or two specific frames. The number of averaged frames can be set to about 2 to 64.

모션 벡터 크기 비교부(213)는 평균화된 모션 벡터(MVET)의 크기를 미리 정해진 기준값과 비교하여 뎁쓰 제어신호(RMVET)를 출력한다. 여기서, 기준값은 실험에 의해 미리 설정되는 값으로, 뎁쓰를 유지하거나 또는 상하로 조정하는 데 있어 기준이 된다. The motion vector magnitude comparison unit 213 compares the magnitude of the averaged motion vector MVET with a predetermined reference value and outputs a depth control signal RMVET. Here, the reference value is a value set in advance by experiment, and serves as a reference for maintaining the depth or adjusting the depth up or down.

도 11은 동일 프레임을 구성하는 좌안 영상과 우안 영상을 서로 비교하여 뎁쓰 정보를 추출하는 것을 보여준다. 그리고, 도 12는 뎁쓰 맵 생성부(220)에서 생성된 뎁쓰 맵의 일 예를 보여준다.FIG. 11 shows that depth information is extracted by comparing the left eye image and the right eye image constituting the same frame with each other. 12 shows an example of the depth map generated by the depth map generating unit 220. FIG.

뎁쓰 맵 생성부(220)는 다양한 공지의 방법(예를 들어, 도 9의 SAD 기법 등)으로 도 11과 같이 동일 프레임 내의 좌안 영상 데이터(L)와 우안 영상 데이터(R)를 서로 비교하여 뎁쓰 정보를 추출하고, 이 뎁쓰 정보를 통해 뎁쓰 맵(DISM)을 생성할 수 있다. 뎁쓰 맵 생성부(220)는 모션 벡터 추출 기법과 동일한 방법으로 뎁쓰 정보를 추출하여 리소스를 줄일 수 있다. SAD 기법을 공통으로 사용하는 경우, 모션 벡터 추출시에는 이웃한 프레임들의 좌안 영상 데이터만(또는 우안 영상 데이터만)을 서로 비교하는 데 반해, 뎁쓰 정보 추출시에는 동일 프레임내의 좌안 영상 데이터와 우안 영상 데이터를 서로 비교한다. 뎁쓰 맵(DISM)은 도 12에서 보여지는 바와 같이 물체 혹은 객체(Object)의 3차원 공간 정보를 화면으로부터의 거리에 따라 계조로 표현한 이미지 데이터이다. 뎁쓰(depth, 심도) 값은 픽셀 데이터의 시프트(shift) 정도 즉, 디스패리티(disparity)를 정의한다. 뎁쓰 맵(DISM)에서, 화면의 앞으로 돌출되는 객체는 높은 계조(또는 화이트 계조)의 데이터로 표현되고, 화면 뒤로 멀어지는 객체는 낮은 계조(또는 블랙 계조)로 표현된다. The depth map generator 220 compares the left eye image data L and the right eye image data R in the same frame with each other using a variety of known methods (for example, the SAD technique of FIG. 9) Information can be extracted, and a depth map (DISM) can be generated through this depth information. The depth map generating unit 220 may extract the depth information in the same manner as the motion vector extracting method to reduce resources. When the SAD technique is commonly used, only the left eye image data of the neighboring frames (or only the right eye image data) are compared with each other at the time of extracting the motion vector, whereas the left eye image data and the right eye image Compare the data with each other. As shown in FIG. 12, the depth map (DISM) is image data in which three-dimensional spatial information of an object or an object is expressed in gradation according to the distance from the screen. A depth value defines a degree of shift of pixel data, that is, a disparity. In the depth map (DISM), an object protruding forward from the screen is represented by data of high gradation (or white gradation), and an object moving away from the screen is represented by low gradation (or black gradation).

도 13은 뎁쓰 맵 생성부(220)에 포함되는 뎁쓰 변조부(221)를 이용하여 뎁쓰 맵(DISM)의 계조값을 모션 벡터(MVET)의 크기에 따라 보정하는 일 예를 보여준다. 13 shows an example of correcting the tone value of the depth map DISM according to the magnitude of the motion vector MVET using the depth modulation unit 221 included in the depth map generation unit 220. [

도 13을 참조하면, 본 발명의 일 실시예에 따른 뎁쓰 변조부(221)는 뎁쓰 맵 생성부(220)에 구비될 수 있다. 뎁쓰 맵 생성부(220)는 전술한 방법으로 뎁쓰 맵(DISM)을 생성한다. 그러면, 뎁쓰 변조부(221)는 멀티 뷰 영상(MV)의 뎁스를 변조하기 위해 뎁쓰 제어신호(RMVET)에 따라 뎁쓰 맵(DISM)의 계조값을 일률적으로 보정할 수 있다. Referring to FIG. 13, the depth-modulating unit 221 according to an embodiment of the present invention may be included in the depth-map generating unit 220. The depth map generating unit 220 generates a depth map (DISM) by the above-described method. The depth modulation unit 221 can uniformly correct the tone value of the depth map DISM according to the depth control signal RMVET in order to modulate the depth of the multi-view image MV.

뎁쓰 제어신호(RMVET)는, 이웃한 프레임들 간 모션 벡터(MVET)의 크기가 기준값보다 큰 경우에 제1 로직레벨로 입력되고, 기준값보다 작은 경우에 제2 로직레벨로 입력될 수 있으며, 기준값과 동일한 경우에 입력이 스킵(skip)될 수 있다. The depth control signal RMVET may be input to the first logic level when the magnitude of the motion vector MVET between neighboring frames is greater than the reference value and may be input to the second logic level when the magnitude of the motion vector MVET is less than the reference value, The input may be skipped.

뎁쓰 제어신호(RMVET)가 제1 로직레벨로 입력될 때(즉, 모션 벡터(MVET)의 크기가 기준값보다 큰 경우), 뎁스 변조부(221)는 뎁쓰 맵(DISM)에 1보다 작은 가중치를 곱하여 뎁쓰 맵(DISM)의 계조값을 일률적으로 낮춘다. 뎁쓰 맵(DISM)의 계조값이 일정한 비율로 낮아지면, 멀티 뷰 영상 합성부(240)에서 뎁쓰 맵(DISM)을 참조로 생성되는 멀티 뷰 영상들 간의 뎁쓰(심도, 깊이감, 입체감)가 줄어들게 된다. 이렇게 본 발명은 객체의 운동량이 큰 고속 영상에서 뎁쓰를 일률적으로 줄임으로써 피로감을 줄이고 영상의 시인성을 높일 수 있다.When the depth control signal RMVET is input to the first logic level (that is, when the magnitude of the motion vector MVET is larger than the reference value), the depth modulation section 221 adds a weight smaller than 1 to the depth map DISM Thereby uniformly lowering the tone value of the depth map (DISM). When the tone value of the depth map (DISM) is lowered at a constant rate, the depth (depth, depth sense, depth sense) between the multi view images generated with reference to the depth map (DISM) do. Thus, the present invention can reduce fatigue and improve the visibility of images by uniformly reducing the depth at a high-speed image having a large momentum of an object.

반면, 뎁쓰 제어신호(RMVET)가 제2 로직레벨로 입력될 때(즉, 모션 벡터(MVET)의 크기가 기준값보다 작은 경우), 뎁스 변조부(221)는 뎁쓰 맵(DISM)에 1보다 큰 가중치를 곱하여 뎁쓰 맵(DISM)의 계조값을 일률적으로 높일 수 있다. 뎁쓰 맵(DISM)의 계조값이 일정한 비율로 높아지면, 멀티 뷰 영상 합성부(240)에서 뎁쓰 맵(DISM)을 참조로 생성되는 멀티 뷰 영상들 간의 뎁쓰(심도, 깊이감, 입체감)가 커지게 된다. 본 발명은 객체의 운동량이 매우 작은 영상에서 뎁쓰를 일률적으로 늘림으로써 입체감을 보다 강조할 수도 있다. On the other hand, when the depth control signal RMVET is input to the second logic level (that is, when the magnitude of the motion vector MVET is smaller than the reference value), the depth modulation section 221 adds the depth map DISM The tone value of the depth map (DISM) can be uniformly increased by multiplying the weight value. When the tone value of the depth map DISM increases at a constant rate, the depth (depth, depth, and depth of field) between the multi-view images generated with reference to the depth map DISM in the multi- . The present invention can emphasize the stereoscopic effect by uniformly increasing the depth in an image having a very small amount of motion of the object.

한편, 뎁스 맵(DISM)이 8비트 계조 스케일로 표현되는 경우, 일반적으로 125 계조가 컨버젼스 포인트(convergence point)가 되며, 이에 따라 125 계조보다 높은 계조 구간은 객체가 화면 앞의 시청자 쪽으로 돌출되 보이는 포지티브 뎁쓰(positive depth)가 되고, 125 계조보다 낮은 계조 구간은 객체가 화면 뒤로 들어가 보이는 네거티브 뎁쓰(negative depth)가 된다. 뎁스 맵(DISM) 상의 컨버젼스 포인트(convergence point)는 임의의 계조값으로 미리 설정될 수 있으며, 이 경우 설정된 계조값에 해당하는 객체는 화면상에 위치하여 그 뎁쓰가 0이 된다.On the other hand, when the depth map (DISM) is represented by an 8-bit grayscale scale, generally 125 grayscales become convergence points. Accordingly, in a grayscale period higher than 125 grayscales, an object is projected toward a viewer The positive depth becomes a positive depth, and a gradation period lower than 125 gradation becomes a negative depth in which an object enters behind the screen. The convergence point on the depth map (DISM) can be preset to an arbitrary gradation value. In this case, the object corresponding to the set gradation value is positioned on the screen and its depth becomes zero.

이 상태에서 뎁쓰 맵(DISM)에 1보다 작거나 큰 가중치가 곱해지면 뎁쓰 맵(DISM)의 모든 계조값(컨버젼스 포인트로 설정된 계조값 포함)이 변화된다. 예컨대, 뎁쓰 맵(DISM)에 가중치 0.8이 곱해지는 경우, 컨버젼스 포인트로 설정된 125 계조에 해당하는 객체는 뎁쓰 맵(DISM) 상에서 100 계조(125*0.8)로 그 계조값이 바뀌어 뎁쓰가 변경된다. 즉, 컨버젼스 포인트에 있던 객체의 뎁스는 0에서 음의 값으로 바뀌게 된다. 이는 뎁쓰 맵의 계조값 보정 전후에 있어 영상의 깊이감이 달라지는 일 예를 보여주는 도 14a 및 도 14b를 통해 명확히 알 수 있다.In this state, if the depth map (DISM) is multiplied by a weight value smaller than or equal to 1, all the gradation values (including the gradation values set at the convergence point) of the depth map (DISM) are changed. For example, when the depth map (DISM) is multiplied by a weight of 0.8, the object corresponding to the 125th gradation set to the convergence point is changed to the gradation value of 100 gradations (125 * 0.8) on the depth map (DISM) to change the depth. That is, the depth of the object at the convergence point is changed from 0 to a negative value. This can be clearly understood from FIGS. 14A and 14B showing an example in which the depth of the image varies before and after the tone value correction of the depth map.

도 14a에는 계조값 보정 전의 뎁쓰 맵(DISM)에 따른 객체들(OB1~OB4)의 공간상 분포 위치가 나타나 있으며, 도 14b에는 계조값 하향 보정 후의 뎁쓰 맵(DISM)에 따른 객체들(OB1~OB4)의 공간상 분포 위치가 나타나 있다. 뎁쓰 맵(DISM)에 대한 계조값 하향 보정에 의해 도 14b는 도 14a에 비해 객체들(OB1~OB4)의 공간상 분포 위치가 전체적으로 패널(화면) 안쪽으로 쉬프트된다. 그 결과 컨버젼스 포인트에 해당되는 계조값까지 변하게 된다. 이에 따라, 뎁스 맵의 계조값을 보정하는 방식은 보정 전후에 있어 표시패널과 객체들 간의 상대적 거리 비율을 변화시켜, 도 14a 및 도 14b에서 a:b≠c:d와 같은 결과를 초래할 수 있다. FIG. 14A shows the spatial distribution positions of the objects OB1 to OB4 according to the depth map DISM before the tone value correction. FIG. 14B shows the positions of the objects OB1 to OB4 according to the depth map after the tone value down correction, OB4) are shown. According to the downward correction of the tone value for the depth map DISM, the spatial distribution positions of the objects OB1 to OB4 are shifted to the inside of the panel (screen) as a whole as compared with FIG. 14A in FIG. 14B. As a result, the tone value corresponding to the convergence point is changed. Accordingly, the method of correcting the tone value of the depth map changes the relative distance ratio between the display panel and the object before and after the correction, resulting in a: b ≠ c: d in FIGS. 14A and 14B .

도 15는 멀티 뷰 영상 합성부(240)에 포함되는 뎁쓰 변조부(241)를 이용하여 뷰 영상들 간 디스패리티 값을 모션 벡터(MVET)의 크기에 따라 보정하는 일 예를 보여준다. 15 shows an example of correcting the disparity value between view images according to the magnitude of the motion vector MVET using the depth modulator 241 included in the multi-view image synthesizer 240. [

도 15를 참조하면, 본 발명의 일 실시예에 따른 뎁쓰 변조부(241)는 멀티 뷰 영상 합성부(240)에 구비될 수 있다. 멀티 뷰 영상 합성부(240)는 전술한 방법으로 뎁쓰 맵(DISM)에서 정의된 계조 별 디스패리티만큼 좌안 영상 데이터(L) 또는 우안 영상 데이터(R)를 쉬프트시켜 멀티 뷰 영상(MV)을 생성한다. 이러한 멀티 뷰 영상(MV)을 생성하는 과정에서, 뎁쓰 변조부(221)는 뷰 영상들 간의 계조 별 디스패리티 값을 뎁쓰 제어신호(RMVET)에 따라 일정한 비율로 조정하여 멀티 뷰 영상(MV)의 뎁스를 변조할 수 있다.Referring to FIG. 15, the depth modulation unit 241 may be included in the multi-view image synthesis unit 240 according to an embodiment of the present invention. The multi view image composer 240 generates the multi view image MV by shifting the left eye image data L or the right eye image data R by the gray scale disparity defined in the depth map DISM in the above- do. In the process of generating the multi-view image MV, the depth modulator 221 adjusts the disparity value per gray level between the view images to a predetermined ratio according to the depth control signal RMVET, The depth can be modulated.

뎁쓰 제어신호(RMVET)가 제1 로직레벨로 입력될 때(즉, 모션 벡터(MVET)의 크기가 기준값보다 큰 경우), 뎁스 변조부(241)는 뷰 영상들 간의 계조 별 디스패리티 값에 1보다 작은 가중치를 곱하여 뷰 영상들 간에 쉬프트되는 픽셀 간격을 계조별로 일정하게 감소시킨다. 뷰 영상들 간에 쉬프트되는 픽셀 간격이 일정한 비율로 감소되면, 멀티 뷰 영상 합성부(240)에서 생성되는 멀티 뷰 영상들 간의 뎁쓰(심도, 깊이감, 입체감)가 줄어들게 된다. 이렇게 본 발명은 객체의 운동량이 큰 고속 영상에서 뎁쓰를 일률적으로 줄임으로써 피로감을 줄이고 영상의 시인성을 높일 수 있다.When the depth control signal RMVET is input to the first logic level (that is, when the magnitude of the motion vector MVET is larger than the reference value), the depth modulation section 241 multiplies the disparity value per gray level between the view images by 1 And the pixel interval shifted between the view images is constantly decreased by gradation by multiplying the pixel weight by a smaller weight. When the pixel interval shifted between view images is reduced at a constant rate, the depth (depth, depth, and depth of field) between the multi-view images generated by the multi-view image synthesizer 240 is reduced. Thus, the present invention can reduce fatigue and improve the visibility of images by uniformly reducing the depth at a high-speed image having a large momentum of an object.

반면, 뎁쓰 제어신호(RMVET)가 제2 로직레벨로 입력될 때(즉, 모션 벡터(MVET)의 크기가 기준값보다 작은 경우), 뎁스 변조부(241)는 뷰 영상들 간의 계조 별 디스패리티 값에 1보다 큰 가중치를 곱하여 뷰 영상들 간에 쉬프트되는 픽셀 간격을 계조별로 일정하게 증가시킨다. 뷰 영상들 간에 쉬프트되는 픽셀 간격이 일정한 비율로 증가되면, 멀티 뷰 영상 합성부(240)에서 생성되는 멀티 뷰 영상들 간의 뎁쓰(심도, 깊이감, 입체감)가 커지게 된다. 본 발명은 객체의 운동량이 매우 작은 영상에서 뎁쓰를 일률적으로 늘림으로써 입체감을 보다 강조할 수도 있다. On the other hand, when the depth control signal RMVET is input to the second logic level (that is, when the magnitude of the motion vector MVET is smaller than the reference value), the depth modulation section 241 converts the disparity value Is multiplied by a weight value larger than 1 to increase the pixel interval shifted between the view images constantly for each gray level. If the pixel intervals shifted between view images are increased at a constant rate, the depth (depth, depth, and depth of field) between the multi-view images generated by the multi-view image synthesizer 240 increases. The present invention can emphasize the stereoscopic effect by uniformly increasing the depth in an image having a very small amount of motion of the object.

한편, 뎁스 맵(DISM)이 8비트 계조 스케일로 표현되는 경우, 일반적으로 125 계조가 컨버젼스 포인트(convergence point)가 되며, 이에 따라 125 계조보다 높은 계조 구간은 객체가 화면 앞의 시청자 쪽으로 돌출되 보이는 포지티브 뎁쓰(positive depth)가 되고, 125 계조보다 낮은 계조 구간은 객체가 화면 뒤로 들어가 보이는 네거티브 뎁쓰(negative depth)가 된다. 뎁스 맵(DISM) 상의 컨버젼스 포인트(convergence point)는 임의의 계조값으로 미리 설정될 수 있으며, 이 경우 설정된 계조값에 해당하는 객체는 화면상에 위치하여 그 뎁쓰가 0이 된다. 255 계조가 125 계조 대비 (+) 뎁쓰이고 컨버젼스 포인트를 기준으로 10 픽셀만큼 좌측으로 디스패러티를 갖는다고 할 경우, 190 계조는 (+) 뎁쓰이고 컨버젼스 포인트를 기준으로 5 픽셀만큼 좌측으로 디스패러티를 갖게 된다. 또한, 0 계조는 125 계조 대비 (-) 뎁쓰이고 컨버젼스 포인트를 기준으로 10 픽셀만큼 우측으로 디스패러티를 갖게 되고, 63 계조는 125 계조 대비 (-) 뎁쓰이고 컨버젼스 포인트를 기준으로 5 픽셀만큼 우측으로 디스패러티를 갖게 된다.On the other hand, when the depth map (DISM) is represented by an 8-bit grayscale scale, generally 125 grayscales become convergence points. Accordingly, in a grayscale period higher than 125 grayscales, an object is projected toward a viewer The positive depth becomes a positive depth, and a gradation period lower than 125 gradation becomes a negative depth in which an object enters behind the screen. The convergence point on the depth map (DISM) can be preset to an arbitrary gradation value. In this case, the object corresponding to the set gradation value is positioned on the screen and its depth becomes zero. If 255 gradations are used in contrast with 125 gradations and +10 pixels are used based on the convergence point, the 190 gradations are (+) deprecated and the disparity is left by 5 pixels based on the convergence point . In addition, 0 gradation is used for the (-) depreciation of 125 gradations, and the right side has a disparity of 10 pixels based on the convergence point, and the 63 gradations are used for the (-) depreciation of 125 gradations. You will have a disparity.

이 상태에서, 뷰 영상들 간의 계조 별 디스패리티 값에 1보다 작거나 큰 가중치가 곱해지면 뷰 영상들 간에 쉬프트되는 픽셀 간격은 일률적으로 변화된다. 예컨대, 뷰 영상들 간의 계조 별 디스패리티 값에 가중치 0.8이 곱해지는 경우, 255 계조는 125 계조 대비 (+) 뎁쓰이고 컨버젼스 포인트를 기준으로 8 픽셀(10*0.8)만큼 좌측으로 디스패러티를 갖도록 변경되고, 190 계조는 (+) 뎁쓰이고 컨버젼스 포인트를 기준으로 4 픽셀(5*0.8)만큼 좌측으로 디스패러티를 갖도록 변경된다. 또한, 0 계조는 125 계조 대비 (-) 뎁쓰이고 컨버젼스 포인트를 기준으로 8 픽셀만큼 우측으로 디스패러티를 갖도록 변경되고, 63 계조는 125 계조 대비 (-) 뎁쓰이고 컨버젼스 포인트를 기준으로 4 픽셀만큼 우측으로 디스패러티를 갖도록 변경된다. 이에 따르면, 컨버젼스 포인트로 설정된 125 계조는 디스패리티 값이 0이므로 어떠한 가중치가 곱해지더라도 변화없이 0을 유지한다. 즉, 컨버젼스 포인트에 있는 객체의 뎁스는 가중치 적용에도 불구하고 0을 유지한다. 이는 뷰 영상들 간 디스패리티 값 보정 전후에 있어 영상의 깊이감이 달라지는 일 예를 보여주는 도 16a 및 도 16b를 통해 명확히 알 수 있다.In this state, if the disparity value per gradation between view images is multiplied by a weight value less than or equal to 1, the pixel interval shifted between view images is uniformly changed. For example, when a weight 0.8 is multiplied by a gray-scale disparity value between view images, the 255 gray-scale is used for 125 gradations (+) deprecated and changed to have a left parity of 8 pixels (10 * 0.8) based on the convergence point 190 gradations are (+) deprecated and changed to have a left disparity of 4 pixels (5 * 0.8) based on the convergence point. In addition, the 0 gradation is (-) deprecated for 125 gradations and is changed to have a right-side disparity of 8 pixels based on the convergence point, 63 gradations are used for 125 gradations (-) dep, To have a disparity. According to this, since the disparity value is 0 in the 125 gradation set as the convergence point, 0 is maintained without changing even if any weight is multiplied. That is, the depth of the object at the convergence point remains at zero despite the weighting. This can be clearly understood from FIGS. 16A and 16B showing an example in which the depth of the image varies before and after the correction of the disparity value between the view images.

도 16a에는 보정 전의 디스패리티 값 적용에 따른 객체들(OB1~OB4)의 공간상 분포 위치가 나타나 있으며, 도 16b에는 보정 후의 디스패리티 값 적용에 따른 객체들(OB1~OB4)의 공간상 분포 위치가 나타나 있다. 디스패리티 값을 하향 보정함에 따라, 도 16b는 도 16a에 비해 객체들(OB1~OB4)의 공간상 분포 위치가 전체적으로 표시 패널(컨버젼스 포인트)을 향해 모이거나 또는, 표시 패널(컨버젼스 포인트)을 기준으로 멀어진다. 이에 따라, 디스패리티 값을 보정하는 방식은 보정 전후에 있어 표시패널과 객체들 간의 상대적 거리 비율을 일정하게 유지할 수 있다. 디스패리티 값을 보정하는 방식은 도 16a 및 도 16b에서 보여지듯이 a:b=c:d와 같은 결과를 얻을 수 있다. 이러한, 디스패리티 값을 보정하는 방식은, 뎁스 맵의 계조값을 보정하는 방식에 비해, 모션 벡터의 크기에 따라 멀티 뷰 영상의 뎁스를 변경시킬 때 입체감이 왜곡되는 것을 최소화할 수 있다.FIG. 16A shows the spatial distribution positions of the objects OB1 to OB4 according to the disparity value before correction. FIG. 16B shows the spatial distribution positions of the objects OB1 to OB4 according to the disparity value after correction. Respectively. 16B shows that the spatial distribution positions of the objects OB1 to OB4 collectively converge toward the display panel (convergence point) or the display panel (convergence point) . Accordingly, the method of correcting the disparity value can maintain the relative distance ratio between the display panel and the object constant before and after the correction. As a method of correcting the disparity value, a result such as a: b = c: d can be obtained as shown in FIGS. 16A and 16B. Such a method of correcting the disparity value can minimize the distortion of the stereoscopic effect when the depth of the multi-view image is changed according to the magnitude of the motion vector, as compared with the method of correcting the gray level value of the depth map.

도 17은 본 발명의 일 영상 데이터 처리 방법으로서, 모션 벡터의 크기에 따라 뎁쓰 맵의 계조값을 보정한 후 멀티 뷰 영상을 처리하는 일련의 과정을 보여준다.FIG. 17 shows a series of processes of processing a multi-view image after correcting a tone value of a depth map according to the size of a motion vector, according to the present invention.

도 17을 참조하면, 본 발명의 일 영상 데이터 처리 방법은 입력 영상 데이터의 뎁쓰 맵을 생성하고, 상기 입력 영상 데이터의 이웃한 프레임들 간 모션 벡터를 추출한다.(S10)17, the one-dimensional image data processing method of the present invention generates a depth map of input image data and extracts a motion vector between neighboring frames of the input image data.

이어서, 본 발명은 모션 벡터의 크기를 미리 정해진 기준값과 비교하여 뎁쓰 제어신호를 발생한다. 본 발명은 뎁쓰 제어신호에 따라, 뎁쓰 맵에 일정한 가중치를 곱하여 뎁스 맵의 계조값을 보정(낮추거나 높임)하거나 또는, 뎁스 맵의 계조값을 보정없이 유지한다.(S11,S12,S13)The present invention then compares the magnitude of the motion vector with a predetermined reference value to generate a depth control signal. According to the present invention, the tone map of the depth map is corrected (lowered or raised) by multiplying the depth map by a predetermined weight according to the depth control signal, or the tone map of the depth map is corrected without correction (S11, S12, S13)

이어서, 본 발명은 선택적으로 계조값이 보정된 뎁스 맵을 후처리한다.(S14) 후처리 과정은 필요에 의해 생략될 수 있다.Then, the present invention post-processes the depth map in which the tone value is selectively corrected (S14). The post-process can be omitted if necessary.

이어서, 본 발명은 보정된 뎁스 맵을 기초로 하여 좌안 영상 데이터 또는 우안 영상 데이터를 정해진 디스패러티 값만큼 쉬프트시켜 멀티 뷰 영상을 생성한다.(S15)Then, the present invention generates a multi-view image by shifting the left eye image data or the right eye image data by a predetermined disparity value based on the corrected depth map (S15)

이어서, 본 발명은 멀티 뷰 영상을 표시패널의 3D 표시 배열에 맞게 멀티 뷰 영상 데이터 포맷으로 재정렬하여 멀티 뷰 영상 데이터를 생성한다.(S16)Then, the multi-view image is generated by rearranging the multi-view image into the multi-view image data format according to the 3D display arrangement of the display panel (S16)

도 18은 본 발명의 일 영상 데이터 처리 방법으로서, 모션 벡터의 크기에 따라 뷰 영상들 간 디스패리티 값을 계조 별로 보정한 후 멀티 뷰 영상을 처리하는 일련의 과정을 보여준다.FIG. 18 shows a series of processes of processing a multi-view image after correcting the disparity value between view images according to the magnitude of the motion vector, according to the present invention.

도 18을 참조하면, 본 발명의 일 영상 데이터 처리 방법은 입력 영상 데이터의 뎁쓰 맵을 생성하고, 상기 입력 영상 데이터의 이웃한 프레임들 간 모션 벡터를 추출한다.(S10)Referring to FIG. 18, the one-dimensional image data processing method of the present invention generates a depth map of input image data and extracts a motion vector between neighboring frames of the input image data.

이어서, 본 발명은 모션 벡터의 크기를 미리 정해진 기준값과 비교하여 뎁쓰 제어신호를 발생한다. (S11)The present invention then compares the magnitude of the motion vector with a predetermined reference value to generate a depth control signal. (S11)

이어서, 본 발명은 뎁쓰 맵을 후처리한다.(S13) 후처리 과정은 필요에 의해 생략될 수 있다.Then, the present invention post-processes the depth map. (S13) The post-process can be omitted if necessary.

이어서, 본 발명은 뎁쓰 제어신호에 따라, 뷰 영상들 간의 계조 별 디스패리티 값에 일정한 가중치를 곱하여 계조 별 디스패리티 값을 보정(낮추거나 높임)하거나 또는, 계조 별 디스패리티값을 보정없이 유지한다. 그리고, 본 발명은 뎁스 맵을 기초로 하여 좌안 영상 데이터 또는 우안 영상 데이터를 선택적으로 보정된 디스패러티 값만큼 쉬프트시켜 멀티 뷰 영상을 생성한다.(S12,S14,S15)According to the present invention, the disparity value for each gray level is multiplied by a predetermined weight value, so that the disparity value for each gray level can be corrected (lowered or raised) or the disparity value for each gray level can be maintained without correction . In addition, the present invention generates a multi-view image by shifting the left-eye image data or the right-eye image data by a selectively compensated disparity value based on the depth map (S12, S14, S15)

이어서, 본 발명은 멀티 뷰 영상을 표시패널의 3D 표시 배열에 맞게 멀티 뷰 영상 데이터 포맷으로 재정렬하여 멀티 뷰 영상 데이터를 생성한다.(S16)
Then, the multi-view image is generated by rearranging the multi-view image into the multi-view image data format according to the 3D display arrangement of the display panel (S16)

이상에서 살펴본 바와 같이, 본 발명은 모션 벡터를 활용하여 객체의 움직임에 따라 영상의 뎁쓰를 조절함으로써 시청하기 편안한 입체 영상을 구현할 수 있음은 물론이거니와 시인성을 높일 수 있다.As described above, according to the present invention, the depth of an image can be adjusted according to motion of an object by using a motion vector, thereby realizing a stereoscopic image that is easy to see and can increase visibility.

이상 설명한 내용을 통해 당업자라면 본 발명의 기술사상을 일탈하지 아니하는 범위 내에서 다양한 변경 및 수정이 가능함을 알 수 있을 것이다. 따라서, 본 발명은 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허 청구의 범위에 의해 정하여져야만 할 것이다.
It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or scope of the invention. Therefore, the present invention should not be limited to the details described in the detailed description, but should be defined by the claims.

10: 표시패널 30: 광학판
110: 게이트 구동회로 120: 데이터 구동회로
130: 타이밍 콘트롤러 140: 영상 처리회로
150: 호스트 시스템 210: 뎁쓰 제어부
211 : 모션 벡터 추출부 212 : 모션 벡터 평균화부
213 : 모션 벡터 크기 비교부 220: 뎁쓰 맵 생성부
230: 후처리부 240: 멀티 뷰 영상 합성부
221,241: 뎁쓰 변조부 300 : 멀티 뷰 영상 생성기10: display panel 30: optical plate
110: gate driving circuit 120: data driving circuit
130: timing controller 140: image processing circuit
150: Host system 210: Depth control unit
211: motion vector extraction unit 212: motion vector averaging unit
213: motion vector size comparing unit 220: depth map generating unit
230: Post-processing unit 240: Multi-
221, 241: Depth modulation unit 300: Multi-view image generator

Claims

A depth map generating unit for generating a depth map of input image data;
A multi-view image synthesizer for generating a multi-view image based on the depth map;
A depth controller for generating a depth control signal by extracting a motion vector between neighboring frames of the input image data and comparing the size of the motion vector with a predetermined reference value; And
And a depth modulator for modulating the depth of the multi-view image according to the depth control signal.

The method according to claim 1,
Wherein the depth modulation unit comprises:
And corrects the tone value of the depth map according to the depth control signal to modulate the depth of the multi-view image.

3. The method of claim 2,
Wherein the depth modulation unit comprises:
And when the magnitude of the motion vector is larger than the reference value, the depth map is multiplied by a weight smaller than 1, thereby lowering the tone value of the depth map.

3. The method of claim 2,
Wherein the depth modulation unit comprises:
And when the magnitude of the motion vector is smaller than the reference value, the depth map is multiplied by a weight value larger than 1 to increase the tone value of the depth map.

The method according to claim 1,
Wherein the depth modulation unit comprises:
And corrects a disparity value for each gray level between view images implementing the multi-view image according to the depth control signal to modulate the depth of the multi-view image.

6. The method of claim 5,
Wherein the depth modulation unit comprises:
And when the magnitude of the motion vector is larger than the reference value, multiplying the disparity per gray value by a weight value smaller than 1 to reduce the gray value disparity value.

6. The method of claim 5,
Wherein the depth modulation unit comprises:
And when the magnitude of the motion vector is smaller than the reference value, multiplies the disparity per gray value by a weight value larger than 1 to increase the disparity value for the gray level.

The method according to claim 1,
Wherein the depth control unit comprises:
A motion vector extraction unit for extracting a motion vector between neighboring frames of the input image data;
A motion vector averaging unit that averages motion vectors extracted and accumulated through a plurality of frames; And
And a motion vector magnitude comparison unit for comparing the magnitude of the averaged motion vector with the reference value to generate the depth control signal.

9. The method of claim 8,
Wherein the motion vector extraction unit comprises:
Eye image data of the neighboring frames to compare only the left-eye image data of the neighboring frames or to compare only the right-eye image data of the neighboring frames with each other to extract the motion vector.

Generating a depth map of input image data;
Generating a multi-view image based on the depth map;
Generating a depth control signal by extracting a motion vector between neighboring frames of the input image data and comparing the size of the motion vector with a predetermined reference value; And
And modulating the depth of the multi-view image in accordance with the depth control signal.

11. The method of claim 10,
Wherein the step of modulating the depth of the multi-
And correcting the tone value of the depth map in accordance with the depth control signal.

12. The method of claim 11,
Wherein the step of modulating the depth of the multi-
And when the magnitude of the motion vector is larger than the reference value, multiplying the depth map by a weight smaller than 1, thereby lowering the tone value of the depth map.

12. The method of claim 11,
Wherein the step of modulating the depth of the multi-
And increasing the tone value of the depth map by multiplying the depth map by a weight greater than 1 when the size of the motion vector is smaller than the reference value.

11. The method of claim 10,
Wherein the step of modulating the depth of the multi-
And a step of correcting a disparity value according to gradation between view images implementing the multi-view image according to the depth control signal in order to modulate the depth of the multi-view image. Method of processing video data.

15. The method of claim 14,
Wherein the step of modulating the depth of the multi-
When the size of the motion vector is larger than the reference value, multiplying the disparity per gray value by a weight smaller than 1, thereby decreasing the disparity value for each gray level. Data processing method.

15. The method of claim 14,
Wherein the step of modulating the depth of the multi-
When the magnitude of the motion vector is smaller than the reference value, multiplying the disparity value per gray level by a weight value larger than 1 to increase the disparity value per gray level. Data processing method.

11. The method of claim 10,
Wherein the step of generating the depth control signal comprises:
Extracting a motion vector between neighboring frames of the input image data;
Averaging the motion vectors extracted and accumulated through a plurality of frames; And
And generating the depth control signal by comparing the magnitude of the averaged motion vector with the reference value.

18. The method of claim 17,
The step of extracting the motion vector comprises:
And comparing only the left eye image data of the neighboring frames with each other or only the right eye image data of the neighboring frames with each other to extract the motion vector. Processing method.