KR101385480B1

KR101385480B1 - Method and apparatus for reducing visual fatigue of stereoscopic image display device

Info

Publication number: KR101385480B1
Application number: KR1020120056840A
Authority: KR
Inventors: 강동우; 정호영
Original assignee: 엘지디스플레이 주식회사
Priority date: 2012-05-29
Filing date: 2012-05-29
Publication date: 2014-04-16
Also published as: KR20130133520A

Abstract

본 발명은 상기와 같은 문제점을 해결하기 위한 것으로, 시청 위치에 따라 입체 영상을 변조함으로써 시각적 피로감을 줄이기 위한 입체 영상의 시청 피로 저감 장치 및 방법과 이를 이용한 입체 영상 표시 장치에 관한 것으로 시청자의 위치를 센싱하여 상기 시청자의 좌표를 정의하는 단계와; 상기 시청자의 좌표를 분석하여 상기 시청자의 위치가 최적 시청 영역을 벗어난 경우, 상기 시청자가 상기 최적 시청 영역으로부터 이격된 거리를 산출하는 단계와; 상기 시청자의 이격된 거리 정보를 이용하여 보정 계수를 산출하는 단계; 및 산출된 보정 계수를 이용하여 입력된 입체 영상 데이터를 변조하는 단계를 포함하는 것을 특징으로 한다.The present invention is to solve the above problems, and relates to an apparatus and method for reducing viewing fatigue of stereoscopic images to reduce visual fatigue by modulating the stereoscopic image according to the viewing position, and to a stereoscopic image display apparatus using the same. Sensing and defining coordinates of the viewer; Analyzing the coordinates of the viewer to calculate a distance spaced from the optimal viewing area by the viewer when the position of the viewer is out of the optimal viewing area; Calculating a correction factor by using the distance information of the viewer; And modulating the input stereoscopic image data by using the calculated correction coefficients.

Description

TECHNICAL AND APPARATUS FOR REDUCING VISUAL FATIGUE OF STEREOSCOPIC IMAGE DISPLAY DEVICE}

본 발명은 시청 위치에 따라 입체 영상을 변조함으로써 시각적 피로감을 줄이기 위한 입체 영상의 시청 피로 저감 장치 및 방법과 이를 이용한 입체 영상 표시 장치에 관한 것이다.The present invention relates to an apparatus and method for reducing viewing fatigue of a stereoscopic image for modulating the stereoscopic image according to a viewing position and a stereoscopic image display apparatus using the same.

입체 영상은 사람의 좌/우 시각에 서로 다른 영상 정보를 표현함으로써 입체감을 표현한다. 이러한 입체 영상은 시청자로 하여금 영상에 대한 몰입도를 높일 수 있도록 하는 장점이 있는 반면, 일반 영상에 비해 시각적 피로감을 증가시킬 가능성이 높은 단점이 있다.A stereoscopic image expresses a stereoscopic feeling by expressing different image information at left and right views of a person. Such stereoscopic images have the advantage of allowing viewers to increase their immersion into the image, but have a high possibility of increasing visual fatigue compared to general images.

이러한 입체 영상을 표시하는 입체 영상 표시 장치는 최적의 입체 영상을 시청할 수 있는 영역(Viewing Zone; 이하, “최적 시청 영역(VZ)”라 함)이 정의된다. 예를 들어, 입체 영상 표시 장치는 도 1에 도시한 바와 같이, 스크린(100)을 기준으로 수직 방향의 시야각에 따라 최적 시청 영역(VZ)이 정의될 수 있다. 이러한 최적 시청 영역(VZ)에서 스크린(100)을 시청할 경우 영상의 입체감은 극대화되고 시각적 피로감도 적다. 하지만, A, B, C 영역(A, B, C)과 같이 최적 시청 영역(VZ)을 벗어난 곳에서 스크린(100)을 시청할 경우 입체 영상이 부자연스럽게 보이고 시각적 피로감이 증가하는 문제점이 있다.In the stereoscopic image display apparatus displaying such a stereoscopic image, a viewing zone (hereinafter, referred to as an “optimal viewing zone (VZ)”) for viewing an optimal stereoscopic image is defined. For example, in the stereoscopic image display apparatus, as illustrated in FIG. 1, an optimal viewing area VZ may be defined according to a viewing angle in a vertical direction with respect to the screen 100. When viewing the screen 100 in such an optimal viewing area (VZ), the stereoscopic sense of the image is maximized and the visual fatigue is less. However, when viewing the screen 100 in a place outside the optimal viewing area VZ, such as the A, B, and C areas A, B, and C, a stereoscopic image may appear unnatural and visual fatigue may increase.

본 발명은 상기와 같은 문제점을 해결하기 위한 것으로, 시청 위치에 따라 입체 영상을 변조함으로써 시각적 피로감을 줄이기 위한 입체 영상의 시청 피로 저감 장치 및 방법과 이를 이용한 입체 영상 표시 장치를 제공하는데 그 목적이 있다.SUMMARY OF THE INVENTION The present invention has been made in view of the above-described problems, and an object thereof is to provide an apparatus and method for reducing viewing fatigue of stereoscopic images to reduce visual fatigue by modulating the stereoscopic image according to the viewing position and a stereoscopic image display apparatus using the same. .

상기와 같은 목적을 달성하기 위해, 본 발명의 실시 예에 따른 입체 영상의 시청 피로 저감 방법은 시청자의 위치를 센싱하여 상기 시청자의 좌표를 정의하는 단계와; 상기 좌표를 분석하여 상기 위치가 최적 시청 영역을 벗어난 경우, 상기 시청자와 상기 최적 시청 영역 사이의 이격된 거리를 산출하는 단계와; 상기 이격된 거리 정보를 이용하여 보정 계수를 산출하는 단계; 및 상기 산출된 보정 계수를 이용하여 입력된 입체 영상 데이터를 변조하는 단계를 포함하는 것을 특징으로 한다.In order to achieve the above object, a method for reducing viewing fatigue of a stereoscopic image according to an embodiment of the present invention includes: sensing coordinates of a viewer to define coordinates of the viewer; Analyzing the coordinates to calculate a spaced distance between the viewer and the optimal viewing region when the position is outside the optimum viewing region; Calculating a correction factor using the spaced distance information; And modulating the input stereoscopic image data by using the calculated correction coefficient.

상기 위치를 센싱하는 단계는 상기 시청자의 얼굴 영역 또는 눈 영역을 센싱하고, 상기 센싱된 얼굴 영역 또는 눈 영역의 위치를 3차원 좌표로 정의하는 단계인 것을 특징으로 한다.The sensing of the position may include sensing the face area or the eye area of the viewer and defining the position of the sensed face area or the eye area in 3D coordinates.

상기 이격된 거리를 산출하는 단계는 상기 좌표를 분석하여 상기 위치가 상기 최적 시청 영역의 내부인지 외부인지 판단하는 단계; 및 상기 위치가 상기 최적 시청 영역의 외부라고 판단되면 상기 위치로부터 상기 최적 시청 영역까지의 최단 거리를 산출하는 단계를 포함하는 것을 특징으로 한다.The calculating of the spaced distance may include analyzing the coordinates to determine whether the position is inside or outside the optimal viewing area; And calculating the shortest distance from the position to the optimal viewing region when the position is determined to be outside the optimal viewing region.

상기 이격된 거리를 산출하는 단계는 상기 최적 시청 영역을 벗어난 정도에 따라 다수의 영역을 미리 설정하고, 해당 영역별로 상기 최적 시청 영역까지의 이격된 거리를 미리 산출하는 단계; 및 상기 위치가 상기 다수의 영역에 해당될 경우 미리 산출된 해당 영역의 이격된 거리를 출력하는 단계를 포함하는 것을 특징으로 한다.The calculating of the spaced distance may include setting a plurality of areas in advance according to a degree out of the optimal viewing area, and calculating the spaced distance to the optimal viewing area in advance for each corresponding area; And outputting spaced distances of a predetermined area when the location corresponds to the plurality of areas.

상기 보정 계수는 상기 입체 영상 데이터의 시차(disparity)를 변조하기 위한 시차 보정 계수이거나, 상기 입체 영상 데이터의 깊이(depth)를 변조하기 위한 깊이 보정 계수인 것을 특징으로 한다.The correction coefficient is a parallax correction coefficient for modulating the disparity of the stereoscopic image data, or a depth correction coefficient for modulating the depth of the stereoscopic image data.

상기 입력된 입체 영상 데이터를 변조하는 단계는 상기 입력된 입체 영상 데이터를 좌안 영상 및 우안 영상으로 분리하고, 그들 중 하나를 기준 영상으로 설정하는 단계와; 상기 좌안 및 우안 영상을 분석하여 깊이 영상을 생성하는 단계와; 상기 깊이 영상의 깊이를 상기 보정 계수에 따라 변조하는 단계; 및 상기 기준 영상과 상기 변조된 깊이 영상으로부터 상기 좌안 및 우안 영상을 재생성하여 출력하는 단계를 포함하는 것을 특징으로 한다.The modulating the input stereoscopic image data may include separating the input stereoscopic image data into a left eye image and a right eye image, and setting one of them as a reference image; Generating a depth image by analyzing the left eye and right eye images; Modulating a depth of the depth image according to the correction factor; And regenerating and outputting the left eye and right eye images from the reference image and the modulated depth image.

상기 입력된 입체 영상 데이터를 변조하는 단계는 상기 입력된 입체 영상 데이터를 좌안 영상 및 우안 영상으로 분리하고, 그들 각각을 고주파 영상 및 저주파 영상으로 분리하는 단계와; 상기 저주파 영상으로 분리된 좌안 영상 및 우안 영상의 시차를 상기 보정 계수에 따라 변조하는 단계; 및 상기 고주파 영상 및 상기 시차가 변조된 저주파 영상으로부터 상기 좌안 및 우안 영상을 재생성하여 출력하는 단계를 포함하는 것을 특징으로 한다.The modulating the input stereoscopic image data may include separating the input stereoscopic image data into a left eye image and a right eye image, and separating each of them into a high frequency image and a low frequency image; Modulating the parallax of the left eye image and the right eye image separated into the low frequency image according to the correction factor; And regenerating and outputting the left eye and right eye images from the high frequency image and the parallax modulated low frequency image.

또한, 상기와 같은 목적을 달성하기 위해, 본 발명의 실시 예에 따른 입체 영상의 시청 피로 저감 장치는 시청자의 위치를 센싱하여 상기 시청자의 좌표를 정의하는 시청 위치 센싱부와; 상기 좌표를 분석하여 상기 위치가 최적 시청 영역을 벗어난 경우, 상기 시청자와 상기 최적 시청 영역 사이의 이격된 거리를 산출하는 시청 거리 산출부와; 상기 이격된 거리 정보를 이용하여 보정 계수를 산출하는 보정 계수 산출부; 및 상기 산출된 보정 계수를 이용하여 입력된 입체 영상 데이터를 변조하는 3D 영상 변조부를 포함하는 것을 특징으로 한다.In addition, in order to achieve the above object, an apparatus for reducing viewing fatigue of a stereoscopic image according to an exemplary embodiment of the present invention includes: a viewing position sensing unit configured to sense a viewer's position to define coordinates of the viewer; A viewing distance calculator configured to calculate the spaced distance between the viewer and the optimal viewing region when the position is out of the optimal viewing region by analyzing the coordinates; A correction coefficient calculator for calculating a correction coefficient using the spaced distance information; And a 3D image modulator for modulating the input stereoscopic image data by using the calculated correction coefficient.

상기 시청 위치 센싱부는 상기 시청자의 얼굴 영역 또는 눈 영역을 센싱하고, 상기 센싱된 얼굴 영역 또는 눈 영역의 위치를 3차원 좌표로 정의하는 것을 특징으로 한다.The viewing position sensing unit may sense a face area or an eye area of the viewer, and define the position of the sensed face area or an eye area in 3D coordinates.

상기 시청 위치 센싱부는 단안 카메라, 스테레오 카메라, 멀티 카메라, 깊이 측정 카메라, 초음파 거리 측정 센서, 적외선 거리 측정 센서, 및 레이저 거리 측정 센서 중 적어도 하나를 포함하는 것을 특징으로 한다.The viewing position sensing unit may include at least one of a monocular camera, a stereo camera, a multi camera, a depth measuring camera, an ultrasonic distance measuring sensor, an infrared distance measuring sensor, and a laser distance measuring sensor.

상기 시청 거리 산출부는 상기 좌표를 분석하여 상기 위치가 상기 최적 시청 영역의 내부인지 외부인지 판단하고, 상기 위치가 상기 최적 시청 영역의 외부라고 판단되면 상기 위치로부터 상기 최적 시청 영역까지의 최단 거리를 산출하는 것을 특징으로 한다.The viewing distance calculating unit analyzes the coordinates to determine whether the position is inside or outside the optimum viewing area, and when it is determined that the position is outside the optimum viewing area, calculates the shortest distance from the position to the optimal viewing area. Characterized in that.

상기 시청 거리 산출부는 상기 최적 시청 영역을 벗어난 정도에 따라 다수의 영역을 미리 설정하고, 해당 영역별로 상기 최적 시청 영역까지의 이격된 거리를 미리 산출한 뒤, 상기 위치가 상기 다수의 영역에 해당될 경우 미리 산출된 해당 영역의 이격된 거리를 출력하는 것을 특징으로 한다.The viewing distance calculating unit presets a plurality of areas according to the deviation from the optimal viewing area, calculates the distance to the optimal viewing area in advance for each corresponding area, and then the position corresponds to the plurality of areas. In this case, the spaced distance of the corresponding area calculated in advance may be output.

상기 3D 영상 변조부는 상기 입력된 입체 영상 데이터를 좌안 영상 및 우안 영상으로 분리하고, 그들 중 하나를 기준 영상으로 설정하는 영상 분리부와; 상기 좌안 및 우안 영상을 분석하여 깊이 영상을 생성하는 깊이 정보 추출부와; 상기 깊이 영상의 깊이를 상기 보정 계수에 따라 변조하는 깊이 변조부; 및 상기 기준 영상과 상기 변조된 깊이 영상으로부터 상기 좌안 및 우안 영상을 재생성하여 출력하는 복원부를 포함하는 것을 특징으로 한다.The 3D image modulator comprises: an image separator configured to separate the input stereoscopic image data into a left eye image and a right eye image, and to set one of them as a reference image; A depth information extractor configured to analyze the left and right eye images to generate a depth image; A depth modulator for modulating the depth of the depth image according to the correction factor; And a reconstruction unit configured to regenerate and output the left and right eye images from the reference image and the modulated depth image.

상기 3D 영상 변조부는 상기 입력된 입체 영상 데이터를 좌안 영상 및 우안 영상으로 분리하고, 그들 각각을 고주파 영상 및 저주파 영상으로 분리하는 주파수 분리부와; 상기 저주파 영상으로 분리된 좌안 영상 및 우안 영상의 시차를 상기 보정 계수에 따라 변조하는 시차 변조부; 및 상기 고주파 영상 및 상기 시차가 변조된 저주파 영상으로부터 상기 좌안 및 우안 영상을 재생성하여 출력하는 복원부를 포함하는 것을 특징으로 한다.The 3D image modulator comprises: a frequency separator configured to separate the input stereoscopic image data into a left eye image and a right eye image, and to separate each of them into a high frequency image and a low frequency image; A parallax modulator for modulating the parallax of the left eye image and the right eye image separated into the low frequency image according to the correction factor; And a reconstruction unit configured to regenerate and output the left and right eye images from the high frequency image and the parallax modulated low frequency image.

본 발명은 시청자로부터 최적 시청 영역까지의 거리 정보를 센싱하고, 그에 따라 입체 영상 데이터의 깊이값을 변조하거나, 저주파 영상에서의 시차값을 변조한다. 이에 따라, 최적 시청 영역을 벗어난 시청자가 느낄 수 있는 시각적 피로감을 최소화할 수 있다.The present invention senses the distance information from the viewer to the optimal viewing area, thereby modulating the depth value of the stereoscopic image data or modulating the parallax value in the low frequency image. Accordingly, it is possible to minimize the visual fatigue that the viewer can feel outside the optimum viewing area.

도 1은 입체 영상 표시 장치의 최적 시청 영역의 예를 나타낸 도면이다.
도 2는 본 발명의 실시 예에 따른 입체 영상의 시청 피로 저감 장치(10)를 나타낸 블록도이다.
도 3은 본 발명의 실시 예에 따른 입체 영상의 시청 피로 저감 방법을 단계적으로 나타낸 흐름도이다.
도 4는 시청 거리 산출부(14)가 시청자의 거리 정보를 산출하는 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 제 1 실시 예에 따른 3D 영상 변조부(18)를 나타낸 블록도이다.
도 6은 본 발명의 제 1 실시 예에 따른 단계 40(S40)의 상세 흐름도이다.
도 7은 제 1 실시 예에 따른 입체 영상 데이터의 변조 방법을 설명하기 위한 도면이다.
도 8은 본 발명의 제 2 실시 예에 따른 3D 영상 변조부(18)를 나타낸 블록도이다.
도 9는 본 발명의 제 2 실시 예에 따른 단계 40(S40)의 상세 흐름도이다.1 is a diagram illustrating an example of an optimal viewing area of a stereoscopic image display device.
2 is a block diagram illustrating an apparatus for reducing viewing fatigue of stereoscopic images according to an exemplary embodiment of the present invention.
3 is a flowchart illustrating a method for reducing viewing fatigue of stereoscopic images according to an exemplary embodiment of the present invention.
4 is a view for explaining a method for the viewing distance calculation unit 14 to calculate the viewer's distance information.
5 is a block diagram illustrating a 3D image modulator 18 according to a first embodiment of the present invention.
6 is a detailed flowchart of step 40 (S40) according to the first embodiment of the present invention.
7 is a diagram for describing a method of modulating stereoscopic image data according to a first embodiment.
8 is a block diagram illustrating a 3D image modulator 18 according to a second embodiment of the present invention.
9 is a detailed flowchart of step 40 (S40) according to the second embodiment of the present invention.

이하, 본 발명에 따른 바람직한 실시 예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, preferred embodiments according to the present invention will be described in detail with reference to the accompanying drawings.

도 2는 본 발명의 실시 예에 따른 입체 영상의 시청 피로 저감 장치(10)를 나타낸 블록도이고, 도 3은 본 발명의 실시 예에 따른 입체 영상의 시청 피로 저감 방법을 단계적으로 나타낸 흐름도이다. 이하, 도 2 및 도 3을 결부하여 설명한다.2 is a block diagram illustrating an apparatus for reducing viewing fatigue of stereoscopic images according to an exemplary embodiment of the present invention, and FIG. 3 is a flowchart illustrating a method for reducing viewing fatigue of stereoscopic images according to an exemplary embodiment of the present invention. 2 and 3 will be described below.

입체 영상의 시청 피로 저감 장치(10)는 시청 위치 센싱부(12)와, 시청 거리 산출부(14)와, 보정 계수 산출부(16), 및 3D 영상 변조부(18)를 구비한다.The viewing fatigue reducing apparatus 10 of the stereoscopic image includes a viewing position sensing unit 12, a viewing distance calculating unit 14, a correction coefficient calculating unit 16, and a 3D image modulating unit 18.

단계 10(S10)에서 시청 위치 센싱부(12)는 시청자의 위치를 센싱하여 시청자의 좌표를 정의한다. 구체적으로, 시청 위치 센싱부(12)는 스크린의 어느 한 지점을 기준 좌표로 정의하고, 시청자의 위치를 추적 및 관측한다. 그리고 상기 기준 좌표를 원점으로 하여 관측된 시청자의 위치를 3차원 좌표로 정의한다. 여기서, 기준 좌표는 스크린의 중앙부, 하단부, 또는 테두리의 어느 한 지점일 수 있다. 시청 위치 센싱부(12)는 시청자의 위치를 보다 정확히 판단하기 위해 시청자의 얼굴 영역 또는 눈 영역을 센싱하고, 센싱된 얼굴 영역 또는 눈 영역의 위치를 3차원 좌표로 정의할 수 있다.In operation S10, the viewing position sensing unit 12 senses the viewer's position to define the viewer's coordinates. In detail, the viewing position sensing unit 12 defines one point of the screen as reference coordinates, and tracks and observes the viewer's position. The observed viewer's position is defined as three-dimensional coordinates using the reference coordinates as the origin. Here, the reference coordinate may be any point of the center portion, the bottom portion, or the edge of the screen. The viewing position sensing unit 12 may sense the face region or the eye region of the viewer to more accurately determine the position of the viewer, and define the position of the sensed face region or the eye region in 3D coordinates.

이러한 시청 위치 센싱부(12)는 단안 카메라, 스테레오 카메라, 멀티 카메라, 깊이 측정 카메라, 초음파 거리 측정 센서, 적외선 거리 측정 센서, 및 레이저 거리 측정 센서 중 선택된 어느 하나 또는 다수를 포함할 수 있다.The viewing position sensing unit 12 may include any one or multiple selected from a monocular camera, a stereo camera, a multi camera, a depth measuring camera, an ultrasonic distance measuring sensor, an infrared distance measuring sensor, and a laser distance measuring sensor.

참고로, 도 1에서는 최적 시청 영역(VZ)을 스크린(100)을 기준으로 수직 방향의 시야각에 따라 정의하였지만, 입체 영상 표시 장치에서 최적 시청 영역(VZ)은 스크린(100)을 기준으로 수평 방향의 시야각에 따라서도 정의된다. 실시 예는 시청자의 위치를 3차원 좌표로 정의하고, 그에 따라 입력된 입체 영상 데이터(3D Left/Right)를 변조함으로써 수직/수평 시야각에 따른 시각적 피로감을 모두 줄일 수 있다. 이에 따라, 시청자는 어떤 위치에서 스크린(100)을 시청하더라도 피로감이 적으면서도 고품질인 입체 영상을 제공받을 수 있게 된다.For reference, in FIG. 1, the optimal viewing area VZ is defined according to the viewing angle in the vertical direction with respect to the screen 100, but in the stereoscopic image display device, the optimal viewing area VZ is in the horizontal direction with respect to the screen 100. It is also defined according to the viewing angle of. According to the embodiment, the viewer's position is defined by three-dimensional coordinates, and accordingly, the stereoscopic image data (3D Left / Right) is modulated so that visual fatigue according to vertical / horizontal viewing angles can be reduced. Accordingly, the viewer can be provided with high quality stereoscopic images with less fatigue even when viewing the screen 100 at any position.

단계 20(S20)에서 시청 거리 산출부(14)는 시청 위치 센싱부(12)로부터 제공된 시청자의 좌표를 분석하여 시청자의 위치가 최적 시청 영역(VZ)을 벗어난 경우, 최적 시청 영역(VZ)으로부터 시청자가 이격된 거리를 산출한다. 이때, 시청 거리 산출부(14)가 최적 시청 영역(VZ)으로부터 시청자가 이격된 거리를 산출하는 방법은 다음과 같이 나뉠 수 있다.In operation 20 (S20), the viewing distance calculator 14 analyzes the coordinates of the viewer provided from the viewing position sensing unit 12, and if the position of the viewer is outside the optimal viewing area VZ, the viewing distance calculation unit 14 Calculate the distance at which the viewer is spaced apart. In this case, the method of calculating the distance that the viewer is spaced apart from the optimum viewing area VZ by the viewing distance calculator 14 may be divided as follows.

첫 번째로, 시청 거리 산출부(14)는 시청자의 좌표를 분석하여 시청자의 위치가 최적 시청 영역(VZ)의 내부인지 외부인지를 판단한다. 그리고 시청자의 위치가 최적 시청 영역(VZ)의 외부라고 판단되면 시청자의 위치로부터 최적 시청 영역(VZ)까지의 최단 거리를 산출한다.First, the viewing distance calculator 14 analyzes the coordinates of the viewer to determine whether the viewer's position is inside or outside the optimal viewing area VZ. If it is determined that the viewer's position is outside the optimum viewing zone VZ, the shortest distance from the viewer's position to the optimum viewing zone VZ is calculated.

두 번째로, 시청 거리 산출부(14)는 도 4에 도시한 바와 같이 최적 시청 영역(VZ)을 벗어난 정도에 따라 다수의 영역(D1, D2, …)을 미리 설정하고, 해당 영역별로 최적 시청 영역(VZ)까지의 이격된 거리를 미리 산출한다. 그리고 시청자의 위치가 상기 다수의 영역(D1, D2, …)에 해당될 경우 미리 산출된 해당 영역의 이격된 거리를 출력한다.Second, as shown in FIG. 4, the viewing distance calculation unit 14 presets the plurality of areas D1, D2,... According to the degree of deviation from the optimum viewing area VZ, and optimizes viewing for each corresponding area. The spaced distance to the area VZ is calculated in advance. When the viewer's position corresponds to the plurality of areas D1, D2,..., The distances of the corresponding areas calculated in advance are output.

단계 30(S30)에서 보정 계수 산출부(16)는 시청 거리 산출부(14)로부터 제공된 시청자의 거리 정보를 이용하여 보정 계수를 산출한다. 보정 계수는 입력된 입체 영상 데이터(3D Left/Right)의 시차(disparity) 또는 깊이(depth)를 변조하기 위한 보정 계수이다. 이러한 보정 계수는 시청자가 최적 시청 영역(VZ)으로부터 멀어질수록 입체 영상 데이터(3D Left/Right)의 입체감이 줄어들도록 설정될 수 있다. 이를 위해, 보정 계수 산출부(16)는 수학식을 이용해 시청자의 거리 정보에 따른 보정 계수를 직접 산출할 수 있고, 또는 룩업 테이블을 이용한 시청자의 거리 정보 대 보정 계수의 매핑 방법으로 보정 계수를 산출할 수 있다. 이에 따라, 실시 예는 최적 시청 영역(VZ)을 벗어난 시청자가 느낄 수 있는 시각적 피로감을 최소화할 수 있다.In step 30 (S30), the correction coefficient calculator 16 calculates the correction coefficient by using the viewer's distance information provided from the viewing distance calculator 14. The correction coefficient is a correction coefficient for modulating the disparity or depth of the input stereoscopic image data 3D Left / Right. The correction coefficient may be set such that the stereoscopic feeling of the 3D image data 3D Left / Right decreases as the viewer moves away from the optimal viewing area VZ. To this end, the correction coefficient calculation unit 16 may directly calculate the correction coefficient according to the viewer's distance information using the equation, or calculate the correction coefficient by mapping the distance information to the correction coefficient of the viewer using the lookup table. can do. Accordingly, the embodiment may minimize visual fatigue that a viewer may feel outside the optimal viewing area VZ.

단계 40(S40)에서 3D 영상 변조부(18)는 보정 계수 산출부(16)로부터 제공된 보정 계수를 이용하여 입력된 입체 영상 데이터(3D Left/Right)를 변조한다. 구체적으로, 3D 영상 변조부(18)는 보정 계수에 따라 입체 영상 데이터(3D Left/Right)의 시차 또는 깊이를 변조한다.In operation S40, the 3D image modulator 18 modulates the input stereoscopic image data 3D Left / Right using the correction coefficient provided from the correction coefficient calculator 16. In detail, the 3D image modulator 18 modulates the parallax or depth of the 3D image data (3D Left / Right) according to the correction coefficient.

이하, 단계 40(S40) 및 3D 영상 변조부(18)에 대해 실시 예 별로 나누어 구체적으로 설명한다.Hereinafter, operation 40 (S40) and the 3D image modulator 18 will be described in detail according to embodiments.

도 5는 본 발명의 제 1 실시 예에 따른 3D 영상 변조부(18)를 나타낸 블록도이고, 도 6은 본 발명의 제 1 실시 예에 따른 단계 40(S40)의 상세 흐름도이고, 도 7은 제 1 실시 예에 따른 입체 영상 데이터의 변조 방법을 설명하기 위한 도면이다. 이하, 도 5 및 도 6을 결부하여 설명한다.5 is a block diagram illustrating a 3D image modulator 18 according to a first embodiment of the present invention, FIG. 6 is a detailed flowchart of step 40 (S40) according to the first embodiment of the present invention, and FIG. A diagram for describing a method of modulating stereoscopic image data according to a first embodiment. 5 and 6 will be described below.

3D 영상 변조부(18)는 영상 분리부(20)와, 깊이 정보 추출부(22)와, 깊이 변조부(24), 및 복원부(26)를 구비한다.The 3D image modulator 18 includes an image separator 20, a depth information extractor 22, a depth modulator 24, and a reconstructor 26.

단계 42(S42)에서 영상 분리부(20)는 입력된 입체 영상 데이터(3D Left/Right)를 좌안 영상 및 우안 영상으로 분리하고, 그들 중 하나를 기준 영상으로 설정한다. 예를 들어, 영상 분리부(20)는 좌안 영상을 기준 영상으로 설정할 수 있다.In operation 42 (S42), the image separator 20 separates the input stereoscopic image data 3D Left / Right into a left eye image and a right eye image, and sets one of them as a reference image. For example, the image separator 20 may set the left eye image as the reference image.

도 7을 참조하면, 단계 44(S44)에서 깊이 정보 추출부(22)는 분리된 좌안 및 우안 영상을 분석하여 깊이 영상(depth image)를 생성한다. 구체적으로, 깊이 정보 추출부(22)는 좌안 및 우안 영상 각각의 프레임 내에 존재하는 각각의 픽셀 별로 깊이 정보를 추출한다. 그리고 깊이 정보 추출부(22)는 각각의 프레임을 분석하여 화면의 기울기, 물체의 그림자, 화면 초점과 같은 정보를 이용하여 깊이 정보를 추출하여 깊이 영상을 생성한다.Referring to FIG. 7, in operation 44 (S44), the depth information extractor 22 analyzes the separated left and right eye images to generate a depth image. In detail, the depth information extractor 22 extracts depth information for each pixel present in each frame of the left eye and right eye images. The depth information extractor 22 analyzes each frame and extracts depth information using information such as the tilt of the screen, the shadow of an object, and the screen focus to generate a depth image.

도 7을 참조하면, 단계 46(S46)에서 깊이 변조부(24)는 보정 계수 산출부(16)로부터 제공된 깊이 보정 계수에 따라 깊이 영상의 깊이 영역을 변조한다. 구체적으로, 깊이 변조부(24)는 깊이 보정 계수에 따라 깊이 영역의 깊이값을 조절한다. 예를 들어, 깊이 변조부(24)는 시청자가 최적 시청 영역(VZ)을 벗어난 경우 깊이 보정 계수에 따라 깊이 영상의 깊이값을 줄임으로써 최적 시청 영역(VZ)을 벗어난 시청자가 느낄 수 있는 시각적 피로감을 최소화한다.Referring to FIG. 7, in step 46 (S46), the depth modulator 24 modulates a depth region of a depth image according to the depth correction coefficient provided from the correction coefficient calculator 16. Specifically, the depth modulator 24 adjusts the depth value of the depth area according to the depth correction coefficient. For example, the depth modulator 24 reduces the depth value of the depth image according to the depth correction coefficient when the viewer is out of the optimum viewing area VZ, so that the viewer may feel visual fatigue outside the optimal viewing area VZ. Minimize.

도 7을 참조하면, 단계 48(S48)에서 복원부(26)는 기준 영상과 변조된 깊이 영상으로부터 좌안 및 우안 영상을 재생성한다. 복원부(25)는 변조된 깊이 영상에 따라 기준 영상(예를 들어, 좌안 영상)을 픽셀 별로 이동시켜 우안 영상을 생성한다. 복원부(26)는 픽셀의 이동에 따라 빈 픽셀이 발생하는 경우, 빈 픽셀의 인접 픽셀들에 기 설정된 가중치를 적용하여 빈 픽셀 내에 보간(interpolation) 픽셀을 삽입할 수 있다. 여기서, 빈 픽셀은 픽셀 정보가 입력되지 않은 픽셀을 의미한다.Referring to FIG. 7, in operation 48 (S48), the reconstructor 26 regenerates left and right eye images from the reference image and the modulated depth image. The reconstructor 25 generates a right eye image by moving a reference image (for example, a left eye image) for each pixel according to the modulated depth image. When the empty pixel is generated according to the movement of the pixel, the reconstructor 26 may insert an interpolation pixel into the empty pixel by applying a predetermined weight to adjacent pixels of the empty pixel. Here, the empty pixel means a pixel to which pixel information is not input.

이와 같이, 제 1 실시 예에 따른 3D 영상 변조부(18) 및 단계 40(S40)은 시청자의 거리 정보에 대응하여 입력된 입체 영상 데이터(3D Left/Right)의 깊이값을 변조함으로써 최적 시청 영역(VZ)을 벗어난 시청자가 느낄 수 있는 시각적 피로감을 최소화한다.As described above, the 3D image modulator 18 and the step S40 according to the first embodiment modulate the depth value of the 3D image data (3D Left / Right) input corresponding to the viewer's distance information to thereby optimize the viewing area. Minimize visual fatigue experienced by viewers outside of VZ.

도 8은 본 발명의 제 2 실시 예에 따른 3D 영상 변조부(18)를 나타낸 블록도이고, 도 9는 본 발명의 제 2 실시 예에 따른 단계 40(S40)의 상세 흐름도이다. 이하, 도 8 및 도 9를 결부하여 설명한다.8 is a block diagram illustrating a 3D image modulator 18 according to a second embodiment of the present invention, and FIG. 9 is a detailed flowchart of step 40 (S40) according to the second embodiment of the present invention. 8 and 9 will be described below.

3D 영상 변조부(18)는 주파수 분리부(19)와, 시차 변조부(21), 및 복원부(23)를 구비한다.The 3D image modulator 18 includes a frequency separator 19, a parallax modulator 21, and a reconstructor 23.

단계 41(S41)에서 주파수 분리부(19)는 입력된 입체 영상 데이터(3D Left/Right)를 좌안 영상 및 우안 영상으로 분리하고, 그들 각각을 고주파 영상 및 저주파 영상으로 분리한다. 여기서, 고주파 영상은 물체의 경계부와 같이 인접한 픽셀 간의 계조 변화가 큰 영역을 나타내고, 저주파 영상은 물체의 평면부와 같이 인접한 픽셀 간의 계조 변화가 작은 영역을 나타낸다.In step 41 (S41), the frequency separator 19 separates the input stereoscopic image data 3D Left / Right into a left eye image and a right eye image, and separates each of them into a high frequency image and a low frequency image. Here, the high frequency image represents an area of large gray level change between adjacent pixels, such as a boundary of an object, and the low frequency image represents an area of small gray level change of adjacent pixels, such as a plane of an object.

단계 43(S43)에서 시차 변조부(21)는 저주파 영상으로 분리된 좌안 영상 및 우안 영상으로부터 픽셀별 시차 정보를 추출하고, 추출된 시차 정보를 보정 계수 산출부(16)로부터 제공된 시차 보정 계수에 따라 변조한다. 구체적으로, 시차 변조부(21)는 주파수 분리부(19)로부터 저주파 영상으로 분리된 좌안 영상 및 우안 영상을 제공받고, 이들로부터 픽셀별 시차 정보를 추출한다. 여기서, 시차 정보는 좌안 영상과 우안 영상 각각의 픽셀별 시차값을 의미한다. 시차 변조부(21)는 추출된 시차 정보를 변조하는데, 시차 보정 계수에 따라 시차값을 조절한다. 예를 들어, 시차 변조부(21)는 시청자가 최적 시청 영역(VZ)을 벗어난 경우 시차 보정 계수에 따라 저주파 영상의 시차값을 줄임으로써 최적 시청 영역(VZ)을 벗어난 시청자가 느낄 수 있는 시각적 피로감을 최소화한다.In step 43 (S43), the parallax modulator 21 extracts parallax information for each pixel from a left eye image and a right eye image separated into a low frequency image, and extracts the extracted parallax information from the parallax correction coefficient provided from the correction coefficient calculator 16. Modulate accordingly. In detail, the parallax modulator 21 receives a left eye image and a right eye image separated from the frequency separator 19 into a low frequency image, and extracts parallax information for each pixel from the same. Here, the disparity information means a disparity value for each pixel of each of the left eye image and the right eye image. The parallax modulator 21 modulates the extracted parallax information, and adjusts the parallax value according to the parallax correction coefficient. For example, the parallax modulator 21 reduces visual parallax of the viewer outside the optimal viewing zone VZ by reducing the parallax value of the low frequency image according to the parallax correction coefficient when the viewer leaves the optimal viewing zone VZ. Minimize.

단계 45(S45)에서 복원부(23)는 고주파 영상과 시차가 변조된 저주파 영상으로부터 좌안 및 우안 영상을 재생성하여 출력한다. 구체적으로, 복원부(23)는 고주파로 분리된 좌안 및 우안 영상과, 저주파로 분리되어 시차가 변조된 좌안 및 우안 영상으로부터 좌안 및 우안 영상을 재생성한다.In operation 45 (S45), the restoration unit 23 regenerates and outputs left and right eye images from a high frequency image and a low frequency image modulated with parallax. Specifically, the restoration unit 23 regenerates the left and right eye images from the left and right eye images separated by high frequency and the left and right eye images separated by low frequency and modulated with parallax.

이와 같이, 제 2 실시 예에 따른 3D 영상 변조부(18) 및 단계 40(S40)은 시청자의 거리 정보에 대응하여 입력된 입체 영상 데이터(3D Left/Right)에서 저주파 영역의 시차값을 변조한다. 일반적으로, 저주파 영역에서의 시차 변화는 입체 영상에서의 시차 변화에 큰 영향을 미치지 않는데, 제 2 실시 예는 시청자의 위치에 따라 저주파 영역에 대한 시차를 변조하는바, 원영상의 입체감을 유지하면서도 최적 시청 영역(VZ)을 벗어난 시청자가 느낄 수 있는 시각적 피로감을 최소화할 수 있다.As described above, the 3D image modulator 18 and the step S40 according to the second embodiment modulate the parallax value of the low frequency region from the stereoscopic image data 3D Left / Right input corresponding to the viewer's distance information. . In general, the parallax variation in the low frequency region does not significantly affect the parallax variation in the stereoscopic image. In the second embodiment, the parallax of the low frequency region is modulated according to the viewer's position. It is possible to minimize visual fatigue that can be felt by the viewer outside the optimal viewing zone (VZ).

상술한 바와 같이, 본 발명은 시청자로부터 최적 시청 영역(VZ)까지의 거리 정보를 센싱하고, 그에 따라 입체 영상 데이터(3D Left/Right)의 깊이값을 변조하거나, 저주파 영상에서의 시차값을 변조한다. 이에 따라, 실시 예는 최적 시청 영역(VZ)을 벗어난 시청자가 느낄 수 있는 시각적 피로감을 최소화할 수 있다.As described above, the present invention senses the distance information from the viewer to the optimal viewing area (VZ), thereby modulating the depth value of the stereoscopic image data (3D Left / Right), or modulates the parallax value in the low-frequency image do. Accordingly, the embodiment may minimize visual fatigue that a viewer may feel outside the optimal viewing area VZ.

한편, 본 발명에 따른 입체 영상의 시청 피로 저감 장치 및 방법은 입체 영상을 표시하는 방식에 국한되지 않는다. 즉, 본 발명은 무안경 방식, 편광 안경 방식, 셔터 안경 방식등에 모두 적용이 가능하다. 또한, 본 발명은 입체 영상을 표시할 수 있는 OLED 표시 장치 및 액정 표시 장치에 모두 적용이 가능하다.Meanwhile, the apparatus and method for reducing viewing fatigue of stereoscopic images according to the present invention is not limited to a method of displaying stereoscopic images. That is, the present invention can be applied to all glasses, polarizing glasses, shutter glasses, and the like. In addition, the present invention can be applied to both an OLED display device and a liquid crystal display device capable of displaying a stereoscopic image.

즉, 이상에서 설명한 본 발명은 상술한 실시 예 및 첨부된 도면에 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하다는 것이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.That is, the present invention described above is not limited to the above-described embodiment and the accompanying drawings, and various substitutions, modifications, and changes can be made without departing from the technical spirit of the present invention. It will be apparent to those of ordinary skill in Esau.

100: 스크린 12: 시청 위치 센싱부
14: 시청 거리 산출부 16: 보정 계수 산출부
18: 3D 영상 변조부100: screen 12: viewing position sensing unit
14: viewing distance calculation unit 16: correction coefficient calculation unit
18: 3D image modulator

Claims

Sensing a viewer's position to define coordinates of the viewer;
Analyzing the coordinates to calculate the shortest distance from the viewer to the optimal viewing region when the position of the viewer is outside the optimum viewing region;
Calculating a correction factor using the distance information; And
And modulating a low-frequency region parallax value of the input stereoscopic image data by using the calculated correction coefficient.

The method according to claim 1,
Sensing the position
And sensing the face area or the eye area of the viewer, and defining the position of the sensed face area or the eye area in three-dimensional coordinates.

delete

The method according to claim 1,
Presetting a plurality of areas according to the extent that the viewer deviates from the optimal viewing area, and calculating the distances to the optimum viewing area for each corresponding area in advance; And
And when the position corresponds to the plurality of areas, outputting a distance calculated in advance from the corresponding area. 3.

The method according to claim 1,
The correction factor is
And a parallax correction coefficient for modulating the disparity of the stereoscopic image data.

delete

The method according to claim 1,
Modulating the input stereoscopic image data is
Separating the input stereoscopic image data into a left eye image and a right eye image, and separating each of them into a high frequency image and a low frequency image;
Modulating the parallax of the left eye image and the right eye image separated into the low frequency image according to the correction factor; And
And regenerating and outputting the left eye and right eye images from the high frequency image and the parallax modulated low frequency image.

A viewing position sensing unit that senses a viewer's position to define coordinates of the viewer;
A viewing distance calculator configured to calculate the shortest distance from the viewer to the optimal viewing area when the position of the viewer is outside the optimum viewing area by analyzing the coordinates;
A correction coefficient calculator for calculating a correction coefficient using the distance information; And
And a 3D image modulator for modulating a low-frequency region parallax value of the input stereoscopic image data using the calculated correction coefficients.

The method of claim 8,
The viewing position sensing unit
Sensing the viewer's face area or the eye area, and defining the position of the sensed face area or the eye area in 3D coordinates.

The method of claim 9,
The viewing position sensing unit
Viewing fatigue reduction apparatus for stereoscopic images, comprising at least one of a monocular camera, a stereo camera, a multi camera, a depth measuring camera, an ultrasonic distance measuring sensor, an infrared distance measuring sensor, and a laser distance measuring sensor.

delete

The method of claim 8,
The viewing distance calculation unit
Preset the plurality of areas according to the degree of deviation from the optimal viewing area, calculate the distance to the optimal viewing area in advance for each corresponding area, and then calculate the corresponding areas calculated in advance when the location corresponds to the plurality of areas. Viewing fatigue reduction device for stereoscopic images, characterized in that for outputting the distance of the area.

The method of claim 8,
The correction factor is
And a parallax correction coefficient for modulating the disparity of the stereoscopic image data.

delete

The method of claim 8,
The 3D image modulator
A frequency separation unit for separating the input stereoscopic image data into a left eye image and a right eye image, and separating each of them into a high frequency image and a low frequency image;
A parallax modulator for modulating the parallax of the left eye image and the right eye image separated into the low frequency image according to the correction factor; And
And a reconstruction unit for regenerating and outputting the left and right eye images from the high frequency image and the parallax modulated low frequency image.

Claims 8 to 10, 12, 13 and 15 wherein the image data output from the viewing fatigue reduction apparatus of the stereoscopic image is displayed on the organic light emitting diode display, characterized in that Organic LED display.

Displaying the image data output from the viewing fatigue reduction apparatus of the stereoscopic image in any one of Claims 8-10, 12, 13, and 15, The liquid crystal display characterized by the above-mentioned. Device.