KR20120052142A - 3-dimension display apparatus and method for extracting depth of 3d image thereof - Google Patents

3-dimension display apparatus and method for extracting depth of 3d image thereof Download PDF

Info

Publication number
KR20120052142A
KR20120052142A KR1020110005572A KR20110005572A KR20120052142A KR 20120052142 A KR20120052142 A KR 20120052142A KR 1020110005572 A KR1020110005572 A KR 1020110005572A KR 20110005572 A KR20110005572 A KR 20110005572A KR 20120052142 A KR20120052142 A KR 20120052142A
Authority
KR
South Korea
Prior art keywords
image
depth
motion
extracting
generating
Prior art date
Application number
KR1020110005572A
Other languages
Korean (ko)
Inventor
레이 장
민종술
권오재
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US13/244,317 priority Critical patent/US20120121163A1/en
Publication of KR20120052142A publication Critical patent/KR20120052142A/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0085—Motion estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

PURPOSE: A three dimensional display apparatus and three dimensional image depth extraction method thereof are provided to offer improved three dimensional effects to a user by extracting the depth of a three dimensional image. CONSTITUTION: An image input unit(110) receives the input signal of an image. A three dimensional image creation unit(120) creates a three dimensional image by using a depth value calculated by a motion between a global motion and a local motion in the inputted image. An image displaying unit(130) displays the three dimensional image. A depth map of the three dimensional image is created by mixing motion depth with basic depth.

Description

3Ｄ 디스플레이 장치 및 이의 3Ｄ 영상 뎁스 추출 방법{3-Dimension Display apparatus and Method for extracting depth of 3D image thereof}3-Dimension Display apparatus and Method for extracting depth of 3D image

본 발명은 3D 디스플레이 장치 및 이의 3D 영상 뎁스 추출 방법에 관한 것으로 더욱 상세하게는 좌안 영상과 우안 영상을 번갈아 표시하는 방식의 3D 디스플레이 장치 및 이의 3D 영상 뎁스 추출 방법에 관한 것이다.The present invention relates to a 3D display apparatus and a 3D image depth extraction method thereof, and more particularly, to a 3D display apparatus and a 3D image depth extraction method thereof in which a left eye image and a right eye image are alternately displayed.

3D 입체 영상 기술은 정보통신, 방송, 의료, 교육, 훈련, 군사, 게임, 애니메이션, 가상현실, CAD, 산업 기술 등 그 응용 분야가 매우 다양하며 이러한 여러 분야에서 공통적으로 요구되는 차세대 3D 입체 멀티미디어 정보 통신의 핵심 기반 기술이라고 할 수 있다. 3D stereoscopic image technology has various applications such as information communication, broadcasting, medical care, education, training, military, game, animation, virtual reality, CAD, industrial technology, and the like. It is the core technology of communication.

일반적으로 사람이 지각하는 입체감은 관찰하고자 하는 물체의 위치에 따른 수정체의 두께 변화 정도, 양쪽 눈과 대상물과의 각도 차이, 그리고 좌우 눈에 보이는 대상물의 위치 및 형태의 차이, 대상물의 운동에 따라 생기는 시차, 그 밖에 각종 심리 및 기억에 의한 효과 등이 복합적으로 작용해 생긴다. In general, the three-dimensional sense perceived by a person is caused by the degree of change in the thickness of the lens depending on the position of the object to be observed, the difference in angle between the two eyes and the object, the difference in the position and shape of the visible object in the left and right eyes, and the movement of the object. Lag and other effects such as various psychological and memory effects are produced in combination.

그 중에서도 사람의 두 눈이 가로 방향으로 약 6~7㎝가량 떨어져 위치함으로써 나타나게 되는 양안 시차(binocular disparity)는 입체감의 가장 중요한 요인이라고 할 수 있다. 즉 양안 시차에 의해 대상물에 대한 각도 차이를 가지고 바라보게 되고, 이 차이로 인해 각각의 눈에 들어오는 이미지가 서로 다른 상을 갖게 되며 이 두 영상이 망막을 통해 뇌로 전달되면 뇌는 이 두 개의 정보를 정확히 서로 융합하여 본래의 3D 입체 영상을 느낄 수 있는 것이다. Among them, binocular disparity, which appears as the human eyes are positioned about 6 to 7 cm apart in the horizontal direction, can be said to be the most important factor of the three-dimensional effect. In other words, the binocular parallax makes us look at the angle with respect to the object, and because of this difference, the images coming into each eye have different images, and when these two images are transmitted to the brain through the retina, You can feel the original 3D stereoscopic image by fusion with each other exactly.

한편, 3D 디스플레이 장치에서 3D 영상의 입체감을 조절하는 것은 매우 중요한 작업이다. 3D 영상의 입체감이 너무 낮을 경우, 사용자는 2D 영상과 같은 3D 영상을 시청하게 되고, 3D 영상의 입체감이 너무 높을 경우, 사용자는 피로감 때문에 오랜 시간 동안 3D 영상을 시청할 수 없게 되기 때문이다.On the other hand, it is very important to adjust the 3D image of the 3D image in the 3D display device. This is because when the 3D image of the 3D image is too low, the user views a 3D image such as a 2D image, and when the 3D image of the 3D image is too high, the user cannot watch the 3D image for a long time due to fatigue.

특히, 3D 디스플레이 장치가 3D 영상의 입체감 조절하기 위해서는 3D 영상의 뎁스를 조절하여야 한다. 3D 영상의 뎁스를 조절하는 방법에는 3D 영상의 공간적인 특징을 이용하여 3D 영상의 뎁스를 구하는 방법, 3D 영상에 포함된 오브젝트의 움직임 정보를 이용하여 3D 영상의 뎁스를 구하는 방법 및 이를 혼합하여 3D 영상의 뎁스를 구하는 방법 등이 있다.In particular, the 3D display apparatus needs to adjust the depth of the 3D image in order to adjust the 3D image. The method for adjusting the depth of the 3D image includes obtaining a depth of the 3D image using spatial features of the 3D image, obtaining a depth of the 3D image using motion information of an object included in the 3D image, and mixing the 3D image. And a method for obtaining the depth of an image.

특히, 3D 영상에 포함된 오브젝트의 움직임 정보에 따라 3D 영상의 뎁스를 추출할 경우, 3D 디스플레이 장치는 빠른 움직임을 보이는 오브젝트가 시청자에게 가까이 있는 것처럼 보이도록, 느린 움직임을 보이는 오브젝트가 시청자에게 멀리 있는 것처럼 보이도록 뎁스를 추출한다. In particular, when extracting the depth of the 3D image according to the motion information of the object included in the 3D image, the 3D display device is so that the object with the slow motion is far away from the viewer so that the fast-moving object appears closer to the viewer. Extract the depth so that it looks like.

그러나, 오브젝트의 움직임이 없고, 배경만이 움직이는 경우, 배경이 오브젝트보다 시청자에게 가까이 있는 것처럼 보이는 영상 왜곡이 발생한다. However, if there is no movement of the object and only the background moves, image distortion occurs that the background appears closer to the viewer than the object.

또한, 한 배경 속에 오브젝트가 이동하다가 갑자기 멈추는 경우, 오브젝트가 이동하는 장면까지는 뎁스값을 추출할 수 있게 되나, 오브젝트가 멈추는 장면에서부터는 뎁스값을 추출할 수 없게 된다. 즉, 오브젝트가 멈추더라도 이동하는 동안과 같은 뎁스값을 가져야 하나, 뎁스값을 추출하지 못하게 되어, 한 화면속의 오브젝트의 뎁스값이 갑자기 변경되는 문제점이 발생된다.In addition, when the object suddenly stops while moving in a background, the depth value can be extracted up to the scene where the object moves, but the depth value cannot be extracted from the scene where the object stops. That is, even if the object stops, the object must have the same depth value as it is moving, but the depth value cannot be extracted, resulting in a sudden change in the depth value of the object in one screen.

따라서, 정확한 입체감을 가지는 3D 영상을 제공하기 위해 3D 영상의 뎁스를 추출하는 방안의 모색이 요청된다.Accordingly, in order to provide a 3D image having an accurate stereoscopic feeling, a search for a method of extracting a depth of the 3D image is required.

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 입력된 영상의 글로벌 움직임과 로컬 움직임 간의 상대적인 움직임에 따라 3D 영상의 뎁스를 조절하는 3D 디스플레이 장치 및 이의 3D 영상 뎁스 추출 방법을 제공함에 있다.The present invention has been made to solve the above problems, an object of the present invention, a 3D display device for adjusting the depth of the 3D image according to the relative movement between the global motion and the local motion of the input image and its 3D image depth In providing an extraction method.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 3D 디스플레이 장치는, 영상을 입력받는 영상 입력부; 상기 입력된 영상의 글로벌 움직임과 로컬 움직임 간의 상대적인 움직임에 따라 뎁스가 조절된 3D 영상을 생성하는 3D 영상 생성부;및 상기 3D 영상을 출력하는 영상 출력부;를 포함한다.According to an embodiment of the present invention, a 3D display apparatus includes: an image input unit configured to receive an image; And a 3D image generator for generating a 3D image whose depth is adjusted according to the relative movement between the global motion and the local motion of the input image; and an image output unit which outputs the 3D image.

그리고, 상기 3D 영상 생성부는, 상기 영상의 글로벌 움직임 정보 및 로컬 움직임 정보를 추출하는 움직임 분석부; 상기 글로벌 움직임 정보 및 로컬 움직임 정보의 차의 절대값을 이용하여 상대적인 움직임을 산출하는 움직임 산출부;및 상기 상대적인 움직임에 따라 움직임 뎁스를 추출하는 움직임 뎁스 추출부;를 포함할 수 있다.The 3D image generating unit may include: a motion analyzer extracting global motion information and local motion information of the image; And a motion calculator configured to calculate a relative motion using an absolute value of the difference between the global motion information and the local motion information; and a motion depth extractor to extract a motion depth according to the relative motion.

또한, 상기 3D 영상 생성부는, 상기 움직임 분석부에서 추출한 글로벌 움직임 정보 및 상기 로컬 움직임 정보 중 적어도 하나에 따라, 상기 움직임 뎁스의 신뢰도를 조절하는 움직임 뎁스 조절부;를 더 포함할 수 있다.The 3D image generator may further include a motion depth controller configured to adjust reliability of the motion depth according to at least one of the global motion information and the local motion information extracted by the motion analyzer.

그리고, 상기 3D 영상 생성부는, 상기 움직임 뎁스를 이용하여 뎁스맵을 생성하고, 상기 움직임 뎁스의 신뢰도가 특정 임계치 이하일 경우, 상기 뎁스맵의 평활화를 수행할 수 있다.The 3D image generator may generate a depth map by using the motion depth, and when the reliability of the motion depth is equal to or less than a specific threshold, smooth the depth map.

또한, 상기 움직임 뎁스 조절부는, 상기 글로벌 움직임이 커짐에 따라 상기 움직임 뎁스의 신뢰도가 낮아지고, 상기 글로벌 움직임이 작아짐에 따라 상기 움직임 뎁스의 신뢰도가 높아지도록 조절할 수 있다.The motion depth controller may adjust the reliability of the motion depth as the global motion decreases, and increase the reliability of the motion depth as the global motion decreases.

그리고, 상기 움직임 뎁스 조절부는, 상기 글로벌 움직임이 화면의 특정 영역에서만 커지는 경우, 상기 특정 영역에 대한 뎁스의 신뢰도를 낮출 수 있다.When the global motion is increased only in a specific area of the screen, the motion depth controller may lower the reliability of the depth of the specific area.

또한, 상기 움직임 뎁스 추출부는, 상기 영상에 포함된 오브젝트의 위치 또는 오브젝트가 차지하는 영역에 따라, 3D 영상의 움직임 뎁스를 추출할 수 있다.The motion depth extractor may extract the motion depth of the 3D image according to the position of the object included in the image or the area occupied by the object.

그리고, 상기 움직임 뎁스 추출부는, 상기 글로벌 움직임 및 상기 로컬 움직임이 없는 경우, 이전 프레임의 움직임 뎁스값으로 움직임 뎁스를 추출할 수 있다.The motion depth extractor may extract a motion depth as a motion depth value of a previous frame when the global motion and the local motion do not exist.

또한, 상기 3D 영상 생성부는, 상기 입력되는 영상의 공간적인 특징을 이용하여, 상기 3D 영상의 기본 뎁스를 추출하는 기본 뎁스 추출부; 및 상기 움직임 뎁스 추출부에서 추출한 움직임 뎁스 및 상기 기본 뎁스 추출부에서 추출한 기본 뎁스를 혼합하여 뎁스맵을 생성하는 뎁스맵 생성부;를 를 더 포함할 수 있다.The 3D image generating unit may further include: a basic depth extracting unit extracting a basic depth of the 3D image by using a spatial feature of the input image; And a depth map generator for generating a depth map by mixing the motion depth extracted by the motion depth extractor and the basic depth extracted by the basic depth extractor.

그리고, 상기 3D 영상 생성부는, 상기 입력되는 영상의 공간적인 특징을 이용하여, 상기 3D 영상의 기본 뎁스를 추출하는 기본 뎁스 추출부;및 상기 입력되는 영상의 변화 정도가 특정 임계치 이상일 경우, 상기 움직임 뎁스를 반영하지 않고 상기 기본 뎁스를 이용하여 뎁스맵을 생성하는 뎁스맵 생성부;를 포함할 수 있다.The 3D image generating unit may further include: a basic depth extracting unit extracting a basic depth of the 3D image by using a spatial feature of the input image; and when the degree of change of the input image is greater than or equal to a specific threshold value, the motion. It may include a depth map generator for generating a depth map by using the base depth without reflecting the depth.

또한, 상기 입력 영상은 2D 영상일 수 있다.In addition, the input image may be a 2D image.

그리고, 상기 입력 영상은 3D 영상이고, 상기 3D 영상 생성부는, 상기 입력된 3D 영상의 좌안 영상 또는 우안 영상을 이용하여, 상대적인 움직임에 따라 뎁스가 조절된 3D 영상을 생성할 수 있다.The input image may be a 3D image, and the 3D image generator may generate a 3D image of which a depth is adjusted according to relative movement using a left eye image or a right eye image of the input 3D image.

한편, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 3D 디스플레이 장치의 3D 영상 뎁스 추출 방법은, 영상을 입력받는 단계; 상기 입력된 영상의 글로벌 움직임과 로컬 움직임 간의 상대적인 움직임에 따라 뎁스가 조절된 3D 영상을 생성하는 단계; 및 상기 3D 영상을 출력하는 단계;를 포함한다.On the other hand, according to an embodiment of the present invention for achieving the above object, the 3D image depth extraction method of the 3D display device, the step of receiving an image; Generating a 3D image having a depth adjusted according to a relative motion between a global motion and a local motion of the input image; And outputting the 3D image.

그리고, 상기 3D 영상을 생성하는 단계는, 상기 영상의 글로벌 움직임 정보 및 로컬 움직임 정보를 추출하는 단계; 상기 글로벌 움직임 정보 및 로컬 움직임 정보의 차의 절대값을 이용하여 상대적인 움직임을 산출하는 단계;및 상기 상대적인 움직임에 따라 움직임 뎁스를 추출하는 단계;를 포함할 수 있다.The generating of the 3D image may include extracting global motion information and local motion information of the image; Calculating a relative motion using an absolute value of the difference between the global motion information and the local motion information; and extracting a motion depth according to the relative motion.

또한, 상기 3D 영상을 생성하는 단계는, 상기 추출한 글로벌 움직임 정보 및 상기 로컬 움직임 정보에 따라, 상기 움직임 뎁스의 신뢰도를 조절하는 단계;를 더 포함할 수 있다.The generating of the 3D image may further include adjusting the reliability of the motion depth according to the extracted global motion information and the local motion information.

그리고, 상기 움직임 뎁스를 이용하여 뎁스맵을 생성하는 단계;를 더 포함하고, 상기 뎁스맵을 생성하는 단계는, 상기 움직임 뎁스의 신뢰도가 특정 임계치 이하일 경우, 상기 뎁스맵의 평활화를 수행할 수 있다.The method may further include generating a depth map using the motion depth, wherein the generating of the depth map may perform smoothing of the depth map when the reliability of the motion depth is equal to or less than a specific threshold. .

또한, 상기 조절하는 단계는, 상기 글로벌 움직임이 커짐에 따라 상기 움직임 뎁스의 신뢰도가 낮아지고, 상기 글로벌 움직임이 작아짐에 따라 상기 움직임 뎁스의 신뢰도가 높아지도록 조절할 수 있다.The adjusting may include adjusting the reliability of the motion depth as the global motion increases and increasing the reliability of the motion depth as the global motion decreases.

그리고, 상기 조절하는 단계는, 상기 글로벌 움직임이 화면의 특정 영역에서만 커지는 경우, 상기 특정 영역에 대한 뎁스의 신뢰도를 낮출 수 있다.The adjusting may reduce the reliability of the depth of the specific area when the global motion is increased only in the specific area of the screen.

또한, 상기 움직임 뎁스를 추출하는 단계는, 상기 영상에 포함된 오브젝트의 위치 또는 오브젝트가 차지하는 영역에 따라, 3D 영상의 움직임 뎁스를 추출할 수 있다.In the extracting of the motion depth, the motion depth of the 3D image may be extracted according to the position of the object included in the image or the area occupied by the object.

그리고, 상기 움직임 뎁스를 추출하는 단계는, 상기 글로벌 움직임 및 상기 로컬 움직임이 없는 경우, 이전 프레임의 움직임 뎁스값으로 움직임 뎁스를 추출할 수 있다.In the extracting of the motion depth, if there is no global motion and the local motion, the motion depth may be extracted as a motion depth value of a previous frame.

또한, 상기 3D 영상을 생성하는 단계는, 상기 입력되는 영상의 공간적인 특징을 이용하여, 상기 3D 영상의 기본 뎁스를 추출하는 단계; 및 상기 움직임 뎁스 및 상기 기본 뎁스를 혼합하여, 3D 영상의 뎁스맵을 생성하는 단계;를 더 포함할 수 있다.The generating of the 3D image may include: extracting a basic depth of the 3D image by using a spatial feature of the input image; And generating the depth map of the 3D image by mixing the motion depth and the basic depth.

그리고, 상기 3D 영상을 생성하는 단계는, 상기 입력되는 영상의 공간적인 특징을 이용하여, 상기 3D 영상의 기본 뎁스를 추출하는 단계; 상기 입력되는 영상의 변화 정도가 특정 임계치 이상일 경우, 상기 움직임 뎁스를 반영하지 않고 상기 기본 뎁스를 이용하여 뎁스맵을 생성하는 단계;를 포함할 수 있다.The generating of the 3D image may include: extracting a basic depth of the 3D image by using a spatial feature of the input image; And generating a depth map using the basic depth without reflecting the motion depth when the degree of change of the input image is greater than or equal to a specific threshold.

또한, 상기 입력 영상은 2D 영상일 수 있다.In addition, the input image may be a 2D image.

그리고, 상기 입력 영상은 3D 영상이고, 상기 3D 영상을 생성하는 단계는, 상기 입력된 3D 영상의 좌안 영상 또는 우안 영상을 이용하여, 상대적인 움직임에 따라 뎁스가 조절된 3D 영상을 생성할 수 있다.The input image may be a 3D image, and the generating of the 3D image may generate a 3D image of which a depth is adjusted according to relative movement using a left eye image or a right eye image of the input 3D image.

상술한 바와 같이 본 발명에 따르면, 입력되는 영상의 글로벌 움직임과 로컬 움직임 간의 상대적인 움직임을 이용해 3D 영상의 뎁스를 추출함으로써, 사용자에게 더욱 정확하고 뛰어난 입체감을 가지는 3D 영상을 제공할 수 있게 된다.As described above, according to the present invention, by extracting the depth of the 3D image using the relative movement between the global motion and the local motion of the input image, it is possible to provide a user with a more accurate and excellent three-dimensional image.

도 1은 본 발명의 일 실시예에 따른, 3D 디스플레이 장치의 블록도를 도시한 도면,
도 2는 본 발명의 일 실시예에 따른, 3D 영상 생성부의 블록도를 도시한 도면,
도 3a 및 도 3b는 본 발명의 일 실시예에 따른, 상대적인 움직임을 산출하는 방법을 설명하기 위한 도면,
도 4a 및 도 4b는 본 발명의 일 실시예에 따른, 상대적인 움직임을 산출하는 방법을 설명하기 위한 도면,
도 5는 본 발명의 일 실시예에 따른, 오브젝트의 위치에 따라 뎁스값을 추출하기 위한 방법을 설명하기 위한 도면,
도 6은 본 발명의 일 실시예에 따른, 오브젝트가 차지하는 영역의 면적에 따라 뎁스값을 추출하기 위한 방법을 설명하기 위한 도면,
도 7은 본 발명의 일 실시예에 따른, 영상의 움직임 정보값이 0인 경우, 뎁스값을 추출하기 위한 방법을 설명하기 위한 도면, 그리고,
도 8은 본 발명의 일 실시예에 따른, 3D 디스플레이 장치에서 3D 영상의 뎁스를 추출하는 방법을 설명하기 위한 흐름도이다.1 is a block diagram of a 3D display apparatus according to an embodiment of the present invention;
2 is a block diagram of a 3D image generating unit according to an embodiment of the present invention;
3A and 3B are diagrams for describing a method of calculating relative motion according to an embodiment of the present invention;
4A and 4B are diagrams for describing a method of calculating relative motion according to an embodiment of the present invention;
5 is a view for explaining a method for extracting a depth value according to a position of an object according to an embodiment of the present invention;
6 is a view for explaining a method for extracting a depth value according to an area of an area occupied by an object according to an embodiment of the present invention;
7 is a diagram for describing a method for extracting a depth value when a motion information value of an image is 0 according to an embodiment of the present invention;
8 is a flowchart illustrating a method of extracting a depth of a 3D image in the 3D display apparatus according to an exemplary embodiment.

이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.Hereinafter, with reference to the drawings will be described the present invention in more detail.

도 1은 본 발명의 일 실시예에 따른, 3D 디스플레이 장치(100)의 블록도를 도시한 도면이다. 도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 3D 디스플레이 장치(100)는 영상 입력부(110), 3D 영상 생성부(120) 및 영상 출력부(130)를 포함한다.1 is a block diagram of a 3D display apparatus 100 according to an exemplary embodiment. As shown in FIG. 1, the 3D display apparatus 100 according to an exemplary embodiment of the present invention includes an image input unit 110, a 3D image generating unit 120, and an image output unit 130.

영상 입력부(110)는 방송국 또는 위성으로부터 유선 또는 무선으로 입력되는 영상을 수신하여 복조한다. 또한, 영상 입력부(110)는 카메라 등의 외부기기와 연결되어 외부기기로부터 영상 신호를 입력받는다. 외부기기는 무선으로 연결되거나 S-Video, 컴포넌트, 컴포지트, D-Sub, DVI, HDMI 등의 인터페이스를 통해 유선으로 연결될 수 있다. The image input unit 110 receives and demodulates an image input by wire or wireless from a broadcasting station or satellite. In addition, the image input unit 110 is connected to an external device such as a camera and receives an image signal from the external device. External devices can be connected wirelessly or wired via interfaces such as S-Video, Component, Composite, D-Sub, DVI, and HDMI.

특히, 영상 입력부(110)로 입력되는 영상 신호는 2D 영상 신호 또는 3D 영상 신호일 수 있다. 특히, 3D 영상 신호의 경우, 다양한 포맷으로 될 수 있으며, 특히, 일반적인 프레임 시퀀스 방식, 탑-바톰 방식, 사이드 바이 사이드 방식, 수평 인터리브 방식, 수직 인터리브 방식, 및 체커보드 방식 중 하나에 따른 포맷으로 될 수 있다. In particular, the image signal input to the image input unit 110 may be a 2D image signal or a 3D image signal. In particular, in the case of a 3D video signal, it may be in various formats, and in particular, in a format according to one of a general frame sequence method, a top-bottom method, a side by side method, a horizontal interleaved method, a vertical interleaved method, and a checkerboard method. Can be.

영상 입력부(110)로 수신된 영상신호는 3D 영상 생성부(120)로 전송된다.The image signal received by the image input unit 110 is transmitted to the 3D image generating unit 120.

3D 영상 생성부(120)는 수신된 영상 신호에 대해 비디오 디코딩, 포맷 분석, 비디오 스케일링 등의 신호처리 및 GUI 부가 등의 작업을 수행한다. The 3D image generator 120 performs operations such as video decoding, format analysis, video scaling, and GUI addition on the received image signal.

특히, 2D 영상이 입력된 경우, 3D 영상 생성부(120)는 입력된 2D 영상에 대응되는 좌안 영상과 우안 영상을 각각 생성한다. 또한, 3D 영상이 입력된 경우, 3D 영상 생성부(120)는 상술한 바와 같은 3D 영상의 포맷을 이용하여, 한 화면의 크기에 해당하는 좌안 영상과 우안 영상을 각각 생성한다.In particular, when a 2D image is input, the 3D image generator 120 generates left and right eye images corresponding to the input 2D image, respectively. In addition, when a 3D image is input, the 3D image generating unit 120 generates a left eye image and a right eye image corresponding to the size of one screen, respectively, by using the above-described 3D image format.

3D 영상 생성부(120)가 좌안 영상 및 우안 영상을 생성할 때, 3D 영상 생성부(120)는 영상 신호에 포함된 프레임의 움직임 정보를 이용하여, 뎁스를 조절한다. 구체적으로, 3D 영상 생성부(120)는 영상의 화면 속에 글로벌 움직임과 로컬 움직임 간의 상대적인 움직임을 이용하여, 움직임 뎁스를 추출한다. When the 3D image generator 120 generates the left eye image and the right eye image, the 3D image generator 120 adjusts the depth by using motion information of a frame included in the image signal. In detail, the 3D image generator 120 extracts a motion depth by using a relative motion between a global motion and a local motion in the screen of the image.

더욱 구체적으로, 3D 영상 생성부(120)는 영상의 화면속에 글로벌 움직임과 로컬 간의 상대적인 움직임의 절대값을 구한 후, 오브젝트의 움직임 뎁스를 구한다. 그 후, 3D 영상 생성부(120)는 오브젝트의 위치 및 오브젝트가 차지하는 영역을 고려한 후, 움직임 뎁스를 추출한다. 그리고, 3D 영상 생성부(120)는 글로벌 움직임에 따라 움직임 뎁스의 신뢰도를 구한 후, 움직임 뎁스를 조절한다. 그리고, 3D 영상 생성부(120)는 3D 영상의 공간적인 특성에 따라 추출된 기본 뎁스와 움직임 뎁스를 혼합하여 뎁스맵을 생성한 후, 생성된 뎁스맵에 따라 뎁스가 조절된 3D 영상을 생성한다. 본 발명의 일 실시예에 따른, 3D 영상의 뎁스를 추출하는 방법에 대해서는 추후에 자세히 설명하기로 한다.More specifically, the 3D image generating unit 120 obtains the absolute value of the relative motion between the global motion and the local in the screen of the image, and then obtains the motion depth of the object. Thereafter, the 3D image generator 120 extracts a motion depth after considering the position of the object and the area occupied by the object. The 3D image generating unit 120 obtains the reliability of the motion depth according to the global motion and then adjusts the motion depth. The 3D image generator 120 generates a depth map by mixing the extracted depth and the motion depth according to the spatial characteristics of the 3D image, and then generates a 3D image whose depth is adjusted according to the generated depth map. . A method of extracting a depth of a 3D image according to an embodiment of the present invention will be described in detail later.

또한, 3D 영상 생성부(120)는 GUI 생성부(미도시)로부터 수신된 GUI가 좌안 영상, 우안 영상, 또는 양자 모두에 부가되도록 한다.In addition, the 3D image generator 120 allows the GUI received from the GUI generator (not shown) to be added to the left eye image, the right eye image, or both.

또한, 3D 영상 생성부(120)는 추출된 좌안 영상과 우안 영상을 시분할하여 교번적으로 영상 출력부(130)로 전달한다. 즉, 3D 영상 생성부(120)는 '좌안 영상(L1) -> 우안 영상(R1) -> 좌안 영상(L2) -> 우안 영상(R2) -> …'의 시간적 순서로 좌안 영상과 우안 영상을 영상 출력부(130)로 전달한다. In addition, the 3D image generator 120 time-divisions the extracted left eye image and right eye image, and alternately transfers the extracted left eye image to the image output unit 130. That is, the 3D image generating unit 120 is a left eye image (L1)-> right eye image (R1)-> left eye image (L2)-> right eye image (R2)->. The left eye image and the right eye image are transmitted to the image output unit 130 in a temporal order of '.

영상 출력부(130)는 3D 영상 생성부(120)에서 출력되는 좌안 영상과 우안 영상을 교번적으로 출력하여 사용자에게 제공한다.The image output unit 130 alternately outputs the left eye image and the right eye image output from the 3D image generator 120 to provide the user.

이하에서는 도 2 내지 도 7을 참조하여, 3D 영상 생성부(120)의 3D 영상의 뎁스 추출방법에 대해 자세히 설명한다.Hereinafter, the depth extraction method of the 3D image of the 3D image generator 120 will be described in detail with reference to FIGS. 2 to 7.

도 2는 본 발명의 일 실시예에 따른, 3D 영상 생성부(120)의 블록도를 도시한 도면이다. 도 2에 도시된 바와 같이, 3D 영상 생성부(120)는 영상 분석부(121), 움직임 산출부(122), 움직임 뎁스 추출부(123), 움직임 뎁스 조절부(124), 기본 뎁스 추출부(125) 및 뎁스맵 생성부(126)를 포함한다.2 is a block diagram of the 3D image generating unit 120 according to an embodiment of the present invention. As shown in FIG. 2, the 3D image generator 120 includes an image analyzer 121, a motion calculator 122, a motion depth extractor 123, a motion depth adjuster 124, and a basic depth extractor. And a depth map generator 126.

영상 분석부(121)는 입력되는 영상을 분석한다. 2D 영상이 입력된 경우, 입력된 2D 영상을 분석하고, 3D 영상이 입력된 경우, 입력된 3D 영상의 좌안 영상 및 우안 영상 중 하나 또는 좌안 영상과 우안 영상을 모두 분석한다.The image analyzer 121 analyzes the input image. When the 2D image is input, the input 2D image is analyzed, and when the 3D image is input, one of the left eye image and the right eye image of the input 3D image or both the left and right eye images are analyzed.

특히, 영상 분석부(121)는 입력되는 영상의 공간적인 특징 또는 배경 변화 등을 검출한다. 더욱 구체적으로, 영상 분석부(121)는 입력되는 영상의 공간적인 특징인 색, 컨트라스트, 물체 간의 배치 등과 같은 특징을 분석하여, 기본 뎁스 추출부(125)에 전송한다. In particular, the image analyzer 121 detects a spatial feature or a background change of the input image. More specifically, the image analyzer 121 analyzes features such as color, contrast, and arrangement between objects, which are spatial features of the input image, and transmits the same to the basic depth extractor 125.

또한, 영상 분석부(121)는 화면이 급격하게 변하는지 여부를 검출한다. 이는 화면이 급격하게 변하는 경우, 3D 영상의 움직임 뎁스가 무의미한 값이 되기 때문이다. 영상 분석부(121)는 화면의 변화 정도를 검출하여, 3D 영상의 움직임 뎁스을 구할지 여부를 결정한다. 화면이 급격하게 변한다고 판단되는 경우, 3D 디스플레이 장치(100)는 움직임 뎁스를 구하지 않고 기본 뎁스만을 이용하여 뎁스맵을 생성하며, 화면이 급격히 변하지 않는다고 판단되는 경우, 3D 디스플레이 장치(100)는 움직임 뎁스를 구한 후 기본 뎁스와 혼합하여 뎁스맵을 생성한다. 이때, 화면이 급격하게 변하는지 여부는 3D 영상의 화면에 포함된 픽셀의 변화 정도를 이용하여 구할 수 있다.In addition, the image analyzer 121 detects whether the screen changes abruptly. This is because, when the screen changes abruptly, the motion depth of the 3D image becomes a meaningless value. The image analyzer 121 detects the degree of change of the screen and determines whether to obtain a motion depth of the 3D image. When it is determined that the screen changes abruptly, the 3D display apparatus 100 generates a depth map using only the basic depth without obtaining a motion depth, and when it is determined that the screen does not change rapidly, the 3D display apparatus 100 moves. After the depth is obtained, the depth map is generated by mixing with the base depth. In this case, whether the screen changes abruptly may be obtained by using a degree of change of pixels included in the screen of the 3D image.

또한, 영상 분석부(121)는 영상의 움직임 정보를 분석하는 움직임 분석부(121-1)를 포함한다. 움직임 분석부(121-1)는 영상의 글로벌 움직임에 대한 정보 및 로컬 움직임에 대한 정보를 추출한다. 이때, 글로벌 움직임이라 함은, 영상을 촬영하는 카메라가 움직임에 따라 이동하는 배경의 움직임을 말한다. 예를 들어, 글로벌 움직임은 패닝(panning), 주밍(zooming), 회전(rotation)과 같은 카메라 기법에 따른 움직임이 될 수 있다. 움직임 분석부(121-1)에서 추출한 글로벌 움직임 정보 및 로컬 움직임 정보는 움직임 산출부(122)에 출력된다.Also, the image analyzer 121 includes a motion analyzer 121-1 that analyzes motion information of an image. The motion analyzer 121-1 extracts information about global motion and local motion of the image. In this case, the global motion refers to a motion of a background in which a camera photographing an image moves in accordance with movement. For example, the global motion may be a motion according to a camera technique such as panning, zooming, and rotation. The global motion information and the local motion information extracted by the motion analyzer 121-1 are output to the motion calculator 122.

움직임 산출부(122)는 움직임 분석부(121-1)에서 출력된 글로벌 움직임 정보 및 로컬 움직임 정보를 이용하여, 글로벌 움직임과 로컬 움직임 간의 상대적인 움직임을 산출한다. 이때, 움직임 산출부(122)는 글로벌 움직임과 로컬 움직임 간의 상대적인 움직임의 절대값을 이용하여, [수학식 1]와 같이, 상대적인 움직임 파라미터(P)를 구한다. 이때, 상대적인 움직임 파라미터(P)는 오브젝터의 뎁스를 구하는데 이용된다.The motion calculator 122 calculates a relative motion between the global motion and the local motion by using the global motion information and the local motion information output from the motion analyzer 121-1. In this case, the motion calculator 122 calculates the relative motion parameter P as shown in [Equation 1] by using the absolute value of the relative motion between the global motion and the local motion. In this case, the relative motion parameter P is used to obtain the depth of the object.

Figure pat00001
Figure pat00001

이때, P는 상대적인 움직임 파라미터, v는 로컬 움직임, vGM은 글로벌 움직임을 의미한다. In this case, P is a relative motion parameter, v is a local motion, v GM is a global motion.

이하에서는 도 3a 내지 도 4b를 참조하여, 글로벌 움직임과 로컬 움직임 간의 상대적인 움직임의 절대값을 구하는 방법에 대해 설명하기로 한다.Hereinafter, a method of obtaining an absolute value of a relative motion between a global motion and a local motion will be described with reference to FIGS. 3A to 4B.

도 3a 및 도 3b는 본 발명의 일 실시예에 따른, 오브젝트가 움직이는 경우, 상대적인 움직임을 산출하는 방법을 설명하기 위한 도면이다.3A and 3B are diagrams for describing a method of calculating relative movement when an object moves according to an embodiment of the present invention.

영상의 프레임 속에 배경(310)과 오브젝트(320)가 존재한다. 이때, 도 3a와 도 3b를 비교하면, 영상 속에 배경(310,315)의 움직임은 없으나, 오브젝트(320,325)의 움직임은 존재한다. 즉, 도 3a 및 도 3b의 화면의 글로벌 움직임은 없게 된다. 따라서, 이를 수치적으로 표현해 보았을 때, 글로벌 움직임(vGM)은 0이 되고, 로컬 움직임(v)은 10이 된다. 따라서, 이를 수학식 1에 대입해보면, 상대적인 움직임 파라미터(P)값은 10이 된다. The background 310 and the object 320 exist in the frame of the image. 3A and 3B, there is no movement of the backgrounds 310 and 315 in the image, but movement of the objects 320 and 325 exists. That is, there is no global movement of the screens of FIGS. 3A and 3B. Therefore, when this is expressed numerically, the global motion v GM becomes 0 and the local motion v becomes 10. Therefore, when this is substituted into Equation 1, the relative motion parameter value P is 10.

도 4a 및 도 4b는 본 발명의 일 실시예에 따른, 배경이 움직이는 경우, 상대적인 움직임을 산출하는 방법을 설명하기 위한 도면이다.4A and 4B are diagrams for describing a method of calculating relative motion when a background moves according to an embodiment of the present invention.

도 3a 및 도 3b에서 설명한 바와 마찬가지로, 영상의 프레임 속에 배경(410)과 오브젝트(420)가 존재한다. 이때, 도 4a와 도 4b를 비교하면, 영상 속에 오브젝트(420,425)의 움직임은 없으나, 배경(410,415)의 움직임은 존재한다. 즉, 도 3a 및 도 3b의 화면의 로컬 움직임은 없게 된다. 따라서, 도 3a 및 도 3b의 오브젝트 이동 속도와 도 4a 및 도 4b의 배경 이동 속도가 같다고 가정하였을 때, 이를 수치적으로 표현해 보면, 글로벌 움직임은 10이 되고, 로컬 움직임은 0이 된다. 따라서, 이를 수학식 1에 대입해보면, 상대적인 움직임 파라미터(P)값은 10이 된다.As described with reference to FIGS. 3A and 3B, the background 410 and the object 420 exist in a frame of an image. 4A and 4B, there is no movement of the objects 420 and 425 in the image, but movement of the backgrounds 410 and 415 exists. That is, there is no local movement of the screen of FIGS. 3A and 3B. Therefore, assuming that the object moving speeds of FIGS. 3A and 3B and the background moving speeds of FIGS. 4A and 4B are the same, when expressed numerically, the global motion becomes 10 and the local motion becomes zero. Therefore, when this is substituted into Equation 1, the relative motion parameter value P is 10.

즉, 도 3a 내지 도 4b를 종합적으로 설명해 보았을 때, 종래에는 오브젝트가 움직이는 경우(도 3a 내지 도 3b의 경우)에는 움직임 파라미터이 10이 나와 오브젝트가 앞에 있는 것처럼 보이게 되고, 배경이 움직이는 경우(도 4a 내지 도 4b의 경우)에는 움직임 파라미터이 -10이 나와 배경이 앞에 있는 것처럼 보이게 되었다. That is, when comprehensively describing FIGS. 3A to 4B, when the object moves conventionally (in the case of FIGS. 3A to 3B), the motion parameter 10 appears to appear in front of the object, and the background moves (FIG. 4A). 4b), the motion parameter is -10 and the background appears to be in front.

그러나, 본 발명의 일 실시예에 의하면, 오브젝트가 움직이는 경우(도 3a 내지 도 3b의 경우) 및 배경이 움직이는 경우(도 4a 내지 도 4b의 경우) 모두 움직임 파라미터이 10이 나오게 된다. 따라서, 오브젝트가 움직이는 경우 및 배경이 움직이는 경우 모두 오브젝트가 앞에 있는 것처럼 보이게 된다. 따라서, 글로벌 움직임과 로컬 움직임 간의 상대적인 움직임의 절대값을 이용하여 움직임 뎁스를 구하면, 입체감이 왜곡되지 않은 3D 영상을 출력할 수 있게 된다.However, according to the exemplary embodiment of the present invention, the motion parameter 10 is generated both when the object moves (in the case of FIGS. 3A to 3B) and when the background moves (in the case of FIGS. 4A to 4B). Thus, both when the object moves and when the background moves, the object appears to be in front. Therefore, if the motion depth is obtained by using the absolute value of the relative motion between the global motion and the local motion, it is possible to output a 3D image without stereoscopic distortion.

움직임 산출부(122)는 상대적인 움직임 파라미터을 움직임 뎁스 추출부(123)에 출력한다.The motion calculator 122 outputs the relative motion parameter to the motion depth extractor 123.

움직임 뎁스 추출부(123)는 움직임 산출부(122)에서 입력된 상대적인 움직임 파라미터뿐 아니라 오브젝트의 위치 및 오브젝트가 차지하는 영역을 고려하여 움직임 뎁스를 추출한다.The motion depth extractor 123 extracts the motion depth in consideration of the position of the object and the area occupied by the object, as well as the relative motion parameter input from the motion calculator 122.

이하에서는, 오브젝트의 위치 및 오브젝트가 차지하는 영역을 고려하여 움직임 뎁스를 추출하는 방법에 대해서는 도 5 및 도 6을 참조하여 설명하기로 한다.Hereinafter, a method of extracting the motion depth in consideration of the position of the object and the area occupied by the object will be described with reference to FIGS. 5 and 6.

도 5는 본 발명의 일 실시예에 따른, 오브젝트의 위치에 따라 뎁스값을 추출하기 위한 방법을 설명하기 위한 도면이다.FIG. 5 is a diagram for describing a method of extracting a depth value according to a position of an object, according to an exemplary embodiment.

도 5에 도시된 바와 같이, 화면 속에 사람 형상의 제1 오브젝트(510) 및 새모양의 제2 오브젝트(520)가 있다. 이때, 제1 오브젝트(510)는 지면에 가까운 아래쪽에 위치한다. 제2 오브젝트(520)는 하늘에 가까운 위쪽에 위치한다. 따라서, 움직임 뎁스 추출부(123)는 보다 아래쪽에 위치한 제1 오브젝트(510)의 위치 파라미터(AP1)를 제2 오브젝트(520)의 위치 파라미터(AP2)보다 크게 검출한다. 예를 들어, 움직임 뎁스 추출부(123)는 제1 오브젝트(510)의 위치 파라미터(AP1)를 10으로, 제2 오브젝트(520)의 위치 파라미터(AP2)를 5라고 검출한다.As illustrated in FIG. 5, there are a human-shaped first object 510 and a bird-shaped second object 520 on the screen. At this time, the first object 510 is located below the ground. The second object 520 is located above the sky. Therefore, the motion depth extraction unit 123 detects a zoom position parameter (AP 1) of the first object 510 located in more below the position parameter (AP 2) of the second object (520). For example, the motion depth extractor 123 detects the position parameter AP 1 of the first object 510 as 10 and the position parameter AP 2 of the second object 520 as 5.

도 6은 본 발명의 일 실시예에 따른, 오브젝트가 차지하는 영역의 면적에 따라 뎁스값을 추출하기 위한 방법을 설명하기 위한 도면이다.FIG. 6 is a diagram for describing a method for extracting a depth value according to an area of an area occupied by an object, according to an exemplary embodiment.

도 6에 도시된 바와 같이, 화면속에 사람 형상의 제1 오브젝트, 제2 오브젝트 및 제3 오브젝트가 있다. 이때, 제1 오브젝트가 차지하는 영역(610)은 가장 작고, 제3 오브젝트가 차지하는 영역(630)은 가장 크며, 제2 오브젝트가 차지하는 영역(620)은 제1 오브젝트가 차지하는 영역(610)보다는 크고 제3 오브젝트가 차지하는 영역(630)보다는 작다. As shown in FIG. 6, there are a first object, a second object, and a third object having a human shape in the screen. In this case, the area 610 occupied by the first object is the smallest, the area 630 occupied by the third object is the largest, and the area 620 occupied by the second object is larger than the area 610 occupied by the first object. 3 is smaller than the area 630 occupied by the object.

따라서, 움직임 뎁스 추출부(123)는 제1 오브젝트의 영역 파라미터(AS1)를 가장 작게 검출하고, 제3 오브젝트의 영역 파라미터(AS2)를 가장 크게 검출하며, 제2 오브젝트의 영역 파라미터(AS3)를 제1 오브젝트의 영역 파라미터(AS1)와 제3 오브젝트의 영역 파라미터(AS3)의 사이에 있는 값으로 검출한다. 예들 들어, 움직임 뎁스 추출부(123)는 제1 오브젝트의 영역 파라미터(AS1)를 3으로, 제2 오브젝트의 영역 파라미터(AS2)를 7로, 제3 오브젝트의 영역 파라미터(AS3)를 10으로 검출할 수 있다.Accordingly, the motion depth extractor 123 detects the smallest area parameter AS 1 of the first object, the largest area parameter AS 2 of the third object, and detects the area parameter AS of the second object. 3 ) is detected as a value between the area parameter AS 1 of the first object and the area parameter AS 3 of the third object. For example, the motion depth extractor 123 sets the area parameter AS 1 of the first object to 3, the area parameter AS 2 of the second object to 7, and the area parameter AS 3 of the third object. 10 can be detected.

다시 도 2에 대해 설명하면, 움직임 뎁스 추출부(123)는 상술한 바와 같이 검출한 상대적인 움직임 파라미터(P), 위치 파라미터(AP) 및 영역 파라미터(AS)를 이용하여 오브젝트의 움직임 뎁스를 추출하게 된다. 이때, 움직임 뎁스 추출부(123)는 상대적인 움직임 파라미터(P), 위치 파라미터(AP) 및 영역 파라미터(AS) 중 적어도 하나에 가중치를 부여하여 움직임 뎁스를 추출할 수 있다.Referring again to FIG. 2, the motion depth extractor 123 extracts the motion depth of the object by using the relative motion parameter P, the position parameter AP, and the area parameter AS detected as described above. do. In this case, the motion depth extractor 123 may extract the motion depth by assigning a weight to at least one of the relative motion parameter P, the position parameter AP, and the area parameter AS.

또한, 움직임 뎁스 추출부(123)는 글로벌 움직임 및 로컬 움직임이 없는 경우, 이전 프레임의 움직임 뎁스값으로 움직임 뎁스를 추출한다. 이에 대해서는 도 7을 참조하여 설명하기로 한다.In addition, when there is no global motion and local motion, the motion depth extractor 123 extracts the motion depth as the motion depth value of the previous frame. This will be described with reference to FIG. 7.

도 7에 도시된 바와 같이, 7개의 프레임(710,..,770) 속에 제1 프레임(710) 내지 제5 프레임(750)까지는 오브젝트의 움직임 정보는 존재하므로, 상대적인 움직임 파라미터을 구할 수 있다. 그러나, 제6 프레임(760) 및 제7 프레임(770)은 로컬 움직임 및 글로벌 움직임이 없기 때문에, 상대적인 움직임 파라미터는 0이 된다. 따라서, 제6 프레임(760) 및 제7 프레임(770)은 제5 프레임(750)과 같은 뎁스를 가져야 함에도 불구하고, 움직임이 없기 때문에 움직임 뎁스값이 이전과 다르게 된다. As shown in FIG. 7, since motion information of the object exists from the first frame 710 to the fifth frame 750 in seven frames 710,..., 770, relative motion parameters may be obtained. However, since the sixth frame 760 and the seventh frame 770 have no local motion and no global motion, the relative motion parameter becomes zero. Therefore, although the sixth frame 760 and the seventh frame 770 should have the same depth as the fifth frame 750, since there is no movement, the motion depth value is different from the previous.

따라서, 움직임 뎁스 추출부(123)는 로컬 움직임 및 글로벌 움직임이 없는 경우, 이전 프레임의 움직임 뎁스값을 그대로 유지하여 현재 프레임의 움직임 뎁스를 추출한다. 예를 들어, 제5 프레임(750)의 상대적인 움직임 파라미터(P)가 7이라고 할 때, 제6 프레임(760) 및 제7 프레임(770)의 상대적인 움직임 파라미터(P) 역시 7로 유지한다.  Therefore, if there is no local motion or global motion, the motion depth extractor 123 extracts the motion depth of the current frame while maintaining the motion depth value of the previous frame. For example, when the relative motion parameter P of the fifth frame 750 is 7, the relative motion parameter P of the sixth frame 760 and the seventh frame 770 is also maintained at seven.

따라서, 움직이는 오브젝트가 갑자기 움직임을 멈추었을 때도 뎁스값이 변하지 않게 되어, 입체감이 왜곡되지 않는 영상을 시청할 수 있게 된다.Therefore, even when the moving object suddenly stops moving, the depth value does not change, so that an image without stereoscopic distortion can be viewed.

다시 도 2에 대해 설명하면, 움직임 뎁스 추출부(123)는 추출한 움직임 뎁스값을 움직임 뎁스 조절부(124)로 출력한다.Referring to FIG. 2 again, the motion depth extractor 123 outputs the extracted motion depth value to the motion depth adjuster 124.

움직임 뎁스 조절부(124)는 글로벌 움직임 및 로컬 움직임 중 적어도 하나를 이용하여, 움직임 뎁스값을 조절한다. 구체적으로, 움직임 뎁스 조절부(124)는 글로벌 움직임이 크다고 판단할 경우, 움직임 뎁스값의 신뢰도를 낮추고, 글로벌 움직임이 작다고 판단할 경우, 움직임 뎁스값의 신뢰도를 높인다. 이때, 글로벌 움직임과 신뢰도는 반비례 특성을 갖는데, 글로벌 움직임과 신뢰도에 대한 함수는 반비례 특성을 갖는 다양한 함수로 표현될 수 있다. The motion depth controller 124 adjusts a motion depth value by using at least one of global motion and local motion. Specifically, the motion depth controller 124 lowers the reliability of the motion depth value when determining that the global motion is large, and increases the reliability of the motion depth value when determining that the global motion is small. At this time, the global motion and the reliability has an inverse characteristic, the function of the global motion and the reliability can be represented by various functions having an inverse characteristic.

또한, 움직임 뎁스 조절부(124)는 로컬 움직임이 크다고 판단할 경우, 움직임 뎁스값의 신뢰도를 낮추고, 로컬 움직임이 작다고 판단할 경우, 움직임 뎁스값의 신뢰도를 높인다. 이때, 로컬 움직임과 신뢰도 역시 반비례 특성을 갖는데, 로컬 움직임과 신뢰도에 대한 함수는 반비례 특성을 갖는 다양한 함수로 표현될 수 있다. In addition, the motion depth controller 124 lowers the reliability of the motion depth value when determining that the local motion is large, and increases the reliability of the motion depth value when determining that the local motion is small. In this case, local motion and reliability also have inverse characteristics, and the function of local motion and reliability may be represented by various functions having inverse characteristics.

또한, 움직임 뎁스 조절부(124)는 화면의 특정 영역에 대한 글로벌 움직임을 분석하여, 특정 영역에 대한 움직임 뎁스 신뢰도를 조절한다. 구체적으로, 특정 영역에 대한 글로벌 움직임이 크다고 판단되는 경우, 움직임 뎁스 조절부(124)는 특정 영역에 대한 움직임 뎁스 신뢰도를 낮추도록 조절하고, 특정 영역에 대한 글로벌 움직임이 작다고 판단되는 경우, 움직임 뎁스 조절부(124)는 특정 영역에 대한 움직임 뎁스 신뢰도를 높이도록 조절한다. In addition, the motion depth controller 124 analyzes global motion of a specific area of the screen and adjusts the motion depth reliability of the specific area. In detail, when it is determined that the global motion of the specific area is large, the motion depth controller 124 adjusts to lower the reliability of the motion depth of the specific area, and when it is determined that the global motion of the specific area is small, the motion depth is determined. The adjusting unit 124 adjusts to increase the reliability of the movement depth for the specific region.

한편, 3D 영상 생성부(120)는, 움직임 뎁스 정보에 따라 뎁스맵을 생성할 수 있다. 이때, 움직임 뎁스의 신뢰도가 특정 임계치 이하일 경우에 움직임 뎁스 조절부(124)는 신뢰도에 따라 뎁스맵의 평활화를 수행할 수 있다. 이는 신뢰도 저하에 따라 객체 모양이 일정하지 않으므로, 이로 인한 입체감의 저하를 막기 위함이다. 그러나, 움직임 뎁스의 신뢰도가 특정 임계치 이상일 경우, 움직임 뎁스 조절부(124)는 뎁스맵의 평활화를 수행하지 않는다.The 3D image generator 120 may generate a depth map according to the motion depth information. In this case, when the reliability of the motion depth is less than or equal to a specific threshold, the motion depth controller 124 may smooth the depth map according to the reliability. This is to prevent the deterioration of the three-dimensional effect because the shape of the object is not constant according to the decrease in reliability. However, when the reliability of the motion depth is greater than or equal to a certain threshold, the motion depth controller 124 does not smooth the depth map.

따라서, 움직임 뎁스 조절부(124)가 글로벌 움직임에 따라 움직임 뎁스의 신뢰도를 조절함으로써, 움직임에 많은 영향을 받는 영상에 대한 뎁스 조절이 가능해져 시청피로를 줄일 수 있게 된다.Therefore, the motion depth controller 124 adjusts the reliability of the motion depth according to the global motion, thereby making it possible to adjust the depth of the image that is greatly affected by the motion, thereby reducing the viewing fatigue.

기본 뎁스 추출부(125)는 영상 분석부(121)에서 분석된 영상의 공간적인 특징을 이용하여 기본 뎁스를 추출한다. 이때, 공간적인 특정이라 함은, 색, 컨트라스트, 물체 간의 배치 등이 될 수 있다. The basic depth extractor 125 extracts the basic depth by using the spatial features of the image analyzed by the image analyzer 121. In this case, the spatial specification may be a color, contrast, or arrangement between objects.

뎁스맵 생성부(126)는 움직임 뎁스 조절부(124)에서 출력된 움직임 뎁스값과 기본 뎁스 추출부(125)에서 출력된 기본 뎁스를 혼합하여, 영상의 뎁스맵을 생성한다. The depth map generator 126 mixes the motion depth value output from the motion depth controller 124 and the basic depth output from the basic depth extractor 125 to generate a depth map of the image.

3D 영상 생성부(120)는 생성된 뎁스맵에 따라 3D 영상을 생성하여 영상 출력부(130)로 출력한다.The 3D image generator 120 generates a 3D image according to the generated depth map and outputs the 3D image to the image output unit 130.

상술한 바와 같이, 다양한 파라미터를 통해 3D 영상의 뎁스값을 추출함으로써, 사용자에게 더욱 정확하고 뛰어난 입체감을 가지는 3D 영상을 제공할 수 있게 된다.As described above, by extracting the depth value of the 3D image through various parameters, it is possible to provide a 3D image having a more accurate and excellent three-dimensional effect to the user.

이하에서는 도 8을 참조하여, 본 발명의 일 실시예 따른, 3D 영상의 뎁스를 추출하는 방법에 대해 설명하기로 한다.Hereinafter, a method of extracting a depth of a 3D image according to an embodiment of the present invention will be described with reference to FIG. 8.

도 8은 본 발명의 일 실시예에 따른, 3D 디스플레이 장치(100)에서 3D 영상의 뎁스를 추출하는 방법을 설명하기 위한 흐름도이다.8 is a flowchart for describing a method of extracting a depth of a 3D image in the 3D display apparatus 100 according to an exemplary embodiment.

우선 3D 디스플레이 장치(100)에 영상에 입력된다(S805). 이때, 입력되는 영상은 2D 영상일 수도 있고, 3D 영상일 수도 있다.First, an image is input to the 3D display apparatus 100 in operation S805. In this case, the input image may be a 2D image or a 3D image.

3D 디스플레이 장치(100)는 입력된 영상의 화면이 급격하게 변하는지 여부를 판단한다(S810). 이때, 화면이 급격하게 변하는지 여부는 화면에 포함된 픽셀의 변화 여부를 통해 판단할 수 있다.The 3D display apparatus 100 determines whether the screen of the input image changes abruptly (S810). In this case, whether the screen changes abruptly may be determined based on whether or not the pixels included in the screen change.

입력된 영상의 화면이 급격히 변하는 경우(S810-Y), 3D 디스플레이 장치(100)는 기본 뎁스만을 이용하여 뎁스맵을 생성한다(S815). 이는, 화면이 급격하게 변하는 경우, 움직임 뎁스값은 무의미한 값이 되기 때문이다. 3D 디스플레이 장치(100)는 생성된 뎁스맵에 따라 3D 영상을 생성하고(S820), 생성된 3D 영상을 출력한다(S870).If the screen of the input image changes abruptly (S810-Y), the 3D display apparatus 100 generates a depth map using only the basic depth (S815). This is because the motion depth value becomes meaningless when the screen changes abruptly. The 3D display apparatus 100 generates a 3D image according to the generated depth map (S820), and outputs the generated 3D image (S870).

입력된 영상의 화면이 급격히 변하지 않는 경우(S810-N), 3D 디스플레이 장치(100)는 움직임 정보를 추출한다(S825). 이때, 움직임 정보에는 글로벌 움직임 및 로컬 움직임이 포함된다.If the screen of the input image does not change suddenly (S810-N), the 3D display apparatus 100 extracts motion information (S825). In this case, the motion information includes global motion and local motion.

그리고, 3D 디스플레이 장치(100)는 추출된 글로벌 움직임 및 로컬 움직임의 값이 0인지 여부를 판단한다(S830). 글로벌 움직임 및 로컬 움직임의 값이 0인 경우(830-Y), 3D 디스플레이 장치(100)는 이전 프레임의 뎁스맵을 이용해 3D 영상을 생성하고(S835), 생성된 3D 영상을 출력한다(S870). In operation S830, the 3D display apparatus 100 determines whether the extracted global motion and the local motion have a value of zero. If the value of the global motion and the local motion is 0 (830-Y), the 3D display apparatus 100 generates a 3D image using the depth map of the previous frame (S835), and outputs the generated 3D image (S870). .

글로벌 움직임 및 로컬 움직임의 값이 0이 아닌 경우(S830-N), 3D 디스플레이 장치는 글로벌 움직임 및 로컬 움직임 간의 상대적인 움직임을 산출한다(S840). 이때, 산출되는 상대적인 움직임은 글로벌 움직임 및 로컬 움직임 간의 상대적인 움직임의 절대값을 의미한다.If the value of the global motion and the local motion is not 0 (S830-N), the 3D display apparatus calculates a relative motion between the global motion and the local motion (S840). In this case, the calculated relative motion refers to an absolute value of the relative motion between the global motion and the local motion.

그리고, 3D 디스플레이 장치(100)는 상대적인 움직임을 이용하여 움직임 뎁스를 추출한다(S850). 이때, 3D 디스플레이 장치(100)는 상대적이 움직임 정보뿐 아니라 오브젝트의 위치 및 오브젝트가 차지하는 영역을 고려하여 움직임 뎁스를 추출한다.In operation S850, the 3D display apparatus 100 extracts a motion depth by using relative motion. In this case, the 3D display apparatus 100 extracts the motion depth in consideration of the position of the object and the area occupied by the object as well as the relative motion information.

그 후, 3D 디스플레이 장치(100)는 글로벌 움직임 및 로컬 움직임 중 적어도 하나에 따라 움직임 뎁스를 조절한다(S855). 구체적으로, 3D 디스플레이 장치(100)는 글로벌 움직임 또는 로컬 움직임이 크면 움직임 뎁스의 신뢰도를 낮추고, 글로벌 움직임 또는 로컬 움직임이 작으면 움직임 뎁스의 신뢰도를 높인다. 이와 같이, 움직임 정보 및 움직임 뎁스의 신뢰도의 함수는 반비례 특성의 다양한 함수로 표현될 수 있다.Thereafter, the 3D display apparatus 100 adjusts the motion depth according to at least one of the global motion and the local motion (S855). In detail, the 3D display apparatus 100 lowers the reliability of the motion depth when the global motion or the local motion is large, and increases the reliability of the motion depth when the global motion or the local motion is small. As such, the function of the reliability of the motion information and the motion depth may be represented by various functions of inversely proportional characteristics.

3D 디스플레이 장치(100)는 조절된 움직임 뎁스와 기본 뎁스를 혼합하여 뎁스맵을 생성한다(S860). 그리고, 3D 디스플레이 장치(100)는 생성된 뎁스맵에 따라 3D 영상을 생성하고(S865), 생성된 3D 영상을 출력한다(S870).The 3D display apparatus 100 generates a depth map by mixing the adjusted motion depth and the basic depth (S860). The 3D display apparatus 100 generates a 3D image according to the generated depth map (S865), and outputs the generated 3D image (S870).

이에 의해, 입력되는 영상의 글로벌 움직임과 로컬 움직임 간의 상대적인 움직임 및 다양한 파라미터를 이용해 3D 영상의 뎁스를 추출함으로써, 사용자에게 더욱 정확하고 뛰어난 입체감을 가지는 3D 영상을 제공할 수 있게 된다.Accordingly, by extracting the depth of the 3D image using a variety of parameters and relative motion between the global motion and the local motion of the input image, it is possible to provide a user with a more accurate and excellent three-dimensional image.

이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is clearly understood that the same is by way of illustration and example only and is not to be construed as limiting the scope of the invention as defined by the appended claims. It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention.

110: 영상 입력부 120: 3D 영상 생성부
130: 영상 출력부 121: 영상 분석부
121-1: 움직임 분석부 122: 움직임 산출부
123: 움직임 뎁스 추출부 124: 움직임 뎁스 조절부
125: 기본 뎁스 추출부 126: 뎁스맵 생성부110: image input unit 120: 3D image generating unit
130: image output unit 121: image analysis unit
121-1: Motion analyzer 122: Motion calculator
123: motion depth extractor 124: motion depth adjuster
125: basic depth extractor 126: depth map generator

Claims (24)

3D 디스플레이 장치에 있어서,
영상을 입력받는 영상 입력부;
상기 입력된 영상의 글로벌 움직임과 로컬 움직임 간의 상대적인 움직임에 따라 산출된 뎁스를 이용하여 3D 영상을 생성하는 3D 영상 생성부;및
상기 3D 영상을 출력하는 영상 출력부;를 포함하는 3D 디스플레이 장치.In the 3D display device,
An image input unit which receives an image;
3D image generating unit for generating a 3D image using the depth calculated according to the relative movement between the global motion and the local motion of the input image; And
And an image output unit configured to output the 3D image. 제1항에 있어서,
상기 3D 영상 생성부는,
상기 영상의 글로벌 움직임 정보 및 로컬 움직임 정보를 추출하는 움직임 분석부;
상기 글로벌 움직임 정보 및 로컬 움직임 정보의 차의 절대값을 이용하여 상대적인 움직임을 산출하는 움직임 산출부;및
상기 상대적인 움직임에 따라 뎁스를 추출하는 움직임 뎁스 추출부;를 포함하는 것을 특징으로 하는 3D 디스플레이 장치. The method of claim 1,
The 3D image generating unit,
A motion analyzer extracting global motion information and local motion information of the image;
A motion calculator configured to calculate a relative motion using an absolute value of the difference between the global motion information and the local motion information; and
And a motion depth extractor extracting a depth according to the relative motion. 제2항에 있어서,
상기 3D 영상 생성부는,
상기 움직임 분석부에서 추출한 글로벌 움직임 정보 및 상기 로컬 움직임 정보 중 적어도 하나에 따라, 상기 움직임 뎁스의 신뢰도를 조절하는 움직임 뎁스 조절부;를 더 포함하는 것을 특징으로 하는 3D 디스플레이 장치.The method of claim 2,
The 3D image generating unit,
And a motion depth controller for adjusting the reliability of the motion depth according to at least one of the global motion information and the local motion information extracted by the motion analyzer. 제3항에 있어서,
상기 3D 영상 생성부는,
상기 움직임 뎁스를 이용하여 뎁스맵을 생성하고,
상기 움직임 뎁스의 신뢰도가 특정 임계치 이하일 경우, 상기 뎁스맵의 평활화를 수행하는 것을 특징으로 하는 3D 디스플레이 장치.The method of claim 3,
The 3D image generating unit,
A depth map is generated using the motion depth,
And if the reliability of the motion depth is equal to or less than a certain threshold, smoothing the depth map. 제3항에 있어서,
상기 움직임 뎁스 조절부는,
상기 글로벌 움직임이 커짐에 따라 상기 움직임 뎁스의 신뢰도가 낮아지고, 상기 글로벌 움직임이 작아짐에 따라 상기 움직임 뎁스의 신뢰도가 높아지도록 조절하는 것을 특징으로 하는 3D 디스플레이 장치. The method of claim 3,
The motion depth adjustment unit,
And as the global motion increases, the reliability of the motion depth decreases, and as the global motion decreases, the reliability of the motion depth increases. 제5항에 있어서,
상기 움직임 뎁스 조절부는,
상기 글로벌 움직임이 화면의 특정 영역에서만 커지는 경우, 상기 특정 영역에 대한 뎁스의 신뢰도를 낮추는 것을 특징으로 하는 3D 디스플레이 장치.The method of claim 5,
The motion depth adjustment unit,
And if the global motion is increased only in a specific area of the screen, reducing the reliability of the depth of the specific area. 제2항에 있어서,
상기 움직임 뎁스 추출부는,
상기 영상에 포함된 오브젝트의 위치 또는 오브젝트가 차지하는 영역에 따라, 3D 영상의 움직임 뎁스를 추출하는 것을 특징으로 하는 3D 디스플레이 장치. The method of claim 2,
The motion depth extractor,
And extracting a motion depth of a 3D image according to a position of an object included in the image or an area occupied by the object. 제2항에 있어서,
상기 움직임 뎁스 추출부는,
상기 글로벌 움직임 및 상기 로컬 움직임이 없는 경우, 이전 프레임의 움직임 뎁스값으로 움직임 뎁스를 추출하는 것을 특징으로 하는 3D 디스플레이 장치.The method of claim 2,
The motion depth extractor,
3D display apparatus, wherein the motion depth is extracted as a motion depth value of a previous frame when there is no global motion and the local motion. 제2항에 있어서,
상기 3D 영상 생성부는,
상기 입력되는 영상의 공간적인 특징을 이용하여, 상기 3D 영상의 기본 뎁스를 추출하는 기본 뎁스 추출부; 및
상기 움직임 뎁스 추출부에서 추출한 움직임 뎁스 및 상기 기본 뎁스 추출부에서 추출한 기본 뎁스를 혼합하여 뎁스맵을 생성하는 뎁스맵 생성부;를 를 더 포함하는 것을 특징으로 하는 3D 디스플레이 장치.The method of claim 2,
The 3D image generating unit,
A basic depth extracting unit extracting a basic depth of the 3D image by using a spatial feature of the input image; And
And a depth map generator for generating a depth map by mixing the motion depth extracted by the motion depth extractor and the basic depth extracted by the basic depth extractor. 2. 제2항에 있어서,
상기 3D 영상 생성부는,
상기 입력되는 영상의 공간적인 특징을 이용하여, 상기 3D 영상의 기본 뎁스를 추출하는 기본 뎁스 추출부;및
상기 입력되는 영상의 변화 정도가 특정 임계치 이상일 경우, 상기 움직임 뎁스를 반영하지 않고 상기 기본 뎁스를 이용하여 뎁스맵을 생성하는 뎁스맵 생성부;를 포함하는 것을 특징으로 하는 3D 디스플레이 장치.The method of claim 2,
The 3D image generating unit,
A basic depth extracting unit extracting a basic depth of the 3D image by using a spatial feature of the input image; and
And a depth map generator configured to generate a depth map using the basic depth without reflecting the motion depth when the degree of change of the input image is greater than or equal to a specific threshold value. 제1항에 있어서,
상기 입력 영상은 2D 영상인 것을 특징으로 하는 3D 디스플레이 장치.The method of claim 1,
And the input image is a 2D image. 제1항에 있어서,
상기 입력 영상은 3D 영상이고,
상기 3D 영상 생성부는,
상기 입력된 3D 영상의 좌안 영상 또는 우안 영상을 이용하여, 상대적인 움직임에 따라 뎁스가 조절된 3D 영상을 생성하는 것을 특징으로 하는 3D 디스플레이 장치.The method of claim 1,
The input image is a 3D image,
The 3D image generating unit,
And a 3D image of which a depth is adjusted according to a relative movement using the left eye image or the right eye image of the input 3D image. 3D 디스플레이 장치의 3D 영상 뎁스 추출 방법에 있어서,
영상을 입력받는 단계;
상기 입력된 영상의 글로벌 움직임과 로컬 움직임 간의 상대적인 움직임에 따라 뎁스가 조절된 3D 영상을 생성하는 단계; 및
상기 3D 영상을 출력하는 단계;를 포함하는 3D 영상 뎁스 추출 방법.In the 3D image depth extraction method of the 3D display device,
Receiving an image;
Generating a 3D image having a depth adjusted according to a relative motion between a global motion and a local motion of the input image; And
Outputting the 3D image; 3D image depth extraction method comprising a. 제13항에 있어서,
상기 3D 영상을 생성하는 단계는,
상기 영상의 글로벌 움직임 정보 및 로컬 움직임 정보를 추출하는 단계;
상기 글로벌 움직임 정보 및 로컬 움직임 정보의 차의 절대값을 이용하여 상대적인 움직임을 산출하는 단계;및
상기 상대적인 움직임에 따라 움직임 뎁스를 추출하는 단계;를 포함하는 것을 특징으로 하는 3D 영상 뎁스 추출 방법.The method of claim 13,
Generating the 3D image,
Extracting global motion information and local motion information of the image;
Calculating relative motion using an absolute value of the difference between the global motion information and the local motion information; and
Extracting a motion depth according to the relative motion. 3D image depth extraction method comprising a. 제14항에 있어서,
상기 3D 영상을 생성하는 단계는,
상기 추출한 글로벌 움직임 정보 및 상기 로컬 움직임 정보 중 적어도 하나에 따라, 상기 움직임 뎁스의 신뢰도를 조절하는 단계;를 더 포함하는 것을 특징으로 하는 3D 영상 뎁스 추출 방법.The method of claim 14,
Generating the 3D image,
And adjusting the reliability of the motion depth according to at least one of the extracted global motion information and the local motion information. 제15항에 있어서,
상기 움직임 뎁스를 이용하여 뎁스맵을 생성하는 단계;를 더 포함하고,
상기 뎁스맵을 생성하는 단계는,
상기 움직임 뎁스의 신뢰도가 특정 임계치 이하일 경우, 상기 뎁스맵의 평활화를 수행하는 것을 특징으로 하는 3D 영상 뎁스 추출 방법.16. The method of claim 15,
Generating a depth map using the motion depth;
Generating the depth map,
And if the reliability of the motion depth is equal to or less than a certain threshold, smoothing the depth map. 제15항에 있어서,
상기 조절하는 단계는,
상기 글로벌 움직임이 커짐에 따라 상기 움직임 뎁스의 신뢰도가 낮아지고, 상기 글로벌 움직임이 작아짐에 따라 상기 움직임 뎁스의 신뢰도가 높아지도록 조절하는 것을 특징으로 하는 3D 영상 뎁스 추출 방법.16. The method of claim 15,
The adjusting step,
The reliability of the motion depth is reduced as the global motion increases, and the reliability of the motion depth is increased as the global motion decreases. 제17항에 있어서,
상기 조절하는 단계는,
상기 글로벌 움직임이 화면의 특정 영역에서만 커지는 경우, 상기 특정 영역에 대한 뎁스의 신뢰도를 낮추는 것을 특징으로 하는 3D 영상 뎁스 추출 방법.The method of claim 17,
The adjusting step,
3. The method of extracting depth of 3D image according to claim 1, wherein the reliability of the depth of the specific area is lowered when the global motion increases only in a specific area of the screen. 제14항에 있어서,
상기 움직임 뎁스를 추출하는 단계는,
상기 영상에 포함된 오브젝트의 위치 또는 오브젝트가 차지하는 영역에 따라, 3D 영상의 움직임 뎁스를 추출하는 것을 특징으로 하는 3D 영상 뎁스 추출 방법.The method of claim 14,
Extracting the motion depth,
And extracting a motion depth of the 3D image according to the position of the object included in the image or the area occupied by the object. 제14항에 있어서,
상기 움직임 뎁스를 추출하는 단계는,
상기 글로벌 움직임 및 상기 로컬 움직임이 없는 경우, 이전 프레임의 움직임 뎁스값으로 움직임 뎁스를 추출하는 것을 특징으로 하는 3D 영상 뎁스 추출 방법.The method of claim 14,
Extracting the motion depth,
3. The method of claim 3, further comprising extracting a motion depth based on a motion depth value of a previous frame when the global motion and the local motion do not exist. 제14항에 있어서,
상기 3D 영상을 생성하는 단계는,
상기 입력되는 영상의 공간적인 특징을 이용하여, 상기 3D 영상의 기본 뎁스를 추출하는 단계; 및
상기 움직임 뎁스 및 상기 기본 뎁스를 혼합하여, 3D 영상의 뎁스맵을 생성하는 단계;를 더 포함하는 것을 특징으로 하는 3D 영상 뎁스 추출 방법.The method of claim 14,
Generating the 3D image,
Extracting a basic depth of the 3D image by using a spatial feature of the input image; And
And generating a depth map of a 3D image by mixing the motion depth and the basic depth. 제14항에 있어서,
상기 3D 영상을 생성하는 단계는,
상기 입력되는 영상의 공간적인 특징을 이용하여, 상기 3D 영상의 기본 뎁스를 추출하는 단계;
상기 입력되는 영상의 변화 정도가 특정 임계치 이상일 경우, 상기 움직임 뎁스를 반영하지 않고 상기 기본 뎁스를 이용하여 뎁스맵을 생성하는 단계;를 포함하는 3D 영상 뎁스 추출 방법.The method of claim 14,
Generating the 3D image,
Extracting a basic depth of the 3D image by using a spatial feature of the input image;
And generating a depth map using the basic depth without reflecting the motion depth when the degree of change of the input image is greater than or equal to a specific threshold. 3D image depth extraction method comprising a. 제13항에 있어서,
상기 입력 영상은 2D 영상인 것을 특징으로 하는 3D 영상 뎁스 추출 방법.The method of claim 13,
3D image depth extraction method, characterized in that the input image is a 2D image. 제13항에 있어서,
상기 입력 영상은 3D 영상이고,
상기 3D 영상을 생성하는 단계는,
상기 입력된 3D 영상의 좌안 영상 또는 우안 영상을 이용하여, 상대적인 움직임에 따라 뎁스가 조절된 3D 영상을 생성하는 것을 특징으로 하는 3D 영상 뎁스 추출 방법.The method of claim 13,
The input image is a 3D image,
Generating the 3D image,
3D image depth extraction method, using the left eye image or the right eye image of the input 3D image, generating a 3D image of the depth is adjusted according to the relative movement.
KR1020110005572A 2010-11-15 2011-01-19 3-dimension display apparatus and method for extracting depth of 3d image thereof KR20120052142A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US13/244,317 US20120121163A1 (en) 2010-11-15 2011-09-24 3d display apparatus and method for extracting depth of 3d image thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020100113553 2010-11-15
KR20100113553 2010-11-15

Publications (1)

Publication Number Publication Date
KR20120052142A true KR20120052142A (en) 2012-05-23

Family

ID=46268963

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110005572A KR20120052142A (en) 2010-11-15 2011-01-19 3-dimension display apparatus and method for extracting depth of 3d image thereof

Country Status (1)

Country Link
KR (1) KR20120052142A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101372463B1 (en) * 2013-01-28 2014-03-10 숭실대학교산학협력단 Stereo image processing device and mobile apparatus and stereo image system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101372463B1 (en) * 2013-01-28 2014-03-10 숭실대학교산학협력단 Stereo image processing device and mobile apparatus and stereo image system

Similar Documents

Publication Publication Date Title
US9451242B2 (en) Apparatus for adjusting displayed picture, display apparatus and display method
TWI523488B (en) A method of processing parallax information comprised in a signal
US8953023B2 (en) Stereoscopic depth mapping
JP6106586B2 (en) Method and apparatus for customizing 3D effect of 3D content
US9224232B2 (en) Stereoscopic image generation device, stereoscopic image display device, stereoscopic image adjustment method, program for causing computer to execute stereoscopic image adjustment method, and recording medium on which the program is recorded
WO2010084716A1 (en) Image processing device, program, image processing method, recording method, and recording medium
US20130113701A1 (en) Image generation device
US11785197B2 (en) Viewer-adjusted stereoscopic image display
JP2007052304A (en) Video display system
JP5178876B2 (en) 3D image display apparatus and 3D image display method
KR20120032321A (en) Display apparatus and method for processing image applied to the same
JP2011176800A (en) Image processing apparatus, 3d display apparatus, and image processing method
JP5396877B2 (en) Image processing apparatus, program, image processing method, and recording method
US20120007949A1 (en) Method and apparatus for displaying
JP2018500690A (en) Method and system for generating magnified 3D images
US20120121163A1 (en) 3d display apparatus and method for extracting depth of 3d image thereof
KR101320477B1 (en) Building internal navication apparatus and method for controlling distance and speed of camera
KR20120052142A (en) 3-dimension display apparatus and method for extracting depth of 3d image thereof
JP2011176823A (en) Image processing apparatus, 3d display apparatus, and image processing method
CN111684517B (en) Viewer adjusted stereoscopic image display
KR20000001039A (en) Stereophonic method of image expressed by vrml(virtual reality modeling language) and device thereof
CN111176593A (en) Projection method and system for extended picture
Yang et al. 3DTV Video Acquisition and Processing for Visual Discomfort Alleviation
JP2012244433A (en) Image presentation apparatus

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E601 Decision to refuse application