KR20110093616A - Method for converting overlaying area into 3d image and apparatus thereof - Google Patents

Method for converting overlaying area into 3d image and apparatus thereof Download PDF

Info

Publication number
KR20110093616A
KR20110093616A KR1020110004537A KR20110004537A KR20110093616A KR 20110093616 A KR20110093616 A KR 20110093616A KR 1020110004537 A KR1020110004537 A KR 1020110004537A KR 20110004537 A KR20110004537 A KR 20110004537A KR 20110093616 A KR20110093616 A KR 20110093616A
Authority
KR
South Korea
Prior art keywords
depth value
depth
overlay
overlay area
image
Prior art date
Application number
KR1020110004537A
Other languages
Korean (ko)
Other versions
KR101797035B1 (en
Inventor
권오재
이진성
민종술
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US13/023,887 priority Critical patent/US9398289B2/en
Publication of KR20110093616A publication Critical patent/KR20110093616A/en
Application granted granted Critical
Publication of KR101797035B1 publication Critical patent/KR101797035B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/122Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/271Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/327Calibration thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)

Abstract

PURPOSE: A three-dimensional image converting method of an overlay area and apparatus thereof are provided to reduce audition fatigue according to 3D effect of an overlay region. CONSTITUTION: A depth map indicating perspective is generated from an inputted mono-scopic image(210). The overlay region included in the inputted mono-scopic image is detected(220). The depth value of a map is corrected in the detected overlay area(230).

Description

오버레이 영역의 3D 영상 변환 방법 및 그 장치{Method for converting overlaying area into 3D image and apparatus thereof}Method for converting 3D image of overlay area and apparatus therefor {Method for converting overlaying area into 3D image and apparatus}

본 발명은 오버레이 영역의 3D 영상 변환 방법에 관한 것으로서, 더욱 상세하게는 3D 영상으로 변환함에 있어서, 오버레이 영역이 균일한 깊이감을 갖도록 함으로써 왜곡 현상을 방지하는 3D 영상 변환 방법에 관한 것이다.The present invention relates to a 3D image conversion method of the overlay region, and more particularly, to a 3D image conversion method of preventing distortion by making the overlay region have a uniform depth in the conversion to the 3D image.

인간이 입체감을 느끼는 가장 큰 요인은 하나의 물체를 좌안과 우안으로 서로 다른 방향에서 주시함으로써 생기는 좌/우 망막 상의 공간적 차이 때문이다. 이러한 차이를 2차원 평면인 디스플레이 장치에서 느낄 수 있게 하기 위해 좌안과 우안에 서로 다른 영상 즉, 양안 영상(stereoscopic image)을 디스플레이함으로써 3차원 영상을 보고 있는 것으로 시청자(viewer)가 느끼게 할 수 있다.The biggest factor that humans feel in 3D is due to the spatial difference on the left and right retinas caused by looking at one object from different directions to the left and right eyes. In order to be able to feel such a difference in the display device which is a two-dimensional plane, a viewer may feel that the user is viewing a three-dimensional image by displaying different images, that is, a stereoscopic image.

이러한 3차원 영상은 제작 당시에 여러 대의 카메라를 이용하여 생성할 수도 있으나, 기존에 제작된 2차원 영상을 차후에 3차원 영상으로 변환할 수도 있다. 이러한 3D 영상 변환 기술에서는 양안 시차를 고려하여 좌우안 영상으로 분리하여 생성한 후, 이를 결합하여 재생하고, 시청자는 셔터 및 편광 방식 안경 등을 착용해 좌안으로 보이는 영상과 우안으로 보이는 영상을 분리하여 관찰함으로써 3차원 영상을 보는 것으로 느끼게 된다.Such a 3D image may be generated by using a plurality of cameras at the time of production, but may be converted into a 3D image later on. In this 3D image conversion technology, the left and right eye images are separated and generated in consideration of binocular disparity, and then combined and played back, and the viewer separates the image from the left eye and the image from the right eye by wearing a shutter and polarized glasses. By observing, it is felt to see three-dimensional images.

그러나, 종래의 자막 영역의 3D 영상 변환 기술에서는 2D 영상 내에 포함된 자막 영역에 대한 별도의 처리 방식이 없었으며, 다만 자막에 대한 메타데이터가 영상데이터에 부가되어 수신되는 경우에는 자막 영역에 대한 메타데이터를 활용하여 자막 영역을 2D로 강제 변환하기도 한다.However, in the conventional 3D image conversion technology of the subtitle area, there is no separate processing method for the subtitle area included in the 2D image. However, when the metadata for the subtitle is received in addition to the image data, Data can also be used to coerce subtitles into 2D.

그러나 자막 영역을 2D로 강제 변환하기 때문에, 3D 영상 변환 후에는 자막 영역과 주변 배경의 불연속적인 깊이감으로 인한 시청 방해가 발생하거나, 자막 영역이 배경 영상 뒤편에 표시되는 등의 왜곡 현상이 발생하여 이로 인해 시청 피로감이 여전히 남게 된다.However, since the subtitle area is forcibly converted to 2D, after the 3D image conversion, a viewing disturbance occurs due to the discontinuous depth of the subtitle area and the surrounding background, or the subtitle area is displayed behind the background image. This leaves the viewing fatigue still.

본 발명의 목적은 오버레이 영역에 대한 메타 데이터가 없는 일반적인 2D 영상에 대해서 오버레이 영역을 검출한 후에, 해당 영역에 대한 주변 배경의 깊이감과의 관계를 고려하여, 상기 오버레이 영역에 깊이값을 균일하게 할당함으로써, 오버 레이 영역의 3D 효과로 인한 시청 피로감을 줄이며 오버레이 영역과 주변 배경의 불연속적인 깊이감이 발생하지 않도록 하는 오버레이 영역의 3D 영상 변환 방법 및 장치를 제공하는 것이다.An object of the present invention is to uniformly allocate the depth value to the overlay area in consideration of the relationship with the depth of the surrounding background for the area after detecting the overlay area for the general 2D image having no metadata for the overlay area Accordingly, the present invention provides a method and apparatus for converting 3D images of an overlay area to reduce viewing fatigue due to the 3D effect of the overlay area and to prevent discontinuity of the overlay area and the surrounding background from occurring.

상기 기술적 과제를 해결하기 위한 본 발명의 일 실시예에 따른 오버레이 영역의 3D 영상 변환 방법은 입력된 단안 영상으로부터 원근감을 표시하는 깊이 지도(depth map)를 생성하는 단계와; 상기 입력된 단안 영상에 포함된 오버레이 영역을 검출하는 단계와; 상기 검출된 오버레이 영역 및 배경 영상 중 적어도 하나에 대하여, 상기 깊이 지도에서의 깊이값을 보정하는 단계와; 상기 보정된 깊이 지도에 기초하여, 양안 영상을 생성하는 단계를 포함한다.According to an aspect of the present invention, there is provided a method of converting a 3D image of an overlay region, the method including: generating a depth map displaying a perspective from an input monocular image; Detecting an overlay region included in the input monocular image; Correcting a depth value in the depth map with respect to at least one of the detected overlay area and the background image; Generating a binocular image based on the corrected depth map.

본 발명의 또 다른 실시예에 따르면, 상기 보정하는 단계는 상기 검출된 오버레이 영역의 주변 영역에 할당된 깊이값에 근사한 값으로 보정한다.According to another embodiment of the present invention, the correcting step is corrected to a value close to the depth value assigned to the peripheral area of the detected overlay area.

본 발명의 또 다른 실시예에 따르면, 상기 보정하는 단계는 상기 검출된 오버레이 영역의 경계 부분에 위치한 배경 영상에 대하여 적어도 하나 이상의 깊이값을 검색하는 단계와; 상기 검색된 적어도 하나 이상의 깊이값의 평균값을 계산하는 단계와; 상기 계산된 평균값을 상기 오버레이 영역의 깊이값으로 균일하게 할당하는 단계를 더 포함한다.According to another embodiment of the present invention, the correcting may include searching for at least one depth value with respect to a background image located at a boundary of the detected overlay area; Calculating an average value of the retrieved at least one depth value; And uniformly allocating the calculated average value as a depth value of the overlay area.

본 발명의 또 다른 실시예에 따르면, 상기 오버레이 영역을 검출하는 단계는 상기 입력된 단안 영상에서 경계(edge)와 색상(color)성분을 분석하여 오버레이 영역을 추출한다.According to another embodiment of the present invention, the detecting of the overlay region may include extracting an overlay region by analyzing edges and color components in the input monocular image.

본 발명의 또 다른 실시예에 따르면, 양안 영상을 생성하는 단계는 상기 오버레이 영역에 대한 보정값을 반영하여 완성된 깊이 지도로부터 양안 시차를 계산하여 좌우안의 양안 영상을 생성한다.According to another embodiment of the present invention, generating the binocular image generates the binocular images of the left and right eyes by calculating the binocular disparity from the completed depth map by reflecting the correction value for the overlay area.

본 발명의 또 다른 실시예에 따르면, 상기 오버레이 영역을 검출하는 단계는 상기 오버레이 영역의 위치 정보에 기초하여 수행되고, 상기 오버레이 영역의 위치 정보는 상기 오버레이 영역의 위치를 나타내는 좌표 또는 상기 오버레이 영역의 위치를 나타내는 비트맵 정보이다. According to another embodiment of the present invention, the detecting of the overlay area is performed based on the location information of the overlay area, and the location information of the overlay area is a coordinate representing the location of the overlay area or the location of the overlay area. Bitmap information indicating a location.

본 발명의 또 다른 실시예에 따르면, 상기 보정하는 단계는, 상기 오버레이 영역의 위치, 크기 및 이동 여부 중 적어도 하나에 기초하여 상기 보정을 수행할 것인지를 판단하는 단계를 더 포함하고, 상기 보정하는 단계는 상기 판단 결과, 상기 보정을 수행하도록 결정된 경우에 한하여 수행된다. According to another embodiment of the present invention, the step of correcting further comprises the step of determining whether to perform the correction based on at least one of the position, size and movement of the overlay area, The step is performed only when it is determined that the correction is performed as a result of the determination.

본 발명의 또 다른 실시예에 따르면, 상기 보정하는 단계는, 상기 배경 영상의 객체들이 모두 동일한 깊이값을 가지도록 보정한다. According to another embodiment of the present invention, in the correcting, the objects of the background image are corrected to have the same depth value.

본 발명의 또 다른 실시예에 따르면, 상기 보정하는 단계는, 상기 배경 영상의 객체들 각각의 깊이값들간의 차이가 줄어들도록 보정한다. According to another embodiment of the present invention, the correcting may include correcting such that a difference between depth values of the objects of the background image is reduced.

본 발명의 또 다른 실시예에 따르면, 상기 보정하는 단계는, 상기 배경 영상의 객체들의 깊이값들 중 가장 높은 깊이값 또는 상기 배경 영상의 객체들의 깊이값들의 평균 값보다 소정의 깊이만큼 높은 깊이 값을 상기 오버레이 영역의 깊이값으로서 설정한다. According to another embodiment of the present invention, the correcting may include a depth value higher by a predetermined depth than the highest depth value of the depth values of the objects of the background image or an average value of the depth values of the objects of the background image. Is set as the depth value of the overlay area.

본 발명의 또 다른 실시예에 따르면, 상기 보정하는 단계는 상기 오버레이 영역의 중앙에서의 깊이값 또는 상기 오버레이 영역의 경계에서의 깊이값을 오버레이 영역 전체의 깊이값으로 설정한다. According to another embodiment of the present invention, the correcting step sets the depth value at the center of the overlay area or the depth value at the boundary of the overlay area to the depth value of the entire overlay area.

본 발명의 또 다른 실시예에 따르면, 상기 보정이 수행된 후에, 상기 오버레이 영역의 깊이값과 상기 배경 영상의 깊이값간의 차이를 제거하기 위한 필터링을 상기 오버레이 영역에 대하여 수행하는 단계를 더 포함한다. According to another embodiment of the present invention, after the correction is performed, the method may further include performing filtering on the overlay area to remove a difference between the depth value of the overlay area and the depth value of the background image. .

본 발명의 또 다른 실시예에 따르면,상기 보정하는 단계는 상기 배경 영상의 깊이값과 상기 오버레이 영역의 깊이값에게 각각 가중치를 적용하여 얻어진 깊이값을 이용하여 수행된다. According to another embodiment of the present invention, the correcting is performed using a depth value obtained by applying weights to the depth value of the background image and the depth value of the overlay area, respectively.

본 발명의 또 다른 실시예에 따르면, 상기 보정하는 단계는 상기 오버레이 영역이 복수개일 때, 상기 복수개의 오버레이 영역 각각의 깊이값의 최소값, 최대값 또는 평균 값 중 하나를 상기 복수개의 오버레이 영역 각각의 깊이값으로 설정한다. According to another exemplary embodiment of the present disclosure, the correcting may include one of a minimum value, a maximum value, and an average value of depth values of each of the plurality of overlay regions when the overlay regions are plural. Set to the depth value.

본 발명의 또 다른 실시예에 따르면, 상기 보정하는 단계는 사용자로부터 입력된 깊이 값을 상기 오버레이 영역의 깊이값으로 설정한다. According to another embodiment of the present invention, the correcting step sets the depth value input from the user to the depth value of the overlay area.

본 발명의 또 다른 실시예에 따르면, 상기 양안 영상을 생성하는 단계는 상기 오버레이 영역 내의 픽셀 값들은 참조하지 않고, 상기 배경 영상 내의 픽셀 값들만을 참조하여 수행된다. According to another embodiment of the present invention, the step of generating the binocular image is performed by referring to only pixel values in the background image without referring to pixel values in the overlay area.

한편, 상기 기술적 과제를 해결하기 위한 본 발명의 다른 실시예에 따른 오버레이 영역의 3D 영상 변환 장치는 입력된 단안 영상으로부터 원근감을 표시하는 깊이 지도(depth map)를 생성하는 깊이 지도 생성부와; 상기 입력된 단안 영상에 포함된 오버레이 영역을 검출하는 오버레이 영역 검출부와; 상기 검출된 오버레이 영역 및 배경 영상 중 적어도 하나에 대하여, 상기 깊이 지도에서의 깊이값을 보정하는 깊이값 보정부와; 상기 보정된 깊이 지도에 기초하여, 양안 영상을 생성하는 양안 영상 생성부를 포함한다.On the other hand, 3D image conversion apparatus of the overlay area according to another embodiment of the present invention for solving the above technical problem and a depth map generator for generating a depth map (display depth) from the input monocular image; An overlay region detector for detecting an overlay region included in the input monocular image; A depth value corrector for correcting a depth value in the depth map with respect to at least one of the detected overlay area and the background image; And a binocular image generator configured to generate a binocular image based on the corrected depth map.

본 발명의 또 다른 실시예에 따르면, 상기 깊이값 보정부는 상기 검출된 오버레이 영역의 주변 영역에 할당된 깊이값에 근사한 값으로 상기 오버레이 영역의 깊이값을 보정한다.According to another embodiment of the present invention, the depth value corrector corrects the depth value of the overlay area to a value close to the depth value allocated to the peripheral area of the detected overlay area.

본 발명의 또 다른 실시예에 따르면, 상기 깊이값 보정부는 상기 검출된 오버레이 영역의 경계 부분에 위치한 배경 영상에 대하여 적어도 하나 이상의 깊이값을 검색하는 검색부와; 상기 검색된 적어도 하나 이상의 깊이값의 평균값을 계산하는 평균값 연산부를 더 포함하며, 상기 계산된 평균값을 상기 오버레이 영역의 깊이값으로 균일하게 할당한다.According to another embodiment of the present invention, the depth value corrector comprises: a searcher for searching for at least one or more depth values with respect to a background image located at a boundary of the detected overlay area; The apparatus may further include an average calculator configured to calculate an average value of the at least one searched depth value, and uniformly allocate the calculated average value as a depth value of the overlay area.

본 발명의 또 다른 실시예에 따르면, 상기 오버레이 영역 검출부는 상기 입력된 단안 영상에서 경계(edge)와 색상(color)성분을 분석하여 오버레이 영역을 추출한다. According to another embodiment of the present invention, the overlay region detector extracts an overlay region by analyzing edges and color components in the input monocular image.

본 발명의 또 다른 실시예에 따르면, 상기 양안 영상 생성부는 상기 오버레이 영역에 대한 보정값을 반영하여 완성된 깊이 지도로부터 양안 시차를 계산하여 좌우안의 양안 영상을 생성한다.According to another embodiment of the present invention, the binocular image generation unit generates binocular images of left and right eyes by calculating binocular disparity from the completed depth map by reflecting the correction value for the overlay area.

상기 기술적 과제를 해결하기 위해 본 발명의 일 실시예는 상기된 3D 영상 변환 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다.In order to solve the above technical problem, an embodiment of the present invention provides a computer-readable recording medium recording a program for executing the above-described 3D image conversion method.

본 발명의 실시예에 따른 오버레이 영역의 3D 영상 변환 방법에 따르면, 3D 영상으로의 변환 결과, 적용 전에는 같은 글자라도 위치에 따라 서로 다른 양안 시차를 부여하게 되지만, 본 발명에서 제시한 오버레이 영역 3D 변환 기술을 적용하면 오버레이 영역에 균일한 양안 시차가 부여되므로 오버레이 영역이 동일한 깊이감을 가지게 되고 왜곡 현상이 발생하지 않는다. 또한 오버 레이 영역이 오버레이 영역의 주변에 위치한 배경 영역과 유사한 깊이감을 가지게 되고, 오버레이 영역이 검출되면 배경 영상의 깊이 값이 보정되므로, 오버 레이 영역의 3D 효과에 따른 시청 피로감이 저감된다.According to the 3D image conversion method of the overlay region according to an embodiment of the present invention, as a result of the conversion to the 3D image, even if the same letters are given different binocular disparity depending on the position, the overlay region 3D conversion proposed by the present invention Applying the technique gives a uniform binocular parallax to the overlay area, so that the overlay area has the same depth and no distortion occurs. In addition, since the overlay region has a depth similar to that of the background region positioned around the overlay region, and when the overlay region is detected, the depth value of the background image is corrected, thereby reducing the viewing fatigue due to the 3D effect of the overlay region.

도 1은 자막 영역을 포함하는 단안 영상 프레임의 일 예를 나타내기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른, 오버레이 영역의 3D 영상 변환 방법을 설명하기 위한 플로우 차트이다.
도 3은 본 발명의 제2 실시예에 따른, 오버레이 영역의 3D 영상 변환 방법을 설명하기 위한 플로우 차트이다.
도 4는 도 2에서 오버레이 영역에 대한 깊이값을 보정하는 단계의 일 실시예를 설명하기 위한 플로우 차트이다.
도 5a는 오버레이 영역을 3D 영상으로 변환 시에 본 발명의 일 실시예를 적용하지 않은 예를 나타내는 도면이다.
도 5b는 오버레이 영역을 3D 영상으로 변환 시에 본 발명의 일 실시예를 적용한 예를 나타내는 도면이다.
도 6은 본 발명의 다른 실시예에 따른, 오버레이 영역의 3D 영상 변환 장치를 나타내는 기능 블록도이다.
상기 몇 개의 도면에 있어서 대응하는 도면 번호는 대응하는 부분을 가리킨다. 도면이 본 발명의 실시예들을 나타내고 있지만, 도면이 축척에 따라 도시된 것은 아니며 본 발명을 보다 잘 나타내고 설명하기 위해 어떤 특징부는 과장되어 있을 수 있다.
1 is a diagram illustrating an example of a monocular image frame including a caption area.
2 is a flowchart for describing a 3D image conversion method of an overlay area according to an embodiment of the present invention.
3 is a flowchart illustrating a 3D image conversion method of an overlay area according to a second embodiment of the present invention.
FIG. 4 is a flowchart for describing an exemplary embodiment of correcting a depth value of an overlay region in FIG. 2.
5A is a diagram illustrating an example in which an embodiment of the present invention is not applied when converting an overlay region into a 3D image.
5B is a diagram illustrating an example of applying an embodiment of the present invention when converting an overlay region into a 3D image.
6 is a functional block diagram illustrating a 3D image converting apparatus of an overlay area according to another embodiment of the present invention.
Corresponding reference numerals in the several drawings indicate corresponding parts. Although the drawings show embodiments of the invention, the drawings are not to scale and certain features may be exaggerated to better illustrate and explain the invention.

본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 도면에 기재된 내용을 참조하여야 한다. DETAILED DESCRIPTION In order to fully understand the present invention, the operational advantages of the present invention, and the objects achieved by the practice of the present invention, reference should be made to the accompanying drawings which illustrate preferred embodiments of the present invention and the contents described in the drawings.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대해 상세히 설명한다.Hereinafter, with reference to the accompanying drawings will be described in detail a preferred embodiment of the present invention.

도 1은 자막 영역을 포함하는 단안 영상 프레임의 일 예를 나타내기 위한 도면이다.1 is a diagram illustrating an example of a monocular image frame including a caption area.

도 1을 참조하면, 본 발명에서 관심을 가지고 바라보는 자막 영역(120)을 기준으로 볼 때, 영상 프레임(110) 내에서는 자막 외 다른 부분은 배경으로 볼 수 있다. 배경에는 여러 피사체(객체)가 등장할 수 있으며, 이들은 3D 영상으로 변환될 때가 각기 다른 깊이값(depth value)를 부여받게 되고, 그에 따라 서로 다른 양안 시차가 적용되어 3D 영상으로 디스플레이된다.Referring to FIG. 1, when referring to the caption area 120 viewed with interest in the present invention, other parts of the image frame 110 other than the caption may be viewed as a background. Several subjects (objects) may appear in the background, and when they are converted into 3D images, they are given different depth values, and accordingly different binocular parallaxes are displayed and displayed as 3D images.

이때 종래 기술에 따르면, 3D 영상으로 변환될 때 자막 영역(120)이 함께 변환됨으로써 각각의 글자에 서로 다른 깊이값을 할당받고, 서로 다른 양안 시차값이 적용될 수 있다. 한편, 자막 영역(120)만을 별도로 2D 변환하는 경우에 있어서도, 단순히 양안 시차값을 "0"(zero)으로 설정하므로 주변 배경의 깊이감과 상관없이 원근감에 관한 z축을 기준으로 맨 앞에 놓이거나, 맨 뒤에 놓이는 경우가 발생한다. In this case, according to the related art, when the caption region 120 is converted together when the 3D image is converted, different depth values are assigned to each letter, and different binocular disparity values may be applied. On the other hand, even in the case of only 2D conversion of the subtitle area 120 separately, since the binocular disparity value is simply set to "0" (zero), regardless of the depth of the surrounding background, it is placed in front of or based on the z-axis for perspective. It happens behind the scenes.

이런 경우에, 불연속적인 깊이감을 갖는 자막의 3D 효과로 인하여 시청자는 장시간동안 영상을 시청할 때 피로감을 느끼게 된다.In this case, the viewer may feel tired when watching the image for a long time due to the 3D effect of the subtitles having a discontinuous depth feeling.

따라서, 본 발명에서는 2D 영상에 대해서 자막 영역, OSD(On Screen Display), 영역, 방송사 Logo 영역 등을 포함하는 오버레이 영역(Overlaying area)을 검출한 후에, 주변 배경의 깊이값과의 관계를 고려한 소정의 깊이값을 해당 오버레이 영역에 균일하게 할당함으로써 오버레이 영역과 주변 배경의 불연속적인 깊이감이 발생하지 않도록 하는 방법을 제안한다.Accordingly, in the present invention, after detecting an overlaying area including a caption area, an OSD (On Screen Display) area, a broadcaster logo area, and the like for a 2D image, the present invention considers a relationship with a depth value of a surrounding background. By uniformly allocating the depth value to the corresponding overlay area, we propose a method to prevent the discontinuous depth of the overlay area and the surrounding background from occurring.

또한, 2D 영상에서 오버레이 영역이 검출되면, 2D 영상을 3D 영상으로 변환할 때 배경 영상의 깊이 값을 보정하는 방법을 제안한다. Also, when an overlay region is detected in a 2D image, a method of correcting a depth value of a background image when converting a 2D image into a 3D image is proposed.

도 2는 본 발명의 일 실시예에 따른, 오버레이 영역의 3D 영상 변환 방법을 설명하기 위한 플로우 차트이다.2 is a flowchart for describing a 3D image conversion method of an overlay area according to an embodiment of the present invention.

도 2를 참조하면, 일 실시예에 따른 오버레이 영역의 3D 영상 변환 방법은 입력된 단안 영상으로부터 원근감을 표시하는 깊이 지도(depth map)를 생성하는 단계(210)와 입력된 단안 영상에 포함된 오버레이 영역을 검출하는 단계(220)와 검출된 오버레이 영역에 대하여, 상기 깊이 지도에서의 깊이값을 균일한 값으로 보정하는 단계(230)와 보정된 깊이 지도에 기초하여, 양안 영상을 생성하는 단계(240)를 포함한다Referring to FIG. 2, the method for converting a 3D image of an overlay region according to an embodiment may include generating a depth map indicating a perspective from an input monocular image (210) and an overlay included in the input monocular image. Detecting the area 220 and correcting the depth value in the depth map to a uniform value for the detected overlay area 230 and generating a binocular image based on the corrected depth map ( Contains 240)

먼저 단계 210에서는, 입력된 2D 영상에 대한 깊이 지도(depth map)를 생성한다. 깊이 지도란, 영상 내의 객체들 사이에 대한 3차원 거리 차이를 나타내는 지도로서, 각 픽셀마다 0부터 255 사이의 값으로 표현된다. 흑/백으로 기준으로 나타낼 때 검은색(낮은 값)이 시청자로부터 먼 곳을 나타내며, 흰색(높은 값)이 시청자로부터 가까운 곳을 나타낸다.First, in step 210, a depth map of the input 2D image is generated. The depth map is a map representing a three-dimensional distance difference between objects in the image and is expressed as a value between 0 and 255 for each pixel. When expressed in black / white, black (low value) indicates far away from the viewer, and white (high value) indicates near the viewer.

다음으로 단계 220에서는, 단안 영상에 포함된 오버레이 영역을 검출한다. 오버레이 영역을 검출하는 기법의 일 예로, 단안 영상에서 경계(edge)와 색상(color) 성분을 분석하여 오버레이 영역을 추출하는 방법이 있다. 이때, 오버레이 영역에 해당하는 사각형을 추출할 수도 있다.Next, in step 220, an overlay area included in the monocular image is detected. As an example of a technique for detecting an overlay region, there is a method of extracting an overlay region by analyzing edge and color components in a monocular image. In this case, a rectangle corresponding to the overlay area may be extracted.

또한, 오버레이 영역 추출 방법으로 경계(edge), 색상(color) 뿐만 아니라 텍스처(texture) 정보와 같은 하위 계층(low-level)의 특징을 기반으로 하거나, 영상 내 삽입된 글자에 높이감을 주기 위해 경계부분에는 해당 글자와 다른 색으로 표현한다는 점을 이용한 천이(transition) 영역 검색 기법 등이 있다. 다음으로 단계 230에서는, 검출된 오버레이 영역에 대하여 깊이 지도에서의 깊이값을 보정한다. 이때, 오버레이 영역에 대한 보정값은 일정한 값으로 균일하게 할당된다. 즉, 오버레이 영역에 대해서는 각각의 글자에 대한 깊이감이 서로 달라지지 않게 표현되도록 균일한 깊이값을 부여하는 것이다.In addition, overlay area extraction method is based on low-level features such as edge and color as well as texture information, or it is used to increase the height of inserted text. In the part, there is a transition region search technique using a different color from the corresponding letter. Next, in step 230, the depth value in the depth map is corrected for the detected overlay area. At this time, the correction value for the overlay area is uniformly assigned to a constant value. That is, a uniform depth value is given to the overlay area so that the sense of depth for each letter does not change.

이렇게 오버레이 영역의 깊이값을 보정하는 경우에 있어서, 보정값이 되는 기준은 바로 주변 영역의 깊이값들이다. 즉, 변환된 3D 영상에 있어서 자막이 주변 배경 영상과 이질적이지 않고, 불연속적으로 표현되지 않기 위하여 주변 배경 영상의 깊이값과 유사한 값을 가질 필요가 있다. 따라서, 본 발명의 일 실시예에서는 검출된 오버레이 영역의 주변 영역에 할당된 깊이값에 근사한 값으로 상기 오버레이 영역의 깊이값을 보정한다.In the case where the depth value of the overlay area is corrected as described above, the reference values used as the correction values are the depth values of the peripheral area. That is, in the converted 3D image, the caption is not heterogeneous with the surrounding background image and needs to have a value similar to the depth value of the surrounding background image so as not to be discontinuously expressed. Therefore, in one embodiment of the present invention, the depth value of the overlay area is corrected to a value close to the depth value assigned to the detected peripheral area of the overlay area.

마지막으로 단계 240에서는, 상기 보정 과정으로 완성된 깊이 지도에 기초하여 좌우안의 양안 영상을 생성한다. 즉, 깊이 지도를 참조하여 양안 시차를 계산하고, 영상 내에 표시되는 객체들을 각각의 양안 시차만큼 이동시킴으로써 좌우안 영상을 생성한다.Finally, in step 240, the left and right eyes of both eyes are generated based on the depth map completed by the correction process. That is, binocular disparity is calculated with reference to the depth map, and left and right eye images are generated by moving objects displayed in the image by each binocular disparity.

이렇게 변환된 3D 영상을 보면, 영상내 오버레이 영역은 주변 배경과 유사한 깊이감을 가짐으로써 연속성을 유지하고, 동시에 자막 내의 각각의 글자들은 동일한 양안 시차값을 부여받아 왜곡 현상이 발생하지 않는다.In this converted 3D image, the overlay region in the image maintains continuity by having a similar sense of depth to the surrounding background, and at the same time, each letter in the subtitle is given the same binocular disparity value so that no distortion occurs.

도 3은 본 발명의 제2 실시예에 따른, 오버레이 영역의 3D 영상 변환 방법을 설명하기 위한 플로우 차트이다.3 is a flowchart illustrating a 3D image conversion method of an overlay area according to a second embodiment of the present invention.

단계 310에서는, 입력된 2D 영상에 대한 깊이 지도(depth map)를 생성한다. 단계 320에서는, 단안 영상에 포함된 오버레이 영역을 검출한다.In operation 310, a depth map of the input 2D image is generated. In operation 320, the overlay area included in the monocular image is detected.

이때, 오버레이 영역은 오버레이 영역의 위치 정보에 기초하여 검출될 수도 있다. 예컨대, 검출하고자 하는 오버레이 영역이 디스플레이 장치에서 생성한 OSD를 나타내는 영역인 경우에는 디스플레이 장치로부터 그 OSD 영역의 위치 정보를 제공받아 OSD 영역을 검출할 수 있다. 이때, OSD 영역의 위치 정보는 OSD 영역에 대한 좌표 값의 형태를 가질 수도 있지만, OSD 영역은 1로 표시되고, OSD 영역 외의 배경 영상은 0으로 표시된 비트맵 형태를 가질 수도 있다. In this case, the overlay area may be detected based on the location information of the overlay area. For example, when the overlay area to be detected is an area indicating an OSD generated by the display device, the OSD area may be detected by receiving location information of the OSD area from the display device. In this case, the position information of the OSD region may have a form of coordinate values for the OSD region, but the OSD region may be displayed as 1, and the background image other than the OSD region may have a bitmap form.

단계 330에서는, 검출된 오버레이 영역 및 배경 영상 중 적어도 하나에 대하여 깊이 지도에서의 깊이값을 보정할 것인지 여부를 판단한다. In operation 330, it is determined whether at least one of the detected overlay region and the background image is to correct the depth value in the depth map.

만일, 깊이값을 보정한다면 단계 340으로 진행하고, 그렇지 않다면 단계 350으로 진행한다. If the depth value is corrected, go to step 340; otherwise, go to step 350.

이와 같이 본 실시예에서는 도 2의 실시예와는 달리 무조건 오버레이 영역에 대하여 깊이 지도에서의 깊이값을 보정하는 것이 아니라, 오버레이 영역이 소정의 조건을 만족하는 경우에 한하여 보정을 수행한다. As described above, unlike the embodiment of FIG. 2, in the present embodiment, the depth value in the depth map is not corrected for the overlay area unconditionally, but only when the overlay area satisfies a predetermined condition.

예컨대, 오버레이 영역의 위치, 크기, 이동 여부 등에 기초하여 깊이값의 보정 여부가 결정될 수 있다. 보다 구체적으로는, 오버레이 영역이 중앙에 위치하거나, 오버레이 영역의 크기가 소정의 임계치보다 크거나, 오버레이 영역이 이동하지 않는 경우 등에는 오버레이 영역 및 배경 영상 중 적어도 하나에 대하여 깊이 지도에서의 깊이값을 보정할 수 있다. For example, whether or not the depth value is corrected may be determined based on the position, size, and movement of the overlay area. More specifically, the depth value in the depth map with respect to at least one of the overlay area and the background image when the overlay area is located at the center, the size of the overlay area is larger than a predetermined threshold value, or the overlay area does not move. Can be corrected.

단계 340에서는, 검출된 오버레이 영역 및 배경 영상 중 적어도 하나에 대하여 깊이 지도에서의 깊이값을 보정한다. In operation 340, the depth value of the depth map is corrected for at least one of the detected overlay region and the background image.

즉, 본 실시예에서는 다음과 같이 3가지 종류의 깊이값 보정 방법이 수행된다. That is, in this embodiment, three types of depth value correction methods are performed as follows.

첫째는, 배경 영상에 대해서만 깊이 지도에서의 깊이값을 보정하는 방법이다. First, a method of correcting a depth value in a depth map only for a background image is performed.

첫번째 보정 방법에서는, i) 배경 영상의 객체들이 모두 동일한 깊이값을 가지도록 보정하는 방법 또는 ii) 배경 영상의 객체들 각각의 깊이값들간의 차이를 줄이는 방법이 이용될 수 있다. ii)의 경우에 배경 영상의 객체들 각각의 깊이값들간의 차이를 소정 비율만큼 줄일 수 있다.In the first correction method, i) a method of correcting the objects of the background image to have the same depth value, or ii) a method of reducing the difference between the depth values of each of the objects of the background image may be used. In the case of ii), the difference between the depth values of the objects of the background image may be reduced by a predetermined ratio.

예컨대, OSD가 화면에 디스플레이 되는 경우에 첫번째 보정 방법을 적용하게 되면 배경 영상이 2D 영상으로 보이거나 2D 영상에 가깝게 보이게 되므로 사용자는 OSD 영역을 덜 피로하게 시청할 수 있게 된다. For example, when the first correction method is applied when the OSD is displayed on the screen, the background image may be displayed as a 2D image or close to the 2D image, so that the user may view the OSD area less tiredly.

둘째는, 오버레이 영역에 대해서만 깊이 지도에서의 깊이값을 보정하는 방법이다.The second method is to correct the depth value in the depth map only for the overlay area.

두번째 보정 방법에서는, i) 오버레이 영역의 양안 시차 값을 0으로 설정하는 방법, ii) 배경 영상의 객체들의 깊이값들 중 가장 높은 깊이값보다 소정의 깊이만큼 높은 깊이 값을 오버레이 영역의 깊이값으로서 설정하는 방법, iii) 배경 영상의 객체들의 깊이값들의 평균 값보다 소정의 깊이만큼 높은 깊이 값을 오버레이 영역의 깊이값으로서 설정하는 방법, iv) 오버레이 영역의 중앙에서의 깊이값 또는 경계에서의 깊이값을 오버레이 영역 전체의 깊이값으로 설정하는 방법, v) 배경 영상의 깊이값과 오버레이 영역의 깊이값에게 각각 가중치를 적용하여 얻어진 깊이값을 오버레이 영역의 깊이값으로서 설정하는 방법, vi) 임의의 디폴트 값(default value)을 오버레이 영역의 깊이값으로 설정하는 방법, vii) 오버레이 영역이 복수개인 경우에 복수개의 오버레이 영역 각각의 깊이값의 최소값, 최대값 또는 평균 값을 모든 오버레이 영역의 깊이값으로 설정하는 방법, viii) 사용자가 입력한 깊이 값을 오버레이 영역의 깊이값으로 설정하는 방법, ix) 오버레이 영역 주변의 배경 영상의 깊이값을 이용하여 보정하는 방법 등이 이용될 수 있다. In the second correction method, i) a binocular parallax value of the overlay region is set to 0, ii) a depth value higher by a predetermined depth than the highest depth value among the depth values of the objects of the background image as the depth value of the overlay region. Setting method, iii) setting a depth value higher than a mean value of the depth values of objects of the background image as a depth value of the overlay area, iv) a depth value at the center of the overlay area or a depth at a boundary V) a method of setting a value as a depth value of the entire overlay area, v) a method of setting a depth value obtained by applying weights to the depth value of the background image and the depth value of the overlay area as the depth value of the overlay area, vi) any Setting a default value to a depth value of an overlay area, vii) a plurality of overlays when there are multiple overlay areas How to set the minimum, maximum or average value of the depth value of each area as the depth value of all overlay areas, viii) how to set the depth value input by the user as the depth value of the overlay area, ix) A method of correcting using a depth value of the background image may be used.

이때, v) 배경 영상의 깊이값과 오버레이 영역의 깊이값에게 각각 가중치를 적용하여 얻어진 깊이값을 오버레이 영역의 깊이값으로서 설정하는 방법은 수학식 1을 참조하여 설명한다. 예컨대, 배경 영상의 깊이값과 오버레이 영역의 깊이값 각각에게 적용되는 가중치가 0.7과 0.3이라고 하면, 배경 영상의 객체들의 깊이값들의 평균 값(Dbaver)을 계산한 후, 그 배경 영상의 객체들의 깊이값들의 평균 값(Dbaver)에 0.7을 곱하고, 오버레이 영역의 깊이값(Do)에 0.3을 곱한 후, 양 값을 합산함으로써, 오버레이 영역의 새로운 깊이값으로서 설정될 보정된 깊이 값(Dco)이 계산될 수 있다. In this case, v) a method of setting the depth value obtained by applying weights to the depth value of the background image and the depth value of the overlay area as the depth value of the overlay area will be described with reference to Equation (1). For example, if the weights applied to the depth value of the background image and the depth value of the overlay area are 0.7 and 0.3, the average value (Dbaver) of the depth values of the objects of the background image is calculated, and then the depths of the objects of the background image are calculated. By multiplying the average value (Dbaver) of the values by 0.7, multiplying the depth value (Do) of the overlay area by 0.3, and summing both values, the corrected depth value (Dco) to be set as the new depth value of the overlay area is calculated. Can be.

[수학식 1][Equation 1]

Figure pat00001
Figure pat00001

한편, vii)의 오버레이 영역 주변의 배경 영상의 깊이값을 이용하여 오버레이 영역에 대해 깊이값을 보정하는 방법은 도 4를 참조하여 후술한다. Meanwhile, a method of correcting the depth value of the overlay area using the depth value of the background image around the overlay area of vii) will be described later with reference to FIG. 4.

한편, 두번째 보정 방법에 따라 오버레이 영역에 대해서만 깊이 지도에서의 깊이값이 보정되면 오버레이 영역의 깊이값과 배경 영상의 깊이값이 심하게 차이가 나게 되어 오버레이 영역의 경계에서 왜곡이 발생할 수 있다. 따라서, 다른 실시예에서는 이와 같은 왜곡을 제거하기 위하여 오버레이 영역에 대하여 미디언 필터(median filter), 가중 평균 필터(weighted average filter) 또는 멕시멈 필터(maximum filter)와 같은 스무딩 필터(smoothing filter)가 적용될 수 있다. On the other hand, if the depth value of the depth map is corrected only for the overlay region according to the second correction method, the depth value of the overlay region and the depth value of the background image are severely different, and distortion may occur at the boundary of the overlay region. Therefore, in another embodiment, a smoothing filter such as a median filter, a weighted average filter, or a maximum filter is applied to the overlay area in order to remove such distortion. Can be applied.

다만, 본 발명의 일실시예는 스무딩 필터 외에도 오버레이 영역의 깊이값과 배경 영상의 깊이값의 차이를 제거할 수 있는 모든 종류의 필터가 이용될 수 있다. 예컨대, 다른 실시예에서는 스무딩 필터 대신에 로우패스 필터가 이용될 수 있다. However, in one embodiment of the present invention, all kinds of filters capable of removing the difference between the depth value of the overlay area and the depth value of the background image may be used in addition to the smoothing filter. For example, in other embodiments a lowpass filter may be used instead of a smoothing filter.

셋째는, 배경 영상과 오버레이 영역 모두에 대하여 깊이 지도에서의 깊이값을 보정하는 방법이다.Third, the depth value of the depth map is corrected for both the background image and the overlay area.

다른 실시예에서는, 오버레이 영역의 종류에 따라 전술한 첫번째 내지 세번째 보정 방법 중에서 어느 보정 방법을 이용하여 보정을 수행할 것인지가 결정될 수도 있다. In another embodiment, it may be determined which correction method is performed from among the first to third correction methods described above according to the type of the overlay area.

예컨대, 오버레이 영역이 자막을 나타내는 영역인 경우에는 오버레이 영역의 깊이값만을 보정하고, 오버레이 영역이 OSD를 나타내는 영역인 경우에는 오버레이 영역과 배경 영상 모두의 깊이값을 보정하거나, 배경 영상의 깊이값만을 보정할 수 있다. For example, if the overlay area is a subtitle area, only the depth value of the overlay area is corrected. If the overlay area is an OSD area, only the depth value of both the overlay area and the background image is corrected, or only the depth value of the background image is corrected. You can correct it.

단계 350에서는, 단계 340에서의 보정 과정으로 완성된 깊이 지도에 기초하여 좌우안의 양안 영상을 생성하거나, 깊이값이 보정되지 않은 단계 310의 깊이 지도에 기초하여 좌우안의 양안 영상을 생성한다. In operation 350, binocular images of left and right eyes are generated based on the depth map completed by the correction process in step 340, or both eyes images are generated based on the depth map of step 310 in which the depth value is not corrected.

이때, 좌우안의 양안 영상은 오버레이 영역 내의 픽셀 값들은 참조하지 않고, 배경 영상 내의 픽셀 값들만을 참조하여 생성될 수 있다. In this case, the binocular images of the left and right eyes may be generated by referring to only pixel values in the background image without referring to pixel values in the overlay area.

도 4는 도 2에서 오버레이 영역에 대한 깊이값을 보정하는 단계의 일 실시예를 설명하기 위한 플로우 차트이다.FIG. 4 is a flowchart for describing an exemplary embodiment of correcting a depth value of an overlay region in FIG. 2.

도 4를 참조하면, 오버레이 영역에 대한 깊이값을 보정하는 일 예로서 주변 배경의 평균 깊이값을 이용하는 방법이 개시된다.Referring to FIG. 4, a method of using an average depth value of a surrounding background is disclosed as an example of correcting a depth value of an overlay area.

각 동작 과정을 살펴보면, 먼저 검출된 오버레이 영역의 경계 부분에 위치한 배경 영상에 대하여 적어도 하나 이상의 깊이값을 검색하고(410), 검색된 적어도 하나 이상의 깊이값의 평균값을 계산한 후(420), 계산된 평균값을 상기 오버레이 영역의 깊이값으로 균일하게 할당할 수 있다(430). Referring to each operation process, first, at least one depth value is searched for a background image located at a boundary of the detected overlay area (410), and an average value of the at least one detected depth value is calculated (420). An average value may be uniformly assigned to the depth value of the overlay area (430).

아울러, 평균값 뿐만 아니라 오버레이 영역을 둘러싼 주변 영역의 깊이값들을 검색하여 이들의 중간값, 최빈값 등을 적용하는 것도 가능하다.In addition, it is also possible to search not only the average value but also the depth values of the surrounding area surrounding the overlay area and apply their median value, mode, and the like.

도 5a는 오버레이 영역을 3D 영상으로 변환 시에 본 발명의 일 실시예를 적용하지 않은 예를 나타내는 도면이다. 한편, 도 5b는 오버레이 영역을 3D 영상으로 변환 시에 본 발명의 일 실시예를 적용한 예를 나타내는 도면이다.5A is a diagram illustrating an example in which an embodiment of the present invention is not applied when converting an overlay region into a 3D image. 5B is a diagram illustrating an example of applying an embodiment of the present invention when converting an overlay region into a 3D image.

도 5a를 참조하면, 먼저 오버레이 영역에 대한 좌안 영상(510)과 우안 영상(520)이 나타나 있다. 좌우안 영상에 표현된 자막의 위치를 a1, a2, a3로 서로 비교해 보면(여기서 실선은 좌안 영상(510)의 각 글자의 위치를 나타내며, 점선은 아래 우안 영상(520)의 각 글자의 위치를 나타낸다), 각각의 글자에 적용된 양안 시차가 서로 다르게 표현되어 있음을 알 수 있다. 이는 도 5b에서 대응되는 부분인 b1, b2, b3를 비교하여 살펴보면 보다 명확히 알 수 있다. 도 5a와 같은 상태로 자막이 3차원 디스플레이 되는 경우에는, 시청자는 자막을 판독하기가 어렵고 장시간 시청시 피로감이 가중된다. Referring to FIG. 5A, first, a left eye image 510 and a right eye image 520 of an overlay area are shown. Comparing the positions of the subtitles represented in the left and right eye images with a1, a2, and a3 (where the solid line indicates the position of each letter in the left eye image 510, and the dotted line indicates the position of each character in the lower right eye image 520). It can be seen that the binocular disparity applied to each letter is expressed differently. This can be clearly seen by comparing the corresponding parts b1, b2, and b3 in FIG. 5B. When the subtitles are three-dimensionally displayed in the state as shown in FIG. 5A, it is difficult for the viewer to read the subtitles and adds fatigue during long time viewing.

그러나, 본 발명의 일 실시예가 적용된 도 5b를 다시 참조하면, 오버레이 영역에 대한 좌안 영상(510)과 우안 영상(520)에 표현된 자막의 위치를 b1, b2, b3로 서로 비교해 볼 때, 각각의 글자에 적용된 양안 시차가 서로 균일하게 표현되어 있음을 알 수 있다(이는 도 5a에서 대응되는 부분인 a1, a2, a3와 비교하면 보다 명확히 알 수 있다). 이렇게 도 5b와 같은 상태로 자막이 3차원 디스플레이 되는 경우에는, 오버레이 영역에서 왜곡 현상이 발생하지 않고 시청자는 보다 편안하게 자막을 판독할 수 있다. However, referring back to FIG. 5B to which an embodiment of the present invention is applied, when comparing the positions of the captions represented in the left eye image 510 and the right eye image 520 with respect to the overlay area, b1, b2, and b3, respectively, It can be seen that the binocular parallax applied to the letters of U are uniformly represented (this can be clearly seen in comparison with corresponding parts a1, a2, and a3 in FIG. 5A). When the subtitles are three-dimensionally displayed in the state as shown in FIG. 5B, the distortion does not occur in the overlay area, and the viewer can read the subtitles more comfortably.

도 6은 본 발명의 다른 실시예에 따른, 오버레이 영역의 3D 영상 변환 장치를 나타내는 기능 블록도이다.6 is a functional block diagram illustrating a 3D image converting apparatus of an overlay area according to another embodiment of the present invention.

도 6을 참조하면, 오버레이 영역의 3D 영상 변환 장치(600)의 일 실시예는 입력된 단안 영상으로부터 원근감을 표시하는 깊이 지도(depth map)를 생성하는 깊이 지도 생성부(610)와 입력된 단안 영상에 포함된 오버레이 영역을 검출하는 오버레이 영역 검출부(620)와 검출된 오버레이 영역 및 배경 영상 중 적어도 하나에 대하여, 깊이 지도에서의 깊이값을 보정하는 깊이값 보정부(630)와 보정된 깊이 지도에 기초하여, 양안 영상을 생성하는 양안 영상 생성부(640)를 포함한다.Referring to FIG. 6, an embodiment of the 3D image conversion apparatus 600 of an overlay area includes a depth map generator 610 and an input monocular for generating a depth map indicating a perspective from an input monocular image. An overlay region detector 620 for detecting an overlay region included in an image, a depth value corrector 630 for correcting a depth value in a depth map, and a corrected depth map for at least one of the detected overlay region and a background image And a binocular image generator 640 for generating a binocular image.

한편, 상기 깊이값 보정부(630)는, 검출된 오버레이 영역의 경계 부분에 위치한 배경 영상에 대하여 적어도 하나 이상의 깊이값을 검색하는 검색부와 검색된 적어도 하나 이상의 깊이값의 평균값을 계산하는 평균값 연산부를 더 포함할 수 있다.Meanwhile, the depth value corrector 630 may include a searcher for searching for at least one or more depth values with respect to a background image located at a boundary of the detected overlay area, and an average value calculator for calculating an average value of the at least one or more searched depth values. It may further include.

한편, 상술한 본 발명의 일 실시예에 따른 오버레이 영역의 3D 영상 변환 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. On the other hand, the 3D image conversion method of the overlay area according to an embodiment of the present invention can be written in a program that can be executed in a computer, in a general-purpose digital computer to operate the program using a computer-readable recording medium Can be implemented.

또한, 상술한 바와 같이 본 발명에서 사용된 데이터의 구조는 컴퓨터로 읽을 수 있는 기록매체에 여러 수단을 통하여 기록될 수 있다. In addition, as described above, the structure of the data used in the present invention may be recorded on a computer-readable recording medium through various means.

상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다. The computer-readable recording medium may include a storage medium such as a magnetic storage medium (eg, a ROM, a floppy disk, a hard disk, etc.) and an optical reading medium (eg, a CD-ROM, a DVD, etc.).

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.So far I looked at the center of the preferred embodiment for the present invention. Those skilled in the art will appreciate that the present invention can be implemented in a modified form without departing from the essential features of the present invention. Therefore, the disclosed embodiments should be considered in an illustrative rather than a restrictive sense. The scope of the present invention is shown in the claims rather than the foregoing description, and all differences within the scope will be construed as being included in the present invention.

Claims (33)

오버레이 영역(Overlaying area)의 3D 영상 변환 방법에 있어서,
입력된 단안 영상으로부터 원근감을 표시하는 깊이 지도(depth map)를 생성하는 단계와;
상기 입력된 단안 영상에 포함된 오버레이 영역을 검출하는 단계와;
상기 검출된 오버레이 영역 및 배경 영상 중 적어도 하나에 대하여, 상기 깊이 지도에서의 깊이값을 보정하는 단계와;
상기 보정된 깊이 지도에 기초하여, 양안 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 3D 영상 변환 방법.
In the 3D image conversion method of the overlay area (Overlaying area),
Generating a depth map indicating a perspective from the input monocular image;
Detecting an overlay region included in the input monocular image;
Correcting a depth value in the depth map with respect to at least one of the detected overlay area and the background image;
And generating a binocular image based on the corrected depth map.
제1항에 있어서,
상기 보정하는 단계는, 상기 검출된 오버레이 영역의 주변 영역에 할당된 깊이값에 근사한 값으로 보정하는 것을 특징으로 하는 3D 영상 변환 방법.
The method of claim 1,
The correcting of the 3D image converting method may include correcting a depth value close to a depth value allocated to a peripheral area of the detected overlay area.
제2항에 있어서,
상기 보정하는 단계는,
상기 검출된 오버레이 영역의 경계 부분에 위치한 배경 영상에 대하여 적어도 하나 이상의 깊이값을 검색하는 단계와;
상기 검색된 적어도 하나 이상의 깊이값의 평균값을 계산하는 단계와;
상기 계산된 평균값을 상기 오버레이 영역의 깊이값으로 균일하게 할당하는 단계를 더 포함하는 것을 특징으로 하는 3D 영상 변환 방법.
The method of claim 2,
The correcting step,
Searching for at least one depth value with respect to a background image located at a boundary of the detected overlay area;
Calculating an average value of the retrieved at least one depth value;
And uniformly allocating the calculated average value as a depth value of the overlay area.
제2항에 있어서,
상기 오버레이 영역을 검출하는 단계는,
상기 입력된 단안 영상에서 경계(edge)와 색상(color)성분을 분석하여 오버레이 영역을 추출하는 것을 특징으로 하는 3D 영상 변환 방법.
The method of claim 2,
Detecting the overlay area,
3. The method of claim 1, wherein an overlay region is extracted by analyzing edges and color components in the input monocular image.
제2항에 있어서,
상기 양안 영상을 생성하는 단계는,
상기 오버레이 영역에 대한 보정값을 반영하여 완성된 깊이 지도로부터 양안 시차를 계산하여 좌우안의 양안 영상을 생성하는 것을 특징으로 하는 3D 영상 변환 방법.
The method of claim 2,
The step of generating the binocular image,
And a binocular image of left and right eyes is generated by calculating binocular disparity from the completed depth map by reflecting the correction value for the overlay area.
제1항에 있어서,
상기 오버레이 영역을 검출하는 단계는 상기 오버레이 영역의 위치 정보에 기초하여 수행되고,
상기 오버레이 영역의 위치 정보는 상기 오버레이 영역의 위치를 나타내는 좌표 또는 상기 오버레이 영역의 위치를 나타내는 비트맵 정보인 것을 특징으로 하는 3D 영상 변환 방법.
The method of claim 1,
Detecting the overlay area is performed based on position information of the overlay area;
3. The method of claim 3, wherein the position information of the overlay region is coordinates indicating a position of the overlay region or bitmap information indicating a position of the overlay region.
제1항에 있어서,
상기 보정하는 단계는, 상기 오버레이 영역의 위치, 크기 및 이동 여부 중 적어도 하나에 기초하여 상기 보정을 수행할 것인지를 판단하는 단계를 더 포함하고,
상기 보정하는 단계는 상기 판단 결과, 상기 보정을 수행하도록 결정된 경우에 한하여 수행되는 것을 특징으로 하는 3D 영상 변환 방법.
The method of claim 1,
The correcting step may further include determining whether to perform the correction based on at least one of the position, size, and movement of the overlay area.
And the correcting is performed only when it is determined to perform the correction as a result of the determination.
제1항에 있어서,
상기 보정하는 단계는,
상기 배경 영상의 객체들이 모두 동일한 깊이값을 가지도록 보정하는 것을 특징으로 하는 3D 영상 변환 방법.
The method of claim 1,
The correcting step,
3D image conversion method, characterized in that to correct all the objects of the background image have the same depth value.
제1항에 있어서,
상기 보정하는 단계는,
상기 배경 영상의 객체들 각각의 깊이값들간의 차이가 줄어들도록 보정하는 것을 특징으로 하는 3D 영상 변환 방법.
The method of claim 1,
The correcting step,
3D image conversion method characterized in that the correction so that the difference between the depth value of each of the objects of the background image is reduced.
제1항에 있어서,
상기 보정하는 단계는,
상기 배경 영상의 객체들의 깊이값들 중 가장 높은 깊이값 또는 상기 배경 영상의 객체들의 깊이값들의 평균 값보다 소정의 깊이만큼 높은 깊이 값을 상기 오버레이 영역의 깊이값으로서 설정하는 것을 특징으로 하는 3D 영상 변환 방법.
The method of claim 1,
The correcting step,
A depth value higher than a mean value of depth values of the objects of the background image or a depth higher than a mean value of the depth values of the objects of the background image as a depth value of the overlay area; Transformation method.
제1항에 있어서,
상기 보정하는 단계는
상기 오버레이 영역의 중앙에서의 깊이값 또는 상기 오버레이 영역의 경계에서의 깊이값을 오버레이 영역 전체의 깊이값으로 설정하는 것을 특징으로 하는 3D 영상 변환 방법.
The method of claim 1,
The correcting step
3. The method of claim 3, wherein the depth value at the center of the overlay area or the depth value at the boundary of the overlay area is set as the depth value of the entire overlay area.
제11항에 있어서,
상기 보정이 수행된 후에, 상기 오버레이 영역의 깊이값과 상기 배경 영상의 깊이값간의 차이를 제거하기 위한 필터링을 상기 오버레이 영역에 대하여 수행하는 단계를 더 포함하는 것을 특징으로 하는 3D 영상 변환 방법.
The method of claim 11,
And after the correction is performed, performing filtering on the overlay area to remove a difference between the depth value of the overlay area and the depth value of the background image.
제1항에 있어서,
상기 보정하는 단계는
상기 배경 영상의 깊이값과 상기 오버레이 영역의 깊이값에게 각각 가중치를 적용하여 얻어진 깊이값을 이용하여 수행되는 것을 특징으로 하는 3D 영상 변환 방법.
The method of claim 1,
The correcting step
And a depth value obtained by applying weights to the depth value of the background image and the depth value of the overlay area, respectively.
제1항에 있어서
상기 보정하는 단계는
상기 오버레이 영역이 복수개일 때, 상기 복수개의 오버레이 영역 각각의 깊이값의 최소값, 최대값 또는 평균 값 중 하나를 상기 복수개의 오버레이 영역 각각의 깊이값으로 설정하는 것을 특징으로 하는 3D 영상 변환 방법.
The method of claim 1
The correcting step
3. The method of claim 3, wherein when there are a plurality of overlay regions, one of minimum, maximum, and average values of depth values of each of the plurality of overlay regions is set as a depth value of each of the plurality of overlay regions.
제1항에 있어서,
상기 보정하는 단계는
사용자로부터 입력된 깊이 값을 상기 오버레이 영역의 깊이값으로 설정하는 것을 특징으로 하는 3D 영상 변환 방법.
The method of claim 1,
The correcting step
And a depth value input from a user as a depth value of the overlay area.
제1항에 있어서,
상기 양안 영상을 생성하는 단계는
상기 오버레이 영역 내의 픽셀 값들은 참조하지 않고, 상기 배경 영상 내의 픽셀 값들만을 참조하여 수행되는 것을 특징으로 하는 3D 영상 변환 방법.
The method of claim 1,
The step of generating the binocular image
3. The method of claim 3, wherein the pixel values in the overlay area are referred to without referring to pixel values in the background image.
오버레이 영역의 3D 영상 변환 장치에 있어서,
입력된 단안 영상으로부터 원근감을 표시하는 깊이 지도(depth map)를 생성하는 깊이 지도 생성부와;
상기 입력된 단안 영상에 포함된 오버레이 영역을 검출하는 오버레이 영역 검출부와;
상기 검출된 오버레이 영역 및 배경 영상 중 적어도 하나에 대하여, 상기 깊이 지도에서의 깊이값을 보정하는 깊이값 보정부와;
상기 보정된 깊이 지도에 기초하여, 양안 영상을 생성하는 양안 영상 생성부를 포함하는 것을 특징으로 하는 3D 영상 변환 장치.
In the 3D image conversion apparatus of the overlay area,
A depth map generator for generating a depth map displaying a perspective from the input monocular image;
An overlay region detector for detecting an overlay region included in the input monocular image;
A depth value corrector for correcting a depth value in the depth map with respect to at least one of the detected overlay area and the background image;
And a binocular image generator configured to generate a binocular image based on the corrected depth map.
제17항에 있어서,
상기 깊이값 보정부는, 상기 검출된 오버레이 영역의 주변 영역에 할당된 깊이값에 근사한 값으로 상기 오버레이 영역의 깊이값을 보정하는 것을 특징으로 하는 3D 영상 변환 장치.
The method of claim 17,
And the depth value correcting unit corrects the depth value of the overlay area to a value close to the depth value allocated to the detected peripheral area of the overlay area.
제18항에 있어서, 상기 깊이값 보정부는,
상기 검출된 오버레이 영역의 경계 부분에 위치한 배경 영상에 대하여 적어도 하나 이상의 깊이값을 검색하는 검색부와;
상기 검색된 적어도 하나 이상의 깊이값의 평균값을 계산하는 평균값 연산부를 더 포함하며,
상기 계산된 평균값을 상기 오버레이 영역의 깊이값으로 균일하게 할당하는 것을 특징으로 하는 3D 영상 변환 장치.
The method of claim 18, wherein the depth value correction unit,
A searcher for searching for at least one depth value with respect to a background image located at a boundary of the detected overlay area;
Further comprising an average value calculator for calculating an average value of the at least one searched depth value,
And uniformly assigning the calculated average value to a depth value of the overlay area.
제18항에 있어서,
상기 오버레이 영역 검출부는,
상기 입력된 단안 영상에서 경계(edge)와 색상(color)성분을 분석하여 오버레이 영역을 추출하는 것을 특징으로 하는 3D 영상 변환 장치.
The method of claim 18,
The overlay area detector,
And an overlay region is extracted by analyzing edges and color components from the input monocular image.
제18항에 있어서,
상기 양안 영상 생성부는,
상기 오버레이 영역에 대한 보정값을 반영하여 완성된 깊이 지도로부터 양안 시차를 계산하여 좌우안의 양안 영상을 생성하는 것을 특징으로 하는 3D 영상 변환 장치.
The method of claim 18,
The binocular image generation unit,
And a binocular image of left and right eyes is generated by calculating binocular disparity from the completed depth map by reflecting the correction value for the overlay area.
제17항에 있어서,
상기 오버레이 영역 검출부는
상기 오버레이 영역의 위치 정보에 기초하여 상기 오버레이 영역을 검출하고,
상기 오버레이 영역의 위치 정보는 상기 오버레이 영역의 위치를 나타내는 좌표 또는 상기 오버레이 영역의 위치를 나타내는 비트맵 정보인 것을 특징으로 하는 3D 영상 변환 장치.
The method of claim 17,
The overlay area detector
Detecting the overlay region based on position information of the overlay region;
And the position information of the overlay region is coordinates indicating the position of the overlay region or bitmap information indicating the position of the overlay region.
제17항에 있어서,
상기 깊이값 보정부는, 상기 오버레이 영역의 위치, 크기 및 이동 여부 중 적어도 하나에 기초하여 상기 보정을 수행할 것인지를 판단하고, 상기 판단 결과 상기 보정을 수행하도록 결정된 경우에 한하여 상기 보정을 수행하는 것을 특징으로 하는 3D 영상 변환 장치.
The method of claim 17,
The depth value corrector determines whether to perform the correction based on at least one of the position, size, and movement of the overlay area, and performs the correction only when it is determined that the correction is performed. 3D video conversion device characterized in that.
제17항에 있어서,
상기 깊이값 보정부는,
상기 배경 영상의 객체들이 모두 동일한 깊이값을 가지도록 보정하는 것을 특징으로 하는 3D 영상 변환 장치.
The method of claim 17,
The depth value correction unit,
3D image conversion apparatus, characterized in that for correcting so that all the objects of the background image have the same depth value.
제17항에 있어서,
상기 깊이값 보정부는,
상기 배경 영상의 객체들 각각의 깊이값들간의 차이가 줄어들도록 보정하는 것을 특징으로 하는 3D 영상 변환 장치.
The method of claim 17,
The depth value correction unit,
And correcting the difference between depth values of the objects of the background image to be reduced.
제17항에 있어서,
상기 깊이값 보정부는,
상기 배경 영상의 객체들의 깊이값들 중 가장 높은 깊이값 또는 상기 배경 영상의 객체들의 깊이값들의 평균 값보다 소정의 깊이만큼 높은 깊이 값을 상기 오버레이 영역의 깊이값으로서 설정하는 것을 특징으로 하는 3D 영상 변환 장치.
The method of claim 17,
The depth value correction unit,
A depth value higher than a mean value of depth values of the objects of the background image or a depth higher than a mean value of the depth values of the objects of the background image as a depth value of the overlay area; Converter.
제17항에 있어서,
상기 깊이값 보정부는
상기 오버레이 영역의 중앙에서의 깊이값 또는 상기 오버레이 영역의 경계에서의 깊이값을 오버레이 영역 전체의 깊이값으로 설정하는 것을 특징으로 하는 3D 영상 변환 장치.
The method of claim 17,
The depth value correction unit
And a depth value at a center of the overlay area or a depth value at a boundary of the overlay area as a depth value of the entire overlay area.
제27항에 있어서,
상기 깊이값 보정부는
상기 보정을 수행한 후에, 상기 오버레이 영역의 깊이값과 상기 배경 영상의 깊이값간의 차이를 제거하기 위한 필터링을 상기 오버레이 영역에 대하여 더 수행하는 것을 특징으로 하는 3D 영상 변환 장치.
The method of claim 27,
The depth value correction unit
And after performing the correction, further performing filtering on the overlay region to remove a difference between the depth value of the overlay region and the depth value of the background image.
제17항에 있어서,
상기 깊이값 보정부는
상기 배경 영상의 깊이값과 상기 오버레이 영역의 깊이값에게 각각 가중치를 적용하여 얻어진 깊이값을 이용하여 상기 보정을 수행하는 것을 특징으로 하는 3D 영상 변환 장치.
The method of claim 17,
The depth value correction unit
And performing the correction using a depth value obtained by applying weights to the depth value of the background image and the depth value of the overlay region, respectively.
제17항에 있어서
상기 깊이값 보정부는
상기 오버레이 영역이 복수개일 때, 상기 복수개의 오버레이 영역 각각의 깊이값의 최소값, 최대값 또는 평균 값 중 하나를 상기 복수개의 오버레이 영역 각각의 깊이값으로 설정하는 것을 특징으로 하는 3D 영상 변환 장치.
The method of claim 17
The depth value correction unit
3. The apparatus of claim 3, wherein when the overlay regions are plural, one of the minimum, maximum, and average values of the depth values of each of the plurality of overlay regions is set as the depth value of each of the plurality of overlay regions.
제17항에 있어서,
상기 깊이값 보정부는
사용자로부터 입력된 깊이 값을 상기 오버레이 영역의 깊이값으로 설정하는 것을 특징으로 하는 3D 영상 변환 장치.
The method of claim 17,
The depth value correction unit
And a depth value input from a user as a depth value of the overlay area.
제17항에 있어서,
상기 양안 영상 생성부는
상기 오버레이 영역 내의 픽셀 값들은 참조하지 않고, 상기 배경 영상 내의 픽셀 값들만을 참조하여 상기 양안 영상을 생성하는 것을 특징으로 하는 3D 영상 변환 장치.
The method of claim 17,
The binocular image generation unit
And the binocular image is generated by referring to only pixel values in the background image without referring to pixel values in the overlay region.
제1항 내지 제16항 중 어느 한 항에 기재된 3D 영상 변환 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체.A computer-readable recording medium having recorded thereon a program for implementing the 3D image conversion method according to any one of claims 1 to 16.
KR1020110004537A 2010-02-09 2011-01-17 Method for converting overlaying area into 3D image and apparatus thereof KR101797035B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US13/023,887 US9398289B2 (en) 2010-02-09 2011-02-09 Method and apparatus for converting an overlay area into a 3D image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20100012026 2010-02-09
KR1020100012026 2010-02-09

Publications (2)

Publication Number Publication Date
KR20110093616A true KR20110093616A (en) 2011-08-18
KR101797035B1 KR101797035B1 (en) 2017-11-13

Family

ID=44930250

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110004537A KR101797035B1 (en) 2010-02-09 2011-01-17 Method for converting overlaying area into 3D image and apparatus thereof

Country Status (1)

Country Link
KR (1) KR101797035B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140066872A (en) * 2012-11-23 2014-06-03 엘지디스플레이 주식회사 Device for correcting depth map of three dimensional image and method for correcting the same
US10306219B2 (en) 2015-11-04 2019-05-28 Samsung Electronics Co., Ltd. Display apparatus and control method thereof for detecting video content switch
US11727591B2 (en) 2020-07-29 2023-08-15 Samsung Electronics Co., Ltd. Method and apparatus with image depth estimation

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190086320A (en) * 2018-01-12 2019-07-22 삼성전자주식회사 The apparatus for proccesing image and method therefor
KR101893368B1 (en) * 2018-01-31 2018-09-04 공간정보기술 주식회사 Method and system for measuring three dimensional visibility combined with traffic monitoring
US11470298B2 (en) 2019-11-11 2022-10-11 Samsung Electronics Co., Ltd. Method and apparatus with updating of algorithm for generating disparity image

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100757259B1 (en) * 2004-10-25 2007-09-11 전자부품연구원 2d/3d converting method of compressed motion pictures using motion vectors therein, and device thereby

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140066872A (en) * 2012-11-23 2014-06-03 엘지디스플레이 주식회사 Device for correcting depth map of three dimensional image and method for correcting the same
US10306219B2 (en) 2015-11-04 2019-05-28 Samsung Electronics Co., Ltd. Display apparatus and control method thereof for detecting video content switch
US11727591B2 (en) 2020-07-29 2023-08-15 Samsung Electronics Co., Ltd. Method and apparatus with image depth estimation

Also Published As

Publication number Publication date
KR101797035B1 (en) 2017-11-13

Similar Documents

Publication Publication Date Title
US9398289B2 (en) Method and apparatus for converting an overlay area into a 3D image
KR101038452B1 (en) Multi-view image generation
KR101975247B1 (en) Image processing apparatus and image processing method thereof
JP5587894B2 (en) Method and apparatus for generating a depth map
Feng et al. Object-based 2D-to-3D video conversion for effective stereoscopic content generation in 3D-TV applications
JP5969537B2 (en) 3D video converter and conversion method for 2D video based on visual interest
JP5750505B2 (en) 3D image error improving method and apparatus
KR101055411B1 (en) Method and apparatus of generating stereoscopic image
KR101385514B1 (en) Method And Apparatus for Transforming Stereoscopic Image by Using Depth Map Information
KR101502362B1 (en) Apparatus and Method for Image Processing
TW201432622A (en) Generation of a depth map for an image
JP2012227924A (en) Image analysis apparatus, image analysis method and program
KR101797035B1 (en) Method for converting overlaying area into 3D image and apparatus thereof
TW201044315A (en) Combining 3D image and graphical data
JP2013527646A5 (en)
KR20100109069A (en) Device for generating visual attention map and method thereof
Zhang et al. Visual pertinent 2D-to-3D video conversion by multi-cue fusion
KR102490985B1 (en) Apparatus and method for processing depth maps
KR20140058744A (en) A system for stereoscopic images with hole-filling and method thereof
KR20160141446A (en) Contents convert method, apparatus, and program for layered hologram
KR20100036683A (en) Method and apparatus for output image
JP5254297B2 (en) Image processing device
JP2011119926A (en) Video processing apparatus, video processing method and computer program
Nam et al. Hole‐Filling Methods Using Depth and Color Information for Generating Multiview Images
JP6131256B6 (en) Video processing apparatus and video processing method thereof

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
R401 Registration of restoration