KR20150029216A - apparatus for generating 3D image and the method thereof - Google Patents

apparatus for generating 3D image and the method thereof Download PDF

Info

Publication number
KR20150029216A
KR20150029216A KR20130108080A KR20130108080A KR20150029216A KR 20150029216 A KR20150029216 A KR 20150029216A KR 20130108080 A KR20130108080 A KR 20130108080A KR 20130108080 A KR20130108080 A KR 20130108080A KR 20150029216 A KR20150029216 A KR 20150029216A
Authority
KR
South Korea
Prior art keywords
image
area
image area
conversion
unit
Prior art date
Application number
KR20130108080A
Other languages
Korean (ko)
Other versions
KR101519463B1 (en
Inventor
김만배
길종인
Original Assignee
강원대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 강원대학교산학협력단 filed Critical 강원대학교산학협력단
Priority to KR1020130108080A priority Critical patent/KR101519463B1/en
Publication of KR20150029216A publication Critical patent/KR20150029216A/en
Application granted granted Critical
Publication of KR101519463B1 publication Critical patent/KR101519463B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis

Abstract

The present invention relates to a 3D image converting apparatus and a method thereof. The 3D image converting apparatus includes: an image region searching unit to search a 3D conversion expectation image for 3D conversion among entire images including a text image region and a hyperopia image region; a depth information generator to generate depth information of the 3D conversion expectation image; an image converter which enlarges the 3D conversion expectation image corresponding to the depth information to generate a left image region and a right image region; and an image combiner to generate a 3D image by combining the left image region with the right image region. Therefore, the present invention prevents damage of a text when converting the entire image including a text image region into a 3D image.

Description

3D 이미지 변환 장치 및 그 방법 {apparatus for generating 3D image and the method thereof}The present invention relates to a 3D image conversion apparatus and a method thereof,

본 발명은 텍스트 이미지 영역을 포함하는 전체 이미지를 3D 이미지로 변환하는 3D 이미지 변환 장치 및 그 방법에 관한 것이다.
The present invention relates to a 3D image conversion apparatus and a method thereof for converting an entire image including a text image area into a 3D image.

3D 이미지 변환 기술은 2D 이미지(평면 이미지)에 입체감을 주는 기술로서, 사람의 눈으로 실제로 보는 것처럼 영상에서 사물의 깊이와 공간 형상 정보 등이 표현되어 있는 이미지이다. 3D 이미지 변환 기술은 정보통신, 방송, 의료, 교육 훈련, 군사, 게임, 애니메이션, 가상현실, CAD, 산업 기술 등 그 응용 분야가 매우 다양하다.
3D image conversion technology is a technique to give a 2D image (planar image) a three-dimensional effect. It is an image in which the depth of the object and the spatial shape information are expressed in the image as seen by the human eye. 3D image conversion technology has a wide variety of applications such as information communication, broadcast, medical, education and training, military, game, animation, virtual reality, CAD, and industrial technology.

일반적으로 사람이 지각하는 입체감은 관찰하고자 하는 물체의 위치에 따른 수정체의 두께 변화 정도, 양쪽 눈과 대상물과의 각도 차이, 그리고 좌우 눈에 보이는 대상물의 위치 및 형태의 차이, 대상물의 운동에 따라 생기는 시차, 그 밖에 각종 심리 및 기억에 의한 효과 등이 복합적으로 작용해 생긴다.
Generally, the three-dimensional sensation perceived by a person depends on the degree of thickness change of the lens depending on the position of the object to be observed, the angular difference between both eyes and the object, the difference in position and shape of the object on the left and right eyes, Time difference, and various psychological and memory effects.

그 중에서도 입체감의 가장 중요한 요인은 사람의 두 눈이 가로 방향으로 약 6 ~ 7가량 떨어져 위치함으로써 나타나게 되는 양안 시차(binocular disparity)이다. 사람의 눈은 양안 시차에 의해 대상물에 대한 각도 차이를 가지고 바라보게 되고, 이 차이로 인해 각각의 눈에 서로 다른 상의 이미지가 맺히게 되며 두 이미지가 망막을 통해 뇌로 전달된다. 뇌는 이 두 개의 정보를 정확히 서로 융합하여 본래의 3D 입체 영상을 느낄 수 있는 것이다.
Among them, binocular disparity is the most important factor of three-dimensional feeling, which occurs when two eyes of a person are located about 6 ~ 7 apart in the horizontal direction. The human eye looks at the angular difference of the subject by the binocular parallax. This difference causes the images of different images to be formed in each eye, and the two images are transmitted to the brain through the retina. The brain is able to feel the original 3D stereoscopic image by precisely fusing these two pieces of information.

3D 이미지 변환 기술은 기존의 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display)와 접목되어 휴대폰, TV, 모니터 등을 포함하는 여러 기기에 적용되고 있다.
3D image conversion technology can be applied to a wide range of applications including conventional liquid crystal displays (LCDs), thin film transistor-liquid crystal displays (TFT LCDs), organic light-emitting diodes (OLEDs) flexible display, and is applied to various devices including mobile phone, TV, and monitor.

이러한 일반적인 3D 이미지 변환은 대상 2D 이미지에서 깊이맵을 추출하여 상기 깊이맵을 바탕으로 이루어진다. 텍스트(text)가 포함된 이미지(PC에서의 window 이미지)의 경우, 텍스트의 동일한 깊이맵을 얻지 못하면 깨짐, 흔들림 등의 문제가 발생하고, 3D 이미지를 시청하는 사용자는 심한 시각적 피로도를 느끼게 된다.
This general 3D image conversion is performed based on the depth map extracted from the target 2D image. In the case of an image (window image on a PC) in which text is included, if the same depth map of the text is not obtained, problems such as breakage and shake are caused, and a user who views the 3D image feels severe visual fatigue.

따라서, 텍스트를 포함하는 이미지에서 텍스트를 제외한 이미지만을 선별하여 상기 텍스트가 아닌 이미지만을 3D 이미지 변환할 필요가 있다. 이에 대한 종래기술로서, 대한민국 등록특허공보 KR 1183028은 프레젠테이션 영상에서 특정 부분만을 선정하여 3D 이미지 변환하는 부분적 입체감을 갖는 입체 프레젠테이션 영상 제작 방법을 제시한다. 도 1을 참조하면, 영역 또는 지점 선택 수단(130)이 프레젠테이션 영상에서 3D 변환할 부분을 선택하고 프레젠테이션 영상 제작 수단(150)이 3D 영상을 생성한다. 프레젠테이션 영상 제작 수단(150)은 좌안 프레젠테이션 영상 및 우안 프레젠테이션 영상을 시프트(shift)시켜 3D 영상을 생성한다. 그러나, 시프트(shift)를 통해 생성된 3D 영상은 시프트한 만큼 영상 정보가 없는 검은 영역(Boundary hole)을 가지게 된다. 3D 영상은 상기 검은 영역만큼 영상 정보를 손실하게 되고 이는 시각적 문제를 야기한다.
Therefore, it is necessary to select only the image excluding the text in the image including the text to convert the image other than the text to the 3D image. As a conventional technique for this, Korean Patent Registration No. KR 1183028 proposes a method of producing a stereoscopic presentation image having a partial stereoscopic effect by selecting only a specific portion in a presentation image and converting the stereoscopic image into a 3D image. Referring to FIG. 1, a region or point selection unit 130 selects a portion to be 3D converted in a presentation image, and a presentation image production unit 150 generates a 3D image. The presentation image producing means 150 generates a 3D image by shifting the left-eye presentation image and the right-eye presentation image. However, the 3D image generated through the shift has a black area (boundary hole) in which there is no image information as much as the shift. The 3D image loses image information by the black area, which causes a visual problem.

이하, 상술한 문제점을 해결하기 위하여 3D 이미지 변환 장치는 검은 영역을 생성하지 않고 3D 이미지 변환할 필요가 있다. 또한, 텍스트를 포함하는 이미지를 변환하는데 있어서, 텍스트의 깨짐을 방지하기 위하여 특정 영역만을 선별하여 3D 이미지 변환할 장치가 요구된다.
Hereinafter, in order to solve the above-described problems, it is necessary for the 3D image conversion apparatus to convert the 3D image without creating a black region. Further, in converting an image including text, an apparatus for converting a 3D image by selecting only a specific region is required in order to prevent text from being broken.

본 발명이 해결하고자 하는 과제는 텍스트 이미지 영역을 포함하는 전체 이미지를 3D 이미지로 변환하는 3D 이미지 변환 장치 및 그 방법을 제공하는 것이다.
SUMMARY OF THE INVENTION It is an object of the present invention to provide a 3D image conversion apparatus and method for converting an entire image including a text image area into a 3D image.

본 발명이 해결하고자 하는 또 다른 과제는 3D 이미지 변환시 영상이 손실되는 검은 영역(Boundary hole)의 발생을 방지하는 3D 이미지 변환 장치 및 그 방법을 제공하는 것이다.
Another object of the present invention is to provide a 3D image conversion apparatus and method for preventing occurrence of a black hole (boundary hole) in which an image is lost during 3D image conversion.

본 발명의 실시의 일 측면에서, 본 발명은 텍스트 이미지 영역과 원시 이미지 영역을 포함하는 전체 이미지 중에서 3D 변환을 하기 위한 3D 변환 예정 이미지를 탐색하는 이미지 영역 탐색부; 상기 3D 변환 예정 이미지의 깊이 정보를 생성하는 깊이 정보 생성부; 상기 깊이 정보에 상응하여 상기 3D 변환 예정 이미지를 확대하여 좌안 이미지 영역과 우안 이미지 영역을 생성하는 이미지 변환부; 및 상기 좌안 이미지 영역과 우안 이미지 영역을 조합하여 3D 이미지를 생성하는 이미지 조합부;를 포함하는 것을 특징으로 하는 3D 이미지 변환 장치를 제공한다.
In one aspect of the present invention, the present invention provides an image processing apparatus including an image region searching unit for searching for a 3D conversion scheduled image for performing a 3D conversion on an entire image including a text image region and a raw image region; A depth information generating unit for generating depth information of the 3D image to be converted; An image converting unit for enlarging the 3D image to be converted in accordance with the depth information to generate a left eye image area and a right eye image area; And an image combining unit for combining the left eye image area and the right eye image area to generate a 3D image.

바람직하게는, 상기 이미지 변환부는 상기 이미지 영역의 우측을 기준으로 좌측으로 상기 3D 변환 예정 이미지를 확대하여 상기 좌안 이미지 영역을 생성하고, 좌측을 기준으로 우측으로 상기 3D 변환 예정 이미지를 확대하여 상기 우안 이미지 영역을 생성하는 것을 특징으로 하는 3D 이미지 변환 장치를 제공한다.
Preferably, the image transforming unit enlarges the 3D-transformed image to the left based on the right side of the image area to generate the left-eye image area, enlarges the 3D-transformed image to the right based on the left side, And an image area is generated based on the image data.

바람직하게는, 상기 전체 이미지가 상기 텍스트 이미지 영역과 상기 원시 이미지 영역을 포함하고 있는지 여부를 판별하는 이미지 판별부;를 더 포함하는 것을 특징으로 하는 3D 이미지 변환 장치를 제공한다.
Preferably, the apparatus further comprises an image discrimination unit for discriminating whether the entire image includes the text image area and the raw image area.

바람직하게는, 상기 이미지 판별부는 상기 전체 이미지를 히스토그램화하여 판별하는 것을 특징으로 하는 3D 이미지 변환 장치를 제공한다.
Preferably, the image discrimination unit discriminates the entire image by histogramming.

바람직하게는, 상기 이미지 판별부는 상기 전체 이미지를 그레이스케일 이미지로 변환하여 히스토그램화하는 것을 특징으로 하는 3D 이미지 변환 장치를 제공한다.
Preferably, the image determining unit converts the entire image into a gray scale image and histograms the converted whole image.

바람직하게는, 상기 이미지 판별부는 상기 전체 이미지를 히스토그램화 한 값 중의 최대값이 상기 히스토그램의 임계값보다 큰 경우 상기 텍스트 영역과 상기 원시 이미지 영역을 포함하는 상기 전체 이미지로 판별하는 것을 특징으로 하는 3D 이미지 변환 장치를 제공한다.
Preferably, the image discrimination unit discriminates the entire image including the text area and the original image area when the maximum value among the histogram values of the entire image is larger than the threshold value of the histogram. Thereby providing an image conversion apparatus.

바람직하게는, 상기 전체 이미지의 수평 라인과 수직 라인 중 적어도 어느 하나의 개수를 카운트하여 상기 카운트한 값이 임계값보다 큰 경우 상기 텍스트 영역과 상기 원시 이미지 영역을 포함하는 상기 전체 이미지로 판별하는 것을 특징으로 하는 3D이미지 변환 장치를 제공한다.
Preferably, the number of the at least one of the horizontal line and the vertical line of the entire image is counted, and if the counted value is greater than the threshold value, it is determined that the entire image including the text area and the original image area The present invention provides a 3D image conversion device.

바람직하게는, 상기 이미지 영역 탐색부는 상기 전체 이미지에서 연속적으로 연결되어 있는 라인 픽셀들에 동일한 레이블을 부여하여 상기 3D 변환 예정 이미지를 탐색하는 것을 특징으로 하는 3D 이미지 변환 장치를 제공한다.
Preferably, the image region searching unit searches the 3D image to be transformed by assigning the same label to the line pixels continuously connected in the entire image.

바람직하게는, 상기 이미지 영역 탐색부는 상기 레이블에 상응하는 라인 픽셀을 카운트하고, 상기 카운트한 값이 라인 픽셀의 임계값보다 작은 경우, 상기 레이블에 상응하는 라인 픽셀을 제거하여 상기 3D 변환 예정 이미지를 탐색하는 것을 특징으로 하는 3D 이미지 변환 장치를 제공한다.
Preferably, the image area searching unit counts line pixels corresponding to the label, and when the counted value is smaller than a threshold value of the line pixels, the image area searching unit removes the line pixels corresponding to the label, And searching for a 3D image.

바람직하게는, 상기 이미지 영역 탐색부는 상기 원시 이미지 영역에 포함된 원시 이미지의 가로 길이값과 세로 길이값의 차이값이 임계값보다 큰 경우, 상기 원시 이미지를 상기 3D 변환 예정 이미지가 아닌 것으로 판별하는 것을 특징으로 하는 3D 이미지 변환 장치를 제공한다.
Preferably, the image region searching unit determines that the source image is not the 3D conversion scheduled image if the difference between the horizontal length value and the vertical length value of the source image included in the source image region is greater than the threshold value And a 3D image converting apparatus.

바람직하게는, 상기 이미지 영역 탐색부는 상기 원시 이미지 영역에 포함된 원시 이미지의 가로 길이값과 세로 길이값 중 어느 하나가 임계값보다 작은 경우, 상기 원시 이미지는 3D 변환 예정 이미지가 아닌 것으로 판별하는 것을 특징으로 하는 3D 이미지 변환 장치를 제공한다.
Preferably, the image region searching unit determines that the raw image is not a 3D conversion scheduled image when any one of a horizontal length value and a vertical length value of a raw image included in the raw image region is smaller than a threshold value The present invention provides a 3D image conversion device.

본 발명의 실시의 다른 측면에서, 본 발명은 상기 이미지 변환부는 좌측을 기준으로 우측으로 상기 3D 변환 예정 이미지를 확대하고 상기 확대에 상응하는 만큼 제거하여 좌안 이미지 영역을 생성하고, 좌측을 기준으로 우측으로 상기 3D 변환 예정 이미지를 확대하고 상기 확대에 상응하는 만큼 좌측으로 이동하고 상기 이동에 상응하는 만큼 제거하여 우안 이미지 영역을 생성하는 것을 특징으로 하는 3D 이미지 변환 장치를 제공한다.
According to another aspect of the present invention, the image transformation unit enlarges the 3D-transformed image to the right with respect to the left side, removes the image corresponding to the enlargement to generate a left-eye image region, Wherein the 3D image conversion unit enlarges the 3D image to be converted and moves to the left by the amount corresponding to the enlargement and removes the image corresponding to the movement to generate a right eye image area.

본 발명의 실시의 또 다른 측면에서, 본 발명은 상기 이미지 변환부는 우측을 기준으로 좌측으로 상기 3D 변환 예정 이미지를 확대하고 상기 확대에 상응하는 만큼 제거하여 좌안 이미지 영역을 생성하고, 우측을 기준으로 좌측으로 상기 3D 변환 예정 이미지를 확대하고 상기 확대에 상응하는 만큼 우측으로 이동하고 상기 이동에 상응하는 만큼 제거하여 우안 이미지 영역을 생성하는 것을 특징으로 하는 3D 이미지 변환 장치를 제공한다.
In still another aspect of the present invention, the image transformation unit enlarges the 3D-transformed image to the left with respect to the right side, removes as much as corresponding to the enlargement to generate a left-eye image region, Enlarges the 3D image to be converted to the left side, moves to the right side corresponding to the enlargement, and removes the image corresponding to the movement to generate a right eye image area.

바람직하게는, 텍스트 이미지 영역과 원시 이미지 영역을 포함하는 전체 이미지 중에서 3D 변환을 하기 위한 3D 변환 예정 이미지를 탐색하는 단계; 상기 3D 변환 예정 이미지의 깊이 정보를 생성하는 단계; 상기 깊이 정보에 상응하여 상기 3D 변환 예정 이미지를 확대하여 좌안 이미지 영역과 우안 이미지 영역을 생성하는 단계; 및 상기 좌안 이미지 영역과 우안 이미지 영역을 조합하여 3D 이미지를 생성하는 단계;를 포함하는 것을 특징으로 하는 3D 이미지 변환 방법을 제공한다.
Preferably, searching for a 3D transformed image for performing a 3D transform among the entire image including the text image area and the raw image area; Generating depth information of the 3D image to be converted; Enlarging the 3D image to be converted according to the depth information to generate a left eye image area and a right eye image area; And generating a 3D image by combining the left and right eye image regions.

본 발명은 텍스트 이미지 영역을 포함하는 전체 이미지를 3D 이미지로 변환하는 경우 텍스트의 깨짐을 방지하는 효과가 있다.
The present invention has the effect of preventing the text from being broken when the whole image including the text image area is converted into the 3D image.

또한, 본 발명은 3D 이미지 변환을 수행할 때, 영상 정보의 손실 발생을 억제하여 영상의 품질을 높이는 효과가 있다.
In addition, the present invention has an effect of suppressing the loss of image information and enhancing the quality of an image when 3D image conversion is performed.

도 1은 종래의 부분적 입체감을 갖는 입체 프레젠테이션 영상 제작 방법의 예시도를 나타내는 도면이다.
도 2는 본 발명의 바람직한 일 실시예에 따른 3D 이미지 변환 장치의 구성도를 나타내는 도면이다.
도 3은 본 발명의 바람직한 일 실시예에 따른 3D 이미지 변환 장치의 제어부의 구성도를 나타내는 도면이다.
도 4는 본 발명의 바람직한 일 실시예에 따른 3D 이미지 변환 장치가 3D 이미지 변환을 수행하는 순서도를 나타내는 도면이다.
도 5는 본 발명의 바람직한 일 실시예에 따른 이미지 변환부가 좌안 이미지 영역 및 우안 이미지 영역을 생성하는 예시도를 나타내는 도면이다.
도 6은 본 발명의 바람직한 일 실시예에 따른 이미지 조합부가 생성한 3D 이미지에 대한 예시도를 나타내는 도면이다.
도 7은 본 발명의 바람직한 다른 실시예에 따른 이미지 변환부가 좌안 이미지 영역을 생성하는 예시도를 나타내는 도면이다.
도 8은 본 발명의 바람직한 다른 실시예에 따른 이미지 변환부가 우안 이미지 영역을 생성하는 예시도를 나타내는 도면이다.
도 9는 본 발명의 바람직한 일 실시예에 따른 이미지 판별부가 히스토그램을 이용하여 입력 이미지를 판별하는 순서도를 나타내는 도면이다.
도 10은 본 발명의 바람직한 일 실시예에 따른 텍스트 이미지 영역을 포함하는 전체 이미지의 히스토그램을 나타내는 도면이다.
도 11은 본 발명의 바람직한 다른 실시예에 따른 이미지 판별부가 수평수직 라인을 카운트하여 입력 이미지를 판별하는 순서도를 나타내는 도면이다.
도 12는 본 발명의 바람직한 다른 실시예에 따른 수평수직 라인을 검출하기 위한 이미지를 나타내는 도면이다.
도 13은 본 발명의 바람직한 일 실시예에 따른 이미지 탐색부가 3D 변환 예정 이미지를 탐색하는 순서도를 나타내는 도면이다.
도 14는 본 발명의 바람직한 일 실시예에 따른 이미지 탐색부가 3D 변환 예정 이미지를 탐색하기 위한 라인 검출 이미지를 나타내는 도면이다.
도 15는 본 발명의 바람직한 일 실시예에 따른 이미지 탐색부가 레이블에 상응하는 라인 픽셀을 제거한 이미지를 나타내는 도면이다.
도 16은 본 발명의 바람직한 일 실시예에 따른 이미지 탐색부가 가로 및 세로 길이값을 이용하여 3D 변환 예정 이미지 영역을 제거한 이미지를 나타내는 도면이다. 1 is a view showing an example of a conventional stereoscopic presentation image producing method having a partial stereoscopic effect.
2 is a block diagram of a 3D image conversion apparatus according to an embodiment of the present invention.
3 is a block diagram illustrating a control unit of a 3D image conversion apparatus according to an exemplary embodiment of the present invention.
4 is a flowchart illustrating a 3D image conversion process performed by the 3D image conversion apparatus according to an exemplary embodiment of the present invention.
FIG. 5 is a diagram illustrating an example of generating an image region for left eye and a right eye image region according to a preferred embodiment of the present invention.
6 is a diagram illustrating an example of a 3D image generated by an image combining unit according to a preferred embodiment of the present invention.
7 is a diagram illustrating an example of generating a left eye image area according to another preferred embodiment of the present invention.
FIG. 8 is a diagram illustrating an example of generating a right eye image area according to another preferred embodiment of the present invention.
FIG. 9 is a flowchart illustrating a method of determining an input image using a histogram according to an exemplary embodiment of the present invention. Referring to FIG.
10 is a diagram illustrating a histogram of an entire image including a text image area according to an exemplary embodiment of the present invention.
FIG. 11 is a flowchart illustrating a method of determining an input image by counting horizontal and vertical lines according to another preferred embodiment of the present invention.
12 is a diagram illustrating an image for detecting horizontal and vertical lines according to another preferred embodiment of the present invention.
13 is a flowchart illustrating an image search unit searching for a 3D conversion scheduled image according to an exemplary embodiment of the present invention.
FIG. 14 is a diagram illustrating a line detection image for searching for a 3D conversion scheduled image by the image search unit according to a preferred embodiment of the present invention. FIG.
15 is a view showing an image in which line pixels corresponding to labels are removed from an image search unit according to a preferred embodiment of the present invention.
16 is a diagram illustrating an image in which an image search unit according to a preferred embodiment of the present invention has removed a 3D conversion scheduled image area using horizontal and vertical length values.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 또한 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면 번호에 상관없이 동일한 수단에 대해서는 동일한 참조 번호를 사용하기로 한다.
BRIEF DESCRIPTION OF THE DRAWINGS The advantages and features of the present invention, and the manner of achieving them, will be apparent from and elucidated with reference to the embodiments described hereinafter in conjunction with the accompanying drawings. The present invention may, however, be embodied in many different forms and should not be construed as being limited to the embodiments set forth herein. Rather, these embodiments are provided so that this disclosure will be thorough and complete, and will fully convey the scope of the invention to those skilled in the art. Is provided to fully convey the scope of the invention to those skilled in the art, and the invention is only defined by the scope of the claims. It is to be understood that the terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. In the following description, well-known functions or constructions are not described in detail since they would obscure the invention in unnecessary detail. In order to facilitate a thorough understanding of the present invention, the same reference numerals are used for the same means regardless of the number of the drawings.

본 명세서의 이미지는 정지화면(사진, 그림) 또는 동작화면(영상)을 모두 포함하는 개념이다.
The image of the present specification is a concept including both a still picture (picture, picture) or an operation picture (picture).

도 2는 본 발명의 바람직한 일 실시예에 따른 3D 이미지 변환 장치의 구성도를 나타내는 도면이다.
2 is a block diagram of a 3D image conversion apparatus according to an embodiment of the present invention.

도 2를 참조하면, 본 발명의 3D 이미지 변환 장치는 이미지 수신부(210), 제어부(220) 및 표시부(230)를 포함한다.
Referring to FIG. 2, the 3D image conversion apparatus of the present invention includes an image receiving unit 210, a control unit 220, and a display unit 230.

이미지 수신부(210)는 외부로부터 이미지를 수신한다. 이미지 수신부(210)는 방송국, 네트워크 서버 또는 외부장치와 통신하여 이미지를 수신할 수 있는데, 방송국, 네트워크 서버 또는 외부장치로부터 이미지가 포함된 데이터를 수신하고 상기 데이터를 가공(process)하여 이미지를 추출하여 제어부(220)로 전송한다.
The image receiving unit 210 receives an image from the outside. The image receiving unit 210 can receive an image by communicating with a broadcasting station, a network server, or an external device. The receiving unit 210 receives data including an image from a broadcasting station, a network server, or an external device, processes the data, And transmits it to the control unit 220.

상기 이미지는 정지화면(사진, 그림) 또는 동작화면(영상)을 모두 포함하는 개념으로서, 일반 이미지(natural image) 및 텍스트 이미지 영역을 포함하는 전체 이미지(510)를 포함한다. 상기 일반 이미지는 텍스트가 없는 이미지이다. 텍스트 이미지 영역을 포함하는 전체 이미지(510)는 문자 또는 기호 등을 망라하는 텍스트를 포함하는 이미지이다.
The image includes a still image (photograph, picture) or an operation screen (image), and includes a whole image 510 including a natural image and a text image area. The generic image is an image without text. The entire image 510 including the text image area is an image including text covering letters, symbols, and the like.

이미지 수신부(210)는 방송국에서 전송하는 방송 데이터를 수신할 수 있다. 이미지 수신부(210)는 안테나를 통해 RF(radio frequency)형태의 방송 데이터를 수신할 수 있다. 상기 방송 데이터는 이미지 데이터를 포함하는데, 이미지 수신부(210)는 상기 방송 데이터를 처리(process)하여 3D 이미지 변환할 이미지를 추출한다.
The image receiving unit 210 may receive broadcast data transmitted from a broadcasting station. The image receiving unit 210 may receive broadcast data in the form of radio frequency (RF) through an antenna. The broadcast data includes image data, and the image receiving unit 210 processes the broadcast data to extract an image to be 3D-converted.

이미지 수신부(210)는 유무선 네트워크와 연결되어 외부 서버와 연결될 수 있다. 상기 유무선 네트워크는 영상 또는 음성 통화를 할 수 있는 방송형 통신망, 공중전화망 및 이동통신망 등을 포함한다. 상기 유무선 네트워크는 무선 통신망도 포함한다. 상기 무선 통신망과의 접속을 위하여, WLAN(Wireless LAN), Wi-Fi, Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 등의 통신 규격이 이용될 수 있다. 이미지 수신부(210)는 상기 유무선 네트워크를 통해 방송, 게임, VOD 등을 포함하는 컨텐츠 데이터를 제공받을 수 있다. 상기 컨텐츠 데이터는 이미지 데이터를 포함하는데, 이미지 수신부(210)는 상기 컨텐츠 데이터를 처리(process)하여 3D 이미지 변환할 이미지를 추출한다.
The image receiving unit 210 may be connected to a wired / wireless network and connected to an external server. The wired / wireless network includes a broadcasting communication network, a public telephone network, and a mobile communication network capable of video or voice communication. The wired / wireless network also includes a wireless communication network. A communication standard such as WLAN (Wireless LAN), Wi-Fi, Wibro (Wireless broadband), Wimax (World Interoperability for Microwave Access), HSDPA (High Speed Downlink Packet Access) have. The image receiving unit 210 can receive content data including broadcast, game, VOD, etc. through the wired / wireless network. The content data includes image data, and the image receiving unit 210 processes the content data to extract an image to be 3D-converted.

이미지 수신부(210)는 외부장치와 연결될 수 있다. 이미지 수신부(210)는 DVD(Digital Versatile Disk), 블루레이(Blu ray), 게임기기, 카메라, 캠코더, 컴퓨터(노트북) 등과 같은 외부장치와 유무선으로 연결된다. 이미지 수신부(210)는 상기 외부장치로부터 데이터를 수신하고 상기 데이터를 가공(process)하여 3D 이미지 변환할 이미지를 추출한다.
The image receiving unit 210 may be connected to an external device. The image receiving unit 210 is wired or wirelessly connected to an external device such as a DVD (Digital Versatile Disk), a Blu ray, a game device, a camera, a camcorder, a computer (notebook) The image receiving unit 210 receives data from the external device, processes the data, and extracts an image to be 3D-converted.

제어부(220)는 이미지 수신부(210)로부터 입력된 이미지가 일반 이미지와 텍스트 이미지 영역을 포함하는 전체 이미지(510) 중 어느 것인지를 판별한다. 제어부(220)는 히스토그램 및 수직수평 라인의 개수를 이용하여 판별한다. 제어부(220)는 상기 입력된 이미지가 일반 이미지인 경우 전체를 3D 이미지 변환을 하고, 텍스트 이미지 영역을 포함하는 전체 이미지(510)인 경우 3D 변환 예정 이미지(511)를 탐색하는 이미지 영역을 탐색하여 특정 부분만 3D 이미지 변환을 수행한다.
The control unit 220 determines whether the image input from the image receiving unit 210 is a general image or an entire image 510 including a text image area. The control unit 220 determines the number of vertical and horizontal lines using the histogram and the number of vertical and horizontal lines. If the input image is a general image, the control unit 220 performs a 3D image conversion on the entire image, and if the input image is a whole image 510 including a text image area, the control unit 220 searches an image area for searching for a 3D conversion scheduled image 511 Perform 3D image conversion only for specific parts.

제어부(220)는 텍스트 이미지 영역과 원시 이미지 영역을 포함하는 전체 이미지 중에서 3D 변환을 하기 위한 3D 변환 예정 이미지를 탐색한다. 제어부(220)는 텍스트 이미지 영역을 포함하는 전체 이미지(510)에서 연속적으로 연결되어 있는 라인 픽셀들에 동일한 레이블을 부여하여 상기 3D 변환 예정 이미지(511)를 탐색한다.
The control unit 220 searches for a 3D conversion scheduled image for 3D conversion among the entire image including the text image area and the raw image area. The control unit 220 searches the 3D conversion scheduled image 511 by assigning the same label to the line pixels continuously connected in the entire image 510 including the text image area.

제어부(220)는 3D 변환 예정 이미지(511)의 깊이(depth) 정보를 생성한다. 제어부(220)는 상기 깊이 정보에 상응하여 3D 변환 예정 이미지(511)을 확대하여 좌안 이미지 영역(521) 및 우안 이미지 영역(531)을 생성한다.
The control unit 220 generates depth information of the 3D conversion scheduled image 511. [ The control unit 220 enlarges the 3D image to be converted 511 according to the depth information to generate a left eye image area 521 and a right eye image area 531. [

제어부(220)는 상기 깊이 정보에 상응하여 3D 변환 예정 이미지(511)을 확대하여 좌안 이미지 영역(521) 및 우안 이미지 영역(531)을 생성한다. 제어부(220)는 좌안 이미지 영역(521)과 우안 이미지 영역(531)의 확대 방향을 서로 반대로 하여야 한다. 제어부(220)는 좌안 이미지 영역(521)을 좌측으로 확대하고, 우안 이미지 영역(531)을 우측으로 확대할 수 있다. 또한, 제어부(220)는 좌안 이미지 영역(521)를 우측으로 확대하고, 우안 이미지 영역(531)을 좌측으로도 확대할 수 있다.
The control unit 220 enlarges the 3D image to be converted 511 according to the depth information to generate a left eye image area 521 and a right eye image area 531. [ The control unit 220 should reverse the enlargement directions of the left eye image region 521 and the right eye image region 531 to each other. The control unit 220 may enlarge the left eye image area 521 to the left side and enlarge the right eye image area 531 to the right side. Also, the control unit 220 may enlarge the left eye image area 521 to the right side and enlarge the right eye image area 531 to the left side.

제어부(220)는 좌안 이미지 영역(521)과 우안 이미지 영역(531)을 조합하여 3D 이미지를 생성한다. 제어부(220)는 3D 이미지를 다양한 포맷으로 형성될 수 있다.
The control unit 220 combines the left eye image region 521 and the right eye image region 531 to generate a 3D image. The control unit 220 may form the 3D image in various formats.

표시부(230)는 이미지를 구현한다. 표시부(230)는 2D 및 3D 디스플레이(3D display)를 수행할 수 있다. 표시부(230)는 제어부(220)에서 처리된 이미지 데이터를 RGB 데이터로 변환하고 상기 RGB 데이터에 상응하게 이미지를 화면으로 표시할 수 있다. PDP, LCD, OLED, 플렉시블 디스플레이(flexible display) 등이 표시부(230)로서 가능하다.
The display unit 230 implements an image. The display unit 230 may perform 2D and 3D displays (3D displays). The display unit 230 converts the image data processed by the control unit 220 into RGB data and displays an image corresponding to the RGB data on the screen. A PDP, an LCD, an OLED, a flexible display, or the like can be used as the display unit 230.

표시부(230)는 3D 이미지를 사용자가 인식하는 방식에 따라 추가 디스플레이 방식과 단독 디스플레이 방식으로 나뉠 수 있다. 단독 디스플레이 방식은 별도의 보조 장치 없이 디스플레이에서 단독으로 3D 이미지가 구현될 수 있는 방식이다. 단독 디스플레이 방식의 이미지를 시청하는 사용자는 추가 장치(ex)편광안경)가 없어도 3D 이미지를 시청할 수 있다. 단독 디스플레이 방식으로는 렌티큘라 방식, 파라랙스 베리어(parallax barrier) 등이 있을 수 있다. 추가 디스플레이 방식은 보조 장치를 사용하여 3D 이미지를 구현하는 방식이다. 추가 디스플레이 방식으로는 헤드 마운트 디스플레이(HMD) 방식, 안경 방식 등이 있을 수 있다. 또한, 안경 방식에서 사용되는 안경으로는 편광 안경, 셔터 글래스, 스펙트럼 필터 등이 적용될 수 있다.
The display unit 230 can be divided into an additional display method and a single display method according to a method of recognizing a 3D image by a user. The single display method is a method in which the 3D image can be implemented independently on the display without a separate auxiliary device. A user who views an image of a single display system can view a 3D image without using an additional device (ex) polarizing glasses). The single display method may be a lenticular method, a parallax barrier, or the like. The additional display method is to implement the 3D image using the auxiliary device. Additional display methods include a head-mounted display (HMD) system, a glasses system, and the like. Further, polarized glasses, shutter glasses, spectral filters, and the like can be applied to the glasses used in the glasses system.

도 3은 본 발명의 바람직한 일 실시예에 따른 3D 이미지 변환 장치의 제어부의 구성도를 나타내는 도면이다. 도 3을 참조하면, 제어부(220)는 이미지 판별부(221), 이미지 영역 탐색부(223), 깊이 정보 생성부(225), 이미지 변환부(227) 및 이미지 조합부(229)를 포함한다.
3 is a block diagram illustrating a control unit of a 3D image conversion apparatus according to an exemplary embodiment of the present invention. 3, the control unit 220 includes an image determining unit 221, an image area searching unit 223, a depth information generating unit 225, an image converting unit 227, and an image combining unit 229 .

이미지 판별부(221)는 제어부(220)로 입력되는 이미지가 일반 이미지인지 또는 텍스트 이미지 영역을 포함하는 전체 이미지(510)인지를 판별한다. 이미지 판별부(221)는 상기 판별을 두 가지 방식으로 실시한다.
The image determining unit 221 determines whether the image input to the controller 220 is a general image or an entire image 510 including a text image area. The image discrimination unit 221 performs the discrimination in two ways.

이미지 판별부(221)의 첫 번째 판별법은 그레이스케일 이미지의 히스토그램을 이용한다.
The first discrimination method of the image discrimination unit 221 uses the histogram of the gray scale image.

도 9는 본 발명의 바람직한 일 실시예에 따른 이미지 판별부가 히스토그램을 이용하여 입력 이미지를 판별하는 순서도를 나타내는 도면이고, 도 10은 본 발명의 바람직한 일 실시예에 따른 텍스트 이미지 영역을 포함하는 전체 이미지의 히스토그램을 나타내는 도면이다. 여기서, 도 10a는 일반 이미지의 히스토그램이고, 도 10b는 텍스트 이미지 영역을 포함하는 전체 이미지의 히스토그램이다.
FIG. 9 is a flowchart illustrating a method of determining an input image using a histogram according to an exemplary embodiment of the present invention. FIG. 10 is a flowchart illustrating a method of determining an input image using a histogram, according to an exemplary embodiment of the present invention. Fig. Here, FIG. 10A is a histogram of a general image, and FIG. 10B is a histogram of an entire image including a text image area.

도 9를 참조하면, S901단계에서, 이미지 판별부(221)는 이미지 수신부(210)로부터 입력된 이미지를 그레이스케일 이미지로 변환한다.
Referring to FIG. 9, in step S901, the image determining unit 221 converts an image input from the image receiving unit 210 into a grayscale image.

S903단계에서, 이미지 판별부(221)는 상기 그레이스케일 이미지의 히스토그램을 생성한다.
In step S903, the image determination unit 221 generates a histogram of the gray-scale image.

S905단계에서, 이미지 판별부(221)는 그레이스케일 이미지를 히스토그램화 한 값 중에서 최대값을 산출한다. 상기 최대값은 다음과 같이 산출될 수 있다.
In step S905, the image determination unit 221 calculates the maximum value among the values obtained by histogramming the gray scale image. The maximum value can be calculated as follows.

텍스트 이미지 영역을 포함하는 전체 이미지(510)의 특징 중 하나는 여러 색이 고르게 분포하는 일반 이미지와 달리, 배경의 영향으로 인해 특정 색상이 많은 부분을 차지한다.
One of the characteristics of the entire image 510 including the text image area occupies a part of a specific color due to the influence of the background, unlike the general image in which the colors are evenly distributed.

도 10을 참조하면, 텍스트 이미지 영역을 포함하는 전체 이미지(510)의 히스토그램은 과도하게 기울기(gradient)가 높은 구간을 많이 포함함을 알 수 있다. 이러한 특징은 일반 이미지와 텍스트 이미지 영역을 포함하는 전체 이미지(510)를 분류할 수 있는 정보가 된다. 이미지 판별부(221)는 히스토그램에서 최대 빈도수(frequency)를 갖는 구간(bin)을 선택하고 상기 구간(bin)에 해당하는 픽셀 비율(R1)을 다음 식을 통하여 계산한다. Referring to FIG. 10, it can be seen that the histogram of the entire image 510 including the text image region includes many sections with excessively high gradients. This feature is information capable of classifying the entire image 510 including the general image and the text image area. The image determining unit 221 selects a bin having a maximum frequency in the histogram and calculates a pixel ratio R1 corresponding to the bin according to the following equation.

Figure pat00001
Figure pat00001

여기서, MAXiH(Yi)는 최대 빈도수을 갖는 구간 i 의 픽셀수이고, M×N은 전체 픽셀수 이다.
Here, MAX i H (Y i ) is the number of pixels in the interval i having the maximum frequency, and M × N is the total number of pixels.

S907단계에서, 이미지 판별부(221)는 상기 최대값을 히스토그램 임계값과 비교한다. 이미지 판별부(221)는 픽셀 비율(R1)을 히스토그램 임계값(T1)과 비교한다.
In step S907, the image determination unit 221 compares the maximum value with a histogram threshold value. The image determination unit 221 compares the pixel ratio R1 with the histogram threshold value T 1 .

S909단계에서, 이미지 판별부(221)는 상기 최대값이 히스토그램 임계값보다 크면 텍스트 이미지 영역을 포함하는 전체 이미지로 판별한다. 이미지 판별부(221)는 픽셀 비율(R1)이 히스토그램 임계값(T1) 보다 크면 텍스트 이미지 영역을 포함하는 전체 이미지로 판별한다.
In step S909, if the maximum value is greater than the histogram threshold value, the image determination unit 221 determines the entire image including the text image area. If the pixel ratio R1 is larger than the histogram threshold value T 1 , the image determination unit 221 determines the entire image including the text image area.

S911단계에서, 이미지 판별부(221)는 상기 최대값이 히스토그램 임계값보다 작거나 같으면 일반 이미지로 판별한다. 이미지 판별부(221)는 픽셀 비율(R1)이 히스토그램 임계값(T1) 보다 작으면 일반 이미지로 판별한다.
In step S911, if the maximum value is less than or equal to the histogram threshold value, the image determination unit 221 determines the image as a normal image. If the pixel ratio R1 is smaller than the histogram threshold value T 1 , the image determination unit 221 determines the image as a general image.

이미지 판별부(221)의 두 번째 판별법은 수평수직 라인의 개수를 이용하여 판별한다. 이미지 판별부(221)는 텍스트 이미지 영역을 포함하는 전체 이미지(510)의 수평 라인과 수직 라인 중 적어도 어느 하나의 개수를 카운트하여 상기 카운트한 값이 임계값보다 큰 경우 텍스트 이미지 영역을 포함하는 전체 이미지(510)로 판별한다.
The second discrimination method of the image discrimination unit 221 discriminates using the number of horizontal and vertical lines. The image determining unit 221 counts the number of at least any one of the horizontal line and the vertical line of the entire image 510 including the text image area. If the counted value is greater than the threshold value, Image 510 as shown in FIG.

도 11은 본 발명의 바람직한 다른 실시예에 따른 이미지 판별부가 수평수직 라인을 카운트하여 입력 이미지를 판별하는 순서도를 나타내는 도면이고, 도 12는 본 발명의 바람직한 다른 실시예에 따른 수평수직 라인을 검출하기 위한 이미지를 나타내는 도면이다. 여기서, 도 12a는 일반 이미지의 라인 이미지이고, 도 12b는 텍스트 이미지 영역을 포함하는 전체 이미지(510)의 라인 이미지이고, 도 12c는 일반 이미지의 수평수직 라인 검출 이미지이며, 도 12d는 텍스트 이미지 영역을 포함하는 전체 이미지(510)의 수평수직 라인 검출 이미지이다.
FIG. 11 is a flowchart illustrating a method of determining an input image by counting horizontal and vertical lines according to another preferred embodiment of the present invention. FIG. 12 is a flowchart illustrating a method of detecting horizontal and vertical lines according to another preferred embodiment of the present invention. Fig. Here, FIG. 12A is a line image of a general image, FIG. 12B is a line image of an entire image 510 including a text image area, FIG. 12C is a horizontal and vertical line detection image of a general image, The horizontal and vertical line detection images of the entire image 510 including the horizontal and vertical lines.

도 11을 참조하면, S1101단계에서, 이미지 판별부(221)는 라인 이미지를 얻어 라인을 검출한다. 이미지 판별부(221)는 행렬 연산자를 입력 이미지에 회선(convolution)하여 출력을 획득하고, 상기 출력 중에서 최대값을 선택하는 방법으로 라인 이미지를 획득한다. 도 12a 및 도 12b를 참고하면, 일반 이미지의 라인 이미지보다 텍스트 이미지 영역을 포함하는 전체 이미지(510)의 라인 이미지가 수평수직 라인을 더 많이 포함하고 있다.
Referring to FIG. 11, in step S1101, the image determining unit 221 obtains a line image and detects a line. The image determination unit 221 acquires an output by convoluting a matrix operator to an input image, and obtains a line image by selecting a maximum value among the outputs. 12A and 12B, the line image of the entire image 510 including the text image area includes more horizontal and vertical lines than the line image of the general image.

S1103단계에서, 이미지 판별부(221)는 수평수직 라인이 아닌 라인 즉, 곡선 및 사선 라인을 제거하여 수평수직 라인 검출 이미지를 생성한다. 이미지 판별부(221)는 수평수직 라인이 아닌 라인을 제거하여 수평수직 라인의 카운트 작업을 더욱 용이하게 한다. 이미지 판별부(221)는 라인 이미지에서 검출된 각 라인 픽셀을 중심으로 상, 하, 좌, 우의 4방향으로 탐색하여 길이를 조사한다. 이미지 판별부(221)는 조사한 길이가 임계치 T2보다 작은 경우 수평수직 라인이 아니라고 판단하여 제거한다. 도 12c 및 도 12d를 참고하면, 일반 이미지의 수평수직 라인 검출 이미지보다 텍스트 이미지 영역을 포함하는 전체 이미지(510)의 수평수직 라인 검출 이미지가 수평수직 라인을 더 많이 포함하고 있다.
In step S1103, the image determination unit 221 generates horizontal and vertical line detection images by removing lines, i.e., curved lines and oblique lines, which are not horizontal and vertical lines. The image determination unit 221 removes lines other than the horizontal and vertical lines, thereby facilitating the counting operation of the horizontal and vertical lines. The image determination unit 221 searches for the length in four directions of up, down, left, and right with respect to each line pixel detected in the line image. The image judging unit 221 judges that the length is not the horizontal or vertical line when the length is smaller than the threshold value T 2 and removes it. Referring to FIGS. 12C and 12D, the horizontal and vertical line detection image of the entire image 510 including the text image area includes more horizontal and vertical lines than the horizontal and vertical line detection image of the general image.

S1105단계에서, 이미지 판별부(221)는 수평수직 라인을 검출하고 카운트한다.
In step S1105, the image determination unit 221 detects and counts horizontal and vertical lines.

S1107단계에서, 이미지 판별부(221)는 상기 수평수직 라인의 카운트값을 라인 임계값과 비교한다.
In step S1107, the image determination unit 221 compares the count value of the horizontal and vertical lines with the line threshold value.

S1109단계에서, 이미지 판별부(221)는 상기 수평수직 라인의 카운트값이 크면 입력 이미지를 텍스트 이미지 영역을 포함하는 전체 이미지(510)로 판별한다.
In step S1109, if the count value of the horizontal and vertical lines is large, the image determining unit 221 determines the input image as the entire image 510 including the text image area.

S1111단계에서, 이미지 판별부(221)는 상기 수평수직 라인의 카운트값이 작거나 같으면 입력 이미지를 일반 이미지로 판별한다.
In step S1111, if the count value of the horizontal and vertical lines is smaller than or equal to the count value, the image determination unit 221 determines the input image as a normal image.

이미지 영역 탐색부(223)는 텍스트 이미지 영역과 원시 이미지 영역을 포함하는 전체 이미지 중에서 3D 변환을 하기 위한 3D 변환 예정 이미지를 탐색한다. 입력된 이미지가 텍스트 이미지 영역을 포함하는 전체 이미지(510)로 판별이 되면, 이미지 영역 탐색부(223)는 3D 이미지 변환을 영역을 설정한다.
The image area searching unit 223 searches for a 3D conversion scheduled image for performing 3D conversion among the entire image including the text image area and the raw image area. When the input image is determined as the entire image 510 including the text image area, the image area searching unit 223 sets the area for 3D image conversion.

이미지 영역 탐색부(223)는 텍스트 이미지 영역을 포함하는 전체 이미지(510)에서 연속적으로 연결되어 있는 라인 픽셀들에 동일한 레이블을 부여하여 3D 변환 예정 이미지(511)를 탐색한다.
The image area searching unit 223 searches the 3D conversion scheduled image 511 by assigning the same label to the line pixels continuously connected in the entire image 510 including the text image area.

이미지 영역 탐색부(223)는 이미지에서 서로 연결된 라인끼리 동일한 레이블을 부여하는 CCL(Connected Component Labeling)알고리즘을 사용할 수 있다. 이미지 영역 탐색부(223)는 검출된 각 라인 픽셀을 기준으로 8방향으로 탐색하여 연속적으로 연결되어 있는 픽셀들을 동일한 레이블로 처리한다. 이미지 영역 탐색부(223)는 이 과정에서 각 레이블 당 라인 픽셀의 개수를 구할 수 있다. 각 라인 픽셀은 모두 레이블을 가지고 있고, 각 레이블은 라인 픽셀의 개수에 대한 정보를 가지고 있다. 이미지 영역 탐색부(223)는 적은 라인 픽셀의 수를 갖고 있는 레이블의 라인 픽셀들을 제거함으로써, 부적절한 3D 변환 예정 이미지(511)를 제거할 수 있다.
The image area searching unit 223 may use a CCL (Connected Component Labeling) algorithm that assigns the same label to each other in the image. The image area searching unit 223 searches the eight pixels in the direction of each pixel of the detected line to process the pixels connected to the pixel in the same direction. The image area searching unit 223 can obtain the number of line pixels per label in this process. Each line pixel has a label, and each label has information about the number of line pixels. The image area searching unit 223 can remove the inadequate 3D conversion scheduled image 511 by removing line pixels of a label having a small number of line pixels.

도 13은 본 발명의 바람직한 일 실시예에 따른 이미지 탐색부가 3D 변환 예정 이미지를 탐색하는 순서도를 나타내는 도면이고, 도 14는 본 발명의 바람직한 일 실시예에 따른 이미지 탐색부가 3D 변환 예정 이미지를 탐색하기 위한 라인 검출 이미지를 나타내는 도면이고, 도 15는 본 발명의 바람직한 일 실시예에 따른 이미지 탐색부가 레이블에 상응하는 라인 픽셀을 제거한 이미지를 나타내는 도면이고, 도 16은 본 발명의 바람직한 일 실시예에 따른 이미지 탐색부가 가로 및 세로 길이값을 이용하여 3D 변환 예정 이미지 영역을 제거한 이미지를 나타내는 도면이다.
FIG. 13 is a flowchart illustrating a method for searching for a 3D image to be converted according to an exemplary embodiment of the present invention. FIG. 14 is a flowchart illustrating a method of searching for a 3D image to be transformed according to an exemplary embodiment of the present invention. FIG. 15 is a view showing an image in which a line pixel corresponding to a label is removed from an image search unit according to a preferred embodiment of the present invention, and FIG. 16 is a diagram illustrating a line detection image for an image according to a preferred embodiment of the present invention And the image search unit removes the 3D conversion scheduled image area using the horizontal and vertical length values.

도 13을 참조하면, S1301단계에서, 이미지 영역 탐색부(223)는 라인 이미지를 얻어 라인을 검출한다. 이미지 영역 탐색부(223)는 라인 이미지에서 수평수직 라인을 검출하여 수평수직 라인 검출 이미지를 생성한다. 이미지 영역 탐색부(223)는 이미지 판별부(221)가 입력 이미지가 텍스트 이미지 영역을 포함하는 전체 이미지(510)인지 판별하는 것과 동일한 과정을 수행한다. 도 14a는 텍스트 이미지 영역을 포함하는 전체 이미지(510)이고, 도 14b는 텍스트 이미지 영역을 포함하는 전체 이미지(510)의 라인 이미지이고, 도 14c는 텍스트 이미지 영역을 포함하는 전체 이미지(510)의 수평수직 라인 검출 이미지이다. 도 14를 참조하면, 텍스트 이미지 영역을 포함하는 전체 이미지(510)가 원본 이미지에서 라인 이미지 및 수평수직 라인 검출 이미지로 변환되는 양상이 도시되어 있다.
Referring to FIG. 13, in step S1301, the image area searching unit 223 obtains a line image and detects a line. The image area searching unit 223 detects horizontal and vertical lines in the line image to generate a horizontal and vertical line detection image. The image area searching unit 223 performs the same process as the image determining unit 221 determines whether the input image is the entire image 510 including the text image area. 14A is a full image 510 including a text image area, FIG. 14B is a line image of an entire image 510 including a text image area, FIG. 14C is a line image of a full image 510 including a text image area, Horizontal and vertical line detection image. Referring to Fig. 14, an aspect is shown in which the entire image 510 including the text image area is converted from the original image into a line image and a horizontal / vertical line detection image.

S1303단계에서, 이미지 영역 탐색부(223)는 상기 라인 이미지수평수직 라인 검출 이미지로부터 수평수직 라인이 아닌 라인 즉, 곡선 및 사선 라인을 제거하여 노이즈가 제거된 수직수평 라인 검출 이미지를 생성한다.
In step S1303, the image area searching unit 223 removes lines, that is, curved lines and oblique lines, which are not horizontal and vertical lines from the line image horizontal and vertical line detection image, to generate a noise-removed vertical and horizontal line detection image.

S1305단계에서, 이미지 영역 탐색부(223)는 상기 도 14c의 수평수직 라인 검출 이미지에서 연속적으로 연결된 라인 픽셀들에 동일한 레이블을 부여한다.
In step S1305, the image area searching unit 223 assigns the same label to the line pixels successively connected in the horizontal and vertical line detection image of FIG. 14C.

S1307단계에서, 이미지 영역 탐색부(223)는 상기 레이블에 상응하는 라인 픽셀을 카운트한다.
In step S1307, the image area searching unit 223 counts line pixels corresponding to the label.

S1309단계에서, 이미지 영역 탐색부(223)는 상기 라인 픽셀을 카운트한 값과 라인 픽셀 임계값을 비교한다.
In step S1309, the image area searching unit 223 compares the line pixel count value with the line pixel threshold value.

S1311단계에서, 이미지 영역 탐색부(223)는 상기 라인 픽셀을 카운트한 값이 라인 픽셀 임계값 보다 작으면, 상기 레이블에 상응하는 라인 픽셀들을 제거한다. 이로써, 크기가 작은 사각형의 3D 변환 예정 이미지(511)는 제거된다.
In step S1311, the image area searching unit 223 removes line pixels corresponding to the label if the counted value of the line pixels is smaller than the line pixel threshold value. As a result, the 3D converted image 511 having a small size is removed.

S1313단계에서, 이미지 영역 탐색부(223)는 상기 라인 픽셀을 카운트한 값이 라인 픽셀 임계값 보다 크거나 같으면, 상기 레이블에 상응하는 라인 픽셀들을 보존하고 그대로 남긴다. 도 15a는 도 14c와 같은 텍스트 이미지 영역을 포함하는 전체 이미지(510)의 수평수직 라인 검출 이미지이고, 도 15b와 도 15c는 라인 픽셀 임계값을 증가시켰을 때 텍스트 이미지 영역을 포함하는 전체 이미지(510)의 수평수직 라인 검출 이미지이다. 도 15를 참조하면, 이미지 영역 탐색부(223)가 임계값을 증가시켜 엄격하게 3D 변환 예정 이미지(511)를 탐색하는 양상이 도시되어 있다. 라인 픽셀 임계값이 증가함에 따라, 3D 변환 예정 이미지(511)는 크기가 작은 순서대로 제거된다. 라인 픽셀 임계값이 더 큰 도 15c가 라인 픽셀 임계값이 더 작은 도 15b 보다 더 적은 라인들을 포함하고 있다.
In step S1313, if the value obtained by counting the line pixels is greater than or equal to the line pixel threshold value, the image area searching unit 223 stores the line pixels corresponding to the label and leaves the same. 15A is a horizontal and vertical line detection image of the entire image 510 including a text image area as shown in FIG. 14C, and FIGS. 15B and 15C show an entire image 510 including a text image area when the line pixel threshold is increased ) Horizontal and vertical line detection image. Referring to FIG. 15, the image area searching unit 223 increases the threshold value to strictly search the 3D conversion scheduled image 511. In FIG. As the line pixel threshold increases, the 3D conversion scheduled image 511 is removed in order of small size. Figure 15C, where the line pixel threshold is greater, includes fewer lines than Figure 15B, where the line pixel threshold is smaller.

S1315단계에서, 이미지 영역 탐색부(223)는 텍스트 이미지 영역을 포함하는 전체 이미지(510)의 수평수직 라인 검출 이미지에서 가로 및 세로 길이값을 산출한다. 이미지 영역 탐색부(223)는 가로 및 세로 길이값을 가지고 수평수직 라인 검출 이미지에서 노이즈 3D 변환 예정 이미지(511)를 제거한다. 상기 노이즈 3D 변환 예정 이미지(511)는 이미지가 아니나 이미지의 형상으로 오인할 수 있는 것들을 말한다. 가령, 웹페이지 이미지를 수평수직 라인 검출 이미지화 한 경우, 이미지 영역 탐색부(223)는 주소창, 검색어창 등을 사각형의 3D 변환 예정 이미지(511)으로 오인할 수 있다. 이미지 영역 탐색부(223)는 이들의 특징인 가로 길이와 세로 길이의 차이를 이용하여 상기 노이즈 3D 변환 예정 이미지(511)를 제거한다. 이미지 영역 탐색부(223)는 가로 및 세로 길이값이 특정값을 넘지 못하는 경우도 노이즈로 보고 제거한다.
In step S1315, the image area searching unit 223 calculates the horizontal and vertical length values in the horizontal and vertical line detection images of the entire image 510 including the text image area. The image area searching unit 223 removes the noise 3D conversion scheduled image 511 from the horizontal and vertical line detection image with the horizontal and vertical length values. The noise 3D conversion scheduled image 511 is not an image but refers to something that can be mistaken for an image shape. For example, when the web page image is horizontally and vertically detected as an image, the image region searching unit 223 can mistake the address window, the search word window, and the like as a quadrangle 3D conversion scheduled image 511. The image area searching unit 223 removes the noise 3D conversion scheduled image 511 using the difference between the horizontal length and the vertical length. The image area searching unit 223 also detects and removes noise when the horizontal and vertical length values do not exceed a specific value.

S1320단계에서, 이미지 영역 탐색부(223)는 상기 가로 길이값과 세로 길이값의 차이값을 산출한다.
In step S1320, the image area searching unit 223 calculates a difference value between the horizontal length value and the vertical length value.

S1322단계에서, 이미지 영역 탐색부(223)는 상기 차이값을 차이 임계값과 비교한다.
In step S1322, the image area searching unit 223 compares the difference value with the difference threshold value.

S1324단계에서, 이미지 영역 탐색부(223)는 상기 차이값이 상기 차이 임계값보다 크면 3D 변환 예정 이미지(511)를 제거한다.
In step S1324, the image area searching unit 223 removes the 3D conversion scheduled image 511 if the difference value is larger than the difference threshold value.

S1326단계에서, 이미지 영역 탐색부(223)는 상기 차이값이 상기 차이 임계값보다 작거나 같으면 3D 변환 예정 이미지(511)를 보존한다.
In step S1326, the image area searching unit 223 stores the 3D conversion scheduled image 511 if the difference value is less than or equal to the difference threshold value.

S1321단계에서, 이미지 영역 탐색부(223)는 상기 가로 길이값을 길이 임계값과 비교한다.
In step S1321, the image area searching unit 223 compares the length value with a length threshold value.

S1323단계에서, 이미지 영역 탐색부(223)는 상기 가로 길이값이 길이 임계값보다 작으면 3D 변환 예정 이미지(511)를 제거한다.
In step S1323, the image area searching unit 223 removes the 3D conversion scheduled image 511 if the horizontal length value is smaller than the length threshold value.

S1325단계에서, 이미지 영역 탐색부(223)는 상기 가로 길이값이 길이 임계값 보다 크거나 같으면 상기 세로 길이값을 길이 임계값과 비교한다. 이미지 영역 탐색부(223)는 상기 세로 길이값이 길이 임계값보다 작으면 3D 변환 예정 이미지(511)를 제거한다.
In step S1325, the image area searching unit 223 compares the length value with the length threshold value if the width value is greater than or equal to the length threshold value. The image area searching unit 223 removes the 3D conversion scheduled image 511 if the vertical length value is smaller than the length threshold value.

S1327단계에서, 이미지 영역 탐색부(223)는 상기 세로 길이값이 길이 임계값 보다 크거나 같으면 3D 변환 예정 이미지(511)를 보존한다.
In step S1327, the image area searching unit 223 stores the 3D conversion scheduled image 511 if the vertical length value is equal to or greater than the length threshold value.

깊이 정보 생성부(225)는 3D 변환 예정 이미지(511)에 대한 깊이(depth) 정보를 생성한다. 상기 깊이 정보는 3D 변환 예정 이미지(511)를 확대할 때, 확대하는 정도의 기준이 된다. 이미지 변환부(227)는 상기 깊이 정보에 상응하게 3D 변환 예정 이미지(511)를 확대한다.
The depth information generator 225 generates depth information for the 3D image to be converted 511. The depth information serves as a criterion for the degree of enlargement when the 3D conversion scheduled image 511 is enlarged. The image converting unit 227 enlarges the 3D conversion scheduled image 511 according to the depth information.

이미지 변환부(227)는 상기 깊이 정보에 상응하여 3D 변환 예정 이미지(511)를 확대하여 좌안 이미지 영역(521)과 우안 이미지 영역(531)을 생성한다.
The image converting unit 227 enlarges the 3D conversion scheduled image 511 according to the depth information to generate a left eye image area 521 and a right eye image area 531. [

도 5는 본 발명의 바람직한 일 실시예에 따른 이미지 변환부가 좌안 이미지 영역 및 우안 이미지 영역을 생성하는 예시도를 나타내는 도면이다.
FIG. 5 is a diagram illustrating an example of generating an image region for left eye and a right eye image region according to a preferred embodiment of the present invention.

도 5를 참조하면, 이미지 변환부(227)는 좌안 이미지 영역(521)을 생성한다. 이미지 변환부(227)는 텍스트 이미지 영역을 포함하는 전체 이미지(510) 중에서 3D 변환 예정 이미지(511)를 깊이 정보 생성부(225)가 생성한 깊이 정보(depth)만큼 확대하되, 3D 변환 예정 이미지(511)의 우측을 기준으로 고정하고, 좌측으로 확대하여 좌안 이미지 영역(521)을 생성한다.
Referring to FIG. 5, the image converting unit 227 generates a left eye image area 521. The image converting unit 227 enlarges the 3D conversion scheduled image 511 from the entire image 510 including the text image area by the depth information generated by the depth information generating unit 225, Is fixed on the basis of the right side of the left eye image area 511 and enlarged to the left side to generate a left eye image area 521. [

이미지 변환부(227)는 우안 이미지 영역(531)을 생성한다. 이미지 변환부(227)는 텍스트 이미지 영역을 포함하는 전체 이미지(510) 중에서 3D 변환 예정 이미지(511)를 깊이 정보 생성부(225)가 생성한 깊이 정보(depth)만큼 확대하되, 3D 변환 예정 이미지(511)의 좌측을 기준으로 고정하고, 우측으로 확대하여 우안 이미지 영역(531)을 생성한다.
The image converting unit 227 generates a right eye image area 531. [ The image converting unit 227 enlarges the 3D conversion scheduled image 511 from the entire image 510 including the text image area by the depth information generated by the depth information generating unit 225, Is fixed on the basis of the left side of the image 511 and enlarged to the right side to generate the right eye image area 531. [

도 5a는 확대된 좌안 이미지 영역(521)을 포함하는 좌안 이미지(520)이고, 도 5b는 확대된 우안 이미지 영역(531)을 포함하는 우안 이미지(530)이다. 이미지 변환부(227)는 좌안 이미지 영역(521)을 포함하는 좌안 이미지(520) 및 우안 이미지(530)를 각각 생성한다.
5A is a left eye image 520 including an enlarged left eye image area 521 and FIG. 5B is a right eye image 530 including an enlarged right eye image area 531. FIG. The image converting unit 227 generates a left eye image 520 and a right eye image 530 including a left eye image area 521, respectively.

이미지 조합부(229)는 좌안 이미지 영역(521)과 우안 이미지 영역(531)을 조합하여 3D 이미지를 생성한다.
The image combining unit 229 combines the left eye image region 521 and the right eye image region 531 to generate a 3D image.

도 6은 본 발명의 바람직한 일 실시예에 따른 이미지 조합부가 생성한 3D 이미지에 대한 예시도를 나타내는 도면이다. 도 6a는 2D 이미지인 원본 이미지이고, 도 6b는 3D 이미지이다.
6 is a diagram illustrating an example of a 3D image generated by an image combining unit according to a preferred embodiment of the present invention. 6A is a 2D image, and FIG. 6B is a 3D image.

도 6을 참조하면, 이미지 조합부(229)는 좌안 이미지 영역(521)이 포함된 좌안 이미지(520)와 우안 이미지 영역(531)이 포함된 우안 이미지(530)를 조합하여 3D 이미지를 생성한다. 이미지 조합부(229)는 다양한 포맷의 3D 이미지를 생성한다. 포맷은 좌안 이미지(520)와 우안 이미지(530)가 좌우로 배치되는 사이드 바이 사이드(side by side), 좌안 이미지(520) 및 우안 이미지(530)가 상하로 배치되는 탑다운(top down), 좌안 이미지(520)와 우안 이미지(530)가 시분할로 배치되는 프레임 시퀀셜(frame sequential), 좌안 이미지(520)와 우안 이미지(530)를 라인별로 혼합하는 인터레이스(interlace), 좌안 이미지(520) 및 우안 이미지(530)를 박스별로 혼합하는 체커 박스(checker box)를 포함한다. 이미지 조합부(229)는 좌안 이미지(520)와 우안 이미지(530)를 특정 포맷형태로 조합하여 도 6a와 같은 3D 이미지를 생성한다.
6, the image combining unit 229 generates a 3D image by combining a left eye image 520 including a left eye image area 521 and a right eye image 530 including a right eye image area 531 . The image combining section 229 generates 3D images in various formats. The format includes a left side image 520 and a side down side in which the right eye image 530 is arranged left and right, a left down image 520 and a top down in which the right eye image 530 is arranged vertically, A frame sequence in which the left eye image 520 and the right eye image 530 are arranged in a time-division manner, an interlace in which the left eye image 520 and the right eye image 530 are mixed line by line, a left eye image 520, And a checker box for mixing the right-eye images 530 box-by-box. The image combining unit 229 combines the left eye image 520 and the right eye image 530 in a specific format to generate a 3D image as shown in FIG. 6A.

도 4는 본 발명의 바람직한 일 실시예에 따른 3D 이미지 변환 장치가 3D 이미지 변환을 수행하는 순서도를 나타내는 도면이다.
4 is a flowchart illustrating a 3D image conversion process performed by the 3D image conversion apparatus according to an exemplary embodiment of the present invention.

도 4를 참조하면, S401단계에서, 이미지 수신부(210)는 특정 이미지를 수신한다.
Referring to FIG. 4, in step S401, the image receiving unit 210 receives a specific image.

S403단계에서, 이미지 판별부(221)는 상기 이미지가 텍스트 이미지 영역과 원시 이미지 영역을 포함하고 있는지 여부를 판별한다. 이미지 판별부(221)는 일반 이미지인지 또는 텍스트 이미지 영역을 포함하는 전체 이미지(510)인지 여부를 판별한다.
In step S403, the image determining unit 221 determines whether the image includes a text image area and a raw image area. The image determining unit 221 determines whether the image is the general image 510 or the entire image 510 including the text image area.

S405단계에서, 입력된 이미지가 텍스트 이미지 영역을 포함하는 전체 이미지(510)면, 이미지 영역 탐색부(223)는 3D 이미지 변환을 위한 3D 변환 예정 이미지(511)을 탐색한다.
In step S405, if the input image is the entire image 510 including the text image area, the image area searching unit 223 searches the 3D conversion scheduled image 511 for 3D image conversion.

S407단계에서, 입력된 이미지가 일반 이미지면, 이미지 영역 탐색부(223)는 3D 변환 예정 이미지(511)을 탐색하지 않고, 이미지 변환부(227)는 입력된 이미지 전체를 3D 이미지 변환을 수행한다.
In step S407, if the input image is a general image, the image area searching unit 223 does not search the 3D conversion scheduled image 511, and the image converting unit 227 performs the 3D image conversion on the entire input image .

S409단계에서, 깊이 정보 생성부(225)는 3D 변환 예정 이미지(511)의 깊이 정보를 생성한다.
In step S409, the depth information generation unit 225 generates depth information of the 3D conversion scheduled image 511. [

S411단계에서, 이미지 변환부(227)는 3D 변환 예정 이미지(511)의 좌안 이미지 영역(521) 및 우안 이미지 영역(531)을 생성한다.
In step S411, the image converting unit 227 generates a left eye image area 521 and a right eye image area 531 of the 3D conversion scheduled image 511. [

S413단계에서, 이미지 조합부(229)는 좌안 이미지 영역(521) 및 우안 이미지 영역(531)을 조합하여 3D 이미지를 생성한다.
In step S413, the image combining unit 229 combines the left eye image area 521 and the right eye image area 531 to generate a 3D image.

S415단계에서, 표시부(230)는 상기 3D 이미지를 디스플레이 한다.
In step S415, the display unit 230 displays the 3D image.

본 발명의 다른 실시예에 따르면, 3D 이미지 변환 장치의 이미지 변환부(227)는 3D 변환 예정 이미지(511)을 확대, 이동 및 제거를 통하여 좌안 이미지 영역(521)과 우안 이미지 영역(531)을 생성한다.
According to another embodiment of the present invention, the image conversion unit 227 of the 3D image conversion apparatus converts the left-eye image area 521 and the right-eye image area 531 through enlargement, movement, and elimination of the 3D- .

이미지 변환부(227)는 좌측을 기준으로 우측으로 3D 변환 예정 이미지(711)를 확대하고 상기 확대에 상응하는 만큼 제거하여 좌안 이미지 영역(521)을 생성하고, 좌측을 기준으로 우측으로 3D 변환 예정 이미지(811)를 확대하고 상기 확대에 상응하는 만큼 좌측으로 이동하고 상기 이동에 상응하는 만큼 제거하여 우안 이미지 영역(531)을 생성한다.
The image converting unit 227 enlarges the 3D conversion scheduled image 711 to the right with respect to the left side and removes the corresponding image corresponding to the enlarged image to generate a left eye image area 521, Enlarges the image 811, moves to the left by the amount corresponding to the enlargement, and removes as much as corresponding to the movement to generate the right eye image area 531. [

도 7은 본 발명의 바람직한 다른 실시예에 따른 이미지 변환부가 좌안 이미지 영역을 생성하는 예시도를 나타내는 도면이고, 도 8은 본 발명의 바람직한 다른 실시예에 따른 이미지 변환부가 우안 이미지 영역을 생성하는 예시도를 나타내는 도면이다.
FIG. 7 is a diagram illustrating an example of generating an image region of a left eye according to another preferred embodiment of the present invention, and FIG. 8 is a diagram illustrating an example of generating a right eye image region according to another preferred embodiment of the present invention Fig.

도 7을 참조하면, 이미지 변환부(227)는 3D 변환 예정 이미지(711)를 확대하고 확대한 부분을 제거하여 좌안 이미지 영역(521)을 생성한다. 이미지 변환부(227)는 텍스트 이미지 영역을 포함하는 전체 이미지(710) 중에서 3D 변환 예정 이미지(711)에 대하여 Pmax 만큼 확대한다(도 7a 및 도 7b 참고). 상기 Pmax 는 3D 변환 예정 이미지(711)의 깊이 정보에 의하여 결정된다. 이미지 변환부(227)는 확대한 부분(713) 만큼 제거하여 좌안 이미지 영역(521)을 생성한다.
Referring to FIG. 7, the image converting unit 227 generates a left eye image area 521 by removing the enlarged and enlarged portion of the 3D conversion scheduled image 711. The image converting unit 227 enlarges by P max with respect to the 3D conversion scheduled image 711 from the entire image 710 including the text image area (see FIGS. 7A and 7B). The Pmax is determined by the depth information of the 3D conversion scheduled image 711. [ The image converting unit 227 removes the enlarged portion 713 to generate the left eye image region 521. [

도 8을 참조하면, 이미지 변환부(227)는 3D 변환 예정 이미지(811)를 확대하고 확대한 부분을 제거하여 우안 이미지 영역(531)을 생성한다. 이미지 변환부(227)는 텍스트 이미지 영역을 포함하는 전체 이미지(810) 중에서 3D 변환 예정 이미지(811)에 대하여 Pmax 만큼 확대한다(도 8a 참고). 상기 Pmax 는 3D 변환 예정 이미지(811)의 깊이 정보에 의하여 결정된다. 이미지 변환부(227)는 3D 변환 예정 이미지(811)를 만큼 즉, Pmax에 상응하게 이동(shift)시킨다(도 8a 참고). 이미지 변환부(227)는 3D 변환 예정 이미지(811)의 이동으로 인한 공백(813)를 제거한다(도 8b 참고). 공백(813)은 Pmax에 상응한다.
Referring to FIG. 8, the image converting unit 227 generates a right eye image area 531 by removing the enlarged and enlarged portion of the 3D conversion scheduled image 811. The image converting unit 227 enlarges by P max with respect to the 3D conversion scheduled image 811 from the entire image 810 including the text image area (see FIG. 8A). The P max is determined by the depth information of the 3D conversion scheduled image 811. The image converting unit 227 shifts the 3D conversion scheduled image 811 as much as P max , as shown in FIG. 8A. The image converting unit 227 removes the blank 813 due to the movement of the image to be converted 811 (see FIG. 8B). Blank 813 corresponds to P max .

본 발명의 또 다른 실시예에 따르면, 3D 이미지 변환 장치의 이미지 변환부(227)는 3D 변환 예정 이미지(511)을 확대, 이동 및 제거를 통하여 좌안 이미지 영역(521)과 우안 이미지 영역(531)을 생성하되, 도 7 및 도 8와 다른 방향으로 생성한다.
According to another embodiment of the present invention, the image conversion unit 227 of the 3D image conversion apparatus converts the left-eye image area 521 and the right-eye image area 531 through enlargement, movement, 7, and 8, respectively.

이미지 변환부(227)는 우측을 기준으로 좌측으로 3D 변환 예정 이미지(711)를 확대하고 상기 확대에 상응하는 만큼 제거하여 좌안 이미지 영역(521)을 생성하고, 우측을 기준으로 좌측으로 3D 변환 예정 이미지(811)를 확대하고 상기 확대에 상응하는 만큼 우측으로 이동하고 상기 이동에 상응하는 만큼 제거하여 우안 이미지 영역(531)을 생성한다.
The image converting unit 227 enlarges the 3D conversion scheduled image 711 to the left with respect to the right side and removes the enlarged image corresponding to the enlarged image to generate a left eye image area 521, Enlarges the image 811, moves to the right by the amount corresponding to the enlargement, and removes the image corresponding to the movement to generate the right eye image area 531. [

상기에서는 본 발명의 실시예를 참조하여 설명하였지만, 해당 기술분야에서 통상의 지식을 가진 자라면 하기의 특허 청구 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or scope of the invention as defined in the appended claims. It will be understood that the present invention can be changed.

210 : 이미지 수신부
220 : 제어부
221 : 이미지 판별부
223 : 이미지 영역 탐색부
225 : 깊이 정보 생성부
227 : 이미지 변환부
229 : 이미지 조합부
230 : 표시부210:
220:
221: image discrimination unit
223: Image area searching section
225: depth information generating unit
227:
229: image combination section
230:

Claims (24)

텍스트 이미지 영역과 원시 이미지 영역을 포함하는 전체 이미지 중에서 3D 변환을 하기 위한 3D 변환 예정 이미지를 탐색하는 이미지 영역 탐색부;
상기 3D 변환 예정 이미지의 깊이 정보를 생성하는 깊이 정보 생성부;
상기 깊이 정보에 상응하여 상기 3D 변환 예정 이미지를 확대하여 좌안 이미지 영역과 우안 이미지 영역을 생성하는 이미지 변환부; 및
상기 좌안 이미지 영역과 우안 이미지 영역을 조합하여 3D 이미지를 생성하는 이미지 조합부;를 포함하는 것
을 특징으로 하는 3D 이미지 변환 장치.
An image area searching unit for searching a 3D conversion scheduled image for performing a 3D conversion among a whole image including a text image area and a raw image area;
A depth information generating unit for generating depth information of the 3D image to be converted;
An image converting unit for enlarging the 3D image to be converted in accordance with the depth information to generate a left eye image area and a right eye image area; And
And an image combining unit for generating a 3D image by combining the left eye image area and the right eye image area
And the 3D image conversion device.
제1항에 있어서,
상기 이미지 변환부는 상기 이미지 영역의 우측을 기준으로 좌측으로 상기 3D 변환 예정 이미지를 확대하여 상기 좌안 이미지 영역을 생성하고, 좌측을 기준으로 우측으로 상기 3D 변환 예정 이미지를 확대하여 상기 우안 이미지 영역을 생성하는 것
을 특징으로 하는 3D 이미지 변환 장치.
The method according to claim 1,
Wherein the image conversion unit enlarges the 3D image to be converted to the left based on the right side of the image area to generate the left eye image area and enlarges the 3D image to be converted to the right based on the left side to generate the right image area To do
And the 3D image conversion device.
제1항에 있어서,
상기 전체 이미지가 상기 텍스트 이미지 영역과 상기 원시 이미지 영역을 포함하고 있는지 여부를 판별하는 이미지 판별부;를 더 포함하는 것
을 특징으로 하는 3D 이미지 변환 장치.
The method according to claim 1,
And an image discrimination unit for discriminating whether the entire image includes the text image area and the raw image area
And the 3D image conversion device.
제3항에 있어서,
상기 이미지 판별부는 상기 전체 이미지를 히스토그램화 하여 판별하는 것
을 특징으로 하는 3D 이미지 변환 장치.
The method of claim 3,
Wherein the image discrimination unit discriminates the whole image by histogramming
And the 3D image conversion device.
제4항에 있어서,
상기 이미지 판별부는 상기 전체 이미지를 그레이스케일 이미지로 변환하여 히스토그램화 하는 것
을 특징으로 하는 3D 이미지 변환 장치.
5. The method of claim 4,
The image discrimination unit converts the entire image into a grayscale image and histograms
And the 3D image conversion device.
제5항에 있어서,
상기 이미지 판별부는 상기 전체 이미지를 히스토그램화 한 값 중의 최대값이 상기 히스토그램의 임계값보다 큰 경우 상기 텍스트 영역과 상기 원시 이미지 영역을 포함하는 상기 전체 이미지로 판별하는 것
을 특징으로 하는 3D 이미지 변환 장치.
6. The method of claim 5,
Wherein the image discrimination unit discriminates the entire image including the text area and the original image area when the maximum value among the values obtained by histogramming the entire image is larger than the threshold value of the histogram
And the 3D image conversion device.
제3항에 있어서,
상기 전체 이미지의 수평 라인과 수직 라인 중 적어도 어느 하나의 개수를 카운트하여 상기 카운트한 값이 임계값보다 큰 경우 상기 텍스트 영역과 상기 원시 이미지 영역을 포함하는 상기 전체 이미지로 판별하는 것
을 특징으로 하는 3D이미지 변환 장치.
The method of claim 3,
Counting the number of at least any one of a horizontal line and a vertical line of the entire image and determining the whole image including the text area and the original image area when the counted value is greater than a threshold value
And the 3D image conversion device.
제1항에 있어서,
상기 이미지 영역 탐색부는 상기 전체 이미지에서 연속적으로 연결되어 있는 라인 픽셀들에 동일한 레이블을 부여하여 상기 3D 변환 예정 이미지를 탐색하는 것
을 특징으로 하는 3D 이미지 변환 장치.
The method according to claim 1,
Wherein the image region searching unit searches the 3D conversion scheduled image by assigning the same label to the line pixels continuously connected in the entire image
And the 3D image conversion device.
제8항에 있어서,
상기 이미지 영역 탐색부는 상기 레이블에 상응하는 라인 픽셀을 카운트하고, 상기 카운트한 값이 라인 픽셀의 임계값보다 작은 경우, 상기 레이블에 상응하는 라인 픽셀을 제거하여 상기 3D 변환 예정 이미지를 탐색하는 것
을 특징으로 하는 3D 이미지 변환 장치.
9. The method of claim 8,
Wherein the image area searching unit counts line pixels corresponding to the label and if the counted value is smaller than a threshold value of the line pixel, searching the 3D conversion scheduled image by removing line pixels corresponding to the label
And the 3D image conversion device.
제9항에 있어서,
상기 이미지 영역 탐색부는 상기 원시 이미지 영역에 포함된 원시 이미지의 가로 길이값과 세로 길이값의 차이값이 임계값보다 큰 경우, 상기 원시 이미지를 상기 3D 변환 예정 이미지가 아닌 것으로 판별하는 것
을 특징으로 하는 3D 이미지 변환 장치.
10. The method of claim 9,
Wherein the image region searching unit determines that the original image is not the 3D conversion scheduled image when the difference value between the horizontal length value and the vertical length value of the original image included in the original image region is larger than a threshold value
And the 3D image conversion device.
제9항에 있어서,
상기 이미지 영역 탐색부는 상기 원시 이미지 영역에 포함된 원시 이미지의 가로 길이값과 세로 길이값 중 어느 하나가 임계값보다 작은 경우, 상기 원시 이미지는 3D 변환 예정 이미지가 아닌 것으로 판별하는 것
을 특징으로 하는 3D 이미지 변환 장치.
10. The method of claim 9,
Wherein the image area searching unit determines that the raw image is not a 3D conversion scheduled image when any one of a horizontal length value and a vertical length value of a raw image included in the raw image area is smaller than a threshold value
And the 3D image conversion device.
제1항에 있어서,
상기 이미지 변환부는 좌측을 기준으로 우측으로 상기 3D 변환 예정 이미지를 확대하고 상기 확대에 상응하는 만큼 제거하여 좌안 이미지 영역을 생성하고, 좌측을 기준으로 우측으로 상기 3D 변환 예정 이미지를 확대하고 상기 확대에 상응하는 만큼 좌측으로 이동하고 상기 이동에 상응하는 만큼 제거하여 우안 이미지 영역을 생성하는 것
을 특징으로 하는 3D 이미지 변환 장치.
The method according to claim 1,
The image converting unit enlarges the 3D image to be converted to the right with respect to the left side and removes the image corresponding to the enlargement to generate a left eye image area, enlarges the 3D image to be converted to the right with reference to the left side, Moving to the left by a corresponding amount and removing as much as corresponding to the movement to create a right eye image region
And the 3D image conversion device.
제1항에 있어서,
상기 이미지 변환부는 우측을 기준으로 좌측으로 상기 3D 변환 예정 이미지를 확대하고 상기 확대에 상응하는 만큼 제거하여 좌안 이미지 영역을 생성하고, 우측을 기준으로 좌측으로 상기 3D 변환 예정 이미지를 확대하고 상기 확대에 상응하는 만큼 우측으로 이동하고 상기 이동에 상응하는 만큼 제거하여 우안 이미지 영역을 생성하는 것
을 특징으로 하는 3D 이미지 변환 장치.
The method according to claim 1,
The image conversion unit enlarges the 3D image to be converted to the left with respect to the right side and removes the image corresponding to the enlargement to generate a left eye image area, enlarges the 3D image to be converted to the left with reference to the right side, Moving to the right by the corresponding amount and removing as much as corresponding to the movement to generate the right eye image region
And the 3D image conversion device.
3D 이미지 변환 장치가 3D 이미지 변환 방법에 있어서,
텍스트 이미지 영역과 원시 이미지 영역을 포함하는 전체 이미지 중에서 3D 변환을 하기 위한 3D 변환 예정 이미지를 탐색하는 단계;
상기 3D 변환 예정 이미지의 깊이 정보를 생성하는 단계;
상기 깊이 정보에 상응하여 상기 3D 변환 예정 이미지를 확대하여 좌안 이미지 영역과 우안 이미지 영역을 생성하는 단계; 및
상기 좌안 이미지 영역과 우안 이미지 영역을 조합하여 3D 이미지를 생성하는 단계;를 포함하는 것
을 특징으로 하는 3D이미지 변환 방법.
A 3D image conversion method comprising:
Searching for a 3D conversion scheduled image for 3D conversion among the entire image including a text image area and a raw image area;
Generating depth information of the 3D image to be converted;
Enlarging the 3D image to be converted according to the depth information to generate a left eye image area and a right eye image area; And
And combining the left eye image area and the right eye image area to generate a 3D image
Dimensional image.
제14항에 있어서,
좌안 이미지 영역과 우안 이미지 영역을 생성하는 단계는 상기 이미지 영역의 우측을 기준으로 좌측으로 상기 3D 변환 예정 이미지를 확대하여 상기 좌안 이미지 영역을 생성하고, 좌측을 기준으로 우측으로 상기 3D 변환 예정 이미지를 확대하여 상기 우안 이미지 영역을 생성하는 것
을 특징으로 하는 3D이미지 변환 방법.
15. The method of claim 14,
Wherein the step of generating the left eye image area and the right eye image area comprises the steps of enlarging the 3D image to be converted to the left side based on the right side of the image area to generate the left eye image area, Enlarging the image to generate the right eye image area
Dimensional image.
제14항에 있어서,
상기 전체 이미지가 상기 텍스트 이미지 영역과 상기 원시 이미지 영역을 포함하고 있는지 여부를 판별하는 단계를 더 포함하는 것
을 특징으로 하는 3D이미지 변환 방법.
15. The method of claim 14,
And determining whether the entire image includes the text image area and the raw image area
Dimensional image.
제16항에 있어서,
상기 전체 이미지가 상기 텍스트 이미지 영역과 상기 원시 이미지 영역을 포함하고 있는지 여부를 판별하는 단계는 상기 전체 이미지를 히스토그램화 하여 판별하는 것
을 특징으로 하는 3D이미지 변환 방법.
17. The method of claim 16,
Wherein the step of determining whether the entire image includes the text image area and the raw image area comprises histogramming the entire image
Dimensional image.
제17항에 있어서,
상기 전체 이미지가 상기 텍스트 이미지 영역과 상기 원시 이미지 영역을 포함하고 있는지 여부를 판별하는 단계는 상기 전체 이미지를 그레이스케일 이미지로 변환하여 히스토그램화하는 것
을 특징으로 하는 3D이미지 변환 방법.
18. The method of claim 17,
Wherein the step of determining whether the entire image includes the text image area and the raw image area comprises converting the entire image into a grayscale image and histogramming
Dimensional image.
제18항에 있어서,
상기 전체 이미지가 상기 텍스트 이미지 영역과 상기 원시 이미지 영역을 포함하고 있는지 여부를 판별하는 단계는 상기 전체 이미지를 히스토그램화 한 값 중의 최대값이 상기 히스토그램의 임계값보다 큰 경우 상기 텍스트 영역과 상기 원시 이미지 영역을 포함하는 상기 전체 이미지로 판별하는 것
을 특징으로 하는 3D이미지 변환 방법.
19. The method of claim 18,
Wherein the step of determining whether the entire image includes the text image area and the raw image area comprises: if the maximum value of the histogram values of the entire image is greater than the threshold value of the histogram, Determining the entire image including the region
Dimensional image.
제16항에 있어서,
상기 전체 이미지가 상기 텍스트 이미지 영역과 상기 원시 이미지 영역을 포함하고 있는지 여부를 판별하는 단계는 상기 전체 이미지의 수평 라인과 수직 라인 중 적어도 어느 하나의 개수를 카운트하여 상기 카운트한 값이 임계값보다 큰 경우 상기 텍스트 영역과 상기 원시 이미지 영역을 포함하는 상기 전체 이미지로 판별하는 것
을 특징으로 하는 3D이미지 변환 방법.
17. The method of claim 16,
Wherein the step of determining whether the entire image includes the text image area and the raw image area comprises the steps of counting the number of at least any one of a horizontal line and a vertical line of the entire image so that the counted value is greater than a threshold value The determination is made that the entire image including the text area and the raw image area
Dimensional image.
제14항에 있어서,
3D 변환 예정 이미지를 탐색하는 단계는 상기 전체 이미지에서 연속적으로 연결되어 있는 라인 픽셀들에 동일한 레이블을 부여하여 상기 3D 변환 예정 이미지를 탐색하는 것
을 특징으로 하는 3D이미지 변환 방법.
15. The method of claim 14,
The step of searching the 3D conversion scheduled image may include searching the 3D conversion scheduled image by assigning the same label to the line pixels continuously connected in the entire image
Dimensional image.
제21항에 있어서,
3D 변환 예정 이미지를 탐색하는 단계는 상기 레이블에 상응하는 라인 픽셀을 카운트하고, 상기 카운트한 값이 라인 픽셀의 임계값보다 작은 경우, 상기 레이블에 상응하는 라인 픽셀을 제거하여 상기 3D 변환 예정 이미지를 탐색하는 것
을 특징으로 하는 3D이미지 변환 방법.
22. The method of claim 21,
The step of searching for a 3D conversion scheduled image may include counting line pixels corresponding to the label and if the counted value is smaller than the threshold value of the line pixel, Exploring
Dimensional image.
제22항에 있어서,
3D 변환 예정 이미지를 탐색하는 단계는 상기 원시 이미지 영역에 포함된 원시 이미지의 가로 길이값과 세로 길이값의 차이값이 임계값보다 큰 경우, 상기 원시 이미지를 상기 3D 변환 예정 이미지가 아닌 것으로 판별하는 것
을 특징으로 하는 3D이미지 변환 방법.
23. The method of claim 22,
The step of searching for a 3D image to be converted may further include a step of determining that the original image is not the 3D image to be converted if the difference value between the width value and the height value of the original image included in the original image area is larger than the threshold value that
Dimensional image.
제22항에 있어서,
3D 변환 예정 이미지를 탐색하는 단계는 상기 원시 이미지 영역에 포함된 원시 이미지의 가로 길이값과 세로 길이값 중 어느 하나가 임계값보다 작은 경우, 상기 원시 이미지는 3D 변환 예정 이미지가 아닌 것으로 판별하는 것
을 특징으로 하는 3D이미지 변환 방법.
23. The method of claim 22,
The step of searching for a 3D conversion scheduled image may include determining that the raw image is not a 3D conversion scheduled image when any one of a horizontal length value and a vertical length value of the raw image included in the raw image area is smaller than a threshold value
Dimensional image.
KR1020130108080A 2013-09-09 2013-09-09 apparatus for generating 3D image and the method thereof KR101519463B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130108080A KR101519463B1 (en) 2013-09-09 2013-09-09 apparatus for generating 3D image and the method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130108080A KR101519463B1 (en) 2013-09-09 2013-09-09 apparatus for generating 3D image and the method thereof

Publications (2)

Publication Number Publication Date
KR20150029216A true KR20150029216A (en) 2015-03-18
KR101519463B1 KR101519463B1 (en) 2015-05-12

Family

ID=53023751

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130108080A KR101519463B1 (en) 2013-09-09 2013-09-09 apparatus for generating 3D image and the method thereof

Country Status (1)

Country Link
KR (1) KR101519463B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016175418A1 (en) * 2015-04-29 2016-11-03 삼성전자 주식회사 Display device and control method therefor
US20230052104A1 (en) * 2019-11-29 2023-02-16 Belivvr. Inc. Virtual content experience system and control method for same

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11004257B1 (en) 2019-11-04 2021-05-11 Lg Electronics Inc. Method and apparatus for image conversion

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101382227B1 (en) * 2013-01-30 2014-04-04 주식회사 넥시아 디바이스 Method for classifying input image into window image and method and electronic device for converting window image into 3d image

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016175418A1 (en) * 2015-04-29 2016-11-03 삼성전자 주식회사 Display device and control method therefor
US10339722B2 (en) 2015-04-29 2019-07-02 Samsung Electronics Co., Ltd. Display device and control method therefor
US20230052104A1 (en) * 2019-11-29 2023-02-16 Belivvr. Inc. Virtual content experience system and control method for same

Also Published As

Publication number Publication date
KR101519463B1 (en) 2015-05-12

Similar Documents

Publication Publication Date Title
US8963913B2 (en) Stereoscopic image display and method of adjusting stereoscopic image thereof
KR101690297B1 (en) Image converting device and three dimensional image display device including the same
KR20120049997A (en) Image process device, display apparatus and methods thereof
WO2012129035A1 (en) Producing enhanced images from anaglyph images
JP6060329B2 (en) Method for visualizing 3D image on 3D display device and 3D display device
US20130293469A1 (en) User interface control device, user interface control method, computer program and integrated circuit
RU2598989C2 (en) Three-dimensional image display apparatus and display method thereof
JP2010093816A (en) Apparatus and method for converting 2d image to 3d image based on visual attention
US20120075291A1 (en) Display apparatus and method for processing image applied to the same
WO2013054619A1 (en) Image processing device, image processing method, and program
WO2011100274A1 (en) 3-dimensional display with preferences
KR20110113923A (en) Image converting device and three dimensional image display device including the same
EP2498501A2 (en) 3D image display method and apparatus thereof
KR101519463B1 (en) apparatus for generating 3D image and the method thereof
JP2014011804A (en) Display apparatus and control method thereof
US9521428B2 (en) Method, device and system for resizing original depth frame into resized depth frame
US20120121163A1 (en) 3d display apparatus and method for extracting depth of 3d image thereof
KR102143463B1 (en) Multi view image display apparatus and contorl method thereof
KR20150134911A (en) Image display apparatus and method for displaying image
CN103916661A (en) Display method and display apparatus
JP2015149547A (en) Image processing method, image processing apparatus, and electronic apparatus
KR101567710B1 (en) Display system where the information can be seen only by the viewer wearing the special eyeglasses
Chappuis et al. Subjective evaluation of an active crosstalk reduction system for mobile autostereoscopic displays
US9547933B2 (en) Display apparatus and display method thereof
TW201306562A (en) Method for improving three-dimensional display qualities

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180502

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190321

Year of fee payment: 5