KR101382227B1 - 윈도우 영상을 분류하는 방법, 이를 입체 영상으로 변환하는 방법 및 이를 수행하는 전자 장치 - Google Patents

윈도우 영상을 분류하는 방법, 이를 입체 영상으로 변환하는 방법 및 이를 수행하는 전자 장치 Download PDF

Info

Publication number
KR101382227B1
KR101382227B1 KR1020130010246A KR20130010246A KR101382227B1 KR 101382227 B1 KR101382227 B1 KR 101382227B1 KR 1020130010246 A KR1020130010246 A KR 1020130010246A KR 20130010246 A KR20130010246 A KR 20130010246A KR 101382227 B1 KR101382227 B1 KR 101382227B1
Authority
KR
South Korea
Prior art keywords
image
window
area
interest
line
Prior art date
Application number
KR1020130010246A
Other languages
English (en)
Inventor
유기령
이광호
송용태
Original Assignee
주식회사 넥시아 디바이스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 넥시아 디바이스 filed Critical 주식회사 넥시아 디바이스
Priority to KR1020130010246A priority Critical patent/KR101382227B1/ko
Application granted granted Critical
Publication of KR101382227B1 publication Critical patent/KR101382227B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 텍스트가 포함된 영상을 입체 영상으로 변환할 때 텍스트 부분의 가독성이 저하되는 문제점을 해결하고자 하는 발명으로서, 본 발명에서는 자연 영상과 윈도우 영상으로 분류하고, 윈도우 영상에 포함된 영상 부분만을 추출한 후 이를 입체 영상으로 변환하는 윈도우 영상을 분류하고, 텍스트가 포함된 비관심 영역은 원본 영상을 그대로 사용하는 방법, 이를 입체 영상으로 변환하는 방법 및 이를 수행하는 전자 장치가 제공된다.

Description

윈도우 영상을 분류하는 방법, 이를 입체 영상으로 변환하는 방법 및 이를 수행하는 전자 장치{METHOD FOR CLASSIFYING INPUT IMAGE INTO WINDOW IMAGE AND METHOD AND ELECTRONIC DEVICE FOR CONVERTING WINDOW IMAGE INTO 3D IMAGE}
본 발명은 윈도우 영상을 분류하는 방법, 이를 입체 영상으로 변환하는 방법 및 이를 수행하는 전자 장치에 관한 것으로서, 보다 구체적으로는 텍스트와 영상이 포함된 윈도우 영상에서 영상에 해당하는 사각 영상 부분을 추출하고, 추출된 사각 영상 부분을 입체 영상으로 변환하는 윈도우 영상에서 관심 영역을 추출하는 윈도우 영상을 분류하는 방법, 이를 입체 영상으로 변환하는 방법 및 이를 수행하는 전자 장치에 관한 것이다.
3D TV 또는 3D 모니터로 알려진 가전 제품은 2D 영상을 3D 영상으로 변환(2D-to-3D 변환, 3D변환)하는 기능을 제공하는 TV 또는 모니터이다. 이러한 제품에서 제공하고 있는 입체 영상 변환 기술은 2D 이미지 및 동영상으로부터 3D 정보를 추출한 후, 이를 이용하여 좌안용 입체 영상과 우안용 입체 영상을 제작한다.
이러한 3D 영상 변환 기술은 카메라로 촬영한 자연 영상(natural image)에서는 적용이 용이하나, 텍스트(text), 영상(image), 배너(banner) 등이 혼재되어 있는 웹 페이지(web page), 유튜브, 트위터 등에 적용하면, 자연 영상과는 달리 텍스트에서 깨짐 현상이 발생하여 가독성(readability)이 낮아진다.
본 발명에서는 편의상 카메라 또는 영상 촬영기로 촬영한 영상 영역만으로 이루어진 영상을 자연 영상(natural image)이라고 분류하고, 카메라 또는 영상 촬영기로 촬영한 영상을 표시하는 영역과 텍스트가 포함된 정보를 제공하는 영역이 한꺼번에 구비되는 영상을 자연 영상과 대비하여 윈도우 영상(window image)라고 분류하기로 한다. 양자를 보다 명확하게 구분하기 위하여 도 1에서는 자연 영상의 일 례를 도시하였고, 도 2에서는 윈도우 영상의 일 례를 도시하였다. 즉, 윈도우 영상은 카메라 또는 영상 촬영기로 촬영한 영상 외에도 텍스트가 포함된 정보 제공창이 동시에 구비된 영상을 의미한다.
자연 영상을 입체 영상으로 변환할 경우는 별다른 문제가 없으나, 문자 등이 포함된 윈도우 영상을 입체 영상으로 변환하면 문자 부분 등에 대한 입체 영상 변환이 이루어지므로 가독성이 떨어져서 시청자는 시각적 피로도(visual fatigue)를 느끼기 때문에 시청의 어려움이 발생하고 있다.
본 발명은 상기와 같은 문제점을 해결하고자 하는 것으로서, 입력 영상을 자연 영상과 윈도우 영상으로 분류하는 방법과, 윈도우 영상에서 영상을 디스플레이하는 영역만을 관심 사각 영역으로 분류하고, 해당 관심 사각 영역 부분만을 3차원 영상으로 변환하여 문자 부분에 대한 가독성을 원본 이미지로 유지하는 윈도우 영상을 입체 영상으로 변환하는 방법 및 이를 수행하는 전자 장치를 제시하는 것을 목적으로 한다.
본 발명의 상기 목적은 입력되는 영상을 카메라 또는 영상 촬영기로 촬영한 영상 영역만으로 구성되는 자연 영상과, 카메라 또는 영상 촬영기로 촬영한 영상 영역과 텍스트가 포함된 정보를 제공하는 영역이 함께 구비되는 윈도우 영상으로 분류하는 영상 분류 방법으로서, 입력되는 영상으로부터 선을 이루는 선 픽셀을 추출하는 제 1단계 및 1단계에서 추출된 선 픽셀 수를 카운터하여 선을 이루는 픽셀 개수가 규정된 임계값보다 많을 경우에는 윈도우 영상으로 분류하고, 픽셀 개수가 임계값 이하인 경우에는 자연 영상으로 분류하는 제 2단계를 포함하는 것을 특징으로 하는 영상 분류 방법에 의해서 달성 가능하다.
본 발명의 또 다른 목적은 카메라 또는 영상 촬영기로 촬영한 영상 영역과 텍스트가 포함된 정보를 제공하는 영역이 함께 구비되는 윈도우 영상을 입체 영상으로 변환하는 방법으로서, 입력되는 영상을 카메라 또는 영상 촬영기로 촬영한 영상 영역만으로 구성되는 자연 영상과, 상기 윈도우 영상으로 분류하는 제 1단계와, 제 1단계의 분류 결과 윈도우 영상으로 분류된 경우, 상기 윈도우 영상에서 카메라 또는 영상 촬영기로 촬영한 영상 영역을 탐색한 후 관심 사각 영역으로 분류하고, 나머지 영역을 비관심 영역으로 분류하는 제 2단계와, 제 2단계에서 분류된 관심 사각 영역을 입체 영상으로 변환하는 제 3단계 및 비관심 영역과 상기 제 3단계에서 입체 영상으로 변환된 관심 사각 영역을 합성하여 입체 영상을 생성하는 제 4단계를 포함하는 것을 특징으로 하는 윈도우 영상을 입체 영상으로 변환하는 방법에 의해서 달성 가능하다.
본 발명의 또 다른 목적은 카메라 또는 영상 촬영기로 촬영한 영상 영역과 텍스트가 포함된 정보를 제공하는 영역이 함께 구비되는 윈도우 영상을 입체 영상으로 변환하는 전자 장비로서, 입력되는 영상을 카메라 또는 영상 촬영기로 촬영한 영상 영역만으로 구성되는 자연 영상과, 윈도우 영상으로 분류하는 제 1단계와, 제 1단계의 분류 결과 윈도우 영상으로 분류된 경우, 윈도우 영상에서 카메라 또는 영상 촬영기로 촬영한 영상 영역을 탐색한 후 관심 사각 영역으로 분류하고, 나머지 영역을 비관심 영역으로 분류하는 제 2단계와, 제 2단계에서 분류된 관심 사각 영역을 입체 영상으로 변환하는 제 3단계 및 비관심 영역과 상기 제 3단계에서 입체 영상으로 변환된 관심 사각 영역을 합성하여 입체 영상을 생성하는 제 4단계를 포함하는 것을 일련의 처리를 수행하는 프로그램을 저장하는 메모리를 포함하는 것을 특징으로 하는 전자 장치에 의해서 달성 가능하다.
본 발명의 윈도우 영상에서 관심 영역을 추출하는 방법 및 이를 이용한 입체 영상 변환 방법에 의하면, 문자 등이 포함된 윈도우 영상을 입체 영상 변환 처리함에 있어서 문자가 포함된 비관심 영역은 입체 영상으로 변환하지 않고 그대로 2차원 영상으로 디스플레이하고, 영상이 포함된 관심 영역만을 추출하여 입체 영상으로 변환할 수 있게 되었다. 따라서 문자 등이 포함된 비관심 영역이 입체 영상으로 변환되어 가독성이 떨어지는 종래 기술의 문제점을 해결할 수 있게 되었다.
도 1은 자연 영상의 일 예시도.
도 2는 윈도우 영상의 일 예시도.
도 3은 본 발명에 따라 입력되는 영상을 입체 영상으로 변환하는 전체 흐름도.
도 4는 도 2에 제시된 윈도우 영상에 포함된 관심 사각 영역을 설명하기 위한 도면.
도 5는 본 발명에 따라 입력 영상을 윈도우 영상과 자연 영상으로 분류하는 흐름도.
도 6은 본 발명에 따른 일 실시예로서 윈도우 영상 내 포함된 관심 사각 영역을 탐색하는 흐름도.
도 7은 레이블된 선 픽셀을 바운딩하는 사각형을 설명하기 위한 설명도.
도 8은 확대 보간법을 사용하지 않고 입체 영상용 좌영상과 우영상을 제작하는 과정을 보여주는 설명도.
도 9는 확대 보간법을 사용하여 입체 영상용 좌영상과 우영상을 제작하는 과정을 보여주는 설명도.
이하에서, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예, 장점 및 특징에 대하여 상세히 설명하도록 한다.
도 3은 본 발명에 따라 입력되는 영상을 입체 영상으로 변환하는 전체 흐름도이다. 영상이 입력되면, 해당 영상을 자연 영상과 윈도우 영상으로 분류한다(ST 100). 자연 영상으로 분류되면 이를 3D 영상으로 변환하고(ST 600), 입체 영상을 생성한다.
윈도우 영상으로 분류되면, 윈도우 영상 중에서 영상이 포함된 영역을 관심 사각 영역으로 탐색하고(ST 300), 해당 관심 사각 영역을 3D 영상으로 변환한다(ST 400). 3D 영상으로 변환된 관심 사각 영역과 이차원 영상으로 남아 있는 비관심 영역을 합성(merge)하여 입체 영상을 생성한다(ST 500).
본 발명에 대한 상세한 설명에 앞서 본 발명에서 사용하는 '영상'이라는 용어에 대해 설명하기로 한다. 일반적으로 '영상'이라 함은 움직임을 표시하는 복수 개 연속된 이미지(프레임)를 지칭하는 '동영상'과 하나의 프레임만으로 구성되는 통상 '이미지' 또는 '정지 영상'으로 지칭되는 영상을 통칭하는 용어로 이해되어져야 한다. 다음으로 본 발명에서 의미하는 '관심 사각 영역'에 대해서 정의하기로 한다. '관심 사각 영역'은 윈도우 영상 중에서 문자 등의 영상에 해당되지 않는 영역을 제외하고 영상을 표시하는 사각 형상의 영역만을 의미한다. 예를 들어, 도 4는 도 2에 제시된 윈도우 영상에 포함된 관심 사각 영역을 설명하기 위한 도면으로서, 문자를 포함하는 윈도우 영상에서 영상이 디스플레이되는 관심 사각 영역을 별도로 표시하였다. 도 4에서 관심 사각 영역은 붉은 색 점선 사각 박스 내의 영역으로 표시하였으며, 관심 사각 영역 내에는 영상이 디스플레이되고 있음을 알 수 있다. 관심 사각 영역을 제외한 나머지 영역을 편의상 비관심 영역이라고 지칭하기로 한다.
다음으로 도 3에 제시된 각각의 주요 단계를 보다 상세히 설명하기로 한다.
1. 입력 영상의 분류
도 2의 ST 100 단계로 제시된 입력 영상의 자연 영상과 윈도우 영상으로 분류하는 방식에 대해 좀더 상세히 설명하기로 한다. 본 발명에서는 입력되는 영상에 선(line)이 포함된 정도를 이용하여 자연 영상인지 윈도우 영상인지 여부를 판단한다. 윈도우 영상 내에는 정지 영상, 동영상, 배너 등이 사각형 형태를 지니고 있기 때문에 자연 영상에 비하여 선(line)이 상대적으로 많이 포함되는 특성이 있다.
도 5는 본 발명에 따라 입력 영상을 윈도우 영상과 자연 영상으로 분류하는 흐름도이다. 입력 영상에 포함된 선(line)을 검출하고(ST 101), 검출된 선에 속한 픽셀의 개수를 카운터한 후 선에 해당되는 픽셀(선 픽셀)의 비율 RL을 계산한다(ST 103). 선 픽셀 비율 RL과 소정의 임계치 TL을 비교하고(ST 105), 선 픽셀의 비율 RL이 임계치 TL보다 크면 윈도우 영상으로 분류하고(ST 107), 임계치 이하일 경우에는 자연 영상으로 분류한다(ST 109).
선 검출 방법(ST 101)은 다음 방법을 이용할 수 있다. 입력 영상이 RGB 영상일 경우, 먼저 그레이 스케일 영상(grayscale image) Y를 구한다. 그레이 스케일 영상 Y를 수학식 1과 같이 선검출 연산자(line detection operation)로 회선(convolution)한다.
Figure 112013008865757-pat00001
여기서, hH, hV는 각각 수평선 검출 마스크와 수직선 검출 마스크로서 수학식 2와 같다. m, n은 아래 수학식 2의 hH, hV 함수 연산자의 인덱스를 의미한다.
Figure 112013008865757-pat00002
픽셀 (x,y)의 선 강도(line strength, line magnitude) H(x,y)는 수학식 3과 같이 구해진다.
Figure 112013008865757-pat00003
여기서, |x| 는 x의 절대값을 나타낸다.
다음으로 H(x,y) 값에 임계치 TL를 적용하여 수학식 4의 이진화(binary) 영상 L을 생성한다.
Figure 112013008865757-pat00004
이진화 영상 L에서 검출된 선 픽셀의 개수를 계산하고, 전체 영상 픽셀 개수로 나누면 선 픽셀의 비율 RL이 수학식 5와 같은 방식으로 구한다.
Figure 112013008865757-pat00005
선이 많이 검출될수록 윈도우 영상에 가깝다고 보고 임계치 RL이 임계치 TL보다 클 경우(ST 103), 입력된 영상을 윈도우 영상으로 판단하고(ST 105), 임계치 이하인 경우에는 입력된 영상을 자연 영상으로 판단한다(ST 107).
2. 관심 사각 영역 탐색
도 2의 ST 300 단계로 제시된 관심 사각 영역을 탐색하는 방식에 대해 좀더 상세히 설명하기로 한다. 입력되는 영상이 윈도우 영상으로 판별되면, 윈도우 영상 내 영역 중에서 관심 사각 영역을 탐색한다. 도 6은 본 발명에 따른 일 실시예로서 윈도우 영상 내 포함된 관심 사각 영역을 탐색하는 흐름도이다. 윈도우 영상에 대해서 선 검출을 실시한다(ST 301). 여기서의 선 검출은 도 5에 제시된 영상 분류 단계의 ST 101 단계에서 실시한 단계와 동일하다. 따라서 영상 분류 단계의 ST 101 단계를 저장해 둘 경우 도 6에 제시된 선 검출 단계(ST 301 단계)를 생략할 수 있다.
선 검출 단계에서 검출된 선 픽셀에 대한 세선화 작업을 진행한다(ST 302 단계). 세선화 작업은 선 검출 단계에서 검출된 선 픽셀의 폭이 1 픽셀 이상인 경우 이를 1 픽셀의 폭으로 만들어주는 작업이다. 세선화된 선 픽셀에 대한 레이블링을 실시한다(ST 303). 레이블링은 선 픽셀에 일련번호를 부여하는 단계인데 서로 이웃하게 연결된 선 픽셀에는 동일한 일련 번호를 부여하는 단계이다. 서로 이웃하게 연결된 선 픽셀에 동일한 일련 번호를 부여하면, 서로 연결된 선 픽셀(connected line pixels)들은 동일한 일련 번호(레이블)가 부여된다.
예를 들어 검사 대상인 윈도우 영상에 서로 연결되지 않은 K개의 선이 존재할 경우, 레이블링 단계(ST 303)를 거치면 K개의 레이블된 선 픽셀이 형성된다. 이를 레이블된 선 픽셀 Li,(i∈{1,...,K})로 나타낼 수 있다. 레이블된 선 픽셀이 얻어지면, 각각의 레이블된 선 픽셀의 픽셀 개수(Ni, i∈{1,...,K} )를 카운팅한다(ST 305). 여기서 Ni는 i번째 레이블된 선 픽셀을 구성하는 픽셀의 개수를 의미한다. 레이블된 선 픽셀의 픽셀 개수(Ni)가 소정의 임계값 Ta과 비교하고(ST 307), Ni가 Ta보다 작으면 입체 영상을 만들 필요가 없는 영상 영역으로 판단하고 제거한다(ST 309). Ni가 작다는 것은 해당 사각 영역의 크기가 작다는 것을 의미한다. 즉, 영상을 표시하는 영역이라 하더라도 영상이 디스플레이되는 영역이 좁은 영역이므로 입체 영상으로 변환해도 효과가 적기 때문에 관심 사각 영역으로 분류하지 않고 제거한다.
ST 307 단계를 만족할 경우, 해당 레이블된 선 픽셀을 바운딩하는 사각형을 형성한다. 도 7은 레이블된 선 픽셀을 바운딩하는 사각형을 설명하기 위한 설명도이다. 도 7(a)에는 윈도우 영상(100) 내에 포함된 레이블된 선 픽셀 1, 2, 3, 및 4을 도시한 것이고, 도 7(b)는 윈도우 영상(100) 내에 레이블된 선 픽셀을 바운딩하는 사각형을 형성한 상태를 도시한 것이다. 도 7(b)에 도시된 바와 같이 레이블된 선 픽셀을 바운딩하는 사각형이란 레이블된 선 픽셀을 둘러싸는 가장 작은 사각형으로 정의된다.
바운딩된 사각형 내부에 영상이 디스플레이되고 있는지 여부는 바운딩된 사각형의 전체 사각형을 형성하는 픽셀 개수 대비 레이블된 선 픽셀의 개수의 비율(사각형률, Rp)을 이용하여 구한다. 사각형률(Rp)은 수학식 6을 이용하여 구하였다.
Figure 112013008865757-pat00006
사각형률(Rp)가 큰 값을 가질수록 바운딩된 사각형 내부에는 영상이 디스플레이될 가능성이 높다고 판단하고, 사각형률(Rp)가 소정의 임계치(Tp)보다 큰지를 판단한다(ST 315). ST 315 단계를 만족할 경우에는 해당 바운딩된 사각형을 관심 사각 영역으로 분류하고(ST 319), 그렇지 않을 경우에는 해당 바운딩된 사각형을 비관심 영역으로 분류한다(ST 317). 관심 사각 영역은 해당 사각형의 좌상 좌표(xmin, ymin), 우하좌표(xmax, ymax)로 정의하고, 해당 영역을 입체 영상으로 변환한다.
3. 관심 사각 영역의 입체 영상 변환
도 2의 ST 400 단계로 제시된 관심 사각 영역의 입체 영상 변환 방식에 대해 좀더 상세히 설명하기로 한다. 관심 사각 영역을 이차원 영상에서 입체 영상으로 변환하는 방식을 널리 알려진 여러 가지 입체 영상 변환 방식을 이용할 수 있는 것이므로 본 발명의 구체적인 기술은 아니므로 간략하게 설명하기로 한다.
윈도우 영상에서 관심 사각 영역이 탐색되면, 이 영역만을 입체 영상으로 변환하고, 나머지 비관심 영역은 입체 영상으로 변환하지 않고, 그대로 이차원 영상으로 보여준다. 텍스트 등이 포함되는 비관심 영역은 좌안용 영상과 우안용 영상을 동일하게 하면, 이차원 영상의 가독성이 그대로 유지되므로 시청자가 편안하게 시청할 수 있다.
통상 입체 영상 변환 기법들은 깊이맵(depth map)의 깊이값으로 픽셀을 좌 또는 우로 이동하게 되는데, 좌측 경계 또는 우측 경계에서 홀(hole)이 발생하게 된다. 이 홀이 전체 영상 영역의 좌측변 또는 우측변에서 발생할 때에는 시청의 불편함이 발생되지 않는다. 그런데 변환하고자 하는 관심 사각 영역이 윈도우 영상의 중간에 위치할 경우, 깊이값에 따라 좌안용 영상과 우안용 영상을 형성할 때 관심 사각 영역을 이동시키면 이러한 영상 이동에 의해 홀 영역이 발생되고, 이러한 홀 영역은 시청시에 시각적 불편함(visual discomfort)을 느끼게 한다. 이러한 현상을 도 8을 이용하여 설명하기로 한다.
음 시차(negative parallax)를 이용하면 관심 사각 영역이 입체 영상을 시청할 때 모니터 스크린 앞으로 튀어나와 보이고, 양 시차(positive parallax)를 이용하면, 반대로 모니터 스크린 뒤에 보이게 된다. 음시차를 형성하고자 하면 관심 사각 영역을 우측으로 이동시켜 좌영상을 만들고, 관심 사각 영역을 좌측으로 이동시켜 우영상을 만들고, 양시차를 형성하고자 하면 각각 관심 사각 영역을 반대 방향으로 이동시키면 된다. 도 8 및 후술하는 도 9는 양시차 입체 영상을 형성하는 방식에 대해 설명하기로 한다.
도 8은 확대 보간법을 사용하지 않고 좌영상과 우영상을 제작하는 과정을 보여준다. 도 8(a)는 하나의 윈도우 영상(100)에서 한 개의 관심 사각 영역이 구비된 상태를 보여준다. 원본 윈도우 영상(100)에서 관심 사각 영역의 크기는 [w x h] 이다. 입체 영상용 좌안 영상은 도 8(b)에 도시된 바와 같이 [ w x h ] 영상을 좌측으로 이동시켜 형성하면 우측에 홀 영역이 발생함을 알 수 있다. 입체 영상용 우안 영상은 도 9(c)에 도시된 바와 같이 [ w x h ] 영상을 우측으로 이동시켜 형성하면, 좌측에 홀 영역이 발생함을 알 수 있다. 이렇게 발생된 홀 영역이 시청시 시각적 불편함(visual discomfort)을 느끼게 하는 것이다.
이러한 문제점을 극복하기 위해서 관심 사각 영역을 확대 보간하는 방법을 이용한다. 확대 보간법으로는 양선형보간(bi-linear interpolation), 양큐빅보간(bi-cubic interpolation), 양측보간(bi-lateral interpolation) 등 다양한 기법들이 있다.
도 9는 확대 보간법을 이용하여 좌영상과 우영상을 제작하는 과정을 보여준다. 도 9(a)는 하나의 윈도우 영상(100)에서 한 개의 관심 사각 영역을 보여준다. 원본 윈도우 영상(100)에서 관심 사각 영역의 크기는 [w x h] 이다. 도 9(b)에 도시된 바와 같이 입체영상을 만들 때에는 최대 이동량 Dmax을 먼저 결정하고, 원본 영상의 [w x h] 관심 사각 영역을 [ (w+Dmax) x h ] 로 수평축으로 확대 보간한다.
입체 영상용 좌안 영상은 도 9(c)에 도시된 바와 같이 수평축으로 확대 보간된 [ (w+Dmax) x h ] 영상을 좌측으로 이동시켜 형성하고, 입체 영상용 우안 영상은 도 9(d)에 도시된 바와 같이 수평축으로 확대 보간된 [ (w+Dmax) x h ] 영상을 우측으로 이동시켜 형성하면, 홀 영역이 발생되지 않는 입체 영상이 완성된다. 도 9(c) 및 (d)에 표시된 영역을 시청자에게 제공하면 홀 영역이 없는 입체 영상을 시청할 수 있게 된다.
도 9에서는 입체 영상을 형성할 때, 좌안용 영상은 확대 보간된 관심 사각 영역을 좌측으로 이동시키고, 우안용 영상은 확대 보간된 관심 사각 영역을 우측으로 이동시키는 방식으로 제작하였으나, 한쪽은 고정하고 다른 한 쪽만을 이동시킬 수 있음은 물론이다. 예를 들어, 입체 영상을 형성할 때, 좌안용 영상은 확대 보간된 관심 사각 영역을 이동시킴이 없이 그대로 사용하고, 우안용 영상은 확대 보간된 관심 사각 영역을 우측으로 이동시키는 방식으로 제작하는 것이다.
4. 입체 영상 생성 단계
도 2의 ST 500 단계로 제시된 입체 영상 생성 단계에 대해 설명하기로 한다. 전술한 바와 같이 관심 사각 영역은 좌안용 입체 영상과 우안용 입체 영상이 각각 형성된다. 이렇게 형성된 좌안용 입체 영상에 비관심 영역의 영상을 합성(merge)하여 좌안용 윈도우 영상을 형성하여 제공하고, 우안용 입체 영상에 비관심 영역의 영상을 합(merge)하여 우안용 윈도우 영상을 형성한 후 시청자에게 제공한다.
지금까지 도 3 및 도 5 내지 도 9에 제시된 모든 처리 단계는 이러한 단계를 수행하는 일련의 프로그램을 메모리에 저장하는 전기 장치 또는 컴퓨터에 의해서 판독 가능한 저장 장치에 의해서 수행될 수 있다. 여기서 의미하는 전자 장치는 배경 기술에서 설명한 3D TV, 3D 모니터뿐만 아니라, 소정의 메모리를 구비하는 마이크로 프로세서 등의 전자 부품과 퍼스널 컴퓨터도 포함되는 광범위 용어로 이해되어져야 한다.
상기에서 본 발명의 바람직한 실시예가 특정 용어들을 사용하여 설명 및 도시되었지만 그러한 용어는 오로지 본 발명을 명확히 설명하기 위한 것일 뿐이며, 본 발명의 실시예 및 기술된 용어는 다음의 청구범위의 기술적 사상 및 범위로부터 이탈되지 않고서 여러가지 변경 및 변화가 가해질 수 있는 것은 자명한 일이다. 이와 같은 변형된 실시예들은 본 발명의 사상 및 범위로부터 개별적으로 이해되어져서는 안되며, 본 발명의 청구범위 안에 속한다고 해야 할 것이다.
100: 윈도우 영상 110: 시청자에게 디스플레이되지 않는 영역

Claims (11)

  1. 입력되는 영상을 카메라 또는 영상 촬영기로 촬영한 영상 영역만으로 구성되는 자연 영상과, 카메라 또는 영상 촬영기로 촬영한 영상 영역과 텍스트가 포함된 정보를 제공하는 영역이 함께 구비되는 윈도우 영상으로 분류하는 영상 분류 방법으로서,
    입력되는 영상으로부터 선을 이루는 선 픽셀을 추출하는 제 1단계 및
    상기 1단계에서 추출된 선 픽셀 수를 카운터하여 선을 이루는 픽셀 개수가 규정된 임계값보다 많을 경우에는 윈도우 영상으로 분류하고, 상기 픽셀 개수가 임계값 이하인 경우에는 자연 영상으로 분류하는 제 2단계를 포함하는 것을 특징으로 하는 영상 분류 방법.
  2. 제 1항에 있어서,
    상기 제 1단계는 입력 영상을 그레이 스케일 영상으로 변환하는 제 1-1단계와,
    상기 그레이 스케일 영상을 선검출 연산자를 이용하여 컨버루션하는 제 1-2단계 및
    상기 1-2단계의 결과를 이용하여 선 강도를 산출하는 제 1-3단계를 포함하는 것을 특징으로 하는 영상 분류 방법.
  3. 카메라 또는 영상 촬영기로 촬영한 영상 영역과 텍스트가 포함된 정보를 제공하는 영역이 함께 구비되는 윈도우 영상을 입체 영상으로 변환하는 방법으로서,
    입력되는 영상을 카메라 또는 영상 촬영기로 촬영한 영상 영역만으로 구성되는 자연 영상과, 상기 윈도우 영상으로 분류하는 제 1단계와,
    상기 제 1단계의 분류 결과 윈도우 영상으로 분류된 경우, 상기 윈도우 영상에서 카메라 또는 영상 촬영기로 촬영한 영상 영역을 탐색한 후 관심 사각 영역으로 분류하고, 나머지 영역을 비관심 영역으로 분류하는 제 2단계와,
    상기 제 2단계에서 분류된 관심 사각 영역을 입체 영상으로 변환하는 제 3단계 및
    상기 비관심 영역과 상기 제 3단계에서 입체 영상으로 변환된 관심 사각 영역을 합성하여 입체 영상을 생성하는 제 4단계를 포함하는 것을 특징으로 하는 윈도우 영상을 입체 영상으로 변환하는 방법.
  4. 제 3항에 있어서,
    상기 제 2단계에 제시된 관심 사각 영역 탐색은
    상기 윈도우 영상에서 선을 형성하는 선 픽셀을 추출하는 제 2-1단계와,
    상기 제 2-1단계에서 추출된 선 픽셀 중에서 서로 연결된 선 픽셀에는 동일한 일련 번호를 부여하고, 상호 이격된 선 픽셀에는 상이한 일련 번호를 부여하는 선 픽셀을 레이블링하는 제 2-2단계를 포함하는 것을 특징으로 하는 윈도우 영상을 입체 영상으로 변환하는 방법.
  5. 제 4항에 있어서, 상기 제 2-1단계는
    입력 영상을 그레이 스케일 영상으로 변환하는 제 2-1-1단계와,
    상기 그레이 스케일 영상을 선검출 연산자를 이용하여 컨버루션하는 제 2-1-2단계 및
    상기 2-1-2단계의 결과를 이용하여 선 강도를 산출하는 제 2-1-3단계를 포함하는 것을 특징으로 하는 윈도우 영상을 입체 영상으로 변환하는 방법.
  6. 제 4항에 있어서, 상기 제 2-2단계 이후에,
    상기 윈도우 영상에서 동일한 일련 번호가 부여된 레이블된 선 픽셀을 모두 포함하는 최소 크기의 사각 영역을 설정하는 제 2-3단계와,
    상기 제 2-3단계에서 설정된 최소 크기의 사각 영역을 구성하는 픽셀 개수와 상기 사각 영역에 포함되는 레이블된 선 픽셀의 개수의 비를 산출하고, 상기 산출된 비율이 일정한 규정값을 초과할 경우에 해당 사각 영역을 관심 사각 영역으로 분류하는 제 2-4단계를 더 포함하는 것을 특징으로 하는 윈도우 영상을 입체 영상으로 변환하는 방법.
  7. 제 6항에 있어서,
    상기 제 2-2단계와 상기 제 2-3단계 사이 구비되는 단계로서,
    상기 동일한 일련 번호가 부여된 레이블된 선 픽셀의 개수가 일정한 규정값 이하인 경우에는 해당 레이블된 선 픽셀은 삭제하는 단계를 더 구비하는 것을 특징으로 하는 윈도우 영상을 입체 영상으로 변환하는 방법.
  8. 제 4항에 있어서, 상기 제 2-1단계와 상기 제 2-2단계 사이에 상기 제 2-1단계에서 추출된 선 픽셀의 폭을 한 개의 픽셀폭으로 변환하는 세선화 단계를 더 구비하는 것을 특징으로 하는 윈도우 영상을 입체 영상으로 변환하는 방법.
  9. 제 3항, 제 4항, 제 6항 및 제 8항 중에서 선택된 어느 한 항에 있어서,
    상기 제 3단계에서 상기 관심 사각 영역을 입체 영상으로 변환하기 전에 상기 관심 사각 영역을 확대 보간하는 단계를 더 구비하는 것을 특징으로 하는 윈도우 영상을 입체 영상으로 변환하는 방법.
  10. 카메라 또는 영상 촬영기로 촬영한 영상 영역과 텍스트가 포함된 정보를 제공하는 영역이 함께 구비되는 윈도우 영상을 입체 영상으로 변환하는 전자 장비로서,
    입력되는 영상을 카메라 또는 영상 촬영기로 촬영한 영상 영역만으로 구성되는 자연 영상과 상기 윈도우 영상으로 분류하는 제 1단계와, 상기 제 1단계의 분류 결과 윈도우 영상으로 분류된 경우 상기 윈도우 영상에서 카메라 또는 영상 촬영기로 촬영한 영상 영역을 탐색한 후 관심 사각 영역으로 분류하고 나머지 영역을 비관심 영역으로 분류하는 제 2단계와, 상기 제 2단계에서 분류된 관심 사각 영역을 입체 영상으로 변환하는 제 3단계 및 상기 비관심 영역과 상기 제 3단계에서 입체 영상으로 변환된 관심 사각 영역을 합성하여 입체 영상을 생성하는 제 4단계를 포함하는 것을 일련의 처리를 수행하는 프로그램을 저장하는 메모리를 포함하는 것을 특징으로 하는 전자 장치.
  11. 제 10항에 있어서,
    상기 제 2단계에 제시된 관심 사각 영역 탐색은
    상기 윈도우 영상에서 선을 형성하는 선 픽셀을 추출하는 제 2-1단계와,
    상기 제 2-1단계에서 추출된 선 픽셀 중에서 서로 연결된 선 픽셀에는 동일한 일련 번호를 부여하고, 상호 이격된 선 픽셀에는 상이한 일련 번호를 부여하는 선 픽셀을 레이블링하는 제 2-2단계를 포함하는 것을 특징으로 전자 장치.
KR1020130010246A 2013-01-30 2013-01-30 윈도우 영상을 분류하는 방법, 이를 입체 영상으로 변환하는 방법 및 이를 수행하는 전자 장치 KR101382227B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130010246A KR101382227B1 (ko) 2013-01-30 2013-01-30 윈도우 영상을 분류하는 방법, 이를 입체 영상으로 변환하는 방법 및 이를 수행하는 전자 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130010246A KR101382227B1 (ko) 2013-01-30 2013-01-30 윈도우 영상을 분류하는 방법, 이를 입체 영상으로 변환하는 방법 및 이를 수행하는 전자 장치

Publications (1)

Publication Number Publication Date
KR101382227B1 true KR101382227B1 (ko) 2014-04-04

Family

ID=50656813

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130010246A KR101382227B1 (ko) 2013-01-30 2013-01-30 윈도우 영상을 분류하는 방법, 이를 입체 영상으로 변환하는 방법 및 이를 수행하는 전자 장치

Country Status (1)

Country Link
KR (1) KR101382227B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101489586B1 (ko) 2013-08-06 2015-02-06 강원대학교산학협력단 혼합 영상에서 3ｄ 입체 영상 변환 방법 및 이를 기록한 기록 매체
KR101519463B1 (ko) * 2013-09-09 2015-05-12 강원대학교산학협력단 3d 이미지 변환 장치 및 그 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001504378A (ja) * 1996-11-28 2001-04-03 ゼネカ・リミテッド 二次元走査からの三次元画像作成
JP2008538623A (ja) * 2005-04-20 2008-10-30 フェデラシオン イタリアーナ ジョッコ カルチオ 運動行為中のイベントを検出及び分類するための方法及びシステム
JP2009500042A (ja) * 2005-07-07 2009-01-08 インジーニアス・ターゲティング・ラボラトリー・インコーポレーテッド ターゲットの運動行動の３ｄのモニタリング及び分析のためのシステム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001504378A (ja) * 1996-11-28 2001-04-03 ゼネカ・リミテッド 二次元走査からの三次元画像作成
JP2008538623A (ja) * 2005-04-20 2008-10-30 フェデラシオン イタリアーナ ジョッコ カルチオ 運動行為中のイベントを検出及び分類するための方法及びシステム
JP2009500042A (ja) * 2005-07-07 2009-01-08 インジーニアス・ターゲティング・ラボラトリー・インコーポレーテッド ターゲットの運動行動の３ｄのモニタリング及び分析のためのシステム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101489586B1 (ko) 2013-08-06 2015-02-06 강원대학교산학협력단 혼합 영상에서 3ｄ 입체 영상 변환 방법 및 이를 기록한 기록 매체
KR101519463B1 (ko) * 2013-09-09 2015-05-12 강원대학교산학협력단 3d 이미지 변환 장치 및 그 방법

Similar Documents

Publication Publication Date Title
US9773302B2 (en) Three-dimensional object model tagging
CN102741879B (zh) 由单眼图像产生深度图的方法及其系统
TWI524734B (zh) 產生深度圖的方法及裝置
CN102972038B (zh) 图像处理装置、图像处理方法、程序、集成电路
KR101584115B1 (ko) 시각적 관심맵 생성 장치 및 방법
KR20090084563A (ko) 비디오 영상의 깊이 지도 생성 방법 및 장치
US20020141635A1 (en) Method and system for adjusting stereoscopic image to optimize viewing for image zooming
JPWO2020179065A1 (ja) 画像処理装置、画像処理方法及びプログラム
KR20110113923A (ko) 영상 변환 장치 및 이를 포함하는 입체 영상 표시 장치
CN104144334A (zh) 用于立体视频内容的字幕检测
CN110197529B (zh) 室内空间三维重建方法
CN103582900A (zh) 用于对3d内容进行重定目标的方法和设备
Luvizon et al. Adaptive multiplane image generation from a single internet picture
CN111641822A (zh) 一种重定位立体图像质量评价方法
KR101382227B1 (ko) 윈도우 영상을 분류하는 방법, 이를 입체 영상으로 변환하는 방법 및 이를 수행하는 전자 장치
KR20110112143A (ko) Ｌｄｉ 기법 깊이맵을 참조한 2ｄ 동영상의 3ｄ 동영상 전환방법
CN104767985A (zh) 使用区域分布分析以自动检测三维图像格式的方法
US11494934B2 (en) Image processing device, image processing method, and monitoring system
Yang et al. A depth map generation algorithm based on saliency detection for 2D to 3D conversion
Seitner et al. Trifocal system for high-quality inter-camera mapping and virtual view synthesis
Chan et al. Automatic panel extraction of color comic images
Zhang et al. A novel 2D-to-3D scheme by visual attention and occlusion analysis
US20130106845A1 (en) Stereoscopic image display apparatus
CN104125446A (zh) 一种视频图像2d转3d中优化处理深度图的方法和装置
Huang et al. Creating depth map from 2D scene classification

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee