KR101489586B1 - 혼합 영상에서 3ｄ 입체 영상 변환 방법 및 이를 기록한 기록 매체 - Google Patents

혼합 영상에서 3ｄ 입체 영상 변환 방법 및 이를 기록한 기록 매체 Download PDF

Info

Publication number
KR101489586B1
KR101489586B1 KR20130093164A KR20130093164A KR101489586B1 KR 101489586 B1 KR101489586 B1 KR 101489586B1 KR 20130093164 A KR20130093164 A KR 20130093164A KR 20130093164 A KR20130093164 A KR 20130093164A KR 101489586 B1 KR101489586 B1 KR 101489586B1
Authority
KR
South Korea
Prior art keywords
image
images
sub
map
mixed
Prior art date
Application number
KR20130093164A
Other languages
English (en)
Inventor
김만배
Original Assignee
강원대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 강원대학교산학협력단 filed Critical 강원대학교산학협력단
Priority to KR20130093164A priority Critical patent/KR101489586B1/ko
Application granted granted Critical
Publication of KR101489586B1 publication Critical patent/KR101489586B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0077—Colour aspects

Landscapes

  • Image Processing (AREA)

Abstract

본 발명은 3D 입체 영상 변환 방법에 관한 것으로서, 본 발명은 복수 개의 영상 콘텐츠가 존재하는 혼합 영상에서 3D 입체 영상을 변환하는 방법에 있어서, 입력되는 혼합 영상에서 N(N은 2 이상의 자연수) 개의 하위 영상(subimage)을 추출하는 단계, 추출된 하위 영상의 컬러 특성을 분석하는 단계, 분석한 컬러 특성별로 N 개의 하위 영상들을 K(K≤N) 개의 클러스터 그룹으로 분류하는 단계, 각 클러스터 그룹의 깊이맵(depth map)을 생성하는 단계 및 생성된 깊이맵으로부터 입체 영상을 생성하는 단계를 포함한다. 본 발명에 의하면 복수 개의 영상 콘텐츠가 존재하는 혼합 영상에서 보다 우수한 품질의 3D 입체 영상을 구현할 수 있는 효과가 있다.

Description

혼합 영상에서 3Ｄ 입체 영상 변환 방법 및 이를 기록한 기록 매체 {Method for converting 3D image in mixed image and medium for recording the same}
본 발명은 3D 입체 영상 변환 방법에 관한 것으로서, 더욱 상세하게는 복수 개의 영상 콘텐츠가 존재하는 혼합 영상에서 3D 입체 영상 변환 방법에 관한 것이다.
최근 입체 콘텐츠 및 디스플레이 기술의 지속적인 발전이 이루어지고, 대중의 관심도 증가하고 있다. 이러한 추세에 따라 입체 변환에 대한 연구가 활발히 진행되고 있다.
이러한 추세에 따라 2D 영상의 3D 입체변환(2D-to-3D 변환 또는 3D 변환)은 3D TV, 3D 모니터 등에서 기본 기능으로 장착되고 있다. 이 기술은 일반 2D 영상으로부터 3D 정보를 저장하고 있는 깊이맵(depth map)을 생성한 후에, 이 깊이맵을 이용하여 좌·우 입체영상을 제작한다. 이 기술은 자연 영상 (natural image)에는 적용이 용이하나, 텍스트(text), 영상(image), 배너(banner) 등이 혼재되어 있는 웹 페이지(webpage)나, 유튜브(Youtube), 트위터(twitter) 등의 복수 개의 영상 콘텐츠가 존재하는 혼합 영상(mixed image)에서는 문제점이 발생한다.
기존 3D 변환방법은 혼합영상도 일반 영상처럼 전체영상을 변환하는 방식으로 3D 입체변환을 수행하게 된다. 이 방법에 의하면, 서술한 바와 같이 혼합영상 중에서 텍스트 영역 등에서 왜곡이 발생하여 시각적 피로를 줄 수 있는 여지가 많고, 다수개의 하위 영상(subimage)이 존재할 경우에 일부 하위영상들은 3D 입체감이 낮거나 없을 수도 있다는 문제점이 있다.
이처럼, 기존 방법들은 혼합 영상을 일반 자연영상처럼 처리하는데, 기존 방법들에 의하면 혼합영상도 자연영상과 같은 방식으로 깊이맵을 생성하고, 텍스트영역은 동일한 깊이맵을 만들어주어야 하는 어려움이 있고, 콘텐츠들이 혼재되어 있어서 만족스러운 깊이값을 얻는 것이 쉽지 않다. 또한 존재하는 다양한 영상의 특성을 고려하지 않기 때문에, 3D 품질의 저하가 발생하게 된다.
또는 특정 3D 변환 알고리즘을 이용하여, 혼합 영상을 3D변환 없이 2D로 보여주는 기술이 있다. 그러나 이 기술은 혼합 영상 내에 존재하는 하위 영상도 2D로 보여줌으로써, 3D 입체감이 없이 시청자에게 전달되는 문제점이 있다. 또한 이 기술을 전체 하위영상에 동일하게 적용하면, 각 하위영상은 컬러 값이 다르므로, 일부 하위영상은 입체감이 저하되는 현상이 발생한다는 문제점이 있다.
대한민국 공개특허 10-2013-0052621
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 한 장의 영상에서 복수 개의 영상 콘텐츠가 존재하는 혼합 영상에서 보다 우수한 품질의 3D 입체 영상을 제공할 수 있는 방법을 제공하는데 그 목적이 있다.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
이와 같은 목적을 달성하기 위한 본 발명은 복수 개의 영상 콘텐츠가 존재하는 혼합 영상에서 3D 입체 영상을 변환하는 방법에 있어서, 입력되는 혼합 영상에서 N(N은 2 이상의 자연수) 개의 하위 영상(subimage)을 추출하는 단계, 추출된 하위 영상의 컬러 특성을 분석하는 단계, 분석한 컬러 특성별로 N 개의 하위 영상들을 K(K≤N) 개의 클러스터 그룹으로 분류하는 단계, 각 클러스터 그룹의 깊이맵(depth map)을 생성하는 단계 및 생성된 깊이맵으로부터 입체 영상을 생성하는 단계를 포함한다.
상기 추출된 하위 영상의 컬러 특성을 분석하는 단계에서, 각 하위 영상의 컬러 특성을 분석하되, RGB 데이터로부터 중요도 맵(Saliency map) 및 RGB 맵을 구하는 방식으로 컬러 특성을 분석할 수 있다.
상기 중요도 맵은 RGB 하위영상을 Lab 컬러로 변환한 후에, L, a, b의 평균값을 구하는 방식으로 구하되, L, a, b는,
Figure 112013071241014-pat00001
의 수학식을 이용하여 구하며, 여기서 M은 해당 하위 영상 S의 픽셀개수이다.
G는 가우시안 저주파 필터라고 할 때, L, a, b 영상에 저주파 필터를 적용하면,
Figure 112013071241014-pat00002
의 수식으로 나타낼 수 있고, 중요도(saliency) 값 SAL은,
Figure 112013071241014-pat00003
의 수학식으로 구해지고, 하위 영상의 픽셀들의 SAL의 평균값은,
Figure 112013071241014-pat00004
의 수학식으로 구해질 수 있다.
R,G,B의 컬러 차이값의 절대값인 ｜Ri-Gi｜, ｜Gi-Bi｜, ｜Bi-Ri｜을 구하고, 이중에서 최대값이 해당 픽셀 i의 RGB 맵 값이 되며,
Figure 112013071241014-pat00005
의 수식으로 표현되고, COLOR 값의 평균은,
Figure 112013071241014-pat00006
의 수식으로 구해질 수 있다.
상기 클러스터 그룹으로 분류하는 단계는, K-means clustering 방법을 이용하여 N 개의 하위 영상들을 K(K≤N) 개의 클러스터 그룹으로 분류할 수 있다.
본 발명에 의하면 복수 개의 영상 콘텐츠가 존재하는 혼합 영상에서 보다 우수한 품질의 3D 입체 영상을 구현할 수 있는 효과가 있다.
도 1은 혼합 영상에 존재하는 하위 영상들을 표시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 복수 개의 영상 콘텐츠가 존재하는 혼합 영상에서 3D 입체 영상을 변환하는 방법을 보여주는 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 깊이맵의 분포에 따른 왜도 값을 보여주는 그래프이다.
도 4는 본 발명의 일 실시예에 따른 각 클러스터 그룹에 포함되어 있는 하위영상들로부터 좌우 입체 영상을 생성하는 방법을 보여주는 흐름도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 갖는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
본 발명에서 복수 개의 영상 콘텐츠가 존재하는 혼합 영상에서 3D 입체 영상을 변환하는 방법은 일종의 알고리즘이며 소프트웨어 개념이다. 따라서, 어떤 장치의 제어부나 프로세서(processor)가 그 수행 주체일 수 있다. 즉, 본 발명의 3D 입체 영상 변환 방법은 일종의 소프트웨어인 알고리즘이며, 이러한 소프트웨어는 컴퓨터의 제어부 또는 프로세서(processor)에서 실행될 수 있다.
본 발명은 한 영상에서 복수 개의 영상 콘텐츠가 존재하는 혼합 영상에 있어서, 3D 입체 영상을 제공하는 방법에 관한 것이다.
도 1은 혼합 영상에 존재하는 하위 영상들을 표시한 도면이다.
도 1을 참조하면, 본 발명에서는 텍스트, 배너, 메뉴, 영상 들이 혼재되어 있는 혼합 영상에서 텍스트 등의 영역을 제외하고, 남은 영상들을 하위 영상(subimage)로 정의하고, 이러한 하위 영상들을 3D로 변환하는 방법을 제안한다.
N개의 하위영상마다 RGB 컬러 분포가 다르기 때문에, 하위영상 각각의 깊이맵을 구해서 3D로 변환하면 최적의 입체영상을 생성할 수 있다. 그러나, N개의 다른 입체변환을 수행하면, 소프트웨어의 복잡도가 높아지고, 하드웨어 비용도 증가하게 된다.
반대로 하위영상의 개수에 관계없이 이 모든 하위영상을 하나의 영상으로 간주하여 입체변환을 수행하면 복잡도는 낮으나, 입체영상의 3D 품질이 낮아지는 단점이 있게 된다.
따라서 이를 극복하기 위한 방법으로 복잡도 및 3D 성능을 동시에 만족할 수 있는 방법을 본 발명에서 제안한다.
구체적으로 본 발명에서는 N개의 하위영상을 K(K≤N)개의 클러스터 그룹 (cluster group)으로 분류한 후, 각각의 클러스터 그룹마다 3D 변환을 수행하는 것이다. 클러스터 그룹에 속하는 하위영상은 최소 1개이고, 최대 N개이다. 또한 각 그룹에 속하는 하위영상의 개수의 합은 N이다.
실제 구현 관점에서 보면, K=1이면, 종래 입체변환과 같이 전체 영상을 변환하게 되는 것이고, K=N이면 각 하위영상별로 N개의 입체변환 모듈이 작동하게 되는 것이다.
본 발명은 소프트웨어 및 하드웨어의 가능한 복잡도에 따라 K값을 적응적으로 정할 수 있는 효율성을 가지는 장점이 있다.
도 2는 본 발명의 일 실시예에 따른 복수 개의 영상 콘텐츠가 존재하는 혼합 영상에서 3D 입체 영상을 변환하는 방법을 보여주는 흐름도이다.
도 2를 참조하면, 본 발명의 혼합 영상에서 3D 입체 영상을 변환하는 방법은, 먼저 입력되는 혼합 영상에서 N(N은 2 이상의 자연수) 개의 하위 영상(subimage)을 추출한다(S201).
그리고, 추출된 하위 영상의 컬러 특성을 분석한다(S203). S203 단계에서, 영상에서 N개의 하위 영상이 존재하면, 각 하위 영상의 컬러 특성을 분석한다. 컬러 특성은 컬러를 기반으로 구하는데, RGB 데이터로부터 중요도 맵(Saliency map) 및 RGB 맵을 구한다.
분석한 컬러 특성별로 N 개의 하위영상들을 K(K≤N) 개의 클러스터 그룹으로 분류한다(S205).
그리고, 각 클러스터 그룹의 깊이맵(depth map)을 생성한다(S207).
생성된 깊이맵으로부터 입체 영상을 생성한다(S209).
S205 단계에서, 분석한 컬러 특성 별로 N개의 하위 영상들을 K개의 클러스터 그룹 {C1, C2,..., CK}로 분류한다. 이러한 클러스터링을 위해 K-means clustering을 포함하는 다양한 방법을 이용할 수 있다.
각 클러스터 Ck (k∈{1,2,...,K})에 속한 L개의 하위영상
Figure 112013071241014-pat00007
들은 유사한 컬러 특성을 갖는다. 여기서
Figure 112013071241014-pat00008
는 k번째 클러스터에 속하는 l번째 하위 영상을 나타낸다. 본 발명의 일 실시예에서 이러한 클러스터 그룹을 얻기 위해서는 관심맵 및 컬러맵을 사용할 수 있다.
S207 단계에서, 클러스터 그룹 Ck 에 포함되어 있는 하위 영상
Figure 112013071241014-pat00009
(l∈{1,2,...,L)}를 하나의 통합 영상으로 하여, 깊이 맵을 생성한다. 본 발명에서는 K개의 클러스터 그룹에 대하여 K개의 다른 깊이 맵이 생성된다.
S209 단계에서, 본 발명에서 깊이맵은 해당 클러스터 그룹의 깊이맵으로부터 2D+Depth 방식으로 좌우 입체영상인 IL과 IR을 생성할 수 있다.
이제 수식을 이용하여 본 발명의 3D 입체 영상 변환 방법을 상세히 설명하면 다음과 같다.
먼저 각 하위영상에서 중요도맵 (saliency map)과 RGB 맵을 생성한다. 중요도 맵은 다음 수학식을 이용하여 얻어진다. 즉, RGB 하위영상을 Lab 컬러로 변환한 후에, 다음과 같이 L, a, b의 평균값을 구한다.
Figure 112014081178251-pat00052
여기서, M은 해당 하위 영상 S의 픽셀개수이다.
다음, L,a,b 영상에 저주파 필터를 적용한다.
Figure 112013071241014-pat00011
여기서, G는 가우시안 저주파 필터이다.
중요도(saliency) 값 SAL은 다음 수학식 3에서 구해진다.
Figure 112013071241014-pat00012
또한, 하위 영상의 픽셀들의 SAL의 평균값은 다음 수학식 4에서와 같이 구해진다.
Figure 112013071241014-pat00013
RGB 맵은 각 픽셀의 RGB 값의 차이가 크므로, 이를 부드럽게 해주기 위하여 R,G,B의 컬러 차이값의 절대값인 ｜Ri-Gi｜, ｜Gi-Bi｜, ｜Bi-Ri｜을 구하고, 이중에서 최대값이 해당 픽셀 i의 RGB 맵 값이 된다.
Figure 112013071241014-pat00014
또한, COLOR 값의 평균은 다음 수학식 6과 같이 구해진다.
Figure 112013071241014-pat00015
N 개의 하위영상의 중요도맵의 평균값과 RGB 맵의 평균값이 구해지면, 이를 바탕으로 K개의 클러스터 그룹으로 분류한다. 분류방법으로 K-means clustering을 이용하는데, 방법은 다음과 같다.
K-means clustering은 반복(iteration)적으로 계산하는 방법이므로, 반복 횟수 s=0으로 초기화한다.
단계 1: 하위 영상이 N개 존재하고, 각 하위 영상은 두 개의 특성 값(feature value)
Figure 112013071241014-pat00016
와
Figure 112013071241014-pat00017
를 가진다. 특성 벡터(vector)는 다음 수학식 7의 N×2의 행렬로 표현할 수 있다.
Figure 112013071241014-pat00018
각 클러스터의 초기값은 전체영상 영역을 K 등분하여, 각 등분된 영역에 존재하는 하위영역을 찾고, 해당 하위영역의
Figure 112013071241014-pat00019
와
Figure 112013071241014-pat00020
를 구한다. 이 값들이 N 클러스터 그룹의 초기값 y를 구성하게 된다. 여기서 s=0 이다. y를 행렬로 나타내면 다음 수학식 8과 같다.
Figure 112013071241014-pat00021
단계 2: 모든 하위 영역의 특성
Figure 112013071241014-pat00022
(n∈{1,2,...,N})에 대하여 수학식 4를 이용하여 모든 초기 중심점 yk와의 유클리디언 거리(Euclidean distance)를 구한다.
Figure 112013071241014-pat00023
만약
Figure 112013071241014-pat00024
이 yk에 가깝다면
Figure 112013071241014-pat00025
을 클러스터 Ck로 할당한다. 그러므로, 최소거리를 갖는 yk를 탐색함으로써 모든 하위영역의
Figure 112013071241014-pat00026
은 K개의 클러스터들 {C1, C2,..., CK} 중에서 하나의 클러스터로 할당된다.
Figure 112013071241014-pat00027
단계 3: 클러스터 Ck에 속한 하위 영역의 특성들의 평균값을 계산하여 클러스터 Ck의 중심점 yk를 갱신한다. 이를 수학식으로 나타내면 다음과 같다.
Figure 112013071241014-pat00028
여기서, M은 클러스터 Xk에 속하는
Figure 112013071241014-pat00029
의 개수이다.
단계 4: 각 클러스터 Xk의 중심점 yk의 값을 계산한다. 이전 yk를
Figure 112013071241014-pat00030
, 현재 yk를
Figure 112013071241014-pat00031
라 할 때, 다음 수학식 12와 같이 차이값을 계산한다.
Figure 112013071241014-pat00032
단계 5: 만일
Figure 112013071241014-pat00033
<T이면, 수렴하기 때문에 계산을 중단한다. 그렇지 않으면, s=s+1이 되고, 단계 2부터 다시 계산을 수행한다.
이와 같은 K-means clustering 방법을 이용하면 N개의 하위영상이 K개의 클러스터 그룹으로 분류된다. 그리고, 본 발명에서는 각 클러스터 그룹에 속하는 하위영상들은 유사한 특성을 가지는 영상으로 판단하고, 클러스터 별로 통합하여 깊이맵을 생성하게 된다.
본 발명에서는 수학식 4와 수학식 6을 이용하여 동일 클러스터에 속하는 하위영상들의 RGB 컬러로부터 중요도 맵과 RGB 맵을 구한다. 이때, 다음과 같이 가중치 합을 이용하여 깊이맵을 구한다.
Figure 112013071241014-pat00034
여기서, w1+w2=1이다.
다음으로 이 깊이맵의 왜도(skewness)를 구한다. 왜도는 분포가 어느 한쪽으로 치우친(비대칭, asymmetry) 정도를 나타내는 통계적 척도이다. 왜도을 구하는 식은 다음과 같다.
Figure 112013071241014-pat00035
여기서 n은 동일 클러스터 그룹에 속하는 하위영상들의 총 픽셀개수이고, D는 깊이맵의 깊이값이다.
도 3은 본 발명의 일 실시예에 따른 깊이맵의 분포에 따른 왜도 값을 보여주는 그래프이다.
도 3을 참조하면, 도 3(c)에서 보는 것처럼, 깊이맵의 분포가 오른쪽으로 더 길면 왜도가 양의 값이 되고, 도 3(a)에서 깊이맵의 분포가 왼쪽으로 더 길면 왜도가 음이 값이 된다. 그리고, 도 3(b)에서 보는 것처럼 분포가 좌우대칭이면 왜도값이 0이 된다. 즉, 왜도 > 1 이면, 깊이 히스토그램의 무게 중심이 좌측에 있고, 반대로 왜도 < -1 이면, 히스토그램의 무게중심이 우측에 존재하게 된다.
따라서 향상된 3D 입체영상을 얻기 위해서는 [0, 255]의 분포를 가지는 깊이맵 D에서 특정 깊이범위(depth range)를 선택한다. 왜도가 음수이면 깊이값이 우측으로 밀집되어 있으므로, 깊이범위를 좌측에서 선택하면 3D입체감을 증가할 수 있다. 또한 왜도가 양수이면 깊이값이 좌측에 밀집되어 있으므로, 우측에서 깊이범위를 선택하면 향상된 입체영상을 얻을 수 있다. 따라서 다음 식을 이용하여 깊이범위 [Dmin, Dmax]를 선택하고, Dmin보다 작은 깊이값은 Dmin으로 할당하고, Dmax보다 큰 깊이값은 Dmax로 할당한다.
수학식 14의 skewness 값의 범위는 [-SKEW, +SKEW]에서 존재한다. 일반적으로 SKEW = 1.0으로 한다. 깊이맵의 skewness 값이 얻어지면, 좌측 및 우측의 오프셋(offset) 값을 구한다.
Figure 112013071241014-pat00036
Figure 112013071241014-pat00037
여기서, τ는 사용자 지정 값으로서, 깊이 범위의 값을 결정한다.
다음, 깊이값의 평균인
Figure 112013071241014-pat00038
을 구하면, 최종적으로 Dmin, Dmax를 다음 식으로부터 구한다.
Figure 112013071241014-pat00039
따라서, [0, 255]의 깊이맵은 [Dmin, Dmax]의 깊이값으로 변환하게 된다.
도 4는 본 발명의 일 실시예에 따른 각 클러스터 그룹에 포함되어 있는 하위영상들로부터 좌우 입체 영상을 생성하는 방법을 보여주는 흐름도이다.
도 4는 각 클러스터 그룹에 포함되어 있는 하위영상들로부터 얻어진 깊이맵을 이용하여 좌우 입체영상을 생성하는 흐름도이다. 본 발명에서 클러스터 그룹에 속하는 하위영상을 좌영상으로 하고, 깊이맵을 이용하여 얻은 영상을 우영상으로 한다.
도 4를 참조하면, 클러스터 그룹에 포함되어 있는 하위영상들로부터 깊이맵을 생성한다(S403).
그리고, 클러스터 그룹에 속하는 하위영상을 좌영상으로 하고(S405), 깊이맵을 이용하여 얻은 영상을 우영상으로 한다(S407).
생성된 좌영상과 우영상을 이용하여 입체영상을 생성한다(S409).
본 발명에서 좌우 영상은 2D 영상 I로부터 다음 수학식 17과 같이 얻을 수 있다.
Figure 112013071241014-pat00040
dx는 픽셀의 수평이동값으로서, 깊이값 D로부터 다음 수학식 18과 같이 계산될 수 있다.
Figure 112013071241014-pat00041
한편, 본 발명의 실시예에 따른 혼합 영상에서 3D 입체 영상 변환 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.
예컨대, 컴퓨터가 읽을 수 있는 기록매체로는 롬(ROM), 램(RAM), 시디-롬(CD-ROM), 자기 테이프, 하드디스크, 플로피디스크, 이동식 저장장치, 비휘발성 메모리(Flash Memory), 광 데이터 저장장치 등이 있으며, 또한 캐리어웨이브(예를 들면, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함된다.
또한, 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.
이상 본 발명을 몇 가지 바람직한 실시예를 사용하여 설명하였으나, 이들 실시예는 예시적인 것이며 한정적인 것이 아니다. 본 발명이 속하는 기술분야에서 통상의 지식을 지닌 자라면 본 발명의 사상과 첨부된 특허청구범위에 제시된 권리범위에서 벗어나지 않으면서 다양한 변화와 수정을 가할 수 있음을 이해할 것이다.

Claims (7)

  1. 복수 개의 영상 콘텐츠가 존재하는 혼합 영상에서 3D 입체 영상을 변환하는 방법에 있어서,
    입력되는 혼합 영상에서 N(N은 2 이상의 자연수) 개의 하위 영상(subimage)을 추출하는 단계;
    추출된 하위 영상의 컬러 특성을 분석하는 단계;
    분석한 컬러 특성별로 N 개의 하위 영상들을 K(K≤N) 개의 클러스터 그룹으로 분류하는 단계;
    각 클러스터 그룹의 깊이맵(depth map)을 생성하는 단계; 및
    생성된 깊이맵으로부터 입체 영상을 생성하는 단계를 포함하며,
    상기 추출된 하위 영상의 컬러 특성을 분석하는 단계에서, 각 하위 영상의 컬러 특성을 분석하되, RGB 데이터로부터 중요도 맵(Saliency map) 및 RGB 맵을 구하는 방식으로 컬러 특성을 분석하는 것을 특징으로 하는 혼합 영상에서 3D 입체 영상 변환 방법.
  2. 삭제
  3. 청구항 1에 있어서,
    상기 중요도 맵은 RGB 하위영상을 Lab 컬러로 변환한 후에, L, a, b의 평균값을 구하는 방식으로 구하되, L, a, b는,
    Figure 112014081178251-pat00053

    의 수학식을 이용하여 구하며, 여기서 M은 해당 하위 영상 S의 픽셀개수인 것임을 특징으로 하는 혼합 영상에서 3D 입체 영상 변환 방법.
  4. 청구항 3에 있어서,
    G는 가우시안 저주파 필터라고 할 때, L, a, b 영상에 저주파 필터를 적용하면,
    Figure 112013071241014-pat00043

    의 수식으로 나타낼 수 있고,
    중요도(saliency) 값 SAL은,
    Figure 112013071241014-pat00044

    의 수학식으로 구해지고,
    하위 영상의 픽셀들의 SAL의 평균값은,
    Figure 112013071241014-pat00045

    의 수학식으로 구해지는 것을 특징으로 하는 혼합 영상에서 3D 입체 영상 변환 방법.
  5. 청구항 4에 있어서,
    R,G,B의 컬러 차이값의 절대값인 ｜Ri-Gi｜, ｜Gi-Bi｜, ｜Bi-Ri｜을 구하고, 이중에서 최대값이 해당 픽셀 i의 RGB 맵 값이 되며,
    Figure 112013071241014-pat00046

    의 수식으로 표현되고,
    COLOR 값의 평균은,
    Figure 112013071241014-pat00047

    의 수식으로 구해지는 것을 특징으로 하는 혼합 영상에서 3D 입체 영상 변환 방법.
  6. 청구항 5에 있어서,
    상기 클러스터 그룹으로 분류하는 단계는,
    K-means clustering 방법을 이용하여 N 개의 하위 영상들을 K(K≤N) 개의 클러스터 그룹으로 분류하는 것을 특징으로 하는 혼합 영상에서 3D 입체 영상 변환 방법.
  7. 청구항 1, 청구항 3 내지 청구항 6 중 어느 한 청구항의 방법을 컴퓨터로 실행시킬 수 있는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR20130093164A 2013-08-06 2013-08-06 혼합 영상에서 3ｄ 입체 영상 변환 방법 및 이를 기록한 기록 매체 KR101489586B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR20130093164A KR101489586B1 (ko) 2013-08-06 2013-08-06 혼합 영상에서 3ｄ 입체 영상 변환 방법 및 이를 기록한 기록 매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20130093164A KR101489586B1 (ko) 2013-08-06 2013-08-06 혼합 영상에서 3ｄ 입체 영상 변환 방법 및 이를 기록한 기록 매체

Publications (1)

Publication Number Publication Date
KR101489586B1 true KR101489586B1 (ko) 2015-02-06

Family

ID=52591300

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130093164A KR101489586B1 (ko) 2013-08-06 2013-08-06 혼합 영상에서 3ｄ 입체 영상 변환 방법 및 이를 기록한 기록 매체

Country Status (1)

Country Link
KR (1) KR101489586B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101857328B1 (ko) * 2015-12-16 2018-06-25 순천대학교 산학협력단 작물의 잎사귀 건강 상태를 판별하는 이미지 프로세싱 방법 및 시스템
KR102260519B1 (ko) 2021-02-25 2021-06-03 (주)에이피피커뮤니케이션즈 3차원 입체영상 변환방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101382227B1 (ko) 2013-01-30 2014-04-04 주식회사 넥시아 디바이스 윈도우 영상을 분류하는 방법, 이를 입체 영상으로 변환하는 방법 및 이를 수행하는 전자 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101382227B1 (ko) 2013-01-30 2014-04-04 주식회사 넥시아 디바이스 윈도우 영상을 분류하는 방법, 이를 입체 영상으로 변환하는 방법 및 이를 수행하는 전자 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101857328B1 (ko) * 2015-12-16 2018-06-25 순천대학교 산학협력단 작물의 잎사귀 건강 상태를 판별하는 이미지 프로세싱 방법 및 시스템
KR102260519B1 (ko) 2021-02-25 2021-06-03 (주)에이피피커뮤니케이션즈 3차원 입체영상 변환방법

Similar Documents

Publication Publication Date Title
CN110163640B (zh) 一种在视频中植入广告的方法及计算机设备
CN110458918B (zh) 用于输出信息的方法和装置
CN102741879B (zh) 由单眼图像产生深度图的方法及其系统
CN112954450B (zh) 视频处理方法、装置、电子设备和存储介质
US8897542B2 (en) Depth map generation based on soft classification
EP2887312A1 (en) Method, apparatus and computer program product for depth estimation of stereo images
CN108235116B (zh) 特征传播方法和装置、电子设备和介质
CN110570352B (zh) 图像标注方法、装置、系统及细胞标注方法
US20120183202A1 (en) Methods and Systems for 2D to 3D Conversion from a Portrait Image
US20120068996A1 (en) Safe mode transition in 3d content rendering
WO2022089170A1 (zh) 字幕区域识别方法、装置、设备及存储介质
CN111681177B (zh) 视频处理方法及装置、计算机可读存储介质、电子设备
EP3958207A2 (en) Method and apparatus for video frame interpolation, and electronic device
US9087272B2 (en) Optical match character classification
CN114117128A (zh) 视频标注的方法、系统及设备
CN114511661A (zh) 图像渲染方法、装置、电子设备及存储介质
US20130182943A1 (en) Systems and methods for depth map generation
CN113762109B (zh) 一种文字定位模型的训练方法及文字定位方法
CN114565768A (zh) 图像分割方法及装置
KR101489586B1 (ko) 혼합 영상에서 3ｄ 입체 영상 변환 방법 및 이를 기록한 기록 매체
CN114782688A (zh) 一种基于张量子空间聚类的自然图像分割方法和系统
US9607398B2 (en) Image processing apparatus and method of controlling the same
CN109636711B (zh) 漫画册生成方法、装置及计算机可读存储介质
JP2014149788A (ja) 物体領域境界推定装置、物体領域境界推定方法及び物体領域境界推定プログラム
KR101592087B1 (ko) 배경 영상의 위치를 이용한 관심맵 생성 방법 및 이를 기록한 기록 매체

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180102

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190121

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20200113

Year of fee payment: 6