KR101544156B1 - 동영상 리타겟팅 방법 및 이러한 기능이 탑재된 동영상 장치 - Google Patents

동영상 리타겟팅 방법 및 이러한 기능이 탑재된 동영상 장치 Download PDF

Info

Publication number
KR101544156B1
KR101544156B1 KR1020140011118A KR20140011118A KR101544156B1 KR 101544156 B1 KR101544156 B1 KR 101544156B1 KR 1020140011118 A KR1020140011118 A KR 1020140011118A KR 20140011118 A KR20140011118 A KR 20140011118A KR 101544156 B1 KR101544156 B1 KR 101544156B1
Authority
KR
South Korea
Prior art keywords
seam
image
frame
extracted
extracting
Prior art date
Application number
KR1020140011118A
Other languages
English (en)
Other versions
KR20150090453A (ko
Inventor
김윤
박대현
이상준
Original Assignee
강원대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 강원대학교산학협력단 filed Critical 강원대학교산학협력단
Priority to KR1020140011118A priority Critical patent/KR101544156B1/ko
Publication of KR20150090453A publication Critical patent/KR20150090453A/ko
Application granted granted Critical
Publication of KR101544156B1 publication Critical patent/KR101544156B1/ko

Links

Images

Classifications

    • G06T3/04—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change

Abstract

동영상 리타겟팅 방법 및 이러한 기능이 탑재된 동영상 장치가 개시된다. 본 발명의 일 구현예에 따른 동영상 리타겟팅 방법은 입력된 영상에 대해 장면 전환 검출을 통하여 새로운 장면(scene)이 시작되었는지의 여부를 판단하는 단계, 상기 새로운 장면이 시작된 경우, 상기 새로운 장면에 대한 현재 프레임에 대하여, 심 카빙(seam carving) 기법을 적용하여 seam을 추출하는 단계, 및 상기 추출된 seam의 정보를 이용하여 상기 현재 프레임의 크기를 변환함으로써 결과 영상을 획득하는 단계를 포함한다.

Description

동영상 리타겟팅 방법 및 이러한 기능이 탑재된 동영상 장치{VIDEO RETARGETING METHOD}
본 발명의 일 구현예는 동영상 리타겟팅 방법 및 이러한 기능이 탑재된 동영상 장치에 관한 것이다.
무선 통신의 발전으로 휴대용 단말에 대한 사용이 급증하였고, 이러한 수요에 편승하여 많은 종류의 휴대용 단말이 출시되고 있다. 이러한 휴대용 단말은 사용자의 편의를 고려하여 디스플레이 크기와 해상도를 다양하게 생산하며, 각각의 휴대용 단말 디스플레이의 크기에 올바른 출력을 위해서는 영상 크기변환이 필요하다.
그러나, 이중 선형(bilinear)이나 겹삼차(bicubic)과 같이 널리 사용되는 보간법을 사용한 크기변환 기법은 영상의 모든 부분을 동일한 비율로 변경하기 때문에 영상이 가지고 있는 주요 컨텐츠가 줄어들거나 늘어나는 왜곡이 발생하는 문제점이 있다.
이에, 효과적인 영상 크기 변환을 위해서는 영상이 가지고 있는 컨텐츠를 보존하면서 영상의 크기를 변경하는 컨텐츠 인식 기반의 영상 리타겟팅 기법이 요구된다.
먼저, 가장 단순한 방법으로 영상 내의 주요 컨텐츠를 찾아 해당 컨텐츠 만을 잘라서 보여주는 크로핑 기법이 있다. 그러나, 이 기법은 주요 컨텐츠 이외에 영상 정보의 많은 부분이 삭제된다는 단점이 있다.
이를 개선하여 주요 컨텐츠를 보존하고 전체 영상 정보를 축약하여 보여주는 어안 워핑(fish-eye warping) 기법이 있다. 그러나, 이러한 어안 워핑 기법은 영상의 주요 컨텐츠를 최대한 보존하지만, 영상의 외곽부분으로 갈수록 영상 정보들이 심하게 왜곡되는 단점이 있다.
심 카빙(Seam carving)은 영상 내에서 중요도가 낮은 픽셀들을 삭제 혹은 추가하는 방법으로 다양한 영상 리타겟팅 기법들 가운데서 높은 컨텐츠의 보존 상태를 나타낸다. 그러나, 이러한 심 카빙 알고리즘을 적용하기 위해서는 누적 에너지 계산 및 seam을 찾는 과정 등 많은 연산량이 필수적이다.
컨텐츠 인식 기반의 영상 리타겟팅을 동영상에 적용하기 위해서는 시간 영역에 대한 고려가 필요하다. 시간축으로 연결성을 갖지 못한다면 영상 내에서 컨텐츠는 불규칙적으로 움직이는 떨림 현상(jitter)이 발생할 수 있다.
떨림 현상이 방지되도록 심 카빙을 동영상에 적용한 비디오 카빙(video caving)은 시간축으로 프레임들을 연결한 3차원 큐브(cube)에 그래프 컷(graph cut)을 적용하였다.
그러나, 상기한 3차원 큐브를 구성하기 위해서는 많은 메모리가 필요하고, seam의 공간과 시간 연결성을 만족하기 위해서는 동영상 전체를 탐색하고 분석하는 작업이 필수적이므로 이 또한 많은 연산량이 필요하다. 이에, 모바일 단말과 같은 한정된 자원을 가진 시스템에서 연속적으로 입력되는 영상들에 대해서는 실시간으로 처리할 수 없는 문제점이 있다.
본 발명이 해결하고자 하는 과제는 동영상이 가지는 컨텐츠를 보존하면서 영상의 크기를 변환할 수 있는 동영상 리타겟팅 방법 및 이러한 기능이 탑재된 동영상 장치를 제공하는 것이다.
본 발명의 일 구현예는 입력된 영상에 대해 장면 전환 검출을 통하여 새로운 장면(scene)이 시작되었는지의 여부를 판단하는 단계, 상기 새로운 장면이 시작된 경우, 상기 새로운 장면에 대한 현재 프레임에 대하여, 심 카빙(seam carving) 기법을 적용하여 seam을 추출하는 단계, 및 상기 추출된 seam의 정보를 이용하여 상기 현재 프레임의 크기를 변환함으로써 결과 영상을 획득하는 단계를 포함하는, 동영상 리타겟팅 방법을 제공한다.
이 때, 상기 장면 전환은 명도와 히스토그램을 이용하여 복수 개의 특징점을 검출하고, 상기 복수 개의 특징점들의 상대적인 차이에 의하여 검출될 수 있다.
또한, 상기 특징점들은 하기의 식(1)을 만족하는 것일 수 있다.
Figure 112014009648950-pat00001
Figure 112014009648950-pat00002
----- 식 (1)
(여기에서, hn(k)는 n번째 프레임에서 k의 픽셀값을 가진 히스토그램을 나타내며, 모든 의 h(k)차이의 합을 fh로 정의한다. 또한, in(i,j)는 n번째 프레임의 (i,j)번째 위치에서의 픽셀값이며, fi는 모든 픽셀의 명도 차이의 합을 나타낸다.)
또한, 상기 seam의 추출 시, 다중 seam 추출을 위한 심 카빙(seam carving) 기법을 이용하여 복수 개의 seam을 추출할 수 있다.
또한, 상기 seam을 추출하기 위하여 누적 에너지의 누적 값이 낮은 순서로 공간의존도를 계산하고, 상기 누적 에너지 값을 작은 부분과 큰 부분으로 분리하는 임계값을 구하며, 상기 임계값보다 작은 누적 에너지 값을 상기 seam으로 추출할 수 있다.
또한, 상기 공간의존도는 하기 식 (2)에 의하여 계산될 수 있다.
Figure 112014009648950-pat00003
Figure 112014009648950-pat00004
Figure 112014009648950-pat00005
--- 식 (2)
(여기에서,
Figure 112014009648950-pat00006
과
Figure 112014009648950-pat00007
은 공간의존도를 나타내고,
Figure 112014009648950-pat00008
은 seam의 위치에 따른 각 방향의 공간의존도 변화량을 나타냄.)
또한, 상기 추출된 seam의 정보를 저장하는 단계를 더 포함할 수 있다.
또한, 상기 새로운 장면이 시작되지 않은 경우, 이전 프레임에서 저장된 seam의 정보를 이용하여 상기 현재 프레임에서 seam을 계산함으로써 결과 영상을 획득할 수 있다.
한편, 본 발명의 다른 구현예는 전술한 동영상 리타겟팅 기능이 탑재된 동영상 장치를 제공한다.
본 발명의 일 구현예에 따르면, 동영상이 가지는 컨텐츠를 보존하면서 영상의 크기를 변환할 수 있는 동영상 리타겟팅 방법 및 이러한 기능이 탑재된 동영상 장치를 제공할 수 있는 효과가 있다.
도 1은 원본 이미지에 대하여 각 방향의 seam과 누적 에너지 영상을 나타낸 것이다.
도 2는 본 발명의 일 구현예에서 seam의 공간의존도를 설명하기 위한 도면이다.
도 3은 W×H 크기의 영상에서 적응적 임계값 T와 공간의존도
Figure 112014009648950-pat00009
를 이용하여 세로방향에 대한 seam의 추출 가능 여부를 확인하는 과정을 나타낸 흐름도이다.
도 4는 n-1 프레임과 n 프레임 간의 temporal forward energy를 나타낸 구조도이다.
도 5는 Pn+1의 위치에서 가능한 SPA, TEM, Candidate Px를 표현한 예이다.
도 6 및 도 7은 원본영상과 각각의 알고리즘이 적용된 결과영상을 비교한 도면이다.
이하, 본 발명의 구현예를 상세히 설명하기로 한다. 다만, 이는 예시로서 제시되는 것으로, 이에 의해 본 발명이 제한되지는 않으며 본 발명은 후술할 청구항의 범주에 의해 정의될 뿐이다.
먼저, 본 발명의 일 구현예에 따른 동영상 리타겟팅 방법을 설명하기에 앞서 다양한 영상 리타겟팅 기법들 가운데서 높은 컨텐츠의 보존 상태를 나타내는 심 카빙(Seam carving) 기법에 대하여 설명하도록 한다.
심 카빙(Seam carving)은 영상 내에서 에너지 변화가 가장 낮은 seam을 추출하여 영상의 크기를 조절한다. seam은 W×H 크기의 영상에서 아래의 식 (1)과 같이 정의된다.
Figure 112014009648950-pat00010
Figure 112014009648950-pat00011
Figure 112014009648950-pat00012
Figure 112014009648950-pat00013
----- (1)
여기에서, Sv는 세로 방향의 seam, Sh는 가로 방향의 seam을 나타내고, X와 Y는 맵핑(mapping)을 나타내며, 영상의 행 좌표와 열 좌표를 나타낸다. 즉, 세로방향의 seam은 동일한 행에 하나의 픽셀 만을 가지며 세로로 연결된 좌표 집합이고, 가로방향의 seam은 동일한 열에 하나의 픽셀만을 가지며 가로로 연결된 좌표 집합이다.
영상에서는 다수의 seam들을 추출할 수 있으며, 그 중에 얻고자 하는 최적의 seam S*는 아래의 식 (2)와 같이 정의한다.
Figure 112014009648950-pat00014
----- (2)
S는 영상에서 얻을 수 있는 모든 seam의 집합이며, E(·)는 seam에 대한 누적 에너지 함수이다. 각 seam들의 E(·) 중에 최소값을 구하기 위해서는 누적 에너지 M이 필요하며, M은 동적 계획법을 통해 값을 도출할 수 있다. 아래의 식 (3)은 W×H 크기의 영상에서 세로 방향의 seam 구하는 방법을 나타낸다.
Figure 112014009648950-pat00015
----- (3)
여기에서, e(·)는 영상에서 해당 픽셀위치의 에너지를 구하는 함수이다. 식 (3)을 영상에 적용하여 도출된 M의 마지막 행에는 세로 방향으로 누적된 에너지 값들이 저장된다.
도 1(c)는 원본 이미지(도 1(a))에 대하여 세로 방향의 seam과 누적 에너지영상을 나타낸 것이다. 누적 에너지 영상은 [0, 255] 범위의 gray 영상으로 정규화(normalization)하여 나타낸 것으로서, 밝을수록 에너지 값이 크며, 어두울수록 작은 에너지 값을 가진다.
가로 방향에 대해서도 동일한 방법으로 구할 수 있다. 도 1(d)는 원본 이미지(도 1(a))에 대하여 가로 방향의 seam과 누적 에너지영상을 나타낸 것이다.
최적의 seam은 마지막 행의 누적 에너지 값 중에 최소값을 선택하여 역 탐색하는 것으로 구할 수 있으며, 도 1(b)에서 녹색으로 표시된 픽셀은 가로방향과 세로방향의 최적의 seam을 나타낸 것이다.
Seam을 이용하여 영상의 크기를 조절할 때에는 seam에 해당하는 위치에 픽셀을 추가하거나 삭제하여 크기를 변경한다. 영상의 크기를 한 픽셀이상 조절할 경우에는 복수 개의 seam이 필요하다. 이 때, 복수 개의 seam을 추출하기 위해서는 이미 추출한 seam을 구성하는 픽셀들을 영상에서 제외한 후에 다시 M의 갱신을 통하여 식 (1)을 만족하는 다음 순번의 seam을 추출한다. 여기서 M의 갱신으로 인한 전체 처리 시간 지연은 불가피하다. 만일, 입력영상과 크기를 변경할 영상의 해상도 차이가 크다면 전체 처리시간은 크게 증가하게 된다.
이하에서는 본 발명의 일 구현예에 따른 동영상 리타겟팅 방법에 대하여 설명하도록 한다.
본 발명의 일 구현예에 따른 동영상 리타겟팅 방법은 입력된 영상에 대해 장면 전환 검출을 통하여 새로운 장면(scene)이 시작되었는지의 여부를 판단하는 단계와, 상기 새로운 장면이 시작된 경우, 상기 새로운 장면에 대한 현재 프레임에 대하여, 다중 seam 추출 심 카빙(seam carving) 기법을 적용하여 다중 seam을 추출하는 단계, 그리고 상기 추출된 seam의 정보를 이용하여 상기 현재 프레임의 크기를 변환함으로써 결과 영상을 획득하는 단계를 포함한다.
보다 상세하게, 먼저, 입력된 영상에 대해 장면 전환 검출을 통하여 새로운 scene이 시작되었는지 여부를 판단한다. 그리고, 새로운 scene이 시작되었을 경우에는 입력 프레임에 대해 다중 seam 추출 심 카빙(seam carving)을 적용하여 seam을 구한다.
이 때, 도출된 seam에 대한 정보는 다음 프레임에서 참조될 수 있기 때문에 buffer에 저장할 수 있다.
그리고, 상기 도출된 seam의 정보를 이용하여 입력 영상을 크기 변환하여 결과영상을 얻는다.
반면, 장면 전환이 발생하지 않은 경우에는 이전 프레임의 저장된 seam의 정보를 이용하여 현재 프레임에서 seam을 계산하여 이를 통해 결과 영상을 얻는다.
여기에서, 장면 전환 검출은 명도와 히스토그램을 이용한 특징점들을 구하여 수행한다. 아래의 식 (4)는 W×H 크기 영상의 이전 프레임 내에서 존재하는 특징 값을 나타낸다.
Figure 112014009648950-pat00016
Figure 112014009648950-pat00017
----- (4)
여기에서, hn(k)는 n번째 프레임에서 k의 픽셀값을 가진 히스토그램을 나타내며, 모든 의 h(k)차이의 합을 fh로 정의한다. 또한, in(i,j)는 n번째 프레임의 (i,j)번째 위치에서의 픽셀값이며, fi는 모든 픽셀의 명도 차이의 합을 나타낸다.
장면 전환은 fi와 fh 중에서 상대적인 차이에 따른 적응적인 임계값보다 값이 크게 나타날 경우에 발생되었다고 판단한다.
Scene이 시작되는 첫 번째 프레임에 대해서는 공간의존도와 적응적 임계값을 도입한 방법을 적용하여 복수 개의 seam을 추출한다. 기존의 심 카빙(seam carving)에서는 누적 에너지 M의 갱신이 구하고자 하는 복수 개의 seam 개수와 동일하게 반복적으로 계산되지만, 본 발명에서는 누적 에너지 M에서 하나 이상의 seam을 획득함으로써, M의 갱신에 사용되는 반복과정을 줄여 전체 처리 시간을 단축한다. 복수 개의 seam을 획득하기 위해 사용되는 공간의존도는 추출하는 seam들이 상기 식 (1)을 만족하고 공간적으로 독립되도록 만들며, 적응적 임계값은 주요 컨텐츠의 에너지가 높은 픽셀이 seam으로 선택되어 왜곡이 발생하는 것을 방지할 수 있다.
복수 개의 seam을 추출하기 위해 누적 에너지 M에서는 누적 값이 낮은 순서로 공간의존도를 계산한다.
여기에서, seam의 공간의존도란, x방향(세로 방향의 seam) 또는 y방향(가로 방향의 seam)으로 seam이 생성되어 seam을 구성하는 픽셀 전체 영역을 의미한다.
도 2는 본 발명의 일 구현예에서 seam의 공간의존도를 설명하기 위한 도면이다.
도 2를 참조하면, 마지막 행에 있는 seam의 좌표를 기준으로 공간의존도
Figure 112014009648950-pat00018
과
Figure 112014009648950-pat00019
을 나타내며, 이 때
Figure 112014009648950-pat00020
,
Figure 112014009648950-pat00021
의 값을 갖는다. 아래의 식 (5)는 W×H 크기의 영상에서 세로 방향의 누적 에너지에 대한 공간의존도를 구하는 식을 나타낸 것이다.
Figure 112014009648950-pat00022
Figure 112014009648950-pat00023
Figure 112014009648950-pat00024
----- (5)
Figure 112014009648950-pat00025
은 seam의 위치에 따른 각 방향의 공간의존도 변화량이며, 최종 공간의존도인
Figure 112014009648950-pat00026
은 M과 동일하게 마지막 행(또는 열)에서 얻어진다. 이렇게 구해진 공간의존도는 seam간의 공간독립성을 만족하지만, 누적 에너지의 값이 큰 seam은 에너지가 높은 픽셀을 포함할 가능성이 크기에 필연적으로 영상 왜곡이 나타날 가능성이 높아진다.
따라서, 데이터 그룹의 분산을 이용하는 이진화 알고리즘을 누적 에너지 에 적용하여 누적 에너지 값이 작은 부분과 큰 부분으로 분리하는 적응적인 임계값을 구한다. 적응적 임계값보다 작은 누적 에너지 값은 seam이 될 수 있다는 유효성을 판단하는 기준이 된다.
도 3은 W×H 크기의 영상에서 적응적 임계값 T와 공간의존도
Figure 112014009648950-pat00027
를 이용하여 세로방향에 대한 seam의 추출 가능 여부를 확인하는 과정을 나타낸 흐름도이다.
도 3에서의 F는 이미 추출한 seam들이 침범하지 않은 가로 영역으로써 또 다른 seam을 추출할 수 있는 영역이다. 그리고 F가 포함하는 위치 내에서 가장 작은 누적 에너지 값을 te, 그 때의 x좌표는 c이다. 최적의 seam은 te의 좌표 c로부터 역탐색을 통하여 얻어지므로, F의 범위 내에서 te와 c는 최적 seam 정보이다.
한편,
Figure 112014009648950-pat00028
는 좌표 c로 시작하는 seam이 포함하는 가로영역이며, 공간의존도
Figure 112014009648950-pat00029
과
Figure 112014009648950-pat00030
에 의하여 구한다. n은 한번 계산된 M 내에서 추출한 seam의 개수이다.
도 3을 참조하면, 초기값 설정 과정에서는 F를 x좌표(0≤x≤W)로 초기화하며, search(광학 seam 추출기 -> 추출여부) 과정은 실질적인 seam을 추출하는 부분으로써, F의 집합영역에 존재하는 x좌표 영역에 대해서만 탐색하며, seam의 결정은 누적 에너지 값인 te가 적응적 임계값 T보다 작은 경우에 추출된다.
업데이트 과정은 M에서 추가적인 seam 추출을 위하여 추출한 seam의
Figure 112014009648950-pat00031
를 F에서 제외시키는 과정이다. 이러한 search 과정과 업데이트 과정을 수행하여 한 번 계산된 M으로부터 하나 이상의 seam을 얻을 수 있다. 한번 계산된 M에서는
Figure 112014009648950-pat00032
이거나 te>T가 될 때까지 추가적인 seam을 얻을 수 있으므로, 누적 에너지 M의 반복적인 계산을 줄여 고속처리가 가능하다.
입력 프레임에 대해 모든 seam을 구한 후 각각의 seam 정보는 동일한 scene의 다음 프레임에서 참조되기 위해 버퍼에 저장될 수 있다. 아래의 식 (6)은 W×H 크기의 입력영상에서 도출된 seam들이 저장되는 정보를 나타낸다.
Figure 112014009648950-pat00033
Figure 112014009648950-pat00034
Figure 112014009648950-pat00035
----- (6)
Sf는 하나의 프레임에서 구한 seam들의 배열이며, 집합 S는 하나의 seam에 대한 정보를 나타낸다. C는 seam의 좌표 배열이고, E는 각 좌표에서의 에너지를 나타내는 배열이며, et는 E값을 모두 누적한 값이다.
버퍼에 저장된 seam 정보는 연속적으로 입력되는 프레임의 seam을 추출하는데 참조된다. 프레임마다 추출될 seam은 프레임의 진행방향에 대해 연속성이 존재하며, 이를 위해 같은 scene내에 연속하는 두 프레임들은 서로 유사하다는 상관성을 이용한다. 프레임 간에 상관성이 존재하므로 두 프레임의 에너지도 유사하게 나타나며, 두 영상의 seam도 유사한 위치의 형태로 나타난다.
먼저, 현재 프레임에서 seam을 구할 때에 연속하는 프레임 간의 상관성을 이용하여 이전 프레임의 seam 정보를 참조한다. 아래의 식 (7)은 이전 프레임에서 저장된 seam 정보를 현재 프레임이 참조하는 것을 나타낸다.
Figure 112014009648950-pat00036
----- (7)
n-1은 이전 프레임 번호이고, i는 추출할 seam의 순번이다. 따라서, Srsf는 새로운 seam을 생성하기 위해 참조되는 이전 프레임의 seam이며, 식 (7)의 S와 같은 데이터 구조를 가지고 있다.
현재 프레임에서 구하고자 하는 seam은 참조 seam인 Srsf의 인접영역에서 형성되며, seam을 구성하는 픽셀의 위치 값을 갖는 집합 P로 형성된다. 시작위치는 Pn이며 seam을 구성하는 다음 위치의 픽셀인 Pn+1은 공간적 연결성과 시간적 연결성을 동시에 만족해야 한다.
이 때, 공간적 연결성은 Pn과 Pn+1이 공간적으로 연결되어야 함을 의미하고, 시간적 연결성은 Pn+1와
Figure 112014009648950-pat00037
가 시간적으로 연결되어야 함을 의미한다.
도 4는 n-1 프레임과 n 프레임 간의 temporal forward energy를 나타낸 구조도이다.
한편, 아래의 식 (8)은 두 조건을 만족하여 후보 seam의 픽셀로 구성될 수 있는 집합인 Candidate Px를 구하는 과정이다.
Figure 112014009648950-pat00038
Figure 112014009648950-pat00039
Figure 112014009648950-pat00040
----- (8)
n은 Pn+1의 x(가로 방향의 seam) 또는 y(세로 방향의 seam)좌표이며, SPA와 TEM은 위의 조건인 공간적 연결과 시간적 연결을 만족하는 픽셀 집합이다.
도 5는 Pn+1의 위치에서 가능한 SPA, TEM, Candidate Px를 표현한 예이다.
회색 박스로 표시된 픽셀이
Figure 112014009648950-pat00041
이며, (a)와 (b)에서 세로줄 박스로 표시된 픽셀이 SPA와 TEM이다.
첫 번째 줄의 그물모양 박스로 표시된 것은 후보 seam의 시작 위치인 Pn이다. (c)의 가로줄 영역은 (a)와 (b)를 모두 만족하는 Candidate Px이다. Candidate Px은 후보 seam의 원소가 될 수 있는 픽셀의 집합이므로 Candidate Px 내에서 후보 seam의 픽셀이 결정된다.
여기에서, 픽셀을 결정할 때에는 이웃하는 프레임 간의 상관성을 이용하여
Figure 112014009648950-pat00042
의 에너지 값과 가장 유사한 픽셀을 Pn+1로 결정한다.
에너지 함수로는 spatial forward energy(SFE)와 제안하는 temporal forward energy(TFE)를 사용하였다. SFE는 공간영역에 대한 에너지를 구하는 함수로 세로방향의 seam을 구할 때에 아래의 식 (9)와 같이 표현된다.
Figure 112014009648950-pat00043
Figure 112014009648950-pat00044
Figure 112014009648950-pat00045
----- (9)
여기서 p(i,j)는 (i,j)위치의 픽셀을 의미한다. TFE는 시간영역에 대한 에너지를 구하는 함수로 상기 식 (9)와 동일하게 세로방향의 심에 대해 값을 구할 경우에 아래의 식 (10)과 같이 표현된다.
Figure 112014009648950-pat00046
Figure 112014009648950-pat00047
Figure 112014009648950-pat00048
----- (10)
여기에서, p(i,j,n) 은 n번째 프레임의 (i,j) 위치에 존재하는 픽셀을 의미한다. SFE와 TFE를 이용하여 seam을 구성하는 Pn+1이 도출되는 과정은 아래의 식 (11)과 같이 표현된다.
Figure 112014009648950-pat00049
----- (11)
Pn+1은 공간연결성과 시간연결성을 동시에 고려한 에너지함수가 최소값을 가질 때의 픽셀위치로 결정되며, seam은 식 (11)을
Figure 112014009648950-pat00050
(세로 방향 seam)까지 적용하여 생성된다. 최종 결과 영상은 앞선 과정으로 필요한 개수만큼 구해진 seam들을 이용하여 생성된다.
영상의 크기를 줄일 때는 seam의 순서대로 해당 seam을 구성하는 픽셀을 삭제하고, 반대로 영상의 크기를 늘릴 경우에는 seam의 순서대로 seam을 구성하는 픽셀의 위치에 픽셀을 추가한다.
이하 본 발명의 실시예 및 비교예를 기재한다. 그러나 하기의 실시예는 본 발명의 일 실시예 일 뿐 본 발명이 하기한 실시예에 한정되는 것은 아니다.
실험예
본 발명의 일구현예에 따른 동영상 리타겟팅 방법 및 이러한 기능이 탑재된 동영상 시스템의 성능평가는 bicubic, 기존의 seam carving(conventional seam carving, CSC), 그리고 본 발명에서 제안된 방법을 컬러영상에 적용하여 평가하였다.
그리고, 영상처리에 널리 알려진 352×288의 해상도를 가지는 CIF(common intermediate format) 컬러 영상 300프레임에 대해 수행하였으며, 가로방향으로 약 30%를 확대하여 458××8의 해상도를 가지는 결과영상을 얻었다.
또한, 각각의 알고리즘이 수행되는데 필요한 실행 시간과 프레임당 메모리 사용량의 평균을 측정하였다. 실험과정에 발생될 실험의 오차를 줄여 신뢰도를 높이기 위해 동일한 실험 과정을 반복하였고, 반복과정을 통해 얻은 다수의 데이터를 평균하여 사용하는 방법을 적용하였다.
도 6 및 도 7은 원본영상과 각각의 알고리즘이 적용된 결과영상을 비교한 도면이다.
도 6 및 도 7을 참조하면, (b)bicubic 기법은 영상의 모든 부분에 대해 동일한 크기로 픽셀을 보간하여 사용하기 때문에 모든 영상에 대해 전체적으로 주요 컨텐츠가 늘어나는 왜곡 현상이 발생한다. 이는 컨텐츠를 고려하지 않고 영상을 확대해서 생기는 문제로 모든 보간법이 이와 같은 문제를 내재하고 있다.
그리고, (c)CSC은 주요 컨텐츠를 고려하여 seam을 구하고 추가하여 컨텐츠가 보존되는 방법이지만, 동영상에서 적용될 경우에 프레임 간의 연속성이 없고, seam이 주요 컨텐츠를 지나가는 현상이 발생되어 왜곡이 발생할 수 있다.
반면, 본 발명에서 제안하는 동영상 리타겟팅 방법은 seam을 구할 때에 프레임 간의 시간적인 연결성도 고려함으로써, 영상에 떨림 현상이 없고, 주요 컨텐츠가 비교적 잘 보존되어 영상의 왜곡이 적게 나타나 원본 영상에 가까운 화질의 성능을 보여준다.
본 발명은 상기 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 제조될 수 있으며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

Claims (9)

  1. 입력된 영상에 대해 장면 전환 검출을 통하여 새로운 장면(scene)이 시작되었는지의 여부를 판단하는 단계;
    상기 새로운 장면이 시작된 경우, 상기 새로운 장면에 대한 현재 프레임에 대하여, 심 카빙(seam carving) 기법을 적용하여 seam을 추출하는 단계; 및
    상기 추출된 seam의 정보를 이용하여 상기 현재 프레임의 크기를 변환함으로써 결과 영상을 획득하는 단계;를 포함하되,
    상기 장면 전환은 명도와 히스토그램을 이용하여 하기의 식(1)을 만족하는 복수 개의 특징점을 검출하고, 상기 복수 개의 특징점들의 상대적인 차이에 의하여 검출되고,
    Figure 112015048701011-pat00066

    Figure 112015048701011-pat00067
    ----- 식 (1)
    (여기에서, hn(k)는 n번째 프레임에서 k의 픽셀값을 가진 히스토그램을 나타내며, 모든 의 h(k)차이의 합을 fh로 정의한다. 또한, in(i,j)는 n번째 프레임의 (i,j)번째 위치에서의 픽셀값이며, fi는 모든 픽셀의 명도 차이의 합을 나타낸다)
    상기 seam의 추출 시, 다중 seam 추출을 위한 심 카빙(seam carving) 기법을 이용하여 복수 개의 seam을 추출하되,
    상기 seam을 추출하기 위하여 누적 에너지의 누적 값이 낮은 순서로 공간의존도를 계산하고, 상기 누적 에너지 값을 작은 부분과 큰 부분으로 분리하는 임계값을 구하며, 상기 임계값보다 작은 누적 에너지 값을 상기 seam으로 추출하는 것을 특징으로 하는 동영상 리타겟팅 방법.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 청구항 1에 있어서,
    상기 공간의존도는 하기 식 (2)에 의하여 계산되는 것을 특징으로 하는 동영상 리타겟팅 방법.
    Figure 112015048701011-pat00053

    Figure 112015048701011-pat00054

    Figure 112015048701011-pat00055
    ----- 식 (2)
    (여기에서,
    Figure 112015048701011-pat00056
    과
    Figure 112015048701011-pat00057
    은 공간의존도를 나타내고,
    Figure 112015048701011-pat00058
    은 seam의 위치에 따른 각 방향의 공간의존도 변화량을 나타냄.)
  7. 청구항 6에 있어서,
    상기 추출된 seam의 정보를 저장하는 단계를 더 포함하는 것을 특징으로 하는 동영상 리타겟팅 방법.
  8. 청구항 1에 있어서,
    상기 새로운 장면이 시작되지 않은 경우,
    이전 프레임에서 저장된 seam의 정보를 이용하여 상기 현재 프레임에서 seam을 계산함으로써 결과 영상을 획득하는 것을 특징으로 하는 동영상 리타겟팅 방법.
  9. 청구항 1, 청구항 6 내지 청구항 8 중 어느 한 항에 따른 동영상 리타겟팅 기능이 탑재된 동영상 장치.
KR1020140011118A 2014-01-29 2014-01-29 동영상 리타겟팅 방법 및 이러한 기능이 탑재된 동영상 장치 KR101544156B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140011118A KR101544156B1 (ko) 2014-01-29 2014-01-29 동영상 리타겟팅 방법 및 이러한 기능이 탑재된 동영상 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140011118A KR101544156B1 (ko) 2014-01-29 2014-01-29 동영상 리타겟팅 방법 및 이러한 기능이 탑재된 동영상 장치

Publications (2)

Publication Number Publication Date
KR20150090453A KR20150090453A (ko) 2015-08-06
KR101544156B1 true KR101544156B1 (ko) 2015-08-12

Family

ID=53885164

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140011118A KR101544156B1 (ko) 2014-01-29 2014-01-29 동영상 리타겟팅 방법 및 이러한 기능이 탑재된 동영상 장치

Country Status (1)

Country Link
KR (1) KR101544156B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11003951B2 (en) 2018-12-26 2021-05-11 Samsung Electronics Co., Ltd. Image processing apparatus and image processing method thereof

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220158540A (ko) * 2021-05-24 2022-12-01 삼성전자주식회사 영상 처리 장치 및 그 동작방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
이강희 외 4인, 전자공학회 논문지 제48권 SP편 제5호, 2011.09., 63-71P*

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11003951B2 (en) 2018-12-26 2021-05-11 Samsung Electronics Co., Ltd. Image processing apparatus and image processing method thereof

Also Published As

Publication number Publication date
KR20150090453A (ko) 2015-08-06

Similar Documents

Publication Publication Date Title
US9674505B2 (en) Disparity search range determination for images from an image sensor array
US9179071B2 (en) Electronic device and image selection method thereof
US9118846B2 (en) Apparatus for generating an image with defocused background and method thereof
US9485495B2 (en) Autofocus for stereo images
WO2018047687A1 (ja) 三次元モデル生成装置及び三次元モデル生成方法
US9779324B2 (en) Method and device for detecting interest points in image
US8363985B2 (en) Image generation method and apparatus, program therefor, and storage medium which stores the program
KR101811718B1 (ko) 영상 처리 방법 및 장치
KR100953076B1 (ko) 객체 또는 배경 분리를 이용한 다시점 정합 방법 및 장치
CN107025660B (zh) 一种确定双目动态视觉传感器图像视差的方法和装置
CN107481271B (zh) 一种立体匹配方法、系统及移动终端
US8823777B2 (en) Real-time depth extraction using stereo correspondence
US9235879B2 (en) Apparatus, system, and method for temporal domain hole filling based on background modeling for view synthesis
US9153203B2 (en) Temporally consistent superpixels
US10818018B2 (en) Image processing apparatus, image processing method, and non-transitory computer-readable storage medium
US8385732B2 (en) Image stabilization
CN110517304B (zh) 生成深度图的方法、装置、电子设备和存储介质
US10269099B2 (en) Method and apparatus for image processing
TWI502544B (zh) 立體影像的視差估算方法
Wang et al. Robust color correction in stereo vision
JP2011041275A (ja) 画像処理方法、データ処理方法、コンピューター読み取り可能な媒体、およびデータ処理装置
KR101544156B1 (ko) 동영상 리타겟팅 방법 및 이러한 기능이 탑재된 동영상 장치
US20130294708A1 (en) Object separating apparatus, image restoration apparatus, object separating method and image restoration method
CN112508832A (zh) 一种面向对象的遥感影像数据时空融合方法、系统及设备
EP2966613A1 (en) Method and apparatus for generating a super-resolved image from an input image

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180801

Year of fee payment: 4