KR100998220B1 - 적응적 영상 크기 조정 방법 - Google Patents

적응적 영상 크기 조정 방법 Download PDF

Info

Publication number
KR100998220B1
KR100998220B1 KR1020090011281A KR20090011281A KR100998220B1 KR 100998220 B1 KR100998220 B1 KR 100998220B1 KR 1020090011281 A KR1020090011281 A KR 1020090011281A KR 20090011281 A KR20090011281 A KR 20090011281A KR 100998220 B1 KR100998220 B1 KR 100998220B1
Authority
KR
South Korea
Prior art keywords
piece
complexity
image
down sampling
pieces
Prior art date
Application number
KR1020090011281A
Other languages
English (en)
Other versions
KR20100092092A (ko
Inventor
김창수
김준성
Original Assignee
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고려대학교 산학협력단 filed Critical 고려대학교 산학협력단
Priority to KR1020090011281A priority Critical patent/KR100998220B1/ko
Publication of KR20100092092A publication Critical patent/KR20100092092A/ko
Application granted granted Critical
Publication of KR100998220B1 publication Critical patent/KR100998220B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/393—Enlarging or reducing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Processing (AREA)

Abstract

다운 샘플링 방법에 따라 영상의 크기를 축소하는 영상의 크기 조정 방법에 있어서, 원본 영상을 기준축과 수직한 방향으로 n 개(n은 자연수)의 조각으로 분할하는 단계와, 상기 분할된 조각에 포함된 픽셀들의 밝기에 기초하여 각 조각들의 픽셀라인의 복잡도를 산출하는 단계와, 서로 인접한 조각의 복잡도의 차이가 커지도록 상기 조각들을 재분할하는 단계와, 상기 재분할된 각 조각에 대하여 복잡도를 재산출하고, 상기 재산출된 복잡도에 기초하여 각 조각의 다운 샘플링 양을 산출하고, 상기 산출된 다운 샘플링 양에 따라 각 조각의 다운 샘플링을 수행하는 단계 및 상기 다운 샘플링에 의하여 축소된 영상을 출력하는 단계를 포함한다.
다운 샘플링, 복잡도, 그래디언트

Description

적응적 영상 크기 조정 방법{METHOD FOR ADAPTIVE IMAGE RESIZING}
본 발명은 영상 크기 조정 방법에 관한 것으로서, 보다 상세하게는, 영상에 포함된 정보의 중요도에 따라 다운 샘플링 양을 상이하게 조정하여 영상을 축소시키는 영상 크기 조정 방법에 관한 것이다.
최근 다양한 크기의 해상도와 가로세로비(aspect ratio)를 가지는 멀티미디어 재생장치들을 통해 여러 가지 형태의 영상 컨텐츠가 재생되고 있다. 예를 들면, HDTV 용 컨텐츠나 영화 필름들이 비교적 작은 디스플레이 화면을 갖는 휴대폰이나, 각종 휴대용 멀티미디어 플레이어 등에서 재생된다. 이러한 경우, 영상의 크기가 큰 컨텐츠를 일반 재생장치에서 재생시키기 위해서는 영상 컨텐츠의 크기를 적절히 조정시킬 필요가 있다. 다만, 영상 크기의 조정으로 인하여, 영상이 길게 늘어지거나, 좌우의 많은 양의 영상 정보가 삭제되는 문제가 발생한다.
전자의 문제를 발생시키는 크기 조정 기법으로 스케일링, 후자의 기법으로는 크로핑이 기존의 방법으로 널리 쓰이고 있다. 스케일링은 영상의 전체에 균일한 다운 샘플링 필터를 적용하는 것으로, 가장 인접한 이웃 화소 보간법(nearest neighborhood interpolation), 양선형 보간법(bilinear interpolation), 바이큐빅 보간법(bicubic interpolation)등의 방법이 있다.
스케일링의 경우 영상의 전체적인 형태를 보존할 수 있는 장점이 있는 반면, 원본 영상과 조정 영상의 가로세로비가 다를 경우에 영상이 눌리거나 길어지는 등의 영상의 왜곡이 발생한다. 그 예로 영화용 필름을 TV를 통해 상영할 때 전체적으로 영상이 길어지거나 SD급의 영상 컨텐츠를 HD급의 TV를 통해 상영할 때에 영상이 눌리는 현상들을 들 수 있다. 또한 너무 작은 크기로 영상을 줄이면 식별이 어려워진다.
한편, 크로핑은 영상의 외곽에서부터 조정 영상의 크기를 얻을 때까지 영상을 잘라내는 방법으로 보존되는 부분에 대해서는 해상도가 유지되기 때문에 영상이 왜곡되거나 너무 작아져서 식별이 어려워지는 등의 단점이 발생하지 않는다. 하지만 잘려지는 부분에 해당하는 영상 정보가 완전히 손실되는 단점을 가진다.
도 1은 통상적으로 사용되는 영상 크기 조정 방법을 비교하기 위한 도면이다.
첫 번째 도면(a)은 720x480의 크기를 가지는 원본 영상이고, 두 번째 도면(b)은 원본 영상에 스케일링을 적용하여 360x480의 크기로 조정한 결과를 나타내는 도면이며, 세 번째 도면(c)은 원본 영상에 크로핑을 적용하여 360x480의 크기로 조정한 결과를 나타내는 도면이다.
도시된 바와 같이, 스케일링을 적용한 경우 영상이 좌우로 눌려서 왜곡되는 문제점이 있으며, 크로핑을 적용한 경우 중앙의 크림팩을 포함하는 남겨진 부분은 원본 영상과 같은 해상도를 갖지만 원본 영상에 존재하던 휴지가 없어지는 등 영상 정보의 손실이 크다.
본 발명의 일부 실시예는 종래의 영상 크기 조정 방법의 문제점을 해소하기 위한 것으로, 영상의 중요 정보를 최대한 손실하지 않으면서 영상의 크기를 축소시킬 수 있는 영상 크기 조정 방법을 제공한다.
또한, 본 발명의 일부 실시예는 영상의 중요도에 따라 원본 영상을 상이하게 분할하는 방법과, 영상의 중요도에 따라 상이한 다운 샘플링 양을 적용시킬 수 있는 영상 크기 조정 방법을 제공한다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제 1 측면은 다운 샘플링 방법에 따라 영상의 크기를 축소하는 영상의 크기 조정 방법에 있어서, 원본 영상을 기준축과 수직한 방향으로 n 개(n은 자연수)의 조각으로 분할하는 단계와, 상기 분할된 조각에 포함된 픽셀들의 밝기에 기초하여 각 조각들의 픽셀라인의 복잡도를 산출하는 단계와, 서로 인접한 조각의 복잡도의 차이가 커지도록 상기 조각들을 재분할하는 단계와, 상기 재분할된 각 조각에 대하여 복잡도를 재산출하고, 상기 재산출된 복잡도에 기초하여 각 조각의 다운 샘플링 양을 산출하고, 상기 산출된 다운 샘플링 양에 따라 각 조각의 다운 샘플링을 수행하는 단계 및 상기 다운 샘플링에 의하여 축소된 영상을 출력하는 단계를 포함한다.
또한, 본 발명의 제 2 측면은 다운 샘플링 방법에 따라 영상의 크기를 축소 하는 영상의 크기 조정 방법에 있어서, 원본 영상을 기준축과 수직한 방향으로 n 개(n은 자연수)의 조각으로 분할하는 단계와, 각 조각에 포함된 픽셀들의 크기를 기준으로 각 조각들의 복잡도를 산출하는 단계와, 각 조각내의 복잡도의 편차가 최소화되도록 상기 조각들을 재분할하는 단계와, 상기 재분할된 각 조각에 대하여 복잡도를 재산출하고, 상기 재산출된 복잡도에 기초하여 각 조각의 다운 샘플링 양을 산출하고, 상기 산출된 다운 샘플링 양에 따라 각 조각의 다운 샘플링을 수행하는 단계 및 상기 다운 샘플링에 의하여 축소된 영상을 출력하는 단계를 포함한다.
전술한 본 발명의 과제 해결 수단에 의하면, 원본 영상을 복잡도에 따라 상이한 크기를 갖도록 분할하고, 그에 따라 다운 샘플링 양을 조정할 수 있으므로, 원본 영상 내에서 중요한 정보는 유지하면서 상대적으로 중요도가 떨어지는 영상만을 제거할 수 있다. 따라서 일정한 비율로 다운 샘플링을 하는 방법이나 크로핑에 의하여 영상의 크기를 줄이는 방법에 비하여, 중요 정보를 최대한 유지할 수 있다. 한편, 이와 같은 크기 조정 방법은 정지 영상뿐만 아니라 복수의 정지 영상을 포함하는 동영상에 대해서도 적용할 수 있다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한 다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
도 2는 본 발명의 일 실시예에 따른 영상 크기 조정 방법을 설명하기 위한 도면이다.
본 발명에서는 영상을 특정 기준에 따라 분할하고, 그 중요도를 구하여 중요 부분은 최대한 보존하고, 불필요한 부분은 제거 또는 축소시키는 방법을 통해 영상을 축소하고자 한다. 이때 영상을 분할하는 방법에 대해 살펴보기로 한다.
먼저, 영상 크기 조정 방법을 수행하기 전의 원본 영상(210)의 크기는 가로(Ws)*세로(Hs)에 의하여 정의된다. 또한 영상 크기 조정 방법을 수행하여 출력시키고자 하는 타겟 영상(220)의 크기는 가로(Wt)*세로(Ht)에 의하여 정의된다.
이때 크기가 조정되는 축은 가로축 또는 세로축 중 어느 하나이며, 나머지 축은 고정된다. 즉 가로축의 길이를 조정하는 경우 세로축은 원본과 같은 크기를 갖게 되며, 세로축의 길이를 조정하는 경우 가로축은 원본과 같은 크기를 갖게 된 다. 두 방식 모두 동일한 방법에 따라 수행되므로, 이하에서는 세로축을 고정하고 가로축의 길이를 조정하는 예를 기준으로 하여 설명하기로 한다.
원본 영상(210)은 축소시키고자 하는 축, 즉 가로축을 기준으로 n개의 등분으로 구분한다. 이렇게 구분된 영상들을 제1 내지 제n 조각(212, 214, 216)이라 한다. 각 조각(strip)들에는 영상을 구성하는 복수의 픽셀들이 포함되며, 각 픽셀들의 위치는 2차원 좌표로 규정된다. 또한 각 조각에는 복수의 픽셀 라인이 포함되며, 하나의 컬럼(column) 또는 하나의 로우(row)가 픽셀라인이 된다. 가로축을 축소시키고자 하는 경우 하나의 컬럼이 하나의 픽셀라인이 되며, 세로축을 축소시키고자 하는 경우 하나의 로우가 하나의 픽셀라인이 된다.
이때 본 발명에서는 각 조각들 픽셀라인의 복잡도를 구하고자 한다. 복잡도는 영상에 중요한 정보가 있는지를 판단하기 위한 값으로서, 이를 구하는 상세 방법은 추후 설명하기로 한다. 본 발명에서는 각 조각들의 경계에서 지역적으로 가장 적합한 새로운 경계를 갱신한다. 즉, 서로 인접한 조각의 복잡도의 차이가 최대한 커지도록 분할구간을 재조정한다. 이는 복잡도가 상대적으로 큰 조각과 복잡도가 상대적으로 작은 조각을 구분하고, 각 조각 별로 다운 샘플링할 양을 상이하게 적용하기 위함이다.
도시된 바와 같이 각 조각의 복잡도의 평균이 차이가 커지도록 하는 최적화 과정을 수행하게 되면, 각 조각(222, 224, 226, 228)의 구간이 서로 달라지게 된다. 도시된 것은 일 실시예에 해당하는 것으로, 영상에 따라 각 조각의 구간은 도시된 것과 상이하게 설정될 수 있다. 이렇게 원본 영상의 분할이 최적으로 이루어 진 상태에서, 각 조각 별로 상이한 비율로 다운 샘플링을 수행한다. 즉, 복잡도가 큰 조각에 대해서는 최대한 정보가 손실되지 않도록 하고, 복잡도가 작은 조각에 대해서는 상대적으로 정보 손실율이 커지도록 하여 타겟 영상을 생성하게 된다.
이제 본 발명의 일 실시예에 따른 영상 크기 조정 방법의 상세 과정을 살펴보기로 한다.
도 3은 본 발명의 일 실시예에 따른 영상 크기 조정 방법의 상세 과정을 도시한 순서도이다.
먼저, 크기를 조정하고자 하는 영상의 축소할 기준축 및 축소할 길이의 양을 설정한다(단계 310).
본 발명에서는 영상의 가로축 또는 세로축 중 어느 하나는 고정시킨 상태에서 다른 하나의 길이를 축소시키고자 한다. 그리고 축소시키고자 하는 기준축의 축소할 길이의 양을 사용자로부터 입력 받는다.
다음으로, 원본 영상을 축소할 기준축에 따라 n개의 조각으로 균등 분할한다(단계 320).
이는 앞서 도 2에서 설명한 내용과 같다. 즉 도 2에 도시된 바와 같이 원본 영상을 n 개의 조각으로 분할한다. 이때 원본 영상을 균등하게 분할할 수도 있으나, 실시 예에 따라 상이한 크기를 갖도록 분할할 수도 있다.
다음으로, 각 조각별로 복잡도를 산출한다.(단계 330).
영상에 포함되는 각 픽셀의 에너지를 I(x,y)라는 함수로 정의한다. 또는 각 픽셀의 밝기의 크기를 I(x,y)라는 함수로 정의한다. 이때 x는 가로축의 좌표를 나 타내고, y는 세로축의 좌표를 나타낸다.
그리고 픽셀의 밝기의 크기 또는 에너지에 대한 그래디언트(gradient)를 구한다.
Figure 112009008608768-pat00001
그래디언트는 수학식 1뿐만 아니라, 미분 연산자 등을 적용하여 구할 수 있다. 예를 들어, 당업자에게 잘 알려진 프리윗(Prewitt), 로버트(Robert), 소벨(Sobel), 라플라시안(laplacian) 연산자들 중 어느 하나를 선택하여 각 픽셀들에 대한 그래디언트 값을 구할 수 있다. 즉, 각 픽셀들의 값을 상기 연산자들 중 어느 하나에 대입시켜 그 출력값을 픽셀의 밝기의 크기에 대한 그래디언트로 이용한다.
다음으로, 하나의 컬럼 내의 모든 픽셀들의 그래디언트 값을 더하여, x 번째 컬럼, 즉 x번째 픽셀라인의 복잡도를 구한다.
Figure 112009008608768-pat00002
상기와 같이 x 번째 컬럼의 복잡도는 각 픽셀의 밝기의 크기 또는 에너지에 대한 그래디언트 값들의 합에 의하여 결정되며, x를 변수로 하는 함수가 된다. 즉 가로축의 위치에 따라 복잡도의 값이 달라진다. 이때 실시예에 따라 각 컬럼당 모든 픽셀들의 그래디언트 값을 더하는 것이 아니라, 그래디언트 값이 상위 10%에 해당하는 픽셀들만의 그래디언트 값을 더하여 복잡도를 측정할 수 있다.
만약, 가로축을 고정하고 세로축을 축소시키는 경우라면, y 번째 로우의 복잡도 함수를 구하게 될 것이며, 이는 y를 변수로 하는 함수가 될 것이다.
다음으로, x 번째 컬럼의 복잡도 함수를 이용하여 각 구간별로 복잡도의 평균을 구한다. 복잡도의 평균은 각 조각의 복잡도의 크기를 판단하기 위한 대표값에 해당하며, 실시예에 따라 중간값 등으로 활용할 수 도 있다.
도면을 통해 상세 내용을 살펴보기로 한다.
도 4는 본 발명의 일 실시예에 따라 원본 영상을 n 개의 조각으로 구분한 것을 도시한 도면이다.
각 구간의 경계를 bk 라 정의한다. bk 는 x 좌표의 차원을 갖는다. 즉 제1 조각의 좌측 경계인 b0 는 0 이고, 제n 조각의 우측 경계인 bn 은 원본 영상의 가로길이와 같은 Ws가 된다. 처음에는 각 조각의 길이가 동일하게 설정되므로, 제k 조각의 좌측 경계인 bk 는 다음과 같은 값을 갖는다.
Figure 112009008608768-pat00003
또한 제k 조각의 복잡도의 평균값은 다음 수학식에 의하여 결정된다.
Figure 112009008608768-pat00004
즉, 각 픽셀들의 복잡도의 합을 조각의 크기로 나눈 값과 같다.
다음으로, 서로 인접한 조각들의 복잡도의 차이가 커지도록 조각들의 경계를 재설정한다(단계 340).
본 발명에서는 각 조각의 복잡도의 평균이 서로 달라지도록, 바람직하게는 그 평균의 차이가 최대한 커지도록 경계를 재설정하고자 한다.
각 경계의 값은 다음 수학식에 의하여 결정된다.
Figure 112009008608768-pat00005
이때, 수학식 5의 sk 값은 다음 수학식에 의하여 결정된다.
Figure 112009008608768-pat00006
상기 수학식의 sk -1 값, sk 값은 각각 제k-1 조각과 제k 조각의 복잡도의 평균값을 의미한다.
제k 조각의 좌측 경계는 제k 조각과 인접한 제k-1 조각의 복잡도의 평균값과 제k-1 조각에 포함되는 각 컬럼들의 복잡도의 차이들의 합 성분(수학식 3의 괄호 안의 첫번째 텀)과, 제k 조각의 복잡도의 평균값과 제k 조각에 포함되는 각 컬럼들의 복잡도의 차이들의 합 성분(수학식 3의 괄호 안의 두번째 텀)과, 제k-1 조각과 제k 조각의 복잡도의 평균값의 차이의 역수에 해당하는 성분(수학식 3의 괄호 안의 세번째 텀)들의 합에 해당하는 비용함수가 최소가 되도록 하는 x 좌표값으로 결정된다. 상기 수식에 따르면 각 조각의 복잡도의 평균값과 각 컬럼들의 복잡도의 차이가 작을수록, 각 조각 간 평균의 차이가 클수록 비용함수가 최소가 되며, 이때의 경계가 최적의 경계가 된다.
한편, 원본 영상을 분할한 기준축이 세로 축인 경우, 제k 조각의 좌측 경계는 제k 조각과 인접한 제k-1 조각의 복잡도의 평균값과 제k-1 조각에 포함되는 각 로우(row)들의 복잡도의 차이들의 합 성분과, 제k 조각의 복잡도의 평균값과 제k 조각에 포함되는 각 로우들의 복잡도의 차이들의 합 성분과, 제k-1 조각과 제k 조 각의 복잡도의 평균값의 차이의 역수에 해당하는 성분들의 합에 해당하는 비용함수가 최소가 되도록 하는 y 좌표값으로 결정된다.
이와 같이 각 조각의 복잡도의 차이가 커지도록 조각들을 재분할한다. 즉 각 조각의 경계의 값을 재설정하며, 이러한 재설정 동작을 수회 반복하면서 최적의 경계를 설정한다. 이때 상기 반복하는 기준은 최초 균등하게 설정된 조각에 대하여 비용함수의 값을 구하여 초기 비용값으로 설정하고, 초기 비용값에 대하여 선정한 비율 또는 선정한 값만큼 감소한 비용값이 출력되는 경우, 그 시점의 x 좌표값을 제k 조각의 좌측 경계로 설정한다. 또는 상기 재설정 동작을 여러 영상들에 대해 실험하여 최적의 경계가 설정되는 반복횟수를 통계적으로 찾아내어, 일정한 횟수만큼 재설정 동작을 수행하도록 한다.
도 5는 본 발명의 일 실시예에 따른 영상 크기 조정 방법에서 복잡도에 따라 각 조각을 재분할한 과정을 도시한 도면이다.
첫 번째 도면(a)은 원본 영상을 나타낸 것이며, 두 번째 도면(b)은 원본 영상에 대하여 그래디언트를 적용한 것이다. 세 번째 도면(c)은 원본 영상을 10개의 조각으로 균등하게 분할한 것을 나타내며, 각 컬럼별로 복잡도가 표시되어 있다. 좌측에서 첫 번째 조각의 경우, 복잡도가 대체로 비슷하게 나타나고 있으나, 두 번째 조각의 경우, 복잡도의 편차가 큰 것을 알 수 있다. 본 발명에서는 각 조각 내에서 복잡도의 편차가 최소화 되도록 각 조각의 경계를 재설정한다. 네 번째 도면(d)은 재설정 과정을 거쳐 최적화된 분할 형태를 도시하고 있다. 최적화된 분할을 나타내는 영상을 보면 분할의 개수가 9개로 감소한 것을 볼 수 있는데, 이는 반 복 수행과정 중 좌측 혹은 우측의 경계로 새로운 경계가 수렴하기 때문에 발생한다. 이는 특정 에너지 분포에서 발생하는 현상으로 이와 같이 다른 경계로 수렴하게 될 경우 감소한 값으로 조각의 개수가 갱신될 수 있다. 초기에 주어지는 조각의 개수에 따라 분할결과가 달라지는데, 조각의 개수가 작으면 단순한 스케일링에 가까워지고, 조각의 개수가 많아지면 다른 경계로의 수렴 현상이 발생할 가능성이 높아진다. 따라서 반복적인 실험을 통해 최적의 조각 개수를 정하도록 한다.
다음으로, 각 조각의 복잡도의 평균값에 따라 상이한 다운 샘플링 양을 설정하여 다운 샘플링 동작을 수행한다(단계 350).
다운 샘플링 동작은 다음 조건을 만족하도록 한다.
1. 조각의 복잡도가 클수록 다운 샘플링되는 양을 작게 함.
2. 조각의 크기가 클수록 다운 샘플링되는 양을 크게 함.
3. 각 조각에서 다운 샘플링되는 컬럼들의 합은 전체 원본 영상에서 다운 샘플링되는 컬럼들의 합과 같음.
도 6은 본 발명의 일 실시예에 다른 영상 크기 조정 방법에서 각 조각에 대한 다운 샘플링 양을 구하는 방법을 도시한 순서도이다.
본 실시예에서는 복잡도가 제일 큰 조각은 원본 영상을 유지하도록 하고, 나머지 조각에 대해서는 복잡도의 최대 평균값과의 차이가 클수록 다운 샘플링 양을 증가시킨다. 다시 말해, 최대 평균값과의 차이가 큰 조각에 대하여 더 많은 양이 감소되도록 축소시킬 양을 할당한다. 바람직하게는, 최대값을 가지는 평균과의 차이에 따라 각 조각에 해당하는 축소시킬 양을 계산하고, 그 합이 전체 다운샘플링 시킬 양과 같도록 정규화한다.
이를 위해, 먼저 원본 영상의 조각들 중 복잡도의 최대 평균값을 산출한다(단계 610). 각 조각의 복잡도의 평균값을 구하는 방법은 앞선 단계(340)에서 설명한 바와 같다.
다음으로, 상기 최대 평균값과 각 조각의 복잡도의 평균값의 차이에 따라 정규화 전 다운 샘플링 비율을 산출한다(단계 620).
먼저 정규화 단계 수행전의 각 조각에서 축소시킬 다운 샘플링 비율은 다음 수식에 의하여 결정한다.
Figure 112009008608768-pat00007
Figure 112009008608768-pat00008
는 각 조각의 정규화 전 다운 샘플링 비율을 나타낸 것으로,
Figure 112009008608768-pat00009
는 각 조각의 복잡도의 평균값을 나타내고,
Figure 112009008608768-pat00010
는 복잡도의 최대 평균값을 나타내며, 총 n 개의 조각(k)이 있다고 가정한다. 각 조각의 정규화 전 다운 샘플링 비율은 복잡도의 최대 평균값과 특정 조각의 복잡도의 평균값의 차이를 복잡도의 최대 평균값과 각 조각들의 복잡도의 평균값들의 차이의 합으로 나눈 것과 같다.
Figure 112009008608768-pat00011
수학식 7에서 구해진 다운 샘플링 비율에 전체 축소할 양,
Figure 112009008608768-pat00012
을 곱하여 각 조각에서 축소시킬 양(
Figure 112009008608768-pat00013
)을 구한다. 이때 각 조각의 축소시킬 양은 앞서 구한 정규화 전 다운 샘플링 비율에 전체 영상의 다운샘플링 양을 곱한 값과 같다. 다만, 이렇게 구한 다운 샘플링 양은 각 조각의 크기가 상이하다는 특성을 반영하지 않은 결과이다. 따라서 각 조각의 크기가 상이하다는 특성을 추가한다.
이를 위해, 각 조각의 크기를 고려하여 다운 샘플링 비율을 정규화한다(단계 630).
앞선 단계(620)에서 각 조각의 다운 샘플링 비율은 실제 조각의 크기를 고려하지 않은 것이므로, 이를 고려하면서 다운 샘플링되는 전체 컬럼들의 양을 일치시키기 위해 정규화 과정을 수행한다.
정규화된 다운 샘플링 양은 다음 수식에 의하여 결정한다.
Figure 112009008608768-pat00014
Figure 112009008608768-pat00015
는 각 조각의 정규화된 다운 샘플링 비율을 나타낸 것으로, 상기 수식에서
Figure 112009008608768-pat00016
는 수학식 7에서 구한 정규화 전 다운 샘플링 비율이고,
Figure 112009008608768-pat00017
는 각 조각의 기준축 방향의 길이를 나타낸다. 각 조각별 정규화된 다운 샘플링 비율은 특정 조각의 정규화 전 다운 샘플링 비율과 해당 조각의 기준축 방향의 길이의 곱을 전체 조각들의 정규화 전 다운 샘플링 비율에 각 조각의 기준축 방향의 길이를 곱한 값들의 합으로 나눈 값과 같다.
다음으로, 정규화된 다운 샘플링 비율을 다운 샘플링 시킬 전체 양과 곱하여 각 조각에서 다운 샘플링 양을 산출한다(단계 640).
Figure 112009008608768-pat00018
수학식 8에서와 마찬가지로 정규화된 다운 샘플링 비율에 전체 다운 샘플링 양,
Figure 112009008608768-pat00019
을 곱하여 각 조각에서 축소시킬 양(
Figure 112009008608768-pat00020
)을 구한다.
상기 수식에 따라, 각 조각의 정규화된 다운 샘플링 양은 정규화된 다운 샘플링 비율과 다운샘플링 시킬 전체 양의 곱과 같다.
이와 같이 산출된 다운 샘플링 양을 공지된 다운 샘플링 방법에 적용한다. 예를 들어, 가장 인접한 이웃 화소 보간법(nearest neighborhood interpolation), 양선형 보간법(bilinear interpolation) 또는 바이큐빅 보간법(bicubic interpolation)에 앞선 단계에서 설정된 다운 샘플링 양을 적용하여 원본 영상을 축소시킨다.
다음으로, 다운샘플링이 수행된 타겟 영상을 출력한다(단계 360).
축소된 길이의 크기는 앞선 단계(310)에 입력된 축소될 길이의 양과 같게 된다. 한편, 본 방법은 정지 영상에 대해서 적용되는바, 복수의 정지 영상을 포함하는 동영상에 대해서도 적용 가능하다. 즉 동영상을 구성하는 각각의 정지 영상에 대해서 본 발명을 적용하면 동영상의 크기도 축소가 가능하다.
도 7은 본원 발명의 일 실시예에 따른 영상 크기 조정 방법에 따라 다운 샘플링을 수행한 결과를 나타낸 도면이다.
먼저 표를 살펴보면, 첫 번째 줄은 각 조각들의 일련번호를 나타내며, 두 번째 줄은 720개의 컬럼을 갖는 원본 영상에서 복잡도의 평균에 따라 조각들의 경계가 재설정된 것을 나타낸다. 조각이 9개인 경우 각 조각들은 80개의 컬럼을 가져야 하나, 재설정에 따라 서로 다른 컬럼의 개수를 갖는 것을 알 수 있다. 세 번째 줄은 원본 영상을 360개의 컬럼을 갖는 영상으로 다운 샘플링 할 경우, 각 조각들에서 다운 샘플링할 할당량을 나타낸 것이다. 5 번째 컬럼의 다운 샘플링할 할당 량이 없는 것은, 복잡도가 크고, 조각의 크기가 작기 때문이라고 볼 수 있다. 네 번째 줄은 원본 영상과 타겟 영상의 조각의 크기의 비율을 나타낸 것으로, 1에 가까울수록 원본 영상의 값이 유지됨을 나타낸다.
한편, 알고리즘을 효과적으로 확인하기 위해 표의 할당 결과를 첫 번째 도면(a)의 격자 영상에 적용하였다. 그림과 같이 조정된 영상의 경우 전체적으로 균일한 분포를 보이는 것이 아니라 에너지가 큰 부분에서는 격자 간의 간격이 유지되고 에너지가 작은 부분에서는 간격이 많이 좁혀진다. 결과적으로 영상 내의 에너지 분포에 따라 적응적으로 크기 조정이 가능함을 알 수 있다.
또한 최하단의 좌측 도면은 도 1의 원본 영상과 같은 영상이며, 최하단의 우측 도면은 원본 영상에 대하여 본원 발명의 영상 크기 조정 방법을 적용하여 축소한 결과를 나타낸다. 도 1에 도시된 단순 스케일링 방법을 적용한 결과물 및 크로핑 방법을 적용한 결과물과 비교할 때, 영상의 왜곡을 최소화 시키고, 영상의 중요 정보를 최대한 손실하지 않으면서 영상의 크기를 축소시킬 수 있음을 확인할 수 있다.
본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또 는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
도 1은 통상적으로 사용되는 영상 크기 조정 방법을 비교하기 위한 도면이다.
도 2는 본 발명의 일 실시 예에 따른 영상 크기 조정 방법을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시 예에 따른 영상 크기 조정 방법의 상세 과정을 도시한 순서도이다.
도 4는 본 발명의 일 실시 예에 따라 원본 영상을 n 개의 조각으로 구분한 것을 도시한 도면이다.
도 5는 본 발명의 일 실시 예에 따른 영상 크기 조정 방법에서 복잡도에 따라 각 조각의 경계를 재설정한 과정을 도시한 도면이다.
도 6은 본 발명의 일 실시 예에 다른 영상 크기 조정 방법에서 각 조각에 대한 다운 샘플링 비율을 구하는 방법을 도시한 순서도이다.
도 7은 본원 발명의 일 실시 예에 따른 영상 크기 조정 방법에 따라 다운 샘플링을 수행한 결과를 나타낸 도면이다.

Claims (15)

  1. 다운 샘플링 방법에 따라 영상의 크기를 축소하는 영상의 크기 조정 방법에 있어서,
    원본 영상을 기준축과 수직한 방향으로 n 개(n은 자연수)의 조각으로 분할하는 단계와,
    상기 분할된 조각에 포함된 픽셀들의 밝기에 기초하여 각 조각들의 픽셀라인의 복잡도를 산출하는 단계와,
    서로 인접한 조각의 복잡도의 차이가 커지도록 상기 조각들을 재분할하는 단계와,
    상기 재분할된 각 조각에 대하여 복잡도를 재산출하고, 상기 재산출된 복잡도에 기초하여 각 조각의 다운 샘플링 양을 산출하고, 상기 산출된 다운 샘플링 양에 따라 각 조각의 다운 샘플링을 수행하는 단계 및
    상기 다운 샘플링에 의하여 축소된 영상을 출력하는 단계
    를 포함하는 영상의 크기 조정 방법.
  2. 제 1 항에 있어서,
    상기 각 조각들의 복잡도를 산출하는 단계는
    상기 각 조각내의 각 픽셀들의 밝기에 대한 그래디언트 값을 산출하는 단계 와,
    상기 각 조각내에 포함된 픽셀라인별로 상기 그래디언트 값을 합산하여 각 픽셀라인에 대한 복잡도를 산출하는 단계
    를 포함하는 영상의 크기 조정 방법.
  3. 제 2 항에 있어서,
    상기 각 조각내의 각 픽셀들의 밝기에 대한 그래디언트 값을 산출하는 단계는
    프리윗(Prewitt), 로버트(Robert), 소벨(Sobel), 라플라시안(laplacian) 연산자들 중 어느 하나의 미분 연산자를 선택하여 각 픽셀들에 대한 그래디언트 값을 구하는 단계
    를 포함하는 영상의 크기 조정 방법.
  4. 제 1 항에 있어서,
    상기 조각들을 재분할하는 단계는
    상기 기준축이 가로축인 경우,
    제k 조각(k는 자연수)과 인접한 제k-1 조각의 복잡도의 평균값과 제k-1 조각에 포함되는 각 컬럼(column)들의 복잡도의 차이들의 합 성분과,
    상기 제k 조각의 복잡도의 평균값과 제k 조각에 포함되는 각 컬럼들의 복잡도의 차이들의 합 성분과,
    상기 제k-1 조각과 제k 조각의 복잡도의 평균값의 차이의 역수에 해당하는 성분들의 합에 해당하는 비용함수가 최소가 되도록 하는 x 좌표값에 의하여 상기 조각의 경계가 결정되는 것을 특징으로 하는 영상의 크기 조정 방법.
  5. 제 1 항에 있어서,
    상기 조각들을 재분할하는 단계는
    상기 기준축이 세로축인 경우,
    제k 조각(k는 자연수)과 인접한 제k-1 조각의 복잡도의 평균값과 제k-1 조각에 포함되는 각 로우(row)들의 복잡도의 차이들의 합 성분과,
    상기 제k 조각의 복잡도의 평균값과 제k 조각에 포함되는 각 로우들의 복잡도의 차이들의 합 성분과,
    상기 제k-1 조각과 제k 조각의 복잡도의 평균값의 차이의 역수에 해당하는 성분들의 합에 해당하는 비용함수가 최소가 되도록 하는 y 좌표값에 의하여 상기 조각의 경계가 결정되는 것을 특징으로 하는 영상의 크기 조정 방법.
  6. 제 4 항 또는 제 5 항에 있어서,
    각 조각이 최초로 분할된 상태에서의 상기 비용함수의 값을 초기 비용값으로 설정하고,
    상기 초기 비용값에 대하여 선정한 비율 또는 선정한 값만큼 감소한 비용값이 출력될 때까지 상기 조각들을 재분할하는 단계를 반복 수행하는 것을 특징으로 하는 영상의 크기 조정 방법.
  7. 제 1 항에 있어서,
    상기 조각들을 재분할하는 단계는 선정된 횟수만큼 반복 수행되는 것을 특징으로 하는 영상의 크기 조정 방법.
  8. 제 1 항에 있어서,
    상기 산출된 다운 샘플링 양에 따라 각 조각의 다운 샘플링을 수행하는 단계는
    조각의 복잡도가 클수록 다운 샘플링 양을 작게 하거나, 조각의 크기가 클수록 다운 샘플링 양을 크게 하되, 각 조각에서 다운 샘플링 되는 양들의 합은 전체 원본 영상에서 다운 샘플링 되는 양들의 합과 같도록 하는 영상의 크기 조정 방법.
  9. 제 1 항에 있어서,
    상기 산출된 다운 샘플링 양에 따라 각 조각의 다운 샘플링을 수행하는 단계는
    원본 영상의 조각들 중 복잡도의 최대 평균값을 산출하는 단계와,
    상기 최대 평균값과 각 조각의 복잡도의 평균값의 차이에 따라 정규화 전 다운 샘플링 비율을 산출하는 단계와,
    각 조각의 크기를 고려하여 다운 샘플링 비율을 정규화하는 단계와,
    상기 정규화된 다운 샘플링 비율을 다운 샘플링시킬 전체 양과 곱하여 각 조각의 다운 샘플링 양을 산출하는 단계
    를 포함하는 영상의 크기 조정 방법.
  10. 제 9 항에 있어서,
    상기 정규화 전 다운 샘플링 비율을 결정하는 단계는
    복잡도의 최대 평균값과 특정 조각의 복잡도의 평균값의 차이를 복잡도의 최대 평균값과 각 조각들의 복잡도의 평균값들의 차이의 합으로 나누는 단계
    를 포함하는 영상의 크기 조정 방법.
  11. 제 9 항에 있어서,
    상기 다운 샘플링 비율을 정규화하는 단계는
    특정 조각의 정규화 전 다운 샘플링 비율과 해당 조각의 기준축 방향의 길이의 곱을 전체 조각들의 정규화 전 다운 샘플링 비율에 각 조각의 기준축 방향의 길이를 곱한 값들의 합으로 나누는 단계
    를 포함하는 영상의 크기 조정 방법.
  12. 제 1 항에 있어서,
    상기 산출된 다운 샘플링 양에 따라 각 조각의 다운 샘플링을 수행하는 단계는
    가장 인접한 이웃 화소 보간법(nearest neighborhood interpolation), 양선형 보간법(bilinear interpolation) 또는 바이큐빅 보간법(bicubic interpolation)에 대하여 상기 산출된 다운 샘플링 비율을 적용하는 단계를 포함하는 영상의 크기 조정 방법.
  13. 다운 샘플링 방법에 따라 영상의 크기를 축소하는 영상의 크기 조정 방법에 있어서,
    원본 영상을 기준축과 수직한 방향으로 n 개(n은 자연수)의 조각으로 분할하는 단계와,
    각 조각에 포함된 픽셀들의 크기를 기준으로 각 조각들의 복잡도를 산출하는 단계와,
    각 조각내의 복잡도의 편차가 최소화되도록 상기 조각들을 재분할하는 단계와,
    상기 재분할된 각 조각에 대하여 복잡도를 재산출하고, 상기 재산출된 복잡도에 기초하여 각 조각의 다운 샘플링 양을 산출하고, 상기 산출된 다운 샘플링 양에 따라 각 조각의 다운 샘플링을 수행하는 단계 및
    상기 다운 샘플링에 의하여 축소된 영상을 출력하는 단계
    를 포함하는 영상의 크기 조정 방법.
  14. 제 13 항에 있어서,
    각 조각내의 복잡도의 편차가 최소화되도록 상기 조각들을 재분할하는 단계는
    각 조각에 포함된 픽셀라인들의 복잡도의 편차가 최소화되도록 하는 것을 특징으로 하는 영상의 크기 조정 방법.
  15. 제 1 항 또는 제 13 항에 있어서,
    원본 영상을 기준축과 수직한 방향으로 n 개의 조각으로 분할하는 단계는
    원본 영상을 n 개의 조각으로 균등 분할하는 단계
    를 포함하는 영상의 크기 조정 방법.
KR1020090011281A 2009-02-12 2009-02-12 적응적 영상 크기 조정 방법 KR100998220B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090011281A KR100998220B1 (ko) 2009-02-12 2009-02-12 적응적 영상 크기 조정 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090011281A KR100998220B1 (ko) 2009-02-12 2009-02-12 적응적 영상 크기 조정 방법

Publications (2)

Publication Number Publication Date
KR20100092092A KR20100092092A (ko) 2010-08-20
KR100998220B1 true KR100998220B1 (ko) 2010-12-03

Family

ID=42757036

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090011281A KR100998220B1 (ko) 2009-02-12 2009-02-12 적응적 영상 크기 조정 방법

Country Status (1)

Country Link
KR (1) KR100998220B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101441056B1 (ko) * 2013-06-21 2014-11-03 주식회사 페타정보기술 명함인쇄를 위한 이미지 변환 장치 및 방법
KR101684990B1 (ko) * 2015-08-04 2016-12-12 청주대학교 산학협력단 양방향 필터의 시그마 변수를 이용한 차량 영상 디블러 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006019928A (ja) 2004-06-30 2006-01-19 Canon Inc 画像処理方法及び画像処理装置
KR100727390B1 (ko) 2005-12-26 2007-06-12 삼성전자주식회사 적응적인 영상크기 변환장치 및 그의 영상크기 변환방법
WO2008044637A1 (fr) 2006-10-10 2008-04-17 Nippon Telegraph And Telephone Corporation Procédés de codage et de décodage vidéo, leur dispositif, leur programme, et le support de stockage contenant le programme

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006019928A (ja) 2004-06-30 2006-01-19 Canon Inc 画像処理方法及び画像処理装置
KR100727390B1 (ko) 2005-12-26 2007-06-12 삼성전자주식회사 적응적인 영상크기 변환장치 및 그의 영상크기 변환방법
WO2008044637A1 (fr) 2006-10-10 2008-04-17 Nippon Telegraph And Telephone Corporation Procédés de codage et de décodage vidéo, leur dispositif, leur programme, et le support de stockage contenant le programme

Also Published As

Publication number Publication date
KR20100092092A (ko) 2010-08-20

Similar Documents

Publication Publication Date Title
US7876979B2 (en) Resolution-converting apparatus and method
US7822285B2 (en) Methods and systems for locally adaptive image processing filters
EP2164040B1 (en) System and method for high quality image and video upscaling
US6999099B2 (en) Image processing apparatus and method, recording medium, and program thereof
KR101137753B1 (ko) 고속의 메모리 효율적인 변환 구현 방법
US9336567B2 (en) Content-aware weighted image manipulations
US7660486B2 (en) Method and apparatus of removing opaque area as rescaling an image
US9984442B2 (en) Method and device for enhancing quality of an image
CN106780336B (zh) 一种图像缩小方法及装置
US8411981B2 (en) Method of removing blur without ringing-artifact
US20120155550A1 (en) Auto-regressive edge-directed interpolation with backward projection constraint
US20120121179A1 (en) Unified spatial image processing
US7953298B2 (en) Image magnification device, image magnification method and computer readable medium storing an image magnification program
US20150324953A1 (en) Method and apparatus for performing single-image super-resolution
KR100998220B1 (ko) 적응적 영상 크기 조정 방법
JP7014158B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
WO2011121563A1 (en) Detecting saliency in an image
CN115564655A (zh) 基于深度学习的视频超分辨率重建方法、系统及介质
US20080181528A1 (en) Faster serial method for continuously varying Gaussian filters
CN115190263A (zh) 一种视频缩放方法、装置、设备及存储介质
US7446820B2 (en) Methods and apparatus for re-scaling image by variable re-scaling factor using B-spline interpolator
CN113989114A (zh) 一种图像缩小处理方法和装置
US8682111B2 (en) 2D ringing and overshoot control in image rescaling
US7428346B2 (en) Image processing method and image processing device
KR101028449B1 (ko) 영상 크기 조정 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130717

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160726

Year of fee payment: 6

R401 Registration of restoration
LAPS Lapse due to unpaid annual fee