KR101028449B1 - 영상 크기 조정 장치 및 방법 - Google Patents

영상 크기 조정 장치 및 방법 Download PDF

Info

Publication number
KR101028449B1
KR101028449B1 KR1020090050251A KR20090050251A KR101028449B1 KR 101028449 B1 KR101028449 B1 KR 101028449B1 KR 1020090050251 A KR1020090050251 A KR 1020090050251A KR 20090050251 A KR20090050251 A KR 20090050251A KR 101028449 B1 KR101028449 B1 KR 101028449B1
Authority
KR
South Korea
Prior art keywords
line
importance
value
image
energy
Prior art date
Application number
KR1020090050251A
Other languages
English (en)
Other versions
KR20100131586A (ko
Inventor
김창수
김진환
Original Assignee
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고려대학교 산학협력단 filed Critical 고려대학교 산학협력단
Priority to KR1020090050251A priority Critical patent/KR101028449B1/ko
Publication of KR20100131586A publication Critical patent/KR20100131586A/ko
Application granted granted Critical
Publication of KR101028449B1 publication Critical patent/KR101028449B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0137—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes dependent on presence/absence of motion, e.g. of motion zones

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

영상 크기 조정 장치는 입력 영상의 각 픽셀의 에너지 값을 라인 별로 합산하여 각 라인의 라인 에너지 값을 산출하는 라인 에너지 산출부, 상기 산출된 라인 에너지의 총합에 대한 각 라인 에너지 값의 비율에 출력 영상의 크기를 곱하여 각 라인의 중요도를 산출하는 라인 중요도 산출부, 상기 산출된 라인 중요도를 정규화하는 라인 중요도 정규화부 및 상기 정규화된 라인 중요도의 값에 기초하여 선형 보간을 수행하여 출력 영상을 생성하는 선형 보간부를 포함하되, 상기 라인 에너지는 축소시키고자 하는 기준축과 수직한 라인 별로 산출된다.
영상, 축소

Description

영상 크기 조정 장치 및 방법{METHOD AND APPARATUS FOR RESIZING IMAGE}
본 발명은 영상 크기 조정 장치 및 방법에 관한 것이다.
최근 다양한 크기의 해상도와 가로 세로 비(aspect ratio)를 가지는 멀티미디어 재생장치들을 통해 여러 가지 형태의 영상 콘텐츠가 재생되고 있다. 예를 들면, HDTV 용 콘텐츠나 영화 필름들이 비교적 작은 디스플레이 화면을 갖는 휴대폰이나, 각종 휴대용 멀티미디어 플레이어 등에서 재생된다. 이러한 경우, 영상의 크기가 큰 콘텐츠를 일반 재생장치에서 재생시키기 위해서는 영상 콘텐츠의 크기를 적절히 조정시킬 필요가 있다. 다만, 영상 크기의 조정으로 인하여, 영상이 길게 늘어지거나, 좌우의 많은 양의 영상 정보가 삭제되는 문제가 발생한다.
전자의 문제를 발생시키는 크기 조정 기법으로 스케일링, 후자의 기법으로는 크로핑이 기존의 방법으로 널리 쓰이고 있다. 스케일링은 영상의 전체에 균일한 다운 샘플링 필터를 적용하는 것으로, 가장 인접한 이웃 화소 보간법(nearest neighborhood interpolation), 양선형 보간법(bilinear interpolation), 바이큐빅 보간법(bicubic interpolation)등의 방법이 있다.
스케일링의 경우 영상의 전체적인 형태를 보존할 수 있는 장점이 있는 반면, 원본 영상과 조정 영상의 가로 세로 비가 다를 경우에 영상이 눌리거나 길어지는 등의 영상의 왜곡이 발생한다. 그 예로 영화용 필름을 TV를 통해 상영할 때 전체적으로 영상이 길어지거나 SD급의 영상 콘텐츠를 HD급의 TV를 통해 상영할 때에 영상이 눌리는 현상들을 들 수 있다. 또한 너무 작은 크기로 영상을 줄이면 식별이 어려워진다.
한편, 크로핑은 영상의 외곽에서부터 조정 영상의 크기를 얻을 때까지 영상을 잘라내는 방법으로 보존되는 부분에 대해서는 해상도가 유지되기 때문에 영상이 왜곡되거나 너무 작아져서 식별이 어려워지는 등의 단점이 발생하지 않는다. 하지만 잘려지는 부분에 해당하는 영상 정보가 완전히 손실되는 단점을 가진다.
도 1은 통상적으로 사용되는 영상 크기 조정 방법을 비교하기 위한 도면이다.
첫 번째 도면(a)은 720x480의 크기를 가지는 원본 영상이고, 두 번째 도면(b)은 원본 영상에 스케일링을 적용하여 360x480의 크기로 조정한 결과를 나타내는 도면이며, 세 번째 도면(c)은 원본 영상에 크로핑을 적용하여 360x480의 크기로 조정한 결과를 나타내는 도면이다.
도시된 바와 같이, 스케일링을 적용한 경우 영상이 좌우로 눌려서 왜곡되는 문제점이 있으며, 크로핑을 적용한 경우 중앙의 크림팩을 포함하는 남겨진 부분은 원본 영상과 같은 해상도를 갖지만 원본 영상에 존재하던 휴지가 없어지는 등 영상 정보의 손실이 크다.
본 발명의 일부 실시예는 종래의 영상 크기 조정 방법의 문제점을 해소하기 위한 것으로, 영상의 중요 정보를 최대한 손실하지 않으면서 영상의 크기를 축소시킬 수 있는 영상 크기 조정 장치 및 방법을 제공한다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제 1 측면에 따른 영상 크기 조정 장치는 입력 영상의 각 픽셀의 에너지 값을 라인 별로 합산하여 각 라인의 라인 에너지 값을 산출하는 라인 에너지 산출부, 상기 산출된 라인 에너지의 총합에 대한 각 라인 에너지 값의 비율에 출력 영상의 크기를 곱하여 각 라인의 중요도를 산출하는 라인 중요도 산출부, 상기 산출된 라인 중요도를 정규화하는 라인 중요도 정규화부 및 상기 정규화된 라인 중요도의 값에 기초하여 선형 보간을 수행하여 출력 영상을 생성하는 선형 보간부를 포함하되, 상기 라인 에너지는 축소시키고자 하는 기준축과 수직한 라인 별로 산출된다.
또한, 본 발명의 제 2 측면에 따른 영상 크기 조정 방법은 입력 영상의 각 픽셀의 에너지 값을 라인 별로 합산하여 라인 에너지를 산출하는 단계, 상기 산출된 라인 에너지의 총합에 대한 각 라인 에너지 값의 비율에 출력 영상의 크기를 곱하여 각 라인의 중요도를 산출하는 단계, 상기 산출된 라인 중요도를 정규화하는 단계 및 상기 정규화된 라인 중요도의 값에 기초하여 선형 보간을 수행하여 출력 영상을 생성하는 단계를 포함하되, 상기 라인 에너지는 축소시키고자 하는 기준축과 수직한 라인 별로 산출된다.
전술한 본 발명의 과제 해결 수단에 의하면, 영상의 중요도를 각 픽셀이 포함된 라인 별로 판단하므로, 중요도를 산출하는 알고리즘이 비교적 간단하고, 그에 따라 처리 속도도 향상될 수 있다. 또한, 각 라인의 중요도에 따라 축소된 영상에서 차지하는 비율을 상이하게 조정하기 때문에, 입력 영상의 중요 정보를 최대한 유지하면서 영상을 축소시킬 수 있다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 " 포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
도 2는 본 발명의 일 실시예에 따른 영상 크기 조정 장치를 도시한 도면이다.
영상 크기 조정 장치(100)는 라인 에너지 산출부(210), 출력 영상의 크기 설정부(220), 라인 중요도 산출부(230), 라인 중요도 정규화부(240), 라인 중요도 강조부(250), 선형 보간부(260)를 포함한다.
참고로, 본 발명의 실시예에 따른 도 2에 도시된 구성 요소들은 소프트웨어 또는 FPGA(Field Programmable Gate Array) 또는 ASIC(Application Specific Integrated Circuit)와 같은 하드웨어 구성 요소를 의미하며, 소정의 역할들을 수행한다.
그렇지만 '구성 요소들'은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, 각 구성 요소는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다.
따라서, 일 예로서 구성 요소는 소프트웨어 구성 요소들, 객체지향 소프트웨어 구성 요소들, 클래스 구성 요소들 및 태스크 구성 요소들과 같은 구성 요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다.
구성 요소들과 해당 구성 요소들 안에서 제공되는 기능은 더 작은 수의 구성 요소들로 결합되거나 추가적인 구성 요소들로 더 분리될 수 있다.
라인 에너지 산출부(210)는 입력 영상의 각 픽셀의 에너지 값을 라인 별로 합산한다. 이때, 합산되는 각 픽셀의 에너지 값은 그래디언트(gradient)값, 특징 값을 합산하여 산출한다. 조정하고자 하는 영상이 동영상인 경우에는 움직임 차이 값을 추가적으로 합산하여 산출한다.
먼저, 그래디언트 값은 수학식 1을 통해 구할 수 있다.
Figure 112009034361965-pat00001
그래디언트는 수학식 1뿐만 아니라, 미분 연산자 등을 적용하여 구할 수 있다. 예를 들어, 당업자에게 잘 알려진 프리윗(Prewitt), 로버트(Robert), 소벨(Sobel), 라플라시안(laplacian) 연산자들 중 어느 하나를 선택하여 각 픽셀들에 대한 그래디언트 값을 구할 수 있다. 즉, 각 픽셀들의 값을 상기 연산자들 중 어느 하나에 대입시켜 그 출력값을 픽셀의 밝기의 크기에 대한 그래디언트로 이용한다.
다음으로, 특징 값은 일반적으로 사용되는 사일런시 맵(saliency map)을 사용하여 구한다. 사일런시 맵은 인텐시티 맵(intensity map), 컬러 맵(color map), 오리엔테이션 맵(orientation map)의 합성으로 이루어진다.
각각의 맵을 얻는 방법은 다음과 같다.
우선 I(σ)를 정의한다. 이때, σ는 [0~8]까지 가능하고 I(σ)는 각각 스케일 다운(scale down)을 의미한다.
I는 (r + g + b) / 3 이라고 정의하고, R = r - (g + b)/2, G = g - (r + b)/2, B = b - (r +g) / 2, Y = (r + g) / 2 - |r - g| / 2 -b 라고 정의한다.
Figure 112009034361965-pat00002
는 스케일이 서로 다른 영상에서 스케일의 크기를 맞추어 빼주는 연산자이고,
Figure 112009034361965-pat00003
는 스케일이 서로 다른 영상을 크기를 맞추어 더해주는 연산자이다.
그리고 각각의 연산자를 다음과 같이 정의한다.
Figure 112009034361965-pat00004
위와 같이 정의하였으면, 각각의 맵은 다음과 같이 구할 수 있다.
Figure 112009034361965-pat00005
다음으로, 움직임 차이 값은 두 프레임 간의 차이에서 얻어지는 영상 차를 이용하여 구한다.
한편, 라인은 입력 영상의 컬럼 단위 또는 로우 단위의 픽셀 집합을 나타낸다. 입력 영상의 크기는 가로(W)*세로(H)에 의하여 정의된다. 이때 크기가 조정되는 축은 가로축 또는 세로축 중 어느 하나이며, 나머지 축은 고정된다. 즉 가로축의 길이를 조정하는 경우 세로축은 입력 영상과 같은 크기를 갖게 되며, 세로축의 길이를 조정하는 경우 가로축은 입력 영상과 같은 크기를 갖게 된다. 두 방식 모두 동일한 방법에 따라 수행되므로, 이하에서는 세로축을 고정하고 가로축의 길이를 조정하는 예를 기준으로 하여 설명하기로 한다.
각각의 영상은 복수의 픽셀들로 이루어지며, 이러한 픽셀의 집합 중 하나의 컬럼(column) 또는 하나의 로우(row)를 구성하는 것이 라인이 된다. 가로축을 축소시키고자 하는 경우 컬럼 단위로 라인 에너지를 산출하며, 세로축을 축소시키고 자 하는 경우 로우 단위로 라인 에너지를 산출한다. 즉, 축소시키고자 하는 기준축에 수직한 라인 별로 라인 에너지를 산출한다.
라인 에너지의 총합은 다음 수학식 4와 같다.
Figure 112009034361965-pat00006
이때, 정지영상인 경우에는 움직임 차이값은 제외한 상태로 라인 에너지를 산출한다.
출력 영상의 크기 설정부(220)는 사용자가 출력시키고자 하는 영상의 크기에 따라 출력 영상의 가로축 또는 세로축의 크기를 설정한다. 예를 들어, 마우스 등을 이용하여 사용자가 입력 영상의 크기를 축소시키는 경우, 마우스의 이동이 종료된 시점을 기초로 하여 축소시키고자 하는 가로축 또는 세로축의 크기를 설정한다. 또한, 사용자로부터 출력 영상의 크기를 직접 입력받을 수 있다. 출력 영상의 크기에 대한 정보는 라인 중요도 산출부(230)로 전달된다.
라인 중요도 산출부(230)는 라인 에너지 값, 전체 라인 에너지의 총합, 출력 영상의 크기에 기초하여 각 라인의 중요도를 산출한다.
라인 중요도는 수학식 5에 기초하여 산출한다.
Figure 112009034361965-pat00007
이때, I(x)는 라인 에너지, Si(x)는 각 라인의 중요도, Wout은 출력 영상의 크기를 나타낸다.
즉, 해당 라인의 에너지를 전체 라인 에너지의 총합으로 나누어 각 라인이 어느 정도의 중요도를 갖는지를 확인한다.
라인 중요도 정규화부(240)는 산출된 라인 중요도를 0~1 사이의 값으로 정규화한다. 라인 중요도 산출부(230)에 의하여 산출된 라인 중요도는 출력 영상의 크기가 곱해지므로, 1 보다 큰 경우가 존재 한다. 본 발명에서는 입력 영상을 Si(x)를 기초로 하여 보간하기 때문에, 이 값이 1 보다 클 경우에는 영상이 보존되지 않고 더 커지는 현상이 발생한다. 따라서 정규화를 통해 Si(x)값을 0~1 사이의 값으로 변경해야 한다.
정규화는 아래의 수학식 6을 이용하여 수행된다.
Figure 112009034361965-pat00008
즉, 정규화 전의 값이 1 보다 큰 경우에는 1로 설정하고, 정규화 전의 값이 1 보다 작은 경우에는 지수함수를 이용하여 1 보다 작은 값으로 설정한다. 이때, 여기서
Figure 112009034361965-pat00009
는 Sn(x)의 합이 출력 영상의 너비가 되도록 하는 변수이다.
라인 중요도 강조부(250)는 입력 영상에서 필요 없는 배경부분은 더 줄이고 중요한 영역은 좀 더 보존하여, 중요도가 높은 라인을 더 강조한다. 따라서 실시자의 선택에 따라 라인 중요도 강조부(250)를 포함하지 않은 상태로 영상 크기를 조정할 수 있다. 라인 중요도 강조부(250)는 라인 중요도가 기준 값 보다 큰 값은 더 크게 하고, 기준 값보다 작은 값은 더 작게 하는 함수를 이용하여 라인 중요도를 강조한다.
이러한 함수의 예로 수학식 7의 함수를 이용할 수 있다.
Figure 112009034361965-pat00010
상기 수학식 7에 따른 그래프는 도 3과 같다.
도 3은 본 발명의 일 실시예에 따른 라인 중요도 강조부에 사용되는 함수를 도시한 그래프이다.
기준 값(θ)이 0.5 이고, β = 1.4 일 때의 그래프를 도시하였다.
도시된 바와 같이, 상기 함수에 의하여 라인 중요도가 기준값 보다 큰 값은 더 커지게 되고, 기준값 보다 작은 값은 더 작아지게 된다. 이와 같은 함수의 종류는 여러 가지가 있을 수 있으며, 수학식 7에 한정되지 않는다.
선형 보간부(260)는 라인 중요도 정규화부(240)에 의해서 정규화된 라인 중요도 값 또는 라인 중요도 강조부(250)에 의해서 강조된 라인 중요도 값을 이용하여 입력 영상을 보간하고 출력 영상을 생성한다.
도 4는 본 발명의 일 실시예에 따른 선형 보간부(260)에서 수행되는 보간 과정을 설명하기 위한 도면이다.
본 발명에서는 입력 영상의 라인 중요도와 각 라인에 포함된 픽셀들의 속성값을 라인 별로 곱하고, 그 값을 주변 라인과 합산하여 출력 영상의 라인을 생성하되, 합산되는 라인의 라인 중요도의 합은 1이 되도록 한다.
도시된 바와 같이 입력 영상의 가로축이 8 개의 라인이고, 출력 영상의 가로축이 4 개의 라인이라고 가정한다. 즉, 8 개의 라인에서 4 개의 라인으로 축소시키는 것이다.
앞서 라인 에너지 산출부(210), 라인 중요도 산출부(230), 라인 중요도 정규화부(240), 라인 중요도 강조부(250)를 거쳐서 출력된 값이 라인 별로 결졍된다(510). 예를 들어, A 라인은 중요도 값이 0.8 이고, B 라인은 0.5, C 라인은 0.3, D 라인은 0.1, E 라인은 0.4, F 라인은 0.7, G 라인은 0.6, H 라인은 0.6 등으로 결정되는 상태다.
이때, 라인 중요도의 값의 합이 1이 되도록 보간하므로, 제 1 라인(422)은 입력 영상의 A 라인에 포함되는 픽셀들의 속성값을 0.8만큼 포함시키고, B 라인에 포함되는 픽셀들의 속성값을 0.2만큼 포함시켜 보간한다. 이때, 픽셀들의 속성값은 픽셀의 밝기 또는 R(빨강), G(녹색), B(파랑) 또는 Y(노랑) 값의 크기 등이 될 수 있다.
제 2 라인(424)은 제 1 라인(422)의 보간 시에 제외된 B 라인에 포함되는 픽셀들의 속성값을 0.3만큼 포함시키고, C 라인에 포함되는 픽셀들의 속성값을 0.3만큼 포함시키고, D 라인에 포함되는 픽셀들의 속성값을 0.1만큼 포함시키고, E 라인에 포함되는 픽셀들의 속성값을 0.3만큼 포함시킨다.
제 3 라인(426)은 제 2 라인(424)의 보간 시에 제외된 E 라인에 포함되는 픽셀들의 속성값을 0.1만큼 포함시키고, F 라인에 포함되는 픽셀들의 속성값을 0.7만큼 포함시키고, G 라인에 포함되는 픽셀들의 속성값을 0.2만큼 포함시킨다.
제 4 라인(428)은 제 3 라인(426)의 보간 시에 제외된 G 라인에 포함되는 픽셀들의 속성값을 0.4만큼 포함시키고, H 라인에 포함되는 픽셀들의 속성값을 0.6만큼 포함시킨다.
이와 같이 각 라인에 포함되는 픽셀들의 속성값을 중요도에 따라 포함시켜 보간을 수행한다.
도 5는 본 발명의 일 실시예에 따른 영상 크기 조정 방법을 도시한 순서도이며, 도 6은 본 발명의 일 실시예에 따른 영상 크기 조정 방법을 설명하기 위한 도면이다.
먼저, 입력 영상에서 축소할 기준축 및 축소할 길이의 양을 설정한다(단계 S510). 본 발명에서는 영상의 가로축 또는 세로축 중 어느 하나는 고정시킨 상태 에서 다른 하나의 길이를 축소시키고자 한다. 그리고 축소시키고자 하는 기준축의 축소할 길이의 양을 입력 받는다.
다음으로, 입력 영상의 라인 에너지를 산출한다(단계 S520). 입력 영상의 각 픽셀의 에너지 값을 라인으로 합산한다. 이때, 합산되는 각 픽셀의 에너지 값은 그래디언트값, 특징 값을 합산하여 산출한다. 조정하고자 하는 영상이 동영상인 경우에는 움직임 차이 값을 추가적으로 합산하여 산출한다. 도 6과 같이 입력 영상에 대하여, 그래디언트 값(IG), 특징 값(IS), 움직임 차이 값(IM)을 각각 산출하여 합산하게 된다.
다음으로, 라인 에너지 값, 전체 라인의 에너지의 총합 및 출력 영상의 크기에 기초하여 각 라인의 중요도를 산출한다(단계 S530). 앞서 설명한 수학식 4에 기초하여 라인 중요도를 산출한다.
다음으로, 산출된 라인 중요도를 0~1 사이의 값으로 정규화한다(단계 S540). 앞서 설명한 수학식 5에 기초하여 라인 중요도를 정규화한다.
다음으로, 라인 중요도를 선택적으로 강조한다(단계 S550). 라인 중요도가 큰 값은 더 크게 하고, 작은 값은 더 작게 하는 함수를 이용하여 라인 중요도를 강조한다. 실시자의 선택에 따라 본 단계는 수행하지 않을 수 있다.
다음으로, 선행 보간을 수행하여 출력 영상을 생성한다(단계 S560). 라인 중요도의 값의 합이 1이 되도록 보간하여 출력 영상을 생성한다.
도 7은 본원 발명의 일 실시예에 따른 영상 크기 조정 방법에 수행한 결과를 비교하기 위한 도면이다.
좌측 도면(a)은 입력 영상이고, 두 번째 도면(b)은 일반 적인 스케일링 방법을 적용하여 축소시킨 결과물이고, 세 번째 도면(c)은 크로핑 방법을 적용한 결과물이며, 네 번째 도면(d)은 본원 발명의 영상 크기 조정 방법을 적용한 결과물이다. 단순 스케일링 방법을 적용한 결과물 및 크로핑 방법을 적용한 결과물과 비교할 때, 영상의 왜곡을 최소화 시키고, 영상의 중요 정보를 최대한 손실하지 않으면서 영상의 크기를 축소시킬 수 있음을 확인할 수 있다.
본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨 터 시스템을 사용하여 구현될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
도 1은 통상적으로 사용되는 영상 크기 조정 방법을 비교하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 영상 크기 조정 장치를 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 라인 중요도 강조부에 사용되는 함수를 도시한 그래프이다.
도 4는 본 발명의 일 실시예에 따른 선형 보간부(260)에서 수행되는 보간 과정을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 영상 크기 조정 방법을 도시한 순서도이다.
도 6은 본 발명의 일 실시예에 따른 영상 크기 조정 방법을 설명하기 위한 도면이다.
도 7은 본원 발명의 일 실시예에 따른 영상 크기 조정 방법에 수행한 결과를 비교하기 위한 도면이다.

Claims (12)

  1. 영상 크기 조정 장치에 있어서,
    입력 영상의 각 픽셀의 에너지 값을 라인 별로 합산하여 각 라인의 라인 에너지 값을 산출하는 라인 에너지 산출부,
    상기 산출된 라인 에너지의 총합에 대한 각 라인 에너지 값의 비율에 출력 영상의 크기를 곱하여 각 라인의 중요도를 산출하는 라인 중요도 산출부,
    상기 산출된 라인 중요도를 정규화하는 라인 중요도 정규화부 및
    상기 정규화된 라인 중요도의 값에 기초하여 선형 보간을 수행하여 출력 영상을 생성하는 선형 보간부를 포함하되,
    상기 라인 에너지는 축소시키고자 하는 기준축과 수직한 라인 별로 산출되는 것인 영상 크기 조정 장치.
  2. 제 1 항에 있어서,
    상기 정규화된 라인 중요도의 값에 따라 그 값이 기준 값 보다 큰 것은 증가시키고, 상기 기준 값보다 작은 것은 감소시키는 함수를 이용하여 라인 중요도를 강조하는 라인 중요도 강조부
    를 더 포함하는 영상 크기 조정 장치.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 라인 에너지 산출부는
    각 픽셀의 그래디언트(gradient)값과, 사일런시 맵(silency map)을 이용하여 산출된 특징 값을 라인 별로 합산하여 상기 라인 에너지를 산출하는 영상 크기 조정 장치.
  4. 제 3 항에 있어서,
    상기 라인 에너지 산출부는
    움직임 차이 값을 추가적으로 합산하여 상기 라인 에너지를 산출하는 영상 크기 조정 장치.
  5. 제 1 항에 있어서,
    상기 라인 중요도 정규화부는
    상기 라인 중요도가 1 보다 큰 경우에는 1로 설정하고, 상기 라인 중요도가 1 보다 작은 경우에는 지수함수를 이용하여 1 보다 작은 값으로 설정하는 영상 크기 조정 장치.
  6. 제 1 항 또는 제 2 항에 있어서,
    상기 선형 보간부는
    상기 라인 중요도와 각 라인에 포함된 픽셀들의 속성값을 라인 별로 곱하고, 주변 라인과 합산하여 출력 영상의 라인을 생성하되,
    합산되는 라인의 라인 중요도의 합은 1이 되도록 하는 영상 크기 조정 장치.
  7. 영상 크기 조정 방법에 있어서,
    입력 영상의 각 픽셀의 에너지 값을 라인 별로 합산하여 라인 에너지를 산출하는 단계,
    상기 산출된 라인 에너지의 총합에 대한 각 라인 에너지 값의 비율에 출력 영상의 크기를 곱하여 각 라인의 중요도를 산출하는 단계,
    상기 산출된 라인 중요도를 정규화하는 단계 및
    상기 정규화된 라인 중요도의 값에 기초하여 선형 보간을 수행하여 출력 영상을 생성하는 단계를 포함하되,
    상기 라인 에너지는 축소시키고자 하는 기준축과 수직한 라인 별로 산출되는 것인 영상 크기 조정 방법.
  8. 제 7 항에 있어서,
    상기 정규화된 라인 중요도의 값에 따라 그 값이 기준 값 보다 큰 것은 증가시키고, 상기 기준 값 보다 작은 것은 감소시키는 함수를 이용하여 상기 라인 중요도를 강조하는 단계
    를 더 포함하는 영상 크기 조정 방법.
  9. 제 7 항 또는 제 8 항에 있어서,
    상기 라인 에너지를 산출하는 단계는
    각 픽셀의 그래디언트(gradient)값과, 사일런시 맵(silency map)을 이용하여 산출된 특징 값을 라인 별로 합산하여 상기 라인 에너지를 산출하는 영상 크기 조정 방법.
  10. 제 9 항에 있어서,
    상기 라인 에너지를 산출하는 단계는
    움직임 차이 값을 추가적으로 합산하여 상기 라인 에너지를 산출하는 영상 크기 조정 방법.
  11. 제 7 항에 있어서,
    상기 라인 중요도를 정규화하는 단계는
    상기 라인 중요도가 1 보다 큰 경우에는 1로 설정하고, 상기 라인 중요도가 1 보다 작은 경우에는 지수함수를 이용하여 1 보다 작은 값으로 설정하는 영상 크기 조정 방법.
  12. 제 7 항 또는 제 8 항에 있어서,
    상기 선형 보간을 수행하여 출력 영상을 생성하는 단계는
    상기 라인 중요도와 각 라인에 포함된 픽셀들의 속성값을 라인 별로 곱하고, 주변 라인과 합산하여 출력 영상의 라인을 생성하되,
    합산되는 라인의 라인 중요도의 합은 1이 되도록 하는 영상 크기 조정 방법.
KR1020090050251A 2009-06-08 2009-06-08 영상 크기 조정 장치 및 방법 KR101028449B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090050251A KR101028449B1 (ko) 2009-06-08 2009-06-08 영상 크기 조정 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090050251A KR101028449B1 (ko) 2009-06-08 2009-06-08 영상 크기 조정 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20100131586A KR20100131586A (ko) 2010-12-16
KR101028449B1 true KR101028449B1 (ko) 2011-04-14

Family

ID=43507510

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090050251A KR101028449B1 (ko) 2009-06-08 2009-06-08 영상 크기 조정 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101028449B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101969565B1 (ko) 2012-04-30 2019-04-17 삼성디스플레이 주식회사 업-스케일링 기능을 갖는 데이터 드라이버 및 그것을 포함하는 표시 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020061883A (ko) * 2001-01-18 2002-07-25 (주)씨앤에스 테크놀로지 Ｃｉｆ 영상을 ｎｔｓｃ 영상으로 변환하는 방법
KR20060099688A (ko) * 2005-03-14 2006-09-20 삼성전자주식회사 하나의 라인 메모리를 사용하는 영상축소장치 및영상축소방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020061883A (ko) * 2001-01-18 2002-07-25 (주)씨앤에스 테크놀로지 Ｃｉｆ 영상을 ｎｔｓｃ 영상으로 변환하는 방법
KR20060099688A (ko) * 2005-03-14 2006-09-20 삼성전자주식회사 하나의 라인 메모리를 사용하는 영상축소장치 및영상축소방법

Also Published As

Publication number Publication date
KR20100131586A (ko) 2010-12-16

Similar Documents

Publication Publication Date Title
US20200372609A1 (en) Super-resolution video reconstruction method, device, apparatus and computer-readable storage medium
US9998685B2 (en) Spatial and temporal alignment of video sequences
US10614551B2 (en) Image interpolation methods and related image interpolation devices thereof
US7483040B2 (en) Information processing apparatus, information processing method, recording medium, and program
US8335394B2 (en) Image processing method for boundary resolution enhancement
CN107169927B (zh) 一种图像处理系统、方法及显示装置
Parsania et al. A review: Image interpolation techniques for image scaling
US20100067818A1 (en) System and method for high quality image and video upscaling
US8325196B2 (en) Up-scaling
US20130050272A1 (en) Two-dimensional super resolution scaling
US8830395B2 (en) Systems and methods for adaptive scaling of digital images
TWI492187B (zh) 超解析度影像處理方法及其裝置
KR101339785B1 (ko) 분할 영상 처리 장치 및 방법 그리고 제어 인자 계산 장치
CN102769745B (zh) 插值依赖的图像自适应下采样方法
KR101028449B1 (ko) 영상 크기 조정 장치 및 방법
US9928577B2 (en) Image correction apparatus and image correction method
CN102842111B (zh) 放大图像的补偿方法及装置
US7446820B2 (en) Methods and apparatus for re-scaling image by variable re-scaling factor using B-spline interpolator
KR100998220B1 (ko) 적응적 영상 크기 조정 방법
Sudhakaran et al. High-quality image scaling using v-model
US20130322784A1 (en) 2d ringing and overshoot control in image rescaling
US20090153741A1 (en) Video filter and video processor and processing method using the same
US20150310595A1 (en) Local contrast enhancement method and apparatus
JP2005123813A (ja) 画像処理装置
US11263724B2 (en) Device for interpolating colors and method thereof

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140304

Year of fee payment: 4