KR101805625B1 - 영상 스케일링을 통한 영상 레이트 변환 방법 및 그 장치 - Google Patents

영상 스케일링을 통한 영상 레이트 변환 방법 및 그 장치 Download PDF

Info

Publication number
KR101805625B1
KR101805625B1 KR1020110092221A KR20110092221A KR101805625B1 KR 101805625 B1 KR101805625 B1 KR 101805625B1 KR 1020110092221 A KR1020110092221 A KR 1020110092221A KR 20110092221 A KR20110092221 A KR 20110092221A KR 101805625 B1 KR101805625 B1 KR 101805625B1
Authority
KR
South Korea
Prior art keywords
image
motion vector
original
resolution
original image
Prior art date
Application number
KR1020110092221A
Other languages
English (en)
Other versions
KR20130028575A (ko
Inventor
이재향
안태경
김재현
박세혁
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020110092221A priority Critical patent/KR101805625B1/ko
Priority to US13/590,627 priority patent/US8836860B2/en
Publication of KR20130028575A publication Critical patent/KR20130028575A/ko
Application granted granted Critical
Publication of KR101805625B1 publication Critical patent/KR101805625B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4092—Image resolution transcoding, e.g. by using client-server architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Television Systems (AREA)

Abstract

영상 스케일링을 통한 영상 레이트 변환 방법에 있어서, 입력 영상 시퀀스의 해상도를 변경한 제 1 영상을 생성하고, 해상도 변경에 의해 생성된 영상 시퀀스들 중에서, 복수 개의 영상들을 이용하여 제 1 영상의 움직임을 추정하여 움직임 벡터를 생성헌 후, 제 1 영상의 움직임 벡터를 원 해상도로 복원하고, 원본 영상의 특성 정보를 검출하고 이에 기초하여 원 해상도로 복원한 움직임 벡터를 보정하여, 원본 영상의 특성 정보 및 보정된 움직임 벡터에 기초하여, 입력 영상 시퀀스의 영상 레이트를 변환하는, 영상 스케일링을 통한 영상 레이트 변환 방법이 개시된다.

Description

영상 스케일링을 통한 영상 레이트 변환 방법 및 그 장치{Method and appratus for converting image rate using image scaling}
본 발명은, 영상 스케일링을 이용한 영상 처리 기법에 관한 것이다.
고화질 영상 컨텐츠 및 방송 컨텐츠의 제작량이 점차 증가하고 있다. 고화질의 영상 컨텐츠 제작이 가속화됨에 따라, 영상 크기 및 해상도는 이전 세대 영상에 비해 급수적으로 증가하고 있으며, 그 추세는 계속될 전망이다. 기본적으로 고화질 영상은, 상대적으로 저화질 영상 컨텐츠에 비해 데이터량이 증가한다. 따라서, 고화질 영상을 위한 영상 처리 장치들에 필요한 하드웨어 자원이 기존 영상 처리 장치에 비해 증가할 뿐만 아니라, 영상 데이터의 이동, 저장, 재생 등에 필요한 시간 및 연산 부담량도 크게 증가한다.
고화질의 원본 영상을 가공하여 작은 크기의 영상으로 변형하고, 작은 크기의 영상에 대해 영상처리를 한 후 원본 영상의 크기로 복원하여 출력하는 영상 처리 기법들이 널리 이용되고 있다. 영상 크기를 증감하는 과정에서 세부정보들이 소실되므로, 영상 크기가 원본 영상의 크기로 복원되더라도 원본 영상과 복원 영상 간의 오차가 발생할 수 있다.
본 발명의 일 실시예에 따라 영상 스케일링(scaling)을 통한 영상 레이트(rate) 변환 방법은, 입력 영상 시퀀스의 해상도를 변경하는 단계; 상기 해상도 변경에 의해 생성된 영상 시퀀스들 중에서, 복수 개의 영상들을 이용하여 제 1 영상의 움직임을 추정하여 제 1 움직임 벡터를 결정하는 단계; 상기 제 1 영상의 상기 제 1 움직임 벡터를 상기 제 1 영상의 원본 영상의 해상도에 대응하도록 변형한 제 2 움직임 벡터를 결정하는 단계; 상기 원본 영상의 특성 정보를 검출하는 단계; 상기 검출된 특성 정보에 기초하여 상기 제 2 움직임 벡터를 보정하여, 상기 원본 영상의 해상도의 제 3 움직임 벡터를 결정하는 단계; 및 상기 원본 영상의 특성 정보 및 상기 제 3 움직임 벡터에 기초하여, 상기 입력 영상 시퀀스의 영상 레이트를 변환하는 단계를 포함한다.
일 실시예에 따라 상기 원본 영상 중에서 상기 검출된 특성 정보에 기초하여 결정된 영역의 움직임 벡터가 국부적으로 재검출되고, 검출된 특성 정보, 상기 제 2 움직임 벡터 및 상기 재검출된 움직임 벡터를 조합하여, 상기 제 3 움직임 벡터가 결정될 수 있다.
일 실시예에 따라, 상기 입력 영상 시퀀스 및 상기 제 3 움직임 벡터를 이용하여, 상기 입력 영상 시퀀스의 영상 레이트를 변환하기 위한 상기 원본 영상의 제 1 변환 영상이 생성되고, 상기 입력 영상 시퀀스를 이용하여, 상기 입력 영상 시퀀스의 영상 레이트를 변환하기 위한 상기 원본 영상의 제 2 변환 영상이 생성되고, 상기 특성정보에 기초하여, 상기 제 1 변환 영상 및 상기 제 2 변환 영상 중 하나가 선택되어 출력된다.
본 발명의 일 실시예에 따른 영상 레이트 변환 장치는, 입력 영상 시퀀스의 해상도를 변경하는 영상 스케일링부; 상기 해상도 변경에 의해 생성된 영상 시퀀스들 중에서, 복수 개의 영상들을 이용하여 제 1 영상의 움직임을 추정하여 제 1 움직임 벡터를 결정하는 움직임 추정부; 상기 제 1 영상의 상기 제 1 움직임 벡터를 상기 제 1 영상의 원본 영상의 해상도에 대응하도록 변형한 제 2 움직임 벡터를 결정하는 움직임 벡터 스케일링부; 상기 원본 영상의 특성 정보를 검출하는 영상 특성 검출부; 상기 검출된 특성 정보에 기초하여 상기 제 2 움직임 벡터를 보정하여, 상기 원본 영상의 해상도의 제 3 움직임 벡터를 결정하는 움직임 벡터 후처리부; 및 상기 원본 영상의 특성 정보 및 상기 제 3 움직임 벡터에 기초하여, 상기 입력 영상 시퀀스의 영상 레이트를 변환하는 영상 레이트 변환부를 포함한다.
본 발명은 일 실시예에 따른 영상 스케일링을 통한 영상 레이트 변환 방법을 전산적으로 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록매체를 포함한다.
도 1 은 일 실시예에 따른 영상 스케일링을 통한 영상 레이트 변환 장치의 블록도를 도시한다.
도 2 는 일 실시예에 따른 영상 레이트 변환 장치의 영상 특성 검출부의 일례를 도시한다.
도 3 은 반복적 패턴의 영상이 샘플링된 도면들을 예시한다.
도 4 는 일 실시예에 따른 영상 레이트 변환 장치의 영상 특성 검출부의 다른 예를 도시한다.
도 5 는 일 실시예에 따른 영상 레이트 변환 장치의 움직임 벡터 후처리부의 일례를 도시한다.
도 6 은 일 실시예에 따른 영상 레이트 변환 장치의 영상 레이트 변환부의 일례를 도시한다.
도 7 은 일 실시예에 따른 영상 스케일링을 통한 영상 레이트 변환 방법의 흐름도를 도시한다.
이하 도 1 내지 7을 참조하여, 일 실시예에 따른 영상 스케일링을 통한 영상 레이트 변환 방법 및 영상 레이트 변환 장치가 상술된다.
도 1 은 일 실시예에 따른 영상 스케일링을 통한 영상 레이트 변환 장치(100)의 블록도를 도시한다.
일 실시예에 따른 영상 스케일링을 통한 영상 레이트 변환 장치(100)는, 영상 스케일링부(110), 움직임 추정부(120), 움직임 벡터 스케일링부(130), 영상 특성 검출부(140), 움직임 벡터 후처리부(150) 및 영상 레이트 변환부(160)를 포함한다. 이하 설명의 편의를 위해, '영상 스케일링을 통한 영상 레이트 변환 장치(100)'를 '영상 레이트 변환 장치(100)'로 축약하여 지칭한다.
영상 레이트 변환 장치(100)는 영상 처리 프로세서, 그래픽 연산 프로세서(Graphic Processing Unit; GPU) 등의 연산 프로세서와 연동되거나 연산 프로세서의 제어에 의해 작동될 수 있다.
영상 레이트 변환 장치(100)는 영상 시퀀스를 입력받고, 입력 영상 시퀀스의 영상 레이트를 변환할 수 있다. 영상 시퀀스는, 비디오, 픽처 시퀀스, 프레임 시퀀스 등을 포함할 수 있다. 영상 레이트는, 일정 시간 동안 전송되거나 재생되는 영상의 개수를 나타내며, 비디오 재생 장치의 프레임 레이트(frame rate)와 유사한 기능적 용어이다.
영상 스케일링부(110)는, 입력 영상 시퀀스의 해상도를 변경한다. 영상 스케일링부(110)에 의해, 영상 스케일링이 수행될 수 있다.
일 실시예에 따른 영상 해상도 변경은, 영상 크기를 증가 또는 감소하는 영상 스케일링을 포함할 수 있다.
일 실시예에 따른 입력 영상 시퀀스 및 출력 영상 시퀀스의 영상 해상도는, UHD(Ultra High Definition)급, HD(High Definition)급, SD(Standard Definition)급 등의 해상도를 포함할 수 있다. 예를 들어 해상도 변경은, UHD급 영상을 HD급(SD급) 영상으로 또는 HD급 영상을 SD급 영상으로 해상도를 낮추는 경우와, HD급(SD급) 영상을 UHD급 영상으로 또는 SD급 영상을 HD급 영상으로 해상도를 높이는 경우도 포함할 수 있다.
일 실시예에 따른 영상 레이트 변환 장치(100)는 입력 영상 시퀀스를 이용하여, 입력 영상 시퀀스의 영상 레이트와 동일하지 않는 영상 레이트의 영상 시퀀스를 생성하여 출력할 수 있다.
움직임 추정부(120)는, 영상 스케일링부(110)의 해상도 변경에 의해 생성된 영상 시퀀스들 중에서 제 1 영상에 대해 움직임 추정을 수행한다. 움직임 추정부(120)는, 해상도 변경에 의해 생성된 영상 시퀀스들 중에서 복수 개의 영상들을 이용하여 제 1 영상의 움직임을 추정하여 제 1 움직임 벡터를 결정할 수 있다.
예를 들어, 영상의 시간순으로 제 1 영상에 인접하는 복수 개의 영상들을 이용하여, 인접하는 영상들 중, 제 1 영상이 참조하는 영상을 가리키는 움직임 벡터가 제 1 움직임 벡터로서 결정될 수 있다.
움직임 벡터 스케일링부(130)는, 움직임 추정부(120)로부터 제 1 영상의 제 1 움직임 벡터를 입력받고, 제 1 움직임 벡터를 제 1 영상의 원본 영상의 해상도(이하, '원본 해상도')에 대응하도록 변형한 제 2 움직임 벡터를 결정할 수 있다. 움직임 벡터 스케일링부(130)는, 제 1 움직임 벡터로부터 원본 해상도의 제 2 움직임 벡터를 추정할 수 있다.
영상 특성 검출부(140)는, 입력 영상 시퀀스 중 제 1 영상의 원본 영상을 입력받아, 원본 영상의 특성 정보를 검출할 수 있다.
일례로 영상 특성 검출부(140)는, 원본 영상의 해상도 변경에 의해 소실될 가능성이 있는 세부 정보를 검출할 수 있다. 일 실시예에 따라 원본 영상의 해상도 변경에 의해 소실될 가능성이 있는 세부 정보는, 원본 영상의 고주파 성분 및 반복적 패턴 중 적어도 하나를 포함할 수 있다.
일례로 영상 특성 검출부(140)는, 제 1 영상을 원본 영상의 해상도로 복원한 복원 영상과 원본 영상을 비교하고, 비교 결과에 기초하여 원본 영상의 특성 정보를 검출할 수도 있다.
움직임 벡터 후처리부(150)는, 영상 특성 검출부(140)로부터 원본 영상의 특성 정보를 입력받고, 특성 정보에 기초하여 제 2 움직임 벡터를 보정하고, 보정된 제 2 움직임 벡터를 제 3 움직임 벡터로서 결정할 수 있다. 제 3 움직임 벡터는 제 2 움직임 벡터와 마찬가지로 원본 해상도로 복원된 해상도에 대응한다.
일례로 움직임 벡터 후처리부(150)는, 원본 영상 중에서 특성 정보에 기초하여 소정 영역을 결정하고, 결정된 영역의 움직임 벡터를 국부적으로 재검출할 수 있다. 움직임 벡터 후처리부(150)는, 특성 정보, 제 2 움직임 벡터와, 재검출된 움직임 벡터를 조합하여, 제 3 움직임 벡터를 결정할 수 있다.
움직임 벡터 후처리부(150)는, 원본 영상으로부터 검출된 특성 정보에 기초하여, 원본 영상 중에서 해상도 변경에 의해 세부 정보가 소실 가능성이 있는 영역을 결정하고, 결정된 영역의 움직임 벡터를 재검출할 수도 있다. 움직임 벡터 후처리부(150)는, 제 2 움직임 벡터 중에서, 특성 정보에 기초하여 결정된 영역에 대응하는 움직임 벡터를 재검출된 움직임 벡터로 보정하여, 제 3 움직임 벡터를 결정할 수 있다.
영상 레이트 변환부(160)는, 영상 특성 검출부(140)로부터 입력된 원본 영상의 특성 정보와, 움직임 벡터 후처리부(150)로부터 입력된 제 3 움직임 벡터에 기초하여, 입력 영상 시퀀스의 영상 레이트를 변환할 수 있다. 영상 레이트 변환부(160)는, 입력 영상 시퀀스의 원본 영상들을 입력받아, 변환된 영상 레이트의 영상 시퀀스를 출력할 수 있다.
영상 레이트 변환부(160)는, 입력 영상 시퀀스의 영상 레이트를 변환하기 위해, 입력 영상 시퀀스의 원본 영상으로부터 적어도 하나의 후보 변환 영상을 생성할 수 있다.
예를 들어 영상 레이트 변환부(160)는, 입력 영상 시퀀스 및 제 3 움직임 벡터를 이용하여, 원본 영상의 제 1 변환 영상을 생성할 수 있다. 영상 레이트 변환부(160)는, 입력 영상 시퀀스를 이용하여, 원본 영상의 제 2 변환 영상을 생성할 수 있다. 영상 레이트 변환부(160)는, 원본 영상의 특성정보에 기초하여, 제 1 변환 영상 및 제 2 변환 영상 중 하나를 선택하여 출력할 수 있다.
영상 레이트 변환부(160)는, 변환 후 영상 레이트에 기초하여, 원본 영상 대비 변환 영상의 총 개수가 결정될 수 있다. 예를 들어 영상 레이트 변환부(160)는, 영상 레이트의 변환 비율에 따라 하나의 원본 영상에 대해 둘 이상의 변환 영상을 결정할 수 있다. 이 경우 영상 레이트 변환부(160)는, 하나의 원본 영상에 대한 변환 영상들마다, 제 1 변환 영상 및 제 2 변환 영상을 생성하고 이 중 하나를 선택할 수 있다.
원본 영상마다 선택된 변환 영상들이 재구성되어 결과 영상 시퀀스가 출력될 수 있다. 새로이 생성되어 선택된 변환 영상들과 원본 영상들이 함께 조합되어 출력 영상 시퀀스가 재구성될 수도 있다.
일례로, 움직임 추정부(120)는 제 1 영상을 공간적으로 분할하여 분할 영역마다 움직임을 추정할 수 있다. 즉, 움직임 추정부(120)가 제 1 영상의 분할 영역들마다 움직임 추정을 수행하여, 분할 영역들마다 각각의 움직임 벡터를 결정할 수 있다. 이 경우, 인접하는 영상들의 분할 영역들 중에서 제 1 영상의 분할 영역들이 각각 참조하는 분할 영역들을 가리키는 제 1 움직임 벡터들을 포함할 수 있다.
움직임 벡터 스케일링부(130)는, 제 1 영상의 분할 영역들을 위한 제 1 움직임 벡터들이 변형된 제 2 움직임 벡터들을 결정할 수 있다. 제 2 움직임 벡터들은, 제 1 영상의 분할 영역들에 대응하면서 원본 해상도에 대응되는 영역인 원본 분할 영역들을 위한 움직임 벡터들일 수 있다.
움직임 벡터 후처리부(150)는, 제 2 움직임 벡터들 중에서, 원본 영상의 특성 정보에 기초하여 결정된 영역에 대응하는 제 2 움직임 벡터를 재검출된 움직임 벡터로 보정하여 제 3 움직임 벡터들을 결정할 수 있다. 즉, 움직임 벡터 후처리부(150)에 의해 결정된 제 3 움직임 벡터들은, 원본 분할 영역들을 위한 움직임 벡터들이며, 제 2 움직임 벡터들 및 재검출된 움직임 벡터를 포함할 수 있다.
일 실시예에 따른 영상 레이트 변환 장치(100)는, 입력 영상 시퀀스의 영상 레이트를 변환하기 위하여, 입력 영상 시퀀스의 해상도를 변경하거나 크기를 변경한 영상들을 이용함으로써 연산량을 감축할 수 있다. 입력 영상 시퀀스의 해상도 변경 또는 크기 변경에 의해 소실된 세부 정보에 대한 특성 정보가 추출되고 추출된 특성 정보에 기초하여 다시 결정된 움직임 벡터를 이용하여, 입력 영상 시퀀스의 영상 레이트가 변환됨으로써, 영상 해상도 변경 또는 크기 변경을 통한 영상 레이트 변환 시 발생할 수 있는 화질 열화가 방지될 수 있다.
따라서, 일 실시예에 따른 영상 레이트 변환 장치(100)는, 입력 영상 시퀀스의 해상도를 변경하거나 크기를 변경한 영상들을 이용하여 영상 레이트를 변환하므로, 처리시간을 단축하고 하드웨어 자원을 절약하면서, 더불어 영상 해상도 변경 또는 크기 변경에 의해 소실될 수 있는 세부 정보를 보존하여 영상 레이트 변환에 따른 화질 열화를 최소화시킨 영상 시퀀스를 출력할 수 있다.
또한 일 실시예에 따른 영상 레이트 변환 장치(100)는, 입력 영상의 해상도를 변경한 후 해상도가 변경된 영상으로부터 움직임 추정을 수행하여 움직임 벡터를 검출하고, 검출된 움직임 벡터를 원본 해상도에 대응하도록 변형하여 영상 레이트 변환에 이용할 수 있다. 이 때, 해상도 변경은 해상도 증가 및 감소를 모두 포함할 수 있다.
예를 들어, 영상 레이트 변환 장치(100)가 UHD급 영상 시퀀스를 입력받은 경우, 영상 스케일링부(110)는 UHD급 입력 영상을 HD급 영상으로 축소하고, 움직임 추정부(120)는 HD 영상으로부터 HD급 움직임 벡터를 검출할 수 있다. 움직임 벡터 스케일링부(130)는 HD급 움직임 벡터로부터 UHD급 움직임 벡터를 추정하고, 영상 특성 검출부(140)는 UHD급 입력 영상의 특성 정보를 결정할 수 있다. 움직임 벡터 후처리부(150)는 UHD급 입력 영상의 특성 정보를 이용하여 UHD급 움직임 벡터를 다시 보정할 수 있다. 영상 레이트 변환부(160)는 UHD급 입력 영상 및 보정된 UHD급 움직임 벡터를 이용하여 영상 레이트가 변환된 UHD급 영상 시퀀스를 출력할 수 있다.
예를 들어, 영상 레이트 변환 장치(100)가 HD급 영상 시퀀스를 입력받은 경우, 영상 스케일링부(110)는 HD급 입력 영상을 UHD급 영상으로 확대하고, 움직임 추정부(120)는 UHD 영상으로부터 UHD급 움직임 벡터를 검출할 수 있다. 움직임 벡터 스케일링부(130)는 UHD급 움직임 벡터를 이용하여 HD급 움직임 벡터를 추정할 수 있다. 영상 특성 검출부(140)는 HD급 입력 영상의 특성 정보를 결정하고, 움직임 벡터 후처리부(150)는 HD급 입력 영상의 특성 정보를 이용하여 HD급 움직임 벡터를 다시 보정할 수 있다. 영상 레이트 변환부(160)는 HD급 입력 영상 및 보정된 HD급 움직임 벡터를 이용하여 영상 레이트가 변환된 HD급 영상 시퀀스를 출력할 수 있다.
이하, 도 2 내지 도 6을 참조하여 일 실시예에 따른 영상 레이트 변환 장치(100)가 UHD급 영상 시퀀스의 영상 레이트를 변환하는 동작이 상술된다.
도 2 는 일 실시예에 따른 영상 레이트 변환 장치(100)의 영상 특성 검출부(140)의 일례를 도시한다.
영상 특성 검출부(200)는, 일 실시예에 따른 영상 레이트 변환 장치(100)의 영상 특성 검출부(140)의 일 실시예로써, 입력 영상 시퀀스의 원본 영상을 입력받아, 원본 영상의 특성 정보를 검출할 수 있다. 특히 영상 특성 검출부(200)는, UHD급 영상 시퀀스의 원본 영상을 입력받아, UHD 입력 영상의 해상도 변경에 의해 소실될 가능성이 있는 세부 정보를 검출할 수 있다.
영상 특성 검출부(200)는, 고주파 성분 검출부(210), 패턴 검출부(220) 및 특성 정보 추출부(230)를 포함할 수 있다.
고주파 성분 검출부(210)는 UHD 입력 영상으로부터 고주파 성분을 검출하고, 패턴 검출부(220)는 UHD 입력 영상으로부터 반복적 패턴을 검출할 수 있다. 특성 정보 추출부(230)는, 고주파 성분 검출부(210) 및 패턴 검출부(220)에 의해 검출된 고주파 성분 및 반복적 패턴 중 적어도 하나를 포함하는 특성 정보를 조합하여, UHD 입력 영상의 특성 정보를 출력할 수 있다.
영상 스케일링을 통한 영상 레이트 변환을 위해, 스케일링 등의 가공을 통해 고해상도 원본 영상으로부터 저해상도 영상이 생성되고, 생성된 저해상도 영상에 대해 움직임 추정을 수행하여 저해상도 움직임 벡터가 생성될 수 있다. 또한, 저해상도 움직임 벡터를 원본 해상도로 복원하여 고해상도 움직임 벡터가 생성되고, 고해상도 움직임 벡터를 이용하여 원본 영상의 영상 시퀀스의 영상 레이트가 변환될 수 있다. 영상 스케일링을 통한 영상 레이트 변환 기법(scheme)은, 연산 시간 및 데이터 연산량이 많고 연산 시간이 많이 소요되는 움직임 추정 과정을 저해상도 영상에서 처리함으로써, 데이터 처리 속도가 향상되고 하드웨어 자원이 감축될 수 있다.
다만 영상 스케일링을 통한 영상 레이트 변환 기법은, 원본 영상을 가공하는 과정에서 특정한 패턴이나 텍스쳐(texture) 등과 같은 복잡한 영상에서 세부 정보가 소실될 가능성이 높고, 이로 인해 가공 후 영상의 오류 또는 가공 후 영상과 원본 영상 간의 오차가 필연적으로 발생할 수 있다.
예를 들어, 텍스처 영상의 영상 스케일링을 통해 세부 정보가 소실됨으로써, 영상 레이트가 변환된 후 결과 영상에서는 반짝거림(flickering) 현상 등의 화질 열화 현상이 발생할 수 있다.
도 3 은 반복적 패턴의 영상이 샘플링된 도면들을 예시한다.
흑색 픽셀들의 세로 라인과 백색 픽셀들의 세로 라인이 하나씩 번갈아 위치하는 반복적 패턴을 포함하는 원본 영상(310)은, 픽셀의 반복 주기가 1~2 픽셀 단위이기 때문에, 다운샘플링(down-sampling)에 기반하는 영상 축소 기법은, 원본 영상(310)과 전혀 다른 왜곡된 축소 영상들(320, 330)을 생성할 수 있다.
예를 들어 샘플링 팩터에 따라, 반복 주기에 기초하여 반복되는 백색 픽셀들만 추출되어 다운샘플링된 축소 영상(320)과, 반복되는 흑색 픽셀들만 추출되어 다운샘플링된 축소 영상(330)이 생성될 수 있다. 이렇게 생성된 축소 영상들(320, 330)은 원본 영상(310)과는 완전히 다른 특성의 영상이기 때문에, 영상 후처리 과정에서도 전혀 보정할 수 없는 오류를 내포하여, 원본 영상(310)의 특성이 복원될 수 없다.
따라서, 영상 스케일링을 통해 입력 영상 시퀀스의 영상 레이트를 변환하고자 한다면, 원본 영상이 반복적 패턴을 포함하고 있는지 여부가 먼저 분석되어, 반복적 패턴이 있다면 입력 영상의 다운샘플링된 영상을 이용한 영상 처리 기법 이외의 방법도 이용하는 것이 바람직하다.
도 4 는 일 실시예에 따른 영상 레이트 변환 장치(100)의 영상 특성 검출부(140)의 다른 예를 도시한다.
영상 특성 검출부(400)는, 일 실시예에 따른 영상 레이트 변환 장치(100)의 영상 특성 검출부(140)의 다른 실시예로써, UHD급 영상 시퀀스의 원본 영상을 입력받아, UHD 입력 영상의 해상도 변경에 의해 소실될 가능성이 있는 세부 정보를 검출할 수 있다.
영상 특성 검출부(400)는, 해상도 복원부(410) 및 비교부(420)를 포함할 수 있다.
일 실시예에 따른 영상 레이트 변환 장치(100)가 UHD급 영상 시퀀스를 입력받으면, 영상 스케일링부(110)는 UHD 입력 영상의 해상도를 감소시켜 HD급 제 1 영상을 출력할 수 있다.
해상도 복원부(410)는, 영상 스케일링부(110)로부터 HD급 제 1 영상을 입력받아 UHD급 영상으로 해상도를 복원하여 UHD 복원 영상을 출력할 수 있다. 비교부(420)는, UHD 입력 영상과 UHD 복원 영상을 입력받아 비교하여 UHD 입력 영상의 특성 정보를 분석하고 추출할 수 있다. 예를 들어, 비교부(420)는, UHD 입력 영상과 UHD 복원 영상 간의 차이 영상을 기초로 UHD 입력 영상의 특성 정보를 검출할 수 있다
도 5 는 일 실시예에 따른 영상 레이트 변환 장치(100)의 움직임 벡터 후처리부(150)의 일례를 도시한다.
움직임 벡터 후처리부(500)는, 일 실시예에 따른 영상 레이트 변환 장치(100)의 움직임 벡터 후처리부(150)의 일 실시예로써, 움직임 벡터 스케일링부(130)에 의해 원본 해상도로 복원된 제 2 움직임 벡터와 영상 특성 검출부(140, 200, 400)에 의해 검출된 원본 영상의 특성 정보를 이용하여, 제 2 움직임 벡터를 보정하여 원본 해상도의 제 3 움직임 벡터를 결정할 수 있다.
일 실시예에 따른 영상 레이트 변환 장치(100)가 UHD급 영상 시퀀스를 입력받으면, 움직임 벡터 후처리부(500)는, 움직임 벡터 스케일링부(130)에 의해 UHD급 해상도의 움직임 벡터로 복원된 UHD 움직임 벡터(UHD MV)와, 영상 특성 검출부(140, 200, 400)에 의해 검출된 UHD 입력 영상의 특성 정보를 이용하여 UHD 움직임 벡터(UHD MV)를 보정하여, UHD급 해상도의 보정 UHD 움직임 벡터(UHD MV')를 결정하여 출력할 수 있다.
움직임 벡터 후처리부(500)는, 국부 움직임 추정부(510), 먹싱부(520) 및 움직임 벡터 보정부(530)를 포함할 수 있다.
국부 움직임 추정부(510)는, UHD 입력 영상과 UHD 입력 영상으로부터 검출된 특성 정보를 입력받아, UHD 입력 영상 중에서 해상도 변경에 의해 세부 정보가 소실 가능성이 있는 영역을 결정할 수 있다. 국부 움직임 추정부(510)는, UHD 입력 영상 중에서 세부 정보가 소실 가능성이 있는 영역의 움직임을 다시 추정하여, 움직임 벡터를 국부적으로(locally) 재검출할 수 있다.
먹싱부(520)는, UHD 입력 영상의 특성 정보, UHD 움직임 벡터(UHD MV)와, 국부 움직임 추정부(510)에 의해 재검출된 움직임 벡터를 조합할 수 있다. 예를 들어 먹싱부(520)는, UHD 움직임 벡터(UHD MV) 중에서, 특성 정보에 기초하여 결정된 국부 영역에 대응하는 움직임 벡터를, 국부 움직임 추정부(510)에 의해 재검출된 움직임 벡터로 변경할 수 있다.
먹싱부(520)에 의해 UHD MV와 재검출된 움직임 벡터들이 조합됨으로써 UHD 움직임 벡터(UHD MV)가 보정되고, 움직임 벡터 보정부(530)는 보정된 UHD급 해상도의 움직임 벡터(UHD MV')를 출력할 수 있다.
도 6 은 일 실시예에 따른 영상 레이트 변환 장치(100)의 영상 레이트 변환부(160)의 일례를 도시한다.
영상 레이트 변환부(600)는, 일 실시예에 따른 영상 레이트 변환 장치(100)의 영상 레이트 변환부(160)의 일 실시예로써, 영상 특성 검출부(140, 200, 400)로부터 입력된 UHD 입력 영상의 특성 정보와, 움직임 벡터 후처리부(150, 500)에 의해 보정된 UHD 움직임 벡터(UHD MV')에 기초하여, UHD 출력 영상을 생성함으로써, UHD급 입력 영상 시퀀스의 영상 레이트가 변환된 UHD급 영상 시퀀스를 출력할 수 있다.
영상 레이트 변환부(600)는, 움직임 벡터 기초한 영상 레이트 변환부(610), 원본 영상 기초한 영상 레이트 변환부(620) 및 먹싱부(630)를 포함할 수 있다.
움직임 벡터 기초한 영상 레이트 변환부(610)는, UHD 입력 영상 및 보정된 UHD 움직임 벡터(UHD MV')를 이용하여, UHD 입력 영상의 제 1 UHD 변환 영상을 생성할 수 있다. 예를 들어 움직임 벡터 기초한 영상 레이트 변환부(610)는, 시간순으로 연속적인 UHD 입력 영상들 간에 움직임 보상을 수행하기 위해, 움직임 벡터 후처리부(150, 500)로부터 입력받은 보정된 UHD 움직임 벡터(UHD MV')를 이용하여, UHD 입력 영상들 중에서 현재 영상의 분할 영역을 위한 참조 영상 및 참조 영역을 결정할 수 있다. 참조 영역을 이용한 움직임 보상을 통해 제 1 UHD 변환 영상이 생성될 수 있다.
원본 영상 기초한 영상 레이트 변환부(620)는, UHD 입력 영상 및 특성 정보를 이용하여, UHD 입력 영상의 제 2 UHD 변환 영상을 생성할 수 있다. 예를 들어, 연속적인 UHD 입력 영상들 중 둘 이상의 영상들의 보간(interpolation)을 통해, 제 2 UHD 변환 영상이 생성될 수 있다.
먹싱부(630)는, UHD 입력 영상의 특성정보에 기초하여, 제 1 UHD 변환 영상 및 제 2 UHD 변환 영상 중 하나를 선택하여 UHD 출력 영상을 생성할 수 있다. 또한 영상 레이트 변환 비율에 따라 하나의 원본 영상에 대해 둘 이상의 출력 영상들이 결정될 수 있다.
예를 들어 먹싱부(630)는, 영상 레이트의 변환 비율을 고려하여 보정된 UHD 움직임 벡터로부터, 각각의 출력 영상을 위한 움직임 벡터들을 결정할 수 있다. 즉, 각각의 출력 영상을 위해, UHD 입력 영상과 움직임 벡터를 이용한 움직임 보상을 통해 제 1 UHD 변환 영상이 생성되고, 적어도 하나의 UHD 입력 영상만을 이용하여 제 2 UHD 변환 영상이 생성될 수 있다. 각각의 출력 영상을 위해, 생성된 제 1 UHD 변환 영상 및 제 2 UHD 변환 영상 중에서, 하나의 변환 영상이 선택되어 출력 영상으로서 결정될 수 있다. 이렇게 새로이 생성되는 변환 영상과 UHD 입력 영상들이 재구성되어 UHD 출력 영상들이 결정되고, 결과적으로 UHD급 입력 영상 시퀀스로부터 영상 레이트가 변환된 UHD급 출력 영상 시퀀스가 생성될 수 있다.
도 7 은 일 실시예에 따른 영상 스케일링을 통한 영상 레이트 변환 방법의 흐름도를 도시한다.
일 실시예에 따른 영상 스케일링을 통한 영상 레이트 변환 방법은, 영상 처리 프로세서, 그래픽 연산 프로세서(GPU) 등의 연산 프로세서에 의해 구현될 수 있다.
단계 710에서, 입력 영상 시퀀스의 해상도가 변경된다. 입력된 영상 시퀀스의 영상들의 크기가 변경될 수도 있다.
단계 720에서, 단계 710의 해상도 변경(크기 변경)에 의해 생성된 영상 시퀀스들 중에서, 복수 개의 영상들을 이용하여 제 1 영상의 움직임을 추정하여 제 1 움직임 벡터가 결정된다. 제 1 움직임 벡터는 변경된 해상도의 제 1 영상에 대응하는 움직임 벡터이다.
단계 730에서, 단계 720에서 결정된 제 1 영상의 제 1 움직임 벡터를 제 1 영상의 원본 영상의 해상도(크기)에 대응하도록 변형한 제 2 움직임 벡터가 결정된다.
단계 740에서, 원본 영상의 특성 정보가 검출된다. 원본 영상의 해상도(크기) 변경에 의해 소실될 가능성이 있는 세부 정보가 검출될 수 있다. 일 실시예에 따라 원본 영상의 세부 정보는, 원본 영상의 고주파 성분 및 반복적 패턴 중 적어도 하나를 포함할 수 있다.
다른 실시예에 따라, 제 1 영상을 원본 해상도로 복원한 복원 영상과 원본 영상이 비교되고, 비교 결과에 기초하여 원본 영상의 특성 정보가 검출될 수 있다.
단계 750에서, 단계 740에서 검출된 특성 정보에 기초하여 제 2 움직임 벡터가 보정되어, 최종적으로 원본 영상의 해상도에 대응하는 제 3 움직임 벡터가 결정된다.
일 실시예에 따르면 원본 영상 중에서 특성 정보에 기초하여 결정된 영역의 움직임 벡터가 국부적으로 재검출될 수 있다. 특성 정보, 해상도 복원 후의 움직임 벡터인 제 2 움직임 벡터 및 재검출된 움직임 벡터에 기초하여, 제 2 움직임 벡터가 보정된 제 3 움직임 벡터가 결정될 수 있다. 예를 들어, 특성 정보에 기초하여 결정된 영역에 대한 제 2 움직임 벡터가 재검출된 움직임 벡터로 대체되어, 국부적으로 제 2 움직임 벡터가 보정되고, 최종적으로 제 3 움직임 벡터가 결정될 수 있다.
단계 760에서, 단계 740에서 검출된 원본 영상의 특성 정보와 단계 750에서 결정된 제 3 움직임 벡터에 기초하여, 입력 영상 시퀀스의 영상 레이트가 변환된다. 즉, 원본 영상의 특성 정보와 제 3 움직임 벡터에 기초하여, 적어도 하나의 변환 영상이 생성되어, 원본 영상과 생성된 적어도 하나의 변환 영상이 재구성되어 출력 영상들이 결정되고, 입력 영상 시퀀스의 영상 레이트와 다른 영상 레이트를 갖는 최종 영상 시퀀스가 출력될 수 있다.
예를 들어, 먼저 입력 영상 시퀀스 및 제 3 움직임 벡터를 이용하여, 원본 영상의 제 1 변환 영상이 생성될 수 있다. 또한 입력 영상 시퀀스의 영상 데이터만을 조합하여, 원본 영상의 제 2 변환 영상이 생성될 수 있다. 원본 영상의 특성 정보에 기초하여 제 1 변환 영상 및 제 2 변환 영상 중 하나가 선택되어, 선택된 변환 영상들을 조합하여 영상 레이트가 변환된 영상 시퀀스가 조합될 수 있다.
단계 720에서, 제 1 영상이 둘 이상의 영역들로 분할된 경우, 분할 영역들마다 각각의 제 1 움직임 벡터를 결정될 수 있다. 제 1 움직임 벡터가 분할 영역마다 결정됨에 따라, 각각의 분할 영역마다 제 2 움직임 벡터, 제 3 움직임 벡터가 결정되고, 영상 레이트 변환 기법은 아래와 같이 변형될 수 있다.
단계 730에서는, 제 1 영상의 분할 영역들에 대응하며 원본 해상도에 따르는 원본 분할 영역들을 위한 움직임 벡터들로서, 제 1 영상의 분할 영역들의 제 1 움직임 벡터들이 각각 변형된 제 2 움직임 벡터들이 결정될 수 있다.
단계 740에서는, 원본 영상의 특성 정보에 기초하여 영상 스케일링을 통해 세부정보가 소실될 가능성이 높은 영역이 결정되고, 단계 750에서는, 원본 영상 중에서 원본 영상의 특성 정보에 기초하여 결정된 영역의 움직임 벡터가 재검출된다. 제 2 움직임 벡터들 중에서, 원본 영상의 특성 정보에 기초하여 결정된 영역에 대응하는 제 2 움직임 벡터가 재검출된 움직임 벡터로 보정된다. 이에 따라 원본 분할 영역들마다, 제 2 움직임 벡터들 및 재검출된 움직임 벡터들로 조합된 제 3 움직임 벡터들이 결정될 수 있다.
단계 760에서는 원본 영상의 분할 영역별로 결정된 제 3 움직임 벡터들을 이용한 움직임 보상을 통해 재구성된 제 1 변환 영상 및, 원본 분할 영역별로 예외적인 영상 레이트 변환 기법을 통해 생성된 제 2 변환 영상 중에 하나가 선택되어, 원본 영상의 영상 레이트가 변환된 출력 영상 시퀀스가 재구성될 수 있다.
따라서, 영상 해상도 변경 또는 크기 변경에 의해 세부 정보가 소실될 수 있는 영역을 고려하여 움직임 벡터가 재구성되고, 재구성된 움직임 벡터를 이용하여 신규 영상이 생성되고 조합됨에 따라, 입력 영상 시퀀스로부터 영상 레이트가 변환된 출력 영상 시퀀스가 생성될 수 있다.
본 발명에서 개시된 블록도들은 본 발명의 원리들을 구현하기 위한 회로를 개념적으로 표현한 형태라고 당업자에게 해석될 수 있을 것이다. 유사하게, 임의의 흐름 차트, 흐름도, 상태 전이도, 의사코드 등은 컴퓨터 판독가능 매체에서 실질적으로 표현되어, 컴퓨터 또는 프로세서가 명시적으로 도시되든지 아니든지 간에 이러한 컴퓨터 또는 프로세서에 의해 실행될 수 있는 다양한 프로세스를 나타낸다는 것이 당업자에게 인식될 것이다. 따라서, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.
도면들에 도시된 다양한 요소들의 기능들은 적절한 소프트웨어와 관련되어 소프트웨어를 실행할 수 있는 하드웨어뿐만 아니라 전용 하드웨어의 이용을 통해 제공될 수 있다. 프로세서에 의해 제공될 때, 이런 기능은 단일 전용 프로세서, 단일 공유 프로세서, 또는 일부가 공유될 수 있는 복수의 개별 프로세서에 의해 제공될 수 있다. 또한, 용어 "프로세서" 또는 "제어부"의 명시적 이용은 소프트웨어를 실행할 수 있는 하드웨어를 배타적으로 지칭하는 것으로 해석되지 말아야 하며, 제한 없이, 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 판독 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 및 비휘발성 저장장치를 묵시적으로 포함할 수 있다.
본 명세서의 청구항들에서, 특정 기능을 수행하기 위한 수단으로서 표현된 요소는 특정 기능을 수행하는 임의의 방식을 포괄하고, 이러한 요소는 특정 기능을 수행하는 회로 요소들의 조합, 또는 특정 기능을 수행하기 위한 소프트웨어를 수행하기 위해 적합한 회로와 결합된, 펌웨어, 마이크로코드 등을 포함하는 임의의 형태의 소프트웨어를 포함할 수 있다.
본 명세서에서 본 발명의 원리들의 '일 실시예'와 이런 표현의 다양한 변형들의 지칭은 이 실시예와 관련되어 특정 특징, 구조, 특성 등이 본 발명의 원리의 적어도 하나의 실시예에 포함된다는 것을 의미한다. 따라서, 표현 '일 실시예에서'와, 본 명세서 전체를 통해 개시된 임의의 다른 변형례들은 반드시 모두 동일한 실시예를 지칭하는 것은 아니다.
본 명세서에서, 'A와 B 중 적어도 하나'의 경우에서 '~중 적어도 하나'의 표현은, 첫 번째 옵션 (A)의 선택만, 또는 두 번째 열거된 옵션 (B)의 선택만, 또는 양쪽 옵션들 (A와 B)의 선택을 포괄하기 위해 사용된다. 추가적인 예로 'A, B, 및 C 중 적어도 하나'의 경우는, 첫 번째 열거된 옵션 (A)의 선택만, 또는 두 번째 열거된 옵션 (B)의 선택만, 또는 세 번째 열거된 옵션 (C)의 선택만, 또는 첫 번째와 두 번째 열거된 옵션들 (A와 B)의 선택만, 또는 두 번째와 세 번째 열거된 옵션 (B와 C)의 선택만, 또는 모든 3개의 옵션들의 선택(A와 B와 C)이 포괄할 수 있다. 더 많은 항목들이 열거되는 경우에도 당업자에게 명백하게 확장 해석될 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다.
본 명세서를 통해 개시된 모든 실시예들과 조건부 예시들은, 본 발명의 기술 분야에서 통상의 지식을 가진 당업자가 독자가 본 발명의 원리와 개념을 이해하도록 돕기 위한 의도로 기술된 것으로, 당업자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (20)

  1. 영상 스케일링(scaling)을 통한 영상 레이트(rate) 변환 방법에 있어서,
    입력 영상 시퀀스의 해상도를 변경하는 단계;
    상기 해상도 변경에 의해 생성된 영상 시퀀스들 중에서, 복수 개의 영상들을 이용하여 제 1 영상의 움직임을 추정하여 제 1 움직임 벡터를 결정하는 단계;
    상기 제 1 영상의 상기 제 1 움직임 벡터를 상기 제 1 영상의 원본 영상의 해상도에 대응하도록 변형한 제 2 움직임 벡터를 결정하는 단계;
    상기 원본 영상의 특성 정보를 검출하는 단계;
    상기 검출된 특성 정보에 기초하여 상기 제 2 움직임 벡터를 보정하여, 상기 원본 영상의 해상도의 제 3 움직임 벡터를 결정하는 단계; 및
    상기 원본 영상의 특성 정보 및 상기 제 3 움직임 벡터에 기초하여, 상기 입력 영상 시퀀스의 영상 레이트를 변환하는 단계를 포함하는 것을 특징으로 하고, 연산 프로세서에 의해 구현되는 영상 스케일링을 통한 영상 레이트 변환 방법.
  2. 제 1 항에 있어서, 상기 제 3 움직임 벡터 결정 단계는,
    상기 원본 영상 중에서 상기 검출된 특성 정보에 기초하여 결정된 영역의 움직임 벡터를 국부적으로 재검출하는 단계; 및
    상기 검출된 특성 정보, 상기 제 2 움직임 벡터 및 상기 재검출된 움직임 벡터를 조합하여, 상기 제 3 움직임 벡터를 결정하는 단계를 포함하는 것을 특징으로 하는 영상 스케일링을 통한 영상 레이트 변환 방법.
  3. 제 1 항에 있어서, 상기 영상 레이트 변환 단계는,
    상기 입력 영상 시퀀스 및 상기 제 3 움직임 벡터를 이용하여, 상기 입력 영상 시퀀스의 영상 레이트를 변환하기 위한 상기 원본 영상의 제 1 변환 영상을 생성하는 단계;
    상기 입력 영상 시퀀스를 이용하여, 상기 입력 영상 시퀀스의 영상 레이트를 변환하기 위한 상기 원본 영상의 제 2 변환 영상을 생성하는 단계; 및
    상기 특성정보에 기초하여, 상기 제 1 변환 영상 및 상기 제 2 변환 영상 중 하나를 선택하여 출력하는 단계를 포함하는 것을 특징으로 하는 영상 스케일링을 통한 영상 레이트 변환 방법.
  4. 제 3 항에 있어서,
    상기 제 1 변환 영상 생성 단계는, 상기 영상 레이트에 기초하여, 둘 이상의 제 1 변환 영상들을 생성하는 단계를 포함하고,
    상기 제 2 변환 영상 생성 단계는, 상기 영상 레이트에 기초하여, 둘 이상의 제 2 변환 영상들을 생성하는 단계를 포함하고,
    상기 제 1 변환 영상 및 제 2 변환 영상 중 하나를 선택하여 출력하는 단계는, 상기 특성 정보에 기초하여, 상기 생성된 둘 이상의 제 1 변환 영상들 및 상기 생성된 둘 이상의 제 2 변환 영상들 중에서, 서로 대응하는 제 1 변환 영상 및 제 2 변환 영상 중 하나씩 선택하는 단계를 포함하는 것을 특징으로 하는 영상 스케일링을 통한 영상 레이트 변환 방법.
  5. 제 3 항에 있어서, 상기 제 2 변환 영상 생성 단계는,
    상기 입력 영상 시퀀스 중 상기 원본 영상의 이전 영상들 및 다음 영상들 중 둘 이상의 영상들을 보간하여 상기 제 2 변환 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 영상 스케일링을 통한 영상 레이트 변환 방법.
  6. 제 1 항에 있어서, 상기 특성 정보 검출 단계는,
    상기 원본 영상의 상기 해상도 변경에 의해 소실될 가능성이 있는 세부 정보를 검출하는 단계를 포함하고,
    상기 세부 정보는, 상기 원본 영상의 고주파 성분 및 반복적 패턴 중 적어도 하나를 포함하는 것을 특징으로 하는 영상 스케일링을 통한 영상 레이트 변환 방법.
  7. 제 1 항에 있어서, 상기 특성 정보 검출 단계는,
    상기 제 1 영상을 상기 원본 영상의 해상도로 복원한 복원 영상과 상기 원본 영상을 비교하는 단계; 및
    상기 비교 결과에 기초하여, 상기 원본 영상의 특성 정보를 검출하는 단계를 포함하는 것을 특징으로 하는 영상 스케일링을 통한 영상 레이트 변환 방법.
  8. 제 1 항에 있어서, 상기 제 3 움직임 벡터 결정 단계는,
    상기 검출된 특성 정보에 기초하여, 상기 원본 영상 중에서 상기 해상도 변경에 의해 세부 정보가 소실 가능성이 있는 영역을 결정하는 단계;
    상기 원본 영상 중에서 상기 결정된 영역의 움직임 벡터를 재검출하는 단계; 및
    상기 제 2 움직임 벡터 중에서, 상기 결정된 영역에 대응하는 움직임 벡터를 상기 재검출된 움직임 벡터로 보정하여, 상기 제 3 움직임 벡터를 결정하는 단계를 포함하는 것을 특징으로 하는 영상 스케일링을 통한 영상 레이트 변환 방법.
  9. 제 1 항에 있어서, 상기 제 1 움직임 벡터 결정 단계는,
    상기 제 1 영상을 공간적으로 분할하는 분할 영역들 중 각각의 분할 영역마다 각각, 상기 제 1 움직임 벡터를 결정하는 단계를 포함하는 것을 특징으로 하는 영상 스케일링을 통한 영상 레이트 변환 방법.
  10. 제 9 항에 있어서,
    상기 제 2 움직임 벡터 결정 단계는, 상기 제 1 영상의 분할 영역들에 대응하고 상기 원본 영상의 해상도에 대응되는 원본 분할 영역들 중 각각의 영역마다, 상기 제 1 영상의 분할 영역들 중 해당 분할 영역을 위한 제 1 움직임 벡터가 변형된 상기 제 2 움직임 벡터를 결정하는 단계를 포함하고,
    상기 제 3 움직임 벡터 결정 단계는,
    상기 원본 영상 중에서, 상기 특성 정보에 기초하여 결정된 영역의 움직임 벡터를 재검출하는 단계;
    상기 원본 분할 영역들을 위한 제 2 움직임 벡터들 중에서, 상기 결정된 영역에 대응하는 제 2 움직임 벡터를 상기 재검출된 움직임 벡터로 보정하는 단계; 및
    상기 제 2 움직임 벡터들 및 상기 재검출된 움직임 벡터를 포함하고 상기 원본 분할 영역들을 위한 제 3 움직임 벡터들을 결정하는 단계를 포함하는 것을 특징으로 하는 영상 스케일링을 통한 영상 레이트 변환 방법.
  11. 영상 레이트 변환 장치에 있어서,
    입력 영상 시퀀스의 해상도를 변경하는 영상 스케일링부;
    상기 해상도 변경에 의해 생성된 영상 시퀀스들 중에서, 복수 개의 영상들을 이용하여 제 1 영상의 움직임을 추정하여 제 1 움직임 벡터를 결정하는 움직임 추정부;
    상기 제 1 영상의 상기 제 1 움직임 벡터를 상기 제 1 영상의 원본 영상의 해상도에 대응하도록 변형한 제 2 움직임 벡터를 결정하는 움직임 벡터 스케일링부;
    상기 원본 영상의 특성 정보를 검출하는 영상 특성 검출부;
    상기 검출된 특성 정보에 기초하여 상기 제 2 움직임 벡터를 보정하여, 상기 원본 영상의 해상도의 제 3 움직임 벡터를 결정하는 움직임 벡터 후처리부; 및
    상기 원본 영상의 특성 정보 및 상기 제 3 움직임 벡터에 기초하여, 상기 입력 영상 시퀀스의 영상 레이트를 변환하는 영상 레이트 변환부를 포함하는 것을 특징으로 하고, 영상 처리 프로세서와 연동된 영상 스케일링을 통한 영상 레이트 변환 장치.
  12. 제 11 항에 있어서, 상기 움직임 벡터 후처리부는,
    상기 원본 영상 중에서 상기 검출된 특성 정보에 기초하여 결정된 영역의 움직임 벡터를 국부적으로 재검출하고, 상기 검출된 특성 정보, 상기 제 2 움직임 벡터 및 상기 재검출된 움직임 벡터를 조합하여, 상기 제 3 움직임 벡터를 결정하는 것을 특징으로 하는 영상 스케일링을 통한 영상 레이트 변환 장치.
  13. 제 11 항에 있어서, 상기 영상 레이트 변환부는,
    상기 입력 영상 시퀀스 및 상기 제 3 움직임 벡터를 이용하여, 상기 입력 영상 시퀀스의 영상 레이트를 변환하기 위한 상기 원본 영상의 제 1 변환 영상을 생성하고, 상기 입력 영상 시퀀스를 이용하여, 상기 입력 영상 시퀀스의 영상 레이트를 변환하기 위한 상기 원본 영상의 제 2 변환 영상을 생성하고, 상기 특성정보에 기초하여, 상기 제 1 변환 영상 및 상기 제 2 변환 영상 중 하나를 선택하여 출력하고,
    상기 영상 레이트에 기초하여, 둘 이상의 상기 제 1 변환 영상들 및 둘 이상의 상기 제 2 변환 영상들이 생성되는 것을 특징으로 하는 영상 스케일링을 통한 영상 레이트 변환 장치.
  14. 제 13 항에 있어서, 상기 영상 레이트 변환부는,
    상기 입력 영상 시퀀스 중 상기 원본 영상의 이전 영상들 및 다음 영상들 중 둘 이상의 영상들을 보간하여 상기 제 2 변환 영상을 생성하는 것을 특징으로 하는 영상 스케일링을 통한 영상 레이트 변환 장치.
  15. 제 11 항에 있어서, 상기 영상 특성 검출부는,
    상기 원본 영상의 상기 해상도 변경에 의해 소실될 가능성이 있는 세부 정보를 검출하고,
    상기 세부 정보는, 상기 원본 영상의 고주파 성분 및 반복적 패턴 중 적어도 하나를 포함하는 것을 특징으로 하는 영상 스케일링을 통한 영상 레이트 변환 장치.
  16. 제 11 항에 있어서, 상기 영상 특성 검출부는,
    상기 제 1 영상을 상기 원본 영상의 해상도로 복원한 복원 영상과 상기 원본 영상을 비교하고, 상기 비교 결과에 기초하여, 상기 원본 영상의 특성 정보를 검출하는 것을 특징으로 하는 영상 스케일링을 통한 영상 레이트 변환 장치.
  17. 제 11 항에 있어서, 상기 움직임 벡터 후처리부는,
    상기 검출된 특성 정보에 기초하여, 상기 원본 영상 중에서 상기 해상도 변경에 의해 세부 정보가 소실 가능성이 있는 영역을 결정하고,
    상기 원본 영상 중에서 상기 결정된 영역의 움직임 벡터를 재검출하고,
    상기 제 2 움직임 벡터 중에서, 상기 결정된 영역에 대응하는 움직임 벡터를 상기 재검출된 움직임 벡터로 보정하여, 상기 제 3 움직임 벡터를 결정하는 것을 특징으로 하는 영상 스케일링을 통한 영상 레이트 변환 장치.
  18. 제 11 항에 있어서, 상기 움직임 추정부는,
    상기 제 1 영상을 공간적으로 분할하는 분할 영역들 중 각각의 분할 영역마다 각각, 상기 제 1 움직임 벡터를 결정하는 것을 특징으로 하는 영상 스케일링을 통한 영상 레이트 변환 장치.
  19. 제 18 항에 있어서,
    상기 움직임 벡터 스케일링부는,
    상기 제 1 영상의 분할 영역들에 대응하고 상기 원본 영상의 해상도에 대응되는 원본 분할 영역들 중 각각의 영역마다, 상기 제 1 영상의 분할 영역들 중 해당 분할 영역을 위한 제 1 움직임 벡터가 변형된 상기 제 2 움직임 벡터를 결정하고,
    상기 움직임 벡터 보정부는,
    상기 원본 영상 중에서, 상기 특성 정보에 기초하여 결정된 영역의 움직임 벡터를 재검출하고,
    상기 원본 분할 영역들을 위한 제 2 움직임 벡터들 중에서, 상기 결정된 영역에 대응하는 제 2 움직임 벡터를 상기 재검출된 움직임 벡터로 보정하고,
    상기 제 2 움직임 벡터들 및 상기 재검출된 움직임 벡터를 포함하고 상기 원본 분할 영역들을 위한 제 3 움직임 벡터들을 결정하는 것을 특징으로 하는 영상 스케일링을 통한 영상 레이트 변환 장치.
  20. 제 1 항 내지 제 10 항 어느 한 항의 영상 스케일링을 통한 영상 레이트 변환 방법을 전산적으로 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록매체.


KR1020110092221A 2011-09-09 2011-09-09 영상 스케일링을 통한 영상 레이트 변환 방법 및 그 장치 KR101805625B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020110092221A KR101805625B1 (ko) 2011-09-09 2011-09-09 영상 스케일링을 통한 영상 레이트 변환 방법 및 그 장치
US13/590,627 US8836860B2 (en) 2011-09-09 2012-08-21 Method and apparatus for converting image rate by using image scaling

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110092221A KR101805625B1 (ko) 2011-09-09 2011-09-09 영상 스케일링을 통한 영상 레이트 변환 방법 및 그 장치

Publications (2)

Publication Number Publication Date
KR20130028575A KR20130028575A (ko) 2013-03-19
KR101805625B1 true KR101805625B1 (ko) 2017-12-08

Family

ID=47829560

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110092221A KR101805625B1 (ko) 2011-09-09 2011-09-09 영상 스케일링을 통한 영상 레이트 변환 방법 및 그 장치

Country Status (2)

Country Link
US (1) US8836860B2 (ko)
KR (1) KR101805625B1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6056766B2 (ja) * 2011-11-15 2017-01-11 日本電気株式会社 動きベクトル推定装置、動きベクトル推定方法及び動きベクトル推定用プログラム
KR101987820B1 (ko) * 2012-10-05 2019-06-11 삼성전자주식회사 고 해상도 컨텐츠를 처리하는 컨텐츠 처리 장치 및 그 방법
KR102136848B1 (ko) * 2013-07-15 2020-07-22 삼성전자 주식회사 영상 처리 장치, 영상 처리 시스템 및 영상 처리 방법
US10147350B2 (en) * 2013-07-26 2018-12-04 Darwin Hu Method and apparatus for increasing perceived display resolutions from an input image
US10313765B2 (en) 2015-09-04 2019-06-04 At&T Intellectual Property I, L.P. Selective communication of a vector graphics format version of a video content item
US10546521B2 (en) * 2017-05-16 2020-01-28 Darwin Hu Resolutions by modulating both amplitude and phase in spatial light modulators

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6847406B2 (en) 2000-12-06 2005-01-25 Koninklijke Philips Electronics N.V. High quality, cost-effective film-to-video converter for high definition television
KR100553893B1 (ko) * 2003-10-14 2006-02-24 삼성전자주식회사 타임 시프트와 움직임 보상을 이용한 프레임 레이트 변환장치 및 그 방법
JP4887727B2 (ja) * 2005-10-20 2012-02-29 ソニー株式会社 画像信号処理装置、カメラシステム、および画像信号処理方法
US8340185B2 (en) * 2006-06-27 2012-12-25 Marvell World Trade Ltd. Systems and methods for a motion compensated picture rate converter
JP4586052B2 (ja) * 2007-08-08 2010-11-24 キヤノン株式会社 画像処理装置及びその制御方法

Also Published As

Publication number Publication date
KR20130028575A (ko) 2013-03-19
US20130063656A1 (en) 2013-03-14
US8836860B2 (en) 2014-09-16

Similar Documents

Publication Publication Date Title
KR101805625B1 (ko) 영상 스케일링을 통한 영상 레이트 변환 방법 및 그 장치
JP4973031B2 (ja) ノイズ抑圧方法、ノイズ抑圧方法のプログラム、ノイズ抑圧方法のプログラムを記録した記録媒体及びノイズ抑圧装置
KR101493325B1 (ko) 정밀 움직임 예측을 기반으로 한 프레임 보간 장치 및 그 방법
US8189105B2 (en) Systems and methods of motion and edge adaptive processing including motion compensation features
US8508661B1 (en) Enhanced deinterlacing using predictors from motion estimation engine
KR102244187B1 (ko) 예외적 움직임에 강인한 비디오 프레임 보간 방법 및 그 장치
JP2005229600A (ja) 重畳されたブロック基盤の動き推定による動き補償補間方法及びそれを適用したフレームレート変換装置
US8615036B2 (en) Generating interpolated frame of video signal with enhancement filter
US20100091183A1 (en) Video conversion apparatus and method, and program
US20100150462A1 (en) Image processing apparatus, method, and program
US8213736B2 (en) Image processing device and image processing method
US8139151B2 (en) Moving image processing apparatus, control method thereof, and program
JP5139086B2 (ja) インターレース方式から非インターレース方式へのビデオデータの変換
US8244055B2 (en) Image processing apparatus and method, and program
US20090324102A1 (en) Image processing apparatus and method and program
US8013935B2 (en) Picture processing circuit and picture processing method
JP4658686B2 (ja) 双方向動きベクトル検出による内挿画像生成装置及びプログラム
JP5372721B2 (ja) 映像信号処理装置、方法及びプログラム
US20120308137A1 (en) Image processing apparatus, image processing method, and program
JP2007288483A (ja) 画像変換装置
Zhao et al. Frame rate up-conversion based on edge information
US8805101B2 (en) Converting the frame rate of video streams
JP5762006B2 (ja) 画像処理装置および画像処理方法
KR100987584B1 (ko) 고해상도 동영상의 효율적 저장을 위한 동영상 변경 시스템및 방법
KR101107255B1 (ko) 움직임이 보상된 보간 화소를 이용한 영상 보간 방법 및 그장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right