KR20180056268A - 영상 처리 장치 및 그 제어 방법 - Google Patents

영상 처리 장치 및 그 제어 방법 Download PDF

Info

Publication number
KR20180056268A
KR20180056268A KR1020160154304A KR20160154304A KR20180056268A KR 20180056268 A KR20180056268 A KR 20180056268A KR 1020160154304 A KR1020160154304 A KR 1020160154304A KR 20160154304 A KR20160154304 A KR 20160154304A KR 20180056268 A KR20180056268 A KR 20180056268A
Authority
KR
South Korea
Prior art keywords
pixel
value
target pixel
target
image processing
Prior art date
Application number
KR1020160154304A
Other languages
English (en)
Other versions
KR102553598B1 (ko
Inventor
최학훈
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020160154304A priority Critical patent/KR102553598B1/ko
Priority to PCT/KR2017/013107 priority patent/WO2018093198A1/en
Priority to US15/816,686 priority patent/US10699384B2/en
Priority to EP17872095.9A priority patent/EP3494541B1/en
Publication of KR20180056268A publication Critical patent/KR20180056268A/ko
Application granted granted Critical
Publication of KR102553598B1 publication Critical patent/KR102553598B1/ko

Links

Images

Classifications

    • G06T5/73—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4007—Interpolation-based scaling, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Abstract

영상 처리 장치 및 그 제어 방법이 개시된다. 본 발명에 따른 영상 처리 장치는 영상 컨텐츠를 입력받는 영상 입력부, 메모리 및 영상 컨텐츠를 구성하는 제1 및 제2 참조 프레임에 기초하여 보간 프레임을 생성하는 프로세서를 포함하며, 프로세서는, 제1 참조 프레임 및 제2 참조 프레임 중 적어도 하나를 구성하는 복수의 픽셀들을 기설정된 기준에 따라 그룹핑하여 메모리에 개별적으로 저장하며, 복수의 픽셀 그룹 중 적어도 하나의 제1 픽셀 그룹에 대해서 기 보간 프레임의 타겟 픽셀 영역을 기준으로 기설정된 써치 레인지(search range)에 대응되는 픽셀 값들을 내부 메모리에 로딩하고, 복수의 픽셀 그룹 중 나머지 제2 픽셀 그룹에 대해서는 기설정된 써치 레인지보다 적은 범위의 픽셀 값들을 내부 메모리에 로딩하여 타겟 픽셀 영역의 픽셀 값을 산출한다. 이에 따라, 영상 처리 장치는 메모리를 효율적으로 사용하면서, 이전 영상 프레임 및 현재 영상 프레임 사이에 삽입될 보간 영상 프레임을 생성할 수 있다.

Description

영상 처리 장치 및 그 제어 방법{Image processing apparatus and controlling method thereof}
본 발명은 영상 처리 장치 및 그 제어 방법에 관한 것으로써, 보다 상세하게는 영상의 모션에 따라 해상도 조절이 가능한 영상 처리 장치 및 그 제어 방법에 관한 것이다.
일반적으로, 움직임 변화량이 큰 영상의 경우, 영상의 번짐, 잔상 발생 등의 모션 블러(Motion Blur) 현상이 발생하는 문제가 있다.
이 같은 문제를 개선하기 위해서, 종래의 영상 처리 장치는 이전 영상 프레임과 현재 영상 프레임의 움직임 변화량에 기초하여 보간 영상 프레임을 생성하고, 생성된 보간 영상 프레임을 이전 영상 프레임 및 현재 영상 프레임 사이에 삽입한다.
이와 같이, 이전 영상 및 현재 영상 사이에 보간 영상 프레임을 생성하여 출력함으로써, 움직임 변화량에 따른 모션 블러 현상이 발생이 크게 발생하는 문제를 개선할 수 있다.
그러나, 이 같은 보간 영상 프레임을 생성하기 위해서는, 많은 양의 메모리가 사용되어야 한다. 특히, 보간 영상 프레임 중 고해상도로 출력되는 영역에 대해서는 보다 많은 양의 메모리가 사용되어야 한다.
따라서, 메모리를 효율적으로 운용하면서, 보간 영상 프레임을 생성하기 위한 방법이 모색되어야 한다.
본 발명은 상술한 필요성에 따라 안출된 것으로, 본 발명의 목적은, 메모리를 효율적으로 이용하면서 이전 영상 프레임 및 현재 영상 프레임 사이에 삽입될 보간 영상 프레임을 생성하도록 함을 목적으로 한다.
이상과 같은 목적을 달성하기 위한 본 발명의 일 실시예에 따른 영상 처리 장치는 영상 컨텐츠를 입력받는 영상 입력부, 메모리 및 상기 영상 컨텐츠를 구성하는 제1 및 제2 참조 프레임에 기초하여 보간 프레임을 생성하는 프로세서를 포함하며, 상기 프로세서는, 상기 제1 참조 프레임 및 상기 제2 참조 프레임 중 적어도 하나를 구성하는 복수의 픽셀들을 기설정된 기준에 따라 그룹핑하여 상기 메모리에 개별적으로 저장하며, 복수의 픽셀 그룹 중 적어도 하나의 제1 픽셀 그룹에 대해서 상기 보간 프레임의 타겟 픽셀 영역을 기준으로 기설정된 써치 레인지(search range)에 대응되는 픽셀 값들을 내부 메모리에 로딩하고, 상기 복수의 픽셀 그룹 중 나머지 제2 픽셀 그룹에 대해서는 상기 기설정된 써치 레인지보다 적은 범위의 픽셀 값들을 상기 내부 메모리에 로딩하여 상기 타겟 픽셀 영역의 픽셀 값을 산출한다.
그리고, 상기 프로세서는, 상기 제1 참조 프레임 및 상기 제2 참조 프레임 중 적어도 하나를 구성하는 복수의 픽셀을 포함하는 복수의 픽셀 블럭으로 구분하고, 상기 복수의 픽셀 블럭 각각에서 대응되는 위치의 픽셀들을 각각 그룹핑하여 상기 메모리에 개별적으로 저장할 수 있다.
또한, 상기 프로세서는, 상기 타겟 픽셀 영역의 모션 크기에 기초하여 상기 제1 참조 프레임 및 상기 제2 참조 프레임 중 적어도 하나의 제1 픽셀 그룹으로부터 대응되는 제1 픽셀 값과 상기 제2 픽셀 그룹으로부터 대응되는 제2 픽셀 값 중 적어도 하나를 획득하여 상기 타겟 픽셀 영역의 픽셀 값을 산출할 수 있다.
그리고, 상기 프로세서는, 상기 타겟 픽셀 영역의 모션 크기가 기설정된 값 미만임에 따라 상기 타겟 픽셀 영역에 대응되는 제2 픽셀 값이 상기 내부 메모리에 로딩되어 있는 경우, 상기 제1 픽셀 값 및 상기 제2 픽셀 값에 기초하여 상기 타겟 픽셀 영역의 픽셀 값을 산출하여 상기 타겟 픽셀 영역을 고해상도로 처리할 수 있다.
또한, 상기 프로세서는, 상기 타겟 픽셀 영역의 모션 크기가 기설정된 값 이상임에 따라 상기 타겟 픽셀 영역에 대응되는 제2 픽셀 값이 상기 내부 메모리에 로딩되어 있지 않은 경우, 상기 제1 픽셀 값에 기초하여 상기 타겟 픽셀 영역의 제2 픽셀 값을 산출하여 상기 타겟 픽셀 영역을 저해상도로 처리할 수 있다.
그리고, 상기 프로세서는, 상기 타겟 픽셀 영역의 모션 크기가 기설정된 값 이상임에 따라 상기 타겟 픽셀 영역에 대응되는 제2 픽셀 값이 상기 내부 메모리에 로딩되어 있지 않은 경우, 대응되는 픽셀 블럭의 제1 픽셀 값 및 적어도 하나의 인접 픽셀 블럭의 제1 픽셀 값에 기초하여 상기 타겟 픽셀 영역의 제2 픽셀 값을 산출할 수 있다.
또한, 상기 프로세서는, 상기 타겟 픽셀 영역의 모션 크기가 기설정된 값 이상임에 따라 상기 타겟 픽셀 영역에 대응되는 제2 픽셀 값이 상기 내부 메모리에 로딩되어 있지 않은 경우, 대응되는 픽셀 블럭의 제1 픽셀 값으로 상기 타겟 픽셀 영역의 제2 픽셀 값을 산출할 수 있다.
그리고, 상기 프로세서는, 상기 제1 참조 프레임 및 상기 제2 참조 프레임 중 적어도 하나를 구성하는 복수의 픽셀을 포함하는 복수의 픽셀 블럭으로 구분하고, 상기 복수의 픽셀 블럭 각각에서 대표 픽셀의 픽셀 값들을 그룹핑하고, 상기 대표 픽셀과 적어도 하나의 나머지 픽셀과의 차이값을 각각 그룹핑하여 상기 메모리에 개별적으로 저장할 수 있다.
또한, 상기 프로세서는, 상기 타겟 픽셀 영역의 모션 크기가 기설정된 값 미만임에 따라 상기 타겟 픽셀 영역에 대응되는 대표 픽셀과 적어도 하나의 나머지 픽셀과의 차이값이 상기 내부 메모리에 로딩되어 있는 경우, 상기 대표 픽셀의 픽셀 값과 상기 적어도 하나의 나머지 픽셀의 차이값에 기초하여 상기 적어도 하나의 나머지 픽셀의 픽셀 값을 산출하고, 상기 대표 픽셀의 픽셀 값 및 상기 산출된 적어도 하나의 나머지 픽셀의 픽셀 값에 기초하여 상기 타겟 픽셀 영역의 픽셀 값을 산출하여 상기 타겟 픽셀 영역을 고해상도로 처리할 수 있다.
한편, 본 발명의 또다른 실시 예에 따르면, 영상 처리 장치의 제어 방법은, 영상 컨텐츠를 입력받는 단계 및 상기 영상 컨텐츠를 구성하는 제1 및 제2 참조 프레임에 기초하여 보간 프레임을 생성하는 단계를 포함하며, 상기 생성하는 단계는, 상기 제1 및 제2 참조 프레임 중 적어도 하나를 구성하는 복수의 픽셀들을 기설정된 기준에 따라 그룹핑하여 메모리에 개별적으로 저장하는 단계, 복수의 픽셀 그룹 중 적어도 하나의 제1 픽셀 그룹에 대해서 상기 보간 프레임의 타겟 픽셀 영역을 기준으로 기설정된 써치 레인지(search range)에 대응되는 픽셀 값들을 내부 메모리에 로딩하는 단계, 상기 복수의 픽셀 그룹 중 나머지 제2 픽셀 그룹에 대해서는 상기 기설정된 써치 레인지보다 적은 범위의 픽셀 값들을 상기 내부 메모리에 로딩하는 단계, 상기 내부 메모리에 로딩된 제1 및 제2 픽셀 그룹 중 적어도 하나에 기초하여 상기 영상 컨텐츠를 구성하는 제1 및 제2 참조 프레임에 대한 보간 프레임의 픽셀 값을 산출하는 단계 및 상기 산출된 픽셀 값에 기초하여 상기 보간 프레임에 대한 영상 처리를 수행하는 단계를 포함한다.
그리고, 상기 저장하는 단계는, 상기 제1 참조 프레임 및 상기 제2 참조 프레임 중 적어도 하나를 구성하는 복수의 픽셀을 포함하는 복수의 픽셀 블럭으로 구분하고, 상기 복수의 픽셀 블럭 각각에서 대응되는 위치의 픽셀들을 각각 그룹핑하여 상기 메모리에 개별적으로 저장할 수 있다.
또한, 상기 산출하는 단계는, 상기 타겟 픽셀 영역의 모션 크기에 기초하여 상기 제1 참조 프레임 및 상기 제2 참조 프레임 중 적어도 하나의 제1 픽셀 그룹으로부터 대응되는 제1 픽셀 값과 상기 제2 픽셀 그룹으로부터 대응되는 제2 픽셀 값 중 적어도 하나를 획득하여 상기 타겟 픽셀 영역의 픽셀 값을 산출할 수 있다.
그리고, 상기 영상 처리를 수행하는 단계는, 상기 타겟 픽셀 영역의 모션 크기가 기설정된 값 미만임에 따라 상기 타겟 픽셀 영역에 대응되는 제2 픽셀 값이 상기 내부 메모리에 로딩되어 있는 경우, 상기 제1 픽셀 값 및 상기 제2 픽셀 값에 기초하여 상기 타겟 픽셀 영역의 픽셀 값을 산출하여 상기 타겟 픽셀 영역을 고해상도로 처리할 수 있다.
또한, 상기 영상 처리를 수행하는 단계는, 상기 타겟 픽셀 영역의 모션 크기가 기설정된 값 이상임에 따라 상기 타겟 픽셀 영역에 대응되는 제2 픽셀 값이 상기 내부 메모리에 로딩되어 있지 않은 경우, 상기 제1 픽셀 값에 기초하여 상기 타겟 픽셀 영역의 제2 픽셀 값을 산출하여 상기 타겟 픽셀 영역을 저해상도로 처리할 수 있다.
그리고, 상기 산출하는 단계는, 상기 타겟 픽셀 영역의 모션 크기가 기설정된 값 이상임에 따라 상기 타겟 픽셀 영역에 대응되는 제2 픽셀 값이 상기 내부 메모리에 로딩되어 있지 않은 경우, 대응되는 픽셀 블럭의 제1 픽셀 값 및 적어도 하나의 인접 픽셀 블럭의 제1 픽셀 값에 기초하여 상기 타겟 픽셀 영역의 제2 픽셀 값을 산출할 수 있다.
또한, 상기 산출하는 단계는, 상기 타겟 픽셀 영역의 모션 크기가 기설정된 값 이상임에 따라 상기 타겟 픽셀 영역에 대응되는 제2 픽셀 값이 상기 내부 메모리에 로딩되어 있지 않은 경우, 대응되는 픽셀 블럭의 제1 픽셀 값으로 상기 타겟 픽셀 영역의 제2 픽셀 값을 산출할 수 있다.
그리고, 상기 저장하는 단계는, 상기 제1 참조 프레임 및 상기 제2 참조 프레임 중 적어도 하나를 구성하는 복수의 픽셀을 포함하는 복수의 픽셀 블럭으로 구분하고, 상기 복수의 픽셀 블럭 각각에서 대표 픽셀의 픽셀 값들을 그룹핑하고, 상기 대표 픽셀과 적어도 하나의 나머지 픽셀과의 차이값을 각각 그룹핑하여 상기 메모리에 개별적으로 저장할 수 있다
또한, 상기 산출하는 단계는, 상기 타겟 픽셀 영역의 모션 크기가 기설정된 값 미만임에 따라 상기 타겟 픽셀 영역에 대응되는 대표 픽셀과 적어도 하나의 나머지 픽셀과의 차이값이 상기 내부 메모리에 로딩되어 있는 경우, 상기 대표 픽셀의 픽셀 값과 상기 적어도 하나의 나머지 픽셀의 차이값에 기초하여 상기 적어도 하나의 나머지 픽셀의 픽셀 값을 산출하고, 상기 영상 처리를 수행하는 단계는, 상기 대표 픽셀의 픽셀 값 및 상기 산출된 적어도 하나의 나머지 픽셀의 픽셀 값에 기초하여 상기 타겟 픽셀 영역의 픽셀 값을 산출하여 상기 타겟 픽셀 영역을 고해상도로 처리할 수 있다.
이상과 같이, 본 발명에 따르면, 영상 처리 장치는 메모리를 효율적으로 사용하면서, 이전 영상 프레임 및 현재 영상 프레임 사이에 삽입될 보간 영상 프레임을 생성할 수 있다.
도 1은 본 발명의 일 실시예에 따른 영상 처리 장치의 개략적인 블럭도,
도 2는 본 발명의 일 실시예에 따른 프로세서에 대한 세부 블럭도,
도 3은 본 발명의 일 실시예에 따른 참조 프레임을 복수의 픽셀 블럭으로 구분하는 예시도,
도 4는 본 발명의 일 실시예에 따른 참조 프레임에서 복수의 픽셀을 포함하는 복수의 픽셀 블럭을 나타내는 예시도,
도 5는 본 발명의 일 실시예에 따른 영상 처리 장치에서 보간 프레임의 타겟 픽셀 영역의 모션 크기에 따라 내부 메모리에 로딩된 픽셀 값을 이용하는 제1 예시도,
도 6은 본 발명의 또다른 실시예에 따른 영상 처리 장치에서 보간 프레임의 타겟 픽셀 영역의 모션 크기에 따라 내부 메모리에 로딩된 픽셀 값을 이용하는 제2 예시도,
도 7은 본 발명의 일 실시예에 따른 영상 처리 장치에서 복수의 픽셀들을 그룹핑하여 메모리에 저장하는 예시도,
도 8은 본 발명의 일 실시예에 따른 영상 처리 장치에서 타겟 픽셀 영역을 고해상도로 영상 처리하는 예시도,
도 9는 본 발명의 일 실시예에 따른 영상 처리 장치에서 저해상도로 타겟 픽셀 영역의 영상 처리를 수행하기 위한 제1 예시도,
도 10은 본 발명의 또다른 실시예에 따른 영상 처리 장치에서 저해상도록 타겟 픽셀 영역의 영상 처리를 수행하기 위한 제2 예시도,
도 11은 본 발명의 일 실시예에 따른 영상 처리 장치의 세부 블록도,
도 12는 본 발명의 일 실시예에 따른 영상 처리 장치의 제어 방법에 대한 흐름도,
도 13은 본 발명의 일 실시예에 따른 영상 처리 장치에서 보간 프레임을 생성하는 방법의 흐름도,
도 14는 본 발명의 일 실시예에 따른 영상 처리 장치에서 보간 프레임의 타겟 픽셀 영역에 대한 영상 처리를 수행하는 방법의 흐름도이다.
본 발명에 대하여 구체적으로 설명하기에 앞서, 본 명세서 및 도면의 기재 방법에 대하여 설명한다.
먼저, 본 명세서 및 청구범위에서 사용되는 용어는 본 발명의 다양한 실시 예들에서의 기능을 고려하여 일반적인 용어들을 선택하였다.　 하지만, 이러한 용어들은 당 분야에 종사하는 기술자의 의도나 법률적 또는 기술적 해석 및 새로운 기술의 출현 등에 따라 달라질 수 있다.　 또한, 일부ㄹ 용어는 출원인이 임의로 선정한 용어도 있다.　 이러한 용어에 대해서는 본 명세서에서 정의된 의미로 해석될 수 있으며, 구체적인 용어 정의가 없으면 본 명세서의 전반적인 내용 및 당해 기술 분야의 통상적인 기술 상식을 토대로 해석될 수도 있다.
또한, 본 명세서에 첨부된 각 도면에 기재된 동일한 참조번호 또는 부호는 실질적으로 동일한 기능을 수행하는 부품 또는 구성요소를 나타낸다.　 설명 및 이해의 편의를 위해서 서로 다른 실시 예들에서도 동일한 참조번호 또는 부호를 사용하여 설명한다.　 즉, 복수의 도면에서 동일한 참조 번호를 가지는 구성요소를 모두 도시되어 있다고 하더라도, 복수의 도면들이 하나의 실시 예를 의미하는 것은 아니다.
또한, 본 명세서 및 청구범위에서는 구성요소들 간의 구별을 위하여 "제1", "제2" 등과 같이 서수를 포함하는 용어가 사용될 수 있다.　 이러한 서수는 동일 또는 유사한 구성요소들을 서로 구별하기 위하여 사용하는 것이며 이러한 서수 사용으로 인하여 용어의 의미가 한정 해석되어서는 안된다.　 일 예로, 이러한 서수와 결합된 구성요소는 그 숫자에 의해 사용 순서나 배치 순서 등이 제한되어서는 안된다.　 필요에 따라서는, 각 서수들은 서로 교체되어 사용될 수도 있다.
본 명세서에서 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.　 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 발명의 실시 예에서　 "모듈", "유닛", "부(part)" 등과 같은 용어는 적어도 하나의 기능이나 동작을 수행하는 구성요소를 지칭하기 위한 용어이며, 이러한 구성요소는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.　 또한, 복수의 "모듈", "유닛", "부(part)" 등은 각각이 개별적인 특정한 하드웨어로 구현될 필요가 있는 경우를 제외하고는, 적어도 하나의 모듈이나 칩으로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.
또한, 본 발명의 실시 예에서, 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적인 연결뿐 아니라, 다른 매체를 통한 간접적인 연결의 경우도 포함한다.　 또한 어떤 부분이 어떤 구성요소를 포함한다는 의미는, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하, 본 발명의 다양한 실시 예를 첨부된 도면을 참조하여 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 영상 처리 장치의 개략적인 블럭도이다.
도 1에 도시된 바와 같이 영상 처리 장치(100)는 예를 들어, 외부로부터 컨텐츠를 수신하여 디스플레이 장치로 출력하는 셋탑 박스가 될 수 있다. 그러나, 본 발명은 이에 한정되지 않으며, 영상 처리 장치(100)는 내부적으로 외부로부터 수신된 컨텐츠를 영상 처리하여 출력하는 스마트 폰, 스마트 TV와 같은 디스플레이 장치가 될 수 있다.
이 같은 영상 처리 장치(100)는 영상 입력부(110), 메모리(120), 프로세서(130)를 포함한다. 영상 입력부(110)는 컨텐츠 서버(미도시)로부터 출력된 영상 컨텐츠를 입력받거나, 혹은 영상 처리 장치(100)와 물리적으로 연결된 저장 매체에 저장된 컨텐츠를 입력받을 수 있다.
메모리(120)는 영상 입력부(110)를 통해 입력된 영상 컨텐츠를 프레임 단위로 저장한다. 이 같은 메모리(120)는 실시예에 따라, DDR(Double Data Rate) 램이 될 수 있다. 이 같이, 영상 컨텐츠를 프레임 단위로 저장하는 메모리(120)는 기저장된 영상 프레임에 대해서, 영상 프레임별로 영상 프레임을 구성하는 복수의 픽셀들을 기설정된 기준에 따라 그룹핑하여 저장한다.
프로세서(130)는 영상 컨텐츠를 구성하는 복수의 영상 프레임 중 제1 및 제2 참조 프레임에 기초하여 보간 프레임을 생성한다. 여기서, 제1 참조 프레임은 이전 영상 프레임이 될 수 있으며, 제2 참조 프레임은 현재 영상 프레임이 될 수 있다. 따라서, 프로세서(130)는 영상 컨텐츠를 구성하는 복수의 영상 프레임 중 이전 영상 프레임에 해당하는 제1 참조 프레임 및 현재 영상 프레임에 해당하는 제2 참조 프레임에 기초하여 제1 및 제2 참조 프레임 사이에 삽입될 보간 프레임을 생성할 수 있다.
이 같은 보간 프레임은 제1 및 제2 참조 프레임에 대한 영상 출력 시, 모션의 변화에 따라 발생하는 모션 블러(Motion Blur) 등의 아티팩트 현상이 발생하는 문제를 개선하기 위해서 이용된다.
구체적으로, 프로세서(130)는 제1 및 제2 참조 프레임 중 적어도 하나를 구성하는 복수의 픽셀들을 기설정된 기준에 따라 그룹핑하여 메모리(120)에 저장한다.
구체적으로, 프로세서(130)는 제1 및 제2 참조 프레임 중 적어도 하나를 구성하는 복수의 픽셀을 포함하는 복수의 픽셀 블럭으로 구분하고, 복수의 픽셀 블럭 각각에 대응되는 위치의 픽셀들을 각각 그룹핑하여 메모리(120)에 개별적으로 저장할 수 있다.
이 경우, 프로세서(130)는 메모리(120)에 기저장된 복수의 픽셀 그룹 중 적어도 하나의 제1 픽셀 그룹에 대해서 제1 및 제2 참조 프레임 사이에 삽입될 보간 프레임의 타겟 픽셀 영역을 기준으로 기설정된 써치 레인지(Search Range)에 대응되는 픽셀 값들을 롬(Rom)과 같은 내부 메모리에 로딩한다.
또한, 프로세서(130)는 메모리(120)에 기저장된 복수의 픽셀 그룹 중 나머지 제2 픽셀 그룹에 대해서는 기설정된 써치 레인지보다 적은 범위의 픽셀 값들을 내부 메모리에 로딩한다.
실시예에 따라, 프로세서(130)는 메모리(120)에 기저장된 복수의 픽셀 그룹 중 나머지 제2 픽셀 그룹에 대해서, 기설정된 써치 레인지의 50%에 해당하는 범위의 픽셀 값들을 내부 메모리에 로딩할 수 있다. 그러나, 본 발명은 이에 한정되지 않으며, 프로세서(130)는 메모리(120)에 기저장된 복수의 픽셀 그룹 중 나머지 제2 픽셀 그룹에 대해서, 기설정된 써치 레인지를 기준으로 개발자 혹은 사용자에 의해 설정된 범위에 해당하는 픽셀 값들을 내부 메모리에 로딩할 수 있다.
이후, 프로세서(130)는 내부 메모리에 로딩된 제1 및 제2 픽셀 그룹 중 적어도 하나에 기초하여 보간 프레임의 타겟 픽셀 영역에 대한 픽셀 값을 산출하고, 산출된 픽셀 값에 기초하여 타겟 픽셀 영역에 대한 영상 처리를 수행한다.
구체적으로, 프로세서(130)는 보간 프레임의 타겟 픽셀 영역의 모션 크기에 기초하여, 내부 메모리에 기저장된 제1 및 제2 참조 프레임 중 적어도 하나의 제1 픽셀 그룹으로부터 대응되는 제1 픽셀 값 및 제2 픽셀 그룹으로부터 대응되는 제2 픽셀 값 중 적어도 하나를 획득하여 타겟 픽셀 영역의 픽셀 값을 산출할 수 있다.
실시예에 따라, 프로세서(130)는 타겟 픽셀 영역의 모션 크기가 기설정된 값 미만임에 따라, 타겟 픽셀 영역에 대응되는 제2 픽셀 값이 내부 메모리에 로딩되어 있는 경우, 타겟 픽셀 영역에 대응되는 제1 픽셀 값 및 제2 픽셀 값에 기초하여 타겟 픽셀 영역의 픽셀 값을 산출하고, 산출된 타겟 픽셀 영역의 픽셀 값에 기초하여 타겟 픽셀 영역을 고해상도로 처리한다.
구체적으로, 프로세서(130)는 제1 및 제2 참조 프레임을 구성하는 복수의 픽셀별 모션 벡터에 기초하여 보간 프레임의 타겟 픽셀 영역의 모션 크기를 산출할 수 있다. 따라서, 프로세서(130)는 기산출된 보간 프레임의 타겟 픽셀 영역이 모션 크기가 기설정된 값 미만임에 따라, 타겟 픽셀 영역에 대응되는 제2 픽셀 값이 내부 메모리에 로딩되어 있는 경우, 타겟 픽셀 영역에 대응되는 제1 픽셀 값 및 제2 픽셀 값에 기초하여 타겟 픽셀 영역의 픽셀 값을 산출하고, 산출된 타겟 픽셀 영역의 픽셀 값에 기초하여 타겟 픽셀 영역을 고해상도로 영상 처리할 수 있다.
한편, 프로세서(130)는 타겟 픽셀 영역의 모션 크기가 기설정된 값 이상임에 따라, 타겟 픽셀 영역에 대응되는 제2 픽셀 값이 내부 메모리에 로딩되어 있지 않은 경우, 타겟 픽셀 영역에 대응되는 제1 픽셀 값에 기초하여 타겟 픽셀 영역의 픽셀 값을 산출하고, 산출된 타겟 픽셀 영역의 픽셀 값에 기초하여 타겟 픽셀 영역을 저해상도로 처리한다.
즉, 프로세서(130)는 타겟 픽셀 영역의 모션 크기가 기설정된 값 이상임에 따라, 타겟 픽셀 영역에 대응되는 제2 픽셀 값이 내부 메모리에 로딩되어 있지 않은 경우, 타겟 픽셀 영역에 대응되는 제1 픽셀 값에 기초하여 타겟 픽셀 영역에 대응되는 제2 픽셀 값을 산출한다.
일 실시예에 따라, 프로세서(130)는 타겟 픽셀 영역의 모션 크기가 기설정된 값 이상임에 따라, 타겟 픽셀 영역에 대응되는 제2 픽셀 값이 내부 메모리에 로딩되어 있지 않은 경우, 타겟 픽셀 영역에 대응되는 픽셀 블럭의 제1 픽셀 값 및 적어도 하나의 인접 픽셀 블럭의 제1 픽셀 값에 기초하여 타겟 픽셀 영역의 제2 픽셀 값을 산출할 수 있다.
또다른 실시예에 따라, 프로세서(130)는 타겟 픽셀 영역의 모션 크기가 기설정된 값 이상임에 따라 타겟 픽셀 영역에 대응되는 제2 픽셀 값이 내부 메모리에 로딩되어 있지 않은 경우, 타겟 픽셀 영역에 대응되는 픽셀 블럭의 제1 픽셀 값으로 타겟 픽셀 영역의 제2 픽셀 값을 산출할 수 있다.
이 같이, 타겟 영역에 대응되는 픽셀 값이 산출되면, 프로세서(130)는 산출된 타겟 픽셀 영역의 픽셀 값에 기초하여 타겟 픽셀 영역을 저해상도록 처리할 수 있다.
한편, 프로세서(130)는 전술한 바와 같이, 제1 및 제2 참조 프레임 중 적어도 하나를 구성하는 복수의 픽셀들을 다음과 같은 실시예를 통해 메모리(120)에 개별적으로 저장할 수 있다.
구체적으로, 프로세서(130)는 제1 및 제2 참조 프레임 중 적어도 하나를 구성하는 복수의 픽셀을 포함하는 복수의 픽셀 블럭으로 구분하고, 복수의 픽셀 블럭 각각에서 대표 픽셀의 픽셀 값들을 그룹핑한다. 이후, 프로세서(130)는 대표 픽셀과 적어도 하나의 나머지 픽셀과의 차이값을 각각 그룹핑하여 메모리(120)에 개별적으로 저장할 수 있다.
이 경우, 프로세서(130)는 타겟 픽셀 영역의 모션 크기가 기설정된 값 미만임에 따라 타겟 픽셀 영역에 대응되는 대표 픽셀과 적어도 하나의 나머지 픽셀과의 차이값이 내부 메모리에 로딩되어 있는 경우, 대표 픽셀의 픽셀 값과 적어도 하나의 나머지 픽셀의 차이값에 기초하여 적어도 하나의 나머지 픽셀의 픽셀 값을 산출한다. 이후, 프로세서(130)는 타겟 픽셀 영역에 대응되는 대표 픽셀의 픽셀 값 및 기산출된 적어도 하나의 나머지 픽셀의 픽셀 값에 기초하여 타겟 픽셀 영역의 픽셀 값을 산출하고, 산출된 타겟 픽셀 영역의 픽셀 값에 기초하여 타겟 픽셀 영역을 고해상도로 처리할 수 있다.
한편, 프로세서(130)는 타겟 픽셀 영역의 모션 크기가 기설정된 값 이상임에 따라, 타겟 픽셀 영역에 대응되는 제2 픽셀 값이 내부 메모리에 로딩되어 있지 않은 경우, 전술한 바와 같이, 타겟 픽셀 영역에 대응되는 제1 픽셀 값에 기초하여 타겟 픽셀 영역의 픽셀 값을 산출하고, 산출된 타겟 픽셀 영역의 픽셀 값에 기초하여 타겟 픽셀 영역을 저해상도로 처리할 수 있다.
도 2는 본 발명의 일 실시예에 따른 프로세서에 대한 세부 블럭도이다.
도 2에 도시된 바와 같이, 프로세서(130)는 영상 분리부(131), 영상 제어부(132) 및 영상 병합부(133)를 포함할 수 있다.
영상 분리부(131)는 영상 입력부(110)를 통해 영상 컨텐츠가 입력되면, 입력된 영상 컨텐츠를 구성하는 복수의 영상 프레임 중 적어도 하나를 구성하는 복수의 픽셀들을 기설정된 기준에 따라 그룹핑하여 메모리(120)에 저장한다.
구체적으로, 영상 분리부(131)는 이전 영상 프레임인 제1 참조 프레임 및 현재 영상 프레임인 제2 참조 프레임 중 적어도 하나를 구성하는 복수의 픽셀을 포함하는 복수의 픽셀 블럭으로 구분하고, 복수의 픽셀 블럭 각각에 대응되는 위치의 픽셀들을 각각 그룹핑하여 메모리(120)에 저장한다.
영상 제어부(132)는 메모리(120)에 저장된 각 픽셀 그룹 중 제1 픽셀 그룹에 대해서 보간 프레임의 타겟 픽셀 영역을 기준으로 기설정된 써치 레인지에 대응되는 픽셀 값들을 내부 메모리에 로딩한다. 또한, 영상 제어부(132)는 메모리(120)에 저장된 나머지 제2 픽셀 그룹에 대해서 기설정된 써치 레인지보다 적은 범위의 픽셀 값들을 내부 메모리에 로딩한다.
이후, 영상 제어부(132)는 타겟 픽셀 영역의 모션 크기에 따라, 내부 메모리에 로딩된 제1 픽셀 그룹에 대응되는 제1 픽셀 값 및 제2 픽셀 그룹에 대응되는 제2 픽셀 값 중 적어도 하나를 획득하여 영상 병합부(133)로 출력한다. 이에 따라, 영상 병합부(133)는 제1 픽셀 그룹에 대응되는 제1 픽셀 값 및 제2 픽셀 그룹에 대응되는 제2 픽셀 값 중 적어도 하나에 기초하여 타겟 픽셀 영역의 픽셀 값을 산출하고, 산출된 타겟 픽셀 영역의 픽셀 값에 기초하여 타겟 픽셀 영역을 고해상도 혹은 저해상도로 영상 처리한다.
구체적으로, 영상 제어부(132)는 타겟 픽셀 영역의 모션 크기가 기설정된 값 미만임에 따라 타겟 픽셀 영역에 대응되는 제2 픽셀 값이 내부 메모리에 로딩된 경우, 내부 메모리로부터 타겟 픽셀 영역에 대응되는 제1 픽셀 그룹의 제1 픽셀 값과 타겟 픽셀 영역에 대응되는 제2 픽셀 그룹의 제2 픽셀 값을 획득하여 영상 병합부(133)로 출력한다. 이에 따라, 영상 병합부(133)는 영상 제어부(132)로부터 출력된 픽셀 값에 기초하여 타겟 픽셀 영역을 고해상도로 영상 처리할 수 있다.
한편, 영상 제어부(132)는 타겟 픽셀 영역의 모션 크기가 기설정된 값 이상임에 따라, 타겟 픽셀 영역에 대응되는 제2 픽셀 값이 내부 메모리에 로딩되지 않은 경우, 내부 메모리로부터 타겟 픽셀 영역에 대응되는 제1 픽셀 그룹의 제1 픽셀 값을 획득한다. 이후, 영상 제어부(132)는 획득한 제1 픽셀 값에 기초하여 타겟 픽셀 영역의 제2 픽셀 값을 산출하고, 타겟 픽셀 영역에 대응되는 제1 픽셀 그룹의 제1 픽셀 값과 기산출된 제2 픽셀 값을 영상 병합부(133)로 출력한다. 이에 따라, 영상 병합부(133)는 영상 제어부(132)로 출력된 픽셀 값에 기초하여 타겟 픽셀 영역을 저해상도록 영상 처리할 수 있다.
도 3은 본 발명의 일 실시예에 따른 참조 프레임을 복수의 픽셀 블럭으로 구분하는 예시도이며, 도 4는 본 발명의 일 실시예에 따른 참조 프레임에서 복수의 픽셀을 포함하는 복수의 픽셀 블럭을 나타내는 예시도이다.
도 3에 도시된 바와 같이, 입력된 참조 프레임에서 제1 영역(310)은 이전 참조 프레임과 비교하여 모션 크기가 기설정된 값 미만의 영역이 될 수 있으며, 나머지 제2 영역(320)은 모션 크기가 기설정된 값 이상의 영역이 될 수 있다.
이 같은 참조 프레임이 입력되면, 영상 처리 장치(100)는 입력된 참조 프레임(410)을 복수의 픽셀 블럭 단위로 구분한다. 이 같은 복수의 픽셀 블럭 각각은 복수의 픽셀을 포함한다. 즉, 영상 처리 장치(100)는 영상 내 모션 변화에 따라, 다양한 형태로 픽셀 블럭을 구분할 수 있다.
영상 내 모션 변화가 많은 경우, 도 4에 도시된 바와 같이, 4 x 4와 같은 블럭 단위 형태로 구분할 수 있다. 그러나, 본 발명은 이에 한정되지 않으며, 영상 내 모션 변화가 적은 경우, 영상 처리 장치(100)는 8 x 8, 16 x 16과 같이 상대적으로 큰 블럭 단위로 구분할 수 있다.
이 같은 제1 내지 제4 픽셀을 포함하는 복수의 픽셀 블럭이 구분되면, 영상 처리 장치(100)는 복수의 픽셀 블럭 각각에 대응되는 위치의 픽셀들을 그룹핑하여 메모리(120)에 저장한다.
구체적으로, 영상 처리 장치(100)는 복수의 픽셀 블럭 각각에 포함된 각각의 제1 픽셀을 그룹핑하고, 복수의 픽셀 블럭 각각에 포함된 각각의 제2 픽셀을 그룹핑하여 메모리(120)에 저장한다. 또한, 영상 처리 장치(100)는 복수의 픽셀 블럭 각각에 포함된 각각의 제3 픽셀을 그룹핑하고, 복수의 픽셀 블럭 각각에 포함된 각각의 제4 픽셀을 그룹핑하여 메모리(120)에 저장한다.
따라서, 메모리(120)는 복수의 픽셀 블럭 각각에 포함된 제1 픽셀에 대한 제1 픽셀 그룹, 복수의 픽셀 블럭 각각에 포함된 제2 픽셀에 대한 제2 픽셀 그룹, 복수의 픽셀 블럭 각각에 포함된 제3 픽셀에 대한 제3 픽셀 그룹 및 복수의 픽셀 블럭 각각에 포함된 제4 픽셀에 대한 제4 픽셀 그룹을 저장할 수 있다.
따라서, 영상 처리 장치(100)의 프로세서(130)는 메모리(120)에 저장된 제1 내지 제4 픽셀 그룹 중 제1 픽셀 그룹에 대해서 보간 프레임의 타겟 픽셀 영역을 기준으로 기설정된 써치 레인지에 대응되는 픽셀 값들을 내부 메모리에 로딩하고, 메모리(120)에 저장된 나머지 픽셀 그룹에 대해서 기설정된 써치 레인지보다 적은 범위의 픽셀 값들을 내부 메모리에 로딩할 수 있다.
이하에서는, 본 발명에 따른 영상 처리 장치(100)에서 보간 프레임의 타겟 픽셀 영역의 모션 크기에 따라 해당 타겟 픽셀 영역을 저해상도 또는 고해상도로 영상 처리하는 동작에 대해서 구체적으로 설명하도록 한다.
도 5는 본 발명의 일 실시예에 따른 영상 처리 장치에서 보간 프레임의 타겟 픽셀 영역의 모션 크기에 따라 내부 메모리에 로딩된 픽셀 값을 이용하는 제1 예시도이며, 도 6은 본 발명의 또다른 실시예에 따른 영상 처리 장치에서 보간 프레임의 타겟 픽셀 영역의 모션 크기에 따라 내부 메모리에 로딩된 픽셀 값을 이용하는 제2 예시도이다.
도 5에 도시된 바와 같이, 영상 처리 장치(100)는 이전 영상 프레임인 제1 참조 프레임과 현재 영상 프레임인 제2 참조 프레임 사이에 삽입할 보간 프레임의 타겟 픽셀 영역(510)에 대한 영상 처리를 수행하기 위해서 다음과 같은 동작을 수행할 수 있다.
구체적으로, 영상 처리 장치(100)는 보간 프레임의 타겟 픽셀 영역(510)에 대한 영상 처리를 수행하기 위해서, 메모리(120)에 저장된 이전 영상 프레임인 제1 참조 프레임에 대한 복수의 픽셀 그룹 중 제1 픽셀 그룹에 대해서 타겟 픽셀 영역(510)을 기준으로 기설정된 써치 레인지에 대응되는 픽셀 값(520)을 내부 메모리에 로딩한다. 그리고, 영상 처리 장치(100)는 메모리(120)에 저장된 이전 영상 프레임인 제1 참조 프레임에 대한 복수의 픽셀 그룹 중 나머지 제2 픽셀 그룹에 대해서 기설정된 써치 레인지보다 적은 범위의 픽셀 값(521)을 내부 메모리에 로딩한다.
마찬가지로, 영상 처리 장치(100)는 보간 프레임의 타겟 픽셀 영역(510)에 대한 영상 처리를 수행하기 위해서, 메모리(120)에 저장된 현재 영상 프레임인 제2 참조 프레임에 대한 복수의 픽셀 그룹 중 제1 픽셀 그룹에 대해서 타겟 픽셀 영역(510)을 기준으로 기설정된 써치 레인지에 대응되는 픽셀 값(530)을 내부 메모리에 로딩한다. 그리고, 영상 처리 장치(100)는 메모리(120)에 저장된 현재 영상 프레임인 제2 참조 프레임에 대한 복수의 픽셀 그룹 중 나머지 제2 픽셀 그룹에 대해서 기설정된 써치 레인지보다 적은 범위의 픽셀 값(531)을 내부 메모리에 로딩한다.
이후, 영상 처리 장치(100)는 제1 및 제2 참조 프레임 각각을 구성하는 픽셀들 중 타겟 픽셀 영역(510)과 관련된 픽셀별 모션 벡터에 기초하여 타겟 픽셀 영역(510)의 모션 크기를 결정한다. 이후, 영상 처리 장치(100)는 타겟 픽셀 영역(510)의 모션 크기에 기초하여 내부 메모리에 로딩된 제1 및 제2 참조 프레임 중 적어도 하나의 픽셀 값에 기초하여 타겟 픽셀 영역(510)에 대한 픽셀 값을 산출한다.
도시된 바와 같이, 타겟 픽셀 영역(510)의 모션 크기가 기설정된 값 미만인 경우, 내부 메모리에는 제1 및 제2 참조 프레임 각각의 제1 픽셀 그룹으로부터 획득된 픽셀 값과 제2 픽셀 그룹으로부터 획득된 픽셀 값이 로딩되어 저장될 수 있다.
따라서, 영상 처리 장치(100)는 타겟 픽셀 영역(510)의 모션 크기에 기초하여 내부 메모리에 저장된 제1 및 제2 참조 프레임 중 적어도 하나의 제1 픽셀 그룹에 대한 픽셀 값들로부터 타겟 픽셀 영역(510)에 대응되는 제1 픽셀 값을 획득하고, 제2 픽셀 그룹에 대한 픽셀 값들로부터 타겟 픽셀 영역(510)에 대응되는 제2 픽셀 값을 획득할 수 있다.
이와 같이, 타겟 픽셀 영역(510)에 대응되는 제1 및 제2 픽셀 값이 획득되면, 영상 처리 장치(100)는 획득한 제1 및 제2 픽셀 값에 기초하여 타겟 픽셀 영역(510)의 픽셀 값을 산출하고, 산출된 픽셀 값에 기초하여 타겟 픽셀 영역(510)을 고해상도로 영상 처리할 수 있다.
도 6에 도시된 바와 같이, 영상 처리 장치(100)는 이전 영상 프레임인 제1 참조 프레임과 현재 영상 프레임인 제2 참조 프레임 사이에 삽입할 보간 프레임의 타겟 픽셀 영역(610)에 대한 영상 처리를 수행하기 위해서 다음과 같은 동작을 수행할 수 있다.
구체적으로, 영상 처리 장치(100)는 보간 프레임의 타겟 픽셀 영역(610)에 대한 영상 처리를 수행하기 위해서, 메모리(120)에 저장된 이전 영상 프레임인 제1 참조 프레임에 대한 복수의 픽셀 그룹 중 제1 픽셀 그룹에 대해서 타겟 픽셀 영역(610)을 기준으로 기설정된 써치 레인지에 대응되는 픽셀 값(620)을 내부 메모리에 로딩한다. 그리고, 영상 처리 장치(100)는 메모리(120)에 저장된 이전 영상 프레임인 제1 참조 프레임에 대한 복수의 픽셀 그룹 중 나머지 제2 픽셀 그룹에 대해서 기설정된 써치 레인지보다 적은 범위의 픽셀 값(621)을 내부 메모리에 로딩한다.
마찬가지로, 영상 처리 장치(100)는 보간 프레임의 타겟 픽셀 영역(610)에 대한 영상 처리를 수행하기 위해서, 메모리(120)에 저장된 현재 영상 프레임인 제2 참조 프레임에 대한 복수의 픽셀 그룹 중 제1 픽셀 그룹에 대해서 타겟 픽셀 영역(610)을 기준으로 기설정된 써치 레인지에 대응되는 픽셀 값(630)을 내부 메모리에 로딩한다. 그리고, 영상 처리 장치(100)는 메모리(120)에 저장된 현재 영상 프레임인 제2 참조 프레임에 대한 복수의 픽셀 그룹 중 나머지 제2 픽셀 그룹에 대해서 기설정된 써치 레인지보다 적은 범위의 픽셀 값(631)을 내부 메모리에 로딩한다.
이후, 영상 처리 장치(100)는 제1 및 제2 참조 프레임 각각을 구성하는 픽셀들 중 타겟 픽셀 영역(610)과 관련된 픽셀별 모션 벡터에 기초하여 타겟 픽셀 영역(610)의 모션 크기를 결정한다. 이후, 영상 처리 장치(100)는 타겟 픽셀 영역(610)의 모션 크기에 기초하여 내부 메모리에 로딩된 제1 및 제2 참조 프레임 중 적어도 하나의 픽셀 값에 기초하여 타겟 픽셀 영역(510)에 대한 픽셀 값을 산출한다.
도시된 바와 같이, 타겟 픽셀 영역(610)의 모션 크기가 기설정된 값 이상인 경우, 내부 메모리에는 제1 및 제2 참조 프레임 각각의 제1 픽셀 그룹으로부터 획득된 픽셀 값이 로딩되어 저장될 수 있다.
따라서, 영상 처리 장치(100)는 타겟 픽셀 영역(610)의 모션 크기에 기초하여 내부 메모리에 저장된 제1 및 제2 참조 프레임 중 적어도 하나의 제1 픽셀 그룹에 대한 픽셀 값들로부터 타겟 픽셀 영역(610)에 대응되는 제1 픽셀 값을 획득한다. 이후, 영상 처리 장치(100)는 기획득한 타겟 픽셀 영역(610)에 대응되는 제1 픽셀 값에 기초하여 타겟 픽셀 영역(610)에 대응되는 제2 픽셀 값을 산출한다.
이와 같이, 타겟 픽셀 영역(610)에 대응되는 제1 픽셀 값이 획득되고, 제1 픽셀 값에 기초하여 제2 픽셀 값이 산출되면, 영상 처리 장치(100)는 제1 및 제2 픽셀 값에 기초하여 타겟 픽셀 영역(610)의 픽셀 값을 산출하고, 산출된 픽셀 값에 기초하여 타겟 픽셀 영역(610)을 저해상도로 영상 처리할 수 있다.
도 7은 본 발명의 일 실시예에 따른 영상 처리 장치에서 복수의 픽셀들을 그룹핑하여 메모리에 저장하는 예시도이다.
도 7에 도시된 바와 같이, 영상 처리 장치(100)는 영상 컨텐츠를 구성하는 복수의 영상 프레임 중 제1 영상 프레임이 입력되면, 입력된 제1 영상 프레임을 구성하는 복수의 픽셀들을 픽셀 블럭 단위로 구분한다.
도시된 바와 같이, 제1 픽셀 블럭(720)을 포함하는 복수의 픽셀 블럭은 제1 내지 제4 픽셀을 포함할 수 있다. 이 경우, 영상 처리 장치(100)는 복수의 픽셀 블럭 각각에 대표 픽셀을 동일 그룹으로 그룹핑하고, 대표 픽셀과 나머지 픽셀과의 차이값을 그룹핑하여 메모리(120)에 저장한다.
구체적으로, 제1 픽셀 블럭(720)의 경우, 영상 처리 장치(100)는 제1 픽셀 블럭(720) 내 포함된 제1 내지 제4 픽셀 중 제1 픽셀을 대표 픽셀로 설정할 수 있다. 제1 픽셀이 대표 픽셀로 설정되면, 영상 처리 장치(100)는 웨이블릿(Wavelet) 변환(721)을 통해 제1 픽셀과 제2 픽셀 간의 차이값, 제1 픽셀과 제3 픽셀 간의 차이값, 제1 픽셀과 제4 픽셀 간의 차이값을 산출한다. 이에 따라, 영상 처리 장치(100)는 웨이블릿 변환(721)을 통해 제1 내지 제4 픽셀의 픽셀 값을 포함하는 제1 픽셀 블럭(720)에서 대표 픽셀인 제1 픽셀의 픽셀 값과, 제1 픽셀과 나머지 픽셀 간의 차이값을 포함하는 새로운 제1-1 픽셀 블럭(723)을 생성할 수 있다.
이와 같이, 영상 처리 장치(100)는 나머지 픽셀 블럭에 대해서도 제1 픽셀 블럭(720)과 동일한 방식을 통해 대표 픽셀인 제1 픽셀과 나머지 픽셀 간의 차이값을 산출하고, 산출된 값에 기초하여 새로운 픽셀 블럭을 생성할 수 있다.
이후, 영상 처리 장치(100)는 제1-1 픽셀 블럭(723)을 포함하는 복수의 픽셀 블럭 내 포함된 대표 픽셀을 제1 픽셀 그룹으로 그룹핑하고, 나머지 픽셀 별 차이값을 동일한 그룹으로 그룹핑하여 메모리(120)에 저장한다. 즉, 영상 처리 장치(100)는 제1 픽셀 블럭(720)을 포함하는 복수의 픽셀 블럭 각각에 대응되는 대표 픽셀들을 제1 픽셀 그룹으로 그룹핑하여 메모리(120)에 저장한다. 또한, 영상 처리 장치(100)는 복수의 픽셀 블럭 각각에 대응되는 위치의 제2 픽셀과 관련하여 산출된 차이값들을 제2 픽셀 그룹으로 그룹핑하고, 복수의 픽셀 블럭 각각에 대응되는 위치의 제3 픽셀과 관련하여 산출된 차이값들을 제3 픽셀 그룹으로 그룹핑하며, 복수의 픽셀 블럭 각각에 대응되는 위치의 제4 픽셀과 관련하여 산출된 차이값들을 제4 픽셀 그룹으로 그룹핑하여 메모리(120)에 저장한다.
그러나, 본 발명은 이에 한정되지 않으며, 영상 처리 장치(100)는 제1 픽셀 블럭(720)을 포함하는 복수의 픽셀 블럭에 포함된 각 픽셀들 중 동일한 위치에 있는 픽셀들을 그룹핑하여 메모리(120)에 저장할 수 있다. 즉, 영상 처리 장치(100)는 제1 픽셀 블럭(720)을 포함하는 복수의 픽셀 블럭 각각에 대응되는 위치의 제1 픽셀들을 제1 픽셀 그룹으로 그룹핑하고, 복수의 픽셀 블럭 각각에 대응되는 위치의 제2 픽셀들을 제2 픽셀 그룹으로 그룹핑하여 메모리(120)에 저장한다. 또한, 영상 처리 장치(100)는 복수의 픽셀 블럭 각각에 대응되는 위치의 제3 픽셀들을 제3 픽셀 그룹으로 그룹핑하며, 복수의 픽셀 블럭 각각에 대응되는 위치의 제4 픽셀들을 제4 픽셀 그룹으로 그룹핑하여 메모리(120)에 저장할 수 있다.
도 8은 본 발명의 일 실시예에 따른 영상 처리 장치에서 타겟 픽셀 영역을 고해상도로 영상 처리하는 예시도이다.
도 8에 도시된 바와 같이, 보간 프레임의 타겟 픽셀 영역의 모션 크기가 기설정된 값 미만인 경우, 영상 처리 장치(100)는 타겟 픽셀 영역과 대응되는 대표 픽셀의 제1 픽셀 값 및 대표 픽셀과 관련된 나머지 제2 픽셀 값을 내부 메모리로부터 획득할 수 있다. 여기서, 나머지 제2 픽셀 값은 픽셀 블럭에 포함된 복수의 픽셀 중 대표 픽셀인 제1 픽셀과 나머지 픽셀의 차이값이 될 수 있다.
도시된 바와 같이, 타겟 픽셀 영역과 대응되는 대표 픽셀의 제1 픽셀 값과 나머지 픽셀의 차이값이 획득되면, 영상 처리 장치(100)는 인버스 웨이블릿(Inverse Wavelet) 변환을 통해 나머지 픽셀의 픽셀 값을 산출한다. 이후, 영상 처리 장치(100)는 기획득한 대표 픽셀의 제1 픽셀 값과 기산출된 나머지 픽셀의 픽셀 값을 포함하는 픽셀 블럭(822)에 기초하여 타겟 픽셀 영역을 고해상도로 영상 처리할 수 있다.
그러나, 본 발명은 이에 한정되지 않으며, 보간 프레임의 타겟 픽셀 영역의 모션 크기가 기설정된 값 미만인 경우, 영상 처리 장치(100)는 타겟 픽셀 영역과 대응되는 대표 픽셀의 제1 픽셀 값 및 대표 픽셀과 관련된 나머지 픽셀의 제2 픽셀 값을 내부 메모리로부터 획득할 수 있다.
이 같은 제1 및 제2 픽셀 값이 획득되면, 영상 처리 장치(100)는 기획득한 제1 및 제2 픽셀 값에 기초하여 타겟 픽셀 영역을 고해상도록 영상 처리할 수 있다.
한편, 보간 프레임의 타겟 픽셀 영역의 모션 크기가 기설정된 값 이상인 경우, 영상 처리 장치(100)는 다음과 같은 실시예를 통해 타겟 픽셀 영역과 대응되는 대표 픽셀의 픽셀 값을 획득하고, 획득한 대표 픽셀의 픽셀 값에 기초하여 대표 픽셀과 관련된 나머지 픽셀의 픽셀 값을 산출할 수 있다.
도 9는 본 발명의 일 실시예에 따른 영상 처리 장치에서 저해상도로 타겟 픽셀 영역의 영상 처리를 수행하기 위한 제1 예시도이다.
보간 프레임의 타겟 픽셀 영역의 모션 크기가 기설정된 값 이상인 경우, 영상 처리 장치(100)는 내부 메모리 상에서 타겟 픽셀 영역과 대응되는 대표 픽셀의 픽셀 값을 획득할 수 있다.
이 같은 타겟 픽셀 영역과 대응되는 대표 픽셀의 픽셀 값이 획득되면, 영상 처리 장치(100)는 대표 픽셀과 동일한 픽셀 블럭 내에 포함된 나머지 픽셀의 픽셀 값을 대표 픽셀의 픽셀 값에 기초하여 결정할 수 있다.
도 9에 도시된 바와 같이, 제1 픽셀 블럭(910)에 포함된 제1 픽셀(911)은 타겟 픽셀 영역과 대응되는 대표 픽셀일 수 있다. 이 경우, 영상 처리 장치(100)는 제1 픽셀(911)의 픽셀 값을 나머지 제2 내지 제4 픽셀(912~914)의 픽셀 값으로 결정한다.
이 같이, 제1 픽셀 블럭(910)에 포함된 제2 내지 제4 픽셀(912~914)의 픽셀 값이 제1 픽셀의 픽셀 값으로 결정되면, 영상 처리 장치(100)는 제1 내지 제4 픽셀(911~914)의 픽셀 값에 기초하여 타겟 픽셀 영역에 대한 영상 처리를 수행한다. 즉, 제1 픽셀(911)과 동일한 제1 픽셀 블럭(910) 내에 포함된 나머지 제2 내지 제4 픽셀(912~914)은 제1 픽셀(911)의 픽셀 값과 동일한 값으로 설정됨에 따라, 영상 처리 장치(100)는 제1 내지 제4 픽셀(911~914)의 픽셀 값에 기초하여 저해상도의 영상 처리를 수행할 수 있다.
도 10은 본 발명의 또다른 실시예에 따른 영상 처리 장치에서 저해상도록 타겟 픽셀 영역의 영상 처리를 수행하기 위한 제2 예시도이다.
보간 프레임의 타겟 픽셀 영역의 모션 크기가 기설정된 값 이상인 경우, 영상 처리 장치(100)는 내부 메모리 상에서 타겟 픽셀 영역과 대응되는 대표 픽셀의 픽셀 값을 획득할 수 있다.
이 같은 타겟 픽셀 영역과 대응되는 대표 픽셀의 픽셀 값이 획득되면, 영상 처리 장치(100)는 대표 픽셀과 동일한 픽셀 블럭 내에 포함된 나머지 픽셀의 픽셀 값을 대표 픽셀의 픽셀 값에 기초하여 결정할 수 있다.
도 10의 (a)에 도시된 바와 같이, 제1 픽셀 블럭(1010)에 포함된 제1 픽셀(1011)은 타겟 픽셀 영역과 대응되는 대표 픽셀일 수 있다. 이 경우, 영상 처리 장치(100)는 제1 픽셀 블럭(1010)과 인접한 주변 픽셀 블록(1020~1040)들로부터 제1 픽셀 블럭(1010)의 제1 픽셀(1011)과 대응되는 위치의 제1 픽셀(1021~1041)의 픽셀 값을 획득한다.
이후, 영상 처리 장치(100)는 제1 내지 제4 픽셀 블럭(1010~1040)내 서로 대응되는 위치의 제1 픽셀(1011~1041)들의 픽셀 값에 기초하여 제1 픽셀 블럭(1010) 내 포함되는 나머지 픽셀의 픽셀 값을 산출한다.
예를 들어, 영상 처리 장치(100)는 제1 내지 제4 픽셀 블럭(1010~1040)내 서로 대응되는 위치의 제1 픽셀(1011~1041)들의 픽셀 값들의 평균 값을 제1 픽셀 블럭(1010) 내 포함되는 나머지 픽셀의 픽셀 값으로 산출할 수 있다.
이후, 영상 처리 장치(100)는 제1 픽셀 블럭(1010) 내 포함된 제1 픽셀(1011)의 픽셀 값과 기산출된 나머지 픽셀의 픽셀 값에 기초하여 저해상도의 영상 처리를 수행할 수 있다.
한편, 도 10의 (b)에 도시된 바와 같이, 제1 픽셀 블럭(1010')에 포함된 제1 픽셀(1011')은 타겟 픽셀 영역과 대응되는 대표 픽셀일 수 있다. 이 경우, 영상 처리 장치(100)는 제1 픽셀 블럭(1010')과 인접한 제2 내지 제4 픽셀 블록(1020'~1040')으로부터 제1 픽셀 블럭(1010')의 제1 픽셀(1011')과 대응되는 위치의 제1 픽셀(1021'~1041')의 픽셀 값을 획득한다.
이후, 영상 처리 장치(100)는 제2 내지 제4 픽셀 블럭(1020'~1040')으로부터 획득한 제1 픽셀(1021'~1041')의 픽셀 값에 기초하여 제1 픽셀 블럭(1010') 내 포함된 나머지 픽셀들에 대한 픽셀 값을 상이하게 산출할 수 있다.
도시된 바와 같이, 영상 처리 장치(100)는 제1 픽셀 블럭(1010')에 포함된 제1 픽셀(1011')의 픽셀 값과 제1 픽셀 블럭(1010')과 인접한 제2 픽셀 블럭(1020')에 포함된 제1 픽셀의 픽셀 값에 기초하여 제1 픽셀 블럭(1010')에 포함된 제2 픽셀(1012')의 픽셀 값을 산출한다.
그리고, 영상 처리 장치(100)는 제1 픽셀 블럭(1010')에 포함된 제1 픽셀(1011')의 픽셀 값과 제1 픽셀 블럭(1010')과 인접한 제3 픽셀 블럭(1030')에 포함된 제1 픽셀의 픽셀 값에 기초하여 제1 픽셀 블럭(1010')에 포함된 제3 픽셀(1013')의 픽셀 값을 산출한다.
그리고, 영상 처리 장치(100)는 제1 픽셀 블럭(1010')에 포함된 제1 픽셀(1011')의 픽셀 값과 제1 픽셀 블럭(1010')과 인접한 제4 픽셀 블럭(1040')에 포함된 제1 픽셀의 픽셀 값에 기초하여 제1 픽셀 블럭(1010')에 포함된 제4 픽셀(1014')의 픽셀 값을 산출한다.
이후, 영상 처리 장치(100)는 기획득한 제1 픽셀 블럭(1010')에 포함된 제1 픽셀(1011')의 픽셀 값과 기산출된 제1 픽셀 블럭(1010')에 포힘된 제2 내지 제4 픽셀(1012'~1014')의 픽셀 값에 기초하여 저해상도의 영상 처리를 수행할 수 있다.
한편, 전술한 영상 처리 장치(100)가 스마트 폰, 스마트 TV와 같은 디스플레이 장치로 구현될 경우, 전술한 영상 입력부(110), 메모리(120) 및 프로세서(130) 외에 도 11과 같은 구성을 더 포함할 수 있다.
도 11은 본 발명의 일 실시예에 따른 영상 처리 장치의 세부 블록도이다.
도 11에 도시된 바와 같이, 영상 처리 장치(100)가 스마트 폰, 스마트 TV와 같은 디스플레이 장치로 구현될 경우, 영상 처리 장치(100)는 전술한 영상 입력부(110), 메모리(120) 및 프로세서(130) 외에 입력부(140), 통신부(150), 촬영부(160), 감지부(170) 및 출력부(180)를 더 포함할 수 있다.
입력부(140)는 다양한 사용자 명령을 입력받아 프로세서(130)로 전달하기 위한 입력 수단으로써, 마이크(141), 조작부(142), 터치 입력부(143) 및 사용자 입력부(144)를 포함한다.
마이크(141)는 사용자의 음성 명령을 입력받으며, 조작부(142)는 각종 기능키, 숫자키, 특수키, 문자키 등을 구비한 키패드(Key Pad)로 구현될 수 있다.　 그리고, 터치 입력부(143)는 후술할 디스플레이부(181)가 터치 스크린 형태로 구현될 경우, 디스플레이부(181)와 상호 레어어 구조를 이루는 터치 패드로 구현될 수 있다.　 이 경우, 터치 입력부(143)는 디스플레이부(181)를 통해 디스플레이된 다양한 어플리케이션 관련 아이콘 및 실행 중인 어플리케이션에 대한 실행 UI 중 적어도 하나에 대한 선택 명령을 입력받을 수 있다.　
사용자 입력부(144)는 원격 제어 장치와 같은 적어도 하나의 주변 기기(미도시)로부터 영상 처리 장치(100)의 동작을 제어하기 위한 IR 신호 혹은 RF 신호를 입력받을 수 있다.
통신부(150)는 기등록된 복수의 주변 기기(미도시), 컨텐츠 서버(미도시), 웹 서버(미도시) 등과 데이터 통신을 수행하여 영상 컨텐츠를 수신할 수 있다.
이 같은 통신부(150)는 근거리 통신 모듈(151), 무선 랜 모듈 등의 무선 통신 모듈(152)과, HDMI(High-Definition Multimedia Interface), USB(Universal Serial Bus), IEEE(Institute of Electrical and Eletronics Engineers) 1394 등의 커넥터(153)를 포함할 수 있다.　
근거리 통신 모듈(151)은 기등록된 복수의 주변 기기(미도시)와 무선 통신을 수행하여 데이터 통신을 수행하기 위한 통신 모듈로써, 블루투스(bluetooth)모듈, 적외선 통신(IrDA, infrared data association)모듈, NFC(Near Field Communication)모듈, 와이파이(WIFI)모듈, 지그비(Zigbee) 모듈 중 적어도 하나를 포함할 수 있다.
또한, 무선 랜 모듈이란 IEEE 등과 같은 무선 통신 프로토콜에 따라 외부 네트워크에 연결되어 통신을 수행하는 모듈로써, 웹 서버(미도시), 컨텐츠 서버(미도시) 등과 데이터 통신을 수행할 수 있다.
이 밖에 무선 통신 모듈(152)은 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evoloution) 등과 같은 다양한 이동 통신 규격에 따라 이동 통신망에 접속하여 통신을 수행하는 이동 통신 모듈을 더 포함할 수도 있다.
이처럼 통신부(140)는 상술한 다양한 근거리 통신 방식에 의해 구현될 수 있고, 필요에 따라 본 명세서에 언급되지 않은 다른 통신 기술을 채용할 수 있다.
한편, 커넥터(153)는 USB 2.0, USB 3.0, HDMI, IEEE 1394 등 다양한 소스 장치와의 인터페이스를 제공하는 구성이다.　 이 같은 유선 통신 모듈은 제어부(120)의 제어 명령에 따라 유선 케이블을 통해 외부 서버(미도시)로부터 전송된 컨텐츠 데이터를 수신하거나, 기저장된 컨텐츠 데이터를 외부 기록 매체로 전송할 수 있다.　 또한, 유선 통신 모듈은 유선 케이블을 통해 전원 소스로부터 전원을 입력받을 수 있다.
촬영부(160)는 사용자 명령에 따라, 정지 영상 또는 동영상을 촬영하기 위한 것으로써, 전면 카메라, 후면 카메라와 같이 복수 개로 구현될 수 있다.
감지부(170)는 주변 밝기 및 스마트 폰과 같은 휴대용 단말 장치로 구현된 영상 처리 장치(100)의 움직임을 감지하는 감지 센서이다.　 이 같은 감지부(170)는 조도 센서, 움직임 센서, 지자기 센서, 중력 센서) 및 자이로 센서 등을 포함할 수 있다.
조도 센서는 주변 환경의 밝기를 감지하며, 움직임 센서(Accelerometer Sensor)는 이동하는 스마트 폰과 같은 휴대용 단말 장치로 구현된 영상 처리 장치(100)의 가속도나 충격의 세기를 측정하는 가속도 센서이다.　 그리고, 지자기 센서(Magnetic Sensor)는 지구 자기장을 이용하여 방위각을 탐지할 수 있는 센서이며, 중력 센서(Gravity Sensor)는 중력이 어느 방향으로 작용하는지 탐지하는 센서로써, 사용자가 영상 처리 장치전자 장치(100)를 들고 있는 방향에 따라 자동으로 회전하여 방향을 감지한다.　 마지막으로, 자이로 센서(Gyroscope Sensor)는 기존의 움직임 센서에 각각 회전을 넣어 6축 방향을 인식하여 하여 좀더 세밀하고 정밀한 동작을 인식할 수 있도록 도와주는 센서이다.
영상 컨텐츠의 영상 데이터 및 오디오 데이터 중 적어도 하나를 출력부(180)는 디스플레이부(181) 및 오디오 출력부(182)를 포함한다.
디스플레이부(181)는 영상 처리된 영상 데이터를 디스플레이하며, 오디오 출력부(182)는 오디오 신호 처리된 오디오 데이터를 가청음 형태로 출력할 수 있다.
한편, 영상 데이터를 디스플레이하는 디스플레이부(181)는 액정 표시 장치(Liquid Crystal Display, LCD), 유기 전기 발광 다이오드(Organic Light Emitting Display, OLED) 또는 플라즈마 표시 패널(Plasma Display Panel, PDP) 등으로 구현될 수 있다. 특히, 디스플레이부(181)는 전술한 터치 입력부(143)와 함께 상호 레이어 구조를 이루는 터치 스크린 형태로 구현될 수 있다.
한편, 전술한 프로세서(130)는 CPU(134), GPU(135), ROM(136) 및 RAM(137)를 포함할 수 있으며, CPU(134), GPU(135), ROM(136) 및 RAM(137)은 버스(138)를 통해 서로 연결될 수 있다.
CPU(134)는 메모리(120)를 액세스하여, 메모리(120)에 저장된 OS를 이용하여 부팅을 수행한다. 또한 CPU(134)는 메모리(120)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다.
GPU(135)는 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 디스플레이 화면을 생성한다. 구체적으로, GPU(134)는 수신된 제어 명령에 기초하여 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산하고, 연상된 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 디스플레이 화면을 생성한다.
ROM(136)은 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴온 명령이 입력되어 전원이 공급되면, CPU(134)는 ROM(136)에 저장된 명령어에 따라 메모리(120)에 저장된 OS를 RAM(132)에 복사하고, OS를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, CPU(134)는 메모리(120)에 저장된 각종 프로그램을 RAM(137)에 복사하고, RAM(137)에 복사된 프로그램을 실행시켜 각종 동작을 수행한다.
이 같은 프로세서(130)는 전술한 각 구성들과 결합되어 단일칩 시스템(System-on-a-chip 또는 System on chip, SOC, SoC)으로 구현될 수 있다.
한편, 상술한 프로세서(130)의 동작은 메모리(120)에 저장된 프로그램에 의해 이루어질 수 있다. 여기서, 메모리(120)는 ROM(136), RAM(137) 또는 영상 처리 장치(100)에 탈착/장착 가능한 메모리 카드(예, SD 카드, 메모리 스틱), 비휘발성 메모리, 휘발성 메모리, 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD) 중 적어도 하나로 구현될 수 있다.
지금까지, 본 발명에 따른 영상 처리 장치(100)의 각 구성에 대해서 상세히 설명하였다. 이하에서는, 본 발명에 따른 영상 처리 장치(100)의 제어 방법에 대해서 상세히 설명하도록 한다.
도 12는 본 발명의 일 실시예에 따른 영상 처리 장치의 제어 방법에 대한 흐름도이다.
도 12에 도시된 바와 같이, 영상 처리 장치(100)는 사용자 명령에 대응되는 영상 컨텐츠를 입력받는다(S1210). 이 같은 영상 컨텐츠가 입력되면, 영상 처리 장치(100)는 입력된 영상 컨텐츠를 구성하는 복수의 영상 프레임 중 적어도 연속된 적어도 두 개의 영상 프레임에 기초하여 보간 프레임을 생성한다(S1220).
즉, 영상 처리 장치(100)는 영상 컨텐츠를 구성하는 복수의 영상 프레임 중 이전에 입력된 영상 프레임인 제1 참조 프레임과 현재 입력된 영상 프레임인 제2 참조 프레임에 기초하여 제1 및 제2 참조 프레임 사이에 삽입될 보간 프레임을 생성할 수 있다.
도 13은 본 발명의 일 실시예에 따른 영상 처리 장치에서 보간 프레임을 생성하는 방법의 흐름도이다.
도 13에 도시된 바와 같이, 영상 처리 장치(100)는 제1 및 제2 참조 프레임 중 적어도 하나를 구성하는 복수의 픽셀들을 기설정된 기준에 따라 그룹핑하여 메모리에 개별적으로 저장한다(S1310).
일 실시예에 따라, 영상 처리 장치(100)는 제1 및 제2 참조 프레임 중 적어도 하나를 구성하는 복수의 픽셀을 포함하는 복수의 픽셀 블럭으로 구분하고, 복수의 픽셀 블럭 각각에서 대응되는 위치의 픽셀들을 각각 그룹핑하여 메모리에 개별적으로 저장할 수 있다.
또다른 실시예에 따라, 영상 처리 장치(100)는 제1 및 제2 참조 프레임 중 적어도 하나를 구성하는 복수의 픽셀을 포함하는 복수의 픽셀 블럭으로 구분하고, 복수의 픽셀 블럭 각각에서 대표 픽셀의 픽셀 값들을 그룹핑한다. 이후, 영상 처리 장치(100)는 대표 픽셀과 적어도 하나의 나머지 픽셀과의 차이값을 각각 그룹핑하여 메모리에 개별적으로 저장할 수 있다.
이 같은 제1 및 제2 참조 프레임 중 적어도 하나와 관련하여 복수의 픽셀 그룹이 메모리에 저장되면, 영상 처리 장치(100)는 메모리에 저장된 복수의 픽셀 그룹 중 적어도 하나의 제1 픽셀 그룹에 대해서 보간 프레임의 타겟 픽셀 영역을 기준으로 기설정된 써치 레인지에 대응되는 픽셀 값들을 내부 메모리에 로딩한다(S1320). 이후, 영상 처리 장치(100)는 복수의 픽셀 그룹 중 나머지 제2 픽셀 그룹에 대해서, 기설정된 써치 레인지보다 적은 범위의 픽셀 값들을 내부 메모리에 로딩한다(S1330).
이후, 영상 처리 장치(100)는 내부 메모리에 로딩된 제1 및 제2 픽셀 그룹 중 적어도 하나에 기초하여 영상 컨텐츠를 구성하는 제1 및 제2 참조 프레임에 대한 보간 프레임의 픽셀 값을 산출한다(S1340). 이후, 영상 처리 장치(100)는 산출된 픽셀 값에 기초하여 보간 프레임에 대한 영상 처리를 수행한다(S1340).
즉, 영상 처리 장치(100)는 타겟 픽셀 영역의 모션 크기에 기초하여 제1 및 제2 참조 프레임 중 적어도 하나의 제1 픽셀 그룹으로부터 대응되는 제1 픽셀 값과 제2 픽셀 그룹으로부터 대응되는 제2 픽셀 값 중 적어도 하나를 획득하여 타겟 픽셀 영역의 픽셀 값을 산출한다. 이후, 영상 처리 장치(100)는 산출된 픽셀 값에 기초하여 타겟 프레임을 고해상도 혹은 저해상도로 영상 처리할 수 있다.
도 14는 본 발명의 일 실시예에 따른 영상 처리 장치에서 보간 프레임의 타겟 픽셀 영역에 대한 영상 처리를 수행하는 방법의 흐름도이다.
전술한 바와 같이, 영상 처리 장치(100)는 제1 및 제2 참조 프레임 중 적어도 하나를 구성하는 복수의 픽셀을 포함하는 복수의 픽셀 블럭으로 구분하고, 복수의 픽셀 블럭 각각에서 대응되는 위치의 픽셀들을 각각 그룹핑하여 메모리에 개별적으로 저장할 수 있다.
이 경우, 영상 처리 장치(100)는 보간 프레임의 타겟 픽셀 영역을 기준으로 기설정된 써치 레인지에 대응되는 제1 픽셀 그룹의 픽셀 값들과 기설정된 써치 레인지보다 적은 범위의 제2 픽셀 그룹의 픽셀 값들을 내부 메모리에 로딩할 수 있다.
이 같이, 기설정된 써치 레인지에 대응되는 제1 픽셀 그룹의 픽셀 값들과 기설정된 써치 레인지보다 적은 범위의 제2 픽셀 그룹의 픽셀 값들을 내부 메모리에 로딩된 상태에서, 영상 처리 장치(100)는 타겟 픽셀 영역의 모션 크기가 기설정된 임계 값 미만임에 따라, 타겟 픽셀 영역에 대응되는 제2 픽셀 그룹의 제2 픽셀 값이 내부 메모리에 로딩되어 있는지 여부를 판단한다(S1410).
판단 결과, 타겟 픽셀 영역에 대응되는 제2 픽셀 그룹의 제2 픽셀 값이 내부 메모리에 로딩되어 있으면, 영상 처리 장치(100)는 타겟 픽셀 영역에 대응되는 제1 픽셀 그룹의 제1 픽셀 값과 타겟 픽셀 영역에 대응되는 제2 픽셀 그룹의 제2 픽셀 값에 기초하여 타겟 픽셀 영역의 픽셀 값을 산출하여 타겟 픽셀 영역을 고해상도로 영상 처리한다(S1420).
한편, 타겟 픽셀 영역에 대응되는 제2 픽셀 그룹의 제2 픽셀 값이 내부 메모리에 로딩되어 있지 않으면, 영상 처리 장치(100)는 타겟 픽셀 영역에 대응되는 제1 픽셀 그룹의 제1 픽셀 값에 기초하여 타겟 픽셀 영역의 제2 픽셀 값을 산출하고, 타겟 픽셀 영역에 대응되는 제1 픽셀 그룹의 제1 픽셀 값과 기산출된 제2 픽셀 값에 기초하여 타겟 픽셀 영역을 저해상도로 영상 처리한다(S1430).
한편, 전술한 바와 같이, 영상 처리 장치(100)는 제1 및 제2 참조 프레임 중 적어도 하나를 구성하는 복수의 픽셀을 포함하는 복수의 픽셀 블럭으로 구분하고, 복수의 픽셀 블럭 각각에서 대표 픽셀의 픽셀 값들을 그룹핑한다. 이후, 영상 처리 장치(100)는 대표 픽셀과 적어도 하나의 나머지 픽셀과의 차이값을 각각 그룹핑하여 메모리에 개별적으로 저장할 수 있다.
이 경우, 영상 처리 장치(100)는 보간 프레임의 타겟 픽셀 영역을 기준으로 기설정된 써치 레인지에 대응되는 제1 픽셀 그룹의 픽셀 값들과 기설정된 써치 레인지보다 적은 범위의 제2 픽셀 그룹의 픽셀별 차이 값들을 내부 메모리에 로딩할 수 있다.
이 같이, 기설정된 써치 레인지에 대응되는 제1 픽셀 그룹의 픽셀 값들과 기설정된 써치 레인지보다 적은 범위의 제2 픽셀 그룹의 픽셀별 차이 값들을 내부 메모리에 로딩된 상태에서, 영상 처리 장치(100)는 타겟 픽셀 영역에 대응되는 제2 픽셀 그룹의 제2 픽셀 값이 내부 메모리에 로딩되어 있는지 여부를 판단한다. 판단 결과, 타겟 픽셀 영역에 대응되는 제2 픽셀 그룹의 제2 픽셀 값이 내부 메모리에 로딩되어 있으면, 영상 처리 장치(100)는 대표 픽셀을 기준으로 적어도 하나의 나머지 픽셀의 차이값으로부터 적어도 하나의 나머지 픽셀의 픽셀 값을 산출한다.
이후, 영상 처리 장치(100)는 대표 픽셀의 픽셀 값과 기산출된 적어도 하나의 나머지 픽셀의 픽셀 값에 기초하여 타겟 픽셀 영역을 픽셀 값을 산출하여 타겟 픽셀 영역을 고해상도록 영상 처리할 수 있다.
한편, 상술한 바와 같은 영상 처리 장치(100)의 제어 방법은 적어도 하나의 실행 프로그램으로 구현될 수 있으며, 이러한 실행 프로그램은 비일시적 컴퓨터 판독 가능 매체에 저장될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로, 상술한 프로그램들은 RAM(Random Access Memory), 플레시메모리, ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electronically Erasable and Programmable ROM), 레지스터, 하드디스크, 리무버블 디스크, 메모리 카드, USB 메모리, CD-ROM 등과 같이, 단말기에서 판독 가능한 다양한 유형의 기록 매체에 저장되어 있을 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다.
이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100 : 영상 처리 장치 110 : 영상 입력부
120 : 메모리 130 : 프로세서
131 : 영상 분리부 132 : 영상 제어부
133 : 영상 병합부 140 : 입력부
141 : 마이크 142 : 조작부
143 : 터치 입력부 144 : 사용자 입력부
150 : 통신부 151 : 근거리 통신 모듈
152 : 무선 통신 모듈 153 : 커넥터
160 : 촬영부 170 : 감지부
180 : 출력부 181 : 디스플레이부
182 : 오디오 출력부

Claims (18)

  1. 영상 컨텐츠를 입력받는 영상 입력부;
    메모리; 및
    상기 영상 컨텐츠를 구성하는 제1 및 제2 참조 프레임에 기초하여 보간 프레임을 생성하는 프로세서;를 포함하며,
    상기 프로세서는,
    상기 제1 참조 프레임 및 상기 제2 참조 프레임 중 적어도 하나를 구성하는 복수의 픽셀들을 기설정된 기준에 따라 그룹핑하여 상기 메모리에 개별적으로 저장하며,
    복수의 픽셀 그룹 중 적어도 하나의 제1 픽셀 그룹에 대해서 상기 보간 프레임의 타겟 픽셀 영역을 기준으로 기설정된 써치 레인지(search range)에 대응되는 픽셀 값들을 내부 메모리에 로딩하고, 상기 복수의 픽셀 그룹 중 나머지 제2 픽셀 그룹에 대해서는 상기 기설정된 써치 레인지보다 적은 범위의 픽셀 값들을 상기 내부 메모리에 로딩하여 상기 타겟 픽셀 영역의 픽셀 값을 산출하는 영상 처리 장치.
  2. 제 1 항에 있어서,
    상기 프로세서는,
    상기 제1 참조 프레임 및 상기 제2 참조 프레임 중 적어도 하나를 구성하는 복수의 픽셀을 포함하는 복수의 픽셀 블럭으로 구분하고, 상기 복수의 픽셀 블럭 각각에서 대응되는 위치의 픽셀들을 각각 그룹핑하여 상기 메모리에 개별적으로 저장하는 것을 특징으로 하는 영상 처리 장치.
  3. 제 1 항에 있어서,
    상기 프로세서는,
    상기 타겟 픽셀 영역의 모션 크기에 기초하여 상기 제1 참조 프레임 및 상기 제2 참조 프레임 중 적어도 하나의 제1 픽셀 그룹으로부터 대응되는 제1 픽셀 값과 상기 제2 픽셀 그룹으로부터 대응되는 제2 픽셀 값 중 적어도 하나를 획득하여 상기 타겟 픽셀 영역의 픽셀 값을 산출하는 것을 특징으로 하는 영상 처리 장치.
  4. 제 3 항에 있어서,
    상기 프로세서는,
    상기 타겟 픽셀 영역의 모션 크기가 기설정된 값 미만임에 따라 상기 타겟 픽셀 영역에 대응되는 제2 픽셀 값이 상기 내부 메모리에 로딩되어 있는 경우, 상기 제1 픽셀 값 및 상기 제2 픽셀 값에 기초하여 상기 타겟 픽셀 영역의 픽셀 값을 산출하여 상기 타겟 픽셀 영역을 고해상도로 처리하는 것을 특징으로 하는 영상 처리 장치.
  5. 제 3 항에 있어서,
    상기 프로세서는,
    상기 타겟 픽셀 영역의 모션 크기가 기설정된 값 이상임에 따라 상기 타겟 픽셀 영역에 대응되는 제2 픽셀 값이 상기 내부 메모리에 로딩되어 있지 않은 경우, 상기 제1 픽셀 값에 기초하여 상기 타겟 픽셀 영역의 제2 픽셀 값을 산출하여 상기 타겟 픽셀 영역을 저해상도로 처리하는 것을 특징으로 하는 영상 처리 장치.
  6. 제 5 항에 있어서,
    상기 프로세서는,
    상기 타겟 픽셀 영역의 모션 크기가 기설정된 값 이상임에 따라 상기 타겟 픽셀 영역에 대응되는 제2 픽셀 값이 상기 내부 메모리에 로딩되어 있지 않은 경우, 대응되는 픽셀 블럭의 제1 픽셀 값 및 적어도 하나의 인접 픽셀 블럭의 제1 픽셀 값에 기초하여 상기 타겟 픽셀 영역의 제2 픽셀 값을 산출하는 것을 특징으로 하는 영상 처리 장치.
  7. 제 5 항에 있어서,
    상기 프로세서는,
    상기 타겟 픽셀 영역의 모션 크기가 기설정된 값 이상임에 따라 상기 타겟 픽셀 영역에 대응되는 제2 픽셀 값이 상기 내부 메모리에 로딩되어 있지 않은 경우, 대응되는 픽셀 블럭의 제1 픽셀 값으로 상기 타겟 픽셀 영역의 제2 픽셀 값을 산출하는 것을 특징으로 하는 영상 처리 장치.
  8. 제 1 항에 있어서,
    상기 프로세서는,
    상기 제1 참조 프레임 및 상기 제2 참조 프레임 중 적어도 하나를 구성하는 복수의 픽셀을 포함하는 복수의 픽셀 블럭으로 구분하고, 상기 복수의 픽셀 블럭 각각에서 대표 픽셀의 픽셀 값들을 그룹핑하고, 상기 대표 픽셀과 적어도 하나의 나머지 픽셀과의 차이값을 각각 그룹핑하여 상기 메모리에 개별적으로 저장하는 것을 특징으로 하는 영상 처리 장치.
  9. 제 8 항에 있어서,
    상기 프로세서는,
    상기 타겟 픽셀 영역의 모션 크기가 기설정된 값 미만임에 따라 상기 타겟 픽셀 영역에 대응되는 대표 픽셀과 적어도 하나의 나머지 픽셀과의 차이값이 상기 내부 메모리에 로딩되어 있는 경우, 상기 대표 픽셀의 픽셀 값과 상기 적어도 하나의 나머지 픽셀의 차이값에 기초하여 상기 적어도 하나의 나머지 픽셀의 픽셀 값을 산출하고,
    상기 대표 픽셀의 픽셀 값 및 상기 산출된 적어도 하나의 나머지 픽셀의 픽셀 값에 기초하여 상기 타겟 픽셀 영역의 픽셀 값을 산출하여 상기 타겟 픽셀 영역을 고해상도로 처리하는 것을 특징으로 하는 영상 처리 장치.
  10. 영상 처리 장치의 제어 방법에 있어서,
    영상 컨텐츠를 입력받는 단계; 및
    상기 영상 컨텐츠를 구성하는 제1 및 제2 참조 프레임에 기초하여 보간 프레임을 생성하는 단계;를 포함하며,
    상기 생성하는 단계는,
    상기 제1 및 제2 참조 프레임 중 적어도 하나를 구성하는 복수의 픽셀들을 기설정된 기준에 따라 그룹핑하여 메모리에 개별적으로 저장하는 단계;
    복수의 픽셀 그룹 중 적어도 하나의 제1 픽셀 그룹에 대해서 상기 보간 프레임의 타겟 픽셀 영역을 기준으로 기설정된 써치 레인지(search range)에 대응되는 픽셀 값들을 내부 메모리에 로딩하는 단계;
    상기 복수의 픽셀 그룹 중 나머지 제2 픽셀 그룹에 대해서는 상기 기설정된 써치 레인지보다 적은 범위의 픽셀 값들을 상기 내부 메모리에 로딩하는 단계;
    상기 내부 메모리에 로딩된 제1 및 제2 픽셀 그룹 중 적어도 하나에 기초하여 상기 영상 컨텐츠를 구성하는 제1 및 제2 참조 프레임에 대한 보간 프레임의 픽셀 값을 산출하는 단계; 및
    상기 산출된 픽셀 값에 기초하여 상기 보간 프레임에 대한 영상 처리를 수행하는 단계;
    를 포함하는 제어 방법.
  11. 제 10 항에 있어서,
    상기 저장하는 단계는,
    상기 제1 참조 프레임 및 상기 제2 참조 프레임 중 적어도 하나를 구성하는 복수의 픽셀을 포함하는 복수의 픽셀 블럭으로 구분하고, 상기 복수의 픽셀 블럭 각각에서 대응되는 위치의 픽셀들을 각각 그룹핑하여 상기 메모리에 개별적으로 저장하는 것을 특징으로 하는 제어 방법.
  12. 제 10 항에 있어서,
    상기 산출하는 단계는,
    상기 타겟 픽셀 영역의 모션 크기에 기초하여 상기 제1 참조 프레임 및 상기 제2 참조 프레임 중 적어도 하나의 제1 픽셀 그룹으로부터 대응되는 제1 픽셀 값과 상기 제2 픽셀 그룹으로부터 대응되는 제2 픽셀 값 중 적어도 하나를 획득하여 상기 타겟 픽셀 영역의 픽셀 값을 산출하는 것을 특징으로 하는 제어 방법.
  13. 제 12 항에 있어서,
    상기 영상 처리를 수행하는 단계는,
    상기 타겟 픽셀 영역의 모션 크기가 기설정된 값 미만임에 따라 상기 타겟 픽셀 영역에 대응되는 제2 픽셀 값이 상기 내부 메모리에 로딩되어 있는 경우, 상기 제1 픽셀 값 및 상기 제2 픽셀 값에 기초하여 상기 타겟 픽셀 영역의 픽셀 값을 산출하여 상기 타겟 픽셀 영역을 고해상도로 처리하는 것을 특징으로 하는 제어 방법.
  14. 제 12 항에 있어서,
    상기 영상 처리를 수행하는 단계는,
    상기 타겟 픽셀 영역의 모션 크기가 기설정된 값 이상임에 따라 상기 타겟 픽셀 영역에 대응되는 제2 픽셀 값이 상기 내부 메모리에 로딩되어 있지 않은 경우, 상기 제1 픽셀 값에 기초하여 상기 타겟 픽셀 영역의 제2 픽셀 값을 산출하여 상기 타겟 픽셀 영역을 저해상도로 처리하는 것을 특징으로 하는 제어 방법.
  15. 제 14 항에 있어서,
    상기 산출하는 단계는,
    상기 타겟 픽셀 영역의 모션 크기가 기설정된 값 이상임에 따라 상기 타겟 픽셀 영역에 대응되는 제2 픽셀 값이 상기 내부 메모리에 로딩되어 있지 않은 경우, 대응되는 픽셀 블럭의 제1 픽셀 값 및 적어도 하나의 인접 픽셀 블럭의 제1 픽셀 값에 기초하여 상기 타겟 픽셀 영역의 제2 픽셀 값을 산출하는 것을 특징으로 하는 제어 방법.
  16. 제 14 항에 있어서,
    상기 산출하는 단계는,
    상기 타겟 픽셀 영역의 모션 크기가 기설정된 값 이상임에 따라 상기 타겟 픽셀 영역에 대응되는 제2 픽셀 값이 상기 내부 메모리에 로딩되어 있지 않은 경우, 대응되는 픽셀 블럭의 제1 픽셀 값으로 상기 타겟 픽셀 영역의 제2 픽셀 값을 산출하는 것을 특징으로 하는 제어 방법.
  17. 제 10 항에 있어서,
    상기 저장하는 단계는,
    상기 제1 참조 프레임 및 상기 제2 참조 프레임 중 적어도 하나를 구성하는 복수의 픽셀을 포함하는 복수의 픽셀 블럭으로 구분하고, 상기 복수의 픽셀 블럭 각각에서 대표 픽셀의 픽셀 값들을 그룹핑하고, 상기 대표 픽셀과 적어도 하나의 나머지 픽셀과의 차이값을 각각 그룹핑하여 상기 메모리에 개별적으로 저장하는 것을 특징으로 하는 제어 방법.
  18. 제 17 항에 있어서,
    상기 산출하는 단계는,
    상기 타겟 픽셀 영역의 모션 크기가 기설정된 값 미만임에 따라 상기 타겟 픽셀 영역에 대응되는 대표 픽셀과 적어도 하나의 나머지 픽셀과의 차이값이 상기 내부 메모리에 로딩되어 있는 경우, 상기 대표 픽셀의 픽셀 값과 상기 적어도 하나의 나머지 픽셀의 차이값에 기초하여 상기 적어도 하나의 나머지 픽셀의 픽셀 값을 산출하고,
    상기 영상 처리를 수행하는 단계는,
    상기 대표 픽셀의 픽셀 값 및 상기 산출된 적어도 하나의 나머지 픽셀의 픽셀 값에 기초하여 상기 타겟 픽셀 영역의 픽셀 값을 산출하여 상기 타겟 픽셀 영역을 고해상도로 처리하는 것을 특징으로 하는 제어 방법.


KR1020160154304A 2016-11-18 2016-11-18 영상 처리 장치 및 그 제어 방법 KR102553598B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020160154304A KR102553598B1 (ko) 2016-11-18 2016-11-18 영상 처리 장치 및 그 제어 방법
PCT/KR2017/013107 WO2018093198A1 (en) 2016-11-18 2017-11-17 Image processing apparatus and control method thereof
US15/816,686 US10699384B2 (en) 2016-11-18 2017-11-17 Image processing apparatus and control method thereof
EP17872095.9A EP3494541B1 (en) 2016-11-18 2017-11-17 Image processing apparatus and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160154304A KR102553598B1 (ko) 2016-11-18 2016-11-18 영상 처리 장치 및 그 제어 방법

Publications (2)

Publication Number Publication Date
KR20180056268A true KR20180056268A (ko) 2018-05-28
KR102553598B1 KR102553598B1 (ko) 2023-07-10

Family

ID=62146634

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160154304A KR102553598B1 (ko) 2016-11-18 2016-11-18 영상 처리 장치 및 그 제어 방법

Country Status (4)

Country Link
US (1) US10699384B2 (ko)
EP (1) EP3494541B1 (ko)
KR (1) KR102553598B1 (ko)
WO (1) WO2018093198A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112367459B (zh) * 2020-10-23 2022-05-13 深圳市锐尔觅移动通信有限公司 图像处理方法、电子装置及非易失性计算机可读存储介质
CN112804526B (zh) * 2020-12-31 2022-11-11 紫光展锐(重庆)科技有限公司 图像数据存储方法、设备及存储介质、芯片、模组设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060092280A1 (en) * 2002-12-20 2006-05-04 The Foundation For The Promotion Of Industrial Science Method and device for tracking moving objects in image
US20110299597A1 (en) * 2010-06-07 2011-12-08 Sony Corporation Image processing method using motion estimation and image processing apparatus
US20130176460A1 (en) * 2012-01-11 2013-07-11 Panasonic Corporation Image processing apparatus, image capturing apparatus, and computer program

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1837826A1 (en) 2006-03-20 2007-09-26 Matsushita Electric Industrial Co., Ltd. Image acquisition considering super-resolution post-interpolation
KR101274655B1 (ko) 2006-08-16 2013-06-12 엘지디스플레이 주식회사 표시장치 및 이의 구동방법
US8325271B2 (en) * 2007-06-12 2012-12-04 Himax Technologies Limited Method of frame interpolation for frame rate up-conversion
JP5243432B2 (ja) * 2008-02-06 2013-07-24 パナソニック株式会社 画像処理装置、及び画像処理方法
CN103167218B (zh) * 2011-12-14 2016-04-06 北京大学 一种基于非局部性的超分辨率重建方法和设备
US9148622B2 (en) * 2011-12-29 2015-09-29 Hong Kong Applied Science and Technology Research Institute Company, Limited Halo reduction in frame-rate-conversion using hybrid bi-directional motion vectors for occlusion/disocclusion detection
US9176614B2 (en) 2013-05-28 2015-11-03 Google Technology Holdings LLC Adapative sensing component resolution based on touch location authentication
US9292899B2 (en) * 2013-09-25 2016-03-22 Apple Inc. Reference frame data prefetching in block processing pipelines
KR102136716B1 (ko) 2013-10-07 2020-07-23 에스케이 텔레콤주식회사 관심영역 기반의 화질개선 장치와 그를 위한 컴퓨터로 읽을 수 있는 기록 매체
KR20160040388A (ko) 2014-10-02 2016-04-14 삼성전자주식회사 프레임 레이트 변환 방법 및 영상출력장치
JP6486098B2 (ja) 2014-12-19 2019-03-20 キヤノン株式会社 撮像装置及びその制御方法
KR101603596B1 (ko) 2015-01-27 2016-03-15 주식회사 리드텍 멀티비전을 위한 영상 처리 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060092280A1 (en) * 2002-12-20 2006-05-04 The Foundation For The Promotion Of Industrial Science Method and device for tracking moving objects in image
US20110299597A1 (en) * 2010-06-07 2011-12-08 Sony Corporation Image processing method using motion estimation and image processing apparatus
US20130176460A1 (en) * 2012-01-11 2013-07-11 Panasonic Corporation Image processing apparatus, image capturing apparatus, and computer program

Also Published As

Publication number Publication date
WO2018093198A1 (en) 2018-05-24
US10699384B2 (en) 2020-06-30
EP3494541A1 (en) 2019-06-12
EP3494541A4 (en) 2019-07-24
KR102553598B1 (ko) 2023-07-10
EP3494541B1 (en) 2024-01-10
US20180144448A1 (en) 2018-05-24

Similar Documents

Publication Publication Date Title
US9906772B2 (en) Method for performing multi-camera capturing control of an electronic device, and associated apparatus
US20190244369A1 (en) Display device and method for image processing
KR20200079697A (ko) 영상 처리 장치 및 그 영상 처리 방법
CN108628563B (zh) 显示装置、显示方法以及存储介质
US10110806B2 (en) Electronic device and method for operating the same
US10192473B2 (en) Display apparatus and method for image processing
US10182184B2 (en) Image processing apparatus and image processing method
KR102436020B1 (ko) 전자 장치 및 그 제어 방법
KR101479624B1 (ko) 차량용 헤드 유닛 및 상기 차량용 헤드 유닛에서의 화면 설정 방법
US10750080B2 (en) Information processing device, information processing method, and program
KR20180056268A (ko) 영상 처리 장치 및 그 제어 방법
KR102349376B1 (ko) 전자 장치 및 그의 영상 보정 방법
US10205940B1 (en) Determining calibration settings for displaying content on a monitor
KR20130134546A (ko) 동영상의 섬네일 이미지 생성 방법 및 그 전자 장치
KR102558290B1 (ko) 전자 장치 및 그 제어 방법
US10109077B2 (en) Image generation device and display device
US10645282B2 (en) Electronic apparatus for providing panorama image and control method thereof
EP3366037B1 (en) Electronic apparatus for providing panorama image and control method thereof
US20180204377A1 (en) Display apparatus and method for image processing
JP2019121810A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
KR102566738B1 (ko) 전자 장치 및 그 제어 방법
KR102464575B1 (ko) 디스플레이 장치 및 그 입력 방법
US20180068477A1 (en) Display method, display device, and non-transitory computer-readable recording medium
US10986409B2 (en) Electronic apparatus enabling a user to recognize gradation of a raw image with high accuracy by checking the displayed raw histogram
KR102507669B1 (ko) 전자 장치 및 그의 제어방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant