KR20150129687A - 주파수 리프팅으로 이미지에서 디테일 생성 - Google Patents

주파수 리프팅으로 이미지에서 디테일 생성 Download PDF

Info

Publication number
KR20150129687A
KR20150129687A KR1020157023196A KR20157023196A KR20150129687A KR 20150129687 A KR20150129687 A KR 20150129687A KR 1020157023196 A KR1020157023196 A KR 1020157023196A KR 20157023196 A KR20157023196 A KR 20157023196A KR 20150129687 A KR20150129687 A KR 20150129687A
Authority
KR
South Korea
Prior art keywords
frequency
input image
image
information
transform coefficients
Prior art date
Application number
KR1020157023196A
Other languages
English (en)
Other versions
KR102197579B1 (ko
Inventor
리 타오
김영택
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20150129687A publication Critical patent/KR20150129687A/ko
Application granted granted Critical
Publication of KR102197579B1 publication Critical patent/KR102197579B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]

Abstract

입력 이미지 정보가 수신된다. 개선 정보가 입력 이미지 정보의 주파수 특성에 기초하여 결정된다. 개선 정보는 개선된 이미지를 생성하기 위해 입력 이미지 정보와 믹싱된다.

Description

주파수 리프팅으로 이미지에서 디테일 생성 { CREATING DETAILS IN AN IMAGE WITH FREQUENCY LIFTING }
적어도 하나의 실시 예들은 일반적으로 초고해상도(ultra-high definition: UD) 디스플레이들, 및 특히 UD 디스플레이 또는 디바이스 상에 디스플레이하기 위해, 저해상도 이미지에서 주파수 리프팅으로 디테일을 생성하기 위한 방법에 관한 것이다.
UD 사용자들, 예컨대 UD 텔레비전(UDTV) 또는 다른 UD 디스플레이 디바이스들은 UD 비디오가 더 일반적으로 될 때까지 UD 디바이스들 상에서 저해상도 컨텐츠(예컨대, 표준 해상도(SD), 고해상도(HD), 풀 HD(FHD) 등 컨텐츠)를 시청해야 한다. 저해상도 프레임들의 이미지 품질은 UD 디바이스들 상에서 볼 때 열화되어 보인다. 정기적인 이미지 업스케일링 또는 보간은 이미지 품질 열화를 최소화하기 위해 충분한 이미지 선예도 및 파인 디테일들(fine details)을 제공할 수 없다.
적어도 하나의 실시 예들은 이미지에 대한 잠재적 이미지 아티팩트들을 감소시키는 것에 관한 것이다. 일 실시 예에서, 방법은 입력 이미지를 수신하는 것을 포함한다. 일 실시 예에 있어서, 프로세서 디바이스는 입력 이미지 정보의 주파수 특성 및 특징 정보에 기초하여 개선 정보(enhancement information)를 결정하는 데 사용된다. 일 실시 예에 있어서, 개선 정보는 개선된 이미지를 생성하기 위해 입력 이미지 정보와 믹싱된다. 일 실시 예는 상기 방법에 따른 프로세스에 의해 개선 이미지를 생성하기 위한 이미지 개선 장치를 포함한다.
일 실시 예에 있어서, 시스템은 프로세서 디바이스를 이용하는 디테일 생성 모듈을 포함한다. 프로세서 디바이스는 입력 이미지 정보를 수신하고, 입력 이미지 정보의 주파수 특성에 기초하여 개선 정보를 결정한다. 일 실시 예에 있어서, 믹서 모듈은 개선 정보를 입력 이미지 정보와 믹싱하여 개선된 이미지를 생성한다.
일 실시 예에 있어서, 비-임시의 컴퓨터-판독 가능 매체는 컴퓨터 상에서 실행될 때 방법을 수행하는 명령들을 가진다. 일 실시 예에 있어서, 이 방법은 입력 이미지를 수신하는 것을 포함한다. 일 실시 예에 있어서, 개선 정보는 입력 이미지 정보의 주파수 특성 및 특징 정보에 기초하여 결정된다. 일 실시 예에 있어서, 개선 정보는 개선된 이미지를 생성하기 위해 입력 이미지 정보와 믹싱된다.
적어도 하나의 실시 예들의 이들 및 다른 특징들, 양상들 및 이점들은 다음의 설명, 첨부된 청구항들 및 첨부 도면들을 참조하여 이해될 것이다.
도 1은 일 실시 예에 따른, 이미지 디테일들 생성 메커니즘을 갖는 전자 시스템을 나타낸다.
도 2는 일 실시 예에 따른, 시스템의 예시적인 하이-레벨 블록도를 나타낸다.
도 3은 일 실시 예에 따른 이미지 처리 시스템의 블록도를 나타낸다.
도 4는 일 실시 예에 따른, 외부 이미지 블록과 내부 이미지 블록 간의 예시적인 관계를 나타낸다.
도 5는 일 실시 예에 따른 예시적인 디테일 생성 블록을 나타낸다.
도 6은 일 실시 예에 따른, 변환을 위한 주기성의 예를 나타낸다.
도 7은 일 실시 예에 따른, 예시적인 변환 시프팅 동작을 나타낸다.
도 8은 일 실시 예에 따른, 주파수 성분과 관련된, 거리 계산을 위한 예시적인 다이어그램을 나타낸다.
도 9는 일 실시 예에 따른, 주파수 리프팅을 위한 전달 함수에 대한 예시적인 다이어그램을 나타낸다.
도 10은 일 실시 예에 따른 다른 예시적인 디테일 생성 블록을 나타낸다.
도 11은 일 실시 예에 따른, 주파수 성분과 관련된 거리 결정을 설명하기 위한 예시적인 다이어그램을 나타낸다.
도 12는 일 실시 예에 따른 디테일 생성 프로세스를 나타내는 블럭도이다.
도 13은 개시된 실시 예들을 구현하는 데 유용한 컴퓨터 시스템을 포함하는 정보 처리 시스템을 나타내는 예시적인 하이-레벨 블록도이다.
다음의 설명은 적어도 하나의 실시 예들의 일반적인 원리들을 설명하기 위한 목적을 위해 만들어지고 여기에 청구된 발명 개념들을 한정하는 것을 의미하지 않는다. 또, 여기에 기재된 특정 특징들은 여러 가능한 조합들 및 치환들 각각에서 다른 기재된 특징들과 조합되어 사용될 수 있다. 여기서 달리 구체적으로 규정되지 않는다면, 모든 용어들은 명세서로부터 부여되는 의미들 및 이 기술분야에서 숙련된 사람에 의해 이해되고 및/또는 사전들, 논문들 등에 정의된 의미들을 포함해서 이들의 가장 넓은 가능한 해석이 주어져야 한다.
적어도 하나의 실시 예들이 이미지에 대한 잠재적 이미지 아티팩트들을 감소시키기 위해 제공된다. 일 실시 예에 있어서, 방법은 입력 이미지를 수신하는 것을 포함한다. 일 실시 예에 있어서, 프로세서 디바이스는 입력 이미지 정보의 주파수 특성 및 특징 정보에 기초하여 개선 정보(또는 향상 정보)를 결정하는 데 사용된다. 일 실시 예에 있어서, 개선 정보는 개선된 이미지를 생성하기 위해 입력 이미지 정보와 믹싱된다.
이 기술 분야에서 숙련된 사람은 이미지 정보가 표현되는 포맷이 일부 실시 예들에 대해서는 중요하지 않다는 것을 이해할 수 있다. 예를 들면, 일부 실시 예들에 있어서, 이미지 정보는 (X, Y)의 포맷으로 제공되고, 여기서 X 및 Y는 이미지에서 화소의 위치를 규정하는 2개의 좌표들이다. 3차원 이미지 정보는 화소의 컬러에 대한 관련 정보를 갖는 (X, Y, Z)의 포맷에 의해 제공된다. 일 실시 예에 있어서, 3차원 이미지 정보는 또한 강도 또는 휘도 요소를 포함한다.
설명적 목적들을 위해, 여기에 사용되는 용어 "수평(horizontal)"은 "도(FIG.)"의 도면 지정에 의해 표시된 도면들을 볼 때 보여지는 수평 방향을 가리킨다. 용어 "수직(vertical)"은 바로 앞에서 정의된 수평과 직교하는 방향을 가리킨다. 용어들, 예컨대 "위(above)", "아래(below)", "저부(bottom)", "상부(top)", "측면(side)", "고(higher)", "저(lower)", "상(upper)", "위(over)", 및 "하(under)"는 도면들에 나타낸 것과 같이, 수평에 대해 정의된다.
여기서 말하는 용어 "이미지(image)"는 2차원 이미지, 3차원 이미지, 비디오 프레임, 컴퓨터 파일 표현, 카메라로부터의 이미지, 비디오 프레임, 또는 그것의 조합을 포함할 수 있다. 예를 들면, 이미지는 기계 판독 가능 디지털 파일, 물리적 사진, 디지털 사진, 모션 픽쳐 프레임(motion picture frame), 비디오 프레임, x-레이 이미지, 스캔된 이미지, 또는 그것의 조합일 수 있다. 이미지는 직사각형 어레이로 배열되는 화소들로부터 발생될 수 있다. 이미지는 행들의 방향에 따른 x-축 및 열들의 방향에 따른 y-축을 포함할 수 있다.
도 1은 적어도 하나의 실시 예들에서 이미지 디테일들 생성 메커니즘을 갖는 전자 시스템(50)을 나타낸다. 전자 시스템(50)은 제 2 디바이스(56), 예컨대 클라이언트 또는 서버에 접속되는 제 1 디바이스(52), 예컨대 클라이언트 또는 서버를 구비한다. 제 1 디바이스(52)는 통신 경로(54), 예컨대 무선 또는 유선 네트워크로 제 2 디바이스(56)와 통신할 수 있다.
일 실시 예에 있어서, 제 1 디바이스(52)는 다양한 초고해상도(UD) 디스플레이 디바이스들 중 어느 하나, 예컨대 UD 텔레비전(UDTV), 태블릿 디바이스, 스마트 폰, 개인 휴대 정보 단말기(personal digital assistant: PDA), 노트북 컴퓨터, 액정 디스플레이(liquid crystal display: LCD) 시스템, 웨어러블 디바이스, 모바일 컴퓨팅 디바이스, 또는 다른 다기능 디스플레이들 또는 엔터테인먼트 디바이스들일 수 있다. 제 1 디바이스(52)는 제 2 디바이스(56)와 통신하기 위해 통신 경로(54)에 직접적으로 또는 간접적으로 결합할 수 있거나 또는 독립형 디바이스일 수 있다.
일 실시 예에 따른 목적을 위해, 디스플레이 시스템(50)은, 비록 제 1 디바이스(52)가 상이한 유형의 디바이스일 수 있다는 것이 이해되지만, 디스플레이 디바이스로서 제 1 디바이스(52)와 함께 기술된다. 예를 들면, 제 1 디바이스(52)는 또한 이미지들 또는 멀티-미디어 프레젠테이션을 제공하기 위한 디바이스일 수 있다. 멀티-미디어 프레젠테이션은 사운드, 스트리밍 이미지들의 시퀀스 또는 비디오 피드(video feed), 또는 그것의 조합을 포함하는 프리젠테이션일 수 있다. 일례로서, 제 1 디바이스(52)는 UDTV, 또는 임의의 다른 유형의 UD 디스플레이 디바이스(예컨대, 모니터, 비디오 패널, HUD, 스마트 전화기, 태블릿 디바이스, 비디오 디바이스, 게이밍 디바이스 등)일 수 있다.
제 2 디바이스(56)는 다양한 중앙 집중 또는 분산적 컴퓨팅 디바이스들, 이미지 또는 비디오 전송 디바이스들 중 어느 하나일 수 있다. 예를 들면, 제 2 디바이스(56)는 멀티미디어 컴퓨터, 태블릿, 랩톱 컴퓨터, 데스크톱 컴퓨터, 비디오 게임 컨솔, 그리드-컴퓨팅 리소스들(grid-computing resources), 가상 컴퓨터 리소스, 클라우드 컴퓨팅 리소스(cloud computing resource), 라우터들, 스위치들, 피어 투 피어 분산형 컴퓨팅 디바이스들, 미디어 재생 디바이스, 디지털 비디오 디스크(Digital Video Disk: DVD) 플레이어, 3차원 인에이블드(enabled) DVD 플레이어, 레코딩 디바이스, 예컨대 카메라 또는 비디오 카메라, 또는 그것의 조합일 수 있다. 다른 예에 있어서, 제 2 디바이스(56)는 방송 또는 라이브 스트림 신호들을 수신하기 위한 신호 수신기, 예컨대 텔레비전 수신기, 케이블 박스(cable box), 위성 접시 수신기(satellite dish receiver), 또는 웹 인에이블드 디바이스일 수 있다.
제 2 디바이스(56)는 단일 공간(single room)에 중앙 집중화될 수 있고, 상이한 공간들을 가로질러 분포될 수 있고, 상이한 지리적 위치들에 걸쳐 분포될 수 있고, 원격통신 네트워크 내에 임베드될 수 있다. 제 2 디바이스(56)는 제 1 디바이스(52)와 통신하기 위해 통신 경로(54)와 결합하는 수단을 가질 수 있다.
일 실시 예에 따른 목적을 위해, 전자 시스템(50)은, 비록 제 2 디바이스(56)가 상이한 유형의 디바이스들일 수 있는 것으로 이해되지만, 컴퓨팅 디바이스로서 제 2 디바이스(56)와 함께 기술된다. 또한, 설명의 목적들을 위해, 디스플레이 시스템(50)은, 비록 디스플레이 시스템(50)이 제 1 디바이스(52), 제 2 디바이스(56), 및 통신 경로(54) 사이에 상이한 파티션을 가질 수 있는 것으로 이해되지만, 통신 경로(54)의 종점들로서의 제 2 디바이스(56) 및 제 1 디바이스(52)와 함께 도시된다. 예를 들면, 제 1 디바이스(52), 제 2 디바이스(56), 또는 그것의 조합은 또한 통신 경로(54)의 부분으로서 기능할 수 있다.
통신 경로(54)는 다양한 네트워크들일 수 있다. 예를 들면, 통신 경로(54)는 무선 통신, 유선 통신, 광학, 초음파, 또는 그것의 조합을 포함할 수 있다. 위성 통신, 셀룰러 통신, 불루투스, IrDA(Infrared Data Association standard), WiFi(wireless fidelity), 및 WiMAX(worldwide interoperability for microwave access)은 통신 경로(54)에 포함될 수 있는 무선 통신의 예들이다. 이더넷, DSL(digital subscriber line), FTTH(fiber to home), 고해상도 멀티미디어 인터페이스(HDMI) 케이블, 및 POTS(plain old telephone service)은 통신 경로(54)에 포함될 수 있는 유선 통신의 예들이다.
또, 통신 경로(54)는 다수의 네트워크 토폴로지스 및 거리들을 가로지를 수 있다. 예를 들면, 통신 경로(54)는 직접 접속, PAN(personal area network), LAN(local area network), MAN(metropolitan area network), WAN(wide area network), 또는 그것의 조합을 포함할 수 있다.
도 2는 일 실시 예에 따른 시스템(200)의 하이-레벨 블록도를 나타낸다. 일 실시 예에 있어서, 시스템(200)은 이미지 디테일들 처리 시스템 또는 모듈(300)(도 3 참조)을 이용하여 입력 노드(201)에서 수신된 입력 소스(210)로부터의 입력 비디오 이미지들, 출력 노드(240)에서 비디오 이미지들을 출력하고 출력 소스(250)(또는 디바이스(52), 도 1) 상에 이미지들을 디스플레이할 수 있다. 일 실시 예에 있어서, 이미지 디테일들 처리 시스템(300)은 입력 이미지 정보를 수신한다. 일 실시 예에 있어서, 디테일들 처리 시스템(300)의 프로세서 디바이스는 입력 이미지 정보의 주파수 특성 및 특징 정보에 기초하여 개선 정보를 결정하기 위해 사용된다. 일 실시 예에 있어서, 개선 정보는 이후 개선된 이미지를 생성하기 위해 입력 이미지 정보와 믹싱된다. 일 실시 예에 있어서, 출력 소스(250)(또는 52)를 위한 디스플레이는 이미지 또는 멀티-미디어 프레젠테이션들을 제공하기 위한 물리적 디바이스일 수 있다. 예를 들면, 디스플레이는 액정 디스플레이(LCD) 패널, 플라즈마 스크린, 프로젝션 스크린(projection screen), HUD(heads-up-display) 등을 포함하는 스크린일 수 있다. 다른 실시 예들에 있어서, 디스플레이는 오브젝트 또는 반사 디바이스 상에 투영될 수 있다.
일 실시 예에 있어서, 입력 비디오 이미지들은 무선으로 또는 유선 인터페이스를 통해 전송/수신될 수 있는 입력 소스(210)로부터 제공될 수 있고 비압축/압축된 비디오 콘텐트를 포함할 수 있다. 일 실시 예에 있어서, 시스템(200)에서의 비디오 이미징 콘텐트의 와이어라인 또는 무선 통신은 이더넷, 전화(예컨대, POTS), 케이블, 전력선, 및 광섬유 시스템들 중 하나 이상을 통한/상에서의 통신, 및/또는 부호 분할 다중 액세스(CDMA 또는 CDMA2000) 통신 시스템, 주파수 분할 다중 액세스(FDMA) 시스템, 시분할 다중 액세스(TDMA) 시스템 예컨대 GSM/GPRS (General Packet Radio Service)/에지(enhanced data GSM environment), TETRA(Terrestrial Trunked Radio) 모바일 전화 시스템, 광대역 부호 분할 다중 액세스(WCDMA) 시스템, 고속 데이터 전송(high data rate)(1 x enhanced voice-data only(EV-DO) 또는 1 x EV-DO Gold Multicast) 시스템, IEEE 802.11 시스템, DMB(디지털 Multimedia Broadcasting) 시스템, 직교 주파수 분할 다중 액세스(OFDM) 시스템, DVB-H(Digital Video Broadcasting-Handheld) 시스템 등 중 하나 이상을 포함하는 무선 시스템을 포함할 수 있다.
일 실시 예에 있어서, 비디오 입력 소스(210)는 무선 네트워크(예컨대, 인터넷, 로컬 에어리어 네트워크(LAN, WAN(wide-area network), PAN(personal area network), CAN(campus wireless network), MAN(metropolitan area network) 등)를 통해 전송될 수 있다. 일 실시 예에 있어서, 입력 소스(210)는 클라우드-기반 시스템, 서버, 방송국, 비디오 디바이스/플레이어, 비디오 카메라, 모바일 디바이스 등으로 발생할 수 있다.
일 실시 예에 있어서, 입력 소스로부터 입력된 비디오 이미지는 입력 노드(201)에서 도달하기 전에 (예컨대, 디코더/인코더를 통해) 디코딩/인코딩될 수 있다. 일 실시 예에 있어서, 출력 노드(240)로부터 출력 소스(250)로 비디오 이미지는 출력 노드(240)에 도달하기 전에 인코딩/디코딩될 수 있다. 일 실시 예에 있어서, 출력 소스(250)는 무선으로 또는 유선 인터페이스를 통해 출력 노드(240)로부터 출력 이미지를 수신할 수 있다.
일 실시 예에 있어서, 입력 소스(210)로부터의 압축 비디오 이미지 콘텐트는 방송, 컴퓨터 네트워크, DVD 또는 다른 컴퓨터 판독 가능 저장 매체로부터의 아날로그 또는 디지털 비디오, 또는 비디오 신호들의 임의의 다른 적합한 소스를 제공할 수 있다. 일 실시 예에 있어서, 입력 소스(210)로부터의 압축 비디오는 무선 주파수 인터페이스(예컨대 ATSC 방송들), 컴퓨터 네트워크, 또는 유선 또는 무선 접속 예컨대 컴포넌트 비디오 케이블, DVI 또는 HDMI 비디오 인터페이스 등을 통해 수신기에 결합될 수 있다. 일 실시 예에 있어서, 입력 소스(210)로부터의 비압축 비디오 이미지는 비디오 카메라, 또는 메모리 디바이스 예컨대 임의의 적합한 비디오 인터페이스에 의해 수신기에 결합되는 디스크 드라이브 중 하나 이상을 포함할 수 있다. 일 실시 예에 있어서, 입력 소스(210)로부터의 비압축 비디오는 개개의 컬러 강도들 예컨대 적, 녹 및 청 등으로, 또는 임의의 다른 적합한 포맷으로 휘도 및 색차 형태로 포함하는 아날로그 또는 디지털 형태로 비압축 비디오를 제공할 수 있다.
일 실시 예에 있어서, 입력 소스(210)로부터의 입력 비디오 콘텐트에 대한 디지털 비디오 포맷들은 상이한 프레임 레이트들, 화소들의 상이한 수의 라인들 및 행들, 인터레이스된 및 난-인터레이스된 등을 포함할 수 있다. 예를 들면, 영화들은 전형적으로 24 fps(frames per second) 포맷으로 생성되고, NTSC는 초 당 30 프레임들이고 PAL은 초 당 25 프레임들이다. 포맷은 인터레이스되거나 또는 프로그레시브될 수 있다. 예를 들면, 고화질 포맷들(예컨대 디지털 비디오 방송 표준들에 의해 지원됨)이 출력 소스(250)의 디스플레이 디바이스의 포맷을 맞추는 포맷으로 수정될 수 있다. 출력 소스(250)의 디스플레이 디바이스는 NTSC, PAL, ATSC, DVB/T 등 또는 프레임 레이트들, 예컨대 70 Hz, 75 Hz, 80 Hz 등으로 작동하는 디스플레이 디바이스를 수용하도록 구성될 수 있다.
도 3은 일 실시 예에 따은 이미지 디테일들 처리 시스템(300)의 블록도를 나타낸다. 일 실시 예에 있어서, 시스템(300)은 전자 디바이스, 예컨대 제 1 디바이스(52)(도 1), 제 2 디바이스(56) 등에서 구현될 수 있다. 일 실시 예에 있어서, 시스템(300)은 입력 노드(301), 페칭/수신 모듈(310), 디테일 생성 모듈(320), 블록 구성/결합 모듈(330), 믹서 모듈(335)(리프팅된 이미지 디테일들과 입력 이미지와의 믹싱) 및 출력 노드(340)를 구비한다.
일 실시 예에 있어서, 블록 기반 이미지 처리는 입력 노드(301)로부터의 입력 이미지의 조합인, 출력 노드(340)에서의 출력 이미지 및 생성된 고 주파수 정보(디테일들)를 포함하는 그것의 개선된 버전을 생성하기 위해 구현된다. 일 실시 예에 있어서, 디테일들은 디테일 생성 모듈(320)에서 생성되고, 여기서 이미지 블록들(311)은 블록 수신 모듈(310)(입력 이미지를 블록들로 분할함)로부터 공급되고 출력 디테일 블록들(331)은 디테일 구성 모듈(930)에 의해 생성되고 여기서 더 많은 출력 디테일 블록들이 전체 이미지 디테일들을 형성하기 위해 구성된다. 일 실시 예에 있어서, 화소들 또는 이미지 블록들(331)(사이즈 P x Q)일 수 있는 출력은 일반적으로 블록들(311)의 입력 이미지 사이즈(사이즈 M x N)보다 작고, 여기서 P, Q, M 및 N은 양의 정수들이다.
예시적인 실시 예에 있어서, 만약 정규 이미지 업-컨버전 블록이 시스템(900) 앞에 부가되면, 그것은 진보된 이미지 업-컨버전/업-스케일링/초해상도 시스템인, 입력 이미지들로서 저해상도 이미지들을 이용하여 UD 이미지들(정지 이미지들 또는 비디오 프레임들)을 생성하기 위해 적용될 수 있다. 예시적인 실시 예에 있어서, 업-컨버트된 UD 이미지들은 종래의 이미지 업-컨버전 알고리즘들에 의해 얻어질 수 없는 추가의 이미지 디테일들을 포함한다. 결과적으로, 적어도 하나의 실시 예들에 있어서, 이미지 품질(선예도, 미세 디테일들 등)이 크게 향상될 수 있다. 일 실시 예에 있어서, 시스템(900)의 적용은 저해상도 영화가 디스플레이를 위해 수신될 수 있는 디스플레이 또는 UD 디바이스로 구현될 수 있다. 만약 시스템(300)이 UD 디바이스 또는 디스플레이에 대해 이용 가능하지 않다면, 시청자들은 이미지 선예도가 불량하거나 이미지가 섬세한 디테일이 부족하다고 느낄 수 있다. 현재, UD 비디오 이미지들(예컨대, 스트리밍 비디오, 영화들 등)은 시장에서 이용 가능하지만, UD 비디오 매체(TV 프로그래밍, 웹 TV 또는 비디오, 블루-레이 디스크들 및 퍼스널 디지털 비디오)는 특히 드물다. 대부분의 비디오 매체는 여전히 FHD, HD 또는 심지어 SD이다. 적어도 하나의 실시 예들에 있어서, UD 시청자들의 시각적 기대를 만족시키기 위해, 진보된 이미지 업-컨버전(초해상도) 기능은 시스템(300)을 이용하여 구현된다.
일 실시 예에 있어서, 시스템(300)의 적용은 낮은 품질의 SD, HD, FHD, UD 또는 불량한(흐릿한 또는 열화된) 이미지 디테일들의 업-스케일드 UD 이미지들, 예컨대 개인용 캠코더 또는 스마트 폰에 의해 캡쳐된 인터넷 또는 디지털 비디오로부터 얻어진 웹 비디오 클립들의 이미지 디테일들을 개선(또는 복원)하기 위해 현재의 HDTV들(또는 저해상도 TV들, 디바이스들, 디스플레이들 등)에서 FLSR 모듈(330)에 구현될 수 있다. 보통 낮은 품질의 SD, HD 또는 FHD 비디오 클립들의 이미지 디테일들은 데이터 압축, 불충분한 조명 상태 또는 비디오 캡쳐 디바이스의 제한된 성능으로 인해 열화 또는 손상될 수 있다. 적어도 하나의 실시 예들은 하드웨어 또는 소프트웨어로, 상이한 애플리케이션들에 의해 필요한 기능들을 달성할 수 있는 범용 시스템으로서 시스템(300)을 제공한다.
예시적인 실시 예에 있어서, 시스템(900)을 애플리케이션들은 고성능 이미지 디테일 개선 또는 복원, 이미지 초해상도, 및 진보된 이미지 업-컨버전 등을 포함할 수 있다. 적어도 하나의 예시적인 실시 예들에 있어서, 시스템(900)의 다양한 애플리케이션들은 UD 디바이스들 및 디스플레이들, HDTV 제품들에서 프로그램된 하드웨어로서, 또는 PC들 또는 모바일 디바이스들(태블릿들, PC들, 웨어러블 디바이스들, 스마트 폰들 등)에서 사용되는 소프트웨어로서 구현되면 매우 유용할 수 있다.
일 실시 예에 있어서, 시스템(300)은 입력 노드(301)의 입력 이미지와 개선 및 복원된 고 주파수 정보(디테일들)를 포함하는 그것의 개선된 버전의 조합인 출력 노드(340)에서 출력 이미지를 생성한다. 적어도 하나의 실시 예들에 대한 디테일 생성 모듈(320)의 상세 설명은 도 4-11과 조합하여 추종한다.
도 4는 일 실시 예에 따라 서로 중심-정렬된 외부 이미지 블록(M x N 블록(311)으로 만들어짐)과 내부 이미지 블록(P x Q 블록(331)으로 만들어짐) 사이의 예시적인 관계를 나타낸다. 보통의 이미지 블록 사이즈들 및 입력 이미지 블록(311)과 출력 이미지 블록(331) 간의 공간 관계가 도 4에서 증명된다. 일 실시 예에 있어서, 출력 이미지 블록(331)은 입력 이미지 블록(311) 안에 중심 부분으로서 위치된다. 일 실시 예에 있어서, 출력 이미지 블록(331)이 생성되는 동안, 출력 블록(331) 영역 내의 이미지 정보 및 출력 블록(331) 밖의(입력 블록(311) 내의) 정보 모두가 사용된다.
예시적인 실시 예에 있어서, 관심 영역(출력 블록(331)/입력 블록(311)) 내의 이미지 정보는 주변 영역(입력 블록(311)/출력 블록(331))의 것과 관련 있는 것으로(또는 주변 영역(입력 블록(311)/출력 블록(331))으로부터 추론할 수 있는 것)으로 간주된다. 일 실시 예에 있어서, 출력 이미지 블록들(331)은 전체 출력 디테일들 이미지를 생성하기 위해 구성 모듈(330)에 의해 "패치드(patched)" 업 또는 결합되고, 이후 최종 결과는 믹서(335)(도 3)에 의해 생성된 디테일들 및 입력 이미지를 결합하여 얻어진다.
도 5는 일 실시 예에 따라 디테일 생성 모듈(320)로서 시스템(300)으로 구현될 수 있는 예시적인 디테일 생성 블록(520)을 나타낸다. 일 실시 예에 있어서, 디테일 생성 블록(520)은 수신 모듈(310)(도 3)로부터 입력 이미지 블록을 수신하는 2D 시프트된 이산 퓨리에 변환(SDFT) 모듈(521), 크기 모듈(522), DFT 컨버전 모듈(1123), 주파수 리프팅 모듈(525) 및 구성 모듈(330)에 입력된 출력 이미지 블록을 출력하는 2D 역 SDFT(ISDFT) 모듈(524)을 포함할 수 있다.
일 실시 예에 있어서, 입력 이미지 블록들은 먼저 (매트릭스로) DFT 계수들을 계산하기 위해 2D SDFT 모듈(521)에서 처리되고 이후 시프팅된다. 일 실시 예에 있어서, DFT 계수들의 시프팅은 이하에 기재되는 것과 같이 도 6 및 7에서 설명된다.
일 실시 예에 있어서, 시프팅된 DFT 계수들은 주파수 리프팅 모듈(525), 및 거리 계산, 계수 주파수 리프팅 및 계수 컨버전을 위한 DFT 컨버전 모듈(523)에 대한 입력으로서 각각 제공된다. 시프팅된 DFT(SDFT)는 SDFT = SDFTR + j·SDFTI로서 표현될 수 있는 복소수이고, 이후 SDFT의 크기는 |SDFT| = (SDFTR 2 + SDFTI 2)1/2, 또는 MAG_IN = |SDFT|로서 (MAG_IN)이 계산되고, 여기서 R은 실수부를 나타내고 I는 허수부를 나타낸다. 주파수 리프팅 모듈(525) 내에서, 제로-주파수 계수(2D 좌표의 원점과 같음)에 대한 각각의 DFT 계수의(2D 좌표에서의 한 지점과 같은 주파수 도메인에서의 성분) 거리가 매트릭스에서 계수의 행 및 열 인덱스들(한 지점의 좌표들과 같음)을 이용하여 얻어진다. 일 실시 예에 있어서, 계산된 거리들은 2개의 처리 서브-블록들: 계수 컨버전 모듈(523) 및 주파수 리프팅 모듈(525)에 대한 입력으로서 공급된다.
일 실시 예에 있어서, 주파수 리프팅 모듈(525)에서, 일부(예컨대, 적어도 하나의, 수개의, 전부의 등) 주파수 성분들은 스펙트럼에서 고주파수 위치로 리프팅된다. 예시적인 실시 예에 있어서, 만약 2D DFT 계수들/스펙트럼이 3D 카테시안 좌표(원점은 제로-주파수 위치를 나타냄)에서 곡면으로서 나타내어지면, 주파수 리프팅 프로세싱은 편심 피크를 원점으로부터 외측으로 이동시키고 중심 피크의 기울기를 외측으로 확대(expand)시킨다. 주파수 리프팅 모듈(525) 처리들의 상세들은 도 12-15를 참조하여 이하에 기재된다.
일 실시 예에 있어서, 계수 컨버전 모듈(523)은 3개의 처리 블록들: 2D SDFT 모듈(521), 크기 모듈(522) 및 주파수 리프팅 모듈(525)로부터 출력들을 수신하고, 새로운/수정된 DFT 계수들을 계산하고, 계수 컨버전 모듈(523)의 계산 상세들은 이하에 기재된다.
일 실시 예에 있어서, 2D ISDFT에서, 새로운 2D DFT 계수들이 먼저 시프트된 후, 또한 디테일 생성 블록(520)(디테일 생성 모듈(320)로서 구현됨, 도 3)의 출력인 수정된 이미지 블록(사이즈 M x N)에 의해 공간 도메인 신호로 역변환된다.
도 6은 일 실시 예에 따른, 변환 주기성의 매트릭스(605)의 예시(600)를 나타낸다. 일 실시 예에 있어서, 매트릭스(600)는 M x N 매트릭스이다. 일 실시 예에 있어서, DFT 계수들은 거리 계산(DC)을 위해 계수들의 각각의 그룹의 하좌측 코너에 원점을 가진다. 일 실시 예에 있어서, SDFT는 원점을 SDFT 블록(610)의 중심으로 시프트시킨다.
도 7은 일 실시 예에 따른 변환 시프팅 동작의 예(700)를 나타낸다. 일 실시 예에 있어서, 예시(700)는 제로 주파수 포인트에 대한 주파수 도메인 성분의 거리를 계산하기 위한 DFT 계수들의 시프팅을 도시한다. 일 실시 예에 있어서, 2D DFT는 일반적으로 DFT 매트릭스(705) 및 SDFT 매트릭스(715)로서 예(1300)에 나타낸 매트릭스 포맷으로 DFT 계수들을 발생하는 2D FFT(Fast Fourier Transform) 알고리즘을 통해 달성된다. 예시적인 실시 예에 있어서, 각각의 매트릭스 요소는 주파수 성분이다. x, y 좌표들은 열 및 행 인덱스들을 각각 나타낸다. 예시적인 실시 예에 있어서, 시프트되지 않는 DFT 계수 매트릭스(705)에 대해, 4개의 코너 요소들은 제로-주파수 성분에 기여한다.
일 실시 예에 있어서, 계수 시프팅을 설명하기 위해, 계수 매트릭스는 DFT 매트릭스(705) 그래프 및 SDFT 매트릭스(715)로 나타낸 것과 같이 4개(4)의 영역들을 균등하게 분할된다. 예시적인 실시 예에 있어서, 계수 시프팅 후, 새로운 계수 매트릭스(SDFT 매트릭스(715))가 4개의 영역들의 위치들을 교체하여 얻어지도록 고려될 수 있다. 예시적인 실시 예에 있어서, 영역 1은 그것의 위치가 영역 3으로 교체되고, 한편 영역 2는 그것의 위치가 영역 4로 교체된다. 일 실시 예에 있어서, 계수 시프팅은 매트릭스(711)의 중심(2D 좌표의 원점과 같음)으로 제로-주파수 위치(710)를 이동시키는 데, 이것은 거리 계산을 단순화할 수 있고 또는 주파수 리프팅 모듈(725) 처리를 이해하기 쉽게 할 수 있다.
도 8은 일 실시 예에 따른, 거리 계산을 기술하기 위한 예시적인 다이어그램(800)을 나타낸다. DFT 계수들 시프팅 후, 제로-주파수는 매트릭스(805)의 중심으로 이동된다. 주파수 리프팅 모듈(525) 내에서, 사분면(806)에서 주파수 성분(1411)으로부터 제로-주파수 포인트까지의 거리(810)가 먼저 계산될 필요가 있다. 제로-주파수 포인트는 2D 좌표의 원점 및 좌표 상의 포인트들로서 매트릭스 요소들로서 취급된다. 일 실시 예에 있어서, 계수의 위치(811)는 xin(820) 및 yin(821)으로 표시된다. 일 실시 예에 있어서, 주파수 성분의 위치에 대해, 대응 포인트의 좌표들은 식 xin = Col - Col(0), yin = Row - Row(0)에서와 같이 얻어진다.
도 9는 일 실시 예에 따른, 주파수 리프팅을 위한 전달 함수에 대한 예시적인 다이어그램(900)을 나타낸다. 예시적인 실시 예에 있어서, 식 xin = Col - Col(0), yin = Row - Row(0)에서, xin 및 yin는 주파수 성분의 좌표들이고 한편 Col 및 Row은 그것의 매트릭스 인덱스들이다. 유사하게, Col(0) 및 Row(0)은 제로-주파수 성분의 매트릭스 인덱스들이다.
일 실시 예에 있어서, DFT 계수들을 시프팅한 후, 제로-주파수는 매트릭스의 중심으로 이동된다. 일 실시 예에 있어서, 주파수 성분으로부터 제로-주파수 포인트까지의 거리를 계산하기 위해, 제로-주파수 포인트는 2D 좌표의 원점(즉, (0,0) 지점)으로서 및 일례로서 M = N = 8을 갖는 도 9에 도시된 좌표 상의 포인트들로서 매트릭스 요소들이 취급된다. MAG_IN 매트릭스의 인덱스들은
Figure pct00001
및
Figure pct00002
이 되고, 여기서 N 및 M은 짝수들이고, MAG_OUT 매트릭스 인덱스들에 대해 동일한 것으로 가정됨을 주목하라. 일 실시 예에 있어서, 모든
Figure pct00003
및
Figure pct00004
에 대해, 제로-주파수 계수에 대한 거리(din)(1520)는 다음과 같이 계산된다
Figure pct00005
.
일 실시 예에 있어서, 주파수 리프팅 모듈(525)(도 5)은 제로-주파수(도 8에서 원점) 성분에 대한 이들의 거리들에 기초하여 주파수 성분들을 더 높은 주파수 위치들로 리프팅시킨다. 그러나, 만약 매트릭스 요소가 벡터의 애로우 헤드(arrow head)로서 고려되면, 주파수 리프팅 동작은 벡터의 방향을 변경시키지 않는다. 일 실시 예에 있어서, 벡터의 길이(원점까지의 주파수 성분의 거리)만이 증가될 수 있다. 기본적으로, 이 거리(dout)(915) 변경은 다음과 같이 수학적으로 표현될 수 있다
Figure pct00006
.
일 실시 예에 있어서, 위의 식에서‘곡선(curve)’은 미리 결정된 전달 함수이고, 그것의 전형적인 예는 그래프(1500)에 나타낸 곡선(940)으로서 나타낸다. 예시적인 실시 예에 있어서, x/수평축은 입력 거리(din)(920)를 나타내고 y/수직축은 출력 거리(dout)(915)를 나타낸다. 일 실시 예에 있어서, 전달 함수는 선(935) 및 곡선(940)으로서 나타낸 것과 같이 개별식 함수(piecewise function)를 이용하여 생성될 수 있다.
예시적인 실시 예에 있어서, 입력 거리(din)(920)가 값 K(910)보다 작을 때, 거리는 변경되지 않을 것이다. 그러므로, 일 실시 예에 있어서 직선(935)은 1의 기울기를 가진다. 예시적인 실시 예에 있어서, 입력 거리(din)(1520)가 K(910)보다 클 때, 출력 거리(dout)(915)는 증가될 것이고 din(920)보다 클 것이다.
예시적인 실시 예에 있어서, 거리 증가는 비선형 함수, 예컨대, 2차 다항 함수에 의해 결정될 수 있다. 예시적인 실시 예에 있어서, 최대 거리(930)를 최고-주파수 성분은 리프팅되지 않을 것이다. 정상 2D DFT 스펙트럼에 있어서, 저-주파수 성분들(중심에 가까운 매트릭스 요소들)은 일반적으로 고-주파수 성분들보다 높은 값(DFT 성분의 크기)을 가진다. 그러므로, 예시적인 실시 예에 있어서, 저-주파수 성분이 고-주파수 위치 위로 리프팅될 때, 고-주파수 정보가 생성된다. 일 실시 예에 있어서, 새로운 고-주파수 정보(새로운 이미지 디테일들)가 손실/손상된 이미지 디테일들을 복원하기 위해 생성될 수 있다. 일 실시 예에 있어서, 고-주파수 성분들이 저-주파수 정보로부터 생성되거나 추론되기 때문에, 새로운 이미지 디테일들은 더 '실제적(real)'이거나 또는 '의미있는(meaningful)' 것으로 보이며 종래의 초해상도(SR) 방법들에 비해 아티팩트들을 더 포함할 수 있다.
일 실시 예에 있어서, 주파수 성분이 더 높은 주파수 위치로 리프팅된 후, 그것의 새로운 위치(좌표들)가 다음 식들로 결정될 수 있다:
Figure pct00007
Figure pct00008
,
이것은 DFT 주파수 성분들을 동일한 각도로 리프팅한다.
Figure pct00009
임을 주목하라. 새로운 좌표들 또는 새로운 위치는 보통 DFT 계수 매트릭스에 의해 규정되는 정확한 위치들 또는 좌표들이 아니다. 그러므로, 예시적인 실시 예에 있어서, 2D 보간 또는 리샘플링이 시프트된 그리드 및 수정된 DFT 값에 기초하여 ‘정확한(right)’ 위치들에 대해 DFT 계수를 계산하기 위해 사용된다. 일단 목표 수평 및 수직 주파수 성분들이 계산되면, MAG_IN으로부터의 주파수 성분들이 아래의 식에 의해 주파수 리프팅 모듈(1125)(도 11) 프로세스(또는 주파수 성분 맵핑)에 의해 MAG_OUT으로 업데이트된다:
Figure pct00010
.
일 실시 예에 있어서, 상기 식은 주파수 도메인에서 상이한 주파수 위치들(locations) 중에서 맵핑 프로세스를 나타낸다는 것을 용이하게 이해될 수 있을 것이다. 맵핑은 입력 주파수 크기 블록으로부터 최근접 이웃 화소 또는 가중된 이웃 화소들에 의해 새로운 화소 주파수 크기(MAG_OUT)를 보간하기 위한 백워드(backward) 또는 포워드(forward) 보간일 수 있다. 일 실시 예에 있어서, 개선된 주파수들을 얻은 후, 비율(ratio)이 그 위치에서 개선된 주파수 및 원 주파수로 계산될 수 있다. 예시적인 실시 예에 있어서, 이후 개선된 DFT(실수부 및 허수부 둘다를 포함)는 다음과 같이 SDFT 결과에 대한 비를 승산하여 얻어질 수 있다:
Figure pct00011
.
일 실시 예에 있어서, DFT 계수들의 수정된 매트릭스는 주파수 리프팅 모듈(525)(도 5)의 주파수 리프팅 프로세스를 통해 얻어진다. 예시적인 실시 예에 있어서, 매트릭스가 ISDFT 모듈(524)을 통해 공간 도메인에서 이미지 블록으로 다시 변환될 수 있기 전에, 그것의 요소들은 도 7에 나타낸 것의 반대 방식으로 시프팅될 필요가 있다.
도 10은 일 실시 예에 따른 다른 예시적인 디테일 생성 블록(1020)을 나타낸다. 일 실시 예에 있어서, 디테일 생성 블록(1020)은 디테일 생성 모듈(320)(도 3)로 구현될 수 있다. 예시적인 실시 예에 있어서, 디테일 생성 블록(1020)은 DCT 프로세스를 구현한다. 일 실시 예에 있어서, 디테일 생성 블록(1020)은 2D DCT 모듈(1021), 크기 모듈(1022), 주파수 리프팅 모듈(1025), DCT 컨버전 모듈(1023) 및 2D 역 DCT(2D IDCT) 모듈(1024)을 구비한다.
일 실시 예에 있어서, 주파수 리프팅 모듈(1025)의 주 기능은 MAG_IN으로 주어진 주파수를 리프팅하여 리프팅된 DCT 크기 매트릭스 DCT_OUT을 발생시키는 것이다. 예시적인 실시 예에 있어서, 모든
Figure pct00012
및
Figure pct00013
에 대해 제로-주파수 계수(2D 좌표의 원점과 같음)에 대한 거리가, 주파수 성분(예컨대, 도 11에 나타낸 것과 같은)과 관련 있는,
Figure pct00014
로서
계수의 행 및 열 인덱스들(한 지점의 좌표들과 같음)을 이용하여 계산된다.
주파수 리프팅 모듈(1025) 내에서, 거리는 상부 타겟 리프팅 주파수 거리 대 제로-주파수 성분을 결정하기 위해, dout = curve(din)와 같은 전달 함수의 입력으로 제공된다. 여기서 curve는 단조롭게 증가하는 전달 함수를 나타낸다. 전달 함수는 도 10에 도시되고 성분들이 리프팅되지 않는 예컨대
Figure pct00015
로서 그 주파수 범위가 설정되는 또한, 도 9에 도시된다.
일 실시 예에 있어서, 타겟 리프팅 팩터가 계산되면, 이후 관련 수평 및 수직 DCT 주파수 성분들이 다음과 같이 결정되고:
Figure pct00016
,
이것은 DCT 주파수 성분들을 동일한 각도로 리프팅하기 위해 구현된다.
Figure pct00017
임을 주목하라. 일 실시 예에 있어서, 일단 목표 수평 및 수직 주파수 성분들이 계산되면, 주파수 성분들은:
MAG _ OUT(xout, yout ) = MAG _ IN(xin , yin)
로서 주파수 리프팅 모듈(1025)에 의해 MAG_IN으로부터 MAG_OUT으로 업데이트된다.
주파수 리프팅 모듈(1025)에서, 일부(예컨대, 적어도 하나의, 수개의, 전부의 등) 주파수 성분들이 스펙트럼에서 고주파수 위치로 리프팅되는 것을 주목하라. 예시적인 실시 예에 있어서, 만약 2D DCT 계수들/스펙트럼이 3D 카테시안 좌표(원점은 제로-주파수 위치를 나타냄)에서 곡선으로서 그려지면, 주파수 리프팅 프로세싱은 편심 피크들을 원점으로부터 외측으로 이동시키고 중심 피크의 기울기를 외측으로 확대시킨다.
일 실시 예에 있어서, 주파수 리프팅 모듈(1025)로부터의 MAG_IN 및 MAG_OUT은 이후 DCT 컨버전 모듈(1023)에 제공되고, DCT 컨버전 모듈(1023)의 출력은:
Figure pct00018
이다.
일 실시 예에 있어서, 2D IDCT 모듈(1024)에서, 새로운 2D DCT 계수들(DCT_OUT)은 디테일 생성 모듈(320)(도 3)의 출력인 공간 도메인 신호 - BLK (M x N)과 동일한 사이즈 블록 - 로 역변환된다.
도 11은 실시 예에 따른, 주파수 성분과 관련된 거리 결정을 묘사하기 위한 예시적인 다이어그램(1700)을 나타낸다. 예시적인 실시 예에 있어서, DCT 컨버전 모듈(1023)(도 10)의 동작은 원 위상 정보를 크기 변경과 결합하는 것이다. 일 실시 예에 있어서, x 및 y 좌표들에 대한 2D 원점(1106)은 xin(1120) 및 yin(1121)에 기초하여 계수(1111)에 대한 거리(din)(1110)를 결정하기 위해 사용된다.
도 12는 일 실시 예에 따른 디테일 생성 프로세스 1200를 나타내는 블럭도이다.
일 실시 예에 있어서, 블록 1210에서, 수신된 이미지 정보( 예컨대, M x N 블록들 311, 도 3)가 (예를 들어, 프로세서 디바이스를 이용하여 주파수 도메인 정보를 획득하기 위해 (예를 들어, DFT, SDFT, DCT 등을 이용하여) 변환된다. 일 실시 예에서, 블록 1220에서 주파수 도메인 정보에 대한 주파수 분포(frequency distribution)가 특정 주파수 성분을 생성하기 위해 결정된다. 일 실시 예에서, 블록 1230에서, 적어도 하나의 이미지 블록을 생성하기 위해, 역 변환이 업데이트된 주파수 분포 상에서 수행된다. 일 실시 예에서, 블록 1240에서 적어도 하나의 출력 이미지 블록들이 이미지 디테일을 생성하기 위해 결합되고, 이미지(즉, 입력 이미지)에 추가된다. 일 실시 예에서 프로세서(1200)는 시스템(300)을 이용하여 프로세싱을 수행한다.
일 실시 예에서, 프로세스 1200은 이미지(예를 들어, SD, HD, FHD, UD, up-scaled-UD 등과 같은 저해상도 이미지)를 고해상도 이미지로 입력받는 단계, 입력된 이미지를 적어도 하나의 입력 이미지 블록을 포함하는 이미지 정보로 변환하는 단계를 포함할 수 있다. 일 실시 예에서, 입력 이미지 블록(M x N)은 출력 이미지(예를 들어, pixels, P x Q block)의 사이즈보타 큰 블록 사이즈를 갖는다. 일 실시 예에서, 주파수 도메인 정보는 변환 계수를 포함한다. 일 실시 예에 있어서, 주파수 성분들은, 변환 스펙트럼에서 고주파수 위치로 일부(예컨대, 적어도 하나의, 수개의, 전부의 등) 주파수 성분들을 리프팅하기 위한 변환 계수들에 대해 주파수 리프팅을 수행하는 단계, 변환 계수들을 수정된 변환 계수들로 변환하는 단계를 포함하는 포함하는 프로세스(1200)에 기초하여 생성된다.
일 실시 예에 있어서, 프로세스(1200)는 매트릭스에서 변환 계수들 위치를 시프팅하는 것; 관련 계수 행 및 열 인덱스들을 이용하여 제로-주파수 계수 위치를 이용하여 계수들에 대한 거리들을 결정하기 위해 시프팅된 변환 계수들을 이용하는 것; 변환 스펙트럼에서 고주파수 위치로 일부(예컨대, 적어도 하나의, 수개의, 전부의 등) 주파수 성분들을 리프팅하기 위해 결정된 거리들에 기초하여 변환 계수들에 대해 주파수 리프팅을 수행하는 것; 변환 계수들을 수정된 변환 계수들로 변환하는 것에 기초하여, 특정 주파수 성분을 생성하는 단계를 포함할 수 있다.
일 실시 예에 있어서, 프로세스(1200)는 시프팅 후 매트릭스의 중심으로 제로-주파수 계수 위치를 이동시키는 단계를 포함할 수 있고, 여기서, 제로-주파수 계수 위치는 2차원 좌표의 원점으로서 사용되고, 매트릭스 요소들은 2차원 좌표 상에 포인트들로서 사용된다.
일 실시 예에 있어서, 프로세스(1200)에서, 계수들에 대한 거리의 결정은 미리 결정된 전달 함수에 기초하여 이루어질 수 있다. 일 실시 예에 있어서, 프로세스(1200)에서, 생성된 이미지 디테일 및 입력 이미지를 포함하는 출력 이미지가 전자 디바이스(예컨대, 전자 디바이스(52), 도 1) 상에 디스플레이될 수 있다. 일 실시 예에 있어서, 프로세스(1200)는 로컬 텔레비전 디바이스, 셋-톱-박스 디바이스, 및 네트워크 서버 디바이스 중 하나에서 프로세싱을 수행할 수 있다.
일 실시 예는, 프로세서(1200)에 따른 프로세스에 의해 개건된 이미지를 생성하기 위한 이미지 개선 장치(예를 들어, 전자 디바이스(52), 도 1) 또는 그 일부를 포함할 수 있다.
도 13은 개시된 실시 예들을 구현하는 데 유용한 컴퓨터 시스템(100)을 포함하는 정보 처리 시스템을 나타내는 하이-레벨 블록도이다. 컴퓨터 시스템(100)은 적어도 하나의 프로세서들(1801)을 구비하고, 전자 디스플레이 디바이스(102)(그래픽스, 텍스트, 및 다른 데이터를 표시하기 위한), 주 메모리(103)(예컨대, 임의 접근 메모리(random access memory: RAM)), 스토리지 디바이스(104)(예컨대, 하드 디스크 드라이브), 착탈 가능 스토리지 디바이스(105)(예컨대, 착탈 가능 스토리지 드라이브, 착탈 가능 메모리 모듈, 자기 테이프 드라이브, 광학 디스크 드라이브, 컴퓨터 소프트웨어 및/또는 데이터가 내부에 저장되어 있는 컴퓨터 판독 가능 매체), 사용자 인터페이스 디바이스(106)(예컨대, 키보드, 터치 스크린, 키패드, 포인팅 디바이스), 및 통신 인터페이스(107)(예컨대, 모뎀, 네트워크 인터페이스(예컨대 이더넷 카드), 통신 포트, 또는 PCMCIA 슬롯 및 카드)를 더 구비할 수 있다. 통신 인터페이스(107)는 소프트웨어 및 데이터가 컴퓨터 시스템과 외부 디바이스들 사이에서 전달될 수 있게 허용한다. 시스템(100)은 전술한 디바이스들/모듈들(101 내지 107)이 접속되는 통신 기반구조(108)(예컨대, 통신 버스, 크로스-오버 바(cross-over bar), 또는 네트워크)를 더 구비한다.
통신 인터페이스(107)를 통해 전달된 정보는 신호들을 반송하고 와이어 또는 케이블, 광 섬유(fiber optics), 전화선, 셀룰러 폰 링크, 무선 주파수(RF) 링크, 및/또는 다른 통신 채널들을 이용하여 구현될 수 있는 통신 링크를 통해, 통신 인터페이스(107)에 의해 수신될 수 있는 신호들 예컨대 전자, 전자기, 광학, 또는 다른 신호들 형태로 될 수 있다. 여기에 블록도 및/또는 플로차트들을 나타내는 컴퓨터 프로그램 명령들은 컴퓨터, 프로그램 가능 데이터 처리 장치, 또는 처리 디바이스들 상에 로딩되어 그에 대해 수행되는 일련의 동작들이 컴퓨터 구현 프로세스를 생성하게 할 수 있다.
실시 예들은 방법들, 장치들(시스템들) 및 컴퓨터 프로그램 제품들의 플로차트 도해들 및/또는 블록도들을 참조하여 기재되었다. 이와 같은 도해들/도면들의 각각의 블록, 또는 그것의 조합들은 컴퓨터 프로그램 명령들에 의해 구현될 수 있다. 컴퓨터 프로그램 명령들은 프로세서에 제공될 때, 머신을 생성하여, 프로세서를 통해 실행하는 명령들은 플로차트 및/또는 블록도에서 구체화된 기능들/동작들을 구현하는 수단을 생성한다. 플로차트 /블록도들에서의 각각의 블록은 하드웨어 및/또는 소프트웨어 모듈 또는 로직(logic)을 표현할 수 있다. 대안의 구현예들에 있어서, 블록들에 기재된 기능들은 도면들에 기재된 순서를 벗어나, 동시에 등으로 일어날 수 있다.
용어들 "컴퓨터 프로그램 매체(computer program medium)", "컴퓨터 이용 가능 매체(computer usable medium)", "컴퓨터 판독 가능 매체(computer readable media)", 및 "컴퓨터 프로그램 제품(computer program product)"은 일반적으로 매체 예컨대 주 메모리, 보조 메모리, 착탈 가능 스토리지 드라이브, 하드 디스크 드라이브에 설치된 하드 디스크, 및 신호들을 가리키기 위해 사용된다. 이들 컴퓨터 프로그램 제품들은 소프트웨어를 컴퓨터 시스템에 제공하는 수단이다. 컴퓨터 판독 가능 매체는 컴퓨터 시스템으로 하여금 데이터, 명령들, 메시지들 또는 메시지 패킷들, 및 컴퓨터 판독 가능 매체로부터의 다른 컴퓨터 판독 가능 정보를 판독할 수 있게 한다. 컴퓨터 판독 가능 매체는, 예를 들면, 비휘발성 메모리, 예컨대 플로피 디스크(floppy disk), ROM, 플래시 메모리(flash memory), 디스크 드라이브 메모리, CD-ROM, 및 다른 영구 저장장치(permanent storage)를 포함할 수 있다. 그것은 예를 들면 컴퓨터 시스템들 간에 정보, 예컨대 데이터 및 컴퓨터 명령들을 전송하는 데 유용하다. 컴퓨터 프로그램 명령들은 컴퓨터를 조정할 수 있는 컴퓨터 판독 가능 매체, 다른 프로그램 가능 데이터 처리 장치, 또는 특별한 방식으로 기능하는 다른 디바이스들에 저장될 수 있고, 그 결과 컴퓨터 판독 가능 매체에 저장되어 있는 명령들은 플로차트 및/또는 블록도 블록 또는 블록들에 특정된 기능/작용(function/act)을 구현하는 명령들을 포함하는 제조 물품을 생성한다.
더욱이, 컴퓨터 판독 가능 매체는, 컴퓨터로 하여금 그와 같은 컴퓨터 판독 가능 정보를 판독할 수 있게 하는, 유선 네트워크 또는 무선 네트워크를 포함하는, 임시 상태 매체(transitory state medium) 예컨대 네트워크 링크 및/또는 네트워크 인터페이스에 컴퓨터 판독 가능 정보를 포함할 수 있다. 컴퓨터 프로그램들(즉, 컴퓨터 제어 로직)은 주 메모리 및/또는 보조 메모리에 저장된다. 컴퓨터 프로그램들은 또한 통신 인터페이스를 통해 수신될 수 있다. 그와 같은 컴퓨터 프로그램들은, 실행될 때, 컴퓨터 시스템이 여기에서 논의된 특징들을 수행하게 한다. 특히, 컴퓨터 프로그램들은, 실행될 때, 프로세서 다중-코어 프로세서로 하여금 컴퓨터 시스템의 특징들을 수행하게 할 수 있다. 그와 같은 컴퓨터 프로그램들은 컴퓨터 시스템의 제어기들을 표현한다.
비록 실시 예들이 그것의 특정 버전들을 참조하여 기술되었지만, 그런, 다른 버전들이 가능하다. 그러므로, 첨부된 청구항들의 사상 및 범위는 여기에 포함된 바람직한 버전들의 설명으로 한정되지 않아야 한다.
-

Claims (34)

  1. 입력 이미지 정보를 수신하는 단계;
    프로세서 디바이스를 이용하여, 상기 입력 이미지 정보의 주파수 특성에 기초하여 개선 정보(enhancement information)를 결정하는 단계; 및
    개선된 이미지를 생성하기 위해 상기 개선 정보를 상기 입력 이미지 정보와 믹싱하는 단계;를 포함하는, 방법.
  2. 제 1 항에 있어서,
    상기 개선 정보를 결정하는 단계는:
    상기 프로세서 디바이스를 이용하여, 주파수 도메인 정보를 획득하기 위해 상기 수신된 입력 이미지 정보를 변환하는 단계;
    특정 주파수 성분을 생성하기 위해 상기 주파수 도메인 정보에 대한 주파수 분포를 결정하는 단계;
    적어도 하나의 출력 이미지 블록을 생성하기 위해 업데이트된 주파수 분포 상에서 역 변환을 수행하는 단계; 및
    이미지 디테일을 포함하는 상기 개선 정보를 생성하기 위해 상기 적어도 하나의 출력 이미지 블록들을 결합하고, 상기 이미지 디테일들을 상기 입력 이미지와 믹싱하는 단계;를 더 포함하는, 방법.
  3. 제 2 항에 있어서,
    상기 입력 이미지를 입력받는 단계; 및
    상기 입력 이미지를, 적어도 하나의 입력 이미지 블록을 포함하는 상기 입력 이미지 정보로 분할하는 단계;를 더 포함하는, 방법.
  4. 제 3 항에 있어서,
    상기 입력 이미지 블록은 상기 출력 이미지 블록의 블록 사이즈보다 큰 블록 사이즈를 것을 특징으로 하는, 방법.
  5. 제 2 항에 있어서,
    상기 주파수 도메인 정보는 변환 계수들을 포함하고, 상기 특정 주파수 성분들은:
    적어도 하나의 주파수 성분들을 변환 스펙트럼에서의 고주파수 위치로 리프팅하기 위해 상기 변환 계수들에 대해 주파수 리프팅을 수행하는 단계; 및
    상기 변환 계수들을 수정된 변환 계수들로 컨버팅하는 단계;에 기초하여 생성되는, 방법.
  6. 제 2 항에 있어서,
    상기 주파수 도메인 정보는 변환 계수들을 포함하고, 상기 특정 주파수 성분들은:
    매트릭스에서 상기 변환 계수들 위치를 시프팅하는 단계;
    관련 계수 행 및 열 인덱스들을 이용하여 제로-주파수 계수 위치에 대해 계수들에 대한 거리들을 결정하기 위해 상기 시프팅된 변환 계수들을 이용하는 단계;
    적어도 하나의 주파수 성분들을 변환 스펙트럼에서의 고주파수 위치로 리프팅하기 위해 상기 결정된 거리들에 기초하여 상기 변환 계수들에 대해 주파수 리프팅을 수행하는 단계; 및
    상기 변환 계수들을 수정된 변환 계수들로 컨버팅하는 단계;에 기초하여 생성되는, 방법.
  7. 제 6 항에 있어서,
    상기 시프팅 후 상기 매트릭스의 중심으로 상기 제로-주파수 계수 위치를 이동시키는 단계를 더 포함하고,
    상기 제로-주파수 계수 위치는 2차원 좌표의 원점으로서 사용되고, 매트릭스 요소들은 상기 2차원 좌표 상의 포인트들로서 사용되는, 방법.
  8. 제 7 항에 있어서,
    상기 계수들에 대한 거리의 결정은, 미리 결정된 전달 함수에 기초하여 이루어지는, 방법.
  9. 제 5 항에 있어서,
    상기 수신된 이미지 정보를 변환하는 단계는,
    이산 퓨리에 변환 처리 및 이산 코사인 변환 처리 중 하나를 이용하는 단계를 포함하는, 방법.
  10. 제 2 항에 있어서,
    상기 이미지 디테일 및 상기 입력 이미지를 포함하는 출력 이미지는, 전자 디바이스에 디스플레이되는, 방법.
  11. 제 10 항에 있어서,
    상기 전자 디바이스는 텔레비전 디바이스, 모니터 디바이스, 컴퓨팅 디바이스 및 모바일 컴퓨팅 디바이스 중 하나를 포함하는, 방법.
  12. 제 2 항에 있어서,
    상기 프로세서 디바이스는 로컬 텔레비전 디바이스, 셋-톱-박스 디바이스, 및 네트워크 서버 디바이스 중 하나에서 프로세스를 수행하는, 방법.
  13. 프로세서 디바이스를 이용하여, 입력 이미지 정보를 수신하고, 상기 입력 이미지 정보의 주파수 특성에 기초하여 개선 정보를 결정하는 디테일 생성 모듈: 및
    개선된 이미지를 생성하기 위해, 상기 입력 이미지 정보를 상기 개성 정보와 믹싱하는 믹서 모듈;을 포함하는, 시스템.
  14. 제 13 항에 있어서,
    상기 디테일 생성 모듈은,
    주파수 도메인 정보를 획득하기 위해 상기 수신된 입력 이미지 정보를 변환하고,
    특정 주파수 성분을 생성하기 위해 상기 주파수 도메인 정보에 대한 주파수 분포를 결정하고,
    적어도 하나의 출력 이미지 블록을 생성하기 위해 업데이트된 주파수 분포 상에서 역 변환을 수행하기 위해, 상기 프로세서 디바이스를 추가적으로 이용하고,
    상기 시스템은,
    이미지 디테일을 포함하는 상기 개성 정보를 생성하기 위해 상기 적어도 하나의 출력 이미지 블록들을 결합하고,
    상기 믹서 모듈은 상기 이미지 디테일들을 상기 입력 이미지와 믹싱하는 단계;를 더 포함하는, 시스템.
  15. 제 14 항에 있어서,
    상기 입력 이미지를 수신하고, 상기 입력 이미지를, 적어도 하나의 입력 이미지 블록을 포함하는 상기 입력 이미지 정보로 분할하는 수신 모듈;을 더 포함하는, 시스템.
  16. 제 15 항에 있어서,
    상기 입력 이미지 블록은 상기 출력 이미지 블록의 블록 사이즈보다 큰 블록 사이즈를 갖는 것을 특징으로 하는, 시스템.
  17. 제 14 항에 있어서,
    상기 주파수 도메인 정보는 변환 계수들을 포함하고, 상기 특정 주파수 성분들은:
    적어도 하나의 주파수 성분들을 변환 스펙트럼에서의 고주파수 위치로 리프팅하기 위해 상기 변환 계수들에 대해 주파수 리프팅을 수행하는 것; 및
    상기 변환 계수들을 수정된 변환 계수들로 컨버팅하는 것에 기초하여 생성되는, 시스템.
  18. 제 14 항에 있어서,
    상기 주파수 도메인 정보는 변환 계수들을 포함하고, 상기 특정 주파수 성분들은:
    매트릭스에서 상기 변환 계수들 위치를 시프팅하는 것;
    관련 계수 행 및 열 인덱스들을 이용하여 제로-주파수 계수 위치에 대해 계수들에 대한 거리들을 결정하기 위해 상기 시프팅된 변환 계수들을 이용하는 것;
    적어도 하나의 주파수 성분들을 변환 스펙트럼에서의 고주파수 위치로 리프팅하기 위해 상기 결정된 거리들에 기초하여 상기 변환 계수들에 대해 주파수 리프팅을 수행하는 것; 및
    상기 변환 계수들을 수정된 변환 계수들로 컨버팅하는 것에 기초하여 생성되는, 시스템.
  19. 제 19 항에 있어서,
    상기 디테일 생성 모듈은,
    상기 시프팅 후 상기 매트릭스의 중심으로 상기 제로-주파수 계수 위치를 이동시키고,
    상기 제로-주파수 계수 위치는 2차원 좌표의 원점으로서 사용되고, 매트릭스 요소들은 상기 2차원 좌표 상의 포인트들로서 사용되는, 시스템.
  20. 제 19 항에 있어서,
    상기 계수들에 대한 거리의 결정은, 미리 결정된 전달 함수에 기초하여 이루어지는, 시스템.
  21. 제 20 항에 있어서,
    상기 디테일 생성 모듈은,
    이산 퓨리에 변환 처리 및 이산 코사인 변환 처리 중 하나를 이용하여 수신된 이미지 정보의 변환을 수행하는, 시스템.
  22. 제 14 항에 있어서,
    상기 이미지 디테일 및 상기 입력 이미지를 포함하는 출력 이미지는, 텔레비전 디바이스, 모니터 디바이스, 컴퓨팅 디바이스 및 모바일 컴퓨팅 디바이스 중 하나를 포함하는 전자 디바이스에서 디스플레이되는, 시스템.
  23. 제 14 항에 있어서,
    상기 디테일 생성 모듈은
    상기 프로세서 디바이스는 로컬 텔레비전 디바이스, 셋-톱-박스 디바이스, 및 네트워크 서버 디바이스 중 하나에서 프로세스를 수행하는, 시스템.
  24. 컴퓨터 상에서 실행할 때,
    입력 이미지 정보를 수신하는 단계;
    프로세서 디바이스를 이용하여, 상기 입력 이미지 정보의 주파수 특성에 기초하여 개선 정보(enhancement information)를 결정하는 단계; 및
    개선된 이미지를 생성하기 위해 상기 개선 정보를 상기 입력 이미지 정보와 믹싱하는 단계;를 포함하는 방법을 수행하는 명령들을 비-임시적 컴퓨터-판독 가능 매체.
  25. 제 24 항에 있어서,
    상기 개선 정보를 결정하는 단계는:
    상기 프로세서 디바이스를 이용하여, 주파수 도메인 정보를 획득하기 위해 상기 수신된 입력 이미지 정보를 변환하는 단계;
    특정 주파수 성분을 생성하기 위해 상기 주파수 도메인 정보에 대한 주파수 분포를 결정하는 단계;
    적어도 하나의 출력 이미지 블록을 생성하기 위해 업데이트된 주파수 분포 상에서 역 변환을 수행하는 단계;
    이미지 디테일을 포함하는 상기 개선 정보를 생성하기 위해 상기 적어도 하나의 출력 이미지 블록들을 결합하고, 상기 이미지 디테일들을 상기 입력 이미지와 믹싱하는 단계;를 더 포함하는, 매체.
  26. 제 25 항에 있어서,
    상기 방법은,
    상기 입력 이미지를 수신하는 단계;
    상기 입력 이미지를, 적어도 하나의 입력 이미지 블록을 포함하는 상기 입력 이미지 정보로 분할하는 단계;를 더 포함하며,
    상기 입력 이미지 블록은 상기 출력 이미지 블록의 블록 사이즈보다 큰 블록 사이즈를 갖는 것을 특징으로 하는, 매체.
  27. 제 25 항에 있어서,
    상기 주파수 도메인 정보는 변환 계수들을 포함하고,
    상기 특정 주파수 성분들은:
    적어도 하나의 주파수 성분들을 변환 스펙트럼에서의 고주파수 위치로 리프팅하기 위해 상기 변환 계수들에 대해 주파수 리프팅을 수행하는 단계; 및
    상기 변환 계수들을 수정된 변환 계수들로 컨버팅하는 단계;에 기초하여 생성되는, 매체.
  28. 제 25 항에 있어서,
    상기 주파수 도메인 정보는 변환 계수들을 포함하고,
    상기 특정 주파수 성분들은:
    매트릭스에서 상기 변환 계수들 위치를 시프팅하는 단계;
    관련 계수 행 및 열 인덱스들을 이용하여 제로-주파수 계수 위치에 대해 계수들에 대한 거리들을 결정하기 위해 상기 시프팅된 변환 계수들을 이용하는 단계;
    적어도 하나의 주파수 성분들을 변환 스펙트럼에서의 고주파수 위치로 리프팅하기 위해 상기 결정된 거리들에 기초하여 상기 변환 계수들에 대해 주파수 리프팅을 수행하는 단계; 및
    상기 변환 계수들을 수정된 변환 계수들로 컨버팅하는 단계;에 기초하여 생성되는, 매체.
  29. 제 28 항에 있어서,
    상기 방법은, 상기 시프팅 후 상기 매트릭스의 중심으로 상기 제로-주파수 계수 위치를 이동시키는 단계를 더 포함하고,
    상기 제로-주파수 계수 위치는 2차원 좌표의 원점으로서 사용되고, 매트릭스 요소들은 상기 2차원 좌표 상의 포인트들로서 사용되는, 매체.
  30. 제 29 항에 있어서,
    상기 계수들에 대한 거리의 결정은, 미리 결정된 전달 함수에 기초하여 이루어지는, 매체.
  31. 제 30 항에 있어서,
    상기 수신된 이미지 정보를 변환하는 단계는,
    이산 퓨리에 변환 처리 및 이산 코사인 변환 처리 중 하나를 이용하는, 매체
  32. 제 25 항에 있어서,
    상기 이미지 디테일 및 상기 입력 이미지를 포함하는 출력 이미지는, 전자 디바이스 상에서 디스플레이되며,
    상기 전자 디바이스는, 텔레비전 디바이스, 모니터 디바이스, 컴퓨팅 디바이스 및 모바일 컴퓨팅 디바이스 중 하나를 포함하는, 매체.
  33. 제 25 항에 있어서,
    상기 컴퓨터는 로컬 텔레비전 디바이스, 셋-톱-박스 디바이스, 및 네트워크 서버 디바이스 중 하나에서 프로세싱을 수행하는, 매체.
  34. 제1항에 따른 방법에 따른 프로세스에 의해 개선된 이미지를 생성하는, 이미지 개선 장치.
KR1020157023196A 2013-03-15 2014-03-17 주파수 리프팅으로 이미지에서 디테일 생성 KR102197579B1 (ko)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201361794627P 2013-03-15 2013-03-15
US61/794,627 2013-03-15
US201361892332P 2013-10-17 2013-10-17
US61/892,332 2013-10-17
US14/214,056 US9305332B2 (en) 2013-03-15 2014-03-14 Creating details in an image with frequency lifting
US14/214,056 2014-03-14
PCT/KR2014/002246 WO2014142630A1 (en) 2013-03-15 2014-03-17 Creating details in an image with frequency lifting

Publications (2)

Publication Number Publication Date
KR20150129687A true KR20150129687A (ko) 2015-11-20
KR102197579B1 KR102197579B1 (ko) 2020-12-31

Family

ID=51527353

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157023196A KR102197579B1 (ko) 2013-03-15 2014-03-17 주파수 리프팅으로 이미지에서 디테일 생성

Country Status (5)

Country Link
US (1) US9305332B2 (ko)
EP (1) EP2974262B1 (ko)
KR (1) KR102197579B1 (ko)
CN (1) CN105144681B (ko)
WO (1) WO2014142630A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017151877A1 (en) * 2016-03-02 2017-09-08 MatrixView, Inc. Apparatus and method to improve image or video quality or encoding performance by enhancing discrete cosine transform coefficients

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9536288B2 (en) 2013-03-15 2017-01-03 Samsung Electronics Co., Ltd. Creating details in an image with adaptive frequency lifting
US9066025B2 (en) 2013-03-15 2015-06-23 Samsung Electronics Co., Ltd. Control of frequency lifting super-resolution with image features
US9349188B2 (en) 2013-03-15 2016-05-24 Samsung Electronics Co., Ltd. Creating details in an image with adaptive frequency strength controlled transform
US9652829B2 (en) 2015-01-22 2017-05-16 Samsung Electronics Co., Ltd. Video super-resolution by fast video segmentation for boundary accuracy control
US9734409B2 (en) * 2015-06-24 2017-08-15 Netflix, Inc. Determining native resolutions of video sequences
CN106851399B (zh) 2015-12-03 2021-01-22 阿里巴巴（中国）有限公司 视频分辨率提升方法及装置
US11917205B2 (en) * 2019-07-05 2024-02-27 Tencent America LLC Techniques and apparatus for scalable lifting for point-cloud attribute coding
WO2022205094A1 (zh) * 2021-03-31 2022-10-06 深圳市大疆创新科技有限公司 数据处理方法、数据传输系统、设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010140460A (ja) * 2008-11-13 2010-06-24 Sony Corp 画像処理装置および方法、並びにプログラム

Family Cites Families (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2170373B (en) 1984-12-28 1989-03-15 Canon Kk Image processing apparatus
US5517687A (en) * 1994-02-09 1996-05-14 Westinghouse Electric Corporation Subharmonic image rejection and image enhancement mixer
US6346124B1 (en) 1998-08-25 2002-02-12 University Of Florida Autonomous boundary detection system for echocardiographic images
RU2150146C1 (ru) 1998-09-03 2000-05-27 Семенченко Михаил Григорьевич Способ обработки изображения
US6266443B1 (en) 1998-12-22 2001-07-24 Mitsubishi Electric Research Laboratories, Inc. Object boundary detection using a constrained viterbi search
US7221761B1 (en) 2000-09-18 2007-05-22 Sharp Laboratories Of America, Inc. Error resilient digital video scrambling
KR100871025B1 (ko) * 2001-04-11 2008-11-27 소니 가부시끼 가이샤 윤곽 강조 장치
US20040136570A1 (en) 2002-04-30 2004-07-15 Shimon Ullman Method and apparatus for image enhancement for the visually impaired
US7292733B2 (en) 2002-10-16 2007-11-06 Matsushita Electric Industrial Co., Ltd. Image processing apparatus and image processing method
CA2411338C (en) 2002-11-07 2011-05-31 Mcmaster University Method for on-line machine vision measurement, monitoring and control of product features during on-line manufacturing processes
US7139036B2 (en) 2003-01-31 2006-11-21 Samsung Electronics Co., Ltd. Method and apparatus for image detail enhancement using filter bank
JP3944738B2 (ja) 2003-03-18 2007-07-18 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
US7315656B2 (en) * 2003-05-22 2008-01-01 The Boeing Company Methods and apparatus for enhanced viewing of aerial refueling operations
US8896725B2 (en) 2007-06-21 2014-11-25 Fotonation Limited Image capture device with contemporaneous reference image capture mechanism
US7606417B2 (en) 2004-08-16 2009-10-20 Fotonation Vision Limited Foreground/background segmentation in digital images with differential exposure calculations
US8593542B2 (en) 2005-12-27 2013-11-26 DigitalOptics Corporation Europe Limited Foreground/background separation using reference images
KR100999091B1 (ko) 2003-11-17 2010-12-07 삼성전자주식회사 임의 크기의 가변 블록을 이용한 영상 압축 방법 및 장치
US20050104899A1 (en) 2003-11-19 2005-05-19 Genesis Microchip Inc. Real time data stream processor
CN100493174C (zh) 2004-01-09 2009-05-27 松下电器产业株式会社 图像处理方法和图像处理装置
EP1771818A4 (en) 2004-07-30 2011-07-27 Algolith Inc DEVICE AND METHOD FOR ADAPTIVE 3D ARTIFACT REDUCTION FOR A CODED IMAGE SIGNAL
US8594448B2 (en) 2004-08-16 2013-11-26 Hewlett-Packard Development Company, L.P. Bi-selective filtering in transform domain
JP4538358B2 (ja) * 2005-03-30 2010-09-08 パイオニア株式会社 画像処理装置
US20060222258A1 (en) 2005-04-05 2006-10-05 Samsung Electronics Co., Ltd. Image restoration with gain control and shoot suppression
US7676103B2 (en) * 2005-06-20 2010-03-09 Intel Corporation Enhancing video sharpness and contrast by luminance and chrominance transient improvement
US7587099B2 (en) 2006-01-27 2009-09-08 Microsoft Corporation Region-based image denoising
JP4710635B2 (ja) 2006-02-07 2011-06-29 ソニー株式会社 画像処理装置および方法、記録媒体、並びに、プログラム
US20070223834A1 (en) 2006-03-23 2007-09-27 Samsung Electronics Co., Ltd. Method for small detail restoration in digital images
US8818109B2 (en) 2006-07-04 2014-08-26 Hewlett-Packard Development Company, L.P. Context-aware image processing
JP4882680B2 (ja) 2006-07-31 2012-02-22 富士ゼロックス株式会社 画像処理システムおよび画像処理プログラム
US20080112630A1 (en) * 2006-11-09 2008-05-15 Oscar Nestares Digital video stabilization based on robust dominant motion estimation
US8260087B2 (en) 2007-01-22 2012-09-04 Sharp Laboratories Of America, Inc. Image upsampling technique
US8811692B2 (en) 2007-04-17 2014-08-19 Francine J. Prokoski System and method for using three dimensional infrared imaging for libraries of standardized medical imagery
US8442337B2 (en) 2007-04-18 2013-05-14 Microsoft Corporation Encoding adjustments for animation content
KR101156117B1 (ko) 2007-08-02 2012-07-03 삼성전자주식회사 영상 검출 장치 및 영상 검출 방법
JP4586052B2 (ja) 2007-08-08 2010-11-24 キヤノン株式会社 画像処理装置及びその制御方法
US8743963B2 (en) 2007-08-13 2014-06-03 Ntt Docomo, Inc. Image/video quality enhancement and super-resolution using sparse transformations
KR101265956B1 (ko) 2007-11-02 2013-05-22 삼성전자주식회사 블록 기반의 영상 복원 시스템 및 방법
JP4431607B2 (ja) * 2007-11-08 2010-03-17 シャープ株式会社 画像処理装置、画像形成装置、画像処理方法、コンピュータプログラム及び記録媒体
WO2009079644A2 (en) 2007-12-18 2009-06-25 Brijot Imaging Systems, Inc. Software methodology for autonomous concealed object detection and threat assessment
JP4508279B2 (ja) * 2008-07-17 2010-07-21 ソニー株式会社 画像処理装置、画像処理方法、及び、プログラム
CN102150418B (zh) 2008-12-22 2014-10-15 松下电器产业株式会社 图像放大装置、方法以及集成电路
US8503814B2 (en) 2009-01-19 2013-08-06 Csr Technology Inc. Method and apparatus for spectrum estimation
RU2497301C2 (ru) 2009-03-31 2013-10-27 Шарп Кабусики Кайся Устройство для совершенствования изображений, способ совершенствования изображений, программа для совершенствования изображений и устройство для обработки сигналов
US20100322513A1 (en) 2009-06-19 2010-12-23 Sharp Laboratories Of America, Inc. Skin and sky color detection and enhancement system
KR101616874B1 (ko) 2009-09-23 2016-05-02 삼성전자주식회사 다중 영상 합성 방법 및 그 장치
JP5844263B2 (ja) 2009-10-05 2016-01-13 ビーマル イメージング リミテッドＢｅａｍｒ Ｉｍａｇｉｎｇ Ｌｔｄ． デジタル画像を再圧縮するための装置および方法
CN102648631B (zh) 2009-12-01 2016-03-30 数码士控股有限公司 用于编码/解码高分辨率图像的方法和设备
EP2508001A4 (en) 2009-12-04 2016-07-20 Thomson Licensing TEXTURE / STRUCTURE-ADAPTED PARTITIONED BLOCK CONVERSION
TW201120809A (en) 2009-12-15 2011-06-16 Ability Entpr Co Ltd System and method for processing an image edge
TWI406571B (zh) 2010-01-29 2013-08-21 Corel Inc Image Processing Method for Enhancing Image Edge Resolution
JP5366855B2 (ja) 2010-02-16 2013-12-11 富士フイルム株式会社 画像処理方法及び装置並びにプログラム
US8457437B2 (en) 2010-03-23 2013-06-04 Raytheon Company System and method for enhancing registered images using edge overlays
KR101668829B1 (ko) 2010-04-21 2016-10-25 삼성전자주식회사 공간 주파수 상에서 인간 시각 특성이 반영된 텍스처 향상 방법 및 장치
US8472724B2 (en) 2010-06-30 2013-06-25 Samsung Electronics Co., Ltd. System and method for reducing noise in an image
ES2395102B1 (es) 2010-10-01 2013-10-18 Telefónica, S.A. Metodo y sistema para segmentacion de primer plano de imagenes en tiempo real
US9031346B2 (en) * 2011-01-07 2015-05-12 Tp Vision Holding B.V. Method for converting input image data into output image data, image conversion unit for converting input image data into output image data, image processing apparatus, display device
US8824823B1 (en) 2011-01-20 2014-09-02 Verint Americas Inc. Increased quality of image objects based on depth in scene
KR101049928B1 (ko) 2011-02-21 2011-07-15 (주)올라웍스 파노라마 이미지를 생성하기 위한 방법, 사용자 단말 장치 및 컴퓨터 판독 가능한 기록 매체
US8768069B2 (en) 2011-02-24 2014-07-01 Sony Corporation Image enhancement apparatus and method
US8433148B2 (en) 2011-03-31 2013-04-30 Mitsubishi Electric Research Laboratories, Inc. Method for compressing textured images
JP2012247891A (ja) 2011-05-26 2012-12-13 Sony Corp 画像処理装置、画像処理方法、およびプログラム
JP2012249079A (ja) 2011-05-27 2012-12-13 Semiconductor Components Industries Llc 輪郭補正装置
US8483516B2 (en) 2011-08-16 2013-07-09 National Taiwan University Super resolution system and method with database-free texture synthesis
JP2013165476A (ja) 2011-11-11 2013-08-22 Mitsubishi Electric Corp 画像処理装置、画像処理方法、画像表示装置、プログラム及び記録媒体
US8873835B2 (en) 2011-11-30 2014-10-28 Adobe Systems Incorporated Methods and apparatus for correcting disparity maps using statistical analysis on local neighborhoods
US9380320B2 (en) 2012-02-10 2016-06-28 Broadcom Corporation Frequency domain sample adaptive offset (SAO)
US9361672B2 (en) 2012-03-26 2016-06-07 Google Technology Holdings LLC Image blur detection
US8983177B2 (en) 2013-02-01 2015-03-17 Mitsubishi Electric Research Laboratories, Inc. Method for increasing resolutions of depth images
US9547410B2 (en) 2013-03-08 2017-01-17 Adobe Systems Incorporated Selection editing using a localized level set algorithm
US9349188B2 (en) * 2013-03-15 2016-05-24 Samsung Electronics Co., Ltd. Creating details in an image with adaptive frequency strength controlled transform
US9066025B2 (en) * 2013-03-15 2015-06-23 Samsung Electronics Co., Ltd. Control of frequency lifting super-resolution with image features
US9536288B2 (en) * 2013-03-15 2017-01-03 Samsung Electronics Co., Ltd. Creating details in an image with adaptive frequency lifting
AU2013206597A1 (en) 2013-06-28 2015-01-22 Canon Kabushiki Kaisha Depth constrained superpixel-based depth map refinement

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010140460A (ja) * 2008-11-13 2010-06-24 Sony Corp 画像処理装置および方法、並びにプログラム

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Anbarjafari & Demirel, Image Super Resolution Based on Interpolation of Wavelet Domain High Frequency Subbands and the Spatial Domain Input Image, ETRI Journal, 2010년 6월, pp. 390-394. 1부.* *
Piao et al. Image Resolution Enhancement using Inter Subband Correlation in Wavelet Domain, IEEE ICIP, 2007년 10월, pp. 445-448. 1부.* *
Tasmaz & Ercelebi. Image enhancement via space adaptive lifting scheme using spatial domain adaptive wiener filter. IEEE ISPA, 2009년 9월, pp. 287-292. 1부.* *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017151877A1 (en) * 2016-03-02 2017-09-08 MatrixView, Inc. Apparatus and method to improve image or video quality or encoding performance by enhancing discrete cosine transform coefficients

Also Published As

Publication number Publication date
KR102197579B1 (ko) 2020-12-31
CN105144681B (zh) 2019-01-11
EP2974262B1 (en) 2020-03-04
CN105144681A (zh) 2015-12-09
EP2974262A4 (en) 2016-10-05
EP2974262A1 (en) 2016-01-20
US9305332B2 (en) 2016-04-05
WO2014142630A1 (en) 2014-09-18
US20140270564A1 (en) 2014-09-18

Similar Documents

Publication Publication Date Title
KR102169480B1 (ko) 이미지에서 적응적인 주파수 강도 컨트롤 변환으로 디테일 생성
KR102197579B1 (ko) 주파수 리프팅으로 이미지에서 디테일 생성
KR102169053B1 (ko) 이미지 특징들에 의한 주파수 리프팅 초해상도의 제어
KR102167570B1 (ko) 적응적 주파수 리프팅으로 이미지에서 디테일 생성
US9652829B2 (en) Video super-resolution by fast video segmentation for boundary accuracy control
CN108063976B (zh) 一种视频处理方法及装置
US20130077887A1 (en) Methods and systems for up-scaling a standard definition (sd) video to high definition (hd) quality
KR102567633B1 (ko) 오버레이 지시를 사용하는 적응적 하이 다이나믹 레인지 톤 매핑
US9478007B2 (en) Stable video super-resolution by edge strength optimization
JP2012100129A (ja) 画像処理方法及び画像処理装置
US8670070B2 (en) Method and system for achieving better picture quality in various zoom modes
WO2021241222A1 (ja) 画像処理装置および方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right