KR102167570B1

KR102167570B1 - 적응적 주파수 리프팅으로 이미지에서 디테일 생성

Info

Publication number: KR102167570B1
Application number: KR1020157023215A
Authority: KR
Inventors: 리 타오; 김영택
Original assignee: 삼성전자주식회사
Priority date: 2013-03-15
Filing date: 2014-03-17
Publication date: 2020-10-19
Also published as: EP2974336A1; EP2974336A4; CN105230032B; CN105230032A; WO2014142635A1; US9536288B2; EP2974336B1; US20140267347A1; KR20150129688A

Abstract

이미지 디테일이 이미지에 대해 생성된다. 이미지는 이미지 정보를 획득하기 위해 처리된다. 검출된 텍스처 샘플이 텍스처 정보를 획득하기 위해 처리된다. 프로세서 디바이스는 주파수 도메인 정보를 획득하기 위해 수신된 이미지 정보를 변환하는데 이용된다. 텍스처 정보는 리프팅 팩터를 결정하는데 이용된다. 주파수 분포는 특정 주파수를 생성하기 위해 리프팅 팩터를 이용하여 주파수 도메인 정보에 대해 결정된다. 출력 이미지 블럭을 생성하기 위해 업데이트된 주파수 분포에 대해 역 변환이 수행된다. 출력 이미지 블럭은 리프팅된 이미지에 대해 이미지 디테일을 생성하기 위해 결합된다. 리프팅된 이미지는 이미지와 믹싱된다.

Description

적응적 주파수 리프팅으로 이미지에서 디테일 생성 { CREATING DETAILS IN AN IMAGE WITH ADAPTIVE FREQUENCY LIFTING }

하나 이상의 실시 예들은 일반적으로 초고해상도(ultra-high definition: UD) 디스플레이들, 및 특히 UD 디스플레이 또는 디바이스 상에서 디스플레이하기 위해, 저해상도 이미지에서 적응적인 주파수 리프팅으로 디테일을 생성하기 위한 방법에 관한 것이다.

UD 사용자들, 예컨대 UD 텔레비전(UDTV) 또는 다른 UD 디스플레이 디바이스들은 UD 비디오가 더 일반적으로 될 때까지 UD 디바이스들 상에서 저해상도 컨텐츠(예컨대, 표준 해상도(SD), 고해상도(HD), 풀 HD(FHD) 등 컨텐츠)를 시청해야 한다. 저해상도 프레임들의 이미지 품질은 UD 디바이스들 상에서 볼 때 열화되어 보인다. 정기적인 이미지 업스케일링 또는 보간은 이미지 품질 열화를 최소화하기 위해 충분한 이미지 선예도 및 파인 디테일(fine details)을 제공할 수 없다.

하나 이상의 실시 예들은 이미지에 대한 이미지 디테일을 생성하는 것에 관한 것이다. 일 실시 예에서, 방법은 입력 이미지 정보를 수신하는 것을 포함한다. 일 실시 예에 있어서, 프로세서 디바이스는 입력 이미지 정보의 주파수 특성 및 텍스처 정보에 기초하여 개선 정보(enhancement information)를 결정하는 데 사용된다. 일 실시 예에 있어서, 개선 정보는 개선된 이미지를 생성하기 위해 입력 이미지 정보와 믹싱된다.

실시 예에 있어서, 시스템은 입력 이미지로부터 텍스처 정보를 획득하는 텍스처 처리 모듈을 포함한다. 일 실시 예에서, 디테일 생성 모듈은 프로세서 디바이스를 이용하여, 입력 이미지 정보를 수신하고, 입력 이미지 정보의 텍스처 정보 및 주파수 특성에 기초하여 개선 정보를 결정한다. 일 실시 예에 있어서, 믹서 모듈은 개선 정보를 입력 이미지와 믹싱한다.

일 실시 예에 있어서, 비-임시의 컴퓨터-판독 가능 매체는 컴퓨터 상에서 실행될 때 방법을 수행하는 명령들을 가진다. 일 실시 예에 있어서, 이 방법은 입력 이미지를 수신하는 것을 포함한다. 일 실시 예에 있어서, 개선 정보는 입력 이미지 정보의 주파수 특성 및 특징 정보에 기초하여 결정된다. 일 실시 예에 있어서, 개선 정보는 개선된 이미지를 생성하기 위해 입력 이미지 정보와 믹싱된다.

하나 이상의 실시 예들의 이들 및 다른 특징들, 양상들 및 이점들은 다음의 설명, 첨부된 청구항들 및 첨부 도면들을 참조하여 이해될 것이다.

도 1은 일 실시 예에 따른, 이미지 디테일 생성 메커니즘을 갖는 전자 시스템을 나타낸다.
도 2는 일 실시 예에 따른, 시스템의 예시적인 하이-레벨 블록도를 나타낸다.
도 3은 일 실시 예에 따른, 이미지 디테일 처리 시스템의 블록도를 나타낸다.
도 4는 일 실시 예에 따른, 외부 이미지 블록과 내부 이미지 블록 간의 예시적인 관계를 나타낸다.
도 5는 일 실시 예에 따른 예시적인 텍스처 적응적 디테일 생성 블록을 나타낸다.
도 6은 일 실시 예에 따른, 변환을 위한 주기성의 예를 나타낸다.
도 7은 일 실시 예에 따른, 예시적인 변환 시프팅 동작을 나타낸다.
도 8은 일 실시 예에 따른, 예시적인 적응적 주파수 리프팅 블럭을 나타낸다.
도 9는 일 실시 예에 따른 주파수 성분과 관련된 거리 산출을 설명하기 위한 예시적인 블록이다.
도 10은 일 실시 예에 따른, 주파수 리프팅을 위한 전달 함수에 대한 예시적인 다이어그램을 나타낸다.
도 11은 일 실시 예에 따른 다른 예시적인 에지 적응적 디테일 생성 블록을 나타낸다.
도 12는 일 실시 예에 따른 주파수 성분과 관련된 거리 결정을 설명하기 위한 예시적인 블럭도를 나타낸다.
도 13은 일 실시 예에 따른 디테일 생성 블럭에 대한 블럭도를 도시한다.
도 14는 개시된 실시 예들을 구현하는 데 유용한 컴퓨터 시스템을 포함하는 정보 처리 시스템을 나타내는 예시적인 하이-레벨 블록도이다.

다음의 설명은 하나 이상의 실시 예들의 일반적인 원리들을 설명하기 위한 목적을 위해 만들어지고 여기에 청구된 발명 개념들을 한정하는 것을 의미하지 않는다. 또, 여기에 기재된 특정 특징들은 여러 가능한 조합들 및 치환들 각각에서 다른 기재된 특징들과 조합되어 사용될 수 있다. 여기서 달리 구체적으로 규정되지 않는다면, 모든 용어들은 명세서로부터 부여되는 의미들 및 이 기술분야에서 숙련된 사람에 의해 이해되고 및/또는 사전들, 논문들 등에 정의된 의미들을 포함해서 이들의 가장 넓은 가능한 해석이 주어져야 한다.

하나 이상의 실시 예들이 이미지에 대한 잠재적 이미지 아티팩트들을 감소시키기 위해 제공된다. 일 실시 예에 있어서, 방법은 입력 이미지를 수신하는 것을 포함한다. 일 실시 예에 있어서, 프로세서 디바이스는 입력 이미지 정보의 주파수 특성 및 특징 정보에 기초하여 개선 정보(또는 향상 정보)를 결정하는 데 사용된다. 일 실시 예에 있어서, 개선 정보는 개선된 이미지를 생성하기 위해 입력 이미지 정보와 믹싱된다.

이 기술 분야에서 숙련된 사람은 이미지 정보가 표현되는 포맷이 일부 실시 예들에 대해서는 중요하지 않다는 것을 이해할 수 있다. 예를 들면, 일부 실시 예들에 있어서, 이미지 정보는 (X, Y)의 포맷으로 제공되고, 여기서 X 및 Y는 이미지에서 화소의 위치를 규정하는 2개의 좌표들이다. 3차원 이미지 정보는 화소의 컬러에 대한 관련 정보를 갖는 (X, Y, Z)의 포맷에 의해 제공된다. 일 실시 예에 있어서, 3차원 이미지 정보는 또한 강도 또는 휘도 요소를 포함한다.

설명적 목적들을 위해, 여기에 사용되는 용어 "수평(horizontal)"은 "도(FIG.)"의 도면 지정에 의해 표시된 도면들을 볼 때 보여지는 수평 방향을 가리킨다. 용어 "수직(vertical)"은 바로 앞에서 정의된 수평과 직교하는 방향을 가리킨다. 용어들, 예컨대 "위(above)", "아래(below)", "저부(bottom)", "상부(top)", "측면(side)", "고(higher)", "저(lower)", "상(upper)", "위(over)", 및 "하(under)"는 도면들에 나타낸 것과 같이, 수평에 대해 정의된다.

여기서 말하는 용어 "이미지(image)"는 2차원 이미지, 3차원 이미지, 비디오 프레임, 컴퓨터 파일 표현, 카메라로부터의 이미지, 비디오 프레임, 또는 그것의 조합을 포함할 수 있다. 예를 들면, 이미지는 기계 판독 가능 디지털 파일, 물리적 사진, 디지털 사진, 모션 픽쳐 프레임(motion picture frame), 비디오 프레임, x-레이 이미지, 스캔된 이미지, 또는 그것의 조합일 수 있다. 이미지는 직사각형 어레이로 배열되는 화소들로부터 발생될 수 있다. 이미지는 행들의 방향에 따른 x-축 및 열들의 방향에 따른 y-축을 포함할 수 있다.

텍스처는 컬러 맵을 포함하는 규칙적인 또는 반복되는 패턴에서 발생하는 텍스처 요소(예를 들어, 텍셀(texels))들의 집합으로 정의될 수 있다. 텍스처는 결정적(규칙적) 텍스처 및 통계적(비규칙적) 텍스처를 포함할 수 있다. 결정적 텍스처는 원이나 사각형과 같은, 고정된 기하학 형상의 반복에 의해 생성된다. 결정적 텍스처의 예는 패턴 형태의 월페이퍼(wallpaper) 및 브릭(bricks)이다. 텍셀은 특정 형상의 형상 파라미터에 의해 자연스럽게 나타내어진다. 통계적 텍스처는 고정된 통계 값을 갖는 패턴을 변화시킴으로서 생성된다. 나무(wood)나 돌(stone)과 같은 대부분의 자연적 텍스처는 통계적이다. 통계적 텍스처는 전형적으로 공간 주파수 값의 관점에서 나타내어진다.

도 1은 하나 이상의 실시 예들에서 이미지 디테일 생성 메커니즘을 갖는 전자 시스템(50)을 나타낸다. 전자 시스템(50)은 제 2 디바이스(56), 예컨대 클라이언트 또는 서버에 접속되는 제 1 디바이스(52), 예컨대 클라이언트 또는 서버를 구비한다. 제 1 디바이스(52)는 통신 경로(54), 예컨대 무선 또는 유선 네트워크로 제 2 디바이스(56)와 통신할 수 있다.

일 실시 예에 있어서, 제 1 디바이스(52)는 다양한 초고해상도(UD) 디스플레이 디바이스들 중 어느 하나, 예컨대 UD 텔레비전(UDTV), 태블릿 디바이스, 스마트 폰, 개인 휴대 정보 단말기(personal digital assistant: PDA), 노트북 컴퓨터, 액정 디스플레이(liquid crystal display: LCD) 시스템, 웨어러블 디바이스, 모바일 컴퓨팅 디바이스, 또는 다른 다기능 디스플레이들 또는 엔터테인먼트 디바이스들일 수 있다. 제 1 디바이스(52)는 제 2 디바이스(56)와 통신하기 위해 통신 경로(54)에 직접적으로 또는 간접적으로 결합할 수 있거나 또는 독립형 디바이스일 수 있다.

설명의 목적들을 위해, 디스플레이 시스템(50)은, 비록 제 1 디바이스(52)가 상이한 유형의 디바이스일 수 있다는 것이 이해되지만, 디스플레이 디바이스로서 제 1 디바이스(52)와 함께 기술된다. 예를 들면, 제 1 디바이스(52)는 또한 이미지들 또는 멀티-미디어 프레젠테이션을 제공하기 위한 디바이스일 수 있다. 멀티-미디어 프레젠테이션은 사운드, 스트리밍 이미지들의 시퀀스 또는 비디오 피드(video feed), 또는 그것의 조합을 포함하는 프리젠테이션일 수 있다. 일례로서, 제 1 디바이스(52)는 UDTV, 또는 임의의 다른 유형의 UD 디스플레이 디바이스(예컨대, 모니터, 비디오 패널, HUD, 스마트 전화기, 태블릿 디바이스, 비디오 디바이스, 게이밍 디바이스 등)일 수 있다.

제 2 디바이스(56)는 다양한 중앙 집중 또는 분산적 컴퓨팅 디바이스들, 이미지 또는 비디오 전송 디바이스들 중 어느 하나일 수 있다. 예를 들면, 제 2 디바이스(56)는 멀티미디어 컴퓨터, 태블릿, 랩톱 컴퓨터, 데스크톱 컴퓨터, 비디오 게임 컨솔, 그리드-컴퓨팅 리소스들(grid-computing resources), 가상 컴퓨터 리소스, 클라우드 컴퓨팅 리소스(cloud computing resource), 라우터들, 스위치들, 피어 투 피어 분산형 컴퓨팅 디바이스들, 미디어 재생 디바이스, 디지털 비디오 디스크(Digital Video Disk: DVD) 플레이어, 3차원 인에이블드(enabled) DVD 플레이어, 레코딩 디바이스, 예컨대 카메라 또는 비디오 카메라, 또는 그것의 조합일 수 있다. 다른 예에 있어서, 제 2 디바이스(56)는 방송 또는 라이브 스트림 신호들을 수신하기 위한 신호 수신기, 예컨대 텔레비전 수신기, 케이블 박스(cable box), 위성 접시 수신기(satellite dish receiver), 또는 웹 인에이블드 디바이스일 수 있다.

제 2 디바이스(56)는 단일 공간(single room)에 중앙 집중화될 수 있고, 상이한 공간들을 가로질러 분포될 수 있고, 상이한 지리적 위치들에 걸쳐 분포될 수 있고, 원격통신 네트워크 내에 임베드될 수 있다. 제 2 디바이스(56)는 제 1 디바이스(52)와 통신하기 위해 통신 경로(54)와 결합하는 수단을 가질 수 있다.

설명의 목적들을 위해, 전자 시스템(50)은, 비록 제 2 디바이스(56)가 상이한 유형의 디바이스들일 수 있는 것으로 이해되지만, 컴퓨팅 디바이스로서 제 2 디바이스(56)와 함께 기술된다. 또한, 설명의 목적들을 위해, 디스플레이 시스템(50)은, 비록 디스플레이 시스템(50)이 제 1 디바이스(52), 제 2 디바이스(56), 및 통신 경로(54) 사이에 상이한 파티션을 가질 수 있는 것으로 이해되지만, 통신 경로(54)의 종점들로서의 제 2 디바이스(56) 및 제 1 디바이스(52)와 함께 도시된다. 예를 들면, 제 1 디바이스(52), 제 2 디바이스(56), 또는 그것의 조합은 또한 통신 경로(54)의 부분으로서 기능할 수 있다.

통신 경로(54)는 다양한 네트워크들일 수 있다. 예를 들면, 통신 경로(54)는 무선 통신, 유선 통신, 광학, 초음파, 또는 그것의 조합을 포함할 수 있다. 위성 통신, 셀룰러 통신, 불루투스, IrDA(Infrared Data Association standard), WiFi(wireless fidelity), 및 WiMAX(worldwide interoperability for microwave access)은 통신 경로(54)에 포함될 수 있는 무선 통신의 예들이다. 이더넷, DSL(digital subscriber line), FTTH(fiber to home), 고해상도 멀티미디어 인터페이스(HDMI) 케이블, 및 POTS(plain old telephone service)은 통신 경로(54)에 포함될 수 있는 유선 통신의 예들이다.

또, 통신 경로(54)는 다수의 네트워크 토폴로지스 및 거리들을 가로지를 수 있다. 예를 들면, 통신 경로(54)는 직접 접속, PAN(personal area network), LAN(local area network), MAN(metropolitan area network), WAN(wide area network), 또는 그것의 조합을 포함할 수 있다.

도 2는 일 실시 예에 따른 시스템(200)의 하이-레벨 블록도를 나타낸다. 일 실시 예에 있어서, 시스템(200)은 이미지 디테일 처리 시스템 또는 모듈(300)(도 3 참조)을 이용하여 입력 노드(201)에서 수신된 입력 소스(210)로부터의 입력 비디오 이미지들, 출력 노드(240)에서 비디오 이미지들을 출력하고 출력 소스(250)(또는 디바이스(52), 도 1) 상에 이미지들을 디스플레이할 수 있다. 일 실시 예에 있어서, 이미지 디테일 처리 시스템(300)은 입력 이미지 정보를 수신한다. 일 실시 예에 있어서, 디테일 처리 시스템(300)의 프로세서 디바이스는 입력 이미지 정보의 주파수 특성 및 특징 정보에 기초하여 개선 정보를 결정하기 위해 사용된다. 일 실시 예에 있어서, 개선 정보는 이후 개선된 이미지를 생성하기 위해 입력 이미지 정보와 믹싱된다. 일 실시 예에 있어서, 출력 소스(250)(또는 52)를 위한 디스플레이는 이미지 또는 멀티-미디어 프레젠테이션들을 제공하기 위한 물리적 디바이스일 수 있다. 예를 들면, 디스플레이는 액정 디스플레이(LCD) 패널, 플라즈마 스크린, 프로젝션 스크린(projection screen), HUD(heads-up-display) 등을 포함하는 스크린일 수 있다. 다른 실시 예들에 있어서, 디스플레이는 물체 또는 반사 디바이스 상에 투영될 수 있다.

일 실시 예에 있어서, 입력 비디오 이미지들은 무선으로 또는 유선 인터페이스를 통해 전송/수신될 수 있는 입력 소스(210)로부터 제공될 수 있고 비압축/압축된 비디오 콘텐츠를 포함할 수 있다. 일 실시 예에 있어서, 시스템(200)에서의 비디오 이미징 콘텐츠의 와이어라인 또는 무선 통신은 이더넷, 전화(예컨대, POTS), 케이블, 전력선, 및 광섬유 시스템들 중 하나 이상을 통한/상에서의 통신, 및/또는 부호 분할 다중 액세스(CDMA 또는 CDMA2000) 통신 시스템, 주파수 분할 다중 액세스(FDMA) 시스템, 시분할 다중 액세스(TDMA) 시스템 예컨대 GSM/GPRS (General Packet Radio Service)/에지(enhanced data GSM environment), TETRA(Terrestrial Trunked Radio) 모바일 전화 시스템, 광대역 부호 분할 다중 액세스(WCDMA) 시스템, 고속 데이터 전송(high data rate)(1 x enhanced voice-data only(EV-DO) 또는 1 x EV-DO Gold Multicast) 시스템, IEEE 802.11 시스템, DMB(디지털 Multimedia Broadcasting) 시스템, 직교 주파수 분할 다중 액세스(OFDM) 시스템, DVB-H(Digital Video Broadcasting-Handheld) 시스템 등 중 하나 이상을 포함하는 무선 시스템을 포함할 수 있다.

일 실시 예에 있어서, 비디오 입력 소스(210)는 무선 네트워크(예컨대, 인터넷, 로컬 에어리어 네트워크(LAN, WAN(wide-area network), PAN(personal area network), CAN(campus wireless network), MAN(metropolitan area network) 등)를 통해 전송될 수 있다. 일 실시 예에 있어서, 입력 소스(210)는 클라우드-기반 시스템, 서버, 방송국, 비디오 디바이스/플레이어, 비디오 카메라, 모바일 디바이스 등으로 발생할 수 있다.

일 실시 예에 있어서, 입력 소스로부터 입력된 비디오 이미지는 입력 노드(201)에서 도달하기 전에 (예컨대, 디코더/인코더를 통해) 디코딩/인코딩될 수 있다. 일 실시 예에 있어서, 출력 노드(240)로부터 출력 소스(250)로 비디오 이미지는 출력 노드(240)에 도달하기 전에 인코딩/디코딩될 수 있다. 일 실시 예에 있어서, 출력 소스(250)는 무선으로 또는 유선 인터페이스를 통해 출력 노드(240)로부터 출력 이미지를 수신할 수 있다.

일 실시 예에 있어서, 입력 소스(210)로부터의 압축 비디오 이미지 콘텐츠는 방송, 컴퓨터 네트워크, DVD 또는 다른 컴퓨터 판독 가능 저장 매체로부터의 아날로그 또는 디지털 비디오, 또는 비디오 신호들의 임의의 다른 적합한 소스를 제공할 수 있다. 일 실시 예에 있어서, 입력 소스(210)로부터의 압축 비디오는 무선 주파수 인터페이스(예컨대 ATSC 방송들), 컴퓨터 네트워크, 또는 유선 또는 무선 접속 예컨대 컴포넌트 비디오 케이블, DVI 또는 HDMI 비디오 인터페이스 등을 통해 수신기에 결합될 수 있다. 일 실시 예에 있어서, 입력 소스(210)로부터의 비압축 비디오 이미지는 비디오 카메라, 또는 메모리 디바이스 예컨대 임의의 적합한 비디오 인터페이스에 의해 수신기에 결합되는 디스크 드라이브 중 하나 이상을 포함할 수 있다. 일 실시 예에 있어서, 입력 소스(210)로부터의 비압축 비디오는 개개의 컬러 강도들 예컨대 적, 녹 및 청 등으로, 또는 임의의 다른 적합한 포맷으로 휘도 및 색차 형태로 포함하는 아날로그 또는 디지털 형태로 비압축 비디오를 제공할 수 있다.

일 실시 예에 있어서, 입력 소스(210)로부터의 입력 비디오 콘텐츠에 대한 디지털 비디오 포맷들은 상이한 프레임 레이트들, 화소들의 상이한 수의 라인들 및 행들, 인터레이스된 및 난-인터레이스된 등을 포함할 수 있다. 예를 들면, 영화들은 전형적으로 24 fps(frames per second) 포맷으로 생성되고, NTSC는 초 당 30 프레임들이고 PAL은 초 당 25 프레임들이다. 포맷은 인터레이스되거나 또는 프로그레시브될 수 있다. 예를 들면, 고화질 포맷들(예컨대 디지털 비디오 방송 표준들에 의해 지원됨)이 출력 소스(250)의 디스플레이 디바이스의 포맷을 맞추는 포맷으로 수정될 수 있다. 출력 소스(250)의 디스플레이 디바이스는 NTSC, PAL, ATSC, DVB/T 등 또는 프레임 레이트들, 예컨대 70 Hz, 75 Hz, 80 Hz 등으로 작동하는 디스플레이 디바이스를 수용하도록 구성될 수 있다.

도 3은 일 실시 예에 따른 이미지 디테일 처리 시스템(300)의 블록도를 나타낸다. 일 실시 예에 있어서, 시스템(300)은 전자 디바이스, 예컨대 제 1 디바이스(52)(도 1), 제 2 디바이스(56) 등에서 구현될 수 있다. 일 실시 예에 있어서, 시스템(900)은 입력 노드(301), 페칭/수신 모듈(310), 텍스처 검출 모듈(315), 텍스처 페칭/수신 모듈(316), 텍스처 적응적 디테일 생성 모듈(320), 블록 구성/결합 모듈(330), 믹서 모듈(335)(리프팅된 이미지 디테일과 입력 이미지와의 믹싱) 및 출력 노드(340)를 구비한다. 일 실시 예에 있어서, 에지 검출 모듈(315) 및 에지 페칭/수신 모듈(316)은 에지 처리 모듈을 형성할 수 있다.

일 실시 예에 있어서, 블록 기반 이미지 처리는 입력 노드(301)로부터의 입력 이미지의 조합인, 출력 노드(340)에서의 출력 이미지 및 생성된 고 주파수 정보(디테일)를 포함하는 그것의 개선된 버전을 생성하기 위해 구현된다. 일 실시 예에 있어서, 디테일은 텍스처 적응적 디테일 생성 모듈(320)에서 생성되고, 여기서 이미지 블록들(311)은 블록 수신 모듈(310)(입력 이미지를 블록들로 분할함)로부터 공급되고 텍스처 샘플 블럭들은 텍스처 페칭/수신 모듈(316)로부터 공급된다. 출력 디테일 블록들(331)은 디테일 구성 모듈(330)에 의해 생성되고 여기서 더 많은 출력 디테일 블록들이 전체 이미지 디테일을 형성하기 위해 구성된다. 일 실시 예에 있어서, 화소들 또는 이미지 블록들(331)(사이즈 P x Q)일 수 있는 출력은 일반적으로 블록들(311)의 입력 이미지 사이즈(사이즈 M x N) 및 텍스처 블럭들(사이즈 M x N)보다 작고, 여기서 P, Q, M 및 N은 양의 정수들이다.

예시적인 실시 예에 있어서, 만약 정규(규칙적) 이미지 업-컨버전 블록이 시스템(300) 앞에 부가되면, 그것은 진보된 이미지 업-컨버전/업-스케일링/초해상도 시스템인, 입력 이미지들로서 저해상도 이미지들을 이용하여 UD 이미지들(정지 이미지들 또는 비디오 프레임들)을 생성하기 위해 적용될 수 있다. 예시적인 실시 예에 있어서, 업-컨버트된 UD 이미지들은 종래의 이미지 업-컨버전 알고리즘들에 의해 얻어질 수 없는 추가의 이미지 디테일을 포함한다. 결과적으로, 하나 이상의 실시 예들에 있어서, 이미지 품질(선예도, 미세 디테일 등)이 크게 향상될 수 있다. 일 실시 예에 있어서, 시스템(300)의 적용은 저해상도 영화가 디스플레이를 위해 수신될 수 있는 디스플레이 또는 UD 디바이스로 구현될 수 있다. 만약 시스템(300)이 UD 디바이스 또는 디스플레이에 대해 이용 가능하지 않다면, 시청자들은 이미지 선예도가 불량하거나 이미지가 섬세한 디테일이 부족하다고 느낄 수 있다. 현재, UD 비디오 이미지들(예컨대, 스트리밍 비디오, 영화들 등)은 시장에서 이용 가능하지만, UD 비디오 매체(TV 프로그래밍, 웹 TV 또는 비디오, 블루-레이 디스크들 및 퍼스널 디지털 비디오)는 특히 드물다. 대부분의 비디오 매체는 여전히 FHD, HD 또는 심지어 SD이다. 하나 이상의 실시 예들에 있어서, UD 시청자들의 시각적 기대를 만족시키기 위해, 진보된 이미지 업-컨버전(초해상도) 기능은 시스템(300)을 이용하여 구현된다.

일 실시 예에 있어서, 시스템(900)의 적용은 낮은 품질의 SD, HD, FHD, UD 또는 불량한(흐릿한 또는 열화된) 이미지 디테일의 업-스케일드 UD 이미지들, 예컨대 개인용 캠코더 또는 스마트 폰에 의해 캡쳐된 인터넷 또는 디지털 비디오로부터 얻어진 웹 비디오 클립들의 이미지 디테일을 개선(또는 복원)하기 위해 현재의 HDTV들(또는 저해상도 TV들, 디바이스들, 디스플레이들 등)에서 FLSR 모듈(330)에 구현될 수 있다. 보통 낮은 품질의 SD, HD 또는 FHD 비디오 클립들의 이미지 디테일은 데이터 압축, 불충분한 조명 상태 또는 비디오 캡쳐 디바이스의 제한된 성능으로 인해 열화 또는 손상될 수 있다. 하나 이상의 실시 예들은 하드웨어 또는 소프트웨어로, 상이한 애플리케이션들에 의해 필요한 기능들을 달성할 수 있는 범용 시스템으로서 시스템(300)을 제공한다.

예시적인 실시 예에 있어서, 시스템(300) 채용을 위한 애플리케이션들은 고성능 이미지 디테일 개선 또는 복원, 이미지 초해상도, 및 진보된 이미지 업-컨버전 등을 포함할 수 있다. 하나 이상의 예시적인 실시 예들에 있어서, 시스템(900)의 다양한 애플리케이션들은 UD 디바이스들 및 디스플레이들, HDTV 제품들에서 프로그램된 하드웨어로서, 또는 PC들 또는 모바일 디바이스들(태블릿들, PC들, 웨어러블 디바이스들, 스마트 폰들 등)에서 사용되는 소프트웨어로서 구현되면 매우 유용할 수 있다.

일 실시 예에 있어서, 시스템(300)은 입력 노드(301)의 입력 이미지와 개선 및 복원된 고 주파수 정보(디테일)를 포함하는 그것의 개선된 버전의 조합인 출력 노드(340)에서 출력 이미지를 생성한다. 하나 이상의 실시 예들에 대한 텍스처 적응적 디테일 생성 모듈(320)의 상세 설명은 도 4-11과 조합하여 추종한다.

도 4는 일 실시 예에 따라 서로 중심-정렬된 외부 이미지 블록(M x N 블록(311)으로 만들어짐)과 내부 이미지 블록(P x Q 블록(331)으로 만들어짐) 사이의 예시적인 관계를 나타낸다. 보통의 이미지 블록 사이즈들 및 입력 이미지 블록(311)과 출력 이미지 블록(331) 간의 공간 관계가 도 4에서 증명된다. 일 실시 예에 있어서, 출력 이미지 블록(331)은 입력 이미지 블록(311) 안에 중심 부분으로서 위치된다. 일 실시 예에 있어서, 출력 이미지 블록(331)이 생성되는 동안, 출력 블록(331) 영역 내의 이미지 정보 및 출력 블록(331) 밖의(입력 블록(311) 내의) 정보 모두가 사용된다.

예시적인 실시 예에 있어서, 관심 영역(출력 블록(331)/입력 블록(311)) 내의 이미지 정보는 주변 영역(입력 블록(311)/출력 블록(331))의 것과 관련 있는 것으로(또는 주변 영역(입력 블록(311)/출력 블록(331))으로부터 추론할 수 있는 것)으로 간주된다. 일 실시 예에 있어서, 출력 이미지 블록들(331)은 전체 출력 디테일 이미지를 생성하기 위해 구성 모듈(330)에 의해 "패치드(patched)" 업 또는 결합되고, 이후 최종 결과는 믹서(335)(도 3)에 의해 생성된 디테일 및 입력 이미지를 결합하여 얻어진다.

도 5는 일 실시 예에 따라 시스템(300)에서 구현될 수 있는 예시적인 텍스처 적응적 디테일 생성 블록(520)을 나타낸다. 일 실시 예에 있어서, 텍스처 적응적 디테일 생성 블록(520)은 수신 모듈(310)(도 3)로부터 입력 이미지 블록을 수신하는 2D 시프트된 이산 퓨리에 변환(SDFT) 모듈(521), 크기 모듈(522), DFT 컨버전 모듈(523), (텍스처 페치/수신 모듈(316)으로부터 텍스처 블럭을 수신하는) 텍스처 강도(strength) 추정 모듈(526), 리프팅 팩터 산출 모듈(527), 적응적 주파수 리프팅 모듈(525), 구성 모듈(530)에 입력된 출력 이미지 블록을 출력하는 2D 인버스 SDFT(ISDFT) 모듈(524)을 포함할 수 있다.

일 실시 예에 있어서, 입력 이미지 블록들은 먼저 (매트릭스로) DFT 계수들을 계산하기 위해 2D SDFT 모듈(521)에서 처리되고 이후 시프팅된다. 일 실시 예에 있어서, DFT 계수들의 시프팅은 이하에 기재되는 것과 같이 도 6 및 7에서 설명된다.

일 실시 예에 있어서, 시프팅된 DFT 계수들은 거리 계산 및 계수 컨버전을 위한 DFT 컨버전 모듈(523)에 대한 입력으로서 제공된다. 시프팅된 DFT(SDFT)는 SDFT = SDFT_R + j·SDFT_I로서 표현될 수 있는 복소수이고, 이후 SDFT의 크기는 |SDFT| = (SDFT_R ² + SDFT_I ²)^1/2, 또는 MAG_IN = |SDFT|로서 (MAG_IN)이 계산되고, 여기서 R은 실수부를 나타내고 I는 허수부를 나타낸다. 일 실시 MAG_IN 은 적응적 주파수 리프팅 모듈(525)로의 입력 신호로서 이용된다.

일 실시 예에 있어서, 주파수 리프팅 모듈(525) 내에서, 제로-주파수 계수(2D 좌표의 원점과 같음)에 대한 각각의 DFT 계수의(2D 좌표에서의 한 지점과 같은 주파수 도메인에서의 성분) 거리가 매트릭스에서 계수의 행 및 열 인덱스들(한 지점의 좌표들과 같음)을 이용하여 얻어진다. 일 실시 예에 있어서, 계산된 거리들은 리프팅 팩터 산출 모듈(527)로부터의 리프팅 팩터 t에 따라, 계수 컨버전 모듈(523) 및 적응적 주파수 리프팅 모듈(525)에 대한 입력으로서 공급된다.

일 실시 예에 있어서, 텍스트 강도 추정 모듈(526)은 아래와 같은 수식에 기초하여 텍스처 페칭/수신 모듈(316)로부터 수신된 입력 블록에서 텍스처 샘플의 개수 n을 계산한다.

, 여기서

여기서, T는 기설정된 상수를 나타낸다. 일 실시 예에서, M x N 매트릭 사이즈를 가지는 TBLK의 각 요소는 동일한 위치에서 입력 샘플의 텍스처 레벨을 나타낸다. 그러므로, 일 실시 예에 있어서,

는 텍스처 레벨이 강하다는 것을 나타낸다. 일 실시 예에서, 높은 값의 n은 관련 입력 이미지 블록에 수 개의 강한 에지가 존재함을 나타낸다. 일 실시 예에서, n에 기초하여 t로 지칭되는 리프팅 팩터는 리프팅 산출 모듈(527)에 대한 예시적인 다이어그램에 도시된 바와 같이 산출된다. 여기서, 1에 가까운 더 높은 값이 더 큰 n 값에 대해 생성되고, 작은 값(G)(예를 들어, 0.01, 0.1 등)은 작은 n 값에 대해 생성된다. 일 실시 예에서, t는 DFT 크(MAG_IN)와 함께 적응적 주파수 리프팅 모듈(525)로 입력되고, 입력 DFT 크기의 리프팅된 크기(MAG_OUT)를 산출한다.

일 실시 예에서, 적응적 주파수 리프팅 모듈(525)에서 일부(예컨대, 하나 이상의, 수개의 등) 주파수 성분들이 스펙트럼에서 고주파수 위치로 리프팅된다. 예시적인 실시 예에 있어서, 만약 2D DCT 계수들/스펙트럼이 3D 카테시안 좌표(원점은 제로-주파수 위치를 나타냄)에서 곡선으로서 그려지면, 주파수 리프팅 프로세싱은 편심 피크들을 원점으로부터 외측으로 이동시키고 중심 피크의 기울기를 외측으로 확대시킨다. 적응적 주파수 리프팅 모듈(525)의 상세한 프로세싱에 대해서는 도 6, 7 및 도 8 내지 11을 참조하여 후술하도록 한다. 일 실시 예에 있어서, 계수 컨버전 모듈(523)은 3개의 처리 블록들: 2D SDFT 모듈(521), 크기 모듈(522) 및 주파수 리프팅 모듈(525)로부터 출력들을 수신하고, 새로운/수정된 DFT 계수들을 계산한다. 계수 컨버전 모듈(523)의 상세한 계산은 이하에 기재된다.

일 실시 예에 있어서, 2D ISDFT에서, 새로운 2D DFT 계수들이 먼저 시프트된 후, 또한 디테일 생성 블록(520)(디테일 생성 모듈(320)로서 구현됨, 도 3)의 출력인 수정된 이미지 블록(사이즈 M x N)에 의해 공간 도메인 신호로 역변환된다.

도 6은 일 실시 예에 따른, 변환 주기성의 매트릭스(605)의 예(600)를 나타낸다. 일 실시 예에 있어서, 매트릭스(600)는 M x N 매트릭스이다. 일 실시 예에 있어서, DFT 계수들은 거리 계산(DC)을 위해 계수들의 각각의 그룹의 하좌측 코너에 원점을 가진다. 일 실시 예에 있어서, SDFT는 원점을 SDFT 블록(610)의 중심으로 시프트시킨다.

도 7은 일 실시 예에 따른 변환 시프팅 동작의 예(700)를 나타낸다. 일 실시 예에 있어서, 일 예(700)는 제로 주파수 포인트에 대한 주파수 도메인 성분의 거리를 계산하기 위한 DFT 계수들의 시프팅을 도시한다. 일 실시 예에 있어서, 2D DFT는 일반적으로 DFT 매트릭스(705) 및 SDFT 매트릭스(715)로서 예(700)에 나타낸 매트릭스 포맷으로 DFT 계수들을 발생하는 2D FFT(Fast Fourier Transform) 알고리즘을 통해 달성된다. 예시적인 실시 예에 있어서, 각각의 매트릭스 요소는 주파수 성분이다. x, y 좌표들은 열 및 행 인덱스들을 각각 나타낸다. 예시적인 실시 예에 있어서, 시프트되지 않는 DFT 계수 매트릭스(705)에 대해, 4개의 코너 요소들은 제로-주파수 성분에 기여한다.

일 실시 예에 있어서, 계수 시프팅을 설명하기 위해, 계수 매트릭스는 DFT 매트릭스(705) 그래프 및 SDFT 매트릭스(715)로 나타낸 것과 같이 4개(4)의 영역들을 균등하게 분할된다. 예시적인 실시 예에 있어서, 계수 시프팅 후, 새로운 계수 매트릭스(SDFT 매트릭스(715))가 4개의 영역들의 위치들을 교체하여 얻어지도록 고려될 수 있다. 예시적인 실시 예에 있어서, 영역 1은 그것의 위치가 영역 3으로 교체되고, 한편 영역 2는 그것의 위치가 영역 4로 교체된다. 일 실시 예에 있어서, 계수 시프팅은 매트릭스(711)의 중심(2D 좌표의 원점과 같음)으로 제로-주파수 위치(710)를 이동시키는 데, 이것은 거리 계산을 단순화할 수 있고 또는 주파수 리프팅 모듈(525) 처리를 이해하기 쉽게 할 수 있다.

도 8은 일 실시 예에 따라, 적응적 주파수 리프팅 모듈(525))(도 5)에서 구현될 수 있는 적응적 주파수 리프팅 블록(800)의 블럭도를 도시한다.

일 실시 예에서, 적응적 주파수 리프팅 블록(800)은 제로 주파수 산출 모듈(810), 리프팅 커브 모듈(820), 믹서 모듈(830) 및 리프팅 모듈(840)을 포함한다. 일 실시 예에서, 적응적 주파수 리프팅 블록(800)은 입력 블록에서 텍스처 강도에 기초하여 적응적인 방법으로, 제로 주파수 성분까지의 이들의 거리에 기초하여 일부(예를 들어, 적어도 하나, 수 개, 전부 등) 주파수 성분을 더 높은 주파수 위치로 리프팅한다. 일 실시 예에서, 적응적 주파수 리프팅 블록(800)은 MAG_IN 로 주어진 주파수를 리프팅하고, 제로-주파수 포인트로부터 멀어진 방향에서 리프팅된 DFT 크기 매트릭스(MAG_OUT)를 생성하며, 리프팅 정도는 리프팅 팩터 산출 모듈(527)(도 5)로부터, 텍스처 강도 추정 값(t)에 의해 제어된다.

일 실시 예에 있어서, DFT 계수들을 시프팅한 후, 제로-주파수는 매트릭스의 중심으로 이동된다. 일 실시 예에 있어서, 주파수 리프팅 모듈(525) 내에서, 주파수 성분으로부터 제로-주파수 포인트까지의 거리가 계산될 필요가 있다. 제로-주파수 포인트는 2D 좌표의 원점(즉, (0,0) 지점)으로서 및 일례로서 M = N = 8을 갖는 도 9에 도시된 좌표 상의 포인트들로서 매트릭스 요소들이 취급된다. MAG_IN 매트릭스의 인덱스들은

및

이 되고, 여기서 N 및 M은 짝수들이고, MAG_OUT 매트릭스 인덱스들에 대해 동일한 것으로 가정됨을 주목하라. 일 실시 예에 있어서, 모든

및

에 대해, 제로-주파수 계수에 대한 거리(d_in)(1020)(도 10)는 다음과 같이 계산된다

.

일 실시 예에 있어서, 주파수 리프팅 모듈(525)(도 5)은 제로-주파수(도 9에서 원점) 성분에 대한 이들의 거리들에 기초하여 일부(예를 들어, 적어도 하나, 수 개, 전부 등) 주파수 성분들을 더 높은 주파수 위치들로 리프팅시킨다. 그러나, 만약 매트릭스 요소가 벡터의 애로우 헤드(arrow head)로서 고려되면, 주파수 리프팅 동작은 벡터의 방향을 변경시키지 않는다. 일 실시 예에 있어서, 벡터의 길이(원점까지의 주파수 성분의 거리)만이 증가될 수 있다. 기본적으로, 이 거리(d_out)(1015)(도 10) 변경은 다음과 같이 수학적으로 표현될 수 있다

.

일 실시 예에 있어서, 위의 식에서‘곡선(curve)’은 미리 결정된 전달 함수이고, 그것의 전형적인 예는 그래프(1000)에 나타낸 곡선(1040)으로서 나타낸다. 예시적인 실시 예에 있어서, 상부(upper) 타겟 리프팅 주파수는 다음과 같이 t로 지칭된는 블럭 텍스처 강도에 기초하여 조정된다.

일 실시 예에서, 텍스처 강도가 높으면(t=1),

이고, 텍스처 강도가 낮으면(t=0),

이다. 일 실시 예에서, 타겟 주파수는 강한 텍스처 영역에서 리프팅 커브에 의해 산출되고, 넌 텍스처(non-texture) 영역에서 리프팅은 발생하지 않는다. 일 실시 예에 있어서, 타겟 리프팅 팩터가 t에 의해 적응적으로 조정된 경우, 관련된 수평 및 수직 DFT 주파수 성분은, 동일한 각도로 DCT 주파수 성분을 리프팅하기 위해, 다음과 같이 산출된다.

여기서,

임을 주목하라.

일 실시 예에서, 새로운 좌표들 또는 새로운 위치는 보통 DFT 계수 매트릭스에 의해 규정되는 정확한 위치들 또는 좌표들이 아니다. 그러므로, 예시적인 실시 예에 있어서, 2D 보간 또는 리샘플링이 시프트된 그리드 및 수정된 DFT 값에 기초하여 ‘정확한(right)’ 위치들에 대해 DFT 계수를 계산하기 위해 사용된다. 일단 목표 수평 및 수직 주파수 성분들이 계산되면, MAG_IN으로부터의 주파수 성분들이 아래의 식에 의해 주파수 리프팅 모듈(525)(도 5) 프로세스(또는 주파수 성분 맵핑)에 의해 MAG_OUT으로 업데이트된다:

.

일 실시 예에 있어서, 상기 식은 주파수 도메인에서 상이한 주파수 위치들(locations) 중에서 맵핑 프로세스를 나타낸다는 것을 용이하게 이해될 수 있을 것이다. 맵핑은 입력 주파수 크기 블록으로부터 최근접 이웃 화소 또는 가중된 이웃 화소들에 의해 새로운 화소 주파수 크기(MAG_OUT)를 보간하기 위한 백워드(backward) 또는 포워드(forward) 보간일 수 있다. 일 실시 예에 있어서, 개선된 주파수들을 획득한 후, 비율(ratio)이 그 위치에서 개선된 주파수 및 원 주파수로 계산될 수 있다. 예시적인 실시 예에 있어서, 이후 개선된 DFT(실수부 및 허수부 둘다를 포함)는 다음과 같이 SDFT 결과에 대한 비를 승산하여 얻어질 수 있다:

일 실시 예에 있어서, DFT 계수들의 수정된 매트릭스는 주파수 리프팅 모듈(525)(도 5)의 주파수 리프팅 프로세스를 통해 얻어진다. 예시적인 실시 예에 있어서, 매트릭스가 ISDFT 모듈(524)을 통해 공간 도메인에서 이미지 블록으로 다시 변환될 수 있기 전에, 그것의 요소들은 도 7에 나타낸 것의 반대 방식으로 시프팅될 필요가 있다.

일 실시 예에 있어서, 적응적 주파수 리프팅 모듈(800)에서, 일부 주파수 성분은 스펙트럼에서 더 높은 주파수 위치로 리프팅된다. 일 실시 예에서, 2D DFT 계수/스펙트럼이 3D Cartesian 좌표(원점(origin)은 제로-주파수 위치를 나타낸다)에서 커브 표면으로 플랏(plot)되면, 주파수 리프팅 프로세싱은 오프 센터 피크(off-center peaks)를 원점으로부터 외측으로 이동시키고, 센터 피크의 기울기를 외측으로 확장시킨다.

도 9는 일 실시 예에 따른, 거리 계산을 기술하기 위한 예시적인 다이어그램(900)을 나타낸다. DFT 계수들 시프팅 후, 제로-주파수는 매트릭스(905)의 중심으로 이동된다. 주파수 리프팅 모듈(825) 내에서, 사분면(906)에서 주파수 성분(911)으로부터 제로-주파수 포인트까지의 거리(910)가 먼저 계산될 필요가 있다. 제로-주파수 포인트는 2D 좌표의 원점 및 좌표 상의 포인트들로서 매트릭스 요소들로서 취급된다. 일 실시 예에 있어서, 계수의 위치(911)는 x_in(920) 및 y_in(921)으로 표시된다. 일 실시 예에 있어서, 주파수 성분의 위치에 대해, 대응 포인트의 좌표들은 식 x_in = Col - Col(0), y_in = Row - Row(0)에서와 같이 얻어진다.

도 10은 일 실시 예에 따른, 주파수 리프팅을 위한 전달 함수에 대한 예시적인 다이어그램(1000)을 나타낸다. 예시적인 실시 예에 있어서, 식 x_in = Col - Col(0), y_in = Row - Row(0)에서, x_in 및 y_in는 주파수 성분의 좌표들이고 한편 Col 및 Row은 그것의 매트릭스 인덱스들이다. 유사하게, Col(0) 및 Row(0)은 제로-주파수 성분의 매트릭스 인덱스들이다. 일 실시 예에서, 거리 d_OUT(1015) 변화는 d_out = curve (d_in)로 표현될 수 있다. 일 실시 예에서, x/수평 축은 입력 거리 d_in(1020)를, y/수직 축은 출력 거리 d_OUT(1015)을 나타낸다. 일 실시 예에서, 전달 함수는 라인(1035) 및 커브(1040)에 도시된 바와 같이 구간(piecewise) 함수를 이용하여 생성될 수 있다. 일 실시 예에서, 입력 거리 d_in(1020)가 K 값(1010)보다 작은 경우, 거리는 변경되지 않을 것이다. 그러므로, 일 실시 예에서, 직선(1035)는 1의 기울기를 갖는다.

예시적인 실시 예에 있어서, 입력 거리(d_in)(1020)가 K(1010)보다 클 때, 출력 거리(d_out)(1015)는 증가될 것이고 d_in(1020)보다 클 것이다. 예시적인 실시 예에 있어서, 거리 증가는 비선형 함수, 예컨대, 2차 다항 함수에 의해 결정될 수 있다. 예시적인 실시 예에 있어서, 최대 거리(1030)를 가지는 최고-주파수 성분은 리프팅되지 않을 것이다. 정상 2D DFT 스펙트럼에 있어서, 저-주파수 성분들(중심에 가까운 매트릭스 요소들)은 일반적으로 고-주파수 성분들보다 높은 값(DFT 성분의 크기)을 가진다. 그러므로, 예시적인 실시 예에 있어서, 저-주파수 성분이 고-주파수 위치 위로 리프팅될 때, 고-주파수 정보가 생성된다. 일 실시 예에 있어서, 새로운 고-주파수 정보(새로운 이미지 디테일)가 손실/손상된 이미지 디테일을 복원하기 위해 생성될 수 있다. 일 실시 예에 있어서, 고-주파수 성분들이 저-주파수 정보로부터 생성되거나 추론되기 때문에, 새로운 이미지 디테일은 더 '실제적(real)'이거나 또는 '의미있는(meaningful)' 것으로 보이며 종래의 초해상도(SR) 방법들에 비해 아티팩트들을 더 포함할 수 있다.

도 11은 일 실시 예에 따른 다른 예시적인 텍스처 적응적 디테일 생성 블록(1120)을 나타낸다. 일 실시 예에 있어서, 텍스처 적응적 디테일 생성 블록(1120)은 적응적 디테일 생성 모듈(320)(도 3)로 구현될 수 있다. 예시적인 실시 예에 있어서, 텍스처 적응적 디테일 생성 블록(1120)은 DCT 프로세스를 구현한다. 일 실시 예에 있어서, 텍스처 적응적 디테일 생성 블록(1120)은 2D DCT 모듈(1121), 크기 모듈(1122), 텍스처 강도 추정기(1126), 리프팅 팩터 산출 모듈(1127), 적응적 주파수 리프팅 모듈(1125), DCT 컨버전 모듈(1123) 및 2D 역 DCT(2D IDCT) 모듈(1124)을 구비한다.

일 실시 예에 있어서, 입력 이미지 블록은 우선 (매트릭스에서) DCT 계수를 산출하기 위해 2D DCT 모듈(1121)에서 처리된다. 일 실시 예에 있어서, DCT 크기 (|DCT|)가 적응적 주파수 리프팅 모듈(1125)로 MAG_IN로서 공급된다. 일 실시 예에서, 적응적 주파수 리프팅 모듈(1125)의 메인 기능은 MAG_IN으로 주어진 주파수를 리프팅하여 리프팅된 DCT 크기 매트릭스 DCT_OUT을 발생시키는 것이다. 예시적인 실시 예에 있어서, 모든

및

에 대해 제로-주파수 계수(2D 좌표의 원점과 같음)에 대한 거리가, 주파수 성분(예컨대, 도 12에 나타낸 것과 같은)과 관련 있는,

로서

계수의 행 및 열 인덱스들(한 지점의 좌표들과 같음)을 이용하여 계산된다.

일 실시 예에서, 산출된 거리는 상부 타겟 리프팅 주파수 거리 대 제로-주파수 성분을 결정하기 위해, d_out = curve(d_in)와 같은 전달 함수의 입력으로 제공된다. 여기서 curve는 단조롭게 증가하는 전달 함수를 나타낸다. 일 실시 예에서, 전달 함수는 도 10에 도시되고 성분들이 리프팅되지 않는 예컨대

로서 그 주파수 범위가 설정되는 또한, 도 10에 도시된다. 관련 수평 및 수직 DCT 주파수 성분들이 다음과 같이 결정되고:

,

여기서, DCT 주파수 성분들을 동일한 각도로 리프팅하기 위해 구현된다.

임을 주목하라.

일 실시 예에 있어서, 텍스트 강도 추정 모듈(1126)은 아래와 같은 수식에 기초하여 텍스처 페칭/수신 모듈(316)로부터 수신된 입력 블록(TBLK)에서 텍스처 의 개수를 계산한다.

, 여기서

는 텍스처 레벨이 강하다는 것을 나타낸다. 일 실시 예에서, 높은 값의 n은 관련 입력 이미지 블록에 수 개의 강한 에지가 존재함을 나타낸다. 일 실시 예에서, n에 기초하여 t로 지칭되는 리프팅 팩터는 리프팅 산출 모듈(527)에 대한 예시적인 다이어그램에 도시된 바와 같이 산출된다. 여기서, 더 높은 값(예를 들어 1 값에 가까운)이 더 큰 n 값에 대해 생성되고, 작은 값(G)(예를 들어, 0.01, 0.1 등)은 작은 n 값에 대해 생성된다.

일 실시 예에서, t는 DFT 크기(MAG_IN)와 함께 적응적 주파수 리프팅 모듈(1125)로 입력되고, 적응적 주파수 리프팅 모듈(1125)은 입력 DFT 크기의 업데이트된 크기(MAG_OUT)를 산출한다. 일 실시 예에서, MAG_IN 및 적응적 주파수 리프팅 모듈(1125)로부터 출력된 MAG_OUT 는 DCT 컨버젼 모듈(1123)로 제공되며, 출력은 다음과 같다.

일 실시 예에서, DCT 컨버젼 모듈(1123)의 동작은 원래 위상 정보를 크기 변경과 결합하기 위한 것이다. 일 실시 예에서, 2D IDCT 모듈(1124)에서, 새로운 2D DCT 계수들(DCT_OUT)은 디테일 생성 모듈(320)(도 3)의 출력인 공간 도메인 신호 - BLK (M x N)과 동일한 사이즈 블록 - 로 역변환된다.

일 실시 예에서, 적응적 주파수 리프팅 모듈1125)에서 일부(예컨대, 하나 이상의, 수개의 등) 주파수 성분들이 스펙트럼에서 고주파수 위치로 리프팅된다. 예시적인 실시 예에 있어서, 만약 2D DCT 계수들/스펙트럼이 3D 카테시안 좌표(원점은 제로-주파수 위치를 나타냄)에서 곡선으로서 그려지면, 주파수 리프팅 프로세싱은 편심 피크들을 원점으로부터 외측으로 이동시키고 중심 피크의 기울기를 외측으로 확대시킨다.

도 12는 일 실시 예에 따른, 주파수 성분과 관련된 거리 결정을 설명하기 위한 예시적인 다이어그램(1200)을 나타낸다. 예시적인 실시 예에 있어서, DCT 컨버전 모듈(1123)(도 11)의 동작은 원 위상 정보를 크기 변경과 결합하는 것이다. 일 실시 예에 있어서, x 및 y 좌표들에 대한 2D 원점(1306)은 x_in(1220) 및 y_in(1221)에 기초하여 계수(1211)에 대한 거리(d_in)(1210)를 결정하기 위해 사용된다.

도 13은 일 실시 예에 따른, 디테일 생성 프로세스(1300)에 대한 블록도를 나타낸다. 일 실시 예에 있어서, 블록 1310에서, 입력 이미지(예컨대, SD, HD, FHD, UD, 업-스케일드 UD 등)가 이미지 정보(예컨대, M x N 블록들 311, 도 3)를 얻기 위해 처리된다. 일 실시 예에 있어서, 블록 1320에서 입력 이미지에서 검출된 에지들이 에지 정보(예를 들어, M x N 블록 TBLK, 도 3)를 획득하기 위해 처리된다. 일 실시 예에서, 블록 1330에서, 이미지 정보가 (예를 들어 프로세서 디바이스를 이용하여)주파수 도메인 정보를 획득하기 위하여 (예를 들어, DFT, SDFT, DCT 등을 이용하여)변환된다. 일 실시 예에서, 블록 1340에서, 텍스처 정보는 리프팅 팩터(예를 들어, t, 도 5, 도 8, 도 11)를 결정하기 위해 이용된다.

일 실시 예에서, 블록 1350 단계에서, 주파수 도메인 정보에 대한 주파수 분포가 특정 주파수 성분을 생성하기 위해 리프팅 팩터를 이용하여 결정된다. 일 실시 예에서, 블록 1360 단계에서, 적어도 하나의 출력 이미지 블럭을 생성하기 위해 업데이트된 주파수 분포 상에서 역변환이 수행된다. 일 실시 예에서, 블록 1370 단계에서, 적어도 하나의 출력 이미지 블럭이 이미지 디테일을 생성하기 위해 결합되고, 이미지(입력 이미지)와 결합된다. 일 실시 에에서, 프로세스(1300)은 시스템(300)을 이용하여 프로세싱을 구현한다.

일 실시 예에서, 프로세스(1300)는 이미지(예를 들어, SD, HD, FHD, UD, up-scaled-UD 등과 같은 저해상도 이미지)를 입력받는 단계, 입력된 이미지를 적어도 하나의 입력 이미지 블록을 포함하는 이미지 정보로 분할하는 단계, 이미지에서 에지를 검출하는 단계, 검출된 에지를 적어도 하나의 에지 블럭을 포함하는 에지 정보로 분할하는 단계를 포함할 수 있다. 일 실시 예에서, 입력 이미지 블록(M x N)은 출력 이미지(예를 들어, pixels, P x Q block)의 사이즈보타 큰 블록 사이즈를 갖는다. 일 실시 예에서, 프로세스 1300은 입력 이미지 블록에서 수많은 텍스처 샘플에 기초하여 텍스처 강도 값(예를 들어, 도 5/도 11, 텍스처 강도 추정 모듈(526/1126)로부터 n)을 추정하고, 텍스처 샘플 임계값에 기초하여 리프팅 팩터 t를 텍스처 강도 값의 함수로써 산출할 수 있다.

일 실시 예에서, 주파수 도메인 정보는 변환 계수를 포함한다. 일 실시 예에 있어서, 특정 주파수 성분은 변환 스펙트럼에서 고주파수 위치로 일부(예컨대, 하나 이상의, 수개의, 전부의 등) 주파수 성분들을 리프팅하기 변환 계수들에 대해 주파수 리프팅을 수행하는 단계(결정된 거리를 리프팅 팩터를 이용하여 조정됨) 및 변환 계수들을 수정된 변환 계수들로 변환하는 단계에 기초한 프로세스(1400)에서 생성될 수 있다.

일 실시 예에 있어서, 프로세스(1400)는 시프팅 후 매트릭스의 중심으로 제로-주파수 계수 위치를 이동시키는 단계를 포함할 수 있고, 여기서, 제로-주파수 계수 위치는 2차원 좌표의 원점으로서 사용되고, 매트릭스 요소들은 2차원 좌표 상에 포인트들로서 사용된다.

일 실시 예에 있어서, 특정 주파수 성분은 매트릭스에서 변환 계수 위치를 시프팅하는 단계; 관련된 계수의 행 및 열 인덱스를 이용하여 제로 주파수 계수 위치로의 계수들에 대한 거리를 결정하기 위해 시프팅된 변환 계수를 이용하는 단계; 변환 스펙트럼에서 더 높은 주파수 위치로 일부(예를 들어, 적어도 하나, 수개, 전체 등) 주파수 성분을 리프팅하기 위해, 결정된 거리에 기초하여 변환 계수에 대한 주파수 리프팅을 수행하는 단계(결정된 거리는 리프팅 팩터를 이용하여 조정됨); 및 변환 계수를 수정된 변환 계수로 컨버팅하는 단계;에 기초한 프로세스(1300)에서 생성될 수 있다.

일 실시 예에서 프로세스(1300)는 시프팅 후에 제로-주파수 계수 위치를 매트릭스의 중심으로 이동하는 단계를 포함할 수 있고, 제로-주파수 계수 위치는 2차원 좌표의 원점으로 이용되고, 매트릭스 요소는 2차원 좌표 상의 포인트로 이용된다.

일 실시 예에서, 프로세스(1300)에서 미리 결정된 전달 함수에 기초하여 계수들에 대한 거리가 결정될 수 있다. 일 실시 예에서, 프로세스(1300)에서 이미지 디테일 및 입력 이미지를 포함하는 출력 이미지는 전자 디바이스(예컨대, 전자 디바이스(52), 도 1) 상에 디스플레이될 수 있다. 일 실시 예에 있어서, 프로세스(1200)는 로컬 텔레비전 디바이스, 셋-톱-박스 디바이스, 및 네트워크 서버 디바이스 중 하나에서 프로세싱을 수행할 수 있다.

도 14는 개시된 실시 예들을 구현하는 데 유용한 컴퓨터 시스템(100)을 포함하는 정보 처리 시스템을 나타내는 하이-레벨 블록도이다. 컴퓨터 시스템(100)은 하나 이상의 프로세서들(101)을 구비하고, 전자 디스플레이 디바이스(102)(그래픽스, 텍스트, 및 다른 데이터를 표시하기 위한), 주 메모리(103)(예컨대, 임의 접근 메모리(random access memory: RAM)), 스토리지 디바이스(104)(예컨대, 하드 디스크 드라이브), 착탈 가능 스토리지 디바이스(105)(예컨대, 착탈 가능 스토리지 드라이브, 착탈 가능 메모리 모듈, 자기 테이프 드라이브, 광학 디스크 드라이브, 컴퓨터 소프트웨어 및/또는 데이터가 내부에 저장되어 있는 컴퓨터 판독 가능 매체), 사용자 인터페이스 디바이스(106)(예컨대, 키보드, 터치 스크린, 키패드, 포인팅 디바이스), 및 통신 인터페이스(107)(예컨대, 모뎀, 네트워크 인터페이스(예컨대 이더넷 카드), 통신 포트, 또는 PCMCIA 슬롯 및 카드)를 더 구비할 수 있다. 통신 인터페이스(107)는 소프트웨어 및 데이터가 컴퓨터 시스템과 외부 디바이스들 사이에서 전달될 수 있게 허용한다. 시스템(100)은 전술한 디바이스들/모듈들(101 내지 107)이 접속되는 통신 기반구조(108)(예컨대, 통신 버스, 크로스-오버 바(cross-over bar), 또는 네트워크)를 더 구비한다.

통신 인터페이스(107)를 통해 전달된 정보는 신호들을 반송하고 와이어 또는 케이블, 광 섬유(fiber optics), 전화선, 셀룰러 폰 링크, 무선 주파수(RF) 링크, 및/또는 다른 통신 채널들을 이용하여 구현될 수 있는 통신 링크를 통해, 통신 인터페이스(107)에 의해 수신될 수 있는 신호들 예컨대 전자, 전자기, 광학, 또는 다른 신호들 형태로 될 수 있다. 여기에 블록도 및/또는 플로차트들을 나타내는 컴퓨터 프로그램 명령들은 컴퓨터, 프로그램 가능 데이터 처리 장치, 또는 처리 디바이스들 상에 로딩되어 그에 대해 수행되는 일련의 동작들이 컴퓨터 구현 프로세스를 생성하게 할 수 있다.

실시 예들은 방법들, 장치들(시스템들) 및 컴퓨터 프로그램 제품들의 플로차트 도해들 및/또는 블록도들을 참조하여 기재되었다. 이와 같은 도해들/도면들의 각각의 블록, 또는 그것의 조합들은 컴퓨터 프로그램 명령들에 의해 구현될 수 있다. 컴퓨터 프로그램 명령들은 프로세서에 제공될 때, 머신을 생성하여, 프로세서를 통해 실행하는 명령들은 플로차트 및/또는 블록도에서 구체화된 기능들/동작들을 구현하는 수단을 생성한다. 플로차트 /블록도들에서의 각각의 블록은 하드웨어 및/또는 소프트웨어 모듈 또는 로직(logic)을 표현할 수 있다. 대안의 구현예들에 있어서, 블록들에 기재된 기능들은 도면들에 기재된 순서를 벗어나, 동시에 등으로 일어날 수 있다.

용어들 "컴퓨터 프로그램 매체(computer program medium)", "컴퓨터 이용 가능 매체(computer usable medium)", "컴퓨터 판독 가능 매체(computer readable media)", 및 "컴퓨터 프로그램 제품(computer program product)"은 일반적으로 매체 예컨대 주 메모리, 보조 메모리, 착탈 가능 스토리지 드라이브, 하드 디스크 드라이브에 설치된 하드 디스크, 및 신호들을 가리키기 위해 사용된다. 이들 컴퓨터 프로그램 제품들은 소프트웨어를 컴퓨터 시스템에 제공하는 수단이다. 컴퓨터 판독 가능 매체는 컴퓨터 시스템으로 하여금 데이터, 명령들, 메시지들 또는 메시지 패킷들, 및 컴퓨터 판독 가능 매체로부터의 다른 컴퓨터 판독 가능 정보를 판독할 수 있게 한다. 컴퓨터 판독 가능 매체는, 예를 들면, 비휘발성 메모리, 예컨대 플로피 디스크(floppy disk), ROM, 플래시 메모리(flash memory), 디스크 드라이브 메모리, CD-ROM, 및 다른 영구 저장장치(permanent storage)를 포함할 수 있다. 그것은 예를 들면 컴퓨터 시스템들 간에 정보, 예컨대 데이터 및 컴퓨터 명령들을 전송하는 데 유용하다. 컴퓨터 프로그램 명령들은 컴퓨터를 조정할 수 있는 컴퓨터 판독 가능 매체, 다른 프로그램 가능 데이터 처리 장치, 또는 특별한 방식으로 기능하는 다른 디바이스들에 저장될 수 있고, 그 결과 컴퓨터 판독 가능 매체에 저장되어 있는 명령들은 플로차트 및/또는 블록도 블록 또는 블록들에 특정된 기능/작용(function/act)을 구현하는 명령들을 포함하는 제조 물품을 생성한다.

더욱이, 컴퓨터 판독 가능 매체는, 컴퓨터로 하여금 그와 같은 컴퓨터 판독 가능 정보를 판독할 수 있게 하는, 유선 네트워크 또는 무선 네트워크를 포함하는, 임시 상태 매체(transitory state medium) 예컨대 네트워크 링크 및/또는 네트워크 인터페이스에 컴퓨터 판독 가능 정보를 포함할 수 있다. 컴퓨터 프로그램들(즉, 컴퓨터 제어 로직)은 주 메모리 및/또는 보조 메모리에 저장된다. 컴퓨터 프로그램들은 또한 통신 인터페이스를 통해 수신될 수 있다. 그와 같은 컴퓨터 프로그램들은, 실행될 때, 컴퓨터 시스템이 여기에서 논의된 특징들을 수행하게 한다. 특히, 컴퓨터 프로그램들은, 실행될 때, 프로세서 다중-코어 프로세서로 하여금 컴퓨터 시스템의 특징들을 수행하게 할 수 있다. 그와 같은 컴퓨터 프로그램들은 컴퓨터 시스템의 제어기들을 표현한다.

비록 실시 예들이 그것의 특정 버전들을 참조하여 기술되었지만, 그런, 다른 버전들이 가능하다. 그러므로, 첨부된 청구항들의 사상 및 범위는 여기에 포함된 바람직한 버전들의 설명으로 한정되지 않아야 한다.

-

Claims

입력 이미지 정보를 수신하는 단계;
상기 수신된 입력 이미지 정보를 바탕으로, 상기 입력 이미지 정보의 변환 계수를 획득하고, 상기 변환 계수로부터 제로-주파수 계수 위치까지의 거리를 결정하는 단계;
검출된 텍스처 샘플을 처리하여 텍스처 정보를 획득하고, 상기 텍스처 정보를 이용하여 리프팅 팩터를 결정하는 단계;
상기 결정된 거리 및 리프팅 팩터를 바탕으로, 상기 변환 계수에 대한 주파수 리프팅을 수행하여 개선 정보(enhancement information)를 획득하는 단계; 및
개선된 이미지를 생성하기 위해 상기 개선 정보를 상기 입력 이미지 정보와 믹싱하는 단계;를 포함하는, 방법.
제 1 항에 있어서,
입력 이미지를 처리하여 상기 입력 이미지 정보를 획득하는 단계;를 더 포함하며,
상기 개선 정보를 결정하는 단계는:
프로세서 디바이스를 이용하여, 주파수 도메인 정보를 획득하기 위해 상기 수신된 입력 이미지 정보를 변환하는 단계;
특정 주파수 성분을 생성하기 위해 상기 리프팅 팩터를 이용하여, 상기 주파수 도메인 정보에 대한 주파수 분산을 결정하는 단계;
적어도 하나의 출력 이미지 블록을 생성하기 위해 업데이트된 주파수 분포 상에서 역 변환을 수행하는 단계; 및
리프팅된 이미지에 대한 이미지 디테일을 포함하는 개선 정보를 생성하기 위해 상기 적어도 하나의 출력 이미지 블록들을 결합하고, 상기 리프팅된 이미지를 상기 입력 이미지와 믹싱하는 단계;를 더 포함하는, 방법.
제 2 항에 있어서,
상기 입력 이미지를 입력받는 단계; 및
상기 입력 이미지를, 적어도 하나의 입력 이미지 블록을 포함하는 상기 입력 이미지 정보로 분할하는 단계;
상기 이미지에서 텍스처를 검출하는 단계; 및
상기 검출된 텍스처를 적어도 하나의 텍스처 블럭을 포함하는 텍스처 정보로 분할하는 단계;를 더 포함하는, 방법.
제 3 항에 있어서,
입력 이미지 블록 및 텍스처 블럭 블럭 각각은 출력 이미지 블록의 블록 사이즈보다 큰 블록 사이즈를 가지는, 방법.
제 2 항에 있어서,
상기 리프팅 팩터를 결정하는 단계는,
입력 이미지 블록에서 수많은 텍스처 샘플에 기초하여 텍스처 강도 값을 추정하는 단계; 및
상기 텍스처 강도 값의 함수로서 텍스처 샘플의 임계값에 기초하여 상기 리프팅 팩터를 산출하는 단계;를 포함하는, 방법.
제 5 항에 있어서,
상기 주파수 도메인 정보는 변환 계수들을 포함하고,
상기 특정 주파수 성분은:
적어도 하나의 주파수 성분들을 변환 스펙트럼에서의 고주파수 위치로 리프팅하기 위해 상기 결정된 거리에 기초하여 상기 변환 계수들에 대해 주파수 리프팅을 수행하는 단계이며, 상기 결정된 거리는 상기 리프팅 팩터를 이용하여 조정되는 단계; 및
상기 변환 계수들을 수정된 변환 계수들로 컨버팅하는 단계;에 기초하여 생성되는, 방법.
제 5 항에 있어서,
상기 주파수 도메인 정보는 변환 계수들을 포함하고, 상기 특정 주파수 성분은:
매트릭스에서 상기 변환 계수들 위치를 시프팅하는 단계;
관련 계수 행 및 열 인덱스들을 이용하여 제로-주파수 계수 위치로의 계수들에 대한 거리들을 결정하기 위해 상기 시프팅된 변환 계수들을 이용하는 단계;
적어도 하나의 주파수 성분들을 변환 스펙트럼에서의 고주파수 위치로 리프팅하기 위해 상기 결정된 거리들에 기초하여 상기 변환 계수들에 대해 주파수 리프팅을 수행하는 단계로서, 상기 결정된 거리는 상기 리프팅 팩터를 이용하여 조정되며; 및
상기 변환 계수들을 수정된 변환 계수들로 컨버팅하는 단계;에 기초하여 생성되는, 방법.
제 7 항에 있어서,
상기 시프팅 후 상기 매트릭스의 중심으로 상기 제로-주파수 계수 위치를 이동시키는 단계를 더 포함하고,
상기 제로-주파수 계수 위치는 2차원 좌표의 원점으로서 사용되고, 매트릭스 요소들은 상기 2차원 좌표 상의 포인트들로서 사용되는, 방법.
제 8 항에 있어서,
상기 계수들에 대한 거리를 결정하는 단계는,
기설정된 전달 함수에 기초하며, 이산 퓨리에 변환 및 이산 코사인 변환 처리 중 하나를 이용하여 수신된 입력 이미지 정보를 변환하는, 방법.
제 2 항에 있어서,
상기 이미지 디테일 및 상기 입력 이미지를 포함하는 출력 이미지는 전자 디바이스 상에 디스플레이되는, 방법.
제 10 항에 있어서,
상기 전자 디바이스는 텔레비전 디바이스, 모니터 디바이스, 컴퓨팅 디바이스 및 모바일 컴퓨팅 디바이스 중 하나를 포함하는, 방법.
제 2 항에 있어서,
상기 프로세서 디바이스는 로컬 텔레비전 디바이스, 셋-톱-박스 디바이스, 및 네트워크 서버 디바이스 중 하나에서 프로세스를 수행하는, 방법.
입력 이미지의 텍스처 샘플을 처리하여 상기 입력 이미지의 텍스처 정보를 획득하는 텍스처 처리 모듈;
입력 이미지 정보를 수신하고,
상기 텍스처 정보를 이용하여 리프팅 팩터를 결정하고,
상기 수신된 입력 이미지 정보를 바탕으로, 상기 입력 이미지 정보의 변환 계수를 획득하고, 상기 변환 계수로부터 제로-주파수 계수 위치까지의 거리를 결정하고,
상기 결정된 거리 및 리프팅 팩터를 바탕으로, 상기 변환 계수에 대한 주파수 리프팅을 수행하여 개선 정보(enhancement information)를 획득하는 디테일 생성 모듈; 및
상기 개선 정보를 상기 입력 이미지와 믹싱하는 믹싱 모듈;을 포함하는, 시스템.
제 13 항에 있어서,
상기 디테일 생성 모듈은, 프로세서 디바이스를 이용하여,
주파수 도메인 정보를 획득하기 위해 상기 수신된 입력 이미지 정보를 변환하고;
특정 주파수 성분을 생성하기 위해 상기 리프팅 팩터를 이용하여 주파수 도메인 정보에 대한 주파수 분산을 결정하고;
적어도 하나의 출력 이미지 블록을 생성하기 위해 상기 특정 주파수 성분에 대한 역 변환을 수행하며;
상기 시스템은,
상기 리프팅된 이미지에 대한 이미지 디테일을 포함하는 상기 개선 정보를 생성하기 위해 상기 적어도 하나의 출력 이미지 블록을 결합하는 출력 블록 구성 모듈;을 더 포함하며,
상기 믹싱 모듈은 상기 리프팅된 이미지를 상기 입력 이미지와 믹싱하는, 시스템.
제 14 항에 있어서,
상기 입력 이미지를 입력받고, 상기 입력 이미지를, 적어도 하나의 입력 이미지 블록을 포함하는 상기 입력 이미지 정보로 분할하는 수신 모듈;을 더 포함하며,
상기 텍스처 처리 모듈은,
검출된 텍스처 샘플을 적어도 하나의 텍스처 블럭을 포함하는 상기 텍스처 정보로 분할하는, 시스템.
제 15 항에 있어서,
입력 이미지 블록 및 텍스처 블럭 각각은 출력 이미지 블록의 블록 사이즈보다 큰 블록 사이즈를 가지는, 시스템.
제 14 항에 있어서,
상기 리프팅 팩터는 상기 디테일 생성 모듈에 의해 결정되며,
상기 디테일 생성 모듈은,
입력 이미지 블록에서 수 많은 텍스처 샘플에 기초하여 텍스처 강도 값을 추정하고;
상기 리프팅 팩터를 결정하기 위해 상기 텍스처 강도 값의 함수로서 텍스처샘플 임계값을 이용하는, 시스템.
제 17 항에 있어서,
상기 주파수 도메인 정보는 변환 계수들을 포함하고,
상기 특정 주파수 성분은:
매트릭스에서 상기 변환 계수들 위치를 시프팅하고,
관련 계수 행 및 열 인덱스들을 이용하여 제로-주파수 계수 위치로의 계수들에 대한 거리들을 결정하기 위해 상기 시프팅된 변환 계수들을 이용하고,
적어도 하나의 주파수 성분들을 변환 스펙트럼에서의 고주파수 위치로 리프팅하기 위해 상기 결정된 거리들에 기초하여 상기 변환 계수들에 대해 주파수 리프팅을 수행하고, 상기 결정된 거리는 상기 리프팅 팩터를 이용하여 조정되며; 및
상기 변환 계수들을 수정된 변환 계수들로 컨버팅하는, 상기 디테일 생성 모듈에 의해 생성되는, 시스템.
제 17 항에 있어서,
상기 주파수 도메인 정보는 변환 계수들을 포함하고,
상기 특정 주파수 성분은,
매트릭스에서 상기 변환 계수 위치를 시프팅하고,
관련 계수 행 및 열 인덱스들을 이용하여 제로-주파수 계수 위치로의 계수들에 대한 거리들을 결정하기 위해 상기 시프팅된 변환 계수들을 이용하고,
적어도 하나의 주파수 성분들을 변환 스펙트럼에서의 고주파수 위치로 리프팅하기 위해 상기 결정된 거리들에 기초하여 상기 변환 계수들에 대해 주파수 리프팅을 수행하고, 상기 결정된 거리는 상기 리프팅 팩터를 이용하여 조정되며,
상기 변환 계수들을 수정된 변환 계수들로 컨버팅하는, 상기 디테일 생성 모듈에 의해 생성되는, 시스템.
제 19 항에 있어서,
상기 디테일 생성 모듈은,
상기 시프팅 후 상기 매트릭스의 중심으로 상기 제로-주파수 계수 위치를 이동시키는 단계를 더 포함하고,
상기 제로-주파수 계수 위치는 2차원 좌표의 원점으로서 사용되고, 매트릭스 요소들은 상기 2차원 좌표 상의 포인트들로서 사용되는, 시스템.
제 20 항에 있어서,
상기 계수들에 대한 거리는, 기설정된 전달 함수에 기초하며 결정되며,
수신된 이미지 정보 변환은,
이산 퓨리에 변환 및 이산 코사인 변환 처리 중 하나를 수행하는 상기 디테일 생성 모듈을 포함하는 것을 특징으로 하는 상기 시스템.
제 14 항에 있어서,
상기 이미지 디테일 및 상기 입력 이미지를 포함하는 출력 이미지는 텔레비전 디바이스, 모니터 디바이스, 컴퓨팅 디바이스 및 모바일 컴퓨팅 디바이스 중 하나를 포함하는 전자 디바이스에 디스플레이되는, 시스템.
제 14 항에 있어서,
상기 디테일 생성 모듈은, 로컬 텔레비전 디바이스, 셋-톱-박스 디바이스, 및 네트워크 서버 디바이스 중 하나에서 프로세싱을 수행하는, 방법.
컴퓨터 상에서 실행할 때,
입력 이미지 정보를 수신하는 단계;
상기 수신된 입력 이미지 정보를 바탕으로, 상기 입력 이미지 정보의 변환 계수를 획득하고, 상기 변환 계수로부터 제로-주파수 계수 위치까지의 거리를 결정하는 단계;
검출된 텍스처 샘플을 처리하여 텍스처 정보를 획득하고, 상기 텍스처 정보를 이용하여 리프팅 팩터를 결정하는 단계;
상기 결정된 거리 및 리프팅 팩터를 바탕으로, 상기 변환 계수에 대한 주파수 리프팅을 수행하여 개선 정보(enhancement information)를 획득하는 단계; 및
개선된 이미지를 생성하기 위해 상기 개선 정보를 상기 입력 이미지 정보와 믹싱하는 단계;를 포함하는 방법을 수행하는 명령들을 가지는 비-임시적 컴퓨터-판독 가능 매체.
제 24 항에 있어서,
상기 방법은,
입력 이미지를 처리하여 상기 입력 이미지 정보를 획득하는 단계;를 더 포함하며,
상기 개선 정보를 결정하는 단계는,
프로세서 디바이스를 이용하여, 주파수 도메인 정보를 획득하기 위해 상기 수신된 입력 이미지 정보를 변환하는 단계;
특정 주파수 성분을 생성하기 위해 상기 리프팅 팩터를 이용하여, 상기 주파수 도메인 정보에 대한 주파수 분산을 결정하는 단계;
적어도 하나의 출력 이미지 블록을 생성하기 위해 업데이트된 주파수 분포 상에서 역 변환을 수행하는 단계; 및
리프팅된 이미지에 대한 이미지 디테일을 포함하는 개선 정보를 생성하기 위해 상기 적어도 하나의 출력 이미지 블록들을 결합하고, 상기 리프팅된 이미지를 상기 입력 이미지와 믹싱하는 단계;를 더 포함하는, 비-임시적 컴퓨터-판독 가능 매체.
제 25 항에 있어서,
상기 방법은,
상기 입력 이미지를 수신하는 단계; 및
상기 입력 이미지를, 적어도 하나의 입력 이미지 블록을 포함하는 상기 입력 이미지 정보로 분할하는 단계;
상기 이미지에서 텍스처를 검출하는 단계; 및
상기 검출된 텍스처를 적어도 하나의 텍스처 블럭을 포함하는 텍스처 정보로 분할하는 단계;를 더 포함하며,
입력 이미지 블록 및 텍스처 블럭 블럭 각각은 출력 이미지 블록의 블록 사이즈보다 큰 블록 사이즈를 가지는, 비-임시적 컴퓨터-판독 가능 매체.
제 25 항에 있어서,
상기 리프팅 팩터를 결정하는 단계는,
입력 이미지 블록에서 수많은 텍스처 샘플에 기초하여 텍스처 강도 값을 추정하는 단계; 및
상기 텍스처 강도 값의 함수로서 텍스처 샘플의 임계값에 기초하여 상기 리프팅 팩터를 산출하는 단계;를 포함하는, 비-임시적 컴퓨터-판독 가능 매체.
제 27 항에 있어서,
상기 주파수 도메인 정보는 변환 계수들을 포함하고,
상기 특정 주파수 성분은:
적어도 하나의 주파수 성분들을 변환 스펙트럼에서의 고주파수 위치로 리프팅하기 위해 상기 결정된 거리에 기초하여 상기 변환 계수들에 대해 주파수 리프팅을 수행하는 단계이며, 상기 결정된 거리는 상기 리프팅 팩터를 이용하여 조정되는 단계; 및
상기 변환 계수들을 수정된 변환 계수들로 컨버팅하는 단계;에 기초하여 생성되는, 비-임시적 컴퓨터-판독 가능 매체.
제 27 항에 있어서,
상기 주파수 도메인 정보는 변환 계수들을 포함하고,
상기 특정 주파수 성분은:
매트릭스에서 상기 변환 계수들 위치를 시프팅하는 단계;
관련 계수 행 및 열 인덱스들을 이용하여 제로-주파수 계수 위치로의 계수들에 대한 거리들을 결정하기 위해 상기 시프팅된 변환 계수들을 이용하는 단계;
적어도 하나의 주파수 성분들을 변환 스펙트럼에서의 고주파수 위치로 리프팅하기 위해 상기 결정된 거리들에 기초하여 상기 변환 계수들에 대해 주파수 리프팅을 수행하는 단계로서, 상기 결정된 거리는 상기 리프팅 팩터를 이용하여 조정되며; 및
상기 변환 계수들을 수정된 변환 계수들로 컨버팅하는 단계;에 기초하여 생성되는, 비-임시적 컴퓨터-판독 가능 매체.
제 29 항에 있어서,
상기 방법은,
상기 시프팅 후 상기 매트릭스의 중심으로 상기 제로-주파수 계수 위치를 이동시키는 단계를 더 포함하고,
상기 제로-주파수 계수 위치는 2차원 좌표의 원점으로서 사용되고, 매트릭스 요소들은 상기 2차원 좌표 상의 포인트들로서 사용되는, 비-임시적 컴퓨터-판독 가능 매체.
제 30 항에 있어서,
상기 계수들에 대한 거리를 결정하는 단계는,
기설정된 전달 함수에 기초하며, 이산 퓨리에 변환 및 이산 코사인 변환 처리 및 이산 사인 변환 처리 중 하나를 이용하여 수신된 입력 이미지 정보를 변환하는, 비-임시적 컴퓨터-판독 가능 매체.
제 25 항에 있어서,
상기 이미지 디테일 및 상기 입력 이미지를 포함하는 출력 이미지는 전자 디바이스 상에 디스플레이되며,
상기 전자 디바이스는 텔레비전 디바이스, 모니터 디바이스, 컴퓨팅 디바이스 및 모바일 컴퓨팅 디바이스 중 하나를 포함하는, 비-임시적 컴퓨터-판독 가능 매체.
제 25 항에 있어서,
상기 컴퓨터는,
로컬 텔레비전 디바이스, 셋-톱-박스 디바이스, 및 네트워크 서버 디바이스 중 하나에서 프로세싱을 수행하는, 비-임시적 컴퓨터-판독 가능 매체.