KR20150127598A

KR20150127598A - 이미지 특징들에 의한 주파수 리프팅 초해상도의 제어

Info

Publication number: KR20150127598A
Application number: KR1020157023216A
Authority: KR
Inventors: 리 타오; 김영택
Original assignee: 삼성전자주식회사
Priority date: 2013-03-15
Filing date: 2014-03-17
Publication date: 2015-11-17
Also published as: CN105210374A; WO2014142632A1; EP2974335A4; US20140267922A1; EP2974335B1; KR102169053B1; CN105210374B; US9066025B2; EP2974335A1

Abstract

입력 이미지 정보가 수신된다. 프로세서 디바이스는 입력 이미지 정보의 주파수 특성 및 특징 정보에 기초하여 개선 정보를 결정하기 위해 사용된다. 개선 정보는 개선된 이미지를 생성하기 위해 입력 이미지 정보와 혼합된다.

Description

이미지 특징들에 의한 주파수 리프팅 초해상도의 제어{CONTROL OF FREQUENCY LIFTING SUPER-RESOLUTION WITH IMAGE FEATURES}

하나 이상의 실시 예들은 일반적으로 초고해상도(ultra-high definition: UD) 디스플레이들, 및 특히 UD 디스플레이 또는 디바이스 상에 디스플레이하기 위해 이미지들에 대한 잠재적 이미지 아티팩트들을 감소시키기 위해 이미지 특징들에 기초하여 이득 제어를 이용한 디테일 복원에 관한 것이다.

UD 사용자들, 예컨대 UD 텔레비전(UDTV) 또는 다른 UD 디스플레이 디바이스들은 UD 비디오가 더 일반적으로 될 때까지 UD 디바이스들 상에서 저해상도 컨텐트(예컨대, 표준 해상도(SD), 고해상도(HD), 풀 HD(FHD) 등 컨텐트)를 시청해야 한다. 저해상도 프레임들의 이미지 품질은 UD 디바이스들 상에서 볼 때 열화되어 보인다. 정기적인 이미지 업스케일링 또는 보간은 이미지 품질 열화를 최소화하기 위해 충분한 이미지 선예도 및 파인 디테일들(fine details)을 제공할 수 없다.

하나 이상의 실시 예들은 이미지에 대한 잠재적 이미지 아티팩트들을 감소시키는 것에 관한 것이다. 일 실시 예에서, 방법은 입력 이미지를 수신하는 것을 포함한다. 일 실시 예에 있어서, 프로세서 디바이스는 입력 이미지 정보의 주파수 특성 및 특징 정보에 기초하여 개선 정보(enhancement information)를 결정하는 데 사용된다. 일 실시 예에 있어서, 개선 정보는 개선된 이미지를 생성하기 위해 입력 이미지 정보와 혼합된다.

일 실시 예에 있어서, 시스템은 입력 이미지에 대한 특정 정보를 얻는 이미지 특징 검출 모듈을 포함한다. 일 실시 예에 있어서, 이미지 처리 모듈은 입력 이미지 정보를 수신하고, 입력 이미지 정보의 특징 정보 및 주파수 특성에 기초하여 개선 정보를 결정하기 위해 프로세서 디바이스를 사용한다. 일 실시 예에 있어서, 믹서 모듈은 개선 정보를 입력 이미지와 혼합한다.

일 실시 예에 있어서, 비-임시의 컴퓨터-판독 가능 매체는 컴퓨터 상에서 실행될 때 방법을 수행하는 명령들을 가진다. 일 실시 예에 있어서, 이 방법은 입력 이미지를 수신하는 것을 포함한다. 일 실시 예에 있어서, 개선 정보는 입력 이미지 정보의 주파수 특성 및 특징 정보에 기초하여 결정된다. 일 실시 예에 있어서, 개선 정보는 개선된 이미지를 생성하기 위해 입력 이미지 정보와 혼합된다.

하나 이상의 실시 예들의 이들 및 다른 특징들, 양상들 및 이점들은 다음의 설명, 첨부된 청구항들 및 첨부 도면들을 참조하여 이해될 것이다.

도 1은 일 실시 예에 따른, 이미지 디테일들 생성 메커니즘을 갖는 전자 시스템을 나타낸다.
도 2는 일 실시 예에 따른, 시스템의 예시적인 하이-레벨 블록도를 나타낸다.
도 3은 일 실시 예에 따른 이미지 처리 시스템의 블록도를 나타낸다.
도 4는 일 실시 예에 따른, 텍스쳐 및 에지 검출을 포함하는 이미지 처리 시스템의 예시적인 블록도를 나타낸다.
도 5는 일 실시 예에 따른 예시적인 맵핑을 나타낸다.
도 6은 일 실시 예에 따른, 구조 검출을 포함하는 이미지 처리 시스템의 블록도를 나타낸다.
도 7은 일 실시 예에 따른, 검출된 에지, 구조 및 텍스쳐 정보에 대한 예시적인 맵핑을 나타낸다.
도 8은 일 실시 예에 따른, 잠재적 이미지 아티팩트들을 감소시키기 위한 프로세스에 대한 블록도를 나타낸다.
도 9는 일 실시 예에 따른, 이미지 디테일들 처리 시스템의 블록도를 나타낸다.
도 10은 일 실시 예에 따른, 외부 이미지 블록과 내부 이미지 블록 간의 예시적인 관계를 나타낸다.
도 11은 일 실시 예에 따른 예시적인 디테일 생성 블록을 나타낸다.
도 12는 일 실시 예에 따른, 변환을 위한 주기성의 예를 나타낸다.
도 13은 일 실시 예에 따른, 예시적인 변환 시프팅 동작을 나타낸다.
도 14는 일 실시 예에 따른, 주파수 성분과 관련된, 거리 계산을 위한 예시적인 다이어그램을 나타낸다.
도 15는 일 실시 예에 따른, 주파수 리프팅을 위한 전달 함수에 대한 예시적인 다이어그램을 나타낸다.
도 16은 일 실시 예에 따른 다른 예시적인 디테일 생성 블록을 나타낸다.
도 17은 일 실시 예에 따른, 주파수 성분과 관련된 거리 결정을 묘사하기 위한 예시적인 다이어그램을 나타낸다.
도 18은 개시된 실시 예들을 구현하는 데 유용한 컴퓨터 시스템을 포함하는 정보 처리 시스템을 나타내는 예시적인 하이-레벨 블록도이다.

다음의 설명은 하나 이상의 실시 예들의 일반적인 원리들을 설명하기 위한 목적을 위해 만들어지고 여기에 청구된 발명 개념들을 한정하는 것을 의미하지 않는다. 또, 여기에 기재된 특정 특징들은 여러 가능한 조합들 및 치환들 각각에서 다른 기재된 특징들과 조합되어 사용될 수 있다. 여기서 달리 구체적으로 규정되지 않는다면, 모든 용어들은 명세서로부터 부여되는 의미들 및 이 기술분야에서 숙련된 사람에 의해 이해되고 및/또는 사전들, 논문들 등에 정의된 의미들을 포함해서 이들의 가장 넓은 가능한 해석이 주어져야 한다.

하나 이상의 실시 예들이 이미지에 대한 잠재적 이미지 아티팩트들을 감소시키기 위해 제공된다. 일 실시 예에 있어서, 방법은 입력 이미지를 수신하는 것을 포함한다. 일 실시 예에 있어서, 프로세서 디바이스는 입력 이미지 정보의 주파수 특성 및 특징 정보에 기초하여 개선 정보(또는 향상 정보)를 결정하는 데 사용된다. 일 실시 예에 있어서, 개선 정보는 개선된 이미지를 생성하기 위해 입력 이미지 정보와 혼합된다.

이 기술 분야에서 숙련된 사람은 이미지 정보가 표현되는 포맷이 일부 실시 예들에 대해서는 중요하지 않다는 것을 이해할 수 있다. 예를 들면, 일부 실시 예들에 있어서, 이미지 정보는 (X, Y)의 포맷으로 제공되고, 여기서 X 및 Y는 이미지에서 화소의 위치를 규정하는 2개의 좌표들이다. 3차원 이미지 정보는 화소의 컬러에 대한 관련 정보를 갖는 (X, Y, Z)의 포맷에 의해 제공된다. 일 실시 예에 있어서, 3차원 이미지 정보는 또한 강도 또는 휘도 요소를 포함한다.

설명적 목적들을 위해, 여기에 사용되는 용어 "수평(horizontal)"은 "도(FIG.)"의 도면 지정에 의해 표시된 도면들을 볼 때 보여지는 수평 방향을 가리킨다. 용어 "수직(vertical)"은 바로 앞에서 정의된 수평과 직교하는 방향을 가리킨다. 용어들, 예컨대 "위(above)", "아래(below)", "저부(bottom)", "상부(top)", "측면(side)", "고(higher)", "저(lower)", "상(upper)", "위(over)", 및 "하(under)"는 도면들에 나타낸 것과 같이, 수평에 대해 정의된다.

여기서 말하는 용어 "이미지(image)"는 2차원 이미지, 3차원 이미지, 비디오 프레임, 컴퓨터 파일 표현, 카메라로부터의 이미지, 비디오 프레임, 또는 그것의 조합을 포함할 수 있다. 예를 들면, 이미지는 기계 판독 가능 디지털 파일, 물리적 사진, 디지털 사진, 모션 픽쳐 프레임(motion picture frame), 비디오 프레임, x-레이 이미지, 스캔된 이미지, 또는 그것의 조합일 수 있다. 이미지는 직사각형 어레이로 배열되는 화소들로부터 발생될 수 있다. 이미지는 행들의 방향에 따른 x-축 및 열들의 방향에 따른 y-축을 포함할 수 있다.

도 1은 하나 이상의 실시 예들에서 이미지 디테일들 생성 메커니즘을 갖는 전자 시스템(50)을 나타낸다. 전자 시스템(50)은 제 2 디바이스(56), 예컨대 클라이언트 또는 서버에 접속되는 제 1 디바이스(52), 예컨대 클라이언트 또는 서버를 구비한다. 제 1 디바이스(52)는 통신 경로(54), 예컨대 무선 또는 유선 네트워크로 제 2 디바이스(56)와 통신할 수 있다.

일 실시 예에 있어서, 제 1 디바이스(52)는 다양한 초고해상도(UD) 디스플레이 디바이스들 중 어느 하나, 예컨대 UD 텔레비전(UDTV), 태블릿 디바이스, 스마트 폰, 개인 휴대 정보 단말기(personal digital assistant: PDA), 노트북 컴퓨터, 액정 디스플레이(liquid crystal display: LCD) 시스템, 웨어러블 디바이스, 모바일 컴퓨팅 디바이스, 또는 다른 다기능 디스플레이들 또는 엔터테인먼트 디바이스들일 수 있다. 제 1 디바이스(52)는 제 2 디바이스(56)와 통신하기 위해 통신 경로(54)에 직접적으로 또는 간접적으로 결합할 수 있거나 또는 독립형 디바이스일 수 있다.

설명의 목적들을 위해, 디스플레이 시스템(50)은, 비록 제 1 디바이스(52)가 상이한 유형의 디바이스일 수 있다는 것이 이해되지만, 디스플레이 디바이스로서 제 1 디바이스(52)와 함께 기술된다. 예를 들면, 제 1 디바이스(52)는 또한 이미지들 또는 멀티-미디어 프레젠테이션을 제공하기 위한 디바이스일 수 있다. 멀티-미디어 프레젠테이션은 사운드, 스트리밍 이미지들의 시퀀스 또는 비디오 피드(video feed), 또는 그것의 조합을 포함하는 프리젠테이션일 수 있다. 일례로서, 제 1 디바이스(52)는 UDTV, 또는 임의의 다른 유형의 UD 디스플레이 디바이스(예컨대, 모니터, 비디오 패널, HUD, 스마트 전화기, 태블릿 디바이스, 비디오 디바이스, 게이밍 디바이스 등)일 수 있다.

제 2 디바이스(56)는 다양한 중앙 집중 또는 분산적 컴퓨팅 디바이스들, 이미지 또는 비디오 전송 디바이스들 중 어느 하나일 수 있다. 예를 들면, 제 2 디바이스(56)는 멀티미디어 컴퓨터, 태블릿, 랩톱 컴퓨터, 데스크톱 컴퓨터, 비디오 게임 컨솔, 그리드-컴퓨팅 리소스들(grid-computing resources), 가상 컴퓨터 리소스, 클라우드 컴퓨팅 리소스(cloud computing resource), 라우터들, 스위치들, 피어 투 피어 분산형 컴퓨팅 디바이스들, 미디어 재생 디바이스, 디지털 비디오 디스크(Digital Video Disk: DVD) 플레이어, 3차원 인에이블드(enabled) DVD 플레이어, 레코딩 디바이스, 예컨대 카메라 또는 비디오 카메라, 또는 그것의 조합일 수 있다. 다른 예에 있어서, 제 2 디바이스(56)는 방송 또는 라이브 스트림 신호들을 수신하기 위한 신호 수신기, 예컨대 텔레비전 수신기, 케이블 박스(cable box), 위성 접시 수신기(satellite dish receiver), 또는 웹 인에이블드 디바이스일 수 있다.

제 2 디바이스(56)는 단일 공간(single room)에 중앙 집중화될 수 있고, 상이한 공간들을 가로질러 분포될 수 있고, 상이한 지리적 위치들에 걸쳐 분포될 수 있고, 원격통신 네트워크 내에 임베드될 수 있다. 제 2 디바이스(56)는 제 1 디바이스(52)와 통신하기 위해 통신 경로(54)와 결합하는 수단을 가질 수 있다.

설명의 목적들을 위해, 전자 시스템(50)은, 비록 제 2 디바이스(56)가 상이한 유형의 디바이스들일 수 있는 것으로 이해되지만, 컴퓨팅 디바이스로서 제 2 디바이스(56)와 함께 기술된다. 또한, 설명의 목적들을 위해, 디스플레이 시스템(50)은, 비록 디스플레이 시스템(50)이 제 1 디바이스(52), 제 2 디바이스(56), 및 통신 경로(54) 사이에 상이한 파티션을 가질 수 있는 것으로 이해되지만, 통신 경로(54)의 종점들로서의 제 2 디바이스(56) 및 제 1 디바이스(52)와 함께 도시된다. 예를 들면, 제 1 디바이스(52), 제 2 디바이스(56), 또는 그것의 조합은 또한 통신 경로(54)의 부분으로서 기능할 수 있다.

통신 경로(54)는 다양한 네트워크들일 수 있다. 예를 들면, 통신 경로(54)는 무선 통신, 유선 통신, 광학, 초음파, 또는 그것의 조합을 포함할 수 있다. 위성 통신, 셀룰러 통신, 불루투스, IrDA(Infrared Data Association standard), WiFi(wireless fidelity), 및 WiMAX(worldwide interoperability for microwave access)은 통신 경로(54)에 포함될 수 있는 무선 통신의 예들이다. 이더넷, DSL(digital subscriber line), FTTH(fiber to home), 고해상도 멀티미디어 인터페이스(HDMI) 케이블, 및 POTS(plain old telephone service)은 통신 경로(54)에 포함될 수 있는 유선 통신의 예들이다.

또, 통신 경로(54)는 다수의 네트워크 토폴로지스 및 거리들을 가로지를 수 있다. 예를 들면, 통신 경로(54)는 직접 접속, PAN(personal area network), LAN(local area network), MAN(metropolitan area network), WAN(wide area network), 또는 그것의 조합을 포함할 수 있다.

도 2는 일 실시 예에 따른 시스템(200)의 하이-레벨 블록도를 나타낸다. 일 실시 예에 있어서, 시스템(200)은 이미지 디테일들 처리 시스템 또는 모듈(300)(도 3 참조)을 이용하여 입력 노드(201)에서 수신된 입력 소스(210)로부터의 입력 비디오 이미지들, 출력 노드(240)에서 비디오 이미지들을 출력하고 출력 소스(250)(또는 디바이스(52), 도 1) 상에 이미지들을 디스플레이할 수 있다. 일 실시 예에 있어서, 이미지 디테일들 처리 시스템(300)은 입력 이미지 정보를 수신한다. 일 실시 예에 있어서, 디테일들 처리 시스템(300)의 프로세서 디바이스는 입력 이미지 정보의 주파수 특성 및 특징 정보에 기초하여 개선 정보를 결정하기 위해 사용된다. 일 실시 예에 있어서, 개선 정보는 이후 개선된 이미지를 생성하기 위해 입력 이미지 정보와 혼합된다. 일 실시 예에 있어서, 출력 소스(250)(또는 52)를 위한 디스플레이는 이미지 또는 멀티-미디어 프레젠테이션들을 제공하기 위한 물리적 디바이스일 수 있다. 예를 들면, 디스플레이는 액정 디스플레이(LCD) 패널, 플라즈마 스크린, 프로젝션 스크린(projection screen), HUD(heads-up-display) 등을 포함하는 스크린일 수 있다. 다른 실시 예들에 있어서, 디스플레이는 물체 또는 반사 디바이스 상에 투영될 수 있다.

일 실시 예에 있어서, 입력 비디오 이미지들은 무선으로 또는 유선 인터페이스를 통해 전송/수신될 수 있는 입력 소스(210)로부터 제공될 수 있고 비압축/압축된 비디오 콘텐트를 포함할 수 있다. 일 실시 예에 있어서, 시스템(200)에서의 비디오 이미징 콘텐트의 와이어라인 또는 무선 통신은 이더넷, 전화(예컨대, POTS), 케이블, 전력선, 및 광섬유 시스템들 중 하나 이상을 통한/상에서의 통신, 및/또는 부호 분할 다중 액세스(CDMA 또는 CDMA2000) 통신 시스템, 주파수 분할 다중 액세스(FDMA) 시스템, 시분할 다중 액세스(TDMA) 시스템 예컨대 GSM/GPRS (General Packet Radio Service)/에지(enhanced data GSM environment), TETRA(Terrestrial Trunked Radio) 모바일 전화 시스템, 광대역 부호 분할 다중 액세스(WCDMA) 시스템, 고속 데이터 전송(high data rate)(1 x enhanced voice-data only(EV-DO) 또는 1 x EV-DO Gold Multicast) 시스템, IEEE 802.11 시스템, DMB(디지털 Multimedia Broadcasting) 시스템, 직교 주파수 분할 다중 액세스(OFDM) 시스템, DVB-H(Digital Video Broadcasting-Handheld) 시스템 등 중 하나 이상을 포함하는 무선 시스템을 포함할 수 있다.

일 실시 예에 있어서, 비디오 입력 소스(210)는 무선 네트워크(예컨대, 인터넷, 로컬 에어리어 네트워크(LAN, WAN(wide-area network), PAN(personal area network), CAN(campus wireless network), MAN(metropolitan area network) 등)를 통해 전송될 수 있다. 일 실시 예에 있어서, 입력 소스(210)는 클라우드-기반 시스템, 서버, 방송국, 비디오 디바이스/플레이어, 비디오 카메라, 모바일 디바이스 등으로 발생할 수 있다.

일 실시 예에 있어서, 입력 소스로부터 입력된 비디오 이미지는 입력 노드(201)에서 도달하기 전에 (예컨대, 디코더/인코더를 통해) 디코딩/인코딩될 수 있다. 일 실시 예에 있어서, 출력 노드(240)로부터 출력 소스(250)로 비디오 이미지는 출력 노드(240)에 도달하기 전에 인코딩/디코딩될 수 있다. 일 실시 예에 있어서, 출력 소스(250)는 무선으로 또는 유선 인터페이스를 통해 출력 노드(240)로부터 출력 이미지를 수신할 수 있다.

일 실시 예에 있어서, 입력 소스(210)로부터의 압축 비디오 이미지 콘텐트는 방송, 컴퓨터 네트워크, DVD 또는 다른 컴퓨터 판독 가능 저장 매체로부터의 아날로그 또는 디지털 비디오, 또는 비디오 신호들의 임의의 다른 적합한 소스를 제공할 수 있다. 일 실시 예에 있어서, 입력 소스(210)로부터의 압축 비디오는 무선 주파수 인터페이스(예컨대 ATSC 방송들), 컴퓨터 네트워크, 또는 유선 또는 무선 접속 예컨대 컴포넌트 비디오 케이블, DVI 또는 HDMI 비디오 인터페이스 등을 통해 수신기에 결합될 수 있다. 일 실시 예에 있어서, 입력 소스(210)로부터의 비압축 비디오 이미지는 비디오 카메라, 또는 메모리 디바이스 예컨대 임의의 적합한 비디오 인터페이스에 의해 수신기에 결합되는 디스크 드라이브 중 하나 이상을 포함할 수 있다. 일 실시 예에 있어서, 입력 소스(210)로부터의 비압축 비디오는 개개의 컬러 강도들 예컨대 적, 녹 및 청 등으로, 또는 임의의 다른 적합한 포맷으로 휘도 및 색차 형태로 포함하는 아날로그 또는 디지털 형태로 비압축 비디오를 제공할 수 있다.

일 실시 예에 있어서, 입력 소스(210)로부터의 입력 비디오 콘텐트에 대한 디지털 비디오 포맷들은 상이한 프레임 레이트들, 화소들의 상이한 수의 라인들 및 행들, 인터레이스된 및 난-인터레이스된 등을 포함할 수 있다. 예를 들면, 영화들은 전형적으로 24 fps(frames per second) 포맷으로 생성되고, NTSC는 초 당 30 프레임들이고 PAL은 초 당 25 프레임들이다. 포맷은 인터레이스되거나 또는 프로그레시브될 수 있다. 예를 들면, 고화질 포맷들(예컨대 디지털 비디오 방송 표준들에 의해 지원됨)이 출력 소스(250)의 디스플레이 디바이스의 포맷을 맞추는 포맷으로 수정될 수 있다. 출력 소스(250)의 디스플레이 디바이스는 NTSC, PAL, ATSC, DVB/T 등 또는 프레임 레이트들, 예컨대 70 Hz, 75 Hz, 80 Hz 등으로 작동하는 디스플레이 디바이스를 수용하도록 구성될 수 있다.

도 3은 일 실시 예에 따른 이미지 처리 시스템(300)의 블록도를 나타낸다. 일 실시 예에 있어서, 시스템(300)은 이미지 특징 검출 모듈(310), 제어 이득 맵 추정/발생기 모듈(320), 주파수 리프팅 초해상도(FLSR) 모듈(330) 및 믹싱/믹서 모듈(345)을 구비한다. 일 실시 예에 있어서, 시스템(300)은 입력 이미지를 입력하기 위한 입력 노드(340), 및 출력 이미지를 출력하기 위한 출력 노드(350)를 구비한다. 일 실시 예에 있어서, 시스템(300)은 전자 디바이스, 예컨대 제 1 디바이스(52)(도 1), 제 2 디바이스(56) 등으로 구현될 수 있다.

일 실시 예에 있어서, 블록 기반 이미지 처리는 입력 이미지와 함께, 제어 이득 맵 추정/발생기 모듈(320)의 출력, 및 텍스쳐 또는 에지 정보에 기초하여 조정될 수 있는, 개선 및 복원된 고주파수 정보(디테일들)를 포함하는 입력 이미지의 개선 버전인, FLSR 모듈(330)의 출력을 처리한 결과인, 출력 노드(350)에서 출력 이미지를 생성하기 위해 구현된다. 일 실시 예에 있어서, FLSR 모듈(330)은 아래의 도 9 내지 17을 참조하여 그리고 이하의 공동 계류 중인 출원들: 명칭이 "CREATING DETAILS IN AN IMAGE WITH FREQUENCY LIFTING”인, 2014년 3월 14일자로 출원된 미국 출원 번호 14/214,056(도켓 번호 SAM2-P.e120), 명칭이 “CREATING DETAILS IN IMAGE WITH ADAPTIVE FREQUENCY STRENGTH CONTROLLED TRANSFORM”인, 2014년 3월 14일자로 출원된 미국 출원 번호 14/214,081(도켓 번호 SAM2-P.e121), 및 명칭이“CREATING DETAILS IN IMAGE WITH ADAPTIVE FREQUENCY LIFTING”인, 2014년 3월 14일자로 출원된 미국 출원 번호 14/214,114(도켓 번호 SAM2-P.e122) - 내용들은 이들 전체가 참조로 본원에 각각 포함됨 - 에서의 시스템들, 프로세스들 및 모듈들을 참조하여 기술되는 출력 이미지를 생성하는 주파수 리프팅 및 이미지 처리를 포함한다.

예시적인 실시 예에 있어서, 만약 정규 이미지 업-컨버전 블록이 시스템(300) 앞에 부가되면, 그것을 진보된 이미지 업-컨버전/업-스케일링/초해상도 시스템인 입력 이미지들(예컨대, SD, HD, FHD, UD, 업-스케일드 UD 등)로서 저해상도 이미지들을 이용하여 UD 이미지들(정지 이미지들 또는 비디오 프레임들)을 생성하기 위해 적용될 수 있다. 예시적인 실시 예에 있어서, 업-컨버트된 UD 이미지들은 종래의 이미지 업-컨버전 알고리즘들에 의해 획득될 수 없는 추가의 이미지 디테일들을 포함한다. 결과적으로, 하나 이상의 실시 예들에서 이미지 품질(선예도, 파인 디테일들 등)은 크게 향상될 수 있다. 일 실시 예에 있어서, 시스템(300)의 적용은 저해상도 영화가 디스플레이를 위해 수신될 수 있는 디스플레이 또는 UD 디바이스에서 구현될 수 있다. 만약 시스템(300)이 UD 디바이스 또는 디스플레이 상에서 이용 가능하지 않다면, 시청자들은 이미지 선예도가 불량하고 또는 이미지가 섬세한 디테일이 부족하다는 것을 느낄 수 있다. 현재, UD 비디오 이미지들(예컨대, 스트리밍 비디오, 영화들 등)은 시장에서 이용 가능하지만, UD 비디오 매체(TV 프로그래밍, 웹 TV 또는 비디오, 블루-레이 디스크들 및 퍼스널 디지털 비디오)는 특히 드물다. 대부분의 비디오 매체는 여전히 FHD, HD 또는 심지어 SD이다. 하나 이상의 실시 예들에 있어서, UD 시청자들의 시각적 기대를 만족시키기 위해, 진보된 이미지 업-컨버전(초해상도) 기능이 시스템(300)을 이용하여 구현된다.

일 실시 예에 있어서, 시스템(300)의 적용은 불량한(흐릿한 또는 열화된) 이미지 디테일들, 예컨대 개인용 캠코더 또는 스마트 폰에 캡쳐된 인터넷 또는 디지털 비디오로부터 얻어진 웹 비디오 클립들의 낮은 품질의 SD, HD 또는 FHD 이미지들의 이미지 디테일들을 개선(또는 복원)하기 위해 현재의 HDTV들(또는 저해상도 TV들, 디바이스들, 디스플레이들 등)에서 구현될 수 있다. 보통 낮은 품질의 HD 또는 FHD 비디오 클립들의 이미지 디테일들은 데이터 압축, 불충분한 조명 상태 또는 비디오 캡쳐 디바이스의 제한된 성능으로 인해 열화 또는 손상될 수 있다. 하나 이상의 실시 예들은 하드웨어 또는 소프트웨어로, 상이한 애플리케이션들에 의해 필요한 기능들을 달성할 수 있는 범용 시스템으로서 시스템(300)을 제공한다. 예시적인 실시 예에 있어서, 시스템(300)을 위한 애플리케이션은 고성능 이미지 디테일 개선 또는 복원, 이미지 초해상도, 및 진보된 이미지 업-컨버전 등을 포함할 수 있다. 하나 이상의 예시적인 실시 예들에 있어서, 시스템(300)의 애플리케이션들은 UD 디바이스들 및 디스플레이들, HDTV 제품들에서 프로그램된 하드웨어로서 또는 PC들 또는 모바일 디바이스들(태블릿들, PC들, 웨어러블 디바이스들, 스마트 폰들 등)에 사용되는 소프트웨어로서 구현되면 매우 유용할 수 있다.

일 실시 예에 있어서, FLSR 모듈(330)로부터의 출력 이미지는 입력 노드(340)에서 수신된 입력 이미지로부터 상승된 고주파수 정보(디테일들)를 포함하는 개선된 버전이다.

일 실시 예에 있어서, 시스템(300)은 이미지 특징 검출 모듈(310), (화소 기반) 제어 이득 맵 추정/발생기 모듈(320)로부터의 출력, 입력 이미지, FLSR 모듈(330), 및 입력 이미지를 혼합하는 믹싱/믹서 모듈(345)로부터의 출력을 이용하여 아티팩트 억제를 제공하고, FLSR 모듈(330)은 다음과 같이 화소 기반 이득 제어값에 기초하여 출력한다:

output = γ·y + (1 - γ)·input,

여기서 y는 FLSR 모듈(330)(개선 신호)의 출력이고 γ(0과 1 사이에서 변함) 는 국부 이미지 특징들에 기초하여 모든 화소 위치마다 변하는 제어 이득 맵 추정/발생기 모듈(320)로부터의 이득 제어값이다. 예시적인 실시 예에 있어서, γ=0일 때 출력 이미지 = 입력 이미지이고 γ=1일 때 출력 이미지 = y라는 것이 주목되어야 한다. 그러므로, 예시적인 실시 예에 있어서, 이미지 아티팩트들을 FLSR 모듈(330) 출력에 가져갈 수 있는, 국부 이미지 특징들에 기초하여 γ의 값을 적당히 조정함으로써, FLSR 모듈(330)의 가능한 이미지 아티팩트들이 억제될 수 있다.

도 4는 일 실시 예에 따라, 텍스쳐 및 에지 검출을 포함하는 이미지 처리 시스템(400)의 예시적인 블록도를 나타낸다. 일 실시 예에 있어서, 시스템(300)(도 3)과 유사한 시스템(400)은 텍스쳐 검출 모듈(100) 및 에지(샘플) 검출 모듈(420)(이미지 특징 검출 모듈(310) 대신) 및 믹싱/믹서 모듈(445)을 구비한다. 일 실시 예에 있어서, 입력 노드(340)는 입력 이미지를 수신하고 출력 노드(450)는 시스템(400)에 의해 처리되는 출력 이미지를 출력한다.

일 실시 예에 있어서, 텍스쳐 및 에지 정보는 이미지 특징들을 검출하는 방법으로서 사용된다. 일 실시 예에 있어서, 에지 검출은 예를 들어 소벨 오퍼레이터(Sobel operator)에 의해 수행될 수 있다. 일 실시 예에 있어서, 텍스쳐 검출은 예를 들면, 로컬 윈도드 샘플들(local windowed samples)에서 제로 크로싱 포인트들(N)을 계수하여 수행될 수 있다. 일 실시 예에 있어서, 텍스쳐 검출 모듈(410)의 출력(t), 및 에지 검출 모듈(420)의 출력(E)에 기초하여, 제어 이득 맵 추정/발생기 모듈(320)은 다음과 같이 결정되는 γ - 맵을 발생한다: γ = (1 - E)·((1 - t) + K · t)이고, 여기서 K 510(도 5)은 1보다 크거나 같다(즉, ≥1).

일 실시 예에 있어서, E, t 및 K의 다양한 양들간의 관계에 기초하여, 텍스쳐-리치 블록들(예컨대, N값보다 큰)에 대해, 더 많은 주파수 성분들(낮은 K값으로 인해)이 리프팅될 수 있고 2개의 경우들을 적절히 다루는 리프팅이 크다는 것(즉, 다수의 아티팩트들로 인해)이 결정될 수 있다. 일 실시 예에 있어서, 제 1 텍스쳐-리치 영역들은 일반적으로 개선되거나 복원될 필요가 있는 이미지 디테일들로 채워지고; 제 2 텍스쳐-양호 블록들은 아티팩트들이 보여지기 쉽게 할 수 있다.

도 5는 일 실시 예에 따른 예시적인 맵핑(500)을 나타낸다. 일 실시 예에 있어서, γ 테이블(501)은 예시적인 M x N 요소/화소 블록을 나타내고 M = N = 2이다. 일 실시 예에 있어서, γ 테이블은 다음에 나타낸 것과 같이, E, t 및 K의 값에 기초하여 γ에 대한 값을 발생한다:

γ = (1 - E) ·((1 - t) + K · t)

= (1 - E) · [(1 - t) + K · t].

도 6은 일 실시 예에 따른, 구조 검출을 포함하는 이미지 처리 시스템(600)의 블록도를 나타낸다. 일 실시 예에 있어서, 시스템(600)은 γ · y + (1 - γ) · 입력 이미지에 기초한 출력 이미지를 가지는 구조 검출 모듈(610), 구조화된 에지 맵 발생기 모듈(620) 및 믹싱/믹서 모듈(645)을 갖는 시스템(400)(도 4)과 유사한다.

일 실시 예에 있어서, 구조 검출 모듈(610)은 예를 들면, PCA(Principal Component Analysis) 또는 허프 변환(Hough Transformation)에 기초하여 구조/형상 검출을 추정할 수 있다. 일 실시 예에 있어서, 에지 맵(E) 및 구조 검출 모듈 출력(S)에 기초하여, α - 맵으로 나타낸 새로운 양이 얻어진다. 일 실시 예에 있어서, α - 맵의 요소/화소의 값은 도 7에 나타낸 것과 같이 α = (1 - S)(1 - E)로서 결정되고 도 7을 참조하여 이하에 기술된다.

도 7은 일 실시 예에 따른 검출된 에지, 구조 및 텍스쳐 정보에 대한 예시적인 맵핑(700)을 나타낸다. 나타낸 것과 같이, 예시적인 맵핑은 α 맵 테이블(710) 및 γ 맵 테이블(720)을 포함한다. 일 실시 예에 있어서, α가 0에 접근할 때(예컨대, E 또는 S가 1에 접근할 때), 화소가 강한 에지 화소 또는 구조 영역과 관련되는 것을 표시한다. 예시적인 실시 예에 있어서, 만약 α가 1에 접근하면(양 E 및 S가 0에 접근하면), 화소는 에지와 관련되지 않고 구조적 영역과 관련되지 않는다.

일 실시 예에 있어서, 구조화된 에지 맵 발생기 모듈(620)은 γ-맵을 생성하기 위해 제어 이득 맵 추정기/발생기 모듈(320)에 의해 사용되는 α-맵을 발생한다. 일 실시 예에 있어서, 제어 이득 맵 추정기/발생기 모듈(320)은 다음과 같은 α-맵 및 텍스쳐 맵을 이용한다: γ = α (1 - t) + K · α · t, 여기서 K ≥ 1 (예시적인 맵핑(700)에 나타낸 것과 같이)이다. 일 실시 예에 있어서, 별개의 예에서 γ와 (α, t) 간의 관계 그래프에 기초하여, α = 1(즉, 강한 에지들 없음) 및 t = 1(즉, 리치 텍스쳐)일 때 γ = K(SR 처리 이미지의 최고 기여); α = 1(즉, 강한 에지들 없음) 및 t = 0(즉, 불량한 텍스쳐)일 때 γ = 1(즉, 적당한 기여); α = 0(즉, 강한 에지들)일 때 γ = 0(즉, 최저/기여 없음)인 것이 추론될 수 있다. 일 실시 예에 있어서, 시스템(600)은 리치-텍스쳐-관련 화소들의 기여를 유지 또는 부스팅하면서, 출력 노드(650)(도 6)에서 최종 출력 이미지로 강한-에지-관련 화소들(SR 처리된 이미지에서)의 기여를 감소시키는 것에 기초하여 아티팩트 제어를 허용한다.

도 8은 일 실시 예에 따른, 이미지(예컨대, SR 처리된 이미지)에 대한 잠재적 이미지 아티팩트들을 감소시키기 위한 프로세스(800)에 대한 블록도를 나타낸다. 일 실시 예에 있어서, 블록 810에서, 입력 이미지(예컨대, SD, HD, FHD, UD, 업-스케일드 UD 등)가 수신된다(예컨대, 입력 이미지 노드(340)에 의해, 도 3, 4 및 6). 일 실시 예에 있어서, 블록 820에서, 입력 이미지는 이미지 정보(예컨대, M x N 블록들)를 얻기 위해 처리된다. 일 실시 예에 있어서, 블록 830에서 주파수 리프팅 프로세스(예컨대, 시스템(900)(도 9), 에지 정보를 이용하는 수정 시스템(900), 텍스쳐 정보를 이용하는 수정 시스템(900) 등을 이용하여)가 주파수 성분들을 리프팅-업하여 프로세서 디바이스를 이용하여 이미지 정보에 대해 수행된다. 일 실시 예에 있어서, 주파수 리프팅 프로세스는 주파수 리프팅된 출력 이미지를 생성한다.

일 실시 예에 있어서, 블록 840에서, 이미지 특징 검출은 입력 이미지에 대해 수행된다. 일 실시 예에 있어서, 블록 850에서, 맵 추정은 이득 제어값을 얻기 위해 검출된 이미지 특징들을 이용하여 수행된다. 일 실시 예에 있어서, 블록 860에서 최종 출력 이미지는 이득 제어값, 입력 이미지 및 주파수 리프팅된 출력 이미지를 이용하여 얻어진다.

일 실시 예에 있어서, 프로세스(800)는 주파수 영역 정보를 얻기 위해 이미지 정보를 변환하고, 하나 이상의 출력 이미지 블록들을 생성하기 위해 업데이트된 주파수 분포에 대한 역변환을 수행하고; 주파수 리프팅된 이미지에 대한 이미지 디테일들을 생성하기 위해 하나 이상의 출력 이미지 블록들을 결합하고, 출력 이미지를 얻기 위해 주파수 리프팅된 이미지와 입력 이미지를 믹싱하는 프로세서 디바이스를 이용하는 것을 더 포함할 수 있다. 일 실시 예에 있어서, 이미지 정보는 주파수 영역 정보를 얻기 위해(예컨대, 프로세서 디바이스를 이용하여) SDFT, DCT 등을 이용하여 수행될 수 있다. 일 실시 예에 있어서, 입력 이미지에 대한 에지 정보 및/또는 텍스쳐 정보는 주파수 리프팅 프로세스를 조정하기 위해 사용될 수 있다.

일 실시 예에 있어서, 주파수 영역 정보의 프로세스(800)는 변환 계수들을 포함할 수 있고, 주파수 성분들은: 변환 스펙트럼에서 고주파수 위치로 일부(예컨대, 하나 이상의, 수개의, 전부의 등) 주파수 성분들을 리프팅하기 위한 변환 계수들에 대해 주파수 리프팅을 수행하는 것; 변환 계수들을 수정된 변환 계수들로 변환하는 것에 기초하여 생성된다.

일 실시 예에 있어서, 프로세스(800) 주파수 영역 정보는 변환 계수들을 포함할 수 있고, 주파수 성분들은: 매트릭스에서 변환 계수들 위치를 시프팅하는 것; 관련 계수 행 및 열 인덱스들을 이용하여 제로-주파수 계수 위치를 이용하여 계수들에 대한 거리들을 결정하기 위해 시프팅된 변환 계수들을 이용하는 것; 변환 스펙트럼에서 고주파수 위치로 일부(예컨대, 하나 이상의, 수개의, 전부의 등) 주파수 성분들을 리프팅하기 위해 결정된 거리들에 기초하여 변환 계수들에 대해 주파수 리프팅을 수행하는 것; 변환 계수들을 수정된 변환 계수들로 변환하는 것에 기초하여 생성된다.

일 실시 예에 있어서, 프로세스(800)는 시프팅 후 매트릭스의 중심으로 제로-주파수 계수 위치를 이동시키는 것을 포함할 수 있고, 여기서, 제로-주파수 계수 위치는 2차원 좌표의 원점으로서 사용되고, 매트릭스 요소들은 2차원 좌표 상에 포인트들로서 사용된다. 일 실시 예에 있어서, 프로세스(800)에서 거리들은 미리 결정된 전달 함수에 기초하여 계수들에 대해 결정될 수 있다.

일 실시 예에 있어서, 프로세스(800)에서 입력 이미지에 대해 이미지 특징 검출을 수행하는 것은 에지 정보, 텍스쳐 정보 및 입력 이미지에 대한 구조 정보 중 어느 하나를 검출하는 것을 포함할 수 있다. 일 실시 예에 있어서, 프로세스(800)는 원래의 주파수 분포의 형상을 유지하면서 주파수 성분들을 리프팅-업함으로써 프로세서 디바이스를 이용하여 이미지 정보에 대한 주파수 리프팅 프로세스(예컨대, 시스템(900)(도 9), 에지 정보를 이용하는 수정 시스템(900), 텍스쳐 정보를 이용하는 수정 시스템(900) 등을 이용하여)를 수행하는 것을 포함할 수 있다. 일 실시 예에 있어서, 프로세스(800)는 이득 제어값을 생성하기 위해 검출된 에지 정보 및 검출된 텍스쳐 정보를 이용하여 검출된 이미지 특징들을 이용하는 맵 추정을 수행하는 것을 포함할 수 있다.

일 실시 예에 있어서, 프로세스(800)에서 검출된 이미지 특징들을 이용하여 맵 추정을 수행하는 것은 제 1 맵을 생성하기 위해 검출된 에지 정보 및 검출된 구조 정보를 이용하는 것, 및 제 1 맵 및 이득 제어값으로서 사용될 수 있는, 제 2 맵을 생성하기 위해 검출된 텍스쳐 정보를 이용하는 것을 포함할 수 있다.

일 실시 예에 있어서, 프로세스(800)에서 최종 출력 이미지는 전자 디바이스(예컨대, 전자 디바이스(52), 도 1) 상에 디스플레이될 수 있다. 일 실시 예에 있어서, 프로세스(800)는 로컬 텔레비전 디바이스, 셋-톱-박스 디바이스, 및 네트워크 서버 디바이스 중 하나에 대한 처리를 수행할 수 있다.

도 9는 일 실시 예에 따라, FLSR 모듈(330)(도 3)에서 처리하는 데 사용될 수 있는 이미지 디테일들 처리 시스템(900)의 블록도를 나타낸다. 일 실시 예에 있어서, 시스템(900)은 전자 디바이스, 예컨대 제 1 디바이스(52)(도 1), 제 2 디바이스(56) 등에서 구현될 수 있다. 일 실시 예에 있어서, 시스템(900)은 입력 노드(901), 페칭/수신 모듈(910), 디테일 생성 모듈(920), 블록 구성/결합 모듈(930), 믹서 모듈(935)(리프팅된 이미지 디테일들과 입력 이미지와의 믹싱) 및 출력 노드(940)를 구비한다.

일 실시 예에 있어서, 블록 기반 이미지 처리는 입력 노드(901)로부터의 입력 이미지의 조합인, 출력 노드(940)에서의 출력 이미지 및 생성된 고 주파수 정보(디테일들)를 포함하는 그것의 개선된 버전을 생성하기 위해 구현된다. 일 실시 예에 있어서, 디테일들은 디테일 생성 모듈(920)에서 생성되고, 여기서 이미지 블록들(911)은 블록 수신 모듈(910)(입력 이미지를 블록들로 분할함)로부터 공급되고 출력 디테일 블록들(931)은 디테일 구성 모듈(930)에 의해 생성되고 여기서 더 많은 출력 디테일 블록들이 전체 이미지 디테일들을 형성하기 위해 구성된다. 일 실시 예에 있어서, 화소들 또는 이미지 블록들(931)(사이즈 P x Q)일 수 있는 출력은 일반적으로 블록들(911)의 입력 이미지 사이즈(사이즈 M x N)보다 작고, 여기서 P, Q, M 및 N은 양의 정수들이다.

예시적인 실시 예에 있어서, 만약 정규 이미지 업-컨버전 블록이 시스템(900) 앞에 부가되면, 그것은 진보된 이미지 업-컨버전/업-스케일링/초해상도 시스템인, 입력 이미지들로서 저해상도 이미지들을 이용하여 UD 이미지들(정지 이미지들 또는 비디오 프레임들)을 생성하기 위해 적용될 수 있다. 예시적인 실시 예에 있어서, 업-컨버트된 UD 이미지들은 종래의 이미지 업-컨버전 알고리즘들에 의해 얻어질 수 없는 추가의 이미지 디테일들을 포함한다. 결과적으로, 하나 이상의 실시 예들에 있어서, 이미지 품질(선예도, 미세 디테일들 등)이 크게 향상될 수 있다. 일 실시 예에 있어서, 시스템(900)의 적용은 저해상도 영화가 디스플레이를 위해 수신될 수 있는 디스플레이 또는 UD 디바이스로 구현될 수 있다. 만약 시스템(900)이 UD 디바이스 또는 디스플레이에 대해 이용 가능하지 않다면, 시청자들은 이미지 선예도가 불량하거나 이미지가 섬세한 디테일이 부족하다고 느낄 수 있다. 현재, UD 비디오 이미지들(예컨대, 스트리밍 비디오, 영화들 등)은 시장에서 이용 가능하지만, UD 비디오 매체(TV 프로그래밍, 웹 TV 또는 비디오, 블루-레이 디스크들 및 퍼스널 디지털 비디오)는 특히 드물다. 대부분의 비디오 매체는 여전히 FHD, HD 또는 심지어 SD이다. 하나 이상의 실시 예들에 있어서, UD 시청자들의 시각적 기대를 만족시키기 위해, 진보된 이미지 업-컨버전(초해상도) 기능은 시스템(900)을 이용하여 구현된다.

일 실시 예에 있어서, 시스템(900)의 적용은 낮은 품질의 SD, HD, FHD, UD 또는 불량한(흐릿한 또는 열화된) 이미지 디테일들의 업-스케일드 UD 이미지들, 예컨대 개인용 캠코더 또는 스마트 폰에 의해 캡쳐된 인터넷 또는 디지털 비디오로부터 얻어진 웹 비디오 클립들의 이미지 디테일들을 개선(또는 복원)하기 위해 현재의 HDTV들(또는 저해상도 TV들, 디바이스들, 디스플레이들 등)에서 FLSR 모듈(330)에 구현될 수 있다. 보통 낮은 품질의 SD, HD 또는 FHD 비디오 클립들의 이미지 디테일들은 데이터 압축, 불충분한 조명 상태 또는 비디오 캡쳐 디바이스의 제한된 성능으로 인해 열화 또는 손상될 수 있다. 하나 이상의 실시 예들은 하드웨어 또는 소프트웨어로, 상이한 애플리케이션들에 의해 필요한 기능들을 달성할 수 있는 범용 시스템으로서 시스템(900)을 제공한다.

예시적인 실시 예에 있어서, FLSR(330)에서 시스템(900) 채용을 위한 애플리케이션들은 고성능 이미지 디테일 개선 또는 복원, 이미지 초해상도, 및 진보된 이미지 업-컨버전 등을 포함할 수 있다. 하나 이상의 예시적인 실시 예들에 있어서, 시스템(900)의 다양한 애플리케이션들은 UD 디바이스들 및 디스플레이들, HDTV 제품들에서 프로그램된 하드웨어로서, 또는 PC들 또는 모바일 디바이스들(태블릿들, PC들, 웨어러블 디바이스들, 스마트 폰들 등)에서 사용되는 소프트웨어로서 구현되면 매우 유용할 수 있다.

일 실시 예에 있어서, 시스템(900)은 입력 노드(901)의 입력 이미지와 개선 및 복원된 고 주파수 정보(디테일들)를 포함하는 그것의 개선된 버전의 조합인 출력 노드(940)에서 출력 이미지를 생성한다. 하나 이상의 실시 예들에 대한 디테일 생성 모듈(920)의 상세 설명은 도 10-17과 조합하여 추종한다.

도 10은 일 실시 예에 따라 서로 중심-정렬된 외부 이미지 블록(M x N 블록(911)으로 만들어짐)과 내부 이미지 블록(P x Q 블록(931)으로 만들어짐) 사이의 예시적인 관계를 나타낸다. 보통의 이미지 블록 사이즈들 및 입력 이미지 블록(911)과 출력 이미지 블록(931) 간의 공간 관계가 도 10에서 증명된다. 일 실시 예에 있어서, 출력 이미지 블록(931)은 입력 이미지 블록(911) 안에 중심 부분으로서 위치된다. 일 실시 예에 있어서, 출력 이미지 블록(931)이 생성되는 동안, 출력 블록(931) 영역 내의 이미지 정보 및 출력 블록(931) 밖의(입력 블록(911) 내의) 정보 모두가 사용된다.

예시적인 실시 예에 있어서, 관심 영역(출력 블록(931)/입력 블록(911)) 내의 이미지 정보는 주변 영역(입력 블록(911)/출력 블록(931))의 것과 관련 있는 것으로(또는 주변 영역(입력 블록(911)/출력 블록(931))으로부터 추론할 수 있는 것)으로 간주된다. 일 실시 예에 있어서, 출력 이미지 블록들(931)은 전체 출력 디테일들 이미지를 생성하기 위해 구성 모듈(930)에 의해 "패치드(patched)" 업 또는 결합되고, 이후 최종 결과는 믹서(935)(도 9)에 의해 생성된 디테일들 및 입력 이미지를 결합하여 얻어진다.

도 11은 일 실시 예에 따라 디테일 생성 모듈(920)로서 시스템(900)으로 구현될 수 있는 예시적인 디테일 생성 블록(1120)을 나타낸다. 일 실시 예에 있어서, 디테일 생성 블록(1120)은 수신 모듈(910)(도 9)로부터 입력 이미지 블록을 수신하는 2D 시프트된 이산 퓨리에 변환(SDFT) 모듈(521), 크기 모듈(1122), DFT 컨버전 모듈(1123), 주파수 리프팅 모듈(1125) 및 구성 모듈(930)에 입력된 출력 이미지 블록을 출력하는 2D 역 SDFT(ISDFT) 모듈(1124)을 포함할 수 있다.

일 실시 예에 있어서, 입력 이미지 블록들은 먼저 (매트릭스로) DFT 계수들을 계산하기 위해 2D SDFT 모듈(1121)에서 처리되고 이후 시프팅된다. 일 실시 예에 있어서, DFT 계수들의 시프팅은 이하에 기재되는 것과 같이 도 12 및 13에서 설명된다.

일 실시 예에 있어서, 시프팅된 DFT 계수들은 주파수 리프팅 모듈(1125), 및 거리 계산, 계수 주파수 리프팅 및 계수 컨버전을 위한 DFT 컨버전 모듈(1123)에 대한 입력으로서 각각 제공된다. 시프팅된 DFT(SDFT)는 SDFT = SDFT_R + j·SDFT_I로서 표현될 수 있는 복소수이고, 이후 SDFT의 크기는 |SDFT| = (SDFT_R ² + SDFT_I ²)^1/2, 또는 MAG_IN = |SDFT|로서 (MAG_IN)이 계산되고, 여기서 R은 실수부를 나타내고 I는 허수부를 나타낸다. 주파수 리프팅 모듈(1125) 내에서, 제로-주파수 계수(2D 좌표의 원점과 같음)에 대한 각각의 DFT 계수의(2D 좌표에서의 한 지점과 같은 주파수 영역에서의 성분) 거리가 매트릭스에서 계수의 행 및 열 인덱스들(한 지점의 좌표들과 같음)을 이용하여 얻어진다. 일 실시 예에 있어서, 계산된 거리들은 2개의 처리 서브-블록들: 계수 컨버전 모듈(1123) 및 주파수 리프팅 모듈(1125)에 대한 입력으로서 공급된다.

일 실시 예에 있어서, 주파수 리프팅 모듈(1125)에서, 일부(예컨대, 하나 이상의, 수개의, 전부의 등) 주파수 성분들은 스펙트럼에서 고주파수 위치로 리프팅된다. 예시적인 실시 예에 있어서, 만약 2D DFT 계수들/스펙트럼이 3D 카테시안 좌표(원점은 제로-주파수 위치를 나타냄)에서 곡면으로서 나타내어지면, 주파수 리프팅 프로세싱은 편심 피크를 원점으로부터 외측으로 이동시키고 중심 피크의 기울기를 외측으로 확대(expand)시킨다. 주파수 리프팅 모듈(1125) 처리들의 상세들은 도 12-15를 참조하여 이하에 기재된다. 일 실시 예에 있어서, 계수 컨버전 모듈(1123)은 3개의 처리 블록들: 2D SDFT 모듈(1121), 크기 모듈(1122) 및 주파수 리프팅 모듈(1125)로부터 출력들을 수신하고, 새로운/수정된 DFT 계수들을 계산하고, 계수 컨버전 모듈(1123)의 계산 상세들은 이하에 기재된다.

일 실시 예에 있어서, 2D ISDFT에서, 새로운 2D DFT 계수들이 먼저 시프트된 후, 또한 디테일 생성 블록(1120)(디테일 생성 모듈(920)로서 구현됨, 도 9)의 출력인 수정된 이미지 블록(사이즈 M x N)에 의해 공간 도메인 신호로 역변환된다.

도 12는 일 실시 예에 따른, 변환 주기성의 매트릭스(1205)의 예(1200)를 나타낸다. 일 실시 예에 있어서, 매트릭스(1200)는 M x N 매트릭스이다. 일 실시 예에 있어서, DFT 계수들은 거리 계산(DC)을 위해 계수들의 각각의 그룹의 하좌측 코너에 원점을 가진다. 일 실시 예에 있어서, SDFT는 원점을 SDFT 블록(1210)의 중심으로 시프트시킨다.

도 13은 일 실시 예에 따른 변환 시프팅 동작의 예(1300)를 나타낸다. 일 실시 예에 있어서, 예(1300)는 제로 주파수 포인트에 대한 주파수 영역 성분의 거리를 계산하기 위한 DFT 계수들의 시프팅을 도시한다. 일 실시 예에 있어서, 2D DFT는 일반적으로 DFT 매트릭스(1305) 및 SDFT 매트릭스(1315)로서 예(1300)에 나타낸 매트릭스 포맷으로 DFT 계수들을 발생하는 2D FFT(Fast Fourier Transform) 알고리즘을 통해 달성된다. 예시적인 실시 예에 있어서, 각각의 매트릭스 요소는 주파수 성분이다. x, y 좌표들은 열 및 행 인덱스들을 각각 나타낸다. 예시적인 실시 예에 있어서, 시프트되지 않는 DFT 계수 매트릭스(1305)에 대해, 4개의 코너 요소들은 제로-주파수 성분에 기여한다.

일 실시 예에 있어서, 계수 시프팅을 설명하기 위해, 계수 매트릭스는 DFT 매트릭스(1305) 그래프 및 SDFT 매트릭스(1315)로 나타낸 것과 같이 4개(4)의 영역들을 균등하게 분할된다. 예시적인 실시 예에 있어서, 계수 시프팅 후, 새로운 계수 매트릭스(SDFT 매트릭스(1315))가 4개의 영역들의 위치들을 교체하여 얻어지도록 고려될 수 있다. 예시적인 실시 예에 있어서, 영역 1은 그것의 위치가 영역 3으로 교체되고, 한편 영역 2는 그것의 위치가 영역 4로 교체된다. 일 실시 예에 있어서, 계수 시프팅은 매트릭스(1311)의 중심(2D 좌표의 원점과 같음)으로 제로-주파수 위치(1310)를 이동시키는 데, 이것은 거리 계산을 단순화할 수 있고 또는 주파수 리프팅 모듈(1125) 처리를 이해하기 쉽게 할 수 있다.

도 14는 일 실시 예에 따른, 거리 계산을 기술하기 위한 예시적인 다이어그램(1400)을 나타낸다. DFT 계수들 시프팅 후, 제로-주파수는 매트릭스(1405)의 중심으로 이동된다. 주파수 리프팅 모듈(1125) 내에서, 사분면(1406)에서 주파수 성분(1411)으로부터 제로-주파수 포인트까지의 거리(1410)가 먼저 계산될 필요가 있다. 제로-주파수 포인트는 2D 좌표의 원점 및 좌표 상의 포인트들로서 매트릭스 요소들로서 취급된다. 일 실시 예에 있어서, 계수의 위치(1411)는 x_in(1420) 및 y_in(1421)으로 표시된다. 일 실시 예에 있어서, 주파수 성분의 위치에 대해, 대응 포인트의 좌표들은 식 x_in = Col - Col(0), y_in = Row - Row(0)에서와 같이 얻어진다.

도 15는 일 실시 예에 따른, 주파수 리프팅을 위한 전달 함수에 대한 예시적인 다이어그램(1500)을 나타낸다. 예시적인 실시 예에 있어서, 식 x_in = Col - Col(0), y_in = Row - Row(0)에서, x_in 및 y_in는 주파수 성분의 좌표들이고 한편 Col 및 Row은 그것의 매트릭스 인덱스들이다. 유사하게, Col(0) 및 Row(0)은 제로-주파수 성분의 매트릭스 인덱스들이다.

일 실시 예에 있어서, DFT 계수들을 시프팅한 후, 제로-주파수는 매트릭스의 중심으로 이동된다. 일 실시 예에 있어서, 주파수 성분으로부터 제로-주파수 포인트까지의 거리를 계산하기 위해, 제로-주파수 포인트는 2D 좌표의 원점(즉, (0,0) 지점)으로서 및 일례로서 M = N = 8을 갖는 도 15에 도시된 좌표 상의 포인트들로서 매트릭스 요소들이 취급된다. MAG_IN 매트릭스의 인덱스들은

및

이 되고, 여기서 N 및 M은 짝수들이고, MAG_OUT 매트릭스 인덱스들에 대해 동일한 것으로 가정됨을 주목하라. 일 실시 예에 있어서, 모든

및

에 대해, 제로-주파수 계수에 대한 거리(d_in)(1520)는 다음과 같이 계산된다

.

일 실시 예에 있어서, 주파수 리프팅 모듈(1125)(도 11)은 제로-주파수(도 8에서 원점) 성분에 대한 이들의 거리들에 기초하여 주파수 성분들을 더 높은 주파수 위치들로 리프팅시킨다. 그러나, 만약 매트릭스 요소가 벡터의 애로우 헤드(arrow head)로서 고려되면, 주파수 리프팅 동작은 벡터의 방향을 변경시키지 않는다. 일 실시 예에 있어서, 벡터의 길이(원점까지의 주파수 성분의 거리)만이 증가될 수 있다. 기본적으로, 이 거리(d_out)(1515) 변경은 다음과 같이 수학적으로 표현될 수 있다

.

일 실시 예에 있어서, 위의 식에서‘곡선(curve)’은 미리 결정된 전달 함수이고, 그것의 전형적인 예는 그래프(1500)에 나타낸 곡선(1540)으로서 나타낸다. 예시적인 실시 예에 있어서, x/수평축은 입력 거리(d_in)(1520)를 나타내고 y/수직축은 출력 거리(d_out)(1515)를 나타낸다. 일 실시 예에 있어서, 전달 함수는 선(1535) 및 곡선(1540)으로서 나타낸 것과 같이 개별식 함수(piecewise function)를 이용하여 생성될 수 있다.

예시적인 실시 예에 있어서, 입력 거리(d_in)(1520)가 값 K(1510)보다 작을 때, 거리는 변경되지 않을 것이다. 그러므로, 일 실시 예에 있어서 직선(1535)은 1의 기울기를 가진다. 예시적인 실시 예에 있어서, 입력 거리(d_in)(1520)가 K(1510)보다 클 때, 출력 거리(d_out)(1515)는 증가될 것이고 d_in(1520)보다 클 것이다.

예시적인 실시 예에 있어서, 거리 증가는 비선형 함수, 예컨대, 2차 다항 함수에 의해 결정될 수 있다. 예시적인 실시 예에 있어서, 최대 거리(1530)를 가지는 최고-주파수 성분은 리프팅되지 않을 것이다. 정상 2D DFT 스펙트럼에 있어서, 저-주파수 성분들(중심에 가까운 매트릭스 요소들)은 일반적으로 고-주파수 성분들보다 높은 값(DFT 성분의 크기)을 가진다. 그러므로, 예시적인 실시 예에 있어서, 저-주파수 성분이 고-주파수 위치 위로 리프팅될 때, 고-주파수 정보가 생성된다. 일 실시 예에 있어서, 새로운 고-주파수 정보(새로운 이미지 디테일들)가 손실/손상된 이미지 디테일들을 복원하기 위해 생성될 수 있다. 일 실시 예에 있어서, 고-주파수 성분들이 저-주파수 정보로부터 생성되거나 추론되기 때문에, 새로운 이미지 디테일들은 더 '실제적(real)'이거나 또는 '의미있는(meaningful)' 것으로 보이며 종래의 초해상도(SR) 방법들에 비해 아티팩트들을 더 포함할 수 있다.

일 실시 예에 있어서, 주파수 성분이 더 높은 주파수 위치로 리프팅된 후, 그것의 새로운 위치(좌표들)가 다음 식들로 결정될 수 있다:

,

이것은 DFT 주파수 성분들을 동일한 각도로 리프팅한다.

임을 주목하라. 새로운 좌표들 또는 새로운 위치는 보통 DFT 계수 매트릭스에 의해 규정되는 정확한 위치들 또는 좌표들이 아니다. 그러므로, 예시적인 실시 예에 있어서, 2D 보간 또는 리샘플링이 시프트된 그리드 및 수정된 DFT 값에 기초하여 ‘정확한(right)’ 위치들에 대해 DFT 계수를 계산하기 위해 사용된다. 일단 목표 수평 및 수직 주파수 성분들이 계산되면, MAG_IN으로부터의 주파수 성분들이 아래의 식에 의해 주파수 리프팅 모듈(1125)(도 11) 프로세스(또는 주파수 성분 맵핑)에 의해 MAG_OUT으로 업데이트된다:

.

일 실시 예에 있어서, 상기 식은 주파수 영역에서 상이한 주파수 위치들(locations) 중에서 맵핑 프로세스를 나타낸다는 것을 용이하게 이해될 수 있을 것이다. 맵핑은 입력 주파수 크기 블록으로부터 최근접 이웃 화소 또는 가중된 이웃 화소들에 의해 새로운 화소 주파수 크기(MAG_OUT)를 보간하기 위한 백워드(backward) 또는 포워드(forward) 보간일 수 있다. 일 실시 예에 있어서, 개선된 주파수들을 얻은 후, 비율(ratio)이 그 위치에서 개선된 주파수 및 원 주파수로 계산될 수 있다. 예시적인 실시 예에 있어서, 이후 개선된 DFT(실수부 및 허수부 둘다를 포함)는 다음과 같이 SDFT 결과에 대한 비를 승산하여 얻어질 수 있다:

.

일 실시 예에 있어서, DFT 계수들의 수정된 매트릭스는 주파수 리프팅 모듈(1125)(도 11)의 주파수 리프팅 프로세스를 통해 얻어진다. 예시적인 실시 예에 있어서, 매트릭스가 ISDFT 모듈(1124)을 통해 공간 도메인에서 이미지 블록으로 다시 변환될 수 있기 전에, 그것의 요소들은 도 13에 나타낸 것의 반대 방식으로 시프팅될 필요가 있다.

도 16은 일 실시 예에 따른 다른 예시적인 디테일 생성 블록(1620)을 나타낸다. 일 실시 예에 있어서, 디테일 생성 블록(1620)은 디테일 생성 모듈(920)(도 9)로 구현될 수 있다. 예시적인 실시 예에 있어서, 디테일 생성 블록(1620)은 DCT 프로세스를 구현한다. 일 실시 예에 있어서, 디테일 생성 블록(1620)은 2D DCT 모듈(1621), 크기 모듈(1622), 주파수 리프팅 모듈(1625), DCT 컨버전 모듈(1623) 및 2D 역 DCT(2D IDCT) 모듈(1624)을 구비한다.

일 실시 예에 있어서, 주파수 리프팅 모듈(1625)의 주 기능은 MAG_IN으로 주어진 주파수를 리프팅하여 리프팅된 DCT 크기 매트릭스 DCT_OUT을 발생시키는 것이다. 예시적인 실시 예에 있어서, 모든

및

에 대해 제로-주파수 계수(2D 좌표의 원점과 같음)에 대한 거리가, 주파수 성분(예컨대, 도 17에 나타낸 것과 같은)과 관련 있는,

로서

계수의 행 및 열 인덱스들(한 지점의 좌표들과 같음)을 이용하여 계산된다.

주파수 리프팅 모듈(1625) 내에서, 거리는

d_out = curve(d_in)로서 상 타겟 리프팅 주파수 거리 대 제로-주파수 성분을 결정하기 위해 전달 함수에 입력으로서 공급되고,

여기서 곡선은 단조롭게 증가하는 전달 함수를 나타낸다. 전달 함수는 성분들이 리프팅되지 않는 예컨대

로서 그 주파수 범위가 설정되는 것을 또한 나타내는 도 15에 도시된다.

일 실시 예에 있어서, 타겟 리프팅 팩터가 계산되면, 이후 관련 수평 및 수직 DCT 주파수 성분들이 다음과 같이 결정되고:

,

이것은 DCT 주파수 성분들을 동일한 각도로 리프팅하기 위해 구현된다.

임을 주목하라. 일 실시 예에 있어서, 일단 목표 수평 및 수직 주파수 성분들이 계산되면, 주파수 성분들은:

MAG _ OUT(x_out, y_out ) = MAG _ IN(x_in , y_in)

로서 주파수 리프팅 모듈(1625)에 의해 MAG_IN으로부터 MAG_OUT으로 업데이트된다.

주파수 리프팅 모듈(1625)에서, 일부(예컨대, 하나 이상의, 수개의, 전부의 등) 주파수 성분들이 스펙트럼에서 고주파수 위치로 리프팅되는 것을 주목하라. 예시적인 실시 예에 있어서, 만약 2D DCT 계수들/스펙트럼이 3D 카테시안 좌표(원점은 제로-주파수 위치를 나타냄)에서 곡선으로서 그려지면, 주파수 리프팅 프로세싱은 편심 피크들을 원점으로부터 외측으로 이동시키고 중심 피크의 기울기를 외측으로 확대시킨다.

일 실시 예에 있어서, 주파수 리프팅 모듈(1625)로부터의 MAG_IN 및 MAG_OUT은 이후 DCT 컨버전 모듈(1623)에 제공되고, DCT 컨버전 모듈(1623)의 출력은:

이다.

일 실시 예에 있어서, 2D IDCT 모듈(1624)에서, 새로운 2D DCT 계수들(DCT_OUT)은 디테일 생성 모듈(920)(도 9)의 출력인 공간 도메인 신호 - BLK (M x N)과 동일한 사이즈 블록 - 로 역변환된다.

도 17은 실시 예에 따른, 주파수 성분과 관련된 거리 결정을 묘사하기 위한 예시적인 다이어그램(1700)을 나타낸다. 예시적인 실시 예에 있어서, DCT 컨버전 모듈(1623)(도 16)의 동작은 원 위상 정보를 크기 변경과 결합하는 것이다. 일 실시 예에 있어서, x 및 y 좌표들에 대한 2D 원점(1706)은 x_in(1720) 및 y_in(1721)에 기초하여 계수(1711)에 대한 거리(d_in)(1710)를 결정하기 위해 사용된다.

도 18은 개시된 실시 예들을 구현하는 데 유용한 컴퓨터 시스템(1800)을 포함하는 정보 처리 시스템을 나타내는 하이-레벨 블록도이다. 컴퓨터 시스템(1800)은 하나 이상의 프로세서들(1801)을 구비하고, 전자 디스플레이 디바이스(1802)(그래픽스, 텍스트, 및 다른 데이터를 표시하기 위한), 주 메모리(1803)(예컨대, 임의 접근 메모리(random access memory: RAM)), 스토리지 디바이스(1804)(예컨대, 하드 디스크 드라이브), 착탈 가능 스토리지 디바이스(1805)(예컨대, 착탈 가능 스토리지 드라이브, 착탈 가능 메모리 모듈, 자기 테이프 드라이브, 광학 디스크 드라이브, 컴퓨터 소프트웨어 및/또는 데이터가 내부에 저장되어 있는 컴퓨터 판독 가능 매체), 사용자 인터페이스 디바이스(1806)(예컨대, 키보드, 터치 스크린, 키패드, 포인팅 디바이스), 및 통신 인터페이스(1807)(예컨대, 모뎀, 네트워크 인터페이스(예컨대 이더넷 카드), 통신 포트, 또는 PCMCIA 슬롯 및 카드)를 더 구비할 수 있다. 통신 인터페이스(1807)는 소프트웨어 및 데이터가 컴퓨터 시스템과 외부 디바이스들 사이에서 전달될 수 있게 허용한다. 시스템(1800)은 전술한 디바이스들/모듈들(1801 내지 1807)이 접속되는 통신 기반구조(1808)(예컨대, 통신 버스, 크로스-오버 바(cross-over bar), 또는 네트워크)를 더 구비한다.

통신 인터페이스(1807)를 통해 전달된 정보는 신호들을 반송하고 와이어 또는 케이블, 광 섬유(fiber optics), 전화선, 셀룰러 폰 링크, 무선 주파수(RF) 링크, 및/또는 다른 통신 채널들을 이용하여 구현될 수 있는 통신 링크를 통해, 통신 인터페이스(1807)에 의해 수신될 수 있는 신호들 예컨대 전자, 전자기, 광학, 또는 다른 신호들 형태로 될 수 있다. 여기에 블록도 및/또는 플로차트들을 나타내는 컴퓨터 프로그램 명령들은 컴퓨터, 프로그램 가능 데이터 처리 장치, 또는 처리 디바이스들 상에 로딩되어 그에 대해 수행되는 일련의 동작들이 컴퓨터 구현 프로세스를 생성하게 할 수 있다.

실시 예들은 방법들, 장치들(시스템들) 및 컴퓨터 프로그램 제품들의 플로차트 도해들 및/또는 블록도들을 참조하여 기재되었다. 이와 같은 도해들/도면들의 각각의 블록, 또는 그것의 조합들은 컴퓨터 프로그램 명령들에 의해 구현될 수 있다. 컴퓨터 프로그램 명령들은 프로세서에 제공될 때, 머신을 생성하여, 프로세서를 통해 실행하는 명령들은 플로차트 및/또는 블록도에서 구체화된 기능들/동작들을 구현하는 수단을 생성한다. 플로차트 /블록도들에서의 각각의 블록은 하드웨어 및/또는 소프트웨어 모듈 또는 로직(logic)을 표현할 수 있다. 대안의 구현예들에 있어서, 블록들에 기재된 기능들은 도면들에 기재된 순서를 벗어나, 동시에 등으로 일어날 수 있다.

용어들 "컴퓨터 프로그램 매체(computer program medium)", "컴퓨터 이용 가능 매체(computer usable medium)", "컴퓨터 판독 가능 매체(computer readable media)", 및 "컴퓨터 프로그램 제품(computer program product)"은 일반적으로 매체 예컨대 주 메모리, 보조 메모리, 착탈 가능 스토리지 드라이브, 하드 디스크 드라이브에 설치된 하드 디스크, 및 신호들을 가리키기 위해 사용된다. 이들 컴퓨터 프로그램 제품들은 소프트웨어를 컴퓨터 시스템에 제공하는 수단이다. 컴퓨터 판독 가능 매체는 컴퓨터 시스템으로 하여금 데이터, 명령들, 메시지들 또는 메시지 패킷들, 및 컴퓨터 판독 가능 매체로부터의 다른 컴퓨터 판독 가능 정보를 판독할 수 있게 한다. 컴퓨터 판독 가능 매체는, 예를 들면, 비휘발성 메모리, 예컨대 플로피 디스크(floppy disk), ROM, 플래시 메모리(flash memory), 디스크 드라이브 메모리, CD-ROM, 및 다른 영구 저장장치(permanent storage)를 포함할 수 있다. 그것은 예를 들면 컴퓨터 시스템들 간에 정보, 예컨대 데이터 및 컴퓨터 명령들을 전송하는 데 유용하다. 컴퓨터 프로그램 명령들은 컴퓨터를 조정할 수 있는 컴퓨터 판독 가능 매체, 다른 프로그램 가능 데이터 처리 장치, 또는 특별한 방식으로 기능하는 다른 디바이스들에 저장될 수 있고, 그 결과 컴퓨터 판독 가능 매체에 저장되어 있는 명령들은 플로차트 및/또는 블록도 블록 또는 블록들에 특정된 기능/작용(function/act)을 구현하는 명령들을 포함하는 제조 물품을 생성한다.

더욱이, 컴퓨터 판독 가능 매체는, 컴퓨터로 하여금 그와 같은 컴퓨터 판독 가능 정보를 판독할 수 있게 하는, 유선 네트워크 또는 무선 네트워크를 포함하는, 임시 상태 매체(transitory state medium) 예컨대 네트워크 링크 및/또는 네트워크 인터페이스에 컴퓨터 판독 가능 정보를 포함할 수 있다. 컴퓨터 프로그램들(즉, 컴퓨터 제어 로직)은 주 메모리 및/또는 보조 메모리에 저장된다. 컴퓨터 프로그램들은 또한 통신 인터페이스를 통해 수신될 수 있다. 그와 같은 컴퓨터 프로그램들은, 실행될 때, 컴퓨터 시스템이 여기에서 논의된 특징들을 수행하게 한다. 특히, 컴퓨터 프로그램들은, 실행될 때, 프로세서 다중-코어 프로세서로 하여금 컴퓨터 시스템의 특징들을 수행하게 할 수 있다. 그와 같은 컴퓨터 프로그램들은 컴퓨터 시스템의 제어기들을 표현한다.

비록 실시 예들이 그것의 특정 버전들을 참조하여 기술되었지만, 그런, 다른 버전들이 가능하다. 그러므로, 첨부된 청구항들의 사상 및 범위는 여기에 포함된 바람직한 버전들의 설명으로 한정되지 않아야 한다.

-

Claims

입력 이미지 정보를 수신하는 단계;
프로세서 디바이스를 이용하여, 상기 입력 이미지 정보의 주파수 특성 및 특징 정보에 기초하여 개선 정보를 결정하는 단계; 및
개선된 이미지를 생성하기 위해 상기 개선 정보를 상기 입력 이미지 정보와 혼합하는 단계를 포함하는, 방법.
제 1 항에 있어서,
입력 이미지를 수신하는 단계; 및
이미지 정보를 얻기 위해 상기 입력 이미지를 처리하는 단계;를 더 포함하고,
개선 정보를 결정하는 단계는:
주파수 성분들을 리프팅-업함으로써 상기 프로세서 디바이스를 이용하여 상기 입력 이미지 정보에 대해 주파수 리프팅 프로세스를 수행하는 단계로서, 상기 주파수 리프팅 프로세스는 주파수 리프팅된 출력 이미지를 생성하는, 상기 주파수 리프팅 프로세스를 수행하는 단계;
상기 입력 이미지에 대한 이미지 특징 검출을 수행하는 단계;
이득 제어값을 얻기 위해 검출된 이미지 특징들을 이용하여 맵 추정을 수행하는 단계; 및
상기 이득 제어값, 상기 입력 이미지 및 상기 주파수 리프팅된 출력 이미지를 이용하여 최종 출력 이미지로서 상기 개선된 이미지를 제공하는 단계를 포함하는, 방법.
제 2 항에 있어서
주파수 영역 정보를 얻기 위해 상기 입력 이미지 정보를 변환하기 위해 상기 프로세서 디바이스를 이용하는 단계;
하나 이상의 출력 이미지 블록들을 생성하기 위해 상기 주파수 성분들에 대해 역변환을 수행하는 단계; 및
리프팅된 이미지 디테일들을 생성하기 위해 상기 하나 이상의 출력 이미지 블록들을 결합하고, 상기 주파수 리프팅된 출력 이미지를 얻기 위해 상기 입력 이미지에 상기 리프팅된 이미지 디테일들을 혼합하는 단계;를 더 포함하는, 방법.
제 3 항에 있어서,
상기 입력 이미지의 에지 정보 및 텍스쳐 정보 중 하나 이상은 상기 주파수 리프팅 프로세스를 조정하기 위해 사용되는, 방법.
제 4 항에 있어서,
상기 주파수 영역 정보는 변환 계수들을 포함하고, 상기 주파수 성분들은:
하나 이상의 주파수 성분들을 변환 스펙트럼에서의 고주파수 위치로 리프팅하기 위해 상기 변환 계수들에 대해 주파수 리프팅을 수행하는 것; 및
상기 변환 계수들을 수정된 변환 계수들로 컨버팅하는 것에 기초하여 생성되는, 방법.
제 4 항에 있어서,
상기 주파수 영역 정보는 변환 계수들을 포함하고, 상기 주파수 성분들은:
매트릭스에서 상기 변환 계수들 위치를 시프팅하는 것;
관련 계수 행 및 열 인덱스들을 이용하여 제로-주파수 계수 위치에 대해 계수들에 대한 거리들을 결정하기 위해 상기 시프팅된 변환 계수들을 이용하는 것;
하나 이상의 주파수 성분들을 변환 스펙트럼에서의 고주파수 위치로 리프팅하기 위해 상기 결정된 거리들에 기초하여 상기 변환 계수들에 대해 주파수 리프팅을 수행하는 것; 및
상기 변환 계수들을 수정된 변환 계수들로 컨버팅하는 것에 기초하여 생성되는, 방법.
제 6 항에 있어서,
상기 시프팅 후 상기 매트릭스의 중심으로 상기 제로-주파수 계수 위치를 이동시키는 단계를 더 포함하고, 상기 제로-주파수 계수 위치는
2차원 좌표의 원점으로서 사용되고, 매트릭스 요소들은 상기 2차원 좌표 상의 포인트들로서 사용되고,
상기 계수들에 대한 거리들을 결정하는 것은 미리 결정된 전달 함수에 기초하고, 수신된 입력 이미지 정보를 변환하는 것은 이산 퓨리에 변환 처리 및 이산 코사인 변환 처리 중 하나를 이용하는 단계를 포함하는, 방법.
제 2 항에 있어서,
상기 입력 이미지에 대한 이미지 특징 검출을 수행하는 단계는 상기 입력 이미지에 대한 에지 정보, 텍스쳐 정보 및 구조 정보 중 하나 이상을 검출하는 단계를 포함하고, 상기 주파수 리프팅 프로세스를 수행하는 단계는 원래의 주파수 분포의 형상을 유지하면서 상기 주파수 성분들을 리프팅-업하는 단계를 포함하는, 방법.
제 8 항에 있어서,
검출된 이미지 특징들을 이용하여 맵 추정을 수행하는 단계는:
상기 이득 제어값을 생성하기 위해 검출된 에지 정보 및 검출된 텍스쳐 정보를 이용하는 단계를 포함하는, 방법.
제 8 항에 있어서,
검출된 이미지 특징들을 이용하여 맵 추정을 수행하는 단계는:
제 1 맵을 생성하기 위해 검출된 에지 정보 및 검출된 구조 정보를 이용하는 단계; 및
상기 이득 제어값을 포함하는 제 2 맵을 생성하기 위해 상기 제 1 맵 및 상기 검출된 텍스쳐 정보를 이용하는 단계를 포함하는, 방법.
제 2 항에 있어서,
상기 최종 출력 이미지는 전자 디바이스 상에 디스플레이되고;
상기 전자 디바이스는 텔레비전 디바이스, 모니터 디바이스, 컴퓨팅 디바이스 및 모바일 컴퓨팅 디바이스 중 하나를 포함하고;
상기 프로세서 디바이스는 로컬 텔레비전 디바이스, 셋-톱-박스 디바이스, 및 네트워크 서버 디바이스 중 하나에 대한 처리를 수행하는, 방법.
입력 이미지에 대한 특징 정보를 얻는 이미지 특징 검출 모듈;
입력 이미지 정보를 수신하고;
상기 입력 이미지 정보의 상기 특징 정보 및 주파수 특성에 기초하여 개선 정보를 결정하기 위해 프로세서 디바이스를 사용하는 이미지 처리 모듈: 및
상기 개선 정보를 상기 입력 이미지와 혼합하는 믹서 모듈을 포함하는, 시스템.
제 12 항에 있어서,
이득 제어값을 얻기 위해 검출된 이미지 특징들로부터 상기 특징 정보를 사용하는 제어 이득 맵 추정 모듈; 및
주파수 성분들을 리프팅-업하여 상기 입력 이미지에 대한 이미지 정보에 대해 주파수 리프팅 프로세스를 수행하기 위해 프로세서 디바이스를 사용하는 주파수 리프팅 모듈을 포함하고, 상기 주파수 리프팅 프로세스는 주파수 리프팅된 출력 이미지를 생성하고;
상기 혼합 모듈은 상기 이득 제어값, 상기 입력 이미지 및 상기 주파수 리프팅된 출력 이미지에 기초하여 최종 출력 이미지를 발생하는, 시스템.
제 13 항에 있어서,
상기 주파수 리프팅 모듈은:
주파수 영역 정보를 얻기 위해 상기 입력 이미지 정보를 변환하기 위해 상기 프로세서 디바이스를 이용하고;
하나 이상의 출력 이미지 블록들을 생성하기 위해 상기 주파수 성분들에 대한 역변환을 수행하고;
리프팅된 이미지 디테일들을 생성하기 위해 상기 하나 이상의 출력 이미지 블록들을 결합하고;
상기 주파수 리프팅된 출력 이미지를 얻기 위해 상기 리프팅된 이미지 디테일들을 상기 입력 이미지에 혼합하는, 시스템.
제 14 항에 있어서,
상기 입력 이미지의 에지 정보 및 텍스쳐 정보 중 하나 이상이 상기 주파수 리프팅 프로세스를 조정하기 위해 사용되는, 시스템.
제 15 항에 있어서,
상기 주파수 영역 정보는 변환 계수들을 포함하고, 상기 주파수 성분들은 또한,
하나 이상의 주파수 성분들을 변환 스펙트럼에서의 고주파수 위치로 리프팅하기 위해 상기 변환 계수들에 대해 주파수 리프팅을 수행하고;
상기 변환 계수들을 수정된 변환 계수들로 컨버팅하는, 상기 주파수 리프팅 모듈에 의해 생성되는, 시스템.
제 15 항에 있어서,
상기 주파수 영역 정보는 변환 계수들을 포함하고, 상기 주파수 성분들은 또한:
매트릭스에서 상기 변환 계수들 위치를 시프팅하고;
관련 계수 행 및 열 인덱스들을 이용하여 제로-주파수 계수 위치에 대해 계수들에 대한 거리들을 결정하기 위해 상기 시프팅된 변환 계수들을 이용하고;
하나 이상의 주파수 성분들을 변환 스펙트럼에서의 고주파수 위치로 리프팅하기 위해 상기 결정된 거리들에 기초하여 상기 변환 계수들에 대해 주파수 리프팅을 수행하고;
상기 변환 계수들을 수정된 변환 계수들로 컨버팅하는, 상기 주파수 리프팅 모듈에 의해 생성되는, 시스템.
제 17 항에 있어서,
상기 주파수 리프팅 모듈은 상기 매트릭스에서 상기 변환 계수들 위치를 시프팅시킨 후 상기 제로-주파수 계수 위치를 상기 매트릭스의 중심으로 더 이동시키고, 상기 제로-주파수 계수 위치는 2차원 좌표의 원점으로서 사용되고, 매트릭스 요소들은 상기 2차원 좌표 상의 포인트들로서 사용되는, 시스템.
제 18 항에 있어서,
상기 이미지 특징 검출 모듈은 상기 입력 이미지에 대한 에지 정보, 텍스쳐 정보 및 구조 정보 중 하나 이상을 검출하는, 시스템.
제 19 항에 있어서,
상기 제어 이득 맵 추정 모듈은 상기 이득 제어값을 생성하기 위해 검출된 에지 정보 및 검출된 텍스쳐 정보를 이용하는, 시스템.
제 19 항에 있어서,
상기 제어 이득 맵 추정 모듈은 제 1 맵을 생성하기 위해 검출된 에지 정보 및 검출된 구조 정보를 이용하고, 상기 이득 제어값을 포함하는 제 2 맵을 생성하기 위해 상기 제 1 맵 및 상기 검출된 텍스쳐 정보를 이용하는, 시스템.
제 13 항에 있어서,
상기 최종 출력 이미지는 전자 디바이스 상에 디스플레이되고;
상기 전자 디바이스는 텔레비전 디바이스, 모니터 디바이스, 컴퓨팅 디바이스 및 모바일 컴퓨팅 디바이스 중 하나를 포함하고;
상기 프로세서 디바이스는 로컬 텔레비전 디바이스, 셋-톱-박스 디바이스, 및 네트워크 서버 디바이스 중 하나에 대한 처리를 수행하는, 시스템.
컴퓨터 상에서 실행할 때,
입력 이미지 정보를 수신하는 단계;
상기 입력 이미지 정보의 주파수 특성 및 특징 정보에 기초하여 개선 정보를 결정하기 위해 프로세서 디바이스를 이용하는 단계; 및
개선된 이미지를 생성하기 위해 상기 개선 정보를 상기 입력 이미지 정보와 혼합하는 단계;를 포함하는 방법을 수행하는 명령들을 가지는 비-임시의 컴퓨터-판독 가능 매체.
제 23 항에 있어서,
상기 입력 이미지 정보를 얻기 위해 입력 이미지를 처리하는 단계를 더 포함하고;
개선 정보를 결정하는 단계는:
주파수 성분들을 리프팅-업하여 상기 입력 이미지 정보에 대한 주파수 리프팅 프로세스를 수행하는 단계로서, 상기 주파수 리프팅 프로세스는 주파수 리프팅된 출력 이미지를 생성하는, 상기 주파수 리프팅 프로세스를 수행하는 단계;
상기 입력 이미지에 대한 이미지 특징 검출을 수행하는 단계;
이득 제어값을 얻기 위해 검출된 이미지 특징들로부터 상기 특징 정보를 이용하여 맵 추정을 수행하는 단계;
상기 이득 제어값, 상기 입력 이미지 및 상기 주파수 리프팅된 출력 이미지를 이용하여 최종 출력 이미지를 제공하는 단계;를 포함하는, 매체.
제 24 항에 있어서,
주파수 영역 정보를 얻기 위해 상기 이미지 정보를 변환하는 단계;
하나 이상의 출력 이미지 블록들을 생성하기 위해 상기 주파수 성분들에 대해 역변환을 수행하는 단계;
리프팅된 이미지 디테일들을 생성하기 위해 상기 하나 이상의 출력 이미지 블록들을 결합하고, 상기 주파수 리프팅된 출력 이미지를 얻기 위해 상기 리프팅된 이미지 디테일들을 상기 입력 이미지와 혼합하는 단계;를 더 포함하는, 매체.
제 25 항에 있어서,
상기 입력 이미지의 에지 정보 및 텍스쳐 정보 중 하나 이상이 상기 주파수 리프팅 프로세스를 조정하기 위해 사용되는, 매체.
제 26 항에 있어서,
상기 주파수 영역 정보는 변환 계수들을 포함하고, 상기 주파수 성분들은:
하나 이상의 주파수 성분들을 변환 스펙트럼에서의 고주파수 위치로 리프팅하기 위해 상기 변환 계수들에 대해 주파수 리프팅을 수행하는 것; 및
상기 변환 계수들을 수정된 변환 계수들로 컨버팅하는 것;에 기초하여 생성되는, 매체.
제 26 항에 있어서,
상기 주파수 영역 정보는 변환 계수들을 포함하고, 상기 주파수 성분들은:
매트릭스에 상기 변환 계수들 위치를 시프팅하는 것;
관련 계수 행 및 열 인덱스들을 이용하여 제로-주파수 계수 위치에 대해 계수들에 대한 거리들을 결정하기 위해 상기 시프팅된 변환 계수들을 이용하는 것;
하나 이상의 주파수 성분들을 변환 스펙트럼에서의 고주파수 위치로 리프팅하기 위해 상기 결정된 거리들에 기초하여 상기 변환 계수들에 대해 주파수 리프팅을 수행하는 것; 및
상기 변환 계수들을 수정된 변환 계수들로 컨버팅하는 것;에 기초하여 생성되는, 매체.
제 28 항에 있어서,
상기 시프팅 후 상기 제로-주파수 계수 위치를 상기 매트릭스의 중심으로 이동시키는 것을 더 포함하고, 상기 제로-주파수 계수 위치는 2차원 좌표의 원점으로서 사용되고, 매트릭스 요소들은 상기 2차원 좌표 상의 포인트들로서 사용되고,
상기 계수들에 대한 거리들을 결정하는 단계는 미리 결정된 전달 함수에 기초하고, 수신된 이미지 정보를 변환하는 단계는 이산 퓨리에 변환 처리 및 이산 코사인 변환 처리 중 하나를 이용하는 것을 포함하는, 매체.
제 24 항에 있어서,
상기 입력 이미지에 대한 이미지 특징 검출을 수행하는 단계는, 상기 입력 이미지에 대한 에지 정보, 텍스쳐 정보 및 구조 정보 중 하나 이상을 검출하는 단계를 포함하고, 상기 주파수 리프팅 프로세스를 수행하는 단계는 원래의 주파수 분포의 형상을 유지하면서 상기 주파수 성분들을 리프팅-업하는 단계를 포함하는, 매체.
제 30 항에 있어서,
검출된 이미지 특징들을 이용하여 맵 추정을 수행하는 단계는:
상기 이득 제어값을 생성하기 위해 검출된 에지 정보 및 검출된 텍스쳐 정보를 이용하는 단계를 포함하는, 매체.
제 30 항에 있어서,
검출된 이미지 특징들을 이용하여 맵 추정을 수행하는 단계는:
제 1 맵을 생성하기 위해 검출된 에지 정보 및 검출된 구조 정보를 이용하는 단계; 및
상기 이득 제어값을 포함하는 제 2 맵을 생성하기 위해 상기 제 1 맵 및 상기 검출된 텍스쳐 정보를 이용하는 단계
를 포함하는, 매체.
제 24 항에 있어서,
상기 최종 출력 이미지는 전자 디바이스 상에 디스플레이되고;
상기 전자 디바이스는 텔레비전 디바이스, 모니터 디바이스, 컴퓨팅 디바이스 및 모바일 컴퓨팅 디바이스 중 하나를 포함하고;
상기 컴퓨터는 로컬 텔레비전 디바이스, 셋-톱-박스 디바이스, 및 네트워크 서버 디바이스 중 하나에 대한 처리를 수행하는, 매체.