KR102197579B1

KR102197579B1 - 주파수 리프팅으로 이미지에서 디테일 생성

Info

Publication number: KR102197579B1
Application number: KR1020157023196A
Authority: KR
Inventors: 리 타오; 김영택
Original assignee: 삼성전자주식회사
Priority date: 2013-03-15
Filing date: 2014-03-17
Publication date: 2020-12-31
Also published as: EP2974262A1; CN105144681A; US20140270564A1; KR20150129687A; WO2014142630A1; US9305332B2; EP2974262B1; EP2974262A4; CN105144681B

Abstract

입력 이미지 정보가 수신된다. 개선 정보가 입력 이미지 정보의 주파수 특성에 기초하여 결정된다. 개선 정보는 개선된 이미지를 생성하기 위해 입력 이미지 정보와 믹싱된다.

Description

주파수 리프팅으로 이미지에서 디테일 생성 { CREATING DETAILS IN AN IMAGE WITH FREQUENCY LIFTING }

적어도 하나의 실시 예들은 일반적으로 초고해상도(ultra-high definition: UD) 디스플레이들, 및 특히 UD 디스플레이 또는 디바이스 상에 디스플레이하기 위해, 저해상도 이미지에서 주파수 리프팅으로 디테일을 생성하기 위한 방법에 관한 것이다.

UD 사용자들, 예컨대 UD 텔레비전(UDTV) 또는 다른 UD 디스플레이 디바이스들은 UD 비디오가 더 일반적으로 될 때까지 UD 디바이스들 상에서 저해상도 컨텐츠(예컨대, 표준 해상도(SD), 고해상도(HD), 풀 HD(FHD) 등 컨텐츠)를 시청해야 한다. 저해상도 프레임들의 이미지 품질은 UD 디바이스들 상에서 볼 때 열화되어 보인다. 정기적인 이미지 업스케일링 또는 보간은 이미지 품질 열화를 최소화하기 위해 충분한 이미지 선예도 및 파인 디테일들(fine details)을 제공할 수 없다.

적어도 하나의 실시 예들은 이미지에 대한 잠재적 이미지 아티팩트들을 감소시키는 것에 관한 것이다. 일 실시 예에서, 방법은 입력 이미지를 수신하는 것을 포함한다. 일 실시 예에 있어서, 프로세서 디바이스는 입력 이미지 정보의 주파수 특성 및 특징 정보에 기초하여 개선 정보(enhancement information)를 결정하는 데 사용된다. 일 실시 예에 있어서, 개선 정보는 개선된 이미지를 생성하기 위해 입력 이미지 정보와 믹싱된다. 일 실시 예는 상기 방법에 따른 프로세스에 의해 개선 이미지를 생성하기 위한 이미지 개선 장치를 포함한다.

일 실시 예에 있어서, 시스템은 프로세서 디바이스를 이용하는 디테일 생성 모듈을 포함한다. 프로세서 디바이스는 입력 이미지 정보를 수신하고, 입력 이미지 정보의 주파수 특성에 기초하여 개선 정보를 결정한다. 일 실시 예에 있어서, 믹서 모듈은 개선 정보를 입력 이미지 정보와 믹싱하여 개선된 이미지를 생성한다.

일 실시 예에 있어서, 비-임시의 컴퓨터-판독 가능 매체는 컴퓨터 상에서 실행될 때 방법을 수행하는 명령들을 가진다. 일 실시 예에 있어서, 이 방법은 입력 이미지를 수신하는 것을 포함한다. 일 실시 예에 있어서, 개선 정보는 입력 이미지 정보의 주파수 특성 및 특징 정보에 기초하여 결정된다. 일 실시 예에 있어서, 개선 정보는 개선된 이미지를 생성하기 위해 입력 이미지 정보와 믹싱된다.

적어도 하나의 실시 예들의 이들 및 다른 특징들, 양상들 및 이점들은 다음의 설명, 첨부된 청구항들 및 첨부 도면들을 참조하여 이해될 것이다.

도 1은 일 실시 예에 따른, 이미지 디테일들 생성 메커니즘을 갖는 전자 시스템을 나타낸다.
도 2는 일 실시 예에 따른, 시스템의 예시적인 하이-레벨 블록도를 나타낸다.
도 3은 일 실시 예에 따른 이미지 처리 시스템의 블록도를 나타낸다.
도 4는 일 실시 예에 따른, 외부 이미지 블록과 내부 이미지 블록 간의 예시적인 관계를 나타낸다.
도 5는 일 실시 예에 따른 예시적인 디테일 생성 블록을 나타낸다.
도 6은 일 실시 예에 따른, 변환을 위한 주기성의 예를 나타낸다.
도 7은 일 실시 예에 따른, 예시적인 변환 시프팅 동작을 나타낸다.
도 8은 일 실시 예에 따른, 주파수 성분과 관련된, 거리 계산을 위한 예시적인 다이어그램을 나타낸다.
도 9는 일 실시 예에 따른, 주파수 리프팅을 위한 전달 함수에 대한 예시적인 다이어그램을 나타낸다.
도 10은 일 실시 예에 따른 다른 예시적인 디테일 생성 블록을 나타낸다.
도 11은 일 실시 예에 따른, 주파수 성분과 관련된 거리 결정을 설명하기 위한 예시적인 다이어그램을 나타낸다.
도 12는 일 실시 예에 따른 디테일 생성 프로세스를 나타내는 블럭도이다.
도 13은 개시된 실시 예들을 구현하는 데 유용한 컴퓨터 시스템을 포함하는 정보 처리 시스템을 나타내는 예시적인 하이-레벨 블록도이다.

다음의 설명은 적어도 하나의 실시 예들의 일반적인 원리들을 설명하기 위한 목적을 위해 만들어지고 여기에 청구된 발명 개념들을 한정하는 것을 의미하지 않는다. 또, 여기에 기재된 특정 특징들은 여러 가능한 조합들 및 치환들 각각에서 다른 기재된 특징들과 조합되어 사용될 수 있다. 여기서 달리 구체적으로 규정되지 않는다면, 모든 용어들은 명세서로부터 부여되는 의미들 및 이 기술분야에서 숙련된 사람에 의해 이해되고 및/또는 사전들, 논문들 등에 정의된 의미들을 포함해서 이들의 가장 넓은 가능한 해석이 주어져야 한다.

적어도 하나의 실시 예들이 이미지에 대한 잠재적 이미지 아티팩트들을 감소시키기 위해 제공된다. 일 실시 예에 있어서, 방법은 입력 이미지를 수신하는 것을 포함한다. 일 실시 예에 있어서, 프로세서 디바이스는 입력 이미지 정보의 주파수 특성 및 특징 정보에 기초하여 개선 정보(또는 향상 정보)를 결정하는 데 사용된다. 일 실시 예에 있어서, 개선 정보는 개선된 이미지를 생성하기 위해 입력 이미지 정보와 믹싱된다.

이 기술 분야에서 숙련된 사람은 이미지 정보가 표현되는 포맷이 일부 실시 예들에 대해서는 중요하지 않다는 것을 이해할 수 있다. 예를 들면, 일부 실시 예들에 있어서, 이미지 정보는 (X, Y)의 포맷으로 제공되고, 여기서 X 및 Y는 이미지에서 화소의 위치를 규정하는 2개의 좌표들이다. 3차원 이미지 정보는 화소의 컬러에 대한 관련 정보를 갖는 (X, Y, Z)의 포맷에 의해 제공된다. 일 실시 예에 있어서, 3차원 이미지 정보는 또한 강도 또는 휘도 요소를 포함한다.

설명적 목적들을 위해, 여기에 사용되는 용어 "수평(horizontal)"은 "도(FIG.)"의 도면 지정에 의해 표시된 도면들을 볼 때 보여지는 수평 방향을 가리킨다. 용어 "수직(vertical)"은 바로 앞에서 정의된 수평과 직교하는 방향을 가리킨다. 용어들, 예컨대 "위(above)", "아래(below)", "저부(bottom)", "상부(top)", "측면(side)", "고(higher)", "저(lower)", "상(upper)", "위(over)", 및 "하(under)"는 도면들에 나타낸 것과 같이, 수평에 대해 정의된다.

여기서 말하는 용어 "이미지(image)"는 2차원 이미지, 3차원 이미지, 비디오 프레임, 컴퓨터 파일 표현, 카메라로부터의 이미지, 비디오 프레임, 또는 그것의 조합을 포함할 수 있다. 예를 들면, 이미지는 기계 판독 가능 디지털 파일, 물리적 사진, 디지털 사진, 모션 픽쳐 프레임(motion picture frame), 비디오 프레임, x-레이 이미지, 스캔된 이미지, 또는 그것의 조합일 수 있다. 이미지는 직사각형 어레이로 배열되는 화소들로부터 발생될 수 있다. 이미지는 행들의 방향에 따른 x-축 및 열들의 방향에 따른 y-축을 포함할 수 있다.

도 1은 적어도 하나의 실시 예들에서 이미지 디테일들 생성 메커니즘을 갖는 전자 시스템(50)을 나타낸다. 전자 시스템(50)은 제 2 디바이스(56), 예컨대 클라이언트 또는 서버에 접속되는 제 1 디바이스(52), 예컨대 클라이언트 또는 서버를 구비한다. 제 1 디바이스(52)는 통신 경로(54), 예컨대 무선 또는 유선 네트워크로 제 2 디바이스(56)와 통신할 수 있다.

일 실시 예에 있어서, 제 1 디바이스(52)는 다양한 초고해상도(UD) 디스플레이 디바이스들 중 어느 하나, 예컨대 UD 텔레비전(UDTV), 태블릿 디바이스, 스마트 폰, 개인 휴대 정보 단말기(personal digital assistant: PDA), 노트북 컴퓨터, 액정 디스플레이(liquid crystal display: LCD) 시스템, 웨어러블 디바이스, 모바일 컴퓨팅 디바이스, 또는 다른 다기능 디스플레이들 또는 엔터테인먼트 디바이스들일 수 있다. 제 1 디바이스(52)는 제 2 디바이스(56)와 통신하기 위해 통신 경로(54)에 직접적으로 또는 간접적으로 결합할 수 있거나 또는 독립형 디바이스일 수 있다.

일 실시 예에 따른 목적을 위해, 디스플레이 시스템(50)은, 비록 제 1 디바이스(52)가 상이한 유형의 디바이스일 수 있다는 것이 이해되지만, 디스플레이 디바이스로서 제 1 디바이스(52)와 함께 기술된다. 예를 들면, 제 1 디바이스(52)는 또한 이미지들 또는 멀티-미디어 프레젠테이션을 제공하기 위한 디바이스일 수 있다. 멀티-미디어 프레젠테이션은 사운드, 스트리밍 이미지들의 시퀀스 또는 비디오 피드(video feed), 또는 그것의 조합을 포함하는 프리젠테이션일 수 있다. 일례로서, 제 1 디바이스(52)는 UDTV, 또는 임의의 다른 유형의 UD 디스플레이 디바이스(예컨대, 모니터, 비디오 패널, HUD, 스마트 전화기, 태블릿 디바이스, 비디오 디바이스, 게이밍 디바이스 등)일 수 있다.

제 2 디바이스(56)는 다양한 중앙 집중 또는 분산적 컴퓨팅 디바이스들, 이미지 또는 비디오 전송 디바이스들 중 어느 하나일 수 있다. 예를 들면, 제 2 디바이스(56)는 멀티미디어 컴퓨터, 태블릿, 랩톱 컴퓨터, 데스크톱 컴퓨터, 비디오 게임 컨솔, 그리드-컴퓨팅 리소스들(grid-computing resources), 가상 컴퓨터 리소스, 클라우드 컴퓨팅 리소스(cloud computing resource), 라우터들, 스위치들, 피어 투 피어 분산형 컴퓨팅 디바이스들, 미디어 재생 디바이스, 디지털 비디오 디스크(Digital Video Disk: DVD) 플레이어, 3차원 인에이블드(enabled) DVD 플레이어, 레코딩 디바이스, 예컨대 카메라 또는 비디오 카메라, 또는 그것의 조합일 수 있다. 다른 예에 있어서, 제 2 디바이스(56)는 방송 또는 라이브 스트림 신호들을 수신하기 위한 신호 수신기, 예컨대 텔레비전 수신기, 케이블 박스(cable box), 위성 접시 수신기(satellite dish receiver), 또는 웹 인에이블드 디바이스일 수 있다.

제 2 디바이스(56)는 단일 공간(single room)에 중앙 집중화될 수 있고, 상이한 공간들을 가로질러 분포될 수 있고, 상이한 지리적 위치들에 걸쳐 분포될 수 있고, 원격통신 네트워크 내에 임베드될 수 있다. 제 2 디바이스(56)는 제 1 디바이스(52)와 통신하기 위해 통신 경로(54)와 결합하는 수단을 가질 수 있다.

일 실시 예에 따른 목적을 위해, 전자 시스템(50)은, 비록 제 2 디바이스(56)가 상이한 유형의 디바이스들일 수 있는 것으로 이해되지만, 컴퓨팅 디바이스로서 제 2 디바이스(56)와 함께 기술된다. 또한, 설명의 목적들을 위해, 디스플레이 시스템(50)은, 비록 디스플레이 시스템(50)이 제 1 디바이스(52), 제 2 디바이스(56), 및 통신 경로(54) 사이에 상이한 파티션을 가질 수 있는 것으로 이해되지만, 통신 경로(54)의 종점들로서의 제 2 디바이스(56) 및 제 1 디바이스(52)와 함께 도시된다. 예를 들면, 제 1 디바이스(52), 제 2 디바이스(56), 또는 그것의 조합은 또한 통신 경로(54)의 부분으로서 기능할 수 있다.

통신 경로(54)는 다양한 네트워크들일 수 있다. 예를 들면, 통신 경로(54)는 무선 통신, 유선 통신, 광학, 초음파, 또는 그것의 조합을 포함할 수 있다. 위성 통신, 셀룰러 통신, 불루투스, IrDA(Infrared Data Association standard), WiFi(wireless fidelity), 및 WiMAX(worldwide interoperability for microwave access)은 통신 경로(54)에 포함될 수 있는 무선 통신의 예들이다. 이더넷, DSL(digital subscriber line), FTTH(fiber to home), 고해상도 멀티미디어 인터페이스(HDMI) 케이블, 및 POTS(plain old telephone service)은 통신 경로(54)에 포함될 수 있는 유선 통신의 예들이다.

또, 통신 경로(54)는 다수의 네트워크 토폴로지스 및 거리들을 가로지를 수 있다. 예를 들면, 통신 경로(54)는 직접 접속, PAN(personal area network), LAN(local area network), MAN(metropolitan area network), WAN(wide area network), 또는 그것의 조합을 포함할 수 있다.

도 2는 일 실시 예에 따른 시스템(200)의 하이-레벨 블록도를 나타낸다. 일 실시 예에 있어서, 시스템(200)은 이미지 디테일들 처리 시스템 또는 모듈(300)(도 3 참조)을 이용하여 입력 노드(201)에서 수신된 입력 소스(210)로부터의 입력 비디오 이미지들, 출력 노드(240)에서 비디오 이미지들을 출력하고 출력 소스(250)(또는 디바이스(52), 도 1) 상에 이미지들을 디스플레이할 수 있다. 일 실시 예에 있어서, 이미지 디테일들 처리 시스템(300)은 입력 이미지 정보를 수신한다. 일 실시 예에 있어서, 디테일들 처리 시스템(300)의 프로세서 디바이스는 입력 이미지 정보의 주파수 특성 및 특징 정보에 기초하여 개선 정보를 결정하기 위해 사용된다. 일 실시 예에 있어서, 개선 정보는 이후 개선된 이미지를 생성하기 위해 입력 이미지 정보와 믹싱된다. 일 실시 예에 있어서, 출력 소스(250)(또는 52)를 위한 디스플레이는 이미지 또는 멀티-미디어 프레젠테이션들을 제공하기 위한 물리적 디바이스일 수 있다. 예를 들면, 디스플레이는 액정 디스플레이(LCD) 패널, 플라즈마 스크린, 프로젝션 스크린(projection screen), HUD(heads-up-display) 등을 포함하는 스크린일 수 있다. 다른 실시 예들에 있어서, 디스플레이는 오브젝트 또는 반사 디바이스 상에 투영될 수 있다.

일 실시 예에 있어서, 입력 비디오 이미지들은 무선으로 또는 유선 인터페이스를 통해 전송/수신될 수 있는 입력 소스(210)로부터 제공될 수 있고 비압축/압축된 비디오 콘텐트를 포함할 수 있다. 일 실시 예에 있어서, 시스템(200)에서의 비디오 이미징 콘텐트의 와이어라인 또는 무선 통신은 이더넷, 전화(예컨대, POTS), 케이블, 전력선, 및 광섬유 시스템들 중 하나 이상을 통한/상에서의 통신, 및/또는 부호 분할 다중 액세스(CDMA 또는 CDMA2000) 통신 시스템, 주파수 분할 다중 액세스(FDMA) 시스템, 시분할 다중 액세스(TDMA) 시스템 예컨대 GSM/GPRS (General Packet Radio Service)/에지(enhanced data GSM environment), TETRA(Terrestrial Trunked Radio) 모바일 전화 시스템, 광대역 부호 분할 다중 액세스(WCDMA) 시스템, 고속 데이터 전송(high data rate)(1 x enhanced voice-data only(EV-DO) 또는 1 x EV-DO Gold Multicast) 시스템, IEEE 802.11 시스템, DMB(디지털 Multimedia Broadcasting) 시스템, 직교 주파수 분할 다중 액세스(OFDM) 시스템, DVB-H(Digital Video Broadcasting-Handheld) 시스템 등 중 하나 이상을 포함하는 무선 시스템을 포함할 수 있다.

일 실시 예에 있어서, 비디오 입력 소스(210)는 무선 네트워크(예컨대, 인터넷, 로컬 에어리어 네트워크(LAN, WAN(wide-area network), PAN(personal area network), CAN(campus wireless network), MAN(metropolitan area network) 등)를 통해 전송될 수 있다. 일 실시 예에 있어서, 입력 소스(210)는 클라우드-기반 시스템, 서버, 방송국, 비디오 디바이스/플레이어, 비디오 카메라, 모바일 디바이스 등으로 발생할 수 있다.

일 실시 예에 있어서, 입력 소스로부터 입력된 비디오 이미지는 입력 노드(201)에서 도달하기 전에 (예컨대, 디코더/인코더를 통해) 디코딩/인코딩될 수 있다. 일 실시 예에 있어서, 출력 노드(240)로부터 출력 소스(250)로 비디오 이미지는 출력 노드(240)에 도달하기 전에 인코딩/디코딩될 수 있다. 일 실시 예에 있어서, 출력 소스(250)는 무선으로 또는 유선 인터페이스를 통해 출력 노드(240)로부터 출력 이미지를 수신할 수 있다.

일 실시 예에 있어서, 입력 소스(210)로부터의 압축 비디오 이미지 콘텐트는 방송, 컴퓨터 네트워크, DVD 또는 다른 컴퓨터 판독 가능 저장 매체로부터의 아날로그 또는 디지털 비디오, 또는 비디오 신호들의 임의의 다른 적합한 소스를 제공할 수 있다. 일 실시 예에 있어서, 입력 소스(210)로부터의 압축 비디오는 무선 주파수 인터페이스(예컨대 ATSC 방송들), 컴퓨터 네트워크, 또는 유선 또는 무선 접속 예컨대 컴포넌트 비디오 케이블, DVI 또는 HDMI 비디오 인터페이스 등을 통해 수신기에 결합될 수 있다. 일 실시 예에 있어서, 입력 소스(210)로부터의 비압축 비디오 이미지는 비디오 카메라, 또는 메모리 디바이스 예컨대 임의의 적합한 비디오 인터페이스에 의해 수신기에 결합되는 디스크 드라이브 중 하나 이상을 포함할 수 있다. 일 실시 예에 있어서, 입력 소스(210)로부터의 비압축 비디오는 개개의 컬러 강도들 예컨대 적, 녹 및 청 등으로, 또는 임의의 다른 적합한 포맷으로 휘도 및 색차 형태로 포함하는 아날로그 또는 디지털 형태로 비압축 비디오를 제공할 수 있다.

일 실시 예에 있어서, 입력 소스(210)로부터의 입력 비디오 콘텐트에 대한 디지털 비디오 포맷들은 상이한 프레임 레이트들, 화소들의 상이한 수의 라인들 및 행들, 인터레이스된 및 난-인터레이스된 등을 포함할 수 있다. 예를 들면, 영화들은 전형적으로 24 fps(frames per second) 포맷으로 생성되고, NTSC는 초 당 30 프레임들이고 PAL은 초 당 25 프레임들이다. 포맷은 인터레이스되거나 또는 프로그레시브될 수 있다. 예를 들면, 고화질 포맷들(예컨대 디지털 비디오 방송 표준들에 의해 지원됨)이 출력 소스(250)의 디스플레이 디바이스의 포맷을 맞추는 포맷으로 수정될 수 있다. 출력 소스(250)의 디스플레이 디바이스는 NTSC, PAL, ATSC, DVB/T 등 또는 프레임 레이트들, 예컨대 70 Hz, 75 Hz, 80 Hz 등으로 작동하는 디스플레이 디바이스를 수용하도록 구성될 수 있다.

도 3은 일 실시 예에 따은 이미지 디테일들 처리 시스템(300)의 블록도를 나타낸다. 일 실시 예에 있어서, 시스템(300)은 전자 디바이스, 예컨대 제 1 디바이스(52)(도 1), 제 2 디바이스(56) 등에서 구현될 수 있다. 일 실시 예에 있어서, 시스템(300)은 입력 노드(301), 페칭/수신 모듈(310), 디테일 생성 모듈(320), 블록 구성/결합 모듈(330), 믹서 모듈(335)(리프팅된 이미지 디테일들과 입력 이미지와의 믹싱) 및 출력 노드(340)를 구비한다.

일 실시 예에 있어서, 블록 기반 이미지 처리는 입력 노드(301)로부터의 입력 이미지의 조합인, 출력 노드(340)에서의 출력 이미지 및 생성된 고 주파수 정보(디테일들)를 포함하는 그것의 개선된 버전을 생성하기 위해 구현된다. 일 실시 예에 있어서, 디테일들은 디테일 생성 모듈(320)에서 생성되고, 여기서 이미지 블록들(311)은 블록 수신 모듈(310)(입력 이미지를 블록들로 분할함)로부터 공급되고 출력 디테일 블록들(331)은 디테일 구성 모듈(930)에 의해 생성되고 여기서 더 많은 출력 디테일 블록들이 전체 이미지 디테일들을 형성하기 위해 구성된다. 일 실시 예에 있어서, 화소들 또는 이미지 블록들(331)(사이즈 P x Q)일 수 있는 출력은 일반적으로 블록들(311)의 입력 이미지 사이즈(사이즈 M x N)보다 작고, 여기서 P, Q, M 및 N은 양의 정수들이다.

예시적인 실시 예에 있어서, 만약 정규 이미지 업-컨버전 블록이 시스템(900) 앞에 부가되면, 그것은 진보된 이미지 업-컨버전/업-스케일링/초해상도 시스템인, 입력 이미지들로서 저해상도 이미지들을 이용하여 UD 이미지들(정지 이미지들 또는 비디오 프레임들)을 생성하기 위해 적용될 수 있다. 예시적인 실시 예에 있어서, 업-컨버트된 UD 이미지들은 종래의 이미지 업-컨버전 알고리즘들에 의해 얻어질 수 없는 추가의 이미지 디테일들을 포함한다. 결과적으로, 적어도 하나의 실시 예들에 있어서, 이미지 품질(선예도, 미세 디테일들 등)이 크게 향상될 수 있다. 일 실시 예에 있어서, 시스템(900)의 적용은 저해상도 영화가 디스플레이를 위해 수신될 수 있는 디스플레이 또는 UD 디바이스로 구현될 수 있다. 만약 시스템(300)이 UD 디바이스 또는 디스플레이에 대해 이용 가능하지 않다면, 시청자들은 이미지 선예도가 불량하거나 이미지가 섬세한 디테일이 부족하다고 느낄 수 있다. 현재, UD 비디오 이미지들(예컨대, 스트리밍 비디오, 영화들 등)은 시장에서 이용 가능하지만, UD 비디오 매체(TV 프로그래밍, 웹 TV 또는 비디오, 블루-레이 디스크들 및 퍼스널 디지털 비디오)는 특히 드물다. 대부분의 비디오 매체는 여전히 FHD, HD 또는 심지어 SD이다. 적어도 하나의 실시 예들에 있어서, UD 시청자들의 시각적 기대를 만족시키기 위해, 진보된 이미지 업-컨버전(초해상도) 기능은 시스템(300)을 이용하여 구현된다.

일 실시 예에 있어서, 시스템(300)의 적용은 낮은 품질의 SD, HD, FHD, UD 또는 불량한(흐릿한 또는 열화된) 이미지 디테일들의 업-스케일드 UD 이미지들, 예컨대 개인용 캠코더 또는 스마트 폰에 의해 캡쳐된 인터넷 또는 디지털 비디오로부터 얻어진 웹 비디오 클립들의 이미지 디테일들을 개선(또는 복원)하기 위해 현재의 HDTV들(또는 저해상도 TV들, 디바이스들, 디스플레이들 등)에서 FLSR 모듈(330)에 구현될 수 있다. 보통 낮은 품질의 SD, HD 또는 FHD 비디오 클립들의 이미지 디테일들은 데이터 압축, 불충분한 조명 상태 또는 비디오 캡쳐 디바이스의 제한된 성능으로 인해 열화 또는 손상될 수 있다. 적어도 하나의 실시 예들은 하드웨어 또는 소프트웨어로, 상이한 애플리케이션들에 의해 필요한 기능들을 달성할 수 있는 범용 시스템으로서 시스템(300)을 제공한다.

예시적인 실시 예에 있어서, 시스템(900)을 애플리케이션들은 고성능 이미지 디테일 개선 또는 복원, 이미지 초해상도, 및 진보된 이미지 업-컨버전 등을 포함할 수 있다. 적어도 하나의 예시적인 실시 예들에 있어서, 시스템(900)의 다양한 애플리케이션들은 UD 디바이스들 및 디스플레이들, HDTV 제품들에서 프로그램된 하드웨어로서, 또는 PC들 또는 모바일 디바이스들(태블릿들, PC들, 웨어러블 디바이스들, 스마트 폰들 등)에서 사용되는 소프트웨어로서 구현되면 매우 유용할 수 있다.

일 실시 예에 있어서, 시스템(300)은 입력 노드(301)의 입력 이미지와 개선 및 복원된 고 주파수 정보(디테일들)를 포함하는 그것의 개선된 버전의 조합인 출력 노드(340)에서 출력 이미지를 생성한다. 적어도 하나의 실시 예들에 대한 디테일 생성 모듈(320)의 상세 설명은 도 4-11과 조합하여 추종한다.

도 4는 일 실시 예에 따라 서로 중심-정렬된 외부 이미지 블록(M x N 블록(311)으로 만들어짐)과 내부 이미지 블록(P x Q 블록(331)으로 만들어짐) 사이의 예시적인 관계를 나타낸다. 보통의 이미지 블록 사이즈들 및 입력 이미지 블록(311)과 출력 이미지 블록(331) 간의 공간 관계가 도 4에서 증명된다. 일 실시 예에 있어서, 출력 이미지 블록(331)은 입력 이미지 블록(311) 안에 중심 부분으로서 위치된다. 일 실시 예에 있어서, 출력 이미지 블록(331)이 생성되는 동안, 출력 블록(331) 영역 내의 이미지 정보 및 출력 블록(331) 밖의(입력 블록(311) 내의) 정보 모두가 사용된다.

예시적인 실시 예에 있어서, 관심 영역(출력 블록(331)/입력 블록(311)) 내의 이미지 정보는 주변 영역(입력 블록(311)/출력 블록(331))의 것과 관련 있는 것으로(또는 주변 영역(입력 블록(311)/출력 블록(331))으로부터 추론할 수 있는 것)으로 간주된다. 일 실시 예에 있어서, 출력 이미지 블록들(331)은 전체 출력 디테일들 이미지를 생성하기 위해 구성 모듈(330)에 의해 "패치드(patched)" 업 또는 결합되고, 이후 최종 결과는 믹서(335)(도 3)에 의해 생성된 디테일들 및 입력 이미지를 결합하여 얻어진다.

도 5는 일 실시 예에 따라 디테일 생성 모듈(320)로서 시스템(300)으로 구현될 수 있는 예시적인 디테일 생성 블록(520)을 나타낸다. 일 실시 예에 있어서, 디테일 생성 블록(520)은 수신 모듈(310)(도 3)로부터 입력 이미지 블록을 수신하는 2D 시프트된 이산 퓨리에 변환(SDFT) 모듈(521), 크기 모듈(522), DFT 컨버전 모듈(1123), 주파수 리프팅 모듈(525) 및 구성 모듈(330)에 입력된 출력 이미지 블록을 출력하는 2D 역 SDFT(ISDFT) 모듈(524)을 포함할 수 있다.

일 실시 예에 있어서, 입력 이미지 블록들은 먼저 (매트릭스로) DFT 계수들을 계산하기 위해 2D SDFT 모듈(521)에서 처리되고 이후 시프팅된다. 일 실시 예에 있어서, DFT 계수들의 시프팅은 이하에 기재되는 것과 같이 도 6 및 7에서 설명된다.

일 실시 예에 있어서, 시프팅된 DFT 계수들은 주파수 리프팅 모듈(525), 및 거리 계산, 계수 주파수 리프팅 및 계수 컨버전을 위한 DFT 컨버전 모듈(523)에 대한 입력으로서 각각 제공된다. 시프팅된 DFT(SDFT)는 SDFT = SDFT_R + j·SDFT_I로서 표현될 수 있는 복소수이고, 이후 SDFT의 크기는 |SDFT| = (SDFT_R ² + SDFT_I ²)^1/2, 또는 MAG_IN = |SDFT|로서 (MAG_IN)이 계산되고, 여기서 R은 실수부를 나타내고 I는 허수부를 나타낸다. 주파수 리프팅 모듈(525) 내에서, 제로-주파수 계수(2D 좌표의 원점과 같음)에 대한 각각의 DFT 계수의(2D 좌표에서의 한 지점과 같은 주파수 도메인에서의 성분) 거리가 매트릭스에서 계수의 행 및 열 인덱스들(한 지점의 좌표들과 같음)을 이용하여 얻어진다. 일 실시 예에 있어서, 계산된 거리들은 2개의 처리 서브-블록들: 계수 컨버전 모듈(523) 및 주파수 리프팅 모듈(525)에 대한 입력으로서 공급된다.

일 실시 예에 있어서, 주파수 리프팅 모듈(525)에서, 일부(예컨대, 적어도 하나의, 수개의, 전부의 등) 주파수 성분들은 스펙트럼에서 고주파수 위치로 리프팅된다. 예시적인 실시 예에 있어서, 만약 2D DFT 계수들/스펙트럼이 3D 카테시안 좌표(원점은 제로-주파수 위치를 나타냄)에서 곡면으로서 나타내어지면, 주파수 리프팅 프로세싱은 편심 피크를 원점으로부터 외측으로 이동시키고 중심 피크의 기울기를 외측으로 확대(expand)시킨다. 주파수 리프팅 모듈(525) 처리들의 상세들은 도 12-15를 참조하여 이하에 기재된다.

일 실시 예에 있어서, 계수 컨버전 모듈(523)은 3개의 처리 블록들: 2D SDFT 모듈(521), 크기 모듈(522) 및 주파수 리프팅 모듈(525)로부터 출력들을 수신하고, 새로운/수정된 DFT 계수들을 계산하고, 계수 컨버전 모듈(523)의 계산 상세들은 이하에 기재된다.

일 실시 예에 있어서, 2D ISDFT에서, 새로운 2D DFT 계수들이 먼저 시프트된 후, 또한 디테일 생성 블록(520)(디테일 생성 모듈(320)로서 구현됨, 도 3)의 출력인 수정된 이미지 블록(사이즈 M x N)에 의해 공간 도메인 신호로 역변환된다.

도 6은 일 실시 예에 따른, 변환 주기성의 매트릭스(605)의 예시(600)를 나타낸다. 일 실시 예에 있어서, 매트릭스(600)는 M x N 매트릭스이다. 일 실시 예에 있어서, DFT 계수들은 거리 계산(DC)을 위해 계수들의 각각의 그룹의 하좌측 코너에 원점을 가진다. 일 실시 예에 있어서, SDFT는 원점을 SDFT 블록(610)의 중심으로 시프트시킨다.

도 7은 일 실시 예에 따른 변환 시프팅 동작의 예(700)를 나타낸다. 일 실시 예에 있어서, 예시(700)는 제로 주파수 포인트에 대한 주파수 도메인 성분의 거리를 계산하기 위한 DFT 계수들의 시프팅을 도시한다. 일 실시 예에 있어서, 2D DFT는 일반적으로 DFT 매트릭스(705) 및 SDFT 매트릭스(715)로서 예(1300)에 나타낸 매트릭스 포맷으로 DFT 계수들을 발생하는 2D FFT(Fast Fourier Transform) 알고리즘을 통해 달성된다. 예시적인 실시 예에 있어서, 각각의 매트릭스 요소는 주파수 성분이다. x, y 좌표들은 열 및 행 인덱스들을 각각 나타낸다. 예시적인 실시 예에 있어서, 시프트되지 않는 DFT 계수 매트릭스(705)에 대해, 4개의 코너 요소들은 제로-주파수 성분에 기여한다.

일 실시 예에 있어서, 계수 시프팅을 설명하기 위해, 계수 매트릭스는 DFT 매트릭스(705) 그래프 및 SDFT 매트릭스(715)로 나타낸 것과 같이 4개(4)의 영역들을 균등하게 분할된다. 예시적인 실시 예에 있어서, 계수 시프팅 후, 새로운 계수 매트릭스(SDFT 매트릭스(715))가 4개의 영역들의 위치들을 교체하여 얻어지도록 고려될 수 있다. 예시적인 실시 예에 있어서, 영역 1은 그것의 위치가 영역 3으로 교체되고, 한편 영역 2는 그것의 위치가 영역 4로 교체된다. 일 실시 예에 있어서, 계수 시프팅은 매트릭스(711)의 중심(2D 좌표의 원점과 같음)으로 제로-주파수 위치(710)를 이동시키는 데, 이것은 거리 계산을 단순화할 수 있고 또는 주파수 리프팅 모듈(725) 처리를 이해하기 쉽게 할 수 있다.

도 8은 일 실시 예에 따른, 거리 계산을 기술하기 위한 예시적인 다이어그램(800)을 나타낸다. DFT 계수들 시프팅 후, 제로-주파수는 매트릭스(805)의 중심으로 이동된다. 주파수 리프팅 모듈(525) 내에서, 사분면(806)에서 주파수 성분(1411)으로부터 제로-주파수 포인트까지의 거리(810)가 먼저 계산될 필요가 있다. 제로-주파수 포인트는 2D 좌표의 원점 및 좌표 상의 포인트들로서 매트릭스 요소들로서 취급된다. 일 실시 예에 있어서, 계수의 위치(811)는 x_in(820) 및 y_in(821)으로 표시된다. 일 실시 예에 있어서, 주파수 성분의 위치에 대해, 대응 포인트의 좌표들은 식 x_in = Col - Col(0), y_in = Row - Row(0)에서와 같이 얻어진다.

도 9는 일 실시 예에 따른, 주파수 리프팅을 위한 전달 함수에 대한 예시적인 다이어그램(900)을 나타낸다. 예시적인 실시 예에 있어서, 식 x_in = Col - Col(0), y_in = Row - Row(0)에서, x_in 및 y_in는 주파수 성분의 좌표들이고 한편 Col 및 Row은 그것의 매트릭스 인덱스들이다. 유사하게, Col(0) 및 Row(0)은 제로-주파수 성분의 매트릭스 인덱스들이다.

일 실시 예에 있어서, DFT 계수들을 시프팅한 후, 제로-주파수는 매트릭스의 중심으로 이동된다. 일 실시 예에 있어서, 주파수 성분으로부터 제로-주파수 포인트까지의 거리를 계산하기 위해, 제로-주파수 포인트는 2D 좌표의 원점(즉, (0,0) 지점)으로서 및 일례로서 M = N = 8을 갖는 도 9에 도시된 좌표 상의 포인트들로서 매트릭스 요소들이 취급된다. MAG_IN 매트릭스의 인덱스들은

및

이 되고, 여기서 N 및 M은 짝수들이고, MAG_OUT 매트릭스 인덱스들에 대해 동일한 것으로 가정됨을 주목하라. 일 실시 예에 있어서, 모든

및

에 대해, 제로-주파수 계수에 대한 거리(d_in)(1520)는 다음과 같이 계산된다

.

일 실시 예에 있어서, 주파수 리프팅 모듈(525)(도 5)은 제로-주파수(도 8에서 원점) 성분에 대한 이들의 거리들에 기초하여 주파수 성분들을 더 높은 주파수 위치들로 리프팅시킨다. 그러나, 만약 매트릭스 요소가 벡터의 애로우 헤드(arrow head)로서 고려되면, 주파수 리프팅 동작은 벡터의 방향을 변경시키지 않는다. 일 실시 예에 있어서, 벡터의 길이(원점까지의 주파수 성분의 거리)만이 증가될 수 있다. 기본적으로, 이 거리(d_out)(915) 변경은 다음과 같이 수학적으로 표현될 수 있다

.

일 실시 예에 있어서, 위의 식에서‘곡선(curve)’은 미리 결정된 전달 함수이고, 그것의 전형적인 예는 그래프(1500)에 나타낸 곡선(940)으로서 나타낸다. 예시적인 실시 예에 있어서, x/수평축은 입력 거리(d_in)(920)를 나타내고 y/수직축은 출력 거리(d_out)(915)를 나타낸다. 일 실시 예에 있어서, 전달 함수는 선(935) 및 곡선(940)으로서 나타낸 것과 같이 개별식 함수(piecewise function)를 이용하여 생성될 수 있다.

예시적인 실시 예에 있어서, 입력 거리(d_in)(920)가 값 K(910)보다 작을 때, 거리는 변경되지 않을 것이다. 그러므로, 일 실시 예에 있어서 직선(935)은 1의 기울기를 가진다. 예시적인 실시 예에 있어서, 입력 거리(d_in)(1520)가 K(910)보다 클 때, 출력 거리(d_out)(915)는 증가될 것이고 d_in(920)보다 클 것이다.

예시적인 실시 예에 있어서, 거리 증가는 비선형 함수, 예컨대, 2차 다항 함수에 의해 결정될 수 있다. 예시적인 실시 예에 있어서, 최대 거리(930)를 최고-주파수 성분은 리프팅되지 않을 것이다. 정상 2D DFT 스펙트럼에 있어서, 저-주파수 성분들(중심에 가까운 매트릭스 요소들)은 일반적으로 고-주파수 성분들보다 높은 값(DFT 성분의 크기)을 가진다. 그러므로, 예시적인 실시 예에 있어서, 저-주파수 성분이 고-주파수 위치 위로 리프팅될 때, 고-주파수 정보가 생성된다. 일 실시 예에 있어서, 새로운 고-주파수 정보(새로운 이미지 디테일들)가 손실/손상된 이미지 디테일들을 복원하기 위해 생성될 수 있다. 일 실시 예에 있어서, 고-주파수 성분들이 저-주파수 정보로부터 생성되거나 추론되기 때문에, 새로운 이미지 디테일들은 더 '실제적(real)'이거나 또는 '의미있는(meaningful)' 것으로 보이며 종래의 초해상도(SR) 방법들에 비해 아티팩트들을 더 포함할 수 있다.

일 실시 예에 있어서, 주파수 성분이 더 높은 주파수 위치로 리프팅된 후, 그것의 새로운 위치(좌표들)가 다음 식들로 결정될 수 있다:

,

이것은 DFT 주파수 성분들을 동일한 각도로 리프팅한다.

임을 주목하라. 새로운 좌표들 또는 새로운 위치는 보통 DFT 계수 매트릭스에 의해 규정되는 정확한 위치들 또는 좌표들이 아니다. 그러므로, 예시적인 실시 예에 있어서, 2D 보간 또는 리샘플링이 시프트된 그리드 및 수정된 DFT 값에 기초하여 ‘정확한(right)’ 위치들에 대해 DFT 계수를 계산하기 위해 사용된다. 일단 목표 수평 및 수직 주파수 성분들이 계산되면, MAG_IN으로부터의 주파수 성분들이 아래의 식에 의해 주파수 리프팅 모듈(1125)(도 11) 프로세스(또는 주파수 성분 맵핑)에 의해 MAG_OUT으로 업데이트된다:

.

일 실시 예에 있어서, 상기 식은 주파수 도메인에서 상이한 주파수 위치들(locations) 중에서 맵핑 프로세스를 나타낸다는 것을 용이하게 이해될 수 있을 것이다. 맵핑은 입력 주파수 크기 블록으로부터 최근접 이웃 화소 또는 가중된 이웃 화소들에 의해 새로운 화소 주파수 크기(MAG_OUT)를 보간하기 위한 백워드(backward) 또는 포워드(forward) 보간일 수 있다. 일 실시 예에 있어서, 개선된 주파수들을 얻은 후, 비율(ratio)이 그 위치에서 개선된 주파수 및 원 주파수로 계산될 수 있다. 예시적인 실시 예에 있어서, 이후 개선된 DFT(실수부 및 허수부 둘다를 포함)는 다음과 같이 SDFT 결과에 대한 비를 승산하여 얻어질 수 있다:

.

일 실시 예에 있어서, DFT 계수들의 수정된 매트릭스는 주파수 리프팅 모듈(525)(도 5)의 주파수 리프팅 프로세스를 통해 얻어진다. 예시적인 실시 예에 있어서, 매트릭스가 ISDFT 모듈(524)을 통해 공간 도메인에서 이미지 블록으로 다시 변환될 수 있기 전에, 그것의 요소들은 도 7에 나타낸 것의 반대 방식으로 시프팅될 필요가 있다.

도 10은 일 실시 예에 따른 다른 예시적인 디테일 생성 블록(1020)을 나타낸다. 일 실시 예에 있어서, 디테일 생성 블록(1020)은 디테일 생성 모듈(320)(도 3)로 구현될 수 있다. 예시적인 실시 예에 있어서, 디테일 생성 블록(1020)은 DCT 프로세스를 구현한다. 일 실시 예에 있어서, 디테일 생성 블록(1020)은 2D DCT 모듈(1021), 크기 모듈(1022), 주파수 리프팅 모듈(1025), DCT 컨버전 모듈(1023) 및 2D 역 DCT(2D IDCT) 모듈(1024)을 구비한다.

일 실시 예에 있어서, 주파수 리프팅 모듈(1025)의 주 기능은 MAG_IN으로 주어진 주파수를 리프팅하여 리프팅된 DCT 크기 매트릭스 DCT_OUT을 발생시키는 것이다. 예시적인 실시 예에 있어서, 모든

및

에 대해 제로-주파수 계수(2D 좌표의 원점과 같음)에 대한 거리가, 주파수 성분(예컨대, 도 11에 나타낸 것과 같은)과 관련 있는,

로서

계수의 행 및 열 인덱스들(한 지점의 좌표들과 같음)을 이용하여 계산된다.

주파수 리프팅 모듈(1025) 내에서, 거리는 상부 타겟 리프팅 주파수 거리 대 제로-주파수 성분을 결정하기 위해, d_out = curve(d_in)와 같은 전달 함수의 입력으로 제공된다. 여기서 curve는 단조롭게 증가하는 전달 함수를 나타낸다. 전달 함수는 도 10에 도시되고 성분들이 리프팅되지 않는 예컨대

로서 그 주파수 범위가 설정되는 또한, 도 9에 도시된다.

일 실시 예에 있어서, 타겟 리프팅 팩터가 계산되면, 이후 관련 수평 및 수직 DCT 주파수 성분들이 다음과 같이 결정되고:

,

이것은 DCT 주파수 성분들을 동일한 각도로 리프팅하기 위해 구현된다.

임을 주목하라. 일 실시 예에 있어서, 일단 목표 수평 및 수직 주파수 성분들이 계산되면, 주파수 성분들은:

MAG _ OUT(x_out, y_out ) = MAG _ IN(x_in , y_in)

로서 주파수 리프팅 모듈(1025)에 의해 MAG_IN으로부터 MAG_OUT으로 업데이트된다.

주파수 리프팅 모듈(1025)에서, 일부(예컨대, 적어도 하나의, 수개의, 전부의 등) 주파수 성분들이 스펙트럼에서 고주파수 위치로 리프팅되는 것을 주목하라. 예시적인 실시 예에 있어서, 만약 2D DCT 계수들/스펙트럼이 3D 카테시안 좌표(원점은 제로-주파수 위치를 나타냄)에서 곡선으로서 그려지면, 주파수 리프팅 프로세싱은 편심 피크들을 원점으로부터 외측으로 이동시키고 중심 피크의 기울기를 외측으로 확대시킨다.

일 실시 예에 있어서, 주파수 리프팅 모듈(1025)로부터의 MAG_IN 및 MAG_OUT은 이후 DCT 컨버전 모듈(1023)에 제공되고, DCT 컨버전 모듈(1023)의 출력은:

이다.

일 실시 예에 있어서, 2D IDCT 모듈(1024)에서, 새로운 2D DCT 계수들(DCT_OUT)은 디테일 생성 모듈(320)(도 3)의 출력인 공간 도메인 신호 - BLK (M x N)과 동일한 사이즈 블록 - 로 역변환된다.

도 11은 실시 예에 따른, 주파수 성분과 관련된 거리 결정을 묘사하기 위한 예시적인 다이어그램(1700)을 나타낸다. 예시적인 실시 예에 있어서, DCT 컨버전 모듈(1023)(도 10)의 동작은 원 위상 정보를 크기 변경과 결합하는 것이다. 일 실시 예에 있어서, x 및 y 좌표들에 대한 2D 원점(1106)은 x_in(1120) 및 y_in(1121)에 기초하여 계수(1111)에 대한 거리(d_in)(1110)를 결정하기 위해 사용된다.

도 12는 일 실시 예에 따른 디테일 생성 프로세스 1200를 나타내는 블럭도이다.

일 실시 예에 있어서, 블록 1210에서, 수신된 이미지 정보( 예컨대, M x N 블록들 311, 도 3)가 (예를 들어, 프로세서 디바이스를 이용하여 주파수 도메인 정보를 획득하기 위해 (예를 들어, DFT, SDFT, DCT 등을 이용하여) 변환된다. 일 실시 예에서, 블록 1220에서 주파수 도메인 정보에 대한 주파수 분포(frequency distribution)가 특정 주파수 성분을 생성하기 위해 결정된다. 일 실시 예에서, 블록 1230에서, 적어도 하나의 이미지 블록을 생성하기 위해, 역 변환이 업데이트된 주파수 분포 상에서 수행된다. 일 실시 예에서, 블록 1240에서 적어도 하나의 출력 이미지 블록들이 이미지 디테일을 생성하기 위해 결합되고, 이미지(즉, 입력 이미지)에 추가된다. 일 실시 예에서 프로세서(1200)는 시스템(300)을 이용하여 프로세싱을 수행한다.

일 실시 예에서, 프로세스 1200은 이미지(예를 들어, SD, HD, FHD, UD, up-scaled-UD 등과 같은 저해상도 이미지)를 고해상도 이미지로 입력받는 단계, 입력된 이미지를 적어도 하나의 입력 이미지 블록을 포함하는 이미지 정보로 변환하는 단계를 포함할 수 있다. 일 실시 예에서, 입력 이미지 블록(M x N)은 출력 이미지(예를 들어, pixels, P x Q block)의 사이즈보타 큰 블록 사이즈를 갖는다. 일 실시 예에서, 주파수 도메인 정보는 변환 계수를 포함한다. 일 실시 예에 있어서, 주파수 성분들은, 변환 스펙트럼에서 고주파수 위치로 일부(예컨대, 적어도 하나의, 수개의, 전부의 등) 주파수 성분들을 리프팅하기 위한 변환 계수들에 대해 주파수 리프팅을 수행하는 단계, 변환 계수들을 수정된 변환 계수들로 변환하는 단계를 포함하는 포함하는 프로세스(1200)에 기초하여 생성된다.

일 실시 예에 있어서, 프로세스(1200)는 매트릭스에서 변환 계수들 위치를 시프팅하는 것; 관련 계수 행 및 열 인덱스들을 이용하여 제로-주파수 계수 위치를 이용하여 계수들에 대한 거리들을 결정하기 위해 시프팅된 변환 계수들을 이용하는 것; 변환 스펙트럼에서 고주파수 위치로 일부(예컨대, 적어도 하나의, 수개의, 전부의 등) 주파수 성분들을 리프팅하기 위해 결정된 거리들에 기초하여 변환 계수들에 대해 주파수 리프팅을 수행하는 것; 변환 계수들을 수정된 변환 계수들로 변환하는 것에 기초하여, 특정 주파수 성분을 생성하는 단계를 포함할 수 있다.

일 실시 예에 있어서, 프로세스(1200)는 시프팅 후 매트릭스의 중심으로 제로-주파수 계수 위치를 이동시키는 단계를 포함할 수 있고, 여기서, 제로-주파수 계수 위치는 2차원 좌표의 원점으로서 사용되고, 매트릭스 요소들은 2차원 좌표 상에 포인트들로서 사용된다.

일 실시 예에 있어서, 프로세스(1200)에서, 계수들에 대한 거리의 결정은 미리 결정된 전달 함수에 기초하여 이루어질 수 있다. 일 실시 예에 있어서, 프로세스(1200)에서, 생성된 이미지 디테일 및 입력 이미지를 포함하는 출력 이미지가 전자 디바이스(예컨대, 전자 디바이스(52), 도 1) 상에 디스플레이될 수 있다. 일 실시 예에 있어서, 프로세스(1200)는 로컬 텔레비전 디바이스, 셋-톱-박스 디바이스, 및 네트워크 서버 디바이스 중 하나에서 프로세싱을 수행할 수 있다.

일 실시 예는, 프로세서(1200)에 따른 프로세스에 의해 개건된 이미지를 생성하기 위한 이미지 개선 장치(예를 들어, 전자 디바이스(52), 도 1) 또는 그 일부를 포함할 수 있다.

도 13은 개시된 실시 예들을 구현하는 데 유용한 컴퓨터 시스템(100)을 포함하는 정보 처리 시스템을 나타내는 하이-레벨 블록도이다. 컴퓨터 시스템(100)은 적어도 하나의 프로세서들(1801)을 구비하고, 전자 디스플레이 디바이스(102)(그래픽스, 텍스트, 및 다른 데이터를 표시하기 위한), 주 메모리(103)(예컨대, 임의 접근 메모리(random access memory: RAM)), 스토리지 디바이스(104)(예컨대, 하드 디스크 드라이브), 착탈 가능 스토리지 디바이스(105)(예컨대, 착탈 가능 스토리지 드라이브, 착탈 가능 메모리 모듈, 자기 테이프 드라이브, 광학 디스크 드라이브, 컴퓨터 소프트웨어 및/또는 데이터가 내부에 저장되어 있는 컴퓨터 판독 가능 매체), 사용자 인터페이스 디바이스(106)(예컨대, 키보드, 터치 스크린, 키패드, 포인팅 디바이스), 및 통신 인터페이스(107)(예컨대, 모뎀, 네트워크 인터페이스(예컨대 이더넷 카드), 통신 포트, 또는 PCMCIA 슬롯 및 카드)를 더 구비할 수 있다. 통신 인터페이스(107)는 소프트웨어 및 데이터가 컴퓨터 시스템과 외부 디바이스들 사이에서 전달될 수 있게 허용한다. 시스템(100)은 전술한 디바이스들/모듈들(101 내지 107)이 접속되는 통신 기반구조(108)(예컨대, 통신 버스, 크로스-오버 바(cross-over bar), 또는 네트워크)를 더 구비한다.

통신 인터페이스(107)를 통해 전달된 정보는 신호들을 반송하고 와이어 또는 케이블, 광 섬유(fiber optics), 전화선, 셀룰러 폰 링크, 무선 주파수(RF) 링크, 및/또는 다른 통신 채널들을 이용하여 구현될 수 있는 통신 링크를 통해, 통신 인터페이스(107)에 의해 수신될 수 있는 신호들 예컨대 전자, 전자기, 광학, 또는 다른 신호들 형태로 될 수 있다. 여기에 블록도 및/또는 플로차트들을 나타내는 컴퓨터 프로그램 명령들은 컴퓨터, 프로그램 가능 데이터 처리 장치, 또는 처리 디바이스들 상에 로딩되어 그에 대해 수행되는 일련의 동작들이 컴퓨터 구현 프로세스를 생성하게 할 수 있다.

실시 예들은 방법들, 장치들(시스템들) 및 컴퓨터 프로그램 제품들의 플로차트 도해들 및/또는 블록도들을 참조하여 기재되었다. 이와 같은 도해들/도면들의 각각의 블록, 또는 그것의 조합들은 컴퓨터 프로그램 명령들에 의해 구현될 수 있다. 컴퓨터 프로그램 명령들은 프로세서에 제공될 때, 머신을 생성하여, 프로세서를 통해 실행하는 명령들은 플로차트 및/또는 블록도에서 구체화된 기능들/동작들을 구현하는 수단을 생성한다. 플로차트 /블록도들에서의 각각의 블록은 하드웨어 및/또는 소프트웨어 모듈 또는 로직(logic)을 표현할 수 있다. 대안의 구현예들에 있어서, 블록들에 기재된 기능들은 도면들에 기재된 순서를 벗어나, 동시에 등으로 일어날 수 있다.

용어들 "컴퓨터 프로그램 매체(computer program medium)", "컴퓨터 이용 가능 매체(computer usable medium)", "컴퓨터 판독 가능 매체(computer readable media)", 및 "컴퓨터 프로그램 제품(computer program product)"은 일반적으로 매체 예컨대 주 메모리, 보조 메모리, 착탈 가능 스토리지 드라이브, 하드 디스크 드라이브에 설치된 하드 디스크, 및 신호들을 가리키기 위해 사용된다. 이들 컴퓨터 프로그램 제품들은 소프트웨어를 컴퓨터 시스템에 제공하는 수단이다. 컴퓨터 판독 가능 매체는 컴퓨터 시스템으로 하여금 데이터, 명령들, 메시지들 또는 메시지 패킷들, 및 컴퓨터 판독 가능 매체로부터의 다른 컴퓨터 판독 가능 정보를 판독할 수 있게 한다. 컴퓨터 판독 가능 매체는, 예를 들면, 비휘발성 메모리, 예컨대 플로피 디스크(floppy disk), ROM, 플래시 메모리(flash memory), 디스크 드라이브 메모리, CD-ROM, 및 다른 영구 저장장치(permanent storage)를 포함할 수 있다. 그것은 예를 들면 컴퓨터 시스템들 간에 정보, 예컨대 데이터 및 컴퓨터 명령들을 전송하는 데 유용하다. 컴퓨터 프로그램 명령들은 컴퓨터를 조정할 수 있는 컴퓨터 판독 가능 매체, 다른 프로그램 가능 데이터 처리 장치, 또는 특별한 방식으로 기능하는 다른 디바이스들에 저장될 수 있고, 그 결과 컴퓨터 판독 가능 매체에 저장되어 있는 명령들은 플로차트 및/또는 블록도 블록 또는 블록들에 특정된 기능/작용(function/act)을 구현하는 명령들을 포함하는 제조 물품을 생성한다.

더욱이, 컴퓨터 판독 가능 매체는, 컴퓨터로 하여금 그와 같은 컴퓨터 판독 가능 정보를 판독할 수 있게 하는, 유선 네트워크 또는 무선 네트워크를 포함하는, 임시 상태 매체(transitory state medium) 예컨대 네트워크 링크 및/또는 네트워크 인터페이스에 컴퓨터 판독 가능 정보를 포함할 수 있다. 컴퓨터 프로그램들(즉, 컴퓨터 제어 로직)은 주 메모리 및/또는 보조 메모리에 저장된다. 컴퓨터 프로그램들은 또한 통신 인터페이스를 통해 수신될 수 있다. 그와 같은 컴퓨터 프로그램들은, 실행될 때, 컴퓨터 시스템이 여기에서 논의된 특징들을 수행하게 한다. 특히, 컴퓨터 프로그램들은, 실행될 때, 프로세서 다중-코어 프로세서로 하여금 컴퓨터 시스템의 특징들을 수행하게 할 수 있다. 그와 같은 컴퓨터 프로그램들은 컴퓨터 시스템의 제어기들을 표현한다.

비록 실시 예들이 그것의 특정 버전들을 참조하여 기술되었지만, 그런, 다른 버전들이 가능하다. 그러므로, 첨부된 청구항들의 사상 및 범위는 여기에 포함된 바람직한 버전들의 설명으로 한정되지 않아야 한다.

-

Claims

입력 이미지 정보를 수신하는 단계;
프로세서 디바이스를 이용하여, 상기 입력 이미지 정보의 주파수 특성에 기초하여 개선 정보(enhancement information)를 결정하는 단계; 및
개선된 이미지를 생성하기 위해 상기 개선 정보를 상기 입력 이미지 정보와 믹싱하는 단계;를 포함하며,
상기 개선 정보를 결정하는 단계는,
제로-주파수에 대한 계수들 각각의 거리에 기초하여 상기 입력 이미지 정보의 주파수 분포에 포함된 적어도 하나의 주파수 성분들을 고주파수 위치로 리프팅함으로써 상기 주파수 분포를 업데이트하고,
상기 업데이트된 주파수 분포를 역 변환하여 상기 개선 정보를 결정하는, 방법.
제 1 항에 있어서,
상기 개선 정보를 결정하는 단계는:
상기 프로세서 디바이스를 이용하여, 주파수 도메인 정보를 획득하기 위해 상기 수신된 입력 이미지 정보를 변환하는 단계;
특정 주파수 성분을 생성하기 위해 상기 주파수 도메인 정보에 대한 상기 주파수 분포를 결정하는 단계;
적어도 하나의 출력 이미지 블록을 생성하기 위해 상기 업데이트된 주파수 분포 상에서 역 변환을 수행하는 단계; 및
이미지 디테일을 포함하는 상기 개선 정보를 생성하기 위해 상기 적어도 하나의 출력 이미지 블록들을 결합하고, 상기 이미지 디테일들을 상기 입력 이미지와 믹싱하는 단계;를 더 포함하는, 방법.
제 2 항에 있어서,
상기 입력 이미지를 입력받는 단계; 및
상기 입력 이미지를, 적어도 하나의 입력 이미지 블록을 포함하는 상기 입력 이미지 정보로 분할하는 단계;를 더 포함하는, 방법.
제 3 항에 있어서,
상기 입력 이미지 블록은 상기 출력 이미지 블록의 블록 사이즈보다 큰 블록 사이즈를 것을 특징으로 하는, 방법.
제 2 항에 있어서,
상기 주파수 도메인 정보는 변환 계수들을 포함하고, 상기 특정 주파수 성분들은:
적어도 하나의 주파수 성분들을 변환 스펙트럼에서의 고주파수 위치로 리프팅하기 위해 상기 변환 계수들에 대해 주파수 리프팅을 수행하는 단계; 및
상기 변환 계수들을 수정된 변환 계수들로 컨버팅하는 단계;에 기초하여 생성되는, 방법.
제 2 항에 있어서,
상기 주파수 도메인 정보는 변환 계수들을 포함하고, 상기 특정 주파수 성분들은:
매트릭스에서 상기 변환 계수들 위치를 시프팅하는 단계;
관련 계수 행 및 열 인덱스들을 이용하여 상기 제로-주파수에 대한 계수들 각각의 거리를 결정하기 위해 상기 시프팅된 변환 계수들을 이용하는 단계;
적어도 하나의 주파수 성분들을 변환 스펙트럼에서의 고주파수 위치로 리프팅하기 위해 상기 결정된 거리들에 기초하여 상기 변환 계수들에 대해 주파수 리프팅을 수행하는 단계; 및
상기 변환 계수들을 수정된 변환 계수들로 컨버팅하는 단계;에 기초하여 생성되는, 방법.
제 6 항에 있어서,
상기 시프팅 후 상기 매트릭스의 중심으로 상기 제로-주파수를 이동시키는 단계를 더 포함하고,
상기 제로-주파수는 2차원 좌표의 원점으로서 사용되고, 매트릭스 요소들은 상기 2차원 좌표 상의 포인트들로서 사용되는, 방법.
제 7 항에 있어서,
상기 계수들에 대한 거리의 결정은, 미리 결정된 전달 함수에 기초하여 이루어지는, 방법.
제 5 항에 있어서,
상기 수신된 이미지 정보를 변환하는 단계는,
이산 퓨리에 변환 처리 및 이산 코사인 변환 처리 중 하나를 이용하는 단계를 포함하는, 방법.
제 2 항에 있어서,
상기 이미지 디테일 및 상기 입력 이미지를 포함하는 출력 이미지는, 전자 디바이스에 디스플레이되는, 방법.
제 10 항에 있어서,
상기 전자 디바이스는 텔레비전 디바이스, 모니터 디바이스, 컴퓨팅 디바이스 및 모바일 컴퓨팅 디바이스 중 하나를 포함하는, 방법.
제 2 항에 있어서,
상기 프로세서 디바이스는 로컬 텔레비전 디바이스, 셋-톱-박스 디바이스, 및 네트워크 서버 디바이스 중 하나에서 프로세스를 수행하는, 방법.
프로세서 디바이스를 이용하여, 입력 이미지 정보를 수신하고, 상기 입력 이미지 정보의 주파수 특성에 기초하여 개선 정보를 결정하는 디테일 생성 모듈: 및
개선된 이미지를 생성하기 위해, 상기 입력 이미지 정보를 상기 개선 정보와 믹싱하는 믹서 모듈;을 포함하며,
상기 디테일 생성 모듈은,
제로-주파수에 대한 계수들 각각의 거리에 기초하여 상기 입력 이미지 정보의 주파수 분포에 포함된 적어도 하나의 주파수 성분들을 고주파수 위치로 리프팅함으로써 상기 주파수 분포를 업데이트하고,
상기 업데이트된 주파수 분포를 역 변환하여 상기 개선 정보를 결정하는, 시스템.
제 13 항에 있어서,
상기 디테일 생성 모듈은,
주파수 도메인 정보를 획득하기 위해 상기 수신된 입력 이미지 정보를 변환하고,
특정 주파수 성분을 생성하기 위해 상기 주파수 도메인 정보에 대한 상기 주파수 분포를 결정하고,
적어도 하나의 출력 이미지 블록을 생성하기 위해 상기 업데이트된 주파수 분포 상에서 역 변환을 수행하기 위해, 상기 프로세서 디바이스를 추가적으로 이용하고,
상기 시스템은,
이미지 디테일을 포함하는 상기 개선 정보를 생성하기 위해 상기 적어도 하나의 출력 이미지 블록들을 결합하고,
상기 믹서 모듈은 상기 이미지 디테일들을 상기 입력 이미지와 믹싱하는 단계;를 더 포함하는, 시스템.
제 14 항에 있어서,
상기 입력 이미지를 수신하고, 상기 입력 이미지를, 적어도 하나의 입력 이미지 블록을 포함하는 상기 입력 이미지 정보로 분할하는 수신 모듈;을 더 포함하는, 시스템.
제 15 항에 있어서,
상기 입력 이미지 블록은 상기 출력 이미지 블록의 블록 사이즈보다 큰 블록 사이즈를 갖는 것을 특징으로 하는, 시스템.
제 14 항에 있어서,
상기 주파수 도메인 정보는 변환 계수들을 포함하고, 상기 특정 주파수 성분들은:
적어도 하나의 주파수 성분들을 변환 스펙트럼에서의 고주파수 위치로 리프팅하기 위해 상기 변환 계수들에 대해 주파수 리프팅을 수행하는 것; 및
상기 변환 계수들을 수정된 변환 계수들로 컨버팅하는 것에 기초하여 생성되는, 시스템.
제 14 항에 있어서,
상기 주파수 도메인 정보는 변환 계수들을 포함하고, 상기 특정 주파수 성분들은:
매트릭스에서 상기 변환 계수들 위치를 시프팅하는 것;
관련 계수 행 및 열 인덱스들을 이용하여 상기 제로-주파수에 대한 계수들 각각의 거리를 결정하기 위해 상기 시프팅된 변환 계수들을 이용하는 것;
적어도 하나의 주파수 성분들을 변환 스펙트럼에서의 고주파수 위치로 리프팅하기 위해 상기 결정된 거리들에 기초하여 상기 변환 계수들에 대해 주파수 리프팅을 수행하는 것; 및
상기 변환 계수들을 수정된 변환 계수들로 컨버팅하는 것에 기초하여 생성되는, 시스템.
제 18 항에 있어서,
상기 디테일 생성 모듈은,
상기 시프팅 후 상기 매트릭스의 중심으로 상기 제로-주파수를 이동시키고,
상기 제로-주파수는 2차원 좌표의 원점으로서 사용되고, 매트릭스 요소들은 상기 2차원 좌표 상의 포인트들로서 사용되는, 시스템.
제 19 항에 있어서,
상기 계수들에 대한 거리의 결정은, 미리 결정된 전달 함수에 기초하여 이루어지는, 시스템.
제 20 항에 있어서,
상기 디테일 생성 모듈은,
이산 퓨리에 변환 처리 및 이산 코사인 변환 처리 중 하나를 이용하여 수신된 이미지 정보의 변환을 수행하는, 시스템.
제 14 항에 있어서,
상기 이미지 디테일 및 상기 입력 이미지를 포함하는 출력 이미지는, 텔레비전 디바이스, 모니터 디바이스, 컴퓨팅 디바이스 및 모바일 컴퓨팅 디바이스 중 하나를 포함하는 전자 디바이스에서 디스플레이되는, 시스템.
제 14 항에 있어서,
상기 디테일 생성 모듈은
상기 프로세서 디바이스는 로컬 텔레비전 디바이스, 셋-톱-박스 디바이스, 및 네트워크 서버 디바이스 중 하나에서 프로세스를 수행하는, 시스템.
컴퓨터 상에서 실행할 때,
입력 이미지 정보를 수신하는 단계;
프로세서 디바이스를 이용하여, 상기 입력 이미지 정보의 주파수 특성에 기초하여 개선 정보(enhancement information)를 결정하는 단계; 및
개선된 이미지를 생성하기 위해 상기 개선 정보를 상기 입력 이미지 정보와 믹싱하는 단계;를 포함하며,
상기 개선 정보를 결정하는 단계는,
제로-주파수에 대한 계수들 각각의 거리에 기초하여 상기 입력 이미지 정보의 주파수 분포에 포함된 적어도 하나의 주파수 성분들을 고주파수 위치로 리프팅함으로써 상기 주파수 분포를 업데이트하고,
상기 업데이트된 주파수 분포를 역 변환하여 상기 개선 정보를 결정하는 방법을 수행하는 명령들이 저장된 비-임시적 컴퓨터-판독 가능 매체.
제 24 항에 있어서,
상기 개선 정보를 결정하는 단계는:
상기 프로세서 디바이스를 이용하여, 주파수 도메인 정보를 획득하기 위해 상기 수신된 입력 이미지 정보를 변환하는 단계;
특정 주파수 성분을 생성하기 위해 상기 주파수 도메인 정보에 대한 상기 주파수 분포를 결정하는 단계;
적어도 하나의 출력 이미지 블록을 생성하기 위해 상기 업데이트된 주파수 분포 상에서 역 변환을 수행하는 단계;
이미지 디테일을 포함하는 상기 개선 정보를 생성하기 위해 상기 적어도 하나의 출력 이미지 블록들을 결합하고, 상기 이미지 디테일들을 상기 입력 이미지와 믹싱하는 단계;를 더 포함하는, 비-임시적 컴퓨터-판독 가능 매체.
제 25 항에 있어서,
상기 방법은,
상기 입력 이미지를 수신하는 단계;
상기 입력 이미지를, 적어도 하나의 입력 이미지 블록을 포함하는 상기 입력 이미지 정보로 분할하는 단계;를 더 포함하며,
상기 입력 이미지 블록은 상기 출력 이미지 블록의 블록 사이즈보다 큰 블록 사이즈를 갖는 것을 특징으로 하는, 비-임시적 컴퓨터-판독 가능 매체.
제 25 항에 있어서,
상기 주파수 도메인 정보는 변환 계수들을 포함하고,
상기 특정 주파수 성분들은:
적어도 하나의 주파수 성분들을 변환 스펙트럼에서의 고주파수 위치로 리프팅하기 위해 상기 변환 계수들에 대해 주파수 리프팅을 수행하는 단계; 및
상기 변환 계수들을 수정된 변환 계수들로 컨버팅하는 단계;에 기초하여 생성되는, 비-임시적 컴퓨터-판독 가능 매체.
제 25 항에 있어서,
상기 주파수 도메인 정보는 변환 계수들을 포함하고,
상기 특정 주파수 성분들은:
매트릭스에서 상기 변환 계수들 위치를 시프팅하는 단계;
관련 계수 행 및 열 인덱스들을 이용하여 상기 제로-주파수에 대한 계수들 각각의 거리를 결정하기 위해 상기 시프팅된 변환 계수들을 이용하는 단계;
적어도 하나의 주파수 성분들을 변환 스펙트럼에서의 고주파수 위치로 리프팅하기 위해 상기 결정된 거리들에 기초하여 상기 변환 계수들에 대해 주파수 리프팅을 수행하는 단계; 및
상기 변환 계수들을 수정된 변환 계수들로 컨버팅하는 단계;에 기초하여 생성되는, 비-임시적 컴퓨터-판독 가능 매체.
제 28 항에 있어서,
상기 방법은, 상기 시프팅 후 상기 매트릭스의 중심으로 상기 제로-주파수를 이동시키는 단계를 더 포함하고,
상기 제로-주파수는 2차원 좌표의 원점으로서 사용되고, 매트릭스 요소들은 상기 2차원 좌표 상의 포인트들로서 사용되는, 비-임시적 컴퓨터-판독 가능 매체.
제 29 항에 있어서,
상기 계수들에 대한 거리의 결정은, 미리 결정된 전달 함수에 기초하여 이루어지는, 비-임시적 컴퓨터-판독 가능 매체.
제 30 항에 있어서,
상기 수신된 이미지 정보를 변환하는 단계는,
이산 퓨리에 변환 처리 및 이산 코사인 변환 처리 중 하나를 이용하는, 비-임시적 컴퓨터-판독 가능 매체.
제 25 항에 있어서,
상기 이미지 디테일 및 상기 입력 이미지를 포함하는 출력 이미지는, 전자 디바이스 상에서 디스플레이되며,
상기 전자 디바이스는, 텔레비전 디바이스, 모니터 디바이스, 컴퓨팅 디바이스 및 모바일 컴퓨팅 디바이스 중 하나를 포함하는, 비-임시적 컴퓨터-판독 가능 매체.
제 25 항에 있어서,
상기 컴퓨터는 로컬 텔레비전 디바이스, 셋-톱-박스 디바이스, 및 네트워크 서버 디바이스 중 하나에서 프로세싱을 수행하는, 비-임시적 컴퓨터-판독 가능 매체.
제1항에 따른 방법에 따른 프로세스에 의해 개선된 이미지를 생성하는, 이미지 개선 장치.