KR20100021168A - 이미지 디코딩 장치 및 방법과 이를 이용한 이미지 데이터 처리 장치 및 방법 - Google Patents

이미지 디코딩 장치 및 방법과 이를 이용한 이미지 데이터 처리 장치 및 방법 Download PDF

Info

Publication number
KR20100021168A
KR20100021168A KR1020080079927A KR20080079927A KR20100021168A KR 20100021168 A KR20100021168 A KR 20100021168A KR 1020080079927 A KR1020080079927 A KR 1020080079927A KR 20080079927 A KR20080079927 A KR 20080079927A KR 20100021168 A KR20100021168 A KR 20100021168A
Authority
KR
South Korea
Prior art keywords
data
image data
displayed
partial
original image
Prior art date
Application number
KR1020080079927A
Other languages
English (en)
Inventor
노경헌
권순철
정세웅
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020080079927A priority Critical patent/KR20100021168A/ko
Priority to US12/540,624 priority patent/US8503827B2/en
Priority to TW098127492A priority patent/TW201012229A/zh
Priority to EP09010492A priority patent/EP2154899A3/en
Publication of KR20100021168A publication Critical patent/KR20100021168A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding

Abstract

본 발명은 이미지 처리 장치 및 방법에 관한 것으로서, 특히 정지 영상을 처리하는 장치 및 방법에 관한 것이다.
본 발명에 따른 이미지 디코딩 장치는 디코딩 처리된 이미지 데이터를 저장하는 프레임 버퍼 및, 오리지널 이미지 데이터를 디코딩 처리하고, 상기 오리지널 이미지 데이터 중에서 디스플레이 될 부분에 포함된 이미지 데이터의 사이즈와 디스플레이 될 기기의 해상도에 근거하여 결정된 스케일 배율로 디코딩 처리 과정에서 데이터를 스케일링 처리하고, 상기 스케일링 처리된 디코딩 데이터들 중에서 디스플레이 될 부분에 포함된 디코딩 데이터들만을 상기 프레임 버퍼에 라이트하는 파셜 디코더를 포함함을 특징으로 한다.

Description

이미지 디코딩 장치 및 방법과 이를 이용한 이미지 데이터 처리 장치 및 방법{Apparatus and method for decoding image and image data processing unit and method using the same}
본 발명은 이미지 처리 장치 및 방법에 관한 것으로서, 특히 정지 영상을 처리하는 장치 및 방법에 관한 것이다.
일반적으로, 고화질의 압축된 정지 영상을 디코딩하기 위해서는 용량이 큰 메모리가 필요하다.
종래의 기술에 따르면, 디스플레이 기기의 사이즈가 작은 경우에도 입력되는 정지 영상이 고화질의 압축된 정지 영상인 경우에는 디코딩 처리를 위하여 큰 용량의 메모리를 사용하여야 하는 단점이 있었다. 또한, 압축된 정지 영상을 확대하여 디스플레이시키는 경우에 화질이 열화되거나 또는 응답 속도가 느리고 큰 용량의 메모리를 사용하여야 하는 단점이 있었다.
본 발명이 해결하고자 하는 과제는 파셜 디코딩 처리와 스케일링 처리를 디코더에서 연동하여 실행시키는 이미지 디코딩 장치를 제공하는데 있다.
본 발명이 해결하고자 하는 다른 과제는 파셜 디코딩 처리와 스케일링 처리를 디코더에서 연동하여 실행시키는 이미지 디코딩 방법을 제공하는데 있다.
본 발명이 해결하고자 하는 또 다른 과제는 파셜 디코딩 처리와 스케일링 처리를 연동하여 이미지 데이터를 처리하는 이미지 데이터 처리 장치를 제공하는데 있다.
본 발명이 해결하고자 하는 또 다른 과제는 파셜 디코딩 처리와 스케일링 처리를 연동하여 이미지 데이터를 처리하는 이미지 데이터 처리 방법을 제공하는데 있다.
본 발명이 해결하고자 하는 또 다른 과제는 파셜 디코딩 처리와 스케일링 처리를 연동하여 실행시키는 이미지 디코딩 방법 및 이미지 데이터 처리 방법을 수행하는 프로그램 코드가 기록된 저장매체를 제공하는데 있다.
상기 과제를 달성하기 위한 본 발명의 일실시 예에 따른 이미지 디코딩 장치는 디코딩 처리된 이미지 데이터를 저장하는 프레임 버퍼 및, 오리지널 이미지 데이터를 디코딩 처리하고, 상기 오리지널 이미지 데이터 중에서 디스플레이 될 부분에 포함된 이미지 데이터의 사이즈와 디스플레이 될 기기의 해상도에 근거하여 결 정된 스케일 배율로 디코딩 처리 과정에서 데이터를 스케일링 처리하고, 상기 스케일링 처리된 디코딩 데이터들 중에서 디스플레이 될 부분에 포함된 디코딩 데이터들만을 상기 프레임 버퍼에 라이트하는 파셜 디코더를 포함함을 특징으로 한다.
상기 오리지널 이미지 데이터는 압축된 정지 이미지 데이터를 포함하는 것이 바람직하다.
상기 스케일링 처리는 외부 메모리를 경유하지 않고 파셜 디코더에서 직접 실행하는 것이 바람직하다.
상기 스케일 배율은 오리지널 이미지 데이터의 사이즈를 디스플레이 될 기기의 해상도로 나눈 결과를 줌 배율로 나눈 값보다 큰 값으로 픽셀 블록에서의 가장 근접된 정수 분주 배율로 결정하는 것이 바람직하다.
상기 파셜 디코더는 상기 오리지널 이미지 데이터를 입력하여, 상기 허프만 코딩 과정을 역으로 실행하는 허프만 역변환부, 상기 허프만 역변환 처리된 데이터를 입력하여, 양자화 처리를 역으로 실행하는 역양자화부, 상기 역 양자화 처리된 데이터를 입력하여 이산 코사인 변환 처리를 역으로 실행하는 역 이산 코사인 변환 처리부, 상기 오리지널 이미지 데이터 중에서 디스플레이 될 부분에 포함된 이미지 데이터의 사이즈와 디스플레이 될 기기의 해상도에 근거하여 결정된 스케일 배율로 상기 역 이산 코사인 변환된 데이터들을 스케일링하는 스케일러 및 상기 스케일러에서 출력되는 스케일링된 역 이산 코사인 변환 처리된 데이터들 중에서 디스플레이 될 부분에 포함된 데이터들만을 프레임 버퍼에 라이트하도록 제어하는 메모리 라이팅 제어부를 포함함을 특징으로 한다.
상기 파셜 디코더는 상기 오리지널 이미지 데이터를 입력하여, 상기 허프만 코딩 과정을 역으로 실행하는 허프만 역변환부, 상기 허프만 역변환 처리된 데이터를 입력하여, 양자화 처리를 역으로 실행하는 역양자화부, 상기 오리지널 이미지 데이터 중에서 디스플레이 될 부분에 포함된 이미지 데이터의 사이즈와 디스플레이 될 기기의 해상도에 근거하여 결정된 스케일 배율로 상기 역양자화부에서 처리된 단위 픽셀 블록에 포함된 데이터들 중에서 일부 데이터만을 추출하도록 제어하는 스케일링 제어부, 상기 역 양자화 처리된 데이터들 중에서 상기 스케일링 제어부의 제어에 따라서 추출된 일부 데이터만을 이용하여 해당 단위 픽셀 블록에 대한 이산 코사인 변환 처리를 역으로 실행하는 역 이산 코사인 변환 처리부 및 상기 역 이산 코사인 변환 처리된 데이터들 중에서 디스플레이 될 부분에 포함된 데이터들만을 프레임 버퍼에 라이트하도록 제어하는 메모리 라이팅 제어부를 포함함을 특징으로 한다.
상기 파셜 디코더는 상기 오리지널 이미지 데이터를 입력하여, 상기 허프만 코딩 과정을 역으로 실행하는 허프만 역변환부, 상기 허프만 역변환 처리된 데이터를 입력하여, 양자화 처리를 역으로 실행하는 역양자화부, 상기 오리지널 이미지 데이터 중에서 디스플레이 될 부분에 포함된 이미지 데이터의 사이즈와 디스플레이 될 기기의 해상도에 근거하여 결정된 제2스케일 배율로 상기 역양자화부에서 처리된 단위 픽셀 블록에 포함된 데이터들 중에서 일부 데이터만을 추출하도록 제어하는 스케일링 제어부, 상기 역 양자화 처리된 데이터들 중에서 상기 스케일링 제어부의 제어에 따라서 추출된 일부 데이터만을 이용하여 해당 단위 픽셀 블록에 대한 이산 코사인 변환 처리를 역으로 실행하는 역 이산 코사인 변환 처리부, 상기 오리지널 이미지 데이터 중에서 디스플레이 될 부분에 포함된 이미지 데이터의 사이즈와 디스플레이 될 기기의 해상도에 근거하여 결정된 제1스케일 배율로 상기 역 이산 코사인 변환된 데이터들을 스케일링하는 스케일러 및, 상기 스케일러에서 출력되는 스케일링된 역 이산 코사인 변환 처리된 데이터들 중에서 디스플레이 될 부분에 포함된 데이터들만을 프레임 버퍼에 라이트하도록 제어하는 메모리 라이팅 제어부를 포함함을 특징으로 한다.
상기 다른 과제를 달성하기 위한 본 발명의 일실시 예에 따른 이미지 데이터 처리 장치는 디코딩 처리된 이미지 데이터를 저장하는 프레임 버퍼, 오리지널 이미지 데이터를 디코딩 처리하고, 디코딩 처리 과정에서 데이터를 스케일 배율에 따라서 스케일링 처리하고, 상기 스케일링 처리된 디코딩 데이터들 중에서 디스플레이 될 영역에 포함된 디코딩 데이터들만을 상기 프레임 버퍼에 라이트하는 파셜 디코더, 상기 프레임 버퍼로부터 읽어낸 데이터를 디스플레이 사양에 적합하도록 신호 처리를 하는 비디오 프로세서 및, 상기 오리지널 이미지 데이터 중에서 디스플레이 될 부분에 포함된 이미지 데이터의 사이즈와 디스플레이 될 기기의 해상도에 근거하여 상기 파셜 디코더에서 적용되는 스케일 배율을 생성시키고, 줌 기능이 선택되는 경우에 줌 배율에 따라서 오리지널 이미지에서 디스플레이 될 부분을 나타내는 영역에 대한 정보인 상기 파셜 디코딩 영역 정보를 생성시키도록 제어하는 컨트롤러를 포함함을 특징으로 한다.
상기 파셜 디코더는 상기 스케일 배율에 따라서 역양자화 처리된 단위 픽셀 블록에 포함된 데이터들 중에서 일부 데이터만을 추출하여 역 이산 코사인 변환 처리하는 것이 바람직하다.
상기 파셜 디코더는 역 이산 코사인 변환 처리된 데이터들을 상기 스케일 배율에 따라서 스케일링 처리하는 것이 바람직하다.
상기 비디오 프로세서는 상기 프레임 버퍼로부터 읽어낸 데이터를 디스플레이 될 기기의 해상도에 맞도록 스케일링 처리하는 것이 바람직하다.
상기 컨트롤러는 일반 모드에서는 파셜 디코더에서 디코딩 데이터는 상기 프레임 버퍼의 프레임 메모리1에 저장하고, 줌 모드에서는 줌 배율에 따라서 생성된 스케일 배율 및 파셜 디코딩 영역 정보에 따라서 상기 파셜 디코더에서 처리된 새로운 디코딩 데이터를 상기 프레임 버퍼의 프레임 메모리2에 저장하도록 제어하고, 상기 비디오 프로세서는 상기 줌 배율에 따른 새로운 디코딩 처리가 완료되기 전까지는 상기 프레임 메모리1에서 읽어낸 데이터를 이용하여 스케일링 처리하여 출력하고, 상기 새로운 디코딩 처리가 완료된 후에는 상기 프레임 메모리2에서 읽어낸 데이터를 이용하여 스케일링 처리하여 출력하도록 제어하는 것이 바람직하다.
상기 비디오 프로세서는 상기 줌 배율에 따른 새로운 디코딩 처리가 완료되기 전까지는 상기 프레임 메모리1에서 줌 배율에 따라서 디스플레이 될 영역에 포함된 데이터들만을 읽어내고, 디스플레이 될 기기의 해상도에 맞추어 상기 읽어낸 데이터들을 보간 처리하는 것이 바람직하다.
상기 또 다른 과제를 달성하기 위한 본 발명의 일실시 예에 따른 이미지 디코딩 방법은 오리지널 이미지 데이터 중에서 디스플레이 될 부분에 포함된 이미지 데이터의 사이즈와 디스플레이 될 기기의 해상도에 근거하여 스케일 배율 및 오리지널 이미지 데이터 중에서 디스플레이 될 영역을 나타내는 파셜 디코딩 영역 정보를 산출하는 단계, 상기 오리지널 이미지 데이터를 디코딩 처리하면서, 디코딩 처리 과정에서 생성되는 데이터를 상기 스케일 배율을 적용하여 스케일링 처리하는 단계 및, 상기 스케일링 처리된 디코딩 데이터들 중에서 상기 파셜 디코딩 영역 정보에 상응하는 영역에 포함된 디코딩 데이터들만을 프레임 버퍼에 저장하는 단계를 포함함을 특징으로 한다.
상기 또 다른 과제를 달성하기 위한 본 발명의 일실시 예에 따른 이미지 데이터 처리 방법은 줌 기능이 선택되는지를 판단하는 단계, 상기 판단 결과 줌 기능이 선택되는 경우에, 줌 배율에 따라서 오리지널 이미지 데이터 중에서 디스플레이 될 부분에 포함된 이미지 데이터의 사이즈와 디스플레이 될 기기의 해상도에 근거하여 스케일 배율 및 오리지널 이미지 데이터 중에서 디스플레이 될 영역을 나타내는 파셜 디코딩 영역 정보를 산출하는 단계, 오리지널 이미지 데이터에 대하여 상기 스케일 배율 및 파셜 디코딩 영역 정보를 적용하여 새로운 파셜 디코딩 처리하는 단계 및, 상기 새로운 파셜 디코딩 처리된 데이터를 디스플레이 기기의 규격에 적합하도록 처리하여 출력시키는 단계를 포함함을 특징으로 한다.
상기 줌 기능에 포함된 순차적 줌 기능이 선택된 경우에, 일반 모드에서 상기 오리지널 이미지 데이터에 대하여 디코딩 처리되어 프레임 버퍼에 저장되어 있는 데이터를 이용하여 순차적인 배율로 스케일 업 처리하여 순차적인 줌 이미지를 디스플레이시키는 단계를 더 포함하고, 상기 순차적인 배율이 목표 배율에 도달된 경우에는 상기 새로운 파셜 디코딩 처리된 데이터를 이용하여 목표 줌 배율에 상응하는 줌 이미지를 생성시키는 것이 바람직하다.
상기 또 다른 기술적 과제를 해결하기 위하여 본 발명은 파셜 디코딩 처리와 스케일링 처리를 디코더에서 연동하여 실행시키는 이미지 디코딩 방법 및 파셜 디코딩 처리와 스케일링 처리를 연동하여 이미지 데이터를 처리하는 이미지 데이터 처리 방법을 컴퓨터에서 실행시키기 위한 프로그램 코드를 기록한 컴퓨터로 읽을 수 있는 저장매체를 제공한다.
본 발명에 의하면 파셜 디코딩 처리와 스케일링 처리를 디코더 내에서 연동하여 실행함으로써, 디코딩 처리에 필요한 메모리 사이즈를 줄일 수 있는 효과가 발생된다.
그리고, 작은 용량의 메모리를 이용하여 선명한 줌 화면을 비교적 빠른 시간에 생성시킬 수 있는 효과가 발생된다.
특히 오리지널 이미지의 해상도와 디스플레이 기기의 해상도의 비율 차이가 크게 나는 경우에도 작은 용량의 메모리를 이용하여 처리할 수 있는 효과가 발생된다.
그리고, 사이즈가 작은 메모리를 이용하여 이미지를 처리할 수 있으므로 데이터 처리 속도도 빠르고, 모바일 기기에서 중요시 되는 소비전력도 줄일 수 있는 효과가 발생된다.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시 예를 예시하는 첨부 도면 및 도면에 기재된 내용을 참조하여야 한다.
이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예에 대하여 상세히 설명하기로 한다.
우선, 본 발명과 관련된 정지 영상인 압축된 정지 이미지를 복원하는 방법에 관하여 설명하기로 한다.
일반적인 디코딩 처리 과정에 따른 이미지 데이터 사이즈 변화를 도 1에 개념적으로 도시하였다.
도 1을 참조하면, 압축된 정지 이미지를 디코딩하는 일반적인 JPEG 디코더(120)를 이용하여 압축된 정지 영상 스트림의 오리지널 이미지(110)를 디코딩하여 메모리1(130)에 저장하는 경우에, 오리지널 이미지의 사이즈가 4000X3000 이라면 최대 18Mbyte 용량의 메모리1(130)을 필요로 한다. 메모리1(130)에 저장된 데이터들을 디스플레이 기기(150)의 해상도에 맞추도록 스케일링 처리한 결과는 메모리2(140)에 저장되는 것을 보여준다.
도 1과 같은 일반적인 압축된 정지 영상 디코딩 방식에 따르면, 오리지널 이미지의 해상도가 매우 높은 고화질의 이미지의 경우에는 메모리1(130)의 용량은 더욱 커져야 한다.
이러한 문제를 개선하기 위하여 본 발명에서는 압축된 정지 영상 디코더가 디코딩 시 스케일링을 진행하는 방안을 제안한다. 이 방안을 적용한 경우의 이미지 데이터 사이즈 변화를 도 2에 도시하였다.
도 2에 도시된 바와 같이, 디코딩 시에 스케일링을 함께 처리하도록 압축된 정지 영상을 디코딩하는 JPEG 디코더와 스케일러를 결합한 구조를 갖는다. 오리지널 이미지(210)를 JPEG 디코더 & 스케일러(220)에서 디코딩 처리 과정에서 스케일링도 함께 처리한 후에 메모리1에 저장하고, 메모리1에 저장된 데이터를 디스플레이 기기(240)의 해상도에 맞추어 스케일링 처리한 결과는 메모리2(230)에 저장한다.
이와 같은 방법은 도 1에 도시된 바와 같은 디코딩 방법에 비하여 메모리1의 용량을 줄일 수 있다. 그러나, 오리지널 이미지가 디스플레이 되고 있는 상태에서 줌 기능이 선택되면, 메모리1에 저장된 데이터들을 보간 처리하여 확대시키기 때문에 화질의 열화가 발생된다.
본 발명에서는 위의 2가지 방식에 따른 단점을 개선하기 위하여 파셜 디코딩 기능과 스케일 기능을 복합적으로 합성하여 메모리 사이즈를 가능한 줄이면서 줌 기능 수행 시의 화질 열화를 최소화시키는 방안을 최종적으로 제안한다.
본 발명에서 최종적으로 제안하는 파셜 디코딩(partial decoding) 기능과 스케일 기능을 디코더에서 함께 처리하는 방안을 도 3에 개념적으로 도시하였다.
본 발명에서 파셜 디코딩(partial decoding)은 오리지널 이미지 전체에 대하여 디코딩을 실행하지만, 디스플레이 될 부분의 이미지에 대한 디코딩 데이터만을 메모리 라이트하는 기능으로 정의한다.
도 3에 도시된 바와 같이, 오리지널 이미지(310)는 파셜 디코더와 스케일러 가 결합된 블록(320)에서 오리지널 이미지(310) 전체에 대하여 디코딩 처리를 수행하고, 디코딩 처리 과정에서 스케일링 처리를 수행하며, 스케일링 처리된 디코딩 데이터 중에서 디스플레이 기기(340)에 디스플레이 될 부분에 포함된 스케일링 처리된 디코딩 데이터만을 메모리2(330)에 라이트한다. 본 발명에서는 파셜 디코더와 스케일러가 결합된 블록(320)을 파셜 디코더라고 칭하기로 한다.
즉, 도 4에 도시된 바와 같이, 디스플레이 되고 있는 오리지널 이미지에서 영역A에 대한 줌 기능이 선택되면, 파셜 디코더는 이미지의 좌측 상단부터 우측 하단까지 MCU(Minimum Coded Unit) 단위로 디코딩하면서 스케일링도 함께 수행한다. 그러나, 도 4에 도시된 바와 같이 영역A에 포함된 디코딩 처리된 데이터만이 파셜 디코더 외부의 메모리에 라이트된다.
본 발명에서 최종적으로 제안한 파셜 디코딩 방법은 디코딩 시에 스케일링 처리를 함께 수행하고, 메모리2(330)에는 실제 디스플레이 될 부분의 디코딩 데이터만을 저장함으로써 메모리2(330)의 용량을 최소화시킬 수 있게 된다. 또한, 최소 메모리 사이즈로 파인 줌(fine zoom) 기능을 구현할 수 있게 된다.
그러면, 본 발명에서 최종적으로 제안하는 파셜 디코딩 방법이 적용되는 이미지 데이터 처리 장치에 대하여 설명하기로 한다.
도 5에 도시된 바와 같이, 본 발명의 일실시 예에 따른 이미지 데이터 처리 장치는 호스트 인터페이스부(510), 파셜 디코더(520), 프레임 버퍼(530), 비디오 프로세서(540), 컨트롤러(550) 및 사용자 인터페이스(560)를 구비한다.
세부적으로, 프레임 버퍼(530)는 프레임 메모리1(530-1)과 프레임 메모리 2(530-2)로 구성된다.
호스트 인터페이스(510)는 호스트 장치(도면에 미도시)와의 데이터 송/수신 처리를 하며, 호스트 장치로부터 오리지널 이미지 데이터를 수신한다. 여기에서, 오리지널 이미지 데이터는 일 예로서 압축된 정지 이미지 데이터이다. 세부적으로, 오리지널 이미지 데이터는 JPEG 규격의 이미지 데이터가 적용될 수 있다.
파셜 디코더(520)는 호스트 인터페이스(510)를 통하여 입력되는 오리지널 이미지 데이터를 디코딩 처리하고, 오리지널 이미지 데이터 중에서 디스플레이 될 부분에 포함된 이미지 데이터의 사이즈와 디스플레이 될 기기의 해상도에 근거하여 결정된 스케일 배율(K)로 디코딩 처리 과정에서 데이터를 스케일링 처리하고, 상기 스케일링 처리된 디코딩 데이터들 중에서 디스플레이 될 부분에 포함된 디코딩 데이터들만을 프레임 버퍼(530)에 라이트한다. 파셜 디코더(520)의 세부 구성의 예를 도 6A, 6B 및 6C에 도시하였다. 도 6A, 6B 및 6C에 대해서는 아래에서 설명하기로 한다.
프레임 버퍼(530)는 프레임 메모리1(530-1) 및 프레임 메모리2(530-2)로 구성되며, 일 예로서 프레임 메모리1(530-1)에는 일반 모드에서 파셜 디코더(520)에서 디코딩 처리된 데이터가 저장되고, 프레임 메모리2(530-2)에는 줌 모드에서 줌 배율에 따라서 생성된 스케일 배율(K) 및 파셜 디코딩 영역 정보(P)에 따라서 파셜 디코더(520)에서 처리된 새로운 디코딩 데이터가 저장되도록 프레임 메모리1,2(530-1, 530-2)를 할당할 수 있다.
비디오 프로세서(540)는 프레임 버퍼(530)로부터 읽어낸 데이터를 디스플레 이 사양에 적합하도록 신호 처리를 실행한다. 구체적으로 디스플레이 기기의 해상도에 맞추는 스케일링 처리를 실행하며, 경우에 따라서는 디스플레이 기기의 칼라 규격에 맞추도록 칼라 변환 처리를 실행한다.
컨트롤러(550)는 이미지 데이터 처리 장치를 총괄적으로 제어하며, 특히 오리지널 이미지 데이터 중에서 디스플레이 될 부분에 포함된 이미지 데이터의 사이즈와 디스플레이 될 기기의 해상도에 근거하여 파셜 디코더(520)에서 적용할 스케일 배율(K)을 산출하고, 줌 기능이 선택되는 경우에 줌 배율에 따라서 오리지널 이미지에서 디스플레이 될 부분을 나타내는 영역에 대한 정보인 파셜 디코딩 영역 정보(P)를 생성시킨다.
세부적으로, 컨트롤러(550)는 일 예로서, 오리지널 이미지 데이터의 사이즈를 디스플레이 될 기기의 해상도로 나눈 결과를 줌 배율로 나눈 값보다 큰 값으로 픽셀 블록에서의 가장 근접된 정수 분주 배율로 스케일 배율을 결정할 수 있다. 예를 들어, MCU 단위가 8X8인 경우에, 8X8, 7X7, 6X6, 5X5, 4X4, 3X3, 2X2, 1X1의 정수 분주 스케일을 적용할 수 있다.
예를 들어, 오리지널 이미지 데이터의 사이즈를 디스플레이 될 기기의 해상도로 나눈 결과를 줌 배율로 나눈 값 Q가 (1X1)/(8X8) ＜ Q ＜ (2X2)/(8X8) 인 경우에는 스케일 배율(K)은 (2X2)/(8X8)로 결정한다.
사용자 인터페이스(560)는 이미지 데이터 처리 장치에서 사용자가 선택한 기능에 대한 정보를 컨트롤러(550)로 전달하는 역할을 한다.
그러면, 파셜 디코더(520)의 세부 구성의 예들을 도 6A, 6B 및 6C를 참조하 여 설명하기로 한다.
우선, 도 6A를 참조하여 파셜 디코더(520)의 세부적인 동작을 설명하기로 한다.
도 6A에 도시된 바와 같이, 제1실시 예에 따른 파셜 디코더(520)는 허프만 역변환부(610), 역양자화부(620), 역 이산 코사인 변환(IDCT) 처리부(630), 스케일러(640) 및 메모리 라이팅 제어부(650)로 구성된다.
허프만 역변환부(610)는 오리지널 이미지 데이터를 입력하여, 허프만 코딩(huffman coding) 과정을 역으로 실행한다.
역양자화부(620)는 허프만 역변환 처리된 데이터를 입력하여, 부호화 과정에서 실행된 양자화 처리를 역으로 실행한다.
IDCT 처리부(630)는 허프만 역변환 처리된 데이터를 입력하여, 부호화 과정에서 실행된 양자화 처리를 역으로 실행한다.
스케일러(640)는 오리지널 이미지 데이터 중에서 디스플레이 될 부분에 포함된 이미지 데이터의 사이즈와 디스플레이 될 기기의 해상도에 근거하여 결정된 스케일 배율(K)로 역 이산 코사인 변환된 데이터들을 스케일링 처리한다. 여기에서 스케일 배율(K)은 컨트롤러(550)에서 산출된다.
메모리 라이팅 제어부(650)는 스케일러(640)에서 출력되는 스케일링된 역 이산 코사인 변환 처리된 데이터들 중에서 디스플레이 될 영역을 나타내는 파셜 디코딩 영역 정보(P)에 포함된 데이터들만을 프레임 버퍼에 라이트한다. 여기에서, 파셜 디코딩 영역 정보(P)는 컨트롤러(550)에서 산출된다.
다음으로, 도 6B를 참조하여 파셜 디코더(520)의 세부적인 동작을 설명하기로 한다.
도 6B에 도시된 바와 같이, 제2실시 예에 따른 파셜 디코더(520)는 허프만 역변환부(610), 역양자화부(620), 역 이산 코사인 변환(IDCT) 처리부(630), 메모리 라이팅 제어부(650) 및 스케일링 제어부(660)로 구성된다.
허프만 역변환부(610) 및 역양자화부(620)는 도 6A와 동일하게 동작함으로 이들 구성에 대한 설명은 생략하기로 한다.
스케일링 제어부(660)는 오리지널 이미지 데이터 중에서 디스플레이 될 부분에 포함된 이미지 데이터의 사이즈와 디스플레이 될 기기의 해상도에 근거하여 결정된 스케일 배율(K)로 역양자화부(620)에서 처리된 단위 픽셀 블록에 포함된 데이터들 중에서 일부 데이터만을 추출하도록 제어한다. 역양자화부(620)에서 처리된 단위 픽셀 블록의 데이터들은 하나의 DC 성분과 복수개의 AC 성분들로 구성된다. 그리고, DC 성분에 각 블록의 주요 성분이 내포되어 있다. 여기에서, 스케일 배율(K)은 컨트롤러(550)에서 산출된다.
만일, 산출된 스케일 배율(K)이 1/64 인 경우에, 스케일링 제어부(660)는 역양자화 처리된 8X8 픽셀로 구성된 단위 블록에서 도 7A에 도시된 바와 같이 DC 성분만을 추출하도록 제어한다. 참고적으로, 스케일 배율(K)이 4/64인 경우에는 도 7B에 도시된 바와 같이 DC 성분과 3개의 AC 성분만을 추출하도록 제어한다.
그러면 IDCT 처리부(630)는 스케일링 제어부(660)에 의하여 추출된 데이터만을 이용하여 해당 단위 픽셀 블록에 대한 이산 코사인 변환 처리를 역으로 실행한 다.
그리고, 메모리 라이팅 제어부(650)는 IDCT 처리부(630)에서 출력되는 스케일링된 역 이산 코사인 변환 처리된 데이터들 중에서 디스플레이 될 영역을 나타내는 파셜 디코딩 영역 정보(P)에 포함된 데이터들만을 프레임 버퍼에 라이트한다.
도 6A에서 파셜 디코더는 역 이산 코사인 변환된 데이터들을 이용하여 스케일링 처리하는데 비하여, 도 6B에서 파셜 디코더는 역 이산 코사인 변환 과정인 주파수 도메인에서 데이터의 사이즈를 줄이는 방식으로 스케일링한다.
다음으로, 도 6C를 참조하여 파셜 디코더(520)의 세부적인 동작을 설명하기로 한다.
도 6C에 도시된 바와 같이, 제3실시 예에 따른 파셜 디코더(520)는 허프만 역변환부(610), 역양자화부(620), 역 이산 코사인 변환(IDCT) 처리부(630), 스케일러(640), 메모리 라이팅 제어부(650) 및 스케일링 제어부(660)로 구성된다.
도 6C는 도 6A에서 역 이산 코사인 변환된 데이터들을 이용하여 스케일링 처리하는 방식과 도 6B에서 파셜 디코더는 역 이산 코사인 변환 과정인 주파수 도메인에서 데이터의 사이즈를 줄이는 방식을 모두 채용한 예를 보여준다.
도 6C에 도시된 파셜 디코더는 도 6A 및 6B에 도시된 파셜 디코더에 비하여 스케일링 범위를 확장할 수 있으며, 특히 오리지널 이미지의 해상도와 디스플레이 기기의 해상도의 비율 차가 크게 발생하는 경우에 효과적으로 사용된다.
도 6C의 파셜 디코더를 사용하는 경우에, 컨트롤러(550)는 오리지널 이미지 데이터 중에서 디스플레이 될 부분에 포함된 이미지 데이터의 사이즈와 디스플레이 될 기기의 해상도에 근거하여 결정된 스케일 배율(K)을 제1,2스케일 배율(K1, K2)로 나누어 산출한다. 물론, K= K1 x K2가 될 것이다. 그리고, 예를 들어, 역 이산 코사인 변환된 데이터들을 이용하여 스케일링 처리하는 방식 또는 역 이산 코사인 변환 과정인 주파수 도메인에서 데이터의 사이즈를 줄이는 방식 중 어느 하나의 방식에 우선적으로 스케일 배율을 배정할 수도 있다.
다음으로, 본 발명의 일실시 예에 따른 이미지 디코딩 방법을 도 5 및 도 8을 참조하여 시계열적으로 설명하기로 한다.
컨트롤러(550)는 이미지 데이터 처리 장치가 디코딩 실행 모드로 천이되는지를 판단한다(S801). 예를 들어, 디코딩 실행 모드는 디스플레이 기기에 새로운 이미지를 출력시키고자 하는 경우에 선택된다.
단계801(S801)의 판단 결과 디코딩 실행 모드로 천이된 경우에, 컨트롤러(550)는 파셜 디코더(520) 내부 스케일러에 적용할 스케일 배율(K)을 결정한다(S802). 스케일 배율(K)을 결정하는 방법은 도 5에서 상세히 설명하였으므로 생략하기로 한다.
그리고 나서, 파셜 디코더(520)에서 오리지널 이미지에 대하여 디코딩 처리를 실행한다(S803).
다음으로, 단계802(S802)에서 결정된 스케일 배율(K)을 적용하여 디코딩 처리 과정에서 스케일링 처리를 실행한다(S804).
다음으로, 스케일링 처리된 디코딩 데이터를 프레임 메모리1(530-1)에 라이트한다(S805). 참고적으로, 줌 기능이 선택되지 않은 상태이므로 프레임 메모리 1(530-1)에는 디코딩 및 스케일링 처리된 모든 오리지널 이미지 데이터가 라이트 된다.
다음으로, 프레임 메모리1(530-1)에서 데이터를 읽어내어 디스플레이 기기의 사양에 맞도록 비디오 프로세서(540)에서 신호처리한 후에 최종적으로 디스플레이 기기로 출력한다(S806).
도 8과 같은 프로세스에 의하여 디코딩 처리되어 오리지널 이미지가 화면이 디스플레이 되고 있는 상태에서 줌 기능이 선택되는 경우에 대하여 도 5 및 도 9를 참조하여 설명하기로 한다.
컨트롤러(550)는 사용자 인터페이스부(560)를 통하여 줌 기능이 선택되었는지를 판단한다(S901).
단계901(S901)의 판단 결과 줌 기능이 선택된 경우에, 컨트롤러(550)는 줌 배율(m) 및 줌 배율에 따라서 오리지널 이미지에서 디스플레이 될 부분을 나타내는 영역에 대한 정보인 파셜 디코딩 영역 정보(P)를 산출한다(S902). 파셜 디코딩 영역 정보(P)는 영역의 시작을 나타내는 좌측 상단의 좌표 정보 Ps(i,j)와 영역의 끝을 나타내는 우측 하단의 좌표 정보 Pe(i,j)로 표시될 수 있다.
다음으로, 컨트롤러(550)는 줌 배율(m)에 근거하여 파셜 디코더에 내장된 스케일러의 스케일링 배율(K)을 결정한다(S903). 일 예로서, 스케일 배율(K)은 오리지널 이미지 데이터의 사이즈를 디스플레이될 기기의 해상도로 나눈 결과를 줌 배율로 나눈 값보다 큰 값으로 픽셀 블록에서의 가장 근접된 정수 분주 배율로 결정할 수 있다.
그리고 나서, 파셜 디코더(520)에서 오리지널 이미지에 대하여 디코딩 처리를 실행한다(S904).
다음으로, 단계903(S903)에서 결정된 스케일 배율(K)을 적용하여 디코딩 처리 과정에서 스케일링 처리를 실행한다(S905).
다음으로, 스케일링 처리된 디코딩 데이터들 중에서 파셜 디코딩 영역 정보(P)가 나타내는 영역에 포함된 데이터만을 프레임 메모리2(530-2)에 라이트한다(S906). 이에 따라서, 줌 기능이 선택에 따라 디스플레이 될 부분에 포함된 디코딩 데이터만이 프레임 메모리2(530-2)에 라이트 된다.
다음으로, 프레임 메모리2(530-2)에서 데이터를 읽어내어 디스플레이 기기의 사양에 맞도록 비디오 프로세서(540)에서 신호처리한 후에 최종적으로 디스플레이 기기로 출력한다(S907).
이와 같이, 줌 기능 선택 시에 파셜 디코딩 처리와 스케일링 처리가 연동하여 동작함으로써, 도 12와 같은 버티컬 사이즈가 과도하게 큰 이미지도 작은 용량의 메모리를 이용하여 선명한 줌 화면을 생성시킬 수 있게 된다.
도 10에는 줌 기능을 처리하는 다른 실시 예에 대한 흐름도가 제시되어 있다.
컨트롤러(550)는 사용자 인터페이스부(560)를 통하여 줌 기능이 선택되었는지를 판단한다(S1001).
단계1001(S1001)의 판단 결과 줌 기능이 선택된 경우에, 컨트롤러(550)는 목표 줌 배율에 따라 파셜 디코딩 처리를 실행하도록 파셜 디코더(520)를 제어한 다(S1004). 즉, 도 9의 단계902(S902) ~ 단계906(S906)과 같은 동작을 실행한다.
그리고, 컨트롤러(550)는 단계1004(S1004)를 실행하는 것과 동시에 프레임 메모리1(530-1)에 저장된 데이터를 읽어내어 줌 배율로 스케일 업(scale-up) 처리를 실행하도록 비디오 프로세서(540)를 제어한다(S1002). 스케일 업 처리는 단순 보간 방법에 의하여 수행될 수 있다. 단순 보간 방법에 의한 스케일 업 처리 시간은 오리지널 이미지 데이터에 대하여 새로운 파셜 디코딩 처리 시간보다 짧게 걸린다.
컨트롤러(550)는 단계1002(S1002)에서 스케일 업 처리된 데이터를 디스플레이 기기로 출력하도록 비디오 프로세서(540)를 제어한다(S1003).
단계1003(S1003)에 의한 디스플레이 처리를 실행하면서 단계1004(S1004)에 의한 파셜 디코딩 처리가 완료되는지를 판단한다(S1005).
단계1005(S1005)의 판단 결과 파셜 디코딩 처리가 완료된 경우에는, 줌 기능 선택에 따라서 새로 파셜 디코딩 처리된 데이터를 이용하여 디스플레이시킨다(S1006).
도 10의 흐름도에 따르면, 줌 기능이 선택되면 프레임 버퍼에 이미 저장되어 있는 데이터를 단순 보간하여 빠른 시간 내에 1차적으로 저화질의 줌 화면을 출력시킨 후에, 줌 기능에 따라 오리지널 이미지 데이터를 새로 파셜 디코딩 처리하여 2차적으로 고화질의 줌 화면을 출력시키게 된다.
도 11에는 본 발명의 일실시 예에 따른 순차적 줌 기능의 구현 방법이 시계열적으로 도시되어 있다.
컨트롤러(550)는 사용자 인터페이스부(560)를 통하여 줌 기능이 선택되었는지를 판단한다(S1101).
단계1101(S1101)의 판단 결과 줌 기능이 선택된 경우에, 컨트롤러(550)는 목표 줌 배율에 따라 파셜 디코딩 처리를 실행하도록 파셜 디코더(520)를 제어한다(S1108). 즉, 도 9의 단계902(S902) ~ 단계906(S906)과 같은 동작을 실행한다.
그리고, 컨트롤러(550)는 단계1108(S1108)을 실행하는 것과 동시에 프레임 메모리1(530-1)에 저장된 데이터를 읽어내어 순차적인 스케일 업(scale-up) 처리를 실행하도록 초기 설정된 줌 배율(m0)에 순차적으로 증가시킬 단위 줌 배율(△m)을 더하여 적용할 줌 배율(m)을 산출한다(S1102).
다음으로, 컨트롤러(550)는 프레임 메모리1(530-1)에 저장된 데이터를 읽어내어 산출된 줌 배율(m)에 상응하는 스케일 업(scale-up) 처리를 실행하도록 비디오 프로세서(540)를 제어한다(S1103).
컨트롤러(550)는 단계1103(S1103)에서 스케일 업 처리된 데이터를 디스플레이 기기로 출력하도록 비디오 프로세서(540)를 제어한다(S1104).
그리고 나서, 컨트롤러(550)는 현재 적용된 줌 배율(m)이 목표 줌 배율(m_target)에 도달되었는지를 판단한다(S1105).
단계1105(S1105)의 판단 결과 현재 적용된 줌 배율(m)이 목표 줌 배율(m_target)에 도달되지 않은 경우에는 현재 적용된 줌 배율(m)에 단위 줌 배율(△m)을 더하여 새로운 줌 배율을 산출한다(S1106).
그리고 나서, 일정 시간 대기한 후에(S1107), 단계1106(S1106)에서 산출한 새로운 줌 배율을 적용하여 단계1103(S1103)을 다시 실행한다.
만일 단계1105(S1105)의 판단 결과 현재 적용된 줌 배율(m)이 목표 줌 배율(m_target)에 도달된 경우에, 컨트롤러(550)는 목표 줌 배율을 적용하여 오리지널 이미지에 대한 파셜 디코딩 처리가 완료되었는지를 판단한다(S1109).
단계1109(S1109)의 판단 결과 목표 줌 배율을 적용하여 오리지널 이미지에 대한 파셜 디코딩 처리가 완료된 경우에, 컨트롤러(550)는 현재 적용된 줌 배율(m)이 목표 줌 배율(m_target)에 도달되었는지를 판단한다(S1110).
단계1110(S1110)의 판단 결과 현재 적용된 줌 배율(m)이 목표 줌 배율(m_target)에 도달된 경우에는 목표 줌 배율에 따라서 새로 파셜 디코딩 처리된 데이터를 이용하여 디스플레이시킨다(S1110).
도 11의 흐름도에 따르면, 순차적인 줌 기능이 선택되면 순차적으로 증가되는 줌 배율에 따라 프레임 버퍼에 이미 저장되어 있는 데이터를 단순 보간하여 순차적으로 확대시킨 줌 화면을 1차적으로 출력시키고, 목표 줌 배율에 따라 오리지널 이미지 데이터를 새로 파셜 디코딩 처리하여 최종적으로 고화질의 줌 화면을 출력시키게 된다.
이에 따라서, 도 13에 도시된 바와 같이, 순차적 줌 기능에 따라서 1차적으로 줌 1단계, 줌 3단계 및 줌 5단계로 나누어 프레임 버퍼에 이미 저장되어 있는 데이터를 단순 보간하여 확대시킨 화면을 순차적으로 출력시키고 나서, 최종적인 줌 5단계의 목표 줌 배율에 따라 오리지널 이미지 데이터를 새로 파셜 디코딩 처리 한 데이터를 적용하여 최종적으로 선명한 고화질의 줌 화면을 출력시킨다.
도 1은 일반적인 디코딩 처리 과정에 따른 이미지의 데이터 사이즈 변화를 보여주는 개념도이다.
도 2는 본 발명의 디코딩 처리 과정에 따른 이미지의 데이터 사이즈 변화를 보여주는 개념도이다.
도 3은 본 발명의 개선된 디코딩 처리 과정에 따른 이미지의 데이터 사이즈 변화를 보여주는 개념도이다.
도 4는 본 발명에서 제안하는 파셜 디코딩 개념을 설명하기 위한 도면이다.
도 5는 본 발명의 일실시 예에 따른 이미지 데이터 처리 장치의 구성도이다.
도 6A는 도 5에 도시된 파셜 디코더의 일실시 예에 따른 세부 구성도이다.
도 6B는 도 5에 도시된 파셜 디코더의 다른 실시 예에 따른 세부 구성도이다.
도 6C는 도 5에 도시된 파셜 디코더의 또 다른 실시 예에 따른 세부 구성도이다.
도 7A는 8X8 단위 픽셀 블록에서 역 이산 코사인 변환에 DC 성분의 데이터만을 이용하는 예를 보여주는 도면이다.
도 7B는 8X8 단위 픽셀 블록에서 역 이산 코사인 변환에 DC 성분과 3개의 AC 성분의 데이터만을 이용하는 예를 보여주는 도면이다.
도 8은 본 발명의 일실시 예에 따른 이미지 디코딩 방법의 흐름도이다.
도 9는 본 발명의 일실시 예에 따른 이미지 데이터 처리 방법의 흐름도이다.
도 10은 본 발명의 다른 실시 예에 따른 이미지 데이터 처리 방법의 흐름도이다.
도 11은 본 발명의 또 다른 실시 예에 따른 이미지 데이터 처리 방법의 흐름도이다.
도 12는 본 발명에 따른 줌 기능을 설명하기 위한 화상 도면이다.
도 13은 본 발명에 따른 순차적 줌 기능을 설명하기 위한 화상 도면이다.

Claims (27)

  1. 디코딩 처리된 이미지 데이터를 저장하는 프레임 버퍼; 및
    오리지널 이미지 데이터를 디코딩 처리하고, 상기 오리지널 이미지 데이터 중에서 디스플레이 될 부분에 포함된 이미지 데이터의 사이즈와 디스플레이 될 기기의 해상도에 근거하여 결정된 스케일 배율로 디코딩 처리 과정에서 데이터를 스케일링 처리하고, 상기 스케일링 처리된 디코딩 데이터들 중에서 디스플레이 될 부분에 포함된 디코딩 데이터들만을 상기 프레임 버퍼에 라이트하는 파셜 디코더를 포함함을 특징으로 하는 이미지 디코딩 장치.
  2. 제1항에 있어서, 상기 오리지널 이미지 데이터는 압축된 정지 이미지 데이터를 포함함을 특징으로 하는 이미지 디코딩 장치.
  3. 제1항에 있어서, 상기 스케일링 처리는 외부 메모리를 경유하지 않고 파셜 디코더에서 직접 실행함을 특징으로 하는 이미지 디코딩 장치.
  4. 제1항에 있어서, 상기 스케일 배율은 오리지널 이미지 데이터의 사이즈를 디스플레이될 기기의 해상도로 나눈 결과를 줌 배율로 나눈 값보다 큰 값으로 픽셀 블록에서의 가장 근접된 정수 분주 배율로 결정함을 특징으로 하는 이미지 디코딩 장치.
  5. 제1항에 있어서, 상기 파셜 디코더는
    상기 오리지널 이미지 데이터를 입력하여, 상기 허프만 코딩 과정을 역으로 실행하는 허프만 역변환부;
    상기 허프만 역변환 처리된 데이터를 입력하여, 양자화 처리를 역으로 실행하는 역양자화부;
    상기 역 양자화 처리된 데이터를 입력하여 이산 코사인 변환 처리를 역으로 실행하는 역 이산 코사인 변환 처리부;
    상기 오리지널 이미지 데이터 중에서 디스플레이 될 부분에 포함된 이미지 데이터의 사이즈와 디스플레이 될 기기의 해상도에 근거하여 결정된 스케일 배율로 상기 역 이산 코사인 변환된 데이터들을 스케일링하는 스케일러; 및
    상기 스케일러에서 출력되는 스케일링된 역 이산 코사인 변환 처리된 데이터들 중에서 디스플레이 될 부분에 포함된 데이터들만을 프레임 버퍼에 라이트하도록 제어하는 메모리 라이팅 제어부를 포함함을 특징으로 하는 이미지 디코딩 장치.
  6. 제1항에 있어서, 상기 파셜 디코더는
    상기 오리지널 이미지 데이터를 입력하여, 상기 허프만 코딩 과정을 역으로 실행하는 허프만 역변환부;
    상기 허프만 역변환 처리된 데이터를 입력하여, 양자화 처리를 역으로 실행하는 역양자화부;
    상기 오리지널 이미지 데이터 중에서 디스플레이 될 부분에 포함된 이미지 데이터의 사이즈와 디스플레이 될 기기의 해상도에 근거하여 결정된 스케일 배율로 상기 역양자화부에서 처리된 단위 픽셀 블록에 포함된 데이터들 중에서 일부 데이터만을 추출하도록 제어하는 스케일링 제어부;
    상기 역 양자화 처리된 데이터들 중에서 상기 스케일링 제어부의 제어에 따라서 추출된 일부 데이터만을 이용하여 해당 단위 픽셀 블록에 대한 이산 코사인 변환 처리를 역으로 실행하는 역 이산 코사인 변환 처리부; 및
    상기 역 이산 코사인 변환 처리된 데이터들 중에서 디스플레이 될 부분에 포함된 데이터들만을 프레임 버퍼에 라이트하도록 제어하는 메모리 라이팅 제어부를 포함함을 특징으로 하는 이미지 디코딩 장치.
  7. 제1항에 있어서, 상기 파셜 디코더는
    상기 오리지널 이미지 데이터를 입력하여, 상기 허프만 코딩 과정을 역으로 실행하는 허프만 역변환부;
    상기 허프만 역변환 처리된 데이터를 입력하여, 양자화 처리를 역으로 실행하는 역양자화부;
    상기 오리지널 이미지 데이터 중에서 디스플레이 될 부분에 포함된 이미지 데이터의 사이즈와 디스플레이 될 기기의 해상도에 근거하여 결정된 제2스케일 배율로 상기 역양자화부에서 처리된 단위 픽셀 블록에 포함된 데이터들 중에서 일부 데이터만을 추출하도록 제어하는 스케일링 제어부;
    상기 역 양자화 처리된 데이터들 중에서 상기 스케일링 제어부의 제어에 따라서 추출된 일부 데이터만을 이용하여 해당 단위 픽셀 블록에 대한 이산 코사인 변환 처리를 역으로 실행하는 역 이산 코사인 변환 처리부;
    상기 오리지널 이미지 데이터 중에서 디스플레이 될 부분에 포함된 이미지 데이터의 사이즈와 디스플레이 될 기기의 해상도에 근거하여 결정된 제1스케일 배율로 상기 역 이산 코사인 변환된 데이터들을 스케일링하는 스케일러; 및
    상기 스케일러에서 출력되는 스케일링된 역 이산 코사인 변환 처리된 데이터들 중에서 디스플레이 될 부분에 포함된 데이터들만을 프레임 버퍼에 라이트하도록 제어하는 메모리 라이팅 제어부를 포함함을 특징으로 하는 이미지 디코딩 장치.
  8. 디코딩 처리된 이미지 데이터를 저장하는 프레임 버퍼;
    오리지널 이미지 데이터를 디코딩 처리하고, 디코딩 처리 과정에서 데이터를 스케일 배율에 따라서 스케일링 처리하고, 상기 스케일링 처리된 디코딩 데이터들 중에서 디스플레이 될 영역에 포함된 디코딩 데이터들만을 상기 프레임 버퍼에 라이트하는 파셜 디코더;
    상기 프레임 버퍼로부터 읽어낸 데이터를 디스플레이 사양에 적합하도록 신호 처리를 하는 비디오 프로세서; 및
    상기 오리지널 이미지 데이터 중에서 디스플레이 될 부분에 포함된 이미지 데이터의 사이즈와 디스플레이 될 기기의 해상도에 근거하여 상기 파셜 디코더에서 적용되는 스케일 배율을 생성시키고, 줌 기능이 선택되는 경우에 줌 배율에 따라서 오리지널 이미지에서 디스플레이 될 부분을 나타내는 영역에 대한 정보인 상기 파셜 디코딩 영역 정보를 생성시키도록 제어하는 컨트롤러를 포함함을 특징으로 하는 이미지 데이터 처리 장치.
  9. 제8항에 있어서, 상기 파셜 디코더는 상기 스케일 배율에 따라서 역양자화 처리된 단위 픽셀 블록에 포함된 데이터들 중에서 일부 데이터만을 추출하여 역 이산 코사인 변환 처리함을 특징으로 하는 이미지 데이터 처리 장치.
  10. 제8항에 있어서, 상기 파셜 디코더는 역 이산 코사인 변환 처리된 데이터들을 상기 스케일 배율에 따라서 스케일링 처리함을 특징으로 하는 이미지 데이터 처리 장치.
  11. 제8항에 있어서, 상기 비디오 프로세서는 상기 프레임 버퍼로부터 읽어낸 데이터를 디스플레이 될 기기의 해상도에 맞도록 스케일링 처리함을 특징으로 하는 이미지 데이터 처리 장치.
  12. 제8항에 있어서, 상기 컨트롤러는 오리지널 이미지 데이터의 사이즈를 디스플레이 될 기기의 해상도로 나눈 결과를 줌 배율로 나눈 값보다 큰 값으로 픽셀 블록에서의 가장 근접된 정수 분주 배율로 상기 스케일 배율을 결정함을 특징으로 하는 이미지 데이터 처리 장치.
  13. 제8항에 있어서, 상기 컨트롤러는 일반 모드에서는 파셜 디코더에서 디코딩 데이터는 상기 프레임 버퍼의 프레임 메모리1에 저장하고, 줌 모드에서는 줌 배율에 따라서 생성된 스케일 배율 및 파셜 디코딩 영역 정보에 따라서 상기 파셜 디코더에서 처리된 새로운 디코딩 데이터를 상기 프레임 버퍼의 프레임 메모리2에 저장하도록 제어하고, 상기 비디오 프로세서는 상기 줌 배율에 따른 새로운 디코딩 처리가 완료되기 전까지는 상기 프레임 메모리1에서 읽어낸 데이터를 이용하여 스케일링 처리하여 출력하고, 상기 새로운 디코딩 처리가 완료된 후에는 상기 프레임 메모리2에서 읽어낸 데이터를 이용하여 스케일링 처리하여 출력하도록 제어함을 특징으로 하는 이미지 데이터 처리 장치.
  14. 제8항에 있어서, 상기 비디오 프로세서는 상기 줌 배율에 따른 새로운 디코딩 처리가 완료되기 전까지는 상기 프레임 메모리1에서 줌 배율에 따라서 디스플레이 될 영역에 포함된 데이터들만을 읽어내고, 디스플레이 될 기기의 해상도에 맞추어 상기 읽어낸 데이터들을 보간 처리함을 특징으로 하는 이미지 데이터 처리 장치.
  15. 오리지널 이미지 데이터 중에서 디스플레이 될 부분에 포함된 이미지 데이터의 사이즈와 디스플레이 될 기기의 해상도에 근거하여 스케일 배율 및 오리지널 이미지 데이터 중에서 디스플레이 될 영역을 나타내는 파셜 디코딩 영역 정보를 산출 하는 단계;
    상기 오리지널 이미지 데이터를 디코딩 처리하면서, 디코딩 처리 과정에서 생성되는 데이터를 상기 스케일 배율을 적용하여 스케일링 처리하는 단계; 및
    상기 스케일링 처리된 디코딩 데이터들 중에서 상기 파셜 디코딩 영역 정보에 상응하는 영역에 포함된 디코딩 데이터들만을 프레임 버퍼에 저장하는 단계를 포함함을 특징으로 하는 이미지 디코딩 방법.
  16. 제15항에 있어서, 상기 오리지널 이미지 데이터는 압축된 정지 이미지 데이터를 포함함을 특징으로 하는 이미지 디코딩 방법.
  17. 제15항에 있어서, 상기 스케일 배율은 오리지널 이미지 데이터의 사이즈를 디스플레이 될 기기의 해상도로 나눈 결과를 줌 배율로 나눈 값보다 큰 값으로 픽셀 블록에서의 가장 근접된 정수 분주 배율로 결정함을 특징으로 하는 이미지 디코딩 방법.
  18. 제15항에 있어서, 상기 스케일링 처리하는 단계는 역양자화 처리된 단위 픽셀 블록에 포함된 데이터들 중에서 상기 스케일 배율에 따라서 일부 데이터만을 추출하여 역 이산 코사인 변환 처리하는 방식으로 스케일링 처리를 실행함을 특징으로 하는 이미지 디코딩 방법.
  19. 제15항에 있어서, 상기 스케일링 처리하는 단계는 역 이산 코사인 변환 처리된 데이터들을 상기 스케일 배율에 따라서 스케일링 처리함을 특징으로 하는 이미지 디코딩 방법.
  20. 제15항에 있어서, 상기 프레임 버퍼에서 데이터를 읽어내어 디스플레이 기기의 해상도에 맞추도록 스케일링 처리를 실행하는 단계를 더 포함함을 특징으로 하는 이미지 디코딩 방법.
  21. 줌 기능이 선택되는지를 판단하는 단계;
    상기 판단 결과 줌 기능이 선택되는 경우에, 줌 배율에 따라서 오리지널 이미지 데이터 중에서 디스플레이 될 부분에 포함된 이미지 데이터의 사이즈와 디스플레이 될 기기의 해상도에 근거하여 스케일 배율 및 오리지널 이미지 데이터 중에서 디스플레이 될 영역을 나타내는 파셜 디코딩 영역 정보를 산출하는 단계;
    오리지널 이미지 데이터에 대하여 상기 스케일 배율 및 파셜 디코딩 영역 정보를 적용하여 새로운 파셜 디코딩 처리하는 단계; 및
    상기 새로운 파셜 디코딩 처리된 데이터를 디스플레이 기기의 규격에 적합하도록 처리하여 출력시키는 단계를 포함함을 특징으로 하는 이미지 데이터 처리 방법.
  22. 제21항에 있어서, 상기 줌 기능이 선택되고 나서 상기 새로운 파셜 디코딩 처리가 완료되지 전까지 일반 모드에서 상기 오리지널 이미지 데이터에 대하여 디코딩 처리되어 프레임 버퍼에 저장되어 있는 데이터를 이용하여 스케일 업 처리하여 줌 이미지를 디스플레이시키는 단계를 더 포함함을 특징으로 하는 이미지 데이터 처리 방법.
  23. 제22항에 있어서, 상기 새로운 파셜 디코딩 처리가 완료된 후에는 상기 새로운 파셜 디코딩 처리된 데이터를 이용하여 줌 이미지를 디스플레이시킴을 특징으로 하는 이미지 데이터 처리 방법.
  24. 제21항에 있어서, 상기 스케일 배율은 오리지널 이미지 데이터의 사이즈를 디스플레이 될 기기의 해상도로 나눈 결과를 줌 배율로 나눈 값보다 큰 값으로 픽셀 블록에서의 가장 근접된 정수 분주 배율로 결정함을 특징으로 하는 이미지 데이터 처리 방법.
  25. 제21항에 있어서, 상기 새로운 파셜 디코딩 처리하는 단계는 상기 오리지널 이미지 데이터를 디코딩 처리하면서, 디코딩 처리 과정에서 상기 스케일 배율을 적용하여 스케일링 처리하고, 스케일링 처리된 디코딩 데이터들 중에서 상기 파셜 디코딩 영역 정보에 상응하는 영역에 포함된 디코딩 데이터들만을 프레임 버퍼에 저장함을 특징으로 하는 이미지 데이터 처리 방법.
  26. 제21항에 있어서, 상기 줌 기능에 포함된 순차적 줌 기능이 선택된 경우에, 일반 모드에서 상기 오리지널 이미지 데이터에 대하여 디코딩 처리되어 프레임 버퍼에 저장되어 있는 데이터를 이용하여 순차적인 배율로 스케일 업 처리하여 순차적인 줌 이미지를 디스플레이시키는 단계를 더 포함하고, 상기 순차적인 배율이 목표 배율에 도달된 경우에는 상기 새로운 파셜 디코딩 처리된 데이터를 이용하여 목표 줌 배율에 상응하는 줌 이미지를 생성시킴을 특징으로 하는 이미지 데이터 처리 방법.
  27. 제15항 내지 제26항 중에 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 저장매체.
KR1020080079927A 2008-08-14 2008-08-14 이미지 디코딩 장치 및 방법과 이를 이용한 이미지 데이터 처리 장치 및 방법 KR20100021168A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020080079927A KR20100021168A (ko) 2008-08-14 2008-08-14 이미지 디코딩 장치 및 방법과 이를 이용한 이미지 데이터 처리 장치 및 방법
US12/540,624 US8503827B2 (en) 2008-08-14 2009-08-13 Apparatus and method for decoding image data
TW098127492A TW201012229A (en) 2008-08-14 2009-08-14 Apparatus and method for decoding image data
EP09010492A EP2154899A3 (en) 2008-08-14 2009-08-14 Decoding and scaling images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080079927A KR20100021168A (ko) 2008-08-14 2008-08-14 이미지 디코딩 장치 및 방법과 이를 이용한 이미지 데이터 처리 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20100021168A true KR20100021168A (ko) 2010-02-24

Family

ID=41681311

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080079927A KR20100021168A (ko) 2008-08-14 2008-08-14 이미지 디코딩 장치 및 방법과 이를 이용한 이미지 데이터 처리 장치 및 방법

Country Status (3)

Country Link
US (1) US8503827B2 (ko)
KR (1) KR20100021168A (ko)
TW (1) TW201012229A (ko)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9076239B2 (en) 2009-04-30 2015-07-07 Stmicroelectronics S.R.L. Method and systems for thumbnail generation, and corresponding computer program product
JP2011244031A (ja) * 2010-05-14 2011-12-01 Fujifilm Corp 画像データ伸張装置および画像データ圧縮装置，ならびにそれらの動作制御方法
US9634690B2 (en) * 2010-09-30 2017-04-25 Alcatel Lucent Method and apparatus for arbitrary resolution video coding using compressive sampling measurements
JP5385953B2 (ja) * 2011-08-05 2014-01-08 株式会社ソニー・コンピュータエンタテインメント 画像処理装置
KR20140016760A (ko) * 2012-07-31 2014-02-10 삼성전자주식회사 영상 처리 장치 및 영상 처리 방법
JP6129574B2 (ja) * 2013-02-13 2017-05-17 ルネサスエレクトロニクス株式会社 画像処理装置
KR102136848B1 (ko) 2013-07-15 2020-07-22 삼성전자 주식회사 영상 처리 장치, 영상 처리 시스템 및 영상 처리 방법
KR102057504B1 (ko) 2013-07-24 2020-01-22 삼성전자주식회사 어플리케이션 프로세서, 이를 구비하는 모바일 디바이스 및 전력 관리 방법
KR20150029121A (ko) 2013-09-09 2015-03-18 삼성전자주식회사 디스플레이장치 및 그 이미지 처리방법
TWI512675B (zh) * 2013-10-02 2015-12-11 Mstar Semiconductor Inc 影像處理裝置與方法
US9563806B2 (en) 2013-12-20 2017-02-07 Alcatel Lucent Methods and apparatuses for detecting anomalies using transform based compressed sensing matrices
US9600899B2 (en) 2013-12-20 2017-03-21 Alcatel Lucent Methods and apparatuses for detecting anomalies in the compressed sensing domain
US9948935B2 (en) * 2014-01-30 2018-04-17 Panasonic Corporation Image decoding apparatus, image transmission apparatus, image processing system, image decoding method, and image transmission method using range information
US20150350565A1 (en) * 2014-05-29 2015-12-03 Opentv, Inc. Techniques for magnifying a high resolution image
US9894324B2 (en) 2014-07-15 2018-02-13 Alcatel-Lucent Usa Inc. Method and system for modifying compressive sensing block sizes for video monitoring using distance information
WO2016060268A1 (ja) 2014-10-17 2016-04-21 株式会社リコー 車両用画像表示システム
US9930354B2 (en) * 2015-12-11 2018-03-27 Google Llc Skip scanlines on JPEG image decodes
US11025942B2 (en) 2018-02-08 2021-06-01 Samsung Electronics Co., Ltd. Progressive compressed domain computer vision and deep learning systems
CN108961165B (zh) * 2018-07-06 2021-03-09 北京百度网讯科技有限公司 用于加载图像的方法和装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7062098B1 (en) * 2000-05-12 2006-06-13 International Business Machines Corporation Method and apparatus for the scaling down of data
US20030222998A1 (en) * 2000-12-20 2003-12-04 Satoru Yamauchi Digital still camera system and method
AUPS271002A0 (en) * 2002-05-31 2002-06-20 Canon Kabushiki Kaisha Embedding a multiresolution compressed thumbnail image in a compressed image file
CN1655620B (zh) * 2004-02-09 2010-09-22 三洋电机株式会社 图像显示装置
JP4510702B2 (ja) * 2005-05-31 2010-07-28 富士フイルム株式会社 高速画像縮小装置および方法
US7773816B2 (en) * 2006-04-17 2010-08-10 Mediatek Inc. Systems and methods for decoding large images
JP4866666B2 (ja) 2006-06-22 2012-02-01 日産自動車株式会社 車両用カーペット端末取付構造及びその構築方法
KR100839504B1 (ko) 2007-02-23 2008-06-19 삼성전자주식회사 이미지를 디코딩하는 방법, 이를 수행하는 이미지 디코더및 이를 포함하는 모바일 장치

Also Published As

Publication number Publication date
TW201012229A (en) 2010-03-16
US20100040299A1 (en) 2010-02-18
US8503827B2 (en) 2013-08-06

Similar Documents

Publication Publication Date Title
KR20100021168A (ko) 이미지 디코딩 장치 및 방법과 이를 이용한 이미지 데이터 처리 장치 및 방법
US8873631B2 (en) Video decoding device, video decoding method, video decoding program, and video decoding integrated circuit
JP4782181B2 (ja) エントロピー復号化回路、エントロピー復号化方法、およびパイプライン方式を利用したエントロピー復号化方法
JP4682102B2 (ja) 画像符号化装置及び画像符号化方法
CN102282851B (zh) 图像处理装置、解码方法、帧内解码装置、帧内解码方法以及帧内编码装置
JP4455364B2 (ja) 解像度変換方法及び装置
TW201127065A (en) Moving image encoding device, method, and program, and moving image decoding device, method, and program
TW525391B (en) Method and apparatus for performing motion compensation in a texture mapping engine
US20070263939A1 (en) Variable length decoding device, variable length decoding method and image capturing system
KR20220112668A (ko) 이미지 요소 예측 방법, 인코더, 디코더 및 저장 매체
JP2005102144A (ja) Ｍｐｅｇのデータ処理装置
JP6186429B2 (ja) 情報処理装置、制御方法、プログラム、及び記録媒体
KR101811774B1 (ko) 그래픽 처리 장치 및 방법
JP4109151B2 (ja) 画像処理装置
EP2154899A2 (en) Device and method for decoding image data
JP5019054B2 (ja) 画像復号方法、その装置及びプログラム
KR100451257B1 (ko) Ｍｐｅｇ-4에 있어서 이산여현변환된 ａｃ/ｄｃ 계수의복원회로 및 방법
JP6490272B2 (ja) 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
JP6377222B2 (ja) 情報処理装置、制御方法、プログラム、及び記録媒体
CN104980751A (zh) 图像数据处理装置及图像数据处理的方法
JP2018023034A (ja) 超解像フレーム選択装置、超解像装置、及びプログラム
KR20170046279A (ko) 디코딩 장치, 전자 장치 및 그 제어 방법
CN117480507A (zh) 根据应用基于ai来回放图像的电子装置以及用于通过该电子装置来回放图像的方法
JPH0955946A (ja) 動画像信号復号装置
JP5332329B2 (ja) 特定領域を等倍出力する機能を持ったダウンデコード装置

Legal Events

Date Code Title Description
A201 Request for examination
E601 Decision to refuse application