KR100603592B1 - 영상 화질 향상 인자를 이용한 지능형 파문 스캔 장치 및 그 방법과 그를 이용한 영상 코딩/디코딩 장치 및 그 방법 - Google Patents

영상 화질 향상 인자를 이용한 지능형 파문 스캔 장치 및 그 방법과 그를 이용한 영상 코딩/디코딩 장치 및 그 방법 Download PDF

Info

Publication number
KR100603592B1
KR100603592B1 KR20020053957A KR20020053957A KR100603592B1 KR 100603592 B1 KR100603592 B1 KR 100603592B1 KR 20020053957 A KR20020053957 A KR 20020053957A KR 20020053957 A KR20020053957 A KR 20020053957A KR 100603592 B1 KR100603592 B1 KR 100603592B1
Authority
KR
South Korea
Prior art keywords
ripple
value
image
encoding
decoding
Prior art date
Application number
KR20020053957A
Other languages
English (en)
Other versions
KR20030043612A (ko
Inventor
정원식
김규헌
박광훈
이윤진
김진웅
안치득
Original Assignee
학교법인 고황재단
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 학교법인 고황재단, 한국전자통신연구원 filed Critical 학교법인 고황재단
Publication of KR20030043612A publication Critical patent/KR20030043612A/ko
Application granted granted Critical
Publication of KR100603592B1 publication Critical patent/KR100603592B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/112—Selection of coding mode or of prediction mode according to a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Abstract

1. 청구범위에 기재된 발명이 속한 기술분야
지능형 파문 스캔 장치 및 그 방법과 그를 이용한 영상 코딩/디코딩 장치 및 그 방법과 상기 방법들을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것임.
2. 발명이 해결하고자 하는 기술적 과제
특정 부분 위치의 화질을 인간의 시각 시스템(HVS : Human Visual System)에 적합하게 영상 정보를 전달하여 시각적으로 우수한 화질을 얻을 수 있도록 우선적으로 코딩을 수행하여야 하는 부분의 영상 화질을 선택적으로 향상하는 방법 및 장치와, 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공함.
3. 발명의 해결 방법의 요지
영상 인코딩 장치에 있어서, 인코딩되는 영상에 대해 부분별로 인간 시각 시스템에 적합한 다양한 화질로 처리되도록 상기 영상의 특정 부분의 위치의 중요도에 따라 처리하는 정보의 양을 달리하는 것을 특징으로 함.
4. 발명의 중요한 용도
영상 인코딩/디코딩에 이용됨.
파문 스캔, 인코딩, 디코딩, Quality Factor

Description

영상 화질 향상 인자를 이용한 지능형 파문 스캔 장치 및 그 방법과 그를 이용한 영상 코딩/디코딩 장치 및 그 방법{Intelligent Water ring scan apparatus and method using Quality Factor, video coding/decoding apparatus and method using that}
도1a는 종래의 미세입자 신축형 코딩 방법의 인코더의 일실시예 구조도,
도1b는 종래의 미세입자 신축형 코딩 방법의 디코더의 일실시예 구조도,
도2a는 종래의 DCT를 이용한 영상 및 동영상 코딩 방법에서 래스터스캔 순서의 일예시도,
도2b는 종래의 래스터스캔 순서를 신축형 코딩 방법에 적용한 일예시도,
도3은 파문 스캔 순서에 대한 기본 원리를 설명하기 위한 개념도,
도4는 영상의 영역 관심도와 파문의 크기와의 관계를 설명하기 위한 그래프,
도5는 파문 발생 위치와 영상의 영역 관심도에 따른 Quality Factor와의 관계를 설명하기 위한 개념도,
도6a는 본 발명에 따른 QF가 적용된 파문 스캔 데이터 처리 과정을 설명하기 위한 일실시예 흐름도,
도6b는 본 발명에 따른 QF가 적용된 파문 스캔 데이터 처리 장치에 대한 일실시예 구성도,
도7a는 본 발명에 따른 QF가 적용된 파문 스캔 인코딩 과정을 설명하기 위한 다른 일실시예 흐름도,
도7b는 도7a의 인코더 구성도,
도8a는 본 발명에 따른 QF가 적용된 파문 스캔 디코딩 과정을 설명하기 위한 다른 일실시예 흐름도,
도8b는 도8a의 디코더 구성도,
도9a는 파문 발생 위치로서 설정된 절대위치를 설명하기 위한 개념도,
도9b는 파문 발생 위치로서 설정된 영상중앙부와의 상대위치를 설명하기 위한 개념도,
도9c는 파문 발생 위치로서 설정된 이전 프레임의 파문 발생 위치에 대한 상대 위치를 설명하기 위한 개념도,
도10은 파문(i) 과 QF와의 관계를 설명하기 위한 도면,
도11은 파문(i)별 QF 테이블의 일실시예를 나타내는 도면,
도12는 인코더에서 디코더로 전송되는 파문(i)별 Quality Factor(QF) 테이블로서 FLC 테이블의 일실시예를 나타내는 도면,
도13은 도12의 FLC 테이블 생성 과정을 설명하기 위한 일실시예의 흐름도,
도14는 파문(i)별 QF 테이블 이용 과정을 설명하기 위한 일실시예 흐름도,
도15a는 QF 값 결정 모델에 관련 파라미터를 적용한 결과를 설명하기 위한 테이블,
도15b는 QF 값 결정 모델에 관련 파라미터를 적용한 결과를 설명하기 위한 그래프,
도16은 QF 모델을 이용하여 QF 값을 결정하는 방법 및 장치를 나타내는 개념도,
도17은 파문(i)별 QF 모델 이용 과정을 설명하기 위한 일실시예 흐름도,
도18은 원형(정사각형) 파문형태와 타원형(직사각형) 파문 형태를 설명하기 위한 개념도,
도19는 정사각형 형태의 i번째 파문 발생 위치를 설명하기 위한 개념도,
도20은 래스터스캔을 이용하여 i번째 파문 발생 위치에 해당하는 데이터를 처리하는 데 있어서 인접 데이터 예측 방법을 사용하는 경우 예측 경로를 설명하기 위한 도면,
도21은 대체스캔을 이용하여 i번째 파문 발생 위치에 해당하는 데이터를 처리하는 과정을 설명하기 위한 도면,
도22는 대체스캔을 이용하여 i번째 파문 발생 위치에 해당하는 데이터를 처리하는 데 있어서 인접 데이터 예측 방법을 사용하는 경우 예측 경로를 설명하기 위한 도면,
도23은 직사각형 형태의 파문에서 코어 라인과 i번째 파문의 발생 위치를 나타내는 개념도,
도24a는 직사각형 형태의 파문 발생 과정을 설명하기 위한 일실시예 흐름 도,
도24b는 직사각형 형태의 파문 발생 장치에 대한 일실시예 구성도,
도25는 대체스캔을 이용하여 직사각형 형태의 파문 중에서 코어 라인의 파문 발생 위치와 i번째 파문 발생 위치에 해당하는 데이터를 처리하는 방법의 개요도,
도26은 대체스캔을 이용하여 직사각형 형태의 파문 중에서 코어 라인의 파문 발생 위치와 i번째 파문 발생 위치에 해당하는 데이터를 처리하는데 있어서 인접 데이터 예측 방법을 사용하는 경우 예측 경로를 도식화 한 도면,
도27은 지능형 파문 스캔 방법을 미세입자 신축형 코딩 방법에 적용한 경우의 인코더의 일실시예 구조도,
도28은 지능형 파문 스캔 방법을 미세입자 신축형 코딩 방법에 적용한 경우의 디코더의 일실시예 구조도이다.
본 발명은 지능형 파문 스캔 기술에 관한 것으로, 더욱 상세하게는 임의의 특정 위치의 영상 정보를 최우선적으로 스캔한 후에 바로 이웃하는 외각에 위치하는 영상 정보를 그 다음에 스캔하는 과정을 반복 수행하는 파문 스캔(Water Ring Scan) 기술을 이용하여 각각의 파문 별로 인간의 시각 시스템(HVS : Human Visual System)에 적합하게 영상 정보를 교환시킴으로써 열악한 전송환경에서도 화질을 향 상시킬 수 있는 장치 및 그 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것이다.
일반적으로 정지영상 및 동영상을 포함하는 영상의 코딩 방법에 있어서 신축형 코딩(Scalable Coding) 방법에 대한 요구가 폭발적으로 증가하고 있다.
언제 어디서나 누구에게나 영상정보를 이용하여 통신이 이루어질 수 있도록 하는 이동통신 서비스나, 무선 인터넷 등의 등장으로 사용자는 노트북, 팜탑, 개인휴대단말기(PDA) 등과 같은 다양한 컴퓨터와 접합된 정보 단말을 이용하여 원격지의 영상정보를 얻고 관리하고 변경할 수 있기를 원한다. 그러므로, 다양한 형태의 영상정보 등을 전달 하기 위한 포스트(Post) PC 등(예를 들어, IMT-2000 비디오폰, HDTV 등) 첨단 영상 단말 등이 앞으로 출시될 것이며, 출시될 영상정보 단말제품의 디코딩 능력이나 전송환경 등은, 각각의 단말기가 가져야 하는 특성이나 적용 환경 때문에 자연히 다르게 된다.
이때, 고려해야 할 사항은 수신 환경에 적합한 동영상을 어떤 방법으로 전송할 것인가 이다. 예를 들어, 낮은 품질의 디코더만을 상정하여 인코더에서 인코딩을 시행한다면, 높은 품질의 디코더를 가지고 있는 사용자는 고품질의 디코더로 낮은 품질의 영상을 전송 받게 되며, 이러한 상황이 발생하는 것은 누구도 원치 않는다. 즉, 고품질의 디코더를 가진 사용자는 당연히 고품질의 영상을 획득해야만 하고, 저 품질의 디코더를 가진 사람도 만족할 만한 수준의 영상을 전송 받을 수 있어야 한다.
또한, 수신단의 단말기의 성능(Computing power)이 우수하고 전송선로(Delivery Layer : 무선, ATM, LAN 등)의 상태가 좋을 때는 고화질의 동영상을 수신하여 표시(display)할 수 있지만, 수신기의 성능이 우수하지 않거나 통신 환경의 상태가 좋지 않을 때 등에는 고화질을 수신할 수 없게 된다.
이러한 문제를 해결하기 위하여 MPEG-4(Moving Picture Experts Group-4)에서는 신축형 코딩 방법을 이용하여 영상을 코딩 하여 전송하는데 있어서 수신자측의 단말기의 수신 환경이나 성능에 따라 다양한 화질을 제공할 수 있도록 설계되어 있다.
신축형 영상 코딩은 수신단에서 낮은 품질로부터 높은 품질까지 다양한 화질의 영상을 수신할 수 있도록 인코더에서 신축 가능한 비트 스트림(Bitstream)을 만들어서 전송하는 기술이다.
즉, 전송 비트 스트림이 신축 가능하다면 저성능(Low Performance) 수신기는 기본계층(Base Layer)에서 인코딩된 기본 화질의 영상 비트 스트림을 전송 받아 표시하도록 하고, 고성능(High Performance) 수신기는 강화계층(Enhancement Layer)에서 인코딩된 높은 화질의 영상 비트 스트림을 전송 받아 디스플레이 하도록 할 수 있다.
신축형 코딩 방법은, 기본적으로 크게 기본계층과 강화계층으로 구성된다. 인코더의 기본계층에서는 기본품질의 동영상 정보를 전송하고 있고, 인코더의 강화계층에서는 기본품질의 영상 정보에 더하여(additional) 수신단에 향상된 화질을 제공할 수 있는 정보를 전송함으로써, 수신단에서 기본계층 영상 정보와 강화계층 영상 정보를 기초로 고품질의 영상정보를 디코딩 할 수 있도록 하고 있다.
따라서, 수신단에서는 단말기의 성능이나 전송 환경에 따라 전송된 두 가지 계층의 영상정보를 선택하여 디코딩 하게 된다. 즉, 송신단에서 전송된 모든 정보를 수신기 성능 또는 전송 환경에 의해 디코더가 디코딩 할 수 없다면, 디코더는 최소 영상품질 보상계층인 기본계층에 대한 정보만을 디코딩하고, 나머지 강화계층에 해당하는 정보는 디코딩하지 않고 버리게 된다.
한편, 양호한 전송 환경에 있는 고품질의 수신기의 경우에는 모든 계층의 정보를 기초로 고품질의 영상을 구현하게 된다. 이로써 고품질의 디코더를 소유한 사용자와 저 품질의 디코더를 소유한 사용자 모두를 만족시킬 수 있는 영상 전송이 신축형 코딩 방법에 의해 가능하게 된다.
그러나, 기존의 신축형 코딩 방법은, 전송환경이 급변하지 않고 상대적으로 안정된 경우에 적합하도록 설계되어 있다. 즉, 수신단에서 강화계층에서 송신된 비트 스트림을 모두 수신한다는 전제로 영상 프레임을 복원할 수 있도록 설계되어 있다.
만약, 전송선로가 수용 가능한 비트 스트림의 대역폭(bandwidth)이 급변(예를 들어, 인터넷 등과 같은 전송선로에서 네트워크를 사용하는 클라이언트 수의 급증과 같은 외부 요인에 의하여 각 사용자에게 할당 가능한 대역폭이 급변)하여, 강화계층에 해당하는 비트 스트림을 수신기에서 모두 전송 받지 못한 경우에는 해당 영상을 제대로 복원할 수 없다. 이 경우, 수신단은 재전송을 송신단에 요구하거나 모든 비트 스트림을 수신할 때까지 영상 복원을 수행하지 못하거나, 또는 이전 프 레임의 영상을 이용하여 전송 오류 은폐(error concealment)를 수행하여야만 한다. 상기와 같이 전송환경의 상태가 불안하여 계획된 영상 비트 스트림을 실시간에 전송하지 못하는 경우가 유/무선 인터넷 등을 전송선로로 선택하였을 때 흔하게 나타난다.
따라서, 유/무선 인터넷과 같이 전송환경의 상태가 안정적이지 못하여 대역폭이 급변하는 경우에도 전송된 영상의 실시간 복원을 수행하기 위해서는, 송신단에서 전송된 모든 비트 스트림을 수신단에서 모두 수신하지 못한 경우에도 그때까지 수신된 부분적인 영상 비트 스트림만을 이용하여 전송 영상을 실시간으로 복원할 수 있어야 한다.
이를 위한 한 예로서, MPEG-4에서는 미세입자 신축(FGS : Fine Granular Scalability) 방법론을 제안하여 국제 표준안을 제정하고 있다. 부연 설명하면, 미세입자 신축형 코딩(Fine Granular Scalable coding) 방법은 신축형 코딩을 수행할 때, 전송환경의 상태가 안정적이지 못한 경우, 송신단의 기본계층 인코더와 강화계층 인코더에서 인코딩 되어 전송된 비트 스트림을 수신단에서 모두 수신하지 못한 경우에도 그때까지 수신된 부분적인 비트 스트림만을 이용하여 전송 영상의 복원이 가능하도록 하는 방법으로서, 안정된 전송선로만이 고려된 기존의 신축형 코딩 방법의 단점을 보완할 수 있도록 설계되어 있다.
미세입자 신축형 코딩 방법에서는 수신단에서 부분적인 영상 비트 스트림만을 수신하여 전송 영상의 복원이 효율적으로 이루어지게 하기 위하여, 송신단이 기본계층에서 전송된 영상을 토대로 강화계층에서 향상된 화질의 영상 비트 스트림을 구현하여 전송할 때, 비트 플레인(Bit-plane) 단위로 전송하는 방법을 이용한다.
즉, 강화계층에 필요한 비트 스트림이 전송될 때, 원 영상(original image)과 기본계층에서 전송되는 영상의 차(difference)만을 전송하여 전송 영상의 화질 향상을 이루도록 하는 것은 기존의 신축형 코딩 방법과 비슷하지만, 강화계층에서 수신단에 전송할 영상정보를 비트 플레인 별로 나누어 최상위 비트(MSB : Most significant bit)를 최우선적으로 전송하고, 그 다음 상위 비트를 비트 플레인 별로 나누어 연속적으로 전송함으로써, 수신단에서 전송환경이 급변하여 영상 복원에 필요한 모든 비트를 수신하지 못한 경우에도, 그때까지 수신된 부분적인 영상 비트 스트림만을 이용하여 전송 영상을 실시간으로 복원할 수 있게 설계되어 있다.
도1a는 종래의 미세입자 신축형 코딩 방법의 인코더의 일실시예 구조도이고, 도1b는 종래의 미세입자 신축형 코딩 방법의 디코더의 일실시예 구조도이다.
MPEG-4 국제 표준안에서 사용되는 미세입자 신축형 코딩 방법의 인코더 구조는 도1a에 도시된 바와 같이, 기본계층은 MPEG-4 영상 인코딩 방법을 그대로 이용하고 있다.
기본계층에 사용되는 영상 인코딩을 위해서, 이산 코사인 변환부(DCT : Discrete Cosine Transform), 양자화부(Q : Quantization), 움직임 추정부(ME : Motion Estimation), 움직임 보상부(MC : Motion Compensation), 역 양자화부(Q-1) 및 역 이산 코사인 변환부(IDCT : Inverse Discrete Cosine Transform)를 통해 공간축(Spatial)과 시간축(Temporal) 방향에서 영상 정보 압축(Image Data Compression)이 수행되며, 가변장 코딩부(VLC : Variable Length Coding)에 의해 VLC가 수행됨으로써 부호의 발생 확률의 편중에 따른 엔트로피 인코딩(Entropy Coding)이 수행되어 기본계층 비트 스트림(Base Layer Bitstream)이 전송된다.
한편, 도면에서 도시된 바와 같이, 강화계층의 FGS 인코딩(FGS Enhancement Encoding)은 원 영상(Original Image)과 기본계층에서 재생된 영상과의 오차(residues)를 구하는 오차 연산부, 이산 코사인 변환부(DCT), 비트 플레인 쉬프트부(Bit-plane shift), 최대값 연산부(Find Maximum) 및 비트 플레인 별 가변장 인코딩부(Bit-plane VLC)를 통해 수행된다.
상기 오차 연산부에서는 기본계층에서 코딩 된 후 재생된 영상(도면에서 역 양자화부(Q-1)와 역 이산 코사인 변환부(IDCT)를 통과한 후 클리핑된 재생 영상)과 원 영상과의 차(difference)를 구하여 그 오차 값(residues)을 구한다.
이산 코사인 변환부(DCT)는 상기 오차를 구하는 과정에서 구해진 영상기반 오차 값(residues)을 블럭 단위(8 X 8 단위) DCT를 이용하여 DCT 도메인(domain)으로 변환한다.
이때, 선택적으로 좋은 화질을 갖는 블럭이 필요하다면 해당 값을 최우선적으로 전송하여야만 하고 이를 위하여 비트 플레인 쉬프트를 선택적으로 수행할 수 있다. 이를 선택적 강화(Selective Enhancement)라고 정의하며, 비트 플레인 쉬프트부에서 수행한다.
최대값 연산부에서는 이산 코사인 변환을 마친 모든 값들의 절대치에 대한 최대값을 구한다. 이 값은 해당 영상 프레임을 전송하기 위한 최대 비트 플레인(bit-plane)의 개수를 구하는데 사용된다.
비트 플레인 가변장 인코딩부는 비트 플레인 별로 블럭 단위로 구해진 64개의 DCT 계수들(DCT 계수의 해당 비트 플레인의 비트: 0 또는 1)이 지그재그 스캔(zigzag scan) 순서로 하나의 행렬을 구성하며, 각 행렬들은 가변장 길이 코드표(VLC table)에 따라 런-길이(Run-length) 인코딩된다.
한편, MPEG-4 국제 표준안에서 개시되어 있는 종래의 신축형 코딩 방법의 디코더 구조는 도1b에 도시된 바와 같이, 기본계층(Base Layer)과 강화계층(Enhancement Layer)으로 나뉘어져서 전송환경을 통해 수신된 전송 비트 스트림의 디코딩을 도1a 도시된 인코더와 역순으로 수행하게 된다. 기본계층에서는 MPEG-4 영상 디코딩 방법을 그대로 사용하고 있다. 기본계층에 비트 스트림이 입력되면, 가변장 디코딩부(VLD : Variable Length Decoding)에 의해 VLD가 수행된 후에 역 양자화부(Q-1 : Inverse Quantization)를 통해 역 양자화가 수행되고 해당 값들을 역 이산 코사인 변환부(IDCT : Inverse Discrete Cosine Transform)가 IDCT를 수행하여 움직임 보상부로부터 출력된 움직임 보상이 된 값(MC : Motion Compensation)과 합산된 후에 클리핑부가 해당 값들을 0과 255 값 사이로 클리핑(Clipping)하여 최종적으로 기본계층의 전송 영상을 복원하게 된다.
그리고, 미세입자 신축형 코딩 방법이 적용된 디코더의 강화계층에서는 인코더와 역순으로 강화계층에 전송된 비트 스트림의 디코딩을 수행하게 되는데, 먼저 입력된 강화 비트 스트림(Enhancement Bitstream)에 대해 비트 플레인 VLD부가 비 트 플레인 별로 가변길이 디코딩(Bit-plane VLD)을 수행한 후, 선택적으로 좋은 화질을 갖는 블럭의 위치 등이 전송되었다면, 비트 플레인 쉬프트부는 비트 플레인 쉬프트(Bit-plane Shift)를 선택적으로 수행한다.
이후, IDCT부는 상기 비트 플레인 별로 VLD가 수행되고 선택적으로 쉬프트가 수행되어 도출된 값에, 블럭 단위(8 X 8 단위)의 역 이산 코사인 변환(IDCT : Inverse Discrete Cosine Transform)을 수행하여 강화계층에서 전송된 영상을 복원한 후, 클리핑부가 기본계층에서 복호된 영상과 합산된 값들을 0과 255 값 사이로 클리핑(Clipping)하여 최종적으로 향상된 화질의 영상을 복원하게 된다.
이때, 부분적인 비트 스트림만을 수신하여도 영상 복원이 가능하도록 하기 위해서는, 강화계층 간에 영상의 코딩 효율을 증대시키는 어떠한 방법론(강화계층 간의 움직임 보상 등)도 사용하지 못하며, 오직 기본계층으로부터 코딩 효율을 극대화 시키는 방법만을 사용하여야 한다.
도2a는 종래의 DCT를 이용한 영상 및 동영상 코딩 방법에서 래스터스캔 순서의 일예시도이고, 도2b는 종래의 래스터스캔 순서를 신축형 코딩 방법에 적용한 일예시도이다.
JPEG(Joint Photographic Experts Group), H. 263, MPEG 등에 주로 사용되는 DCT를 이용한 동영상 코딩 방법들을 살펴보면, 매크로 블럭과 8 X 8 블럭단위로 영상데이터를 코딩 하여 전송하게 되는데, 이때 모든 영상 프레임(또는 비디오 객체 플레인(VOP : Video Object Plane))에 대한 인코딩과 디코딩은 최상단우측(Upper- Left)에 위치한 매크로블럭(또는 블럭)부터 시작하여 최하단우측(bottom-left) 부분의 매크로 블럭(또는 블럭)까지의 영상 데이터를 순차적으로 처리하게 된다. 이를 본 발명에서는 래스터스캔 순서(Raster Scan Order)라고 표기하기로 하고, 이는 도2a에 도시된 바와 같다.
래스터스캔 순서는 기존의 영상이나 동영상 처리 방법에 기본계층과 강화계층 그리고 강화계층 간의 코딩 효율을 증대시키는 방법론(움직임 추정이나 보상 DC값 예측 등)을 적용하기 위해서, 필수적으로 사용하여야 하는 스캔 순서이다.
부분적인 비트 스트림만을 수신하여도 영상 복원이 가능하도록 하게 하는 신축형 코딩 방법에 래스터스캔 순서를 적용하게 되면, 도2b에 도시된 바와 같이 디코딩이 수행된 부분(검게 채워진 블럭이 디코딩이 수행된 블럭, 채워지지 않은 블럭이 디코딩이 수행되지 않은 블럭)만이 복원 영상으로 수신단 화면에 표시되게 된다.
즉, 기본계층으로 전송된 비트 스트림과 강화계층으로 부분 수신되어 디코딩 된 비트 스트림을 기초로 향상된 영상이 수신단에서 재생되는 과정에서, 도2b에 도시된 바와 같이 영상의 일부 데이터만 강화계층으로 수신되어 디코딩이 완료되었다면, 재생 영상의 화질은 강화계층에서 디코딩이 완료된 부분의 화질만이 향상되게 된다.
그러나 만약, 향상된 부분의 영상이 시청자가 주목하지 않는 곳(예를 들어 배경이나 주인공의 얼굴 등이 아닌 곳)이라면, 강화계층용 비트 스트림을 수신하여 복원하는 과정이 사용자가 인지하지 못하는 부분을 처리하게 되어 쓸모없이 처리된 것과 같게 되는 단점이 있다.
그러나 상기된 바와 같이 부분적인 비트 스트림만을 수신하여도 영상 복원이 가능하도록 조치하기 위해서는 오직 기본 계층으로부터 코딩 효율을 극대화 시키는 방법만이 사용 가능하므로 강화 계층의 영상 정보를 전송할 때 래스터스캔 순서(Raster Scan Order)에 따라 코딩 할 필요 없이 임의의 스캔 순서를 사용하여 전송하여도 디코더에서 전송된 비트 스트림을 에러 없이 복원(Causality와 무관하게 처리)할 수 있다.
따라서, 본 발명은 상기 문제점을 해결하기 위하여 제안된 것으로, 임의의 특정 위치의 영상 정보를 최우선적으로 코딩한 후에 바로 이웃하는 외각에 위치하는 영상 정보를 그 다음에 코딩하는 과정을 반복 수행하는 파문 스캔 기술을 이용하여, 각각의 파문별로 결정된 중요도에 따라 차별적으로 영상 정보를 코딩하고 우선적으로 전송함으로써 영상 정보 전송 환경이 열악하여도 영상 프레임의 주요 부분을 우선적으로 최상의 품질로 향상시켜 HVS에 적합한 영상을 제공할 수 있는 장치 및 그 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는데 그 목적이 있다.
또한, 본 발명은 상기의 문제점을 해결하기 위해 제안된 것으로서, 영상 정 보 전송 환경이 열악하여도 동영상 코딩 장치의 수신단에서 강화 단계의 부분적인 전송 비트 스트림 만을 수신하여도 영상 복원이 가능하도록, 오직 기본 계층으로부터 코딩 효율을 극대화 시키는 방법 만을 사용하여야 하므로 래스터스캔 순서를 사용하여 전송할 필요가 이 인간의 시각 시스템 (HVS: Human Visual System)을 고려하여 수신 영상의 화질을 극대화할 수 있는 스캔 방법 및 장치를 제안하며, 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는데 그 목적이 있다.
본 발명이 속한 기술 분야에서 통상의 지식을 가진 자는 본 명세서의 도면, 발명의 상세한 설명 및 특허청구범위로부터 본 발명의 다른 목적 및 장점을 쉽게 인식할 수 있다.
상기 목적을 달성하기 위하여 본 발명은, 영상 인코딩 장치에 있어서, 인코딩되는 영상에 대해 부분별로 인간 시각 시스템에 적합한 다양한 화질로 처리되도록 상기 영상의 특정 부분의 위치의 중요도에 따라 처리하는 정보의 양을 달리하는 것을 특징으로 하는 영상 인코딩 장지를 제공한다.
또한 상기 목적을 달성하기 위하여 본 발명은, 영상 인코딩 방법에 있어서, 인코딩되는 영상에 대해 부분별로 인간 시각 시스템에 적합한 다양한 화질로 처리되도록 상기 영상의 특정 부분의 위치의 중요도에 따라 처리하는 정보의 양을 달리하는 것을 특징으로 하는 영상 인코딩 방법을 제공한다.
또한 상기 목적을 달성하기 위하여 본 발명은, 프로세서를 구비한 영상 인코딩 장치에, 인코딩되는 영상에 대해 부분별로 인간 시각 시스템에 적합한 다양한 화질로 처리되도록 상기 영상의 특정 부분의 위치의 중요도에 따라 처리하는 정보의 양을 달리하는 기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체를 제공한다.
또한 상기 목적을 달성하기 위하여 본 발명은, 영상 디코딩 장치에 있어서, 디코딩 되는 영상에 대해 부분별로 인간 시각 시스템에 적합한 다양한 화질로 처리되도록 상기 영상의 특정 부분의 위치의 중요도에 따라 처리되는 정보의 양을 달리하는 것을 특징으로 하는 영상 디코딩 장치를 제공한다.
또한 상기 목적을 달성하기 위하여 본 발명은, 영상 디코딩 방법에 있어서, 디코딩 되는 영상에 대해 부분별로 인간 시각 시스템에 적합한 다양한 화질로 처리 되도록 상기 영상의 특정 부분의 위치의 중요도에 따라 처리되는 정보의 양을 달리하는 것을 특징으로 하는 영상 디코딩 방법을 제공한다.
또한 상기 목적을 달성하기 위하여 본 발명은, 프로세서를 구비한 영상 디코딩 장치에, 디코딩 되는 영상에 대해 부분별로 인간 시각 시스템에 적합한 다양한 화질로 처리되도록 상기 영상의 특정 부분의 위치의 중요도에 따라 처리되는 정보의 양을 달리하는 기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체를 제공한다.
또한 상기 목적을 달성하기 위하여 본 발명은, 영상 인코딩/디코딩 시스템의 파문 스캔 장치에 있어서, 영상 인코딩/디코딩 과정에서 데이터 처리를 용이하게 하기 위해 소정의 순서에 따라 인코딩/디코딩 되는 영상 데이터를 스캔하며 데이터를 처리하는 것을 특징으로 하는 파문 스캔 장치를 제공한다.
또한 상기 목적을 달성하기 위하여 본 발명은, 영상 인코딩/디코딩 시스템의 파문 스캔 방법에 있어서, 영상 인코딩/디코딩 과정에서 데이터 처리를 용이하게 하기 위해 소정의 순서에 따라 인코딩/디코딩 되는 영상 데이터를 스캔하며 데이터를 처리하는 것을 특징으로 하는 파문 스캔 방법을 제공한다.
또한 상기 목적을 달성하기 위하여 본 발명은, 프로세서를 구비한 파문 스캔 장치에, 영상 인코딩/디코딩 과정에서 데이터 처리를 용이하게 하기 위해 소정의 순서에 따라 인코딩/디코딩 되는 영상 데이터를 스캔하며 데이터를 처리하는 기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체를 제공한다.
상술한 목적, 특징 및 장점들은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이다. 우선 각 도면의 구성요소들에 참조 번호를 부가함에 있어서, 동일한 구성 요소들에 한해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 번호를 가지도록 하고 있음에 유의하여야 한다. 또한, 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명한다.
본 발명에 따르면, 파문 스캔 프로세스에서 파문 발생 위치 즉 최우선적으로 코딩 하여야 할 위치의 화질을 우수하게 전송하고 외각으로 갈수록 화질을 점진적으로 낮추는(graceful degradation) 방법을 이용하여 영상 정보의 송수신이 가능하도록 구성하여 정보의 중요도에 따라 HVS에 적합하게 화질 향상을 수행할 수 있게 된다.
예를 들어, 화면의 중앙위치를 파문의 발생 위치라 하면(대부분의 비디오 촬영 시 관심 있는 물체가 화면 가운데에 위치한다), 해당 위치의 화질은 사용자가 매우 관심이 높은 영역이므로 최우선적으로 송수신이 가능하게 함과 동시에 해당 위치의 화질을 높게 하여 전송 및 수신이 가능하도록 하고, 점차 외각으로 갈수록 사용자의 관심도가 낮으므로 송수신 우선순위를 낮게 함과 동시에 화질 역시 점진적으로 열화 시켜, 기존의 동영상 코딩방법과 같은 전송 비트율을 유지하면서 관심영역의 화질을 수신측에 최대한 보장. 할 수 있다.
또한 본 발명에 따르면, 전송하여야 할 영상 프레임내의 임의의 특정 부분부터 우선적으로 인코딩을 수행한다. 이때 당해 특정 부분의 중요도에 따라 정보의 전송량을 다르게 전송하도록 하여 특정 부분 위치의 화질을 HVS에 적합하게 향상할 수 있는 지능적 방법 즉 최우선적으로 코딩을 수행하여야 하는 부분의 영상 화질을 HVS에 적합하게 향상시키는 방법을 부가하여 수신단으로 전송한 후 수신단 측에서 우선적으로 전송된 부분부터 디코딩을 수행하도록 하여, 전송환경의 문제로 더 이상 영상 정보를 수신할 수 없을 때까지 전송된 비트 스트림만을 이용하여 전송된 영상의 복원을 이루게 하는 방법으로 향상된 화질을 제공하여야 하는 위치의 정보를 우선적으로 송수신 하며, 또한 해당 위치의 정보를 중요도에 따라 향상시킬 수 있게 된다.
또한 본 발명에 따르면, 우선적으로 코딩 하여 전송하여야 할 임의의 특정 위치를 코딩 하고자 하는 영상 프레임 내에서 결정한 후, 당해 위치부터 코딩을 수행하고 점차 주변으로 코딩을 확장하여 수행하도록 한다. 즉 임의의 특정 위치의 영상정보를 최우선적으로 코딩한 후, 바로 이웃하는 외각에 위치하는 영상 정보를 그 다음에 코딩하는 것을 반복하여 수행한다. 이때 최우선적으로 코딩 하여야 하는 위치에 많은 양의 정보를, 주변 외각에 위치하는 지점에는 적은 양의 정보를 전송하고 및 수신이 가능하도록 하여, 정보의 중요도에 따라 HVS에 적합한 화질 향상을 수행할 수 있도록 한다.
이는 호수면 위에 돌을 던졌을 때 돌이 추락한 위치로부터 수면에 파문 (Water Ring)이 일어나는 것과 같은 개념으로서, 기본 개념을 도3에 도시하였다.
도3은 파문 스캔 순서에 대한 기본 원리를 설명하기 위한 개념도이다. 도면에서 표현되는 블럭은 영상 및 동영상처리 방법에 따라 픽셀, 블럭 또는 매크로 블럭을 의미한다. 이를 동영상 코딩에 적용하였을 때, 파문 발생 위치(호수면 위에 돌이 추락한 위치)로부터 코딩을 시작하여 파문 진행 방향에 따라 해당 위치의 데이터를 처리하는 것과 같다. 즉, 파문 발생 위치부터 시작하여 사각형 모양의 링을 계속적으로 그 전에 처리한 사각형 모양의 링에 둘러싸는 형태의 스캔 방법이다.
도3에 도시된 바와 같이, 먼저 파문 발생 위치(파문(0))의 데이터를 처리한 후, 인접한 파문(1)의 데이터(파문(0)의 바로 외각에 위치한 데이터)를 처리하고, 이후 파문(2)의 데이터(파문(1)의 외각에 위치하는 인접한 데이터) 및 파문(3)의 데이터 등을 연속적으로 점차 파문이 확산되는 형태로 처리하게 된다. 파문이 확산되는 형태로 파문을 발생시키고 해당 파문 위치의 영상 정보를 처리하는 스캔 순서를 파문 스캔 순서(Water Ring Scan Order)라고 하기로 한다.
영상 및 동영상 코딩에서 파문 스캔 순서의 적용은 픽셀 단위, 블럭 단위 또는 매크로 블럭 단위로 적용할 수 있다. 픽셀 단위로 적용할 때는 웨이브렛(Wavelet) 변환 방법 등을 이용하는 영상 픽셀 단위의 코딩 방법에 적용하게 되며, DCT를 이용하는 방법론에는 블럭 단위나 매크로 블럭 단위로 파문 스캔 순서를 이용하여 동영상 데이터 처리를 수행하게 된다.
도4는 영상의 영역 관심도와 파문의 크기와의 관계를 설명하기 위한 그래프이다. 도4에 도시된 바와 같이, 호수면에 돌을 던졌을 때 파문 발생 위치의 파문의 크기는 제일 크며 파문이 확산되는 거리에 반비례하여 파문의 크기가 점점 작아지는 모양을 하고 있다. 본 발명에서는 파문 발생 위치 즉 최우선적으로 코딩 하여야 할 위치의 화질을 우수하게 전송하고 외각으로 갈수록 화질을 점진적으로 낮추는(graceful degradation) 방법을 이용하여 비디오 정보의 송수신이 가능하도록 구성하여 정보의 중요도에 따라 HVS에 적합한 화질 향상을 수행할 수 있도록 한다.
예를 들어, 화면의 중앙위치를 파문의 발생 위치라 하면(대부분의 비디오 촬영 시 관심 있는 물체가 화면 가운데에 위치한다), 해당 위치의 화질은 사용자가 매우 관심이 높은 영역이므로 최우선적으로 송수신이 가능하게 함과 동시에 해당 위치의 화질을 높게 하여 전송 및 수신이 가능하도록 하고, 점차 외각으로 갈수록 사용자의 관심도가 낮으므로 송수신 우선순위를 낮게 함과 동시에 화질 역시 점진적으로 열화 시켜, 기존의 동영상 코딩방법과 같은 전송비트율을 유지하면서 관심영역의 화질을 수신측에 최대한 보장하게 된다.
도5는 파문 발생 위치와 영상의 영역 관심도에 따른 Quality Factor와의 관계를 설명하기 위한 개념도이다. 파문 발생 위치와 관심영상영역의 중요도에 대한 가중치(Quality Factor: QF)와의 관계의 실시예를 도5에 도시하였다. 본 도면에서는 파문 발생 위치 (Water Ring(0))의 영상 정보가 가장 중요하다는 가정 하에 최 대 QF를 4로 주어 졌을 때, Water Ring(0)의 QF는 4로, Water Ring (1)에 해당하는 위치의 QF는 3으로 Water Ring(2)에 해당하는 위치의 영상정보에는 QF를 2로, Water Ring(3)에 위치하는 영상정보에는 QF를 1로 결정하며, 그 외각에 해당하는 위치의 QF는 0으로 하여 각각 위치에 대한 가중치를 지능적으로 할당한다. 영상 코딩 시는 각각 주어진 QF 값에 맞게 인코딩을 수행한다. 이때, 인코더에서는 Water Ring(0)로부터 시작하여 디코더에 각각의 파문내의 영상 정보를 전송한 후 디코더에서 디코딩을 수행하게 되는데, 디코딩 수행 시 QF 값 정보가 미리 약속이 되어 있거나 수신이 되었을 경우 해당 가중치에 맞게 디코딩을 수행하는 과정을 거친다.
따라서 영상 프레임의 중요 위치의 영상 정보가 최우선적으로 송수신됨과 동시에, 지능적으로 해당 중요 위치의 화질을 높게 유지할 수 있게 된다.
도6 내지 도8에 각각 본 발명에 따른 지능형 파문 스캔 방법과 장치에 대한 실시예 흐름도와 구성도를 도시하고 있다.
도6a는 본 발명에 따른 QF가 적용된 파문 스캔 데이터 처리 과정을 설명하기 위한 일실시예 흐름도이고, 도6b는 본 발명에 따른 QF가 적용된 파문 스캔 데이터 처리 장치에 대한 일실시예 구성도이다. 본 발명의 일실시예에 따른 파문 스캔 장치는, 영상 프레임 내에서 임의의 파문 발생 위치(파문(0))를 결정하는 파문 발생 위치 결정부, 파문의 중요도에 따라 각 파문별로 QF 값을 결정하는 파문 QF 결정부, 데이터 인코딩/디코딩 및 송수신에 관련된 데이터 처리부, 파문 발생 위치(파문(0))로부터 i번째 발생된 파문(i)의 위치를 결정하는 파문 위치 결정부 및 현재 입력 영상 프레임 내의 모든 데이터가 처리될 때까지 각 파문에 대해 파문 위치 결정부 및 데이터 처리부를 반복하여 활성화시키는 반복 수행 결정부로 구성되어 있다.
도6a 및 도6b에 도시된 일실시예는 파문 스캔 방법에 따라 영상 코딩 및 전송을 동기화 시켜 처리하는 경우이다.
한 실시예로서, 도6a와 도6b에 도시된 바와 같이, 먼저 파문 발생 위치 결정부(61)에서 임의의 특정 파문 발생 위치(파문(0))를 결정한다(S61). 이후, 파문 QF결정부(63)에서 해당 위치의 영상 중요도에 따른 QF 값을 결정한다(S63). 이후 데이터 처리부(65)에서 파문(0)의 QF를 기초로 데이터를 처리(S65)하는데, 중요도가 높은 순서에 따라 파문 단위로 데이터를 처리하며, 인코더에서의 데이터 처리는 데이터 코딩 및 전송을 의미하고, 디코더에서의 데이터 처리는 데이터 수신 및 디코딩을 의미한다. 이후 반복수행 여부 결정부(67)에서 마지막 데이터까지 모두 처리되었는지를 판단(S67)하여 마지막까지 처리되었으면 리턴하고 아니면 파문 위치 결정부(69)에서 외각으로 인접한 파문의 위치(예: 파문(1), 파문(2), . . , 파문(i))를 결정(S69)한 후에 당해 파문에 대해 데이터 처리 과정(S65)을 반복 수행한다.
도7a는 본 발명에 따른 QF가 적용된 파문 스캔 인코딩 과정을 설명하기 위한 다른 일실시예 흐름도이고, 도7b는 도7a의 인코더 구성도이다. 도8a는 본 발명에 따른 QF가 적용된 파문 스캔 디코딩 과정을 설명하기 위한 다른 일실시예 흐름도이고, 도8b는 도8a의 디코더 구성도이다.
다른 한 실시예로서, 도7a와 도7b에 파문 스캔 방법이 적용된 인코더 및 인 코딩/전송을 위한 데이터 처리 방법과 도8a와 도8b에 파문 스캔 방법이 적용된 디코더 및 수신/디코딩을 위한 데이터 처리 방법을 도시하였다. 본 일실시예는 입력 영상의 인코딩은 래스터스캔 순서(Raster Scan order)에 따라 처리하고, 데이터 송수신 및 그에 따른 디코딩은 파문 스캔 순서에 따라 처리하는 경우이다. 물론, QF는 파문별로 결정된다.
도7a와 도7b에 도시한 바와 같이, 인코더에서는 먼저 파문 발생 위치 결정부(61)에서 임의의 특정 파문 발생 위치(파문(0))를 결정한다(S61). 이후, 파문 QF결정부(63)에서 해당 위치의 영상 중요도에 따른 QF 값을 결정한다(S63). 이후 데이터 인코딩부(71)에서 파문 발생 위치부터 QF를 적용하여 당해 입력 영상 프레임 전체에 대해 인코딩을 수행(S71)하고 데이터 전송부(73)에서 해당 파문위치의 처리 결과를 전송하게 된다(S73). 여기서 인코딩은 임의의 스캔 방법에 따라 수행될 수 있다. 이후 반복수행 여부 결정부(67)에서 마지막 데이터까지 모두 처리 되었는지를 판단(S67)하고 마지막까지 처리되었으면 리턴하고 아니면 파문 위치 결정부(69)에서 외각으로 인접한 파문의 위치(예: 파문(1), 파문(2), . . , 파문(i))를 결정(S69)한 후에 해당 파문의 데이터 전송 과정(S73)부터 반복 수행한다.
또한 도8a와 도8b에 도시한 바와 같이, 디코더에서는 먼저 파문 발생 위치 결정부(81)에서 임의의 특정 파문 발생 위치(파문(0))를 결정한다(S81). 파문(0)의 위치를 결정하는 방법은 후술 되는 바와 같이 디코더에 미리 저장된 파문(0)의 위치를 확인하거나, 인코더로부터 영상 정보를 수신할 때마다 파문(0)의 위치를 수신 함으로써 수행될 수 있다. 이후, 파문 QF결정부(83)에서 해당 위치의 영상 중요도에 따른 QF 값을 결정한다(S83). QF 값을 결정하는 방법은 후술 되는 바와 같이 디코더에 미리 저장된 QF 값을 확인하거나, 인코더로부터 영상 정보를 수신할 때마다 QF 값을 수신함으로써 수행될 수 있다. 이후 데이터 수신부(84)에서 해당 파문위치의 전송 비트 스트림을 수신하게 된다(S84). 이후 데이터 디코딩부(85)에서 해당 파문위치에서 결정된 QF 값을 적용하여 디코딩을 수행하고(S85) 이후 반복수행 여부 결정부(87)에서 마지막 데이터까지 모두 처리되었는지를 판단(S87)하고 마지막까지 처리되었으면 리턴하고 아니면 파문 위치 결정부(89)에서 외각으로 인접한 파문의 위치(예: 파문(1), 파문(2), . . , 파문(i))를 결정(S89)한 후에 해당 위치의 데이터 수신 과정(S84) 및 데이터 디코딩 과정(S87)을 반복 수행한다.
즉, 본 발명의 일실시예에 따른 지능형 파문 스캔 장치는, 영상 프레임 내에서 우선적으로 파문 스캔을 수행하여야 할 시각적으로 중요한 특정 영상 부분인 파문 발생 위치(파문(0))를 결정하는 파문 발생 위치 결정부, 파문의 중요도에 따라 QF 값을 결정하는 파문 QF 결정부, 상기 결정된 QF 값을 기초로 하여 데이터 인코딩/디코딩 및 송수신을 수행하는 데이터 처리부, 파문 발생 위치(파문(0))로부터 i번째 발생된 파문(i)-예를 들어 현재 파문 발생 위치(파문(0))에 사각형 모양의 링을 둘러싸는 형태로 결정되는 다음 파문 스캔 위치(파문(1)), 또는 사각형 모양의 링을 그 전에 처리한 사각형 모양의 링에 둘러싸는 형태로 결정되는 다음 파문 스캔 위치(파문(i))-의 위치를 결정하는 파문 위치 결정부 및 현재 입력 영상 프레임 내의 모든 데이터가 처리될 때까지 각 파문에 대해 파문 위치 결정부 및 데이터 처 리부를 반복하여 활성화시키는 반복 수행 결정부로 구성되어 있다.
파문 발생 위치 결정부, QF 결정부, 파문 위치 결정부, 데이터 코딩부 및 전송부 등을 상세히 살펴보면 다음과 같다.
파문 발생 위치 결정부
파문 발생 위치 결정부에 대하여 상세히 살펴보면 다음과 같다.
파문 발생 위치 결정부에서는 임의의 파문 발생 위치(Water Ring Origin Point)를 결정하게 되는 데 이는 크게 다음의 3가지 방법으로 나뉜다.
1. 영상 프레임의 중앙부로 약속하는 경우
전송하고자 하는 영상 프레임의 중앙 부분을 파문 발생 위치로 정하는 경우를 예로 들 수 있는데 이는 대부분의 동영상 촬영 시 중요 물체를 영상의 가운데에 위치시키는 것을 이용하는 것으로 영상 프레임의 중앙부(중앙부에 위치한 픽셀, 블럭 또는 매크로블럭)로 파문 발생 위치를 결정할 경우 인코더에서 디코더로 해당 발생 위치에 대한 정보를 전송할 필요가 없이 인코더와 디코더에서 미리 파문 발생 위치를 기억함으로써 결정된다.
2. 영상 프레임의 임의의 위치로 약속하는 경우
전송하고자 하는 영상 프레임의 임의의 특정위치(픽셀 위치 또는 블럭 또는 매크로블럭 위치)로 인코더와 디코더가 약속하여 결정하는 경우로서 이때는 임의의 특정위치의 정보를 영상 시퀀스를 전송할 때 맨 처음 Header에 포함하여 전송하면, 해당 위치를 중심으로 파문 스캔이 수행된다.
한 실시예로서 최대 영상 사이즈가 2000 X 2000 픽셀이고 매크로 블럭마다 파문 스캔 순서를 적용할 경우 임의의 파문 발생 위치(매크로블럭당)의 x축 정보로 7bit, y축 정보로 7bit를 시퀀스 헤더(sequence header)에 포함하여 인코더에서 디코더로 전송하게 되면 디코더는 수신한 파문 발생 위치를 확인함으로써 파문 발생 위치를 결정할 수 있게 된다.
3. 매 영상 프레임마다 임의의 위치로 변경 되는 경우
전송하고자 하는 영상 시퀀스내의 주요 물체의 위치가 가변적이라면, 매 영상 프레임을 전송할 때마다 임의의 파문 발생 위치를 전송하는 방법을 이용할 수 있다. 이때, 임의의 파문 발생 위치에 해당하는 정보를 인코더에서 디코더로 매 프레임 헤더에 포함하여 전송하는 것으로 결정된다. 실시예는 다음과 같다.
a) 매 프레임 헤더에 임의의 파문 발생 위치의 정보의 절대 위치(absolute coordinate)를 전송하는 방법
b) 임의의 고정된 특정위치(예: 영상 중앙부)를 기준으로 하는 상대위치(relative coordinate)만을 전송함으로써 전송되는 정보의 양을 줄이는 방법.
c) 앞서 전송된 이전 프레임의 파문 발생 위치와의 상대위치만을 전송하여 전송되는 정보의 양을 줄이는 방법
도9a는 파문 발생 위치로서 설정된 절대위치를 설명하기 위한 개념도, 도9b는 파문 발생 위치로서 설정된 영상중앙부와의 상대위치를 설명하기 위한 개념도, 도9c는 파문 발생 위치로서 설정된 이전 프레임의 파문 발생 위치에 대한 상대 위치를 설명하기 위한 개념도이다. 위의 a), b), c)의 세가지 실시예를 도9a, 도9b 및 도9c로 구분하여 도시하였다.
파문 QF 결정부
파문 내 HVS에 적합한 화질 향상을 위한 QF 결정부에 대하여 상세히 살펴보면 다음과 같다.
먼저 파문 발생 위치 결정부(61, 81)에서 임의의 특정 파문 발생 위치(파문(0))를 결정하거나 파문 위치 결정부(69, 89)에서 현재 파문의 다음 파문(파문(i))을 결정하게 되면, 각각의 파문에 대하여 파문 QF 결정부(63, 83)에서 당해 파문의 영상 중요도에 따른 QF 값을 결정한다. 향후 파문(i)의 위치별 QF 값을 기초로 HVS에 적합한 화질 향상을 가져오는 데이터 인코딩/디코딩이 수행된다.
HVS에 적합한 화질 향상을 위한 파문 QF 결정부(63, 83)의 적용 방법은 다음과 같다. 도10은 파문(i) 과 QF와의 관계를 설명하기 위한 도면이다. 파문(i) 별로 HVS에 적합한 화질 향상에 적합한 서로 다른 QF 값을 적용한다. 이러한 관계는 도10에 파문(i) 대 QF 그래프로 도시되어 있다. 적용 예로서 파문(0), 파문(1)에 위치 한 정보의 상대적인 중요도가 매우 높기 때문에 가장 높은 QF 값이 할당되어 있고 점차적으로 낮은 영상 QF 값이 할당되어 있다.
파문(i)별로 다른 QF 값을 결정하는 방법으로. 사용자가 선정하는 QF 값을 테이블을 이용하여 결정하는 방법과 수학적인 모델을 이용하여 결정하는 방법을 이용할 수 있다. 테이블을 이용하는 방법은 사용자의 요구를 정확하게 수용하여 다양하게 적용 할 수 있다. 한편, 수학적 모델을 이용하는 경우 전송 비트 스트림에 추가되는 Overhead는 상대적으로 감소하게 된다. 본 발명에서는 상기 두 가지 방법을 모두 고려한다.
1. 파문(i)별 QF 테이블을 적용하는 방법
파문(i)별로 HVS에 적합한 화질 향상을 위한 QF 값의 결정은 파문(i)별 QF 테이블을 인코더에서 디코더로 전송하거나 사전에 인코더 및 디코더에 저장되어 있는 동일한 파문(i)별 QF 테이블을 이용하는 방법과 유사하게 운용. 하여 인코더와 디코더 간의 파문(i)별 QF 값을 동기화 할 수 있다. 즉,
(a-방법) 사전에 인코더 및 디코더에 저장되어 있는 동일한 파문(i)별 QF 테이블을 이용하여 결정하는 방법으로서, 파문(i)별 QF 값 테이블의 일실시예를 도11에 도시하였다. 도11은 파문(i)별 QF 테이블의 일실시예를 나타내는 도면이다.
도11에서는 최대로 정할 수 있는 QF의 크기를 4로 고정한 경우로 파문(0)인 경우에는 최대치인 4를, 파문(1)의 경우 QF를 3으로, 파문(2)과 파문(3)의 경우 QF를 2로, 파문(4)과 파문(5)의 경우 QF를 1로 그 외 외각에 위치한 파문의 경우 가 중치를 0으로 결정한 일실시예를 도시하고 있다. a-방법의 경우, 인코더와 디코더에 도11에 도시된 것과 유사한 참조 테이블을 저장하여 QF 값을 결정한다.
(b-방법) 인코더에서 디코더로 영상 시퀀스를 전송할 때 시퀀스 헤더(sequence header)에 QF 값 테이블을 삽입하여 전달하는 방법.
(c-방법) QF 값을 각 영상 프레임 마다 빈번히 변경할 필요가 있는 경우 각각의 영상 프레임을 전송할 때마다 각각의 영상 프레임에 적합한 파문(i)별 QF 값 테이블을 전송하는 방법.
b-방법과 c-방법의 경우, 시퀀스 헤더나 프레임 헤더에 도11에 도시된 QF 테이블 정보를 인코더에서 디코더로 전송하여 정보를 동기 시키는데, 테이블 정보를 전송하는 과정에서 여러가지 방법으로 전송되는 비트의 양을 줄이는 방법을 사용하게 된다.
도12는 인코더에서 디코더로 전송되는 파문(i)별 Quality Factor(QF) 테이블로서 고정장 코드(Fixed Length Coding, FLC) 테이블의 일실시예를 나타내는 도면이다. 인코더에서 디코더로 파문(i)별 QF 값 테이블을 전송하는 방법을 FLC 테이블을 이용한 실시예를 도12에 도시하였다. QF 값을 갖는 파문의 최대 개수와 최대 QF 값을 전송한 후, 각 파문이 갖는 QF 값을 인코더에서 디코더로 전송하면, 파문(i)별 QF 값 테이블을 동기화 할 수 있다. 도12에 도시된 바와 같이, 디코더가 QF 값이 지정된 파문의 최대 개수(i)를 알고 있으면, i+1번째 파문 이후의 QF 값을 0으 로 처리할 수 있다. 실시예로서 최대 QF 값의 FLC로 4bit를 할당하였다면 24 즉 16개의 파문에 해당 하는 QF 값을 지정할 수 있다. 이때, QF 값이 지정된 파문의 최대 개수가 5라면 디코더는 파문(0), 파문(1), 파문(2), 파문(3), 파문(4), 파문(5) 까지는 0이 아닌 QF 값을 갖는다는 것을 인식하게 되고, 그때까지의 값만 수신하면 된다. 파문(6)이상부터는 QF 값을 0으로 할당하게 하면 된다. 만약 16개 이상의 파문에 QF 값을 지정하기 위해서는 그에 맞는 할당 비트(4bit이상)를 증가시켜주면 된다. 도12는 최대 QF 값이 4인 경우로서 2bit가 할당된 경우를 도시하고 있다. 도면에 도시된 바와 같이 QF 값을 갖는 파문의 최대 개수와 최대 QF 값을 알면, 디코더는 최대 파문의 개수 만큼 파문별 QF 값을 결정하는데 이는 파문별 QF 값에 대한 FLC코드 테이블을 이용하여 처리한다. 실시예로서, 도11에 있는 파문별 QF 값 테이블을 전송하는 경우, 도12의 우측에 도시한 것과 같이 총 18bit를 할당함으로써 QF 테이블을 전송할 수 있다. 이는 한 실시예로서 이외에 다양한 방법으로 QF 테이블을 약속하거나 전송할 수 있다.
도13은 도12의 FLC 테이블 생성 과정을 설명하기 위한 일실시예의 흐름도이다. 도13에 인코더에서 디코더로 파문(i)별 QF 값 테이블을 전송하는 방법의 고정장 코드(Fixed Length Coding: FLC) 테이블을 생성하는 과정의 흐름도를 도시하였다. 도면에서 QF 값을 갖는 파문의 최대 개수(F)(S1301) 및 최대 QF 값(R)(S1303)이 설정되면, 입력 값(R)을 파문(0)의 초기 QF 값으로 할당한다(V(0)=R, S1303). 한편, 단계S1303에서 후술 되는 QF 보정 값 연산을 위해 더미로서 파문(-1)에도 입 력 값(R)을 할당한다(V(-1)=R). 이후 인덱스 i가 QF 값을 갖는 파문의 최대 개수(F)를 초과하지 않는 범위 내에서 반복하여 이전 파문의 QF 값(V(i-1))으로부터 현재 파문의 QF 값(V(i))의 차를 QF 보정 값으로 연산 수행한다(S1305, S1307, S1309). 이러한 과정을 통해 도12에 도시된 QF 값 테이블(FLC)이 생성되며, 이러한 파문별 QF 값 테이블을 인코더에서 디코더로 전송할 필요가 있을 때는 실시예로서 도13에 도시한 방법과 같은 흐름도에 해당하는 SYNTAX를 전송 비트 스트림에 포함시킬 수 있다.
도14는 파문(i)별 QF 테이블 이용 과정을 설명하기 위한 일실시예 흐름도이다. 도14는 동일한 파문(i)별 QF 값 테이블이 인코더와 디코더에 저장되어 있는 경우, 인코더에서 디코더로 영상 시퀀스를 전송할 때 시퀀스 헤더(sequence header)에 QF 값 테이블을 삽입하여 전달하는 경우 및 QF 값을 전송되는 각 영상 프레임에 대해 변경해야 할 필요에 따라 각 영상 프레임을 전송할 때마다 당해 영상 프레임에 적합한 파문(i)별 QF 값 테이블을 전송하는 경우 모두를 적용할 수 있는, 인코더/디코더의 파문(i)별 QF 값 테이블 이용 과정을 나타내는 흐름도이다.
도면에 도시된 바와 같이, 우선 시퀀스 헤더 레벨 이상에서 파문별 QF를 이용할 것인지 결정한다(S1401). 파문별 QF를 이용하지 않을 경우 파문 스캔 순서만 적용하여 영상을 인코딩 하여 전송하고 수신하여 디코딩 한다(S1403). 단계 S1401에서 파문별 QF를 이용할 경우, 가변 QF 테이블을 이용할 것인지 결정하고(S1405) 가변 QF 테이블을 사용하지 않는다면, 사전에 인코더와 디코더 에 저장된 동일한 QF 테이블을 이용(인코딩/전송/수신/디코딩)한다(S1407). 단계 S1405에서 가변 QF 테이블을 사용한다면 시퀀스 단위의 QF 테이블을 송수신하여 전체 시퀀스에 해당 QF 테이블을 적용하여 인코딩과 디코딩을 수행한다(S1409).
다음으로, 프레임 헤더 레벨에서, 프레임별 가변 QF 테이블을 갱신할 것인지를 결정하여(S1411) 프레임별 가변 QF 테이블을 갱신하지 않는다면 기 전송된 시퀀스 단위의 QF 테이블을 이용하여 인코딩과 디코딩을 수행하고(S1413) 프레임별 가변 QF 테이블을 갱신하는 경우에는 해당 프레임의 QF 테이블을 갱신한다(S1415).
상기의 흐름도에 명시된 방법을 수행하거나 장치를 구성하기 위해서는 시퀀스 헤더 레벨과 프레임 헤더 레벨에 상기 동작을 수행하기 위한 SNTAX가 비트 스트림 구조에 추가될 수 있다.
2. QF 모델을 이용하여 결정하는 방법
파문(i)별로 HVS에 적합한 화질 향상에 적합한 QF 값을 인코더와 디코더간에 설정된 수학적 모델을 이용하여 결정하는 방법을 설명하면 다음과 같다.
사용 가능한 수학적인 모델로는 HVS에 적합한 수학적 모델로서 가우시안(Gaussian) 함수를 도입하여 이용할 수 있다.
QF 값을 결정하기위해, i를 파문(i)의 인덱스라 하면, 도입된 가우시안 함수를 수식으로 표현하면 다음과 같다.
Figure 112002029295362-pat00001
위의 식을 이용하여 QF 값(QFvalue)을 구하기 위해서는 모델 파라미터의 값을 입력하여야 하는데 본 발명에서 이용한 모델 파라미터는 수식에서 QFMax 와 QFFactor값을 예로 들 수 있다. QFMax에는 최대 QF 값을 입력하게 되고 QFFactor값은 가우시안 함수에서 분산(Variance) 값으로서 이용되는데, QF의 퍼짐 정도를 조정하는 값으로 사용할 수 있다.
도15a는 QF 값 결정 모델에 관련 파라미터를 적용한 결과를 설명하기 위한 테이블이고, 도15b는 QF 값 결정 모델에 관련 파라미터를 적용한 결과를 설명하기 위한 그래프이다. 수학식1을 실제 적용한 실시예를 도15에 도시하였는데, 도15a는 QF 값을 결정하기 위한 QF 모델에 QF 관련 파라미터를 적용하였을 때 결과의 일실시예이며, 도15b는 도15a에서 관련 파라미터를 적용한 결과를 나타내고 있다. 이와 같이 QF 모델을 이용하여 파문(i)별 QF 값 값을 결정하게 되면 단지 2개의 모델 파라미터 (QFMax, QFFactor) 값의 변경 만으로도 적용 가능하다. 여기서 사용되는 수학적 모델은 가우시안 함수 뿐만 아니라 여러 개의 수학적인 함수를 도입하여 적용할 수 있다. i를 파문(i)의 인덱스라 하고 다른 일 예를 들면 다음과 같다.
Figure 112002029295362-pat00002
이와 같이 다양한 수학적 모델을 이용하는 경우 전송 비트 스트림에 추가되는 Overhead는 상대적으로 감소하는 장점이 있다.
QF 모델 파라미터를 적용한 실시예로서 QFMax에 2 bit, QFFactor에 4 bit를 적용하게 되면 QF 값 결정에 총 6bit만이 소요하게 되어 전송에 필요한 추가 Overhead는 테이블을 이용하는 방법보다 현저하게 줄어들게 된다.
도16은 QF 모델을 이용하여 QF 값을 결정하는 방법 및 장치를 나타내는 개념도이다. QF 모델을 이용하여 QF 값 값을 결정하는 방법 및 장치는 도16에 도시된 바와 같이, 먼저 QF 모델 파라미터((QFMax, QFFactor)가 입력되면(모델 파라미터 입력부(1601)), QF 모델 적용부(1603)에서 수학식1 또는 수학식2과 같은 모델 식을 적용하여 QF 값 출력부(1605)에 파문별 QF 값을 출력하게 되며, 해당 출력 값을 이용하여 영상 인코딩/디코딩을 수행한다.
도16에 도시된 QF 값 결정 방법 및 장치에 따른 QF 값 결정 방법은QF 값 테이블을 이용하는 방법과 동일한 방식으로 인코더와 디코더 간의 파문(i)별 QF 값을 동기화 할 수 있다. 즉,
(a-방법) 사전에 인코더 및 디코더에 저장되어 있는 파문(i)별 QF 값 결정용 파라미터(QFMax, QFFactor)를 동일한 수학적 모델에 적용하여 QF 값을 결정하는 방법.
(b-방법) 인코더에서 디코더로 영상 시퀀스를 전송할 때 시퀀스 헤더(sequence header)에 QF 값 생성을 위한 파라미터(QFMax, QFFactor)를 삽입하여 전달하는 방법.
(c-방법) QF 값을 각 영상 프레임 마다 빈번히 변경할 필요가 있는 경우 각각의 영상 프레임을 전송할 때마다 각각의 영상 프레임에 적합한 QF 값 생성을 위한 파라미터(QFMax, QFFactor)를 전송하는 방법.
도17은 파문(i)별 QF 모델 이용 과정을 설명하기 위한 일실시예 흐름도이다. 도17은 동일한 파문(i)별 QF 모델 파라미터(QFMax, QFFactor)가 인코더와 디코더에 저장되어 있는 경우, 인코더에서 디코더로 영상 시퀀스를 전송할 때 시퀀스 헤더(sequence header)에 QF 모델 파라미터를 삽입하여 전달하는 경우 및 QF 값을 전송되는 각 영상 프레임에 대해 변경해야 할 필요에 따라 각 영상 프레임을 전송할 때마다 당해 영상 프레임에 적합한 파문(i)별 QF 모델 파라미터를 전송하는 경우 모두를 적용할 수 있는, 인코더/디코더의 파문(i)별 QF 모델 파라미터 이용 과 정을 나타내는 흐름도이다.
도면에 도시된 바와 같이, 우선 시퀀스 헤더 레벨 이상에서 파문별 QF를 이용할 것인지 결정한다(S1701). 파문별 QF를 이용하지 않을 경우 파문 스캔 순서만 적용하여 영상을 인코딩 하여 전송하고 수신하여 디코딩 한다(S1703). 단계 S1701에서 파문별 QF를 이용할 경우, 가변 QF 모델 파라미터를 이용할 것인지 결정하고(S1705) 가변 QF 모델 파라미터를 사용하지 않는다면, 사전에 인코더와 디코더에 저장된 동일한 QF 모델 파라미터를 이용(인코딩/전송/수신/디코딩)한다(S1707). 단계 S1705에서 가변 QF 모델 파라미터를 사용한다면 시퀀스 단위의 QF 모델 파라미터를 송수신하여 전체 시퀀스에 해당 QF 모델 파라미터를 적용하여 인코딩과 디코딩을 수행한다(S1709).
다음으로, 프레임 헤더 레벨에서, 프레임별 가변 QF 모델 파라미터를 갱신할 것인지를 결정하여(S1711) 프레임별 가변 QF 모델 파라미터를 갱신하지 않는다면 기 전송된 시퀀스 단위의 QF 모델 파라미터를 이용하여 인코딩과 디코딩을 수행하고(S1713) 프레임별 가변 QF 모델 파라미터를 갱신하는 경우에는 해당 프레임의 QF 모델 파라미터를 갱신한다(S1715).
상기의 흐름도에 명시된 방법을 수행하거나 장치를 구성하기 위해서는 시퀀스 헤더 레벨과 프레임 헤더 레벨에 상기 동작을 수행하기 위한 SNTAX가 비트 스트림 구조에 추가될 수 있다.
파문 위치 결정부
파문 위치 결정부에서는 i번째 파문(파문(i))을 발생시키는 역할을 담당하며, 향후 파문(i)의 발생 위치를 데이터 처리부에 전송하여 파문내의 데이터 처리를 수행하도록 하게 한다.
도18은 원형(정사각형) 파문형태와 타원형(직사각형) 파문 형태를 설명하기 위한 개념도이다. 파문의 형태는 크게 원형 파문형태와 타원형 파문형태로 구분할 수 있으며, 이를 영상에 적용하였을 경우 각각 정사각형 파문형태와 직사각형 파문형태로 구분될 수 있다. 이를 도18에 도시하였으며 직사각형 파문형태의 경우 필요에 따라 16:9 화면 비율에서 이용 가능하다.
정사각형(원형) 형태의 파문 위치 결정부
도19는 정사각형 형태의 i번째 파문 발생 위치를 설명하기 위한 개념도이다. 파문 스캔 순서 방법에서 i번째 발생된 정사각형 형태를 한 파문의 데이터 위치를 도19에 도시하였으며, 정사각형 형태의 파문 발생 위치 결정은 다음과 같은 방법으로 수행된다.
단계1. 파문 발생 위치 (파문(0)) 결정
임의의 파문 발생 위치를 정한다(도면에서 Water Ring Origin Point (x,y)라고 표시된 지점). 이때 전송하고자 하는 영상 프레임의 중앙 부분을 파문 발생 위치로 정하거나 또는 사용자가 임의의 위치를 지정할 수 있다.
단계2. 파문(i) 위치 결정.
파문 발생 위치로부터 i 번째(픽셀 단위에서는 픽셀의 개수, 블럭이나 매크로 블럭 단위에서는 해당 단위의 개수) 발생된 파문의 위치를 결정한다.
단계3. 단계2 반복.
전송하고자 하는 영상 프레임내의 모든 데이터가 처리될 때까지 단계2를 반복하여 수행한다.
정사각형 형태의 파문(i)은 도19에서, a-라인(상단 라인), b-라인(좌측 라인), c-라인(우측 라인)과 d-라인(하단 라인)에 위치한 픽셀이나 블럭 또는 매크로 블럭으로 구성되어 있으며 파문 발생 위치(파문(0))로부터 i번째 발생된 정사각형 형태의 파문을 의미한다.
도면에서 상단-라인(a-라인) 이라고 정의된 위치는 파문 발생 위치로부터 y축으로 -i 만큼 떨어진 위치에 있고 x축으로는 +i 보다 작거나 같은 위치에 해당하는 모든 픽셀이나 블럭 또는 매크로 블럭의 영상 데이터이다. 파문 발생 위치를 (x, y)라 하면 다음과 같이 표현된다.
a-라인 : y-i 이고 (x-i < x < x+i)에 위치한 모든 데이터.
도면에서 좌측 라인(b-라인) 이라고 정의된 위치는 파문 발생 위치로부터 x축으로 -i 만큼 떨어진 위치에 있고 y축으로는 +i 보다 작은 위치에 해당하는 모든 픽셀이나 블럭 또는 매크로 블럭의 영상 데이터이다. 파문 발생 위치를 (x, y)라 하면 다음과 같이 표현된다.
b-라인: x-i 이고 (y-i < y < y+i)에 위치한 모든 데이터.
도면에서 우측 라인(c-라인)이라고 정의된 위치는 파문 발생 위치로부터 x축으로 +i 만큼 떨어진 위치에 있고 y축으로는 +i 보다 작은 위치에 해당하는 모든 픽셀이나 블럭 또는 매크로 블럭의 영상 데이터이다. 파문 발생 위치를 (x, y)라 하면 다음과 같이 표현된다.
c-라인: x+i 이고 (y-i < y < y+i)에 위치한 모든 데이터.
도면에서 하단-라인(d-라인) 이라고 정의된 위치는 파문 발생 위치로부터 y축으로 +i 만큼 떨어진 위치에 있고 x축으로는 +i 보다 작거나 같은 위치에 해당하는 모든 픽셀이나 블럭 또는 매크로 블럭의 영상 데이터이다. 파문 발생 위치를 (x, y)라 하면 다음과 같이 표현된다.
d-라인: y+i 이고 (x-i < x < x+i)에 위치한 모든 데이터.
파문(i)에서 해당위치의 데이터 처리순서로 여러가지 예를 들 수 있지만 대표적인 예를 명시하면 래스터스캔(Raster Scan)에 의한 순서와, 대체스캔(alternate scan)에 의한 순서로 구분할 수 있다.
래스터스캔에 의한 방법으로, 파문(i)에 해당하는 위치에 있는 데이터에 대하여 최상단우측(upper-left)의 데이터부터 최하단우측(bottom-right)의 데이터까 지 배열 순서대로 래스터스캔에 의한 순서로 데이터를 처리한다. 수행은, a-라인, b-라인, c-라인, d-라인으로 구분하고, 왼쪽에서 오른쪽으로 a-라인, b-라인/c-line라인, d-Line라인의 순서로 파문 스캔을 실시한다. 이때 b-라인과 c-라인 위의 데이터를 처리할 때는, 왼쪽에서 오른쪽으로 b-라인의 데이터와 c-라인 의 데이터를 번갈아 가며 스캔하며 한 행의 스캔이 끝나면 윗 행에서 아래쪽 행으로 중간라인에 있는 모든 데이터가 스캔 완료될 때까지 반복적으로 수행한다. 이 방법은 쉽게 적용 가능하다는 장점이 있다.
래스터스캔에 의한 파문 위치 결정부의 실제 구현 예는 다음과 같다.
** Initial parameter **
n : n th Ring
N : number of MB in n th Ring
prev_n : (n-1) th Ring
start_x, start_y : start position of Ring (left_top X of Ring, left_top Y of Ring)
curr_x, curr_y : each position of MB in Ring
** Algorithm **
Step 1. : Initial MB Fill
n = 1;
curr_x = start_x;
curr_y = start_y;
if ( InBoundary(curr_x, curr_y) )
FillMB(start_x, start_y);
Step 2. : Top Line MB Fill
n++;
N = 2*n - 1;
prev_n = 2*(n-1) - 1;
start_x--;
start_y--;
curr_x = start_x;
curr_y = start_y;
for j=1 to N {
if ( InBoundary(curr_x, curr_y) )
FillMB(curr_x, curr_y);
curr_x++;
}
Step 3. : Middle Ling MB Fill
N = prev_n;
for j=1 to N {
curr_x = start_x;
curr_y = start_y + j;
if ( InBoundary(curr_x, curr_y) )
FillMB(curr_x, curr_y);
curr_x + prev_n + 1;
if ( InBoundary(curr_x, curr_y) )
FillMB(curr_x, curr_y);
}
Step 4. : Bottom Line MB Fill
N = 2*n - 1;
curr_x = start_x;
curr_y = start_y + prev_n + 1; for j=1 to N {
if ( InBoundary(curr_x, curr_y) )
FillMB(curr_x, curr_y);
curr_x++;
}
Step 5.
if ( not VOP Fill )
goto Step 2.
else
Stop
한편, 영상데이터는 인접한 데이터간의 상관관계가 매우 높기 때문에 영상 코딩 방법 중 많은 경우에 인접 픽셀/블럭/매크로블럭간의 상관관계를 고려하는 예측 코딩(Predictive Coding) 방법이 많이 사용되고 있다. 도20은 래스터스캔을 이용하여 i번째 파문 발생 위치에 해당하는 데이터를 처리하는 데 있어서 인접 데이터 예측 방법을 사용하는 경우 예측 경로를 설명하기 위한 도면이다. 상기 래스터스캔에 의한 방법을 사용하는 경우 도20에 도시한 바와 같이, b-라인과 c-라인을 번갈아가며 해당위치의 데이터를 처리하여야 하는데, 파문내의 i가 증가할수록 인접 데이터간의 예측 코딩 방법을 사용하기가 힘들어진다 (약 2i개의 분기가 발생되어 인접 데이터 간의 예측을 이용하는 경우, 정확한 예측 결과를 기대하기 힘들다).
이에 본 발명에서는 인접 데이터간에 예측 기법의 사용을 용이하게 하기 위하여 도21에 명기한 것과 같은 대체스캔(alternate scan)에 의한 파문(i)의 데이터 처리 순서를 도입한다. 도21은 대체스캔을 이용하여 i번째 파문 발생 위치에 해당하는 데이터를 처리하는 과정을 설명하기 위한 도면이다. 도21에서 살펴보는 바와 같이, 데이터 처리 순서를 a-라인 의 데이터를 왼쪽에서 오른쪽으로 처리한 후, 이어서 c-라인의 데이터를 위쪽에서 아래쪽 순서로 처리한다. 이후 b-라인의 데이터를 위쪽에서 아래쪽으로 처리한 후, 마지막으로 d-라인의 데이터를 처리하는 방법 을 대체스캔이라고 명한다. 즉 파문(i)내의 데이터 처리 시 a-라인, c-라인, b-라인, d-라인의 순서로 수행한다.
도22는 대체스캔을 이용하여 i번째 파문 발생 위치에 해당하는 데이터를 처리하는 데 있어서 인접 데이터 예측 방법을 사용하는 경우 예측 경로를 설명하기 위한 도면이다. 대체스캔을 이용하는 경우, 도22에 도시한 바와 같이 거의 모든 경우에 있어 인접한 데이터를 이용하여 예측 코딩을 수행할 수 있다. 단 c-라인 처리 후에 b-라인의 데이터를 처리하는 경우 한번의 분기가 발생하는데, b-라인상의 최상위에 위치한 데이터를 처리 시 c-라인의 마지막 데이터를 예측에 사용하는 것이 아니라, a-라인의 최초(맨 왼쪽) 데이터를 이용하여 예측 하는 방법을 이용하도록 한다.
직사각형(타원형) 형태의 파문 위치 결정부
직사각형 파문형태의 경우, 영상의 크기가 상대적으로 가로의 크기가 세로의 크기보다 큰 16:9 화면 비율을 이용하는 영상 등에서, 필요에 따라 적용 가능하다. 직사각형 형태의 파문은 가로축 길이가 세로 방향의 길이보다 상대적으로 크다. 그러므로 임의의 파문 발생 위치의 좌우대칭 형태의 코어(core: 핵심)라인을 설정하고 그 부분의 데이터처리를 우선적으로 수행하도록 한다.
도23은 직사각형 형태의 파문에서 코어 라인과 i번째 파문의 발생 위치를 나 타내는 개념도이다. 파문 스캔 순서 방법에서 i번째 발생된 직사각형 형태를 한 파문의 데이터 위치를 도23에 도시하였으며, 직사각형 형태의 파문 발생 위치 결정은 다음과 같은 방법으로 수행된다.
단계1. 파문 발생 위치 (파문(0)) 결정
임의의 파문 발생 위치를 정한다 (도면에서 Water Ring Origin (x,y)라고 표시된 지점). 이때 전송하고자 하는 영상 프레임의 중앙 부분을 파문 발생 위치로 정하거나 또는 사용자가 임의의 위치를 지정할 수 있다.
단계2. 코어 라인(core-line) 파라미터 결정.
직사각형 형태의 파문은 가로축 길이가 세로 방향의 길이보다 상대적으로 크다. 그러므로 임의의 파문 발생 위치의 좌우대칭 형태의 코어라인(core-line)의 길이를 설정할 필요가 있다. 이를 위하여 해당 길이를 정하는 파라미터(m)를 결정하여야 한다.
단계 3. 코어 라인 위치 결정
파문 발생 위치와 코어 라인 파라미터가 결정되면 이를 이용하여 파문 발생 위치 (x,y)로부터 y축은 고정시키고, x축 방향으로 (x-m)의 위치부터 (x+m)위치까지(픽셀 단위에서는 픽셀의 개수, 블럭이나 매크로 블럭 단위에서는 해당 단위의 개수)의 파문의 위치를 코어 라인으로 결정한다.
단계4. 파문(i) 위치 결정.
파문 발생 위치로부터 x축으로 +(i+m) 번째 열(row), y축으로 +i번째 행(column)(픽셀 단위에서는 픽셀의 개수, 블럭이나 매크로 블럭 단위에서는 해당 단위의 개수)에 발생된 파문의 위치를 결정한다.
단계5. 영상 프레임 내의 모든 데이터가 처리 될 때까지 단계4를 반복 수행한다.
전송하고자 하는 영상 프레임내의 모든 데이터가 처리될 때까지 단계4를 반복하여 수행한다.
도23에서 코어 라인의 파문은 core-line, 직사각형 형태의 파문(i)은 a-라인(상단 라인), b-라인(좌측 라인), c-라인(우측 라인)과 d-라인(하단 라인) 각각에 위치한 픽셀이나 블럭 또는 매크로 블럭으로 구성되어 있으며 파문 발생 위치로부터 (파문(0)이라고 칭한다) i번째 발생된 직사각형 형태의 파문을 의미한다.
도면에서 core-line이라고 정의된 위치는 파문 발생 위치로부터, y축은 고정되고, x축으로 +m보다 작거나 같은 위치에 해당하는 모든 픽셀이나 블럭 또는 매크로블럭의 영상 데이터이다. 파문 발생 위치를 (x,y)라 하면 다음과 같이 표현된다.
코어라인: y이고, (x-m < x < x+m)에 위치한 모든 데이터.
도면에서 상단-라인(a-라인) 이라고 정의된 위치는 파문 발생 위치로부터 y축으로 -i만큼 떨어진 위치에 있고 x축으로는 +(i+m) 보다 작거나 같은 위치에 해 당하는 모든 픽셀이나 블럭 또는 매크로 블럭의 영상 데이터이다. 파문 발생 위치를 (x, y)라 하면 다음과 같이 표현된다.
a-라인 : y-i 이고 (x-(i+m) < x < x+(i+m)) 에 위치한 모든 데이터.
도면에서 좌측 라인(b-라인) 이라고 정의된 위치는 파문 발생 위치로부터 x축으로 -(i+m)만큼 떨어진 위치에 있고 y축으로는 +i 보다 작은 위치에 해당하는 모든 픽셀이나 블럭 또는 매크로 블럭의 영상 데이터이다. 파문 발생 위치를 (x, y)라 하면 다음과 같이 표현된다.
b-라인: x-(i+m) 이고 (y-i < y < y+i) 에 위치한 모든 데이터.
도면에서 우측 라인(c-라인)이라고 정의된 위치는 파문 발생 위치로부터 x축으로 +(i+m)만큼 떨어진 위치에 있고 y축으로는 +i 보다 작은 위치에 해당하는 모든 픽셀이나 블럭 또는 매크로 블럭의 영상 데이터이다. 파문 발생 위치를 (x, y)라 하면 다음과 같이 표현된다.
c-라인: x+(i+m) 이고 (y-i < y < y+i) 에 위치한 모든 데이터.
도면에서 하단-라인(d-라인) 이라고 정의된 위치는 파문 발생 위치로부터 y축으로 +i만큼 떨어진 위치에 있고 x축으로는 +(i+m) 보다 작거나 같은 위치에 해당하는 모든 픽셀이나 블럭 또는 매크로 블럭의 영상 데이터이다. 파문 발생 위치를 (x, y)라 하면 다음과 같이 표현된다.
d-라인: y+i 이고 (x-(i+m) < x < x+(i+m)) 에 위치한 모든 데이터.
직사각형형태의 파문을 발생시키기 위해서 정사각형 형태의 파문 처리 방법 및 장치에 코어 라인 부분의 파문을 처리하는 방법 및 장치가 추가될 수 있다.
도24a는 직사각형 형태의 파문 발생 과정을 설명하기 위한 일실시예 흐름도이고, 도24b는 직사각형 형태의 파문 발생 장치에 대한 일실시예 구성도이다. 즉 파문 발생 위치 입력부(2401)에서 임의의 파문 발생 위치가 결정되고(또는 입력되고)(S2401), 코어 파라미터 입력부(2403)에서 코어 파라미터가 결정되면(또는 입력되면)(S2403), 코어라인 파문 생성부(2405)는 이들 값을 이용하여 코어 라인 파문을 생성시켜 해당위치의 데이터를 처리(S2405)한 후 파문(i) 생성부(2407)에서 i번째 파문을 발생시켜 해당위치의 데이터를 처리(S2407)하도록 구성하여야 한다. 이는 영상내의 모든 파문위치가 생성되어 해당 위치의 데이터가 모두 처리될 때까지 반복 수행한다(S2409, S2411).
정사각형 파문처리 방법에서 명기한 바와 같이, 직사각형 파문처리 방법에서도 파문(i)에서 해당위치의 데이터 처리순서로 여러가지 예를 들 수 있다. 그 중 대표적인 예를 명시하면 래스터스캔(Raster Scan)에 의한 순서와, 대체스캔(alternate scan)에 의한 순서를 명기할 수 있다.
래스터스캔에 의한 방법으로, 파문(i)에 해당하는 위치에 있는 데이터에 대하여 최상단우측(upper-left)의 데이터부터 최하단우측(bottom-right)의 데이터까지 배열 순서대로 래스터스캔에 의한 순서로 데이터를 처리한다. 수행은, core-라인의 데이터를 처리한 후 각각의 파문 별로 a-라인, b-라인/c-line라인, d-Line라 인의 순서로 파문 스캔을 실시한다. 이때 b-라인과 c-라인 위의 데이터를 처리할 때는, 왼쪽에서 오른쪽으로 b-라인의 데이터와 c-라인 의 데이터를 번갈아 가며 스캔하며 한 행의 스캔이 끝나면 윗 행에서 아래쪽 행으로 중간라인에 있는 모든 데이터가 스캔 완료될 때까지 반복적으로 수행한다. 이 방법은 쉽게 적용 가능하다는 장점이 있다. 인접 데이터간에 예측 기법의 사용을 용이하게 하기 위하여 도25에 도시된 대체스캔(alternate scan)에 의한 파문(i)의 데이터 처리 순서를 도입할 수도 있다.
도25는 대체스캔을 이용하여 직사각형 형태의 파문 중에서 코어 라인의 파문 발생 위치와 i번째 파문 발생 위치에 해당하는 데이터를 처리하는 방법의 개요도로서, 도25에서 살펴보는 바와 같이, 데이터 처리 순서를 파문 발생 위치인 core-라인의 데이터를 최우선적으로 처리한 후, 파문(i)의 생성 및 처리를 위하여a-라인 의 데이터를 왼쪽에서 오른쪽으로 처리한다. 이어서 c-라인의 데이터를 위쪽에서 아래쪽 순서로 처리한다. 이후 b-라인의 데이터를 위쪽에서 아래쪽으로 처리한 후, 마지막으로 d-라인의 데이터를 처리하는 방법을 대체스캔이라고 명한다. 즉 core-라인의 데이터를 우선적으로 처리한 후에, 파문(i)내의 데이터 처리 시 a-라인 c-라인 b-라인 d-라인의 순서로 수행한다.
도26은 대체스캔을 이용하여 직사각형 형태의 파문 중에서 코어 라인의 파문 발생 위치와 i번째 파문 발생 위치에 해당하는 데이터를 처리하는데 있어서 인접 데이터 예측 방법을 사용하는 경우 예측 경로를 도식화 한 도면이다. 대체스캔을 이용하는 경우, 도26에 도시한 바와 같이 거의 모든 경우에 있어 인접한 데이터를 이용하여 예측 코딩을 수행할 수 있다. 단 c-라인 처리 후에 b-라인의 데이터를 처리하는 경우 한번의 분기가 발생하는데, b-라인상의 최상위에 위치한 데이터를 처리 시 c-라인의 마지막 데이터를 예측에 사용하는 것이 아니라, a-라인의 맨 왼쪽 데이터를 이용하여 예측 하는 방법을 이용하도록 한다.
데이터 처리부
파문 위치 결정부에서 결정된 파문 스캔 위치와 파문 내 영상 QF 결정부에서 결정된 영상 중요도에 따른 가중치를 이용하여 영상데이터의 코딩과 전송을 실시한다.
전체적인 방법과 장치는 크게 도6에 도시된 바와 같이 영상의 코딩과 전송(인코더에서는 인코딩과 전송, 디코더에서는 수신과 디코딩)을 파문 발생 위치와 동기(synchronization)시켜 처리하는 방식과 도7과 도8에 도시된 바와 같이 인코딩 시 래스터스캔 오더(Raster Scan order)를 이용하여 데이터 코딩을 수행하는 경우 영상의 코딩(인코딩/디코딩)과 전송(비트 스트림 전송 및 수신)을 따로 처리하는 방식으로 나뉠 수 있다. 이는 수행순서의 변경만을 의미하며, 각각의 처리부에서 수행하는 방법의 차이는 없다.
앞서 설명한 바와 같이, 데이터 처리부에서는 파문 내 영상 QF 결정부에서 결정된 QF 값 값을 각각의 파문(i)에 적용하여 HVS에 적합하게 화질 향상을 수행하 는 코딩 방식을 따르고 있으며, 파문 위치 결정부에서 결정된 각각의 파문(i)의 위치순서로 인코더에서 디코더로 데이터 전송 및 수행을 담당한다.
파문 QF 결정부에서 결정된 QF 값을 영상 코딩에 적용하는 방법은 비트 플레인(bit-plane) 별로 데이터 코딩을 수행하는 방식에 적용하는 등을 예로 들 수 있다. 이외에도 QF 값을 적용할 수 있는 여러가지 방법이 있을 수 있으나 본 발명에서는 아래와 같이 제안한다.
비트 플레인 단위의 QF 값을 적용하는 방식
비트 플레인 단위로 영상 코딩을 수행하는 방식은 여러 가지가 있으며, 그 중에서 MPEG에서 미세입자 신축형 코딩 방법이 있다. 이 방식은 송신단 측에서 수신단 측으로 전송할 영상 정보를 비트 플레인 별로 나누고, 그 중 최상위 비트(Most significant bit: MSB)를 최우선적으로 전송하고, 그 다음 중요한 비트를 비트 플레인 별로 나누어 연속적으로 전송하는 방식을 사용하고 있다.
예를 들어 25라는 영상정보를 전송한다고 가정하면, 이를 이진수로 표현하면 11001이 되고 이는 5개의 비트 플레인으로 구성되어 있다. 이 정보를 비트 플레인 별로 송신하기 위해서는, 일단 인코더에서 디코더로 모든 전송 정보의 구성이 5개의 비트 플레인으로 구성되어 있다고 알려주고, 최상위 비트(MSB)로부터 최하위 비트(LSB: Least significant bit)까지 비트 단위로 수신단으로 전송한다고 할 때, 첫번째 MSB 비트가 전송 완료 되었다면, 수신단 측에서는 전송되는 정보가 16(10000) 이상의 값이라는 것을 알 수 있고, 두번째 비트열이 전송 되었다면 24(11000)이상의 값이 전송될 것이라는 것을 알 수 있다.
본 발명에서는 비트 플레인 단위로 코딩을 수행하는 방법에 QF 값을 적용하는 방안으로 QF 값을 비트 쉬프트 인수(Shift Factor)로 이용하는 방법을 제안한다. 이는 각각의 파문(i)마다 QF 값을 쉬프트 인수로 적용하여, 해당 데이터의 값을 쉬프트 인수 만큼 왼쪽으로 이동시킴으로써 보다 많은 비트 플레인을 수신단에 우선적으로 전송 및 수신이 가능하도록 하여 선택적으로 해당 데이터 값을 정확하게 디코딩 함으로써 화질 향상을 이룩할 수 있게 한다. 디코더에서는 현재 디코딩 하려는 데이터에 적용할 QF 값을 수신 받아 이를 쉬프트 인수로 사용하여 해당 데이터의 비트열을 오른쪽으로 이동시켜 보다 정확하게 데이터 복원을 수행할 수 있게 한다.
예를 들어 데이터의 값이 55이며 비트 플레인이 8개로 이루어져 있다면, 해당 값을 비트단위로 바꾸었을 때 00110111이 된다. 해당 데이터의 전송은 첫번째 비트 플레인에 0, 두번째 비트 플레인에 0, 세 번째 비트 플레인에 1 등으로 전송하게 되는 것이 일반적인 방법이다. 만약 QF 값이 2라고 주어져 있다면, 2개의 비트를 왼쪽으로 쉬프트하여 11011100의 비트열을 만들고, 송수신시 첫번째 비트 플레인에 1, 두번째 비트 플레인에 1, 세 번째 비트 플레인에 0의 값을 인코더에서 디코더로 전송하게 된다. 디코더에서는 QF 값 2를 먼저 전송 받고 이후 3개의 비트 플레인 110을 수신 받았다고 하면 QF 값을 이용하여 오른쪽으로 2비트를 쉬프트하여 00110000의 값으로 복원할 수 있다. 이는 해당 데이터의 값이 48로 복원된 결과이다. QF 값을 이용하지 않는 경우, 역시 3개의 비트 플레인의 값이 수신되었다면 001을 수신하게 되며 이를 복원하였을 경우 00100000이 되어 32의 값으로 복원하게 된다.
즉 같은 데이터 값에 QF 값을 적용하는 경우, 보다 원래의 데이터 값에 가까운 값으로 디코딩이 가능하게 되어 해당 데이터의 영상의 화질이 향상되는 결과를 가져오게 된다.
파문(i)별로 QF 값을 결정하여 비트 플레인 단위의 영상 데이터 코딩에 이용하는 경우 QF 값을 쉬프트 인수로 사용하게 된다. QF 값이 큰 파문의 데이터는 보다 많은 정보가, 그렇지 않은 파문의 데이터의 경우보다 전송되어 복원되게 된다. 결과적으로 해당 데이터의 복원 값들이 상대적으로 정확하게 되어 해당 영상의 화질이 HVS에 적합하게 향상되는 결과를 가져오게 되는 코딩 방식이다.
실시예로서 아래의 표1에 실제 데이터 값으로 22와 12가 주어져 있을 때 QF 값이 2인 경우와 QF 값이 없는 경우로 나누어 디코더에서 총 7개의 비트 플레인 중 상위 3개만 수신 하였을 때의 복원된 데이터 값의 예를 도시하였다. 표1에서 살펴 본 바와 같이, QF 값이 부여된 데이터의 복원 값이 아닌 경우에 비해 정확함을 알 수 있고 이는 해당 데이터의 영상 화질이 상대적으로 우수함을 보여주고 있다.
비트 플레인 단위의 QF 값 적용 시 디코더에서 복원된 데이터 결과값
실제 데이터 QF 값 인코더 디코더
비트열 쉬프트된 비트열 수신 비트열 (상위 3개) 복원된 비트열 복원된 데이터
22 2 0010110 1011000 101 0010100 20
0 0010110 001 0010000 16
12 2 0001100 0110000 011 0001100 12
0 0001100 000 0000000 0
지능형 파문 스캔 방법을 동영상 코딩 방법에 적용한 구현 예
본 발명에서 제안된 방식을 실제 비디오 코딩 방식에 적용하였을 때의 구현 예는 다음과 같다.
DCT 변환을 이용하는 코딩 방법을 이용할 때는 4 X 4 또는 8 X 8의 블럭단위나, 16 X 16의 매크로 블럭 단위로 파문을 발생시켜 영상 코딩을 수행하며, 웨이브렛 변환 등을 이용한 픽셀단위의 영상 코딩 방법에 적용 시는 픽셀단위로 파문을 발생시켜 영상 코딩을 수행한다.
DCT 변환을 이용한 동영상 처리에 파문 스캔 순서를 적용하였을 때의 예로서, QCIF (176 X 144 픽셀) 영상 프레임에 적용하는 경우 11 X 9개의 매크로 블럭이 16 X 16개 존재한다. 일실시예로서, 영상 프레임의 중앙부에 위치하는 매크로블럭으로부터 매크로블럭 단위로 파문을 발생시켜 코딩에 적용한 경우를 살펴보면, 파문 발생 위치(파문(0))로부터 파문(1), . , 파문(5)까지 총 6개의 파문을 발생시켜 해당 파문의 QF 값을 이용하여 HVS에 적합한 화질 향상을 이룩하도록 영상을 코딩 한다. 디코더에서 전송환경이 열악하여 모든 데이터가 수신이 안된 경우에도 파문(0)부터 파문(1) 등 영상 프레임의 중앙부에 해당하는 매크로 블럭들의 데이터는 최우선적으로 송신이 되었으므로 당해 블록들의 데이터가 수신되어 디코딩이 완료되는 경우가 확률적으로 많으므로 가장자리 부분의 매크로블럭의 데이터가 처리 되지 못하더라도, 영상의 중앙부분의 화질의 향상은 최대한 보장하게 되는 경우가 된다.
신축형 동영상 코딩의 응용 예로서 미세 입자 신축형 코딩에 지능형 파문 스캔 방법을 적용한 예는 다음과 같다.
도27은 지능형 파문 스캔 방법을 미세입자 신축형 코딩 방법에 적용한 경우의 인코더의 일실시예 구조도이고, 도28은 지능형 파문 스캔 방법을 미세입자 신축형 코딩 방법에 적용한 경우의 디코더의 일실시예 구조도이다.
제안된 방법의 FGS 강화 계층 인코딩은 도27에 도시된 것과 같이 원 영상(Original Image)과 기본계층에서 재생된 영상과의 오차(residues)를 구하는 오차 연산부, 이산 코사인 변환부(DCT), 파문별 QF 값에 따른 비트 플레인 쉬프트부(Bit-plane shift Unit using QF for each water ring), 최대값 연산부(Find Maximum) 및 파문 스캔 순서에 따른 비트 플레인 별 가변장 인코딩부(Water Ring Scan Order Bit-plane VLC)를 통해 수행된다.
상기 오차 연산부에서는 기본계층에서 코딩 된 후 재생된 영상(도면에서 역 양자화부(Q-1)와 역 이산 코사인 변환부(IDCT)를 통과한 후 클리핑된 재생 영상)과 원 영상과의 차(difference)를 구하여 그 오차 값(residues)을 구한다.
이산 코사인 변환부(DCT)는 상기 오차를 구하는 과정에서 구해진 영상기반 오차 값(residues)을 블럭 단위(8 X 8 단위) DCT를 이용하여 DCT 도메인(domain)으로 변환한다.
파문별 QF 값에 따른 비트 플레인 쉬프트부(Bit-plane shift Unit using QF for each water ring)는 선택적으로 HVS에 적합한 좋은 화질을 갖도록 파문별 QF 값을 적용하여 비트 플레인 쉬프트를 수행한다.
최대값 연산부에서는 이산 코사인 변환을 마친 모든 값들의 절대치에 대한 최대값을 구한다. 이 값은 해당 영상 프레임을 전송하기 위한 최대 비트 플레인(bit-plane)의 개수를 구하는데 사용된다.
파문 스캔 순서에 따른 비트 플레인 별 가변장 인코딩부(Water Ring Scan Order Bit-plane VLC)는 각 비트 플레인 별로 비트 플레인 가변장 인코딩(Bit-plane VLC)을 수행할 때, 임의의 특정 위치로부터 파문 스캔을 수행하여 우선적으로 코딩 할 매크로 블럭이나 블럭의 위치를 결정하고, 결정된 코딩 순서(우선 순위)에 맞게, 비트 플레인 별로 블럭 단위로 구해진 64개의 DCT 계수들(DCT계수의 해당 비트 플레인의 비트:0 또는 1)을 지그재그 스캔 (zigzag scan) 순서로 하나의 행렬을 구성하며, 각 행렬들은 가변장 길이 코드표(VLC table)에 따라 런-길이(Run-length) 인코딩된다. 그 외의 기본계층의 인코딩 과정은 종래 기술에서 설명한 바 있으므로 여기서는 더 이상 설명하지 않기로 한다.
한편, 도28에 도시한 바와 같이, 제안된 방법의 FGS 강화 계층의 디코딩은 인코더와 역순으로 강화 계층에 전송된 비트 스트림의 디코딩을 수행하게 되는데, 먼저 입력된 강화 비트 스트림(Enhancement Bitstream)에 대해 파문 스캔 순서에 따른 비트 플레인 별 가변장 디코딩부(Water Ring Scan Order Bit-plane VLD)가 파문 발생 위치부터 비트 플레인 별로 가변길이 디코딩(Bit-plane VLD)을 파문 스캔 순서에 맞추어 수행한다.
이후, 파문별 QF 값에 따른 비트 플레인 쉬프트부(Bit-plane shift Unit using QF for each water ring)는 HVS에 적합한 화질을 위한 파문별 QF 값이 전송되었다면, 파문별 QF 값을 이용한 비트 플레인 쉬프트를 수행한다.
IDCT부는 파문 스캔 순서에 따라 비트 플레인 별로 VLD가 수행되고 파문별 QF 값을 이용한 비트 플레인 쉬프트가 수행되어 도출된 값에, 블럭 단위(8 X 8 단위)의 역 이산 코사인 변환(IDCT : Inverse Discrete Cosine Transform)을 수행하여 강화계층에서 전송된 영상을 복원한 후, 클리핑부가 기본계층에서 복호된 영상과 합산된 값들을 0과 255 값 사이로 클리핑(Clipping)하여 최종적으로 향상된 화질의 영상을 복원하게 된다.
상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 기록매체(시디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다.
이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치 환, 변형 및 변경이 가능하다는 것이 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어서 명백하다 할 것이다.
본 발명은 상기와 같은 구성에 의하여, 중요한 특정 영상 부분의 정보를 인간의 시각 시스템에 적합하도록 화질을 향상시킨 후 우선적으로 인코딩을 수행하여 전송하고, 수신단에서도 해당 특정 부분의 영상 정보를 우선적으로 디코딩 하여, 전송환경이 열악하여 더 이상 인코더에서 전송된 모든 비트 스트림을 디코더에서 수신하지 못한 경우에도 특정한 중요 부분의 화질을 최대한 보장할 수 있는 효과를 제공한다.

Claims (32)

  1. 영상 시스템에 적용되는 파문 스캔 장치에 있어서,
    영상 프레임 내의 파문 발생 위치(파문(0))를 결정하는 파문 발생 위치 결정 수단;
    상기 파문 발생 위치를 둘러싸는 i번째 파문 위치(파문(i))-i는 정수-를 결정하는 파문 위치 결정 수단; 및
    각 파문별로 파문 화질 인자(Quality Factor, QF) 값을 결정하는 파문 QF 결정 수단
    을 포함하는 파문 스캔 장치.
  2. 제1항에 있어서,
    상기 상기 QF 값은
    상기 파문 발생 위치 및 파문 위치의 영상 영역 중요도에 따라 각 파문별로 결정되는 것을 특징으로 하는 파문 스캔 장치.
  3. 제1항에 있어서,
    상기 파문 발생 위치 정보는
    영상 프레임 내의 중앙 위치를 기준으로 하는 상대 위치로 표현되는 것
    을 특징으로 하는 파문 스캔 장치.
  4. 제1항에 있어서,
    상기 파문 발생 위치 정보는
    직전 영상 프레임의 파문 발생 위치를 기준으로 하는 상대 위치로 표현되는 것을 특징으로 하는 파문 스캔 장치.
  5. 제1항에 있어서,
    상기 QF 값은
    상기 파문 발생 위치 및 파문 위치에 대응하는 QF 값을 갖는 테이블로 이미 결정되어 있는 값임을 특징으로 하는 파문 스캔 장치.
  6. 제1항에 있어서,
    상기 QF 값은
    영상 프레임에서 상기 QF 값을 갖는 파문의 최대 개수 정보;
    상기 QF 값의 최대 값 정보; 및
    상기 QF 값을 갖는 파문 별 QF 보정 값 정보-파문 별 QF 보정 값 정보는 이전 파문의 QF 값으로부터 현재 파문의 QF 값을 뺀 값임-
    를 포함하는 것을 특징으로 하는 파문 스캔 장치.
  7. 제1항에 있어서,
    상기 QF 값은
    미리 결정되어 저장되어 있는 QF 값의 최대 값 정보 및 QF 값의 분산(Variance) 정보를 파라미터로 하여 상기 파문 발생 위치 및 파문 위치에 대응하여 결정되는 것
    을 특징으로 하는 파문 스캔 장치.
  8. 영상 시스템에 적용되는 파문 스캔 방법에 있어서,
    영상 프레임 내의 파문 발생 위치(파문(0))를 결정하는 단계;
    상기 파문 발생 위치를 둘러싸는 i번째 파문 위치(파문(i))-i는 정수-를 결정하는 단계; 및
    각 파문별로 파문 화질 인자(Quality Factor, QF) 값을 결정하는 단계
    를 포함하는 파문 스캔 방법.
  9. 파문 스캔을 이용한 영상 신호의 인코딩 장치로서,
    영상 프레임 내의 파문 발생 위치(파문(0))를 결정하는 파문 발생 위치 결정 수단;
    상기 파문 발생 위치를 둘러싸는 i번째 파문 위치(파문(i))-i는 정수-를 결정하는 파문 위치 결정 수단;
    각 파문별로 파문 화질 인자(Quality Factor, QF) 값을 결정하는 파문 QF 결정 수단; 및
    상기 결정된 QF 값을 비트 쉬프트 인수(bit shift factor)로 각 파문 단위로 인코딩을 수행하는 데이터 처리 수단;
    을 포함하는 영상 신호의 인코딩 장치.
  10. 제9항에 있어서,
    상기 상기 QF 값은
    상기 파문 발생 위치 및 파문 위치의 영상 영역 중요도에 따라 각 파문별로 결정되는 것을 특징으로 하는 영상 신호의 인코딩 장치.
  11. 제9항에 있어서,
    상기 데이터처리수단은
    각 파문위치의 중요도가 높은 순서에 따라 인코딩을 수행하는 것을 특징으로 하는 영상 신호의 인코딩 장치.
  12. 제9항에 있어서,
    상기 QF 값은
    상기 파문 발생 위치 및 파문 위치에 대응하는 QF 값을 갖는 테이블로 이미 결정되어 상기 인코딩 장치에 저장되어 있는 것
    을 특징으로 하는 영상신호의 인코딩 장치.
  13. 제9항에 있어서,
    상기 QF 값은
    영상 프레임에서 상기 QF 값을 갖는 파문의 최대 개수 정보;
    상기 QF 값의 최대 값 정보; 및
    상기 QF 값을 갖는 파문 별 QF 보정 값 정보-파문 별 QF 보정 값 정보는 이전 파문의 QF 값으로부터 현재 파문의 QF 값을 뺀 값임-
    를 포함하는 것을 특징으로 하는 영상신호의 인코딩 장치.
  14. 제9항에 있어서,
    상기 QF 값은
    영상 시퀀스를 구성하는 모든 영상 프레임의 상기 파문 발생 위치 및 파문 위치에 대해 상기 인코딩 장치에서 결정되어 임의의 디코딩 장치로 전송되는 것
    을 특징으로 하는 영상 신호의 인코딩 장치.
  15. 제9항에 있어서,
    상기 QF 값은
    이미 결정되어 상기 인코딩 장치에 저장되어 있는 QF 값의 최대 값 정보 및 QF 값의 분산(Variance) 정보를 파라미터로 하여 상기 파문 발생 위치 및 파문 위치에 대응하여 결정되는 것
    을 특징으로 하는 영상 신호의 인코딩 장치.
  16. 제9항에 있어서,
    상기 QF 값은
    상기 인코딩 장치에서 결정되어 임의의 디코딩 장치로 전송되는,영상 시퀀스를 구성하는 모든 영상 프레임의 상기 파문 발생 위치 및 파문 위치에 대한 상기 QF 값의 최대 값 정보 및 상기 QF 값의 분산(Variance) 정보를 파라미터로 하여 상기 영상 시퀀스를 구성하는 모든 영상 프레임의 상기 파문 발생 위치 및 파문 위치에 대응하여 결정되는 것
    을 특징으로 하는 영상 신호의 인코딩 장치.
  17. 제9항에 있어서,
    상기 QF 값은
    상기 인코딩 장치에서 결정되어 임의의 디코딩 시스템으로 전송되는,영상 프레임의 상기 파문 발생 위치 및 파문 위치에 대한 상기 QF 값의 최대 값 정보 및 상기 QF 값의 분산(Variance) 정보를 파라미터로 하여 상기 영상 시퀀스를 구성하는 모든 영상 프레임의 상기 파문 발생 위치 및 파문 위치에 대응하여 결정되는 것
    을 특징으로 하는 영상 신호의 인코딩 장치.
  18. 제9항에 있어서,
    상기 데이터 처리 수단은
    상기 각각의 파문(i)마다 상기 결정된 QF 값을 비트 쉬프트 인수(bit shift factor)로 하여 해당 데이터의 값-이진수-을 상기 결정된 QF 값만큼 왼쪽으로 쉬프트 시킴으로써 비트 플레인(bit-plane) 단위로 인코딩/디코딩을 수행하는 것
    을 특징으로 하는 영상 신호의 인코딩 장치.
  19. 파문 스캔을 이용한 영상 신호의 인코딩 방법으로서,
    영상 프레임 내의 파문 발생 위치(파문(0))를 결정하는 단계;
    상기 파문 발생 위치를 둘러싸는 i번째 파문 위치(파문(i))-i는 정수-를 결정하는 단계;
    각 파문별로 파문 화질 인자(Quality Factor, QF) 값을 결정하는 단계; 및
    상기 결정된 QF 값을 비트 쉬프트 인수(bit shift factor)로 하여 파문 단위로 인코딩을 수행하는 단계;
    를 포함하는 영상 신호의 인코딩 방법.
  20. 파문 스캔을 이용한 영상 신호의 디코딩 장치로서,
    영상 프레임 내의 파문 발생 위치(파문(0))를 결정하는 파문 발생 위치 결정 수단;
    상기 파문 발생 위치를 둘러싸는 i번째 파문 위치(파문(i))-i는 정수-를 결정하는 파문 위치 결정 수단;
    각 파문별로 파문 화질 인자(Quality Factor, QF) 값을 결정하는 파문 QF 결정 수단; 및
    상기 결정된 QF 값을 비트 쉬프트 인수(bit shift factor)로 하여 파문 단위로 디코딩을 수행하는 데이터 처리 수단;
    을 포함하는 영상 신호의 디코딩 장치.
  21. 제20항에 있어서,
    상기 QF 값은
    상기 파문 발생 위치 및 파문 위치의 영상 영역 중요도에 따라 각 파문별로 결정되는 것을 특징으로 하는 영상 신호의 디코딩 장치.
  22. 제20항에 있어서,
    상기 데이터처리수단은
    각 파문위치의 중요도가 높은 순서에 따라 디코딩을 수행하는 것을 특징으로 하는 영상 신호의 디코딩 장치.
  23. 파문 스캔을 이용한 영상 신호의 디코딩 방법으로서,
    영상 프레임 내의 파문 발생 위치(파문(0))를 결정하는 단계;
    상기 파문 발생 위치를 둘러싸는 i번째 파문 위치(파문(i))-i는 정수-를 결정하는 단계;
    각 파문별로 파문 화질 인자(Quality Factor, QF) 값을 결정하는 단계; 및
    상기 결정된 QF 값을 이용하여 하여 파문 단위로 디코딩을 수행하는 단계;
    를 포함하는 영상 신호의 디코딩 방법.
  24. 제23항에 있어서,
    상기 결정된 QF 값은 비트쉬프트 인수로 이용되는 것을 특징으로 하는 영상 신호의 디코딩 방법.
  25. 제23항에 있어서,
    상기 QF 값은
    상기 파문 발생 위치 및 파문 위치의 영상 영역 중요도에 따라 각 파문별로 결정되는 것을 특징으로 하는 영상 신호의 디코딩 방법.
  26. 제23항에 있어서, 디코딩을 수행하는 단계는,
    각 파문위치의 중요도가 높은 순서에 따라 디코딩을 수행하는 것을 특징으로 하는 영상 신호의 디코딩 방법.
  27. 제23항에 있어서,
    상기 파문 발생 위치 정보는,
    미리 결정되어 상기 디코딩 장치에 저장되어 있는 것임을 특징으로 하는 영상 신호의 디코딩 방법.
  28. 제23항에 있어서,
    상기 파문 발생 위치 정보는,
    인코딩 장치에서 영상 프레임별로 결정되어 전송된 것임을 특징으로 하는 영상 신호의 디코딩 방법.
  29. 제23항에 있어서,
    상기 파문 발생 위치 정보는
    영상 프레임 내의 절대 위치로 표현되는 것
    을 특징으로 하는 영상 신호의 디코딩 방법.
  30. 제23항에 있어서,
    상기 파문 발생 위치 정보는
    영상 프레임 내의 중앙 위치를 기준으로 하는 상대 위치로 표현되는 것
    을 특징으로 하는 영상 신호의 디코딩 방법.
  31. 제23항에 있어서,
    상기 파문 발생 위치 정보는
    인코딩 장치부터 수신된 직전 영상 프레임의 파문 발생 위치를 기준으로 하는 상대 위치로 표현되는 것
    을 특징으로 하는 영상 신호의 디코딩 방법.
  32. 제23항에 있어서,
    상기 QF 값은
    영상 프레임에서 상기 QF 값을 갖는 파문의 최대 개수 정보;
    상기 QF 값의 최대 값 정보; 및
    상기 QF 값을 갖는 파문 별 QF 보정 값 정보-파문 별 QF 보정 값 정보는 이전 파문의 QF 값으로부터 현재 파문의 QF 값을 뺀 값임-
    를 포함하도록 가변장 코딩(Variable Length Coding)에 의해 인코딩 장치로부터 전송된 것임을 특징으로 하는 영상 신호의 디코딩 방법.
KR20020053957A 2001-11-26 2002-09-06 영상 화질 향상 인자를 이용한 지능형 파문 스캔 장치 및 그 방법과 그를 이용한 영상 코딩/디코딩 장치 및 그 방법 KR100603592B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020010073987 2001-11-26
KR20010073987 2001-11-26

Publications (2)

Publication Number Publication Date
KR20030043612A KR20030043612A (ko) 2003-06-02
KR100603592B1 true KR100603592B1 (ko) 2006-07-24

Family

ID=19716317

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20020053957A KR100603592B1 (ko) 2001-11-26 2002-09-06 영상 화질 향상 인자를 이용한 지능형 파문 스캔 장치 및 그 방법과 그를 이용한 영상 코딩/디코딩 장치 및 그 방법

Country Status (7)

Country Link
US (2) US7995657B2 (ko)
EP (1) EP1449381A4 (ko)
JP (2) JP4722395B2 (ko)
KR (1) KR100603592B1 (ko)
CN (1) CN100525442C (ko)
AU (1) AU2002356458A1 (ko)
WO (1) WO2003047263A1 (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1076711C (zh) 1996-08-08 2001-12-26 日立化成工业株式会社 石墨颗粒、其生产方法、含该颗粒的负极和锂二次电池
US7953156B2 (en) * 2003-08-29 2011-05-31 Koninklijke Philips Electronics N.V. System and method for encoding and decoding enhancement layer data using descriptive model parameters
KR100987764B1 (ko) * 2003-09-04 2010-10-13 경희대학교 산학협력단 영상 데이터의 예측 부호화를 위한 참조 데이터 유닛 결정방법 및 그 장치
US7994946B2 (en) * 2004-06-07 2011-08-09 Agency For Science, Technology And Research Systems and methods for scalably encoding and decoding data
WO2010055893A1 (ja) * 2008-11-13 2010-05-20 Oya Nagato 樹状形式によるデータ処理方法およびデータ処理装置
US8948523B2 (en) 2008-05-29 2015-02-03 Nagato Oya Data processing method in tree form and data processing device
WO2013086724A1 (en) * 2011-12-15 2013-06-20 Mediatek Singapore Pte. Ltd. Method of clippling transformed coefficients before de-quantization
KR101605173B1 (ko) * 2012-04-20 2016-03-21 후아웨이 테크놀러지 컴퍼니 리미티드 이미지를 처리하는 방법
GB2554680B (en) * 2016-10-03 2020-04-01 Advanced Risc Mach Ltd Selecting encoding options
KR102410035B1 (ko) * 2017-07-06 2022-06-20 삼성디스플레이 주식회사 영상 신호 처리 장치 및 그것을 포함하는 표시 장치
GB2567835B (en) 2017-10-25 2020-11-18 Advanced Risc Mach Ltd Selecting encoding options

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09214977A (ja) * 1996-02-06 1997-08-15 Nippon Telegr & Teleph Corp <Ntt> ビデオ符号化方法およびビデオ符号化装置
KR20020005365A (ko) * 2000-07-07 2002-01-17 박광훈 파문 스캔 장치 및 그 방법과 그를 이용한 영상코딩/디코딩 장치 및 그 방법
KR20020087810A (ko) * 2001-05-16 2002-11-23 주식회사 넷앤티비 미세입자 스케일러블 코딩의 적응적 선택 강화 적용 방법

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0256187A (ja) * 1988-08-22 1990-02-26 Matsushita Electric Ind Co Ltd 動画像符号化装置
JP2647929B2 (ja) 1988-10-28 1997-08-27 日本電信電話株式会社 ２地点間画像符号化方式
DE69225621T2 (de) 1991-01-17 1998-11-12 Mitsubishi Electric Corp Vorrichtung zur Kodierung eines Videosignals
JPH04266286A (ja) * 1991-02-21 1992-09-22 Seiko Epson Corp テレビ電話用映像信号圧縮装置
JP2762821B2 (ja) 1992-02-25 1998-06-04 日本電気株式会社 固体イメージセンサ
JPH05316493A (ja) * 1992-05-06 1993-11-26 Sanyo Electric Co Ltd 画像データ圧縮方法
US5402146A (en) * 1992-10-23 1995-03-28 International Business Machines Corporation System and method for video compression with artifact dispersion control
JPH06284395A (ja) * 1993-03-26 1994-10-07 Toshiba Corp 画像圧縮符号化器
JPH09182073A (ja) 1995-03-15 1997-07-11 Toshiba Corp 動画像符号化装置および復号装置
JPH0998418A (ja) * 1995-10-02 1997-04-08 N T T Data Tsushin Kk 画像符号化・復号化方法及びシステム
US6192081B1 (en) * 1995-10-26 2001-02-20 Sarnoff Corporation Apparatus and method for selecting a coding mode in a block-based coding system
US6957350B1 (en) * 1996-01-30 2005-10-18 Dolby Laboratories Licensing Corporation Encrypted and watermarked temporal and resolution layering in advanced television
JPH09322164A (ja) * 1996-05-31 1997-12-12 Nec Corp 画像信号圧縮装置および画像信号圧縮伸張装置
US6011872A (en) * 1996-11-08 2000-01-04 Sharp Laboratories Of America, Inc. Method of generalized content-scalable shape representation and coding
US5920359A (en) * 1997-05-19 1999-07-06 International Business Machines Corporation Video encoding method, system and computer program product for optimizing center of picture quality
JP3856267B2 (ja) 1998-07-27 2006-12-13 株式会社リコー 画像伝送方法、画像送信方法及び装置、画像受信方法及び装置、並びに記録媒体
US6256423B1 (en) * 1998-09-18 2001-07-03 Sarnoff Corporation Intra-frame quantizer selection for video compression
EP1046136B1 (en) * 1998-09-29 2007-03-28 Koninklijke Philips Electronics N.V. Partition coding method and device
US6192082B1 (en) * 1998-11-13 2001-02-20 Compaq Computer Corporation Digital television data format conversion with automatic parity detection
GB9919805D0 (en) * 1999-08-21 1999-10-27 Univ Manchester Video cording
CN1197384C (zh) * 1999-08-27 2005-04-13 皇家菲利浦电子有限公司 可缩放编码
US6792044B2 (en) * 2001-05-16 2004-09-14 Koninklijke Philips Electronics N.V. Method of and system for activity-based frequency weighting for FGS enhancement layers
JP2003087772A (ja) * 2001-09-10 2003-03-20 Fujitsu Ltd 画像制御装置
CN1589575A (zh) * 2001-11-21 2005-03-02 皇家飞利浦电子股份有限公司 改进的位面压缩方法
CN1669321A (zh) * 2002-07-16 2005-09-14 诺基亚有限公司 用于在视频编码中随机存取和逐步更新图像的方法
US6925123B2 (en) * 2002-08-06 2005-08-02 Motorola, Inc. Method and apparatus for performing high quality fast predictive motion search

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09214977A (ja) * 1996-02-06 1997-08-15 Nippon Telegr & Teleph Corp <Ntt> ビデオ符号化方法およびビデオ符号化装置
KR20020005365A (ko) * 2000-07-07 2002-01-17 박광훈 파문 스캔 장치 및 그 방법과 그를 이용한 영상코딩/디코딩 장치 및 그 방법
KR20020087810A (ko) * 2001-05-16 2002-11-23 주식회사 넷앤티비 미세입자 스케일러블 코딩의 적응적 선택 강화 적용 방법

Also Published As

Publication number Publication date
JP2005510979A (ja) 2005-04-21
CN100525442C (zh) 2009-08-05
CN1613258A (zh) 2005-05-04
EP1449381A1 (en) 2004-08-25
JP2008172810A (ja) 2008-07-24
AU2002356458A1 (en) 2003-06-10
JP4722395B2 (ja) 2011-07-13
KR20030043612A (ko) 2003-06-02
EP1449381A4 (en) 2005-03-02
US20080212689A1 (en) 2008-09-04
WO2003047263A1 (en) 2003-06-05
US7995657B2 (en) 2011-08-09
US20050013357A1 (en) 2005-01-20

Similar Documents

Publication Publication Date Title
US10178387B2 (en) Decomposition of residual data during signal encoding, decoding and reconstruction in a tiered hierarchy
US8036276B2 (en) Water ring scanning apparatus and method, and apparatus and method for encoding/decoding video sequences using the same
US8531321B1 (en) Signal processing and inheritance in a tiered signal quality hierarchy
JP2008172810A (ja) 画像画質向上因子を利用した知能型波紋スキャン装置及びその方法と、それを利用した画像符号化／復号化装置及びその方法
US20070009039A1 (en) Video encoding and decoding methods and apparatuses
US7177356B2 (en) Spatially transcoding a video stream
JP2005510979A6 (ja) 画像画質向上因子を利用した知能型波紋スキャン装置及びその方法と、それを利用した画像符号化／復号化装置及びその方法
KR100491445B1 (ko) Ｍｐｅｇ-4 ｆｇｓ 비디오를 위한 사각영역 기반형의선택적 향상기법에 의한 부호화/복호화 방법 및 장치
Park et al. Rate-constrained region of interest coding using adaptive quantization in transform domain Wyner–Ziv video coding
Yang et al. Motion-compensated wavelet transform coder for very low bit-rate visual telephony
Cheong et al. A new scanning method for h. 264 based fine granular scalable video coding
Yang et al. Wavelet transform coding for MCP error images using quadtree decomposition and ECVQ

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120629

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20130624

Year of fee payment: 8

LAPS Lapse due to unpaid annual fee