KR100353851B1 - 파문 스캔 장치 및 그 방법과 그를 이용한 영상코딩/디코딩 장치 및 그 방법 - Google Patents

파문 스캔 장치 및 그 방법과 그를 이용한 영상코딩/디코딩 장치 및 그 방법 Download PDF

Info

Publication number
KR100353851B1
KR100353851B1 KR1020000083366A KR20000083366A KR100353851B1 KR 100353851 B1 KR100353851 B1 KR 100353851B1 KR 1020000083366 A KR1020000083366 A KR 1020000083366A KR 20000083366 A KR20000083366 A KR 20000083366A KR 100353851 B1 KR100353851 B1 KR 100353851B1
Authority
KR
South Korea
Prior art keywords
ripple
image
coding
decoding
scan
Prior art date
Application number
KR1020000083366A
Other languages
English (en)
Other versions
KR20020005365A (ko
Inventor
임영권
이명호
안치득
박광훈
이윤진
Original Assignee
한국전자통신연구원
박광훈
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to KR1020000083366A priority Critical patent/KR100353851B1/ko
Application filed by 한국전자통신연구원, 박광훈 filed Critical 한국전자통신연구원
Priority to CNA2006101637648A priority patent/CN1984337A/zh
Priority to PCT/KR2001/001168 priority patent/WO2002005564A1/en
Priority to DK01948100T priority patent/DK1300025T3/da
Priority to CN01814313XA priority patent/CN100407794C/zh
Priority to PT01948100T priority patent/PT1300025E/pt
Priority to CA2414362A priority patent/CA2414362C/en
Priority to JP2002508844A priority patent/JP2004503154A/ja
Priority to CNB2004100897085A priority patent/CN1312935C/zh
Priority to EP20080006226 priority patent/EP1971148A3/en
Priority to AU2001269582A priority patent/AU2001269582A1/en
Priority to CA2848591A priority patent/CA2848591C/en
Priority to US10/332,205 priority patent/US7388916B2/en
Priority to EP20080006227 priority patent/EP1991006A3/en
Priority to CA2854524A priority patent/CA2854524C/en
Priority to EP01948100.1A priority patent/EP1300025B1/en
Priority to ES01948100T priority patent/ES2459417T3/es
Publication of KR20020005365A publication Critical patent/KR20020005365A/ko
Publication of KR100353851B1 publication Critical patent/KR100353851B1/ko
Application granted granted Critical
Priority to US11/623,139 priority patent/US8036275B2/en
Priority to US11/623,157 priority patent/US8406310B2/en
Priority to US11/623,131 priority patent/US7881388B2/en
Priority to US11/623,163 priority patent/US8184719B2/en
Priority to US11/623,159 priority patent/US8184718B2/en
Priority to US11/623,143 priority patent/US8184717B2/en
Priority to US11/741,919 priority patent/US8036276B2/en
Priority to JP2007262719A priority patent/JP4988498B2/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/29—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding involving scalability at the object level, e.g. video object layer [VOL]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

1. 청구범위에 기재된 발명이 속한 기술분야
본 발명은 파문 스캔 장치 및 그 방법과 이를 이용한 영상 코딩/디코딩 장치 및 그 방법에 관한 것임.
2. 발명이 해결하려고 하는 기술적 과제
본 발명은 임의의 특정 위치의 영상 정보를 최우선적으로 코딩한 후에 바로 이웃하는 외각에 위치하는 영상 정보를 그 다음에 코딩하는 과정을 반복 수행하는 파문 스캔 장치 및 그 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체, 및 파문 스캔 오더(Water Ring Scan Order)를 이용하여 인간의 시각 시스템(HVS : Human Visual System)에 적합하게 영상 정보를 전달하여 시각적으로 우수한 화질을 얻을 수 있도록 하는 영상 코딩/디코딩 장치 및 그 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는데 그 목적이 있음.
3. 발명의 해결방법의 요지
본 발명은, 우선적으로 파문 스캔을 수행하여야 할 시각적으로 중요한 특정 영상 부분인 파문 발생 위치(파문(0))부터 파문 스캔을 시작하기 위한 파문 스캔 시작 수단; 상기 파문 발생 위치에 사각형 모양의 링을 둘러싸는 형태로 다음 파문 스캔 위치(파문(1))를 결정한 후에, 사각형 모양의 링을 그 전에 처리한 사각형 모양의 링에 둘러싸는 형태로 다음 파문 스캔 위치(파문(i))를 결정하기 위한 파문스캔 위치 결정 수단; 및 상기 파문 스캔 위치 결정 수단에서 결정된 파문 스캔 위치에 따라 파문 스캔을 수행하기 위한 파문 스캔 수단을 포함한다.
4. 발명의 중요한 용도
본 발명은 영상 처리 분야 등에 이용됨.

Description

파문 스캔 장치 및 그 방법과 그를 이용한 영상 코딩/디코딩 장치 및 그 방법{Water ring scan apparatus and method, video coding/decoding apparatus and method using that}
본 발명은 파문 스캔 장치 및 그 방법과 그를 이용한 영상 코딩/디코딩 장치 및 그 방법과 상기 방법들을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것으로, 더욱 상세하게는 임의의 특정 위치의 영상 정보를최우선적으로 코딩한 후에 바로 이웃하는 외각에 위치하는 영상 정보를 그 다음에 코딩하는 과정을 반복 수행하는 파문 스캔 장치 및 그 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체와, 상기 파문 스캔 오더(Water Ring Scan Order)를 이용하여 인간의 시각 시스템(HVS : Human Visual System)에 적합하게 영상 정보를 전달하여 시각적으로 우수한 화질을 얻을 수 있도록 하는 영상 코딩/디코딩 장치 및 그 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것이다.
일반적으로 영상(정지영상 또는 동영상) 코딩 방법에 있어서, 스케일러블 코딩 방법에 대한 요구가 폭발적으로 증가되고 있다. 특히, 언제 어디서나 누구에게나 영상정보를 이용하여 통신이 이루어질 수 있도록 하는 이동통신 서비스나, 무선 인터넷 등의 등장으로 노트북, 팜탑, 개인휴대단말기(PDA) 등과 같은 다양한 컴퓨터와 접합된 정보가전을 이용하여 원격지의 영상정보를 얻고 관리하고 변경할 수 있기를 원한다.
그러므로, 다양한 형태의 영상정보 가전(예를 들어, IMT-2000 비디오폰, HDTV 등)들이 앞으로 출시될 것이며, 출시될 영상정보 가전제품의 복호화 능력이나 전송환경 등은, 각각의 단말기가 가져야 하는 특성이나 적용 환경 때문에 자연히 다르게 된다.
이때, 고려해야 할 사항은 각각의 단말기에 적합한 동영상을 어떤 방법으로 전송할 것인가이다. 예를 들어, 낮은 품질의 복호기에 맞추어 엔코더단에서 부호화를 시행한다면, 높은 품질의 복호기를 가지고 있는 사용자는 많은 돈을 들여 구입한 고품질의 복호기로 낮은 품질의 영상을 전송받게 되며, 이러한 상황이 발생하는 것은 누구도 원치 않는다. 즉, 고품질의 복호기를 가진 사용자는 당연히 고품질의 영상을 획득해야만 하고, 저품질의 복호기를 가진 사람도 만족할 만한 수준의 영상을 반드시 전송받을 수 있어야만 한다.
이러한 문제를 해결하기 위하여, 영상을 코딩하여 전송하는데 있어서 MPEG-4(Moving Pictures Expert Group-4)에서는, 수신자측의 단말기의 상황이나 성능에 따라 다양한 화질을 제공할 수 있도록 설계되어 있다. 예를 들어, 수신단의 단말기의 성능(Computing power)이 우수하고 전송선로(Delivery Layer : 무선, ATM, LAN 등)의 상태가 좋을 때는 고화질의 동영상을 수신하여 디스플레이할 수 있지만, 수신기의 성능이 우수하지 않거나 통신라인의 상태가 좋지 않을 때 등에는 고화질을 수신할 수 없게 된다. 위의 두 경우를 모두 수용하기 위하여 MPEG-4에서는 스케일러블 코딩(Scalable Coding)을 할 수 있도록 설계가 되어 있다.
스케일러블 영상 코딩은 수신단측에서 다양한 화질(낮은 품질에서 높은 품질까지: Low quality to High quality)의 영상을 수신할 수 있도록 엔코더측에서 스케일러블한 비트스트림(Bitstream)을 만들어서 전송하는 것이다. 즉, 전송 비트스트림이 스케일러블하다면 다양한 종류의 수신기가 존재할 수 있게 되어, 저성능(Low Performance) 수신기는 기본계층(Base Layer)에서 엔코딩된 기본 화질의 영상 비트스트림을 전송받아 디스플레이하도록 하고, 고성능(High Performance) 수신기는 강화계층(Enhancement Layer)에서 엔코딩된 높은 화질의 영상 비트스트림(Bitstream)을 전송받아 디스플레이하도록 할 수 있다.
스케일러블 코딩(Scalable coding) 방법은, 기본적으로 크게 기본계층(Base Layer)과 강화계층(Enhancement Layer)으로 구성된다. 엔코더단의 기본계층에서는 기본품질의 동영상 정보를 전송하고 있고, 엔코더단의 강화계층에서는 기본품질의 동영상에 더하여(additional) 수신단측에 향상된 화질을 제공할 수 있는 정보를 전송함으로써, 수신단측에서 해당 정보를 수신하여 기본계층에서 전송된 정보와 합쳐져서 고품질의 영상정보를 복호화할 수 있도록 하고 있다.
따라서, 수신단측에서는 단말기의 성능이나 전송선로의 상태에 따라 전송된 두 가지 계층의 영상정보를 선택하여 복호화하게 된다. 즉, 복호기가 전송선로를 통하여 전달된 모든 정보에 대한 복호 능력을 가지고 있지 않는다면, 복호기는 최소 영상품질 보상계층인 기본계층에 대한 정보만을 복호화하고, 나머지 강화계층에 해당하는 정보는 복호화하지 않고 버리게 된다. 한편, 고품질의 수신기의 경우에는 모든 계층의 정보를 다 받아들여 고품질의 영상을 구현하게 된다. 이로써 고품질의 복호기를 소유한 사용자와 저품질의 복호기를 소유한 사용자 모두를 만족시킬 수 있는 영상 전송을 스케일러블 코딩 방법을 이용하여 이룩할 수 있게 된다.
현존하는 스케일러블 코딩 방법은 크게 공간적(Spatial) 스케일러블 코딩 방법과 시간적(temporal) 스케일러블 코딩 방법으로 나뉜다. 공간적 스케일러블 코딩 방법은 공간적 해상도를 단계적으로 향상시키는데 사용되고, 시간적 스케일러블 코딩 방법은 시간축상에서 디스플레이되는 단위 시간당 영상의 수(TV 방송의 경우 30 프레임/초)를 단계적으로 향상시킬 수 있도록 한다(예: 10Hz ==> 30Hz). 각각의 스케일러블 코딩을 수행하기 위하여 MPEG-4에서는 한 개 이상의 강화계층을 구성하여비트스트림을 수신단측으로 전달하게 되는데 한 단계(one layer)의 강화계층을 이용한 동영상 코딩의 경우에, 기본계층에서는 기본적으로 공간적으로나 시간적으로 낮은 해상도의 영상을 코딩하여 전송하게 하고, 강화계층에서는 기본계층에서 기 (already) 전송된 영상정보에 더하여 향상된 해상도를 구현할 수 있도록 하기 위한 영상정보를 부가적으로 코딩하여 전송하도록 하고 있다.
상술한 기존의 스케일러블 코딩 방법 등은, 전송선로의 상태가 급변하지 않고 상대적으로 안정된 경우에 적합하도록 설계되어 있다. 즉, 수신단측에서 강화계층에서 송신된 비트스트림을 모두 수신하여야만 해당 영상 프레임을 복원할 수 있다. 만약, 전송선로의 상태가 급변(전송선로가 수용 가능한 비트스트림의 대역폭(bandwidth)이 급변함: 인터넷 등과 같은 전송선로는 인터넷 사용자의 수 등과 같은 외부 요인에 의하여 각 사용자에게 할당 가능한 대역폭이 급변)하여, 강화계층에 해당하는 비트스트림을 모두 전송받지 못한 경우에는 해당 영상을 제대로 복원할 수 없다. 따라서, 재전송을 송신단측에 요구하거나 모든 비트스트림을 수신할 때까지 영상 복원을 수행하지 못하거나, 또는 이전 프레임의 영상을 이용하여 전송 에러 숨김(error concealment)을 수행하여야만 한다.
상기와 같이 전송선로의 상태가 불안하여 계획된 영상 비트스트림을 실시간에 맞게 전송하지 못하는 경우가 유/무선 인터넷 등을 전송선로로 선택하였을 때 흔하게 나타난다. 즉, 유/무선 인터넷과 같이 전송선로의 상태가 안정적이지 못하여 대역폭(Bandwidth)이 급변하는 경우에도 전송된 영상의 실시간 복원을 수행하기 위해서는, 송신단측에서 전송된 모든 비트스트림을 수신단측에서 모두 수신하지 못한 경우에도 그때까지 수신된 부분적인 영상 비트스트림만을 이용하여 전송 영상을 실시간으로 복원할 수 있어야 한다. 이를 위한 한 예로서, MPEG-4에서는 미세입자 스케일러빌리티(FGS : Fine Granular Scalability) 방법론을 제안하여 국제 표준안을 제정하고 있다.
미세입자 스케일러블 코딩 방법은 스케일러블 코딩을 수행할 때, 전송선로의 상태가 안정적이지 못한 경우, 예를 들어 유/무선 인터넷 등과 같이 전송선로의 상태가 급변하여 각 사용자에게 할당할 수 있는 대역폭의 변동이 심한 경우에, 송신단측의 기본계층 엔코더와 강화계층 엔코더에서 엔코딩되어 전송된 비트스트림을, 수신단측에서 모두 수신하지 못한 경우에도 그때까지 수신된 부분적인 비트스트림만을 이용하여 전송 영상의 복원이 가능하도록 하는 방법으로, 기존의 스케일러블 코딩 방법이 안정된 전송선로를 고려하여 구현된 것의 단점(모든 비트스트림을 수신하여야만 영상복원이 가능하여 수신지연이 발생하거나, 전송오차가 발생하였을 경우에 재전송을 요구하거나 전송 에러 숨김 등을 수행하여야만 하는 등의 단점)을 보완할 수 있도록 설계되어 있다.
수신단측에서 부분적인 영상 비트스트림만을 수신하여 전송 영상의 복원이 효율적으로 이루어지게 하기 위하여, 미세입자 스케일러블 코딩 방법에서는, 송신단측에서 기본계층에서 전송된 영상을 토대로 강화계층에서 향상된 화질의 영상 비트스트림을 구현하여 전송할 때, 비트플레인(Bitplane) 단위로 전송하는 방법을 이용한다. 즉, 송신단측에서 수신단측으로 강화계층에 필요한 비트스트림을 전송할 때, 원 영상(original image)과 기본계층에서 전송되는 영상의 차(difference)만을전송하여 전송 영상의 화질 향상을 이루도록 하는 것은 기존의 스케일러블 코딩 방법과 비슷하지만, 강화계층에서 수신단측에 전송할 영상정보를 비트플레인별로 나누어 가장 중요한 비트(MSB : Most significant bit)를 최우선적으로 전송하고, 그 다음 중요한 비트를 비트플레인별로 나누어 연속적으로 전송하는 방식을 사용하여, 수신단측에서 전송선로의 대역폭(Bandwidth)이 급변하여 영상 복원에 필요한 모든 비트를 수신하지 못한 경우에도, 그때까지 수신된 비트스트림만을 이용하여 전송 영상의 복원을 어느 정도 수행할 수 있도록 한다.
예를 들어 25라는 영상정보를 전송한다고 가정하면, 이를 바이너리 숫자로 표현하면 "11001"이 되고, 이는 5개의 비트플레인으로 구성되어 있다. 이 정보를 비트플레인별로 송신하기 위해서는, 일단 송신단측에서 수신단측으로 모든 전송정보의 구성이 5개의 비트플레인으로 구성되어 있다고 알려주고, 가장 중요한 MSB부터 가장 안 중요한 비트(LSB : Least significant bit)까지 비트 단위로 수신단으로 전송한다고 할 때, 첫번째 MSB 비트가 전송 완료되었다면, 수신단측에서는 전송되는 정보가 16(10000) 이상의 값이라는 것을 알 수 있고, 두번째 비트열이 전송되었다면 24이상의 값(11000)이 전송될 것이라는 것을 알 수 있다. 만약, 전송선로의 대역폭(Bandwidth) 제약으로 더 이상의 비트스트림을 수신단측에 전송할 수 없다면, 수신단측에서는 이제까지 전송된 비트열(11000)을 이용하여 24라는 숫자를 복원할 수 있다(원래 전송하려는 25와 유사한 수).
이처럼 MPEG-4에서 사용하는 미세입자 스케일러블 코딩 방법은 전송선로의 대역폭이 언제든지 급변할 수 있다는 상황을 고려하고 있다. 기본적인 미세입자 스케일러블 코딩 방법의 구조를 살펴보면 도 1a 와 같다.
도 1a 는 종래의 기본적인 미세입자 스케일러블(FGS: Fine Granular Scalability) 코딩 방법의 일실시예 구조도로서, 도면에 도시된 바와 같이 기본계층(Base Layer)과 강화계층(enhancement layer)으로서 미세입자 스케일러빌리티 계층(FGS Layer)을 두고 있다. 기본계층은 기존의 MPEG-4 엔코딩 방법을 그대로 사용하고 있다. 그리고, 강화계층인 FGS 계층 간에 코딩 효율을 증가시키는 어떠한 방법론(FGS 계층 간의 움직임 추정 및 보상 등)들은 전송선로를 고려하여야 함으로 사용되고 있지 않고, 단지 기본계층으로부터 코딩 효율을 증가시키는 방법론만을 고려하고 있는 것이 특징이다.
이처럼 공간적 스케일러빌리티를 구현하기 위해서는 도 1a 에 도시된 바와 같은 구조를 사용하여 구현하며, 시간적 스케일러빌리티(Temporal Scalability)를 구현하기 위해서는 도 1b 및 도 1c 에 도시된 바와 같은 구조를 사용하여 구현한다.
도 1b 는 종래의 두 단계의 FGS와 FGST(Fine Granular Scalability Temporal)의 향상 단계를 둔 미세입자 스케일러블 코딩 방법의 일실시예 구조도이고, 도 1c 는 종래의 FGS와 FGST가 한 단계로 통합 운영되는 강화 단계를 둔 미세입자 스케일러블 코딩 방법의 일실시예 구조도이다.
이때, FGST(Fine Granular Scalability Temporal)는 코딩 효율을 높이기 위하여 움직임 예측 및 보상 등을 수행하지만, 이 역시 오직 기본계층으로부터 코딩 효율을 증가시키는 방법론만을 고려하여 수행한다.
한편, MPEG-4 국제 표준안에서 사용되는 미세입자 스케일러블 코딩 방법의 엔코더(송신단)의 구조는 도 2a 에 도시된 바와 같다.
도 2a 는 종래의 미세입자 스케일러블 코딩 방법의 엔코더단의 일실시예 구조도이다.
도면에서 도시된 바와 같이, 기본계층은 MPEG-4 영상 엔코딩 방법을 그대로 이용하고 있다. 기본계층에 사용되는 영상 엔코딩 방법을 예로 들면, 이산적 코사인 변환(DCT : Discrete Cosine Transform), 양자화(Q : Quantization), 움직임 예측(ME : Motion Estimation), 움직임 보상(MC : Motion Compensation), 역 양자화(Q-1), 역 이산적 코사인 변환(IDCT : Inverse Discrete Cosine Transform) 등을 수행하여, 공간축(Spatial)과 시간축(Temporal) 방향에서 영상 정보 압축(Image Data Compression)을 수행하며, 가변 길이 코딩(VLC : Variable Length Coding)을 수행하여 부호의 발생 확률의 편중에 따른 엔트로피 부호화(Entropy Coding)를 실시하며, 송신 버퍼를 이용하여 엔코딩시 발생된 기본계층 비트스트림(Base Layer Bitstream)을 전송선로로 전송하게 된다.
도면에서 도시된 바와 같이, 강화계층의 FGS 엔코딩(FGS Enhancement Encoding)은 원 영상과 기본계층에서 재생된 영상과의 오차(residues)를 구하는 과정, 이산적 코사인 변환(DCT)을 수행하는 과정, 비트플레인 쉬프트 과정(Bit-plane shift), 최대값 찾기 과정(Find Maximum), 비트플레인별로 가변장 부호화 수행 과정(Bitplane VLC)으로 나뉘어 수행된다.
상기 오차를 구하는 과정에서는 기본계층에서 코딩된 후 재생된 영상(도면에서 Q-1와 IDCT를 통과한 후 클립핑된 재생 영상)과 원 영상(Original Image)과의 차(difference)를 구하여 그 오차 값(residues)을 구한다.
이산적 코사인 변환을 수행하는 과정에서는 상기 오차를 구하는 과정에서 구해진 영상기반 오차 값(residues)을 블록 단위(8X8 단위) DCT를 이용하여 DCT 도메인(domain)으로 변환한다.
이때, 선택적으로 좋은 화질을 갖는 블록이 필요하다면 해당 값을 최우선적으로 전송하여야만 하고 이를 위하여 비트플레인 쉬프트를 선택적으로 수행할 수 있다. 이를 선택적 강화(Selective Enhancement)라고 정의하며, 비트플레인 쉬프트 과정에서 수행한다.
최대값 찾기 과정에서는 이산적 코사인 변환을 마친 모든 값들의 절대치에 대한 최대값을 구한다. 이 값은 해당 영상 프레임을 전송하기 위한 최대 비트플레인(bit-plane)의 갯수를 구하는데 사용된다.
비트플레인 가변장 부호화 과정에서는 비트플레인별로 블록 단위로 구해진 64개의 DCT 계수들(DCT 계수의 해당 비트플레인의 비트: 0 또는 1)이 지그재그 스캔(zigzag scan) 순서로 하나의 행열에 들어가게 되며, 각 행렬들은 가변장 길이 코드표(VLC table)에 따라 런-길이(Run-length) 부호화된다.
한편, MPEG-4 국제 표준안에서 사용되는 미세입자 스케일러블 코딩 방법의 디코더(수신단) 구조는 도 2b 에 도시된 바와 같다.
도 2b 는 종래의 미세입자 스케일러블 코딩 방법의 디코더단의 일실시예 구조도이다.
도면에서 도시된 바와 같이, 기본계층(Base Layer)과 강화계층(Enhancement Layer)으로 나뉘어져서 전송선로에서 수신된 전송 비트스트림의 디코딩을 도 2a 도시된 엔코더와 역순으로 수행하게 된다.
기본계층에서는 MPEG-4 영상 디코딩 방법을 그대로 사용하고 있다. 기본계층에 비트스트림이 입력되면, 가변 길이 디코딩(VLD : Variable Length Decoding)을 수행한 후에 역 양자화(Q-1: Inverse Quantization)를 수행하고 해당 값들을 역 이산적 코사인 변환(IDCT : Inverse Discrete Cosine Transform)을 수행하여 움직임 보상이 된 값(MC : Motion Compensation)과 합친 후에 해당 값들을 0과 255 값 사이로 클리핑(Clipping)하여 최종적으로 기본계층의 전송 영상을 복원하게 된다.
그리고, 미세입자 스케일러블 코딩 방법의 강화계층에서는 엔코더와 역순으로 강화계층에 전송된 비트스트림의 디코딩을 수행하게 되는데, 먼저 입력된 강화 비트스트림(Enhancement Bitstream)을 비트플레인별로 가변길이 디코딩(Bit-plane VLD)을 수행한 후, 선택적으로 좋은 화질을 갖는 블록의 위치 등이 전송되었다면, 비트플레인 쉬프트(Bit-plane Shift)를 선택적으로 수행한다.
이후, 상기 비트플레인별로 VLD가 수행되고 선택적으로 쉬프트가 수행되어 도출된 값에, 블록 단위(8X8 단위)의 역 이산적 코사인 변환(IDCT : Inverse Discrete Cosine Transform)을 수행하여 강화계층에서 전송된 영상을 복원한 후, 기본계층에서 복호된 영상과 합친 후에, 합산 값들을 0과 255 값 사이로 클립핑(Clipping)하여 최종적으로 향상된 화질의 영상을 복원하게 된다.
다음으로, 전술한 종래 기술의 문제점에 대하여 살펴보면 다음과 같다.
종래의 동영상 코딩에서 주로 사용되고 있는 스케일러블 코딩 방법 등은, 전송선로의 상태가 급변하지 않고 상대적으로 안정된 경우에 적합하도록 설계되어 있어, 송신단측의 강화계층에서 송신된 비트스트림을 모두 수신단에서 수신하여야만 해당 영상 프레임을 복원할 수 있다. 이때, 만약 전송선로의 상태가 급변(전송선로가 수용 가능한 비트스트림의 대역폭이 급변함, 예를 들어 인터넷 등과 같은 전송선로는 인터넷 사용자의 수 등과 같은 외부 요인에 의하여 각 사용자에게 할당 가능한 대역폭이 급변함)하여, 강화계층에 해당하는 비트스트림을 모두 전송받지 못한 경우에는 해당 영상을 제대로 복원할 수가 없다. 따라서, 재전송을 송신단측에 요구하거나, 모든 비트스트림을 수신할 때까지 영상 복원을 수행하지 못하거나, 또는 이전 프레임의 영상을 이용하여 전송 에러 숨김(error concealment)을 수행하여야만 하는 단점이 있다.
한편, 상기 종래의 스케일러블 코딩 방법이 안정된 전송선로를 고려하여 구현된 것의 단점을 보완하여, 유/무선 인터넷과 같이 전송선로의 상태가 안정적이지 못하여 대역폭(Bandwidth)이 급변하는 경우에도 송신단측에서 수신단측으로 전송된 영상을 실시간 복원할 수 있도록 하여야 하는데, 그 구현 가능한 방법론으로는 전송된 비트스트림을 수신단측에서 모두 수신하지 못한 경우에도, 그때까지 수신된 부분적인 영상 비트스트림만을 이용하여 전송 영상을 실시간으로 복원 가능하도록 하는 미세입자 스케일러빌리티(FGS : Fine Granular Scalability) 방법이 있다. 이때, 부분적인 비트스트림만을 수신하여도 영상 복원이 가능하도록 하기 위해서는,강화계층 간에 영상의 코딩 효율을 증대시키는 어떠한 방법론(강화계층 간의 움직임 보상 등)도 사용하지 못하며, 오직 기본계층으로부터 코딩 효율을 극대화시키는 방법만을 사용하여야 한다.
JPEG(Joint Photographics Expert Group), H.263, MPEG 등에 주로 사용되는 DCT를 이용한 동영상 코딩 방법들을 살펴보면, 매크로 블록과 8X8 블록단위로 영상데이터를 코딩하여 전송하게 되는데, 이때 모든 영상 프레임(또는 비디오 물체 플레인(VOP : Video Object Plane))에 대한 엔코딩과 디코딩은 최위쪽-왼쪽(Upper-Left)에 위치한 매크로블록(또는 블록)부터 시작하여 최아래쪽-오른쪽(bottom-left) 부분의 매크로 블록(또는 블록)까지의 영상 데이터를 순차적으로 처리하게 된다. 이를 본 발명에서는 정상 스캔 오더(Normal Scan Order)라고 표기하기로 하고, 이는 도 3a 에 도시된 바와 같다.
정상 스캔 오더는 기존의 영상이나 동영상 처리 방법이 기본계층과 강화계층 그리고 강화계층 간의 코딩 효율을 증대시키는 방법론(움직임 추정이나 보상 DC값 예측 등)을 사용함으로써, 수신단측에서 정상적으로 영상을 복원하기 위해서는 필수적으로 사용하여야 하는 스캔 오더이다.
만약, 이 스캔 오더를, 부분적인 비트스트림만을 수신하여도 영상 복원이 가능하도록 하게 하는 스케일러블 코딩 방법에 적용하게 되면, 도 3b 에 도시된 것과 같이 상위부분의 부분적인 매크로 블록이나 블록들만이 디코딩이 수행(검게 채워진 블록이 디코딩이 수행된 블록, 채워지지 않은 블록이 디코딩이 수행되지 않은 블록)되어, 그 복원 영상이 수신단측 화면에 표시되게 된다.
즉, 기본계층에서 전송된 비트스트림과 강화계층에서 부분적으로 수신되어 디코딩된 비트스트림이 합쳐져서 향상된 영상이 수신단에서 재생되게 되는데, 도 3b 에 도시된 바와 같이 영상의 상위 부분의 데이터만 강화계층에서 수신되어 디코딩이 완료되었다면, 재생 영상의 화질은 강화계층에서 디코딩이 완료된 부분의 화질만이 향상되게 된다. 만약, 이때 향상된 부분의 영상이 시청자가 주목하지 않는 곳(예를 들어 배경이나 주인공의 얼굴 등이 아닌 곳)이라면, 강화계층용 비트스트림을 수신하여 복원하는 과정이 사용자가 인지하지 못하는 부분을 처리하게 되어 쓸모없이 처리된 것과 같게 되는 단점이 있다.
한편, 도 4 에 도시된 바와 같이, 종래의 웨이브렛 코딩(Wavelet Coding)과 같은 방법을 이용한 서브밴드 코딩(Subband Coding)을 적용한 영상 및 동영상 코딩 방법에 있어서도, 각 서브밴드마다 픽셀(Pixel) 단위로 엔코딩과 디코딩을, 최위쪽-왼쪽(Upper-Left)에 위치한 픽셀부터 시작하여 최아래쪽-오른쪽(bottom-left) 부분의 픽셀의 영상 데이터를 처리하는 정상 스캔 오더를 이용하여 처리하고 있다. 이 방법을, 부분적인 비트스트림만을 수신하여도 영상 복원이 가능하도록 하게 하는 스케일러블 코딩 방법에 이용하게 되면, 최종적으로 수신된 서브밴드의 상위부분의 부분적인 픽셀 값만이 디코딩이 완료되어, 그 복원 영상이 수신단측 화면에 표시되게 된다. 즉, 기본계층에서 전송된 비트스트림과 강화계층에서 부분적으로 수신되어 디코딩된 비트스트림이 합쳐져서 향상된 영상이 수신단에서 재생되게 되는데, 영상의 상위 부분의 데이터만 강화계층에서 수신되어 디코딩이 완료되었다면, 재생 영상의 화질은 강화계층에서 디코딩이 완료된 부분(도 4 에서 색으로 표시된 부분)의 화질만이 향상되게 된다. 만약, 이때 향상된 부분의 영상이 시청자가 주목하지 않는 곳(예를 들어 배경이나 주인공의 얼굴 등이 아닌 곳)이라면, 강화계층용 비트스트림을 수신하여 복원하는 과정이 사용자가 인지하지 못하는 부분을 처리하게 되어 쓸모없이 처리된 것과 같게 되는 단점이 있다.
본 발명은 상기 문제점을 해결하기 위하여 제안된 것으로, 임의의 특정 위치의 영상 정보를 최우선적으로 코딩한 후에 바로 이웃하는 외각에 위치하는 영상 정보를 그 다음에 코딩하는 과정을 반복 수행하는 파문 스캔 장치 및 그 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는데 그 목적이 있다.
또한, 본 발명은 파문 스캔 오더(Water Ring Scan Order)를 이용하여 인간의 시각 시스템(HVS : Human Visual System)에 적합하게 영상 정보를 전달하여 시각적으로 우수한 화질을 얻을 수 있도록 하는 영상 코딩/디코딩 장치 및 그 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는데 다른 목적이 있다.
도 1a 는 종래의 기본적인 미세입자 스케일러블(FGS: Fine Granular Scalability) 코딩 방법의 일실시예 구조도.
도 1b 는 종래의 두 단계의 FGS와 FGST(Fine Granular Scalability Temporal)의 향상 단계를 둔 미세입자 스케일러블 코딩 방법의 일실시예 구조도.
도 1c 는 종래의 FGS와 FGST가 한 단계로 통합 운영되는 강화 단계를 둔 미세입자 스케일러블 코딩 방법의 일실시예 구조도.
도 2a 는 종래의 미세입자 스케일러블 코딩 방법의 엔코더단의 일실시예 구조도.
도 2b 는 종래의 미세입자 스케일러블 코딩 방법의 디코더단의 일실시예 구조도.
도 3a 는 종래의 DCT를 이용한 영상 및 동영상 코딩 방법에서 정상 스캔 오더(Normal Scan Order)의 일예시도.
도 3b 는 종래의 정상 스캔 오더를 스케일러블 코딩 방법에 적용한 일예시도.
도 4 는 종래의 정상 스캔 오더를 스케일러블 코딩 방법에 적용한 다른 예시도.
도 5 는 본 발명에 따른 파문 스캔 오더(Water Ring Scan Order)에 대한 기본 원리를 설명하기 위한 개념도.
도 6a 는 본 발명에 따른 파문 스캔 방법에 대한 일실시예 흐름도.
도 6b 는 본 발명에 따른 파문 스캔 장치에 대한 일실시예 구성도.
도 7 은 본 발명에 따른 파문 스캔 오더에서 i번째 발생된 파문의 영상정보 위치(파문(i))에 대한 설명도.
도 8a 는 본 발명에 따른 파문 스캔 오더를 이용한 영상 코딩 장치의 일실시예 구성도.
도 8b 는 본 발명에 따른 파문 스캔 오더를 이용한 영상 디코딩 장치의 일실시예 구성도.
도 9a 는 DCT를 이용한 영상 코딩 방법에 파문 스캔 오더를 적용하는 개념을 나타내는 일예시도.
도 9b 는 웨이브렛 변환을 이용한 영상 코딩 방법에 파문 스캔 오더를 적용하는 개념을 나타내는 일예시도.
도 10a 는 본 발명에 따른 미세입자 스케일러블 코딩 방법에 파문 스캔 오더를 적용한 경우의 엔코더단의 일실시예 구조도.
도 10b 는 본 발명에 따른 미세입자 스케일러블 코딩 방법에 파문 스캔 오더를 적용한 경우의 디코더단의 일실시예 구조도.
도 11a 는 본 발명에 따른 미세입자 스케일러블 코딩 방법에 파문 스캔 오더를 적용한 경우의 엔코더단의 다른 실시예 구조도.
도 11b 는 본 발명에 따른 미세입자 스케일러블 코딩 방법에 파문 스캔 오더를 적용한 경우의 디코더단의 다른 실시예 구조도.
도 12 는 MPEG-4 기반 미세입자 스케일러블 코딩 방법에 파문 스캔 방법을 삽입하여 실제 실험한 결과의 일예시도.
* 도면의 주요 부분에 대한 부호의 설명
65 : 파문 발생 위치 결정부 66 : 데이터 처리부
67 : 반복 수행 여부 결정부 68 : 다음 파문 위치 결정부
81,84 : 파문 발생 위치 결정부 82,85 : 파문 발생부
83 : 영상 코딩부 86 : 영상 디코딩부
상기 목적을 달성하기 위한 본 발명의 장치는, 파문 스캔 장치에 있어서, 우선적으로 파문 스캔을 수행하여야 할 시각적으로 중요한 특정 영상 부분인 파문 발생 위치(파문(0))부터 파문 스캔을 시작하기 위한 파문 스캔 시작 수단; 상기 파문 발생 위치에 사각형 모양의 링을 둘러싸는 형태로 다음 파문 스캔 위치(파문(1))를 결정한 후에, 사각형 모양의 링을 그 전에 처리한 사각형 모양의 링에 둘러싸는 형태로 다음 파문 스캔 위치(파문(i))를 결정하기 위한 파문 스캔 위치 결정 수단; 및 상기 파문 스캔 위치 결정 수단에서 결정된 파문 스캔 위치에 따라 파문 스캔을 수행하기 위한 파문 스캔 수단을 포함하는 것을 특징으로 한다.
또한, 본 발명의 다른 장치는, 영상 코딩을 위한 파문 스캔 장치에 있어서, 영상 프레임 내에서 우선적으로 코딩하여 전송하여야 할 시각적으로 중요한 특정 영상 부분인 파문 발생 위치의 데이터부터 코딩을 수행하기 위한 파문 발생 위치 데이터 코딩 수단; 상기 파문 발생 위치로부터 i번째 발생된 파문(i)의 위치를 결정하여 해당 위치의 데이터를 코딩하기 위한 파문 위치 결정 및 데이터 코딩 수단; 및 상기 영상 프레임 내의 모든 데이터가 코딩될 때까지 파문의 위치 결정과 해당 영상 데이터의 코딩을 반복하여 수행하도록 하는 반복 수행 여부 결정 수단을 포함하는 것을 특징으로 한다.
또한, 본 발명의 또다른 장치는, 영상 디코딩을 위한 파문 스캔 장치에 있어서, 영상 프레임 내에서 우선적으로 디코딩하여야 할 시각적으로 중요한 특정 영상 부분인 파문 발생 위치의 데이터부터 디코딩을 수행하기 위한 파문 발생 위치 데이터 디코딩 수단; 상기 파문 발생 위치로부터 i번째 발생된 파문(i)의 위치를 결정하여 해당 위치의 데이터를 디코딩하기 위한 파문 위치 결정 및 데이터 디코딩 수단; 및 상기 영상 프레임 내의 모든 데이터가 디코딩될 때까지 파문의 위치 결정과해당 영상 데이터의 디코딩을 반복하여 수행하도록 하는 반복 수행 여부 결정 수단을 포함하는 것을 특징으로 한다.
또한, 상기 각 장치는, 상기 파문 발생 위치(파문(0))를 결정하기 위한 파문 발생 위치 결정 수단을 더 포함하는 것을 특징으로 한다.
한편, 본 발명의 방법은, 파문 스캔 장치에 적용되는 파문 스캔 방법에 있어서, 우선적으로 파문 스캔을 수행하여야 할 시각적으로 중요한 특정 영상 부분인 파문 발생 위치(파문(0))부터 파문 스캔을 시작하는 제 1 단계; 상기 파문 발생 위치에 사각형 모양의 링을 둘러싸는 형태로 다음 파문 스캔 위치(파문(1))를 결정하여 파문 스캔을 수행하는 제 2 단계; 및 사각형 모양의 링을 그 전에 처리한 사각형 모양의 링에 둘러싸는 형태로 다음 파문 스캔 위치(파문(i))를 결정하여 파문 스캔을 수행하는 과정을 모든 데이터에 대하여 수행하는 제 3 단계를 포함하는 것을 특징으로 한다.
또한, 본 발명의 다른 방법은, 영상 코딩을 위한 파문 스캔 장치에 적용되는 파문 스캔 방법에 있어서, 영상 프레임 내에서 우선적으로 코딩하여 전송하여야 할 시각적으로 중요한 특정 영상 부분인 파문 발생 위치의 데이터부터 코딩을 수행하는 제 1 단계; 모든 데이터에 대하여 코딩을 수행하였는지를 판단하는 제 2 단계; 및 상기 제 2 단계의 판단 결과, 모든 데이터를 코딩하였으면 종료하고 아니면 다음 파문 위치를 결정하여 해당 위치의 데이터를 코딩하는 과정을 모든 데이터에 대하여 반복 수행하는 제 3 단계를 포함하는 것을 특징으로 한다.
또한, 본 발명의 또다른 방법은, 영상 디코딩을 위한 파문 스캔 장치에 적용되는 파문 스캔 방법에 있어서, 영상 프레임 내에서 우선적으로 디코딩하여야 할 시각적으로 중요한 특정 영상 부분인 파문 발생 위치의 데이터부터 디코딩을 수행하는 제 1 단계; 모든 데이터에 대하여 디코딩을 수행하였는지를 판단하는 제 2 단계; 및 상기 제 2 단계의 판단 결과, 모든 데이터를 디코딩하였으면 종료하고 아니면 다음 파문 위치를 결정하여 해당 위치의 데이터를 디코딩하는 과정을 모든 데이터에 대하여 반복 수행하는 제 3 단계를 포함하는 것을 특징으로 한다.
또한, 상기 각 방법은, 상기 파문 발생 위치(파문(0))를 결정하는 제 4 단계를 더 포함하는 것을 특징으로 한다.
한편, 본 발명은, 프로세서를 구비한 파문 스캔 장치에, 우선적으로 파문 스캔을 수행하여야 할 시각적으로 중요한 특정 영상 부분인 파문 발생 위치(파문(0))부터 파문 스캔을 시작하는 제 1 기능; 상기 파문 발생 위치에 사각형 모양의 링을 둘러싸는 형태로 다음 파문 스캔 위치(파문(1))를 결정하여 파문 스캔을 수행하는 제 2 기능; 및 사각형 모양의 링을 그 전에 처리한 사각형 모양의 링에 둘러싸는 형태로 다음 파문 스캔 위치(파문(i))를 결정하여 파문 스캔을 수행하는 과정을 모든 데이터에 대하여 수행하는 제 3 기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
또한, 본 발명은, 프로세서를 구비한 파문 스캔 장치에, 영상 프레임 내에서 우선적으로 코딩하여 전송하여야 할 시각적으로 중요한 특정 영상 부분인 파문 발생 위치의 데이터부터 코딩을 수행하는 제 1 기능; 모든 데이터에 대하여 코딩을 수행하였는지를 판단하는 제 2 기능; 및 상기 제 2 기능에서의 판단 결과, 모든 데이터를 코딩하였으면 종료하고 아니면 다음 파문 위치를 결정하여 해당 위치의 데이터를 코딩하는 과정을 모든 데이터에 대하여 반복 수행하는 제 3 기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
또한, 본 발명은, 프로세서를 구비한 파문 스캔 장치에, 영상 프레임 내에서 우선적으로 디코딩하여야 할 시각적으로 중요한 특정 영상 부분인 파문 발생 위치의 데이터부터 디코딩을 수행하는 제 1 기능; 모든 데이터에 대하여 디코딩을 수행하였는지를 판단하는 제 2 기능; 및 상기 제 2 기능에서의 판단 결과, 모든 데이터를 디코딩하였으면 종료하고 아니면 다음 파문 위치를 결정하여 해당 위치의 데이터를 디코딩하는 과정을 모든 데이터에 대하여 반복 수행하는 제 3 기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
또한, 상기 본 발명들은, 상기 파문 발생 위치(파문(0))를 결정하는 제 4 기능을 더 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
한편, 상기 다른 목적을 달성하기 위한 본 발명의 장치는, 파문 스캔 장치를 이용한 영상 코딩/디코딩 장치에 있어서, 상기 파문 스캔 장치를 이용하여 영상 프레임 내에서 우선적으로 디코딩하여야 할 시각적으로 중요한 특정 영상 부분인 파문 발생 위치부터 시작하여 모든 데이터에 대하여 파문을 발생시키기 위한 제1 파문 발생 수단; 상기 제1 파문 발생 수단에서 발생된 파문 위치에 따른 데이터를 코딩하여 상기 디코딩 장치측으로 전달하기 위한 코딩 수단; 상기 제1 파문 발생 수단에서 발생된 파문 위치에 따라, 상기 영상 프레임 내에서 우선적으로 디코딩하여야 할 시각적으로 중요한 특정 영상 부분인 파문 발생 위치부터 시작하여 수신된 데이터에 대하여 파문을 발생시키기 위한 제2 파문 발생 수단; 및 상기 제2 파문 발생 수단에서 발생된 파문 위치에 따른 데이터를 디코딩하기 위한 디코딩 수단을 포함하는 것을 특징으로 한다.
또한, 상기 본 발명의 장치는, 상기 영상 프레임 내에서 우선적으로 디코딩하여야 할 시각적으로 중요한 특정 영상 부분을 파문 발생 위치로 결정하여 상기 디코딩 장치측으로 전달하는 제1 파문 발생 위치 결정 수단; 및 상기 코딩 장치측의 상기 제1 파문 발생 위치 결정 수단으로부터 전송받은 파문 발생 위치에 따라 상기 영상 프레임 내의 파문 발생 위치를 결정하기 위한 제2 파문 발생 위치 결정 수단을 더 포함하는 것을 특징으로 한다.
또한, 본 발명의 방법은, 파문 스캔 장치를 이용한 영상 코딩/디코딩 장치에 적용되는 영상 코딩/디코딩 방법에 있어서, 상기 파문 스캔 장치를 이용하여 영상 프레임 내에서 우선적으로 디코딩하여야 할 시각적으로 중요한 특정 영상 부분인 파문 발생 위치부터 시작하여 모든 데이터에 대하여 순차적으로 파문을 발생시키는 제 1 단계; 상기 제 1 단계에서 발생된 파문 위치에 따른 데이터를 순차적으로 코딩하여 상기 디코딩 장치측으로 전달하는 제 2 단계; 상기 제 1 단계에서 발생된 파문 위치에 따라, 상기 영상 프레임 내에서 우선적으로 디코딩하여야 할 시각적으로 중요한 특정 영상 부분인 파문 발생 위치부터 시작하여 수신된 데이터에 대하여 순차적으로 파문을 발생시키는 제 3 단계; 및 상기 제 3 단계에서 발생된 파문 위치의 수신 데이터를 순차적으로 디코딩하는 제 4 단계를 포함하는 것을 특징으로 한다.
또한, 상기 본 발명의 방법은, 상기 영상 프레임 내에서 우선적으로 디코딩하여야 할 시각적으로 중요한 특정 영상 부분을 파문 발생 위치로 결정하여 상기 디코딩 장치측으로 전달하는 제 5 단계; 및 상기 코딩 장치측으로부터 전송받은 파문 발생 위치에 따라 상기 영상 프레임 내의 파문 발생 위치를 결정하는 제 6 단계를 더 포함하는 것을 특징으로 한다.
또한, 본 발명의 다른 장치는, 파문 스캔 장치를 이용한 스케일러블 영상 코딩/디코딩 장치에 있어서, 입력 영상에 대하여 기존과 같은 방법으로 기본계층 코딩을 수행하여 기본계층 비트스트림을 상기 디코딩 장치측으로 전송하기 위한 기본계층 코딩 수단; 상기 파문 스캔 장치를 이용하여 영상 프레임 내에서 우선적으로 디코딩하여야 할 시각적으로 중요한 특정 영상 부분인 파문 발생 위치부터 강화계층 코딩을 수행하여 강화 비트스트림을 상기 디코딩 장치측으로 전송하기 위한 강화계층 코딩 수단; 상기 기본계층 코딩 수단으로부터 기본계층 비트스트림을 전달받아 기존과 같은 방법으로 기본계층 디코딩을 수행하여 영상을 복원하기 위한 기본계층 디코딩 수단; 및 상기 강화계층 코딩 수단으로부터 강화 비트스트림을 전달받아 상기 영상 프레임 내에서 우선적으로 디코딩하여야 할 시각적으로 중요한 특정 영상 부분인 파문 발생 위치부터 디코딩을 수행하여 영상을 복원하기 위한 강화계층 디코딩 수단을 포함하는 것을 특징으로 한다.
또한, 본 발명의 다른 방법은, 파문 스캔 장치를 이용한 스케일러블 영상 코딩/디코딩 장치에 적용되는 스케일러블 영상 코딩/디코딩 방법에 있어서, 입력 영상에 대하여 기존과 같은 방법으로 기본계층 코딩을 수행하여 기본계층 비트스트림을 상기 디코딩 장치측으로 전송하는 제 1 단계; 상기 파문 스캔 장치를 이용하여 영상 프레임 내에서 우선적으로 디코딩하여야 할 시각적으로 중요한 특정 영상 부분인 파문 발생 위치부터 강화계층 코딩을 수행하여 강화 비트스트림을 상기 디코딩 장치측으로 전송하는 제 2 단계; 상기 기본계층 코딩된 기본계층 비트스트림을 전달받아 기존과 같은 방법으로 기본계층 디코딩을 수행하여 영상을 복원하는 제 3 단계; 및 상기 강화계층 코딩된 강화 비트스트림을 전달받아 상기 영상 프레임 내에서 우선적으로 디코딩하여야 할 시각적으로 중요한 특정 영상 부분인 파문 발생 위치부터 디코딩을 수행하여 영상을 복원하는 제 4 단계를 포함하는 것을 특징으로 한다.
또한, 본 발명의 또다른 장치는, 파문 스캔 장치를 이용한 미세입자 스케일러블 영상 코딩/디코딩 장치에 있어서, 입력 영상에 대하여 기존과 같은 방법으로 기본계층 코딩을 수행하여 기본계층 비트스트림을 상기 디코딩 장치측으로 전송하기 위한 기본계층 코딩 수단; 상기 파문 스캔 장치를 이용하여 영상 프레임 내에서 우선적으로 디코딩하여야 할 시각적으로 중요한 특정 영상 부분인 파문 발생 위치부터 강화계층 코딩을 수행하여 강화 비트스트림을 상기 디코딩 장치측으로 전송하기 위한 강화계층 코딩 수단; 상기 기본계층 코딩 수단으로부터 기본계층 비트스트림을 전달받아 기존과 같은 방법으로 기본계층 디코딩을 수행하여 영상을 복원하기 위한 기본계층 디코딩 수단; 및 상기 강화계층 코딩 수단으로부터 강화 비트스트림을 전달받아 상기 영상 프레임 내에서 우선적으로 디코딩하여야 할 시각적으로 중요한 특정 영상 부분인 파문 발생 위치부터 디코딩을 수행하여 영상을 복원하기 위한 강화계층 디코딩 수단을 포함하는 것을 특징으로 한다.
또한, 본 발명의 또다른 방법은, 파문 스캔 장치를 이용한 미세입자 스케일러블 영상 코딩/디코딩 장치에 적용되는 미세입자 스케일러블 영상 코딩/디코딩 방법에 있어서, 입력 영상에 대하여 기존과 같은 방법으로 기본계층 코딩을 수행하여 기본계층 비트스트림을 상기 디코딩 장치측으로 전송하는 제 1 단계; 상기 파문 스캔 장치를 이용하여 영상 프레임 내에서 우선적으로 디코딩하여야 할 시각적으로 중요한 특정 영상 부분인 파문 발생 위치부터 강화계층 코딩을 수행하여 강화 비트스트림을 상기 디코딩 장치측으로 전송하는 제 2 단계; 상기 기본계층 코딩된 기본계층 비트스트림을 전달받아 기존과 같은 방법으로 기본계층 디코딩을 수행하여 영상을 복원하는 제 3 단계; 및 상기 강화계층 코딩된 강화 비트스트림을 전달받아 상기 영상 프레임 내에서 우선적으로 디코딩하여야 할 시각적으로 중요한 특정 영상 부분인 파문 발생 위치부터 디코딩을 수행하여 영상을 복원하는 제 4 단계를 포함하는 것을 특징으로 한다.
한편, 본 발명은, 프로세서를 구비한 영상 코딩/디코딩 장치에, 상기 파문 스캔 장치를 이용하여 영상 프레임 내에서 우선적으로 디코딩하여야 할 시각적으로 중요한 특정 영상 부분인 파문 발생 위치부터 시작하여 모든 데이터에 대하여 순차적으로 파문을 발생시키는 제 1 기능; 상기 제 1 기능에서 발생된 파문 위치에 따른 데이터를 순차적으로 코딩하여 상기 디코딩 장치측으로 전달하는 제 2 기능; 상기 제 1 기능에서 발생된 파문 위치에 따라, 상기 영상 프레임 내에서 우선적으로 디코딩하여야 할 시각적으로 중요한 특정 영상 부분인 파문 발생 위치부터 시작하여 수신된 데이터에 대하여 순차적으로 파문을 발생시키는 제 3 기능; 및 상기 제 3 기능에서 발생된 파문 위치의 수신 데이터를 순차적으로 디코딩하는 제 4 기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
또한, 상기 본 발명은, 상기 영상 프레임 내에서 우선적으로 디코딩하여야 할 시각적으로 중요한 특정 영상 부분을 파문 발생 위치로 결정하여 상기 디코딩 장치측으로 전달하는 제 5 기능; 및 상기 코딩 장치측으로부터 전송받은 파문 발생 위치에 따라 상기 영상 프레임 내의 파문 발생 위치를 결정하는 제 6 기능을 더 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
또한, 본 발명은, 프로세서를 구비한 스케일러블 영상 코딩/디코딩 장치에, 입력 영상에 대하여 기존과 같은 방법으로 기본계층 코딩을 수행하여 기본계층 비트스트림을 상기 디코딩 장치측으로 전송하는 제 1 기능; 상기 파문 스캔 장치를 이용하여 영상 프레임 내에서 우선적으로 디코딩하여야 할 시각적으로 중요한 특정 영상 부분인 파문 발생 위치부터 강화계층 코딩을 수행하여 강화 비트스트림을 상기 디코딩 장치측으로 전송하는 제 2 기능; 상기 기본계층 코딩된 기본계층 비트스트림을 전달받아 기존과 같은 방법으로 기본계층 디코딩을 수행하여 영상을 복원하는 제 3 기능; 및 상기 강화계층 코딩된 강화 비트스트림을 전달받아 상기 영상 프레임 내에서 우선적으로 디코딩하여야 할 시각적으로 중요한 특정 영상 부분인 파문 발생 위치부터 디코딩을 수행하여 영상을 복원하는 제 4 기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
또한, 본 발명은, 프로세서를 구비한 미세입자 스케일러블 영상 코딩/디코딩 장치에, 입력 영상에 대하여 기존과 같은 방법으로 기본계층 코딩을 수행하여 기본계층 비트스트림을 상기 디코딩 장치측으로 전송하는 제 1 기능; 상기 파문 스캔 장치를 이용하여 영상 프레임 내에서 우선적으로 디코딩하여야 할 시각적으로 중요한 특정 영상 부분인 파문 발생 위치부터 강화계층 코딩을 수행하여 강화 비트스트림을 상기 디코딩 장치측으로 전송하는 제 2 기능; 상기 기본계층 코딩된 기본계층 비트스트림을 전달받아 기존과 같은 방법으로 기본계층 디코딩을 수행하여 영상을 복원하는 제 3 기능; 및 상기 강화계층 코딩된 강화 비트스트림을 전달받아 상기 영상 프레임 내에서 우선적으로 디코딩하여야 할 시각적으로 중요한 특정 영상 부분인 파문 발생 위치부터 디코딩을 수행하여 영상을 복원하는 제 4 기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
전술한 바와 같이 부분적인 비트스트림만을 수신하여도 영상 복원이 가능하도록 조치하기 위해서는, 강화계층 간에 영상의 코딩 효율을 증대시키는 어떤 방법론(강화계층간의 움직임 보상 등)도 사용하지 못하며, 오직 기본계층으로부터 코딩 효율을 극대화시키는 방법만을 사용하여야 한다. 그러므로, 강화계층의 영상 정보를 전송할 때 정상 스캔 오더(Normal Scan Order)를 사용하여 코딩할 필요없이 임의의 스캔 오더를 사용하여 전송하여도 디코더단에서 전송된 비트스트림을 에러없이 복원할 수 있다(인과 관계(Causality)와 무관하게 처리할 수 있다).
따라서, 본 발명에서는, 엔코더단에서 영상 프레임내의 임의의 특정 부분(영상 프레임의 중앙 부분 또는 영상 프레임내에서 향상된 화질을 제공하여야 하는 부분)부터 엔코딩하여 전송한 후, 전송된 영상 비트스트림이 모두 수신되지 못하더라도 디코더단에서 현재까지 수신된 특정 부분의 영상 정보를 우선적으로 코딩함으로써 해당하는 특정 부분의 화질을 우선적으로 향상시킬 수 있도록 한다.
즉, 본 발명은 전송하여야 할 영상 프레임내의 임의의 특정 부분부터 우선적으로 엔코딩을 수행하여 수신단으로 전송한 후 수신단측에서 우선적으로 전송된 부분부터 디코딩을 수행하도록 하여, 전송선로의 문제로 더 이상 수신할 수 없는 상황이 될 때, 그때까지 전송된 비트스트림만을 이용하여 전송된 영상의 복원을 이루게 하는 방법으로, 향상된 화질을 제공하여야 하는 부분을 우선적으로 송수신하도록 한다.
본 발명에 따른 파문 스캔 오더는, 임의의 특정 위치의 영상 정보를 최우선적으로 코딩한 후, 바로 이웃하는 외각에 위치하는 영상 정보를 그 다음에 코딩하는 것을 반복하여 수행한다. 이는 호수면 위에 돌을 던졌을 때 돌이 수면 위에 추락한 위치로부터 파문(Water Ring)이 일어나는 것과 같은 이치로, 파문 발생 위치로부터 코딩을 시작하여 점차 주변으로 파문이 연쇄적으로 발생되면 해당 위치의 데이터를 처리하는 것과 같다. 즉, 파문 발생 위치부터 시작하여 사각형 모양의 링을 계속적으로 그 전에 처리한 사각형 모양의 링에 둘러싸는 형태의 스캔 오더를 제안한다.
그리고, 본 발명은 인간의 시각 시스템에 적합하도록 시각적으로 중요한 특정 영상 부분의 정보를 우선적으로 엔코딩을 수행하고 수신단에서도 해당 특정 부분의 영상 정보를 우선적으로 디코딩하게 하여, 전송선로의 대역폭(Bandwidth)의 제약으로 더 이상 엔코더단에서 전송된 모든 비트스트림을 수신하지 못한 경우에도 특정한 중요 부분의 화질을 보장할 수 있도록 한 것을 특징으로 한다.
상술한 목적, 특징들 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명한다.
도 5 는 본 발명에 따른 파문 스캔 오더(Water Ring Scan Order)에 대한 기본 원리를 설명하기 위한 개념도이다.
본 발명에 따른 파문 스캔 오더는 우선적으로 코딩하여 전송하여야 할 임의의 특정 위치가 코딩하고자 하는 영상 프레임내에서 결정되거나 되었다면, 해당 위치부터 코딩을 수행하여 점차 주변으로 코딩을 확장하여 수행하도록 한다. 즉, 임의의 특정 위치의 영상 정보를 최우선적으로 코딩한 후, 바로 이웃하는 외각에 위치하는 영상 정보를 그 다음에 코딩하는 것을 반복하여 수행한다.
이는 호수면 위에 돌을 던졌을 때 돌이 수면 위에 추락한 위치로부터 파문(Water Ring)이 일어나는 것과 같은 이치로, 기본 개념은 도 5 에 도시된 바와 같다. 도면에서 각 블록은 영상 및 동영상 처리 방법에 따른 픽셀이나 블록 또는 매크로 블록을 의미한다. 이를 동영상 코딩에 적용하였을 때, 파문 발생 위치(호수면 위에 돌이 추락한 위치)로부터 코딩을 시작하여 점차 주변으로 파문이 연쇄적으로 발생되면 해당 위치의 데이터를 처리하는 것과 같다. 즉, 파문 발생 위치부터 시작하여 사각형 모양의 링을 계속적으로 그 전에 처리한 사각형 모양의 링에 둘러싸는 형태의 스캔 오더를 제안한다.
도 5 에 도시된 바와 같이, 먼저 파문 발생 위치(파문(0))의 데이터를 처리한 후, 인접한 파문(1)의 데이터(파문(0)의 바로 외각에 위치한 8개의 인접한 데이터)를 처리하고, 이후 파문(2)의 데이터(파문(1)의 외각에 위치하는 16개의 인접한 데이터) 및 파문(3)의 데이터 등을, 연속적으로 점차 파문이 확산되는 형태로 처리하게 된다. 본 발명에서는, 파문이 확산되는 형태로 파문을 발생시키고 해당 파문 위치의 영상 정보를 처리하는 스캔 오더를 파문 스캔 오더(Water Ring Scan Order)라고 하기로 한다.
영상 및 동영상 코딩에서 파문 스캔 오더의 적용은 픽셀 단위 또는 블록 단위 그리고 매크로 블록 단위로 적용할 수 있다. 픽셀 단위로 적용할 때는 웨이브렛 변환 방법 등을 이용하는 영상 픽셀 단위의 코딩 방법에 적용하게 되며, DCT를 이용하는 방법론에는 블록 단위나 매크로 블록 단위로 파문 스캔 오더를 이용하여 동영상 데이터 처리를 수행하게 된다.
도 6a 는 본 발명에 따른 파문 스캔 방법에 대한 일실시예 흐름도이고, 도 6b 는 본 발명에 따른 파문 스캔 장치에 대한 일실시예 구성도이다.
도면에 도시된 바와 같이, 먼저 파문 발생 위치 결정부(65)에서 임의의 특정 파문 발생 위치(파문(0))를 결정한다(61). 이후, 데이터 처리부(66)에서 해당 위치의 데이터(파문(0))를 처리한다. 이후, 반복 수행 여부 결정부(67)에서 마지막 데이터까지 처리하였는지를 판단하여(63) 마지막까지 처리하였으면 종료하고 아니면 다음 파문 위치 결정부(68)에서 인접한 파문(1)의 위치를 결정한 후에(64) 해당 위치의 데이터 처리 과정(62)부터 반복 수행한다.
이처럼 파문 스캔 장치는, 영상 프레임 내에서 임의의 파문 발생 위치가 결정되면 해당하는 파문 발생 위치의 데이터를 처리하는 파문 발생 위치 결정 및 처리부(65,66), 파문 발생 위치로부터 i번째 발생된 파문(i)의 위치 결정과 해당 위치의 데이터를 처리하는 파문 위치 결정 및 처리부(68,66) 및 영상 프레임 내의 모든 데이터가 처리될 때까지 파문의 위치 결정과 해당 영상 데이터의 처리를 반복하여 수행하도록 하는 반복 수행 여부 결정부(67)를 포함한다.
도 7 은 본 발명에 따른 파문 스캔 오더에서 i번째 발생된 파문의 영상정보 위치(파문(i))에 대한 설명도이다.
상기 도 6a 및 도 6b 에서 설명한 파문 스캔 장치 및 방법의 파문 발생 위치 결정 및 처리 과정을 도 7 을 참조하여 상세히 살펴보면 다음과 같다.
제 1 과정 : 파문 발생 위치(파문(0))를 결정하여 그에 위치한 데이터를 처리한다.
(a) 임의의 파문 발생 위치를 결정한다(도면에서 파문 원 위치(Water Ring Origin Point) (x,y)라고 표시된 지점). 이때, 전송하고자 하는 영상 프레임의 중앙 부분을 파문 발생 위치로 정하거나 또는 사용자가 임의의 위치를 파문 발생 위치로 지정할 수 있다.
(b) 상기 결정한 파문 발생 위치의 데이터를 처리한다(엔코더에서는 엔코딩수행, 디코더에서는 디코딩 수행).
제 2 과정 : 파문(i)의 위치를 결정하여 그에 위치한 데이터를 처리한다.
(a) 파문 발생 위치로부터 i번째(픽셀 단위에서는 픽셀의 갯수, 블록이나 매크로 블록 단위에서는 해당 단위의 갯수) 발생된 파문(파문(i))의 위치를 결정한다.
(b) 파문(i)에 위치하는 데이터를 처리한다(엔코더에서는 엔코딩, 디코더에서는 디코딩 수행).
제 3 과정 : 영상 프레임 내의 모든 데이터가 처리될 때까지 제 2 과정부터 반복 수행한다.
여기서는 전송하고자 하는 영상 프레임내의 모든 데이터가 처리될 때까지 제 2 과정부터 반복 수행한다.
도 7 에 도시된 바와 같이, 파문(i)는 1-1, 1-2, 2-1, 2-2, 3-1, 3-2, 3-3, 3-4에 위치한 픽셀이나 블록 또는 매크로 블록으로 구성되어 있으며, 파문 발생 위치(파문(0))로부터 i번째 발생된 파문을 의미한다.
도면에서 1-1이라고 정의된 위치는 파문 발생 위치로부터 x축으로는 -i만큼 떨어진 위치에 있고, y축으로는 ±i보다 작은 위치에 해당하는 모든 픽셀이나 블록 또는 매크로 블록의 영상 데이터이다. 파문 발생 위치를 (x, y)라 하면, 1-1은 다음과 같이 표현할 수 있다.
1-1 : x-i 이고 (y-i < y < y+i)에 위치한 모든 데이터.
도면에서 1-2라고 정의된 위치는 파문 발생 위치로부터 x축으로는 +i만큼 떨어진 위치에 있고, y축으로는 ±i보다 작은 위치에 해당하는 모든 픽셀이나 블록 또는 매크로 블록의 영상 데이터이다. 파문 발생 위치를 (x, y)라 하면, 1-2는 다음과 같이 표현할 수 있다.
1-2 : x+i 이고 (y-i < y < y+i)에 위치한 모든 데이터.
도면에서 2-1이라고 정의된 위치는 파문 발생 위치로부터 y축으로는 -i만큼 떨어진 위치에 있고, x축으로는 ±i보다 작은 위치에 해당하는 모든 픽셀이나 블록 또는 매크로 블록의 영상 데이터이다. 파문 발생 위치를 (x, y)라 하면, 2-1은 다음과 같이 표현할 수 있다.
2-1 : y-i 이고 (x-i < x < x+i)에 위치한 모든 데이터.
도면에서 2-2라고 정의된 위치는 파문 발생 위치로부터 y축으로는 +i많큼 떨어진 위치에 있고, x축으로는 ±i보다 작은 위치에 해당하는 모든 픽셀이나 블록 또는 매크로 블록의 영상 데이터이다. 파문 발생 위치를 (x, y)라 하면, 2-2는 다음과 같이 표현할 수 있다.
2-2 : y+i 이고 (x-i < x < x+i) 에 위치한 모든 데이터.
도면에서 3-1, 3-2, 3-3, 3-4라고 정의된 위치는 파문 발생 위치로부터 x축으로는 ±i만큼 그리고 y축으로는 ±i만큼 떨어진 곳에 위치한 픽셀이나 블록 또는 매크로 블록의 영상 데이터가 있는 곳이다. 즉, 파문 발생 위치를 (x,y)라고 하였을 때, 3-1의 위치는 (x-i, y-i), 3-2는 (x+i, y-i), 3-3은 (x-i, y+i), 3-4는 (x+i, y+i)에 해당하는 위치이다.
그리고, 파문 스캔 방법에 있어 파문(i)에 위치한 데이터는 도 7 에 도시된바와 같이 1-1, 1-2, 2-1, 2-2, 3-1, 3-2, 3-3, 3-4에 위치한 모든 픽셀 데이터(웨이브렛 등 영상 도메인에서의 처리일 경우) 또는 블록이나 매크로 블록에 포함된 데이터(DCT 도메인에서 처리한 경우)이며, 파문(i)에서 처리 순서는 다음의 예들에서 설명하는 바와 같다.
1. 파문(i)에서 처리 순서의 예1
파문(i)에 해당하는 위치에 있는 데이터에 대하여 최위쪽-왼쪽(upper-left)의 데이터부터 최아래쪽-오른쪽(bottom-right)의 데이터까지 배열 순서대로 파문 스캔을 실시한다. 파문 스캔 수행은 파문(i)의 형태를 도 7 에 도시된 바과 같이 위쪽 라인(Top Line), 중간 라인(Middle Lines), 아래쪽 라인(Bottom Line)으로 구분하고, 왼쪽에서 오른쪽으로 위쪽 라인(Top Line) ==> 중간 라인(Middle Lines) ==> 아래쪽 라인(Bottom Line)의 순서로 파문 스캔을 실시한다. 그 구체적인 제1 실시예의 처리 순서를 도 7 을 참조하여 살펴보면 다음과 같다.
위쪽 라인(Top Line)의 데이터를 스캔한다. 이때, 3-1(x-i,y-i) ==> 2-1(x-i < x < x+i,y-i) ==> 3-2(x+i,y-i)의 순서대로 왼쪽에서 오른쪽으로 스캔을 수행한다.
중간 라인(Middle Line)의 데이터를 스캔한다. 중간 라인의 데이터는 1-1(x-i,y-i < y < y+i)과 1-2(x+i,y-i < y < y+i)의 위치에 있는 데이터를 의미하며, 왼쪽에서 오른쪽으로 1-1라인의 데이터와 1-2라인의 데이터를 번갈아 가며 스캔하며, 한 행의 스캔이 끝나면 윗 행에서 아래쪽 행으로 중간 라인에 있는 모든 데이터가 스캔 완료될 때까지 반복적으로 수행한다. 예를 들어 1-1(x-i, y-i+1)==> 1-2(x+i, y-i+1) ==> 1-1(x-i, y-i+2) ==> 1-2(x+i, y-i+2) ==> 1-1(x-i, y-i+3) ==> 1-2(x+i, y-i+3) ==> ............==> 1-1(x-i, y+i-1) ==> 1-2(x+i, y+i-1)과 같이 스캔을 반복한다.
아래쪽 라인(Bottom Line)의 데이터를 스캔한다. 이때, 3-3(x-i,y+i) ==> 2-2(x-i < x < x+i, y+i) ==> 3-4(x+i, y+i)의 순서대로 왼쪽에서 오른쪽으로 스캔을 수행한다.
상기 제1 실시예의 실제 구현 예는 다음과 같다.
◎ Initial parameter
n : n'th Ring
N : number of MB in n'th Ring
prev_n : (n-1)'th Ring
start_x, start_y : start posiion of Ring
(left_top X of Ring, left_top Y of Ring)
curr_x, curr_y : each position of MB in Ring
◎ Algorithm
Step 1 : Initial MB Fill
n = 1;
curr_x = start_x;
curr_y = start_y;
if ( InBoundary(curr_x, curr_y) )
FillMB(start_x, start_y);
Step 2 : Top Line MB Fill
n++;
N = 2*n - 1;
prev_n = 2*(n-1) - 1;
start_x--;
start_y--;
curr_x = start_x;
curr_y = start_y;
for j=1 to N {
if( InBoundary(curr_x, curr_y) )
FillMB(curr_x, curr_y);
curr_x++;
}
Step 3 : Middle Ling MB Fill
N = prev_n;
for j=1 to N {
curr_x = start_x;
curr_y = start_y + j;
if ( InBoundary(curr_x, curr_y) )
FillMB(curr_x, curr_y);
curr_x + prev_n + 1;
if ( InBoundary(curr_x, curr_y) )
FillMB(curr_x, curr_y);
}
Step 4 : Bottom Line MB Fill
N = 2*n - 1;
curr_x = start_x;
curr_y = start_y + prev_n + 1;
for j=1 to N {
if ( InBoundary(curr_x, curr_y) )
FillMB(curr_x, curr_y);
curr_x++;
}
Step 5
if ( not VOP Fill )
goto Step 2.
else
Stop
2. 파문(i)에서 처리 순서의 예2
파문(i)에 해당하는 위치에 있는 데이터에 대하여 3(3-1,3-2,3-3,3-4) ==> 2-1==> 1-1 ==> 1-2 ==> 2-2와 같은 순서로 파문 스캔을 수행한다.
3-1(x-i,y-i), 3-2(x+i, y-i), 3-3(x-i, y+i), 3-4(x+i, y+i)의 위치를 스캔 및 데이터 처리를 수행하고,
2-1(x-i < x < x+i, y-i)의 위치 스캔 및 데이터 처리,
1-1(x-i, y-i < y < y+i)의 위치 스캔 및 데이터 처리,
1-2(x+i, y-i < y < y+i)의 위치 스캔 및 데이터 처리,
2-2(x-i < x < x+i, y+i)의 위치 스캔 및 데이터 처리를 순서대로 수행한다.
3. 파문(i)에서 처리 순서의 예3
파문(i)에 해당하는 위치에 있는 데이터에 대하여 2-1 ==> 1-1 ==> 1-2 ==> 2-2 ==> 3(3-1,3-2,3-3,3-4)와 같은 순서로 파문 스캔을 수행한다.
2-1(x-i < x < x+i, y-i)의 위치 스캔 및 데이터 처리,
1-1(x-i, y-i < y < y+i)의 위치 스캔 및 데이터 처리,
1-2(x+i, y-i < y < y+i)의 위치 스캔 및 데이터 처리,
2-2(x-i < x < x+i, y+i)의 위치 스캔 및 데이터 처리,
3-1(x-i,y-i), 3-2(x+i, y-i), 3-3(x-i, y+i), 3-4(x+i, y+i)의 위치 스캔 및 데이터 처리를 순서대로 수행한다.
4. 파문(i)에서 처리순서의 예4
파문(i)에 해당하는 위치에 있는 데이터에 대하여 2-1 ==> 2-2 ==> 1-1 ==> 1-2 ==> 3(3-1,3-2,3-3,3-4)와 같은 순서로 파문 스캔을 수행한다.
2-1(x-i < x < x+i, y-i)의 위치 스캔 및 데이터 처리,
2-2(x-i < x < x+i, y+i)의 위치 스캔 및 데이터 처리,
1-1(x-i, y-i < y < y+i)의 위치 스캔 및 데이터 처리,
1-2(x+i, y-i < y < y+i)의 위치 스캔 및 데이터 처리,
3-1(x-i,y-i), 3-2(x+i, y-i), 3-3(x-i, y+i), 3-4(x+i, y+i)의 위치 스캔 및 데이터 처리를 순서대로 수행한다.
5. 파문(i)에서 처리순서의 예5
파문(i)에 해당하는 위치에 있는 데이터에 대하여 1-1 ==> 1-2 ==> 2-1 ==> 2-2 ==> 3(3-1,3-2,3-3,3-4)와 같은 순서로 파문 스캔을 수행한다.
1-1(x-i, y-i < y < y+i)의 위치 스캔 및 데이터 처리,
1-2(x+i, y-i < y < y+i)의 위치 스캔 및 데이터 처리,
2-1(x-i < x < x+i, y-i)의 위치 스캔 및 데이터 처리,
2-2(x-i < x < x+i, y+i)의 위치 스캔 및 데이터 처리,
3-1(x-i,y-i), 3-2(x+i, y-i), 3-3(x-i, y+i), 3-4(x+i, y+i)의 위치 스캔 및 데이터 처리를 순서대로 수행한다.
한편, 파문 스캔 오더를 영상 및 동영상 코딩에 적용시 사용하는 방법 및 장치는 도 8a 에 도시된 바과 같이 파문 발생 위치 결정부(81)와 파문 발생부(82) 그리고 파문의 위치에 해당하는 데이터를 처리하는 영상 코딩부(83)로 크게 나눌 수 있다. 그리고, 파문 스캔 오더를 영상 및 동영상 디코딩에 적용시 사용하는 방법 및 장치는 도 8b 에 도시된 바과 같이 파문 발생 위치 결정부(84)와 파문 발생부(85) 그리고 파문의 위치에 해당하는 데이터를 처리하는 영상 디코딩부(86)로 크게 나눌 수 있다.
도 8a 는 본 발명에 따른 파문 스캔 오더를 이용한 영상 코딩 장치의 일실시예 구성도이고, 도 8b 는 본 발명에 따른 파문 스캔 오더를 이용한 영상 디코딩 장치의 일실시예 구성도이다.
상기 파문 발생 위치 결정부(81,84)중, 엔코더측의 파문 발생 위치 결정부(81)는 파문이 발생되는 임의의 위치를 결정하고 해당 좌표를 디코더측으로 송신하는 기능을 수행하는 부분이다. 디코더측의 파문 발생 위치 결정부(84)는 엔코더측에서 전송된 좌표를 바탕으로 영상 프레임내의 파문 발생 위치를 결정한다. 한편, 파문 발생 위치를 사전에 영상 프레임의 중앙 부분 등으로 결정하여 엔코더와 디코더가 서로 약속하였다면 본 결정부의 역할을 스킵(Skip)한다.
파문 발생부(82,85)에서는 전술한 여러가지 파문 발생 방법을 이용하여 i번째 파문(파문(i))을 발생시키는 역할을 담당하며, 파문(i)의 발생 위치를 영상 코딩부(또는 영상 디코딩부)에 통보하여 영상 코딩부(또는 영상 디코딩부)가 해당 영상 프레임의 코딩(또는 디코딩)을 수행하도록 한다.
영상 코딩부(또는 영상 디코딩부)에서는 파문 발생부(82,85)에서 결정된 좌표에 해당하는 영상 데이터를 처리한다.
본 방법을 실제 코딩에 적용하였을 때의 예를 도 9a 및 도 9b 를 참조하여 살펴보면 다음과 같다.
도 9a 는 DCT를 이용한 영상 코딩 방법에 파문 스캔 오더를 적용하는 개념을 나타내는 일예시도이고, 도 9b 는 웨이브렛 변환을 이용한 영상 코딩 방법에 파문 스캔 오더를 적용하는 개념을 나타내는 일예시도이다.
DCT를 이용하는 코딩 방법을 이용할 때는 8X8의 블록 단위나, 16X16의 매크로 블록 단위로 파문을 발생시켜 영상 코딩을 수행하며, 웨이브렛 변환 등을 이용한 픽셀 단위의 영상 코딩 방법에 적용시는 픽셀 단위로 파문을 발생시켜 영상 코딩을 수행한다.
DCT를 이용한 동영상 처리에 파문 스캔 오더를 적용하였을 때의 예는 도 9a 와 같이 표현된다. QCIF(176X144 픽셀) 영상 프레임에 적용할 경우에 11X9개의 매크로 블록(16X16)이 존재하는데, 영상 프레임의 중앙부에 위치하는 매크로 블록으로부터 매크로 블록 단위로 파문을 발생시켜 코딩에 적용한 예를 도 9a 에 나타내었으며, 파문 발생 위치(파문(0)부터)로부터 파문(1),..., 파문(5)까지 6개의 파문이 발생되어 전체 영상이 코딩된다. 디코더단에서 전송선로의 대역폭(Bandwidth)의 제약으로 모든 데이터가 수신이 안된 경우에도 파문(0)부터 파문(1) 등 영상 프레임의 중앙부에 해당하는 매크로 블록들의 데이터는 수신되어 디코딩이 완료되는 경우가 확률적으로 많으며(최우선적으로 송신이 되었음으로), 가장자리 부분의 매크로 블록의 데이터가 처리되지 못하더라도, 영상의 중앙 부분의 화질의 향상은 보장하게 된다.
도 9b 는 웨이브렛 변환을 이용한 영상 코딩 방법에 파문 스캔 오더를 적용한 예로서, 각 서브밴드(Subband)에 해당하는 영상을 픽셀 단위로 각 서브밴드의 중심으로부터 파문을 발생시켜 영상 코딩에 적용한 예이다. 이는 위쪽-오른쪽(upper-right)에 위치하는 서브밴드의 코딩에는 파문이 발생되어 코딩되었지만 전송선로상의 대역폭의 제약으로 전체 영역의 데이터가 처리되지 못하고 중앙 부분의 영상 데이터만이 처리된 예를 도식화하여 보여준다.
한편, 스케일러블 동영상 코딩의 응용 예로서 미세입자 스케일러블 코딩(FGS Coding)에 파문 스캔 오더를 적용한 예를 살펴보면 다음과 같다.
두 가지의 예를 제시하였는데, 첫번째 예에서는 파문 발생 위치와 발생된 위치의 데이터를 동시에 처리하는 것에 초점이 맞추어져 있으며, 두번째 예에서는 파문 발생 위치 결정 과정과 발생 위치의 데이터 처리 과정을 나누어서 수행하는 것에 초점이 맞추어져 있다.
첫번째 예로는, 각 비트플레인별로 비트플레인 가변장 부호화(Bit-plane VLC) 또는 복호화를 수행할 때, 임의의 특정 위치로부터 파문 스캔을 수행하여 우선적으로 코딩 또는 디코딩할 매크로 블록이나 블록의 위치를 결정하고, 해당 매크로 블록이나 블록에 있는 영상 정보를 위치 결정과 동시에 처리하는 과정이 엔코더단와 디코더단에 존재하는 경우이다.
도 10a 는 본 발명에 따른 미세입자 스케일러블 코딩 방법에 파문 스캔 오더를 적용한 경우의 엔코더단의 일실시예 구조도이고, 도 10b 는 본 발명에 따른 미세입자 스케일러블 코딩 방법에 파문 스캔 오더를 적용한 경우의 디코더단의 일실시예 구조도이다.
FGS 강화 계층 엔코딩은, 도 10a 도시된 바과 같이 원 영상(original image)과 기본계층에서 재생된 영상과의 오차(residues)를 구하는 과정, 이산적 코사인 변환을 수행하는 과정(DCT), 비트플레인 쉬프트 과정(Bit-plane shift), 최대값 찾기 과정(Find Maximum), 비트플레인별로 가변장 부호화를 수행할 때 파문 스캔 오더에 맞게 수행하는 과정(파문 스캔 오더에 따른 비트플레인 VLC 과정 : Bit-plane VLC along Water Ring Scan Order)으로 나뉘어 수행된다.
상기 오차를 구하는 과정에서는, 기본계층에서 코딩된 후 재생된 영상과 원 영상(Original Image)과의 차(difference)를 구하여 그 오차 값(residues)을 구한다.
상기 이산적 코사인 변환을 수행하는 과정(DCT)에서는 앞에서 구해진 영상기반 오차 값(residues)을 블록 단위(8X8 단위) DCT를 이용하여 DCT 도메인으로 변환한다.
이때, 선택적으로 좋은 화질을 갖는 블록이 필요하다면 해당 값을 최우선적으로 전송하여야만 하고, 이를 위하여 비트플레인 쉬프트를 선택적으로 수행할 수 있다. 이를 선택적 강화(Selective Enhancement)라고 정의하며, 비트플레인 쉬프트(Bit-plane Shift) 과정에서 수행된다.
상기 최대값 찾기 과정에서는 이산적 코사인 변환을 마친 모든 값들의 절대치에 대한 최대값을 구한다. 이 값은 해당 영상 프레임을 전송하기 위한 최대 비트플레인의 갯수를 구하는데 사용된다.
상기 파문 스캔 오더에 따른 비트플레인 가변장 부호화 과정에서는, 각 비트플레인별로 비트플레인 가변장 부호화(Bit-plane VLC)를 수행할 때, 임의의 특정 위치로부터 파문 스캔을 수행하여 우선적으로 코딩할 매크로 블록이나 블록의 위치를 결정하고, 결정된 코딩 순서(우선 순위)에 맞게 블록 단위로 구해진 64개의 DCT계수들(DCT계수의 해당 비트플레인의 비트 : 0 또는 1)을 지그재그 스캔(zigzag scan) 순서로 하나의 행열에 입력하고, 그들을 가변장 길이 코드표(VLC table)에 따라 런-길이(Run-length) 부호화를 동시에 수행한다. 그외의 기본 계층의 부호화 과정은 종래 기술에서 설명한 바와 같음으로 여기서는 더 이상 설명하지 않기로 한다.
도 10b 에 도시된 바와 같이, FGS 강화계층의 디코딩은 엔코더와 역순으로 강화계층에 전송된 비트스트림의 디코딩을 수행하게 되는데, 먼저 입력된 강화 비트스트림(Enhancement Bitstream)을 엔코더와 약속(엔코더에서 시작 위치를 전송하여 수신된 위치나, 또는 사전에 약속된 위치 : 예를 들어 영상 프레임의 중앙 매크로 블록이나 블록)된 파문 발생 위치부터 비트플레인별로 가변길이 디코딩(Bit-plane VLD)을 파문 스캔 오더에 맞추어 수행하는 과정(Bit-plane VLD along Water Ring Scan Order), 선택적으로 좋은 화질을 갖는 블록의 위치 등이 전송되었다면, 비트플레인 쉬프트(Bit-plane Shift)를 선택적으로 수행하는 과정, 비트플레인별로 VLD가 수행되고 선택적으로 쉬프트가 수행되어 도출된 값에 블록 단위(8X8 단위)의역 이산적 코사인 변환(IDCT : Inverse Discrete Cosine Transform)을 수행하여 강화계층에서 전송된 영상을 복원하는 과정, 기본계층에서 복호화된 영상과 합친 후에 그 값들을 0과 255 값 사이로 클립핑(Clipping)하여 최종적으로 향상된 영상을 복원하는 과정으로 구성된다. 그외의 기본 계층의 복호화 과정은 종래 기술에서 설명한 바와 같음으로 여기서는 더 이상 설명하지 않기로 한다.
한편, 스케일러블 동영상 코딩의 응용 예로서 미세입자 스케일러블 코딩(FGS Coding)에 파문 스캔 오더를 적용한 두번째 예는 다음과 같으며, 파문 발생 위치 결정 과정과 발생 위치의 데이터 처리 과정을 나누어서 수행하는 것이 첫번째 예와 다르다.
여기서, 미세입자 스케일러블 코딩을 수행할 때, 엔코더단에서는 파문 스캔을 이용하여 파문 발생 위치를 결정한 후, 코딩하여야 할 영상 정보를 버퍼에 파문 발생 순서대로 배열해 놓고, 버퍼에 배열된 순서대로 비트플레인 VLC를 수행하고, 디코더단에서는 비트플레인 VLD를 수행하여 재생된 영상 정보의 위치를 파문 스캔 오더를 이용하여 재배치한 후, 비트플레인 쉬프트와 IDCT를 수행한다.
도 11a 는 본 발명에 따른 미세입자 스케일러블 코딩 방법에 파문 스캔 오더를 적용한 경우의 엔코더단의 다른 실시예 구조도이고, 도 11b 는 본 발명에 따른 미세입자 스케일러블 코딩 방법에 파문 스캔 오더를 적용한 경우의 디코더단의 다른 실시예 구조도이다.
FGS 강화계층 엔코딩은, 도 11a 에 도시된 바과 같이 원영상과 기본계층에서 재생된 영상과의 오차(residues)를 구하는 과정, 이산적 코사인 변환을 수행하는과정(DCT), 비트플레인 쉬프트 과정(Bit-plane shift), 최대값 찾기 과정(Find Maximum), 영상 프레임내의 영상 정보를 비트플레인별로 파문 스캔 오더에 맞게 재구성하는 과정(Water Ring Scan), 비트플레인별로 가변장 부호화를 수행하는 과정(Bit-plane VLC)으로 나뉘어 수행된다.
상기 오차를 구하는 과정에서는, 기본계층에서 코딩된 후 재생된 영상과 원 영상(Original Image)과의 차(difference)를 구하여 그 오차 값(residues)을 구한다.
상기 이산적 코사인 변환을 수행하는 과정(DCT)에서는 앞에서 구해진 영상기반 오차 값(residues)을 블록 단위(8X8 단위) DCT를 이용하여 DCT 도메인으로 변환한다.
이때, 선택적으로 좋은 화질을 갖는 블록이 필요하다면 해당 값을 최우선적으로 전송하여야만 하고, 이를 위하여 비트플레인 쉬프트를 선택적으로 수행할 수 있다. 이를 선택적 강화(Selective Enhancement)라고 정의하며, 비트플레인 쉬프트(Bit-plane Shift) 과정에서 수행된다.
상기 최대값 찾기 과정에서는 이산적 코사인 변형을 마친 모든 값들의 절대치에 대한 최대값을 구한다. 이 값은 해당 영상 프레임을 전송하기 위한 최대 비트플레인의 갯수를 구하는데 사용된다.
상기 파문 스캔 과정(Water Ring Scan)에서는, 임의의 특정 위치로부터 파문 스캔을 수행하여 우선적으로 코딩할 매크로 블록이나 블록을 결정하고, 결정된 코딩 순서에 맞게 영상 프레임내의 영상 정보를 비트플레인별로 특정 버퍼에 재배치한다.
상기 비트플레인 가변장 부호화 과정에서는, 파문 스캔 과정에서 비트플레인별로 특정 버퍼에 재배치한 영상 정보를 각 비트플레인별로 비트플레인 가변장 부호화(Bit-plane VLC)를 수행할 때, 블록 단위로 구해진 64개의 DCT계수들(DCT계수의 해당 비트플레인의 비트 :0 또는 1)을 지그재그 스캔(zigzag scan) 순서로 하나의 행열에 입력하고, 그들을 가변장 길이 코드표(VLC table)에 따라 런-길이(Run-length) 부호화를 수행한다. 그외의 기본 계층의 부호화 과정은 종래 기술에서 설명한 바와 같음으로 여기서는 더 이상 설명하지 않기로 한다.
도 11b 에 도시된 바와 같이, FGS 강화계층의 디코딩은 엔코더와 역순으로 강화계층에 전송된 비트스트림의 디코딩을 수행하게 되는데, 먼저 입력된 강화비트스트림(Enhancement Bitstream)을 비트플레인별로 가변길이 디코딩(Bit-plane VLD)을 수행하는 과정, 엔코더와 약속(엔코더에서 시작 위치를 전송하여 수신된 위치나, 또는 사전에 약속된 위치 : 예를 들어 영상 프레임의 중앙 매크로 블록이나 블록)된 파문 발생 위치로부터 파문 스캔 오더에 맞추어 수신된 영상 데이터를 재배치하는 과정, 선택적으로 좋은 화질을 갖는 블록의 위치 등이 전송되었다면, 비트플레인 쉬프트(Bit-plane Shift)를 선택적으로 수행하는 과정, 비트플레인별로 VLD가 수행되고 선택적으로 쉬프트가 수행되어 도출된 값에 블록 단위(8X8 단위)의 역 이산적 코사인 변환(IDCT : Inverse Discrete Cosine Transform)을 수행하여 강화계층에서 전송된 영상을 복원하는 과정, 기본계층에서 복호화된 영상과 합친 후에 그 값들을 0과 255 값 사이로 클립핑(Clipping)하여 최종적으로 향상된 영상을 복원하는 과정으로 구성된다. 그외의 기본 계층의 복호화 과정은 종래 기술에서 설명한 바와 같음으로 여기서는 더 이상 설명하지 않기로 한다.
도 12 는 MPEG-4 기반 미세입자 스케일러블 코딩 방법에 파문 스캔 방법을 삽입하여 실제 실험한 결과의 일예시도이다.
도면에 도시된 2개의 영상은 MPEG-4 표준화 회의에서 주로 사용되는 포맨(Foreman) 영상 시퀀스(Sequence)를 OCIF급(176 픽셀 X 144 픽셀)으로 초당 5프레임을 코딩(5Hz)하여 전송한다고 가정할 때, 기본계층은 16kbps로 전송하고 강화계층에서 모든 강화 비트스트림을 코딩하여 전송하였지만 전송선로의 대역폭(Bandwidth) 제약으로 총 48kbps만의 비트스트림만 디코더단에서 수신받아 재생된 영상을 보여주고 있다(도면은 포맨 시퀀스의 24번째 프레임의 영상을 캡처(Capture)한 것임).
도면에서 1로 표시된 영상은 원래(Original)의 MPEG-4 미세입자 스케일러블 코딩으로 재생된 영상이며, 2로 표시된 영상은 MPEG-4 미세입자 스케일러블 코딩 방법에 파문 스캔(Water Ring Scan) 방법을 부가하여 수행한 결과 영상이다.
포맨의 얼굴 부분을 살펴보면 1의 영상보다 2의 영상에서 보다 높은 화질을 보여주고 있음을 주관적으로도 관찰할 수 있으며, 객관적인 화질을 PSNR(Peak Signal to Noise Ratio)을 이용하여 그래프로 표시하였는데, 5로 표시된 그래프는 루미넌스(Luminance) (Y) 부분의 PSNR 비교 그래프이고, 6과 7로 표시된 그래프는 크로미넌스(Chrominance) (U, V) 부분의 PSNR 비교 그래프로서, 파문 스캔을 이용한 방법의 PSNR이 루미넌스(Luminance) (Y)(5로 표시된 그래프)에서 약 2.32dB(도면에서 파문 스캔 방법은 Water Ring으로 표기됨. 결과가 39.448540dB이며, 원래 방법은 Original로 표기됨. 결과가 37.124660dB가 도출되었음)가 우수함을 알 수 있다. PSNR의 계산은 인간의 시각 시스템을 고려하여 영상의 중앙부의 PSNR을 계산하였다.
도면에서 실제 코딩 결과를 관찰한 바와 같이 주관적으로나 객관적으로도 파문 스캔 방법을 적용한 FGS 코딩 방법이, 원래의 FGS 방법보다 우수함을 관찰할 수 있는데, 화질 차이가 나타나는 원인을 3과 4로 표기된 그림으로 비교할 수 있다.
도면에서, 3으로 표기된 그림은 원래의 FGS 방법에서 비트플레인별로 디코딩을 수행한 매크로 블록을 표현한 것으로, 전송 선로의 대역폭의 제약으로 디코더단에서 총 48Kbps만을 수신하여 수신 완료된 영상 정보만을 이용하여 디코딩을 수행한 결과로, 가장 중요한 비트플레인(3의 그림에서 MSB(Most Significant Bit)라고 표시된 부분), 그 다음 중요한 비트플레인(3의 그림에서 MSB-1이라고 표기된 부분)의 영상 데이터는 모두 코딩 완료되었지만(모두 검정색으로 채워져 있다), MSB-2 비트플레인의 데이터가 상위 1/3 이하만이 디코딩이 완료된 상황으로(검정색으로 채워져 있지 않은 부분은 수신된 데이터가 없어서 디코딩을 수행하지 못한 경우임), 인간의 시각 시스템에 견주어 볼 때, 인간이 현저하게 인지하지 못하는 영상 프레임의 가장자리 부분, 즉 포맨의 얼굴부분에 해당하지 않는 상부 가장자리 부분만 화질 향상을 가져다 준 결과로서, 영상 프레임의 전체 화질을 주관적으로 평가할 때 화질이 상대적으로 저조함을 느끼게 된다.
이에 비해 파문 스캔 방법을 이용한 FGS 코딩 방법은, 도면에서 4로 표기된부분에 디코딩이 완료된 매크로 블록을 보여주고 있는데, MSB와 MSB-1의 비트플레인은 원래 방법과 동일하게 모두 디코딩이 완료되었고, 역시 MSB-2 비트플레인의 영상 정보는 부분적으로 디코딩이 완료되었음을 알 수 있다. 하지만 파문 스캔 방법을 이용하여 인간의 시각 시스템에 적합하도록 영상 프레임의 중앙부부터 엔코딩과 디코딩을 수행하여 중앙부에 위치한 매크로 블록의 영상 정보를 처리하여 그 결과를 보여주고 있는데, 도면에서 2로 표시된 영상에서 알 수 있드시 화면 중앙부의 영상의 화질이 상대적으로 매우 우수함을 알 수 있어 파문 스캔 방법의 우수성을 확인할 수 있다.
이는 인간의 시각 시스템에 적합하게 파문 스캔 오더를 적용하여, 영상 프레임의 중앙부(또는 임의의 특정 위치)부터 엔코딩을 수행하여 전송하고, 디코더부에서도 영상의 중앙부(또는 임의의 특정 위치)부터 디코딩을 수행하여 전송선로의 대역폭의 제약으로 더 이상 엔코더단에서 전송된 비트스트림을 수신하지 못한 경우에도 영상 프레임의 중앙부(또는 특정 위치)는 항상 우수한 화질의 영상을 재생할 수 있다.
그러나, 기존의 방법은 항상 최위쪽-왼쪽(upper-left) 부분부터 최아래쪽-오른쪽(bottom-right) 부분까지의 매크로 블록을 순서대로 엔코딩 및 디코딩하도록 설계되어 있음으로, 전송선로의 제약으로 모든 전송 비트스트림을 수신하지 못한 경우에는 항상 영상 프레임의 위쪽의 가장자리 부분부터 시작하는 부분적인 비트스트림만을 처리하게 되어 인간의 시각 시스템에 적합하지 못한 화질을 재생하게 되어, 영상 프레임의 중앙 부분의 화질을 보장할 수 없다.
이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하다는 것이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.
상기와 같은 본 발명은, 인간의 시각 시스템에 적합하도록 시각적으로 중요한 특정 영상 부분의 정보를 우선적으로 엔코딩을 수행하여 전송하고, 수신단에서도 해당 특정 부분의 영상 정보를 우선적으로 디코딩하게 하여, 전송선로의 대역폭(Bandwidth)의 제약으로 더 이상 엔코더단에서 전송된 모든 비트스트림을 디코더단에서 수신하지 못한 경우에도 특정한 중요 부분의 화질을 항상 보장할 수 있는 효과가 있다.

Claims (71)

  1. 파문 스캔 장치에 있어서,
    우선적으로 파문 스캔을 수행하여야 할 시각적으로 중요한 특정 영상 부분인 파문 발생 위치(파문(0))부터 파문 스캔을 시작하기 위한 파문 스캔 시작 수단;
    상기 파문 발생 위치에 사각형 모양의 링을 둘러싸는 형태로 다음 파문 스캔 위치(파문(1))를 결정한 후에, 사각형 모양의 링을 그 전에 처리한 사각형 모양의 링에 둘러싸는 형태로 다음 파문 스캔 위치(파문(i))를 결정하기 위한 파문 스캔 위치 결정 수단; 및
    상기 파문 스캔 위치 결정 수단에서 결정된 파문 스캔 위치에 따라 파문 스캔을 수행하기 위한 파문 스캔 수단
    을 포함하는 파문 스캔 장치.
  2. 영상 코딩을 위한 파문 스캔 장치에 있어서,
    영상 프레임 내에서 우선적으로 코딩하여 전송하여야 할 시각적으로 중요한 특정 영상 부분인 파문 발생 위치의 데이터부터 코딩을 수행하기 위한 파문 발생 위치 데이터 코딩 수단;
    상기 파문 발생 위치로부터 i번째 발생된 파문(i)의 위치를 결정하여 해당 위치의 데이터를 코딩하기 위한 파문 위치 결정 및 데이터 코딩 수단; 및
    상기 영상 프레임 내의 모든 데이터가 코딩될 때까지 파문의 위치 결정과 해당 영상 데이터의 코딩을 반복하여 수행하도록 하는 반복 수행 여부 결정 수단
    을 포함하는 파문 스캔 장치.
  3. 영상 디코딩을 위한 파문 스캔 장치에 있어서,
    영상 프레임 내에서 우선적으로 디코딩하여야 할 시각적으로 중요한 특정 영상 부분인 파문 발생 위치의 데이터부터 디코딩을 수행하기 위한 파문 발생 위치 데이터 디코딩 수단;
    상기 파문 발생 위치로부터 i번째 발생된 파문(i)의 위치를 결정하여 해당 위치의 데이터를 디코딩하기 위한 파문 위치 결정 및 데이터 디코딩 수단; 및
    상기 영상 프레임 내의 모든 데이터가 디코딩될 때까지 파문의 위치 결정과 해당 영상 데이터의 디코딩을 반복하여 수행하도록 하는 반복 수행 여부 결정 수단
    을 포함하는 파문 스캔 장치.
  4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 파문 발생 위치는,
    기 결정되어 있는 것을 특징으로 하는 파문 스캔 장치.
  5. 제 4 항에 있어서,
    상기 기 결정된 파문 발생 위치는,
    영상 프레임의 중앙부인 것을 특징으로 하는 파문 스캔 장치.
  6. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 파문 발생 위치(파문(0))를 결정하기 위한 파문 발생 위치 결정 수단
    을 더 포함하는 파문 스캔 장치.
  7. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 결정된 파문(i)의 위치는,
    파문 발생 위치로부터 x축으로 -i많큼 떨어진 위치에 있고 y축으로 ±i 보다 작은 위치에 해당하는 모든 위치(1-1 : x-i 이고 (y-i < y < y+i)인 모든 위치);
    파문 발생 위치로부터 x축으로 +i많큼 떨어진 위치에 있고 y축으로는 ±i 보다 작은 위치에 해당하는 모든 위치(1-2 : x+i 이고 (y-i < y < y+i)인 모든 위치);
    파문 발생 위치로부터 y축으로 -i많큼 떨어진 위치에 있고 x축으로는 ±i 보다 작은 위치에 해당하는 모든 위치(2-1 : y-i 이고 (x-i < x < x+i)인 모든위치);
    파문 발생 위치로부터 y축으로 +i많큼 떨어진 위치에 있고 x축으로는 ±i 보다 작은 위치에 해당하는 모든 위치(2-2 : y+i 이고 (x-i < x < x+i)인 모든 위치); 및
    파문 발생 위치로부터 x축으로 ±i 많큼 그리고 y축으로 ±i 많큼 떨어진 곳의 모든 위치(3-1의 위치는 (x-i, y-i), 3-2는 (x+i, y-i), 3-3은 (x-i, y+i), 3-4는 (x+i, y+i)에 해당하는 위치)를 포함하는 것을 특징으로 하는 파문 스캔 장치.
  8. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 파문 스캔 장치는,
    매크로 블록 단위로 데이터를 처리하는 것을 특징으로 하는 파문 스캔 장치.
  9. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 파문 스캔 장치는,
    블록 단위로 데이터를 처리하는 것을 특징으로 하는 파문 스캔 장치.
  10. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 파문 스캔 장치는,
    픽셀 단위로 데이터를 처리하는 것을 특징으로 하는 파문 스캔 장치.
  11. 파문 스캔 장치에 적용되는 파문 스캔 방법에 있어서,
    우선적으로 파문 스캔을 수행하여야 할 시각적으로 중요한 특정 영상 부분인 파문 발생 위치(파문(0))부터 파문 스캔을 시작하는 제 1 단계;
    상기 파문 발생 위치에 사각형 모양의 링을 둘러싸는 형태로 다음 파문 스캔 위치(파문(1))를 결정하여 파문 스캔을 수행하는 제 2 단계; 및
    사각형 모양의 링을 그 전에 처리한 사각형 모양의 링에 둘러싸는 형태로 다음 파문 스캔 위치(파문(i))를 결정하여 파문 스캔을 수행하는 과정을 모든 데이터에 대하여 수행하는 제 3 단계
    를 포함하는 파문 스캔 방법.
  12. 영상 코딩을 위한 파문 스캔 장치에 적용되는 파문 스캔 방법에 있어서,
    영상 프레임 내에서 우선적으로 코딩하여 전송하여야 할 시각적으로 중요한 특정 영상 부분인 파문 발생 위치의 데이터부터 코딩을 수행하는 제 1 단계;
    모든 데이터에 대하여 코딩을 수행하였는지를 판단하는 제 2 단계; 및
    상기 제 2 단계의 판단 결과, 모든 데이터를 코딩하였으면 종료하고 아니면다음 파문 위치를 결정하여 해당 위치의 데이터를 코딩하는 과정을 모든 데이터에 대하여 반복 수행하는 제 3 단계
    를 포함하는 파문 스캔 방법.
  13. 영상 디코딩을 위한 파문 스캔 장치에 적용되는 파문 스캔 방법에 있어서,
    영상 프레임 내에서 우선적으로 디코딩하여야 할 시각적으로 중요한 특정 영상 부분인 파문 발생 위치의 데이터부터 디코딩을 수행하는 제 1 단계;
    모든 데이터에 대하여 디코딩을 수행하였는지를 판단하는 제 2 단계; 및
    상기 제 2 단계의 판단 결과, 모든 데이터를 디코딩하였으면 종료하고 아니면 다음 파문 위치를 결정하여 해당 위치의 데이터를 디코딩하는 과정을 모든 데이터에 대하여 반복 수행하는 제 3 단계
    를 포함하는 파문 스캔 방법.
  14. 제 11 항 내지 제 13 항 중 어느 한 항에 있어서,
    상기 파문 발생 위치는,
    기 결정되어 있는 것을 특징으로 하는 파문 스캔 방법.
  15. 제 14 항에 있어서,
    상기 기 결정된 파문 발생 위치는,
    영상 프레임의 중앙부인 것을 특징으로 하는 파문 스캔 방법.
  16. 제 11 항 내지 제 13 항 중 어느 한 항에 있어서,
    상기 파문 발생 위치(파문(0))를 결정하는 제 4 단계
    를 더 포함하는 파문 스캔 방법.
  17. 제 11 항 내지 제 13 항 중 어느 한 항에 있어서,
    상기 결정된 파문(i)의 위치는,
    파문 발생 위치로부터 x축으로 -i많큼 떨어진 위치에 있고 y축으로 ±i 보다 작은 위치에 해당하는 모든 위치(1-1 : x-i 이고 (y-i < y < y+i)인 모든 위치);
    파문 발생 위치로부터 x축으로 +i많큼 떨어진 위치에 있고 y축으로는 ±i 보다 작은 위치에 해당하는 모든 위치(1-2 : x+i 이고 (y-i < y < y+i)인 모든 위치);
    파문 발생 위치로부터 y축으로 -i많큼 떨어진 위치에 있고 x축으로는 ±i 보다 작은 위치에 해당하는 모든 위치(2-1 : y-i 이고 (x-i < x < x+i)인 모든 위치);
    파문 발생 위치로부터 y축으로 +i많큼 떨어진 위치에 있고 x축으로는 ±i 보다 작은 위치에 해당하는 모든 위치(2-2 : y+i 이고 (x-i < x < x+i)인 모든 위치); 및
    파문 발생 위치로부터 x축으로 ±i 많큼 그리고 y축으로 ±i 많큼 떨어진 곳의 모든 위치(3-1의 위치는 (x-i, y-i), 3-2는 (x+i, y-i), 3-3은 (x-i, y+i), 3-4는 (x+i, y+i)에 해당하는 위치)를 포함하는 것을 특징으로 하는 파문 스캔 방법.
  18. 제 11 항 내지 제 13 항 중 어느 한 항에 있어서,
    상기 파문 스캔 방법은,
    매크로 블록 단위로 데이터를 처리하는 것을 특징으로 하는 파문 스캔 방법.
  19. 제 11 항 내지 제 13 항 중 어느 한 항에 있어서,
    상기 파문 스캔 방법은,
    블록 단위로 데이터를 처리하는 것을 특징으로 하는 파문 스캔 방법.
  20. 제 11 항 내지 제 13 항 중 어느 한 항에 있어서,
    상기 파문 스캔 방법은,
    픽셀 단위로 데이터를 처리하는 것을 특징으로 하는 파문 스캔 방법.
  21. 파문 스캔 장치를 이용한 영상 코딩/디코딩 장치에 있어서,
    상기 파문 스캔 장치를 이용하여 영상 프레임 내에서 우선적으로 디코딩하여야 할 시각적으로 중요한 특정 영상 부분인 파문 발생 위치부터 시작하여 모든 데이터에 대하여 파문을 발생시키기 위한 제1 파문 발생 수단;
    상기 제1 파문 발생 수단에서 발생된 파문 위치에 따른 데이터를 코딩하여 상기 디코딩 장치측으로 전달하기 위한 코딩 수단;
    상기 제1 파문 발생 수단에서 발생된 파문 위치에 따라, 상기 영상 프레임 내에서 우선적으로 디코딩하여야 할 시각적으로 중요한 특정 영상 부분인 파문 발생 위치부터 시작하여 수신된 데이터에 대하여 파문을 발생시키기 위한 제2 파문 발생 수단; 및
    상기 제2 파문 발생 수단에서 발생된 파문 위치에 따른 데이터를 디코딩하기 위한 디코딩 수단
    을 포함하는 파문 스캔 장치를 이용한 영상 코딩/디코딩 장치.
  22. 제 21 항에 있어서,
    상기 파문 발생 위치는,
    상기 코딩 장치와 상기 디코딩 장치 간에 기 결정되어 있는 것을 특징으로 하는 파문 스캔 장치를 이용한 영상 코딩/디코딩 장치.
  23. 제 22 항에 있어서,
    상기 코딩 장치와 상기 디코딩 장치 간에 기 결정된 파문 발생 위치는,
    상기 영상 프레임의 중앙부인 것을 특징으로 하는 파문 스캔 장치를 이용한 영상 코딩/디코딩 장치.
  24. 제 21 항에 있어서,
    상기 영상 프레임 내에서 우선적으로 디코딩하여야 할 시각적으로 중요한 특정 영상 부분을 파문 발생 위치로 결정하여 상기 디코딩 장치측으로 전달하는 제1 파문 발생 위치 결정 수단; 및
    상기 코딩 장치측의 상기 제1 파문 발생 위치 결정 수단으로부터 전송받은 파문 발생 위치에 따라 상기 영상 프레임 내의 파문 발생 위치를 결정하기 위한 제2 파문 발생 위치 결정 수단
    을 더 포함하는 파문 스캔 장치를 이용한 영상 코딩/디코딩 장치.
  25. 제 21 항 내지 제 24 항 중 어느 한 항에 있어서,
    상기 파문 발생 수단에서 발생된 i번째 파문인 파문(i)의 위치는,
    파문 발생 위치로부터 x축으로 -i많큼 떨어진 위치에 있고 y축으로 ±i 보다 작은 위치에 해당하는 모든 위치(1-1 : x-i 이고 (y-i < y < y+i)인 모든 위치);
    파문 발생 위치로부터 x축으로 +i많큼 떨어진 위치에 있고 y축으로는 ±i 보다 작은 위치에 해당하는 모든 위치(1-2 : x+i 이고 (y-i < y < y+i)인 모든 위치);
    파문 발생 위치로부터 y축으로 -i많큼 떨어진 위치에 있고 x축으로는 ±i 보다 작은 위치에 해당하는 모든 위치(2-1 : y-i 이고 (x-i < x < x+i)인 모든 위치);
    파문 발생 위치로부터 y축으로 +i많큼 떨어진 위치에 있고 x축으로는 ±i 보다 작은 위치에 해당하는 모든 위치(2-2 : y+i 이고 (x-i < x < x+i)인 모든 위치); 및
    파문 발생 위치로부터 x축으로 ±i 많큼 그리고 y축으로 ±i 많큼 떨어진 곳의 모든 위치(3-1의 위치는 (x-i, y-i), 3-2는 (x+i, y-i), 3-3은 (x-i, y+i), 3-4는 (x+i, y+i)에 해당하는 위치)를 포함하는 것을 특징으로 하는 파문 스캔 장치를 이용한 영상 코딩/디코딩 장치.
  26. 제 21 항 내지 제 24 항 중 어느 한 항에 있어서,
    상기 파문 스캔 장치는,
    매크로 블록 단위로 데이터를 처리하는 것을 특징으로 하는 파문 스캔 장치를 이용한 영상 코딩/디코딩 장치.
  27. 제 21 항 내지 제 24 항 중 어느 한 항에 있어서,
    상기 파문 스캔 장치는,
    블록 단위로 데이터를 처리하는 것을 특징으로 하는 파문 스캔 장치를 이용한 영상 코딩/디코딩 장치.
  28. 제 21 항 내지 제 24 항 중 어느 한 항에 있어서,
    상기 파문 스캔 장치는,
    픽셀 단위로 데이터를 처리하는 것을 특징으로 하는 파문 스캔 장치를 이용한 영상 코딩/디코딩 장치.
  29. 파문 스캔 장치를 이용한 영상 코딩/디코딩 장치에 적용되는 영상 코딩/디코딩 방법에 있어서,
    상기 파문 스캔 장치를 이용하여 영상 프레임 내에서 우선적으로 디코딩하여야 할 시각적으로 중요한 특정 영상 부분인 파문 발생 위치부터 시작하여 모든 데이터에 대하여 순차적으로 파문을 발생시키는 제 1 단계;
    상기 제 1 단계에서 발생된 파문 위치에 따른 데이터를 순차적으로 코딩하여 상기 디코딩 장치측으로 전달하는 제 2 단계;
    상기 제 1 단계에서 발생된 파문 위치에 따라, 상기 영상 프레임 내에서 우선적으로 디코딩하여야 할 시각적으로 중요한 특정 영상 부분인 파문 발생 위치부터 시작하여 수신된 데이터에 대하여 순차적으로 파문을 발생시키는 제 3 단계; 및
    상기 제 3 단계에서 발생된 파문 위치의 수신 데이터를 순차적으로 디코딩하는 제 4 단계
    를 포함하는 파문 스캔 장치를 이용한 영상 코딩/디코딩 방법.
  30. 제 29 항에 있어서,
    상기 파문 발생 위치는,
    상기 코딩 장치와 상기 디코딩 장치 간에 기 결정되어 있는 것을 특징으로 하는 파문 스캔 장치를 이용한 영상 코딩/디코딩 방법.
  31. 제 30 항에 있어서,
    상기 코딩 장치와 상기 디코딩 장치 간에 기 결정된 파문 발생 위치는,
    상기 영상 프레임의 중앙부인 것을 특징으로 하는 파문 스캔 장치를 이용한 영상 코딩/디코딩 방법.
  32. 제 29 항에 있어서,
    상기 영상 프레임 내에서 우선적으로 디코딩하여야 할 시각적으로 중요한 특정 영상 부분을 파문 발생 위치로 결정하여 상기 디코딩 장치측으로 전달하는 제 5 단계; 및
    상기 코딩 장치측으로부터 전송받은 파문 발생 위치에 따라 상기 영상 프레임 내의 파문 발생 위치를 결정하는 제 6 단계
    를 더 포함하는 파문 스캔 장치를 이용한 영상 코딩/디코딩 방법.
  33. 제 29 항 내지 제 32 항 중 어느 한 항에 있어서,
    상기 발생된 파문 중 i번째 파문인 파문(i)의 위치는,
    파문 발생 위치로부터 x축으로 -i많큼 떨어진 위치에 있고 y축으로 ±i 보다 작은 위치에 해당하는 모든 위치(1-1 : x-i 이고 (y-i < y < y+i)인 모든 위치);
    파문 발생 위치로부터 x축으로 +i많큼 떨어진 위치에 있고 y축으로는 ±i 보다 작은 위치에 해당하는 모든 위치(1-2 : x+i 이고 (y-i < y < y+i)인 모든 위치);
    파문 발생 위치로부터 y축으로 -i많큼 떨어진 위치에 있고 x축으로는 ±i 보다 작은 위치에 해당하는 모든 위치(2-1 : y-i 이고 (x-i < x < x+i)인 모든 위치);
    파문 발생 위치로부터 y축으로 +i많큼 떨어진 위치에 있고 x축으로는 ±i 보다 작은 위치에 해당하는 모든 위치(2-2 : y+i 이고 (x-i < x < x+i)인 모든 위치); 및
    파문 발생 위치로부터 x축으로 ±i 많큼 그리고 y축으로 ±i 많큼 떨어진 곳의 모든 위치(3-1의 위치는 (x-i, y-i), 3-2는 (x+i, y-i), 3-3은 (x-i, y+i), 3-4는 (x+i, y+i)에 해당하는 위치)를 포함하는 것을 특징으로 하는 파문 스캔 장치를 이용한 영상 코딩/디코딩 방법.
  34. 파문 스캔 장치를 이용한 스케일러블 영상 코딩/디코딩 장치에 있어서,
    입력 영상에 대하여 기존과 같은 방법으로 기본계층 코딩을 수행하여 기본계층 비트스트림을 상기 디코딩 장치측으로 전송하기 위한 기본계층 코딩 수단;
    상기 파문 스캔 장치를 이용하여 영상 프레임 내에서 우선적으로 디코딩하여야 할 시각적으로 중요한 특정 영상 부분인 파문 발생 위치부터 강화계층 코딩을 수행하여 강화 비트스트림을 상기 디코딩 장치측으로 전송하기 위한 강화계층 코딩 수단;
    상기 기본계층 코딩 수단으로부터 기본계층 비트스트림을 전달받아 기존과같은 방법으로 기본계층 디코딩을 수행하여 영상을 복원하기 위한 기본계층 디코딩 수단; 및
    상기 강화계층 코딩 수단으로부터 강화 비트스트림을 전달받아 상기 영상 프레임 내에서 우선적으로 디코딩하여야 할 시각적으로 중요한 특정 영상 부분인 파문 발생 위치부터 디코딩을 수행하여 영상을 복원하기 위한 강화계층 디코딩 수단
    을 포함하는 파문 스캔 장치를 이용한 스케일러블 영상 코딩/디코딩 장치.
  35. 제 34 항에 있어서,
    상기 파문 발생 위치는,
    상기 코딩 장치와 상기 디코딩 장치 간에 기 결정되어 있는 것을 특징으로 하는 파문 스캔 장치를 이용한 스케일러블 영상 코딩/디코딩 장치.
  36. 제 35 항에 있어서,
    상기 코딩 장치와 상기 디코딩 장치 간에 기 결정된 파문 발생 위치는,
    상기 영상 프레임의 중앙부인 것을 특징으로 하는 파문 스캔 장치를 이용한 스케일러블 영상 코딩/디코딩 장치.
  37. 제 34 항에 있어서,
    상기 파문 발생 위치는,
    상기 영상 프레임 내에서 우선적으로 디코딩하여야 할 시각적으로 중요한 특정 영상 부분을 파문 발생 위치로 결정하는 것을 특징으로 하는 파문 스캔 장치를 이용한 스케일러블 영상 코딩/디코딩 장치.
  38. 파문 스캔 장치를 이용한 스케일러블 영상 코딩/디코딩 장치에 적용되는 스케일러블 영상 코딩/디코딩 방법에 있어서,
    입력 영상에 대하여 기존과 같은 방법으로 기본계층 코딩을 수행하여 기본계층 비트스트림을 상기 디코딩 장치측으로 전송하는 제 1 단계;
    상기 파문 스캔 장치를 이용하여 영상 프레임 내에서 우선적으로 디코딩하여야 할 시각적으로 중요한 특정 영상 부분인 파문 발생 위치부터 강화계층 코딩을 수행하여 강화 비트스트림을 상기 디코딩 장치측으로 전송하는 제 2 단계;
    상기 기본계층 코딩된 기본계층 비트스트림을 전달받아 기존과 같은 방법으로 기본계층 디코딩을 수행하여 영상을 복원하는 제 3 단계; 및
    상기 강화계층 코딩된 강화 비트스트림을 전달받아 상기 영상 프레임 내에서 우선적으로 디코딩하여야 할 시각적으로 중요한 특정 영상 부분인 파문 발생 위치부터 디코딩을 수행하여 영상을 복원하는 제 4 단계
    를 포함하는 파문 스캔 장치를 이용한 스케일러블 영상 코딩/디코딩 방법.
  39. 제 38 항에 있어서,
    상기 파문 발생 위치는,
    상기 코딩 장치와 상기 디코딩 장치 간에 기 결정되어 있는 것을 특징으로 하는 파문 스캔 장치를 이용한 스케일러블 영상 코딩/디코딩 방법.
  40. 제 39 항에 있어서,
    상기 코딩 장치와 상기 디코딩 장치 간에 기 결정된 파문 발생 위치는,
    상기 영상 프레임의 중앙부인 것을 특징으로 하는 파문 스캔 장치를 이용한 스케일러블 영상 코딩/디코딩 방법.
  41. 제 38 항에 있어서,
    상기 파문 발생 위치는,
    상기 영상 프레임 내에서 우선적으로 디코딩하여야 할 시각적으로 중요한 특정 영상 부분을 파문 발생 위치로 결정하는 것을 특징으로 하는 파문 스캔 장치를 이용한 스케일러블 영상 코딩/디코딩 방법.
  42. 파문 스캔 장치를 이용한 미세입자 스케일러블 영상 코딩/디코딩 장치에 있어서,
    입력 영상에 대하여 기존과 같은 방법으로 기본계층 코딩을 수행하여 기본계층 비트스트림을 상기 디코딩 장치측으로 전송하기 위한 기본계층 코딩 수단;
    상기 파문 스캔 장치를 이용하여 영상 프레임 내에서 우선적으로 디코딩하여야 할 시각적으로 중요한 특정 영상 부분인 파문 발생 위치부터 강화계층 코딩을 수행하여 강화 비트스트림을 상기 디코딩 장치측으로 전송하기 위한 강화계층 코딩 수단;
    상기 기본계층 코딩 수단으로부터 기본계층 비트스트림을 전달받아 기존과 같은 방법으로 기본계층 디코딩을 수행하여 영상을 복원하기 위한 기본계층 디코딩 수단; 및
    상기 강화계층 코딩 수단으로부터 강화 비트스트림을 전달받아 상기 영상 프레임 내에서 우선적으로 디코딩하여야 할 시각적으로 중요한 특정 영상 부분인 파문 발생 위치부터 디코딩을 수행하여 영상을 복원하기 위한 강화계층 디코딩 수단
    을 포함하는 파문 스캔 장치를 이용한 미세입자 스케일러블 영상 코딩/디코딩 장치.
  43. 제 42 항에 있어서,
    상기 강화계층 코딩 수단은,
    상기 파문 스캔 장치를 이용하여 영상 프레임 내에서 우선적으로 디코딩하여야 할 시각적으로 중요한 특정 영상 부분인 파문 발생 위치부터 파문 스캔을 수행하여 파문 위치를 결정하고, 상기 파문 위치 결정과 동시에 각 비트플레인별로 비트플레인 가변장 부호화(Bit-plane VLC)를 수행하는 것을 특징으로 하는 파문 스캔 장치를 이용한 미세입자 스케일러블 영상 코딩/디코딩 장치.
  44. 제 42 항에 있어서,
    상기 강화계층 디코딩 수단은,
    상기 파문 스캔 장치를 이용하여 영상 프레임 내에서 우선적으로 디코딩하여야 할 시각적으로 중요한 특정 영상 부분인 파문 발생 위치부터 파문 스캔을 수행하여 파문 위치를 결정하고, 상기 파문 위치 결정과 동시에 각 비트플레인별로 비트플레인 가변장 복호화(Bit-plane VLD)를 수행하는 것을 특징으로 하는 파문 스캔 장치를 이용한 미세입자 스케일러블 영상 코딩/디코딩 장치.
  45. 제 42 항에 있어서,
    상기 강화계층 코딩 수단은,
    상기 파문 스캔 장치를 이용하여 영상 프레임 내에서 우선적으로 디코딩하여야 할 시각적으로 중요한 특정 영상 부분인 파문 발생 위치부터 파문 스캔을 수행하여 파문 위치를 결정한 후에, 상기 파문 발생 순서에 따라 각 비트플레인별로 비트플레인 가변장 부호화(Bit-plane VLC)를 수행하는 것을 특징으로 하는 파문 스캔 장치를 이용한 미세입자 스케일러블 영상 코딩/디코딩 장치.
  46. 제 42 항에 있어서,
    상기 강화계층 디코딩 수단은,
    각 비트플레인별로 비트플레인 가변장 복호화(Bit-plane VLD)를 수행하여 영상을 재생한 후에, 상기 재생 영상에 대하여 상기 파문 스캔 장치를 이용하여 영상 프레임 내에서 우선적으로 디코딩하여야 할 시각적으로 중요한 특정 영상 부분인 파문 발생 위치부터 파문 스캔을 수행하여 파문 위치를 결정하는 것을 특징으로 하는 파문 스캔 장치를 이용한 미세입자 스케일러블 영상 코딩/디코딩 장치.
  47. 제 42 항 내지 제 46 항 중 어느 한 항에 있어서,
    상기 파문 발생 위치는,
    상기 코딩 장치와 상기 디코딩 장치 간에 기 결정되어 있는 것을 특징으로 하는 파문 스캔 장치를 이용한 미세입자 스케일러블 영상 코딩/디코딩 장치.
  48. 제 47 항에 있어서,
    상기 코딩 장치와 상기 디코딩 장치 간에 기 결정된 파문 발생 위치는,
    상기 영상 프레임의 중앙부인 것을 특징으로 하는 파문 스캔 장치를 이용한 미세입자 스케일러블 영상 코딩/디코딩 장치.
  49. 제 42 항 내지 제 46 항 중 어느 한 항에 있어서,
    상기 파문 발생 위치는,
    상기 영상 프레임 내에서 우선적으로 디코딩하여야 할 시각적으로 중요한 특정 영상 부분을 파문 발생 위치로 결정하는 것을 특징으로 하는 파문 스캔 장치를 이용한 미세입자 스케일러블 영상 코딩/디코딩 장치.
  50. 제 42 항 내지 제 46 항 중 어느 한 항에 있어서,
    상기 파문 스캔 장치는,
    매크로 블록 단위로 데이터를 처리하는 것을 특징으로 하는 파문 스캔 장치를 이용한 미세입자 스케일러블 영상 코딩/디코딩 장치.
  51. 제 42 항 내지 제 46 항 중 어느 한 항에 있어서,
    상기 파문 스캔 장치는,
    블록 단위로 데이터를 처리하는 것을 특징으로 하는 파문 스캔 장치를 이용한 미세입자 스케일러블 영상 코딩/디코딩 장치.
  52. 제 42 항 내지 제 46 항 중 어느 한 항에 있어서,
    상기 파문 스캔 장치는,
    픽셀 단위로 데이터를 처리하는 것을 특징으로 하는 파문 스캔 장치를 이용한 미세입자 스케일러블 영상 코딩/디코딩 장치.
  53. 파문 스캔 장치를 이용한 미세입자 스케일러블 영상 코딩/디코딩 장치에 적용되는 미세입자 스케일러블 영상 코딩/디코딩 방법에 있어서,
    입력 영상에 대하여 기존과 같은 방법으로 기본계층 코딩을 수행하여 기본계층 비트스트림을 상기 디코딩 장치측으로 전송하는 제 1 단계;
    상기 파문 스캔 장치를 이용하여 영상 프레임 내에서 우선적으로 디코딩하여야 할 시각적으로 중요한 특정 영상 부분인 파문 발생 위치부터 강화계층 코딩을 수행하여 강화 비트스트림을 상기 디코딩 장치측으로 전송하는 제 2 단계;
    상기 기본계층 코딩된 기본계층 비트스트림을 전달받아 기존과 같은 방법으로 기본계층 디코딩을 수행하여 영상을 복원하는 제 3 단계; 및
    상기 강화계층 코딩된 강화 비트스트림을 전달받아 상기 영상 프레임 내에서 우선적으로 디코딩하여야 할 시각적으로 중요한 특정 영상 부분인 파문 발생 위치부터 디코딩을 수행하여 영상을 복원하는 제 4 단계
    를 포함하는 파문 스캔 장치를 이용한 미세입자 스케일러블 영상 코딩/디코딩 방법.
  54. 제 53 항에 있어서,
    상기 강화계층 코딩 과정은,
    상기 파문 스캔 장치를 이용하여 영상 프레임 내에서 우선적으로 디코딩하여야 할 시각적으로 중요한 특정 영상 부분인 파문 발생 위치부터 파문 스캔을 수행하여 파문 위치를 결정하고, 상기 파문 위치 결정과 동시에 각 비트플레인별로 비트플레인 가변장 부호화(Bit-plane VLC)를 수행하는 것을 특징으로 하는 파문 스캔 장치를 이용한 미세입자 스케일러블 영상 코딩/디코딩 방법.
  55. 제 53 항에 있어서,
    상기 강화계층 디코딩 과정은,
    상기 파문 스캔 장치를 이용하여 영상 프레임 내에서 우선적으로 디코딩하여야 할 시각적으로 중요한 특정 영상 부분인 파문 발생 위치부터 파문 스캔을 수행하여 파문 위치를 결정하고, 상기 파문 위치 결정과 동시에 각 비트플레인별로 비트플레인 가변장 복호화(Bit-plane VLD)를 수행하는 것을 특징으로 하는 파문 스캔 장치를 이용한 미세입자 스케일러블 영상 코딩/디코딩 방법.
  56. 제 53 항에 있어서,
    상기 강화계층 코딩 과정은,
    상기 파문 스캔 장치를 이용하여 영상 프레임 내에서 우선적으로 디코딩하여야 할 시각적으로 중요한 특정 영상 부분인 파문 발생 위치부터 파문 스캔을 수행하여 파문 위치를 결정한 후에, 상기 파문 발생 순서에 따라 각 비트플레인별로 비트플레인 가변장 부호화(Bit-plane VLC)를 수행하는 것을 특징으로 하는 파문 스캔 장치를 이용한 미세입자 스케일러블 영상 코딩/디코딩 방법.
  57. 제 53 항에 있어서,
    상기 강화계층 디코딩 과정은,
    각 비트플레인별로 비트플레인 가변장 복호화(Bit-plane VLD)를 수행하여 영상을 재생한 후에, 상기 재생 영상에 대하여 상기 파문 스캔 장치를 이용하여 영상 프레임 내에서 우선적으로 디코딩하여야 할 시각적으로 중요한 특정 영상 부분인 파문 발생 위치부터 파문 스캔을 수행하여 파문 위치를 결정하는 것을 특징으로 하는 파문 스캔 장치를 이용한 미세입자 스케일러블 영상 코딩/디코딩 방법.
  58. 제 53 항 내지 제 57 항 중 어느 한 항에 있어서,
    상기 파문 발생 위치는,
    상기 코딩 장치와 상기 디코딩 장치 간에 기 결정되어 있는 것을 특징으로 하는 파문 스캔 장치를 이용한 미세입자 스케일러블 영상 코딩/디코딩 방법.
  59. 제 58 항에 있어서,
    상기 코딩 장치와 상기 디코딩 장치 간에 기 결정된 파문 발생 위치는,
    상기 영상 프레임의 중앙부인 것을 특징으로 하는 파문 스캔 장치를 이용한 미세입자 스케일러블 영상 코딩/디코딩 방법.
  60. 제 53 항 내지 제 57 항 중 어느 한 항에 있어서,
    상기 파문 발생 위치는,
    상기 영상 프레임 내에서 우선적으로 디코딩하여야 할 시각적으로 중요한 특정 영상 부분을 파문 발생 위치로 결정하는 것을 특징으로 하는 파문 스캔 장치를 이용한 미세입자 스케일러블 영상 코딩/디코딩 방법.
  61. 제 53 항 내지 제 57 항 중 어느 한 항에 있어서,
    상기 파문 스캔 장치는,
    매크로 블록 단위로 데이터를 처리하는 것을 특징으로 하는 파문 스캔 장치를 이용한 미세입자 스케일러블 영상 코딩/디코딩 방법.
  62. 제 53 항 내지 제 57 항 중 어느 한 항에 있어서,
    상기 파문 스캔 장치는,
    블록 단위로 데이터를 처리하는 것을 특징으로 하는 파문 스캔 장치를 이용한 미세입자 스케일러블 영상 코딩/디코딩 방법.
  63. 제 53 항 내지 제 57 항 중 어느 한 항에 있어서,
    상기 파문 스캔 장치는,
    픽셀 단위로 데이터를 처리하는 것을 특징으로 하는 파문 스캔 장치를 이용한 미세입자 스케일러블 영상 코딩/디코딩 방법.
  64. 프로세서를 구비한 파문 스캔 장치에,
    우선적으로 파문 스캔을 수행하여야 할 시각적으로 중요한 특정 영상 부분인 파문 발생 위치(파문(0))부터 파문 스캔을 시작하는 제 1 기능;
    상기 파문 발생 위치에 사각형 모양의 링을 둘러싸는 형태로 다음 파문 스캔 위치(파문(1))를 결정하여 파문 스캔을 수행하는 제 2 기능; 및
    사각형 모양의 링을 그 전에 처리한 사각형 모양의 링에 둘러싸는 형태로 다음 파문 스캔 위치(파문(i))를 결정하여 파문 스캔을 수행하는 과정을 모든 데이터에 대하여 수행하는 제 3 기능
    을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  65. 프로세서를 구비한 파문 스캔 장치에,
    영상 프레임 내에서 우선적으로 코딩하여 전송하여야 할 시각적으로 중요한 특정 영상 부분인 파문 발생 위치의 데이터부터 코딩을 수행하는 제 1 기능;
    모든 데이터에 대하여 코딩을 수행하였는지를 판단하는 제 2 기능; 및
    상기 제 2 기능에서의 판단 결과, 모든 데이터를 코딩하였으면 종료하고 아니면 다음 파문 위치를 결정하여 해당 위치의 데이터를 코딩하는 과정을 모든 데이터에 대하여 반복 수행하는 제 3 기능
    을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  66. 프로세서를 구비한 파문 스캔 장치에,
    영상 프레임 내에서 우선적으로 디코딩하여야 할 시각적으로 중요한 특정 영상 부분인 파문 발생 위치의 데이터부터 디코딩을 수행하는 제 1 기능;
    모든 데이터에 대하여 디코딩을 수행하였는지를 판단하는 제 2 기능; 및
    상기 제 2 기능에서의 판단 결과, 모든 데이터를 디코딩하였으면 종료하고 아니면 다음 파문 위치를 결정하여 해당 위치의 데이터를 디코딩하는 과정을 모든 데이터에 대하여 반복 수행하는 제 3 기능
    을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  67. 제 64 항 내지 제 66 항 중 어느 한 항에 있어서,
    상기 파문 발생 위치(파문(0))를 결정하는 제 4 기능
    을 더 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  68. 프로세서를 구비한 영상 코딩/디코딩 장치에,
    상기 파문 스캔 장치를 이용하여 영상 프레임 내에서 우선적으로 디코딩하여야 할 시각적으로 중요한 특정 영상 부분인 파문 발생 위치부터 시작하여 모든 데이터에 대하여 순차적으로 파문을 발생시키는 제 1 기능;
    상기 제 1 기능에서 발생된 파문 위치에 따른 데이터를 순차적으로 코딩하여상기 디코딩 장치측으로 전달하는 제 2 기능;
    상기 제 1 기능에서 발생된 파문 위치에 따라, 상기 영상 프레임 내에서 우선적으로 디코딩하여야 할 시각적으로 중요한 특정 영상 부분인 파문 발생 위치부터 시작하여 수신된 데이터에 대하여 순차적으로 파문을 발생시키는 제 3 기능; 및
    상기 제 3 기능에서 발생된 파문 위치의 수신 데이터를 순차적으로 디코딩하는 제 4 기능
    을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  69. 제 68 항에 있어서,
    상기 영상 프레임 내에서 우선적으로 디코딩하여야 할 시각적으로 중요한 특정 영상 부분을 파문 발생 위치로 결정하여 상기 디코딩 장치측으로 전달하는 제 5 기능; 및
    상기 코딩 장치측으로부터 전송받은 파문 발생 위치에 따라 상기 영상 프레임 내의 파문 발생 위치를 결정하는 제 6 기능
    을 더 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  70. 프로세서를 구비한 스케일러블 영상 코딩/디코딩 장치에,
    입력 영상에 대하여 기존과 같은 방법으로 기본계층 코딩을 수행하여 기본계층 비트스트림을 상기 디코딩 장치측으로 전송하는 제 1 기능;
    상기 파문 스캔 장치를 이용하여 영상 프레임 내에서 우선적으로 디코딩하여야 할 시각적으로 중요한 특정 영상 부분인 파문 발생 위치부터 강화계층 코딩을 수행하여 강화 비트스트림을 상기 디코딩 장치측으로 전송하는 제 2 기능;
    상기 기본계층 코딩된 기본계층 비트스트림을 전달받아 기존과 같은 방법으로 기본계층 디코딩을 수행하여 영상을 복원하는 제 3 기능; 및
    상기 강화계층 코딩된 강화 비트스트림을 전달받아 상기 영상 프레임 내에서 우선적으로 디코딩하여야 할 시각적으로 중요한 특정 영상 부분인 파문 발생 위치부터 디코딩을 수행하여 영상을 복원하는 제 4 기능
    을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  71. 프로세서를 구비한 미세입자 스케일러블 영상 코딩/디코딩 장치에,
    입력 영상에 대하여 기존과 같은 방법으로 기본계층 코딩을 수행하여 기본계층 비트스트림을 상기 디코딩 장치측으로 전송하는 제 1 기능;
    상기 파문 스캔 장치를 이용하여 영상 프레임 내에서 우선적으로 디코딩하여야 할 시각적으로 중요한 특정 영상 부분인 파문 발생 위치부터 강화계층 코딩을 수행하여 강화 비트스트림을 상기 디코딩 장치측으로 전송하는 제 2 기능;
    상기 기본계층 코딩된 기본계층 비트스트림을 전달받아 기존과 같은 방법으로 기본계층 디코딩을 수행하여 영상을 복원하는 제 3 기능; 및
    상기 강화계층 코딩된 강화 비트스트림을 전달받아 상기 영상 프레임 내에서 우선적으로 디코딩하여야 할 시각적으로 중요한 특정 영상 부분인 파문 발생 위치부터 디코딩을 수행하여 영상을 복원하는 제 4 기능
    을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020000083366A 2000-07-07 2000-12-27 파문 스캔 장치 및 그 방법과 그를 이용한 영상코딩/디코딩 장치 및 그 방법 KR100353851B1 (ko)

Priority Applications (25)

Application Number Priority Date Filing Date Title
KR1020000083366A KR100353851B1 (ko) 2000-07-07 2000-12-27 파문 스캔 장치 및 그 방법과 그를 이용한 영상코딩/디코딩 장치 및 그 방법
CA2854524A CA2854524C (en) 2000-07-07 2001-07-07 Water ring scanning apparatus and method, and apparatus and method for encoding/decoding video sequences using the same
EP20080006227 EP1991006A3 (en) 2000-07-07 2001-07-07 Water ring scanning apparatus and method, and apparatus and method for encoding/decoding video sequences using the same
CN01814313XA CN100407794C (zh) 2000-07-07 2001-07-07 水环扫描设备和方法、和用它们编码/解码图像的设备和方法
PT01948100T PT1300025E (pt) 2000-07-07 2001-07-07 Aparelho e método de varrimento de anel de água, e aparelho e método para codificar / descodificar sequências de vídeo usando o mesmo
CA2414362A CA2414362C (en) 2000-07-07 2001-07-07 Water ring scanning apparatus and method, and apparatus and method for encoding/decoding video sequences using the same
JP2002508844A JP2004503154A (ja) 2000-07-07 2001-07-07 波紋スキャン装置及びその方法並びにそれを用いた画像コーディング／デコーディング装置及びその方法
CNB2004100897085A CN1312935C (zh) 2000-07-07 2001-07-07 利用水环扫描设备编码/解码视频序列的设备和方法
EP20080006226 EP1971148A3 (en) 2000-07-07 2001-07-07 Water ring scanning apparatus and method, and apparatus and method for encoding/decoding video sequences using the same
PCT/KR2001/001168 WO2002005564A1 (en) 2000-07-07 2001-07-07 Water ring scanning apparatus and method, and apparatus and method for encoding/decoding video sequences using the same
CA2848591A CA2848591C (en) 2000-07-07 2001-07-07 Water ring scanning apparatus and method, and apparatus and method for encoding/decoding video sequences using the same
US10/332,205 US7388916B2 (en) 2000-07-07 2001-07-07 Water ring scanning apparatus and method, and apparatus and method for encoding/decoding video sequences using the same
CNA2006101637648A CN1984337A (zh) 2000-07-07 2001-07-07 一种利用水环扫描设备的可伸缩图像编码/解码设备
DK01948100T DK1300025T3 (da) 2000-07-07 2001-07-07 Vandringsscanningsapparat og fremgangsmåde, og apparat og fremgangsmåde til kodning/afkodning af videosekvenser ved brug af det samme
AU2001269582A AU2001269582A1 (en) 2000-07-07 2001-07-07 Water ring scanning apparatus and method, and apparatus and method for encoding/decoding video sequences using the same
ES01948100T ES2459417T3 (es) 2000-07-07 2001-07-07 Aparato y método de exploración en anillos de agua, y aparato y método para codificar/decodificar secuencias de vídeo usando los mismos
EP01948100.1A EP1300025B1 (en) 2000-07-07 2001-07-07 Water ring scanning apparatus and method, and apparatus and method for encoding/decoding video sequences using the same
US11/623,163 US8184719B2 (en) 2000-07-07 2007-01-15 Water ring decoding method
US11/623,139 US8036275B2 (en) 2000-07-07 2007-01-15 Water ring scanning method
US11/623,157 US8406310B2 (en) 2000-07-07 2007-01-15 Water ring encoding method
US11/623,131 US7881388B2 (en) 2000-07-07 2007-01-15 Water ring scanning apparatus
US11/623,143 US8184717B2 (en) 2000-07-07 2007-01-15 Water ring encoding apparatus
US11/623,159 US8184718B2 (en) 2000-07-07 2007-01-15 Water ring decoding apparatus
US11/741,919 US8036276B2 (en) 2000-07-07 2007-04-30 Water ring scanning apparatus and method, and apparatus and method for encoding/decoding video sequences using the same
JP2007262719A JP4988498B2 (ja) 2000-07-07 2007-10-05 波紋スキャン装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR20000038962 2000-07-07
KR1020000038962 2000-07-07
KR1020000083366A KR100353851B1 (ko) 2000-07-07 2000-12-27 파문 스캔 장치 및 그 방법과 그를 이용한 영상코딩/디코딩 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20020005365A KR20020005365A (ko) 2002-01-17
KR100353851B1 true KR100353851B1 (ko) 2002-09-28

Family

ID=26638195

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020000083366A KR100353851B1 (ko) 2000-07-07 2000-12-27 파문 스캔 장치 및 그 방법과 그를 이용한 영상코딩/디코딩 장치 및 그 방법

Country Status (11)

Country Link
US (8) US7388916B2 (ko)
EP (3) EP1991006A3 (ko)
JP (2) JP2004503154A (ko)
KR (1) KR100353851B1 (ko)
CN (3) CN1984337A (ko)
AU (1) AU2001269582A1 (ko)
CA (3) CA2414362C (ko)
DK (1) DK1300025T3 (ko)
ES (1) ES2459417T3 (ko)
PT (1) PT1300025E (ko)
WO (1) WO2002005564A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7092576B2 (en) 2003-09-07 2006-08-15 Microsoft Corporation Bitplane coding for macroblock field/frame coding type information
US7099515B2 (en) 2003-09-07 2006-08-29 Microsoft Corporation Bitplane coding and decoding for AC prediction status information
KR100987764B1 (ko) * 2003-09-04 2010-10-13 경희대학교 산학협력단 영상 데이터의 예측 부호화를 위한 참조 데이터 유닛 결정방법 및 그 장치

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100388820B1 (ko) * 2001-05-16 2003-06-25 주식회사 넷앤티비 미세입자 스케일러블 코딩의 적응적 선택 강화 적용 방법
KR100603592B1 (ko) 2001-11-26 2006-07-24 학교법인 고황재단 영상 화질 향상 인자를 이용한 지능형 파문 스캔 장치 및 그 방법과 그를 이용한 영상 코딩/디코딩 장치 및 그 방법
WO2003053066A1 (en) 2001-12-17 2003-06-26 Microsoft Corporation Skip macroblock coding
US7003035B2 (en) 2002-01-25 2006-02-21 Microsoft Corporation Video coding methods and apparatuses
US20030156637A1 (en) * 2002-02-15 2003-08-21 Koninklijke Philips Electronics N.V. Memory-bandwidth efficient FGS encoder
US20040001546A1 (en) 2002-06-03 2004-01-01 Alexandros Tourapis Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation
US7154952B2 (en) 2002-07-19 2006-12-26 Microsoft Corporation Timestamp-independent motion vector prediction for predictive (P) and bidirectionally predictive (B) pictures
US7657111B2 (en) 2003-02-14 2010-02-02 Fujifilm Corporation Apparatus and program for image processing for obtaining processed compressed moving image data
US7738554B2 (en) 2003-07-18 2010-06-15 Microsoft Corporation DC coefficient signaling at small quantization step sizes
US10554985B2 (en) 2003-07-18 2020-02-04 Microsoft Technology Licensing, Llc DC coefficient signaling at small quantization step sizes
KR101106910B1 (ko) * 2004-02-17 2012-01-25 엔엑스피 비 브이 큰 스틸 사진 처리 방법 및 디바이스와 컴퓨터 판독가능 저장 매체
KR20050112445A (ko) * 2004-05-25 2005-11-30 경희대학교 산학협력단 예측 부호화/복호화 장치, 예측 부호화/복호화 방법 및 그방법을 수행하는 프로그램이 기록된 컴퓨터 판독가능한기록매체
KR20050114751A (ko) * 2004-06-01 2005-12-06 경희대학교 산학협력단 예측 부호화/복호화 장치 및 예측 부호화/복호화 방법
KR100982518B1 (ko) * 2004-06-11 2010-09-16 삼성전자주식회사 영상 데이터 유닛의 ｄｃ 계수 예측 방법 및 그 장치
EP1607858A1 (en) * 2004-06-16 2005-12-21 Koninklijke Philips Electronics N.V. Bit-plane extraction operation
DE102004041664A1 (de) * 2004-08-27 2006-03-09 Siemens Ag Verfahren zum Codieren und Decodieren, sowie Codier- und Decodiervorrichtung zur Videocodierung
US20070014346A1 (en) * 2005-07-13 2007-01-18 Nokia Corporation Coding dependency indication in scalable video coding
KR100775788B1 (ko) * 2005-07-15 2007-11-13 경희대학교 산학협력단 화질 향상을 위한 사이클릭 미세입자 스케일러빌리티기반에서 플렉서블 매크로 블록 오더링에 의한 코딩방법 및 그 방법을 기록한 기록매체
US8279918B2 (en) * 2005-07-15 2012-10-02 Utc Fire & Security Americas Corporation, Inc. Method and apparatus for motion compensated temporal filtering using residual signal clipping
US9077960B2 (en) 2005-08-12 2015-07-07 Microsoft Corporation Non-zero coefficient block pattern coding
EP1952638B1 (en) * 2005-10-12 2020-05-13 InterDigital VC Holdings, Inc. Region of interest h.264 scalable video coding
FR2893806A1 (fr) 2005-11-21 2007-05-25 Thomson Licensing Sas Systeme de transmission d'images de dynamique elevee, unites et procedes de codage et de decodage pour ce systeme
JP5484902B2 (ja) * 2006-07-13 2014-05-07 クゥアルコム・インコーポレイテッド サイクルを整列したフラグメントを使用する微細粒度スケーラビリティを備えた映像符号化
US8254455B2 (en) 2007-06-30 2012-08-28 Microsoft Corporation Computing collocated macroblock information for direct mode macroblocks
KR20090097015A (ko) 2008-03-10 2009-09-15 삼성전자주식회사 스케일러블 영상 부호화장치 및 스케일러블 영상복호화장치
WO2011083666A1 (ja) * 2010-01-08 2011-07-14 シャープ株式会社 符号化装置、復号装置、および、データ構造
CN102291533B (zh) * 2011-06-22 2014-01-08 李泉 视频采集方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0475724A1 (en) * 1990-09-14 1992-03-18 Crosfield Electronics Limited Methods and apparatus for defining contours in coloured images
JPH06105168A (ja) * 1992-03-25 1994-04-15 Nec Corp イメージデータの処理方式
JPH07264595A (ja) * 1994-02-23 1995-10-13 Robert Bosch Gmbh 画像のソース符号化方法
JPH10210468A (ja) * 1996-09-18 1998-08-07 Sharp Corp 頂点群をデータベースとする階層的形状表現及び符号化方法並びに装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS52143712A (en) 1976-05-26 1977-11-30 Oki Electric Ind Co Ltd Tv static picture transmission system
JPH0256187A (ja) 1988-08-22 1990-02-26 Matsushita Electric Ind Co Ltd 動画像符号化装置
DE69225621T2 (de) 1991-01-17 1998-11-12 Mitsubishi Electric Corp Vorrichtung zur Kodierung eines Videosignals
JPH0548914A (ja) 1991-08-08 1993-02-26 Sanyo Electric Co Ltd 画像データ符号化装置
JPH0583567A (ja) 1991-09-24 1993-04-02 N T T Data Tsushin Kk 画像符号化装置
US5402146A (en) * 1992-10-23 1995-03-28 International Business Machines Corporation System and method for video compression with artifact dispersion control
JPH08294119A (ja) * 1995-04-21 1996-11-05 Toshiba Corp 画像符号化／復号化装置
JPH09182073A (ja) 1995-03-15 1997-07-11 Toshiba Corp 動画像符号化装置および復号装置
DE69629442T2 (de) * 1995-12-06 2004-06-09 Harman Becker Automotive Systems (Xsys Division) Gmbh Verfahren und Einrichtung zur Kodierung digitaler Videosignale
US6957350B1 (en) * 1996-01-30 2005-10-18 Dolby Laboratories Licensing Corporation Encrypted and watermarked temporal and resolution layering in advanced television
US6011872A (en) 1996-11-08 2000-01-04 Sharp Laboratories Of America, Inc. Method of generalized content-scalable shape representation and coding
JPH10215454A (ja) 1997-01-30 1998-08-11 Pioneer Electron Corp 符号化装置及び符号化方法
JP3213582B2 (ja) 1997-05-29 2001-10-02 シャープ株式会社 画像符号化装置及び画像復号装置
KR100476386B1 (ko) * 1997-07-02 2005-07-21 주식회사 팬택앤큐리텔 신축형대상물영상의스캔인터리빙방법및이를이용한mpeg-4의신축형모양정보부호화방법
US6501861B1 (en) * 1998-09-17 2002-12-31 Samsung Electronics Co., Ltd. Scalable coding/decoding methods and apparatus for producing still image using wavelet transformation
US6256423B1 (en) * 1998-09-18 2001-07-03 Sarnoff Corporation Intra-frame quantizer selection for video compression
US7020195B1 (en) * 1999-12-10 2006-03-28 Microsoft Corporation Layered coding and decoding of image data
US6493387B1 (en) * 2000-04-10 2002-12-10 Samsung Electronics Co., Ltd. Moving picture coding/decoding method and apparatus having spatially scalable architecture and signal-to-noise ratio scalable architecture together
US6973128B2 (en) * 2003-02-21 2005-12-06 Mitsubishi Electric Research Labs, Inc. Multi-path transmission of fine-granular scalability video streams

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0475724A1 (en) * 1990-09-14 1992-03-18 Crosfield Electronics Limited Methods and apparatus for defining contours in coloured images
JPH06105168A (ja) * 1992-03-25 1994-04-15 Nec Corp イメージデータの処理方式
JPH07264595A (ja) * 1994-02-23 1995-10-13 Robert Bosch Gmbh 画像のソース符号化方法
JPH10210468A (ja) * 1996-09-18 1998-08-07 Sharp Corp 頂点群をデータベースとする階層的形状表現及び符号化方法並びに装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100987764B1 (ko) * 2003-09-04 2010-10-13 경희대학교 산학협력단 영상 데이터의 예측 부호화를 위한 참조 데이터 유닛 결정방법 및 그 장치
US7092576B2 (en) 2003-09-07 2006-08-15 Microsoft Corporation Bitplane coding for macroblock field/frame coding type information
US7099515B2 (en) 2003-09-07 2006-08-29 Microsoft Corporation Bitplane coding and decoding for AC prediction status information

Also Published As

Publication number Publication date
US20070116121A1 (en) 2007-05-24
US8184718B2 (en) 2012-05-22
EP1991006A2 (en) 2008-11-12
US20040062444A1 (en) 2004-04-01
CA2414362A1 (en) 2002-01-17
CA2848591C (en) 2017-02-07
US8036275B2 (en) 2011-10-11
EP1991006A3 (en) 2011-11-09
DK1300025T3 (da) 2014-02-17
EP1971148A2 (en) 2008-09-17
US20070110165A1 (en) 2007-05-17
US7881388B2 (en) 2011-02-01
EP1300025A1 (en) 2003-04-09
US20070121732A1 (en) 2007-05-31
US7388916B2 (en) 2008-06-17
CN1312935C (zh) 2007-04-25
EP1300025B1 (en) 2014-01-29
AU2001269582A1 (en) 2002-01-21
EP1300025A4 (en) 2008-12-03
US20070116120A1 (en) 2007-05-24
KR20020005365A (ko) 2002-01-17
CA2854524A1 (en) 2014-06-17
US20080025405A1 (en) 2008-01-31
EP1971148A3 (en) 2011-11-09
JP4988498B2 (ja) 2012-08-01
US8406310B2 (en) 2013-03-26
US8184717B2 (en) 2012-05-22
CA2414362C (en) 2015-09-22
CN1448028A (zh) 2003-10-08
JP2004503154A (ja) 2004-01-29
ES2459417T3 (es) 2014-05-09
US8184719B2 (en) 2012-05-22
CN100407794C (zh) 2008-07-30
CA2848591A1 (en) 2002-01-17
US20070201561A1 (en) 2007-08-30
CN1638482A (zh) 2005-07-13
JP2008072734A (ja) 2008-03-27
US8036276B2 (en) 2011-10-11
US20070116127A1 (en) 2007-05-24
WO2002005564A1 (en) 2002-01-17
PT1300025E (pt) 2014-04-04
CN1984337A (zh) 2007-06-20
CA2854524C (en) 2015-09-22

Similar Documents

Publication Publication Date Title
KR100353851B1 (ko) 파문 스캔 장치 및 그 방법과 그를 이용한 영상코딩/디코딩 장치 및 그 방법
US20080212689A1 (en) Intelligent water ring scan apparatus and method based on quality factor, and video encoding/decoding apparatus and method using the same
Naman et al. JPEG2000-based scalable interactive video (JSIV)
KR100491445B1 (ko) Ｍｐｅｇ-4 ｆｇｓ 비디오를 위한 사각영역 기반형의선택적 향상기법에 의한 부호화/복호화 방법 및 장치
JP2005510979A6 (ja) 画像画質向上因子を利用した知能型波紋スキャン装置及びその方法と、それを利用した画像符号化／復号化装置及びその方法
Cheong et al. A new scanning method for h. 264 based fine granular scalable video coding
Park et al. Adaptive scanning method for fine granularity scalable video coding

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120831

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20130829

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20140827

Year of fee payment: 13

FPAY Annual fee payment

Payment date: 20150827

Year of fee payment: 14

FPAY Annual fee payment

Payment date: 20160826

Year of fee payment: 15

FPAY Annual fee payment

Payment date: 20170828

Year of fee payment: 16

FPAY Annual fee payment

Payment date: 20180823

Year of fee payment: 17

FPAY Annual fee payment

Payment date: 20190826

Year of fee payment: 18