KR100318060B1 - 디지탈화상보전방법,화상처리장치및데이터기록매체 - Google Patents

디지탈화상보전방법,화상처리장치및데이터기록매체 Download PDF

Info

Publication number
KR100318060B1
KR100318060B1 KR1019980707818A KR19980707818A KR100318060B1 KR 100318060 B1 KR100318060 B1 KR 100318060B1 KR 1019980707818 A KR1019980707818 A KR 1019980707818A KR 19980707818 A KR19980707818 A KR 19980707818A KR 100318060 B1 KR100318060 B1 KR 100318060B1
Authority
KR
South Korea
Prior art keywords
image
pixel
signal
preservation
space
Prior art date
Application number
KR1019980707818A
Other languages
English (en)
Other versions
KR20000064833A (ko
Inventor
충 셍 분
Original Assignee
모리시타 요이찌
마쯔시다덴기산교 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 모리시타 요이찌, 마쯔시다덴기산교 가부시키가이샤 filed Critical 모리시타 요이찌
Publication of KR20000064833A publication Critical patent/KR20000064833A/ko
Application granted granted Critical
Publication of KR100318060B1 publication Critical patent/KR100318060B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/112—Selection of coding mode or of prediction mode according to a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/16—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter for a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Image Processing (AREA)

Abstract

본 발명에 관한 디지털 화상 보전 방법은, 도 2에 도시하는 바와 같이 입력되는 디지털 화상 신호에 대응하는 원화상 공간(301)에 있어서의 화소를 수평 방향으로 1 화소 간격으로 또한 수직 방향으로 1 화소행 간격으로 추출한 후, 해당 추출한 복수의 화소를 재배열하여 4개의 소화상 공간(401∼404)을 형성하고, 이들 소화상 공간에 대하여 화소값의 보전 처리를 실시하도록 한 것이다.
이러한 구성의 디지털 화상 보전 방법에서는, 화소값의 보전 처리가, 인접하는 주사선 사이에서의 화소값 상관이 낮은 원화상 공간이 아니라, 인접하는 주사선 사이에서의 화소값 상관이 높은 복수의 소화상 공간에 대하여 실시되게 된다. 즉, 보전 처리가 실시된 소화상 공간은, 상기 화소값 상관이 높은 것으로 되어 있다. 이 때문에, 예를 들어, 물체의 움직임이 큰 비월 화상에 보전 처리에 의해, 해당 비월 화상에 대응하는 디지털 화상 신호에 고주파 성분이 도입되는 것을 막을 수 있으며, 나아가서는, 비월 화상 등에 대한 차분 부호화 처리 혹은 차분 복호화 처리를, 보전 처리에 기인하는 부호화 효율의 저하를 억제하면서, 높은 부호화 효율로 실행할 수 있는 효과가 있다.

Description

디지털 화상 보전 방법, 화상 처리 장치 및 데이터 기록 매체{DIGITAL IMAGE REPLENISHMENT METHOD, IMAGE PROCESSING DEVICE AND DATA RECORDING MEDIUM}
디지털 화상 정보를 효율적으로 축적 또는 전송하기 위해서는, 디지털 화상 정보를 압축 부호화할 필요가 있으며, 현 상태에서는, 디지털 화상 정보를 압축 부호화하기 위한 방법으로서, JPEG(Joint Photographic Coding Experts Group)이나 MPEG(Moving Picture Experts Group)으로 대표되는 이산 코사인 변환(DCT:Discrete Cosine Transform) 외에, 서브 밴드, 웨이블릿, 프랙탈 등의 파형 부호화 방법이 있다.
또한, 인접하는 프레임 등의 화면에 있어서의 용장의 화상 정보를 제거하는 방법으로서는, 움직임 보상을 이용한 화면간 예측을 실행하여, 즉 현 화면을 구성하는 화소의 화소값을, 이것과 이전 화면을 구성하는 화소의 화소값의 차분값을 이용하여 나타내어, 이 차분값으로 이루어지는 차분 화상 신호를 파형 부호화하는 방법이 있다.
현행 텔레비젼의 영상 신호와 같은 비월(interlace) 주사에 의해 얻어지는 화상 신호는, 비월 화상을 형성한다. 이 비월 화상에서는, 1 프레임(1 화면)이 주사 타이밍이 서로 다른 기수 필드와 우수 필드로 이루어지며, 이 때문에 비월 화상에서는, 화면 상에 표시되는 개개의 물체(즉 1 화면의 화상을 구성하는 임의 형상을 갖는 개개의 화상)의 움직임의 크기에 따라서, 인접하는 주사선 사이에서의 화소값 상관이 커지는 경우와, 이것이 작아지는 경우가 있다.
그래서, 이러한 비월 화상에 대응하는 화상 신호의 부호화 처리에서는, 주사선 사이에서의 화소값 상관이 큰 경우에는, 해당 화상 신호에 대하여 프레임 단위로 움직임 보상 처리 및 파형 부호화 처리를 실시하는 한편, 주사선 사이에서의 화소값 상관이 작은 경우에는, 해당 화상 신호를 기수 필드와 우수 필드로 나눠, 각 필드 단위로 화상 신호에 대한 움직임 보상 처리 및 파형 부호화 처리를 실시하도록 하고 있다.
그런데, 최근, 화상 신호의 압축 효율을 향상시킴과 동시에, 1 화면의 화상을 구성하는 개개의 물체를 단위로 하여 화상 신호를 재생할 수 있도록, 해당 물체에 대응하는 화상 신호를 물체마다 따로 따로 압축 부호화하여 전송하는 부호화 방식이 고려되고 있다. 이 부호화 방식에 의해 부호화된 화상 부호화 신호는, 재생측에서 상기 부호화 방식에 대응한 복호화 처리가 실시된다. 즉, 이 복호화 처리에서는, 각각의 물체에 대응하는 화상 부호화 신호가 복호화되고, 해당 복호화에 의해 얻어진 각 물체에 대응하는 화상 복호화 신호가 합성되어 화상 재생 신호가 생성된다. 그리고, 이 화상 재생 신호에 근거하여, 개개의 물체로 이루어지는 1 화면에 대응하는 화상이 표시된다.
상기한 바와 같이 물체 단위로 화상 신호의 부호화를 실행하는 부호화 방식을 이용함으로써, 재생측에서는, 개개의 물체를 자유롭게 조합하여 합성 화상을 생성할 수 있으며, 이에 따라 동화상을 간단히 재편집할 수 있다. 또한, 통신로의 혼잡 상황이나 재생 장치의 성능, 혹은 시청자의 기호에 따라서, 비교적 중요하지 않은 물체를 재생하지 않고서, 중요도가 높은 물체만으로 이루어지는 동화상을 표시할 수도 있다.
여기서, 물체(즉 임의 형상을 갖는 화상)에 대응하는 화상 신호를 부호화하기 위해서는, 그 물체의 형상에 따른 신호 처리를 실행하는 파형 변환, 예를 들어, 형상 적응 이산 코사인 변환을 이용하던지, 혹은 화상 신호에 대한 보전 처리를 실행한 후에 파형 변환을 실행하는 방법을 이용한다. 이 방법에서는, 구체적으로는, 개개의 물체에 대응한 화상 공간(직사각형 영역)을 형성하는 화상 신호에 대하여, 그 무효 영역의 화소의 화소값을 소정의 방법에 의해 얻어지는 보전 화소값으로서 치환하는 보전 처리를 실시하고, 해당 보전 처리를 실시한 화상 신호에 대하여, 종래의 8×8 코사인 변환 처리를 실시한다. 여기서, 상기 무효 영역은 직사각형 영역에 있어서의 물체 외부 영역으로서, 물체를 표시하기 위한 화소값을 갖지 않은 화소로 이루어지는 영역이다. 즉 무효 영역에 대응하는 화상 신호는, 소위 유의하지 않은 샘플값만으로 이루어진다. 또한, 상기 8×8 코사인 변환은 직사각형 영역에 대응하는 화상 신호를, 8×8 화소로 이루어지는 화상 공간(블럭)을 단위로 하여 코사인 변환하는 파형 변환 처리이다.
또한, 인접하는 프레임 등의 화면에 있어서의 용장의 신호를 제거하는 구체적인 방법으로서는, 16×16 화소로 이루어지는 화상 공간(매크로 블럭)을 단위 영역으로 하여, 부호화 처리의 대상으로 되는 대상 매크로 블럭에 대응하는 화상 신호와, 그 예측 신호의 차분을 예측 오차 신호(차분 신호)로서 구하는 방법이 있다. 여기서, 상기 예측 신호는 움직임 보상에 의해 얻어지는 예측 영역에 대응하는 화상 신호이다. 또, 움직임 보상은 이미 부호화 처리 혹은 복호화 처리가 실시된 화면내에 있어서의, 대상 매크로 블럭의 화상 신호와의 차분이 가장 작아지는 화상 신호를 인가하는 16×16 화소로 이루어지는 영역을 예측 영역으로서 검출하는 처리이다.
그런데, 이 예측 영역에도 유의하지 않은 샘플값을 갖는 화소(이하, 비유의(非有意) 화소라고 함)가 포함되는 경우가 있다. 이 경우에는, 비유의 화소를 포함하는 예측 영역에 대응하는 예측 신호와, 부호화 처리의 대상으로 되는 대상 영역의 화상 신호의 차분을 취하면, 비유의 화소의 샘플값이, 해당 차분이 작아진다고 하는 의미이지 최적의 예측값이라고는 한정할 수 없기 때문에, 차분값이 대단히 커지는 경우가 자주 발생한다.
그래서, 상기 예측 영역에 대응하는 화상 신호에 대하여, 그 유의하지 않은 샘플값을 소정의 보전값으로 치환하는 보전 처리를 실시한 후, 보전 처리를 실시한 예측 신호와 대상 매크로 블럭의 화상 신호의 차분을 차분 신호(예측 오차 신호)로서 구하고, 해당 차분 신호에 대한 부호화를 위한 변환 처리를 실시하도록 하고 있다. 이와 같이 예측 신호에 대하여 보전 처리를 실시함으로써, 차분 신호를 억압할 수 있다.
종래의 화상값의 보전 처리에서는, 유의하지 않은 샘플값에 대한 보전값으로서, 비유의 화소에 수평 및 수직 방향에 있어서 인접하는 유의 화소(유의 샘플값을 갖는 화소)의 샘플값을 평균화한 평균값을 이용한다. 이러한 유의 화소의 샘플값의 평균값을 보전값으로서 이용함으로써, 보전 처리가 실시된 화상 공간에 대한 화상 신호(예측 신호)의 고주파 성분이 억제되게 되어, 이에 따라 부호화 효율을 높일 수 있다.
그런데, 비유의 화소에 수평 및 수직 방향에 있어서 인접하는 유의 화소의 평균값을 보전값으로 하는 보전 처리를, 비월 화상에 대응하는 화상 신호에 적용하면, 이 화상 신호의 고주파 성분이 증가한다고 하는 문제점이 있는데, 이것을 이하에 상술한다.
비월 화상에 있어서는, 특히 물체의 움직임이 큰 경우, 서로 인접하는 주사선 사이에서의 화소값 상관이 저하한다. 도 18에는, 이와 같이 비월 화상에서의 주사선 사이에서의 화소값 상관이 저하한 경우에 있어서의 화소값 배열의 구체적인 예가, 화상 공간(301)에 있어서의 화소값 배열로서 모식적으로 도시되어 있다.
이 화상 공간(301)은 8×8개의 화소로 이루어지는 화상 공간이다. 또 도면중, 각 화소는 모눈으로 표시되어 있고, 해칭 표시되어 있는 모눈에 대응하는 화소(예컨대 화소(303, 304))는, 유의 샘플값을 갖는 화소(유의 화소)이고, 해칭 표시되어 있지 않은 모눈에 대응하는 화소(예컨대 화소(302))는, 유의하지 않은 샘플값을 갖는 화소(비유의 화소)이다. 또한, 각 모눈내에 표시된 숫자는, 해당하는 화소의 샘플값을 나타낸다.
비월 화상에서는, 기수 필드와 우수 필드에서 주사 타이밍이 서로 다르기 때문에, 화상중의 물체의 움직임이 큰 경우, 양 필드를 합친 1 프레임에서는, 도 18의 화상 공간(301)에 도시하는 바와 같이 물체의 형상이 2중으로 되어 보인다. 이 경우, 예를 들어, 유의 화소(304)는 상하 방향에서 비유의 화소와 인접하게 된다.
다음에, 종래의 보전 방법 및 그 보전 결과에 대하여, 도 18 및 도 19를 이용하여 구체적으로 설명한다.
종래의 보전 방법에서는, 3개의 단계에 의해 보전 처리를 실행한다.
제 1 단계 S1의 처리에서는, 상기 화상 공간(301)에 있어서의 비유의 화소의 샘플값을 이에 인접하는 유의 화소의 샘플값으로 치환하는 처리를, 수평 방향을 따라 나열하는 비유의 화소에 대하여, 해당 화상 공간(301)의 안쪽의 것으로부터 순서대로 실행하고, 이어서 이 수평 방향의 치환 처리가 실시된 화상 공간에 있어서의 비유의 화소의 샘플값을 이에 인접하는 유의 화소의 샘플값으로 치환하는 처리를, 수직 방향을 따라 나열하는 비유의 화소에 대하여, 해당 화상 공간의 안쪽의 것으로부터 순서대로 실행한다. 이와 같이 상기 화상 공간(301)에 대하여 제 1 단계 S1의 처리를 실시함으로써, 도 18에 도시하는 샘플값을 갖는 화소로 이루어지는 화상 공간(350)를 얻을 수 있다.
구체적으로는, 상기 제 1 단계 S1에 있어서의 수평 방향의 치환 처리에 의해, 화상 공간(350)에 있어서의 화소행(354∼359)을 구성하는 비유의 화소의 샘플값이 보전값(유의 화소의 샘플값)으로 치환된다. 또한 상기 제 1 단계 S1에 있어서의 수직 방향의 치환 처리에 의해, 화소행(354)을 구성하는 유의 화소 및 보전 완료 화소(샘플값이 보전값으로 치환된 비유의 화소)의 샘플값에 의해서, 화소행(352, 353)을 구성하는 비유의 화소의 샘플값이 치환된다.
제 2 단계 S2의 처리에서는, 상기 제 1 단계 S1과는 반대로, 상기 화상 공간(301)에 있어서의 비유의 화소의 샘플값을 이에 인접하는 유의 화소의 샘플값으로 치환하는 처리를, 수직 방향을 따라 나열하는 비유의 화소에 대하여, 화상 공간의 안쪽의 것으로부터 순서대로 실행한 후, 이 수직 방향의 치환 처리가 실시된 화상 공간에서의 비유의 화소의 샘플값을 이에 인접하는 유의 화소의 샘플값으로 치환하는 처리를, 수평 방향을 따라 나열하는 비유의 화소에 대하여, 화상 공간의 안쪽의 것으로부터 순서대로 실행한다. 이와 같이 상기 화상 공간(301)에 대하여 제 2 단계 S2의 처리를 실시함으로써, 도 18에 도시하는 샘플값을 갖는 화소로 이루어지는 화상 공간(351)을 얻을 수 있다.
구체적으로는, 상기 제 2 단계 S2에 있어서의 수직 방향의 치환 처리에 의해, 화상 공간(351)에 있어서의 화소열(362∼365)을 구성하는 비유의 화소의 샘플값이 보전값으로 치환된다. 또한 상기 제 2 단계 S2에 있어서의 수평 방향의 치환처리에 의해, 화소열(362)을 구성하는 유의 화소 및 보전 완료 화소의 샘플값에 의해, 화소열(360, 361)을 구성하는 비유의 화소의 샘플값이 치환되고, 마찬가지로 화소열(365)을 구성하는 유의 화소 및 보전 완료 화소의 샘플값에 의해, 화소열(367, 368)을 구성하는 비유의 화소의 샘플값이 치환된다.
그리고, 제 3 단계 S3의 처리에서는, 도 19에 도시하는 바와 같이, 제 1 단계 S1에 의해 얻어진 화상 공간(350)에 있어서의 각 화소와, 제 2 단계 S2에 의해 얻어진 화상 공간(351)에 있어서의 각 화소 사이에서, 대응하는 위치의 화소의 샘플값이 평균화된다. 이에 따라, 도 19에 도시하는 샘플값을 갖는 각 화소로 이루어지는 화상 공간(380)을 얻을 수 있다.
이 화상 공간(380)을 1 프레임으로 하여, 해당 화상 공간(380)을 구성하는 화소를 기수 필드와 우수 필드에 대응하도록 나누는 재표본화 처리를 실행하면, 도 20에 도시하는 바와 같이, 기수 필드에 대응하는 복수의 화소로 이루어지는 화상 공간(381)과, 우수 필드에 대응하는 복수의 화소로 이루어지는 화상 공간(382)을 얻을 수 있다. 이들 각 필드에 대응하는 화상 공간(381, 382)에서는, 도 20에 도시하는 바와 같이, 화소의 샘플값이 불균일하게 되어, 각 화상 공간(381, 382)에 대응하는 화상 신호에 고주파 성분이 도입되게 된다.
또한, 이러한 보전 처리에 있어서의 문제는, 비월 주사에 의한 화상(비월 화상)에 대해서뿐만 아니라, 순차 주사에 의한 화상(순차(progressive) 화상)에 대해서도 발생한다. 구체적으로는, 순차 화상이더라도, 줄무늬 모양을 갖는 것도 많고, 이러한 줄무늬 모양을 갖는 순차 화상에 대해서도, 상기한 바와 같은 재표본화처리, 예를 들어 1 프레임(화상 공간)을 구성하는 복수의 화소를, 해당 화상 공간에서의 줄무늬 모양의 줄무늬 부분과 그 사이의 부분과 대응하도록 한데 모아, 줄무늬 부분과 그 사이의 부분에 대응한 화상 공간을 형성하는 처리를 실시한 후, 해당 재표본화 처리에 의해 얻어지는 화상 공간에 대하여 부호화 처리를 실시하는 경우가 있다.
이 경우, 상기한 바와 같은 줄무늬 모양을 갖는 순차 화상에 대응하는 화상 신호를 종래의 보전 방법에 의해 보전하면, 재표본화 처리에 의해 얻어지는 화상 공간에 대응하는 화상 신호에 고주파 성분이 도입되게 되어, 부호화 효율이 저하한다고 하는 문제가 있다.
또, 비유의 화소와 수평 방향 혹은 수직 방향에 있어서 인접하는 유의 샘플을 이용하여 보전값을 구하는, 상술한 것 이외의 보전 방법에 대해서도 상기와 마찬가지의 문제점이 있다.
본 발명은, 상기한 바와 같은 문제점을 해결하기 위해 이루어진 것으로, 비월 주사에 의한 화상이나 줄무늬 모양의 임의 형상 화상에 대한 보전 처리를, 상기 예측 오차 신호의 부호화 처리에 있어서의 부호화 효율의 저하를 억제하면서 실행할 수 있어, 보다 부호화 효율이 높은 부호화 처리를 가능하게 하는 디지털 화상 보전 방법과, 이 보전 방법을 이용하여 화상 부호화 처리 혹은 화상 복호화 처리를 실행하는 화상 처리 장치와, 상기 보전 방법 및 해당 화상 처리 장치에 의한 화상 처리를 컴퓨터에 의해 실현하기 위한 프로그램을 저장한 데이터 기록 매체를 얻는 것을 목적으로 한다.
발명의 개시
본 발명(청구항 1)에 관한 디지털 화상 보전 방법은, 임의 형상을 갖는 화상을 포함하는 유의 화소와 유의하지 않은 화소로 이루어지는 원(原) 화상 공간을 형성하는 디지털 화상 신호에 대하여 화소값의 보전 처리를 실시하는 방법에 있어서, 상기 원화상 공간을 구성하는 복수의 화소를 소정의 규칙에 따라 그룹으로 분리하여, 동일 그룹의 화소로 이루어지는 소(小)화상 공간을 복수 형성하는 화소 재배열 처리와, 각 소화상 공간의 유의하지 않은 화소의 화소값을, 소정의 방법에 의해 생성된 보전 화소값으로 치환하는 화소 보전 처리를 포함하는 것이다.
이러한 구성의 디지털 화상 보전 방법에서는, 원화상 공간을 구성하는 복수의 화소가, 소정의 규칙에 따라 추출되어 복수의 소화상 공간이 형성되게 된다. 이 때문에, 예를 들어 인접하는 화소 혹은 주사선 사이에서의 화소값 상관이 낮은 원화상 공간을, 인접하는 화소 혹은 주사선 사이에서의 화소값 상관이 높은 복수의 소화상 공간으로 분할할 수 있다. 따라서, 비월 주사에 의한 화상이나 줄무늬 모양의 임의 형상 화상에 대한 보전 처리를, 인접하는 화소 혹은 주사선 사이에서의 화소값 상관이 낮은 원화상 공간이 아니라, 해당 화소값 상관이 높은 소화상 공간을 단위로 하여 실행할 수 있다. 이 경우, 보전 처리가 실시된 소화상 공간은, 상기 화소값 상관이 높은 것으로 되어 있어, 비월 주사에 의한 화상이나 줄무늬 모양의 임의 형상 화상에 대한 보전 처리에 의해, 원화상 공간에 대응하는 화상 신호에 고주파 성분이 도입되는 것을 막을 수 있다.
이 결과, 비월 주사에 의한 화상 등에 대한 차분 부호화 처리 혹은 차분 복호화 처리를, 보전 처리에 기인하는 부호화 효율의 저하를 억제하면서 실행할 수 있는 효과가 있다.
본 발명(청구항 2)은, 청구항 1에 기재된 디지털 화상 보전 방법에 있어서, 상기 화소 재배열 처리에서는, 상기 원화상 공간을 구성하는 화소를 소정 방향을 따라 N(N은 양의 정수)개의 화소 간격으로 추출하는 샘플 처리를, 제 1 번째로부터 제 (N+1) 번째의 화소를 샘플 개시 화소로서 (N+1)회 실행하여, 1회의 샘플 처리에 의해 얻어지는 소정수의 화소로 이루어지는 소화상 공간을 (N+1)개 형성하는 것이다.
이러한 구성의 디지털 화상 보전 방법에서는, 원화상 공간에서의 화소를, 해당 원화상 공간에서의 소정 방향을 따라 소정수의 화소 간격으로 추출하여 소화상 공간을 형성하기 때문에, 특히, 세로 줄무늬 모양이나 가로 줄무늬 모양을 갖는 임의 형상의 화상을 포함하는 원화상 공간을, 줄무늬 모양의 줄무늬 부분의 폭이나 줄무늬 부분의 배치 간격에 관계없이, 인접하는 화소행 혹은 화소열 사이에서의 화소값 상관이 높은 소화상 공간으로 분할할 수 있다.
본 발명(청구항 3)은, 청구항 2에 기재된 디지털 화상 보전 방법에 있어서, 제 n(n= 1, 2, …, N+1) 소화상 공간에 있어서의 유의하지 않은 화소의 화소값으로 치환되는 보전 화소값으로서, 상기 제 n 소화상 공간에 있어서의 유의 화소의 화소값에 근거하는 연산에 의해 얻어진 연산값을 이용하는 것이다.
이러한 구성의 디지털 화상 보전 방법에서는, 소화상 공간에 있어서의 유의하지 않은 화소의 화소값이, 동일한 소화상 공간에 있어서의 유의 화소의 화소값으로부터 얻어지는 보전 화소값에 의해 치환되기 때문에, 보전 처리에 의해서, 소화상 공간의 유의 화소의 화소값으로부터 동떨어진 화소값이 발생하는 것을 억제할 수 있다.
본 발명(청구항 4)은, 청구항 2에 기재된 디지털 화상 보전 방법에 있어서, 상기 보전 처리가 실시된 모든 소화상 공간을 구성하는 복수의 화소를, 이들 화소가 상기 원화상 공간과 동일한 화소 배열의 복원 화상 공간을 형성하도록, 상기 그룹 분리시의 소정 규칙에 대응한 규칙에 따라 재배열하는 화상 공간 복원 처리를 실행하는 것이다.
이러한 구성의 디지털 화상 보전 방법에서는, 원화상 공간을 화소값 상관이 높은 복수의 소화상 공간으로 분할하여, 이들 소화상 공간에 대한 화소값의 보전 처리를 실행한 후, 보전 처리를 실시한 소화상 공간에 있어서의 화소를, 원화상 공간의 화소 배열과 동일한 화소 배열로 되도록 재배열하기 때문에, 보전 처리가 실시된 원화상 공간에 대응하는 화상 신호를, 보전 처리가 실시되어 있지 않은 원화상 공간에 대응하는 화상 신호와 완전히 동일하게 처리할 수 있다.
본 발명(청구항 5)은, 청구항 4에 기재된 디지털 화상 보전 방법에 있어서, 제 n(n= 1, 2, …, N+1) 소화상 공간에 있어서의 유의하지 않은 화소의 화소값으로 치환되는 보전 화소값으로서, 상기 제 n 소화상 공간에 있어서의 유의 화소의 화소값에 근거하는 연산에 의해 얻어진 연산값을 이용하는 것이다.
이러한 구성의 디지털 화상 보전 방법에서는, 소화상 공간에 있어서의 유의하지 않은 화소의 화소값이, 동일한 소화상 공간에 있어서의 유의 화소의 화소값으로부터 얻어지는 보전 화소값에 의해 치환되기 때문에, 보전 처리에 의해서, 소화상 공간의 유의 화소의 화소값으로부터 동떨어진 화소값이 발생하는 것을 억제할 수 있다.
본 발명(청구항 6)은, 청구항 1에 기재된 디지털 화상 보전 방법에 있어서, 상기 화소 재배열 처리에서는, 상기 원화상 공간에 있어서의 화소를, 해당 원화상 공간의 수직 방향을 따라 1 화소행 간격으로 추출하는 연속적인 샘플 처리를 제 1 번째 및 제 2 번째의 화소행을 샘플 개시 화소행으로 하여 2회 실행하고, 제 1 회째 및 제 2 회째의 샘플 처리에 의해 각각 얻어지는, 소정수의 화소로 이루어지는 제 1 및 제 2 소화상 공간을 생성하는 것이다.
이러한 구성의 디지털 화상 보전 방법에서는, 원화상 공간에 있어서의 화소를, 해당 원화상 공간에 있어서의 수직 방향을 따라 1 화소 간격으로 추출하여, 원화상 공간에 있어서의 기수번째의 주사선으로 이루어지는 소화상 공간과 원화상 공간에 있어서의 우수번째의 주사선으로 이루어지는 소화상 공간을 형성하기 때문에, 비월 주사에 의한 화상에 대한 보전 처리를, 인접하는 주사선 사이에서의 화소값 상관이 낮은 원화상 공간이 아니라, 해당 화소값 상관이 높은 각 필드에 대응하는 소화상 공간을 단위로 하여 실행할 수 있다. 이 결과, 비월 주사에 의한 화상에 대한 보전 처리에 의해 이 화상에 대응하는 화상 신호에 고주파 성분이 도입되는 것을 막을 수 있다.
본 발명(청구항 7)에 관한 디지털 화상 보전 방법은, 임의 형상을 갖는 화상을 포함하는 유의 화소와 유의하지 않은 화소로 이루어지는 원화상 공간을 형성하는 디지털 화상 신호에 대하여 화소값의 보전 처리를 실시하는 방법에 있어서, 상기 원화상 공간을, 해당 원화상 공간에 있어서의 기수 화소행 상의 화소만으로 이루어지는 제 1 소화상 공간과, 해당 원화상 공간에 있어서의 우수 화소행 상의 화소만으로 이루어지는 제 2 소화상 공간으로 분할하여, 상기 제 1 소화상 공간에 있어서의 유의 화소의 화소값을 이용하여 제 1 보전 화소값을 생성하고, 해당 제 1 소화상 공간에서의 유의하지 않은 화소의 화소값을 해당 제 1 보전 화소값으로 치환함과 동시에, 상기 제 2 소화상 공간에 있어서의 유의 화소의 화소값을 이용하여 제 2 보전 화소값을 생성하여, 해당 제 2 소화상 공간에 있어서의 유의하지 않은 화소의 화소값을 해당 제 2 보전 화소값으로 치환하는 것이다.
이러한 구성의 디지털 화상 보전 방법에서는, 비월 주사에 의한 화상에 대한 보전 처리를, 인접하는 주사선 사이에서의 화소값 상관이 낮은 원화상 공간이 아니라, 해당 화소값 상관이 높은 각 필드에 대응하는 제 1, 제 2 소화상 공간을 단위로 하여 실행할 수 있다. 이 결과, 비월 주사에 의한 화상에 대한 보전 처리에 의해 해당 화상에 대응하는 화상 신호에 고주파 성분이 도입되는 것을 막을 수 있다.
또한, 각 소화상 공간에 있어서의 유의하지 않은 화소의 화소값이, 동일한 소화상 공간에 있어서의 유의 화소의 화소값으로부터 얻어지는 보전 화소값에 의해 치환되기 때문에, 보전 처리에 의해서 소화상 공간의 유의 화소의 화소값으로부터 동떨어진 화소값이 발생하는 것을 막을 수 있다.
본 발명(청구항 8)에 관한 디지털 화상 보전 방법은, 임의 형상을 갖는 화상을 포함하는 유의 화소와 유의하지 않은 화소로 이루어지는 원화상 공간을 형성하는 디지털 화상 신호에 대하여, 해당 원화상 공간에 있어서의 유의하지 않은 화소의 화소값을, 해당 원화상 공간에 있어서의 유의 화소의 화소값을 이용하여 결정되는 보전 화소값으로 치환하는 보전 처리를 실시하는 방법에 있어서, 상기 보전 화소값의 결정에 그 화소값이 이용되는 유의 화소를, 상기 보전 대상으로서의 유의하지 않은 화소에 인접하는 화소 이외의 화소로 하는 것이다.
이러한 구성의 디지털 화상 보전 방법에서는, 원화상 공간에 있어서의 유의하지 않은 화소의 화소값으로 치환되는 보전 화소값이, 상기 유의하지 않은 화소에 인접하는 화소 이외의 유의 화소의 화소값으로부터 결정되기 때문에, 적어도 유의하지 않은 화소의 화소값이, 이에 인접하는 화소의 화소값으로 치환되는 경우는 없어, 이 때문에, 예를 들어 인접하는 화소 혹은 주사선 사이에서의 화소값 상관이 낮은 원화상 공간에 대한 화소값의 보전 처리를, 원화상 공간에 대응하는 화상 신호에 고주파 성분이 도입되는 것을 억제하면서 실행할 수 있다.
본 발명(청구항 9)은, 청구항 8에 기재된 디지털 화상 보전 방법에 있어서, 상기 보전 화소값의 결정에 그 화소값이 이용되는 유의 화소를, 상기 보전 대상으로서의 유의하지 않은 화소와 수직 방향으로 1 화소 간격으로 인접하는 화소로 하는 것이다.
이러한 구성의 디지털 화상 보전 방법에서는, 원화상 공간에 있어서의 기수번째의 주사선 상의 유의하지 않은 화소의 화소값이, 다른 기수번째의 주사선 상의 유의 화소의 화소값으로부터 얻어지는 보전 화소값으로 치환되고, 원화상 공간에 있어서의 우수번째의 주사선 상의 유의하지 않은 화소의 화소값이, 다른 우수번째의 주사선 상의 유의 화소의 화소값으로부터 얻어지는 보전 화소값으로 치환되게 된다. 이 때문에, 비월 주사에 의한 화상에 대한 보전 처리에 의해 해당 화상에 대응하는 화상 신호에 고주파 성분이 도입되는 것을 막을 수 있다.
본 발명(청구항 10)에 관한 화상 처리 장치는, 디지털 화상 신호를 구성하는 화소값 상관을 식별하여, 해당 식별 결과에 대응한 표본 식별자를 출력하는 상관 식별부와, 디지털 화상 신호에 대한 예측 화상 신호를 이용한 차분 부호화 처리를 상기 표본 식별자에 근거해 실행하여 화상 부호화 신호를 출력하는 부호화 처리부와, 해당 화상 부호화 신호를 국소 복호화해서 얻어지는 화상 복호화 신호에 근거하여 상기 예측 화상 신호를 생성하는 예측 처리부를 갖는, 화상 부호화를 실행하는 장치에 있어서, 상기 부호화 처리부를, 상기 디지털 화상 신호와 예측 화상 신호의 차분을 차분 화상 신호로서 구하는 감산기와, 해당 차분 화상 신호를 압축하여 압축 차분 신호를 생성하는 정보 압축기와, 해당 압축 차분 신호를 가변 길이 부호화하는 가변 길이 부호화기를 갖는 구성으로 하고, 상기 예측 처리부를, 상기 압축 차분 신호를 신장하여 신장 차분 신호를 생성하는 정보 신장기와, 해당 신장 차분 신호와 상기 예측 화상 신호를 가산하여 화상 복호화 신호를 생성하는 가산기와, 해당 화상 복호화 신호에 대하여, 해당 화상 복호화 신호에 의해 형성되는 화상 공간에 있어서의 화소를 재배열하여, 해당 화소가 재배열된 화상 공간에 있어서의 유의하지 않은 화소의 화소값을, 소정의 방법에 의해 생성한 보전 화소값으로 치환하는 보전 처리를, 상기 표본 식별자에 근거하여 실행하는 보전 수단과, 보전 처리가 실시된 화상 복호화 신호로부터 상기 표본 식별자에 근거하여 상기 예측 화상 신호를 생성하는 예측 화상 신호 생성 수단을 갖는 구성으로 한 것이다.
이러한 구성의 화상 처리 장치에서는, 디지털 화상 신호에 대응하는 예측 화상 신호를 생성하는 예측 처리부를, 차분 부호화 처리시에 차분 부호화 신호의 국소적인 복호화에 의해 얻어지는 화상 복호화 신호에 대하여 화소값의 보전 처리를 실행하는 보전 수단을 갖되, 해당 보전 처리가 실시된 화상 복호화 신호로부터 예측 화상 신호를 생성하는 구성으로 하고, 해당 보전 수단을, 해당 화상 복호화 신호에 대한 화소값의 재배열 처리를 실시한 후에, 해당 화상 복호화 신호에 있어서의 유의하지 않은 화소의 화소값을 소정의 보전 화소값에 의해 치환하는 구성으로 하였기 때문에, 비월 주사에 의한 화상이나 줄무늬 모양의 임의 형상 화상에 대응하는 디지털 화상 신호의 차분 부호화 처리를 실행할 때에, 국소적으로 복호화된 화상 복호화 신호의 보전 처리에 의해, 차분 부호화 처리에 이용하는 예측 화상 신호에 고주파 성분이 도입되는 것을 막을 수 있다. 이 결과, 비월 주사에 의한 화상 등에 대한 차분 부호화 처리를, 상기 보전 처리에 기인하는 부호화 효율의 저하를 억제하면서 실행할 수 있는 효과가 있다.
본 발명(청구항 11)은, 청구항 10에 기재된 화상 처리 장치에 있어서, 상기 부호화 처리부를, 상기 차분 화상 신호에, 이 차분 화상 신호에 의해 형성되는 화상 공간에 있어서의 화소를 재배열하여, 해당 화소가 재배열된 화상 공간에 있어서의 유의하지 않은 화소의 화소값을, 소정의 방법에 의해 생성한 보전 화소값으로 치환하는 보전 처리를, 상기 표본 식별자에 근거하여 실행하는 보전 수단을 갖되, 상기 정보 압축기에서는, 해당 보전 처리를 실시한 차분 화상 신호의 정보 압축에의해 압축 차분 신호가 생성되도록 구성한 것이다.
이러한 구성의 화상 처리 장치에서는, 정보 압축기의 입력인 차분 화상 신호에 대한 화소값의 재배열 처리를 실시한 후에, 해당 차분 화상 신호에 있어서의 유의하지 않은 화소의 화소값을 소정의 보전 화소값으로 치환하는 보전 처리가 실행되기 때문에, 정보 압축기에 입력되는 화상 신호에 고주파 성분이 도입되는 것을 막을 수 있다. 이 때문에 비월 주사에 의한 화상이나 줄무늬 모양의 임의 형상 화상에 대한 디지털 화상 신호의 차분 부호화 처리시에, DCT 처리 등의 파형 변환 처리를 효율적으로 실행할 수 있다.
본 발명(청구항 12항)에 관한 화상 처리 장치는, 디지털 화상 신호를 부호화하여 얻어지는 화상 부호화 신호를, 해당 디지털 화상 신호에 대응하는 예측 화상 신호를 이용해 재생하여 화상 재생 신호를 출력하는 재생 처리부와, 해당 화상 재생 신호에 근거하여 상기 예측 화상 신호를 생성하는 예측 처리부를 갖는, 화상 복호화를 실행하는 장치에 있어서, 상기 재생 처리부를, 상기 화상 부호화 신호의 해석에 의해, 해당 화상 부호화 신호로부터 디지털 화상 신호에 대응하는 압축 차분 신호, 및 해당 디지털 화상 신호를 구성하는 화소값 상관을 나타내는 표본 식별자를 추출하는 데이터 해석기와, 상기 압축 차분 신호를 신장하여 신장 차분 신호를 생성하는 정보 신장기와, 상기 신장 차분 신호와 예측 화상 신호를 가산하여 상기 화상 재생 신호를 생성하는 가산기를 갖는 구성으로 하고, 상기 예측 처리부를 상기 화상 재생 신호 및 해당 화상 재생 신호로부터 얻어지는 예측 화상 신호의 적어도 한쪽을 보전 대상 신호로 하여, 해당 보전 대상 신호에 대하여, 이 보전 대상신호로부터 형성되는 화상 공간에 있어서의 화소를 재배열한 후, 해당 화소의 재배열이 실행된 화상 공간에 있어서의 유의하지 않은 화소의 화소값을, 소정의 방법에 의해 생성한 보전 화소값으로 치환하는 보전 처리가 상기 표본 식별자에 근거하여 실행되도록 구성한 것이다.
이러한 구성의 화상 처리 장치에서는, 디지털 화상 신호에 대응하는 예측 화상 신호를 생성하는 예측 처리부를, 디지털 화상 신호에 대응하는 화상 재생 신호 혹은 예측 화상 신호를 보전 대상 신호로 하여 화소값의 보전 처리를 실행하는 보전 수단을 갖되, 해당 보전 처리에서는 해당 보전 대상 신호에 대한 화소값의 재배열 처리를 실시한 후에, 해당 보전 대상 신호에 있어서의 유의하지 않은 화소의 화소값을 소정의 보전 화소값에 의해 치환하는 구성으로 하였기 때문에, 비월 주사에 의한 화상이나 줄무늬 모양의 임의 형상 화상에 대한 차분 부호화 신호를 복호화할 때에, 복호화된 화상 재생 신호 혹은 예측 화상 신호의 보전 처리에 의해, 차분 복호화 처리에 이용하는 예측 화상 신호에 고주파 성분이 도입되는 것을 막을 수 있다. 이 결과, 화소값의 보전 처리에 기인하는 부호화 효율의 열화를 억제한 차분 부호화 처리에 대응하는 차분 복호화 처리를 실현할 수 있는 효과가 있다.
본 발명(청구항 13항)은, 청구항 12에 기재된 화상 처리 장치에 있어서, 상기 예측 처리부를, 상기 화상 재생 신호에 대한 보전 처리를 상기 표본 식별자에 근거하여 프레임 단위 혹은 필드 단위로 실행하는 보전 수단과, 해당 화상 재생 신호의 보전 처리에 의해 얻어지는 보전 재생 신호를 저장하는 프레임 메모리를 가지며, 해당 프레임 메모리에 저장되어 있는 보전 재생 신호를 상기 예측 화상 신호로서 상기 재생 처리부에 출력하는 구성으로 한 것이다.
이러한 구성의 화상 처리 장치에서는, 화상 재생 신호에는 표본 식별자에 근거하여, 프레임 단위 혹은 필드 단위로 보전 처리가 실시되기 때문에, 특히 비월 주사에 의한 화상에 대한 디지털 화상 신호의 차분 복호화 처리를 실행할 때, 재생된 화상 재생 신호에 대한 보전 처리에 의해, 해당 화상 재생 신호로부터 얻어지는 예측 화상 신호에 고주파 성분이 도입되는 것을 막을 수 있다.
본 발명(청구항 14)은, 청구항 12에 기재된 화상 처리 장치에 있어서, 상기 예측 처리부를, 상기 화상 재생 신호를 저장하는 프레임 메모리와, 해당 프레임 메모리에 저장되어 있는 화상 재생 신호로부터 추출된 예측 화상 신호에 대한 보전 처리를, 상기 표본 식별자에 근거하여 프레임 단위 혹은 필드 단위로 실행하는 보전 수단을 가지며, 보전 처리가 실시된 예측 화상 신호를 상기 재생 처리부에 출력하는 구성으로 한 것이다.
이러한 구성의 화상 처리 장치에서는, 예측 화상 신호에는 표본 식별자에 근거하여 프레임 단위 혹은 필드 단위로 보전 처리가 실시되기 때문에, 특히 비월 주사에 의한 화상에 대한 디지털 화상 신호의 차분 복호화 처리를 실행할 때, 예측 화상 신호의 보전 처리에 의해 해당 예측 화상 신호에 고주파 성분이 도입되는 것을 막을 수 있는 효과에 부가하여, 보전 처리가 프레임 메모리로부터 추출된 예측 화상 신호에 대해서만 실행되기 때문에, 예측 처리부에서의 보전 처리를, 신호 처리량이 적은 것으로 할 수 있다.
본 발명(청구항 15)에 관한 화상 처리 장치는, 디지털 화상 신호를 부호화하여 얻어지는 화상 부호화 신호를, 해당 디지털 화상 신호에 대응하는 예측 화상 신호를 이용해 재생하여 화상 재생 신호를 출력하는 재생 처리부와, 해당 화상 재생 신호에 근거하여 상기 예측 화상 신호를 생성하는 예측 처리부를 갖는, 화상 복호화를 실행하는 장치에 있어서, 상기 재생 처리부를, 상기 화상 부호화 신호의 해석에 의해, 해당 화상 부호화 신호로부터 디지털 화상 신호에 대응하는 압축 차분 신호, 및 해당 디지털 화상 신호를 구성하는 화소값 상관을 나타내는 표본 식별자를 추출하는 데이터 해석기와, 상기 압축 차분 신호를 신장하여 신장 차분 신호를 생성하는 정보 신장기와, 상기 신장 차분 신호와 상기 예측 화상 신호를 가산하여 상기 화상 재생 신호를 생성하는 가산기를 갖는 구성으로 하고, 상기 예측 처리부를, 상기 화상 재생 신호에 대하여, 이 화상 재생 신호에 의해 형성되는 화상 공간에 있어서의 유의하지 않은 화소의 화소값을, 적어도 해당 유의하지 않은 화소에 인접하는 화소 이외의 유의 화소의 화소값으로부터 생성한 보전 화소값으로 치환하는 보전 처리를, 상기 표본 식별자에 근거하여 실시하는 보전 수단과, 상기 표본 식별자에 따라, 보전 처리가 실시된 화상 재생 신호에 대하여, 이 화상 재생 신호에 의해 형성되는 화상 공간에 있어서의 화소를 재배열하는 처리를 실시하는 재배열 수단을 갖는 구성으로 한 것이다.
이러한 구성의 화상 처리 장치에서는, 디지털 화상 정보를 포함하는 차분 부호화 신호로부터 얻어지는 화상 재생 신호에 대한 보전 처리시, 화상 재생 신호에 의해 형성되는 화상 공간에 있어서의 유의하지 않은 화소의 화소값으로 치환되는 보전 화소값이, 상기 유의하지 않은 화소에 인접하는 화소 이외의 유의 화소의 화소값으로부터 결정되기 때문에, 적어도 유의하지 않은 화소의 화소값이, 이에 인접하는 화소의 화소값에 의해 치환되는 일은 없어, 이 때문에, 디지털 화상 신호의 차분 복호화 처리를 실행할 때, 예를 들어 인접하는 화소 혹은 주사선 사이에서의 화소값 상관이 낮은 원화상 공간에 대한 화소값의 보전 처리를, 원화상 공간에 대응하는 화상 신호에 고주파 성분이 도입되는 것을 억제하면서 실행할 수 있다.
본 발명(청구항 16)에 관한 데이터 기록 매체는, 컴퓨터에 임의 형상을 갖는 화상을 포함하는 유의 화소와 유의하지 않은 화소로 이루어지는 원화상 공간을 형성하는 디지털 화상 신호에 대한 화소값의 보전 처리를 실행시키기 위한 프로그램을 저장한 데이터 기록 매체에 있어서, 상기 프로그램이, 청구항 1에 기재된 디지털 화상 보전 방법에 의한 화소값의 보전 처리를 컴퓨터가 실행하도록 구성되어 있는 것이다.
이러한 구성의 데이터 기록 매체에 저장되어 있는 프로그램을 컴퓨터에 로드함으로써, 비월 주사에 의한 화상 등에 대한 차분 부호화 처리 혹은 차분 복호화 처리에 있어서의, 부호화 효율의 열화를 초래하는 일없이 보전 처리를 컴퓨터에 의해 실현할 수 있다.
본 발명(청구항 17)에 관한 데이터 기록 매체는, 컴퓨터에 임의 형상을 갖는 화상을 포함하는 유의 화소와 유의하지 않은 화소로 이루어지는 원화상 공간을 형성하는 디지털 화상 신호에 대한 화소값의 보전 처리를 실행시키기 위한 프로그램을 저장한 데이터 기록 매체에 있어서, 상기 프로그램이 청구항 7에 기재된 디지털 화상 보전 방법에 의한 화소값의 보전 처리를 컴퓨터가 실행하도록 구성되어 있는것이다.
이러한 구성의 데이터 기록 매체에 저장되어 있는 프로그램을 컴퓨터에 로드함으로써, 비월 주사에 의한 화상에 대한 차분 부호화 처리 혹은 차분 복호화 처리에 있어서의, 부호화 효율의 열화를 초래하는 일없이 보전 처리를 컴퓨터에 의해 실현할 수 있다.
본 발명(청구항 18)에 관한 데이터 기록 매체는, 컴퓨터에 임의 형상을 갖는 화상을 포함하는 유의 화소와 유의하지 않은 화소로 이루어지는 원화상 공간을 형성하는 디지털 화상 신호에 대한 화소값의 보전 처리를 실행시키기 위한 프로그램을 저장한 데이터 기록 매체에 있어서, 상기 프로그램이 청구항 8에 기재된 디지털 화상 보전 방법에 의한 화소값의 보전 처리를 컴퓨터가 실행하도록 구성되어 있는 것이다.
이러한 구성의 데이터 기록 매체에 저장되어 있는 프로그램을 컴퓨터에 로드함으로써, 비월 주사에 의한 화상 등에 대한 차분 부호화 처리 혹은 차분 복호화 처리에 있어서의, 부호화 효율의 열화를 초래하는 일없이 보전 처리를 컴퓨터에 의해 실현할 수 있다.
본 발명(청구항 19)에 관한 데이터 기록 매체는, 컴퓨터에 화상 신호의 부호화 처리를 실행시키기 위한 프로그램을 저장한 데이터 기록 매체에 있어서, 상기 프로그램이, 청구항 10에 기재된 화상 처리 장치에 의한 디지털 화상 신호의 차분 부호화 처리를 컴퓨터가 실행하도록 구성되어 있는 것이다.
이러한 구성의 데이터 기록 매체에 저장되어 있는 프로그램을 컴퓨터에 로드함으로써, 비월 주사에 의한 화상 등에 대한 차분 부호화 처리로서, 상기 보전 처리에 기인하는 부호화 효율의 저하를 초래하는 일없이 처리를 소프트웨어에 의해 실현할 수 있다.
본 발명(청구항 20)에 관한 데이터 기록 매체는, 컴퓨터에 화상 신호의 복호화 처리를 실행시키기 위한 프로그램을 저장한 데이터 기록 매체에 있어서, 상기 프로그램이 청구항 12에 기재된 화상 처리 장치에 의한 디지털 화상 신호의 차분 복호화 처리를 컴퓨터가 실행하도록 구성되어 있는 것이다.
이러한 구성의 데이터 기록 매체에 저장되어 있는 프로그램을 컴퓨터에 로드함으로써, 비월 주사에 의한 화상 등에 대한 차분 복호화 처리로서, 보전 처리에 기인하는 부호화 효율의 저하를 초래하는 일없이 차분 부호화 처리에 대응한 차분 복호화 처리를 소프트웨어에 의해 실현할 수 있다.
본 발명(청구항 21)에 관한 데이터 기록 매체는, 컴퓨터에 화상 신호의 복호화 처리를 실행시키기 위한 프로그램을 저장한 데이터 기록 매체에 있어서, 상기 프로그램이 청구항 15에 기재된 화상 처리 장치에 의한 디지털 화상 신호의 차분 복호화 처리를 컴퓨터가 실행하도록 구성되어 있는 것이다.
이러한 구성의 데이터 기록 매체에 저장되어 있는 프로그램을 컴퓨터에 로드함으로써, 비월 주사에 의한 화상 등에 대한 차분 복호화 처리로서, 보전 처리에 기인하는 부호화 효율의 저하를 초래하는 일없이 차분 부호화 처리에 대응한 차분 복호화 처리를 소프트웨어에 의해 실현할 수 있다.
본 발명은 디지털 화상 보전 방법, 화상 처리 장치 및 데이터 기록 매체에 관한 것으로, 특히, 임의 형상을 갖는 비월(interlace) 주사에 의한 화상에 대응하는 디지털 화상 신호에 화소값의 보전 처리를 실시하는 보전 방법, 이 보전 방법을 이용하여 디지털 화상 신호를 부호화 혹은 복호화하는 화상 처리 장치, 및 상기 보전 방법 혹은 화상 처리 장치에 의한 화상 신호의 처리를 컴퓨터에 의해 실현하기 위한 프로그램을 저장한 데이터 기록 매체에 관한 것이다.
도 1은 본 발명의 실시예 1에 따른 디지털 화상 보전 방법에 있어서의 화상 처리의 흐름을 도시하는 도면이다,
도 2는 상기 실시예 1의 디지털 화상 보전 방법에 있어서의 재표본화 처리를 설명하기 위한 모식도이다,
제 3a 및 제 3b는 상기 실시예 1의 디지털 화상 보전 방법에 있어서의 화소값의 보전 처리를 설명하기 위한 모식도, 제 3c는 상기 실시예 1의 변형예 1에 의한 디지털 화상 보전 방법에 있어서의 화소의 머지(merge) 처리를 설명하기 위한 모식도이다,
도 4는 본 발명의 실시예 1의 변형예 1에 따른 디지털 화상 보전 방법에 있어서의 화상 처리의 흐름을 도시하는 도면이다,
도 5는 본 발명의 실시예 1의 변형예 2에 따른 디지털 화상 보전 방법에 있어서의 화상 처리의 흐름을 도시하는 도면이다,
도 6은 본 발명의 실시예 1의 변형예 3에 따른 디지털 화상 보전 방법에 있어서의 화상 처리의 흐름을 도시하는 도면이다,
도 7은 상기 실시예 1의 변형예 3에 따른 디지털 화상 보전 방법에 있어서의 화소값의 보전 처리를 설명하기 위한 모식도이다,
제 8a 및 제 8b는 본 발명의 실시예 2에 따른 디지털 화상 보전 방법에 있어서의 화소값 보전 처리를 설명하기 위한 모식도이다,
도 9는 본 발명의 실시예 3에 따른 화상 부호화 장치를 설명하기 위한 블럭도로서, 제 9a는 해당 화상 부호화 장치의 전체 구성을, 제 9b는 해당 화상 부호화 장치를 구성하는 보전 처리부의 구성을 나타내고 있다,
도 10a∼도10d는 상기 실시예 3의 화상 부호화 장치에 있어서의 보전 처리를 설명하기 위한 도면으로서, 도 10a는 화소의 재배열 처리, 도 10b는 프레임 보전 처리, 도 10c는 필드 보전 처리, 도 10d는 화소의 복원 머지 처리를 도시하는 도면이다,
도 11은 상기 실시예 3의 화상 부호화 장치로부터 출력되는 화상 부호화 신호의 데이터 구조를 도시하는 모식도이다,
도 12는 본 발명의 실시예 3의 변형예 1에 따른 화상 부호화 장치를 설명하기 위한 블럭도이다,
도 13은 본 발명의 실시예 3의 변형예 2에 따른 화상 부호화 장치를 설명하기 위한 블럭도로서, 도 13a는 해당 화상 부호화 장치의 전체 구성을, 도 13b는 해당 화상 부호화 장치를 구성하는 보전 처리부의 구성을 나타내는 도면이다,
도 14는 본 발명의 실시예 4에 따른 화상 복호화 장치를 설명하기 위한 블럭도이다,
도 15는 본 발명의 실시예 4의 변형예 1에 따른 화상 복호화 장치를 설명하기 위한 블럭도이다,
도 16은 본 발명의 실시예 4의 변형예 2에 따른 화상 복호화 장치를 설명하기 위한 블럭도이다,
도 17a∼도 17c는 상기 각 실시예의 디지털 화상 보전 방법 혹은 화상 처리장치에 의한 화상 처리를 컴퓨터 시스템에 의해 실현하기 위한 프로그램을 저장한 데이터 기록 매체에 대하여 설명하기 위한 도면이다,
도 18은 종래의 디지털 화상 보전 방법에 따른 화소값의 치환 처리를 설명하기 위한 모식도이다,
도 19는 종래의 디지털 화상 보전 방법에 따른 화소값의 평균화 처리를 설명하기 위한 모식도이다,
도 20은 종래의 디지털 화상 보전 방법에 따른 화소값의 재표본화 처리를 설명하기 위한 모식도이다,
발명을 실시하기 위한 최선의 형태
이하, 본 발명의 실시예에 대하여 도 1 내지 도 17을 이용하여 설명한다.
(실시예 1)
도 1∼도 3은 본 발명의 실시예 1에 따른 디지털 화상 보전 방법을 설명하기 위한 도면으로서, 도 1은 해당 보전 방법에 있어서의 화상 신호의 처리의 흐름을 도시하고 있다.
이 실시예 1의 디지털 화상 보전 방법은, 도 1에 도시하는 바와 같이 표본화된 입력 디지털 화상 신호에 의해 형성되는 원화상 공간에 대하여 재표본화 처리를 실시하여 복수의 소화상 공간을 형성하는 처리(단계 S12)와, 해당 각 소화상 공간에 대하여, 그 유의하지 않은 화소의 샘플값을 소정의 방법에 의해 얻어지는 보전화소값으로 치환하는 보전 처리(단계 S13)를 포함하는 것이다.
도 2는 상기 디지털 화상 보전 방법에 있어서의 재표본화 처리를 모식적으로 도시하고 있고, 상기 입력 디지털 화상 신호에 대응하는 원화상 공간(301)은, 여기서는 8×8 화소로 이루어지고, 유의 샘플값을 갖는 유의 화소와, 유의하지 않은 샘플값을 갖는 비유의 화소를 포함하고 있다. 또, 도 2중, 각 화소는 모눈으로 표시되어 있고, 상기 유의 화소는 해칭 표시되어 있는 모눈에 대응하는 화소(예컨대 화소(303, 304)), 상기 비유의 화소는 해칭 표시되어 있지 않은 모눈에 대응하는 화소(예컨대 화소(302))이다. 또한, 각 모눈내에 표시한 숫자는, 해당하는 화소의 샘플값을 나타낸다.
또한, 상기 재표본화 처리에 의해 얻어지는 소화상 공간(401∼404)은 각각, 4×4 화소로 이루어진다. 여기서, 소화상 공간(401)은 상기 원화상 공간(301)에 있어서의, 기수번째의 화소열과 기수번째의 화소행의 교차 위치에 있는 화소로 이루어진다. 소화상 공간(403)은 상기 원화상 공간(301)에 있어서의, 우수번째의 화소열과 기수번째의 화소행의 교차 위치에 있는 화소로 이루어진다. 소화상 공간(402)는 상기 원화상 공간(301)에 있어서의 기수번째의 화소열과 우수번째의 화소행의 교차 위치에 있는 화소로 이루어진다. 소화상 공간(404)은, 상기 원화상 공간(301)에 있어서의 우수번째의 화소열과 우수번째의 화소행의 교차 위치에 있는 화소로 이루어진다.
도 3은 상기 실시예 1의 디지털 화상 보전 방법에 있어서의 보전 처리를 모식적으로 도시하고 있다. 상기 소화상 공간(401, 403)에 종래의 보전 처리와 마찬가지의 처리를 실행함으로써 소화상 공간(405)를 얻을 수 있고(도 3a 참조), 상기 소화상 공간(402, 404)에 종래의 보전 처리와 마찬가지의 처리를 실행함으로써 소화상 공간(406)를 얻을 수 있다(도 3b 참조).
다음에 작용 효과에 대하여 설명한다.
이 실시예 1의 보전 방법에서는, 단계 S11에서 표본화된 디지털 화상 신호가 입력된다. 여기서는, 이 디지털 화상 신호는, 물체, 즉 임의 형상을 갖는 화상에 대응하는 것으로 하고, 해당 물체를 포함하는 도 2에 도시하는 원화상 공간(301)을 형성하는 것이다.
또, 이 디지털 화상 신호는 비월 주사에 의한 화상(비월 화상)에 대응하는 것이어도 좋고, 순차 주사에 의한 화상(순차 화상)에 대응하는 것이어도 좋다. 상기 디지털 화상 신호가 순차 화상에 대응하는 것인 경우에는, 예를 들어, 가로 줄무늬 모양을 갖는 물체의 화상이 상기 도 2에 도시하는 원화상 공간(301)에 있어서의 화상에 상당한다. 한편, 상기 디지털 화상 신호가 비월 화상에 대응하는 것인 경우에는, 물체의 움직임이 큰 화상이 상기 원화상 공간(301)에 있어서의 화상에 상당하고, 이러한 비월 화상에서는, 도 2에 도시하는 바와 같이 물체가 2중으로 어긋나 보이는 경우가 있다.
또한, 상기 원화상 공간(301)은 개개의 물체를 포함한, 해당 물체에 대응하는 영역(오브젝트 영역) 그 자체이어도 좋고, 또한 이 오브젝트 영역을, 소정의 화소(예컨대 N×M 샘플)로 이루어지는 복수의 화상 공간(블럭)으로 분할한 것이어도 좋다. 여기서는, 설명의 편의상, 상기 단계 S11에서는, 상기 오브젝트 영역에 대응하는 디지털 화상 신호가 프레임마다 순서대로 입력되는 것으로 한다.
단계 S12에서는, 상기 디지털 화상 신호에 대응한 원화상 공간(301)에 재표본화 처리를 실시하여 복수의 소화상 공간(401∼404)을 생성한다. 즉, 상기 원화상 공간(301)으로부터, 수평 방향을 따라 1 화소 간격으로 또한 수직 방향을 따라 1 화소행 간격으로 화소를 추출하여, 추출한 화소에 의해 상기 4개의 소화상 공간(401∼404)을 생성한다.
상기 각 소화상 공간에 대하여 구체적으로 설명하면, 상기 원화상 공간(301)에 있어서의 기수번째의 화소열과 기수번째의 화상행의 교차 위치에 있는 화소를 추출하여 소화상 공간(401)을 형성하고, 우수번째의 화상열과 기수번째의 화상행의 교차 위치에 있는 화소를 추출하여 소화상 공간(403)을 형성한다. 또한, 상기 원화상 공간(301)에 있어서의 기수번째의 화소열과 우수번째의 화소행의 교차 위치에 있는 화소를 추출하여 소화상 공간(402)을 형성하고, 상기 원화상 공간(301)에 있어서의 우수번째의 화소열과 우수번째의 화소행의 교차 위치에 있는 화소에 의해 소화상 공간(404)을 형성한다.
이어지는 단계 S13에서는, 상기 각 소화상 공간(401∼404)에 대한 보전 처리를 실행한다. 본 실시예에서의 보전 처리는, 종래의 보전 방법에 있어서의, 도 18 및 도 19에 도시하는 제 1∼제 3 단계 S1∼S3(이하, 제 1∼제 3 보전 단계라고 함)으로 이루어진다.
즉, 제 1 보전 단계에서는, 상기 소화상 공간에 있어서의 비유의 화소의 샘플값을, 해당 비유의 화소에 인접하는 유의 화소의 샘플값으로 치환하는 처리를,수평 방향을 따라 소화상 공간의 안쪽의 것으로부터 순서대로 실행하고, 이어서 이 수평 방향의 치환 처리가 실시된 소화상 공간에 있어서의 비유의 화소의 샘플값을, 인접하는 유의 화소 혹은 보전 완료 화소(샘플값의 치환이 실행된 비유의 화소)의 샘플값으로 치환하는 처리를, 수직 방향을 따라 소화상 공간의 안쪽의 것으로부터 순서대로 실행한다.
제 2 보전 단계에서는, 상기 제 1 보전 단계와는 반대로, 소화상 공간에 있어서의 비유의 화소의 샘플값을, 해당 비유의 화소에 인접하는 유의 화소의 샘플값으로 치환하는 처리를, 수직 방향을 따라 소화상 공간의 안쪽의 것으로부터 순서대로 실행한 후, 이 수직 방향의 치환 처리가 실시된 소화상 공간에 있어서의 비유의 화소의 샘플값을, 이에 인접하는 유의 화소 혹은 보전 완료 화소의 샘플값으로 치환하는 처리를, 수평 방향을 따라 소화상 공간의 안쪽의 것으로부터 순서대로 실행한다.
그리고, 제 3 보전 단계에서는, 제 1 보전 단계의 치환 처리에 의해 얻어진 소화상 공간에 있어서의 각 화소의 샘플값과, 이에 대응하는 위치의, 제 2 보전 단계의 치환 처리에 의해 얻어진 소화상 공간의 각 화소의 샘플값을 평균화하여, 소화상 공간을 구성하는 각 화소의 샘플값을 구한다.
이러한 보전 처리에 의해, 상기 소화상 공간(401, 403)은 각각 도 3a에 도시하는 샘플값을 갖는 화소로 이루어지는 소화상 공간(405)으로 변환되고, 상기 소화상 공간(402, 404)은 각각 도 3b에 도시하는 샘플값을 갖는 화소로 이루어지는 소화상 공간(406)으로 변환된다.
이들 보전 처리에 의해 얻어지는 소화상 공간을, 종래 방법에 의해 얻어지는 기수 필드 화상 공간(381) 및 우수 필드 화상 공간(382)(도 20 참조)과 비교하면, 각 소화상 공간(405, 406)(도 3 참조)은 이를 구성하는 화소의 샘플값이 균일한 것으로 되어 있어, 해당 각 소화상 공간에 대응하는 화상 신호에는 고주파 성분이 도입되어 있지 않은 것을 알 수 있다.
그리고, 마지막 단계 S14에서는, 상기 재표본화 처리가 실시된 원화상 공간이, 상기 디지털 화상 신호를 구성하는 최종 프레임에 대응하는 것인지의 여부를 판정하여, 상기 원화상 공간이 최종 프레임에 대응하는 것인 경우에는, 상기 단계 S11∼S14의 처리를 종료한다(단계 S15). 한편, 상기 원화상 공간이 최종 프레임에 대응하는 것이 아니면, 다음 프레임에 대응하는 원화상 공간에 대하여 상기 단계 S11∼단계 S14의 처리를 실행한다.
이와 같이 본 실시예 1에서는, 입력되는 디지털 화상 신호에 대응하는 원화상 공간(301)에 있어서의 화소를 수평 방향으로 1 화소 간격으로 또한 수직 방향으로 1 화소행 간격으로 추출해서, 해당 추출한 복수의 화소를 재배열하여 4개의 소화상 공간(401∼404)을 형성하고, 이들 소화상 공간에 대하여 화소값의 보전 처리를 실시하도록 하였기 때문에, 화소값의 보전 처리가 인접하는 주사선 사이에서의 화소값 상관이 낮은 원화상 공간이 아니라, 인접하는 주사선 사이에서의 화소값 상관이 높은 복수의 소화상 공간에 대하여 실시되게 된다. 즉, 보전 처리가 실시된 소화상 공간은, 상기 화소값 상관이 높은 것으로 되어 있다. 이 때문에, 예를 들어, 물체의 움직임이 큰 비월 화상에 보전 처리함으로써, 해당 비월 화상에 대응하는 디지털 화상 신호에 고주파 성분이 도입되는 것을 막을 수 있고, 나아가서는, 비월 화상 등에 대한 차분 부호화 처리 혹은 차분 복호화 처리를, 보전 처리에 기인하는 부호화 효율의 저하를 억제하면서, 높은 부호화 효율로 실행할 수 있는 효과가 있다.
또, 상기 실시예 1에서는, 원화상 공간이 물체를 포함하는 오브젝트 영역에 대응하는 것으로 하여 설명하였지만, 상기 원화상 공간은 오브젝트 영역을 분할한, 부호화 처리의 단위로서의 블럭에 대응하는 것이어도 좋다. 이 경우에는, 상기 단계 S14에서는, 우선, 원화상 공간이 오브젝트 영역을 구성하는 최종 블럭에 대응하는 것인지의 여부를 판정하여, 상기 원화상 공간이 최종 블럭에 대응하는 것이면, 다음 블럭에 대한 원화상 공간에 대하여 상기 단계 S12∼단계 S14의 처리를 실행한다. 또한, 상기 원화상 공간이 최종 블럭에 대응하는 것이면, 원화상 공간이 최종 프레임에 대응하는 것인지의 여부를 판정하여, 이 판정 결과에 따라, 처리를 종료할 것인지, 다음 프레임의 최초의 블럭에 대응하는 원화상 공간에 대하여 상기 단계 S12∼단계 S14의 처리를 실행할 것인지를 판정한다.
또한, 상기 실시예 1에서는, 보전 처리는 제 1∼제 3의 3개의 보전 단계로 구성되어 있는 경우를 나타내었지만, 상기 보전 처리로는, 제 1 보전 단계 혹은 제 2 보전 단계만을 실행하여도 좋다.
또한, 상기 실시예 1에서는, 소화상 공간에 있어서의 비유의 화소의 샘플값으로 치환하는 보전값에는, 비유의 화소에 인접하는 유의 화소의 샘플값을 이용하였지만, 상기 보전값로서, 상기 소화상 공간에 있어서의 복수의 유의 화소의 샘플값의 평균값, 혹은 소화상 공간에 있어서의 물체의 경계에 위치하는 복수의 유의 화소의 샘플값의 평균값을 이용하여도 좋다.
또한,상기 실시예 1에서는, 상기 소화상 공간을 형성하기 위한 재표본화시, 디지털 화상 신호에 대응하는 원화상 공간에 있어서의 화소를, 수평 방향으로 1 화소 간격으로 또한 수직 방향으로 1라인 간격으로 추출하도록 하였지만, 원화상 공간에 있어서의 화소의 추출은, 일반적으로 수평 방향으로는 N(N은 양의 정수)개의 화소 간격으로 또한 수직 방향으로는 N개의 화소행 간격으로 실행하도록 하면 된다. 여기서 추출하는 화소의 간격은, 디지털 화상 신호에 의해 형성되는 화상의 줄무늬 모양 등에 따라 적절하게 변경하면 된다.
이어서, 실시예 1의 변형예 1∼3에 대하여 설명한다.
(실시예 1의 변형예 1)
도 4는 본 발명의 실시예 1의 변형예 1에 따른 디지털 화상 보전 방법을 설명하기 위한 도면으로서, 해당 보전 방법에 있어서의 화상 처리의 흐름을 도시하고 있다.
이 실시예 1의 변형예 1의 디지털 화상 보전 방법은, 도 1에 도시하는 실시예 1의 디지털 보전 방법에 있어서의 각 단계 S11∼S15의 처리에, 단계 S16에 있어서의 화소의 머지 처리를 추가한 것이다.
이 단계 S16에서는, 단계 S13에서의 보전 처리에 의해 얻어진 소화상 공간(405, 406)을 구성하는 모든 화소를, 입력된 디지털 화상 신호에 대응하는 원화상 공간과 동일한 화소로 되도록 재배열하고, 원화상 공간(301)과 동일 사이즈의 머지 화상 공간(407)을 형성한다(도 3c 참조).
구체적으로는, 소화상 공간(401)에 대한 보전 처리에 의해 얻어지는 소화상 공간(405)의 각 화소를, 종횡의 사이즈가 해당 소화상 공간의 2배인 머지 화상 공간의 기수번째의 화소열과 기수번째의 화소행의 교차 위치에, 소화상 공간(403)에 대한 보전 처리에 의해 얻어지는 소화상 공간(405)의 화소를, 상기 머지 화상 공간의 우수번째의 화소열과 기수번째의 화소행의 교차 위치에 배치하고, 또한 소화상 공간(402)에 대한 보전 처리에 의해 얻어지는 소화상 공간(406)의 화소를, 상기 머지 화상 공간의 기수번째의 화소열과 우수번째의 화소행의 교차 위치에, 소화상 공간(404)에 대한 보전 처리에 의해 얻어지는 소화상 공간(406)의 화소를, 상기 머지 화상 공간의 우수번째의 화소열과 우수번째의 화소행의 교차 위치에 배치한다.
이러한 구성의 본 실시예 1의 변형예 1에서는, 입력되는 디지털 화상 신호에 대응하는 원화상 공간(301)에 있어서의 화소를, 수평 방향으로 1 화소 간격으로 또한 수직 방향으로 1 화소행 간격으로 추출해서, 해당 추출한 복수의 화소를 재배열하여 4개의 소화상 공간(401∼404)을 형성하여, 이들 소화상 공간에 대하여 화소값의 보전 처리를 실시한 후, 해당 보전 처리를 실시한 소화상 공간(405, 406)의 화소의 재배열 처리에 의해, 원화상 공간(301)과 동일한 화소 배열의 머지 화상 공간(407)을 형성하기 때문에, 보전 처리가 실시된 머지 화상 공간에 대해서는, 부호화 등의 화상 처리를, 보전 처리를 실시하고 있지 않은 원화상 공간과 완전히 동일하게 실행하는 수 있어, 보전 처리에 따라 보전 처리후의 화상 신호의 처리를 변경할 필요가 없다고 하는 효과가 있다.
(실시예 1의 변형예 2)
도 5는 본 발명의 실시예 1의 변형예 2에 따른 디지털 화상 보전 방법을 설명하기 위한 도면으로서, 해당 보전 방법에 있어서의 처리의 흐름을 도시하고 있다.
이 실시예 1의 변형예 2의 디지털 화상 보전 방법은, 도 5에 도시하는 바와 같이 표본화된 입력 디지털 화상 신호에 의해 형성되는 원화상 공간에 대하여, 인접하는 화소열 사이에서의 화소값 상관의 크기를 평가하는 단계 S52와, 해당 평가 결과에 근거하여, 상기 원화상 공간에 대한 재표본화 처리를 실행하여 복수의 소화상 공간을 형성할 것인지의 여부를 판정하는 단계 S53과, 원화상 공간에 대한 재표본화를 실행한 후에 상기 소화상 공간에 대한 보전 처리를 실행하는 단계 S54와, 원화상 공간에 대하여 직접 보전 처리를 실시하는 단계 S55를 포함하는 것이다.
다음에 작용 효과에 대하여 설명한다.
이 실시예 1의 변형예 2의 보전 방법에서는, 단계 S51에서, 화소가 매트릭스 형상으로 배열된 소정의 원화상 공간을 형성하는 디지털 화상 신호가 입력된다. 이어지는 단계 S52에서, 해당 원화상 공간에 대하여, 인접하는 화소열 사이에서의 화소값 상관의 크기를 구한다. 구체적으로는, 이 변형예에서는, 상기 원화상 공간에 있어서의 인접하는 기수 화소열과 우수 화소열을 1조로 하여 각 조의 기수 화소열과 우수 화소열 사이에서 각 화소의 샘플값의 차분을 구하고, 이 차분의 절대값을 상기 원화상 공간에 있어서의 각 조의 기수 화소열과 우수 화소열에 대하여 서로 더해 제 1 평가값을 생성한다.
또한, 상기 원화상 공간에 있어서의 이웃하는 기수 화소열을 1조로 하여 이들 사이에서 샘플값의 차분(제 1 차분)을 구함과 동시에, 해당 원화상 공간에 있어서의 이웃하는 우수 화소열을 1조로 하여 이들 사이에서 샘플값의 차분(제 2 차분)을 구하여, 이들 제 1, 제 2 차분의 절대값을 상기 화상 공간에 있어서의 각 조의 우수 화소열과 각 조의 기수 화소열에 대하여 서로 더해 제 2 평가값을 생성한다.
그리고, 단계 S53에서, 상기 제 1 평가값과 제 2 평가값을 비교한다. 이 비교 결과, 제 2 평가값이 제 1 평가값에 비해서 작은 경우, 즉 기수 화소열과 우수 화소열 사이에서의 화소값 상관이, 기수 화소열 사이 및 우수 화소열 사이에서의 화소값 상관에 비해서 낮은 경우, 단계 S54에서, 상기 원화상 공간에 대한 재표본화 처리를 실행한 후에 보전 처리를 실행한다. 즉, 상기 원화상 공간을 구성하는 화소를 1 화소열 간격으로 추출하여, 기수 화소열을 구성하는 화소만으로 이루어지는 제 1 소화상 공간과 우수 화소열을 구성하는 화소만으로 이루어지는 제 2 소화상 공간을 생성한 후, 각 소화상 공간에 대한 화소값의 보전 처리를 실행한다.
한편, 상기 단계 S53에서의 비교 결과, 제 2 평가값이 제 1 평가값에 비해서 작지 않은 경우, 단계 S55에서, 원화상 공간에 대한 재표본화 처리를 실행하지 않고서, 해당 원화상 공간에 대한 보전 처리를 실행한다. 또 여기서의 보전 처리는, 상기 실시예 1의 단계 S13에서 실행되는 보전 처리와 완전히 동일하다.
이와 같이 본 실시예 1의 변형예 2에서는, 입력되는 디지털 화상 신호에 대한 원화상 공간에 대하여, 인접하는 화소열 사이에서의 화소값 상관을 판정하고, 이 판정 결과에 따라, 원화상 공간에 대한 재표본화 처리를 실행하여 얻어지는 소화상 공간에 대하여 보전 처리를 실시할 것인지, 해당 원화상 공간에 대하여 직접보전 처리를 실시할 것인지의 여부를 선택하도록 하였기 때문에, 입력되는 디지털 화상 신호의 성질에 따라 보전 처리를 실행할 수 있어, 인접하는 화소열 사이에서의 화소값 상관이 낮은 원화상 공간에 보전 처리가 실시되는 것을 막을 수 있으며, 화상 신호의 부호화 처리 혹은 복호화 처리에 있어서의 보전 처리를, 부호화 효율의 열화를 초래하는 일없이 실행할 수 있다.
또, 상기 실시예 1의 변형예 2에서는, 원화상 공간에 있어서의 화소열 사이에서의 화소값 상관을 판정하여, 원화상 공간을 기수 화소열로 이루어지는 소화상 공간과, 우수 화소열로 이루어지는 소화상 공간으로 나누는 경우에 대하여 설명하였지만, 상기 화소값 상관은 원화상 공간에 있어서의 화소행 사이에서 판정하도록 하더라도 좋다. 이 경우에도 상기 실시예 1의 변형예 2와 마찬가지로, 2개의 평가값을 구하여 이들을 비교함으로써 그 판정을 실행해서, 이 판정 결과에 근거하여, 보전 처리 전에 원화상 공간에 대한 수직 방향의 재표본화 처리, 즉 원화상 공간을 기수 화소행으로 이루어지는 소화상 공간(기수 필드)과, 우수 화소행으로 이루어지는 소화상 공간(우수 필드)로 나누는 처리를 실행할 것인지의 여부를 결정하도록 하여도 좋다.
또한, 상기 실시예 1의 변형예 2에서는, 원화상 공간에 있어서의 화소를, 1 화소열(또는 1 화소행) 간격으로 추출하여, 추출된 화소열(혹은 화소행) 사이에서샘플값의 상관을 비교하는 경우에 대하여 설명하였지만, 일반적으로 원화상 공간의 화소를 그 수직 방향(혹은 수평 방향)을 따라 N(N= 1, 2, 3, …) 화소 간격으로 추출하여, 해당 추출한 화소 사이에서 화소값 상관을 구하여 복수의 평가값을 생성하고, 이들 평가값의 대소 관계에 따라, 보전 처리 전에 수직 방향(혹은 수평 방향)의 N 화소 간격으로 재표본화를 실행할 것인지의 여부를 결정하도록 하여도 좋다.
또한, 원화상 공간으로부터 추출한 화소의 샘플값에 근거하여 평가값을 계산할 때에 이용하는 함수는, 상술한 바와 같이 샘플값의 차분 절대값의 합을 평가값으로 하는 것에 한정되지 않고, 다른 함수를 이용하여도 무방하며, 또한 평가값은 유의 샘플에만 근거하여 계산하여도 무방하다.
(실시예 1의 변형예 3)
도 6은 본 발명의 실시예 1의 변형예 3에 따른 디지털 화상 보전 방법을 설명하기 위한 도면으로서, 상기 보전 방법에 있어서의 처리의 흐름을 도시하고 있다.
본 실시예 1의 변형예 3의 디지털 화상 보전 방법은, 도 6에 도시하는 바와 같이 표본화된 입력 디지털 화상 신호에 의해 형성되는 원화상 공간에 대하여, 인접하는 주사선(화소행) 사이에서의 화소값 상관의 크기를 평가하는 단계 S62와, 해당 평가 결과에 근거하여, 상기 원화상 공간에의 필드에 있어서의 화소값 상관의 크기를 판정하는 단계 S63과, 상기 원화상 공간에 대한 재표본화 처리를 실시하여, 기수 필드에 대응하는 소화상 공간과 우수 필드에 대응하는 소화상 공간을 형성하고, 각 소화상 공간, 즉 필드 단위로 보전 처리를 실행하는 단계 S64와, 원화상 공간에 대하여 프레임 단위로 보전 처리를 실시하는 단계 S65를 포함하는 것이다.
다음에 작용 효과에 대하여 설명한다.
본 실시예 1의 변형예 3의 보전 방법에서는, 단계 S61에서, 화소가 매트릭스 형상으로 배열된 소정의 원화상 공간을 형성하는 디지털 화상 신호가 입력된다. 여기서 디지털 화상 신호는 비월 화상에 대응하여, 예를 들어 도 2에 도시하는 화상 공간(301)을 형성하는 것으로 한다.
다음에, 단계 S62에서는, 상기 원화상 공간에 있어서의 주사선 사이에서의 화소값 상관을 구한다. 즉, 도 5에서 설명한 방법에 의해, 상기 원화상 공간에 있어서의 기수라인과 우수라인 사이에서의 화소값 상관을 나타내는 제 1 평가값을 생성함과 동시에, 상기 원화상 공간에 있어서의 기수라인 사이 및 우수라인 사이에서의 화소값 상관을 나타내는 제 2 평가값을 생성한다.
이어서, 단계 S63에서, 제 1 평가값과 제 2 평가값을 비교함으로써, 필드에 있어서의 화소값 상관이 프레임에 있어서의 화소값 상관보다 큰지의 여부를 판정한다.
상기 판정 결과, 제 2 평가값이 제 1 평가값보다 작은 경우, 즉 필드에서의 화소값 상관이 프레임에서의 화소값 상관보다 큰 경우, 단계 S64에서, 디지털 화상 신호에 의해 형성되는 원화상 공간에 대한 보전 처리를 필드 단위로 실행한다. 즉, 기수라인만으로 이루어지는 소화상 공간과 우수라인만으로 이루어지는 소화상 공간을 생성하고, 각 소화상 공간(필드)을 단위로 하여 보전 처리를 실행한다. 한편, 제 2 평가값이 제 1 평가값보다 작지 않은 경우, 단계 S65에서, 상기 원화상 공간에 대하여 프레임 단위로, 즉 기수라인과 우수라인이 머지된 상태에서 보전 처리를 실행한다.
도 7은 도 2의 원화상 공간(301)에 대한 필드 단위의 보전 처리를 설명하기 위한 도면으로서, 도 7a는 상기 원화상 공간(301)에 있어서의 기수 필드에 대응하는 소화상 공간(701) 및 해당 소화상 공간(701)에 보전 처리를 실시하여 얻어지는 소화상 공간(703)을 도시하고, 도 7b는 상기 원화상 공간(301)에 있어서의 우수 필드에 대응하는 소화상 공간(702) 및 해당 소화상 공간(702)에 보전 처리를 실시하여 얻어지는 소화상 공간(704)을 도시하고 있다.
도 7로부터, 상기 소화상 공간(701, 702)에 대하여, 고주파 성분을 도입하지않고서 보전 처리를 실시할 수 있는 것을 알 수 있다.
이와 같이 본 실시예 1의 변형예 3에서는, 입력되는 디지털 화상 신호에 대응하는 원화상 공간에 대하여 필드 단위로 보전할 것인지, 프레임 단위로 보전할 것인지의 여부를 판정하여, 둘중 어느 한 단위로 원화상 공간에 대하여 화소값의 보전 처리를 실시하도록 하였기 때문에, 비월 화상에 대한 보전 처리를, 비월 화상에 대응하는 화상 신호의 부호화 효율의 열화를 초래하는 일없이 실행할 수 있다.
(실시예 2)
도 8은 본 발명의 실시예 2에 따른 디지털 화상 보전 방법을 설명하기 위한 모식도로서, 보전 처리의 대상으로 되는 디지털 화상 신호에 의해 형성되는 원화상공간과, 이 원화상 공간에 보전 처리를 실시하여 얻어지는 보전 완료 화상 공간을 도시하고 있다.
본 실시예 2의 디지털 화상 보전 방법은, 상기 실시예 1의 디지털 화상 보전 방법에 있어서의 재표본화를 실행하는 단계 S12 및 보전 처리를 실행하는 단계 S13 대신에, 디지털 화상 신호에 대응하는 원화상 공간(801)에 대하여 직접 보전 처리를 실시하는, 즉 원화상 공간(801)에 있어서의 비유의 화소의 샘플값을, 소정의 규칙에 근거하여 그 유의 화소의 샘플값으로부터 얻어지는 보전값으로 치환하는 단계를 포함하고 있다. 여기서, 상기 보전값의 생성에 이용되는 유의 화소로서는, 상기 원화상 공간에 있어서 비유의 화소에 대하여 수평 방향으로는 인접하고, 수직 방향으로는 1 화소를 거쳐서 인접하는 화소를 이용한다.
즉, 본 실시예 2의 디지털 화상 보전 처리는, 비유의 화소의 샘플값의 치환을 수평 방향을 따라 순차적으로 실행하는 제 1 치환 단계 S21(도 8a 참조)과, 비유의 화소의 샘플값 치환을 수직 방향을 따라 실행하는 제 2 치환 단계 S22(도 8b 참조)를 구비하고 있다. 이 제 2 치환 단계 S22에서는 상기 제 1 치환 단계 S21에 의해 얻어지는 화상 공간(801a)에 있어서의 비유의 화소의 샘플값을, 해당 비유의 화소가 포함되는 화소행에 1 화소행을 거쳐서 인접하는 화소행의 화소의 샘플값과 치환하도록 되어 있다.
다음에 작용 효과에 대하여 설명한다.
상기 원화상 공간(801)은 기수라인(화소행)과 우수라인(화소행) 사이에서의 화소값 상관이 낮기 때문에, 전술한 실시예 1에서 설명한 바와 같이, 상기 화상 공간(801)을, 기수라인으로 이루어지는 소화상 공간과 우수라인으로 이루어지는 소화상 공간으로 나누어, 각 소화상 공간에 대하여 각각 보전 처리를 실시하는 방법이 유효하다 것은 말할 필요도 없지만, 이러한 기수라인 사이 및 우수라인 사이에서의 화소값 상관이 큰 원화상 공간을 형성하는 화상 신호에 대해서는, 보전 대상으로 되는 화소, 즉 원화상 공간에 있어서의 비유의 화소에 대하여, 수직 방향으로는 1 화소 간격(1화소를 거쳐 인접하여 위치하는 2개 화소의 간격)만큼 떨어져 위치하는 유의 화소의 샘플값을 이용하여 보전하는 방법도 유효하다.
그래서, 본 실시예 2의 디지털 화상 보전 방법에서는, 우선, 도 8a에 도시하는 바와 같이, 상기 원화상 공간(801)에 있어서의 비유의 화소의 샘플값을 이것에 인접하는 유의 화소의 샘플값과 치환하는 처리를, 수평 방향을 따라 나열되는 비유의 화소에 대하여, 해당 원화상 공간(801)의 안쪽의 것으로부터 순서대로 실행한다(제 1 치환 단계 S21).
다음에, 도 8b에 도시하는 바와 같이, 상기 제 1 치환 단계 S21에 의해 얻어지는 화상 공간(801a)에 있어서의 화소행(812)의 비유의 화소의 샘플값을, 상기 화소행(812)에 해당 화소행(813)을 거쳐 인접하는 화소행(814)에 있어서의 화소의 샘플값으로 치환하고, 상기 화상 공간(801a)에 있어서의 화소행(811)의 비유의 화소의 샘플을, 해당 화소행(811)에 해당 화소행(812)을 거쳐 인접하는 화소행(813)에 있어서의 화소의 샘플값으로 치환한다(제 2 치환 단계 S22).
본 실시예 2의 디지털 화상 보전 처리에서는, 상기 실시예 1에 설명하는, 입력되는 디지털 화상 신호에 대응하는 원화상 공간에 대하여 재표본화 처리를 실시하여, 이에 따라 얻어지는 화상 공간에 대하여 보전 처리를 실시하는 디지털 화상 보전 방법과 마찬가지의 보전 결과를 얻을 수 있다. 즉, 상기 디지털 화상 신호가 비월 화상에 대응하는 것이어도, 상기 보전 처리에 의해 원화상 공간에 대응하는 디지털 화상 신호에 고주파 성분이 도입되는 것을 막을 수 있으며, 나아가서는, 비월 화상 등에 대한 차분 부호화 처리 혹은 차분 복호화 처리를, 보전 처리에 기인하는 부호화 효율의 저하를 억제하면서, 높은 부호화 효율로 실행할 수 있는 효과가 있다.
또, 상기 실시예 2에서는, 비유의 화소에 대한 샘플값의 제 2 치환 단계 S22에서, 해당 비유의 화소로부터 수직 방향으로 1 샘플 간격만큼 떨어진 유의 화소의 샘플값을 보전 화소값으로서 이용하는 경우에 대하여 설명하였지만, 보전값으로서 이용하는 샘플값은 이것에 한정되는 것이 아니라, 비유의 화소에 대한 샘플값의 보전 처리에는, 일반적에는, 해당 비유의 화소로부터 수직 방향으로 N 샘플 간격만큼 떨어진 유의 화소의 샘플값을 이용할 수 있다.
또한, 이 실시예 2에서는, 비유의 화소의 샘플값의 치환을 수평 방향을 따라서 순차적으로 실행하고 나서, 비유의 화소의 샘플값의 치환을 수직 방향을 따라 1 화소 간격으로 실행하도록 하였지만, 비유의 화소의 샘플값의 치환을 수직 방향을 따라 순차적으로 실행하고 나서, 비유의 화소의 샘플값의 치환을 수평 방향을 따라 1 화소 간격으로 실행하도록 하여도 좋다. 이 경우, 세로의 줄무늬 모양을 갖는 순차 화상에 대하여 유효한 보전 처리를 실행할 수 있다.
이하, 본 발명의 실시예 3에서, 상술한 본 발명의 디지털 화상 보전 방법을이용한 화상 부호화 장치에 대하여, 또한 본 발명의 실시예 4에서, 본 발명의 디지털 화상 보전 방법을 이용한 화상 복호화 장치에 대하여 설명한다.
(실시예 3)
도 9는 본 발명의 실시예 3에 의한 화상 처리 장치인 화상 부호화 장치를 설명하기 위한 블럭도로서, 도 9a는 해당 화상 부호화 장치의 전체 구성을, 도 9b는 해당 화상 부호화 장치를 구성하는 보전 처리부의 구성을 도시하는 도면이다.
이 실시예 3의 화상 부호화 장치(100a)는, 입력 단자(101a)에 공급된 입력 디지털 화상 신호 Sg를, 부호화 처리의 단위로서의 16×16 화소로 이루어지는 블럭에 대응하도록 분할하여 화상 신호(이하, 블럭화 화상 신호라고도 칭함) Bg를 출력하는 블럭화기(101)와, 해당 블럭화기(101)의 출력 Bg에 근거하여, 상기 디지털 화상 신호 Sg에 대응하는 화상이 비월 화상인지 순차 화상인지의 여부를 식별하여, 이 식별 결과에 따른 표본 식별자 Di를 출력하는 비월 검출기(104)와, 부호화 처리의 대상으로 되는 대상 블럭에 대응하는 예측 화상 신호 Prg를 생성하는 예측 처리부(120a)를 갖고 있다.
또한, 상기 화상 부호화 장치(100a)는, 상기 대상 블럭의 화상 신호 Bg와 그 예측 화상 신호 Prg의 차분을 차분 신호(예측 오차 신호) Dg로서 출력하는 감산기(102)와, 해당 감산기(102)의 출력 Dg에 상기 표본 식별자 Di에 따른 정보 압축 처리를 실시하여 압축 차분 신호 Qg를 출력하는 정보 압축기(110)와, 해당 정보 압축기(110)의 출력 Qg에 대하여 가변 길이 부호화 처리를 실시하여 화상 부호화 신호 Eg를 출력하는 가변 길이 부호화기(VLC)(103)를 갖고 있다.
여기서, 상기 정보 압축기(110)는 대상 블럭의 차분 신호 Dg에 대하여, 상기 표본 식별자 Di에 따라, 해당 차분 신호 Dg에 의해 형성되는 차분 화상 공간을 구성하는 화소를 재배열하는 화소 재배열기(113)과, 이 화소 재배열기(113)의 출력 PDg에 대하여 이산 코사인 변환 처리를 실시하는 DCT기(111)와, 해당 DCT기(111)의 출력 Tg를 양자화하여 양자화 계수를 상기 압축 차분 신호 Qg로서 출력하는 양자화기(112)로 구성되어 있다. 여기서 이산 코사인 변환 처리는, 상기 16×16 화소로 이루어지는 블럭을 4분할하여 얻어지는 8×8 화소로 이루어지는 소블럭을 단위로 하여 실행된다. 이 때, 상기 재배열 처리가 실해되어 있는 경우에는, 도 10c에 도시하는 바와 같이 블럭(250c)을 소블럭(251∼254)으로 분할하고, 상기 재배열 처리가 실해되어 있지 않은 경우에는, 도 10b에 도시하는 바와 같이 블럭(250b)을 소블럭(255∼258)으로 분할한다.
그리고, 상기 화소 재배열기(113)는 상기 표본 식별자 Di에 따라, 도 10a에 도시하는 바와 같이, 차분 신호 Dg에 대응하는 화상 공간(250)에 대한 화소의 재배열 처리에 의해 재배열 완료 화상 공간(250a)을 생성하는 구성으로 되어 있다. 이 재배열 완료 화상 공간(250a)에서는, 그 16×8 화소로 이루어지는 상부 영역(250a1)은, 차분 신호 Dg에 대응하는 화상 공간(250)의 기수 화소행 상의 화소로 이루어지고, 그 16×8 화소로 이루어지는 하부 영역(250a2)은, 차분 신호 Dg에 대응하는 화상 공간(250)의 우수 화소행 상의 화소로 이루어진다.
또한, 상기 예측 처리부(120a)는, 상기 정보 압축기(110)의 출력 Qg에 정보신장 처리를 실시하여 신장 차분 신호 ITg를 출력하는 정보 신장기(130)와, 해당 신장 차분 신호 ITg를 상기 예측 화상 신호 Prg와 가산하여 복원 화상 신호 Lrg를 출력하는 가산기(123)를 갖고 있다. 여기서, 상기 정보 신장기(130)는, 상기 정보 압축기(110)의 출력 Qg를 역양자화하는 역양자화기(121)와, 해당 역양자화기(121)의 출력 IQg에 대하여, 주파수 영역의 데이터를 공간 영역의 데이터로 변환하는 역 DCT 처리를 실시하여 상기 신장 차분 신호 ITg를 출력하는 IDCT기(122)로 구성되어 있다.
또한, 상기 예측 처리부(120a)는 상기 가산기(123)로부터의 복원 화상 신호 Lrg에 대하여 상기 표본 식별자 Di에 따른 보전 처리를 실시하는 보전 처리기(150)와, 해당 보전 처리가 실시된 보전 완료 복원 화상 신호 Pag로부터 예측 화상 신호 Prg를 생성하는 예측 신호 생성부(140)를 갖고 있다.
여기서, 이 예측 신호 생성부(140)는, 상기 보전 처리기(150)의 출력 Pag를 저장하는 프레임 메모리(124)와, 상기 프레임 메모리(124)에 저장되어 있는 화상 데이타 Mg, 대상 블럭의 화상 신호 Bg 및 상기 표본 식별자 Di에 근거하여, 대상 블럭에 대응하는 움직임 벡터 MV를 구하여 출력하는 움직임 검출기(ME)(125)와, 해당 움직임 검출기(125)로부터의 움직임 벡터 MV에 근거하여 상기 프레임 메모리(124)의 어드레스 Add1을 발생하고, 해당 어드레스 Add1에 대응하는 메모리 영역의 화상 신호를 상기 예측 화상 신호 Prg로서 출력하는 움직임 보상기(MC)(126)를 갖고 있다. 또, 상기 움직임 검출기(125)는 상기 표본 식별자 Di에 근거하여, 프레임에 대응하는 움직임 벡터와 필드에 대응하는 움직임 벡터를생성하는 구성으로 되어 있다. 이 움직임 벡터 MV 및 표본 식별자 Di는 상기 가변 길이 부호화기(103)에 의해, 상기 압축 차분 신호 Qg와 함께 가변 길이 부호화되게 되어 있다.
또한, 상기 보전 처리기(150)는, 도 9b에 도시하는 바와 같이, 상기 가산기(123)의 출력 Lrg에 대하여 프레임 단위로 보전 처리를 실시하는 프레임 보전기(128a)와, 해당 가산기(123)의 출력인 복원 화상 신호 Lrg에 대하여 필드 단위로 보전 처리를 실시하는 필드 보전기(128b)와, 이들 보전기의 전단에 마련되고, 상기 표본 식별자 Di에 근거하여, 상기 가산기(123)로부터의 복원 화상 신호 Lrg를 상기한쪽의 보전기에 공급하는 전단 스위치(127a)와, 상기 양 보전기의 후단에 마련되고, 상기 표본 식별자 Di에 근거하여, 상기 양 보전기의 출력 Pa1 및 Pa2의 한쪽을 선택하는 후단 스위치(127b)와, 해당 후단 스위치(127b)의 선택 신호 SPa인 보전 완료 복원 신호를 수신하고, 이 보전 완료 복원 신호에 의해 형성되는 화상 공간에 대하여 화소의 재배열 처리를 실행하는 화소 재배열기(129)로 구성되어 있다.
여기서, 상기 프레임 보전기(128a)는, 도 10b에 도시하는 바와 같이, 복원 화상 신호 Lrg에 대한 보전 처리를, 상기 복원 화상 신호에 대응하는 화상 공간(16×16 화소)(250b)에서의 4개의 소블럭(8×8 화소)(255∼258)을 일괄하여 실행하는 구성으로 되어 있다. 또한, 상기 필드 보전기(128b)는, 도 10c에 도시하는 바와 같이, 상기 복원 화상 신호 Lrg에 대한 보전 처리를, 해당 복원 화상 신호에 대응하는 화상 공간(250c)의 상부 영역(250c1)에 있어서의, 제 1 필드를 구성하는 라인으로 이루어지는 소블럭(251, 252)을 일괄하여 실행하고, 또한 해당 화상 공간(250c)의 하부 영역(250c2)에 있어서의, 제 2 필드를 구성하는 라인으로 이루어지는 소블럭(253, 254)을 일괄하여 실행하는 구성으로 되어 있다. 또한 상기 화소 재배열기(129)는 상기 필드 보전기(128b)의 출력인 보전 완료 복원 화상 신호에 대응하는 화상 공간(250d)의 화소를 재배열하여, 해당 화상 공간(250d)의 상부 영역(250d1)을 구성하는 8개의 화소행과, 하부 영역(250d2)을 구성하는 8개의 화소행을 교대로 배열한 머지 복원 화상 공간(250e)에 대응하는 화상 신호 Pag를 출력하는 구성으로 되어 있다.
다음에 상기 화상 부호화 장치(100a)로부터 출력되는 화상 부호화 신호의 데이터 구조에 대하여 설명한다. 도 11은 해당 화상 부호화 신호(비트 스트림)의 데이터 구조를 모식적으로 도시하고 있다.
이 비트 스트림(200)에서는, 1 화면의 화상에 대응하는 비트열 F는, 부호열의 개시 위치를 나타내는 화상 동기 신호(203)와, 부호화시의 양자화 처리에 있어서의 양자화폭(양자화 단계)를 나타내는 양자화 단계값(204)과, 16×16 화소로 이루어지는 각 블럭(매크로 블럭) M(1), M(2), M(3), …, M(i)에 대응하는 데이터 D(1), D(2), D(3), …, D(i)로 이루어진다. 또한 각 매크로 블럭에 대응하는 데이터 D(1), D(2), D(3)은 각각, 필드내에서의 화소값 상관이 프레임내에서의 화소값 상관에 비해서 작은지의 여부를 나타내는 표본 식별자(205, 208, 211)와, 가변 길이 부호화된 움직임 벡터(206, 209, 212)와, 각 매크로 블럭을 구성하는 8×8 화소로 이루어지는 서브 블럭에 대응한 DCT 계수(207, 210, 213)로 구성되어 있다.또, 도 11중, 참조부호 (214)는 상기 화면 F의 다음 화면에 대응하는 화상 동기 신호이다.
여기서, 화상 동기 신호(203, 214)는 1 화면의 화상에 대응하는 비트열의 선두에 배치되고, 해당 화상 동기 신호(203)에 이어서, 양자화에 이용되는 단계값(204), 표본 식별자(205), 움직임 벡터(206), 이산 코사인 변환(DCT)의 계수(207)의 압축 데이터가 이어진다. 화상 동기 신호(203)는 한 장의 화상(200)의 압축 데이터의 선두인 것을 나타내고, 일의적인 32 비트의 부호로 나타내어진다. 양자화 단계(204)는, DCT 계수를 역양자화하기 위한 5 비트의 파라미터이다.
다음에 동작에 대하여 설명한다.
본 화상 부호화 장치(100a)에 디지털 화상 신호 Sg가 입력되면, 해당 디지털 화상 신호 Sg는 블럭화기(101)에 의해, 1 화면(프레임)을 구분하는, 16×16 화소로 이루어지는 화상 공간(블럭)에 대응하도록 블럭화되어 출력된다. 그러면, 감산기(102)에서는, 이 블럭화 화상 신호 Bg와 예측 처리부(120a)로부터의 예측 화상 신호 Prg의 차분이 차분 신호(예측 오차 신호) Dg로서 정보 압축기(110)에 공급된다. 이 때, 상기 비월 검출기(104)에서는, 각 블럭의 화상 신호(블럭화 화상 신호) Bg에 근거하여, 입력 화상이 비월 화상인지 여부의 식별이 행해져, 이 식별 결과에 따른 표본 식별자 Di가 출력된다.
상기 차분 신호 Dg가 정보 압축기(110)에 공급되면, 화소 재배열기(113)에 의해 상기 표본 식별자 Di에 따라, 해당 차분 신호 Dg에 대한 재배열 처리가 행해진다. 즉 상기 디지털 화상 신호가 비월 화상에 대응하는 것이면, 해당 차분 신호Dg는 재배열 처리가 실시되어 DCT기(111)에 출력되고, 상기 디지털 화상 신호가 순차 화상에 대응하는 것이면, 해당 차분 신호 Dg는 재배열 처리가 실시되지 않은 채로 DCT기(111)에 출력된다. 그리고, DCT기(111)에서는, 상기 화소 재배열기(113)의 출력 PDg에 대하여 이산 코사인 변환 처리를 실시한다. 구체적으로는, 비월 화상에 대응하는 블럭에 대해서는 도 10c에 도시하는 바와 같이 블럭을 서브 블럭으로 분할하고, 한쪽 순차 화상에 대응하는 블럭에 대해서는 도 10b에 도시하는 바와 같이 블럭을 서브 블럭으로 분할하여, 개개의 서브 블럭을 단위로 하여 상기 출력 PDg에 DCT 처리를 실시한다. 이 DCT기(111)의 출력 Tg는 그 후단의 양자화기(112)에 의해 소정의 양자화 단계로서 양자화되고, 상기 차분 신호에 대응하는 양자화 계수 Qg로서 가변 길이 부호화기(103) 및 정보 신장기(130)에 출력된다.
이 정보 신장부(130)에서는, 대상 블럭의 압축 차분 신호 Qg가 신장되어 신장 차분 신호 ITg로 변환된다. 구체적으로는, 본 실시예에서는, 역양자화기(121)에 의해 상기 압축 차분 신호 Qg가 역양자화되고, 또한 역이산 코사인 변환기(IDCT)(122)에 의해, 역양자화기(121)의 출력 IQg에, 주파수 영역의 신호를 공간 영역의 신호로 변환하는 역주파수 변환 처리가 실시된다.
이 신장 차분 신호 ITg는 상기 가산기(123)에 의해 상기 예측 화상 신호 Prg와 가산되고, 해당 가산기(123)로부터는 복원 화상 신호 Lrg가 상기 보전 처리기(150)에 출력된다.
이 보전 처리부(150)에서는, 상기 복원 화상 신호 Lrg는, 스위치(127a)를 거쳐 프레임 보전기(128a) 및 필드 보전기(128b)의 한쪽에 공급된다. 이 때 상기 전단 스위치(127a)는, 상기 표본 식별자 Di에 의해 전환 제어되어 있어, 표본 식별자 Di의 값이 1로서, 즉 필드내의 상관이 높은 경우, 상기 복원 화상 신호 Lrg는 스위치(127a)를 거쳐 필드 보전기(128b)에 공급된 후, 필드내 보전 처리가 실시된다. 구체적으로는, 상기 복원 화상 신호에 대한 보전 처리는, 도 10c에 도시하는 바와 같이, 복원 화상 공간(250c)에 있어서의 제 1 필드를 구성하는 라인으로 이루어지는 소블럭(251, 252)을 일괄하여 실행하고, 또한 해당 복원 화상 공간(250c)에 있어서의 제 2 필드를 구성하는 라인으로 이루어지는 소블럭(253, 254)을 일괄하여 실행된다.
한편, 상기 표본 식별자 Di의 값이 0으로서, 즉 프레임내의 상관이 높을 경우, 상기 복원 화상 신호 Lrg는 스위치(127a)를 거쳐 프레임 보전기(128a)에 공급된 후, 프레임내 보전 처리가 실시된다. 구체적으로는, 도 10b에 도시하는 바와 같이 복원 화상 공간(250b)에 대한 보전 처리는, 블럭(250b)를 구성하는 소블럭(255∼258)을 일괄하여 실행된다.
이렇게 하여 보전 처리가 실시된 보전 복원 화상 신호 Pa1, Pa2는, 후단 스위치(127b)를 경유하여 화소 재배열기(129)로 전송된다. 이 화소 재배열기(129)에서는, 상기 표본 식별자 Di에 근거하여, 필드 단위로 보전된 매크로 블럭(250d)에 대해서는 제 1 필드를 구성하는 화소와 제 2 필드를 구성하는 화소가, 비월 화상에 대응한 화소 배열로 되도록 재배열된다. 즉, 도 10d에 도시하는 복원 화상 공간(250d)에 있어서의 화소가, 그 상부 영역(250d1)을 구성하는 화소행과, 그 하부 영역(250d2)을 구성하는 화소행이 교대로 배치되도록 재배열되고, 상기 차분 신호 Dg에 의해 형성되는 화상 공간과 동일한 화소 배열을 갖는 화상 공간(250e)를 형성하는 화상 신호를 얻을 수 있다. 한편, 프레임 단위로 보전 처리가 실시된 블럭에 대해서는, 상기 재배열기(129)에서는 화소의 재배열 처리는 실행되지 않는다.
이렇게 하여 재배열 처리가 실시된 보전 복원 화상 신호 Pag가 예측 신호 생성부(140)의 프레임 메모리(124)에 저장된다.
이 때 상기 예측 신호 생성부(140)에서는, 상기 대상 블럭의 화상 신호 Bg가 움직임 검출기(125)에 입력됨 동시에, 프레임 메모리(124)로부터는 보전 복원 화상 신호 Pag가, 부호화 처리가 이미 실시된 전(前) 프레임의 화상 신호로서 움직임 검출기(125)에 판독된다.
이 움직임 검출기(125)에서는, 블럭 매칭 등의 방법에 의해, 대상 블럭의 화상 신호 Bg에 대하여 오차가 가장 작은 화상 신호를 갖는, 이전 프레임에 있어서의 영역이 예측 영역으로서 검출되어, 해당 예측 영역의 위치를 나타내는 움직임 변위 정보(움직임 벡터) MV가 출력된다. 이 움직임 벡터 MV는 움직임 보상기(126)에 전송되고, 해당 움직임 보상기(126)에서는, 해당 움직임 벡터로부터 프레임 메모리(124)의 어드레스 Add1을 생성하여, 이 어드레스 Add1에 의해 이전 프레임의 예측 영역에 대응하는 화상 신호를 예측 화상 신호 Prg로서 판독한다.
또한, 이 때 상기 대상 블럭에 대한 움직임 벡터 MV, 표본 식별자 Di 및 차분 부호화 신호 Qg는 가변 길이 부호화기(103)에 공급되고, 대응하는 가변 길이 부호로 변환되어 화상 부호화 신호 Eg로서 출력 단자(101b)로부터 출력된다.
이와 같이 본 실시예 3에서는, 예측 처리부(120b)에서, 디지털 화상 신호의상태, 즉 디지털 화상 신호가 비월 화상과 순차 화상중 어느 것에 대응하는 것인지에 따라 보전 처리를 실행하도록 하였기 때문에, 비월 화상에 대한 차분 부호화 처리를 높은 부호화 효율로 실행할 수 있다.
이어서, 본 실시예 3의 변형예에 대하여 설명한다.
(실시예 3의 변형예 1)
도 12는 본 발명의 실시예 3의 변형예 1에 따른 화상 부호화 장치를 설명하기 위한 도면이다.
이 실시예 3의 변형예 1의 화상 부호화 장치(100b)는, 그 예측 처리부(120b)만이 상기 실시예 3의 화상 부호화 장치(100a)와 다른 구성으로 되어 있으며, 이 화상 부호화 장치(100b)의 예측 처리부(120b)는, 상기 실시예 1의 예측 처리부(120a)의 보전 처리기(150) 대신에, 가산기(123)의 출력인 복원 화상 신호 Lrg에 대하여, 그 화상 공간에 있어서의 화소를 재배열하는 머지 처리를 실시하는 머지 처리기(151)와, 해당 머지 처리기(151)의 출력 Mrg을 보전하는 보전 처리기(150b)를 구비한 구성으로 되어 있다.
여기서, 상기 머지 처리기(151)는, 도 10d에 도시하는 바와 같이, 화상 공간(250d)의 상부 영역(250d1)을 구성하는 화소행과 그 하부 영역(250d2)을 구성하는 화소행을 교대로 배열하여 화소의 재배열 처리를 실행하는 구성으로 되어 있다. 또한, 이 보전 처리기(150b)는, 상기 실시예 3의 보전 처리기(150)에 있어서의, 전단 및 후단 스위치(127a, 127b), 프레임 보전기(128a) 및 필드 보전기(128b)로 이루어지고, 상기 필드 보전기(128b)는, 상기 실시예 2의 디지털 화상 보전 방법에 의해 보전 처리를 실행하는 구성으로 되어 있다. 그리고, 그 밖의 구성은 상기 실시예 3과 완전히 동일하다.
이러한 구성의 실시예 3의 변형예 1에 있어서도 상기 실시예 3과 마찬가지의 효과가 있다.
(실시예 3의 변형예 2)
도 13은 본 발명의 실시예 3의 변형예 2에 따른 화상 부호화 장치를 설명하기 위한 도면으로서, 도 13a는 해당 화상 부호화 장치의 전체 구성을, 도 13b는 해당 화상 부호화 장치에 있어서의, 정보 압축기(110c)를 구성하는 보전 처리기(150c)의 구성을 나타내고 있다.
이 실시예 3의 변형예 2의 화상 부호화 장치(100c)는, 그 정보 압축기(110c)만이 상기 실시예 3의 화상 부호화 장치(100a)와 다른 구성으로 되어 있으며, 이 화상 부호화 장치(100c)의 정보 압축기(110c)는, 상기 실시예 3의 정보 압축기(110)에 있어서의 화소 재배열기(113)와 그 후단의 DCT기(111) 사이에, 해당 화소 재배열기(113)의 출력 PDg에 대하여 보전 처리를 실시하는 보전 처리기(150c)를 구비한 것이다.
여기서 상기 보전 처리기(150c)는, 상기 재배열기(113)의 출력 PDg에 대하여 프레임 단위로 보전 처리를 실시하는 프레임 보전기(158a)와, 해당 재배열기(113)의 출력 PDg에 대하여 필드 단위로 보전 처리를 실시하는 필드 보전기(158b)와, 이들 보전기의 전단에 마련되고, 상기 표본 식별자 Di에 근거하여, 상기 화소 재배열기(113)의 출력 PDg을 상기 한쪽의 보전기에 공급하는 전단 스위치(157a)와, 상기 양 보전기의 후단에 마련되고, 상기 표본 식별자 Di에 근거하여, 상기 양 보전기의 출력 PDg1 및 PDg2의 한쪽을 선택하는 후단 스위치(157b)를 구비하고 있다. 그리고 상기 프레임 보전기(158a) 및 필드 보전기(158b)는, 상기 실시예 3에 있어서의 프레임 보전기(128a) 및 필드 보전기(128b)와 완전히 동일한 보전 처리를 실행하는 구성으로 되어 있다. 또한, 그 밖의 구성은 상기 실시예 3과 완전히 동일하게 되어 있다.
이러한 구성의 실시예 3의 변형예 2에서는, 보전 처리를 실시한 차분 신호가 DCT기(111)로 공급되게 되기 때문에, 상기 실시예 3의 효과에 부가하여, DCT 처리의 효율을 향상시킬 수 있는 효과가 있다.
(실시예 4)
도 14는 본 발명의 실시예 4에 따른 화상 복호화 장치를 설명하기 위한 블럭도이다.
본 실시예 4의 화상 복호화 장치(900a)는, 화상 신호를 압축 부호화하여 얻어지는 화상 부호화 신호 Eg로서, 예를 들어 도 11에 도시하는 데이터 구조의 비트 스트림(200)을 수신하여, 해당 화상 부호화 신호 Eg에 복호화 처리를 실시하는 구성으로 되어 있다.
즉, 이 화상 복호화 장치(900a)는, 복호화 처리의 대상으로 되는 대상 영역(대상 블럭)에 대응하는 차분 부호화 신호 Eg를 수신하여, 해당 차분 부호화 신호 Eg를 해석해 가변 길이 복호화하는 데이터 해석기(902)와, 해당 데이터 해석기(902)의 출력 AEg에 대하여 신장 처리를 실시하여 신장 차분 신호 DEg를 출력하는 정보 신장기(903)와, 해당 정보 신장기(903)의 출력 DEg와, 대상 블럭에 대응하는 예측 화상 신호 Pg2를 가산하는 가산기(906)와, 해당 가산기(906)의 출력 PEg인 각 블럭에 대응하는 화상 재생 신호를 통합하여 주사선 구조의 화상 출력 신호 REg를 출력하는 역블럭화기(907)와, 상기 예측 화상 신호 Pg2를 생성하는 예측 처리부(910a)를 구비하고 있다.
여기서, 상기 정보 신장기(903)은 상기 데이터 해석기(902)의 출력 AEg에 역양자화 처리를 실시하는 역양자화기(904)와, 해당 역양자화기(904)의 출력 DEg1에 대하여 역주파수 변환 처리의 일종인 IDCT(역이산 코사인 변환) 처리를 실시하여 신장 차분 신호 DEg를 출력하는 IDCT 변환기(905)로 구성되어 있다.
또한, 상기 예측 처리부(910a)는, 상기 가산기(906)의 출력 PEg에 대하여 보전 처리를 실시하는 보전 처리기(920a)와, 해당 보전 처리기(920a)의 출력 Pa를 화상 재생 신호로서 저장하는 프레임 메모리(909)와, 해당 프레임 메모리(909)의 출력 Rg2와, 상기 데이터 해석기(902)에 의해 복호화된 대상 블럭에 대응하는 움직임 벡터 MV에 근거하여 해당 프레임 메모리(909)의 어드레스 Add2를 발생하여, 이 어드레스 Add2에 의해, 상기 프레임 메모리(909)에 저장되어 있는 기록 데이터 Rg2로부터 대상 블럭에 대응하는 예측 화상 신호 Pg2를 판독하는 움직임 보상기(911)를 갖고 있다.
여기서, 상기 보전 처리기(920a)는, 상기 가산기(906)의 출력 PEg에 대하여 프레임 단위로 보전 처리를 실시하는 프레임 보전기(921a)와, 해당 가산 출력 PEg에 대하여 필드 단위로 보전 처리를 실시하는 필드 보전기(921b)와, 이들 보전기의 전단에 마련되고, 데이터 해석기(902)로부터의 표본 식별자 Di에 근거하여, 상기 가산기의 출력 PEg를 상기 한쪽 보전기에 공급하는 전단 스위치(922)와, 상기 양 보전기의 후단에 마련되고, 데이터 해석기로부터의 표본 식별자에 근거하여, 상기 양 보전기의 출력 Pa1 및 Pa2중 한쪽을 선택하는 후단 스위치(923)와, 해당 후단 스위치(923)의 선택 신호 Pas인 보전 화상 신호에 대하여, 화소의 재배열 처리를 실시하는 화소 재배열기(924)로 구성되어 있다.
또, 도면중 참조부호 (901a, 901b)는 각각, 본 화상 복호화 장치(900)의 입력 단자 및 출력 단자이다.
다음에 동작에 대하여 설명한다.
압축 부호화된 화상 부호화 신호 Eg(예컨대 도 11에 도시하는 비트 스트림(200))이 입력 단자(901a)에 입력되면, 데이터 해석기(902)에 의해 이들 화상 부호화 신호가 그 해석에 의해 가변 길이 복호화된다. 이 가변 길이 복호화된 데이터는, 양자화 단계나 DCT 계수를 압축한 차분 압축 신호 AEg로서 정보 신장기(903)에 출력된다. 또한, 상기 데이터 해석기(902)로부터는 움직임 벡터 MV 및 표본 식별자 데이터 Di가 예측 처리부(910a)에 출력된다.
이 때 상기 정보 신장부(903)에서는, 압축 차분 신호가 신장 처리에 의해 대상 블럭에 대응하는 신장 차분 신호로서 복원된다. 구체적으로는, 본 실시예에서는, 역양자화기(904)에 의해 상기 압축 차분 신호가 역양자화되고, 또한 역이산 코사인 변환기 IDCT(905)에 의해, 역양자화기(904)의 출력 DEg1에, 주파수 영역의 신호를 공간 영역의 신호로 변환하는 역주파수 변환 처리가 실시된다.
또한, 움직임 보상기(911)에서는, 데이터 해석기(902)로부터의 움직임 벡터 MV에 근거하여, 프레임 메모리(909)를 액세스하기 위한 어드레스 Add2가 생성되고, 프레임 메모리(909)에 저장되어 있는 화상 재생 신호로부터 대상 블럭에 대응하는 예측 화상 신호 Pg2가 추출된다. 상기 가산기(906)에서는, 정보 신장기(903)의 출력 DEg가 이 예측 화상 신호 Pg2와 가산되어, 대상 블럭에 대응하는 화상 재생 신호 PEg가 출력된다.
이 화상 재생 신호는 역블럭화기(907)에 공급됨과 동시에 예측 처리부(910a)에 공급된다.
상기 역블럭화기(907)에서는, 상기 재생 블럭 신호는 통합되어 주사선 구조의 화상 재생 신호로 변환된다.
또한, 상기 예측 처리부(910a)에서는, 상기 화상 재생 신호 PEg는, 스위치(922)를 거쳐 프레임 보전기(921a) 및 필드 보전기(921b)의 한쪽에 공급된다. 이 때 상기 전단 스위치(922)는 데이터 해석기(902)로부터의 표본 식별자 Di에 의해 전환 제어되어 있어, 상술한 바와 같이, 표본 식별자의 값이 1로서 필드내의 화소값 상관이 높을 경우, 상기 화상 재생 신호 PEg는 스위치(922)를 거쳐 필드 보전기(921b)에 공급되어, 필드내 보전 처리가 실시된다.
구체적으로는, 상기 화상 재생 신호 PEg에 대한 보전 처리는, 도 10c에 도시하는 바와 같이, 예를 들어, 해당 화상 재생 신호 PEg에 대응하는 화상 공간(250c)에 있어서의, 제 1 필드를 구성하는 라인으로 이루어지는 소블럭(251, 252)을 일괄하여 실행되고, 또한 해당 화상 공간(250c)에 있어서의 제 2 필드를 구성하는 라인으로 이루어지는 소블럭(253, 254)을 일괄하여 실행된다.
한편, 상기 식별자의 값이 0으로서 프레임내의 화소값 상관이 높을 경우, 상기 화상 재생 신호 PEg는 스위치(922)를 거쳐 프레임 보전기(921a)에 공급되어, 프레임내 보전 처리가 실시된다. 구체적으로는, 도 10b에 도시하는 바와 같이, 화상 재생 신호 PEg에 대한 보전 처리는, 예를 들어, 해당 화상 재생 신호 PEg에 대응하는 화상 공간(250b)에 있어서의 4개의 소블럭(255∼258)을 일괄하여 실행된다.
이렇게 하여 보전 처리가 실시된 화상 재생 신호 Pas는, 후단 스위치(923)를 경유하여 화소 재배열기(924)에 전송된다. 이 화소 재배열기(924)에서는, 필드 단위로 보전한 블럭에 대해서는 제 1 필드를 구성하는 화소와 제 2 필드를 구성하는 화소가, 비월 화상에 대응한 화소 배열로 되도록 재배열된다. 예를 들어, 이 화소 재배열기(924)에서는, 상기 화상 재생 신호 Pas는 이것에 대응하는 화상 공간(250d)(도 10d 참조)의 상부 영역(250d1)을 구성하는 라인과, 그 하부 영역(250d2)을 구성하는 라인을 각각 교대로 배열하여 이루어지는 화상 공간(250e)에 대응한 화상 재생 신호로 변환된다. 한편, 프레임 단위로 보전 처리가 실시된 블럭에 대해서는, 상기 화소 재배열기(924)에서는 화소의 재배열 처리는 실행되지 않는다. 이렇게 하여 재배열 처리가 실시된 화상 재생 신호 Pa가 프레임 메모리(909)에 저장된다.
또, 상기 실시예 4에서는, 비월 화상에 대응하는 화상 재생 신호 PEg가, 도 10d에 도시하는 화상 공간(250d)과 같이, 그 상부 영역(250d1)이 기수라인으로 이루어지고, 그 하부 영역(250d2)이 우수라인으로 이루어지는 화상 공간을 형성하는 것인 경우에 대하여 설명하였지만, 화상 재생 신호 PEg가 필드 1과 필드 2를 머지한 형태로 출력되는, 즉 비월 화상에 대응하는 화상 재생 신호 PEg가 도 10a에 도시하는 화상 공간(250)과 같이 기수라인과 우수라인이 교대로 배치되어 있는 화상 공간을 형성하는 것인 경우에는, 필드 보전기(921b)의 실장 방법을 변경해야 한다. 즉 해당 필드 보전기(921b)를, 보전 처리를 실시하기 전에 화상 재생 신호 PEg에 화소의 재배열 처리를 실시하여, 그 화상 공간이 도 10d에 도시하는 화상 공간(250d)와 같이 그 상부 영역이 필드 1로 이루어지고, 그 하부 영역이 필드 2로 이루어지는 것으로 변환하도록 재배열하는 구성으로 할 필요가 있다.
또한, 상기한 바와 같이, 화상 재생 신호 PEg가 필드 1과 필드 2를 머지한 형태로 출력되는 경우에는, 필드 보전기(921b)에 의해, 1 프레임을 구성하는 기수라인과 우수라인이 각각 화상 공간의 상부 영역과 하부 영역으로 일괄되도록 화소의 재배열을 실행한 후, 각 필드마다 보전 처리를 실시하는 것은 아니라, 실시예 2의 보전 방법과 같이, 이러한 화소의 재배열 처리를 실행하지 않고서, 1 프레임에 상당하는 화상 신호에 대하여, 피보전 화소(비유의 화소)의 샘플값을, 해당 비유의 화소로부터 1 샘플 간격으로 떨어진 유의 화소의 샘플값으로 보전하도록 하여도 좋다.
또한, 상기 실시예 4에서는, 필드 보전기의 출력에 대하여 화소의 재배열 처리를 실시하도록 하고 있지만, 필드 보전기의 출력을 그대로 프레임 메모리에 저장한다고 하는, 화소를 재배열할 필요가 없는 경우에는, 화소 재배열기(924)를 생략하여도 좋다.
또한, 상기 실시예 4에서는, DCT 처리에 의해 압축한 화상 부호화 신호를 입력으로 하고 있지만, 입력되는 부호화 신호는, 그 밖의 파형 부호화 방법, 예를 들어 웨이블릿이나 프랙탈 등으로 부호화한 화상 부호화 신호라도 좋고, 이 경우도 상기 실시예 4와 같이, 필드내에서의 화소값 상관의 크기에 따라, 필드 보전 처리와 프레임 보전 처리를 전환하는 처리를 실행할 수 있다.
또한, 상기 비트 스트림(200)에서는, 각 블럭마다 표본 식별자를 마련하고 있지만, 1개 물체의 화상 신호에 대하여, 모든 블럭이 동일 표본 식별자를 공유하도록 할 수도 있다. 이 경우, 상기 화상 신호에 대해서는, 파형 변환 효율의 관점에서, 미리 필드 1과 필드 2로 나누어 블럭화해서 부호화해야 할 필요가 있다.
또한, 상기한 바와 같이 표본 식별자를 모든 블럭에서 공용하는 경우, 표본 식별자를 1개의 화상에 하나만 마련하여, 이것을 화상 부호화 신호의 선두에 배치하여도 좋다. 이 경우, 동일 표본화 식별자가 모든 블럭에 적용되는 것은 물론이다.
(실시예 4의 변형예 1)
도 15는 본 발명의 실시예 4의 변형예 1에 따른 화상 복호화 장치를 설명하기 위한 블럭도이다.
이 실시예의 화상 복호화 장치(900b)는, 기본적인 구성 및 동작은 도 14에 도시하는 실시예 4의 화상 복호화 장치(900a)와 동일하다.
즉, 이 화상 복호화 장치(900b)는, 상기 실시예 4의 화상 복호화 장치(900a)에서의 예측 처리부(910a) 대신에, 이와는 구성이 다른 예측 처리부(910b)를 구비한 것이다.
이 예측 처리부(910b)에서는, 보전 처리기(920b)를 움직임 보상기(911)와 가산기(906) 사이에 배치하고, 움직임 보상에 의해 얻어진 예측 화상 신호 Pg2에 대하여 보전 처리를 실시하여 가산기(906)에 공급하는 구성으로 되어 있다. 여기서, 상기 보전 처리기(920b)는, 프레임 보전기(921a) 및 필드 보전기(921b)와, 움직임 보상기(911)로부터의 예측 화상 신호 Pg2를 표본 식별자 Di에 근거하여 상기 양 보전기의 한쪽에 공급하는 전단 스위치(922)와, 상기 양 보전기의 출력의 한쪽을 해당 표본 식별자 Di에 근거하여 선택해 가산기(906)에 공급하는 후단 스위치(923)를 갖고 있다.
다음에 작용 효과에 대하여 설명한다.
비월 화상에 대하여 필드 단위와 프레임 단위로 움직임 보상하는 방법이 있다. 프레임 단위에서의 움직임 보상의 경우에는 1개의 프레임으로부터 예측 화상 신호를 취득하는 데 반하여, 필드 단위로 움직임 보상을 실행하는 경우에는 제 1 필드와 제 2 필드로부터 각각의 예측 화상 신호를 취득한다.
본 실시예 4의 변형예 1의 화상 복호화 장치(900b)는, 이러한 필드 단위로의 움직임 보상을 실행하는 경우에 유효한 것이며, 이 화상 복호화 장치(900b)에서는,데이터 해석기(902)로부터의 표본 식별자 Di에 의해 전단 스위치(922)가 전환 제어되어, 움직임 보상기(911)의 출력이 프레임 보전기(921a) 및 필드 보전기(921b)의 한쪽에 입력된다. 그리고 상기 예측 화상 신호는 각각의 보전기에 의해 보전 처리가 실시되어 가산기(906)에 공급된다.
또한, 이 실시예 4의 변형예 1에서는, 보전 처리가 프레임 메모리(909)로부터 추출된 예측 화상 신호에 대하여 실행되기 때문에, 프레임 메모리(909)에 저장되는 모든 화상 재생 신호에 대하여 보전 처리를 실행하는 경우에 비해서, 예측 처리부에서의 보전 처리를 신호 처리량이 적은 것으로 할 수 있다.
(실시예 4의 변형예 2)
도 16은 본 실시예 4의 변형예 2에 따른 화상 복호화 장치를 설명하기 위한 블럭도이다. 이 실시예 4의 변형예 2의 화상 복호화 장치(900c)는, 실시예 4의 화상 복호화 장치(900a)의 구성과, 그 변형예 1의 화상 복호화 장치(900b)의 구성을 조합한 것이다. 바꿔말하면, 이 화상 복호화 장치(900c)는, 상기 실시예 4의 화상 복호화 장치(900a)에서의 보전 처리기(920a)를 갖는 예측 처리부(910a)의 구성에 부가하여, 움직임 보상기(911)의 후단측에 보조 보전 처리기(제 2 보전 처리기)(920c2)를 구비하고, 이 보조 보전 처리기(920c2)의 출력을 상기 가산기(906)에 출력하도록 한 것이다. 또, 여기서는, 상기 실시예 4에 있어서의 보전 처리기(920a)는 제 1 보전 처리기(920c1)로 하고 있고, 또한, 상기 제 2 보전 처리부(920c2)는, 상기 실시예 4의 변형예 1에 있어서의 보전 처리기(920b)와 완전히 동일한 구성으로 되어 있다.
이러한 구성의 실시예 4의 변형예 2에서는, 제 1 보전 처리부(920c1)와 제 2 보전 처리부(920c2)에서 보전 처리를 분담할 수 있고, 또한 효율적으로 예측 처리부에서의 보전 처리를 실행할 수 있다.
또한, 상기 각 실시예에서 설명한 디지털 화상 보전 방법이나, 화상 처리 장치의 구성을 실현하기 위한 프로그램을, 플로피 디스크 등의 데이터 기억 매체에 기록하도록 함으로써, 상기 각 실시예에서 설명한 처리를, 독립된 컴퓨터 시스템에 있어서 간단히 실시하는 것이 가능해진다.
도 17은 상기 각 실시예의 디지털 보전 방법에 의한 화상 처리, 혹은 상기 화상 처리 장치에 의한 화상 부호화 처리 또는 화상 복호화 처리를, 이들 화상 처리에 대응한 프로그램을 저장한 플로피 디스크를 이용하여, 컴퓨터 시스템에 의해 실시하는 경우를 설명하기 위한 도면이다.
도 17b는 플로피 디스크 FD를 정면에서 본 외관, 단면 구조 및 기록 매체인 플로피 디스크 본체를 도시하고, 도 17a는 플로피 디스크 본체 D의 물리 포맷의 예를 도시하고 있다. 플로피 디스크 본체 D는 케이스 F내에 내장되고, 해당 디스크 본체 D의 표면에는, 동심원 형상으로 외주로부터 내주를 향하여 복수의 트랙 Tr이 형성되며, 각 트랙은 각도 방향으로 16개의 섹터 Se로 분할되어 있다. 따라서, 상기 프로그램을 저장한 플로피 디스크 본체 D에서는, 상기 플로피 디스크 본체 D 상에 할당된 영역에, 상기 프로그램으로서의 데이터가 기록되어 있다.
또한, 도 17c는 플로피 디스크 FD에 대한 상기 프로그램의 기록 재생을 실행하기 위한 구성을 나타낸다. 상기 프로그램을 플로피 디스크 FD에 기록하는 경우에는, 컴퓨터 시스템 Cs로부터 상기 프로그램으로서의 데이터를 플로피 디스크 드라이브 FDD를 거쳐 플로피 디스크 FD에 기입한다. 또한, 플로피 디스크 FD내의 프로그램에 의해 상기 복호화 방법을 컴퓨터 시스템 Cs중에 구축하는 경우에는, 플로피 디스크 드라이브 FDD에 의해 프로그램을 플로피 디스크 FD로부터 판독하여, 컴퓨터 시스템 Cs로 전송한다.
또, 상기 설명에서는, 데이터 기록 매체로서 플로피 디스크를 이용한 컴퓨터 시스템에 의한 화상 처리를 설명하였지만, 이 화상 처리는, 광 디스크를 이용하더라도 마찬가지로 실행할 수 있다. 또한, 기록 매체는 이것에 한정되는 것이 아니라, IC 카드, ROM 카셋트 등, 프로그램을 기록할 수 있는 것이면 마찬가지로 상기 화상 처리를 실시할 수 있다.
이상과 같이 본 발명에 관한 디지털 화상 보전 방법, 화상 처리 장치 및 데이터 기록 매체는, 화상 신호의 압축 처리에 있어서의 부호화 효율의 향상을 도모할 수 있어, 화상 신호의 전송이나 기억을 실행하는 시스템에 있어서의 화상 부호화 처리나 화상 복호화 처리를 실현하는 데에 있어 대단히 유용하며, 특히 MPEG4 등의 규격에 준거한 동화상의 압축, 신장 처리에 적합하다.

Claims (21)

  1. 임의 형상을 갖는 화상을 포함하는 유의 화소와 유의하지 않은 화소로 이루어지는 원화상 공간을 형성하는 디지털 화상 신호에 대하여 화소값의 보전 처리를 실시하는 방법에 있어서,
    상기 원화상 공간을 구성하는 복수의 화소를, 상기 화상 공간에 대해서 미리 설정된 2차원 패턴에 따라서 그룹으로 분리하여, 동일 그룹의 화소로 이루어지는 소화상 공간을 복수 형성하는 화소 재배열 처리와,
    각 소화상 공간 내의 유의하지 않은 화소의 화소값을, 소정의 방법에 의해 생성된 보전 화소값으로 치환하는 화소 보전 처리를 포함하는 것을 특징으로 하는 디지털 화상 보전 방법.
  2. 제 1 항에 있어서,
    상기 디지털 화상 신호는, 주사 타이밍이 다른 기수 필드와 우수 필드로 이루어지는 원화상 공간을 형성하는 비월 화상 신호이고,
    상기 화소 재배열 처리에서는, 상기 원화상 공간을 구성하는 화소를 (N+1)(N은 양의 정수)개의 화소행마다 추출하는 샘플 처리를, 제 1 번째로부터 제 (N+1) 번째의 화소행을 샘플 개시 화소행으로 하여 (N+1)회 실행해서, 각 샘플 처리 때마다 동일 필드에 속하는 소정수의 화소로 이루어지는 소화상 공간을 형성하는 것을특징으로 하는 디지털 화상 보전 방법.
  3. 제 2 항에 있어서,
    제 n(n= 1, 2, …, N+1) 소화상 공간에 있어서의 유의하지 않은 화소의 화소값으로 치환되는 보전 화소값으로서, 상기 제 n 소화상 공간에 있어서의 유의 화소의 화소값에 근거하는 연산에 의해 얻어진 연산값을 이용하는 것을 특징으로 하는 디지털 화상 보전 방법.
  4. 제 2 항에 있어서,
    상기 보전 처리가 실시된 모든 소화상 공간을 구성하는 복수의 화소를, 이들 화소가 상기 원화상 공간과 동일 화소 배열의 복원 화상 공간을 형성하도록, 상기 그룹 분리시의 소정 규칙에 대응한 규칙에 따라 재배열하는 화상 공간 복원 처리를 실행하는 것을 특징으로 하는 디지털 화상 보전 방법.
  5. 제 4 항에 있어서,
    제 n(n= 1, 2, …, N+1) 소화상 공간에 있어서의 유의하지 않은 화소의 화소값으로 치환되는 보전 화소값으로서, 상기 제 n 소화상 공간에 있어서의 유의 화소의 화소값에 근거하는 연산에 의해 얻어진 연산값을 이용하는 것을 특징으로 하는 디지털 화상 보전 방법.
  6. 제 1 항에 있어서,
    상기 디지털 화상 신호는, 주사 타이밍이 다른 기수 필드와 우수 필드로 이루어지는 원화상 공간을 형성하는 비월 화상 신호이고,
    상기 화소 재배열 처리에서는, 상기 원화상 공간에 있어서의 화소를 2 화소행마다 추출하는 샘플 처리를, 제 1 번째 및 제 2 번째의 화소행을 샘플 개시 화소행으로 하여 2회 실행해서, 제 1 회째의 샘플 처리에 의해 동일 필드에 속하는 소정수의 화소로 이루어진 제 1 소화상 공간을 생성하고, 제 2회째의 샘플 처리에 의해 동일 필드에 속하는 소정수의 화소로 이루어지는 제 2 소화상 공간을 생성하는 것을 특징으로 하는 디지털 화상 보전 방법.
  7. 임의 형상을 갖는 화상을 포함하는 유의 화소와 유의하지 않은 화소로 이루어지는 원화상 공간을 형성하는 디지털 화상 신호에 대하여 화소값의 보전 처리를 실행하는 방법에 있어서,
    상기 원화상 공간을, 상기 원화상 공간에 있어서의 기수 화소행 상의 화소만으로 이루어지는 제 1 소화상 공간과, 상기 원화상 공간에 있어서의 우수 화소행상의 화소만으로 이루어지는 제 2 소화상 공간으로 분할하고,
    상기 제 1 소화상 공간에 있어서의 유의 화소의 화소값을 이용하여 제 1 보전 화소값을 생성하고, 상기 제 1 소화상 공간에 있어서의 유의하지 않은 화소의 화소값을 상기 제 1 보전 화소값으로 치환하며, 또한 상기 제 2 소화상 공간에 있어서의 유의 화소의 화소값을 이용하여 제 2 보전 화소값을 생성하여, 상기 제 2 소화상 공간에 있어서의 유의하지 않은 화소의 화소값을 상기 제 2 보전 화소값으로 치환하는 것을 특징으로 하는 디지털 화상 보전 방법.
  8. 임의 형상을 갖는 화상을 포함하는 유의 화소와 유의하지 않은 화소로 이루어지는 원화상 공간을 형성하는 디지털 화상 신호에 대하여, 상기 원화상 공간에 있어서의 유의하지 않은 화소의 화소값을, 상기 원화상 공간에 있어서의 유의 화소의 화소값을 이용하여 결정되는 보전 화소값으로 치환하는 보전 처리를 실시하는 방법에 있어서,
    상기 보전 화소값의 결정에 그 화소값이 이용되는 유의 화소를, 상기 보전 대상으로서의 유의하지 않은 화소에 인접하는 화소 이외의 화소로 하는 것을 특징으로 하는 디지털 화상 보전 방법.
  9. 제 8 항에 있어서,
    상기 보전 화소값의 결정에 그 화소값이 이용되는 유의 화소를, 상기 보전 대상으로서의 유의하지 않은 화소와 수직 방향으로 1 화소 간격으로 인접하는 화소로 하는 것을 특징으로 하는 디지털 화상 보전 방법.
  10. 입력된 화상 신호가 비월 화상 신호인지 순차(noninterlace) 화상 신호인지를 나타내는 표본 식별자를 출력하는 상관 식별부와, 디지털 화상 신호에 대한 예측 화상 신호를 이용한 차분 부호화 처리를 상기 표본 식별자에 근거해 실행하여 화상 부호화 신호를 출력하는 부호화 처리부와, 상기 화상 부호화 신호를 국소 복호화하여 얻어지는 화상 복호화 신호에 근거하여 상기 예측 화상 신호를 생성하는 예측 처리부를 갖는, 화상 부호화를 실행하는 장치에 있어서,
    상기 부호화 처리부는,
    상기 디지털 화상 신호와 예측 화상 신호의 차분을 차분 화상 신호로서 구하는 감산기와,
    상기 차분 화상 신호를 압축하여 압축 차분 신호를 생성하는 정보 압축기와,
    상기 압축 차분 신호를 가변 길이 부호화하는 가변 길이 부호화기를 갖되,
    상기 예측 처리부는,
    상기 압축 차분 신호를 신장하여 신장 차분 신호를 생성하는 정보 신장기와,
    상기 신장 차분 신호와 상기 예측 화상 신호를 가산하여 화상 복호화 신호를 생성하는 가산기와,
    상기 표본 식별자가 상기 디지털 화상 신호가 비월 화상 신호인 것을 나타낼 때, 상기 화상 복호화 신호에 대해, 상기 화상 복호화 신호에 의해 형성되는 화상 공간에 있어서의 화소를 재배열하여, 상기 화소가 재배열된 화상 공간에 있어서의 유의하지 않은 화소의 화소값을, 소정의 방법에 의해 생성한 보전 화소값으로 치환하는 보전 처리를, 필드 단위로 실시하고, 한편, 상기 표본 식별자가 상기 디지털 화상 신호가 순차 화상 신호인 것을 나타낼 때, 상기 화상 복호화 신호에 대하여, 상기 보전 처리를 프레임 단위로 실시하는 보전 수단과,
    보전 처리가 실시된 화상 복호화 신호로부터 상기 표본 식별자에 근거하여 상기 예측 화상 신호를 생성하는 예측 화상 신호 생성 수단을 갖는 것을 특징으로 하는 화상 처리 장치.
  11. 제 10 항에 있어서,
    상기 부호화 처리부는, 상기 표본 식별자가 상기 디지털 화상 신호가 비월 화상 신호인 것을 나타낼 때, 상기 차분 화상 신호에 대해서, 이 차분 화상 신호에 의해 형성되는 화상 공간에 있어서의 화소를 재배열하여, 상기 화소가 재배열된 화상 공간에 있어서의 유의하지 않은 화소의 화소값을, 소정의 방법에 의해 생성한 보전 화소값으로 치환하는 부가 보전 처리를, 필드 단위로 실시하고, 한편, 상기 표본 식별자가 상기 디지털 화상 신호가 순차 화상 신호인 것을 나타낼 때, 상기 차분 화상 신호에 대해서, 상기 부가 보전 처리를 프레임 단위로써 실시하는 보전수단을 갖되, 상기 정보 압축기에서는, 상기 부가 보전 처리를 실시한 차분 화상 신호의 정보 압축에 의해 압축 차분 신호가 생성되도록 구성한 것을 특징으로 하는 화상 처리 장치.
  12. 디지털 화상 신호를 부호화하여 얻어지는 화상 부호화 신호를, 상기 디지털 화상 신호에 대응하는 예측 화상 신호를 이용해 재생하여 화상 재생 신호를 출력하는 재생 처리부와, 상기 화상 재생 신호에 근거하여 상기 예측 화상 신호를 생성하는 예측 처리부를 갖는, 화상 복호화를 실행하는 장치에 있어서,
    상기 재생 처리부는,
    상기 화상 부호화 신호를 해석함으로써, 상기 화상 부호화 신호로부터 디지털 화상 신호에 대응하는 압축 차분 신호, 및 상기 디지털 화상 신호가 비월 화상 신호인지 순차 화상 신호인지를 나타내는 표본 식별자를 추출하는 데이터 해석기와,
    상기 압축 차분 신호를 신장하여 신장 차분 신호를 생성하는 정보 신장기와,
    상기 신장 차분 신호와 예측 화상 신호를 가산하여 상기 화상 재생 신호를 생성하는 가산기를 갖되,
    상기 예측 처리부는,
    상기 화상 재생 신호 및 상기 화상 재생 신호로부터 얻어지는 예측 화상 신호중 적어도 한쪽을 보전 대상 신호로 하여, 상기 표본 식별자가 상기 디지털 화상신호가 비월 화상 신호인 것을 나타낼 때, 상기 보전 대상 신호에 대해서, 이 보전 대상 신호로부터 형성되는 화상 공간에 있어서의 화소를 재배열하고, 상기 화소의 재배열이 실행된 화상 공간에 있어서의 유의하지 않은 화소의 화소값을, 소정의 방법에 의해 생성한 보전 화소값으로 치환하는 보전 처리를 필드 단위로 실시하고, 한편, 상기 표본 식별자가 상기 디지털 화상 신호가 순차 화상 신호인 것을 나타낼 때, 상기 보전 대상 신호에 대해서, 상기 보전 처리를 프레임 단위로 실시하는 것을 특징으로 하는 화상 처리 장치.
  13. 제 12 항에 있어서,
    상기 예측 처리부는, 상기 화상 재생 신호에 대한 보전 처리를, 상기 표본 식별자에 근거하여 프레임 단위 혹은 필드 단위로 실행하는 보전 수단과, 상기 화상 재생 신호의 보전 처리에 의해 얻어지는 보전 재생 신호를 저장하는 프레임 메모리를 갖고, 상기 프레임 메모리에 저장되어 있는 보전 재생 신호를 상기 예측 화상 신호로서 상기 재생 처리부에 출력하는 구성으로 되어 있는 것을 특징으로 하는 화상 처리 장치.
  14. 제 12 항에 있어서,
    상기 예측 처리부는, 상기 화상 재생 신호를 저장하는 프레임 메모리와, 상기 프레임 메모리에 저장되어 있는 화상 재생 신호로부터 추출된 예측 화상 신호에 대한 보전 처리를, 상기 표본 식별자에 근거하여 프레임 단위 혹은 필드 단위로 실행하는 보전 수단을 갖고, 보전 처리가 실시된 예측 화상 신호를 상기 재생 처리부에 출력하는 구성으로 되어 있는 것을 특징으로 하는 화상 처리 장치.
  15. 디지털 화상 신호를 부호화하여 얻어지는 화상 부호화 신호를, 상기 디지털 화상 신호에 대응하는 예측 화상 신호를 이용해 재생하여 화상 재생 신호를 출력하는 재생 처리부와, 상기 화상 재생 신호에 근거하여 상기 예측 화상 신호를 생성하는 예측 처리부를 갖는, 화상 복호화를 실행하는 장치에 있어서,
    상기 재생 처리부는,
    상기 화상 부호화 신호의 해석에 의해, 상기 화상 부호화 신호로부터 디지털 화상 신호에 대응하는 압축 차분 신호, 및 상기 디지털 화상 신호가 비월 화상 신호인지 순차 화상 신호인지를 나타내는 표본 식별자를 추출하는 데이터 해석기와,
    상기 압축 차분 신호를 신장하여 신장 차분 신호를 생성하는 정보 신장기와,
    상기 신장 차분 신호와 상기 예측 화상 신호를 가산하여 상기 화상 재생 신호를 생성하는 가산기를 갖되,
    상기 예측 처리부는,
    상기 표본 식별자가 상기 디지털 화상 신호가 비월 화상 신호인 것을 나타낼 때, 상기 화상 재생 신호에 대해서, 이 화상 재생 신호에 의해 형성되는 화상 공간에 있어서의 유의하지 않은 화소의 화소값을, 적어도 상기 유의하지 않은 화소에 인접하는 화소 이외의 유의 화소의 화소값으로부터 생성한 보전 화소값으로 치환하는 제 1 보전 처리를 실시하고, 한편, 상기 표본 식별자가 상기 디지털 화상 신호가 순차 화상 신호인 것을 나타낼 때, 상기 화상 재생 신호에 대해서, 상기 화상 공간에 있어서의 유의하지 않은 화소의 화소값을, 소정의 방법에 의해 생성한 보전 화소값으로 치환하는 제 2 보전 처리를 실시하는 보전 수단과,
    상기 표본 식별자에 따라, 보전 처리가 실시된 화상 재생 신호에 대하여, 이 화상 재생 신호에 의해 형성되는 화상 공간에 있어서의 화소를 재배열하는 처리를 실시하는 재배열 수단을 갖는 것을 특징으로 하는 화상 처리 장치.
  16. 컴퓨터에, 임의 형상을 갖는 화상을 포함하는 유의 화소와 유의하지 않은 화소로 이루어지는 원화상 공간을 형성하는 디지털 화상 신호에 대한 화소값의 보전 처리를 실행하기 위한 프로그램을 저장한 데이터 기록 매체에 있어서,
    상기 프로그램은, 청구항 1에 기재된 디지털 화상 보전 방법에 의한 화소값의 보전 처리를 컴퓨터가 실행하도록 구성되어 있는 것을 특징으로 하는 데이터 기록 매체.
  17. 컴퓨터에, 임의 형상을 갖는 화상을 포함하는 유의 화소와 유의하지 않은 화소로 이루어지는 원화상 공간을 형성하는 디지털 화상 신호에 대한 화소값의 보전 처리를 실행하기 위한 프로그램을 저장한 데이터 기록 매체에 있어서,
    상기 프로그램은, 청구항 7에 기재된 디지털 화상 보전 방법에 의한 화소값의 보전 처리를 컴퓨터가 실행하도록 구성되어 있는 것을 특징으로 하는 데이터 기록 매체.
  18. 컴퓨터에, 임의 형상을 갖는 화상을 포함하는 유의 화소와 유의하지 않는 화소로 이루어지는 원화상 공간을 형성하는 디지털 화상 신호에 대한 화소값의 보전 처리를 실행하기 위한 프로그램을 저장한 데이터 기록 매체에 있어서,
    상기 프로그램은 청구항 8에 기재된 디지털 화상 보전 방법에 의한 화소값의 보전 처리를 컴퓨터가 실행하도록 구성되어 있는 것을 특징으로 하는 데이터 기록 매체.
  19. 컴퓨터에, 화상 신호의 부호화 처리를 실행하기 위한 프로그램을 저장한 데이터 기록 매체에 있어서,
    상기 프로그램은 청구항 10에 기재된 화상 처리 장치에 의한 디지털 화상 신호의 차분 부호화 처리를 컴퓨터가 실행하도록 구성되어 있는 것을 특징으로 하는 데이터 기록 매체.
  20. 컴퓨터에, 화상 신호의 복호화 처리를 실행하기 위한 프로그램을 저장한 데이터 기록 매체에 있어서,
    상기 프로그램은 청구항 12에 기재된 화상 처리 장치에 의한 디지털 화상 신호의 차분 복호화 처리를 컴퓨터가 실행하도록 구성되어 있는 것을 특징으로 하는 데이터 기록 매체.
  21. 컴퓨터에, 화상 신호의 복호화 처리를 실행하기 위한 프로그램을 저장한 데이터 기록 매체에 있어서,
    상기 프로그램은 청구항 15에 기재된 화상 처리 장치에 의한 디지털 화상 신호의 차분 복호화 처리를 컴퓨터가 실행하도록 구성되어 있는 것을 특징으로 하는 데이터 기록 매체.
KR1019980707818A 1997-01-30 1998-01-27 디지탈화상보전방법,화상처리장치및데이터기록매체 KR100318060B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP1611297 1997-01-30
JP97-016112 1997-01-30
PCT/JP1998/000312 WO1998034407A1 (en) 1997-01-30 1998-01-27 Digital image replenishment method, image processing device and data recording medium

Publications (2)

Publication Number Publication Date
KR20000064833A KR20000064833A (ko) 2000-11-06
KR100318060B1 true KR100318060B1 (ko) 2002-02-19

Family

ID=11907442

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019980707818A KR100318060B1 (ko) 1997-01-30 1998-01-27 디지탈화상보전방법,화상처리장치및데이터기록매체

Country Status (7)

Country Link
US (1) US7046730B2 (ko)
EP (1) EP0907290B8 (ko)
KR (1) KR100318060B1 (ko)
CN (1) CN1216199A (ko)
DE (1) DE69801794T2 (ko)
ES (1) ES2162411T3 (ko)
WO (1) WO1998034407A1 (ko)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7724827B2 (en) * 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
US7822123B2 (en) * 2004-10-06 2010-10-26 Microsoft Corporation Efficient repeat padding for hybrid video sequence with arbitrary video resolution
US8107531B2 (en) * 2003-09-07 2012-01-31 Microsoft Corporation Signaling and repeat padding for skip frames
US7961786B2 (en) * 2003-09-07 2011-06-14 Microsoft Corporation Signaling field type information
US8064520B2 (en) * 2003-09-07 2011-11-22 Microsoft Corporation Advanced bi-directional predictive coding of interlaced video
US7839933B2 (en) * 2004-10-06 2010-11-23 Microsoft Corporation Adaptive vertical macroblock alignment for mixed frame video sequences
US7817160B2 (en) * 2005-06-30 2010-10-19 Microsoft Corporation Sub-pass correction using neighborhood matching
KR100766496B1 (ko) * 2005-07-08 2007-10-15 삼성전자주식회사 에이치디엠아이 전송 시스템
US8120703B2 (en) * 2005-09-08 2012-02-21 Silicon Image/BSTZ Source-adaptive video deinterlacer
US8004606B2 (en) * 2005-09-08 2011-08-23 Silicon Image, Inc. Original scan line detection
US7982798B2 (en) 2005-09-08 2011-07-19 Silicon Image, Inc. Edge detection
US8218641B2 (en) * 2006-10-31 2012-07-10 Sony Computer Entertainment Inc. Picture encoding using same-picture reference for pixel reconstruction
US8218640B2 (en) * 2006-10-31 2012-07-10 Sony Computer Entertainment Inc. Picture decoding using same-picture reference for pixel reconstruction
US8213518B1 (en) 2006-10-31 2012-07-03 Sony Computer Entertainment Inc. Multi-threaded streaming data decoding
US8086067B2 (en) 2006-12-20 2011-12-27 Silicon Image, Inc. Noise cancellation
KR101370286B1 (ko) * 2007-04-06 2014-03-06 삼성전자주식회사 레지듀얼 블록의 변형을 이용한 영상 부호화, 복호화 방법및 장치
CN101483726B (zh) * 2008-01-07 2011-05-04 华晶科技股份有限公司 交错式扫描影像处理方法
US8559746B2 (en) * 2008-09-04 2013-10-15 Silicon Image, Inc. System, method, and apparatus for smoothing of edges in images to remove irregularities
WO2010093709A2 (en) 2009-02-10 2010-08-19 Anchor Bay Technologies, Inc. Block noise detection and filtering
JP5979406B2 (ja) * 2012-02-22 2016-08-24 ソニー株式会社 画像処理装置、画像処理方法、および画像処理システム
JP5845202B2 (ja) * 2013-03-22 2016-01-20 株式会社東芝 画像圧縮装置および画像処理システム
US10419760B2 (en) 2014-09-29 2019-09-17 Sony Interactive Entertainment Inc. Picture quality oriented rate control for low-latency streaming applications
KR20180000279A (ko) * 2016-06-21 2018-01-02 주식회사 픽스트리 부호화 장치 및 방법, 복호화 장치 및 방법
CN109977966A (zh) * 2019-02-28 2019-07-05 天津大学 基于深度学习的电子散斑条纹批量全自动滤波方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2901656B2 (ja) * 1989-09-01 1999-06-07 株式会社日立製作所 画像符号化装置
JP2586260B2 (ja) * 1991-10-22 1997-02-26 三菱電機株式会社 適応的ブロッキング画像符号化装置
US5949919A (en) * 1995-10-05 1999-09-07 Microsoft Corporation Precompression extrapolation method
US5990956A (en) * 1996-12-30 1999-11-23 Daewoo Electronics, Inc. Method and apparatus for padding a video signal for shape adaptive transformation
US6092130A (en) * 1997-02-28 2000-07-18 Matsushita Electric Industrial Co., Ltd. Method and apparatus for data padding input data and input significance information which are not synchronized
US6005980A (en) * 1997-03-07 1999-12-21 General Instrument Corporation Motion estimation and compensation of video object planes for interlaced digital video
KR100285599B1 (ko) * 1998-03-14 2001-04-02 전주범 격행 부호화에서의 움직임 추정을 위한 텍스쳐 패딩 장치 및그 패딩 방법

Also Published As

Publication number Publication date
ES2162411T3 (es) 2001-12-16
DE69801794D1 (de) 2001-10-31
US7046730B2 (en) 2006-05-16
KR20000064833A (ko) 2000-11-06
EP0907290B8 (en) 2002-09-04
DE69801794T2 (de) 2002-06-13
EP0907290B1 (en) 2001-09-26
WO1998034407A1 (en) 1998-08-06
EP0907290A1 (en) 1999-04-07
US20040042673A1 (en) 2004-03-04
CN1216199A (zh) 1999-05-05
EP0907290A4 (en) 2000-11-02

Similar Documents

Publication Publication Date Title
KR100318060B1 (ko) 디지탈화상보전방법,화상처리장치및데이터기록매체
US6148109A (en) Image predictive coding method
EP1853069B1 (en) Decoding macroblock type and coded block pattern information
US7408990B2 (en) Efficient motion vector coding for video compression
US6766061B2 (en) Method and apparatus for digital image coding and decoding, and data recording media
US5694173A (en) Video data arranging method and video data encoding/decoding apparatus
US6075567A (en) Image code transform system for separating coded sequences of small screen moving image signals of large screen from coded sequence corresponding to data compression of large screen moving image signal
WO1997028650A1 (en) Method for supplementing digital image with picture element, and digital image encoder and decoder using the same
WO1995004432A1 (en) Coding image data
KR19980033415A (ko) 동화상을 코딩/인코딩하는 장치와 방법 그리고 동화상을 저장하는 저장매체
US7426311B1 (en) Object-based coding and decoding apparatuses and methods for image signals
CA2166623C (en) Coding image data
JPH10276432A (ja) デジタル画像補填方法，画像処理装置，及びデータ記録媒体
AU696445C (en) Coding image data
EP1387587A1 (en) Image encoder and decoder with error concealment of motion vector losses
JPH0818973A (ja) 画像情報圧縮装置
EP0711489A1 (en) Coding image data

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20051123

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee