KR100205491B1 - 다차원 화상 압축 신장방법 - Google Patents

다차원 화상 압축 신장방법 Download PDF

Info

Publication number
KR100205491B1
KR100205491B1 KR1019950005299A KR19950005299A KR100205491B1 KR 100205491 B1 KR100205491 B1 KR 100205491B1 KR 1019950005299 A KR1019950005299 A KR 1019950005299A KR 19950005299 A KR19950005299 A KR 19950005299A KR 100205491 B1 KR100205491 B1 KR 100205491B1
Authority
KR
South Korea
Prior art keywords
information
image
luminance
texture
pixel
Prior art date
Application number
KR1019950005299A
Other languages
English (en)
Other versions
KR950028537A (ko
Inventor
마사요 가와우찌
요시꼬 호즈미
교이찌 시미즈
Original Assignee
슈즈이 다케오
닛폰 비구타 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 슈즈이 다케오, 닛폰 비구타 가부시키가이샤 filed Critical 슈즈이 다케오
Publication of KR950028537A publication Critical patent/KR950028537A/ko
Application granted granted Critical
Publication of KR100205491B1 publication Critical patent/KR100205491B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/20—Contour coding, e.g. using detection of edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Image Processing (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Image Analysis (AREA)
  • Image Generation (AREA)

Abstract

백터화 표시화상의 텍스처 표현의 악화를 방지할 수 있는 고능률 화상 압축 신장 방법을 제공한다.
휘도함수의 등휘도선(면)의 곡률의 정부의 극대점, 또는 휘도함수의 등휘도선(면)을 직선 근사한 직선(평면)과 상기한 휘도함수의 등휘도선과의 차가 소정의 역치를 초과한 점을 화상의 특징점으로 하여 상기한 특징점의 위치와 휘도치를 전승기록한다. 상기 특징점의 위치와 휘도치를 화상 복원에 사용하는 경우에, 신장에 있어서 근처의 복수의 특징점에 의해 결정되는 보간면, 보간 입체에 의해 특징점 이외의 화소의 휘도 정보를 결정한다. 휘도함수의 소정의 공간 주파수치 이상의 영역을 직교 변환해서 얻은 스펙트럼 패턴을 1차원적으로 보아서 스펙트럼의 절대치의 패턴이 동등한 영역을 등 텍스처 영역으로 한다. 각 스펙트럼의 절대치의 패턴이 다른 각 등 텍스처 영역에 대해서 각 영역의 경계점 열의 정보와 스펙트럼 정보로 형성되는 텍스처 정보를 발생시킨다. 신장에 잇어서 상기 미보간 화소 근처의 복수의 특징점에 의해 결정되는 보간면, 보간 입체에 텍스처 정보를 부가한다.

Description

다차원 화상 압축 신장 방법
제1도는 본 발명의 다차원 화상 압축 신장 방법을 실시한 다차원 화상 압축 신장 장치의 블록도.
제2도는 본 발명의 다차원 화상 압축 신장 방법에 사용되는 등고선 트레이서 특징점 추출부의 구성예를 도시하는 블록도.
제3a도 및 3b도는 본 발명의 다차원 화상 압축 신장 방법에 사용되는 텍스처 추출부 및 텍스처 재생부의 구성예를 도시하는 블록도.
제4도는 휘도함수 재생 장치의 구성예를 도시하는 블록도.
제5a도 및 5b도는 본 발명의 다차원 화상 압축 신장 방법의 설명에 사용되는 도면.
제6a도 내지 6d도는 본 발명의 다차원 화상 압축 신장 방법의 설명에 사용되는 도면.
제7a도 내지 7h도는 본 발명의 다차원 화상 압축 신장 방법의 설명에 사용되는 도면.
제8도는 본 발명의 다차원 화상 압축 신장 방법에 사용되는 텍스처 추출부의 일부의 구성예를 도시하는 블록도.
제9a도 내지 9c도는 휘도 등고선의 검출 방법과 특징점 결정 방법을 설명 하기 위한 도면.
제10도는 휘도함수 재생 장치의 구성원리 및 동작원리의 설명에 사용되는 도면.
제11도는 휘도함수 재생의 설명에 사용되는 도면.
제12도는 휘도함수 재생을 위한 면보간 동작의 설명에 사용되는 도면.
제13도는 3차원적으로 분포하는 화상 정보로부터 검출된 특징점에 의해 결정되는 보간 입체에 의해 특징점 이외의 화소의 휘도정보를 결정하는 경우의 설명에 사용되는 도면.
제14도는 동화상일 때의 텍스처 정보의 이동 복사의 설명도.
* 도면의 주요부분에 대한 부호의 설명
4 : 등고선 트레이서 특징점 검출부 5 : 텍스처 추출부
8 : 텍스처 재생부 53 : 경계선 검출부
54 : 특징점 검출부
[산업상의 이용분야]
본 발명은 다차원 화상 압축 신장 방법, 특히 다른 기종간에 있어서의 화상 전송과 같이 압축측과 신장측에서의 화소대응, 또는 시간축상에서의 프레임 대응이 보증되지 않는 계에서 고능률 화상 압축 신장을 행하는 다차원 화상 압축 신장 방법에 관한 것이다.
[종래의 기술]
화상 정보의 압축에 대해서는 종래부터 각종의 방식이 제안이 되어 오고 있다. 예를 들자면 디지탈 신호화한 화상 신호의 각 샘플치에 대해서 신호 레벨을 균등하게 분할해서, 각각의 범위에 포함되는 값을 하나의 대표치로 치환하는 직선양자화(균등 양자화) 방식이 있다. 이 방식에 의하면, 대표점과 본래의 값과의 차가 판단될 수 없는 경우에 일반적으로 자연 화상에 대해서는 6비트(64 계조)에서 8비트(256 계조)의 정보가 필요하다. 따라서 화상 신호를 균등 양자화에 의해 디지탈화한 신호를 그대로 기록하려면, 각 샘플치에 대해서 상기와 같은 많은 정보량을 취급하는 일이 필요하게 된다.
그래서 각종 고능률 부호화 방식을 적용해서 데이터량의 압축을 행한 디지탈데이타를 기록, 전송, 송신하고, 또 상기한 바와 같이 데이터량이 압축된 디지탈 데이터를 재생, 수신한 후에 데이터의 신장을 행하여 화상 복원을 하는 것이 종래부터 행해지고 있다. 이 고능률 부호화 방식에 대해서는 다음과 같은 방식이 알려져 있다. 예를 들자면 신호의 변화가 적은 부분에서는 변화에 대해 민감하고, 신호의 변화가 심한 부분에 있어서는 어느 정도의 오차가 있어도 그것을 검지하기 어려운 인간의 시각이나 청각의 성질을 이용한다. 혹은 기록의 대상이 되고 있는 정보 신호에서의 시공간축사에서의 상관을 이용한다. 그리고, 예를 들자면 화상을 화소로 분해한 후에 각 화소의 휘도치의 인접상관의 높이를 이용하여 원정보의 근사치의 소수를 전송하거나, 혹은 화소간 차분 혹은 프레임간 차분을 전송하는 방법이 있다. 다시, 고주파수 성분이 적은 것을 이용하여 주파수 요소의 삭감을 행하거나하여 각 샘플당 정보량을 적게 하는 방법이 있다.
[발명이 해결하려고 하는 과제]
상기한 종래의 일반적인 화상 정보 압축 방식에서는, 분해된 화소의 복원이 양호하게 행해지는 것을 중요시하고 있으므로, 원화상과 복원된 화상(신장 화상)간에서의 화소수가 일치하는 것을 조건으로 하고 있는 경우가 많다. 따라서 다른 화소수의 화상간에서 압축신장 동작이 행해지는 경우에는, 별도로 신장후의 화소의 보간이난 솎음 등을 행하는 것이 필요하게 된다. 그러나, 이것은 종래의 화상 정보 압축 방식에 있어서는 참된 유효 정보만이 추출되고, 그것이 복원된다는 의미가 아니라, 어느 정도, 화소수, 화소형상, 휘도 레벨 등의 물리적인 화상 구성 요소에 의존하고 있는 방식으로 되어 있는 것을 의미한다.
그런데, 상기한 바와 같이 다른 화소수의 2개의 화상에 있어서 화소 밀도가 극단으로 다른 경우의 예로서, 예를 들자면 촬상 장치에 의해 촬상된 화상을 인쇄판 아래에 이용하려는 경우를 생각한다. 촬상 장치에 의한 촬상에 의해 얻어지는 화상의 화소 밀도는 1화면당 기껏해야 (500 x 500) 정도인데 대해서, 전자 제판기에 있어서의 화상의 화소 밀도는 1화면당 (수천 x 수천)과 같이, 상기한 촬상 장치에 의한 촬상에 의해 얻어지는 화상에 비해서 자리수 차이가 크다. 그 때문에 기술한 바와 같은 화소 대응의 화상 정보의 압축 신장 방법이 전혀 실시되지 않는다고 해도 화소수의 증가에 의해 에일리어스가 발생한다. 또, 상기한 바와 같은 화소수 증가를 행하지 않고 보간을 행할 경우에는, 광대한 보간 에리어를 기지의 데이터의 가중 평균치로 충당하게 되므로 보간 왜곡에 의해 화질 악화를 피할 수가 없다. 상기한 바와는 역으로 원화상의 화소 밀도가 1화면당 (수천 x 수천)인 경우에는, 인접 화소간의 상관이 극단적으로 높으므로, 원리적으로는 고도의 화상 정보 압축도 가능하다. 그러나 기술한 바와 같이 원화상과 복원된 화상(신장 화상)간의 화소수가 일치하는 것을 조건으로 하고 있는 종래의 화상 정보 압축 방식에서는 압축률을 높게할 수 없는 결점이 생긴다.
상기한 문제점을 해결하기 위해 본 출원인 회사에서는 다음과 같은 다차원 화상 압축 신장 방법을 제안하고 있다. 먼저, 화상 정보 처리의 대상으로 되어 있는 화상에 있어서의 화소 밀도의 고저에 관계없이, 화상이 갖는 특징점만을 추출해서 화상 정보가 압축된 화상 테이타를 얻는다. 신장에 있어서는 상기한 화상 데이터로부터 화소 복원을 행하는 것은 아니고, 다른 화소 밀도면에 신화상이 묘화될 수 있도록, 2차원적으로 분포하는 휘도 정보나, 2차원적으로 분포하는 휘도 정보의 화상 정보에 시간축도 포함하는 3차원적으로 분포하는 화상 정보에 대해서, 상기한 화상 정보의 휘도 함수의 휘도선의 곡률의 정부의 극대점, 혹은 등휘도면의 곡률의 정부의 극대점을 특징점으로 한다. 또는 휘도 함수의 등휘도선을 직선 근사한 직선과 상기한 취도 함수의 등휘도선과의 차, 혹은 휘도 함수의 등휘도면을 평면 근사한 평면과 상기한 휘도 함수의 등휘도면과의 차가, 미리 정해진 역치를 초과한 점을 화상의 특징점으로 한다. 그래서, 상기한 화상의 특징점의 위치과 휘도치를 전송, 기록한다. 상기 특징점의 위치와 휘도치를 화상 복원에 사용하는 경우에는, 신장에 있어서 특징점 이외의 화소 근처의 복수의 특징점에 의해 결정되는 보간면 또는 보간 입체에 의해 상기 특징점 이외의 화소의 휘도 정보를 결정한다. 또는 2차원적으로 분포하는 휘도 정보의 화상 정보에 시간축도 포함하는 3차원적으로 분포하는 화상 정보내에서, 상기 2차원적으로 분포하는 휘도 정보의 복수조를 대상으로 하고, 상기 각조의 휘도 함수의 등휘도선의 곡률의 정부의 극대치, 또는 상기 각조의 휘도 함수의 등휘도선을 직선 근사한 직선과 상기한 휘도 함수의 등휘도선과의 차가, 미리 정해진 역치를 초과한 점을 화상의 특징점으로 한다. 그리고 상기한 화상의 특징점의 위치와 휘도치를 전송, 기록한다. 그리고, 화상 복원에 사용하는 경우에는, 신장에 있어서 특징점 이외의 화소 근처의 복수의 특징점에 의해 결정되는 보간 입체에 의해 상기 특징점 이외의 화소의 휘도 정보를 경정한다. 이들에 의해 용이하게 다차원 화상의 신장이 행해지도록 한 다차원 화상 압축 신장 방법을 제안하고 있다.
그런데, 화상내의 피사체 표면의 텍스처(결)는 피사체의 질감을 나태내는 중요한 요소이다. 그런데, 텍스처 정보는 화상 정보중에서는 매우 적은 부분을 차지하는 데에 불과하다. 그 때문에 종래의 각종의 정보량 압축 방식에 의해 정보량의 압축이 행해진 경우에는 텍스처 정보는 기각되어 버리는 일이 많다.
즉, 먼저, 기술한 종래의 일반적인 화상 정보의 압축 방식에서는, 분해된 화소의 복원이 양호하게 행해지는 것을 중요시하고 있으므로, 원화상과 복원된 화상(신장 화상) 사이에서의 화소수가 일치하고 있는 일이 많다. 또, 동화상의 경우에는 매초 상수나 프레임수의 일치를 조건으로 하고 있는 경우가 많다. 그러나, 화소에 의해 구성되는 휘도함수를 압축해서 재현을 행하는 경우에는, 피사체 표면의 세부정보인 텍스처 정보가 기각되어, 자연감이 상실되는 일이 많다.
또, 화소수나 시간축상의 프레임수의 제약을 피해서, 한층 더 압축률의 향상을 도모하려면, 상기 휘도함수를 더욱 적은 파라미터로 표현하게 된다. 이 경우에 있어서 신장 동작은, 일반적으로 단순 보간선, 보간면, 보간 입체로 휘도함수가 재현된다. 따라서, 이 경우에는 피사체 표면의 텍스처는, 전부라 해도 좋은 정도로 재현되지 않으므로 신장 화상의 품질은 현저히 저하된다. 그래서, 상기한 바와 같은 택스처 정보가 상실되어 버리는 문제점이 없는 고능률 압축 신장 방법의 출현이 요망되었다.
[과제를 해결하기 위한 수단]
본 발명은 적어도 2차원적으로 분포하는 휘도 정보를 포함하는 아나로그 화상 정보를 압축해서 부호화하고, 부호화된 화상 정보를 신장해서 재생하는 다차원 화상 압축 신장 방법으로서, 아나로그 화상 정보를 디지탈 신호로 변환하고, 상기 디지탈 신호로 변환된 화상 정보를 구성하는 복수의 화소에서 소정수의 대표화소를 추출하고, 상기 디지탈 신호로 변환된 화상 정보의 텍스처 정보를 추출하고, 상기 대표화소와 텍스처 정보를 부호화하고, 상기 부호화된 대표화소와 텍스처 정보를 복호화하고, 상기 복호화된 대표화소와 텍스처 정보에 의해 상기 아나로그 화상 정보를 재생하는 다차원 화상 압축 신장 방법을 제공한다.
상기 아나로그 화상 정보를 디지탈 신호로 변환하는 것은, 이산코사인 변환에 의한 직교 변환으로 행하면 좋다.
상기 대표 화소를 추출하려면, 상기 휘도 정보의 휘도 분포 함수상의 등휘도선을 추출하고, 상기 등휘도선의 곡률의 정부의 극대점을 소정수 구하고, 상기 극대점과 상기 등휘도선과의 차를 기준치와 비교하고, 상기 차가 상기 기준치를 초관한 극대점에 해당하는 화소를 상기 대표 화소로 하면 좋다.
상기 휘도 정보가 3차원적으로 분포하는 경우는 상기 휘도 정보의 휘도 분포 함수의 어떤 등휘도면을 추출하고, 상기 등휘도면의 곡률의 정부의 극대점을 소정수 구하고, 상기 극대점과 상기 등휘도면과의 차를 소정의 기준치와 비교하고, 상기 차가 상기 기준치를 초과한 극대점에 해당하는 화소를 상기 대표 화소로 하면 좋다.
상기 대표 화소를 추출하려면, 상기 휘도 정보의 휘도 분포 함수상의 어떤 등휘도선을 추출하고, 상기 등휘도선상의 제1화소로부터 제2화소를 연결하는 직선에서 상기 등휘도선상에 없는 제3화소까지의 거리가 기준치를 초과한 경우, 상기 제3화소를 상기 대표 화소로하면 좋다.
상기 휘도 정보가 3차원적으로 분포하는 경우는, 전(前)대표 화소를 추출하려면, 상기 휘도 정보의 휘도 분포 함수상의 어떤 등휘도면을 추출하고, 상기 등휘도면상의 제1화소에서 제2화소를 연결하는 평면에서 상기 등휘도면 상에 없는 제3화소까지의 거리가 기준치를 초과한 경우 상기 제3화소를 상기 대표 화소로하면 좋다.
상기 텍스처 정보를 추출하려면, 상기 휘도 정보의 휘도 분포 함수에 있어서의, 소정의 공간 주파수보다 높은 공간 주파수 성분을 갖는 영역을 직교 변환해서 주파수 스펙트럼 패턴을 얻고, 상기 주파수 스펙트럼 패턴의 절대치가 서로 다른 적어도 제1, 제2영역의 경계에 관한 정보와, 상기 제1, 제2영역의 주파수 스펙트럼 패턴을 상기 텍스처 정보로서 추출하면 좋다. 여기에서, 상기 제1, 제2영역과 상기 주파수 스펙트럼 패턴의 절대치가 같은 영역을 제1, 제2영역 그룹으로 하고, 각각의 그룹 내에서의 영역의 경계를 상기 대표 화소로 지정하면 좋다. 다시, 상기 대표 화소에 의해, 미리 준비되어 있는 텍스처 패턴을 선정하면 좋다.
상기 부호화된 텍스처 정보의 부호를 랜더마이즈해서 복호화하면 좋다.
상기 부호화된 텍스처 정보의 위상을 랜더마이즈해서 복호화하면 좋다.
상기 아나로그 화상 정보를 재생하려면, 상기 복호화된 대표 화소에 의해 형성되는 보간면에 의해, 상기 대표 화소 이외의 상기 화상 정보를 구성하는 화소의 휘도 정보를 결정하면 좋다.
상기 휘도 정보가 3차원적으로 분포하는 경우는, 상기 아나로그 화상 정보를 재생하려면, 상기 복호화된 대표 화소에 의해 형성되는 보간 입체에 의해, 상기 대표 화소이외의 상기 화상 정보를 구성하는 화소의 휘도 정보를 결정하면 좋다.
상기 아나로그 화상 정보가 동화상 정보인 경우는, 제1시간에서의 제1정지화의 텍스처 정보를 추출하고, 상기 제1정지화와, 상기 제1시간과 다른 제2시간에서의 제2정지화의 움직임 벡터에 따라서, 상기 제1정지화의 택스처 정보를 이동시켜 상기 제2정지화의 텍스처 정보를 얻으면 좋다.
[실시예]
다음에, 첨부도면을 참조하여 본 발명의 다차원 화상 압축 신장 방법에 관한 구체적인 내용을 상세히 설명한다.
본 발명의 다차원 화상 압축 신장 방법은, 2차원적으로 분포하는 화상 정보나, 2차원적으로 분포하는 화상 정보에 시간축도 포함시킨 3차원적으로 분포하는 화상 정보에 대해서 고능률의 압축 신장을 행하는 것이다. 본 발명에서는 그들 2차원적으로 분포하는 화상 정보나, 3차원적으로 분포하는 화상 정보로서는, 휘도 정보만의 화상(소위, 흑백 화상)의 화상 정보에 한정되지 아니하고, 명도와 색도 [색상과 채도(포화도)]를 갖춘 칼라 화상의 화상 정보도 대상으로 하고 있다. 다음의 설명에서는 주로 휘도 정보만의 화상 정보에 대해서 다차원 화상 압축을 행하는 경우에 대해서 기술하고 있다.
지금, 흑백 정지 화상내의 휘도를 z로 하고, 또, 화면의 수평방향을 x, 수직방향을 y라 하면, 화상은 일반적으로 다음의 (1)식과 같은 방정식으로 표현된다.
z = f(x, y) … (1)
또, 동화상에 대해서는 시간축을 t라 하면, 다음의 (2)식과 같은 방정식으로 표현된다.
z = f(x, y, t) … (2)
여기에서 f를 다차 함수라 하면, 화상내의 휘도 z는 다음의 (3)식에 의해 표시된다.
z = A1x+ A2x 2+ … … + Anx n
+B1y + B2y2+ … … + Bnyn
+C1t + C2t2+ … … + Catn
+ D … (3)
그런데, 화상을 전송한다는 것은, 송상측에서 (3)식에 의해 결정된 휘도함수를 수상측에서 재현하는 것이라 할 수 있다. 그러나, 일반의 디지탈 화상 전송에 있어서는 휘도함수를 해석적으로 취급하지 않고, 그것을 소위 테이블 함수로서, 그 테이블치 전부를 전송하도록 하고 있다. 이에 대해서 종래의 일반적인 압축 전송에 있어서는, 상기 테이블치 그 자체의 인접 상관을 이용한 고능률 부호화를 행하거나, 혹은 직교 변환후의 테이블치에 마찬가지의 조치를 실시하는 등의 수단을 강구하고 있다. 그러나, 종래는 휘도함수에 관한 해석적 처리에서 직접 함수의 특징치를 추출하도록 한 압축 전송방식은 적다.
본 발명의 다차원 화상 압축 신장 방법은, 정지 화상에서의 2차원적인 휘도정보, 혹은 이 휘도 정보에 시간축도 포함하는 3차원적인 휘도 정보 등의 화상 정보에 대해서 다음과 같은 처리를 실시한다. 먼저, 제 5a도 및 제 9c도에 예시되어 있는 등휘도선(등고선){3차원적인 휘도 정보인 경우에는 등휘도면}을 추출한다. 다음에, 추출된 등휘도선의 곡률의 정부의 극대점, 또는 등휘도선의 직선 근사(3차원적인 휘도 정보인 경우에는 평면 근사)와 상기 등휘도선(등휘도면)과의 차가, 미리 정해진 역치를 초과한 점을 상기한 화상의 특징점으로 한다. 이 특징점의 위치 및 휘도치만을 전송(기록), 화상 복원에 사용하고, 휘도 함수의 재생에 영향이 적은 화소의 휘도 정보를 기각한다.
이에 따라, 대폭적인 화상 정보의 압축이 실현되도록 한다. 다시, 휘도함수에서의 미리 정해진 공간 주파수치 보다 높은 공간 주파수 성분을 갖는 영역을 직교 변환하고, 그에 따라 얻은 스펙트럼의 절대치의 패턴이 동등한 영역을 등텍스처 영역으로 한다. 각각 스펙트럼의 절대치의 패턴을 달리하는 각 등텍스처 영역에 대해서, 각각의 영역의 경계점 열의 정보와 스펙트럼 정보를 조로한 텍스처 정보를 발생시킨다. 신장에 있어서는, 상기한 근처의 복수의 특징점에 의해 결정되는 보간면, 또는 보간 입체에 텍스처 정보를 부가하고, 텍스처 정보도 갖는 고능률, 고품질로 화상을 신장하는 것이다.
본 발병의 다차원 화상 압축 신장 방법을 도시하는 제1도에 있어서, (1)은 다차원 화상 압축 신장의 대상으로 되는 화상 신호의 신호원이다. 화상 신호원(1)으로서는, 예를 들자면 화상 신호를 발생하는 촬상 장치(TV 카메라) 또는 VTR, 그밖의 것이 사용된다. 또 (2)는 아나로그 디지털 변환기, (3)은 화상 메모리, (4)는 등고선 트레이서 특징점 추출부(상세한 구성예가 제2도에 도시되어 있다), (6)은 부호화 송출부, (7)은 수신 복호부(또는 재생 복호부), (8)은 텍스처 재생부, (9)는 휘도 함수 재생부, (10)은 화상 메모리, (11)은 구동 회로, (12)는 모니터 수상기이다.
여기에서 제1도에 의한 본 발명의 다차원 화상 압축 신장 동작을 설명하기 전에 본 발명 방법에서의 화상 정보의 압축의 원리와, 복원(신장)의 원리에 대해서 설명한다. 먼저, 정지 화상에 대해 화상 정보 압축이 행해질 때에, 화상의 특징점, 즉 휘도함수의 등휘도선(등고선){3차원적인 휘도 정보인 경우에는 등휘도면}의 곡률의 정부의 극대점, 또는 상기 등휘도선의 직선근사(3차원적인 휘도 정보의 경우에는 평면 근사)와 상기 등휘도선(등고선)과의 차가, 미리 정해진 역치를 초과한 점을 다음과 같은 방법에 의해 추출한다. 1. 검토 대상으로 되어 있는 화소 a의 전후에서의 상기한 등고선(3차원적인 휘도 정보의 경우에는 등고면)의 구부러짐이 미리 정해진 역치 각도를 초과한 경우에, 상기 화소 a는 특징점이라고 판정한다. 2. 기검출된 특징점 화소와, 거기에서 상기 등고선에 따라서, 어떤 방향으로 더듬어 가상적 직선을 긋고, 맞닿은 화소와의 사이에서, 양화소간에 있는 화소에서, 상기 직선으로부터 어떤 역치 거리를 넘은 거리에 있는 화소를 특징점이라고 판정한다.
여기에서 상기한 판정 기준을 채용하고, 임의의 정지 화상에서의 2차원 화면내의 휘도 분포 함수를 예시하고 있는 제9도을 예로 들고, 상기한 바와 같은 화상 정보 압축의 대상 화상의 특징점을 추출하는 경우에 대한 구체적인 예를 기술하면 다음과 같다. 제 9a도는 2차원 화면내의 휘도 분포 함수의 등고선 중 하나를 예시하고 있는 것이고, 상기 2차원 화면내의 휘도 분포 함수의 등고선의 추출은 다음과 같은 순서에 따라 행해진다. 제 9b도를 참조하여 동등한 휘도를 표시하는 점의 탐색법에 대해서 설명한다. 제 9b도에 있어서 (1)∼(4)를 4개의 화소로 하고, 이들 화소의 휘도치가 도면중 H, L(H는 고휘도치, L은 저휘도치로 함)로 표시하는 바와 같은 것으로 한다. 또, 제1추출치를 얻은점 S를 등고선 추출의 개시점으로 한다. 상기 S점은 화소(1)와 화소(4)의 중간에 있으므로, 그 좌표 위치의 휘도치는 예를 들자면 상기 화소(1)의 휘도치와 화소(4)의 휘도치에 따른 휘도치의 비례 배분치를 사용해도 좋다.
상기한 개시점 S점에서 S점의 휘도치와 동등한 휘도치를 도시하는 점을 연결하여 얻어지는 등휘도선(등고선)을 추적하기 위해, 상기한 4개의 화소(1)∼(4)에 의해 표싣회는 화형에서의 변 (1)-(2), (2)-(3), (3)-(4)의 순으로, 상기한 개시점 S의 휘도치와 동일한 휘도치(등고치)를 갖춘 점의 유무를 검증한다. 먼저, 개시점 S의 휘도치와 동등한 등고치는 변 (1)-(2)상의 M1점에서 검출된다. 상기한 등고치를 갖는 점 M1이 검출된 후에, 상기 순서를 반복해서 다음 등고치의 점 M2(도시하지 않음)를 검출하도록 하고, 차례로 등고치를 표시하는 점을 추적하여 등고선의 추출을 진행해간다. 또한, 상기 등고선의 추출에 있어서는 이미 등고선이 교차하고 있는 변은 검출 대상에서 제외(상기한 개시점 S만은 예외로 함)한다.
상술한 바와 같이 하여, 어떤 휘도치와 등휘도치를 갖는 순차의 점이 검출됨으로써 제 9a 도에 예시되어 있는 것과 같은 2차원 화면내의 휘도 분포 함수의 등고선의 하나가 추출된다.
제 9a 도에 있어서, 개시점으로 된 S 점에서 차례로 추적된 등휘도점의 연속에 의해 형성되는 등휘도선(등고선)의 진로가 급변하고 있는 점 M6, M8, M14, M16, M18, M20 는 기술한 판정 기준 중 1. 에 따라서 특징점으로 판정되고 있다. 상기한 등휘도치를 표시하는 점 M8 이 검출된 후에, 차례로 등휘도치의 점을 추적해서 점 M12 에 이르렀을 때에, 가상직선(점선) M8-M12 에 대해서 어떤 거리 떨어져 있는 점 M10 은, 방향의 급변점은 아니지만 기술한 판정 기준 2. 에 따라서 특징점으로 판정되어 있다. 이것은 점 M12, M22에 대해서도 마찬가지이다.
이와 같이 하여, 2 차원 화면내의 휘도 분포 함수는 등고선(등휘도선)으로 치환되어서 등고선의 특징점에 집약(특징점 이외의 화상 정보는 기각된다)되기 때문에, 본 발명의 다차원 화상 압축 신장 방법에서는 고도로 압축된 상태에서 전송(기록)을 행할 수가 있는 것이다.
이와 같은 방법에 의해 화상 정보가 고도로 압축된 상태에서 전송(기록)된 화상 정보를 신장(복원)해서 재생 화상을 얻는 데에는, 상기한 특징점이 신장 화면내의 대응점(원화상과 화소 대응일 필요는 없음)의 휘도치를 결정하고, 또한 특징점으로부터의 거리에 비례해서 주변 화소로의 영향력을 상실해 가도록 한 신장법이 채용된다. 그리고, 상기한 바와 같은 화상 정보의 신장은, 1 차원상에서는 특징점 간에서의 직선 보간에 의해 행해지게 된다. 다시, 다차원 공간내에서의 화상 정보의 신장은 평면보간 또는 입체보간에 의해 행해지고, 다음에 그 원리에 대해서 제10도를 참조해서 설명한다.
제10도는 제9a도 중에 도시되어 있는 각 특징점 S, M6, M8, M10, M12, M14, M16, M18, M20, M22의 위치 정보(어드레스)를 사용하고, 재생측 화상 메모리상에 재현된 등고선(등휘도선)을 포함하고 있다. 제 10도중에 있어서 상기 등고선(M군의 등고선)은, 상기한 각 특징점 S, M6, M8, M10, M12, M14, M16, M18, M20, M22를 차례로 연결하는 점선에 의해 표시되어 있다. 또, 제10도 중에서 각 특징점, Ni, Nj, Nk, Nl 을 차례로 연결하는 점선은, 상기한 M 군의 특징점에 의한 등고선과는 다른 N 군의 특징점의 등고선을 표시하고 있다.
이제, 상기한 M 군의 등고선과 N 군의 등고선 사이의 영역을, N군이 표시하는 휘도치에 의해 충당한 경우에는, M 군의 등고선에 의해 포위되어 있는 영역에서의 휘도치 사이에 생기는 명확한 휘도층차에 의해, 소위, 의사 윤곽 현상이 발생하기 때문에 고품질인 신장 화상을 얻을 수가 없게 된다. 그래서, 상기한 바와 같은 의사 윤곽 현상이 발생하지 않도록 하기 위해서, M군에 속하는 특징점과 N군에 속하는 특징점을 (A)식으로 표시하는 근사 연산으로 구해지는 평면 보간으로 충당한다.
za = "(1/ri) … (A)
지금, 신장 화면내에 특정한 화소 a를 생각하고, 화소 a에서 각 특징점의 화소까지의 거리를 ri로 하고, 화소 a의 휘도치를 za로 하고, 각 특징점의 휘도치를 zi로 하고, 상기한 특징점내의 하나의 특징점 k의 휘도치 zk로 하고, 거기에 a를 비례 정수로 하면, 상기한 화특징점내의 1개의 특징점 k의 휘도치 zk와, 상기한 화소 a의 휘도치 za와의 관계는 다음 (4)식의 보간식에 의해 표시된다.
za = zk + ak·rk .… (4)
상기 (4)식에 있어서 우변 제2항의 ak·rk는, 화소 a의 휘도치와 특징점 k의 휘도치 zk의 휘도치의 어긋남을 표시하고 있고, 이 ak·rk 값은 거리 r에 비례한다. 또한, ak·rk 에는 정부가 있고, 그것은 비례 징수 a 에 반영되는데, 보간 공간 전체에서의 a 의 총합은 영으로 (5)식에 의해 표시된다.
∑마 = 0 … (5)
(5)식의 조건을 가미해서 상기한 (4)식에서 a의 항을 소검함으로써, 화소 a의 휘도치 za의 일반적인 보간식을 구하면, 상술한 (A)식이 얻어지는 것이다.
상기한 (A)식은, 전체 특징점의 휘도치 zi 와, 보간의 대상으로 된 화소 a의 거리 r 가 판단되면, 화면 내부의 미보간 전화소(원화와의 화소 대응은 없어도 됨)의 휘도치는 보간에 의해 구할 수 있음을 표시하고 있다. 그러나 (A)식은 특징점의 증대에 의해서는 실용적인 계산량을 초과하기 때문에, 어떤 미보간 화소를 둘러싸고, 또한 미보간 화소 근처의 3 특징점에 의해 결정되는 보간면에 의해 보간 휘도치를 근사 산출한다.
그리고, 1 평면은 주지하는 바와 같이 공간내의 3 점에 의해 결정되므로, 상기 미보간 화소의 근처의 3 개의 특징점을 군으로 함으로써 보간 삼각형이 얻어지게 된다. 따라서 제 10 도 중에서 각 3 개씩의 특징점 "Ni, Nj, S", "Nk, M6, S", "Nj, Nk, S"에 의해 형성되는 각 삼각형내의 화소의 휘도치는, 각각 상기 (A)식에 의한 근사 연산에 의한 평면 보간으로 충당할 수 있는 것이다.
그런데, 상기한 바와 같은 평면 보간을 행하는 경우의 보간면의 결정에는, 미보간 화소를 둘러싸는, 미보간 화소 근처의 3 개의 특징점을 추출할 필요가 있다고, 제12도를 참조해서 상기 3 개의 특징점의 추출 원리에 대해서 설명을 한다. 제12도에 있어서 화소 Mi, Mj는 휘도치(등고치)가 M인 M군의 등고선(등휘도선)상의 특징점이고, 또, 화소 Ni, Nj, Nk는 휘도치(등고치)가 N인 N군의 등고선(등휘도선)상의 특징점이고, 또한 화소 Oi, Oj, Ok는 휘도치(등고치)가 0인 0군의 등고선(등휘도선)상의 특징점이다. 화상의 신장시에는 상기한 각 등고치를 갖는 특징점군의 데이터가, 재생측 화상 메모리에 기억된다. 도면중에 있어서 상기한 각 등고선은 각각 점선에 의해 표시되어 있다.
특징점 이외의 임의의 화소에 대해서, 그 임의의 화소가, 어느 특징점에 가까운가를 탐색하는 데에는, 예를 들자면 제11도와 같이 해서 행할 수가 있다. 제11도에 있어서 임의의 화소 P의 근처에 특징점의 화소 M, N이 존재한다고 한다. 상기한 임의의 화소 P에서 도면중 점선 화살표의 경로에 따라서 소용돌이형으로 인접 화소를 검사해 가면, 특징점의 화소 N보다도 먼저 특징점의 화소 M에 도달한다. 이같은 사실에 의해 상기한 임의의 화소 P는, 특징점의 화소 N은 아니고 특징점의 화소 M의 근처에 있는 것으로서 검출된다. 그 때, 상기 화소 P에는 특징점의 화소 M의 영역에 있는 것을 표시하는 표를 기입한다.
제12도는 특징점의 화소 이외의 복수의 임의 화소에, 각각의 임의의 화소가 속하고 있는 특징점 기호가, 제11도를 참조하여 상기한 바와 같은 순서에 따라 기입된 상태가 도시되어 있다. 상기한 특징점 기호를 연결하는 점선이 상기한 특징점의 영향 영역의 경계이다. 지금, 예를 들자면 3영역의 경계인 △1에 착안하면, 이 △1에는 화소 Nj, Nk, Ok가 인접되어 있다.
따라서, 화소 Nj, Nk, Ok가 근처의 3개의 특징점으로 간주되고, 삼각형 Nj, Nk, Ok가 휘도 보간 평면으로서 결정된다. 그리고, 상기한 삼각형 Nj, Nk, Ok의 내부에 존재하는 화소의 휘도치는, 상기한 휘도 보간 평면의 휘도치에 의해 충당된다. 마찬가지로 별도의 3영역의 경계인 △2에 착안하면, 이 △2에는 화소 Nj, Oj Ok가 인접해 있다. 따라서 화소 Nj, Oj, Ok가 근처의 3개의 특징점으로 간주되고, 삼각형 Nj, Oj, Ok가 휘도 보간 평면으로서 결정된다. 그리고 상기한 삼각형 Nj, Oj, Ok의 내부에 존재하는 화소의 휘도치는, 상기한 휘도 보간 평면의 휘도치에 의해 충당된다.
상기한 바와 같은 순서에 의해 1특징점의 영향 및 화소 영역을 확장면(3차원 대상의 경우에는 확장 입체)에 의해 탐색하고, 상기 1특징점의 영향이 미치는 화소 영역의 경계에서, 근방 3특징점(3차원 대상의 경우에는 4특징점)을 검출한다. 이에 따라, 소수의 특징점 정보에서 신장측의 휘도 함수가 결정되고, 미전송 화상 정보의 각 휘도치는, 상기 (A)식으로 구해지는 보간치에 의해 충당되어서 화상 전체의 내용이 재현되는 것이다. 제 5b 도에는 휘도 보간 평면에 의해 재묘화된 상태가 표시되어 있다. 또한, 2차원 대상인 경우의 확장면으로서는 원, 정방형, 능형 등이 사용되면 좋다. 다시, 3차원 대상의 경우의 확장입체로서는 구, 회전타원체, 저면을 대칭면으로 하여 연결된 2개의 원뿔체, 저면을 대칭면으로 해서 연결된 2개의 각뿔체 등이 사용되어도 좋다.
그런데 일반의 자연화에는, 제 5a도 또는 제 9도에 도시되는 바와 같은 전체적인 휘도함수 구조에 더해서, 제 6a도 중에 α, β로 표시되어 있는 바와 같은 피사체의 텍스처(결)가 존재하고 있다. 그리고, 상기한 휘도함수와 텍스처의 재현도 합에 따라, 신장화상의 질감이 시각상 크게 영향받는 것이 알려져 있다. 그러나, 휘도보간 평면을 예시하고 있는 제 5b도를 보아서도 알 수 있듯이, 재묘화된 신장화상의 휘도함수는, 그것의 세부가 보간에 의해 결정되기 때문에 당연하게 텍스처의 재현이 곤란한 것은 요이하게 이해된다. 따라서, 본 발명의 다차원 화상 압축 신장 방법에서는, 텍스처와 휘도 함수를 별개로 취급한다. 즉, 휘도함수는 상기 방법에 의해 취급한다. 한편, 텍스처에 대해서는, 예를 들자면, 휘도함수에서의 미리 정해진 공간 주파수치보다도 높은 공간 주파수 성분을 갖춘 영역을 직교 변환하고, 그것에 따라 얻은 주파수 스펙트럼 패턴(이하 주파수 스펙트럼이 간단히 스펙트럼으로 기재되는 일도 있음)의 절대치의 패턴이 동등한 등텍스처 영역을 한 개의 그룹으로 한다. 그리고, 스펙트럼의 절대치의 패턴을 달리하는 텍스처 영역 그룹에 대해서, 각각의 영역 그룹의 경계점 열의 정보와 스펙트럼 정보를 조로한 텍스처 정보를 발생시킨다. 신장에 있어서는, 상기한 근처의 복수의 특징점에 의해 결정되는 보간면, 또는 보간 입체에 텍스처 정보를 부가하도록 하고 있다.
즉, 제 6a도에 예시하고 있는 텍스처를 포함하는 휘도 함수는, 제 5a도와 제 6b도의 각각에 도시되어 있는 것과 다른 주파수 성분의 함수의 합성으로서 받아들일 수 있다. 따라서, 본 발명의 다차원 화상 압축 신장 방법에서는, 예를 들자면 제 5b도를 참조해서 설명한 바와 같은 신호 처리와, 제 6b도에 예시되어 있는 영역{경계점 (1)∼(4)에 의해 포위되어 있는 영역}의 텍스처 α와 영역{경계점 (5)∼(9)에 의해 포위되어 있는 영역}의 텍스처 β에 대한 신호 처리를, 다른 2개의 주파수 성분의 함수에 대한 신호 처리로서, 주파수 대역에서 분리해서 별개로 처리하는 것이다.
피사체의 텍스처 정보로서는, 예를 들자면 미리 정한 역치보다 높은 공간 주파수 성분을 갖는 영역에 대해서 얻은 주파수 스펙트럼 패턴과, 상기 영역의 경계점 열을 조합시켜서 사용할 수 있다. 즉, 예를 들자면 제 6b 도중의 경계점 (1)∼(4)을 연결하는 경계선에 의해 포위되는 영역이, 미리 정해진 제 1 역치보다도 높은 공간 주파수 성분을 갖는 하나의 영역(텍스처 α의 등텍스처 영역)이다. 즉, 또, 예를 들자면 제 6b 도중의 경계점 (5)∼(9)을 연결하는 경계선에 의해 포위되는 영역이, 상기한 제1역치와는 다른 제2역치보다도 높은 공간 주파수 성분을 갖는 다른 영역(텍스처 β의 등텍스처 영역)이다. 그리고, 상기 경계전 (1)∼(4)을 연결하는 경계선에 의해 포위되는 영역의 일부 Rα와 상기 경계점 (5)∼(9)를 연결하는 경계선에 의해 포위되는 영역의 일부 Rβ 에 대해서, 각각 직교변환예를 들자면 이산코사인 변환…DCT}을 실시한다. 제 6d 도는 영역의 일부 Rα 와 Rβ 가 폭, 높이 모두 W로 직교 변환되는 모양을 표시하고 있다.
상기한 각각의 영역과 대응해서 얻어지는 각각의 주파수 스펙트럼 패턴은, 1차원적으로 보아서, 예를 들자면 제 7a 도에 예시되어 있는 스펙트럼 패턴과 같이, 스펙트럼의 절대치가 주파수의 증가에 따라서 단조롭게 증가하는 스펙트럼 패턴이다. 혹은 제 7e 도에 예시되어 있는 스펙트럼 패턴과 같이, 스펙트럼의 절대치가 주파수의 증가에 따라서 단조롭게 감소하는 스펙트럼 패턴이다. 이와 같이, 각각 스펙트럼 패턴이 다른 것으로 되어 있으나, 상기한 스펙트럼의 절대치의 패턴이 동등한 영역, 즉 제 1, 제 2 역치를 초과하여 비동등하게 되는 경계점{상기한 제 6b 도의 (1)∼(4), (5)∼(9)}을 열결하는 경계선에 의해 포위되는 영역을 등텍스처 영역으로 한다. 그리고, 상기 피사체의 텍스처 정보로서는, 상기한 바와 같이 각각 다른 텍스처 α β .... 와 대응해서, 각각 개별적으로 설정된 각각 특정한 스펙트럼 패턴과, 상기 특정한 스펙트럼 패턴으로 나타내어지는 등텍스처 영역의 경계선을 표시하는 경계점 열을 사용할 수 있다. 상기 텍스처 정보가 화상의 텍스처의 전송(기록), 화상 복원에 사용된다.
상기한 텍스처 정보는, 화상의 복원에 있어서 상기한 등텍스처 영역을 표시하는 경계점 열, 예를 들자면 제 6b 도에서의 경계전 (1)∼(4), 경계점 (5)∼(9)각각으로 표시되는 영역마다의 스펙트럼에 대해서, 각각 직교 역변환{예를 들자면 이산코사인 역변환…IDCT}을 실시하고, 그 결과를 기술한 휘도 함수에 부가해서, 텍스처를 포함한 재현화상이 얻어지도록 한다.
그런데, 상기 직교 역변환이 행해진 스펙트럼은, 예를 들자면 제 6b 도에서의 경계전 (1)∼(4)로 표시되는 영역 내의 일부 Rα 와 대응하고 있는 스펙트럼, 혹은 제 6b 도에 있어서 경계점 (5)∼(9)로 표시되는 영역내의 일부 Rβ 와 대응하고 있는 스펙트럼이다. 즉, 상기 직교 역변환에 의해 얻어지는 텍스처는, 제 6b 도에서의 경계점 (1)∼(4)로 표시되는 영역 전역의 텍스처, 혹은 제 6b 도에 있어서 경계점 (5)∼(9)로 표시되는 영역 전역의 텍스처는 아니다.
그래서, 예를 들자면 제 6b 도에서의 경계점 (1)∼(4)로 표시되는 영역내의 일부 Rα와 대응하고 있는 스펙트럼을 직교 변환해서 얻은 텍스처에 의해 경계점 (1)∼(4)로 표시되는 영역 전체를 만족시키려면, 상기 영역은 흡사 같은 패턴의 타일이 첨부된 것과 같은 상태로 되어 버려, 자연감이 있는 재현 화상이 얻어지지 않는 일이 일어난다. 상기 문제가 생기지 아니하도록 하는 방법으로서, 제 6b 도의 경계점 (1)∼(4)으로 표시되는 영역내의 일부 Rα 와 대응하고 있는 스펙트럼이, 제 7a 도에 예시되어 있는 스펙트럼 패턴으로 표시되는 경우를 설명한다. 먼저, 스펙트럼의 절대치 패턴을 바꾸는 일없이, 부호만을 랜더마이즈한 스펙트럼 패턴 {제7b도∼7d도 참조}을 발생시킨다. 그리고, 상기 부호만을 랜더마이즈한 스펙프럼 패턴(일정 사이즈의 사변형 영역)을 합쳐서 제 6b 도에서의 경계점 (1)∼(4)로 표시되는 영역 전체의 텍스처의 재현이 행해지도록 한다.
다음으로, 제 6b 도의 경계점 (5)∼(9)로 표시되는 영역내의 일부 Rβ 와 대응하고 있는 스펙트럼이, 제 7e 도에 예시되어 있는 스펙트럼 패턴으로 표시되는 것인 경우를 설명한다. 먼저, 스펙트럼의 절대치 패턴을 바꾸는 일없이, 부호만을 랜더마이즈한 스펙트럼 패턴{제 7f 도∼7h 도 참조}을 발생시킨다. 그리고, 상기 부호만을 랜더마이즈한 스펙트럼 패턴을 맞추어서 제 6b 도에서의 경계점 (5)∼(9)로 표시되는 영역 전체의 텍스처의 재현이 행해지도록 한다.
그런데 상기 방법에 의해, 영역 전체의 텍스처의 재현을 행한 경우에는, 그 영역내의 일부의 영역(예를 들자면 Rα)의 변 가장자리는, 인접해서 설치되는 영역 (Rα)과는 휘도 함수로서는 불연속이다. 따라서, 상기한 바와 같이해서 재현된 어떤 영역{예를 들자면 제 6b 도에 있어서 경계점 (1)∼(4)로 표시되는 영역}의 내부에는, 상기한 그 영역내의 일부 영역(예를 들자면 Rα)의 변 가장자리가 종횡의 경계선으로서 표시되는 일이 일어난다. 이 경우는, 상기 종횡의 경계선은 거짓 신호이므로, 상기 종횡의 경계선 근처의 화소 정보에 저역통과 여파 특성을 부여하는 등을하여 상기 거짓 신호의 발생을 감소시키면 좋다.
상술한 바와 같은 순서에 따라, 소수개의 특징점 정보에 의거해서 신장측의 휘도함수가 결정되고, 미전송 화소 정보에서의 각각의 휘도치는, 상기한 휘도 보간 평면의 휘도치에 의해 보간되어서 화상 전체의 내용이 재현된다. 다시, 상기한 근처의 복수의 특징점에 의해 결정되는 보간면, 또는 보간입체에 텍스처 정보가 부가 되어서 고품질의 재현 화상이 얻어진다. 이제까지의 설명에서 명백한 바와 같이, 압축측과 신장측에 있어서 공유하려는 것은 화면의 휘도 함수이다. 따라서 그것의 특징점의 위치 정보를 화면 전체에 대한 상대치로 표시하면, 압축측과 신장측의 화소수가 일치하고 있을 필요는 없다. 그리고, 본 발명의 다차원 화상 압축 신장 방법에 의해 추출된 화상의 특징 정보는, 신장측의 화소수(해상도 규모)에 따라 재묘화되게 되는 것이다.
이상 설명한 본 발명의 다차원 화상 압축 신장 방법을 제1도를 참조해서 더욱 상세히 설명한다. 화상 신호원(예를 들자면 TV 카메라)(1)에서는 소정의 표준 방식의 텔레비전 방식에 따른 영상 신호를 발생시켜 아나로그 디지탈 변환기(2)에 공급한다. 상기한 화상 신호원(1)으로서는 본 발명의 다차원 화상 압축 신장 방법에 의해 압축 신장되어야 할 화상 정보를 발생시킬 수 있는 영상 신호 발생 장치이면 어떠한 구성 형태의 것이라도 사용 가능하다. 다음의 설명예에서는 화상 신호원(1)으로서 동화상의 흑백의 영상 신호를 발생시킬 수 있는 구성 형태의 것이 사용되는 것으로 하고 있다.
상기한 화상 신호원(1)에서 발생된 흑백의 영상 신호는, 아나로그 디지탈 변환기(2)에 의해 디지탈 신호로 변환된다. 상기 아나로그 디지탈 변환기(2)에서는 1 화상분마다의 영상 신호를, 화상의 가로, 세로 방향마다 각각 소정의 화소수(예를 들자면 화상의 가로방향으로 512 화소, 화상의 세로 방향으로 480 화소)로 분해한 상태의 1 화소마다 소정의 비트수(예를 들자면 8 비트)의 디지탈 신호로 변환해서, 그것을 화상 메모리(3)에 기억한다.
화상 메모리(3)는, 위에서 설명한 바와 같이, 화상에서의 특정 휘도의 등고선을 추출해서 특징점을 결정을 하기 위한 동작을 행하거나, 화상의 텍스처 정보를 발생시키기 위해서 사용되는 화상 메모리이다. 그리고, 화상 메모리로의 데이터의 기록 동작과, 특징점의 결정 동작시에 행해지는 데이터의 판독 동작이, 2 개의 화상 메모리를 사용해서 차례로 서로 병열적으로 행해지도록 되어 있다. 상기한 화상 메모리(3)로부터의 출력은, 등고선 트레이서 특징점 추출부(4)(상세한 구성예가 제 2 도에 도시되어 있음)와, 텍스처 추출부(5){상세한 구성예가 제 3a 도에 표시 되어 있음}에 공급된다. 그리고, 상기한 등고선 트레이서 특징점 추출부(4)에서는 화상 정보에서의 등고선(등휘도선)의 추출과, 특징점의 결정 동작을 행한다. 결정된 화상 정보 압축의 대상으로 되어 있는 화상의 특징점의 정보가 부호화 송출부(6)에 부여된다. 다시, 텍스처 추출부(5)에서는 화상의 텍스처 정보의 추출과, 특징점의 결정 동작을 행하고 결정된 제정보를 부호화 송출부(6)에 부여한다.
상기한 부호화 송출부(6)에서는, 정보를 능률적으로 전송할 수 있는 부호, 예를 들자면 하프만 코드 등의 공지의 부호로 변환하여 전송로를 거쳐서 수신 복호부(7)로 전송한다. 수신 복호부(7)에서는, 그것에 전송되어온 부호화된 신호를 복호하여 휘도함수 재생부(9)(상세한 구성예가 제 3 도에 도시되어 있음)에 부여한다. 상기한 전송로의 일부분이 기록 매체로 된 경우에는, 상기한 부호화 송출부(6)나 수신 복호부(7) 등으로서는, 각각 기록 회로나 재생 회로가 사용된다. 상기 휘도함수 재생부(9)에서는, 그것에 공급된 특징점의 정보를 사용해서 압축전의 2 차원 휘도 함수를 복원해서 화상 메모리(10)에 기억시킨다. 또, 텍스처 재생부(8)에서는 텍스처를 복원해서 화상 메모리(10)에 기억시킨다. 그리고, 복원된 2차원 휘도 함수를 구성하는 각 화소의 휘도치와 텍스처가, 화상 메모리(10)에서 판독되어 구동 회로(11)에 공급된다. 구동 회로(11)는, 각 화소의 휘도치와 텍스처를 아나로그 신호 형태의 시계열 신호로 변환하고, 그리고, 모니터 수상기(12)에 의해 영출되어야 할 화상의 영상 신호를 발생한다. 이 발생한 신호가 모니터 수상기 (12)에 부여된다.
제 2 도에는, 등고선 트레이서 특징점 추출부(4)의 상세한 구성예와 화상 메모리(3) 사이에 복수개의 신호 전송로가 설치되어 있는 상태가 표시되어 있다. 등고선 트레이서 특징점 추출부(4)에는 각각 복수개(n 개)의 어드레스 발생기(13∼15, 휘도 판정기(16∼18), 휘도치 발생기(19∼21), 시프트 레지스터(22∼24), 특징점 판정기(25∼27)와, 1 개의 정렬 회로(28)가 설치되어 있다. 상기한 어드레스 발생기(13∼15)에서는, 화상 메모리(3)의 어드레스를 지정하는 어드레스 데이터를 발생시키고, 발생된 어드레스 데이터를 화상 메모리(3)에 부여한다.
어드레스 발생실(13)(14, 15, ...n)에서 발생된 어드레스 데이터에 의해 지정된 어드레스의 기억 영역에서 판독된 휘도치의 데이터와, 휘도치 발생부(19)(20, 21....n)에 의해 발생된 특정한 휘도치의 데이터가 부여되는 휘도 판정기(16)(17, 18, ....n)에서는, 상기 양 데이터의 비교를 행하고, 그 비교 결과를 어드레스 발생기(13)(14, 15,....n)에 부여한다.
그것에 의해, 어드레스 발생기(13)(14, 15, ....n)에서는, 예를 들자면 제 9b 도중의 M1 과 대응하는 새로운 어드레스(화소 어드레스의 중간을 포함함) 데이터를 발생시켜 그것을 화상 메모리(3)에 부여한다.
화상 메모리(3)에서는, 상기한 바와 같이해서 부여된 어드레스 데이터에 의해 지정된 어드레스의 기억 영역에서 판독된 휘도치의 데이터를, 등고선 트레이서 특징점 추출부(4)의 휘도 판정기(16)(17, 18, .... n)에 공급한다.
휘도 판정기(16)(17, 18, ....n)에 공급한다.
휘도 판정기(16)(17, 18, ...n)에서는, 화상 메모리(3)에서 판독된 휘도치의 데이터와, 휘도치 발생부(19)(20, 21, .....n)에 의해 발생된 특정한 휘도치의 데이터의 비교를 행하여, 그 비교 결과를 어드레스 발생기(13)(14, 15, ....n)에 부여한다. 다음에, 마찬가지로 하여 상기한 바와 같은 동작이 차례로 행해짐으로써, 휘도치 발생부(19)(20, 21, ...n)에 의해 발생된 특정한 휘도치의 데이터에 의해 표시되는 휘도치와 거의 동등한 휘도치가 존재하고 있는 어드레스치가 차례로 발생된다. 상기 각 어드레스치는, 제 9 도에 예시되어 있는 예와 같이 화소 어드레스치의 중간을 표시하고 있는 경우에는 근처의 화소 어드레스치로 치환해서, 상기 동작이 차례로 행해지는 것이다.
상기한 바와 같이 어드레스 발생기(13)(14, 15, ....n)에서 차례로 발생된 어드레스 데이터는, 시프트 레지스터(22)(23, 24, ....n)에도 부여된다. 상기 시프트 레지스터(22)(23, 24, ....n)의 병렬 출력이 공급되는 특징점 판정기(25)(26, 27, ...,n)에는, 상기 시프트 레지스터(22)(23, 24,...,n)가 특저의 화소수(예를 들자면 10 화소)의 어드레스 데이터를 축적한 상태로, 새로운 어드레스가 1개 입력되고, 최고의 어드레스가 1개 소멸할 때마다, 기술한 특징점의 판정 기준에 따라서 상기 어드레스군 중에서 특징점이 되는 화소를 검출한다. 그리고 특징점이 되는 화소의 어드레스치와 휘도치는, 정렬 회로(28)에 공급된다. 정렬 회로(28)에서는, 상기한 바와 같이 복수의 특징점 판정기(25, 26,...27)에서 출력된 각각 다른 등고치를 표시하는 특징점군의 어드레스치와 휘도치를 등고치(등휘도치)별로 분류해서 송출시키기 위한 정렬 등작을 행한다. 정렬 회로(28)로부터의 출력은, 등고선 트레이서 특징점 추출부(4)의 출력으로서 부호화 송출부(6)에 공급된다. 또한 상기 화상의 메모리(3)로서는, 등고선 트레이서 특징점 추출부(4)에서의 신호 처리가 복수의 등고선의 추적을 병렬적으로 행하도록 하고 있기 때문에, 멀티포트 구조의 것이 사용된다.
시간적으로는, 상기 등고선 트레이서 특징점 추출부(4)에 의한 1 화면(주사 표준으로서 비월주사 방식이 채용되고 있는 화상에 대해서는, 1 필드 기간)분의 주사가 종료한 시점에서, 그 1화면에 대한 특징점의 추출 동작이 종료되게 된다. 그리고, 등고선 트레이서 특징점 추출부(4)의 출력이 공급된 부호화 송출부(6)에서는, 예를 들자면 하프만 코드로 변환해서 전송로를 거쳐서 수신 복호부(7)에 전송된다. 상기한 특징점의 추출 동작이 종효한 화면의 다음 화면에 대한 특징점의 추출 동작의 실행은, 상기한 하프만 코드로 변환하기 위한 부호화에 필요한 시간과, 전송로를 거쳐서 수신 복호기(7)에 전송하기 위해 필요한 시간중에 행해진다. 또한, 예를 들자면 1 화면중의 특징점의 검출수가 많은 등의 이유에 의해, 상기한 부호화 시간과 전송 시간의 합의 시간이, 1화면의 주사 시간을 초과할 우려가 있는 경우에는, 특징점의 검출 동작에 사용되는 상기한 역치 각도 또는 역치 거리를 자동 조정해서 특징점수가 제한되도록 하는 일은 바람직한 실시 형태이다.
한편, 제1도의 텍스처 추출부(5)의 상세한 구성예를 도시하고 있는 제 3a도에 있어서 (51)은 직교 변환부이고, 2차원 이산 코사인 변환 방식에 의한 직교 변환 동작을 행한다. 또한, 직교 변환 방시으로서는, 변환 동작에 의해 주파수 스펙트럼 패턴이 얻어지는 것이면 어떠한 방식이라도 좋다. 상기한 2차원 이산 코사인 변환 방식은, 기술한 스펙트럼 패턴의 부호만을 랜더마이즈하는 것이 용이하다는 점에서 유리하다. (52)는 패턴 메모리, (53)는 경계선 검출부, (54)는 특징점 검출부(경계선 검출부(53)와 특징점 검출부(54)의 부분의 구체적인 일예의 구성이 제8도에 도시되어 있다). (55)는 패턴북이다.
화상 메모리(3)에서 판독된 디지탈 신호가 공급된 직교 변환부(51)에서는, 각 텍스처 영역마다의 2차원 이산코사인 변환 동작을 행하고, 주어진 주파수 스펙트럼 패턴을 패턴 메모리(52), 패턴북(55)에 공급한다. 그리고, 상기 2차원 이산코사인 변환 동작으로 얻은 고주파 성분 함유량의 패턴과 대응하는 패턴 번호를 패턴북(55)이 출력하고, 그것을 패턴 메모리(52)로 보낸다.
상기한 패턴 메모리(52)에 1화면분의 텍스처 패턴 정보가 기억이 끝난 단계에서, 경계선 검출부(53)(제8도 참조)에서는 동일한 패턴 번호를 갖는 영역의 경계를 검출하고, 그 경계 정보를 특징점 검출부(54)(제8도 참조)에 부여한다. 경계선 검출부(53)는, 제8도에 도시하는 바와 같이, 어드레스 발생기(29∼31), 텍스처 패턴 판정기(텍스처 번호 판정기)(32∼34), 텍스처 패턴 발생기(텍스처 번호 발생기)(35∼37)에 의해 구성되어 있다. 다시, 특징점 검출부(54)는 제 8 도에 도시하는 바와 같이 시프트 레지스터(38∼40), 특징점 판정기(41∼43), 정렬 회로(44)에 의해 구성되어 있다.
상기한 경계선 검출부(53)와 특징점 검출부(54)는, 제2도에 대해서 기술한 등고선 트레이서 특징점 추출부(4)에 있어서 휘도함수에 대해서 행해진 동작과 같은 동작에 의해, 경계선의 검출과 특징점의 검출을 각각 행한다. 상기한 특징점 검출부(54)에서의 정렬 회로(44)에서, 텍스처 영역마다의 경계선의 특징점의 위치의 정보와, 상기한 경계선내 영역에 대응하는 패턴 번호를 부호화 송출부(6)로 보낸다. 부호화 송출부(6)는, 그것에 등고선 트레이서 특징점 검출부(4)로부터 공급된 화상 정보 압축의 대상으로 되어 있는 화상의 특징점의 정보와, 텍스처 추출부(5)에서 공급된 텍스처 영역마다의 경계선의 특징점의 위치의 정보와, 상기한 경계선내 영역에 대응하는 패턴 번호를, 수신 복호부(7)로 전송한다.
수신 복호부(7)에서는, 그것에 전송되어온 부호화된 신호를 복호해서 휘도함수 재생부(9)와 텍스처 재생부(8)에 부여한다. 휘도 함수 재생부(9)의 상세한 구성예가 제4도에 도시되어 있고, 또, 텍스처 재생부(8)의 상세한 구성예가 제 3b도에 도시되어 있다.
먼저, 휘도함수 재생부(9)를 도시하고 있는 제 4 도에 있어서, (9i)은 전환기, (92, 93)은 화상 메모리, (94)는 서치 어드레스 발생기, (95)는 보간면 판정회로, (96)은 보간치 기록 회로, (97)은 판독 제어 회로이다. 휘도함수 재생부(9)에 있어서는, 수신 복호부(7)에 공급된 특징점의 정보를 사용해서, 압축전의 2차원 휘도 함수를 복원하는 동작을 한다.
제 4 도에 도시되어 있는 휘도함수 재생부(9)에 대해서 특징점의 정보, 즉 특징점의 어드레스치와 휘도치가 입력 정보로서 공급되면, 상기 정보는 전환기(91)를 거쳐서 2개의 화상 메모리(92, 93)중 어떤 것에 공급되어서 그것에 기억된다. 상기 2개의 화상 메모리(92, 93)가 전환되도록 하여 사용되도록 한 이유는, 신장동작을 위해 사용되는 한쪽의 화상 메모리와, 신장된 화상 메모리의 화상 정보를 판독해서 표시하기 위해 사용되는 화상 메모리를 별도로 설치함으로써, 도시 동작을 가능토록하여 신장 작업의 전체를 고속화하기 위해서이다.
서치 어드레스 발생기(94)는 화상 메모리(92)(또는 (93))에 기록되는 상기한 특징점의 화소이외의 화소의 어드레스를 발생시킴과 동시에, 상기한 화소에 가장 가까운 특징점의 화소를 제 11 도에 대해서 기술한 바와 같은 방법으로 탐색하여, 상기한 화소에 대해서 제 12 도와 같이 가장 가까운 특징점의 화소의 영역(특징점의 화소의 속성 영역)에 있는 것을 도시하는 표를 기입한다.
또, 보간면 판정 회로(95)는, 상기한 화상 메모리(92)(또는 (93))에서의 속성 영역을 판독함으로써 영역 경계를 탐색해서 인접 영역의 각 가표 특징점 명에서 보간 결정을 위한 3개의 특징점을 추출한다.
다시, 보간치 기록 회로(96)는 상기한 화상 메모리(92)(또는 (93))내에 결정된 보간 삼각면의 내부 영역의 보간치를 산출하고, 상기 내부 영역에 존재하는 특징점 이외의 화소의 휘도치를, 상기한 보간치로 충당하도록 상기한 화상 메모리(92)(또는 (93))로 기록하는 동작을 행한다. 판독 제어 회로(97)는 현재 작업중인 한쪽의 화상 메모리(92)(또는 (93))와는 별도의 다른 쪽의 화상 메모리(93(또는92))에 기억되어 있는 화소의 정보를, 화상 신호로서 판독하여 화상 메모리(10)에 공급한다.
다음에, 텍스처 재생부(8)를 도시하고 있는 제 3b 도에 있어서, (81)은 특징점 보간기, (82)는 영역 생성기, (83)은 경계내 혼합기, (84)는 페턴북, (85)는 부호 난화기, (86)은 직교 역변환부(도시한 예에서는 2차원 이산 코사인 역변환부)이다. 상기한 특징점 보간기(81)에서는, 수신 복호부(7)에서 공급된 경계점 열의 정보에서 경계선의 정보를 재현해서 영역 생성기(82)에 부여하고, 상기 영역 생성기(82)에서 영역 정보를 생성해서 그 영역 정보가 경계내 혼합기(83)에 공급된다.
또 패턴북(84)에서는 수신 복호부(7)에서 공급된 패턴 번호와 대응하는 스펙트럼을 출력하여, 그것을 부호 난화기(85)에 부여하고, 상기 부호 난화기(85)에서는 스펙트럼 패턴의 부호만을 랜더마이즈해서 2차원 이산 코사인 역변환부(86)에 부여한다.
2차원 이산 코사인 역변환부(86)에서는, 그것에 공급된 부호만이 랜더마이즈되어 있는 스펙트럼 패턴을, 2차원 이산 코사인 역변환하여 텍스처를 재현해서 경계내 혼합기(83)에 공급한다. 경계내 혼합기(83)에서는 결정된 텍스처 표시 영역에 랜더마이즈 텍스처를 집합시켜서 텍스처 영역 정보를 재현해서 화상 메모리(10)에 기억시킨다.
상기한 바와 같이, 텍스처 표시 영역에 랜더마이즈 텍스처를 집합시커서 텍스처 영역 정보를 재현하는 경우에는, 상기한 영역내의 일부의 영역의 변 가장자리에 의해, 기술한 바와 같이 종횡의 경계선으로서 표시되는 일이 일어나지 않도록, 상기 종횡의 경계선 근처의 화소의 정보에 저역 통화 여파 특성을 부여하는 등을 행하여 거짓 신호의 발생을 감소시킨다.
구동 회로(11)에서는, 휘도 정보와 텍스처의 정보를 소정의 표준 방식에 따르는 시계열적인 화상 신호로서 화상 메모리(10)에서 차례로 판독하고, 화상 메모리(10)에서 판독된 텍스처 정보가 부가된 상태의 화상 신호는 구동 회로(11)에 공급된다. 상기 구동 회로(11)는 디지탈 아나로그 변환기(도시하지 아니함)를 구비하고, 상기한 시계열적인 화상 신호를 아나로그 신호 형태의 화상 신호로 변환한 후에, 상기 화상 신호에 대해서 블랭킹 신호나 동기 신호를 부가하고, 그것을 모니터 TV 수상기(12)(제1도 참조)에 부여하여 모니터 TV 수상기의 표시면위에 재생 화상을 표시시킨다. 이제까지의 설명은, 본 발명의 다차원 화상 압축 신장 방법을 2차원 휘도함수의 재생에 적용한 경우에 대한 것이다. 본 발명의 다차원 화상 압축 신장 방법은 다시 시간축위에 정렬하는 복수 화면에 걸쳐서 특징점을 추출하는 3차원 화상 압축 신장 방법에 대해서도 양호하게 적용될 수 있다. 제 13 도를 참조해서 본 발명의 다차원 화상 압축 신장 방법을 3차원 화상 압축 신장 방법으로 실시한 경우의 예에 대해 설명한다.
제 13 도는, 3차원적으로 분포하는 화상 정보에서 검출된 특징점에 의해 결정되는 보간 입체에 의해 특징점의 화소이외의 화소의 휘도정보를 결정하도록 한 경우의 한 실시예를 도시한다. 제 13 도에 있어서 화상 P1∼P4 는, 시간축상에 배열된 정지화군을 표시하고 있고, 화상 정보 전체로서는 3차원적인 분포를 갖추고 있는 것이다.
제 13 도중에 도시되어 있는 각 정지 화상 P1∼PR 에서의 2차원 휘도함수에 대해서, 등휘도로 트레이스하면 등휘도선이 얻어지나, 그것을 3차원적으로 확장하면 등휘도면이 얻어진다. 그리고, 상기한 등휘도면의 곡률의 정부의 극대점, 또는 상기한 등휘도면의 사평면과 상기 등휘도면의 차가, 미리 정해진 역치를 초과한점을 화상의 특징점으로 한 것이 제 13 도중의 M1∼M4이다. 그리고, 상기한 특징점이 3차원적으로 근처에 있다고 판정되면, 보간 입체 M1, M2, M3, M4 가 정의된다. 상기한 보간입체 M1, M2, M3, M4 의 정지화상 P2에 의한 사영이 삼각형 M2, N1, N2 이고, 또 상기한 보간입체 M1, M2, M3, M4 의 정지화상 P3 에 의한 사영이 삼각형 M3, N3, N4이다. 상기 각 삼각형의 각 정점의 휘도치는, 상기한 각 보간입체 M1, M2, M3, M4 의 정점의 각 휘도치에서 보간 산출됨으로써 결정된다. 따라서, 기술한 2차원 화상 정보에 대한 보간 평면에 의한 미전송 화소 휘도의 결정의 경우와 같은 방법으로, 각 삼각형의 내부에 존재하는 각 화소의 휘도치를 결정할수 있다.
또, 제 13 도에 있어서 상기한 바와 같은 3차원적 특징점의 검출을 행하지 않고, 예를 들자면 정지 화상 P1에 대해서 2차원적 특징점 검출을 행하고, 특징점 01과 특징점 02을 얻고, 어떤 시간 간격을 두고 있는 정지화상 P4에 대해서도 2차원적 특징점 검출을 행하고, 특징점 03과 특징점 04을 얻는 것으로 한다. 그들이 3차원적 근처점인 경우에는, 보간입체 01, 02, 03, 04가 저의되고, 상기한 보간입체 01, 02, 03, 04의 정지화상 P2에 의한 사영은, 사각형 I1, I2, I3, I4 이고, 또 상기한 보간입체 01, 02, 03, 04의 정지화상 P3에 의한 사영은 사각형 I5, I6, I7, I8로 된다.
이 경우에는 상기한 보간 평면에의 경우의 삼각형과는 다르나, 일반적인 다각형은 3각형으로 분할할 수가 있으므로, 이 경우에도 단일의 보간 평면이 정의된다. 따라서, 상기한 2차원 적인 방법과 마찬가지로, 기술한 2차원 화상 정보에 대한 보간 평면에 의한 미전송 화소 휘도의 결정의 경우와 같은 방법에 의해, 각 삼각형의 내부에 존재하는 각 화소의 휘도치를 결정할 수가 있다.
다음에, 본 발명의 다차원 화상 압축 신장 방법을 3차원 화상 압축 신장 방법에 대해서 적용한 경우의 텍스처 정보의 처리에 대해서 제 14 도를 참조하여 설명한다. 제 14 도는 이동하고 있는 차중에서 수목을 보고 있는 경우의 이동화를 표시하고 있다. 제 14 도 중의 P1은, 어떤 시각에서의 수목의 화상이고, 잎의 집합의 텍스처를 갖추고 있다. P1의 일부의 패턴을 T1으로 하고, 또 텍스처 경계의 특징점의 하나를 C1으로 한다. P2는 상기한 어떤 시각에 후속하는 시각에서의 상기 수목의 화상이고, 잎의 집합의 텍스처의 일부의 패턴을 T2로 하고, 또 텍스처 경계의 특징점의 하나를 C2라 한다.
그리고, 상기한 보간 특징점, 예를 들자면 C1, C2 간의 대응은, 공치 기술에 의해 화상 P1과 화상 P2의 움직임 벡터를 얻는 것으로 달성될 수 있다. 그리고, 그것을 이용함으로써 텍스처 T1, T2를 독립적으로 재현하는 것이 아니라, 텍스처 T1을 움직임 벡터의 방향과 크기에 따라서 이동 복사함으로써 텍스처 T2를 얻을 수 있다. 다시, 화상 P1, P2의 중간의 시각에 존재하는 화사에 대해서는 텍스처 T1, T2의 위치적 보간치로 충당한다.
그것에 의해, P1의 위치에서 P2의 위치로 이동하는 화상의 압축에 대해서, 신장 화상(재현 화상)의 휘도 함수만의 이동이 재현되고, 텍스처의 이동이 그것에 추종하지 않거나, 이동시에 텍스처가 랜덤하게 재현되어서, 이동주의 화상의 질감이 변화하거나 하는 일이 없다. 즉, 시간축을 포함하는 3차원 압축에 있어서는, 텍스처 정보로서, 어떤 시간의 정지화의 특정 텍스처의 대표 영역에서의 예를 들자면 텍스처 번호(패턴 번호)를 전송하는 것으로, 그후에 계속되는 복수개의 화상의 텍스처 정보를 이동 복사로 얻도록 함으로써, 이동 복사되는 복수개의 화상의 텍스처 정보의 전송을 생략할 수 있다. 따라서 시간축을 포함하는 3차원 압축에 있어서는, 2차원 압축시에 비해서 큰 압축률을 얻을 수 있고, 또 이동체의 윤곽 등을 표시하는 휘도함수에 추종해서, 텍스처를 이동시킬 수가 있기 때문에 이동화상의 품위를 악화시키는 일이 적다.
또, 본 발명의 다차원 화상 압축 신장 방법은, 단지 휘도 신호뿐만 아니라, 가법혼색의 3원색 신호에 의한 칼라 신호, 혹은 휘도 신호와 색차 신호에 의한 칼라 신호와 같이 복수의 신호를 갖는 경우에도 잘 적용될 수 있다. 그와 같은 신호의 경우에는, 복수의 각 신호에서의 휘도함수의 등고선 및 텍스처의 경계선, 특징점의 어드레스 등을 복수의 요소간에 공용할 수 있다.
[발명의 효과]
이상, 상세히 설명한 바에서 명백한 바와 같이, 본 발명의 다차원 화상 압축 신장 방법은, 화상 정보 처리의 대상으로 되어 있는 화상의 휘도함수의 등고선이 갖는 특징점만을 추출해서 화상 정보가 압축된 화상 데이터를 얻는 화상 압축 신장 방법이다. 상기 수법을 적용한 때에 기가되어 버릴 가능성이 높은 텍스처 정보에 대해서는, 그것의 대표적인 지교 변환요소 또는 요소번호와, 텍스처 경계선의 특징점만을 텍스처 종별마다 전송한다. 신장에 있어서는 상기한 2차원적인 휘도 정보나 시간축도 포함하는 3차원적인 휘도 정보 등의 보간 복원을 도모함과 동시에 수신(재생)한 텍스처의 대표적 직교 변환 요소에 대해서는 요소의 순열과 절대치를 보존하고, 그것의 부호 또는 위상 성분만을 랜더마이즈 한다. 이것에 의해, 대표면 이외의 같은 텍스처 영역(재현 경계선내)의 휘도치군을 결정할 수 있고, 높은 압축률로 고품위인 화상을 전송할 수 있다. 또, 분포하는 휘도 정보의 화상 정보에 시간축도 포함하는 3차원적으로 분포하는 화상 정보의 택스처에 대해서는, 그 이동방향으로 보간 구성되어야 할 복수개의 화상위에, 상기 텍스처를 차례로 이동 복사시킨다. 이것에 의해, 신장 화상의 휘도 함수만이 이동하고, 텍스처의 이동이 휘도함수의 이동에 추종하지 않는다던가, 텍스처의 이동이 랜덤하게 재현되어서, 이동중에 화상의 질감이 변화하거나 하는 등의 불합리함이 일어나지 않고, 용이하게 고화질 동화를 얻을 수 있다. 즉, 시간축을 포함하는 3차원적 압축에 있어서는, 텍스처는, 어떤 시각의 정지화의 특정 텍스처의 대표 영역에서의 예를 들자면 텍스처 번호(패턴 번호)를 전송하여, 그후에 계속되는 복수개의 화상의 텍스처 정보의 전송을 생략할 수 있다. 따라서, 시간축을 포함하는 3차원 압축에 있어서는, 2차원 압축시에 비해서 큰 압축률을 얻을 수 있고, 이동체의 윤곽 등을 표시하는 휘도 함수에 추종해서 텍스처를 이동시킬 수가 있기 때문에 이동화상의 품위를 악화시키는 일이 적다. 또 본 발명의 다차원 화상 압축 신장 방법은, 단지 휘도신호 뿐만 아니라, 가법 혼색의 3원색 신호에 의한 칼라 신호, 혹은 휘도 신호와 색차 신호에 의한 칼라 신호와 같이 복수의 신호를 갖는 경우에도 양호하게 적용될 수 있다. 이와 같은 경우에는 복수의 각 신호에서의 휘도 함수의 등고선 및 텍스처의 경계선, 특징점의 어드레스 등을, 복수의 요소간에서 공용할 수 있는 효과도 달성된다.

Claims (22)

  1. 적어도 2차원적으로 분포하는 휘도 정보를 포함하는 아나로그 화상 정보를 압축해서 부호화하고, 부호화된 화상 정보를 신장해서 재생하는 다차원 화상 압축 신장 방법으로서, 아나로그 화상 정보를 디지탈 신호로 변환하고, 상기 디지탈 신호로 변환된 화상 정보에 포함되는 상기 휘도 정보의 휘도 분포 함수 상의 등휘도선을 추출하고, 상기 등휘도선의 곡률의 정부의 극대점을 소정수 구하고, 상기 극대점과 상기 등휘도점의 차를 기준치와 비교하여, 상기 차가 상기 기준치를 초과한 극대점에 해당하는 화소를 대표 화소로서 추출하고, 상기 디지탈 신호로 변환된 화상 정보의 텍스처 정보를 추출하고,상기 대표화소와 텍스처 정보를 부호화하고, 상기 부호화된 대표 화소와 텍스처 정보를 복호화하고, 상기 복호화된 대표화소와 텍스처 정보에 의해 상기 아나로그 화상 정보를 재생하는 다차원 화상 압축 신장 방법.
  2. 제1항에 있어서, 상기 아나로그 화상 정보를 디지탈 신호로 변환하는 것은, 이산 코사인 변환에 의한 직교 변환으로 행하는 다차원 화상 압축 신장 방법.
  3. 제1항에 있어서, 상기 휘도 정보가 3차원적으로 분포하는 경우는, 상기 휘도 정보의 휘도 분포함수의 어떤 등휘도면을 추출하고. 상기 등휘도면의 곡률의 정부의 극대점을 소정수 구하고, 상기 극대점과 상기 등휘도면의 차를 소정의 기준치와 비교하여, 상기 차가 상기 기준치를 초과한 극대점에 해당하는 화소를 상기 대표화소로 하는 다차원 화상 압축 신장 방법.
  4. 적어도 2차원적으로 분포하는 휘도 정보를 포함하는 아나로그 화상 정보를 압축해서 부호화하고, 부호화된 화상 정보를 신장해서 재생하는 다차원 화상 압축 신장 방법으로서, 아나로그 화상 정보를 디지탈 신호로 변환하고, 상기 디지탈 신호로 변환된 화상 정보에 포함되는 상기 휘도 정보의 휘도 분포 함수 상의 어떤 등휘도선을 추출하고, 상기 등휘도선 상의 제 1화소에서 제 2화소를 연결하는 직선으로부터 상기 등휘도선 상에 없는 제 3화소까지의 거리가 기준치를 초과한 경우, 상기 제 3화소를 대표 화소로 하여 추출하고, 상기 디지털 신호로 변환된 화상 정보의 텍스처 정보를 추출하고, 상기 대표화소와 텍스처 정보를 부호화하고, 상기 부호화된 대표 화소와 텍스처 정보를 복화화하고, 상기 복호화된 대표화소와 텍스처 정보에 의해 상기 아나로그 화상 정보를 재생하는 다차원 화상 압축 신장 방법.
  5. 제5항에 있어서, 상기 휘도 정보가 3차원적으로 분포하는 경우는, 전(前)대표화소를 추출할 때, 상기 휘도 정보의 휘도 분포함수 상의 어떤 등휘도면을 추출하고, 상기 등휘도면 상의 제1화소에서 제2화소를 연결하는 평면으로부터 상기 등휘도면 상에 없는 제3화소가지의 거리가 기준치를 초과한 경우, 상기 제3화소를 상기 대표화소로 하는 다차원 화상 압축 신장 방법.
  6. 제1항에 있어서, 상기 텍스처 정보를 추출할 때, 상기 회도 정보의 휘도 분포함수에서의, 소정의 공간 주파수보다 높은 공간 주파수 성분을 갖는 영역을 직교 변환해서 주파수 스펙트럼 패턴을 얻고, 상기 주파수 스펙트럼 패턴의 절대치가 서로 다른 적어도 제1, 제2영역의 경계에 관한 정보와, 상기 제1, 제2영역의 주파수 스펙트럼 패턴을 상기 텍스처 정보로서 추출하는 다차원 화상 화상 압축 신장 방법.
  7. 제7항에 있어서, 상기 제1, 제2영역과 상기 주파수 스펙트럼 패턴의 절대치가 같은 영역을 제1, 제2영역 그룹으로 하고, 각각의 그룹내에서의 영역의 경계를 상기 대표화소로 지정하는 다차원 화상 압축 신장 방법.
  8. 제7항에 있어서, 상기 대표화소에 의해, 미리 준비하여 둔 텍스처 패턴을 선정하는 다차원 화상 압축 신장 방법.
  9. 제1항에 있어서, 상기 부호화된 텍스처 정보의 부호를 랜더마이즈하여 복화화 하는 다차원 화상 압축 신장 방법.
  10. 제1항에 있어서, 상기 부호화된 텍스처 정보의 위상을 랜더마이즈하여 복호화 하는 다차원 화상 압축 신장 방법.
  11. 제1항에 있어서, 상기 아나로그 화상 정보를 재생할 때, 상기 복호화된 대표화소에 의해 형성되는 보간면에 의해, 상기 대표화소 이외의 상기 화상 정보를 구성하는 화소의 휘도 정보를 결정하는 다차원 화상 압축 신장 방법.
  12. 제1항에 있어서, 상기 휘도 정보가 3차원적으로 분포하는 경우는, 상기 아나로그 화상 정보를 재생할 때, 상기 복호화된 대표화소에 의해 형성되는 보간 입체에 의해, 상기 대표화소 이외의 상기 화상 정보를 구성하는 화소의 휘도 정보를 결정하는 다차원 화상 압축 신장 방법.
  13. 제1항에 있어서, 상기 아나로그 화상 정보가 동화상 정보인 경우는, 제1시간에서의 제1정지화의 텍스처 정보를 추출하고, 상기 제1정지화와, 상기 제1시간과 다른 제2시간에서의 제2정지화의 움직임 벡터에 따라서, 상기 제1정지화의 텍스처 정보를 이동시켜 상기 제2정지화의 텍스처 정보를 얻는 다차원 화상 압축 신장 방법.
  14. 제5항에 있어서, 상기 아나로그 화상 정보를 디지털 신호로 변환하는 것은, 이산 코사인 변환에 의한 직교 변환으로 행하는 다차원 화상 압축 신장 방법.
  15. 제5항에 있어서, 상기 텍스처 정보를 추출할 때, 상기 휘도 정보의 휘도 분포함수에서의, 소정의 공간 주파수보다 높은 공간 주파수 성분을 갖는 영역을 직교 변환해서 주파수 스펙트럼 패턴을 얻고, 상기 주파수 스펙트럼 패턴의 절대치가 서로 다른 적어도 제1, 제2영역의 경계에 관한 정보와, 상기 제1, 제2영역의 주파수 스펙트럼 패턴을 상기 텍스처 정보로서 추출하는 다차원 화상 압축 신장 방법.
  16. 제16항에 있어서, 상기 제1, 제2영역과 상기 주파수 스펙트럼 패턴의 절대치가 같은 영역을 제1, 제2영역 그룹으로 하고, 각각의 그룹내에서의 영역의 경계를 상기 대표화소로 지정하는 다차원 화상 압축 신장 방법.
  17. 제16항에 있어서, 상기 대표화소에 의해, 미리 준비하여 둔 텍스처 패턴을 선정하는 다차원 화상 압축 신장 방법.
  18. 제5항에 있어서, 상기 부호화된 텍스처 정보의 부호를 랜더마이즈하여 복호화 하는 다차원 화상 압축 신장 방법.
  19. 제5항에 있어서, 상기 부호화된 텍스처 정보의 위상을 랜더마이즈하여 복호화 하는 다차원 화상 압축 신장 방법.
  20. 제5항에 있어서, 상기 아나로그 화상 정보를 재생할 때, 상기 복호화된 대표화소에 의해 형성되는 보간면에 의해, 상기 대표화소 이외의 상기 화상 정보를 구성하는 화소의 휘도 정보를 결정하는 다차원 화상 압축 신장 방법.
  21. 제5항에 있어서, 상기 휘도 정보가 3차원적으로 분포하는 경우는, 상기 아나로그 화상 정보를 재생할 때, 상기 복호화된 대표화소에 의해 형성되는 보간 입체에 의해, 상기 대표화소 이외의 상기 화상 정보를 구성하는 화소의 휘도 정보를 결정하는 다차원 화상 압축 신장 방법.
  22. 제5항에 있어서, 상기 아나로그 화상 정보가 동화상 정보인 경우는, 제1시간에서의 제1정지화의 텍스처 정보를 추출하고, 상기 제1정지화와, 상기 제1시간과 다른 제2시간에서의 제2정지화의 움직임 벡터에 따라서, 상기 제1정지화의 텍스처 정보를 이동시켜 상기 제2정지화의 텍스처 정보를 얻는 다차원 화상 압축 신장 방법.
KR1019950005299A 1994-03-12 1995-03-13 다차원 화상 압축 신장방법 KR100205491B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP6788294A JP2797959B2 (ja) 1994-03-12 1994-03-12 多次元画像圧縮伸張方法
JP94-67882 1994-03-12

Publications (2)

Publication Number Publication Date
KR950028537A KR950028537A (ko) 1995-10-18
KR100205491B1 true KR100205491B1 (ko) 1999-07-01

Family

ID=13357722

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019950005299A KR100205491B1 (ko) 1994-03-12 1995-03-13 다차원 화상 압축 신장방법

Country Status (5)

Country Link
US (1) US5647024A (ko)
EP (1) EP0671845B1 (ko)
JP (1) JP2797959B2 (ko)
KR (1) KR100205491B1 (ko)
DE (1) DE69516923D1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100615183B1 (ko) 2003-10-30 2006-08-25 삼성에스디아이 주식회사 디스플레이 패널을 위한 영상처리방법
US10715804B2 (en) 2016-04-22 2020-07-14 Sony Corporation Encoding apparatus and encoding method as well as decoding apparatus and decoding method

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6571019B1 (en) * 1995-10-26 2003-05-27 Hyundai Curitel, Inc Apparatus and method of encoding/decoding a coded block pattern
JPH1028221A (ja) * 1996-07-12 1998-01-27 Canon Inc 画像処理装置及びその方法
US5923789A (en) * 1996-08-07 1999-07-13 General Electric Company Band limited interpolation and projection of spatial 3-D images
US6044177A (en) * 1997-06-18 2000-03-28 Hewlett-Packard Company Artifact reduction decompression method and apparatus for interpolated images
AUPP091197A0 (en) * 1997-12-15 1998-01-08 Liguori, Vincenzo Direct manipulation of compressed geometry
GB2336058B (en) * 1998-04-02 2002-03-27 Daewoo Electronics Co Ltd Apparatus and method for adaptively coding an image signal
US6480538B1 (en) * 1998-07-08 2002-11-12 Koninklijke Philips Electronics N.V. Low bandwidth encoding scheme for video transmission
JP3428494B2 (ja) * 1999-05-19 2003-07-22 日本電気株式会社 文字認識装置及びその文字認識方法並びにその制御プログラムを記録した記録媒体
JP4610747B2 (ja) * 2001-01-10 2011-01-12 株式会社バンダイナムコゲームス 画像生成システム、プログラム及び情報記憶媒体
EP1374559B1 (de) * 2001-03-21 2006-05-24 T-Mobile Deutschland GmbH Verfahren zur komprimierung und dekomprimierung von bilddaten
DE10113880B4 (de) * 2001-03-21 2004-04-29 T-Mobile Deutschland Gmbh Verfahren zur Komprimierung und Dekomprimierung von Videodaten
DE10229975B4 (de) * 2001-10-25 2017-02-09 T-Mobile Deutschland Gmbh Verfahren zur Komprimierung und Dekomprimierung von Bilddaten
US6991726B2 (en) * 2002-07-01 2006-01-31 Usfilter Corporation Filter having a media retaining plate
DE10229976B4 (de) * 2002-07-03 2007-06-28 T-Mobile Deutschland Gmbh Verfahren zur Ver- und Entschlüsselung von nach dem Verfahren der priorisierten Pixelübertragung übertragenen oder gespeicherten digitalen Daten
DE10230809B4 (de) * 2002-07-08 2008-09-11 T-Mobile Deutschland Gmbh Verfahren zur Übertragung von Audiosignalen nach dem Verfahren der priorisierenden Pixelübertragung
DE10230812B4 (de) * 2002-07-08 2004-11-25 T-Mobile Deutschland Gmbh Verfahren zur Übertragung von zusätzlichen Informationen bei Verwendung eines Verfahrens zur Komprimierung von Daten mittels einer priorisierenden Pixelübertragung
DE10351925B4 (de) * 2003-11-07 2005-11-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Vorrichtung zur Erkennung von Oberflächenfehlern
JP2006081156A (ja) * 2004-08-13 2006-03-23 Fuji Photo Film Co Ltd 画像処理装置および方法並びにプログラム
US7925105B2 (en) * 2006-03-14 2011-04-12 Seiko Epson Corporation Image transfer and motion picture clipping process using outline of image
JP5375823B2 (ja) * 2008-04-24 2013-12-25 日本電気株式会社 画像照合装置、画像照合方法および画像照合用プログラム
US8126278B2 (en) * 2008-04-24 2012-02-28 Silicon Integrated Systems Corp. Image processing method using a crest line diagram as a basis
JP5495934B2 (ja) * 2010-05-18 2014-05-21 キヤノン株式会社 画像処理装置、その処理方法及びプログラム
CN103152574B (zh) * 2013-03-15 2016-01-20 清华大学 基于特征配准的速率受限的遥感图像传输系统
US9031336B2 (en) 2013-04-10 2015-05-12 Southwest Research Institute Systems and methods for hybrid compression of spectral image data
EP3122051A1 (en) * 2015-07-24 2017-01-25 Alcatel Lucent Method and apparatus for encoding and decoding a video signal based on vectorised spatiotemporal surfaces
EP3122052A1 (en) * 2015-07-24 2017-01-25 Alcatel Lucent Method and apparatus for encoding and decoding a video signal based on vectorised spatiotemporal surfaces
CN110326027A (zh) * 2017-01-24 2019-10-11 深圳市大疆创新科技有限公司 使用图像金字塔进行特征跟踪的方法和系统
GB2586517B (en) * 2019-08-23 2022-06-15 Imagination Tech Ltd Methods and decompression units for decompressing a compressed block of image data

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4189711A (en) * 1977-11-08 1980-02-19 Bell Telephone Laboratories, Incorporated Multilevel processing of image signals
US4646134A (en) * 1984-03-21 1987-02-24 Sony Corporation Apparatus for encoding image signal
AU583202B2 (en) * 1987-02-06 1989-04-20 Fujitsu Limited Method and apparatus for extracting pattern contours in image processing
JP2806961B2 (ja) * 1989-02-22 1998-09-30 株式会社リコー 画像符号化方法
GB8906587D0 (en) * 1989-03-22 1989-05-04 Philips Electronic Associated Region/texture coding systems
JP2823882B2 (ja) * 1989-04-03 1998-11-11 株式会社リコー 線画像ベクトル化方法
JPH03125585A (ja) * 1989-10-11 1991-05-28 Mitsubishi Electric Corp 画像信号の符号復号化器
US5204920A (en) * 1990-01-12 1993-04-20 U.S. Philips Corporation Method and apparatus for region and texture coding
JPH04207788A (ja) * 1990-11-30 1992-07-29 Sony Corp 画像信号符号化装置及び方法
JP2924430B2 (ja) * 1991-04-12 1999-07-26 三菱電機株式会社 動き補償予測符号化装置及び動き補償予測復号装置
FR2684829A1 (fr) * 1991-12-04 1993-06-11 Philips Electronique Lab Methodes de synthese de signaux de texture et de transmission et/ou stockage de tels signaux, ainsi que dispositifs et systemes pour leur mise en óoeuvre.
JPH05167998A (ja) * 1991-12-16 1993-07-02 Nippon Telegr & Teleph Corp <Ntt> 画像の符号化制御処理方法
JP3068304B2 (ja) * 1992-01-21 2000-07-24 日本電気株式会社 動画像符号化方式および復号化方式
FR2696028A1 (fr) * 1992-09-23 1994-03-25 Philips Electronique Lab Dispositif de codage d'images fixés et dispositif de décodage correspondant.

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100615183B1 (ko) 2003-10-30 2006-08-25 삼성에스디아이 주식회사 디스플레이 패널을 위한 영상처리방법
US10715804B2 (en) 2016-04-22 2020-07-14 Sony Corporation Encoding apparatus and encoding method as well as decoding apparatus and decoding method
US11259018B2 (en) 2016-04-22 2022-02-22 Sony Corporation Encoding apparatus and encoding method as well as decoding apparatus and decoding method

Also Published As

Publication number Publication date
KR950028537A (ko) 1995-10-18
DE69516923D1 (de) 2000-06-21
JP2797959B2 (ja) 1998-09-17
EP0671845B1 (en) 2000-05-17
US5647024A (en) 1997-07-08
JPH07250247A (ja) 1995-09-26
EP0671845A3 (en) 1996-10-30
EP0671845A2 (en) 1995-09-13

Similar Documents

Publication Publication Date Title
KR100205491B1 (ko) 다차원 화상 압축 신장방법
US5510838A (en) Apparatus and method for picture representation by data compression
US6037988A (en) Method for generating sprites for object-based coding sytems using masks and rounding average
US4922544A (en) Image processing
KR970703680A (ko) 비디오 이미지 디코딩하기 위한 장치 및 방법(apparatus and method for decoding video images)
US5768481A (en) Method and apparatus for compression of digitized image data using a dynamic band recompression scheme
JP2000507412A (ja) スプライト符号化
KR20060002950A (ko) 삽입된 전-서브픽셀 렌더링된 이미지를 갖는 이미지 데이터세트
JP2000507413A (ja) 一般的な任意の形状の表示および符号化
WO1997028650A1 (en) Method for supplementing digital image with picture element, and digital image encoder and decoder using the same
US5717465A (en) Apparatus for coding an object region of a video signal by using a rearranged block-based coding technique
KR100199243B1 (ko) 다차원다치 칼라 화상 압축 신장 방법
KR0128891B1 (ko) 다차원 화상 압축 신장 시스템
JPH04249491A (ja) 多次元画像圧縮伸張方式
US5742353A (en) Image processing apparatus
US5815636A (en) Image reproducing apparatus
EP1605705A1 (en) Method for compressing image data acquired from a Bayer color filter array
US6873738B2 (en) Hierarchical image processor for encoding or decoding, and memory on the same chip
JP2797891B2 (ja) 多次元画像構造圧縮方法
JP2882285B2 (ja) カラー画像の圧縮伸張方法
JP2836486B2 (ja) 多次元多値画像圧縮伸張方式
JPH06343131A (ja) 多次元色彩画像圧縮方式
JP2827791B2 (ja) 多次元圧縮画像の伸張方法
JP3488672B2 (ja) 画像処理装置、画像処理方法、およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
JP3306928B2 (ja) ディジタル画像信号の受信／再生装置

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 19950313

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 19980521

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 19990122

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 19990402

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 19990403

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
G170 Re-publication after modification of scope of protection [patent]
PG1701 Publication of correction

Patent event code: PG17011E01I

Patent event date: 19991025

Comment text: Request for Publication of Correction

Publication date: 19991201

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20030110