KR100387341B1

KR100387341B1 - 영역베이스의화상처리방법,화상처리장치및화상통신장치

Info

Publication number: KR100387341B1
Application number: KR1019950032325A
Authority: KR
Inventors: 스즈끼노부야
Original assignee: 산요 덴키 가부시키가이샤
Priority date: 1994-09-30
Filing date: 1995-09-28
Publication date: 2003-08-14
Also published as: EP0705027B1; DE69519462D1; US5825917A; EP0705027A3; EP0705027A2; DE69519462T2; KR960013081A

Abstract

색에 의한 화상의 인식, 추출, 데이타 압축을 행한다. 화상의 각 화소의 색과 색 테이블의 각 요소와의 색차를 판정하는 판정부, 판정 결과에 근거하여 색 테이블의 요소중 각 화소의 색과의 색차가 최소로 되는 요소에 의해 각 화소의 색을 치환하는 화상 치환부(16), 치환 후 원화상에서 위치적으로 인접하는 화소의 색이 분할된 색공간에서 인접하는 영역에 포함되는 때, 그들 화소를 통합하는 화소 통합부(18)을 갖는다. 화소 통합부(18)에 의해 통합된 화소군에 대해 재차 색 테이블의 요소로 치환된 단일 색이 부여된다.

Description

영역 베이스의 화상 처리 방법, 화상 처리 장치 및 화상 통신 장치{REGION-BASED IMAGE PROCESSING METHOD, IMAGE PROCESSING APPARATUS COMMUNICATION APPARATUS}

본 발명은 화상 처리 방법, 화상 처리 장치 및 화상 통신 장치에 관한 것으로, 특히 화상 각 부의 색에 따라서 화상 데이터를 압축 처리하는 화상 처리 방법, 및 그 방법에 의해 압축된 데이터를 송수신하는 화상 통신 장치에 관한 것이다.

최근, 가정 및 점포에 정보 기기 단말기 및 오락 기기가 보급됨에 따라 컬러 화상을 고속으로 전송하는 기술이 필요하게 되었다. 이 기술의 예로는 중앙국이 각 가정의 요구에 따라 임의의 영화 등을 방영하는 주문형 비디오(video on demand) 방식이 있다. 화상 전송에 있어서는, 전송되어야 할 화상의 선명도와 전송 속도가 항상 모순하는 성질이 있다. 선명도와 속도의 양측을 추구하게 되면, 회선의 방식 자체부터 다시 개발할 필요가 있다. 한편, 자연화 정도로 선명한 화상은 필요로 하지 않지만, 전화 회선 등 기존의 회선을 사용하여 저렴하면서도 대량의 데이터 전송이 요구되는 용도도 있다. 여기에서는, 주로 후자의 용도에 대한 종래예를 설명한다.

[종래예 1]

저속 회선을 거쳐 화상을 전송하는 경우, 데이터를 압축하여 전송하는 것이 많다. 종래, 데이터 압축의 방법으로서 종래 가장 간단한 것으로는 화상을 일단 매트릭스 상의 블럭으로 분할하여 각 블럭의 저주파 성분을 추출하는 방법이 있다. 화상 송신 장치는 블럭의 번호와 그 블럭의 저주파 성분을 송신하면 된다. 블럭 수가 작을수록 1 화상이 전송에 필요한 시간은 감소한다. 블럭 수는 송신해야 할 화상에 요구되는 선명도 즉, 화상 품질과 전송에 걸리는 시간을 고려하여 결정하면 된다. 단순한 방법에 비해 일정한 효과를 기대할 수 있다.

[종래예 2]

후술하는 바와 같이, 종래예 1에서는 화상 품질의 저하가 문제로 된다. 이 결점을 해소함과 동시에 화상을 디지털 처리하는 방법으로서 예를 들면 히스토그램 처리에 의한 화상의 영역 분할 수법이 있다. 이 분할 수법은 화상의 각 화소의 농담 정보를 그 출현 빈도에 따라 변경한다. 일단 화상의 각 화소의 농담 정보의 누적 빈도도를 작성하고, 빈도 축을 등분할하여 화상 처리 장치의 다이나믹 레인지(dynamic range)의 풀 스케일(full scale)에 대응시킨다. 이 수법은 콘트라스트(contrast) 강조 수법이라고도 불려진다. 이 수법에서는 빈도가 높은 농도는 세밀하게 농도 분할되는 반면, 빈도가 적은 농도는 조악하게 분할되어 어떤 농도에 통합된다. 이 수법은 영역의 농담 정보 중 중요한 성분을 강조하면서 그 외의 부분의 데이터를 삭제하여 데이터를 압축한다.

상기한 종래예에서는 이하의 과제가 발생한다.

[종래예 1에 관하여]

어떤 블럭 내에 화상의 경계가 포함되어 있을 때, 그 블럭에 대해서 복원된 화상이 원화상의 이미지와 크게 다른 경우가 있다.

제1도는 바다(1)에 배(3)가 떠있는 화상이다. 이제 블럭(5) 부분의 데이터 압축을 생각해보기로 한다. 이 블럭(5)은 배(3)와 바다(1)의 경계선을 포함하고 있다. 가령 바다(1)의 색이 청색이고, 배(3)의 색이 적색이라고 하면, 블럭(5)의 색은 평균화되어 보라색으로 된다. 쉽게 상상되는 바와 같이, 배(3)은 윤곽은 원 화상에 없는 색의 띠에 의해 둘러싸여, 화상이 부자연스럽게 된다. 이러한 블럭 단위의 화상의 열화는 「블럭 왜곡」이라고 불리어지며, 종래예 1의 중대한 결점이 된다.

[종래예 2에 관하여]

이 영역 분할 수법은 활용할 수 있을 정도로 정밀도가 높은 화상 처리 및 데이터 압축이 가능하게 된다. 그러나, 분할 처리 시에, 화상마다 방대한 계산이 필요하게 된다. 또한, 히스토그램에 편향이 있거나 다이나믹 레인지가 극도로 작은 화상(예를 들어, 우주 화상)을 처리하는 경우, 변환 후의 빈도 분포를 조절해야만 한다. 이들 처리는 화상마다 필요하게 되고, 컴퓨터의 부담은 상당히 크다. 히스토그램 처리에 의한 화상의 영역 분할 수법은 저렴하게 다량의 데이터를 처리하는 요청을 만족시키지 못한다.

본 발명은 화상을 매트릭스 상의 블럭(즉, 위치 좌표)에 의해 분할하는 것이 아니라, 근사한 색의 영역마다로 분할함으로써 화상 데이터의 압축을 도모하는 영역 베이스의 화상 처리 방법과 장치, 및 그 장치를 이용하여 화상 데이터를 송수신하는 화상 통신 장치의 제공을 목적으로 한다. 필요한 계산 처리를 최소로 한정하고, 히스토그램 처리 등에 의한 화상의 영역 분할 장치를 대신하는 화상 처리 장치를 개시한다.

본 발명의 화상 처리 방법은 영역 베이스의 화상 처리 방법으로 다음의 단계를 포함한다. 처리해야 할 화상의 각 부의 색과 미리 준비된 요소색과의 근사도를 판정하는 판정 단계, 그 판정 결과에 근거하여 요소색과 각 부의 색을 치환하는 치환 단계와, 치환한 후에 이들 영역을 통합하는 통합 단계(18)를 포함하고 있다. 통합된 각 부에 대해, 상기 핀정 단계 및 상기 치환 단계에 의해 재차 요소색으로 치환된 단일 색이 부여된다. 「각 부」는 각 화소라도 좋고, 화소의 집합이라도 좋다. 「요소색」은 예를 들면 색 테이블에 포함된다. 「근사도」는 예를 들면 색차로 판단한다.

먼저, 화상의 각 부의 색이 상기 요소색 중의 어느 것인가로 치환된다. 예를 들면, 색 테이블의 요소 중 각 화소의 색과의 색차가 최소로 되는 요소에 의해 각 화소의 색이 치환된다. 원화상이 10000가지 색을 포함하고 있다고 하여도, 요소색이 예를 들면 100가지라고 하면, 화상이 100가지 색으로 표현되어진다. 치환후, 원화상에서 위치적으로 인접하는 화소의 색이 분할된 색 공간에서 인접하는 영역에 포함될 때, 그들 화소를 통합하여도 좋다. 예를 들면, 화상이 100가지 색으로 표현된 때, 인접하는 화소 또는 영역(원화상에서는 색이 다름)이 같은 요소색으로 표현되고 있는 경우가 있다. 이 경우는, 그들 화소 또는 영역을 통합하여 1개의 영역으로 한다. 인접하는 화소 또는 영역이 대단히 가까운 요소색(서로 다름)에 의해 표현되고 있는 경우도, 이들 화소 또는 영역을 통합해도 좋다. 이 경우, 통합 후의 영역에 어느 화소 또는 영역이 통합 전에 가지고 있었던 요소색을 부여하면 된다.

상기 방법은 또한 상기 치환 및 상기 통합이 종료한 때, 최종 화상을 표현하는 데 필요한 색 테이블의 요소를 발췌하여 새로운 색 테이블을 생성하는 색 테이블 생성 단계를 포함한다. 이상의 예에서는 100가지 색으로 구성되는 색 테이블이 생성된다.

한편, 본 발명의 화상 통신 장치에서는, 송신 장치가 색 테이블을 수신 장치로 전송하는 전송 수단을 가지며, 수신 장치가 전공된 색 테이블을 기억하는 기억수단을 갖는다. 송신 장치로부터 색 테이블이 수신 장치로 전송되고, 수신 장치는 이를 기억한다. 화상 데이터의 통신에 앞서 송신 장치 및 수신 장치가 공통의 색 테이블을 갖는다. 색 테이블이 공유되기 때문에, 송신 장치는 이후 색 번호만을 송신하면 된다. 수신 장치는 색 번호와 색 테이블을 참조하여 원래의 색을 재현한다.

다른 실시예에서는, 송신 장치는 영역의 중요도에 따라서 해당 영역의 데이터의 전송 빈도를 결정하는 결정 수단을 갖는다. 수신 장치는 송신 장치로부터 전송된 영역마다의 데이터를 합성하여 화상을 재현하는 재현 수단을 갖는다. 송신장치가 영역의 중요도에 따라 그 영역의 데이터의 전송 빈도를 결정하고, 수신 장치는 송신 장치로부터 전송된 영역마다의 데이터를 합성하여 화상을 재현한다. 중요한 영역의 예로서, 면적이 큰 영역, 사람의 얼굴 영역 등이 있다. 이들의 전송빈도를 높이게 되면, 전송 에러 등에 의한 중요 정보의 누락들을 피할 수 있다.

본 발명의 화상 처리 방법에서는 통합된 영역이 영역 단위의 외주선 정보가 아니라 영역간의 경계선 정보에 의해 부호화된다. 경계의 이중 정의를 피하게 된다.

상기 방법은 화상을 일정한 방향으로 주사하는 단계와, 주사선 상에서 영역의 경계가 되는 점을 검출하는 단계와, 검출된 경계점을 연결하여 경계선을 생성하는 단계를 포함한다. 생성된 경계선 정보에 따라 화상의 영역 정보가 부호화된다.

한편, 본 발명의 화상 처리 장치는 영역 베이스로 화상을 부호화하는 장치이다. 이 징치는 화상을 입력하는 수단과, 입력된 화상을 일정한 방향으로 주사하는 수단과, 주사선 상에서 화상 영역의 경계점을 검출하는 수단과, 검출된 경계점을 연결하여 경계선을 생성하는 수단을 포함한다. 생성된 경계선 정보에 따라 화상의 영역 정보가 부호화된다.

제1 실시예

본 발명의 화상 처리 방법의 실시예를 제2도 내지 제5도를 이용하여 설명한다.

제2도는 상기 방법을 실시하는 화상 처리 장치의 개략 구성도이다. 장치는 화상을 입력하는 화상 입력부(10), 입력된 화상에 혼입하는 잡음을 제거하기 위한 저역통과 필터로 구성되는 잡음 제거부(12), 잡음 제거부(12)에 의해 잡음이 제거된 화상을 RGB 색 공간 표시로부터 후술하는 HVC 균등 색 공간 표시로 변환하는 공간 변환부(14), 공간 변환부(14)에 의해 변환된 화상을 후술하는 색 테이블의 각 요소로 치환하는 화상 치환부(16), 화상 치환부(16)에 의해 치환된 화상의 각 화소중, 원화상에서 위치적으로 인접하고, 또한 색도 근사한 것을 통합하는 화소 통합부(18)로 구성된다.

우선, 공간 변환부(14)에 의해 RGB 색 공간으로부터 변환되는 HVC 균등 색 공간에 대해서 설명한다.

제3도는 HVC 균등 색 공간의 구성을 나타내는 도면이다. 주지하는 바와 같이, HVC 균등 색 공간이라고 하는 것은 회전 방향으로 Hue(색상), 높이 방향으로 Value(명도), 반경 방향으로 Chrome(채도)을 취하여 색을 분류하는 원통상의 색 공간으로서, RGB 색 공간으로부터 이미 알려진 색 변환식을 통해 얻을 수 있다. HVC 균등 색 공간의 특징은 RGB 색 공간에 비해 인간의 시각에 의한 직감적 파악이 용이하다는 점에 있다. HVC 균등 색 공간에서 근접하는 2점에 대응하는 색은 인간이 인식하는 색으로서도 근접한다. 후술하는 바와 같이, 이 공간에서 일정 거리로 포함된 복수의 색이 단일색으로 치환됨으로써 최종 목적인 데이터 압축이 가능하게 된다.

이하, 동작을 설명한다.

처리의 대상이 되는 화상이 화상 입력부(10)에 의해 장치로 입력된다. 이 화상은 일반적으로 비교적 임의의 잡음 성분을 포함하고 있기 때문에, 잡음 제거부(12)에 의해 불필요한 잡음을 제거하도록 한다. 다음에, 공간 변환부(14)에 의해 이 화상을 RGB 색 공간으로부터 상기 HVC 균등 색 공간으로 변환한다. 공간변환부(14)는 이 변환을 행할 뿐만 아니라 변환후의 HVC 균등 색 공간을 복수의 영역으로 분할하여 미리 색 테이블을 작성하도록 한다. HVC 균등 색 공간을 예를 들면, H, V, C의 방향으로 각각 40분할하여 사용한다. 색 공간은 40 ×40 ×40 = 64000의 영역으로 분할된다. 각 영역의 평균색을 그 영역의 대표색으로 정의한다. 대표색은 64000가지가 있다. 64000가지의 색은 자연화에 가까운 화상을 표현할 수 있다. 공간 변환부(14)는 대표색을 요소로 하고, 색 테이블을 생성한다. 색 테이블의 각 요소인 대표색은 1∼64000의 번호에 의해 지정될 수 있기 때문에 16비트의 데이터로 색의 지정이 가능하다.

화상 치환부(16)는 처리해야 할 화상의 각 화소의 색을 1∼64000의 색 번호로 치환한다. 각 화소는 임의의 색이기 때문에 64000색을 가지고 있어도 어느 요소에 완전히 일치하지 않는다. 화상 치환부(16)는 각 화소와 색 테이블의 각 요소의 색차를 측정하여 이것이 최소로 되는 요소를 그 화소의 색으로서 치환한다. 단, 색차가 소정 범위에 있는 화소로 치환해도 좋다. 최소로 되는 요소를 탐색하는 것이 바람직하지만, 이것에는 일정한 계산 시간을 요하게 된다. 어쨌든, 치환의 결과, 처리해야 할 화상은 색 번호 1∼64000에 의해 완전히 표현된다.

이렇게 하여 얻은 중간 처리 상태의 화상은 화소 통합부(18)에 의해 통합 압축된다. 제4도는 처리해야 할 화상의 어느 부분을 확대하여 16개의 화소를 도시한 것이다. 제5도는 이들 16개의 화소의 색 번호가 HVC 균등 색 공간에서 차지하는 위치 관계를 나타낸다.

제4도에서, 이들 16개의 화소의 상반부 8개의 화소(이들을 이하 「화소군A」라고 함)의 색 번호가

n-1, n, n+1

중 어느 하나가 되고, 한편 하반부 8개의 화소(이들을 이하부터 「화소군 B」라고 함)의 색 번호가

m-1, m, m+1

중 어느 하나가 된다.

한편, 제5도로부터 색 번호가 인접하는 요소는 HVC 균등 색 공간에서도 인접하고 있다. 화소군 A, B는 각각이 거의 같은 색인 것을 확인할수 있다. 그래서, 화소군 A에 대해서는 이들을 전부 색 번호 n으로서 통합하고, 화소군 B에 대해서는 이들을 전부 색 번호 m으로서 통합한다. 화소 통합부(18)는 이러한 통합 처리를 화상 전체에 걸쳐 행하고, 통합 가능한 영역을 전부 통합한다. 이상의 처리에 의해 데이터 압축은 완료된다.

본 장치의 경우, 색 번호가 64000 정도로 많기 때문에, 색 번호가 인접하는 화소 뿐만 아니라 색 번호가 일정한 범위에 있는 모든 화소를 통합하여도 좋다. 이들 화소는 원화상에서 인접하는 것뿐만 아니라 일정한 영역에 들어갈 때에 통합의 대상으로 하여도 좋다, 통합해야 할 범위는 데이터의 압축율과 화상 품질로부터 결정된다.

본 장치에서는 공간 변환부(14)가 색 테이블을 작성하는 것으로 되어있지만, 이 테이블은 본 장치에 필수 요건이 아니고 본 장치 외부에 배치하여도 좋다. 그 경우 필요한 때에 외부 테이블을 참조하는 구성으로 된다.

본 발명의 화상 처리 방법에 의하면, 화상 데이터 통합의 최소 단위가 화소이고, 인접하는 화소에 있어서도 색 번호가 크게 다른 한 통합되지 않는다. 이 때문에, 종래예 1의 블럭 왜곡을 피할 수 있다. 종래예 1이 원화상의 위치 정보만으로부터 데이터를 압축하는 반면, 본 발명에서는 색 정보에 의해 데이터가 압축된다. 이 본질적인 차이에 기인하는 장점이다. 영역 통합 시에 필요한 계산량도 작고, 종래예 2의 과제를 해결한다.

더욱이, 본 장치에 의해 화상 데이터의 통합을 행하면, 단지 데이터를 압축할 뿐만 아니라 색 공간 상에서 근접한 색을 갖는 화상의 영역을 추출할 수 있다. 본 장치는 화상 인식 장치로서도 이용 가능하다. 본 장치에서는 RGB 색 공간 뿐만아니라 HVC 균등 색 공간 등 인간의 시각에 가까운 이미지의 색 공간을 사용할 수 있기 때문에 인식 및 해석 시에 적절하다.

제2 실시예

제1 실시예의 화상 처리 방법을 사용하여 압축된 화상 데이터를 송수신하는 화상 통신 장치를 설명한다.

제6도는 제2 실시예에 관한 화상 통신 장치의 구성을 나타내는 도면이다.

화상 처리 장치는 화상 송신 장치(30)와 화상 수신 장치(32)로 구성되어 있다. 화상 송신 장치(30), 화상 수신 장치(32) 모두 본 발명의 화상 처리 방법이 이용된다. 화상 송신 장치(30)에 대해서는 상기 방법에 다음의 개량이 부가되어 있다. 즉, 압축된 화상 데이터를 송신할 때의 통신 보안을 확보할 목적으로 화상 처리 장치(30)에 중요도 부여부(34)가 부가되어 있다. 더욱이 화상 송신 장치(30)는화소 통합부(18)에 의한 영역 통합이 종료한 후, 그 최종 화상을 표현하는데 필요한 색 테이블의 요소를 발췌하여 새로운 색 테이블을 생성하는 색 테이블 생성부(36)를 갖는다. 중요도와 색 테이블은 일단 기억부(38)에 기억되고 송신부(40)로부터 송신된다. 화상 수신 장치(32)는 수신부(42)에서 데이터를 수신하여 이를 일단 기억부(44)에 저장한다. 이후에 재생부(44)에 의해 화상을 재생한다.

화상 데이터 송수신의 상태를 설명한다.

제1 실시예와 마찬가지로, 화상 송신 장치(30)에 의해 화상이 처리된다. 다음에, 색 테이블 생성부(36)가 최종 화상에 사용되고 있는 모든 색을 발췌하여 새로운 색 테이블을 생성한다. 생성된 색 테이블은 화상 데이터의 송신 전에 화상 수신 장치(33)로 전송된다. 화상 송신 장치(30)와 화상 수신 장치(32)가 계속 전송되는 화상을 재현하는데 필요하고도 충분한 색 테이블을 제공한다.

중요도 부여부(34)는 영역 통합이 된 최종 화상의 각 영역의 중요도를 판정하여 전송시의 우선도를 부여한다. 이것은 통신로에서의 데이터 누락 등 예기치 못한 사태가 발생한 경우 적어도 중요한 부분의 데이터 누락을 최소한으로 하기 위한 조치이다. 중요도 부여부(34)는 분할된 영역의 면적의 크기 순으로 높은 우선도를 부여한다. 우선도는 영역과 대응시켜 화상 처리 장치(30)에 기억되고, 송신시에 우선도가 높은 영역의 전송 빈도가 큰 값으로 설정된다. 이 결과, 우선도에 대응한 반복 전송이 이루어지고 가령 통신로에 부적합이 발생하여도 화상 수신 장치(32)에서 화상을 재현할 때에 큰 영역이 누락하는 사태를 적극 회피할 수 있다.

이상은 실시예에 관한 화상 통신 장치의 개요이다.

주의할 것은 중요도 부여부(34)에 의한 우선도의 부여 기준은 영역의 면적에 한정되지는 않는다. 예를 들면, 다른 영역과의 색 번호의 차가 크고, 인간의 눈으로 선명하게 볼 수 있는 영역, 또는 휘도가 높은 영역 등 용도에 따라 임의의 영역에 높은 우선도를 부여할 수 있다. 특히, 텔레비전 전화 등 인간의 얼굴을 주체로 하는 화상을 취급하는 응용에서는 화면 중앙의 살색 영역 및 그 살색 영역 내의 눈 또는 입으로 생각되는 영역에 대해서 우선도를 높이는 등의 처리를 한다.

이상, 본 발명의 화상 통신 장치에 의하면, 중요한 영역의 누락을 회피하면서 화상 데이터를 송수신할 수 있다. 이 때, 송수신의 양 장치에서 미러 전송의 대상이 되는 화상의 재현에 필요하고도 충분한 색 테이블을 공유할 수 있기 때문에 속도가 느린 회선으로 보다 한정된 정보를 전송하고자 하는 요청에 적절하고 실용성이 우수한 것이다.

제3 실시예

제1 실시예의 화상 영역 통합 방법을 사용하는 것이 가능한 화상 처리 방법을 설명한다. 본 실시예는 화상 영역을 순서대로 통합하고 있다 구체적으로는, 후술하는 단계 A에서 제1 실시예의 방법을 사용할 수 있다.

[배경]

국제 부호화 표준 MPEG으로 대표되는 바와 같이 차세대의 화상 수신 기기 및 각종 화상 통신 서비스의 실현을 생각해 볼 때 화상의 부호화는 중요한 기초 기술의 하나로 열거된다. 부호화 효율 또는 화상 압축율의 향상을 도모하고, 한정된 전송 레이트의 범위로 보다 고품질이고 자연스러운 화상 정보를 제공하기 위함이다.

MPEG의 부호화 기술 중 하나에 이산 코사인 변환(DCT)이 있다. 이 수법은 우선 화상을 매트릭스 상의 블럭으로 분할한다. 가장 간단한 예에서는 분할된 각 블럭으로부터 저주파 성분이 추출되어 블럭에 포함되는 각 화소의 색이 예를 들어 1개의 대표색으로 똑같이 치환된다. 이 다음에 블럭의 번호와 대표색을 쌍으로 함으로써 부호화가 완료된다.

화상 관련 기술의 경향에 있어서, 동화상의 움직임들 정확히 파악 또는 예측하여 부호화하는 기술(이하, 간단히 「움직임 부호화」라고 함)이 중요하게 되고 있다. 화상 부호화 기술의 목표 중 하나는 정보 가전 등 생활 기기로의 적용에 있다. 그 경우, 낮은 전송 레이트의 범위 내에서 동화상을 실시간으로 전송하고 이를 복호한 때에 얻어지는 화상의 품질이 충분히 높은 것이 조건이 된다. 이를 해결하기 위해서는 움직임의 부호화가 필수적이다.

[과제]

상술한 MPEG의 부호화 수법은 기존의 기술에 의한 LSI화 등, 실현 가능한 것에 얽매이면서 개발되어 왔기 때문에 장래의 과제이다. 보다 양호한 움직임의 부호화의 실현에 직접 이용할 수는 없다, 확실히 MPEG에서는 블럭 단위의 화상 부호화를 행하면서 각 블럭의 움직임 벡터를 전송하고 있지만, 그 움직임 벡터는 대상 화상의 내용에 관계없이 모든 블럭 단위로 계산된다. 이것은 대상 화상내의 모든 물체를 같은 크기의 블럭만으로 획일적으로 표현하는 것을 의미한다. 이 방법에서는 원화상과 생성 화상의 차분 정보가 필수이다. 그런데, 통상 이 차분 정보가 차지하는 비율은 지나치게 크기 때문에 한정된 전송 게이트에 의한 충분한 화상 정보의 전송에는 자연히 한계가 있었다.

[본 실시예의 목적]

본 발명의 목적은 과제의 발견과 해결에 있다. 본 출원인은 (1) 영역 분할 수법을 움직임의 부호화에 유효하게 이용하는 사상 자체가 존재하지 않는다는 것을 과제로 생각하고, (2) DCT를 기초로 하는 움직임의 부호화에서는 낮은 압축 효율 및 후술하는 영역 간 매칭 효율이 나쁘기 때문에 한계가 있다는 점을 배려하여, (3) 미리 움직임의 부호화를 염두에 둔 영역 베이스의 화상 영역 통합 방법을 개시한다.

[해결 방법]

본 실시예의 화상 영역 통합 방법은 반복 사용하는 것이 가능한 복수의 영역 통합 기준을 조합하여 영역 통합을 진행한다. 「반복 사용하는 것이 가능한」이라고 하는 것은 어떤 기준 다음에 별도의 기준을 사용한 후 재차 최초의 기준을 사용할 수 있다는 것을 의미한다. 통합이라고 하는 것은 복수의 영역을 병합하여 1개의 영역으로 하는 것을 말한다. 화상 영역이라고 하는 것은 어떤 성질이 공통하는 화소가 모여서 형성되는 영역을 말하지만, 이 화소는 1개이어도 좋다. 즉, 영역의 최소 단위는 화소이다,

또한, 본 실시예는 화소의 개별 정보를 기초로 하여 화상 영역을 통합하는 단계 A와, 화소의 집합 정보를 기초로 하여 화상 영역을 통합하는 단계 B를 포함하고 있다. 개별 정보라고 하는 것은 화소의 색 등, 개개의 화소만으로 정의 가능한정보를 말하며, 집합 정보라고 하는 것은 예를 들어 영역의 형상 등 복수 화소의 모임으로 정의 가능한 정보를 말한다. 단계 A는 개별 정보를 기초로 하는 통합을 행하지만, 통합의 기초를 개별 정보에 두고 있는 한 현실적으로는 복수 화소의 개별 정보를 통괄적으로 취급하여도 좋다. 일례를 든다면, 복수 화소의 색의 평균을 통합의 기초로 할 수 있다.

또한, 본 실시예는 상기 개별 정보가 화소마다의 색 정보, 상기 집합 정보는 화상 영역의 크기이어도 좋다. 「색 정보」라고 하는 것은 광의 반사로 사람의 망막에 투사되는 모든 성질에 관한 정보를 가리키며, 색의 속성인 휘도, 채도, 색상 정보 중 어느 하나라도 좋다. 현실의 정보의 형태로서는 예를 들면 HVC 또는 RGB 색 공간에서의 색 번호 등이 있다. 이 구성에 의하면, 화상 영역이 색 정보와 크기의 2방향으로부터 통합된다.

본 실시예에서는 예를 들면 상기 단계 A와 상기 단계 B를 이 순서로 행한다. 따라서, 예를 들면, 우선 색 정보에 의한 통합이 진행하고, 그 통합 후에 남아 있는 영역이 이번에는 크기에 의해 통합된다.

본 실시예의 한 형태로서, 상기 색 정보는 영역간의 색차이고, 상기 단계 A는 위치적으로 가까운 복수의 영역간에서 색차가 작은 것으로부터 순서대로 통합되어 간다. 색차는 색이 다른 상태이고, 색차가 클수록 색의 다름이 커진다. 「위치적으로 가까운」이라고 하는 것은 이들 영역이 물리적으로 의미를 이루는 1개의 실체(물체, 피사체)에 포함될 가능성이 높기 때문이다. 「색차가 작은 것으로부터」라고 한 이유도 마찬가지이다. 상하단에서 미묘하게 색이 다른 빨간 사과를 생각해볼 때, 색은 같은 적색에 속하기 때문에 양단의 색차는 일반적으로 작고, 상하단의 거리도 화상 중에서는 작다고 생각될 수 있기 때문에, 사과 전체가 1개의 영역으로 통합된다. 이 때, 사과와 같은 색의 컵이 화상 중의 별도의 개소에 있어도 이들이 어떤 거리를 두고 있는 경우는 통합되지 않는다.

본 실시예의 어떤 태양에서는 상기 단계 B는 작은 영역으로부터 순서대로 위치적으로 가까운 다른 영역에 통합되어 간다. 움직임의 부호화 시에 행해지는 영역 매칭을 생각해 볼 때, 화상 중 어느 정도 큰 영역의 정보는 중요하고, 그러한 영역을 서둘러 형성하기 때문이다. 이 태양에 의해, 차차로 작은 영역은 감소하고 또한 영역의 총수도 감소해간다.

본 실시예의 어떤 태양에서는, 영역간의 최소 색차가 기준치에 달할 때까지 상기 단계 A가 행해지고, 그 다음에 상기 단계 B가 행해진다, 단계 A가 진행되어 가면, 점차로 영역간의 색차가 작아져간다. 여기에서는 예를 들면 NBS 색차라고 하는 단위로 색차가 6.0이 될 때까지 단계 A를 계속해간다. 이후부터 이렇게 하여 통합된 영역이 크기의 관점에서 통합되기 시작한다.

본 실시예의 다른 태양에서는 소정의 크기의 영역이 일정한 수에 도달할 때까지 상기 단계 A가 행해지고 그 다음에 상기 단계 B가 행해진다. 단계 A가 진행되면, 최소 색차뿐만 아니라 영역의 수도 감소해 간다. 영역 자체는 통합에 의해 크게 되어 간다. 예를 들면 전체 화상 사이즈의 1%의 크기의 영역이 10개 정도 나타나면 단계 A를 멈춘다.

본 실시예에서는 단일의 영역으로 완전하게 둘러싸인 영역(이하, 「고립 영역」이라고 함)에 대해서는 상기 단계 B에 의한 통합을 지연시켜도 좋다. 이 때 고립 영역의 크기는 원칙적으로 문제되지 않는다. 통상 고립 영역은 그다지 크지않은 경우가 많지만, 예를 들면 사람의 얼굴에서의 눈과 같이 화상 정보로서 중요한 경우가 있다. 그래서, 단계 B의 예외 처리로서 고립 영역을 남겨 둔다. 더욱이, 통합이 진행될 때에는 상황에 따라서 이를 통합하여도 좋다.

[구체예]

본 실시예의 특징은 2 이상의 다른 단계에 의해 화상 영역을 통합하는 점에 있다. 최초의 단계 A는 색차, 후의 단계 B는 영역의 크기에 따라 각각 통합을 행한다.

[단계 A] 색차에 의한 통합

제1 실시예의 방법에 의한 통합을 행한다. 화소(또는, 영역)가 통합될 때에 새로운 영역과 다른 영역의 위치 관계, 색 번호를 비교하여 통합 처리를 반복하여 행한다. 반복 회수가 증가함에 따라 화상이 어느 정도의 수의 동일 색 영역에 통합되어 간다. 여기서, 단계 A의 종료판정이 문제로 된다. 판정 방법에는 주로 2개의 방법이 생각된다.

(1) 색차에 의한 판정

통합 처리가 행해지는 때에 그 시점에서 존재하는 영역간의 최소 색차를 검색한다. 여기에서 최소 색차가 기준치에 도달하게 되면, 단계 A를 종료한다. 예를 들면, NBS 색차 단위에서는 색차가 다음과 같이 평가되어 있기 때문에 이것을 이용한다.

색차 평가

0.0 ∼ 0.5 색의 차를 거의 인식할 수 없다.

0.5 ∼ 1.5 색의 차를 약간 인식할 수 있다.

1.5 ∼ 3.0 색의 차를 상당히 인식할 수 있다.

3.0 ∼ 6.0 색의 차가 현저하다.

6.0 ∼ 12.0 색의 차가 극히 현저하다.

12.0 ∼ 다른 색 계통에 속한다.

어느 색차를 가지고 기준치로 할 것인가는 설계에 의존한다. 전체적으로 영역간의 색차가 큰 쪽으로 치우친 화상인 경우 기준치 자체를 크게 할 수 있다. 본 실시예에서는 가령 6.0으로 하고, 그다지 통합이 진행하지 않은 상태로 종료한다. 이 이유는 단계 A를 너무 진행하게 되면, 예를 들면 나중의 움직임 부호화를 생각해 볼 때 바람직하지 않은 화상이 생성되기 때문이다.

제7도 내지 제9도는 단계 A를 너무 진행한 때에 생기는 불합리를 나타낸 것이다. 제7도는 통합 개시 전의 원화상이다. 여기에는 우측 아래로 뻗은 사선으로 나타낸 배경 영역(5) 중에 주로 4개의 형상이 다른 피사체가 투영되어 있다. 제8도는 어느 정도 통합이 진행한 때의 화상, 제9도는 지나치게 통합이 진행한 때의 화상을 나타내고 있다.

제7도 → 제8도의 변화에 대하여 :

제7도 중의 우측 위로의 사선으로 표시된 영역(1, 2)과, 각각 인접하는 백색 바탕의 영역(3, 4)과의 색차가 작을 때, 영역 1과 3, 영역 2와 4는 통합된다. 여기에서는 백색 바탕의 영역으로 통합되는 것으로 하고, 그 결과가 제8도가 된다. 영역(1, 2) 이외에도 우측 위로의 사선으로 표시된 영역은 존재하지만 이들은 백색 바탕의 영역과 떨어진 위치에 있기 때문에 통합되지 않는다.

제8도 → 제9도의 변화에 대하여 :

제8도의 상태까지 진행한 때에 배경 영역(5)과 백색 바탕의 영역의 색차가 작게 되도록 하면, 이들이 통합된다. 여기에서도 백색 바탕으로 통합되는 것으로하고 그 결과가 제9도로 된다. 백색 바탕의 영역이 화상 전체를 횡단하는 형태로 된다.

이상 최종적으로 얻어지는 화상(제9도)은 원화상으로부터 흑색 바탕의 영역(6) 등이 떠오르기만 한 상태로 된다. 그런데, 본래 원화상에 존재했던 4개의 피사체와 이들 흑색 바탕의 영역에서는 그 형상이 전혀 다르기 때문에, 이 흑색 바탕의 영역을 기초로 각 피사체의 움직임의 부호화를 도모하는 것은 대단히 어렵다. 실제로 이 부호화를 행하려고 하면, 화상 프레임(픽쳐)간에 대응하는 영역이 발견되지 않을 가능성이 높고, 처음부터 통합을 다시 하거나 제9도로부터 통합 전의 상태로 조금씩 화상을 복원하면서 부호화의 가부를 판단할 필요가 생긴다. 당연하게도 처리가 번잡해지고 처리 효율도 떨어진다. 본 실시예에서는 색차가 6.0으로 된 시점에서 상황을 봐서 단계 A를 중단하도록 한다.

(2) 영역의 상황에 의한 판정

상기의 부적절한 부분은 「지나치게 큰 영역이 생긴 상태」 로 바꾸어 말할 수도 있다. 따라서, 소정의 크기의 영역이 일정한 수에 도달하게 되면, 단계 A를종료하여도 좋다. 소정의 크기는 예를 들면 전체 화상의 1%의 면적, 일정한 수는 예를 들면 10∼20개 정도로 할 수 있다. 당연히 이들 수치도 화상에 따라 변해도 좋다. 어쨌든 이 시점에서 단계 B로 옮겨가게 되면 이후 작은 영역이 먼저 통합되기 때문에 임의의 영역이 화상 전체를 횡단하는 형태로 급격히 확대되는 사태를 회피하는 것이 용이하게 된다.

단계 A의 종료 화상은 통상 사람의 눈으로도 원화상의 유추가 가능한 허용범위에 있다. 움직임의 부호화를 생각하지 않은 경우에는 이 시점에서 화상 통합 처리를 종료시키는 것도 가능하다.

[단계 B] 영역의 크기에 의한 통합

이어서 단계 B에 의해 현존하는 영역을 작은 순서로 통합해간다. 영역의 크기는 예를 들면 화소 수로 판단한다. 작은 영역을 먼저 통합하는 것은 단계 A의 부적절함을 회피하기 위한 것 외에 큰 영역만큼 원래의 피사체에서 차지하는 면적비가 크기 때문이다. 즉, 피사체 전체의 윤곽 추출이 움직임의 부호화 시에 중요하고, 작은 영역을 큰 영역에 통합해가는 것으로 피사체의 윤곽을 정확히 파악하는 목적이 있다.

단계 B는 어느 정도 영역의 크기가 평균화된 시점에서 처리를 종료한다. 영역의 크기가 같게 되면 2개의 화상 프레임 사이에서 영역의 매칭을 취하게 될 때에 크기를 비교하는 단계의 중요성이 낮아진다. 그 결과, 움직임의 부호화에 필요한 전체 처리 시간을 단축할 수 있기 때문이다. 통상, 프레임간의 다대다 대응에는 긴 계산 시간이 필요하게 되고 비교 요소의 삭감은 중요한 의미를 갖는다.

제10도는 단계 B의 결과 얻어지는 최종 화상을 나타내는 도면으로서, 제8도의 시점에서 단계 A에서 단계 B로 옮겨간 경우에 대해서 도시하고 있다. 단계 B에 의하면, 색에 관계없이 작은 영역이 위치적으로 가까운 다른 영역으로 통합되어가기 때문에 가장 큰 배경 영역(5)을 남기고 각 피사체의 윤곽이 부상해온다. 이렇게 하여 움직임의 부호화에 최적인 최종 화상이 생성된다.

이상이 단계 B의 개요이지만, 화상에 고립 영역이 존재하는 경우에는 특별한 배려를 하는 것이 바람직하다. 고립 영역은 화상 중에서 중요성이 높던가, 또는 특징적인 영역인 경우도 많기 때문에 가령 면적은 작아도 통합 순위를 낮추는 것으로 된다. 물론, 고립 영역이 무의미한 점인 경우도 많고, 면적이 극단적으로 작은 경우(예를 들면, 수 화소 이하의 경우), 통합하여도 좋다.

단계 A, B에 의해 본 실시예의 화상 영역 통합 방법은 소기의 목적을 달성한다. 이 방법에서는 이하의 대체, 변형 등이 생각된다.

[단계 A에 관하여]

1. HVC 균등 색 공간을 사용했지만, RGB 색 공간 등 별도의 색 공간을 이용해도 좋다.

2. 움직임의 부호화를 생각한 경우, 반드시 사람의 눈으로 보아서 자연스러운 통합일 필요는 없기 때문에, 색차가 아닌 예를 들면 휘도차, 채도차, 명도차 등 다른 정보에 의한 통합도 생각된다. 흑백 화상의 경우는 휘도차에 의한 통합이 가장 일반적으로 생각된다.

3. 화소의 개별 정보로서 각 화소의 광학적 흐름(optical flow)에 의한 추적결과 정보를 사용하여도 좋다. 즉, 추적 결과가 같은 경향을 나타내는 화소는 서로 통합할 수 있는 경우가 많기 때문이다.

4. 당연히 이들 기술을 병용하여도 좋다.

[단계 B에 관하여]

1. 최종 화상에 남은 영역의 각 중심 위치가 적당하게 분산하도록 통합을 진행한다. 예를 들면, 모든 영역의 중심이 화상 중심 부근에 집중한 때, 복수 프레임간의 영역 매칭의 효율이 떨어진다. 중심이 적당하게 분산되어 있으면 대응 영역의 검색 범위를 용이하게 한정할 수 있고, 대체적으로 양호한 매칭 결과가 얻어진다. 그래서, 통합할 수 있는 후보가 복수 개 있는 경우, 통합 후의 각 영역의 중심 위치가 분산하는 결과를 가져오는 것을 선택한다.

2. 복수의 영역의 출현 패턴에 규칙성이 있을 때, 이들 영역을 통합한다. 예를 들면, 흑백의 줄무늬 모양의 의복을 착용한 사람이 화상 중에 존재할 때, 색 정보에 의한 통합만으로는 이 사람의 윤곽을 발견하는 것이 어렵다. 그래서 흑백의 영역이 일정한 규칙으로 반복 출현하는 것과 같은 경우는 이들 영역을 통합한다. 줄무늬 모양 외에 텍스쳐(texture) 및 모양 전반에 적용 가능하다. 단, 규칙성은 사람의 눈으로 보아 명확한 경우에 한정할 필요는 없기 때문에 예를 들어 비교적 작은 영역으로부터 공간 주파수를 추출하여 미세한 텍스쳐 및 미세한 모양을 검출할 수도 있다.

3. 미리 준비한 화상 패턴에 일치하는 영역을 하나로 통합한다. 예를 들면, 텔레비전 전화를 생각한 경우, 중앙에는 사람의 얼굴이 온다고 생각되기 때문에,중앙 부분에 살색 영역이 있고 그 중에 2개의 검은 영역(눈)이 있으면 이를 얼굴로 하여 하나로 통합한다. 사람의 이동에 관하여 화상간 매칭을 취할 때에 유익하다. 모델 베이스(model base) 부호화에의 적용이라고 말할 수 있다. 단, 여기에서 주의해야 할 점은 예를 들어 얼굴이 같은 장소에서 회전하는 것과 같은 경우, 눈의 정보가 중요하게 된다. 이 경우는 눈을 얼굴의 영역으로 통합하지 않고 고립 영역으로 남겨 두는 게 좋다.

4. 동화상이 대상인 경우 과거의 영역 통합 상황을 참조한다. 즉, 직전의 화상 프레임에 대해 행해졌던 영역의 통합은 그대로 다음 프레임에도 유효한 경우가 많기 때문이다.

5. 영역이 복잡한 형상으로 되지 않도록 오목 블럭을 메우도록 통합을 진행한다. 형상이 복잡하다면, 매칭 시에 형상만으로 에러로 하여 후보에서 제외되는 영역이 증가한다. 이 때문에 최적 매칭을 놓칠 염려가 있기 때문이다.

6. 당연히 이들 기술을 병용하여도 좋다.

이상, 본 방법에 의하면, 최저 2개의 단계를 사용함으로써 움직임의 부호화를 배려한 화상 통합이 가능하게 된다. 이들 단계가 각각 화소의 개별 정보 및 집합 정보를 기준으로 처리를 행하는 경우, 특히 효과적이다. 게다가, 단계 A와 단계 B를 이 순서로 행함으로써 예를 들어 화상 전체로 확대되는 것과 같은 적절하지 않은 영역의 발생을 용이하게 회피하게 된다.

단계 A가 위치적으로 가까운 복수의 영역간에서 색차가 작은 것부터 순서대로 통합하는 경우, 예를 들어 동일 피사체에 속하는 영역의 통합이 용이하게 된다.단계 B가 작은 영역부터 순서대로 다른 영역으로 통합하여 가는 경우, 최종적으로 피사체 정보로서 중요한 영역이 남을 가능성이 높고, 예를 들어 움직임의 부호화에 적당한 화상을 생성할 수 있다.

영역간의 최소 색차가 기준치에 달할 때까지 단계 A, 이후 단계 B를 행하는 경우는 단계 A만을 과도하게 행한 경우에 발생하는 부적절함의 해소가 용이하게 된다. 이것도 움직임의 부호화에 좋은 영향을 미친다.

소정의 크기의 영역이 일정한 수에 달할 때까지 단계 A, 이후 단계 B를 행하는 경우도 적절하지 않은 과대 영역의 발생이 억제되기 때문에 상기 부적절함의 해소가 용이하게 된다.

단계 13에서 고립 영역의 통합 순위를 떨어뜨리는 경우는 화상 정보로서 중요한 영역을 최종 화상까지 보유할 수 있다.

제4 실시예

제4 실시예에서는 제1 실시예로 얻은 최종 또는 중간 화상의 부호화에 관찰 영역 베이스의 화상 처리 방법 및 장치를 개시한다.,

[배경]

제11도는 부호화 기술 중 영역 분할 수법에 의한 화상 영역의 지정 방법을 나타내는 도면이다. 동 도면에서 원화상(1)은 예를 들어 4개의 퍼사체에 의한 영역 A∼D 및 그 배경인 영역 E∼G로 분할되어 있다. 영역 분할의 방법에서는 예를 들어 클러스터링(clustering) 또는 영역 성장법이 있지만 여기에서는 그 방법은 문제가 되지 않는다.

화상의 부호화는 영역 A∼G의 위치 및 그 내용을 작은 데이터 양으로 정의함으로써 행해진다. 위치의 정의는 통상 영역 단위로 그 외주선을 그리고, 그 선을 구성하는 각 화소의 좌표를 기술함으로써 행해진다. 동 도면에서는 각 영역의 외주선을 화살표 선으로 표시하고 있다.

[과제]

상기의 부호화에 의하면, 각 영역을 그 외주선에 의해 면으로서 정의할 수 있다. 영역과 외주선이 일대일로 대응하고, 각 영역이 외주선에 의해 반드시 폐쇄되는 형상으로 기술되어 있기 때문이다. 그러나, 이하의 점에서 개선의 여지가 인정된다.

(1) 부호화의 효율

도면 중의 화살표 선이 2개씩 중첩되어 있는 바와 같이 영역의 경계 부분이 합계 2회 정의된다. 부호화의 효율이 나쁘다.

(2) 영역의 이동에 대한 추종성

예를 들면 영역 A가 이동한 경우, 당연히 인접하는 영역 B 등의 형상 및 면적도 변화하게 된다. 그러나, 영역 단위로 영역의 이동 및 변화를 표현하도록 한 경우, 예를 들어 이동한 영역 A에 숨겨져 있는 곳이 예기치 않게 공백 영역으로 되어 정보가 누락하거나 영역과 영역이 어긋나거나 서로 중첩하거나 하는 부적합함이 발생할 수 있다.

[본 실시예의 목적]

본 실시예의 목적은 화상 영역을 외주선 정보가 아닌 방법을 부호화하는 방법을 개시하는 것에 있다. 더욱이, 이 방법과 현실의 화상 처리 하드웨어와의 친화성이 높은 사실을 이용하여 이를 화상 부호화 장치로서 개시한다. 이들을 개시함으로써 예를 들어 장래의 표준이 되는 MPEG4 등에서 요구되는 기술 즉, 실시간으로 낮은 비트 레이트로 동화상의 부호화를 행하기 위한 기초 기술을 제공한다.

[해결 수단]

본 실시예의 화상 부호화 방법은 화상 영역을 영역 단위의 외주선 정보가 아니라 영역간의 경계선 정보에 의해 부호화한다.

보다 구체적으로는 이 방법은 예를 들면 화상을 일정한 방향으로 주사하는 단계와, 주사선 상에서 영역의 경계가 되는 점을 검출하는 단계와, 검출된 경계점을 연결하여 경계선을 생성하는 단계를 포함한다. 여기에서, 「영역의 경계」라고 하는 것은 예를 들어 제11도의 영역 A, B의 경계를 말하고, 어떠한 방법에 의해 분할된 영역의 경계 모두를 포함한다. 영역의 분할은 예를 들어 색 정보, 운동 정보에 의해 행할 수 있다. 단, 애니메이션(animation) 화상과 같이 그 화상이 원래 영역 정보에 의해 구성되어 있는 경우도 있고 본 실시예는 반드시 영역 분할된 후의 화상에 대해서 적용하는 것으로는 한정되지 않는다.

화상은 먼저 주사되어 영역의 경계점이 발견된다. 이들 경계점이 순서대로 접속되어 경계선이 생성된다. 이 때 원래의 경계점이 어떠한 영역의 경계인가를 생각하는 것이 바람직하다. 왜냐하면, 예를 들어 제11도의 영역 A와 B의 경계선과 영역 A와 C의 경계선은 다른 것이고 이들을 구성하는 경계점이 혼동되어서는 안되기 때문이다.

본 실시예는 또한 상기 경계점을 그 중요도에 따라서 분류하여 소정의 중요도를 갖는 경계점에 의해 상기 경계선을 대표시킴으로써 해당 경계선의 정보를 압축하여도 좋다. 중요도는 어떤 특징에 근거해서도 결정할 수 있고 예를 들면 경계선상에서의 기하학적인 특징을 갖는 경계점(이하, 「특징점」이라고 함)에 대해서는 그 중요도를 높게 잡을 수 있다. 특징점의 예로서는 경계선의 양단점이 있다. 이 경우, 경계선이 단지 2개의 점으로 정의되어 경계선상의 다른 점은 정의할 필요가 없고 정보가 이들 2 점으로 압축된다.

본 실시예에서는 상기 영역은 색 정보(색 공간에서의 색 번호, 명도, 휘도등)에 따라서 분할되고 상기 경계선은 색 정보의 변화점을 연결하여 생성되어도 좋다. 이 경우, 상기 경계선 정보는 예를 들어 상기 경계선의 위치 정보와 상기 경계선의 양측의 영역의 색 정보를 포함한다. 이 색 정보에 의해 원래의 화상 영역을 부호화할 수 있다.

본 실시예에서는 또한 상기 경계선을 그 중요도에 따라서 분류하여 중요도가 낮은 경계선 정보를 통합하여도 좋다. 여기에서, 「통합」이라고 하는 것은 경계선의 개수 자체의 삭감을 수반하는 정보 압축을 말하며, 경계선의 수를 유지한 그대로 행하는 단순한 압축과는 다르다. 「중요도」라고 하는 것은 예를 들어 화상을 복호화한 경우에 화상 품질에 큰 영향을 미치는 정도를 말하며, 경계선이 직선인 경우 통상 길수록 중요하다고 생각된다. 따라서, 여기에서는 화상 품질에 미치는 영향이 작은 경계선 정보가 통합된다.

본 실시예는 또한 상기 경계선의 양측의 영역의 색이 가까운 때, 그들 영역을 미리 통합한 후에 부호화하는 구성으로 하여도 좋다. 「통합」이라고 하는 것은 영역의 개수 자체의 삭감을 수반하는 정보 압축을 말하고, 영역 수를 유지한 그대로 행하는 단순한 압축과는 다르다. 「색이 가깝다」고 하는 것은 예를 들어 색차가 어느 값 이하인 경우 외에 HVC 색 공간에서의 상대 위치가 어느 거리 이내에 있는 경우를 말한다. 예를 들어, 제11도에서 가령 영역 A와 B의 색이 가까운 때, 이들은 합쳐서 1개의 영역 A+B로 통합된다.

이 때, 예를 들어 상기 경계선의 양측의 영역의 색을 각각의 영역의 평균색(또는, 화소의 중간치)으로 정의하여도 좋다. 이 평균색이 가까우면 양 영역은 통합된다.

다른 태양으로서 상기 경계선의 양측의 영역의 색을 상기 경계선의 근방의 점의 색에 근거하여 판단하여도 좋다. 이것은 예를 들어 2개의 영역의 평균색이 크게 다른 경우에도 경계선 부근의 색이 매끄럽게 변하고 있는 경우, 양 영역의 통합이 자연스러운 경우도 있기 때문이다. 근방의 점은 예를 들어 경계선을 따라 일정 간격을 둔 복수의 대표점이라도 좋고, 그 경우는 이들의 평균색(중간치)을 채용해도 좋다.

이와 같이 하여 2개의 영역이 통합된 때, 본 실시예는 통합 가능한 복수의 경계선을 1개의 경계선으로 통합하여도 좋다. 상기의 예로 말하면, 먼저 영역 A와 B와의 사이의 경계선이 소멸한다. 이 시점에서는 영역 A, D간의 경계선과 영역 B, D간의 경계선이 따로따로 남아 있지만, 이 2개의 경계선을 통합하여 1개의 경계선 정보로서 보유할 수 있다. 이와 같이 하여 1개로 된 후에 예를 들어 상술한 특징점에 의한 압축을 행하면 더욱 정보량을 삭감할 수 있다.

한편, 본 실시예의 화상 부호화 장치는 화상을 입력하는 수단과, 입력된 화상을 일정한 방향으로 주사하는 수단과, 주사선 상에서 화상 영역의 경계점을 검출하는 수단과, 검출된 경계점을 연결하여 경계선을 생성하는 수단을 포함한다. 즉, 예를 들어 통신 장치에 의해 수신된 화상은 수신 순서대로 주사되어 예를 들어 라인마다 경계점이 분명하게 된다. 다음은 이 경계점을 접속함으로써 경계선이 생성된다. 이와 같이 하여 생성된 경계선 정보에 따라 화상의 영역 정보가 부호화된다.

[구체예]

본 화상 부호화 방법은 이미 어느 정도 영역 분할이 된 화상에 대해서 양호하게 작용한다. 일례로서 제1 실시예에서 얻어진 최종 화상 또는 중간 화상을 대상으로 한다. 제11도는 예를 들어 이와 같이 하여 얻은 화상이다. 이하, 이 화상( 「입력 화상」이라고 함)에 대한 처리 순서를 설명한다.

[1] 주사

입력 화상을 일정한 방향으로 주사한다. 일정한 방향이라고 하는 것은 수평, 수직, 그 외 임의의 방향이어도 좋지만, 여기에서는 화상 데이터가 라인 단위로 직렬로 입력된다고 생각하여 수평 방향으로 한다. 입력된 데이터를 그 순서로 주사하면 하드웨어 구성이 단순하게 되고, 처리 속도가 증가한다. 입력 화상은 이미 색 번호로 기술되어 있기 때문에, 색 번호를 라인 단위로 그 선두부터 순차적으로 읽어들여 색 번호를 소프트웨어적으로 추적한다.

[경계점의 추출]

색 번호가 변화하는 화소를 검출하여 이를 경계점으로 정의한다. 변화의 직전, 직후의 어느 화상을 경계점으로 할 것인가는 설계에 의존한다.

제12도는 입력 화상의 라인 L0∼2의 각 화소의 색 번호를 나타낸다. 이들 화소의 색 번호는 a, b 또는 c이다. 여기에서는 변화의 직후의 화소를 경계점으로 하고 이들을 사선으로 표시하고 있다. 화소의 좌표를 (행, 열)과 같이 나타내면 경계점은 (0, 3) (1, 2) 등이다.

[3] 경계선의 생성

검출된 경계점을 순서대로 접속하여 감으로써 경계선을 생성한다. 제12도의 경우,

(0, 4) (1, 3) (2, 3)으로 1개의 경계선 BL1

(0, 10) (1, 10) (2, 9)로 1개의 경계선 BL2

라고 하는 2개의 경계선이 생성된다. 이 때, 다른 경계선에 속해야 하는 경계점의 혼동을 회피하도록 배려한다. 혼동의 회피는 예를 들어 다음의 2가지 점에 유의하여 행한다.

1. 색 번호의 변화

BL1에서는 색 번호가 a→b로 변화한다. 역으로 말하면, a →b 이외의 변화가 있으면 이 경계점은 BL1에 속하지 않기 때문에 BL1에는 접속하지 않는다.

2. 경계점의 상호 위치

가령 a →b의 변화를 일으키는 경계점이 있어도 이것이 BL1을 구성할 수 있는 위치에 없으면 제외한다. 보다 구체적으로는 인접하는 라인에서 경계점과 경계점의 열이 일치하던가 충분히 가까운 경우에만 동일 경계선에 속한다고 본다. 제12도에서는 (0, 3)과 (1, 2)의 열의 차는 1에 지나지 않고, (1, 2)와 (2, 2)에서는 열이 일치한다. 입력 화상의 분산 등을 고려한 후에 예를 들어 이 차가 3 이하로 되는 경우에 한하여 동일 경계선에 포함되는 것으로 간주하면 된다.

[4] 화상 정보의 부호화

각 경계선이 분명하게 되면 이 경계선 정보를 화상 부호화 정보로 한다. 정보의 포맷은 예를 들어 다음과 같다.

경계선은 그것을 구성하는 경계점(이하, 「구성 경계점」 이라고 함)의 좌표 및 경계선에서 변화하는 2개의 색 번호(주사 방향으로 배열됨)에 의해 표현할 수 있다. 단, 예를 들어 (0, 3)을 시작점으로 하는 변경 코드(change code) 표현에 의해 BL1을 정의하여도 좋다. 이것은 어느 점에서 보아 다음 점의 방향을 수치로 표시하는 방법으로 예를 들어

으로 정해지면, BL1은 (0, 3)을 기점으로 (3, 4… )로 변경 코드화된다.

이상이 제4 실시예의 개요이다. 이 실시예에 의하면, 종래의 외주선 정보에의한 부호화의 과제인 경계 부분의 이중 정의가 해소된다. 또한 동시에 영역의 이동이 경계선의 이동에 의해 표현되기 때문에, 영역간의 공백 또는 영역과 영역의 어긋남 및 중첩이 원리상 발생할 수 없다.

본 실시예에 대해서는 이하의 응용 또는 변형이 생각된다.

(1) 화상의 구성

지금까지는 입력 화상이 미리 영역 분할되어 있는 경우를 설명하였지만, 애니메이션 화상과 같이 원래 영역 정보에 의해 구성된 화상 등을 생각한다면 본 실시예는 분할의 유무에 관계없이 유효하다.

(2) 화상의 입력 형태

여기에서는 각 화소가 색 번호로 변환된 후에 입력되는 경우를 고려해보았지만, 원화상 그대로 입력되어도 좋다. 이 경우, 원화상의 주사에 예를 들어 광학계 스캐너 등을 사용하여 색 정보를 중심으로 한 경계 정보를 얻으면 좋다.

(3) 화소의 표현 형태

각 화소는 색 번호 이외의 속성에 의해 표현되어도 좋다. 실제로는 명도, 휘도 등이 생각된다.

(4) 영역의 예비 통합

경계선의 양측의 영역의 색 번호가 가까운 때에, 이들 영역을 통합한 후에 부호화하여도 좋다. 제12도의 경우, │a-b │의 값이 일정한 범위에 들어가는 경우 즉, 색차가 작은 경우, 이들 영역을 통합하고 영역 내의 모든 화소의 색 번호를 a, b 또는 (a-b)/2 등에 의해 치환하여도 좋다. 이후, 다시 경계선의 생성을 행하면,이미 경계선 BL1은 나타나지 않기 때문에 보다 높은 부호화 효율이 실현된다.

제5 실시예

제5 실시예에서는 제4 실시예의 경계선 정보를 더욱 압축한다. 제4 실시예에서는 전(全)구성 경계점에 의해 경계선을 기술했지만, 제5 실시예에서는 이중 특징점을 선출하여 분류하여 필요한 특징점만으로 경계점을 대표시킨다. 특징점은 구체적으로

(0) 경계선에 포함되고, 그 길이가 소정값 미만의 직선 부분의 양단점(兩端点)

(1) 경계선에 포함되고, 그 길이가 소정값을 초과하는 직선 부분의 양단점

(2) 경계선의 기울기의 부호가 변화하는 점

(3) 경계선의 양단점

으로 한다. 이들 분류에 근거하여 이하 4가지의 처리를 정의한다.

[랭크 0] 상기 (0)∼(3)의 모든 특징점에 의해 경계선을 기술한다.

[랭크 1] 상기 (1)∼(3)의 특징점에 의해 경계선을 기술한다.

[랭크 2] 상기 (2), (3)의 특징점에 의해 경계선을 기술한다.

[랭크 3] 상기 (3)의 특징점에 의해서만 경계선을 기술한다.

이들 랭크는 이하에서 어느 정도 압축의 정도가 높아진다.

제13도 내지 제17도는 각 랭크에 의한 처리를 나타내는 도면으로, 제13도는 랭크 처리를 행하지 않은 경우, 제14도 이하는 각각 랭크 0 이하의 처리를 실시한 경우를 도시한다. 동 도면의 각 정방형은 각각 화소를 나타내며, 난외(欄外)의 설명을 위한 화소 번호를 부여하고 있다. 사선이 있는 화소가 각 처리 후에 남는 화소를 나타낸다. 각 랭크 처리를 설명한다.

[랭크 3]

화소 1과 17만이 남는다. 경계선 정보는 2개의 화소의 좌표와 양쪽 영역의 색 번호로 표현된다. 이를 복호화하면 경계선은 양단을 연결하는 직선으로 된다.

[랭크 2]

또한, 화소 2, 8, 16이 남는다. 여기에서는, 경계선의 기울기가 도면 중 연직 방향으로 0, 우측상부에서 정, 우측 하부에서 부로 정의된다. 화상 1∼2의 기울기는 부, 화소 2∼3의 기울기는 정이기 때문에, 화소 2가 구하는 점으로 된다. 화소 8, 16도 마찬가지이다. 이를 복호화하면, 경계선은 화소 1, 2, 8, 16, 17을 순서대로 연결하는 절선 형상으로 된다. 주의해야 할 것은 기울기의 정의가 이 예에 한정되지 않는다는 점이다. 화상에 따라 상태가 좋은 방향을 기울기 0으로 정의하면 좋다.

[랭크 1]

여기에서는 소정의 길이를 4 화소로 한다. 화소 9∼13이 5 화소분, 화소 13∼16이 기울기 45°방향으로 4 화소분이기 때문에, 화소 9, 13이 추가된다. 화소 13은 2개의 직선 부분의 교점이고, 중복 선정된다. 화소 16은 랭크 1과 2에서 중복 선정된다.

[랭크 0]

남은 직선 부분의 양단이 추가되기 때문에 화소 3, 5, 6, 7이 남는다.

이상이 각 랭크 처리이다. 예를 들면 랭크 3을 사용하면 원래의 17 화소의 정보가 2 화소로 대표되기 때문에 압축율이 높다. 랭크의 선택은 압축율과 복호화한 때의 화상의 품질의 균형으로부터 결정하면 좋다. 원칙적으로는 되도록 긴 직선 부분을 추출하여 이를 양단으로 표현한다. 예를 들어 제13도의 화소 4∼8에서는 「2 화소 내려갈 때마다 1화소 좌측으로 이동한다」고 하는 규칙성이 있고 이를 직선으로 간주하는 것도 가능하다. 직선을 연직, 수평, 기울기 45°방향으로 한정할 필요는 없고 직선으로 간주하는 폭도 화소의 폭보다 충분히 크게 잡아도 좋다. 어느 경우에도 직선 형상의 부분은 원래의 화상에서도 매우 특징적인 부분이라고 생각되기 때문에 이 부분에 주목하여 정보의 압축을 행하는 것에 의미가 있다.

이상이 제5 실시예에 의한 경계선 정보의 압축이다. 또한, 본 실시예에 대해서는 제4 실시예에서 설명한 영역의 예비 통합의 영향을 배려할 필요가 있다.

제18도는 영역의 예비 통합과 랭크 처리의 관계를 나타낸다. 동 도면에서는 A, B, C의 3개의 영역이 있고 경계점 P∼S를 사용하여 영역 AB간, BC간, CA간의 경계선이 각각 곡선 PS, QS, RS로 표현된다. 이 상태에서 예를 들면 랭크 3의 처리를 행하면 각 경계선은 동도면의 점선 PS, QS, RS로 된다.

여기에서 가령 영역 A와 C가 예비 통합된다고 하면 경계선은 영역 A + C와 영역 B의 사이에만 남게 되고 곡선 PS 및 SQ의 2개로 된다. 이 시점에서는 영역 A + Q를 새로운 경계선으로 한다. 이 후에 랭크 3 처리를 행하면 경계선은 도면 중의 일점쇄선 PQ로 된다. 제5 실시예를 행하는 경우, 영역의 예비 통합에 의해 더욱 경계선 정보의 압축, 통합이 가능하게 된다는 점에 유의하여야 한다.

제6 실시예

제5 실시예는 말하자면 개개의 경계점에 랭크를 붙여 경계선 정보의 압축을 도모하는 것이었다. 제6 실시예에서는 경계선 자체에 대해서 중요도에 따른 랭크를 붙이고, 낮은 랭크의 경계선 정보를 통합한다. 주의할 것은 통합이 경계선의 개수 자체의 삭감을 수반하는 것으로 제5 실시예의 압축과 다른 점이다.

제6 실시예에서는 중요도로서 각 경계선의 길이를 취한다. 이것은 소정치 이상인가 미만인가에 의해 2개의 랭크로 나눈다. 중요도가 높은 쪽을 랭크 X, 낮은 쪽을 랭크 Y로 한다.

제19도, 제20도는 경계선의 랭크와 통합의 모습을 나타낸다. 제19도에서는 복수의 경계선 HI, IJ 등이 접속되어 전체로 절선 형상을 이루고 있다. 제20도는 랭크 Y의 경계선이 통합된 후의 상태를 나타내고 있다. 2개의 도면에 있어서, 경계선들에 의해 제19도, 제20도의 전체 영역이 상하의 2개의 영역으로 분할되어 있다.

제19도에서 주의할 것은 영역은 2개 밖에 없지만 경계선은 H부터 0까지 하나의 연속한 1개가 아니라 구분마다 별도의 경계선이 되는 점이다. 왜냐하면, 경계를 검출할 때에 일정한 방향으로 주사를 행하기 때문에 우측 상부의 경계(예를 들어, HI 부분)와 우측 하부의 경계(예를 들어, IJ 부분)가 별도의 경계선으로서 생성되기 때문이다.

이제 여기에서 이들 경계선 중 IJ, KL, NO가 랭크 Y, 그 외는 랭크 X인 것으로 한다.

[경계선 IJ에 대한 처리]

이제 랭크 Y의 정보를 통합(삭제)하는 것을 생각해 보면 경계선 IJ상의 경계점에 관한 정보가 삭제된다. 이 때, 한편으로 정보의 재이용을 가상하여 경계선 JK의 정보는 되도록 보유하여야 하기 때문에 단순히 I 와 K 사이를 직선으로 연결하는 것은 바람직하지 않다.

여기에서는 가장자리에서 경계선 IJ의 정보를 삭제한다. 이렇게 함으로써 주사선의 성질이 암암리에 이용되어 마치 점 J가 점 J'(경계선 J'은 주사 방향에 일치)으로 이동한 것과 같은 출력이 얻어진다. 이 이유는 다음과 같다.

경계선 IJ'은 주사 방향에 일치한다. 가령 최초부터 점 J가 점 J'의 위치에 있었던 것으로 하면 본 실시예의 경계 검출에 의하는 한, 이 점은 경계점으로서 검출되지 않는다. 왜냐하면, 주사방향에서 본다면 점 I와 점 J'은 중첩되어 있기 때문에 전자에 의하여 후자가 가려지기 때문이다. 따라서, 현실적으로는 경계선 J'K는 그 경계선 상에 있어서 점 J'로부터 점 K의 방향으로 1 라인분 이동한 근방점(J"이라고 함)과 점 K를 연결하는 선으로서 정의되고 이 정의로 필요 충분하게 된다. 이것은 본 실시예가 경계선 IJ'에 관한 정보를 필요로 하지 않는다는 것을 의미한다. 이것으로부터 역으로 경계선 IJ에 관한 정보를 단순히 삭제하면 점 J가 점 J'으로 자동적으로 이동한다. 이 효과는 다음의 2가지가 있다.

1. 계산 단계 수가 발생하지 않는다.

점 J는 점 J'으로 자동적으로 이동하기 때문에, 계산을 전혀 필요로 하지 않는다.

2. 통합에 의한 압축 효과가 생긴다.

경계선 IJ에 관한 정보가 삭제되기 때문이다. 환언하면, 경계선에 의한 정보 표현과 주사선의 성질에 따라 압축 효율이 생긴다고 말할 수 있다.

이상이 경계선 IJ에 대한 처리이다. 현실 문제로서 제19도에는 2개의 영역밖에 존재하지 않음에도 불구하고 경계선이 복수 생기기 때문에 경계선의 삭제는 매우 바람직하다.

경계신 KL에 대해서도 마찬가지의 처치를 하면 좋지만 경계선 NO에 대해서는 한번 생각해 볼 필요가 있다. 왜냐하면, 점 0에는 상기 점 J에 대한 점 J'에 상당하는 점이 존재하지 않기 때문이다. 제21도는 경계선 NO의 정보를 삭제한 경우의 복호화 화상의 상태를 나타낸 도면으로 단순한 정보 삭제가 부적절함을 생기게 하는 것을 보이고 있다. 경계선 NO가 제거된 결과, 각각 점 N, 0로부터 화상의 우측 단부에 이르는 수평선이 형성되어 그 부분에도 어느 영역이 돌출한다.

이 문제를 해소하기 위해서는 제6 실시예에서 어느 경계선 BL에 포함되는 경계선 n의 삭제 여부를 판정할 때, (1) 경계선 n을 주사 방향으로 평행 이동시키고, (2) 경계선 n 전체가 재차 경계선 BL과 교차하게 되면, 삭제 가능으로 판정한다. 조건을 만족하는 경계선 n에 대해서는 가령 삭제하여도 반드시 상기 재차 BL과 교차하는 곳에서 경계선이 폐쇄되기 때문에 상술한 문제가 해소된다. 이 판정 방법을 제21도에 의거하여 말하면, 화상 우측 단부로부터 좌측을 수평으로 볼 때 일부에서도 보이는 경계선은 삭제될 수 없고 그 이외의 경계선은 삭제 가능하다.

제7 실시예

제4 실시예 내지 제6 실시예에 의해 본 실시예의 화상 부호화 장치의 개요도명확하게 된다. 제22도는 이 장치의 개략 구성도이고,

(1) 처리의 주체가 되는 워크스테이션 본체(200)

(2) 처리의 대상이 되는 화상을 입력하는 장치(202) 즉, 카메라, 화상 재생 장치, 화상 수신 장치 또는 미리 화상을 기억하고 있는 기억 장치

(3) 입력된 화상을 주사하는 프로그램(204) 또는 스캐너

(4) 화상 영역의 경계를 검출하여 경계선을 생성하는 프로그램(295)

을 포함한다. 동작은 제4 실시예 내지 제6 실시예에서 설명한 바와 같다.

제23도, 제24도는 본 실시예에 의한 처리의 결과를 나타내는 사진 화상이다. 실험의 조건은 입력 화상의 영역 분할 수가 2000이고, 제23도, 세24도는 각각 제5 실시예의 랭크 0과 랭크 3에서 처리한 후 복호화한 화상을 나타내고 있다.

원화상의 화소 수는 21684이고, 랭크 0 처리의 결과 남은 경계점수는 9026, 랭크 3의 경우는 8808이었다. 랭크 0에서 미리 모든 경계점을 정보로서 남기는 경우에 비해서 수십 퍼센트의 압축을 실현하고 있다. 이 때 화상의 품질 저하도 그다지 현저하지 않은 것도 알았다. 당연히 영역 분할 수를 줄임으로써 더욱 압축 효과는 커진다.

제1도는 바다(1)에 배(3)가 떠있는 화상을 나타낸 도면.

제2도는 본 발명의 화상 처리 방법을 실시하는 장치의 개략 구성도.

제3도는 HVC 균등 색 공간도.

제4도는 처리해야 할 화상을 확대하여 16개의 화소로 표시한 도면.

제5도는 제4도의 16개의 화소의 색 번호가 HVC 균등 색 공간에서 차지하는 위치 관계를 나타내는 도면.

제6도는 제2 실시예에 관련된 화상 통신 장치의 구성을 나타낸 도면.

제7도는 제3 실시예의 통합 개시 전의 원(原)화상을 나타내는 도면.

제8도는 제3 실시예에서 어느 정도 통합이 진행한 때의 화상을 나타낸 도면.

제9도는 제3 실시예에서 과도하게 통합이 진행한 때의 화상을 나타낸 도면.

제10도는 제3 실시예에서의 단계 B의 결과 얻어진 최종 화상을 나타낸 도면.

제11도는 영역 분할 수법에 의한 화상 영역의 지정 방법을 나타낸 도면.

제12도는 입력 화상의 라인 L1∼3의 각 화소의 색 번호를 나타낸 도면.

제13도는 제5 실시예의 각 랭크에 의한 처리를 나타내는 도면 중, 처리를 행하지 않은 경우의 상태를 나타낸 도면.

제14도는 제5 실시예의 랭크 0 처리의 결과를 나타낸 도면.

제15도는 제5 실시예의 랭크 1 처리의 결과를 나타낸 도면.

제16도는 제5 실시예의 랭크 2 처리의 결과를 나타낸 도면.

제17도는 제5 실시예의 랭크 3 처리의 결과를 나타낸 도면.

제18도는 영역의 예비 통합과 랭크 처리의 관계를 나타낸 도면.

제19도는 경계선의 랭크와 통합의 상태를 나타내는 도면으로, 복수의 경계선 HI, IJ 등이 접속되어, 전체로 절선(折線) 형상을 이루는 상태를 나타낸 도면.

제20도는 경계선의 랭크와 통합의 상태를 나타내는 도면으로, 랭크 Y의 경계선이 통합된 후의 상태를 나타낸 도면.

제21도는 경계선 NO의 정보를 삭제한 경우의 복호화 화상의 상태를 나타낸 도면.

제22도는 제7 실시예의 장치의 개략 구성도.

제23도는 본 실시예의 화상 부호화 방법에 의한 부호화의 결과를 나타내는, 디스플레이에 표시한 중간조 화상을 나타낸 도면.

제24도는 본 실시예의 화상 부호화 방법에 의한 부호화의 결과를 나타내는, 디스플레이에 표시한 중간조 화상을 나타낸 도면.

<도면의 주요 부분에 대한 부호의 설명>

10 : 화상 입력부

12 : 잡음 제거부

14 : 공간 변환부

16 : 화상 치환부

18 : 화소 통합부

38, 44 : 기억부

40 : 전송부

42 : 수신부

46 : 재생부

Claims

영역 베이스의 화상 처리 방법에 있어서,

균등 색 공간을 복수의 영역으로 분할하는 단계 - 상기 영역들 각각에는 대표색이 부여됨 -;

상기 화상의 각 부분에 대표색을 부여하는 단계;

상기 화상의 각 부분의 대표색의 정보를 식별하는 영역에 기초하여, 상기 화상의 각 부분의 대표색이 균등 색 공간 내의 동일 또는 인접 영역에 배치되는지의 여부를 판정하는 단계; 및

상기 화상의 각 부분의 대표색이 균등 색 공간 내의 동일 또는 인접 영역에 배치되어 있다고 판단되고 상기 부분들이 상기 화상에 인접하는 경우에, 상기 화상의 부분들을 통합하는 단계

를 포함하고,

상기 분할된 영역들간의 위치 관계를 나타내도록 각각의 대표색에 영역 식별 정보가 부여되는 영역 베이스의 화상 처리 방법.
제1항에 있어서,

상기 부여 단계는 대표색의 색 테이블을 사용하고, 상기 부분은 화소인 영역 베이스의 화상 처리 방법.
제2항에 있어서,

각 화소의 색은 상기 색 테이블의 요소 중, 상기 각 화소의 색에 대한 색차를 최소화하는 요소로 치환되는 영역 베이스의 화상 처리 방법.
제2항에 있어서,

상기 통합 단계에 의한 화상 처리가 완료된 때, 그 최종 화상을 표현하는 데 필요한 상기 색 테이블의 요소를 추출하여 또 다른 색 테이블을 생성하는 색 테이블 생성 단계

를 더 포함하는 영역 베이스의 화상 처리 방법.
제1항에 있어서,

상기 통합 단계에 의한 화상 처리가 완료된 때, 상기 통합 결과에 따라서 각 통합 영역의 중요도를 인식하는 인식 단계

를 더 포함하는 영역 베이스의 화상 처리 방법.
제1항에 있어서,

각각의 처리 영역은 영역을 독립적으로 획정하는 주변선의 정보가 아니라 상기 영역들간의 경계선의 정보에 의해 부호화되는 영역 베이스의 화상 처리 방법.
제6항에 있어서,

화상을 일정 방향으로 주사하는 단계;

영역들간의 경계를 구성하는 복수의 경계점을 주사선 상에서 검출하는 단계; 및

상기 검출된 복수의 경계점을 결합하여 경계선을 생성하는 단계

를 포함하고,

상기 생성된 경계선의 정보에 따라서 화상 영역의 정보가 부호화되는 영역 베이스의 화상 처리 방법.
제7항에 있어서,

상기 복수의 경계점은, 상기 경계선이 소정의 중요도를 갖는 복수의 경계점으로 표현되어 상기 경계선의 정보를 압축하도록, 그 중요도에 따라 분류되는 영역 베이스의 화상 처리 방법.
제7항에 있어서,

상기 영역들은, 상기 색 정보가 변경되는 복수의 점들이 함께 결합되어 상기 경계선을 생성하도록, 색 정보에 따라 분할되는 영역 베이스의 화상 처리 방법.
제9항에 있어서,

상기 경계선의 정보는

상기 경계선의 위치 정보; 및

상기 경계선의 양측에 놓이는 영역들의 색 정보

를 포함하는 영역 베이스의 화상 처리 방법.
제1항에 있어서,

상기 균등 색 공간은 HVC 균등 색 공간인 영역 베이스의 화상 처리 방법.
제1항에 있어서,

상기 통합 단계는 상기 영역들간의 거리의 계산 없이 수행되는 영역 베이스의 화상 처리 방법.
제1항에 있어서,

상기 균등 색 공간 내의 2개의 인접점에 대응하는 색들은 육안으로 인식되는 것과 상호 유사하게 나타나는 영역 베이스의 화상 처리 방법.
제1항에 있어서,

상기 영역 식별 정보는 색 수(color number)인 영역 베이스의 화상 처리 방법.
화상 데이터를 송신하기 위한 송신기와 상기 화상 데이터를 수신하기 위한 수신기를 구비하는 화상 통신 장치에 있어서,

상기 송신기는

피처리 화상을 구성하는 각 화소의 색과 색 테이블의 요소 간의 근사도를 판정하기 위한 판정 수단;

상기 판정의 결과에 따라서 상기 각 화소의 색을 상기 색 테이블의 요소로 치환하기 위한 치환 수단;

상기 치환 후, 상기 화소들을 그들의 색에 따른 영역으로 통합하기 위한 통합 수단; 및

상기 치환 수단과 상기 통합 수단에 의한 화상 처리가 완료된 때, 최종 화상을 나타내는 데 필요한 상기 색 테이블의 요소를 추출하여, 또 다른 색 테이블을 생성하는 색 테이블 생성 수단

을 포함하고,

상기 수신기는

상기 송신기로부터 송신된 상기 또 다른 색 테이블을 저장하기 위한 메모리를 포함하며,

상기 송신기와 상기 수신기는 상기 화상 데이터의 통신에 앞서 공통 색 테이블을 보유하고,

상기 송신기는

상기 치환 수단과 상기 통합 수단에 의한 화상 처리가 완료된 때, 상기 통합 결과에 따라서 각 영역의 중요도를 인식하기 위한 인식 수단; 및

상기 인식된 중요도에 따라서 그 영역의 데이터가 전송되는 회수를 결정하기위한 결정 수단

을 더 포함하며,

상기 수신기는

상기 송신기로부터 전송된 각 영역의 데이터를 조합하여 화상을 재생하는 재생 수단

을 더 포함하는 화상 통신 장치.
영역 베이스의 화상 처리 방법에 있어서,

피처리 화상의 각 부분의 색과 요소색 간의 근사도를 미리 판정하기 위한 판정 단계;

상기 판정 결과에 따라서 상기 각 부분의 색을 요소색으로 치환하는 치환 단계; 및

상기 치환 단계 후, 부분들을 그들의 색에 따른 영역으로 통합하는 단계를 포함하고,

상기 판정 단계와 상기 치환 단계에 의해 요소색으로 치환된 단색이 상기 통합 단계에서 통합된 상기 부분에 부여되며,

처리된 각각의 영역은 독립적으로 영역을 한정하는 주변선의 정보가 아니라 상기 영역들간의 경계선의 정보에 의해 부호화되고,

상기 경계선들은, 중요도가 더 낮은 상기 경계전의 정보를 통합하도록, 그들의 중요도에 따라 분류되는 영역 베이스의 화상 처리 방법.
영역 베이스의 화상 처리 방법에 있어서,

피처리 화상의 각 부분의 색과 요소색 간의 근사도를 미리 판정하기 위한 판정 단계;

상기 판정 결과에 따라서, 상기 각 부분의 색을 요소색으로 치환하는 치환 단계; 및

상기 치환 단계 후, 상기 부분들을 그 색에 따른 영역으로 통합하는 단계

를 포함하고,

상기 판정 단계와 상기 치환 단계에 의해 요소 색으로 치환된 단색이 통합 단계에서 통합된 상기 부분에 부여되며,

상기 통합 단계는

화상을 소정 방향으로 주사하는 단계;

영역들간의 경계를 구성하는 복수의 경계점을 주사선 상에서 검출하는 단계; 및

상기 검출된 복수의 경계점을 결합하여 경계선을 생성하는 단계

를 포함하고,

처리된 각각의 영역은 독립적으로 영역을 획정하는 주변선의 정보가 아니라 상기 영역들간의 경계선의 정보에 의해 부호화되며,

상기 영역들은, 상기 색 정보가 변경되는 복수의 점들이 함께 결합되어 상기 경계선을 생성하도록, 색 정보에 따라 분할되고,

상기 경계선의 정보는

상기 경계선의 위치 정보; 및

상기 경계선의 양측에 놓이는 영역들의 색 정보

를 포함하며,

상기 경계선의 양측에 놓이는 영역들의 색이 유사한 경우, 상기 영역들은 미리 통합된 후 부호화되는 영역 베이스의 화상 처리 방법.
제17항에 있어서,

상기 경계선의 양측에 놓이는 상기 영역들의 색은 상기 각 영역의 각각의 평균색을 기초로 판정되는 영역 베이스의 화상 처리 방법.
제17항에 있어서,

상기 경계선의 양측에 놓이는 상기 영역들의 색은 상기 경계선들 부근의 점들의 색을 기초로 판정되는 영역 베이스의 화상 처리 방법.
제17항에 있어서,

2개의 영역이 통합되는 경우, 통합 가능한 상기 경계선들은 단일 경계선으로 통합되는 영역 베이스의 화상 처리 방법.
영역 베이스로 화상을 부호화하기 위한 화상 처리 방법에 있어서, 화상을 입력하는 단계,

상기 입력 화상을 소정의 방향으로 주사하는 단계;

화상 영역들간의 복수의 경계점을 주사선 상에서 검출하는 단계; 및

상기 검출된 복수의 경계점을 결합하여 경계선을 생성하는 단계

를 포함하고,

상기 생성된 경계선의 정보에 따라서 상기 화상 영역의 정보가 부호화되며,

상기 복수의 경계점은, 상기 경계선이 소정의 중요도를 갖는 복수의 경계점으로 표현되어 상기 경계선의 정보를 압축하도록, 그 중요도에 따라 분류되고,

상기 경계점은, 경계선에서 소정치 이하의 깊이를 갖는 라인 세그멘트의 양단점과, 경계선에서 소정치 이상의 길이를 갖는 라인 세그멘트의 양단점과, 경계선의 어느 기울기의 표시가 변화하는 지점과, 경계선의 양단점 중에서 선택되는 소정의 중요도를 갖는 화상 처리 방법.
제21항에 있어서,

상기 경계선들은, 중요도가 더 낮은 경계선의 정보를 통합하도록, 그 중요도에 따라 분류되는 화상 처리 방법.
제21항에 있어서,

상기 영역들은, 상기 색 정보가 변경되는 복수의 점들이 함께 결합되어 상기 경계선을 생성하도록, 색 정보에 따라 분할되고, 상기 경계선의 정보는 위치 정보와 상기 경계선의 양측에 놓이는 영역들의 색 정보를 포함하며,

상기 방법은

상기 경계선의 양측에 놓이는 영역들의 색이 유사한 경우, 부호화에 앞서 상기 영역들을 통합하는 단계

를 더 포함하는 화상 처리 방법.
화상 데이터를 송신하기 위한 송신기와 상기 화상 데이터를 수신하기 위한 수신기를 구비하는 화상 통신 장치에 있어서,

상기 송신기는

피처리 화상의 각 부분의 색과 준비된 요소색 간의 근사도를 미리 판정하는 판정 수단;

상기 판정 결과에 따라서 각 부분의 색을 요소 색으로 치환하는 치환 수단;

상기 부분들을 그들의 색에 따른 영역으로 통합하는 통합 수단;

상기 치환 수단과 상기 통합 수단에 의한 처리 완료 후, 상기 통합 결과에 따라서 각 통합 영역의 중요도를 인식하는 인식 수단; 및

상기 중요도에 따라서 그 영역의 데이터가 전송되는 회수를 결정하기 위한 결정 수단

을 포함하고,

상기 수신기는

상기 송신기로부터 송신된 각 영역마다의 데이터를 조합하여 화상을 재생하는 재생 수단

을 포함하는 화상 통신 장치.
영역 베이스로 화상을 처리하는 방법에 있어서,

균등 색 공간을 복수의 분할 영역으로 구분하는 단계;

각 영역을 대표색과 연관짓는 단계; 및

원화상의 각 부분과 연관된 색과 상기 분할 영역의 대표색 간의 색차에 기초하여 동일 또는 인접 영역의 대표색과 연관되는 색을 가지며 상기 화상에 인접하는 상기 화상의 부분들을 통합하는 단계

를 화상 처리 방법.
제25항에 있어서,

상기 균등 색 공간 내의 2개의 인접점에 대응하는 색들은 육안으로 인식되는 것과 서로 유사하게 나타나는 화상 처리 방법.
영역 베이스로 화상을 부호화하는 화상 처리 방법에 있어서,

화상을 입력하는 단계;

상기 입력된 화상을 소정의 방향으로 주사하는 단계;

화상 영역들간의 복수의 경계점을 주사선 상에서 검출하는 단계; 및

상기 검출된 복수의 경계점을 결합하여 경계선을 생성하는 단계

를 포함하고,

상기 화상 영역의 정보는 상기 생성된 경계선의 정보에 따라 부호화되며,

상기 영역들은, 색 정보가 변경되는 복수의 점들이 함께 결합되어 상기 경계선을 생성하도록, 상기 색 정보에 따라 분할되고,

상기 경계선의 정보는 위치 정보와 상기 경계선의 양측에 놓이는 영역들의 색 정보를 포함하며,

상기 경계선의 양측에 놓이는 영역들의 색이 유사한 경우, 상기 영역들은 미리 통합된 후 부호화되는 화상 처리 방법.
영역 베이스로 화상을 부호화하기 위한 화상 처리 방법에 있어서,

화상을 입력하는 단계;

상기 입력된 화상을 소정의 방향으로 주사하는 단계;

화상 영역들간의 복수의 경계점을 주사선 상에서 검출하는 단계; 및

상기 검출된 복수의 경계점을 결합하여 경계선을 생성하는 단계

를 포함하고,

상기 화상 영역의 정보는 상기 생성된 경계선의 정보에 따라서 부호화되며,

상기 경계선들은, 중요도가 더 낮은 경계선의 정보를 통합하도록, 그 중요도에 따라 분류되는 화상 처리 방법.
화상 처리 방법에 있어서,

화상의 일부에 화상 대표색을 할당하는 단계;

복수의 영역으로 분할되는 균등 색 공간을 제공하는 단계;

상기 각각의 영역에 대한 공간 대표색이 유일한 경우, 상기 색 공간 내의 각 영역에 공간 대표색을 할당하는 단계;

각각의 화상 대표색이 대응하는 공간 대표색을 갖도록 하나의 공간 대표색에 각각의 특정 화상 대표색을 유일하게 관련시키는 단계;

화상의 각 인접부의 화상 대표색으로, 그 대응하는 공간 대표색이 색 공간내의 소정의 영역 내에 위치하는지를 판정하는 단계; 및

그 대응하는 공간 대표색이 소정의 영역 내에 위치하는 화상의 인접부들를 통합하는 단계를 포함하는 화상 처리 방법.