KR20030091794A

KR20030091794A - 화상 분할 처리 방법, 화상 분할 처리 장치, 화상 처리방법 및 화상 처리 장치

Info

Publication number: KR20030091794A
Application number: KR10-2003-0033324A
Authority: KR
Inventors: 고이데데츠시; 마태우쉬한스주르겐; 모리모토다카시; 하라다요우메이
Original assignee: 히로시마 다이가쿠
Priority date: 2002-05-27
Filing date: 2003-05-26
Publication date: 2003-12-03
Also published as: JP2003346142A; TW200400757A; EP1369819A3; US20030219157A1; EP1369819A2; KR100505311B1; US7298899B2; JP3689740B2; TWI226193B

Abstract

각 화소에 대응하는 셀 i를 일단 비발화의 상태로 초기화한 후, 셀 i에 인접하는 8개의 셀 k에 대해 결합 가중치 W_ik를 계산하고, 계산 결과로부터 리더 셀(자기 발화 가능한 셀의 후보) p_i=1을 결정한다(a). 다음에, 아직 발화하지 않고 있는 리더 셀을 하나 선택하여 자기 발화 가능 셀로 한다(b). 그리고, 자기 발화 처리에 의해 선택한 자기 발화 가능 셀을 발화 상태로 하고(c), 발화 가능 셀 검출 처리에 의해, 인접 셀 간의 결합 가중치에 근거하여 발화 가능한 셀을 선택하며(d), 인화 처리로 선택한 셀을 발화 상태로 한다(e). 이상의 조작을 발화 가능한 셀이 선택되어 없어질 때까지 반복하여 실행하고, 발화 가능한 셀이 존재하지 않으면, 진화 처리를 행하여(f), 하나의 영역의 화상 분할을 종료한다. 이 조작을 비발화의 리더 셀이 없어질 때까지 실행함으로써, 입력 화상으로부터 화소 단위로 서로 동일한 범주에 속하는 영역을 특정하여 화상 분할 영역으로서 식별한다.

Description

화상 분할 처리 방법, 화상 분할 처리 장치, 화상 처리 방법 및 화상 처리 장치{IMAGE SEGMENTATION METHOD, IMAGE SEGMENTATION APPARATUS, IMAGE PROCESSING METHOD, AND IMAGE PROCESSING APPARATUS}

본 발명은, 예컨대 화상 인식 시스템, 동체 검출 시스템, 디지털 카메라, 디지털 비디오 카메라, 로봇 비전, 얼굴 인식에 의한 인증 시스템, 보안 시스템, 인공 지능 시스템 등에 있어서의 화상 분할·추출을 위한 소프트웨어 및 화상 분할·추출 집적 회로로서 적용 가능한 화상 분할 처리 방법, 화상 분할 처리 장치, 화상 처리 방법 및 화상 처리 장치에 관한 것이다.

최근, 지적 정보 처리 기술의 실현을 향해서, 화상 인식 처리의 고속화의 요구가 높아지고 있다. 예컨대, 인간에 가까운 동작·판단을 하는 지능 로봇의 실현이나 실시간으로의 얼굴 인식이나 이동 물체 인식에 있어서는, 카메라 등으로부터 취입한 시각 정보(자연 화상의 정보)를 고속으로 처리할 필요가 있다. 특히 로봇에 있어서의 제어나 화상 인식에 있어서는, 시각 정보 처리를 실시간으로 처리하는 것이 요구되고 있다. 그러나, 시각 정보는 일반적으로 정보량이 방대하기 때문에, 범용의 계산기 등으로 처리하는 경우, 상당히 긴 처리 시간이 필요하게 된다.

화상 인식 등의 화상 처리를 행하기 위한 기본적이고 또한 불가결한 처리로서, 소위 화상 분할 처리(Image segmentation)가 있다. 이 화상 분할 처리는, 입력으로서 취입한 복잡한 자연 화상으로부터 개개의 대상물(예컨대, 인간의 얼굴이나 차 등의 이동 물체)을 취출하는 처리이며, 화상 인식 등의 화상 처리를 행하기 위한 기본적이고 또한 불가결한 처리이다. 화상 분할 처리의 방법에 관해서는, 지금까지 각종 제안이 나오고 있다. 각 제안의 방법은, 아래와 같이 분류된다.

(l) 윤곽선에 근거하는 방법

(2) 영역에 근거하는 방법

(3) (1)과 (2)의 양쪽을 조합시킨 방법 및 그 조합을 최적화하기 위한 이론 식을 정식화하는 방법

(1)의 방법에 관해서는, 이하에 나타내는 참고 문헌 1 및 2에 상세가 기재되어 있다. 또한, (2)의 방법에 관해서는, 이하에 나타내는 참고 문헌 1에 상세가 기재되어 있다. 또한, (3)의 조합에 의한 방법에 관해서는, 이하에 나타내는 참고 문헌 1에 상세가 기재되고, (3)의 정식화에 의한 방법에 관해서는, 이하에 나타내는 참고 문헌 3에 상세가 기재되어 있다.

참고 문헌 1 : J. C. Russ, "The Image Processing Handbook", CRC PRESS, (1999).

참고 문헌 2 : S. Sarker and K. L. Boyer, "Integration inference, and management of speatial information using Bayesian networks : Perceputual organization", IEEE Trans. Pattern Anal. Machine Intel1., Vo1.15, pp. 256-274,(1993).

참고 문헌 3 : S. M. Bhandarkar and H. Zhang, "Image segmentation usingevolutionary computation", IEEE Trans. on Evolutionary Computation, Vo1.3, No.1,(1999).

상기의 화상 분할 방법 중에서, (2)의 영역에 근거하는 방법은, 영역 성장형이라고 불리고, 대상물을 정밀도 좋게 분할할 수 있는 방법으로서 주목되고 있다.

그런데, 지금까지 제안되어 있는 화상 분할 방법은, 모두 컬러 화상 또는 그레이 스케일 화상을 소프트웨어로 처리하는 것을 전제로 하고 있다. 이 때문에, 처리 순서가 복잡하고, 막대한 처리 시간이 걸린다. 이 처리를 고속화하기 위해서는 하드웨어에서의 실현이 바람직하다. 그러나, 알고리즘이 복잡하기 때문에, 하드웨어를 비교적 소 면적으로 실현하는 것은 곤란하다. 그 결과, 소프트웨어에 의존하지 않을 수 없고, 실시간 처리(수 msec 정도)의 실현은 지극히 곤란한 상황에 있다. 또한, 컬러, 그레이 스케일의 자연 화상을 분할하기 위해서는, 각각 전용의 알고리즘이 필요하다.

이것에 대해, 2값 화상에 대해서는, 지금까지 고속인 라벨링(labeling)을 실현하기 위한 몇 개의 하드웨어가 제안되어 있다. 이하에 참고 문헌을 예시한다.

참고 문헌 4 : E. Mozef et al., "Parallel architecture dedicated to image component labeling in O(nlogn) : FPGA implementation", Proceedings of SPIE, Vo1.2784, pp.120-125,(1996).

참고 문헌 5 : Y. Ishiyama et al., "Labeling board based on boundary tracking", Systems and Computers in Japan, Vo1.26, No.14, pp.67-76,(1995).

참고 문헌 6 : 이시야마타, "경계 추적형 라벨링 보드", 전자 정보 통신 처리 학회 논문지 D-II, Vo1. J78-D-II, No.1, pp.69-75,(1995).

참고 문헌 7 : S. D. Jean et al., "New algorithm and its VLSI architecture design for connected component labeling", Proceedings of Int'1 Symp. on Cir. &Sys. (ISCAS), Part 2 (of 6), pp.565-568,(1994).

그러나, 이들 방법은 2값 화상으로 특화한 것으로, 각 픽셀에 대해 1비트의 값만을 취급하기 때문에, 컬러 또는 그레이 스케일에 의한 자연 화상의 처리에 그대로 적용하는 것은 곤란하다.

지금까지, D. L. Wang 등에 의해, 그레이 스케일의 화상에 대해 셀(cell) 네트워크 모델 LEGION(Local1y Excitatory Globally Inhibitory Oscillator Network)에 근거하는 화상 분할 알고리즘이 제안되어 있다(참고 문헌 8 : D. L. Wang and D. Terman, "Image segmentation based on oscillator correlation", Neural Computation, Vo1.9, No.4, pp.805-836(1997)).

이 모델에서는, 분할하는 화상의 화소에 셀을 대응시켜, 셀 네트워크의 비선형 다이내믹스를 이용하여, 각 셀의 동기·비동기에서의 진동 상태에 근거하여 화상 분할을 행한다. 단, 이것을 직접 실현하기 위해서는, 1 화소 당 복수의 미분 방정식을 풀 필요가 있어, 화상 분할의 정밀도는 좋지만 처리 시간이 걸린다. 그 때문에, 실시간 처리를 실현하기 위해서는, 하드웨어화에 의한 고속화가 필요하게 된다.

그래서, 그레이 스케일 화상에 대해, LEGION에 근거하는 셀 네트워크의 비선형 다이내믹스를, 아날로그 회로를 이용하여 실현하는 방법이 제안되어 있다. 참고 문헌을 이하에 예시한다.

참고 문헌 9 : H. Ando, T. Morie, M. Nagata and A. Iwata, "Oscillator networks for image segmentation and their circuits using pu1se modulation methods", Proc. 5th International Conference on Neura1 Information Processing(ICONIP98), pp.586-589, Kitakyushu, Oct.21, (1998).

참고 문헌 1O : H. Ando, T. Morie, M. Nagata and A. Iwata, "A nonlinear network for gray-level image segmentation and PWM/PPM circuits for its VLSI implementation", IEICE Trans. Fundamentals, Vo1. E83-A, No.2, pp.329-336, (2000).

상기한 바와 같은 아날로그 회로에 의한 방법에서는, 아날로그량의 기억에 용량 소자(캐패시터)를 이용하고 있다. 필요한 크기의 용량을 얻기 위해서는, 캐패시터의 면적이 커지고, 금후의 집적화를 도모하는 데에 있어서, 소면적화와 고속화의 점에서 큰 제약으로 된다. 또한, 아날로그량을 취급하기 때문에, 제조 프로세스 편차의 영향을 받는다. 이 때문에, 제조 공정에서 많은 주의를 하지 않으면 안 되기 때문에, 최선단의 제조 기술에 의해서도 LSI 칩화를 실현하는 것은 용이하지 않다.

본 발명의 목적은, 컬러 및 그레이 스케일의 자연 화상에 대한 화상 분할을 실시간으로 처리할 수 있고, 또한 하드웨어화에 적합한 화상 분할 처리 방법을 제공하며, 그 방법의 기본이 되는 알고리즘에 근거한 아기텍쳐에 의한 화상 분할 처리 장치, 화상 처리 방법, 화상 처리 장치를 제공하는 것을 목적으로 한다.

도 1의 (a) 및 (b)는 본 발명에 따른 실시예에 있어서의 입력 화상과 셀 간의 결합 가중치를 설명하기 위한 도면으로서, 도 1의 (a)는 입력 화상, 도 1의 (b)는 셀 간의 결합 가중치를 도시하는 도면,

도 2는 본 발명에 따른 실시예에 있어서의 화상 분할 처리 알고리즘(방법)의 처리 흐름을 나타내는 플로우차트,

도 3은 본 발명에 따른 실시예에 있어서의 셀의 상태 천이를 도시하는 도면,

도 4는 본 발명에 따른 실시예에 있어서의 화상 분할 처리 장치의 하드웨어 구성 예를 나타내는 블럭도,

도 5의 (a), (b), (c) 및 (d)는 도 4에 나타내는 결합 가중치 계산 회로를 설명하기 위한 도면으로서, 도 5의 (a)는 기본 구성, 도 5의 (b)는 그레이 스케일 화상용 가중치 계산 회로의 구성, 도 5의 (c)는 컬러 화상용 가중치 계산 회로의 구성, 도 5의 (d)는 인코더의 입/출력 예를 나타내는 도면,

도 6의 (a), (b) 및 (c)는 도 4에 나타내는 리더 셀 결정 회로를 설명하기위한 도면으로서, 도 6의 (a)는 계산 대상 셀, 도 6의 (b)는 결합 가중치 데이터의 전송 순서, 도 6의 (c)는 리더 셀 결정 회로의 기본 구성 예를 나타내는 도면,

도 7은 도 4에 나타내는 화상 분할 처리 셀 네트워크로서, 시프트 레지스터를 이용하여 입/출력을 행하는 경우의 구성 예를 나타내는 블럭도,

도 8은 도 4에 나타내는 화상 분할 처리 셀 네트워크로서, 버스를 이용하여 입/출력을 행하는 경우의 구성 예를 나타내는 블럭도,

도 9의 (a) 및 도 9의 (b)는 도 7 또는 도 8에서 이용하는 결합 가중치 레지스터와 셀의 접속 예를 나타내는 도면으로서, 도 9의 (a)는 수평 결합 가중치 레지스터의 접속 예, 도 9의 (b)는 수직 결합 가중치 레지스터의 접속 예를 나타내는 블럭도,

도 10은 본 발명에 따른 실시예에 있어서, 임의의 셀과 인접하는 4개의 결합 가중치 레지스터와의 접속 예를 나타내는 블럭도,

도 11은 본 발명에 따른 실시예의 결합 가중치 레지스터의 구성 예를 나타내는 블록도,

도 12의 (a) 및 도 12의 (b)는, 본 발명에 따른 실시예의 화상 분할 셀의 구성 예를 나타내는 도면으로서, 도 12의 (a)는 가산·감산 처리를 병렬로 실행하는 경우의 구성, 도 12의 (b)는 가산·감산 처리를 순차적으로 실행하는 경우의 구성을 나타내는 블럭도,

도 13은 본 발명에 따른 실시예의 글로벌 억제자의 접속 예를 나타내는 블록도,

도 14는 본 발명에 따른 실시예에 있어서, 자기 발화 허가 신호에 의해 비발화의 리더 셀이 순서대로 검색되어, 리더 셀 중에서 자기 발화 가능 셀을 검출하는 형태를 나타내는 개념도,

도 15의 (a) 내지 도 15의 (i)는, 각각 본 발명에 따른 실시예에 있어서의 화상 분할 처리 알고리즘의 동작을, 3×3의 그레이 스케일 화상에 대한 실행 예에 의해 설명하기 위한 도면,

도 16의 (a) 내지 도 16의 (d)는, 각각 본 발명에 따른 실시예에 있어서의 화상 분할 처리 아키텍쳐의 동작을, 7×7의 화상에 대한 실행 예에 의해 설명하기 위한 도면,

도 l7은 도 16의 7×7의 화상에 대한 화상 분할 처리의 시뮬레이션 결과를 나타내는 타이밍도,

도 18은 본 발명에 따른 실시예의 화상 분할 알고리즘을 Java(등록 상표) 상에 실현하여 화상 분할을 실행하였을 때의 표시 화면의 일례를 도시하는 도면,

도 19는 본 발명에 따른 실시예의 화상 분할 알고리즘을 소프트웨어로 실현한 경우의 화상 분할 처리 시간의 실험 결과를 나타내는 특성도,

도 20의 (a) 내지 도 20의 (d)는, 각각 본 발명에 따른 실시예에 있어서, 그레이 스케일 화상에 대한 화상 분할 처리의 적용 예를 나타내는 도면,

도 21의 (a) 내지 도 21의 (d)는, 본 발명에 따른 실시예에 있어서, 컬러 화상에 대한 화상 분할 처리의 적용 예를 나타내는 도면,

도 22는 본 발명에 따른 실시예의 화상 분할 알고리즘을 하드웨어화한 경우의 화상 분할 처리 시간의 시뮬레이션 결과를 나타내는 특성도.

도면의 주요 부분에 대한 부호의 설명

11 : 입력 화상 메모리12 : 결합 가중치 계산 회로

121 : 레지스터122 : 데이터 선택 회로

123 : 가중치 계산 회로123A : 절대값 계산 회로

123B : 인코더123C : 최소값 결정 회로

13 : 리더 셀 결정 회로131 : 제 1 가산기

132 : 제 2 가산기133 : 제 1 레지스터

134 : 제 3 가산기135 : 제 2 레지스터

136 : 제 4 가산기137 : 비교기

14 : 화상 분할 처리 셀 네트워크P₁: 화상 분할 셀

WR_k(V) : 수직 결합 가중치 레지스터

WR_k(H) : 수평 결합 가중치 레지스터

15 : 분할 영역 보존 회로16 : 출력 화상 메모리

21 : 스위치22 : 레지스터

23 : 출력 선택 회로31, 32 : 레지스터

33 : 디코더34 : 가산기

35 : 감산기36, 37 : 제어 회로

38 : 스위치39 : 디코더

40 : 가/감산기41 : 레지스터

본 발명에 따른, 입력 화상으로부터 화소 단위로 서로 동일한 범주에 속하는 영역을 특정하여 화상 분할 영역으로서 식별하는 화상 분할 처리 방법은, 상기 입력 화상의 각 화소에 대응하는 개개의 화상 분할 처리 유닛인 셀을 비발화 상태로 하고, 상기 셀에 대응하는 화소의 화소값을 순차적으로 취입하여, 인접하는 복수의 셀 간 각각의 결합 가중치를 계산하고, 각 계산 결과에 근거하여 리더 셀(자기 발화 가능 셀의 후보)을 결정하는 초기화 과정과, 상기 초기화 과정에서 결정된 리더 셀의 하나를 순서대로 선택하여, 자기 발화 가능 셀로서 검출하는 자기 발화 가능 셀 검출 과정과, 상기 자기 발화 가능 셀 검출 과정에서 검출된 자기 발화 가능 셀을 발화 상태로 하는 자기 발화 과정과, 발화 셀(상기 리더 셀을 포함함)과 이것에 인접하는 셀 사이의 결합 가중치에 근거하여, 인접 셀 중에서 발화 가능한 셀을 검출하는 발화 가능 셀 검출 과정과, 상기 발화 가능 셀 검출 과정에서 검출된 셀을 발화 상태로 하는 인화 과정과, 상기 발화 가능 셀 검출 과정에서 해당 셀이 검출되지 않는 경우에 발화 상태의 셀을 진화 상태로 하는 진화 처리 과정을 구비하며, 상기 발화 가능 셀 검출 과정에서 해당 셀이 검출되어 없어질 때까지 상기 인화 과정을 반복하여 실행함으로써 l개의 영역의 화상 분할 처리를 완료하고, 상기 자기 발화 가능 셀 검출 과정에서 비발화 상태의 리더 셀이 없어질 때까지 상기 각 과정의 처리를 반복하여 실행함으로써 모든 영역의 화상 분할 처리를 완료한다.

상기 구성에 의한 화상 분할 처리 방법에서는, 간단한 처리에 의해 실현 가능하기 때문에, 대단히 적은 처리 시간으로 화상 분할이 가능하고, 또한 각 화소에 대해 처리를 실행하는 화상 분할 처리 유닛(셀)이 간단하게 되기 때문에, 소 면적으로 하드웨어화가 가능해져, 다수의 셀을 1 칩상에 집적할 수 있다. 또한, 각 셀이 병렬로 동작하기 때문에, 화소 수가 큰 화상에 대해서도 화상 분할 처리의 고속화가 가능하다. 또한, 소프트웨어로서의 실현도 가능하기 때문에, 종래의 소프트웨어로 대응 가능한 애플리케이션에 있어서도 고속화를 실현할 수 있다.

본 발명에 따른, 입력 화상으로부터 화소 단위로 서로 동일한 범주에 속하는 영역을 특정하여 화상 분할 영역으로서 판별하고, 임의의 화상 분할 영역의 화상을 선택적으로 출력하는 화상 분할 처리 장치는, 입력 화상의 각 화소값을 보존하는 입력 화상 메모리와, 상기 입력 화상 메모리로부터 각 화소값을 순서대로 판독하고, 각 화소에 대응하는 개개의 화상 분할 셀에 대해, 파이프라인 처리에 의해 인접하는 셀과의 결합 가중치를 계산하는 결합 가중치 계산 회로와, 상기 결합 가중치 계산 회로에서 계산된 결합 가중치를 기초로 각 인접 셀과의 결합 가중치의 총합이 기준값을 초과하는 셀을 리더 셀로서 결정하는 리더 셀 결정 회로와, 상기 입력 화상의 각 화소에 대응하여 비발화, 자기 발화 가능, 발화의 상태를 천이하는 화상 분할 셀과 상기 결합 가중치 계산 회로에서 얻어지는 셀 간의 결합 가중치를 유지하는 결합 가중치 레지스터를 교대로 어레이 형상으로 배열하고, 각 셀이 인접 배치되는 결합 가중치 레지스터의 유지값으로부터 발화 가능한지 여부를 판정하는판정 수단을 구비하며, 상기 리더 셀 결정 회로에서 결정된 리더 셀을 발화 상태로 하고, 그 인접 셀 중에서 발화 가능한 셀을 선택하여 발화 상태로서 발화 영역을 넓힘으로써 화상 분할 영역을 판별하는 화상 분할 셀 네트워크와, 상기 화상 분할 셀 네트워크에 의해 화상 분할 영역이 판별된 모든 셀의 정보를 보존하는 분할 영역 보존 회로와, 상기 분할 영역 보존 회로의 보존 내용에 근거하여 임의의 화상 분할 영역의 각 셀에 대응하는 화소값을 보존하는 출력 화상 메모리를 구비한다.

상기 구성에서는, 화상 분할 처리 아키텍쳐로서, 화소에 대응한 화상 분할 처리 유닛(셀)과 셀 간의 결합 가중치를 유지하는 결합 가중치 레지스터를 어레이 형상으로 교대로 배열하여 화상 분할 처리 셀 네트워크로서 실현함으로써, 2 차원의 어레이 구조를 취하고, 또한 소면적화를 실현하였기 때문에, 집적 회로화가 지극히 용이하게 된다.

본 발명의 적용 예로서, 이하의 구성에 의한 실시간의 처리가 요구되는 화상 처리 방법, 화상 처리 장치가 생각된다.

(발명의 실시예)

이하, 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.

A. 화상 분할 처리 알고리즘(방법)의 구성

본 발명에 따른 화상 분할 처리 방법의 실시예로서, 그 방법을 실현하기 위한 화상 분할 처리 알고리즘에 대해 설명한다.

상술한 D. L. Wang 등에 의한 LEGION 모델에 근거하는 화상 분할(image segmentation) 처리 알고리즘을 직접 소프트웨어로 실현하는 경우에는, 1 화소 당으로 복수의 미분 방정식을 풀 필요가 있다. 이 때문에, 실시간 처리가 필요한 경우로의 적용은 어렵다. 또한, 고속화를 실현하기 위해서 하드웨어화를 행하는 경우에는, 알고리즘을 직접 하드웨어로 실현하고자 하면, 미분 방정식을 풀기 위한 하드웨어가 복잡하고 또한 대규모로 되어 버린다. 이 때문에, 1 칩 상에서 대규모인 셀 네트워크(cell network) 구성을 실현하는 것은 지극히 어려운 것으로 생각된다.

그래서, 본 실시예에 있어서는, 상술의 LEGION 모델을 직접 하드웨어로 실현하는 것은 아니고, 고속 처리를 행할 수 있는 디지털 회로에 의한 하드웨어를 실현할 수 있는 화상 분할 처리 알고리즘을 제안한다. 이 알고리즘이 특징으로 하는 점은, 각 화소에 대응하는 셀이, 비발화(non-excitation), 자기 발화 가능(self-excitable), 발화(excitation)라고 하는 상태로 취급하는 것이 가능한 것에 주목하여, 셀 네트워크의 행동 양식을 해석하는 점에 있다.

또한, 이후의 실시예의 설명에서는, 도 1의 (a) 및 도 1의 (b)에 도시하는 바와 같이, 각 셀은 입력 화상의 1 화소(pixel)에 대응하여, 예컨대 셀 i, j 간의 결합 가중치 W_ij는 대응하는 화소의 값을 이용하여 계산되는 것으로 한다. 여기서, 도 1의 (a)는 입력 화상의 일례를 나타내고 있고, 1 셀이 1 화소에 대응하며, 도면 중 A∼D는 화상 분할 영역을 나타내고 있다. 도 1의 (b)는 셀 간의 결합 가중치를나타내고 있고, i, j, k, l이 화소에 대응한 셀, W_ij, W_ik, W_il, W_kj, W_kl, W_j1이 각 셀 간의 결합 가중치를 나타내고 있다.

도 2는 상기 화상 분할 처리 알고리즘의 처리 순서를 나타내는 플로우차트이다. 이 화상 분할 처리 알고리즘은, (a) 초기화 처리, (b) 자기 발화 가능 셀 검출 처리, (c) 자기 발화 처리, (d) 발화 가능 셀 검출 처리, (e) 인화(excitation of dependent) 처리, (f) 진화(inhibition) 처리의 6개의 처리 단계로 구성된다. 이 알고리즘에서는, 각 화소에 대응하는 셀이 비발화, 자기 발화 가능, 발화의 상태를 취하여, 인접하는 8개의 화소 간의 결합 가중치에 근거하여 병렬로 동작한다.

도 3은 상기 셀의 상태 천이도를 나타내고 있다. 도 3에 있어서, 변수 x_i는 셀 i의 발화, 비발화의 상태를 나타내고, x_i=1인 때에는 발화, x_i=0인 때에는 비발화를 나타낸다. 또한, 변수 p_i는 자기 발화의 가부를 나타낸다. p_i=1인 경우에는 리더 셀(leader cell)로 되어, 자기 발화 가능 셀의 후보로 된다. 본 실시예의 화상 분할 처리 알고리즘에서는, 발화/비발화의 상태로부터, 대상 셀이 리더 셀과 동일한 화상 분할 영역에 속하는지 여부를 판정한다.

도 2에 나타내는 처리 순서를 이하에 설명한다.

단계 (a)의「초기화 처리」에서는, 각 셀 i를 일단 비발화의 상태로 초기화한다. 그 후, 셀 i에 인접하는 8개의 셀 k에 대해 각각 셀 i, k 간의 결합 가중치 W_ik를 계산하고, 계산한 셀 간의 결합 가중치에 근거하여, 자기 발화 가능한 셀(리더 셀이라 부름) p_i=1을 결정한다. 단계 (b)의「자기 발화 가능 셀 검출 처리」에서는, 아직 발화하고 있지 않는 리더 셀(p_i=1)을 하나 선택하여 자기 발화 가능 셀로 한다. 그리고, 단계 (c)의「자기 발화 처리」에 있어서, 선택한 리더 셀을 발화 상태로 한다. 단계 (d)의「발화 가능 셀 검출 처리」에서는, 인접하는 8 근방의 셀의 상태와 셀 간의 결합 가중치에 근거하여 발화 가능한 셀을 선택한다. 단계 (e)의「인화 처리」에서는, 단계 (d)에서 선택한 셀을 발화 상태로 한다.

이상의 조작을 발화 가능한 셀이 선택되어 없어질 때까지 반복하여 실행한다. 만약에 발화 가능한 셀이 존재하지 않으면, 단계 (f)의「진화 처리」를 실행하여, 하나의 영역의 화상 분할을 종료한다. 이 조작을 비발화의 리더 셀이 없어질 때까지 실행하여, 리더 셀이 없어지면 전체의 화상 분할 처리가 종료한다.

이하에 상기 단계 (a)∼(f)의 각 처리의 상세에 대해 설명한다.

단계 (a)의「초기화 처리」에서는, 셀 i의 발화, 비발화의 상태를 나타내는 변수 x_i를 x_i=O(비발화)으로 초기화한다. 그리고 셀(화소) i에 인접하는 셀 k∈N(i)의 화소값에 근거하여 결합 가중치 W_ik를 계산한다.

상기 N(i)는 셀 i의 인접 셀의 집합(예컨대, 8개의 인접 셀의 집합)을 나타낸다. 예컨대, 그레이 스케일의 화상에 대해서는, 결합 가중치 W_ik는, 다음 (1)식과 같이 표현된다.

W_ik=I_max/(1+｜I_i-I_k｜, k∈N(i) (1)

여기서, I_i, I_k는 화소 i, k의 휘도값, I_max는 화소 휘도값의 최대값이며, 휘도값을 8비트로 표현한 경우에는 I_max=255으로 된다.

컬러 화상을 화상 분할하는 경우에는, 색 정보를 이용하는 것에 의해, 화상 분할의 정밀도를 향상시킬 수 있다. 본 실시예의 알고리즘에서는, 인접하는 셀(화소) 간의 결합 가중치를 이용하여 셀의 상태 천이를 실행하기 때문에, 예컨대 빨강(R), 초록(G), 파랑(B)의 각 색의 결합 가중치 W(R)_ik, W(G)_ik, W(B)_ik를 다음 (2)식에 의해서 계산한다.

W(R)_ik=I(R)_max/(1+｜I(R)_i-I(R)_k｜),

W(G)_ik=I(G)_max/(1+｜I(G)_i-I(G)_k｜),

W(B)_ik=I(B)_max/(1+｜I(B)_i-I(B)_k｜)(2)

(2)식의 계산 결과에 근거하여 (3)식의 계산을 행하는 것에 의해, 셀 간의 결합 가중치 W_ik를 결정한다. 이것에 의해서, 색 정보에 근거한, 보다 정확한 화상 분할을 실현할 수 있다.

W_ik=min{W(R)_ik, W(G)_ik, W(B)_ik} (3)

다음에, 셀 간의 결합 가중치에 근거하여 리더 셀(자기 발화 가능한 셀의 후보)로 되어 있는지 여부를 판정한다. 만약에 대상 셀에 인접하는 모든 셀의 결합 가중치의 합 Σ_k∈N(i)W_ik이 미리 지정한 임계값 Φ_p보다 큰 경우(Σ_k∈N(i)W_ik>Φ_p)에는, 자기 발화의 가부를 나타내는 변수 p_i를 p_i=1로 하여, 대상 셀을 자기 발화 가능한 리더 셀로 결정한다. 임계값 Φ_p와 동등하거나, 또는 그보다 작은 경우(Σ_k∈N(i)W_ik≤Φ_p)에는, p_i=0(자기 발화 불가능)으로 초기화한다. 리더 셀은 이후의 화상 분할 처리에 있어서, 처리를 개시하는 시점의 후보로 된다.

마지막으로, 발화중인 셀이 존재하는지 여부를 판별하기 위한 변수 z(글로벌 억제자라고 부름)를 z=0으로 초기화한다. z=1인 경우, 발화중인 셀이 존재하는 것, 즉, 하나의 영역의 화상 분할 처리가 계속되고 있는 것을 나타낸다. z=O인 경우에는, 발화중인 셀이 존재하지 않는다, 즉 하나의 영역의 화상 분할 처리가 종료한 것을 나타낸다. 각 셀 i에는, 상태 변화의 유무를 나타내는 변수 z_i를 준비하여, 비발화 상태로부터 발화 상태로 천이한 경우에만 z_i=1로 하고, 그 이외에는 z_i=0으로 한다. 이 변수 z_i를 바탕으로, 글로벌 억제자 z의 값을 모든 z_i의 논리합으로서, z=∨_∀iz_i라 정의한다. 여기서, ∨는 논리합(OR) 연산자를 나타내고 있다.

단계 (b)의「자기 발화 가능 셀 검출 처리」에서는, 아직 발화하고 있지 않은 리더 셀(자기 발화 가능 셀의 후보), 즉 조건(x_i=O∧p_i=1)을 만족하는 셀을 하나 선택한다. 여기서, ∧는 논리곱(AND) 연산자를 나타내고 있다.

단계 (c)의「자기 발화 처리」에서는, 선택한 리더 셀을 발화 상태 x_i=1(자기 발화)로 설정하여, 하나의 영역의 화상 분할을 개시한다. 이 때 z_i=1로 한다.

단계 (d)의「발화 가능 셀 검출 처리」에서는, 비발화 상태의 셀 i에 인접하는 셀 k∈N(i)의 발화 상태를 조사하여, 발화 상태에 있는 셀의 결합 가중치의 총합 Si=Σ_{k∈N(i)∧xk=1}W_ik를 계산한다. 만약에 셀 k∈N(i)이 발화, 즉 x_k=1이면, 인접 발화 셀 k와의 사이의 결합 가중치를 S_i에 부가한다. 이 결합 가중치의 총합 S_i가 미리 지정된 임계값 Φ_z보다 큰 경우(Si> Φ_z)에는, 셀 i가 발화 가능 셀로 된다.

단계 (e)의「인화 처리」에서는, 단계 (d)의「발화 가능 셀 검출 처리」에서 검출한 모든 발화 가능 셀 i를 발화 상태 x_i=1로 설정하고, 동시에 z_i=1로 한다. 또한, 「인화 처리」에 있어서 발화된 셀 이외의 이미 발화 상태(x_i=1 또한 z_i=1)에 있는 셀 i에 대해, 셀 i의 상태 변수 z_i를 z_i=O(상태 무변화)로 한다.

만약에 발화 가능 셀이 존재하지 않는 경우에는, 단계 (f)의「진화 처리」를 실행한다. 이「진화 처리」에서는, 발화 상태의 셀 i에 대해 x_i=O, z_i=O로 하고, p_i=1인 경우에는 p_i=O로 한다. 이것에 의해, 하나의 영역의 화상 분할 처리를 종료한다.

계속해서, 단계 (b)의「자기 발화 가능 셀 검출 처리」로 되돌아가서, 다음 영역의 화상 분할 처리로 이행하여, 상술한 처리를 반복 실행한다. 단계 (b)의「자기 발화 가능 셀 검출 처리」에서 비발화의 자기 발화 가능 셀이 검출되지 않았던 경우에는, 모든 영역의 화상 분할 처리가 종료한 것으로 한다.

본 실시예의 화상 분할 처리 알고리즘의 기술 예를 하기에 나타낸다. 모든셀은 병렬로 하기의 알고리즘을 실행한다. 또한, 알고리즘 중의 find_leaderO라고 하는 함수는, 아직 발화하고 있지 않은 리더 셀을 검색하여, 그 셀 번호를 돌려주는 함수이다. 해당하는 셀이 존재하지 않는 경우에는, 부(負)의 수를 돌려주는 것으로 한다. 또한, 각 변수 x_i, z_i, z는 시간과 함께 변화되고, 시간 t, t+1에 있어서의 x_i의 값을, 각각 x_i(t), x_i(t+1)의 형태로 표현하는 것으로 한다.

[화상 분할 처리 알고리즘]

이상 서술한 본 실시예의 화상 분할 처리 알고리즘은, 이하와 같은 특징을 갖는다.

(1) 간단한 처리에 의해 실현 가능하기 때문에, 대단히 적은 처리 시간으로 화상 분할이 가능하다.

(2) 또한 각 화소에 대해 처리를 행하는 요소(셀)가 간단하게 되기 때문에, 소 면적으로 하드웨어화가 가능해져, 다수의 셀을 1 칩상에 집적하는 것이 가능하다.

(3) 또한, 각 셀의 병렬 동작에 의해 화소 수가 큰 화상에 대해서도 화상 분할 처리의 고속화가 가능하다.

(4) 소프트웨어로서의 실현도 가능하기 때문에, 종래의 소프트웨어로 대응 가능한 애플리케이션에 있어서도 고속화를 실현할 수 있다.

B. 화상 분할 처리 아키텍쳐(장치) 및 집적 회로의 구성

상술한 화상 분할 처리 알고리즘은 디지털 회로를 이용하여 하드웨어화하는 것이 가능하다. 도 4에 본 실시예에 따른 화상 분할 처리 장치의 실시예로서, 상기 알고리즘을 디지털 회로로 실현하기 위한 아키텍쳐의 블럭도를 나타낸다.

도 4에 있어서, 우선, 입력 화상 메모리(l1)로부터 화상의 휘도값(이하, 화소값) I_i를 순서대로 판독하여, 결합 가중치 계산 회로(12)에서 결합 가중치 W_ik를 계산한다. 그리고, 리더 셀 결정 회로(13)에서, 결합 가중치 계산 회로(12)에서 계산한 결합 가중치를 기초로 리더 셀을 결정한다(Σ_k∈N(i)W_ik>Φ_p의 판정). 이와 같이, 입력 화상의 각 화소 i에 대해 파이프라인 처리를 행하여, 계산한 W_ik, p_i의 데이터를 화상 분할을 위한 셀 네트워크(14)에 전송한다. 셀 네트워크(14)에서는, 각 화소(셀)에 대해 상술한 알고리즘으로 나타낸 동작을 병렬로 실행하여, 화상 분할 처리를 행한다. 화상 분할 결과는 분할 영역 보존 회로(15)를 통해서, 출력 화상 메모리(l6)에 출력한다.

이하, 각 블럭의 상세에 대해 설명한다.

[결합 가중치 계산 회로(12)]

도 5의 (a), (b), (c) 및 (d)를 참조하여, 상기 결합 가중치 계산 회로(12)의 구성을 설명한다. 도 5의 (a)는 결합 가중치를 파이프라인 처리에서 계산하는 회로의 기본 구성을 나타내고 있다. 이 도면에서는, 화상 메모리(11)내의 세로 방향으로 연속하는 3개의 행 y-1, y, y+1에 있어서의 각 화소의 화소값 I_i, I_i-1,..., I_j, I_j-1,..., I_k, I_k-1,...가 순서대로 도면 중 좌측으로부터 입력된다.

각 행의 화소값은 각각 1 화소분 지연하는 레지스터(121)를 경유하고, 직접, 데이터 선택 회로(122)에 보내어진다. 데이터 선택 회로(122)는, 제어 신호에 근거하여, 해당하는 화소(셀) 간의 결합 가중치를 계산하기 위해서 필요한 2개의 화소값을 각각 4개의 가중치 계산 회로(123)에 선택적으로 전송한다.

가중치 계산 회로(123)에서는, 2개의 화소값 I_i, I_k에 근거하여 결합 가중치 W_ik를 계산하고, 그 계산 결과를 리더 셀 결정 회로(13)와 셀 네트워크(14)에 순서대로 전송한다.

도 5의 (b) 및 도 5의 (c)에 각각 그레이 스케일 화상과 컬러 화상에 대한 가중치 계산 회로(123)의 예를 각각 나타낸다. 도 5의 (b), 도 5의 (c)에서, (123A)는 절대값 계산 회로, (123B)는 인코더, (123C)는 최소값 결정 회로이다.

여기서, 그레이 스케일 화상에 대해서는,

W_ik=I_max/(1+｜I_i-I_k｜), k∈N(i)

의 값을 직접 계산하는 것도 가능하지만, 제산 회로의 하드웨어량이 커진다. 그래서, 본 실시예의 가중치 계산 회로(123)에서는, 도 5의 (d)에 나타내는 것과 같은 인코드 처리를 실행하는 인코더(123C)를 이용하여, 절대값 계산 회로(123A)의 8비트의 출력을 3비트로 인코드함으로써 대용한다. 이것에 의해, 하드웨어 구성으로 할 경우의 소면적화를 실현할 수 있다.

컬러 화상의 경우에는, R, G, B의 3개의 데이터 I(R)_i, I(G)_i, I(B)_i를 순서대로 도면 중 좌측으로부터 전송함으로써, W(R)_ik, W(G)_ik, W(B)_ik를 계산하고, 도 5의 (c)의 최소값 결정 회로(123C)에서 3개의 최소값(W_ik=min{W(R)_ik, W(G)_ik, W(B)_ik})을 선택하고, 리더 셀 결정 회로(13)와 셀 네트워크(14)로 W_ik의 값을 전송함으로써 실현 가능하다.

또한, 상술한 결합 가중치의 계산값에 관해서는, 미리 소프트웨어로 계산한 값을 입력 데이터로서 부여하는 것도 가능하다.

[리더 셀 결정 회로(13)]

도 6의 (a), 도 6의 (b) 및 도 6의 (c)를 참조하여 상기 리더 셀 결정 회로(13)의 기본 구성을 설명한다. 이 리더 셀 결정 회로(13)는, 결합 가중치 계산 회로(12)의 계산 결과를 바탕으로, 인접하는 8 근방 셀의 결합 가중치의 총합을 계산하여, 미리 인가되고 있는 임계값 Φ_p을 초과하고 있는지 여부의 판정을 행한다(Σ_k∈N(i)W_ik>Φ_p의 판정). 초과하고 있는 경우에는, p_i=1을 출력하고, 그렇지 않은 경우에는 p_i=0을 출력한다. 출력한 값은 셀 네트워크(14)에 전송되어, 각 화상 분할 셀의 p_i레지스터를 시프트 레지스터로 하고, 좌단의 열로부터 순서대로 모든 셀에 전송되어, 각 셀의 p_i가 설정된다.

예컨대, 도 6의 (a)에 나타내는 화상 분할 셀 P₅가 리더 셀인지 여부를 판정하는 경우에는, 도 6의 (b)와 같이 결합 가중치 계산 회로(12)에서 계산된 결과를, 도 6의 (c)에 나타내는 구성의 리더 셀 결정 회로(13)의 입력 단자 IN₁∼IN₃에 순서대로 입력한다.

이 리더 셀 결정 회로(13)는, 단자 IN₁, IN₃으로부터 입력되는 결합 가중치를 제 1 가산기(131)에서 가산하고, 이 가산 결과를 단자 IN₂로부터 입력되는 결합 가중치와 제 2 가산기(132)에서 가산한다. 이 가산 결과를 제 1 레지스터(133)에서 타이밍 조정하면서 제 3 가산기(134)에서 제 1 가산기(131)의 출력값과 가산한다.이 제 3 가산기(134)의 가산 결과를 레지스터(135)에서 타이밍 조정하면서 제 4 가산기(135)에서 제 2 가산기(132)의 출력값과 가산한다. 마지막으로, 제 4 가산기(135)의 가산 결과를 비교기(137)에 보내고, 임계값 Φ_p와 비교하여, 임계값 Φ_p보다 크면, P₅를 리더 셀로 결정하여, p_i의 값을 1로 한다.

이 예에서는 셀 P₅에 대해 설명했지만, 각 셀에 각각 대응하는 결합 가중치를 순서대로 부여하는 것에 의해, 파이프라인 처리가 가능해진다. 그래서, 계산된 결과를 셀 네트워크(14)에 전송한다. 셀 네트워크(14)에서는, p_i레지스터에 의해서 시프트 레지스터가 구성되어 있다. 따라서, 상기 시프트 레지스터를 이용하는 것에 의해, 모든 셀에 데이터를 전송할 수 있다.

또한, 후술한 도 8에 나타내는 것과 같은 버스를 갖는 구조인 경우에는, 해당하는 셀에 버스를 이용하여 직접 데이터를 전송하는 것도 가능하다. 또한, 이들의 리더 셀의 계산도, 결합 가중치의 계산과 마찬가지로, 미리 소프트웨어로 계산한 값을 입력 데이터로서 부여하는 것도 가능하다.

[화상 분할 처리 셀 네트워크(14)]

도 7 및 도 8은 각각 화상 분할 처리를 행하기 위한 셀 네트워크(14)의 구성 예를 나타내고 있다. 본 실시예의 화상 분할 처리 알고리즘에서는, 각 셀은, 인접하는 8개의 셀의 상태와 대응하는 결합 가중치의 정보를 바탕으로, 천이하는 상태를 결정한다. 그래서, 셀 네트워크(14)는, 각 화소에 대응하는 화상 분할 셀 P_i와 인접하는 셀 간의 결합 가중치 레지스터 WR_k를 교대로 어레이 형상으로 배열하여 결합함으로써 실현한다.

도 7은 셀 네트워크(14)의 데이터의 입/출력을, 시프트 레지스터를 이용하여 실행하는 경우의 구성 예를 나타내는 블럭도이다. 도 7에 있어서, 도면 중 P_l가 화상 분할 셀, WR_k(V)가 수직 결합 가중치 레지스터, WR_k(H)가 수평 결합 가중치 레지스터이다. 근접하는 셀과 결합 가중치 레지스터 사이의 결합 가중치 W_ik나 x_i등의 데이터의 교환은, 도면 중 화살표로 나타내는 로컬 배선에 의해 실행한다. 또한, 이웃이 되는 셀끼리, 이웃이 되는 결합 가중치 레지스터끼리도 마찬가지로 로컬 배선으로 실행한다.

이것에 대해, 도 8은 셀 네트워크(14)로의 데이터의 입/출력을, 버스를 이용하여 실행하는 경우의 구성 예를 나타내는 블럭도이다. 도 8에 있어서, 도면 중 P_i가 화상 분할 셀, WR_k(V)가 수직 결합 가중치 레지스터, WR_k(H)가 수평 결합 가중치 레지스터이다. 병렬 처리의 향상을 위해 근접하는 셀과 결합 가중치 레지스터 사이의 결합 가중치 W_ik나 x_i등의 데이터의 교환은, 버스를 통하여 화살표로 나타낸 로컬 배선에 의해 실행한다.

결합 가중치 레지스터 WR_k에는, 도 9의 (a)에 나타내는 수평 결합 가중치 레지스터 WR_k(H)와 도 9의 (b)에 나타내는 수직 결합 가중치 레지스터 WR_k(V)의 2 종류가 있다. 수평 결합 가중치 레지스터 WR_k(H)는 경사 방향과 수평 방향의 화소에 관한 결합 가중치를 4개 유지하고, 수직 결합 가중치 레지스터 WR_k(V)는 경사 방향과 수직 방향의 화소에 관한 결합 가중치를 4개 유지하고 있다. 도 9의 (a), 도 9의 (b)에서, 각 결합 가중치 레지스터 중의 화살표는, 보존되는 셀 간의 결합 가중치의 위치 관계를 모식적으로 나타내고 있다.

이들 결합 가중치 레지스터 WR_k(H), WR_k(V)는, 도 7, 도 8에 도시하는 바와 같이, 화상 분할 셀 P_i의 사이에 배치되어, 수평·수직 결합 가중치 레지스터가 교대로 되도록 배치된다. 이와 같이 배치하는 것에 의해, 인접하는 셀 P_i간에 동일한 결합 가중치를 공유할 수 있다. 또한, 셀 P_i와 결합 가중치 레지스터 WR_k(H), WR_k(V) 간의 배선 길이를 짧게 할 수 있다. 또한, 결합 가중치 레지스터 WR_k(H), WR_k(V)에 유지시키는, 인접하는 각 화소 간의 결합 가중치는, 미리 외부의 결합 가중치 계산 회로에서 계산해 두는 것에 의해, 화상 분할 셀 P_i에서 계산할 필요가 없어진다. 이것에 의해 개개의 셀 P_i의 구조가 간단하게 되어, 소면적·고속화를 실현할 수 있다.

도 10에 화상 분할 셀과 인접하는 결합 가중치 레지스터의 접속을 나타낸다.이 도면에서는 P₅에 관한 접속을 굵은 선으로 나타내고 있다.

[결합 가중치 레지스터 WR_k]

도 1l에 결합 가중치 레지스터 WR_k의 구성 예를 나타낸다. 이 결합 가중치 레지스터 WR_k에는, 수직 결합형과 수평 결합형의 2 종류가 있다. 모두 기본적인 내부 구조는 동일하며, 레지스터 내에 유지되어 있는 결합 가중치가 수직 방향의 셀 간에 관한 결합 가중치를 포함하는 경우에는 수직 결합형, 수평 방향의 셀 간에 관한 결합 가중치를 포함하는 경우에는 수평 결합형으로 구별된다.

도 11에 도시하는 바와 같이, 결합 가중치 레지스터 WR_k의 내부에는, 데이터 입력 포트로부터 입력되는 결합 가중치를 입력 제어 신호에 근거하여 4 계통으로 전환 출력하는 스위치(21), 각각 스위치(21)로부터 인가되는 결합 가중치를 보존하는 4개의 레지스터(221∼224), 및 인접하는 화상 분할 셀로 결합 가중치를 전송하는 출력 선택 회로(23)를 구비한다. 결합 가중치는, 화소값이 8비트로 표시되는 경우에는 0∼255의 범위를 취하기 때문에, 일반적으로 8비트 필요하게 된다. 그러나, 결합 가중치 레지스터의 개수는 화소 수에 비례한다. 그래서, 8비트의 결합 가중치를 3비트로 인코드하여 레지스터(221∼224)에 보존한다. 이것에 의해, 각 결합 가중치 레지스터의 화상 분할 셀과의 데이터 교환에 필요한 배선의 비트 폭을 삭감할 수 있어, 소면적화를 실현할 수 있다.

도 11의 출력 선택 회로(23)는, 근접하는 4개의 셀 P_i(i는 1∼4중 어느 하나)의 발화 상태를 나타내는 신호 x_i(발화 상태 x_i=1, 비발화 상태 x_i=0)에 근거하여, 레지스터(221∼224)에 보존된 4개의 결합 가중치 중 어느 하나를 선택 출력한다. 예컨대, 도 1O에 도시하는 바와 같이 셀 P₅가 발화(x_i=1)하고 있는 경우에는, 셀 P₅에 대응하는 화소로부터 구한 결합 가중치(도면 중의 굵은 선으로 접속되어 있는 부분)를 출력한다. 이것에 대해 셀 P₅가 비발화(x_i=O)인 경우에는, 0을 출력한다.

[화상 분할 셀 P_i]

화상 분할 셀 P_i의 구조 예를 도 12의 (a), 도 12의 (b)에 나타낸다. 화상 분할 셀 P_i는 상술한 화상 분할 처리 알고리즘(도 2)에 근거하여, 도 3에 나타내는 「비발화」, 「자기 발화 가능」, 「발화」의 상태를 천이한다.

도 12의 (a)에 나타내는 화상 분할 셀 P_i에서는, 레지스터(31, 32)에 각각 발화 상태를 나타내는 신호 x_i(l비트), 자기 발화의 가부를 나타내는 변수 p_i(1비트)를 보존한다. 또한, 각각 3비트로 인코드된 8개의 근방 셀 간의 결합 가중치 W_ik×x_i를 입력하여, 디코더(33)에 의해 8비트로 디코드한 후, 가산기(34)에서 결합가중치의 총합 S_i(t)(=Σ_k∈N(i)(W_ik×x_k(t)))을 계산하여, 감산기(35)에서 총합 S_i(t)(11비트)로부터 「발화 가능」을 판정하기 위한 임계값 Φ_z를 감산한다. 감산기(35)에서는, S_i(t)-Φz>0을 판정하여, 판정 결과를 나타내는 부호 비트를 제어 회로(36)에 출력한다.

여기서, 도 12의 (a)는, 화상 분할 셀내의 발화 가능한지를 판정하기 위해서 가중치의 총합 S_i를 계산하는 가산기(34)를 병렬 처리로 실현한 경우의 구성 예를 나타내고 있지만, 이것에 대해, 도 12의 (b)에 도시하는 바와 같이, 제어 회로(37)에 의해서 스위치(38)의 입력 선택 제어를 행하도록 구성하는 것도 가능하다. 이 경우의 화상 분할 셀 P_i는, 스위치(38)의 입력 전환에 의해서, 각각 3비트로 인코드된 8개의 근방 셀 간의 결합 가중치 W_ik×x_i와「발화 가능」의 상태를 판정하기 위한 임계값 Φ_z를 순차적으로 선택적으로 입력한다. 그리고, 선택 결과를 디코더(39)에서 8비트로 디코드하여, 순차 가/감산기(40) 및 레지스터(41)에 의해서 가산·감산 처리를 순차적으로 실행하도록 하고 있다.

즉, 도 12의 (a)에 나타내는 구성의 경우에는, 병렬로 가/감산 처리를 행하기 때문에, 고속화를 실현할 수 있다. 그러나, 8개의 가산기 및 감산기를 필요로 하기 때문에, 셀 전체의 면적이 커진다. 이것에 대해, 도 12의 (b)에 나타내는 구성의 경우에는, 하나의 가/감산기로도 되기 때문에 셀의 면적이 작게 된다. 그러나, 가/감산에 요하는 시간이 1 사이클로부터 9 사이클로 되어, 전체의 처리 시간이 병렬 가/감산 처리의 경우보다 길게 된다. 이와 같이, 도 12의 (a)의 구성과 도 12의 (b)의 구성은, 서로 트레이드 오프(trade off)의 관계에 있다. 이 때문에, 그 용도가 고속화 중시인지, 소면적화 중시인지에 따라 나누어 사용된다.

제어 회로(36 또는 37)의 출력 신호 x_i는 인접하는 결합 가중치 레지스터에 보내어진다. 또한, 출력 신호 z_i는 글로벌 억제자 z의 계산(z(t)=∨_∀izi(t))에 사용된다. 도 13에 글로벌 억제자의 접속 예를 나타낸다. 도 13에 도시하는 바와 같이, 각 셀 P_i의 출력 신호 z_i는 인접하는 셀의 z_i출력과 논리합(OR)을 취하여, 각 행의 논리합(OR)을 취한 신호가 전체의 글로벌 억제자 z로 된다. 이 z의 신호는, 버퍼 메모리를 거쳐서, 각 셀의 제어 회로(36, 37)에 피드백된다. 도 8의 버스를 사용한 구성의 경우에는, z의 신호를 버스를 이용하여 각 셀에 공급하는 것도 가능하다.

또한, next 신호는, 도 7, 도 8에 나타내는 인접하는 화상 분할 셀의 입력 신호 pre로 된다. 이 next 신호는 상술한 화상 분할 처리 알고리즘의 find_leader()의 함수를 실현한다, 즉, 리더 셀(자기 발화 가능 셀의 후보)이 발화되는 순서를 제어하기 위해서 사용한다. 예컨대, 도 14에 도시하는 바와 같이, 인접 셀 간에 순차적으로 next 신호 출력단과 pre 신호 입력단을 접속한다. 각 셀은 입력 신호 pre가 pre=1이며, 또한 p_i=1인 경우에 자기 발화 가능하다. 따라서, 상기 구성에 의하면, 좌측/상단으로부터 접속된 순서로, p_i=1이고 또한 비발화의 셀이리더 셀로 되도록 제어할 수 있다.

[분할 영역 보존 회로(15)]

화상 분할된 하나의 영역의 정보는 각 셀의 x_i의 값이 x_i=1로 되어 있는 것으로부터 검출할 수 있다. 도 7에 나타내는 실시예의 경우에는, 각 셀 P_i의 x_i레지스터가 각 열에서 이웃하는 셀 간에 접속되어, 열마다의 시프트 레지스터를 구성하고 있다. 그래서, 출력측에 배치된 분할 영역 보존 회로(15)에서 열마다의 셀로부터 x_i레지스터의 유지 데이터를 수취하여, 모든 셀의 정보를 기억한다. 이것에 의해서 화상 분할된 각 영역의 정보를 보존할 수 있다. 도 8에 나타내는 실시예의 경우에는, 버스를 이용함으로써 마찬가지의 조작을 실현하는 것이 가능하다.

C. 화상 분할 처리 알고리즘(방법)의 작용

도 15를 참조하여, 본 실시예에 있어서의 화상 분할 처리 알고리즘의 동작을 3×3의 그레이 스케일 화상의 예로 설명한다.

이 예의 알고리즘의 동작은, 도 15의 (a) 내지 도 15의 (i)에 도시하는 바와 같이, 화소 i에 인접하는 8개의 화소 k∈N(i)의 화소값에 근거하는 결합 가중치

W_ik=I_max/(1+｜I_i-I_k｜), k∈N(i)

를 기초로 분할 영역을 성장시켜 간다. 여기서, I_max는 화소 휘도값의 최대값이다. 각 화소에 대응하는 셀은, 인접하는 8개의 화소에 대응하는 셀과의 결합 가중치의 합 Σ_k∈N(i)W_ik이 임계값 Φ_p보다 큰 경우에 리더 셀(자기 발화 가능 셀의 후보, p_i=1)로 된다. 이 예에서는 도 15의 (c)에 도시하는 바와 같이 리더 셀이 2개 있고, 상측의 리더 셀로부터 순서대로 자기 발화를 행하여, 인화 처리를 행한다. 리더 셀은 화상 분할을 개시하는 시점의 후보로 된다.

우선, 초기화(도 2의 단계 (a))에서는 모든 셀이 병렬로 인접 8 근방 사이의 셀 k∈N(i)과의 결합 가중치 W_ik를 계산하여, 리더 셀을 결정한다(리더 셀이면 p_i=1, 리더 셀이 아니면 p_i=O). 다음에 리더 셀(p_i=1)이 존재하면(도 2의 단계 (b)), 그 중 하나의 셀이 자기 발화(영역 분할)를 개시하여, 리더 셀로부터 분할 영역을 넓혀 간다(도 15의 (e)).

각 셀 i는 인접 8 근방의 화소에 대응하는 셀 k∈N(i)이 발화(x_k=1)하고 있으면, 그들의 발화 셀 k과의 사이의 결합 가중치의 합

Σ_{k∈N(i)∧xk=1}W_ik

를 계산하여, 그 합이 임계값 Φ_z보다 큰 경우에 자동적으로 발화(x_i=1)한다 (도 2의 단계 (d), (e)). 이 조작은 모든 셀에 대해 병렬로 행해지고, 발화되는 셀이 없어질 때까지 행해진다. 새롭게 발화되는 셀이 없는 경우에는 진화(x_i=0, z_i=0, p_i=0)를 실행한다(도 2의 단계 (f)). 이 예에서는, 도 15의 (g)와 같이 발화가능한 셀이 없어져, 흰 영역의 분할이 종료한다.

이상의 일련의 수속에 의해 하나의 영역이 분할된다. 이 조작을 분할되어 있지 않은 리더 셀이 없어질 때까지 반복한다. 예에서는, 도 15의 (h)와 같이 좌측/하단의 리더 셀로부터 그레이 영역의 분할이 개시되어, 도 15의 (i)와 같이 분할되어 종료한다.

D. 화상 분할 처리 아키텍쳐(장치) 및 집적 회로의 작용

본 실시예의 화상 분할 처리 장치에 있어서의 아키텍쳐는, 상술한 화상 분할 처리 알고리즘과 기본적으로 마찬가지의 동작을 행한다. 이후에서는 도 16의 (a)에 나타내는 7×7 화소의 화상 중에 A, B, C의 3 영역이 있는 경우를 예로 설명한다. 통상은 A, B, C 이외의 배경에 해당하는 영역도 하나의 영역으로서 분할되지만, 설명을 간단히 하기 위해 이 영역에는 리더 셀이 존재하지 않는 것으로 한다.

초기화에 있어서는, 결합 가중치 계산 회로(12)와 리더 셀 결정 회로(13)에서 계산한 결합 가중치 W_ik와 p_i의 값을 도 7, 도 8의 좌측의 입력 포트로부터 셀 네트워크(14)에 전송한다. 예컨대, 도 16의 (b)의 "Ll, L2, L3"으로 나타내는 셀이 리더 셀로 되는 것으로 하면, 각 셀의 p_i의 값은 도 16의 (c)와 같이 된다. 그래서, 도 16의 (c)의 우측으로부터 순서대로 셀 네트워크(14)에 데이터를 시프트하여 감으로써, 각 셀의 p_i를 초기화한다. 결합 가중치 W_ik에 관해서도 마찬가지의 조작을 행하여, 셀 네트워크(14)에 데이터를 시프트한다.

리더 셀(자기 발화 가능 셀의 후보)이 발화되는 순서의 제어를 도 14에 도시하는 바와 같이 접속한 경우, 좌측/상단으로부터 접속된 순서로 p_i=1의 비발화의 셀이 판정되어, 순서대로 리더 셀로 된다. 도 16의 (b)의 경우에는, L_l, L₂, L₃의 순서로 리더 셀이 처리된다. 도 16의 (d)에 셀이 발화되는 순서를 나타낸다. L₁의 셀로부터 발화가 개시되어, 영역 A의 분할이 종료하면, 다음에 L₂의 셀로부터 발화가 개시되어, 영역 B가 분할된다. 그리고, 마지막으로 셀 L₃으로부터 발화가 개시되어, 영역 C의 분할이 완료한다.

도 17에 도 16의 (a)에 대한 화상 분할 처리를 행한 경우의 각 신호 파형의 일부를 나타낸다. 여기서 신호명의 x₀∼x₆은 0∼6열(도 16의 (a)의 열 x₀∼x₆에 대응)의 셀의 발화 상태(x_i의 값)를, 위의 행을 상위 비트로 선정하여 16진 표시하고 있다. 동시에 클럭 신호와 글로벌 억제자 z의 신호 파형도 나타낸다. 이 결과로부터 발화 순서를 조사하면, 도 16의 (d)의 우측 도면 중에 숫자로 나타낸 순서로 발화되어, 영역 분할이 행해지고 있다.

E. 화상 분할 처리 알고리즘(방법)의 효과

본 실시예의 알고리즘의 유효성을 검증하기 위해서, Java(등록 상표)와 C 언어를 이용하여 시뮬레이터(simulator)를 작성하였다. Java는, 화상 데이터의 입/출력 루틴을 포함해서 약 1,300행, C 언어는 알고리즘의 부분이 약 340행이다.

도 18에 320×240 화소의 그레이 스케일 화상에 대한 Java에 의한 화상 분할알고리즘 시뮬레이터의 실행 화면을 나타낸다. 도면에 도시하는 바와 같이 흰 차의 차체가 분할되어 있는 것을 알 수 있다.

본 실시예의 알고리즘을 C 언어로 순차 처리의 프로그램으로서 실장하고, Intel(등록 상표) Pentium(등록 상표) 4(1.3 GHz) 프로세서 상에서 실행한 결과를 도 19에 나타낸다. 실험에서는, 복수의 샘플 화상을 입력 데이터로서 부여하여, 화소 수의 평방근(화상의 1변의 길이를 나타냄)과 화상 분할에 요하는 처리 시간을 계측하였다. 실험에서는 100회의 평균 계산 시간을 계측하였다. 이것보다 약 10,000(100×100) 화소의 화상을 약 283msec(입/출력의 루틴을 제외함)에서 분할하는 것이 가능하다. 이와 같이, 본 실시예의 화상 분할 처리 알고리즘은 고속이며, 비교적 작은 화상에 대해서는, 소프트웨어에서의 실시간 처리에 사용하는 것도 가능하다.

도 20의 (a) 내지 도 20의 (d)에 각각 그레이 스케일 화상에 대한 화상 분할 결과의 예를 나타낸다. 또한, 도 21의 (a) 내지 도 21의 (d)에 컬러 화상에 대한 화상 분할을 행한 경우의 화상 분할 결과의 예를 나타낸다. 도 21의 (b), (c)에 도시하는 바와 같이, 컬러 화상을 그레이 스케일 화상으로 변환한 경우에는, 초록과 빨강 등은 동일한 휘도값(결합 가중치)을 취하기 때문에 동일한 영역으로 분할되게 되어, 화상 분할이 어려운 경우가 있다. 이것에 대해, 컬러 화상의 경우에 대한 결합 가중치를 이용하여, 직접 컬러 화상을 화상 분할하는 것에 의해, 그레이 스케일인 경우에 화상 분할이 불가능한 예에 대해서도, 도 21의 (d)와 같이 정밀도좋게 분할할 수 있다. 이와 같이, 결합 가중치 W_ik의 계산을 변경하는 것만으로 동일한 알고리즘 및 동일한 셀 네트워크를 이용하여 화상 분할을 행할 수 있는 이점은 대단히 크다고 할 수 있다.

F. 화상 분할 처리 아키텍쳐(장치) 및 집적 회로의 효과

도 4, 도 7, 도 8에 근거하는 화상 분할 처리 아키텍쳐의 시뮬레이터를 Java, C 언어를 이용하여 작성해서, 시뮬레이션에 의한 화상 분할 처리 시간을 계측한 결과를 도 22에 나타낸다. 화상 분할 셀에는 도 12의 (a)에 나타낸 고속 처리를 실현하는 방법을 이용하였다. 시뮬레이션에서는, 복수의 샘플 화상을 입력 데이터로서 부여하여, 화소 수의 평방근(화상의 1변의 길이를 나타냄)과 화상 분할에 요하는 처리 시간의 최장 시간과 최단 시간을 계측하였다. 또한, 계산식에 의해 최악 케이스(case)의 처리 시간을 견적하기 위해서, 자연 화상에서는 매우 드문 케이스이지만 화상 분할 영역이 많아지는 경우의 케이스로서, 흑백의 격자 형상이 규칙적인 화상을 상정한 경우가 예상되는 화상 분할 처리 시간도 그래프에 나타내어져 있다.

이 결과로부터, 1 사이클 1Onsec(1OO MHz)로 처리를 할 수 있는 것으로 가정한 경우, 16만 화소(400×400)의 화상을 평균적으로 50μsec 이하, 최악 케이스라도 300μsec 이하에서의 대단히 고속인 화상 분할 처리가 가능하다. 이제부터, 입/출력의 오버헤드 등을 고려하더라도 실시간 처리가 충분히 가능하다고 생각된다.

본 실시예의 화상 분할 처리 아키텍쳐에 근거하는 화상 분할 처리용 집적 회로를, 하드웨어 기술 언어를 이용하여 설계를 행하였다. 하드웨어 기술에서는, 화상 분할 셀에는 도 12의 (a)에 나타낸 고속 처리를 실현하는 방법을 이용하였다. 이 경우, 화상 분할 셀이 약 100행, 수평·수직 결합 가중치 레지스터가 각각 약 100행, 그 밖의 주변 회로가 약 300행 정도이다.

본 실시예의 화상 분할 처리 아키텍쳐는, 도 7, 도 8에 나타낸 바와 같이, 어레이 형상이 규칙적인 구성을 취하기 때문에, 전체의 셀 네트워크를 자동적으로 생성하는 발생기를, C 언어를 이용하여 작성하였다. 셀 네트워크 발생기의 행 수는 약 400행이다. 이것을 이용하여, 16×16 화소의 셀 네트워크를 생성하면, 전체의 하드웨어 기술 언어에 의한 기술은 약 3,500행, 시뮬레이션 기술은 약 600행으로 된다.

작성한 하드웨어 기술을 로무(주식 회사)의 금속 3층 배선 0.35㎛ CMOS 테크놀로지를 이용하여 LSI 설계를 행하였다. 칩에 탑재 가능한 화상 분할 셀 수를 개략 연산하기 위해서, 스탠다드(standard) 셀을 이용하여 논리 합성을 행해서, 면적을 견적하였다. 셀 라이브러리는 로무(주식 회사)가 제공하고 있는 라이브러리를 사용하여, Synopsys(등록 상표)사의 Design Compiler(등록 상표)를 이용하여 논리 합성을 행하였다. 논리 합성의 결과, 화상 분할 셀의 면적 AP_i는 26,495㎛², 결합가중치 레지스터의 면적 A_WRk은 8,873㎛²로 되었다. 화상을 정방형으로 가정한 경우, 1변의 픽셀 수를 N이라고 하면, 셀 네트워크 전체의 면적 A_tota1은 다음 식으로 견적할 수 있다.

A_total=A_pi×N²+A_WRk×(N²+2)(4)

이로부터, 9㎜ 각의 칩(면적 81㎜²)에 실장하는 것을 상정한 경우, 구한 셀 면적으로부터 추정하면 45×45 화소 정도를 실장하는 것이 가능하다. 또한 풀 커스텀(full custom) 설계에 의해, 트랜지스터 수를 약 1/2, 레이아웃 면적을 1/2로 할 수 있는 것으로 가정하면, 화상 분할 셀과 결합 가중치 레지스터의 면적이 약 1/4 정도로 되어, 67×67 화소 정도를 실장하는 것이 가능해진다.

화상 분할 셀 내의 자기 발화 가능을 판정하기 위해서, 가중치의 총합(Si=Σ_k∈N(i)(W_ik×x_k(t)))을 계산하는 가산기를 순차적으로 처리를 행하는 순차 가/감산기(도 12의 (b))로 변경하는 것에 의해, 면적의 삭감이 더 가능하다.

이 경우, 판정 처리에 요하는 시간이 1 사이클로부터 9 사이클로 되기 때문에, 전체의 처리 시간이 약 9배로 된다. 그러나, 본 실시예의 회로에 의한 화상 분할 처리의 시간은, 매우 고속이기 때문에 실시간 처리에는 영향을 미치지 않고, 최악 케이스의 견적의 경우에도, 16만 화소(400×400)의 화상을 2.7msec 이하, 평균적으로 450μsec 이하로 처리하는 것이 가능하다. 이 경우에는, 화상 분할 셀의면적 A_pi는 13,953㎛²로 감소하기 때문에, 0.35㎛ CMOS 테크놀로지, 9㎜ 각 칩의 경우에는, 풀 커스텀 설계인 경우에, 84×84 화소 정도, 0.18㎛ CMOS 테크놀로지, 9㎜ 각 칩의 경우에는, 162×162 화소 정도의 실장을 견적할 수 있다.

표 1에 0.35㎛, 0.18㎛, 0.09㎛ CMOS 테크놀로지를 이용하여 풀 커스텀 설계로 실장한 경우의 탑재 가능 화소 수의 견적값을 나타낸다. 표 중의 칩 면적과 테크놀로지의 데이터는, ITRS 2000Update 로드 맵(참고 문헌: "ITRS 200O Update : The International Technology Roadmap for Semiconductors 2000 Update", URL http://public.itrs.net/(2000))으로부터 인용하였다. 이로부터 2004년에 표준 기술로 되는 0.09㎛ CMOS 테크놀로지를 이용한 경우에는, 고성능인 애플리케이션용의 칩(면적 356㎜²) 상에 실장하는 것에 의해, 약 972×972 화소를 l 칩 상에 실현 가능하다고 예측할 수 있다.

G. 본 발명에 따른 실시예의 요점

이상과 같이, 상술의 실시예에 있어서의 화상 분할 처리 알고리즘, 아키텍쳐에 근거하는 화상 분할 처리 방법, 화상 분할 처리 장치에 의하면, 컬러, 그레이 스케일의 자연 화상에 대한 실시간으로의 화상 분할 처리를, 입력 화상의 모든 화소에 대해 병렬로 처리를 행하도록 하고 있기 때문에, 종래의 소프트웨어에 의한 화상 분할 방법에서는 곤란하였던 실시간 처리를 실현할 수 있다. 또한, 그 알고리즘 및 아키텍쳐로부터, 실시간 화상 처리 방법, 실시간 화상 처리 장치 및 화상 처리 집적화 회로를 실현할 수 있다. 이하에, 상기 실시예에 있어서, 특징으로 되는 점을 하기에 열거한다.

(1) 소프트웨어 뿐만 아니라 디지털 회로로서 실현 가능한 간단하고, 고속인 화상 분할 처리 알고리즘을 실현하고 있다. 이 알고리즘은 셀의 상태를 변수에 의해서 표현하고 있어, 디지털 회로로서 실현할 수 있다. 이 때문에, 현재의 CAD 기술을 이용함으로써 설계의 조건이 엄격하지 않은 경우에는, 자동적인 처리에 의해서 제약을 만족하는 회로를 설계하는 것이 가능해진다. 이 결과, 비교적 용이하게 최선단의 제조 기술로 설계가 가능해져, 고 집적화·고속화를 기대할 수 있다. 또한, 상기 화상 분할 처리 알고리즘은 매우 간단한 방법이기 때문에, 종래의 프로세서 베이스의 소프트웨어에 의한 화상 분할 처리 시스템에 있어서도, 화상 분할 처리의 고속화를 실현하는 것이 가능하다.

(2) 화상 분할 처리 아키텍쳐로서, 화소에 대응한 화상 분할 처리 셀(도 12)과 수직·수평의 2 종류의 결합 가중치 레지스터(도 9)를 어레이 형상으로 교대로 배열하여 화상 분할 처리 셀 네트워크(도 7, 도 8)로서 실현하고 있다. 이와 같이, 2차원의 어레이 구조를 취하고, 또한 소면적화를 실현하기 때문에, 집적 회로화가 지극히 용이하게 된다.

(3) 화상 분할 처리 셀을 고속성을 중시한 병렬 처리에 의한 가/감산을 이용한 경우와 소면적화를 중시한 순차 처리에 의한 가/감산을 이용한 경우에 실현 가능하다(도 12). 이것에 의해, 사용 상황에 따라 처리의 고속성과 장치의 소형화를 선택하는 것이 가능해진다.

(4) 화상 분할 처리를 도 4에 도시하는 바와 같이 파이프라인 처리로 실현하고 있다. 이것에 의해, 각 화소 분할을 단순한 구성으로 병렬 처리하는 것이 가능해진다.

(5) 상기 알고리즘 및 아키텍쳐에서는, 인접하는 셀(화소) 간의 결합 가중치를 이용하여 셀의 상태 천이를 실행하기 때문에, 결합 가중치를 변경하는 것만으로 컬러, 그레이 스케일의 화상에 대해 동일한 알고리즘과 셀 네트워크를 이용할 수 있다. 또한, 컬러, 그레이 스케일마다 결합 가중치의 계산이 상이하지만, 이 부분을 결합 가중치 계산 회로로서 셀 네트워크로부터 분리하여, 파이프라인 처리에 의해서 계산을 행하도록 하고 있다. 이 결과, 소면적화를 도모할 수 있다.

이상과 같이 본 발명에 의하면, 컬러, 그레이 스케일의 자연 화상에 대한 화상 분할 처리를, 입력 화상의 모든 화소에 대해 병렬로 처리를 실행함으로써 실시간 처리를 실현하는 것이 가능한 알고리즘에 의한 화상 분할 처리 방법을 제공하고, 그 알고리즘을 이용하는 것에 의해 디지털 회로에서 실현 가능한 아키텍처에 의한 화상 분할 처리 장치, 실시간 화상 처리 방법, 실시간 화상 처리 장치 및 화상 처리 집적화 회로를 제공할 수 있다.

Claims

입력 화상으로부터 화소 단위로 서로 동일한 범주에 속하는 영역을 특정하여 화상 분할 영역으로서 식별하는 화상 분할 처리 방법으로서,

상기 입력 화상의 각 화소에 대응하는 개개의 화상 분할 처리 유닛인 셀을 비발화 상태로 하고, 상기 셀에 대응하는 화소의 화소값을 순차적으로 취입하여, 인접하는 복수의 셀 간 각각의 결합 가중치를 계산하며, 각 계산 결과에 근거하여 리더(leader) 셀(자기 발화 가능 셀의 후보)을 결정하는 초기화 과정과,

상기 초기화 과정에서 결정된 리더 셀의 하나를 순서대로 선택하여 자기 발화 가능 셀로서 검출하는 자기 발화 가능 셀 검출 과정과,

상기 자기 발화 가능 셀 검출 과정에서 검출된 자기 발화 가능 셀을 발화 상태로 하는 자기 발화 과정과,

발화 상태의 셀(상기 리더 셀을 포함함)과 이것에 인접하는 셀 사이의 결합 가중치에 근거하여, 인접 셀 중에서 발화 가능한 셀을 검출하는 발화 가능 셀 검출 과정과,

상기 발화 가능 셀 검출 과정에서 검출된 셀을 발화 상태로 하는 인화 과정과,

상기 발화 가능 셀 검출 과정에서 해당 셀이 검출되지 않는 경우에 발화 상태의 셀을 진화 상태로 하는 진화 처리 과정을 구비하며,

상기 발화 가능 셀 검출 과정에서 해당 셀이 검출되어 없어질 때까지 상기인화 과정의 처리를 반복하여 실행함으로써 하나의 영역의 화상 분할 처리를 완료하고,

상기 자기 발화 가능 셀 검출 과정에서 비발화 상태의 리더 셀이 없어질 때까지 상기 각 과정의 처리를 반복하여 실행함으로써 모든 영역의 화상 분할 처리를 완료하는 화상 분할 처리 방법.
제 1 항에 있어서,

상기 입력 화상의 각 화소에 대응하는 개개의 화상 분할 처리 유닛인 셀 i(i는 셀 번호)에 대해, 셀 i의 화소값을 I_i, 셀 i의 발화, 비발화의 상태를 나타내는 변수를 x_i, 자기 발화의 가부를 나타내는 변수를 p_i, 인접 셀 i, k 간의 결합 가중치를 W_ik, 자기 발화 가부를 판별하는 임계값을 Φ_p, 발화 가능을 판별하는 임계값을 Φ_z, 각 셀의 상태 변화의 유무를 나타내는 변수를 z_i, 모든 셀의 z_i값의 논리합에 근거하여 발화중인 셀이 존재하는지 여부를 결정하기 위한 글로벌 억제자의 변수를 z로 정의하고,

상기 초기화 과정은, 상기 화상 분할 셀 i의 변수 x_i를 xi=O(비발화)로 하고, 상기 셀 i에 대응하는 화소의 화소값 I_i를 순차적으로 취입하여, 인접하는 복수의 셀 i, k 간 각각의 결합 가중치 W_ik를 계산하고, 각 계산 결과의 총합이 임계값Φ_p보다 큰 경우에는 p_i=1(자기 발화 가능), 임계값 Φ_p와 동등하거나 또는 그보다 작은 경우에는 p_i=0(자기 발화 불가능)으로 초기화하며, 또한 글로벌 억제자의 변수 z를 z=0으로 초기화하고,

상기 자기 발화 가능 셀 검출 과정은, 상기 초기화 과정에서 결정된 p_i=l의 리더 셀 중에서 비발화의 리더 셀을 하나씩 순서대로 선택하여 자기 발화 가능 셀로서 검출하며,

상기 자기 발화 과정은, 상기 자기 발화 가능 셀 검출 과정에서 검출된 자기 발화 가능 셀 i의 변수 x_i, z_i를 각각 x_i=1(자기 발화), z_i=1(상태 변화 있음)로 하고,

상기 발화 가능 셀 검출 과정은, 비발화 상태의 셀 i에 대해, 셀 i에 인접하는 발화 상태의 셀 k(x_k=1) 간의 결합 가중치 W_ik의 총합이 임계값 Φ_z보다 큰 경우에, 셀 i를 발화 가능 셀로서 검출하며,

상기 인화 과정은, 상기 발화 가능 셀 검출 과정에서 검출된 모든 셀 i의 변수 x_i, z_i를 각각 x_i=1(발화 상태), z_i=1(상태 변화 있음)로 하고, 이미 발화 상태(x_i=1 또한 z_i=1)에 있는 셀 i에 대해 변수 z_i를 z_i=O(상태 변화 없음)로 하며,

상기 진화 처리 과정은, 상기 발화 가능 셀 검출 과정에서 해당 셀이 검출되지 않는 경우에 x_i=1(발화 상태)의 셀을 x_i=0(비발화 상태), z_i=0(상태 변화 없음)으로 하고, p_i=1의 경우에는 p_i=0(진화 상태)으로 하는 화상 분할 처리 방법.
제 1 항에 있어서,

상기 입력 화상이 그레이 스케일 화상의 경우에는, 상기 화소값으로서 휘도값을 이용하는 화상 분할 처리 방법.
제 1 항에 있어서,

상기 입력 화상이 컬러 화상의 경우에는, 상기 화소값으로서 색 정보를 이용하는 화상 분할 처리 방법.
입력 화상으로부터 화소 단위로 서로 동일한 범주에 속하는 영역을 특정하여 화상 분할 영역으로서 판별하고, 임의의 화상 분할 영역의 화상을 선택적으로 출력하는 화상 분할 처리 장치로서,

입력 화상의 각 화소값을 보존하는 입력 화상 메모리와,

상기 입력 화상 메모리로부터 각 화소값을 순서대로 판독하고, 각 화소에 대응하는 개개의 화상 분할 셀에 대해, 파이프라인 처리에 의해 인접하는 셀과의 결합 가중치를 계산하는 결합 가중치 계산 회로와,

상기 결합 가중치 계산 회로에서 계산된 결합 가중치를 기초로 각 인접 셀과의 결합 가중치의 총합이 기준값을 초과하는 셀을 리더 셀로서 결정하는 리더 셀 결정 회로와,

상기 입력 화상의 각 화소에 대응하여 비발화, 자기 발화 가능, 발화의 상태를 천이하는 화상 분할 셀과 상기 결합 가중치 계산 회로에서 얻어지는 셀 간의 결합 가중치를 유지하는 결합 가중치 레지스터를 교대로 어레이 형상으로 배열하고, 각 셀이 인접 배치되는 결합 가중치 레지스터의 유지값으로부터 발화 가능한지 여부를 판정하는 판정 수단을 구비하며, 상기 리더 셀 결정 회로에서 결정된 리더 셀을 발화 상태로 하고, 그 인접 셀 중에서 발화 가능한 셀을 선택하여 발화 상태로서 발화 영역을 넓힘으로써 화상 분할 영역을 판별하는 화상 분할 셀 네트워크와,

상기 화상 분할 셀 네트워크에 의해 화상 분할 영역이 판별된 모든 셀의 정보를 보존하는 분할 영역 보존 회로와,

상기 분할 영역 보존 회로의 보존 내용에 근거하여 임의의 화상 분할 영역의 각 셀에 대응하는 화소값을 보존하는 출력 화상 메모리

를 구비하는 화상 분할 처리 장치.
제 5 항에 있어서,

상기 결합 가중치 계산 회로는, 상기 입력 화상 메모리로부터 개개의 셀에대해 해당 셀과 인접 셀 각각에 대응하는 화소값을 취입하여 인접 셀 간의 결합 가중치를 병렬 계산하여, 각 셀의 인접 셀과의 결합 가중치를 파이프라인 처리로 계산하는 화상 분할 처리 장치.
제 6 항에 있어서,

상기 결합 가중치 계산 회로는, 상기 결합 가중치 계산 결과의 비트 수를 압축하는 인코더를 구비하는 화상 분할 처리 장치.
제 5 항에 있어서,

상기 리더 셀 결정 회로는, 상기 결합 가중치 계산 회로로부터 각 셀에 대해 대응하는 결합 가중치를 취입하여, 파이프라인 처리에 의해서 리더 셀을 순차적으로 결정하는 화상 분할 처리 장치.
제 5 항에 있어서,

상기 화상 분할 셀 네트워크는, 모든 셀 및 결합 가중치 레지스터에 데이터를 전송하는 시프트 레지스터를 구비하는 화상 분할 처리 장치.
제 5 항에 있어서,

상기 화상 분할 셀 네트워크는, 모든 셀 및 결합 가중치 레지스터에 데이터를 전송하는 버스를 구비하는 화상 분할 처리 장치.
제 5 항에 있어서,

상기 화상 분할 셀 네트워크는, 상기 결합 가중치 레지스터로서, 수직 방향 및 경사 방향의 셀 간의 결합 가중치를 저장하는 수직 결합 가중치 레지스터 및 수평 방향 및 경사 방향의 셀 간의 결합 가중치를 저장하는 수평 결합 가중치 레지스터를 구비하며, 상기 수직 결합 가중치 레지스터 및 수평 결합 가중치 레지스터를 각 셀 간에 교대로 배열하여, 인접 셀 간에 동일한 결합 가중치를 공유하는 화상 분할 처리 장치.
제 5 항에 있어서,

상기 결합 가중치 레지스터는, 상기 결합 가중치 계산 회로로부터의 결합 가중치 데이터를, 비트 수를 허용 비트 수로 저감하여 저장하는 화상 분할 처리 장치.
제 5 항에 있어서,

상기 화상 분할 셀 네트워크의 각 셀은, 발화 가능의 판정 처리에 요하는 가/감산을 인접하는 셀의 수만큼 개별로 준비한 가산기 및 하나의 감산기에 의해 병렬 처리하는 화상 분할 처리 장치.
제 5 항에 있어서,

상기 화상 분할 셀 네트워크의 각 셀은, 발화 가능의 판정 처리에 요하는 가/감산을 k(k<인접하는 셀 수)개의 가/감산기와 레지스터에 의해 순차적으로 처리하는 화상 분할 처리 장치.
제 5 항에 있어서,

상기 화상 분할 셀 네트워크는,

상기 리더 셀 결정 회로에서 결정된 리더 셀을 발화 상태로 하는 자기 발화 수단과,

발화 상태의 셀과 이것에 인접하는 셀 사이의 결합 가중치에 근거하여, 인접 셀 중에서 발화 가능한 셀을 검출하는 발화 가능 셀 검출 수단과,

상기 발화 가능 셀 검출 수단에서 검출된 셀을 발화 상태로 하는 인화 수단과,

상기 발화 가능 셀 검출 수단에서 해당 셀이 검출되지 않는 경우에 발화 상태의 셀을 진화 상태로 하는 진화 처리 수단을 구비하며,

상기 발화 가능 셀 검출 수단에서 검출되는 해당 셀에 대해 인화 수단의 처리를 병렬적으로 실행함으로써 하나의 영역의 화상 분할 처리를 완료하고, 상기 리더 셀 중 비발화의 셀에 대해 상기 각 수단의 처리를 순서대로 실행함으로써 모든 영역의 화상 분할 처리를 완료하는 화상 분할 처리 장치.
제 5 항에 있어서,

상기 입력 화상이 그레이 스케일 화상의 경우에는, 상기 화소값으로서 휘도값을 이용하는 화상 분할 처리 장치.
제 5 항에 있어서,

상기 입력 화상이 컬러 화상의 경우에는, 상기 화소값으로서 색 정보를 이용하는 화상 분할 처리 장치.
입력 화상으로부터 화소 단위로 서로 동일한 범주에 속하는 영역을 특정하여화상 분할 영역으로서 식별하는 화상 분할 처리를 포함하는 화상 처리 방법으로서,

상기 입력 화상의 각 화소에 대응하는 개개의 화상 분할 처리 유닛인 셀을 비발화 상태로 하고, 상기 셀에 대응하는 화소의 화소값을 순차적으로 취입하여, 인접하는 복수의 셀 간 각각의 결합 가중치를 계산하며, 각 계산 결과에 근거하여 리더 셀(자기 발화 가능한 셀의 후보)을 결정하는 초기화 과정과,

상기 초기화 과정에서 결정된 리더 셀의 1개를 순서대로 선택하여 자기 발화 가능 셀로서 검출하는 자기 발화 가능 셀 검출 과정과,

상기 자기 발화 가능 셀 검출 과정에서 검출된 자기 발화 가능 셀을 발화 상태로 하는 자기 발화 과정과,

발화 상태의 셀(상기 리더 셀을 포함함)과 이것에 인접하는 셀 사이의 결합 가중치에 근거하여, 인접 셀 중에서 발화 가능한 셀을 검출하는 발화 가능 셀 검출 과정과,

상기 발화 가능 셀 검출 과정에서 검출된 셀을 발화 상태로 하는 인화 과정과,

상기 발화 가능 셀 검출 과정에서 해당 셀이 검출되지 않는 경우에 발화 상태의 셀을 진화 상태로 하는 진화 처리 과정을 구비하며,

상기 발화 가능 셀 검출 과정에서 해당 셀이 검출되어 없어질 때까지 상기 인화 과정의 처리를 반복하여 실행함으로써 하나의 영역의 화상 분할 처리를 완료하고,

상기 자기 발화 가능 셀 검출 과정에서 비발화 상태의 리더 셀이 없어질 때까지 상기 각 과정의 처리를 반복하여 실행함으로써 모든 영역의 화상 분할 처리를 완료하는 화상 처리 방법.
입력 화상으로부터 화소 단위로 서로 동일한 범주에 속하는 영역을 특정하여 화상 분할 영역으로서 판별하고, 임의의 화상 분할 영역의 화상을 선택적으로 출력하는 화상 분할 처리를 포함하는 화상 처리 장치로서,

입력 화상의 각 화소값을 보존하는 입력 화상 메모리와,

상기 입력 화상 메모리로부터 각 화소값을 순서대로 판독하고, 각 화소에 대응하는 개개의 화상 분할 셀에 대해, 파이프라인 처리에 의해 인접하는 셀과의 결합 가중치를 계산하는 결합 가중치 계산 회로와,

상기 결합 가중치 계산 회로에서 계산된 결합 가중치를 기초로 각 인접 셀과의 결합 가중치의 총합이 기준값을 초과하는 셀을 리더 셀로서 결정하는 리더 셀 결정 회로와,

상기 입력 화상의 각 화소에 대응하여 비발화, 자기 발화 가능, 발화의 상태를 천이하는 화상 분할 셀과 상기 결합 가중치 계산 회로에서 얻어지는 셀 간의 결합 가중치를 유지하는 결합 가중치 레지스터를 교대로 어레이 형상으로 배열하고, 각 셀이 인접 배치되는 결합 가중치 레지스터의 유지값으로부터 발화 가능한지 여부를 판정하는 판정 수단을 구비하며, 상기 리더 셀 결정 회로에서 결정된 리더 셀을 발화 상태로 하여, 그 인접 셀 중에서 발화 가능한 셀을 선택하여 발화 상태로서 발화 영역을 넓힘으로써 화상 분할 영역을 판별하는 화상 분할 셀 네트워크와,

상기 화상 분할 셀 네트워크에 의해 화상 분할 영역이 판별된 모든 셀의 정보를 보존하는 분할 영역 보존 회로와,

상기 분할 영역 보존 회로의 보존 내용에 근거하여 임의의 화상 분할 영역의 각 셀에 대응하는 화소값을 보존하는 출력 화상 메모리

를 구비하는 화상 처리 장치.
제 19 항에 있어서,

적어도 상기 입력 화상 메모리, 결합 가중치 계산 회로, 리더 셀 결정 회로, 화상 분할 셀 네트워크, 분할 영역 보존 회로 및 출력 화상 메모리는 디지털 회로구성에 의해서 집적 회로화되는 화상 처리 장치.