KR20040101377A

KR20040101377A - 스테레오 이미지의 에지를 체인으로 연결하는 방법

Info

Publication number: KR20040101377A
Application number: KR10-2004-7015551A
Authority: KR
Inventors: 비어드슬레이폴
Original assignee: 미쓰비시덴키 가부시키가이샤
Priority date: 2002-07-30
Filing date: 2003-07-18
Publication date: 2004-12-02
Also published as: WO2004012147A1; US20040022431A1; JP2005535015A; US7164784B2; CN1643543A; KR100631235B1; JP4313758B2; CN1299241C

Abstract

본 방법은 장면에서 물리적 윤곽(contours)에 대응하는 체인으로 스테레오 이미지의 에지를 연결하는 것이다. 먼저, 에지는 스테레오 이미지에서 검출된다. 스테레오 이미지들간에 에지가 매치되어, 각각의 에지는 스테레오 매치와 연관된다. 에지는 체인으로 연결되어, 각각의 체인으로 연결된 에지는 하나의 연관된 스테레오 매치를 갖고, 체인에서 이웃하는 에지는 실질적으로 유사한 스테레오 시차(disparity)의 매치를 갖는다.

Description

스테레오 이미지의 에지를 체인으로 연결하는 방법{METHOD FOR LINKING EDGES IN STEREO IMAGES INTO CHAINS}

장면의 이미지를 분석하기 위해 컴퓨터 비젼 기술을 사용하는 것이 일반적이다. 시간에 따라 다이나믹하게 변하는 이미지를 분석하는 것이 빈번히 요구된다. 예를 들면, 많은 애플리케이션에서 사람과 같은 객체가 장면에서 출현했는지를 결정하는 것이 요구된다.

객체의 컴퓨터 비젼 분석은 통상 복수의 처리 단계를 요구한다. 먼저, 객체가 배경으로부터 분할된다. 그 후, 객체의 형상, 3D 모션 및 위치와 같은 속성이 결정될 수 있다. 마지막으로, 객체는 분류 또는 인식의 목적으로 분석될 수 있다.

흔히, 정적 배경 앞에 나타나는 객체를 관찰하는 고정 카메라의 경우에, 배경 제거는 일반적으로 분할을 수행하는 것이다. 통상적인 배경 제거 방법은 픽셀당 휘도값(intensity values)을 기초로 한다. 일반적으로, 동적 이미지(live image)의 픽셀 휘도는 정적 장면의 기준 이미지의 대응하는 픽셀로부터 제거되어 차분 이미지(difference image)를 형성한다. 기준 이미지는 장면에 움직이는 객체가 없는 것이 알려지기 전에 획득될 수 있다. 차분 이미지에서 낮은 값을 갖는 임의의 픽셀은 정적 배경 부분으로 간주되고, 보다 높은 값을 갖는 픽셀은 객체 부분으로 추정된다. 배경 제거 방법의 고찰에 대해, Toyama 등의 "Wallflower: 배경 유지의 원리 및 실습" 컴퓨터 비젼에 대한 국제 컨퍼런스의 회보, pp. 255-261, 1999를 참고한다.

통상적인 배경 제거 기술에는 문제점이 있다. 먼저, 차분 이미지를 개별적인 픽셀을 기초로 결정하므로, 노이즈 또는 인공물(artifacts)이 국부적인 오류 결과를 유발할 수 있다. 접속 구성요소 분석(connected-component analysis)을 이용하여 세세한 의사 반응을 제거할 수 있으나, 그러나 이것은 추가 처리를 필요로 한다. 또한, 기준 이미지의 일부와 동일한 색상(또는 그레이 스케일 이미지의 휘도)을 갖는 객체의 특정 부분은 검출되기 어렵다. 이 경우에, 실루엣 경계 또는 내부 음영에서의 색상 또는 휘도의 그래디언트(gradient)는 여전히 가시적이다. 이것은 색상 또는 휘도 그래디언트(에지)를 갖는 이미지의 그 부분만이 배경에 대한 객체를 검출하는데 높은 신뢰성이 있음을 나타낸다.

그러므로, 통상적인 배경 제거와는 달리 직접적인 방식으로 객체에 대한 에지를 계산하는 것이 바람직하다.

정적 배경으로부터 객체를 분할하는 것은 추가적으로 분석될 수 있다. 대부분의 종래의 컴퓨터 비젼 시스템은 단일 카메라를 사용한다. 단일 정지 카메라에 의해 획득된 이미지로부터 형상, 3D 모션 및 위치와 같은 정보를 추출하는 것이 어렵다는 것은 잘 알려져 있다. 카메라가 비교적 저렴해짐에 따라, 복수의 카메라 이미지의 스테레오 분석이 보다 널리 보급될 것이다. 스테레오 분석은 단일 카메라로 가능한 것보다 객체의 형상, 3D 모션 및 위치의 더 견고한 측정을 제공한다.

스테레오 처리는 이미지 사이에서 어떤 특성-포인트 또는 에지와 같은 픽셀 또는 특성(feature)을 매칭할 것인지에 대한 선택을 요구한다. 보다 구체적으로, 에지는 일반적으로 후속 처리 전에 에지 검출 처리의 일부로서 에지 체인으로 연결된다. 에지 체인의 스테레오 매칭은 소정의 객체에 대한 에지 체인이 상이한 이미지에서 상이하게 계산될 수 있다는 사실에 의해 복잡해진다. 예를 들면, 객체에 대한 소정의 물리적 윤곽(contour), 즉 실루엣 경계 또는 표면 텍스쳐(texture) 경계가 각각의 스테레오 이미지에서 하나 이상의 에지 체인으로서 검출될 수 있고, 그 체인은 상이한 이미지에서 상이한 종결점(termination points)을 가지며, 상이한 이미지에서 임의의 방법으로 객체와 배경 텍스쳐 사이를 연결할 수 있다.

그러므로, 객체의 물리적 윤곽에 대응하는 에지를 체인으로 연결하는 것만이 요구된다.

2001년 4월 4일자의 미국 특허 출원 2001/0045327 "엘리베이터 도어 제어 장치" 를 참고하면, 엘리베이터 도어의 동작을 제어하는 다수의 이미지 기반 시스템이 있다. 그러나, 그러한 시스템들은 승객들의 유형을 식별하지 않는다. 또한, 2002년 1월 15일자의 Hirata 등에게 발행된 미국 특허 6,339,375의 "이미지 모니터링 장치 및 이미지 모니터링 방법"을 참고하면, 승객이 엘리베이터 입구에 있는지를 검출하는 시스템을 나타낸다. 입구를 형성하는 정적이고, 일직선의 수평 및 수직선에 패턴을 매칭시킴으로써 입구가 결정된다. 2차원 선의 정보는 1차원 정보로 감소된다. 명백하게, 그 방법은 불규칙하게 형성된 움직임 객체를 검출하는데 적당하지 않다.

일본 특허 공보 제11-268879호는 2대의 카메라가 천장에 장착되어, 획득된 이미지를 분석함으로써 상부의 평면 형상 및 승객의 키를 기초로 대기하는 승객의 유형을 식별하는 엘리베이터 제어 시스템을 설명한다. 그 시스템은 호출 버튼 및 천장에 장착된 카메라를 누름으로써 승객에 의한 수동 구동을 요구한다.

2002년 5월 14일자로 Fujita에게 발행된 미국 특허 6,386,325는 "서 있는 엘리베이터 승객과 앉아 있는 엘리베이터 승객을 구별하는 홀 스캐너를 갖는 엘리베이터 시스템"을 설명한다. 그 시스템 역시 승객으로 하여금 호출 버튼을 누르게 함으로써 수동 구동을 요구하여, 홀 호출 버튼을 동작시킨 승객을 단지 모니터할 수 있을 뿐이다. 이 시스템은 통상적인 배경 제거를 사용하여 2D 차분 이미지를 생성한다. 2D 차분 이미지는 휠체어 구성의 미리 저장된 모델과 비교된다. 도시된 구성은 휠체어 사용자의 측면도 및 정면도뿐이다.

그 시스템이 갖는 주요한 문제점이 있다. 첫째로, 시스템이 통상적인 배경 제거를 사용하기 때문에, 전술한 바와 같이 유용한 차분 이미지를 생성할 수 있는 필연적인 문제점을 갖는다. 둘째로, 카메라에 의해 획득된 임의의 화면이 구성도와 유사하지 않을 가능성이 있다. 사실, 보행자와 휠체어 사용자들의 상이한 구성의 수는 무수히 많다. Fujita는 기본적인 구성 패턴들이 어떤 임의의 화면에 어떻게 매칭되는지 밝히지 않는다. 패턴 매칭은 지극히 어려운 문제로서, 제한된 구성만으로 해결될 수 있다는 것은 비젼 시스템에서 잘 알려졌다. 세째로, 2D 모델, 또는 객체내의 움직임만이 제공되고, 어떠한 깊이 정보도 제공되지 않는 배경 제거가 결정될 수 있다.

그러므로, 배경 제거를 사용하지 않고, 미리 저장된 모델을 요구하지 않으며, 3D 정보를 기초로 한 휠체어 검출 시스템을 제공하는 것이 요망된다.

본 발명은 통상 컴퓨터 비젼에 관한 것으로, 더 상세하게는 스트레오 비젼(stereo vision)을 사용하여 장면에서 물리적 윤곽(contours)에 대응하는 체인을 형성하기 위해 에지를 체인으로 연결하는 것에 관한 것이다.

도 1은 본 발명에 따른 객체 검출 시스템의 블록도,

도 2는 본 발명에 따른 객체 분류 방법의 흐름도,

도 3은 본 발명에 따른 그래디언트에 기초한 에지 검출의 흐름도,

도 4는 본 발명에 따른 타겟 및 서포트 이미지를 식별하는 흐름도,

도 5는 본 발명에 따른 에지를 매칭하는 흐름도,

도 6은 본 발명에 따른 에지를 체인으로 연결하는 흐름도,

도 7은 본 발명에 따른 휠체어 검출의 흐름도이다.

발명을 실시하기 위한 최선의 형태

[시스템 개요]

도 1은 본 발명에 따른 객체 검출(100)을 나타낸다. 시스템(100)은 예를 들면 3개의 복수의 카메라(1, 2, 3)는 포함하며, 여기에서 나타내는 바와 같이, 그들 출력은 컴퓨터 비젼 처리를 수행하도록 구성된 프로세서(120)에 접속된다. 프로세서(120)의 출력 신호(121)는 외부 시스템, 예를 들면 엘리베이터 제어 시스템(ECS)(150)에 접속된다. 외부 시스템(150)은 카메라에 의해 관찰되는 것에 따라 제어된다.

카메라에 의해 획득된 이미지(111)가 엘리베이터 도어 앞의 장면(140)이도록 카메라(1-3)는 엘리베이터 도어(130) 위에 장착된다. 카메라가 장면에 가까운 어느 곳에나 장착될 수 있는 것에 주의해야 될 것이다. 카메라는 그레이 스케일 또는 컬러 센서를 사용할 수 있다. 카메라(1-3)의 내부 및 외부 파라미터는 공지된 임의의 캘리브레이션 과정을 사용하여 결정될 수 있다. 이하, 설명할 목적으로, 중앙(격자 무늬)의 카메라(1)가 주 카메라이고, 다른 2개의 카메라(2-3)가 부 카메라이다. 3대의 카메라에 의해 종래 기술의 단일 카메라 또는 입체 카메라보다 본발명에 따른 방법으로 보다 견고한 분석을 할 수 있다.

[시스템 동작]

도 2에 도시된 바와 같이, 정적 이미지(111a)와 동적 이미지(111b)가 3대의 카메라(1-3)에 의해 획득된다. 이미지(111)는 그레이 스케일 또는 컬러일 수 있다. 선처리 단계에서, 이미지(111a-b)는 래디얼 왜곡(radial distortion)을 제거하기 위해 재표본화될 수 있다. 먼저, 각각의 카메라에 대한 기준 이미지(221)가 대응하는 카메라의 정적 이미지(111a)로부터 구성된다(220).

다음에, 각각의 카메라에 대한 기준 이미지(221)를 동일한 카메라의 각각의 동적 이미지(111b)에 일대일 원칙으로 적용하여, 장면(140)에서 객체의 에지(231)를 검출한다. 에지 매칭(240)은 동일한 윤곽(241)의 부분을 형성하는 에지 체인(231)을 식별한다. 3차원 재구성(250)을 윤곽(241)에 적용하여 3D 움직임 객체(251)를 분할한다. 분할에 의해 움직임 객체와 연관되는 픽셀(데이터 포인트들의 세트)만이 식별된다. 픽셀들은 좌표(coordinates)를 갖기 때문에, 데이터 포인트들의 세트는 3D 객체의 일반적인 형상을 드러낸다.

이제, 3D 움직임 객체(251)는 객체의 분류(261)를 결정하는 목적으로 분석될 수 있는데(260), 예를 들면 객체는 보행자 또는 휠체어 사용자이다. 분류는 외부 시스템(150)의 후속 동작을 결정하는 데 사용될 수 있다.

[배경 변경을 기초로 한 에지 검출]

(기준 이미지)

종래 기술인 픽셀 기반의 배경 제거와는 달리, 본 발명은 배경 변경을 기초로 한 에지 검출을 사용한다(230). 기준 이미지(221)는 각각의 카메라에 대해 정적 장면(111a)의 2개 이상의 이미지로부터 구성된다(220). 이 동작은 장면에서 움직임 객체가 없다고 알려졌을 때의 선처리 단계 동안에 행해진다. 기준 이미지는 주기적으로 업데이트될 수 있다.

기준 이미지(221)의 각각의 픽셀에 있어서, 다음의 평균 및 편차값(가우시안(Gaussians))(222)이 정적 이미지(111a)로부터 결정된다. 픽셀의 휘도의 평균 및 편차, 픽셀의 그래디언트 크기의 평균 및 편차, 픽셀의 그래디언트 방향의 평균 및 편차. 이미지가 컬러 카메라로 찍혔으면, 그 후 RGB 채널 중 단 하나만이 사용될 필요가 있다.

(에지 검출)

이 점에서, 장면(104)의 동적 이미지(111b)가 처리될 수 있다. 상기에서 설명한 바와 같이, 하나의 동적 이미지(111b)를 제외하고 3개의 값(222)이 결정되며, 도 3에 도시된 테스트를 적용하여 픽셀이 에지(302)의 부분인지 아닌지를 결정한다. 에지의 체인이 객체와 동일시된다고 가정된다. 테스트는 비교기에서 수행될 수 있다.

먼저, 0 또는 낮은 그래디언트를 갖는 픽셀(310)은 에지(301)일 수 없다.그러므로, 종래 기술에 대한 이점으로서, 다수의 배경(기준) 픽셀들은 모든 픽셀 쌍이 제거되는 종래의 기술에서와 같이 글로벌 기준(global basis)으로 처리될 필요가 없다.

비영(non-zero) 픽셀은 p로 라벨 붙여지고, 보다 낮은 휘도의 그래디언트 방향으로의 그 이웃은 p_l로 라벨링되고, 보다 높은 휘도의 그래디언트 방향으로의 이웃은 p_h로 라벨링된다.

그래디언트 크기(GM)가 임계값 T보다 크면(320), (b)로 진행하고, 그렇지 않으면 픽셀은 에지(301)가 아닌 것으로 라벨링될 수 있다.

픽셀 p의 그래디언트 크기가 로컬 최대이면(330), 즉 p에서의 그래디언트가 p_l및 p_h에서의 그래디언트보다 크면, (c)로 진행하고, 그렇지 않으면 픽셀은 에지(301)가 아니다.

동적 이미지의 픽셀 p에서의 그래디언트 크기와 기준 이미지의 그에 대응하는 값 사이의 거리 d_GM이 임계값 T₂보다 작으면(340), (d)로 진행하고, 그렇지 않으면 픽셀은 에지(302)이다. 값이 가우시안으로 표현되기 때문에, 마하라노비스(Mahalanobis)의 거리가 바람직하다.

p에서의 측정된 그래디언트 방향과 그 기준 값 사이의 마하라노비스 거리 d_GD가 임계값 T₃보다 작으면(350), (e)로 진행하고, 그렇지 않으면 픽셀은 에지(302)이다.

p_l에서의 휘도(RGB)값과 그 기준값 사이의 마하라노비스 거리 d_I가 임계값 T₄보다 작으면(360), (f)로 진행하고, 그렇지 않으면 픽셀은 에지이다.

p_h에서의 휘도(RGB)값과 그에 대응하는 기준값 사이의 마라하노비스 거리 d_ph가 임계값 T₅보다 작으면, 픽셀은 에지(301)가 아니고, 그렇지 않으면 픽셀은 에지(302)이다.

동적 이미지(111b)의 낮은 그래디언트를 갖는 모든 픽셀들은 테스트(a)에 의해 제거되는 것을 주의한다. 에지가 그래디언트가 낮은 기준 픽셀을 차단하고 있는 경우에, 이것은 테스트(c)에서 검출된다. 그러므로, 신뢰할 수 없는 낮은 기준 그래디언트가 역효과를 갖는 방법으로 이용되지 못한다. 또한, 상기 기술을 사용하여 전경(foreground)의 정적 객체에 의해 차단되는 배경 에지의 위치를 결정할 수 있다는 것에 주의해야 할 것이다.

에지(302)를 식별한 후에는, 이하에 보다 상세하게 설명하는 바와 같이, 에지가 서로 연결되어 에지 체인을 형성한다. 비록 "체인"이란 용어가 사용되었지만, 그 처리는 실제로 메모리에서의 연결된 에지 픽셀의 그래프를 생성한다.

이러한 에지를 기초로 한 방안(230)을 채택하는 이유는 실용적이기 때문이다. 스테레오 재구성(250)은 특성을 기초로 하고, 에지 검출은 움직임 객체(251)의 스테레오 재구성을 위해 필요한 윤곽(241)을 직접 생성한다. 이 방안을 채택하면, 그래디언트를 기초로 한 에지 검출의 이점이 명백해진다.

먼저, 에지(231)는 픽셀의 휘도값의 변경보다 객체 존재의 보다 신뢰성 있는지표이다. 예를 들면, 글로벌 배경 제거는 정적 배경과 동일한 색상인 객체의 부분을 검출할 수 없다. 객체가 배경과 동일한 색상(휘도)인 경우에, 에지 변경은 음영 효과 때문에 객체의 실루엣 주위에 있을 가능성이 매우 높다. 그러므로, 배경 제거는 에지 검출이 간단하고, 장면의 변경을 반영하는 추가 처리를 요구할 수 있다. 두 가지 방법이 실루엣 주위의 변경을 검출할 수 있지만, 본 발명에 따른 에지를 기초로 한 방안은 서브 픽셀 정밀도로 에지를 검출할 수 있기 때문에 보다 우수하다.

에지를 기초로 한 방안으로, 본 발명에 따른 처리가 그래디언트 계산, 비최대값 억압(non-maximum suppression) 및 에지 체인에 대한 히스테리시스(hysteresis)를 포함하기 때문에, 의사 변경 및 노이즈는 또한 그 결과에 영향을 덜 줄 수 있다. 이 모든 것은 동적 이미지(111b)의 현저한 변경을 요구하고, 그러므로 로컬 노이즈에 영향을 덜 받게 된다.

기준 이미지(221)가 주위의 조명의 변경, 예를 들면 밤/낮과, 거의 정적인 배경의 변화, 예를 들면 출현 후에 정지 상태로 남아 있는 유지하는 장면에 새로운 객체의 배치를 주기적으로 반영하도록 업데이트될 수 있음을 주의해야 할 것이다.

[점진적으로 변하는 스테레오 시차를 사용하는 에지를 체이닝]

(개요)

상기에서 설명한 바와 같이, 에지 검출 후에 그래디언트 방향과 같은 속성의 유사성을 기초로 한 이웃하는 에지를 연결하는 에지 체이닝(edge-chaining) 처리가수행된다. 흑백 캘리브레이션 패턴, 예를 들면 바둑판 패턴의 단순한 이미지와 같이 제한된 경우에 있어서, 에지 체인(edge-chain)은 패턴의 블록의 경계를 정확하게 반영할 수 있다. 그러나, 실제 장면에서, 에지 체인은 물리적으로 중요하지 않을 수 있다. 예를 들면, 에지는 객체와 배경 텍스쳐 사이에서 부정확하게 진행될 수 있다.

그러므로, 각각의 체인이 개별적인 객체에 속할 수 있도록 에지를 체인으로 연결할 필요가 있다. 이것은 스테레오 이미지 사이의 에지를 대응 매칭하고, 이웃하는 에지의 스테레오 시차가 점진적으로 변하도록 에지 체인을 형성함으로써 수행된다.

스테레오 처리에서, 시차는 2개의 이미지에서 대응하는 특성들(픽셀, 코너, 에지) 사이에서의 이미지 치환(image displacement)이다. 시차는 깊이의 간접적인 측정이다. 그러므로, 점진적으로 변하는 시차를 갖는 에지 체인은, 예컨대, 전경 객체의 실루엣과 표면 텍스쳐로부터 발생하는 것과 같이, 점진적으로 변하는 깊이의 3D 체인에 대응한다. 즉, 점진적으로 변하는 시차를 갖는 에지 체인이 3D 객체(251)의 윤곽(241)을 규정할 것이다.

이러한 유형의 체인은 객체의 실루엣과 객체의 표면 텍스쳐를 연결하지만, 깊이에서 비연속적인 정적인 배경에 연결하지 않음이 예상된다. 이하에 설명하는 바와 같이, 그것은 가장 흥미로운 실루엣이다.

(매치 가정 수집)

장면(140)의 동적 이미지(111b)의 세트의 경우, 도 4에서 나타낸 바와 같이 에지 체인이 계산된다. 대응 매칭을 위한 하나의 방안은 마음에 드는 이미지가 없이, 모든 카메라(1-3)의 대칭 처리를 포함할 수 있었다. 그러나, 3대의 카메라가 사용되었기 때문에, 이것은 많은 양의 데이터를 처리할 필요가 있음을 의미한다. 그러므로, 본 발명은 처리될 데이터의 양을 감소시키는 기술을 사용한다.

각각의 이미지의 에지는 e_ci이다. 여기서 c=1, 2, 3은 카메라 번호이고, i=1, …, n은 에지의 색인이다. 주 카메라(1)의 이미지 e_1i의 각각의 에지는 순서대로 처리된다. 목적은 각각의 e_1i를 포함하는 모든 잠재적인 매치들을 식별하는 것으로, 여기서 매치는 대응하는 에지 M=<e_1i, e_2j, e_3k>의 트리플릿(triplet)이다. 즉, e_1i는 매치되지 않거나 또는 복수의 이미지에서 나타난다. 그 후, 이들 복수의 가정에 대해, 이미지의 각각의 에지가 매치되지 않거나 하나의 유일한 매치에 연관되도록, 이하에 설명되는 추가 처리가 행해질 것이다.

그 문제점에 대한 하나의 방안은 이미지(2)의 에지 e₂에 대해 에지 e_1i를 매치하는 것이고, 이미지(3)의 에지 e₃를 사용하여 각각의 추정 매치(putative match)에 대한 지지 증거를 체크하는 것이다. 이것은 에피폴라 라인(epipolar line)과 정렬하는 에지의 매칭이 안좋은 매칭 결과를 초래한다는 사실을 무시한다.

대신에, 각각의 개별적인 에지 e_l1(401)은 2대의 부 카메라(2-3)의 에피폴라라인 정렬에 따라, 이미지(402)의 에지 또는 이미지(403)의 에지와 매치된다.

소망하는 타겟 t 이미지를 결정하기 위한 테스트는 이하와 같다. 에지 e_li와 정렬하는 에피폴라 라인은 l₁(411)이다. 에피폴라 라인 l₂=e_li×f₂(412), l₃=e_li×f₃(413)을 계산하는데(410), 여기서 f₂는 이미지(1)에서의 카메라(2)의 에피폴(epipole)이고 f₃은 이미지(1)에서의 카메라(3)의 에피폴이다.

그 후, 라인 l₁과 l₂사이의 각 θ₂(421), 라인 l₁과 l₃사이의 각도 θ₃(422)를 측정한다. 그 후, 2개의 각도(421-422)를 비교한다(430). 타겟 이미지는 보다 큰 θ와 연관된 이미지이다. 즉, e_li는 타겟 카메라에 비해 보다 낮은 에피폴라 라인 정렬을 갖는다. 타겟 이미지(431)는 t로 라벨링된다. 제 3 이미지는 서포트 이미지(432)로 간주되고 s로 라벨링된다.

도 5에 나타낸 바와 같이, 에지 e_li는 이미지 t의 그 에피폴라 라인을 따라 모든 에지에 대해 매치된다. 에지의 매칭은 다음의 테스트를 수반한다.

180°시프트하여, 에지 e_1i(501)의 그래디언트 방향과 에지 e_tj의 그래디언트 방향 사이의 차이를 계산한다(510). 차이가 임계값을 초과하면, 매치를 거부하고(520), 그렇지 않으면 계속된다.

그렇지 않으면, 에지의 그래디언트 방향으로 정렬되는 2개의 이웃하는 픽셀 e_1i를 취하고, 이 p_1ia및 p_1ib를 호출한다. 마찬가지로, e_tj의 2개의 이웃하는 픽셀에 대해서 이 p_tja및 p_tjb를 호출한다. 이미지의 방향성(orientation)을 사용하여 이미지(1)와 이미지 t 사이에서 이 픽셀들의 대응을 결정한다. 이하를 참고하면, 그래디언트 방향이 에지와 그 매칭 에지 사이에서 180° 뒤집어 질 수 있기 때문에 그래디언트 방향이 이 테스트에서 사용되지 못하는 것에 주의한다. 그 후, 대응하는 이웃 픽셀들 사이에서 휘도의 차이를 측정한다(530). 대응하는 픽셀 중 하나 또는 양쪽 모두가 매치하면, 계속 진행하고, 그렇지 않고, 차이가 또 다른 임계값보다 더 크면 매치를 거부한다(520).

에지 e_1i와 e_tj사이의 매치의 경우, 서포트 이미지 s의 이들 점들의 각각에 대한 에피폴라 라인을 계산하고, 이들 라인들의 교차점을 찾는다. 그 후, 가장 가까운 에지 e_sk에 대한 교차점 주위의 윈도우를 검색한다(540). 서포트에 존재하는 대응하는 에지가 없으면, 매치는 거부된다(520).

그렇지 않으면, 에지 e_1i와 에지 e_tj는 상기에서 설명한 바와 같이 에지 e_sk(503)에 대해 각각 매치된다(550). 매치가 수락 가능하면, 모든 3개의 에지의 유사성을 기초로 한 최종 매치 스코어가 계산되어, 매치가 수락되고 저장된다(560). 에지의 정확한 분류의 실패에 대한 어느 정도의 견고함을 허용하기 위해, 에지 e_sk는 서포트 이미지의 임의의 에지일 수 있다.

상기 테스트는 몇몇의 추가의 논의를 보증한다. 테스트(a)에서, 차단 윤곽에 속하는 에지가 상이한 스테레오 카메라에 의해 보여진 바와 같이 배경의 상이한부분을 차단할 수 있기 때문에, 그래디언트 방향에서의 180°반전이 허용된다. 비록 그래디언트 방향이 종종 유지되더라도, 명백하게 이 경우에 그래디언트 방향은 180°반전될 수 있다.

동일한 이유로, 테스트(b)는 차단 에지에서 색상이 에지의 배경측에서 변경될 수 있기 때문에, 에지의 단지 한쪽 측에만 매칭 픽셀을 요구하고, 그래서 그 에지의 측에서의 픽셀이 허술하게 매치할 것이다. 그 결과, 매칭에 대한 임계값은 신중하게 완만하다.

게다가, 테스트(b)에서의 픽셀 비교는 세밀하게 잘 조정된 양적 테스트라기보다 매칭 픽셀 색상에 대한 열악한 질적 테스트이다. 목적은 각각의 e_1i에 대한 많은 매치 가정을 추출하여, 유일한 최상의 매치를 식별하기 위해 승자 독점화 방안(winner-takes-all approach)을 시도하기보다 실제 매치가 존재한다는 높은 확신을 갖는 것이다. 매칭이 순전히 에지 그래디언트와 인접 픽셀 색상과 같은 로컬 속성에 근거할 때, 이 초기의 단계에서 승자 독점화 방안은 신뢰성이 낮다.

(매치 가정으로부터 체인을 추출)

이 단계에서, 소정의 에지가 하나의 매치보다 많은 매치에 존재할 수 있을 때, 추정 매치 Mp=<e_1i, e_2j, e_3k>, p=1, …, n의 세트가 있다. 각각의 에지가 매치되지 않거나 유일한 매치에 연관되도록 세트를 처리하는 것이 목적이다.

이것은 모든 매치를 검사하여 점진적으로 변하는 시차의 에지 체인에 연관된것들을 검색함으로써 이루어진다. 에지가 하나의 매치보다 많은 매치에 나타나면, 가장 긴 체인에 연관된 매치가 유지되고, 다른 매치들은 제거된다. 도 6은 이 처리를 나타낸다.

각각의 매칭 에지(601)를 교대로 취해, 그것이 이미 체인의 부분인지 판단한다(610). 이미지(1)의 매칭 에지가 이미 체인의 일부이면, 중단한다(620). 그렇지 않으면, 새로운 체인을 시작한다(630).

이미지(1)의 매칭 에지를 취한다. 그 에지의 8개의 연결된 이웃하는 에지를 검사한다. 현재 에지의 스테레오 시차와 이웃의 스테레오 시차 사이의 차이가 임계값보다 작으면, 이웃을 체인으로 반복하여 연결하고(640), 모든 에지가 검사될 때까지 반복한다(650).

체인이 생성된 후에, 안정한 해상도에 도달할 때까지, 처리는 경합 매치 즉, 에지를 공유하는 매치를 재명령하는(660) 반복적인 과정에 진입한다. 경합 매치의 재명령은 가장 긴 연관 체인을 갖는 매치를 보상하는 것을 목적으로 한다. 임의의 단계에서의 체인의 길이는 (i)경합하고 있지 않는 체인에서의 매치와, (ii)경합하고 있지만 우승 매치(winning match)로서 현재 플래그된 체인에서의 매치의 합에 의해 주어진다. 우승 매치의 최종 세트는 유지되어 다음 단계인 3D 재구성(250)으로 넘어간다.

[스테레오 비젼을 이용하여 휠체어 검출]

(스테레오 캘리브레이션)

3D 재구성(250)은 카메라(1-3)가 완벽하게 캘리브레이션되는 것을 요구한다. 방사상의 왜곡 캘리브레이션은 캘리포니아, 프리몬트, VA 소프트웨어 코퍼레이션에서 제공하는 OpenCV 라이브러리를 사용하여 수행된다. 스테레오 캘리브레이션 처리는 스테레오 이미지에서 자동적으로 검출되는 캘리브레이션 패턴을 이용한다. 카메라의 내부 파라미터가 계산되고, 외부 파라미터는 기본 (F) 행렬의 계산을 통해 결정된다. 도 1을 참고하면, 그라운드 평면은 장면상의 패턴(141)을 배치하고, 스테레오 이미지 사이의 호모그래피(homography)를 사용하여 그라운드 평면의 3D 좌표를 결정함으로써 캘리브레이션될 수 있다.

(장면에서 개별적인 객체를 분할)

일적용예에 있어서, 장면(140)의 3D 움직임 객체(251)를 분석하여, 객체가 보행자 또는 휠체어 사용자인지를 결정한다. 3D 윤곽이 깊이 불연속성을 교차하지 않는, 점진적으로 변하는 시차를 기초로 하기 때문에, 차단되고 오버랩되지 않는 개개의 분할에 대한 양호한 기반을 제공한다. Shen 등의 컴퓨터 과학에서 앞선 강의 자료 "이미지 시퀀스로부터의 형상 모델", Vol.800, 컴퓨터 비젼-ECCV'94, Springer-Verlag, pp.225-230, 1994.를 참고한다.

(중심에서 벗어난 3D 포인트 제거)

도 7에 나타낸 바와 같이, RANSAC(random sampling consensus) 처리를 사용하여 분할된 객체를 형성하는 데이터 세트의 나머지 포인트들까지의 최소 평균 거리(minimum median distance)를 갖는 포인트를 검색함으로써 분할된 객체(710-711)의 3D 포인트의 COG(center of gravity)를 추정한다.

그 후, 분할된 객체는 아웃라이어(outlier)(720)를 제거하기 위해 처리될 수 있다(715). 아웃라이어에 대한 임계값은 평균 거리의 사전 결정된 배수로 설정되는데, 예를 들면 2개이다. 인라이어(inlier) 데이터는 다음의 방법으로 처리될 수 있다.

(키 측정)

3D 데이터 세트 즉, 3D 객체에 연관된 포인트와 사전 캘리브레이션된 그라운드 평면(730)이 주어지면, 키 측정(731-732)은 데이터 세트에서 최상단 포인트(최대키)(741-742)를 제공한다. 일반적으로, 보행자(성인)의 평균키는 휠체어 사용자의 키보다 훨씬 크다. 그러므로, 임계값 키(733)와의 비교는 휠체어에 있기에는 너무 큰 사람을 분류하는데 사용될 수 있다.

(형상 측정)

휠체어 사용자(711)가 계단 형상(751)을 닮아 있는 반면에, 서 있는 사람이나 보행자(710)는 평면(751) 형상일 수 있다. 그래서, 여기서의 처리는 평면을 데이터 세트에 맞추어 적합도(goodness-of-fit)를 측정하는 것이다. 평면 맞춤 처리를 제약하기 위해, 평면(751)이 실질적으로 수평면에 위치하는 그 평균(752)을 갖는 추정 COG를 통과한다. 그 후, 남아있는 자유도, 즉 수직축 주위의 회전을 통한철저한 검색은, 데이터 세트에서의 3D 포인트까지의 평균 수직 거리를 최소로 하는 평면의 위치를 결정한다. 이제 사람의 키에 대해 맞춰진 평면에 대한 평균 수직 거리의 비율에 의해 적합한 형상 측정이 제공된다. 이 비율은 성인이든지 어린이이든지, 보행자 또는 서 있는 사람에 대한 사전 결정된 임계값보다 작고, 휠체어 사용자보다 더 크다고 예상된다.

(변동하는 발 동작의 측정)

발의 변동(760)은 보행자의 강한 시각적인 신호이다. 반대로, 휠체어 사용자는 다리와 발 주위가 고정되어 있다. 그러므로, 객체의 바닥(761-762) 주위의 변동 동작을 체크하면 분류화에 도움이 될 수 있다.

전형적으로 약 50㎝의 고정된 높이보다 낮은 3D 데이터 세트에서의 모든 포인트들은 그라운드 평면에 조사된다. 그 후, 직선이 이 그라운드 평면 조사에 맞춰지게 된다. 보행자에 있어서, 보폭이 넓어지는 순간에 뒤 발과 앞 발 사이의 상당한 거리가 있다. 그러므로, 맞춰진 라인은 발 변경 위치대로 활보 중에 변동한다. 시간에 따른 라인의 각도에 사인파를 맞추는 것은 변동의 존재를 테스트할 수 있다. 반대로, 휠체어 사용자의 그라운드 평면 조사에 대한 각도의 측정은 그 반대이거나 일정하지 않은 방식으로 변화되기 쉽다.

비록 본 발명은 바람직한 실시예의 예로써 설명되었지만, 다양한 다른 적용과 변경이 본 발명의 정신 및 범주내에서 이루어질 수 있는 것이 이해될 것이다. 그러므로, 본 발명의 진정한 정신 및 범주내에서 이루어지는 모든 변경 및 수정을첨부된 청구 범위로 포괄하는 것이 목적이다.

본 발명은 보행자와 휠체어 사용자를 구별하는 방법 및 시스템을 제공한다.

구체적인 적용예에서, 시스템은 휠체어 적응 서비스가 제공될 필요가 있는 위치에서 휠체어 사용자의 존재를 검출한다. 예를 들면, 그 위치는 자동문 앞일 수 있으며, 시스템은 정상적인 경우보다 보다 오랜 시간동안 자동적으로 문을 열 수 있다.

또 다른 적용예에서, 휠체어 사용자가 엘리베이터 또는 다른 유형의 리프팅 장치를 기다리고 있다. 이 경우에 휠체어 사용자를 검출하면, 특성화된 엘리베이터 서비스가 제공될 수 있다. 예를 들면, 엘리베이터 바닥이 층과 보다 정확하게 맞춰질 수 있고, 엘리베이터 도어가 휠체어의 입출시에 보다 오랜 시간동안 열려 있게 할 수 있다. 또한, 휠체어를 운송하도록 특별히 설계된 엘리베이터 카가 휠체어 사용자를 서비스하는데 할당될 수 있거나, 또는 서비스하는 것이 우선시될 수있다.

종래 기술에서, 일반적으로 휠체어 사용자가 일정 위치에 위치한 버튼을 누름으로써 특정한 서비스에 대한 요구를 표현하는 것이 요구되었다. 그러나, 모든 휠체어 사용자들이 신호를 수동으로 활성화할 수 있는 것은 아니다. 수동 시스템이 비실용적이거나 또는 보다 덜 최적인 다른 이유가 있을 수 있다. 그러므로, 본 발명은 종래 기술의 수동 시스템을 대신에 완전 자동화 시스템을 채택한다.

본 발명은 일정 위치에 탑재된 복수의 카메라, 특히 캘리브레이션형 3안 현미경의 카메라 시스템을 포함하는 컴퓨터 비젼 시스템을 사용한다. 카메라는 일정 위치에서 장면의 일련의 이미지를 획득하고, 이미지는 4단계로 처리된다.

첫째로, 이미지 휘도 그래디언트를 사용하여 장면에서의 객체에 대한 에지를 검출한다. 둘째로, 스테레오 시차(disparity)를 사용하여 에지를 연결하여, 객체의 물리적 윤곽에 대응하는 체인을 형성한다. 세째로, 객체의 3D 재구성이 계산된다. 네째로, 장면에서의 각각의 객체는, 예를 들면 보행자 또는 휠체어 사용자로 분류된다. 이후, 분류 의존 동작이 수행될 수 있다. 장면에 복수의 객체가 있으면, 이것은 3D 재구성을 개별적인 객체로 분할함으로써 다뤄진다.

Claims

장면에서 물리적인 윤곽(contours)에 대응하는 스테레오 이미지(stereo images)의 에지를 체인(chains)으로 연결하는 방법으로서,

상기 스테레오 이미지의 에지를 검출하는 단계와,

상기 스테레오 이미지간에서 에지를 매칭시켜, 각각의 에지가 연관된 스테레오 매치(associated stereo matches)를 갖도록 하는 단계와,

상기 에지를 체인으로 연결하여, 각각의 체인으로 연결된 에지가 하나의 연관된 스테레오 매치를 갖도록 하는 단계와,

스테레오 시차(disparity)가 실질적으로 유사한 매치를 갖는 에지를 체인내에서 이웃하게 하는 단계

를 포함하는 스테레오 이미지의 에지를 체인으로 연결하는 방법.
제 1 항에 있어서,

2대 이상의 카메라로 스테레오 이미지를 획득하는 단계와,

하나의 스테레오 이미지를 주 이미지(a primary image)로, 나머지의 스테레오 이미지를 부 이미지(secondary images)로 식별하는 단계와,

상기 주 이미지의 각각의 에지에 대해서, 상기 부 이미지의 각각에 관한 에피폴라 라인(epipolar line)을 결정하는 단계와,

상기 각각의 에피폴라 라인에 대해서, 에지 정렬과 에피폴라 라인 사이의 각도차를 결정하여, 모든 상기 부 이미지에 걸쳐 최대 각도차를 찾고, 상기 최대 각도차에 연관된 부 이미지를 타겟 이미지(a target image)로서 식별하는 단계와,

나머지 부 이미지를 서포트 이미지(support images)로서 식별하는 단계와,

상기 주 이미지의 각각의 에지와 상기 타겟 이미지의 에피폴라 라인에 따른 에지에 대해서, 그래디언트 방향으로의 차를 측정하고, 상기 차가 제 1 임계값보다 크면, 매칭하는 어떠한 에지도 거부하는 단계와,

그렇지 않으면, 상기 주 이미지의 각각의 에지와 상기 타겟 이미지의 에피폴라 라인에 따른 에지에 대해서, 상기 에지에 이웃하는 픽셀의 휘도(intensities)의 차를 측정하고, 상기 차가 제 2 임계값보다 더 크면, 매칭하는 상기 에지를 거부하는 단계와,

그렇지 않으면, 상기 서포트 이미지의 대응하는 에지가 없으면, 매칭하는 어떠한 에지도 거부하는 단계와,

그렇지 않으면, 매칭하는 에지를 수락하는 단계

를 더 포함하는 스테레오 이미지의 에지를 체인으로 연결하는 방법.
제 2 항에 있어서,

상기 이웃하는 픽셀은 상기 에지의 그래디언트 방향으로 정렬되는 스테레오 이미지의 에지를 체인으로 연결하는 방법.
제 2 항에 있어서,

상기 주 이미지 및 타겟 이미지의 에지를 사용하여 각각의 서포트 이미지에 1쌍의 에피폴라 라인을 생성하고, 상기 에피폴라 라인의 교차점 주위의 윈도우에서 상기 서포트 이미지의 대응하는 에지를 검색하는 단계를 더 포함하는 스테레오 이미지의 에지를 체인으로 연결하는 방법.
제 1 항에 있어서,

복수의 연관된 스테레오 매치를 갖는 각각의 에지를 식별하는 단계와,

상기 스테레오 매치의 각각에 대해서, 연관된 에지 체인을 검사하는 단계와,

수락된 스테레오 매치에 가장 긴 연관된 에지 체인을 표시하고 다른 스테레오 매치를 거부하는 단계

를 더 포함하는 스테레오 이미지의 에지를 체인으로 연결하는 방법.
제 1 항에 있어서,

제 3 임계값보다 작은 스테레오 시차의 차를 갖는 에지만을 연결하는 단계를 더 포함하는 스테레오 이미지의 에지를 체인으로 연결하는 방법.
제 1 항에 있어서,

접속된 에지 픽셀의 그래프로서 메모리에 상기 체인을 저장하는 단계를 더 포함하는 스테레오 이미지의 에지를 체인으로 연결하는 방법.
제 1 항에 있어서,

상기 에지 체인과 매치를 사용하여 3D 재구성을 결정하는 단계를 더 포함하는 스테레오 이미지의 에지를 체인으로 연결하는 방법.
제 8 항에 있어서,

상기 장면은 복수의 객체를 포함하되,

상기 3D 재구성을 상기 장면에서의 각각의 객체에 대한 개별적인 재구성으로 분할하는 단계를 더 포함하는 스테레오 이미지의 에지를 체인으로 연결하는 방법.