KR20080036016A - 영상 분석을 위한 방법 및 이미지 평가 유닛 - Google Patents

Abstract

본 발명은 영상 분석을 위한 방법에 관한 것으로, 본 발명에 의해 영상 또는 영상 내 객체들과 광센서가 상대적 이동을 수행하고 획득된 영상 정보가 평가된다. 본 발명에 따르면, 영상의 시각적 정보가 광센서의 개별 픽셀들에 의해 검출되고; 명암도에 있어서 설정된 변동들의 픽셀 좌표들이 결정되고; 명암도에 있어서 설정된 변동들의 시간화가 결정되고; 픽셀들의 명암도에 있어서 변동들의 로컬 수집이 통계적 방법들에 의해 결정되고; 로컬 수집들이 통계적 방법들과 데이터 영역 클리어링 방법들에 의해 그들의 수 및/또는 위치에 관하여 평가되고; 결정된 값들이 검출된 영상 영역의 파라미터들로서 사용되고; 파라미터들 중에서 적어도 하나가 객체의 특징으로 고려된 사전-결정된 파라미터와 비교되고; 및 사전-결정된 비교 기준이 충족되는 경우, 각각의 영상 영역과 연관된 평가된 로컬 수집이 상기 객체의 이미지로서 보인다.

Description

영상 분석을 위한 방법 및 이미지 평가 유닛 {METHOD AND IMAGE EVALUATION UNIT FOR SCENE ANALYSIS}

본 발명은 청구항 1의 특징부에 따른 방법과 청구항 7의 전제부에 따른 이미지 평가 유닛에 관한 것이다.

본 발명은 광센서들에 의해 기록되는 정보의 프로세싱을 다룬다. 본 발명의 목적은 프로세싱 유닛으로 비동기 디지털 데이터를 전송하는 특별한 광 반도체 센서에 기초한 방법이고, 상기 프로세싱 유닛에서는 특별한 알고리즘들이 영상 분석을 위해 실행된다. 본 방법은 영상의 콘텐츠에 관한 선택된 정보를 전달하고, 상기 영상은 평가될 수 있고 예를 들면 기계들 또는 설비들 또는 유사 종류를 제어하기 위해 사용될 수 있다.

사용되는 센서들은 비동기적인 신호들의 형태로, 즉 영상 경험들이 변화하거나 또는 센서들의 개별 이미지 엘리먼트들이 영상에서 특정한 피쳐들을 검출하는 경우에만 사전-프로세싱된 영상 정보를 전달 또는 방출한다. 이러한 원리는 이미지 디스플레이와 비교하여 적지 않은 결과 데이터 세트들을 감소시키고 동시에 영상들의 특성들을 이미 추출함으로써 데이터의 정보 콘텐츠를 증가시킨다.

종래의 디지털 이미지 프로세싱을 이용한 영상 검출은 이미지 센서에 의해 전달되는 이미지 정보의 평가에 기초한다. 통상적으로, 그럼으로써 상기 이미지는 순차적으로 이미지 센서로부터 소정 주기로(동기적으로) 초당 수차례 이미지 지점별로 판독되고, 데이터에 포함된 영상에 관한 정보가 평가된다. 커다란 데이터 세트들과 비싼 평가 방법들로 인해, 적합하게 효율적인 프로세서 시스템들을 이용할지라도, 이러한 원리는 하기 문제점들로 제한된다 :

1.) 디지털 전송 채널들의 데이터 속도가 제한되고 고성능 이미지 프로세싱의 일부 작업들을 위해 충분히 크지 않다.

2.) 효율적인 프로세서들이 많은 특히 이동 애플리케이션들을 위해 너무 많은 전력을 소모한다.

3.) 효율적인 프로세서들이 활성 냉각을 요구한다. 이러한 타입의 프로세서들을 이용하여 동작하는 시스템들은 그러므로 충분히 조밀하게 많은 애플리케이션들을 위해 조립될 수 없다.

4.) 효율적인 프로세서들이 다수 분야들의 애플리케이션을 위해 너무 비싸다.

본 발명에 따르면, 이러한 단점들이 청구항 1의 특징부에 기재된 특징들에 의해 극복된다. 본 발명에 따른 이미지 평가 유닛은 청구항 7의 특징부의 특징들에 의해 특징화된다. 본 발명에 따른 방법에 의해, 신호들의 신속한 프로세싱과 관찰된 영상의 중요한 정보에 대한 상응하게 신속한 식별이 이루어진다. 사용되는 통계적 방법들은 객체들의 식별 또는 관심대상 영상 파라미터들에 있어서 정확한 평가를 수행한다.

본 발명은 예로써 도면을 참조하여 하기에서 더욱 상세하게 기술될 것이다.

도 1은 종래의 통상적인 방법들과 본 발명에 따른 방법의 차이점에 대한 개략도,

도 2는 본 발명에 따른 이미지 평가 유닛의 도면, 및

도 3a 및 도 3b 그리고 도 4 및 도 5는 기록된 이미지들을 참조하는 본 발명에 따른 방법에 대한 개략도.

종래 기술과 본 발명에 따른 방법 사이의 차이점이 도 1에 상세하게 기술된다. 지금까지, 이미지 센서에 의해 전달되는 정보 또는 데이터는 동기적으로 전달되었고, 디지털 이미지 사전-프로세싱과 영상 분석 이후에 결과들은 장치들의 인터페이스를 통해 전송되었다(도 1a).

본 발명에 따르면, 광센서의 이미지 신호들이 특정 방식으로, 즉 광센서의 이미지 엘리먼트들에 있는 포토센서에 의해 기록되는 명암도 정보가 아날로그 전자 회로에 의해 사전-프로세싱되도록 하는 방식으로 프로세싱된다. 상당히 일반적으로, 여러 인접한 포토센서들의 신호들에 대한 프로세싱이 이미지 엘리먼트에서 결합될 수 있다는 것이 알려져 있다. 이미지 엘리먼트들의 출력 신호들은 비동기적으로 센서의 인터페이스를 통해 디지털 데이터 평가 유닛에 전달되고, 상기 디지털 데이터 평가 유닛에서는 영상 분석이 수행되고, 상기 평가의 결과가 장치의 인터페 이스에서 이용될 수 있다(도 1b).

본 발명에 따른 방법은 개략적으로 도 2를 참조하여 기술된다. 도 2에 의해, 영상이 광센서(1)의 이미지 평면상에 광 기록 유닛(도시되지 않음)을 통해 나타난다. 시각적 정보가 센서의 이미지 엘리먼트들에 의해 검출되고 연속적으로 이미지 엘리먼트들의 전자 회로들에서 프로세싱된다. 특정한 피쳐들이 영상 콘텐츠에서 상기 프로세싱에 의해 실시간으로 식별된다. 이미지 콘텐츠에서 검출될 피쳐들은 특히 정적 에지들, 명암도의 로컬 변화들, 광 흐름 등일 수 있다.

피쳐의 검출은 하기에서 "이벤트"로서 기술될 것이다. 이벤트의 각각의 발생에 의해, 디지털 출력 신호가 실시간으로 비동기적 데이터 버스에 위치한 이미지 엘리먼트에 의해 생성된다. 상기 신호는 이미지 엘리먼트의 주소를 포함하고, 따라서 피쳐가 식별되었던 이미지 필드의 좌표들을 포함한다. 상기 데이터는 하기에서 "주소-이벤트"(AE)로 불릴 것이다. 부가하여, 피쳐의 추가 특성들, 특히 발생 시각이 데이터에 코딩될 수 있다. 센서(1)는 상기 정보를 관련 데이터로서 비동기적 데이터 채널을 통해 프로세싱 유닛(CPU)에 송신한다. 버스 제어기(2)는 전송 채널상에서의 데이터 충돌들을 방지한다. 어떤 경우에, 비동기적 전송 프로토콜로 인한 불규칙한 데이터 속도들의 균형을 잡기 위하여 버퍼 저장소(3), 예를 들면 FIFO를 센서와 프로세싱 유닛 사이에 사용하는 것이 유용할 수 있다(도 2).

본 발명에 따른 방법은 특별히 설계된 센서, 데이터 전송과 제공된 통계적/수학적 데이터 프로세싱 방법들의 조합으로 이루어진다. 제공되는 센서는 빛 명암도의 변화들을 검출하고 따라서 예를 들면 영상에서 이동 에지들 또는 밝고/어두운 경계선들에 대하여 반응한다. 센서는 각각의 이미지 엘리먼트의 포토센서의 광전류 변화들을 추적한다. 이러한 변화들이 각각의 이미지 엘리먼트를 위한 통합기에 부가된다. 변화들의 합이 임계값을 초과하는 경우, 이미지 엘리먼트는 상기 이벤트를 즉시 비동기적으로 데이터 버스를 통해 프로세싱 유닛에 송신한다. 각각의 이벤트 이후에, 통합기의 값이 삭제된다. 광전류의 양의 변화들과 음의 변화들이 별도로 프로세싱되고 상이한 극성의 이벤트들(소위 "온" 이벤트들과 "오프" 이벤트들)을 생성한다.

사용되는 센서는 종래 관점으로는 임의의 이미지들을 생성하지 않는다. 그러나, 더 잘 이해되도록 하기 위하여, 이벤트들의 이차원 묘사들이 하기에서 사용된다. 이를 위해, 각각의 이미지 엘리먼트를 위한 이벤트들이 임의의 시간 간격 내에서 헤아려진다. 백색 이미지 지점이 이벤트들 없이 이미지 엘리먼트들에 할당된다. "온" 이벤트들 또는 "오프" 이벤트들을 갖는 이미지 엘리먼트들은 회색 이미지 지점들 또는 흑색 이미지 지점들로 도시된다.

디지털 이미지 프로세싱 용어들과 혼동되지 않도록 하기 위하여 하기 실시예들을 위한 용어가 도입된다 :

AE 프레임이 AE들로서 정의되어 한정된 시간 간격 내에서 생성된 버퍼 저장소에 저장된다.

AE 이미지는 색 값들 또는 회색 값들이 이벤트들의 극성과 주파수에 할당되는 이미지의 AE 프레임에 대한 도면이다.

도 3은 빛 명암도의 변화들에 반응하는 센서에 의해 생성된 (a) 영상의 비디 오 이미지와 (b) 상기 동일한 영상의 AE 이미지를 나타낸다. 데이터 프로세싱 유닛(CPU)에서는, 상기 영상의 피쳐들이 통계적/수학적 방법들에 의해 검사되고 영상 콘텐츠에 관한 상위 원자가의 추상 정보가 획득된다. 이러한 정보는 예를 들면 임의의 영상의 사람 수 또는 차도에서 차량들의 속도와 간격일 수 있다.

데이터 세트가 원래 이미지보다 훨씬 더 작다는 것은 용이하게 파악될 수 있다. 이벤트들의 프로세싱은 디지털 이미지 프로세싱보다 더욱 적은 계산들과 저장을 요구하고, 그러므로 훨씬 더 효율적으로 달성될 수 있다.

사람들에 대한 룸 카운터가 이미지 센서를 장착함으로써 예를 들면 룸의 중앙 천장에 구현될 수 있다. 개별 이벤트들은 프로세싱 유닛에 의해 사람의 근사 크기를 갖는 이미지 필드의 상응하는 정사각형 영역들에 할당된다. 이동중인 객체들에 의해 덮이는 표면의 간단한 평가는 단순한 통계적 방법들과 보정 메커니즘을 통해 가능하다. 이것은 센서의 시야 필드에 있는 사람 수에 비례한다. 사람 수에 대한 계산 비용은 이 경우 낮고, 결과적으로 상기 시스템이 간단하고 경제적인 마이크로프로세서들에 의해 구현될 수 있다. 사람들 또는 객체들이 센서의 이미지 필드에서 이동하지 않는 경우, 아무런 이벤트들도 생성되지 않고, 마이크로프로세서는 시스템의 전력 소모를 상당히 최소화하는 절전 모드로 스위칭할 수 있다. 이것은 종래 기술에 따른 이미지 프로세싱 시스템들에서는 불가능한데, 그 이유는 센서 이미지가 사람들에 대하여 항상 프로세싱되어 검사되어야만 하기 때문이다.

사람들에 대한 문 카운터의 경우, 이미지 센서가 룸의 문 또는 다른 입구나 출구 위에 장착된다. 사람들은 시야에 있어서 방해받지 않고 AE들은 사람들이 관 찰 영역을 통과해 지나갈 때 축들 상에서(예를 들면 수직축들 상에서) 투사되어 이러한 방식으로 히스토그램에 부가된다(도 4). 사람이 센서 아래에서 문을 통과해 이동하는 경우, 이동 방향으로 연장되는 하나 이상의 피크들(1)이 히스토그램에서 검출될 수 있다. 통계적 가중치에 의해, 이동 방향과 최대치 계산이 오작동들에 대해서 안전할 수 있다. 각각의 AE 프레임을 위해, 이벤트들의 최대 횟수를 포함하는 히스토그램의 인덱스가 결정되어 최종 AE 프레임의 인덱스와 비교된다. 인덱스가 시프트하면, 상기 인덱스는 사람이 이동중이고 해당하는 이동 방향에 대한 확률이 증가하고 있다는 사실에 대한 지시자이다. 확률은 임계값이 획득되기 전까지 증가한다. 이 경우, 사람이 헤아려지고 양쪽 확률들 모두 정의된 값들로 리셋된다. 이러한 방식으로, 시스템이 들어오는 사람들과 나가는 사람들 사이를 구별하고 사람들이 방에 들어오거나 방을 떠날 때 카운터를 증가시키거나 감소시키는 것이 가능해진다. 양쪽 확률들을 리셋하는 것은 높은 활동성이 시야 필드에서 보편화되는 경우 알고리즘이 더욱 확실하게 되도록 하기 위하여 유용하다. 음의 값들을 선택함으로써, 인공적 시간 상수가 사람들의 이중 카운팅을 방지하기 위해 도입된다. 나란히 걷고 있는 여러 사람들이 이동 방향을 따르는 다양한 "트랙들"로의 투사 영역들의 분할에 의해 식별된다.

많은 안전 통로들이 보행자들에 관하여 운전자들에게 경고하는 경고성 빛들에 의해 식별된다. 이러한 경고성 빛들은 시계 주위에서 번쩍이고 종종 자동차 운전자들에 의해 무시되는데, 왜냐하면 운전자들이 대부분의 경우 임의의 실제 위험을 지시하지 않기 때문이다. 보행자가 차도를 가로지르거나 안전 통로에 접근하는 경우에만 경고성 신호를 방출하는 지능적 센서들은 경고성 빛들에 더 큰 관심을 보임으로써 교통 안전을 향상시키는데 기여할 수 있다. 안전 통로들에서의 경고성 빛들의 자동 활성화를 위해, 안전 통로들과 그들의 바로 옆 주변들을 감시하고 차도를 가로지르고 있는 객체들(사람들, 자전거 타는 사람들,...)을 식별할 수 있는 이미지 센서와 디지털 프로세서가 사용된다.

이미지 센서와 단순한 디지털 프로세싱 유닛으로 구성된 제안된 시스템은 안전 통로의 부근과 상기 안전 통로 위에 있는 사람들과 차량들을 데이터 흐름으로 구분하고 추적할 수 있다(도 5). 시스템에 의해 식별되는 객체들의 크기와 속도는 보행자와 차량들의 카테고리들로의 분할을 가능하게 한다. 도 5는 두 시간 지점들에서 센서에 의해 기록된 영상을 보여주며, 상응하는 AE 이미지들과 개별 객체들 및 그들의 이동 방향을 식별하는 수학적/통계적 평가의 결과를 검출한다. 일정한 관찰 기간 이후에, 시스템이 정적 개념에 기초한 검사 방법들을 이용함으로써 차도들, 인도들 및 안전 통로들의 위치 및 방향 정위를 식별하는 것이 가능하다. 결과적으로, 경고가 그런 다음에 안전 통로를 향해 또는 안전 통로 상에서 이동중인 각각의 보행자에 관해 발행될 수 있다. 예를 들어 차도와 나란히 있는 인도들 상에서 이동하는 보행자는 자신들의 식별된 이동 방향으로 인해 임의의 경고를 발하지 않는다.

그러나, 단순한 센서들(예를 들면, 적외선 이동 센서들)을 이용한 시스템들은 안전 통로들 부근에 있는 사람의 존재만을 식별할 수 있고, 사람들의 이동 방향을 검출할 수는 없으며, 따라서 안전 통로들 상에 직접 있는 보행자들에 관해서만 특정하게 경고한다.

Claims (8)

1. 상기 방법에 의해 영상 또는 영상 내 객체들과 상기 광센서가 상대적 이동을 수행하고 획득된 상기 영상 정보가 평가되도록, 영상 정보가 광센서에 의해 기록되는 영상 분석 방법으로서,

   상기 영상의 시각적 정보가 상기 광센서의 개별 이미지 엘리먼트들에 의해 검출됨으로써, 상기 개별 이미지 엘리먼트들은 기록된 빛의 명암도의 상대적 변화(명암비) 또는 소정의 임계값을 초과하는 명암도의 절대적 변화가 결정되는 경우 출력 신호를 방출하고, 상기 출력 신호는 기록된 영상 지점과 광센서 사이에서 발생하는 상대적 이동 및/또는 영상 콘텐츠의 변화에 관련되어 고려되고,

   상기 결정된 명암도 변화들의 위치들 또는 이미지 엘리먼트 좌표들이 결정되거나 기록되고,

   특히 시점과 순서인 설정된 명암도 변화들의 시간화가 결정되거나 기록되고,

   이미지 엘리먼트들의 명암도 변화들의 로컬 축적물들이 통계적 방법들, 특히 평균화, 히스토그램들, 중대 지점들 상 집중, 문서 또는 명령 형성 방법들, 시간에 따른 필터링 또는 등등에 의해 결정되고,

   상기 로컬 축적물들이 특히 축적물 밀도의 연대기적 변화 및/또는 로컬 분포의 변화를 고려하는 통계적 방법들, 예를 들면 가중화, 수 및/또는 위치에 대한 임계값들 설정, 데이터 영역 클리어링 방법들 또는 등등에 의해 평가되고,

   결정된 값들이 파라미터들, 예를 들면 검출된 영상 영역의 크기, 속도, 이동 방향, 형태 또는 등등으로서 고려되고,

   적어도 하나의 파라미터, 바람직하게는 다수의 파라미터들이 적어도 하나의 소정 파라미터, 바람직하게는 객체에 대한 특징으로 고려되는 다수의 파라미터들과 비교되고, 및

   미리 결정된 비교 기준이 충족되는 경우, 각각의 영상 영역과 연관된 상기 평가된 로컬 축적물(들)이 상기 객체의 이미지로서 보이는,

   영상 분석 방법.
2. 제 1 항에 있어서,

   상기 로컬 축적물들은 기록된 영상을 통해 진행된 명암도의 선형성 관련 변화가 검사되고, 사전 설정된 양을 초과하거나 연관된 것으로서 평가된 이러한 타입의 명암도 변화들은 상기 광센서에 관련하여 이동하는 객체의 궤도로서 보여지는,

   영상 분석 방법.
3. 제 1 항 또는 제 2 항에 있어서,

   로컬 축적물의 크기 변화가 센서에 접근중이거나 상기 센서로부터 멀어져 이동중인 객체로서 해석되는,

   영상 분석 방법.
4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,

   축적물들 구조의 연대기적 및/또는 공간적 변화가 영상 영역의 특정한 피쳐에 대한 특징으로서 보이는,
5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,

   각각의 이미지 엘리먼트에서, 명암도 변화들로 인해 발생하는 광전류의 변화가 감시되고 생성되거나 적분되고, 이미지 엘리먼트의 임계값이 초과되는 경우, 신호가 즉시 비동기적으로 프로세싱 유닛에 방출되고, 합산 또는 적분이 특히 각각의 신호 방출 이후에 다시 시작하는,

   영상 분석 방법.
6. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,

   상기 광전류의 양의 변화들과 음의 변화들이 별도로 결정되거나 검출되고 프로세싱되거나 평가되는,

   영상 분석 방법.
7. 영상 또는 영상 내 객체들과 광센서가 서로에 대하여 그리고 획득된 영상 정보를 위한 평가 유닛을 이용하여 상대적 이동을 수행하고, 특히 제 1 항 내지 제 6 항 중 어느 한 항에 따른 방법을 수행하기 위해 상기 광센서가 영상의 시각적 정보를 검출하는 이미지 엘리먼트들을 갖는, 영상 정보를 기록하기 위한 이미지 평가 유닛으로서,

   기록된 빛의 명암도의 상대적 변화(명암비) 또는 사전 설정된 임계값을 초과하는 명암도의 절대적 변화가 결정되는 경우 개별 이미지 엘리먼트들 또는 픽셀들이 출력 신호를 방출하고, 상기 출력 신호는 기록된 영상 지점과 광센서 사이에서 발생하는 상대적 이동 및/또는 영상 콘텐츠의 변화와 관련되고,

   상기 결정된 명암도 변화들의 위치들 또는 이미지 엘리먼트 좌표들을 결정하고, 상기 결정된 명암도 변화들의 시간화, 특히 시점과 순서를 결정하기 위한 유닛이 제공되고,

   이미지 엘리먼트들의 명암도 변화들의 로컬 축적물들이 통계적 방법들, 특히 평균화, 히스토그램들, 중대 지점들 상 집중, 문서 또는 명령 형성 방법들, 시간에 따른 필터링 또는 등등에 의해 결정되는 계산기 유닛이 상기 결정 유닛에 제공되거나 할당되고,

   특히 축적물 밀도의 연대기적 변화 및/또는 로컬 분포의 변화를 고려하여 로컬 축적물들이 통계적 방법들, 예를 들면 가중화, 수 및/또는 위치에 대한 임계값들 설정, 데이터 영역 클리어링 방법들 또는 등등에 의해 평가되도록 하는 평가 유닛이 제공되고, 그럼으로써 결정된 값들이 파라미터들, 예를 들면 검출된 영상 영역의 크기, 속도, 이동 방향, 형태 또는 등등을 나타내고,

   적어도 하나의 파라미터, 바람직하게는 다수의 파라미터들을 적어도 하나의 사전 설정된 파라미터, 바람직하게는 객체의 특징으로 고려되는 다수의 파라미터들과 비교하는 비교 유닛이 평가 유닛에 제공되거나 할당되고, 및

   사전 결정된 비교 기준이 충족되는 경우, 각각의 영상 영역과 연관된 상기 평가된 로컬 축적물이 상기 객체의 이미지로서 보여지는,

   이미지 평가 유닛.
8. 컴퓨터상에서 수행되는 경우 제 1 항 내지 제 6 항 중 어느 한 항에 따른 방법을 수행하기 위하여 컴퓨터-판독 가능 데이터 캐리어상에 저장된 프로그램 코딩 수단을 이용한 컴퓨터 프로그램 제품.

Images