KR20080002739A - 동작 검출 장치 및 동작 검출 방법 - Google Patents

동작 검출 장치 및 동작 검출 방법 Download PDF

Info

Publication number
KR20080002739A
KR20080002739A KR1020077008850A KR20077008850A KR20080002739A KR 20080002739 A KR20080002739 A KR 20080002739A KR 1020077008850 A KR1020077008850 A KR 1020077008850A KR 20077008850 A KR20077008850 A KR 20077008850A KR 20080002739 A KR20080002739 A KR 20080002739A
Authority
KR
South Korea
Prior art keywords
block
signal
reaction
motion detection
image
Prior art date
Application number
KR1020077008850A
Other languages
English (en)
Inventor
하쓰오 하야시
Original Assignee
고쿠리츠 다이가쿠 호진 큐슈 코교 다이가쿠
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고쿠리츠 다이가쿠 호진 큐슈 코교 다이가쿠 filed Critical 고쿠리츠 다이가쿠 호진 큐슈 코교 다이가쿠
Publication of KR20080002739A publication Critical patent/KR20080002739A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

동화상에 포함되는 물체 이미지의 위치나 움직임을 실시간으로 정밀도 높게 검출 해석하는 동작 검출 장치를 제공하는 것을 목적으로 한다. 에지 동화상의 프레임 내의 화상 블록 내에 에지 이미지가 포함되는 경우에는 에지 검출 신호를 출력하는 에지 블록 검출 수단(7), 및 움직임 검출 방향의 움직임을 검출하는 움직임 검출 블록이 각각의 화상 블록에 대응하여 배열된 움직임 검출 블록 집합체(8, 9)를 구비한다. 움직임 검출 블록은 대응하는 화상 블록에 대해 움직임 검출 방향과 반대측에 인접하는 화상 블록의 에지 검출 신호가 검출된 경우 경시 정보를 생성하고, 당해 경시 정보를 갱신하면서 유지한다. 당해 움직임 검출 블록에 대응하는 화상 블록에 대한 에지 검출 신호가 출력된 경우, 그 시점에서 유지하고 있는 상기 경시 정보를 출력한다.
동화상, 동작 검출 장치, 에지, 프레임, 경시 정보, 물체 이미지

Description

동작 검출 장치 및 동작 검출 방법{OPERATION DETECTION DEVICE AND OPERATION DETECTION METHOD}
본 발명은 동화상(dynamic image)에 포함되는 물체 이미지의 위치나 움직임을 실시간으로 검출 해석하는 동작 검출 기술에 관한 것이다.
이동체에 있어서, 이동중의 안전을 확보하는 것은 중요한 과제이다. 이동중의 안전을 확보하는 기술은 많은 장면에서 이용되고 있으며, 예를 들면 자동차의 안전 운전에 관한 경보 장치, 네비게이션 장치, 자동 운전 장치, 자동 청소기 등을 들 수 있다. 이들 장치를 실현하기 위해서는 촬상(撮像)된 전방의 동화상으로부터 물체 이미지의 움직임을 실시간으로 검출 해석하는 동작 검출 기술이 필요 불가결하다.
동화상에 포함되는 물체 이미지의 동작을 검출하는 기술로는 옵티컬 플로우(optical flow)를 이용한 동작 검출 방법이 알려져 있다. 옵티컬 플로우란, 화면상의 각각의 점의 속도장(速度場)을 말한다. 이 경우, 우선 동화상의 어느 프레임 F1과 일정시간 후의 프레임 F2의 2장의 프레임을 복수의 소영역으로 분할한다. 그 리고, 프레임 F2 중에서, 프레임 F1 내의 각각의 소영역과 가장 상관이 높은 소영역을 탐색하여 각각의 소영역의 옵티컬 플로우가 산출된다. 옵티컬 플로우를 검출함으로써 물체 이미지의 이동 방향이나 속도 및 카메라로부터의 거리에 관한 정보를 얻을 수 있다.
도20은 옵티컬 플로우를 이용한 이동체의 검출 장치를 개략적으로 도시한 블록도이다(특허문헌 2, 도7 참조). 도20에 있어서, 우선 카메라(101)로 촬영된 화상 신호(G)는 AD 변환기(102)에 의해 디지털 신호의 화상 신호(D)로 변환된다. 어느 시각과 그 시각으로부터 소정 시간 경과 후 시각의 2개의 화상 신호(Da, Db)는 한 쌍의 메모리(103a, 103b)에 저장된다. CPU(105)는 각각의 메모리(103a, 103b)의 화상 데이터(Da, Db)를 상관 연산기(104)에 입력시킨다. 상관 연산기(104)는 주목받는 각각의 소영역Ai , j(∈Da)마다 그 근방의 소영역Bi , j(∈Db)에 대해 화상 상관 연산을 행하고, 소영역Bi , j에서 가장 상관이 높은 소영역Bm , n을 탐색한다. 그리고, CPU(105)는 소영역Ai , j의 이동 여부를 판정한다. CPU(105)는 이동이 판정된 소영역Bm, n을 상관 데이터로 하고, 이 상관 데이터를 수퍼임포저(superimposer)(106)에 의해 화상(G)에 중첩시킨다. 중첩된 화상은 CRT(107)에 표시된다.
옵티컬 플로우의 연산에서는, 각각의 소영역마다 상관 연산이 행해지기 때문에 계산량이 방대해지고 처리 시간이 길어진다. 그래서 실시간 처리가 요구되는 경우에는 도20에 도시된 바와 같이, 메모리(103a, 103b) 및 상관 연산기(104)를 병렬화함으로써 연산의 고속화가 도모된다.
상술한 바와 같은 옵티컬 플로우를 이용한 동작 검출 기술로는 예를 들면 특허문헌 1에 기재된 기술이 알려져 있다. 특허문헌 1에 기재된 장해물 검출 방법으로는 우선 차량에 구비된 화상 취득 수단에 의해 당해 차량의 진행 가능한 방향의 소정 범위의 화상을 촬영한다. 다음으로, 차량에 구비된 연산 수단은 받아들인 화상을 이용하여 옵티컬 플로우를 산출한다.
계속해서 연산 수단은 산출한 옵티컬 플로우에 기초하여 화상 상의 차량의 진행 방향을 특정한다. 이 경우, 우선 복수의 옵티컬 플로우(V1, V2, V3, …)를 산출한 후, 이들 벡터의 분출구가 되는 이른바 무한원점 P를 산출한다. 예를 들면 각각의 벡터(V1, V2, V3, …)를 당해 벡터의 방향과는 반대 방향으로 연장하고, 이들 교점을 무한원점 P로 한다. 그리고, 이 무한원점 P를 차량의 진행 방향으로 인식하고, 또한 화상 상에서 무한원점 P를 중심으로 하여 미리 정한 일정한 크기의 범위를, 앞으로 주의해야 할 장해물을 검출하는 범위(진행 방향 에어리어)로서 설정한다.
또한 차량에 구비된 거리 계측 수단에 의해, 촬영 범위에 존재하는 장해물과의 거리를 계측한다. 그리고, 연산 수단은 거리 계측 공정에서 계측한 촬영 범위에 존재하는 장해물과의 거리 중, 진행 방향 에어리어의 화상 상에서의 소정의 범위 내에 존재하는 장해물과의 거리에 기초하여 당해 장해물이 차량에 대해서 주의해야 할 장해물인지의 여부를 판단한다. 이 장해물 판단 기능에 의해 주의해야 할 장해물이라고 판단된 경우에는 경보 발생 수단에 의해 경보를 출력할 수 있다.
또한 도20과 같이, 고속화를 위해 메모리(103a, 103b)와 상관 연산기(104)를 병렬화하면 회로 규모가 방대해지고 소비 전력의 증가나 단가 상승을 초래한다. 그래서, 특허문헌 2에는, 간단한 장치 구성에 의해 단가 감소를 꾀하는 것과 함께, 화상 데이터의 고속 처리를 가능하게 한 이동체 검출 장치가 기재되어 있다. 도21은 특허문헌 2에 기재된 이동체 검출 장치의 구성을 도시한 블록도이다.
이 경우, 우선 카메라(101)에 의해 촬영된 화상 신호(G)는 AD 변환기(102)에 의해 디지털 신호의 화상 데이터(D)로 변환된다. 화상 데이터(D)는 수평 에지 검출부(110)로 입력된다. 수평 에지 검출부(110)는 화상 데이터(D) 내의 주목 화소와 주목 화소에서 소정 화소 만큼 떨어져서 아래에 있는 화소와의 차분을 취하는 것에 의해 수평 에지(Eh)를 검출한다. 계속해서, 수평 에지 가산부(111)는 검출된 수평 에지(Eh)를 2치화(binarization)한 후에 가산하여 히스토그램의 도수가 되는 데이터를 구한다. 이 가산 결과에서 얻어지는 데이터는 CPU(105) 및 수퍼임포저(106)에 입력된다.
CPU(105)에서는 수평 에지(Eh)의 히스토그램 데이터(도수)로부터, 임계값 c 이상의 수직위치 q1 및 q2를 구한다. 그리고 화면의 가장 아래쪽에 위치하는 수직위치 q2를 이번 장해물의 후보 위치 q(tn)으로 한다. 이어서, CPU(105)는 장해물이 이동하였는지 여부를 검출한다. 이 경우, 소정 시간 전의 장해물 후보의 위치 q(tn -1)과 이번에 검출된 장해물 후보의 위치 q(tn)의 수직 방향의 이동량을 구한다. 이 이동량이 검출되면 이동체가 존재한다고 판정된다.
마지막으로, 수퍼임포저(106)는 카메라(101)로부터 얻어지는 화상 신호(G)와 CPU(105)에서의 연산에 의해 얻어지는 이동체를 중첩하여, CRT(107)에 표시한다. 이렇게 수평 에지의 히스토그램을 검출한다는 간단한 연산에 의해 이동체 검출을 행함으로써, 하드웨어 구성의 간략화를 꾀하여 이동체 인식 처리의 고속화를 도모하고 있다.
(특허문헌 1) 특개 2004-349926호 공보
(특허문헌 2) 특개평 7-280517호 공보
(특허문헌 3) 특개 2003-281543호 공보
`그러나, 상기 특허문헌 1의 방법에서는 옵티컬 플로우를 산출하는데 화상 소영역의 상관 연산을 행할 필요가 있고, 다량의 계산량을 필요로 하기 때문에, 어느 정도의 연산 시간을 필요로 한다. 따라서, 고속으로 이동하는 차량으로부터 물체 이미지의 움직임을 검출하는 경우와 같이 실시간으로 물체 검출을 행할 필요가 있는 경우에는, 연산량을 줄이기 위해 화상 안에서 옵티컬 플로우의 연산을 행하는 점을 샘플링하고, 특정 점에 대해서 움직임 검출을 행한다는 처리가 필요하다. 이 때문에 움직임의 검출 정밀도가 낮아진다는 문제가 있다.
또한 특허문헌 2의 방법은 적은 하드웨어 구성으로 고속으로 이동체의 검출을 행할 수 있다. 그러나, 이동체가 존재하는 것과 그 수직 방향 위치 검출은 자동화되어 있지만, 이동체의 수평 방향 위치는 눈으로 확인할 필요가 있다. 또한 이동체의 크기에 관해서도 불명확하다. 또한 화상 내에 있는 이동체의 속도에 대해서도, 수직 방향의 속도 이외에는 검출할 수 없다. 또한 복수의 이동체가 동시에 화면 위에 나타난 경우, 하나의 이동체 밖에 검출할 수 없다. 따라서, 경보 장치, 네 비게이션 장치, 자동 운전 장치, 자동 청소기 등의 고도의 장해물 검출 정밀도가 요구되는 장치에 적용하기에는 충분한 것이라고 할 수 없다.
그래서, 본 발명의 목적은 간단한 하드웨어 구성에 의해, 동화상 내에 포함되는 물체 이미지의 위치나 움직임을 실시간으로 정밀도 높게 검출 해석하는 것이 가능한 동작 검출 기술을 제공하는 것에 있다.
여기에서는 우선 본 발명의 기본적인 개념에 대해서 설명을 하고, 계속해서 본 발명의 구성 및 적용에 대해서 설명한다.
〔1〕본 발명의 기본적인 개념
뇌의 해마(C3) 영역에서는 학습 결과, 신호 입력 부위로부터 뉴런 활동이 파문상(波紋狀)으로 넓어지게 된다. 이것은 뉴런 활동의 방사상 전달로 불린다. 이 파문의 반경은 신호가 입력되고부터의 시간에 의존한다. 따라서, 복수의 신호가 상아한 장소에 입력되면, 각각의 입력 부위로부터 생긴 뉴런 활동의 파문의 반경은 각각의 신호가 입력된 시간에 의존하고, 반경의 크고 작음이 신호의 시간적 순서 관계를 반영하게 된다.
그래서, 본 발명자는 뉴런 활동의 방사상 전달에 기초한 해마의 시계열 학습 기구에 기초하여, 전방 시야 안에 있는 물체의 위치, 속도, 방향을 동시에 실시간으로 검출할 수 있는 시계열 정보 처리 시스템으로서 본 발명을 발명하기에 이르렀다.
본 발명에 따른 동작 검출 장치의 기본 구조는 도1에 도시한 바와 같은 해마의 시계열 학습 기구를 모방한 것이다. 입력 신호로는 시계열에서 주어지는 화상 정보(화상 프레임의 열)를 이용한다(도1(a) 참조). 이들 화상 프레임(1)을, 도1(a)과 같이, 중심을 통과하는 동경(動徑)과 동심의 사각형에 의해 눈금으로 구분한다. 눈금의 수, 한 눈금의 크기, 눈금 내의 화소의 수 등은 요구되는 공간 분해능이나 시간 분해능에 의존하여 적당하게 정해진다.
또한 본 발명에서 눈금의 구분 방법은 도1(a)와 같은 것에 한정되는 것이 아니라, 예를 들면 동심원상(狀)의 눈금이나 단순한 사각형 격자상(狀)의 눈금 등, 여러가지를 선택하는 것이 가능하다.
화상 정보로서는 물체의 윤곽(에지 이미지)을 이용하는데, 윤곽 추출(에지 추출)에는 기존의 기술을 이용할 수 있다. 예를 들면 움직이는 물체의 윤곽을 실시간으로 검출하는 비전 칩의 출력 화상을 사용할 수 있다.
한편, 화상 프레임(1)과 마찬가지로 눈금으로 구분된 CA3 네트(출력층)(2)를 준비한다. CA3 네트(2)의 각각의 눈금 안에는 그물 모양으로 결합한 다수의 유닛(뉴런)이 존재하고 있는 것으로 한다. 도1(b)는 도1(a)의 화상 프레임(1)을 상하좌우 4개의 사분면(이하 '상사분면', '하사분면', '좌사분면', '우사분면'이라 한다.)으로 분할했을 때의 상사분면에 대응하는 CA3 네트(2)를 나타내고 있다. 그 밖의 사분면(하사분면, 좌사분면, 우사분면)에 대해서도, 마찬가지로 CA3 네트(2)를 준비한다.
또한 여기에서는 설명의 편의상, 각각의 사분면마다 CA3 네트(2)가 분할되어 있는 것으로 하는데, 본 발명에서는 화상 프레임(1) 전체에 대응하는 1개의 CA3 네트(2)를 사용하는 것도 가능하다.
또한 각각의 CA3 네트(2)에 대응하여 CA1 네트(중간층)(3)를 준비한다(도1(d) 참조). CA1 네트(3)의 각각의 눈금 안에는 CA3 네트(2)와 마찬가지로, 그물 모양으로 결합한 다수의 유닛(뉴런)이 존재하고 있는 것으로 한다.
또한 도1에 있어서, 화상 프레임(1)의 눈금(B, C)은 각각 CA3 네트(2)의 눈금(B3, C3), 및 CA1 네트(3)의 눈금(B1, C1)과 대응하고 있고, 도1(c)의 CA3 네트(2)의 눈금(D3)은 CA1네트(3)의 눈금(D1)과 대응하고 있다.
우선 시각 t의 화상 프레임(1)에 있어서, 도1(a)의 눈금(B)의 프레임 중심 방향에 인접하는 눈금에 존재하고 있던 물체의 윤곽(에지 이미지)이 눈금(B)으로 이동한 것으로 한다. 이때, 눈금(B)으로부터, 눈금(B)에 대응하는 CA3 네트(2) 내의 눈금(B3)의 중심의 유닛으로 신호가 보내지고 그 눈금(B3) 내에서 흥분이 감쇠하면서 방사상으로 전달하기 시작한다(도1(c) 참조). 또한 도1(c)는 도1(b)의 일부의 눈금을 확대한 것이다.
다음으로 CA3 네트(2)의 눈금(B3)의 중심에 있는 유닛(뉴런)은 대응하는 CA1네트(3)의 눈금(B1) 내의 모든 유닛으로 신호를 보낸다. CA3 네트(2)의 눈금(B3)의 중심 이외에 있는 유닛은 CA1 네트(3)의 눈금(B1)의 위쪽 눈금(C1) 내에 있는 유닛 중, 눈금 내에서의 상대 좌표가 동일한 유닛으로 신호를 보낸다. 이에 의해 눈금(C1) 내에 있어서 눈금(B3) 내의 흥분의 파문과 같은 모양의 영역으로 신호를 보낸다.
다음으로 시각 t+1에 있어서, 다음 시각의 화상 프레임(1)이 입력된다. 다음 시각의 화상 프레임(1)에서는 물체의 윤곽이 위쪽으로 이동하고, 시각 t에서 눈금(B)에 맞춰져 있는 물체의 윤곽이 시각 t+1에서 눈금(C)으로 이동한 것으로 한다. 이때, 눈금(C)으로부터 CA3 네트(2) 내의 대응하는 눈금(C3)의 중심의 유닛으로 신호가 보내진다. 눈금(C3)의 중심의 유닛은 CA1 네트(3)의 눈금(C1) 전체로 신호를 보내기 때문에, 눈금(B3)의 방사상 전달의 파문상의 영역의 유닛에서 보내지는 신호와 일치한 눈금(C1)의 원환상의 유닛이 발화한다.
눈금(B3)의 방사상 전달는 시간과 함께 감쇠하므로, 눈금(C1) 내의 원환 영역의 발화 강도는 눈금(B3)의 파문의 반경에 의존하여 약해진다. 따라서, CA1 네트(3) 내의 눈금(C1)의 출력 강도는 물체의 위쪽으로의 이동 속도에 대해서 단조 증가 함수가 된다. 또한 눈금(C1) 내의 발화하는 원환 영역의 반경은 물체의 위쪽으로의 이동 속도에 대해서 단조 감소 함수가 된다.
따라서, 발화하는 눈금(C1)에 대응하는 화상 프레임(1) 내의 블록(C)의 위치 좌표는 이동하는 물체의 윤곽이 존재하는 위치를 나타낸다. 또한 눈금(C1) 내에서 발화한 원환 영역의 발화 강도(또는 원환의 반경)는 이동하는 물체의 상방향의 속도를 나타낸다. 이렇게 하여, 이동하는 물체의 위치와 속도를 실시간으로 검출하는 것이 가능해진다.
또한, 여기에서는, 상방향의 물체의 이동의 검출 방법에 대한 예로 설명을 하였는데, 다른 방향의 움직임에 대해서도 동일한 방법으로 검출할 수 있다. 물체의 움직임을 검출하고 싶은 방향을 '움직임 검출 방향'이라 부르기로 한다. 이때, CA3 네트(2)의 눈금(B3)의 중심 이외에 있는 유닛이, CA1 네트(3)의 눈금(B1)에 대해서 움직임 검출 방향에 인접하는 눈금(C1)의 내부에 있는 유닛 중, 눈금 내에서의 상대 좌표가 동일한 유닛으로 신호를 보내도록 한다. 이에 따라, 움직임 검출 방향으로 움직이는 물체의 위치와 움직임 검출 방향의 속도를 검출하는 것이 가능해진다.
그런데, 상술한 바와 같이, CA3 네트(2)의 하나의 눈금에는 다수의 유닛이 존재한다고 생각해도 되지만, 실제로는 흥분의 지연을 기억하는 소자가 1개 있으면 된다. 즉, 본 발명에 따른 동작 검출 장치를 고려하는 경우, 반드시 흥분의 전달 현상 그 자체를 사용할 필요는 없고, 전달 지연에 상당하는 지연을 얻을 수 있으면 된다. 따라서, 도2에 도시한 바와 같이 CA3 네트(2')의 눈금(B3)의 소자(유닛)로부터의 트리거(trigger) 신호로 전압, 전류 또는 전하량의 감쇠를 시작하는 소자(유닛)가 CA1 네트(3')의 눈금(C1) 내에 1개 있으면 된다. 이 소자의 감쇠는 CA3 네트(2')의 눈금(C3)의 소자로부터의 신호의 입력에 의해 멈춰진다. 그리고, 이때의 소자의 전압, 전류 또는 전하량은 물체의 이동 속도에 관한 정보를 나타낸다.
이상에서 설명한 동작 검출 장치에 있어서는 물체의 상방향으로의 이동만을 검출할 수 있다. 그래서, 물체의 상방향의 이동 검출 외에, 하방향, 좌방향, 우방향으로의 물체의 이동을 검출하는 C1 네트(3)를 설치한다. 도3에서는 화상 프레임(1)의 4개의 사분면(상사분면, 하사분면, 좌사분면, 우사분면)에 대해서 각각 4장의 CA3 네트(도시되어 있지 않음)를 설치하고, 또한 각각의 CA3 네트에 대해서 상방향, 하방향, 좌방향, 우방향으로의 물체의 이동을 검출하는 C1 네트(3u, 3d, 3l, 3r)를 각각 설치한 예를 도시하고 있다. CA3 네트(2) 및 C1 네트(3)를 각각 4장으로 나눈 것은 배선이 복잡해지지 않도록 하기 위해서이며, 배선을 지나치게 고려하지 않아도 좋은 저해상도인 경우에는 각각 1장의 CA3 네트(2) 및 CA1 네트(3)를, 움직임 검출 방향을 바꾸면서 사용하는 것도 가능하다.
또한 좌방향, 하방향, 우방향으로의 물체의 이동을 검출하는 네트는 상방향의 검출을 행하는 CA3 네트(2) 및 CA1네트(3)를 90°, 180° 및 270° 회전시켜 이용하면 되고, 새로 설계할 필요는 없다. 또한 후술하는 바와 같이, 상하좌우 방향으로 특화한 CA1 네트(3)를 잘 배치하면, 화상 프레임(1) 내의 물체와의 충돌 가능성을 패턴화하여 표시할 수 있다는 이점이 있다.
〔2〕본 발명의 구성
본 발명에 따른 동작 검출 장치의 제1 구성은, 에지 추출 처리된 동화상의 각각의 프레임을 순차적으로 읽어들이고, 상기 프레임 내의 각각의 화소를 블록 분할했을 때의 각각의 화상 블록 내에서의 에지 이미지의 유무를 검출하여, 에지 이미지를 포함하는 화상 블록에 대한 에지 검출 신호를 출력하는 에지 블록 검출 수단; 상기 각각의 화상 블록에 대응하여 중간 블록을 복수개 갖는 출력층; 및 상기 각각의 중간 블록에 대응하여 반응 블록을 복수개 갖는 중간층을 구비한 동작 검출 장치에 있어서, 상기 각각의 중간 블록은 대응하는 상기 화상 블록에 대해서 상기 에지 검출 신호가 출력된 경우에 활성화되는(activated) 것이며, 상기 각각의 반응 블록은, 대응하는 상기 중간 블록인 대응 중간 블록에 대해서 움직임 검출 방향과 역방향으로 인접하는 상기 중간 블록인 인접 중간 블록의 활성화에 따라 활성값을 초기화하고, 초기화 후에는 당해 활성값을 단조 함수에 따라 경시(經時) 변화시키면서 소정 기간 유지하고, 상기 대응 중간 블록이 활성화된 경우에 유지하고 있는 상기 활성값의 크기에 관한 정보를 발화 신호로서 출력하는 것을 특징으로 한다.
이 구성에 의하면, 어떤 화상 블록(B)으로 에지 이미지가 이동해 온 경우, 출력층에 있어서는 화상 블록(B)에 대응하는 중간 블록(B3)이 활성화된다. 또한 중간층에서는 중간 블록(B3)이 활성화되면, 그 중간 블록(B3)에 대해서 움직임 검출 방향에 인접하는 중간 블록(C3)에 대응하는 반응 블록(C1)의 활성값이 초기화된다. 반응 블록(C1)에서는, 화상 블록(B)에 에지 이미지가 존재하는 동안에는 당해 활성값을 단조 함수에 따라 경시 변화시키면서 소정 기간 유지한다.
에지 이미지가 화상 블록(B)으로부터 화상 블록(C)(중간 블록(C3)에 대응하는 화상 블록)으로 이동한 경우, 화상 블록(C)에 대응하는 중간 블록(C3)이 활성화된다. 이때, 중간층에서는 중간 블록(C3)에 대응하는 반응 블록(C1)이, 유지하고 있는 활성값의 크기에 관한 정보를 발화 신호로서 출력한다. 이 활성값의 크기는, 에지 이미지가 화상 블록(B)을 이동시키는데 필요한 시간에 일대일 대응하고 있고, 에지 이미지의 움직임 검출 방향의 속도 성분을 나타낸다. 따라서, 중간층에서는 움직임이 검출된 에지 이미지의 위치와 그 속도에 더해 움직임 방향 또한 2차원적으로 실시간으로 검출하는 것이 가능해진다.
본 발명에 따른 동작 검출 장치의 제2 구성은 상기 제1 구성에 있어서, 상기 각각의 반응 블록이, 순서가 매겨져 접속되고 활성값을 유지하는 복수의 반응 유닛; 상기 인접 중간 블록의 활성화에 따라 선두의 상기 반응 유닛의 활성값을 초기화하는 활성값 초기화 수단; 순서가 앞인 상기 반응 유닛의 활성값을 순서가 뒤인 상기 반응 유닛으로 전달하는 활성 신호 전달 수단; 및 상기 대응 중간 블록이 활성화된 경우에 활성값을 유지하고 있는 상기 반응 유닛의 순서에 관한 정보를 발화 신호로서 출력하는 경시 정보(time elapse information) 출력 수단을 구비하고 있는 것을 특징으로 한다.
이렇게, 활성값 대신에 활성값을 유지하고 있는 반응 유닛의 순서 정보를 이용하여도, 동일하게 에지 이미지의 움직임 검출 방향의 속도 성분을 검출하는 것이 가능하다.
본 발명에 따른 동작 검출 장치의 제3 구성은 에지 추출 처리된 동화상의 각각의 프레임을 순차적으로 읽어들이고, 상기 프레임 내의 각각의 화소를 블록 분할했을 때의 각각의 화상 블록 내에서의 에지 이미지의 유무를 검출하여, 에지 이미지를 포함하는 화상 블록에 대한 에지 검출 신호를 출력하는 에지 블록 검출 수단; 상기 각각의 화상 블록에 대응하여 중간 블록을 복수개 갖는 출력층; 및 상기 각각의 중간 블록에 대응하여 반응 블록을 복수개 갖는 중간층을 구비한 동작 검출 장치에 있어서, 상기 각각의 중간 블록은 대응하는 상기 화상 블록에 대해서 상기 에지 검출 신호가 출력된 경우에 활성화되어 활성값을 초기값으로 초기화하고, 초기화 후에는 당해 활성값을 단조 함수에 따라 경시 변화시키면서 소정 기간 유지하는 것이며, 상기 각각의 반응 블록은, 대응하는 상기 중간 블록인 대응 중간 블록에 대해서 움직임 검출 방향과 역방향에 인접하는 상기 중간 블록인 인접 중간 블록의 활성값과, 상기 대응 중간 블록의 활성값을 가산하여, 가산값이 상기 초기값보다 크게 설정된 소정의 임계값 이상인 경우에 상기 활성값의 크기에 관한 정보를 발화 신호로서 출력하는 것을 특징으로 한다.
이 구성에 의하면, 어느 화상 블록(B)으로 에지 이미지가 이동해 온 경우, 출력층에서는 화상 블록(B)에 대응하는 중간 블록(B3)이 활성화되어 그 활성값 xB가 초기화된다. 중간 블록(B3)에서는 화상 블록(B)에 에지 이미지가 존재하는 동안에는 당해 활성값 xB를 단조 함수에 따라 경시 변화시키면서, 소정 기간 유지한다. 이때, 화상 블록(B)에 대해서 움직임 검출 방향에 인접하는 화상 블록(C)에 대응하는 중간 블록(C3)의 활성값 xC는 0이다. 중간층에서는, 중간 블록(C3)에 대응하는 반응 블록(C1)에 있어서, 활성값 xB와 활성값 xC가 가산되어, 이 가산값 xB+xC가 임계값 판정된다. 이때, 가산값은 임계값 미만이기 때문에 반응 블록(C1)은 발화하지 않는다.
에지 이미지가 화상 블록(B)에서 화상 블록(C)으로 이동한 경우, 화상 블록(C)에 대응하는 중간 블록(C3)이 활성화되어 그 활성값 xC가 초기값으로 초기화된다. 이때, 중간층에서는 반응 블록(C1)에 있어서, 가산값 xB+xC이 임계값을 넘어서 발화한다. 반응 블록(C1)은 활성값 xB의 크기에 관한 정보를 발화 신호로서 출력한다. 이 활성값 xB의 크기는 에지 이미지가 화상 블록(B)을 이동하는데 필요한 시간에 일대일 대응하고 있고, 에지 이미지의 움직임 검출 방향의 속도 성분을 나타낸다. 따라서, 중간층에서는 움직임이 검출된 에지 이미지의 위치와 움직임 검출 방향의 속도를 2차원적으로 실시간으로 검출하는 것이 가능해진다.
본 발명에 따른 동작 검출 장치의 제4 구성은 상기 제3 구성에 있어서, 상기 각각의 중간 블록은, 순서가 매겨져 접속되고 활성값을 유지하는 복수의 중간 유닛; 대응하는 상기 화상 블록에 대해서 상기 에지 검출 신호가 출력된 경우에, 선두의 상기 중간 유닛의 활성값을 초기화하는 활성값 초기화 수단; 및 순서가 앞인 상기 중간 유닛의 활성값을 순서가 뒤인 상기 중간 유닛으로 전달하는 활성 신호 전달 수단을 구비하고, 상기 각각의 반응 블록은, 상기 대응 중간 블록이 활성화된 경우에, 상기 인접 블록 내의 활성값을 유지하고 있는 상기 중간 유닛의 순서에 관한 정보를 발화 신호로서 출력하는 경시 정보 출력 수단을 구비하는 것을 특징으로 한다.
이렇게, 활성값 대신에 활성값을 유지하고 있는 중간 유닛의 순서 정보를 이용하여도, 마찬가지로 에지 이미지의 움직임 검출 방향의 속도 성분을 검출하는 것이 가능하다.
본 발명에 따른 동작 검출 장치의 제5 구성은 상기 제1 내지 제4 구성 중 어느 하나에 있어서, 상기 중간층으로서, 상방향의 움직임을 검출하는 상중간층, 하방향의 움직임을 검출하는 하중간층, 좌방향의 움직임을 검출하는 좌중간층, 우방향의 움직임을 검출하는 우중간층을 구비하고 있는 것을 특징으로 한다.
이렇게, 상하좌우 각각의 방향의 움직임을 검출하는 중간층을 설치함으로써, 모든 방향의 에지 이미지의 움직임의 2차원적인 패턴을 실시간으로 검출하는 것이 가능해진다.
본 발명에 따른 동작 검출 장치의 제6 구성은 상기 제1 내지 제4 구성 중 어느 하나에 있어서, 상기 프레임을 4개의 사분면으로 분할하고 각각의 사분면에 대응하여 4장의 상기 출력층을 구비하고 있는 것을 특징으로 한다.
이렇게, 출력층을 4개의 사분면 각각으로 분할함으로써 출력층과 중간층 간의 신호의 배선을 간단화할 수 있다.
본 발명에 따른 동작 검출 장치의 제7 구성은 상기 제6 구성에 있어서, 상기 각각의 사분면에 대응하는 상기 출력층의 각각에 대해서, 상기 중간층으로서, 상방향의 움직임을 검출하는 상중간층, 하방향의 움직임을 검출하는 하중간층, 좌방향의 움직임을 검출하는 좌중간층, 우방향의 움직임을 검출하는 우중간층을 구비하고 있는 것을 특징으로 한다.
이렇게, 상하좌우 각각의 방향의 움직임을 검출하는 중간층을 설치함으로써, 모든 방향의 에지 이미지의 움직임의 2차원적인 패턴을 실시간으로 검출하는 것이 가능해진다.
본 발명에 따른 동작 검출 장치의 제8 구성은 에지 추출 처리된 동화상의 각각의 프레임을 순차적으로 읽어들이고, 상기 프레임 내의 각각의 화소를 블록 분할했을 때의 각각의 화상 블록 내에서의 에지 이미지의 유무를 검출하여, 에지 이미지를 포함하는 화상 블록에 대한 에지 검출 신호를 출력하는 에지 블록 검출 수단; 및 소정의 움직임 검출 방향에 대한 에지 이미지의 움직임을 검출하는 움직임 검출 블록이 상기 각각의 화상 블록에 대응하여 복수개 배열되어 이루어지는 움직임 검출 블록 집합체를 구비하고, 상기 움직임 검출 블록은, 대응하는 화상 블록에 대해서 움직임 검출 방향과 반대 방향 측에 인접하는 화상 블록에 대한 에지 검출 신호가 검출된 경우에는, 그 검출 시각으로부터의 경과 시간의 정보인 경시 정보를 생성하는 것과 함께 당해 경시 정보를 단조 함수로 시간 변화시키면서 유지하고, 대응하는 화상 블록에 대한 에지 검출 신호가 출력된 경우에, 그 시점에서 유지하고 있는 상기 경시 정보를 출력하는 것을 특징으로 한다.
이 구성에 의한 작용은 아래와 같다. 여기에서, 설명의 편의상, 동화상의 시각 t에서의 프레임 F(t) 내의 어느 화상 블록을 B라고 기재한다. 화상 블록(B)에 대한 에지 검출 신호를 s(B)라고 기재한다. 화상 블록(B)에 대응하는 움직임 검출 블록을 M(B)라고 기재한다.
우선, 에지 블록 검출 수단이 프레임 F(t0)의 각각의 화상 블록에 대해서, 그 화상 블록 내에 에지의 존재 여부를 검사한다. 여기에서 화상 블록(B1)에 대해서 에지가 검출되었다고 하고, 화상 블록(B1)에 대해서 움직임 검출 방향에 인접하는 화상 블록(B2)에서는 에지가 검출되지 않은 것으로 한다. 이때, 에지 블록 검출 수단은 에지 검출 신호 s(B1)를 출력한다. 이때, 화상 블록(B2)에 대응하는 움직임 검출 블록 M(B2)에서는 에지 검출 신호 s(B1)를 검출하면, 그 검출 시각 t0으로부터의 경과 시간의 정보인 경시 정보 △t(B2)=f(t-t0)를 생성한다. △t(B2)는 시간의 경과와 함께 순차적으로 갱신된다. 여기에서, 함수 f(t)는 t에 대한 단조 함수라면 어떠한 것이라도 된다
한편, 화상 블록(B1)에 대응하는 움직임 검출 블록 M(B1)에서는 에지 검출 신호 s(B1)를 검출하면, 그 시점에서 유지하고 있는 경시 정보 △t(B1)를 출력한다. 여기에서는 △t(B1)가 유지되어 있지 않아, 아무것도 출력되지 않는다.
계속해서, 동화상 안의 에지 이미지가 이동하여 시각 t1에 있어서 에지가 화상 블록(B1)에서 화상 블록(B2)으로 이동한 것으로 한다. 이때, 에지 블록 검출 수단은 에지 검출 신호 s(B2)를 출력한다. 그렇게 하면 화상 블록(B2)에 대응하는 움직임 검출 블록 M(B2)에서는 그 시점에서 유지하고 있는 경시 정보 △t(B2)=t1-t0를 출력한다.
이렇게, 경시 정보 △t(B)를 출력한 움직임 검출 블록 M(B)의 위치를 검출하면, 그것에 대응하는 화상 블록(B)의 위치를 알 수 있다. 그리고 화상 블록(B)의 위치로 이동하는 에지 이미지가 존재하는 것을 검출할 수 있다.
또한 경시 정보 △t(B)의 값은 에지 이미지의 움직임 검출 방향의 속도와 일대일 관계에 있다. 즉, 경시 정보 △t(B)를 알면 오로지 에지 이미지의 움직임 검출 방향의 속도를 구하는 것이 가능하다.
따라서, 움직임 검출 방향으로 움직이는 물체의 위치를 실시간으로 2차원적으로 검출하는 것이 가능한 것과 동시에, 움직임 검출 방향의 물체의 속도도 실시간으로 검출하는 것이 가능해진다.
여기에서, '경시 정보'는, 전압값 정보, 전류값 정보, 전하량 정보, 경시적으로 전달하는 신호의 위치 정보 등, 여러 가지 형태의 정보를 이용할 수 있다.
본 발명에 따른 동작 검출 장치의 제9 구성은, 상기 제8 구성에 있어서, 상기 움직임 검출 블록이 상기 경시 정보를 출력한 경우, 상기 경시 정보가 출력된 상기 화상 블록의 상기 프레임 내에서의 위치 및 당해 경시 정보의 패턴에 기초하여 움직임의 종별을 판정하는 움직임 판정 수단을 구비하고 있는 것을 특징으로 한다.
이 구성에 의해, 동화상 내에서의 이동 물체의 위치와 속도의 패턴으로부터 실시간으로 물체의 움직임의 종별을 검출하는 것이 가능해진다.
본 발명에 따른 동작 검출 장치의 제10의 구성은, 상기 제8 구성 또는 제9 구성에 있어서, 상하좌우의 각각의 움직임 검출 방향에 대응하여 각각 상기 움직임 검출 블록 집합체를 구비하고 있는 것을 특징으로 한다.
이렇게, 상하좌우의 각각의 움직임 검출 방향의 움직임 검출 블록 집합체를 구비함으로써, 동화상 내의 물체 이미지의 모든 방향의 움직임을 실시간으로 검출하는 것이 가능해진다.
본 발명에 따른 동작 검출 장치의 제11의 구성은, 상기 제8 내지 제10 구성 중 어느 하나에 있어서, 상기 움직임 검출 블록은, 상기 에지 검출 신호에 따라 활성 신호 및 출력 트리거 신호를 출력하는 중간 블록; 및 상기 활성 신호 및 출력 트리거 신호에 기초하여 경시 정보를 생성하여 출력하는 반응 블록을 구비하고, 상기 반응 블록은, 고유의 활성값을 유지하는 활성값 기억 수단; 상기 활성 신호가 입력되기 시작했을 때 당해 활성값을 소정의 초기값으로 하는 활성값 초기화 수단; 소정의 단조 함수인 활성값 변화 함수에 따라서 상기 활성값을 경시 변화시키는 활성값 변화 수단; 및 상기 출력 트리거 신호가 입력된 경우에는 그 시점의 상기 활성값 또는 상기 활성값으로부터 소정의 출력 함수에 의해 산출되는 값인 출력값을 상기 경시 정보로서 출력하는 경시 정보 출력 수단을 구비하고, 상기 중간 블록은, 당해 움직임 검출 블록에 대응하는 화상 블록에 대한 에지 검출 신호가 출력된 경우에, 당해 움직임 검출 블록에 속하는 반응 블록에 대해서 출력 트리거 신호를 출력하는 것과 함께, 당해 움직임 검출 블록에 대해서 상기 움직임 검출 방향에 인접하는 움직임 검출 블록에 속하는 반응 블록에 대해서 상기 활성 신호를 출력하는 것을 특징으로 한다.
이 구성에 의하면, 어떤 화상 블록에 에지 이미지가 검출되고 나서, 그 화상 블록에 대해서 움직임 검출 방향에 인접하는 화상 블록으로 에지 이미지가 이동할 때까지의 시간 정보는, 활성값으로서 각각의 반응 블록에 유지된다. 따라서, 경시 정보 출력 수단이 출력하는 출력값에 의해 에지 이미지의 움직임 검출 방향의 이동 속도를 검출할 수 있다. 또한 출력값이 출력된 반응 블록에 대응하는 화상 블록의 위치로부터 에지 이미지의 위치를 검출할 수 있다.
본 발명에 따른 동작 검출 장치의 제12의 구성은, 상기 제8 내지 제10 구성 중 어느 하나에 있어서, 상기 움직임 검출 블록은, 상기 에지 검출 신호에 따라 활성 신호 및 출력 트리거 신호를 출력하는 중간 블록; 및 상기 활성 신호 및 출력 트리거 신호에 기초하여 상기 경시 정보를 생성하여 출력하는 반응 블록을 구비하고, 상기 반응 블록은, 활성 신호를 유지하기 위한 반응 유닛이 순서를 매겨 복수개 배열된 반응 유닛 배열; 선두의 반응 유닛에서 말미의 반응 유닛으로 활성 신호를 경시적으로 순차 전송 또는 전달하는 활성 신호 전달 수단; 상기 출력 트리거 신호가 입력된 경우에 상기 활성 신호를 유지하고 있는 상기 반응 유닛의 상기 반응 유닛 배열에서의 순서 정보를 상기 경시 정보로서 출력하는 경시 정보 출력 수단을 구비하고, 상기 중간 블록은, 당해 움직임 검출 블록에 대응하는 화상 블록에 대한 에지 검출 신호가 출력된 경우에, 당해 움직임 검출 블록에 속하는 반응 블록에 대해서 출력 트리거 신호를 출력하는 것과 함께, 당해 움직임 검출 블록에 대해서 상기 움직임 검출 방향에 인접하는 움직임 검출 블록에 속하는 반응 블록의 상기 반응 유닛 배열의 선두의 반응 유닛에 대해서 상기 활성 신호를 출력하는 것을 특징으로 한다.
이 구성에 의하면, 어떤 화상 블록에 에지 이미지가 검출되고 나서, 그 화상 블록에 대해서 움직임 검출 방향에 인접하는 화상 블록으로 에지 이미지가 이동할 때까지의 시간 정보는, 활성값을 유지하고 있는 반응 유닛의 순서로서 각각의 반응 블록에 유지된다. 따라서, 경시 정보 출력 수단이 출력하는 순서 정보에 의해 에지 이미지의 움직임 검출 방향의 이동 속도를 검출할 수 있다. 또한 출력값이 출력된 반응 블록에 대응하는 화상 블록의 위치로부터 에지 이미지의 위치를 검출할 수 있다.
본 발명에 따른 동작 검출 장치의 제13의 구성은, 상기 제12의 구성에 있어서, 상기 활성 신호 전달 수단이, 선두의 반응 유닛에서 말미의 반응 유닛으로 소정의 활성값 변화 함수에 따라 상기 활성 신호를 경시적으로 변화시키면서 순차 전송 또는 전달하는 것이며, 상기 경시 정보 출력 수단이, 상기 출력 트리거 신호가 입력된 경우에 상기 활성 신호의 값을 상기 경시 정보로서 출력하는 것을 특징으로 한다.
이 구성에 의하면, 어떤 화상 블록에 에지 이미지가 검출되고 나서, 그 화상 블록에 대해서 움직임 검출 방향에 인접하는 화상 블록으로 에지 이미지가 이동할 때까지의 시간 정보는, 활성 신호의 값(활성값)을 유지하고 있는 반응 유닛의 활성값으로서 각각의 반응 블록에 유지된다. 따라서, 경시 정보 출력 수단이 출력하는 활성값에 의해 에지 이미지의 움직임 검출 방향의 이동 속도를 검출할 수 있다. 또한 출력값이 출력된 반응 블록에 대응하는 화상 블록의 위치로부터 에지 이미지의 위치를 검출할 수 있다.
본 발명에 따른 동작 검출 장치의 제14의 구성은, 상기 제8 내지 제10 구성 중 어느 하나에 있어서, 상기 움직임 검출 블록이, 상기 에지 검출 신호에 따라 활성 신호 및 출력 트리거 신호를 출력하는 중간 블록; 및 상기 활성 신호 및 출력 트리거 신호에 기초하여 상기 경시 정보를 생성하여 출력하는 반응 블록을 구비하고, 상기 반응 블록은, 활성 신호를 유지하기 위한 반응 유닛이 링크를 통해서 2차원적으로 복수개 접속된 반응 네트; 상기 반응 네트 내의 링크로 접속된 2개의 반응 유닛에 대해서, 당해 링크 입력측의 반응 유닛의 활성 신호를 당해 링크 출력측의 반응 유닛으로 경시적으로 전송 또는 전달시키는 활성 신호 전달 수단; 상기 출력 트리거 신호가 입력된 경우에 상기 활성 신호를 유지하고 있는 상기 반응 유닛의 상기 반응 네트에서의 분포 범위 정보를 상기 경시 정보로서 출력하는 경시 정보 출력 수단을 구비하고, 상기 중간 블록이, 당해 움직임 검출 블록에 대응하는 화상 블록에 대한 에지 검출 신호가 출력된 경우에, 당해 움직임 검출 블록에 속하는 반응 블록에 대해서 출력 트리거 신호를 출력하는 것과 함께, 당해 움직임 검출 블록에 대해서 상기 움직임 검출 방향에 인접하는 움직임 검출 블록에 속하는 반응 블록의 상기 반응 네트의 중앙에 위치하는 반응 유닛으로 활성 신호를 출력하는 것을 특징으로 한다.
이 구성에 의하면, 어떤 화상 블록에 에지 이미지가 검출되고 나서, 그 화상 블록에 대해서 움직임 검출 방향에 인접하는 화상 블록으로 에지 이미지가 이동할 때까지의 시간 정보는 활성 신호를 유지하고 있는 반응 유닛의 분포 범위(분포의 반경, 면적 등)로서 각각의 반응 블록에 유지된다. 따라서, 경시 정보 출력 수단이 출력하는 분포 범위 정보에 의해 에지 이미지의 움직임 검출 방향의 이동 속도를 검출할 수 있다. 또한 출력값이 출력된 반응 블록에 대응하는 화상 블록의 위치로부터 에지 이미지의 위치를 검출할 수 있다.
본 발명에 따른 동작 검출 장치의 제15의 구성은, 상기 제14의 구성에 있어서, 상기 활성 신호 전달 수단이, 상기 반응 네트 내의 링크로 접속된 2개의 반응 유닛에 대해서, 당해 링크 입력측의 반응 유닛의 활성 신호를 당해 링크 출력측의 반응 유닛으로 소정의 활성값 변화 함수에 따라서 상기 활성 신호를 변화시키면서 순차 전송 또는 전달하는 것이며, 상기 경시 정보 출력 수단이, 상기 출력 트리거 신호가 입력된 경우에 상기 활성 신호의 값을 상기 경시 정보로서 출력하는 것을 특징으로 한다.
이 구성에 의하면, 어떤 화상 블록에 에지 이미지가 검출되고 나서, 그 화상 블록에 대해서 움직임 검출 방향에 인접하는 화상 블록으로 에지 이미지가 이동할 때까지의 시간 정보는, 활성 신호의 값(활성값)을 유지하고 있는 반응 유닛의 활성값으로서 각각의 반응 블록에 유지된다. 따라서, 경시 정보 출력 수단이 출력하는 활성값에 의해 에지 이미지의 움직임 검출 방향의 이동 속도를 검출할 수 있다. 또한 활성값이 출력된 반응 블록에 대응하는 화상 블록의 위치로부터 에지 이미지의 위치를 검출할 수 있다.
본 발명에 따른 동작 검출 장치의 제16의 구성은, 상기 제8 내지 제10 구성 중 어느 하나에 있어서, 상기 움직임 검출 블록이, 활성 신호를 유지하기 위한 중간 유닛이 링크를 통해서 2차원적으로 복수개 접속된 중간 네트를 갖는 중간 블록; 및 상기 중간 블록 내의 상기 중간 유닛의 각각에 대응하여 설치된 복수의 반응 유닛을 갖는 반응 블록을 구비하고, 상기 에지 블록 검출 수단이, 상기 각각의 프레임을 순차적으로 읽어들이고, 상기 프레임 내의 각각의 화상 블록에 대해서, 당해 화상 블록 내에 에지 이미지가 포함되는지 여부를 검출하고, 에지 이미지가 포함되는 화상 블록에 대응하는 상기 중간 블록 내의 상기 중간 네트의 중앙에 위치하는 중간 유닛인 중앙 중간 유닛으로 에지 검출 신호를 출력하는 것이며, 상기 중간 블록이, 상기 중앙 중간 유닛으로 활성 신호가 입력되었을 때, 당해 중앙 중간 유닛이 유지하는 활성 신호를 초기값으로 초기화한 후, 당해 움직임 검출 블록에 속하는 상기 반응 블록의 모든 반응 유닛에 대해서 당해 활성 신호를 출력하는 활성값 초기화 수단; 상기 중간 네트 내의 링크로 접속된 2개의 중간 유닛에 대해서 당해 링크 입력측의 중간 유닛의 활성 신호를 감쇠시켜서 당해 링크 출력측의 중간 유닛으로 경시적으로 전송 또는 전달시키는 활성 신호 전달 수단; 상기 중앙 중간 유닛 이외의 각각의 중간 유닛에 대해서, 당해 중간 블록에 대해서 움직임 검출 방향에 인접하는 상기 중간 블록에 대응하는 반응 블록인 인접 반응 블록 내의 반응 유닛 중, 당해 인접 반응 블록 내의 상대 위치가 당해 중간 블록 내에서의 당해 중간 유닛의 상대 위치와 같은 상대 위치에 있는 반응 유닛에 대해, 유지하고 있는 활성 신호를 출력하는 활성 신호 전송 수단을 구비하고, 상기 반응 블록 내의 상기 각각의 반응 유닛은, 상기 활성 신호 전송 수단으로부터 입력되는 활성 신호를 유지하는 활성 신호 유지 수단; 상기 활성 신호 유지 수단이 유지하는 활성 신호를 감쇠시키는 반응 신호 감쇠 수단; 상기 활성 신호 전송 수단 또는 상기 활성값 초기화 수단에 의해 활성 신호가 입력된 경우, 입력된 활성 신호의 값을 상기 활성 신호 유지 수단이 유지하는 활성 신호의 값에 더하는 것에 의해 상기 활성 신호 유지 수단이 유지하는 활성 신호를 갱신하는 활성 신호 갱신 수단; 상기 활성 신호 유지 수단이 유지하는 활성 신호가 소정의 임계값을 넘었을 때, 그 활성 신호 또는 발화 신호를 상기 경시 정보로서 출력하는 발화 수단을 구비하고 있는 것을 특징으로 한다.
이 구성에 의하면, 어떤 화상 블록에 에지 이미지가 검출되고 나서, 그 화상 블록에 대해서 움직임 검출 방향에 인접하는 화상 블록으로 에지 이미지가 이동할 때까지의 시간 정보는, 활성 신호를 유지하고 있는 반응 유닛의 분포 범위(분포의 반경, 면적 등) 및 활성값으로서 각각의 반응 블록에 유지된다. 따라서, 발화한 반응 유닛의 분포 범위 정보 또는 그 출력값에 의해 에지 이미지의 움직임 검출 방향의 이동 속도를 검출할 수 있다. 또한 발화 신호가 출력된 반응 블록에 대응하는 화상 블록의 위치로부터 에지 이미지의 위치를 검출할 수 있다.
본 발명에 따른 동작 검출 장치의 제17의 구성은, 상기 제11 내지 제16 구성 중 어느 하나에 있어서, 상기 각각의 움직임 검출 블록이, 하나의 상기 중간 블록과, 상하좌우의 각각의 움직임 검출 방향에 대응하는 4개의 상기 반응 블록을 구비하고 있는 것을 특징으로 한다.
이 구성에 의하면, 상하좌우의 각각의 움직임 검출 방향에 대한 에지 이미지의 움직임 속도 및 그 방향으로 움직이는 에지 이미지의 위치를 검출할 수 있다. 그리고, 각각의 방향의 움직임이 2차원적으로 검출되기 때문에, 2차원적인 에지 이미지의 움직임의 패턴을 판별함으로써, 각종 물체의 움직임의 종류를 판별하는 것도 가능해진다.
본 발명에 따른 동작 검출 장치의 제18의 구성은, 상기 제11 내지 제16 구성 중 어느 하나에 있어서, 상기 각각의 움직임 검출 블록이, 상기 프레임을 상하좌우의 4사분면으로 분할한 경우의 각각의 사분면에 대응하여 4개의 상기 중간 블록과, 상기 각각의 중간 블록의 각각에 대해서, 상하좌우의 각각의 움직임 검출 방향에 대응하는 4개의 상기 반응 블록을 구비하고 있는 것을 특징으로 한다.
이 구성에 의하면, 프레임 내의 각각의 사분면의 움직임을 개별적으로 2차원적으로 검출하는 것이 가능해진다. 따라서, 프레임 내의 각각의 사분면에서의 에지 이미지의 움직임의 패턴을 판별함으로써, 각종 물체의 움직임의 종류를 보다 정밀도 높게 판별하는 것도 가능해진다.
본 발명에 따른 프로그램은 컴퓨터로 읽어들여서 실행함으로써, 컴퓨터를 ㅅ상기 제8 내지 제18 구성 중 어느 한 구성의 동작 검출 장치로서 기능시키는 것을 특징으로 한다.
본 발명에 따른 동작 검출 방법의 제1 구성은, 순차적으로 입력되는 에지 추출 처리된 동화상의 프레임을 블록 분할했을 때의 각각의 화상 블록에 대해서, 각각의 화상 블록 내에서의 에지 이미지의 유무를 검출하여 에지 이미지를 포함하는 화상 블록에 대한 에지 검출 신호를 출력하는 에지 블록 검출 단계; 상기 에지 검출 신호가 출력된 화상 블록인 검출 블록에 대해서 움직임 검출 방향에 인접하는 화상 블록인 인접 블록에 대해서, 상기 검출 블록에 있어서 상기 에지 검출 신호가 계속적으로 출력되기 시작한 시각으로부터의 경과 시간의 정보인 경시 정보를 생성하는 경시 정보 생성 단계; 및 상기 인접 블록에 있어서 상기 에지 검출 신호가 출력되기 시작했을 때, 상기 인접 블록에 대해서 생성된 상기 경시 정보를 출력하는 경시 정보 출력 단계를 갖는 것을 특징으로 한다.
본 발명에 따른 동작 검출 장치의 제2 구성은, 상기 제1 구성에 있어서, 상기 경시 정보 출력 단계에서 각각의 화상 블록에 대한 상기 경시 정보를 출력한 후에, 경시 정보를 출력한 각각의 화상 블록의 상기 프레임 내에서의 위치 및 당해 경시 정보의 패턴에 기초하여 움직임의 종별을 판정하는 움직임 판정 단계를 구비하고 있는 것을 특징으로 한다.
이상과 같이, 본 발명에 의하면, 간단한 하드웨어 구성에 의해, 동화상 내에 포함되는 물체 이미지의 위치나 움직임을 2차원적으로 실시간으로 정밀도 높게 검출 해석하는 것이 가능한 동작 검출 기술을 제공할 수 있다.
도1은 본 발명에 따른 동작 검출 장치의 기본 원리를 도시한 도면.
도2는 CA3 네트(2) 및 CA1 네트(3)의 각각의 눈금을 1개의 소자로 구성한 예를 도시한 도면.
도3은 화상 프레임(1)에 대한 CA1 네트(3)의 배치를 도시한 도면.
도4는 본 발명의 실시예 1에 따른 동작 검출 장치의 하드웨어 구성을 도시한 블록도.
도5는 실시예 1에 따른 동작 검출 장치의 기능 구성을 도시한 블록도.
도6은 중간 블록(21)이 반응 블록(22)에 대해서 신호를 출력하는 모습을 도시한 도면.
도7은 각각의 반응 블록의 활성값 x의 시간 변화를 도시한 도면.
도8은 프레임 내의 물체 이미지의 움직임과 CA1 네트(9)가 출력하는 발화 신호의 패턴과의 관계를 도시한 도면(원방(遠方) 물체의 접근).
도9는 프레임 내의 물체 이미지의 움직임과 CA1 네트(9)가 출력하는 발화 신호의 패턴과의 관계를 도시한 도면(근접 물체의 접근).
도10은 프레임 내의 물체 이미지의 움직임과 CA1 네트(9)가 출력하는 발화 신호의 패턴과의 관계를 도시한 도면(원방 물체의 격리).
도11은 프레임 내의 물체 이미지의 움직임과 CA1 네트(9)가 출력하는 발화 신호의 패턴과의 관계를 도시한 도면(원방 물체의 오른쪽 이동).
도12는 프레임 내의 물체 이미지의 움직임과 CA1 네트(9)가 출력하는 발화 신호의 패턴과의 관계를 도시한 도면(근접 하향 물체의 접근).
도13은 실시예 2에 따른 동작 검출 장치의 기능 구성을 도시한 블록도.
도14는 실시예 2에 따른 동작 검출 장치의 기능 구성을 도시한 블록도.
도15는 에지 검출 신호와 활성 신호의 시간 변화의 일례를 도시한 도면.
도16은 에지 검출 신호와 활성 신호의 시간 변화의 다른 일례를 도시한 도면.
도17은 실시예 3에 따른 동작 검출 장치의 기능 구성을 도시한 블록도.
도18은 실시예 4에 따른 동작 검출 장치의 기능 구성을 도시한 블록도.
도19는 각각의 반응 유닛(41)의 구성을 도시한 블록도.
도20은 옵티컬 플로우를 이용한 이동체의 검출 장치를 개략적으로 도시한 블 록도.
도21은 특허문헌 2에 기재된 이동체 검출 장치의 구성을 도시한 블록도.
*도면의 주요 부분에 대한 부호의 설명
1: 화상 프레임 2, 2': CA3 네트
3, 3', 3u, 3d, 3l, 3r: CA1 네트 4: 카메라
5: 에지 검출 수단 6:프레임 메모리
7: 에지 블록 검출 수단 8: CA3 네트
8a: 상사분면 CA3 네트 8b: 좌사분면 CA3 네트
8c: 하사분면 CA3 네트 8d: 우사분면 CA3 네트
9: CA1 네트 9a: 상CA1 네트
9b: 좌CA1 네트 9c: 하CA1 네트
9d: 우CA1 네트 10: 움직임 판정 수단
19: 움직임 검출 블록 집합체 20: 움직임 검출 블록
21: 중간 블록 22: 반응 블록
23: 활성값 기억 수단 24: 활성값 초기화 수단
25: 활성값 변화 수단 26: 경시 정보 출력 수단
31: 반응 유닛 배열 32, 36: 활성 신호 전달 수단
33, 37: 경시 정보 출력 수단 34, 38, 41: 반응 유닛
35: 반응 네트 40: 중간 유닛
40c: 중앙 중간 유닛 42: 활성 신호 유지 수단
43: 반응 신호 감쇠 수단 44: 활성 신호 갱신 수단
45: 발화 수단
이하, 본 발명을 실시하기 위한 최선의 형태에 대해서 도면을 참조하면서 설명한다.
실시예 1
도4는 본 발명의 실시예 1에 따른 동작 검출 장치의 하드웨어 구성을 도시한 블록도이다. 본 실시예에 따른 동작 검출 장치는 카메라(4), 에지 검출 수단(5), 프레임 메모리(6), 에지 블록 검출 수단(7), CA3 네트(출력층)(8), CA1 네트(중간층)(9) 및 움직임 판정 수단(10)을 구비하고 있다.
카메라(4)는 CCD 등의 촬상 소자 어레이를 구비한다. 카메라(4)는 시야 내의 동화상을 촬상하여 시간적으로 연속하는 프레임 열로서 출력한다. 에지 검출 수단(5)은 카메라(4)로부터 출력되는 각각의 프레임에 대해서 에지 검출 처리를 행한다. 에지 검출 처리에 대해서는 각종 공지의 방법을 적용할 수 있다. 예를 들면 프레임의 화상을 일차 미분(차분) 필터로 처리한 후에 이치화하는 방법, 라플라시안(Laplacian) (일차 미분(차분)) 필터를 이용하는 방법 등, 여러 가지 방법이 채용된다. 에지 검출 처리에 의해 얻어지는 각각의 프레임의 에지 화상(E)은 프레임 메모리(6)에 일시적으로 보존된다.
에지 블록 검출 수단(7)은 프레임 메모리(6)에 저장된 한장의 프레임의 에지 화상(E)에 대해서 소정의 소영역으로 구획한다. 이들 각각의 소영역을 '화상 블록'이라고 하며, Bi , j라고 기재한다. i, j는 화상 블록의 좌표를 나타낸다. 여기에서, 프레임의 소영역으로의 구획은 예를 들면 도1(a)에 도시한 바와 같이, 프레임의 중심을 원점으로 하여 방사상으로 구획된다.
에지 블록 검출 수단(7)은 각각의 화상 블록(Bi , j)에 대해서, 그 화상 블록 내에 에지 이미지가 존재하는지 여부를 검출한다. 에지 이미지가 존재하는 화상 블록(Bi, j)에 대해서는 에지 검출 신호 s(Bi , j)를 출력한다.
CA3 네트(8)는 도1의 CA3 네트(2)에 대응하는 구성 부분이다. CA3 네트(8)는 복수의 중간 블록(21)이 격자상으로 나열된 구조를 가진다. 각각의 중간 블록(21)은 프레임 내의 각각의 화상 블록(Bi , j)에 대응하고 있다. 에지 블록 검출 수단(7)이 각각의 화상 블록(Bi , j)에 대해서 출력하는 에지 검출 신호 s(Bi , j)는 그 화상 블록(B)i, j에 대응하는 중간 블록(21)에 입력된다.
CA3 네트(8)는 프레임을 4개의 사분면(상사분면, 좌사분면, 하사분면, 우사분면)으로 분할한 경우에 각각의 사분면에 대응하는 4개의 네트로 이루어진다. 각각의 사분면에 대응하는 CA3 네트(8)를 각각 상사분면 CA3 네트(8a), 좌사분면 CA3 네트(8b), 하사분면 CA3 네트(8c), 우사분면 CA3 네트(8d)라 한다.
CA3 네트(8) 내의 각각의 중간 블록(21)은 에지 검출 신호 s(Bi , j)의 입력에 대해서, CA1 네트(9)로 활성 신호 또는 출력 트리거 신호를 출력한다.
CA1 네트(9)는 도1의 CA1 네트(3)에 대응하는 구성 부분이다. CA1 네트(9)는 상사분면 CA3 네트(8a), 좌사분면 CA3 네트(8b), 하사분면 CA3 네트(8c) 및 우사분면 CA3 네트(8d)에 대응하여 각각 4장의 네트, 즉, 총 16장의 네트로 구성되어 있다. 하나의 사분면의 CA3 네트(8)에 대응하는 4개의 네트를 상CA1 네트(9a), 좌CA1 네트(9b), 하CA1 네트(9c) 및 우CA1 네트(9d)라 한다. 상CA1 네트(9a), 좌CA1 네트(9b), 하CA1 네트(9c), 우CA1 네트(9d)는 각각 상방향, 좌방향, 하방향, 우방향의 움직임 검출 방향에 대응한 CA1 네트(9)이다. 각각의 CA1 네트(9)는 각각 대응하는 CA3 네트(8) 내의 중간 블록(21)에 대응하여 설치된 반응 블록(22)이 격자상으로 배열된 구성을 가진다.
CA1 네트(9) 내의 각각의 반응 블록(22)은 활성 신호 또는 출력 트리거 신호에 대해서 움직임 판정 수단(10)으로 발화 신호를 출력한다.
움직임 판정 수단(10)은 CA1 네트(9)로부터 입력되는 각각의 발화 신호에 의해 전달되는 경시 정보에 기초하여, 프레임 내의 움직임이 있는 에지 이미지의 위치 및 속도를 산출한다. 그리고, 이에 의해 얻어지는 2차원적인 움직임의 패턴으로부터 움직임의 종류를 판별하여 움직임 검출 정보로서 출력한다.
또한 본 실시예에서 CA3 네트(8)는 4개의 사분면에 대응하여 4개를 설치한 구성으로 하였는데, 본 발명에서 CA3 네트의 수는 이것에 한정되는 것은 아니다. 예를 들면 상기 4개의 사분면 각각에 대해서 상하좌우의 움직임 검출용 CA3 네트(8)를 각각의 4장씩, 총 16장의 CA3 네트(8)를 구비한 구성으로 할 수도 있다. 이 경우, CA3 네트(8)와 CA1 네트(9)는 일대일 대응 관계가 된다.
도5는 실시예 1에 따른 동작 검출 장치의 기능 구성을 도시한 블록도이다. 도5에 있어서, 카메라(4), 에지 검출 수단(5), 프레임 메모리(6), 에지 블록 검출 수단(7) 및 움직임 판정 수단(10)은 도4와 동일하다.
또한 도4의 CA3 네트(8)와 CA1 네트(9)는 협동하여 하나의 움직임 검출 블록 집합체(19)로서 기능한다. 이 움직임 검출 블록 집합체(19)는 각각의 화상 블록에 대응하는 움직임 검출 블록(20)의 집합으로 구성된다. 각각의 움직임 검출 블록(20)은 CA3 네트(8) 내의 1개의 중간 블록(21)과, 이에 대응하는 CA1 네트(9) 내의 4개의 반응 블록(22)의 그룹으로 구성되어 있다. 4개의 반응 블록(22)은 각각 당해 중간 블록(21)에 대응하는 상CA1 네트(9a), 좌CA1 네트(9b), 하CA1 네트(9c) 및 우CA1 네트(9d)에 속한다.
중간 블록(21)은 대응하는 화상 블록(Bi , j)에 대한 에지 검출 신호 s(Bi , j)가 출력된 경우에, 대응하는 4개의 반응 블록(22)에 대해서 출력 트리거 신호를 출력한다. 이와 함께, 당해 반응 블록(22)에 대해서 움직임 검출 방향에 인접하는 반응 블록(22)에 대해서는 활성 신호를 출력한다.
또한 반응 블록(22)은 활성값 기억 수단(23), 활성값 초기화 수단(24), 활성값 변화 수단(25) 및 경시 정보 출력 수단(26)을 구비하고 있다. 활성값 기억 수단(23)은 그 반응 블록(22)에 고유 활성값 x(=x(Bi , j))를 유지한다. 활성값 초기화 수단(24)은 대응하는 중간 블록(21)으로부터 활성 신호가 입력되기 시작한 시점에 서, 활성값 기억 수단(23)의 활성값 x를 소정의 초기값 x0로 한다. 활성값 변화 수단(25)은 활성값 변화 함수에 따라서 활성값 기억 수단(23)의 활성값 x를 경시 변화시킨다.
여기에서, 활성값 변화 함수로는 시각 t에 대한 임의의 단조 함수 f(t)가 이용된다. 예를 들면 선형 함수 f(t)=f0-A·t, 지수 감쇠 함수 f(t)=f0e-αt 등을 이용할 수 있다.
경시 정보 출력 수단(26)은 인접하는 중간 블록(21)으로부터 출력 트리거 신호가 입력된 경우에는 그 시점의 활성값(출력값) x를 경시 정보로서 출력한다. 또한 경시 정보 출력 수단(26)이 출력하는 출력값은 활성값 x 그 자체에 한정되지 않고, 활성값 x으로부터 소정의 출력 함수 f(x)에 의해 산출되는 값이어도 된다.
또한 상기 구성은 전용 ASIC(특정 용도용 집적 회로)으로서 LSI 칩으로 해도 되는데, 카메라(4) 이외의 부분은 FPGA(필드 프로그램가능 게이트 어레이) 등의 프로그램가능 논리 회로를 이용하여 구성할 수도 있다. 또한 카메라(4) 이외의 기능 부분은 프로그램에 의해 구성하여 CPU(중앙 연산 장치) 등으로 그 프로그램을 실행함으로써 실현하여도 된다.
이상과 같이 구성된 본 실시예에 따른 동작 검출 장치에 대해서 이하 그 동작 검출 방법을 설명한다.
우선, 카메라(4)로부터 동화상이 촬상되어 동화상의 각각의 프레임이 잇달아 에지 검출 수단(5)으로 입력된다. 에지 검출 수단(5)은 각각의 프레임에 대해서 에 지 검출을 행하여 에지 화상으로서 프레임 메모리(6)에 보존한다. 이에 의해 프레임 내의 물체 이미지의 경계는 에지 이미지으로서 추출된다.
에지 블록 검출 수단(7)은 프레임 메모리(6)에 저장된 프레임의 에지 화상에 대해서, 상술한 바와 같이 화상 블록으로 분할하여 각각의 화상 블록에 에지 이미지가 포함되는지 여부를 검출한다. 에지 이미지가 포함되는 화상 블록(Bi , j)에 대해서는 그 화상 블록(Bi , j)에 대응하는 중간 블록(21)에 대해서 에지 검출 신호 s(Bi , j)를 출력한다.
각각의 중간 블록(21)은 에지 검출 신호 s(Bi , j)가 입력되면, 대응하는 4개의 반응 블록(22) 각각에 대해서 출력 트리거 신호를 출력한다. 또한 대응하는 반응 블록(22)에 대해서 움직임 검출 방향 측에 인접하는 반응 블록(22)에는 활성 신호를 출력한다. 이 상태를 도6, 도7에 도시하고 있다.
도6에서는 움직임 검출 방향은 좌방향으로 한다. 좌표(i, j)에 위치하는 중간 블록(21)(이하, 중간 블록 M(i, j)이라 기재한다.)에 에지 검출 신호 s(Bi , j)가 입력된 경우, 중간 블록 M(i, j)은 대응하는 반응 블록(22)(이하, 반응 블록 R(i, j)이라 기재한다.)에 대해서 출력 트리거 신호를 출력한다. 한편, 반응 블록 R(i, j)에 대해서 좌방향에 인접하는 반응 블록 R(i, j-1)에 대해서는 활성 신호를 출력한다.
이때, 각각의 반응 블록의 활성값 x의 시간 변화는 도7과 같이 된다. 도7에 있어서, 시각 t0에서 중간 블록 M(i, j)으로 에지 검출 신호 s(Bi , j)가 입력되기 시작한다. 이 시점에서 반응 블록 R(i, j-1)으로 활성 신호가 입력되고, 활성값 초기화 수단(24)은 활성값 기억 수단(23)에 기억된 반응 블록 R(i, j-1)의 활성값 xi , j-1을 x0으로 초기화한다.
다음으로 시각 t0에서 시각 t1에 걸쳐서 중간 블록 M(i, j)으로 에지 검출 신호 s(Bi , j)가 계속해서 입력된다. 이 동안에는 활성값 변화 수단(25)이 활성값 기억 수단(23)에 기억된 반응 블록 R(i, j-1)의 활성값 xi, j-1을 활성값 변화 함수 f(t)에 따라서 변화시킨다. 도7에서는 활성값 변화 함수 f(t)로서 단조 감소 함수를 사용하고 있다.
시각 t1에 있어서, 에지 이미지가 블록(Bi , j)으로부터 블록(Bi , j-1)으로 이동한 것으로 한다. 이에 따라, 중간 블록 M(i, j)으로의 에지 검출 신호 s(Bi , j)는 없어지고, 중간 블록 M(i, j-1)으로 에지 검출 신호 s(Bi , j-1)가 입력되기 시작한다. 이때, 반응 블록 R(i, j-1)으로 출력 트리거 신호가 입력되고, 반응 블록 R(i, j-1)은 시각 t1에 있어서 활성값 기억 수단(23)이 유지하고 있는 활성값 xi , j-1(t1)을 발화 신호로서 출력한다. 활성값 기억 수단(23)의 활성값 xi , j-1은 발화 신호를 출력한 후에는 0으로 리셋된다.
마찬가지로, 시각 t1에 있어서 반응 블록 R(i, j-2)으로는 활성 신호가 입력되고, 반응 블록 R(i, j-2)의 활성값 초기화 수단(24)은 활성값 기억 수단(23)에 기억된 반응 블록 R(i, j-2)의 활성값 xi , j-2을 x0로 초기화한다. 그리고, 동일한 동작이 반복된다.
여기에서, 에지 이미지의 움직임 검출 방향의 이동 속도가 빠를 때는 에지 이미지가 반응 블록 R(i, j-1)을 민첩하게 통과하기 때문에, 발화 신호로서 출력되는 활성값 xi , j-1은 큰 값이 된다. 반대로, 에지 이미지의 움직임 검출 방향의 이동 속도가 느릴 때는 에지 이미지가 반응 블록 R(i, j-1)을 천천히 통과하기 때문에, 발화 신호로서 출력되는 활성값 xi , j-1은 작은 값이 된다. 따라서, 발화 신호로서 출력되는 활성값 xi , j-1은 에지 이미지의 움직임 검출 방향의 속도를 나타낸다.
도8 ∼ 도12는 프레임 내의 물체 이미지의 움직임과 CA1 네트(9)가 출력하는 발화 신호의 패턴과의 관계를 도시한 도면이다. 도8은 원방에 있는 물체가 접근하고 있는 경우를 도시하고 있다. 도9는 근접한 물체가 접근하고 있는 경우를 도시하고 있다. 도10은 원방에 있는 물체가 격리되어 있는 경우를 도시하고 있다. 도11은 원방에 있는 물체가 우방향으로 이동하고 있는 경우를 도시하고 있다. 도12는 전방 하방향에 근접하여 존재하는 물체가 접근하고 있는 경우를 도시하고 있다.
도8 ∼ 12에 있어서, 중앙의 사각형은 화상 프레임(1)(도1(a) 참조)을 도시하고 있다. 화상 프레임(1)은 중심에서 교차하는 대각선의 경계축에 의해 상하좌우 의 4개의 사분면으로 분할되어 있다. 프레임의 중심은 무한원점을 나타낸다. 또한 프레임의 중심을 통과하여 수평으로 그어지는(도시되어 있지 않음) 선이 지평선이 된다. 각각의 화상 프레임 내의 사선으로 도시된 직사각형은 물체를 나타낸다. 물체에 붙여진 화살표는 물체의 이동 방향을 나타낸다.
또한 중앙의 화상 프레임(1)의 상하좌우로 4장씩 나타난 사각형의 네트는 상하좌우의 각각의 사분면에 대응하는 CA1 네트(9)(상CA1 네트(9a), 좌CA1 네트(9b), 하CA1 네트(9c), 우CA1 네트(9d))이다. 각각의 CA1 네트(9)에 있어서, 각각의 반응 블록(22)이 출력하는 발화 신호의 크기는 농담(濃淡)으로 표시되어 있으며, 짙은 색으로 도시된 반응 블록(22)일수록 큰 활성값을 출력하고 있다.
도8, 도9와 같이, 화상 프레임(1)의 중앙에 있는 물체가 접근하는 경우, 상사분면의 상CA1 네트(9a), 좌사분면의 좌CA1 네트(9b), 하사분면의 하CA1 네트(9c) 및 우사분면의 우CA1 네트(9d)가 발화한다. 따라서, 이러한 발화 패턴이 검출된 경우, 움직임 판정 수단(10)은 전방으로부터 물체가 접근하고 있다고 판정한다.
도10과 같이, 화상 프레임(1)의 중앙에 있는 물체가 격리되어 있는 경우, 상사분면의 하CA1 네트(9c), 좌사분면의 우CA1 네트(9d), 하사분면의 상CA1 네트(9a) 및 우사분면의 좌CA1 네트(9b)가 발화한다. 따라서, 이러한 발화 패턴이 검출된 경우, 움직임 판정 수단(10)은 전방의 물체가 원방에 격리되어 있다고 판정한다.
도11과 같이, 화상 프레임(1)의 중앙에 있는 물체가 우방향으로 이동하고 있는 경우, 하사분면 하CA1 네트(9c) 및 우CA1 네트(9d)에 특징적인 발화 패턴이 발생한다. 따라서 이러한 발화 패턴이 검출된 경우, 움직임 판정 수단(10)은 전방의 물체가 오른쪽으로 이동하고 있다고 판정한다.
도12와 같이, 화상 프레임(1)의 아래쪽에 있는 물체가 접근하고 있는 경우, 하사분면 하CA1 네트(9c), 좌CA1 네트(9b) 및 우CA1 네트(9d)에 특징적인 발화 패턴이 발생한다. 따라서, 이러한 발화 패턴이 검출된 경우, 움직임 판정 수단(10)은 전방 아래쪽에 있는 근접 물체가 접근하고 있다고 판정한다.
이렇게, 각각의 CA1 네트(9)의 발화 패턴을 분석함으로써, 프레임 내의 물체의 움직임을 실시간으로 검출할 수 있다. 움직임 판정 수단(10)이 어떤 경우에 어떤 물체의 움직임이라고 판정할지는 각각의 패턴의 특징량 추출이나 패턴 매칭(matching), 패턴 학습 등의 수법에 의해 임의로 설정할 수 있다.
실시예 2
도13, 도14는 실시예 2에 따른 동작 검출 장치의 기능 구성을 도시한 블록도이다. 또한 본 실시예의 동작 검출 장치의 하드웨어 구성은 도4와 동일하다. 카메라(4), 에지 검출 수단(5), 프레임 메모리(6), 에지 블록 검출 수단(7), 움직임 판정 수단(10) 및 중간 블록(21)은 실시예 1과 동일하다.
실시예 2에 있어서 각각의 반응 블록(22)은 반응 유닛 배열(31), 활성 신호 전달 수단(32) 및 경시 정보 출력 수단(33)을 구비하고 있다. 반응 유닛 배열(31)은 도14에 도시한 바와 같이, 활성 신호를 유지하기 위한 반응 유닛(34)이 순서를 매겨 복수개 배열된 구성을 갖는다(이하, 선두의 반응 유닛(34)으로부터 34_1, 34_2, 34_3, …, 34_n으로 부호를 붙인다.).
활성 신호 전달 수단(32)은 선두의 반응 유닛(34_1)으로부터 말미의 반응 유 닛(34_n)으로 활성 신호를 경시적으로 순차 전송 또는 전달한다. 또한 아날로그 회로로 구성하는 경우에는, 활성 신호 전달 수단(32)으로서 지연선(遲延線)을 사용하여도 된다.
경시 정보 출력 수단(33)은, 중간 블록(21)으로부터 출력 트리거 신호가 입력된 경우에 활성 신호를 유지하고 있는 반응 유닛(34)의 반응 유닛 배열(31)에서의 순서 정보를 발화 신호(경시 정보)로서 출력한다.
또한 중간 블록(21)은 대응하는 화상 블록에 대한 에지 검출 신호가 출력된 경우에, 대응하는 반응 블록(22)에 대해서 출력 트리거 신호를 출력하는 것과 함께 당해 반응 블록(22)에 대해서 움직임 검출 방향에 인접하는 반응 블록(22)의 반응 유닛 배열(31)의 선두의 반응 유닛(34_1)에 대해서 활성 신호를 출력한다.
이상과 같이 구성된 실시예 2에 따른 동작 검출 장치에 대해서, 이하 그 동작 검출 방법을 도15를 참조하면서 설명한다. 도15는 에지 검출 신호와 활성 신호의 시간 변화의 일례를 도시한 도면이다. 여기에서도, 도6과 마찬가지로 움직임 검출 방향이 왼쪽인 CA1 네트(9)를 예로 들어서 설명한다.
시각 t0에 있어서, 화상 블록(Bi , j)으로 에지 이미지가 이동한 것으로 한다. 이때, 중간 블록 M(i, j)으로 에지 검출 신호 s(Bi , j)가 입력된다. 중간 블록 M(i, j)은 대응하는 반응 블록 R(i, j)의 좌방향(움직임 검출 방향)에 인접하는 반응 블록 R(i, j-1)의 선두의 반응 유닛(34_1)에 대해서 활성 신호를 입력한다. 이에 의해 반응 유닛(34_1)은 활성화된다.
시각 t0로부터 시각 t1에 걸쳐서, 활성 신호 전달 수단(32)에 의해 반응 유닛(34_1)으로부터 반응 유닛(34_n)을 향해서 반응 신호가 경시적으로 전달된다.
시각 t1에 있어서, 화상 블록(Bi , j)에서 블록(Bi , j-1)으로 에지 이미지가 이동한 것으로 한다. 이때, 중간 블록 M(i, j-1)으로 에지 검출 신호 s(Bi , j-1)가 입력된다. 중간 블록 M(i, j-1)은 대응하는 반응 블록 R(i, j)에 대해서 출력 트리거 신호를 입력한다. 이에 의해 경시 정보 출력 수단(33)은 반응 유닛(34_1 ∼ 34_n)이 유지하는 활성값을 읽어내고, 그 시점에서 활성 신호를 유지하고 있는 반응 유닛(34)의 순서(도15의 예에서는 7)를 검출한다. 그리고, 검출된 순서 정보를 발화 신호(경시 정보)로서 출력한다.
실시예 1의 경우와 마찬가지로, 이 순서 정보는 에지 이미지의 움직임 검출 방향의 속도에 반비례한다. 따라서, 순서 정보를 검출함으로써 의해 에지 이미지의 움직임을 검출하는 것이 가능하다.
또한 본 실시예에 있어서, 활성 신호 전달 수단(32)은 도16에 도시한 바와 같이, 경시적으로 단조 함수에 따라 활성값을 변화시키면서 각각의 반응 유닛(34) 간을 전달시키도록 구성하여도 된다. 이 경우, 경시 정보 출력 수단(33)은 반응 유닛(34_1 ∼ 34_n)이 유지하는 활성값을 읽어내고, 그 시점에서 활성 신호를 유지하고 있는 반응 유닛(34)의 활성값(도16의 예에서는 7번째의 반응 유닛(34_7)의 활성값)을 검출한다. 그리고, 검출된 활성값을 발화 신호(경시 정보)로서 출력하면 된다.
실시예 3
도17은 실시예 3에 따른 동작 검출 장치의 기능 구성을 도시한 블록도이다. 또한 본 실시예의 동작 검출 장치의 하드웨어 구성은 도4와 동일하다. 또한 반응 블록(22) 이외의 구성에 대해서는 실시예 2의 도13과 동일하다.
실시예 3에 있어서는 각각의 반응 블록(22)은 반응 네트(35), 활성 신호 전달 수단(36) 및 경시 정보 출력 수단(37)을 구비하고 있다. 반응 네트(35)는 활성 신호를 유지하기 위한 반응 유닛(38)이 링크를 통해 2차원적으로 복수개 접속된 구성을 가진다. 각각의 링크는 방향성을 가지고, 중앙의 반응 유닛(38)으로부터 주변의 반응 유닛(38)을 향해 신호를 전달한다.
활성 신호 전달 수단(36)은 반응 네트(35) 내의 링크로 접속된 2개의 반응 유닛(38)(여기에서는 설명의 편의상, '반응 유닛(38a)', '반응 유닛(38b)'이라 한다.)에 대해서, 당해 링크 입력측의 반응 유닛(38a)의 활성 신호를 당해 링크 출력측의 반응 유닛(38b)으로 경시적으로 전송 또는 전달시킨다. 이 경우, 활성 신호는 중앙의 반응 유닛(38)으로부터 주변의 반응 유닛(38)을 향해서 원환상으로 전달된다.
경시 정보 출력 수단(37)은 출력 트리거 신호가 입력된 경우에 활성 신호를 유지하고 있는 반응 유닛(38)의 반응 네트(35)에서의 분포 범위 정보를 경시 정보로서 출력한다. 여기에서, 분포 범위 정보로는, 구체적으로, 활성 신호를 유지하고 있는 반응 유닛(38)의 원환상의 분포의 반경 또는 원면적, 원환상으로 분포하는 반응 유닛(38)의 활성값의 누계 강도 등을 사용할 수 있다.
이 경우, 중간 블록(21)은 대응하는 화상 블록에 대한 에지 검출 신호가 출력된 경우에, 대응하는 반응 블록(22)에 대해서 출력 트리거 신호를 출력한다. 이와 함께, 당해 중간 블록(21)에 대응하는 반응 블록(22)에 대해서 움직임 검출 방향에 인접하는 반응 블록(21)의 반응 네트(35)의 중앙의 반응 유닛(38)(도16 참조)으로 활성 신호를 출력하도록 구성하면 된다.
또한 본 실시예에 있어서도, 활성 신호 전달 수단(36)은 경시적으로 단조 함수에 따라 활성값을 변화시키면서 각각의 반응 유닛(38) 간을 전달시키도록 구성해도 된다. 이 경우, 경시 정보 출력 수단(37)은 원환의 최외단의 반응 유닛(38)이 유지하는 활성값을 검출한다. 그리고, 검출된 활성값을 발화 신호(경시 정보)로서 출력하면 된다.
실시예4
도18은 실시예 4에 따른 동작 검출 장치의 기능 구성을 도시한 블록도이다. 또한 본 실시예의 동작 검출 장치의 하드웨어 구성은 도4와 동일하다. 또한 반응 블록(22) 이외의 구성에 대해서는 실시예 2의 도13과 동일하다.
실시예 4에 따른 동작 검출 장치는 도1에서 도시한 모델로 충실하게 구성한 예이다. 이 동작 검출 장치에 있어서 중간 블록(21)은 활성 신호를 유지하기 위한 중간 유닛(40)이 링크를 통해서 2차원적으로 복수개 접속된 중간 네트를 가진다. 또한 반응 블록(22)은 중간 블록(21) 내의 중간 유닛(40)의 각각에 대응하여 설치된 복수의 반응 유닛(41)을 가진다.
에지 블록 검출 수단(7)(도4 참조)은 각각의 프레임을 순차적으로 읽어들이 고, 프레임 내의 각각의 화상 블록에 대해서, 당해 화상 블록 내에 에지 이미지가 포함될 것인지의 여부를 검출한다. 그리고, 에지 이미지가 포함되는 화상 블록에 대응하는 중간 블록(21) 내의 중간 네트의 중앙에 위치하는 중간 유닛(40)(이하 '중앙 중간 유닛(40c)'이라 한다.)으로 에지 검출 신호를 출력한다.
중간 블록(21)은 활성값 초기화 수단(도시되어 있지 않음), 활성 신호 전달 수단(도시되어 있지 않음) 및 활성 신호 전송 수단(도시되어 있지 않음)을 구비하고 있다.
활성값 초기화 수단은 중앙 중간 유닛(40c)으로 활성 신호가 입력되었을 때, 당해 중앙 중간 유닛(40c)이 유지하는 활성 신호를 초기값으로 초기화한다. 그리고, 대응하는 반응 블록(22)의 모든 반응 유닛(41)에 대해서 활성 신호를 출력한다.
활성 신호 전달 수단은 중간 네트 내의 링크로 접속된 2개의 중간 유닛(40)(여기에서는 편의상 '중간 유닛(40a)', '중간 유닛(40b)'이라 한다.)에 대해서, 당해 링크 입력측의 중간 유닛(40a)의 활성 신호를 감쇠시켜서 당해 링크 출력측의 중간 유닛(40b)으로 경시적으로 전송 또는 전달시킨다.
활성 신호 전송 수단은 중앙 중간 유닛(40c) 이외의 각각의 중간 유닛(40)에 대해서, 당해 중간 블록(21)에 대해 움직임 검출 방향에 인접하는 중간 블록(21)에 대응하는 반응 블록(22)(이하 '인접 반응 블록'이라 한다.) 내의 반응 유닛(41) 중에서, 당해 인접 반응 블록(22) 내의 상대 위치가 당해 중간 블록(21) 내에서의 당해 중간 유닛(40)의 상대 위치와 같은 상대 위치에 있는 반응 유닛(41)에 대해 유 지하고 있는 활성 신호를 출력한다. 이것을 좀더 알기 쉽게 설명한다.
예를 들면 도18에 있어서, 부호(A)가 붙여진 중간 블록(21)(이하 '중간 블록(A)'이라 부른다.)에 있어서, 부호(P)가 붙여진 중간 유닛(40)(이하 '중간 유닛(P)'이라 부른다.)의 중간 블록(A) 내에서의 상대 위치는, 중앙 중간 유닛(40c)으로부터 왼쪽으로 2칸이다. 이것을, 상대 좌표 (-2, 0)이라고 기재한다. 한편, 중간 블록(A)에 대해서 움직임 검출 방향(도18에서는 좌방향)에 인접하는 중간 블록(21)은 부호(B)가 붙여진 중간 블록(21)(이하 '중간 블록(B)'이라 부른다.)이다.
중간 블록(A)에 대응하는 반응 블록(22)을 '반응 블록(A)'이라고 부르고, 중간 블록(B)에 대응하는 반응 블록(22)을 '반응 블록(B)'이라고 부른다. 중간 블록(A)에 대해 움직임 검출 방향(도18에서는 좌방향)에 인접하는 중간 블록(B)에 대응하는 반응 블록(B)이 인접 반응 블록이다. 이 인접 반응 블록(B) 내의 반응 유닛(41) 중에서 당해 인접 반응 블록(B) 내의 상대 위치가 중간 블록(A) 내에서의 중간 유닛(P)의 상대 위치 (-2,0)와 같은 상대 위치에 있는 반응 유닛(41)은, 도18에서 부호(Q)가 붙여진 반응 유닛(41)(이하 '반응 유닛(Q)'이라 부른다.)이다. 따라서 활성 신호 전송 수단은 중간 유닛(P)이 유지하는 활성 신호를 반응 유닛(Q)에 대해서 출력한다. 그 밖의 중간 유닛(40)에 관해서도 동일하다.
도19는 각각의 반응 유닛(41)의 구성을 도시한 블록도이다. 각각의 반응 유닛(41)은 활성 신호 유지 수단(42), 반응 신호 감쇠 수단(43), 활성 신호 갱신 수단(44), 발화 수단(45)을 구비한다.
활성 신호 유지 수단(42)은 중간 블록(21)의 활성 신호 전송 수단으로부터 입력되는 활성 신호를 유지한다. 반응 신호 감쇠 수단(43)은 활성 신호 유지 수단(42)이 유지하는 활성 신호를 경시적으로 감쇠시킨다. 활성 신호 갱신 수단(44)은 중간 블록(21)의 활성 신호 전송 수단 또는 활성값 초기화 수단(24)에 의해 활성 신호가 입력된 경우, 입력된 활성 신호의 값을 활성 신호 유지 수단(42)이 유지하는 활성 신호의 값에 더해지는 것에 의해 활성 신호 유지 수단(42)이 유지하는 활성 신호를 갱신한다. 발화 수단(45)은 활성 신호 유지 수단(42)이 유지하는 활성 신호가 소정의 임계값을 넘었을 때, 그 활성 신호를 발화 신호(경시 정보)로서 출력한다.
이상과 같은 구성에 의해, 도1에서 설명한 바와 같은 동작 검출 장치를 구성할 수 있다. 또한 본 실시예에서는 중간 유닛(40)이나 반응 유닛(41)을 2차원적으로 배열한 예를 도시하고 있지만, 이들은 도14의 경우와 마찬가지로 1차원적으로 배열해도 된다.
본 발명은 동작 검출을 행하는 화상 처리 LSI에서 사용된다. 예를 들면 자동차 등에 있어서 전방의 보행자, 자동차, 그 밖의 이동체의 검출을 자동 검출할 때의 화상 처리 기술로서 이용 가능하다.

Claims (21)

  1. 에지 추출 처리된 동화상(dynamic image)의 각각의 프레임을 순차적으로 읽어들이고, 상기 프레임 내의 각각의 화소를 블록 분할했을 때의 각각의 화상 블록 내에서의 에지 이미지의 유무를 검출하고, 에지 이미지를 포함하는 화상 블록에 대한 에지 검출 신호를 출력하는 에지 블록 검출 수단;
    상기 각각의 화상 블록에 대응하여 중간 블록을 복수개 갖는 중간층; 및
    상기 각각의 중간 블록에 대응하여 반응 블록을 복수개 갖는 출력층;
    을 구비한 동작 검출 장치에 있어서,
    상기 각각의 중간 블록은 대응하는 상기 화상 블록에 대해서 상기 에지 검출 신호가 출력된 경우에 활성화되고,
    상기 각각의 반응 블록은, 대응하는 상기 중간 블록인 대응 중간 블록에 대해서 움직임 검출 방향과 역방향에 인접하는 상기 중간 블록인 인접 중간 블록의 활성화에 따라 활성값을 초기화하고, 초기화 후에는 당해 활성값을 단조 함수에 따라 경시(經時) 변화시키면서 소정 기간 유지하고, 상기 대응 중간 블록이 활성화된 경우에 유지하고 있는 상기 활성값의 크기에 관한 정보를 발화 신호로서 출력하는
    동작 검출 장치.
  2. 제1항에 있어서,
    상기 각각의 반응 블록은,
    순서가 매겨져 접속되고 활성값을 유지하는 복수의 반응 유닛;
    상기 인접 중간 블록의 활성화에 따라 선두의 상기 반응 유닛의 활성값을 초기화하는 활성값 초기화 수단;
    순서가 앞인 상기 반응 유닛의 활성값을 순서가 뒤인 상기 반응 유닛으로 전달하는 활성 신호 전달 수단; 및
    상기 대응 중간 블록이 활성화된 경우에 활성값을 유지하고 있는 상기 반응 유닛의 순서에 관한 정보를 발화 신호로서 출력하는 경시 정보(time elapse information) 출력 수단을 구비한
    동작 검출 장치.
  3. 에지 추출 처리된 동화상의 각각의 프레임을 순차적으로 읽어들이고, 상기 프레임 내의 각각의 화소를 블록 분할했을 때의 각각의 화상 블록 내에서의 에지 이미지의 유무를 검출하고, 에지 이미지를 포함하는 화상 블록에 대한 에지 검출 신호를 출력하는 에지 블록 검출 수단;
    상기 각각의 화상 블록에 대응하여 중간 블록을 복수개 갖는 중간층; 및
    상기 각각의 중간 블록에 대응하여 반응 블록을 복수개 갖는 출력층;
    을 구비한 동작 검출 장치에 있어서,
    상기 각각의 중간 블록은 대응하는 상기 화상 블록에 대해서 상기 에지 검출 신호가 출력된 경우에 활성화되어, 활성값을 초기값으로 초기화하고, 초기화 후에는 당해 활성값을 단조 함수에 따라 경시 변화시키면서 소정 기간 유지하고,
    상기 각각의 반응 블록은, 대응하는 상기 중간 블록인 대응 중간 블록에 대해서 움직임 검출 방향과 역방향에 인접하는 상기 중간 블록인 인접 중간 블록의 활성값과, 상기 대응 중간 블록의 활성값을 가산하고, 가산값이 상기 초기값보다 크게 설정된 소정의 임계값 이상인 경우에 상기 활성값의 크기에 관한 정보를 발화 신호로서 출력하는
    동작 검출 장치.
  4. 제3항에 있어서,
    상기 각각의 중간 블록은,
    순서가 매겨져 접속되고 활성값을 유지하는 복수의 중간 유닛;
    대응하는 상기 화상 블록에 대해서 상기 에지 검출 신호가 출력된 경우에 선두의 상기 중간 유닛의 활성값을 초기화하는 활성값 초기화 수단; 및
    순서가 앞인 상기 중간 유닛의 활성값을 순서가 뒤인 상기 중간 유닛으로 전달하는 활성 신호 전달 수단을 구비하고,
    상기 각각의 반응 블록은, 상기 대응 중간 블록이 활성화된 경우에 상기 인접 블록 내의 활성값을 유지하고 있는 상기 중간 유닛의 순서에 관한 정보를 발화 신호로서 출력하는 경시 정보 출력 수단을 구비한
    동작 검출 장치.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 출력층으로서, 상방향의 움직임을 검출하는 상출력층, 하방향의 움직임을 검출하는 하출력층, 좌방향의 움직임을 검출하는 좌출력층, 우방향의 움직임을 검출하는 우출력층
    을 구비한 동작 검출 장치.
  6. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 프레임을 4개의 사분면으로 분할하여 각각의 사분면에 대응하여 4장의 상기 중간층
    을 구비한 동작 검출 장치.
  7. 제6항에 있어서,
    상기 각각의 사분면에 대응하는 상기 중간층의 각각에 대해서, 상기 출력층으로서, 상방향의 움직임을 검출하는 상출력층, 하방향의 움직임을 검출하는 하출력층, 좌방향의 움직임을 검출하는 좌출력층, 우방향의 움직임을 검출하는 우출력 층
    을 구비한 동작 검출 장치.
  8. 에지 추출 처리된 동화상의 각각의 프레임을 순차적으로 읽어들이고, 상기 프레임 내의 각각의 화소를 블록 분할했을 때의 각각의 화상 블록 내에서의 에지 이미지의 유무를 검출하고, 에지 이미지를 포함하는 화상 블록에 대한 에지 검출 신호를 출력하는 에지 블록 검출 수단; 및
    소정의 움직임 검출 방향에 대한 에지 이미지의 움직임을 검출하는 움직임 검출 블록이, 상기 각각의 화상 블록에 대응하여 복수개 배열되어 이루어지는 움직임 검출 블록 집합체;
    를 구비하고,
    상기 움직임 검출 블록은,
    대응하는 화상 블록에 대해서 움직임 검출 방향과 반대 방향 측에 인접하는 화상 블록에 대한 에지 검출 신호가 검출된 경우에는, 그 검출 시각으로부터의 경과 시간의 정보인 경시 정보를 생성하는 것과 함께 당해 경시 정보를 단조 함수로 시간 변화시키면서 유지하고,
    대응하는 화상 블록에 대한 에지 검출 신호가 출력된 경우에, 그 시점에서 유지하고 있는 상기 경시 정보를 출력하는
    동작 검출 장치.
  9. 제8항에 있어서,
    상기 움직임 검출 블록이 상기 경시 정보를 출력한 경우, 상기 경시 정보가 출력된 화상 블록의 상기 프레임 내에서의 위치 및 당해 경시 정보의 패턴에 기초하여 움직임의 종별을 판정하는 움직임 판정 수단
    을 구비한 동작 검출 장치.
  10. 제8항 또는 제9항에 있어서,
    상하좌우의 각각의 움직임 검출 방향에 대응하여 각각 상기 움직임 검출 블록 집합체
    를 구비한 동작 검출 장치.
  11. 제8항 내지 제10항 중 어느 한 항에 있어서,
    상기 움직임 검출 블록은,
    상기 에지 검출 신호에 따라 활성 신호 및 출력 트리거(trigger) 신호를 출력하는 중간 블록; 및
    상기 활성 신호 및 출력 트리거 신호에 기초하여 경시 정보를 생성하여 출력하는 반응 블록을 구비하고,
    상기 반응 블록은,
    고유의 활성값을 유지하는 활성값 기억 수단;
    상기 활성 신호가 입력되기 시작했을 때 당해 활성값을 소정의 초기값으로 하는 활성값 초기화 수단;
    소정의 단조 함수인 활성값 변화 함수에 따라서 상기 활성값을 경시 변화시키는 활성값 변화 수단; 및
    상기 출력 트리거 신호가 입력된 경우에는 그 시점의 상기 활성값 또는 상기 활성값으로부터 소정의 출력 함수에 의해 산출되는 값인 출력값을 상기 경시 정보로서 출력하는 경시 정보 출력 수단을 구비하고,
    상기 중간 블록은, 당해 움직임 검출 블록에 대응하는 화상 블록에 대한 에지 검출 신호가 출력된 경우에, 당해 움직임 검출 블록에 속하는 반응 블록에 대해서 출력 트리거 신호를 출력하는 것과 함께, 당해 움직임 검출 블록에 대해서 상기 움직임 검출 방향에 인접하는 움직임 검출 블록에 속하는 반응 블록에 대해서 상기 활성 신호를 출력하는
    동작 검출 장치.
  12. 제8항 내지 제10항 중 어느 한 항에 있어서,
    상기 움직임 검출 블록은,
    상기 에지 검출 신호에 따라 활성 신호 및 출력 트리거 신호를 출력하는 중 간 블록; 및
    상기 활성 신호 및 출력 트리거 신호에 기초하여 상기 경시 정보를 생성하여 출력하는 반응 블록을 구비하고,
    상기 반응 블록은,
    활성 신호를 유지하기 위한 반응 유닛이 순서를 매겨 복수개 배열된 반응 유닛 배열;
    선두의 반응 유닛에서 말미의 반응 유닛으로 활성 신호를 경시적으로 순차 전송 또는 전달하는 활성 신호 전달 수단; 및
    상기 출력 트리거 신호가 입력된 경우에 상기 활성 신호를 유지하고 있는 상기 반응 유닛의 상기 반응 유닛 배열에서의 순서 정보를 상기 경시 정보로서 출력하는 경시 정보 출력 수단을 구비하고,
    상기 중간 블록은, 당해 움직임 검출 블록에 대응하는 화상 블록에 대한 에지 검출 신호가 출력된 경우에, 당해 움직임 검출 블록에 속하는 반응 블록에 대해서 출력 트리거 신호를 출력하는 것과 함께, 당해 움직임 검출 블록에 대해서 상기 움직임 검출 방향에 인접하는 움직임 검출 블록에 속하는 반응 블록의 상기 반응 유닛 배열의 선두의 반응 유닛에 대해서 상기 활성 신호를 출력하는
    동작 검출 장치.
  13. 제12항에 있어서,
    상기 활성 신호 전달 수단은, 선두의 반응 유닛에서 말미의 반응 유닛으로 소정의 활성값 변화 함수에 따라 상기 활성 신호를 경시적으로 변화시키면서 순차 전송 또는 전달하고,
    상기 경시 정보 출력 수단은, 상기 출력 트리거 신호가 입력된 경우에 상기 활성 신호의 값을 상기 경시 정보로서 출력하는
    동작 검출 장치.
  14. 제8항 내지 제10항 중 어느 한 항에 있어서,
    상기 움직임 검출 블록은,
    상기 에지 검출 신호에 따라 활성 신호 및 출력 트리거 신호를 출력하는 중간 블록; 및
    상기 활성 신호 및 출력 트리거 신호에 기초하여 상기 경시 정보를 생성하여 출력하는 반응 블록을 구비하고,
    상기 반응 블록은,
    활성 신호를 유지하기 위한 반응 유닛이 링크를 통해서 2차원적으로 복수개 접속된 반응 네트;
    상기 반응 네트 내의 링크로 접속된 2개의 반응 유닛에 대해서, 당해 링크 입력측의 반응 유닛의 활성 신호를 당해 링크 출력측의 반응 유닛으로 경시적으로 전송 또는 전달시키는 활성 신호 전달 수단; 및
    상기 출력 트리거 신호가 입력된 경우에 상기 활성 신호를 유지하고 있는 상기 반응 유닛의 상기 반응 네트에서의 분포 범위 정보를 상기 경시 정보로서 출력하는 경시 정보 출력 수단을 구비하고,
    상기 중간 블록은, 당해 움직임 검출 블록에 대응하는 화상 블록에 대한 에지 검출 신호가 출력된 경우에, 당해 움직임 검출 블록에 속하는 반응 블록에 대해서 출력 트리거 신호를 출력하는 것과 함께, 당해 움직임 검출 블록에 대해서 상기 움직임 검출 방향에 인접하는 움직임 검출 블록에 속하는 반응 블록의 상기 반응 네트의 중앙에 위치하는 반응 유닛으로 활성 신호를 출력하는
    동작 검출 장치.
  15. 제14항에 있어서,
    상기 활성 신호 전달 수단은, 상기 반응 네트 내의 링크로 접속된 2개의 반응 유닛에 대해서, 당해 링크 입력측의 반응 유닛의 활성 신호를 당해 링크 출력측의 반응 유닛으로 소정의 활성값 변화 함수에 따라서 상기 활성 신호를 변화시키면서 순차 전송 또는 전달하고,
    상기 경시 정보 출력 수단은, 상기 출력 트리거 신호가 입력된 경우에 상기 활성 신호의 값을 상기 경시 정보로서 출력하는
    동작 검출 장치.
  16. 제8항 내지 제10항 중 어느 한 항에 있어서,
    상기 움직임 검출 블록은,
    활성 신호를 유지하기 위한 중간 유닛이 링크를 통해서 2차원적으로 복수개 접속된 중간 네트를 갖는 중간 블록; 및
    상기 중간 블록 내의 상기 중간 유닛의 각각에 대응하여 설치된 복수의 반응 유닛을 갖는 반응 블록을 구비하고,
    상기 에지 블록 검출 수단은, 상기 각각의 프레임을 순차적으로 읽어들이고, 상기 프레임 내의 각각의 화상 블록에 대해서, 당해 화상 블록 내에 에지 이미지가 포함되는지 여부를 검출하고, 에지 이미지가 포함되는 화상 블록에 대응하는 상기 중간 블록 내의 상기 중간 네트의 중앙에 위치하는 중간 유닛인 중앙 중간 유닛으로 에지 검출 신호를 출력하고,
    상기 중간 블록은,
    상기 중앙 중간 유닛으로 활성 신호가 입력되었을 때, 당해 중앙 중간 유닛이 유지하는 활성 신호를 초기값으로 초기화한 후, 당해 움직임 검출 블록에 속하는 상기 반응 블록의 모든 반응 유닛에 대해서 당해 활성 신호를 출력하는 활성값 초기화 수단;
    상기 중간 네트 내의 링크로 접속된 2개의 중간 유닛에 대해서, 당해 링크 입력측의 중간 유닛의 활성 신호를 감쇠시켜서 당해 링크 출력측의 중간 유닛으로 경시적으로 전송 또는 전달시키는 활성 신호 전달 수단; 및
    상기 중앙 중간 유닛 이외의 각각의 중간 유닛에 대해서, 당해 중간 블록에 대해서 움직임 검출 방향에 인접하는 상기 중간 블록에 대응하는 반응 블록인 인접 반응 블록 내의 반응 유닛 중, 당해 인접 반응 블록 내의 상대 위치가 당해 중간 블록 내에서의 당해 중간 유닛의 상대 위치와 같은 상대 위치에 있는 반응 유닛에 대해, 유지하고 있는 활성 신호를 출력하는 활성 신호 전송 수단을 구비하고,
    상기 반응 블록 내의 상기 각각의 반응 유닛은,
    상기 활성 신호 전송 수단으로부터 입력되는 활성 신호를 유지하는 활성 신호 유지 수단;
    상기 활성 신호 유지 수단이 유지하는 활성 신호를 감쇠시키는 반응 신호 감쇠 수단;
    상기 활성 신호 전송 수단 또는 상기 활성값 초기화 수단에 의해 활성 신호가 입력된 경우, 입력된 활성 신호의 값을 상기 활성 신호 유지 수단이 유지하는 활성 신호의 값에 더하는 것에 의해 상기 활성 신호 유지 수단이 유지하는 활성 신호를 갱신하는 활성 신호 갱신 수단; 및
    상기 활성 신호 유지 수단이 유지하는 활성 신호가 소정의 임계값을 넘었을 때, 그 활성 신호 또는 발화 신호를 상기 경시 정보로서 출력하는 발화 수단을 구비한
    동작 검출 장치.
  17. 제11항 내지 제16항 중 어느 한 항에 있어서,
    상기 각각의 움직임 검출 블록은, 하나의 상기 중간 블록과 상하좌우의 각각의 움직임 검출 방향에 대응하는 4개의 상기 반응 블록을 구비한
    동작 검출 장치.
  18. 제11항 내지 제16항 중 어느 한 항에 있어서,
    상기 각각의 움직임 검출 블록은,
    상기 프레임을 상하좌우의 4사분면으로 분할했을 경우의 각각의 사분면에 대응하여 4개의 상기 중간 블록; 및
    상기 각각의 중간 블록의 각각에 대해서, 상하좌우의 각각의 움직임 검출 방향에 대응하는 4개의 상기 반응 블록을 구비한
    동작 검출 장치.
  19. 컴퓨터로 읽어들여서 실행하는 것에 의해, 컴퓨터를 제1항 내지 제18항 중 어느 한 항에 기재된 동작 검출 장치로서 기능시키는
    프로그램.
  20. 순차적으로 입력되는 에지 추출 처리된 동화상의 프레임을 블록 분할했을 때의 각각의 화상 블록에 대해서, 각각의 화상 블록 내에서의 에지 이미지의 유무를 검출하여 에지 이미지를 포함하는 화상 블록에 대한 에지 검출 신호를 출력하는 에지 블록 검출 단계;
    상기 에지 검출 신호가 출력된 화상 블록인 검출 블록에 대해서 움직임 검출 방향에 인접하는 화상 블록인 인접 블록에 대해서, 상기 검출 블록에 있어서 상기 에지 검출 신호가 계속적으로 출력되기 시작한 시각으로부터의 경과 시간의 정보인 경시 정보를 생성하는 경시 정보 생성 단계; 및
    상기 인접 블록에 있어서 상기 에지 검출 신호가 출력되기 시작했을 때, 상기 인접 블록에 대해서 생성된 상기 경시 정보를 출력하는 경시 정보 출력 단계
    를 포함하는 동작 검출 방법.
  21. 제20항에 있어서,
    상기 경시 정보 출력 단계에서 각각의 화상 블록에 대한 상기 경시 정보를 출력한 후에, 경시 정보를 출력한 각각의 화상 블록의 상기 프레임 내에서의 위치 및 당해 경시 정보의 패턴에 기초하여 움직임의 종별을 판정하는 움직임 판정 단계
    를 더 포함하는 동작 검출 방법.
KR1020077008850A 2005-03-28 2006-03-24 동작 검출 장치 및 동작 검출 방법 KR20080002739A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005091321 2005-03-28
JPJP-P-2005-00091321 2005-03-28

Publications (1)

Publication Number Publication Date
KR20080002739A true KR20080002739A (ko) 2008-01-04

Family

ID=37053290

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020077008850A KR20080002739A (ko) 2005-03-28 2006-03-24 동작 검출 장치 및 동작 검출 방법

Country Status (5)

Country Link
US (1) US20100209001A1 (ko)
EP (1) EP1865466A4 (ko)
JP (1) JP4130975B2 (ko)
KR (1) KR20080002739A (ko)
WO (1) WO2006104033A1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101650439B (zh) * 2009-08-28 2011-12-07 西安电子科技大学 基于差异边缘和联合概率一致性的遥感图像变化检测方法
KR101634355B1 (ko) * 2009-09-18 2016-06-28 삼성전자주식회사 동작 검출 장치 및 방법
WO2014184862A1 (ja) * 2013-05-14 2014-11-20 富士通株式会社 グルーピング装置、グルーピング方法、およびグルーピングプログラム
CN103310469B (zh) * 2013-06-28 2016-05-11 中国科学院自动化研究所 一种基于混合图像模板的车辆检测方法
CN103413311B (zh) * 2013-08-19 2016-12-28 厦门美图网科技有限公司 一种基于边缘的模糊检测方法
CN103839255B (zh) * 2013-12-05 2017-03-01 福建师范大学 视频抠像篡改检测方法及装置
CN104217446A (zh) * 2014-08-19 2014-12-17 长春理工大学 一种基于边缘检测的彩色结构光解码方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01315885A (ja) * 1988-06-16 1989-12-20 Ricoh Co Ltd 並列画像処理方式
US4985618A (en) * 1988-06-16 1991-01-15 Nicoh Company, Ltd. Parallel image processing system

Also Published As

Publication number Publication date
JP4130975B2 (ja) 2008-08-13
US20100209001A1 (en) 2010-08-19
WO2006104033A1 (ja) 2006-10-05
JPWO2006104033A1 (ja) 2008-09-04
EP1865466A4 (en) 2010-01-27
EP1865466A1 (en) 2007-12-12

Similar Documents

Publication Publication Date Title
US11204417B2 (en) Selective attention mechanism for improved perception sensor performance in vehicular applications
US11195038B2 (en) Device and a method for extracting dynamic information on a scene using a convolutional neural network
KR20080002739A (ko) 동작 검출 장치 및 동작 검출 방법
CN109597415B (zh) 基于月球表面安全着陆区的巡视器路径规划方法及系统
CN101388072A (zh) 用于评测图像的方法和装置
JP7135665B2 (ja) 車両制御システム、車両の制御方法及びコンピュータプログラム
KR102229220B1 (ko) 다수의 차량을 통한 센서 퓨전, v2x 통신 가능한 애플리케이션을 이용한 협업 주행을 위해 주변에 위치하는 카메라 각각에 대응되는 각각의 객체 검출기에 의해 검출되는 객체 검출 정보를 통합하는 방법 및 장치
US11804026B2 (en) Device and a method for processing data sequences using a convolutional neural network
CN114359714A (zh) 基于事件相机的无人体避障方法、装置及智能无人体
JP2018066701A (ja) 測距装置、および、測距装置の制御方法
CN111767843B (zh) 三维位置预测方法、装置、设备以及存储介质
CN106096493A (zh) 使用深度学习的棒状像素估计和道路场景分割
JP7031157B2 (ja) 物体検出方法及び物体検出装置
JP4788399B2 (ja) 歩行者検出方法、装置、およびプログラム
JP2016081108A (ja) 物体検出装置
Huang et al. Rear obstacle warning for reverse driving using stereo vision techniques
JPH0850696A (ja) 走行車両のナンバー認識装置
Astrid et al. What do pedestrians see?: Visualizing pedestrian-view intersection classification
JP7501481B2 (ja) 距離推定装置、距離推定方法、および距離推定用コンピュータプログラム
KR20200128865A (ko) Cnn 기반의 객체 검출 장치 및 그 방법
Aswini et al. Drone Object Detection Using Deep Learning Algorithms
JP2019028311A (ja) 視差情報生成装置および視差情報生成方法、撮像装置、移動装置、プログラム
Yamazaki et al. Considerations about saliency map from Wide Angle Fovea image
Alba et al. Implementation of a Drosophila-inspired orientation model on the Eye-Ris platform
Hörmann Long-term prediction using grid based environment models for urban autonomous driving

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid