KR100676232B1 - 물체추적방법, 물체추적장치 및 물체추적을 행하기 위한 계산기의 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체 - Google Patents

물체추적방법, 물체추적장치 및 물체추적을 행하기 위한 계산기의 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체 Download PDF

Info

Publication number
KR100676232B1
KR100676232B1 KR1020040070323A KR20040070323A KR100676232B1 KR 100676232 B1 KR100676232 B1 KR 100676232B1 KR 1020040070323 A KR1020040070323 A KR 1020040070323A KR 20040070323 A KR20040070323 A KR 20040070323A KR 100676232 B1 KR100676232 B1 KR 100676232B1
Authority
KR
South Korea
Prior art keywords
image
size
range
partial region
imaging device
Prior art date
Application number
KR1020040070323A
Other languages
English (en)
Other versions
KR20050025063A (ko
Inventor
이토와타루
우에다히로타다
Original Assignee
가부시키가이샤 히다치 고쿠사이 덴키
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시키가이샤 히다치 고쿠사이 덴키 filed Critical 가부시키가이샤 히다치 고쿠사이 덴키
Publication of KR20050025063A publication Critical patent/KR20050025063A/ko
Application granted granted Critical
Publication of KR100676232B1 publication Critical patent/KR100676232B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/78—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
    • G01S3/782—Systems for determining direction or deviation from predetermined direction
    • G01S3/785—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
    • G01S3/786—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
    • G01S3/7864—T.V. type tracking systems
    • G01S3/7865—T.V. type tracking systems using correlation of the live video image with a stored image
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명은 촬상장치에 의하여 얻어지는 화상신호에 의거하여 화상 중의 물체를 추적하는 물체추적방법 및 장치이다. 화상 중에 있어서의 물체의 특징량(위치, 크기, 이동량)을 검출하고, 검출결과에 의거하여 촬상장치의 촬상렌즈를 억제하여 물체를 추적한다. 동시에 검출결과에 의거하여 화상의 부분영역의 범위를 설정하고, 설정된 부분영역의 화상을 소정의 크기로 확대하여 모니터상에 표시한다.

Description

물체추적방법, 물체추적장치 및 물체추적을 행하기 위한 계산기의 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체{OBJECT TRACKING METHOD, OBJECT TRACKING APPARATUS AND COMPUTER-READABLE RECORD MEDIUM WITH RECORDED OBJECT TRACKING PROGRAM}
도 1은 본 발명의 일 실시예에 관한 화상감시장치에 의하여 행하여지는 물체추적처리의 순서의 일례를 나타내는 도,
도 2는 본 발명의 일 실시예에 관한 화상감시장치의 구성예를 나타내는 도,
도 3은 차분법을 사용하여 침입자를 검출하는 처리의 일례의 개략과, 그 침입물체의 화상을 템플릿에 등록하는 처리의 일례의 개략을 나타내는 도,
도 4는 템플릿 매칭법에 의한 침입물체의 이동량의 검출처리를 차례로 실행하여 침입물체를 추적하는 처리의 흐름의 일례를 나타내는 도,
도 5는 검출물체의 위치에 의거하여 카메라 운대를 제어하는 동작의 일례를 나타내는 도,
도 6a, 도 6b는 템플릿의 확대·축소의 모양의 일례를 나타내는 도,
도 7은 카메라 운대 및 촬상렌즈를 제어하는 동작의 일례의 개략을 나타내는 도,
도 8은 입력화상의 일부를 전자적으로 확대하는 처리의 모양의 일례를 나타내는 도,
도 9는 본 발명의 일 실시예에 관한 화상감시장치에 의하여 행하여지는 물체 추적처리의 모양의 일례를 나타내는 도,
도 10은 부분화상의 컷아웃처리의 모양의 일례를 나타내는 도,
도 11은 본 발명의 다른 실시예에 의한 물체추적처리의 순서를 나타내는 플로우차트,
도 12는 도 11의 실시예에 있어서의 촬상렌즈의 주밍배율설정의 일례를 설명하기 위한 도면이다.
본 발명은 촬상되는 화상 중의 물체를 추적하는 물체추적방법 및 물체추적장치에 관한 것으로, 특히 감시대상의 물체의 이동에 충분히 고속으로 추미하고 또한 물체의 영상을 충분히 높은 해상도로 취득 가능하게 하는 기술에 관한 것이다.
예를 들면 TV 카메라(텔레비젼 카메라) 등의 촬상장치를 사용한 원격모니터방식의 감시시스템은 종래부터 널리 사용되고 있으나, 그 대부분은 감시원이 모니터에 표시되는 화상을 보면서 감시를 행하는 이른바 유인 감시방식의 감시시스템이다. 유인 감시방식의 감시시스템에서는 감시원이 항시 모니터에 표시되는 영상을 보고 있어, 감시대상영역 내에 들어오는 인간이나 자동차 등의 침입물체를 실시간으로 식별할 필요가 있어 감시원에게 큰 부담이 된다.
즉, 인간의 집중력에는 한계가 있기 때문에, 유인 감시방식의 감시시스템에서는 침입물체를 못보고 놓치는 것의 발생을 무시할 수 없어 신뢰성의 면에서 문제 가 있다. 또 감시 카메라의 폭발적인 보급에 의하여 감시원 한 사람이 수많은 TV 카메라영상을 복수의 모니터로 감시하는 장면도 많아지고 있어, 복수의 TV 카메라로 동시에 침입물체를 포착한 경우에도 침입물체를 못보고 놓치는 것이 발생할 가능성이 있다.
그래서 이와 같은 사람에 의한 감시가 아니라, TV 카메라로 촬상된 화상으로부터 화상처리에 의하여 침입물체를 자동적으로 검출하고, 그 침입물체의 화상을 화면의 중앙에 포착하도록 TV 카메라를 탑재하는 카메라 운대(선회대)(영역 : camera pan and hilt head)를 제어하여 시야방향 및 화면각을 자동적으로 조절하여 소정의 통지나 경보처리가 얻어지도록 한 이른바 자동추적방식의 감시시스템이 최근 강하게 요구되어 오고 있다.
그런데 이와 같은 시스템의 실현에는 소정의 감시방식을 사용하여 침입물체로 간주해야 할 감시대상물체를 화상신호로부터 검출하여 그 침입물체의 움직임을 검출하는 기능이 필요하게 된다.
이와 같은 침입물체검출을 행하는 감시방식의 일례로 차분법이라 불리우는 방법이 있어 종래부터 널리 사용되고 있다. 차분법이란, TV 카메라로부터 얻어진 입력화상과 미리 작성한 기준배경화상, 즉 검출해야 할 물체가 찍혀 있지 않은 화상을 비교하여 화소마다 휘도값의 차분을 구하여, 그 차분값이 큰 영역을 물체로서 검출하는 것이다. 또 차분법의 응용예도 검토되어 있다. 예를 들면 미국 특허 제6,088,468호참조.
또한 침입물체의 이동량 검출을 행하는 감시방법의 일례로 템플릿 매칭법이 라 불리우는 방법이 있고, 차분법과 마찬가지로 종래부터 널리 사용되고 있다. 템플릿 매칭법이란, 차분법 등에 의하여 검출된 침입물체의 화상을 템플릿으로서 등록하고, 차례로 입력되는 화상 중에서 템플릿 화상과 가장 비슷한 위치를 검출한다. 예를 들면 다나카 히데유키감수, 「컴퓨터 화상처리 입문」, 소엔출판, 1985년 p.149-153참조. 통상 템플릿 매칭을 사용하여 대상물체를 추적하는 경우, 대상물체의 자세의 변화에 따르기 위하여 매칭처리에 의하여 검출된 대상물체의 위치의 화상을 새롭게 템플릿로서 차례로 갱신한다.
그런데, 물체추적방식의 감시시스템에서는 기계식/광학식 추적이라 불리우는 카메라 운대 및 촬상렌즈의 기계적 및/또는 광학적인 제어를 수반하는 시스템이 존재한다. 그러나 감시시스템의 마이크로 프로세싱 유닛(MPU : Micro Processing Unit) 등의 처리장치가 카메라 운대의 제어 또는 촬상렌즈의 제어를 필요하다고 판단한 경우에, 실제로 제어가 개시되기까지 지연시간이 생긴다. 또 카메라 운대 및 촬상렌즈의 제어시간(목적으로 하는 카메라 운대의 위치나 촬상렌즈의 초점거리에 제어를 완료하기까지의 시간)은 수초에 미치는 경우가 있고, 그 사이에 처리장치에 의하여 복수 프레임의 입력화상의 처리가 실행된다.
이 모양을 도 7을 참조하여 구체적으로 설명한다. 도 7은 어느 시각(t1)에 검출된 사람형의 침입물체(801)를 줌인하면서 추적하는 예이다. 또한 상기 도면에서는 입력화상(801)을 취득한 시각을 t1이라 표시하고, 소정의 시간간격(예를 들면, 100ms)으로 차례로 입력되는 입력화상의 취득시각을 입력순으로 (t1 + 1), (t1 + 2), … 라 표시한다.
먼저 시각(t1)에서 얻어진 입력화상(801) 중의 침입물체(801a)를 차분법에 의하여 검출한다. 침입물체의 화상은 템플릿(801b)으로서 등록된다.
그리고, 침입물체(801a)는 입력화상(801)의 중앙으로부터 좌측에 존재하기 때문에 운대제어 인터페이스수단을 거쳐 카메라 운대를 좌측으로 회전(팬)시키는 명령을 송신하고, 다시 침입물체의 화상의 크기를 소정의 크기(예를 들면, 화면의 세로80%)로 하기 위해 렌즈제어 인터페이스수단을 거쳐 촬상렌즈의 초점거리를 길게 하는 명령을 송신한다.
다음에 시각(t1 + 1)에서 얻어진 입력화상(802)에 대하여 템플릿 매칭법을 적용하여 침입물체(802a)를 검출하고, 그 화상을 템플릿(802b)으로서 갱신한다. 이때 시각(t1)에서 카메라 운대 및 촬상렌즈에서 송신한 명령의 동작은 완료되어 있지 않다. 이 경우, 다시 카메라 운대 및 촬상렌즈에 대하여 제어명령을 송신한다.
다음에 시각(t1 + 2)에서 얻어진 입력화상(803)에 대하여 템플릿 매칭법을 적용하여 침입물체(803a)를 검출하고, 그 화상을 템플릿(803b)으로서 갱신한다. 여기서는 침입물체(803a)는 화면의 중앙에 위치하고 있고, 카메라 운대의 제어는 완료된다. 그러나 입력화상상의 침입물체의 크기는 목표로 하는 소정의 크기에 도달하여 있지 않다. 따라서 또 다시 촬상렌즈에 대하여 제어명령을 송신한다.
다음에 시각(t1 + 3)에서 얻어진 입력화상(804)에 대하여 템플릿 매칭법을 적용하여 침입물체(804a)를 검출하고, 그 화상을 템플릿(804b)으로서 갱신한다. 이 시점에서는 입력화상상의 침입물체의 크기는 목표로 하는 소정의 크기에 도달하 였기 때문에 촬상렌즈의 제어는 완료된다.
이와 같이하여 처리장치의 침입물체의 검출결과와 카메라 운대 및 촬상렌즈의 제어에는 지연이 생기고, 이 응답성의 낮음에 의하여 감시영역 내의 침입물체의 움직임에 카메라 운대, 또는 촬상렌즈가 추종할 수 없게 되는 경우가 있고, 그 경우에는 침입물체를 촬상장치의 시야 내에 포착할 수 없게 되기 때문에, 물체추적성능을 높게 하는 것이 어렵다. 이 문제는 촬상렌즈의 초점거리가 긴 경우(줌인되어 있는 경우)에 현저하게 나타나기 때문에, 기계식/광학식 추적을 행할 때에는 촬상렌즈의 초점거리를 작게 설정한 감시가 요구된다.
이상과 같은 문제에 대하여, 카메라 운대 및 촬상렌즈의 제어를 행하지 않고 입력화상의 일부를 전자적으로 확대하여 추적하는 전자식 추적이라 불리우는 물체추적방법이 있다. 이 방법은, 입력화상의 일부를 컷아웃하여 확대하기 위하여 컷아웃 위치를 조정하면 유사적인 카메라 운대의 제어를 실현할 수 있다. 또한 기계적인 제어를 수반하지 않기 때문에, 앞서 설명한 기계식/광학식 추적과 같이 제어하는 기기의 응답성의 낮음을 해결할 수 있어, 안정된 추적을 행할 수 있다. 그러나 이 방법은 입력화상의 일부를 컷아웃하여 확대하기 때문에 입력화상의 해상도가 낮은 경우, 확대한 화상은 블록형상(모사이크형상)의 화상이 되어 버린다는 문제가 있다.
이 문제를 도 8을 참조하여 구체적으로 설명한다. 도 8은 도 7에서 설명한 예와 동일한 시각(t1)에서의 입력화상(901)[입력화상(801)과 동일]을 처리한 결과를 나타내고 있다. 도 8에 있어서 입력화상(901)에 대하여 전자적 추적을 실행하 면, 입력화상(901)의 부분화상(901c)을 전자적으로 확대한 블록형상의 화상(902)이 화상모니터에 표시된다. 상기 도면에 있어서, 화상(902)에 나타내는 바와 같이 전자적인 확대율이 높아지면 침입물체의 미세한 표정 등의 정보는 얻을 수 없게 된다. 또한 전자식 추적에 있어서는 카메라 운대 및 촬상렌즈의 제어를 행하지 않고 감시영역 전체를 촬상장치로 촬상하지 않으면 안되기 때문에, 화면각이 넓은 촬상장치를 사용할 필요가 있다. 즉 전자적 추적을 행하기 위해서는 해상도가 높은, 넓은 화면각의 고가의 촬상장치가 필요하게 된다.
여기서, 자동추적방식의 감시시스템에서는 물체추적기능의 신뢰성을 저하시키는 일 없이 감시하는 대상물체를 가능한 한 크게 줌인하여 감시하는 것이 중요하게 된다. 기계식/광학식 추적에서는 일례로서 넓은 범위의 감시, 침입물체의 화상을 고해상도로 취득할 수 있다는 이점이 있으나, 한쪽에서 일례로서 카메라 운대, 촬상렌즈의 응답성의 낮음에 의하여 침입물체를 화면 중앙에 적절한 크기로 포착하기까지 시간이 걸린다는 문제나, 침입물체가 화상의 밖으로 벗어나면 물체추적처리를 행할 수 없게 된다는 문제 등이 있다.
또, 전자식 추적에서는 일례로서 침입물체를 화면의 중앙에 적절한 크기로 고속으로 포착할 수 있다는 이점이 있으나, 한쪽에서 일례로서 낮은 해상도의 입력화상에서 확대율을 높게 하면 블록형상의 화상이 되어, 침입물체의 미세한 표정 등의 정보를 얻을 수 없게 된다는 문제나, 넓은 화면각의 촬상장치가 필요하게 된다는 문제 등이 있다.
본 발명은 이와 같은 종래의 사정을 감안하여 이루어진 것으로, 촬상장치로 물체를 자동추적할 때에 있어서, 물체의 이동에 충분히 고속으로 추미하고 또한 물체의 영상을 충분히 높은 해상도로서 취득할 수 있는 물체추적방법 및 물체추적장치를 제공하는 것을 목적으로 한다
본 발명의 일 측면에 의한, 촬상방향과 줌량이 제어 가능한 촬상장치를 사용하여 물체를 추적하는 물체추적방법은,
상기 촬상장치로부터 얻어진 입력화상 내의 상기 물체의 화상의 특징량을 적어도 하나 검출하는 단계와,
상기 물체의 추적을 위해 상기 검출된 특징량에 의거하여 상기 촬상장치를 제어하는 단계와,
상기 검출된 특징량에 의거하여 상기 입력화상 내에 상기 물체의 화상을 포함하는 부분영역의 범위를 설정하는 단계와,
상기 설정된 부분영역의 범위의 화상을 확대하는 단계를 가진다.
또한 본 명세서에서는 「추적」이라는 단어를 사용하여 설명을 행하나, 예를 들면「추미」라는 단어에 대해서도 동일한 용어이며, 본 발명에 포함된다. 또 본 명세서에서는 「화상」이라는 단어를 사용하여 설명을 행하나, 예를 들면 「영상」이라는 단어에 대해서도 동일한 용어이며, 본 발명에 포함된다. 또 본 명세서에 말하는 화상은, 예를 들면 시간적으로 연속된 것에 대해서는 동화상의 것을 말하고, 예를 들면 정지된 화상에 대해서는, 동화상 중의 1프레임의 화상이나, 그 1프 레임 중의 일부의 화상이나, 동화상과는 무관계한 정지된 화상의 것을 말하고 있다.
여기서 촬상장치로서는 여러가지의 것이 사용되어도 되고, 예를 들면 카메라 등을 사용할 수 있다. 또 화상신호로서는 NTSC방식, PAL방식 등, 여러가지의 것이 사용되어도 좋다. 또 물체로서는 사람, 차량, 동물 등, 여러가지의 것이 대상으로 서 사용되어도 좋다. 또 화상 중의 물체로서는 예를 들면 화상 중에 존재하는 대상이 되는 물체의 화상부분에 상당한다.
일 실시예에 있어서, 상기 적어도 하나의 특징량은, 상기 물체의 화상의 위치, 크기, 이동량 중 적어도 어느 하나를 포함한다. 「이동량」이란, 소정의 단위시간에 있어서의 물체의 영상의 이동량의 것이다.
일 실시예에 있어서, 상기 물체의 화상의 위치에 의거하여 상기 부분영역의 범위의 위치를 설정하고, 상기 물체의 화상의 크기에 의거하여 상기 부분영역의 범위의 크기를 설정한다.
일 실시예에 있어서, 상기 부분영역의 범위의 크기와 소정의 화상표시 크기에 의거하여 설정한 확대율로, 상기 부분영역의 범위의 화상을 확대한다.
일 실시예에 있어서, 상기 검출된 물체의 화상의 크기에 의거하여 상기 촬상장치의 촬상렌즈의 줌량의 상한을 설정하고, 상기 부분영역의 범위의 크기는, 상기 입력화상의 크기의 미리 설정한 1 보다 작은 비율 이하가 되도록 설정된다.
일 실시예에 있어서, 상기 물체의 화상의 이동량에 의존하여 상기 촬상장치의 줌량을 바꾼다.
일 실시예에 있어서, 상기 물체의 화상의 크기에 의존하여 상기 촬상장치의 줌량을 바꾼다.
본 발명의 다른 측면에 의한 물체추적장치는,
촬상방향과 줌량이 제어 가능한 촬상장치와, 표시장치와, 상기 촬상장치에 의하여 얻어지는 입력화상 중의 물체의 화상의 특징량을 검출하는 검출부와, 상기 물체의 추적을 위하여 검출된 상기 특징량에 의거하여 상기 촬상장치를 제어하는 제어부와, 상기 특징량에 의거하여 상기 입력화상 내에 상기 물체를 포함하는 부분영역의 범위를 설정하는 설정부와, 상기 표시장치에 표시하기 위하여 상기 설정된 부분영역의 범위의 화상을 확대하는 확대부를 구비한다.
본 발명의 또 다른 측면에 의한 촬상방향과 줌량이 제어 가능한 촬상장치를 구비한 물체추적장치물을 동작시켜 물체추적을 행하기 위하여 이하의 단계를 실행하는 계산기의 프로그램은(A computer program for performing the steps of),
상기 촬상장치로부터 얻어진 화상 내의 상기 물체의 화상의 특징량을 적어도 하나 검출하고,
상기 특징량은 상기 물체의 화상의 위치, 크기, 이동량의 적어도 어느 하나를 포함하고,
상기 물체의 추적을 위하여 상기 검출된 특징량에 의거하여 상기 촬상장치를 제어하고,
상기 검출된 특징량에 의거하여 상기 화상 내에 상기 물체의 화상을 포함하는 부분영역의 범위를 설정하고,
상기 설정된 부분영역의 범위의 화상을 확대한다.
본 발명의 또 다른 측면에 의한 촬상방향과 줌량이 제어 가능한 촬상장치를 구비한 물체추적장치물을 동작시켜 물체추적을 행하기 위하여 이하의 단계를 실행하는 계산기 판독 가능한 매체상에 실현된 계산기 프로그램(참고번역 : A computer progrom embodied on a computer-readable medium for use in performing an object tracking by operating an object tracking apparatus …, for performing the steps of) :
상기 촬상장치로부터 얻어진 입력화상 내의 상기 물체의 화상의 특징량을 적어도 하나 검출하고,
상기 특징량은 상기 물체의 화상의 위치, 크기, 이동량의 적어도 어느 하나를 포함하고,
상기 물체의 추적을 위하여 상기 검출된 특징량에 의거하여 상기 촬상장치를 제어하고,
상기 검출된 특징량에 의거하여 상기 화상 내에 상기 물체의 화상을 포함하는 부분영역의 범위를 설정하고,
상기 설정된 부분영역의 범위의 화상을 확대한다.
본 발명의 다른 목적, 특징 및 이점은 첨부도면에 관한 이하의 본 발명의 실시예의 기재로부터 명확해질 것이다.
이하, 본 발명의 실시예에 대하여 도면에 언급하여 설명한다. 동일한 부재에는 동일한 참조부호를 붙인다.
도 2에는 본 발명에 관한 물체추적장치를 적용한 화상감시장치의 하드웨어의 구성예를 나타내고 이다. 본 예의 화상감시장치는 촬상장치(201)와, 처리장치(202)와, 조작장치(203)와, 외부 기억장치(204)와, 화상모니터(205)와, 경고등(206)을 구비하여 구성되어 있다.
촬상장치는, TV 카메라(201a)와 예를 들면 줌렌즈로 구성된 촬상렌즈(201b)와, 예를 들면 선회대로 구성된 카메라 운대(201c)로 구성되어 있다.
처리장치(202)는 화상입력부(202a)와, 운대제어부(202b)와, 렌즈제어부(202c)와, 조작입력부(202d)와, 화상메모리(202e)와, MPU(202f)와, 워크메모리(202g)와, 외부 입출력부(202h)와, 화상출력부(202i)와, 경고출력부(202j)와, 데이터버스(202k)로 구성되어 있다.
조작장치(203)는 조이스틱(203a)과, 제 1 버튼(203b)과, 제 2 버튼(203c)으로 구성되어 있다.
구체적으로는 TV 카메라(201a)의 출력은 화상입력부(202a)를 거쳐 데이터버스(202k)와 접속되어 있고, 촬상렌즈(201b)의 제어부는 렌즈제어부(202c)를 거쳐 데이터버스(202k)와 접속되어 있고, TV 카메라(201a)를 탑재하는 카메라 운대(201c)는 운대 제어부(202b)를 거쳐 데이터 버스(202k)와 접속되고, 조작장치(203)의 출력은 조작 입력부(202d)를 거쳐 데이터 버스(202k)와 접속되어 있다.
또, 외부 기억장치(204)는 외부 입출력부(202h)를 거쳐 데이터 버스(202k)에 접속되어 있고, 감시용 화상모니터(205)는 화상출력부(202i)를 거쳐 데이터 버스(202k)에 접속되어 있고, 경고등(206)은 경보출력부(202j)를 거쳐 데이터 버스 (202k)에 접속되어 있다. 또한 MPU(202f)와 워크 메모리(202g)와 화상메모리(202e)는 직접적으로 데이터 버스(202k)와 접속되어 있다.
여기서 TV 카메라(201a)는 감시의 대상이 되는 영역을 소정의 시야 내에 포착하고, 감시대상영역을 촬상하여 화상신호를 출력한다. 이 때문에 TV 카메라(201a)는 촬상렌즈(201b)를 구비하고, 카메라 운대(201)에 탑재되어 있다. 그리고 TV 카메라(201a)에 의하여 촬상된 화상신호는, 화상입력부(202a)로부터 데이터 버스(202k)를 거쳐 화상메모리(202e)에 축적된다.
외부 기억장치(204)는 프로그램이나 데이터 등을 기억하는 기능을 하고, 프로그램이나 데이터 등이 필요에 따라 외부 출력부(202h)를 거쳐 워크메모리(202g)에 판독되고, 또 반대로 프로그램이나 데이터 등이 워크 메모리(202g)로부터 외부 기억장치(204)에 보존된다.
MPU(202f)는 외부 기억장치(204)에 보존되어 처리장치(202)의 동작시에 워크 메모리(202g)에 판독된 프로그램에 따라 처리를 실행하고, 워크 메모리(202g) 내에서 화상메모리(202e)에 축적된 화상의 해석을 행한다. 그리고 MPU(202f)는 상기 처리결과에 따라 렌즈제어부(202c)를 거쳐 촬상렌즈(201b)를 제어하는 것이나, 운대제어부(202b)를 거쳐 카메라 운대(201c)를 제어하는 것을 행하여, TV 카메라(201a)의 촬상시야를 바꿈과 동시에, 필요에 따라 화상모니터(205)에 침입물체를 검출한 결과의 화상을 표시하고 경고등(206)을 점등시키는 기능을 한다.
또한 상기한 화상감시장치에 대해서는 촬상장치(201)나, 처리장치(202) 등의 구성 및 이들의 접속형식은 이상의 실시예에 한정되는 것이 아니다. 예를 들면 촬 상장치(201)와 처리장치(202)가 인터넷 등의 네트워크를 거쳐 접속되는 구성이나, TV 카메라(201a)에 의하여 촬상된 화상신호를 디지털 압축 처리한 화상 데이터가 처리장치(202)에 입력되는 구성 등을 사용하는 것이 가능하다.
도 1은 본 예의 화상감시장치에 의하여 행하여지는 차분법 및 템플릿 매칭법을 사용한 물체추적처리의 순서의 일례를 나타낸다. 도 1에 언급하여 이 물체추적처리를 설명한다.
먼저, 초기화처리(단계 101)에서는 물체추적처리를 실행하기 위한 화상메모리(202e), 워크 메모리(202g) 등의 초기화를 행한다.
다음에 차분법에 의한 침입물체의 검출처리(단계 102)(단계 102a 내지 단계 102e)를 행한다.
즉, 제 1 화상입력처리(단계 102a)에서는, TV 카메라(201a)로부터 예를 들면 가로 320화소, 높이 240화소의 입력화상을 얻는다.
차분처리(단계 102b)에서는, 제 1 화상입력(단계 102a)에서 얻은 입력화상과 미리 작성하여 둔 침입물체가 비치고 있지 않은 기준배경화상과의 사이에서 각 화소마다의 휘도값의 차분을 계산한다.
2치화처리(단계 102c)에서는 차분처리(단계 102b)에서 얻어진 차분화상의 화소값(차분값)이 소정의 한계값(Th) 미만인 화소의 화소값을 "0"이라 하고, 그 한계값(Th) 이상인 화소의 화소값을 "255"라 하여 2치화 화상을 얻는다. 여기서 소정의 한계값(Th)으로서는 예를 들면 Th = 20을 사용하고 있다. 또 1화소의 화소값을 8비트("0" 내지 "255")로 계산하고 있다.
라벨링처리(단계 102d)에서는, 2치화처리(단계 102c)에서 얻어진 2치화 화상 중의 화소값 "255"이 되는 화소의 덩어리를 검출하여 각각에 번호를 붙여 구별할 수 있게 한다.
침입물체존재판정처리(단계 102e)에서는, 라벨링처리(단계 102d)에서 번호가 붙여 진 화소값 "255"가 되는 화소의 덩어리가 소정의 조건을 만족한 경우에 감시대상영역 내에 침입물체가 존재한다고 판정한다. 여기서 소정의 조건으로서는 예를 들면 가로가 20화소 이상이고, 높이가 50화소 이상의 크기로 한 조건이 사용된다.
그리고 침입물체존재판정처리(단계 102e)에서 침입물체가 존재한다고 판정된 경우에는 경보·검출정보표시처리(단계 103)로 이행하고, 침입물체가 존재하지 않는다고 판정된 경우에는 다시 상기한 제 1 화상입력처리(단계 102a)로 이행하여 다시 차분법에 의한 처리를 실행한다.
여기서 도 3을 참조하여 상기한 침입물체의 검출처리를 구체적으로 설명한다. 도 3에는 상기한 차분법을 사용하여 침입물체를 검출하는 처리의 일례의 개략과, 뒤에서 설명하는 상기 침입물체의 화상을 템플릿에 등록하는 처리의 일례의 개략을 모식적으로 나타내고 있다.
도 3에 있어서, 401은 제 1 화상입력처리(단계 102a)에서 얻어진 입력화상을 나타내고 있고, 402는 미리 작성하여 화상메모리(202e)에 기록하여 둔 기준배경화상을 나타내고 있다. 또 406은 차분처리(단계 102b)의 처리를 나타내는 감산기를 나타내고 있고, 403은 차분처리(단계 102b)에서 얻어진 차분화상을 나타내고 있고, 407은 2치화처리(단계 102c)의 처리를 나타내는 2치화기를 나타내고 있다. 또 404는 2치화처리(단계 102c)에서 얻어진 2치화 화상을 나타내고 있다.
그리고 감산기(406)는 입력화상(401)과 기준배경화상(402) 사이에 있어서의 화소의 휘도값의 차분을 화소마다 계산하여 차분화상(403)을 출력한다. 다음에 2치화기(407)는 차분화상(403)을 한계값(Th)으로 화소마다 한계값처리하여, 한계값(Th) 미만의 화소값을 "0"이라 하고, 한계값(Th) 이상의 화소의 화소값을 "255"로 하여 2치화 화상(404)을 얻는다. 이에 의하여 입력화상(401)에 비친 사람형의 물체(409)는 감산기(406)에 의하여 차분이 생긴 영역(화상신호의 변화영역)(410)으로서 계산되고, 2치화기(407)에 의하여 화상(411)으로서 검출된다.
다음에 상기 도 1에 나타낸 처리순서의 계속을 설명한다. 경보·검출정보표시처리(단계 103)에서는, 예를 들면 침입물체를 발견한 것을 나타내는 경보를 감시원에게 전하기 위하여 화상출력부(202j)를 거쳐 화상모니터(205)에 침입물체의 정보를 표시하는 것이나, 경보출력부(202j)를 거쳐 경고등(206)을 점등시키는 것 등을 행한다. 여기서 침입물체의 정보로서는 예를 들면 위치나 인원수 등의 정보를 사용하는 것이 가능하다.
또, 예를 들면 입력화상에 침입물체를 중첩하여 화상모니터(205)에 표시시켜도 좋다. 또한 입력화상에 중첩되는 침입물체의 표시형태는 2치화처리(단계 102c)에서 얻어진 침입물체의 2치화 화상 그 자체, 또는 그 외접 직사각형, 또는 침입물체가 인간이면 그 두상에 3각 마크를 붙이는, 또는 컬러표시하는 등등, 여러가지 형태가 가능하다.
다음에 템플릿 매칭법에 의한 침입물체의 이동량의 검출처리(단계 104)(단계 104a 내지 단계 104f)를 행한다.
즉, 템플릿등록처리(단계 104a)에서는 상기한 라벨링처리(단계 102d)에서 번호가 붙여진 화소값 "255"가 되는 화소 덩어리의 외접 직사각형(412)에 의거하여 입력화상 중의 침입물체의 화상을 컷아웃하여 템플릿으로서 등록한다.
제 2 화상입력처리(단계 104b)에서는, 제 1 화상입력처리(단계 102a)와 마찬가지로 TV 카메라(201a)로부터 예를 들면 가로 320화소, 높이 240화소의 입력화상을 얻는다. 그때 TV 카메라(201a)의 촬상렌즈(201b)의 초점거리를 f라 하고 워크 메모리(202g)에 기록한다.
템플릿 확대·축소처리(단계 104c)에서는, 워크 메모리(202g)에 기록한 초점거리(f'), 즉 예를 들면 전회에 있어서의 뒤에서 설명하는 템플릿갱신처리(단계 104f)의 실행시에 있어서의 TV 카메라(201a)의 촬상렌즈(201b)의 초점거리(f')와, 워크 메모리(202g)에 기록한 현재의 초점거리(f)의 비에 따라 촬상렌즈(201b)의 초점거리를 변경함으로써 생기는 입력화상과 템플릿에 비치는 추적대상물체의 크기의 차이를 보정한다. 또한 본 예에서는 뒤에서 설명하는 운대·렌즈제어처리(단계 105)에 의하여 촬상렌즈(201b)가 제어되어 초점거리가 변화된다.
템플릿 매칭처리(단계 104d)에서는, 제 2 화상입력(단계 104b)에서 얻은 입력화상 중에서 템플릿과 가장 일치도가 높은 화상을 검출한다. 통상, 템플릿과 입력화상 전체를 비교하면 계산시간이 걸리기 때문에, 템플릿에 대하여 소정의 범위를 탐색영역으로 하고, 그 탐색영역 내에서 템플릿과 가장 일치도가 높은 화상을 검출한다.
일치도판정처리(단계 104e)에서는, 뒤에서 설명하는 일치도(r)(xΔ, Δy)를 판정하여 뒤에서 설명하는 수학식 1로 나타내는 정규화 상관값을 사용한 경우, 예를 들면 일치도가 0.7 이상이면 일치도가 높다고 판정하여 템플릿갱신처리(단계 104f)로 이행하고, 일치도가 0.7 미만이면 상기한 제 1 화상입력처리(단계 102a)로 이행한다.
여기서 일치도가 크다는 것은, 입력화상 중에서 템플릿과 비슷한 화상이 있는, 즉 감시대상영역 내에 침입물체가 존재하고, 그 위치가 뒤에서 설명하는 템플릿의 위치(x0, y0)에서 보아 상대적으로 (xΔ, Δy)의 위치인 것을 의미하며, 이 경우에는 계속해서 침입물체의 이동량을 검출한다. 또 일치도가 작다는 것은, 입력화상 중에서 템플릿과 비슷한 화상이 없는, 즉 감시대상영역 내에 침입물체가 존재하지 않는 것을 의미하며, 이 경우에는 제 1 화상입력처리(단계 102a)로 이행하여 다시 차분법에 의하여 침입물체를 검출한다.
템플릿갱신처리(단계 104f)에서는, 새롭게 구해진 침입물체의 위치에 의거하여 제 2 화상입력처리(단계 104b)에서 얻어진 입력화상을 컷아웃하여 새로운 템플릿화상으로 한다. 이와 같이 템플릿을 차례로 갱신함으로써 템플릿에는 최신의 침입물체의 화상이 기록되어, 침입물체가 자세변화를 일으킨 경우에 있어서도 안정되게 침입물체의 이동량을 검출할 수 있다.
여기서 도 6a, 도 6b를 참조하여 상기한 템플릿 확대·축소처리(단계 104c)에 대하여 구체적으로 설명한다. 또한 도 6a, 도 6b의 예에서는 템플릿을 확대하 는 경우를 나타내나, 템플릿을 축소하는 경우에 대해서도 동일하다.
도 6a에는 템플릿의 확대전의 화상(701)의 일례를 나타내고 있고, 도 6b에는 템플릿의 확대후의 화상(703)의 일례를 나타내고 있다. 템플릿의 줌배율(r)은, 수학식 1과 같이 나타낸다.
Figure 112004040013613-pat00001
예를 들면, 템플릿갱신처리단계 104f의 실행시에 있어서의 TV 카메라(201a)의 촬상렌즈(201b)의 초점거리(f')가 20 mm 이고, 현재에 있어서의 초점거리(f)가 24 mm라고 하면, r = 24/20 = 1.2 가 되고, 촬상렌즈(201b)의 초점거리의 변화에 의하여 대상물체의 화상상의 크기가 1.2배가 되게 된다. 즉, 확대전과 확대후에서 템플릿의 중심위치(702, 704)를 일치시키도록 하여, 템플릿(701)을 1.2배하고, 이 결과를 새로운 템플릿(703)으로 하면, 입력화상 중의 침입물체의 크기와 템플릿의 침입물체의 크기를 일치시킬 수 있다.
또한, 도 6a, 도 6b의 예에서는 X-Y 직교 좌표계에 있어서, 확대전의 템플릿(701)의 X축방향의 길이(Tx)를 줌배율(r)배한 결과인 (r × Tx)의 길이를 확대후의 템플릿(703)의 X축방향의 길이로 하고 있고, 마찬가지로 확대전의 템플릿(81)의 Y축방향의 길이(Ty)를 줌배율(r)배한 결과인 (r × Ty)의 길이를 확대후의 템플릿(703)의 Y축방향의 길이로 하고 있다. 또 이것에 있어서, 템플릿(701, 703)의 중심위치(702, 704)가 불변이도록 하고 있다.
또, 상기한 침입물체의 검출처리(단계 102)에서 침입물체를 검출한 직후에 있어서는 템플릿갱신처리(단계 104f)가 실행되어 있지 않기 때문에, 템플릿갱신시에 있어서의 TV 카메라(201a)의 촬상렌즈(201b)의 초점거리(f')가 취득되어 있지 않기 때문에, 이 경우에는 템플릿의 확대·축소처리(단계 104c)는 실행되지 않는다.
또, 본 예와 같이 템플릿 확대·축소처리(단계 104c)가 행하여지는 경우에는 템플릿갱신처리(단계 104f)에서는 처리의 실행시에 워크 메모리(202g)에 기록한 초점거리(f')를 현재에 있어서의 TV 카메라(201a)의 촬상렌즈(201b)의 초점거리(f)를 사용하여 갱신하도록 한다.
여기서 상기 도 3 및 도 4를 참조하여 상기한 침입물체의 이동량의 검출처리에 대하여 구체적으로 설명한다. 상기 도 3에는 컷아웃기(408), 템플릿화상(405)을 나타내고 있다.
그리고, 입력화상(401) 중에 비치는 침입물체는 상기한 라벨링처리(단계 102d)에 의하여 2치화 화상 내의 화소값 "255"의 덩어리(cluster)로서 얻어진 침입물체(411)의 외접 직사각형(412)에 의거하여 컷아웃기(408)로 컷아웃하고, 이에 의하여 템플릿 화상(405)이 얻어진다. 템플릿 화상(405) 중에는 침입물체(409)의 템플릿(413)이 포함되어 있고, 이것이 템플릿 매칭법에 의한 침입물체의 이동량의 검출처리에 있어서의 초기의 템플릿이 된다. 이어서, 상기 초기 템플릿에 의거하여 템플릿 매칭이 실행된다.
도 4에는 템플릿 매칭법에 의한 침입물체의 이동량의 검출처리를 차차 실행 하여 침입물체를 추적하는 처리의 흐름의 일례를 모식적으로 나타내고 있다.
도 4에서는 템플릿 화상(501)을 취득한 시각을 t0으로 나타내고, 소정의 시간간격(예를 들면, 100ms)으로 차례로 입력하는 입력화상의 취득시각을 입력순으로(t0 + 1), (t0 + 2), … 로 나타낸다.
도 4에 있어서, 501은 시각(t0)에 있어서의 템플릿 화상을 나타내고 있다. 상기 템플릿 화상(501) 중에 시각(t0)에 있어서의 템플릿(501a)이 있다. 또한 이들은 각각 상기 도 3에 나타낸 템플릿 화상(405), 템플릿(413)과 동일한 것이다.
또, 502는 시각(t0 + 1)에 있어서의 입력화상을 나타내고 있다. 상기 입력화상(502)에 있어서, 직사각형 영역(502b)은 시각(t0)에 있어서의 침입물체의 위치[템플릿(501a)의 위치], 직사각형 영역(502c)은 템플릿 매칭의 대상이 되는 영역(탐색영역)을 나타내고 있다.
그리고, 템플릿 매칭처리(단계 104d)(509)를 실행하면 템플릿 매칭의 탐색영역(502c) 중에서 템플릿(501a)에 가장 일치하는 화상(502a)에서 일치도가 가장 커지고, 침입물체는 시각(t0 + 1)에 있어서 화상(502a)의 위치에 존재하고 있음을 알 수 있다. 이 위치는 시각(t0)에 있어서의 템플릿(501a)의 위치(x0, y0)에서 보아 상대위치(Δx, Δy)로 나타낸다. 즉 침입물체는 화살표(502d)로 나타내는 정도만큼 이동한 것을 알 수 있다.
따라서, 템플릿갱신처리(단계 104f)(510)에 의하여 템플릿(501a)에 가장 일치한 화상(502a)을 시각(t0 + 1)에 있어서의 새로운 템플릿으로서 갱신한다. 즉, 도 4에 나타내는 바와 같이 입력화상(502)으로부터 침입물체의 위치(502a)를 컷아 웃하고, 이것을 템플릿화상(503)으로 하여 침입물체의 화상(502a)를 시각(t0 + 1)에 있어서의 새로운 템플릿(503a)으로서 갱신한다.
이 처리를 TV 카메라(201a)로부터 차차 입력되는 입력화상에 대하여 적용한다. 구체적으로는 도 4에 나타내는 바와 같이 시각(t0 + 2)에 있어서의 입력화상(504) 중에 템플릿(503a)의 위치(504b)에 의거하여 탐색영역(504c)을 설정하고, 시각(t0 + 1)에 있어서의 템플릿화상(503) 중의 템플릿(503a)을 사용하여 템플릿 매칭처리(단계 104d)(509)에 의하여 침입물체의 위치(504a)를 검출한다. 그렇게 하면 침입물체는 화살표(504d)와 같이 이동한 것을 알 수 있다.
또한 도 4에 나타내는 바와 같이 템플릿 갱신처리(단계 104f)(510)에 의하여 시각(t0 + 2)에 있어서의 템플릿화상(505) 및 침입물체의 템플릿(505a)을 갱신한다.
또, 도 4에 나타내는 바와 같이 시각(t0 + 3)에 있어서의 입력화상(506) 중에 템플릿(505a)의 위치(506b)에 의거하여 탐색영역(506c)을 설정하고, 시각(t0 + 2)에 있어서의 템플릿화상(505) 중의 템플릿(505a)을 사용하여 템플릿 매칭처리(단계 104 d)(509)에 의하여 침입물체의 위치(506a)를 검출한다. 그렇게 하면 침입물체는 화살표(506d)로 나타내는 바와 같이 이동한 것을 알 수 있다.
또한 도 4에 나타내는 바와 같이 템플릿 갱신처리(단계 104f)(510)에 의하여 시각(t0 + 3)에 있어서의 템플릿화상(507) 및 침입물체의 템플릿(507a)을 갱신한다.
그리고 도 4에 나타내는 바와 같이 시각(t0 + 4)에 있어서의 입력화상(508) 중에 템플릿(507a)의 위치(508b)에 의거하여 탐색영역(507c)을 설정하고, 시각(t0 + 3)에 있어서의 템플릿화상(507) 중의 템플릿(507a)을 사용하여 템플릿 매칭처리(단계 104d)(509)에 의하여 침입물체의 위치(508a)를 검출한다. 그렇게 하면 침입물체는 화살표(508d)와 같이 이동한 것을 알 수 있다.
이와 같이 템플릿 매칭을 차례로 실행함으로써 침입물체를 추적할 수 있다.
여기서 상기한 템플릿 매칭처리(단계 104d)에 있어서의 탐색영역이나 일치도에 대하여 구체적으로 설명한다. 상기한 탐색영역의 범위는 예를 들면 템플릿에 등록된 대상물체의 입력화상상에서의 움직임에 의하여 결정된다.
구체예로서 촬상장치(201)로서 1/3 인치 CCD(촬상소자 크기 4.8 mm × 3.6 mm)가 사용되고, 촬상렌즈(201b)의 초점거리 32 mm이며, 대상물체까지의 거리가 30 m이라는 조건으로 촬상하면 TV 카메라(201a)의 가로방향의 시야는 30 × 4.8 ÷ 32 = 4.5 m가 된다. 이 TV 카메라(201a)로 이동속도가 시속 5 km/h (약 1.39 m/s)의 대상물체를 화상 크기 320 × 240화소, 입력간격 0.1 s(100 ms)로 촬상하면 대상물체의 입력화상마다의 화상상에서의 이동량은 가로방향 320 × 1.39 × 0.1 / 4.5 ≒ 9.88화소가 된다.
또 대상물체가 TV 카메라(201a)의 방향을 향하여 이동하면 화상상에서의 이동량도 커지기 때문에, 실제의 탐색영역의 범위는 상기에서 산출한 값의 5배 정도의 여유를 가지고 설정한다. 즉, 탐색영역의 가로방향의 크기(Mx)를 50화소로 한다. 탐색영역의 세로방향의 크기(My)는 TV 카메라(201a)의 앙각에 의존하여 TV 카메라(201a)의 설치위치에 따라 변화되기 때문에, 가로방향의 크기의 약 40% 정도의 값으로 한다. 따라서 탐색범위는 이 예에서는 템플릿에 대하여 좌우 Mx = 50화소, 상하 My = 20화소만큼 넓힌 영역으로 하면 된다.
또, 일치도로서는 예를 들면 정규화 상관값[r(Δx, Δy)]을 적용할 수 있고, 수학식 2와 같이 나타낸다.
Figure 112004040013613-pat00002
여기서, f(x, y)는 입력화상을 나타내고 있다. 또 뒤에서 설명하는 도 5를 참조하여 g(x, y)는 템플릿화상(601)을 나타내고 있고, (x0, y0)는 템플릿(602)의 좌상의 좌표를 나타내고 있고, D는 템플릿의 크기를 나타내고 있다. 본 예에서는 화상의 좌표축으로서는 화상의 좌상을 원점(0, 0)으로 하고 있다. 또 도 3을 참조하여 D는 2치화 화상(404)으로 검출된 침입물체의 외접 직사각형(412)의 크기에 상당하고, 본 예에서는 가로 50화소, 세로 20화소에 상당한다.
정규화 상관값[r(Δx, Δy)은 -1 ≤ r (xΔ, Δy) ≤ 1의 값을 취하고, 입력화상과 템플릿이 완전히 일치한 경우에는 "1" 이 된다.
템플릿 매칭에서는 Δx, Δy를 탐색범위 내에서 주사시킨 경우에, 즉 상기한 예에서는 -Mx ≤ Δx ≤ Mx, -My ≤ Δy ≤ My 로 변화시킨 경우에, 정규화 상관값[r (Δx, Δy)이 가장 커지는 위치(Δx, Δy)를 검출하는 처리가 행하여진다.
다음에 상기 도 1에서 나타낸 처리순서의 계속을 설명한다. 초점거리정보취득처리단계(105)에서는 워크 메모리(202g)에 기록한 현재의 입력화상을 취득한 시점의 촬상렌즈(102b)의 초점거리(f)를 취득한다.
다음에 운대/렌즈제어단계(106)에서는 상기한 침입물체의 이동량의 검출처리단계(104)에 있어서의 템플릿 매칭처리단계(104d)에 의하여 검출된 침입물체의 위치와 입력화상의 중심의 변위에 따라 카메라 운대(201c)의 제어를 행한다. 또 검출된 침입물체의 화상상의 크기와, 그 때의 TV 카메라(201a)의 초점거리(단계 105에서 취득)에 따라 새로운 초점거리(줌배율)를 계산하여 촬상렌즈(201b)의 초점거리(줌)의 제어를 행한다. 줌배율의 계산에 대해서는 뒤에서 설명한다.
여기서 도 5를 참조하여 상기한 카메라 운대(201c)의 제어처리를 구체적으로 설명한다. 일례로서 템플릿화상(601)에 있어서, 도 5에 나타내는 바와 같은 위치(602)에 침입물체가 검출되었다고 한다. 이 경우, 침입물체의 중심위치를 템플릿의 중심(603)이라 하면, 템플릿화상(601)의 중심(604)으로부터의 X축 방향의 변위(dx), Y축 방향의 변위(dy)가 산출된다.
그리고 템플릿의 중심위치(603)가 입력화상의 중심(604)과 비교하여 소정량 (s) 이상 좌측(dx < -s)이면 카메라 운대(201c)를 좌측으로 회전(팬)시키고, 소정량 (s) 이상 우측(dx > s)이면 카메라 운대(201c)를 우측으로 회전(팬)시킨다. 또 템플릿의 중심위치(603)가 입력화상의 중심(604)과 비교하여 소정량(s) 이상 위쪽(dy < -s)이면 카메라 운대(201c)를 위로 경사(틸트)시키고, 소정량(s) 이상 아래쪽(dy > s)이면 아래로 경사(틸트)시킨다.
이와 같은 소정량(s)을 사용하면 침입물체가 화상의 중심 부근에 존재하는 경우에는 카메라 운대(201c)를 제어할 필요가 없고, 이 때문에 소정량(s)에 의하여 카메라 운대(201c)의 제어를 개시하는 침입물체의 위치를 지정할 수 있다. 또한 좌, 우, 상, 하의 각각에 대한 소정량(s)으로서는, 여러가지 값이 사용되어도 되고, 예를 들면 좌우 상하에서 동일한 값이 사용되어도 되고, 또는 좌우 상하에서 각각 임의의 값이 사용되어도 좋다.
일례로서 좌우 상하의 소정량(s) = 50이라는 값을 사용하는 것이 가능하다. 또 예를 들면 소정량(s)이 작을 수록 침입물체가 조금이라도 중심으로부터 벗어나면 카메라 운대(201c)가 제어되어 화상이 보기 어렵게 되어 버릴 가능성은 있으나, 상기한 소정량(s) = 0 이라는 값이나, 소정량(s)으로서 작은 값을 사용하는 것도 가능하다.
또, 템플릿화상(601)의 중심(604)에 대한 침입물체의 X축 방향의 변위(dx), Y축 방향의 변위(dy)의 절대치에 의하여 팬이나 틸트모터의 제어속도를 변화시키는 제어를 행하는 것도 가능하다. 이 경우 예를 들면 X축 방향의 변위(dx), 또는 Y축 방향의 변위(dy)의 절대치가 클 수록 제어속도를 크게 한다.
다음에 상기한 촬상렌즈(201b)의 제어처리를 구체적으로 설명한다. 촬상 렌즈(201b)의 제어에서는 예를 들면 검출한 침입물체의 화상상의 크기, 즉 템플릿의 크기에 의거하여 일례로서 템플릿의 높이가 소정의 값 미만인(또는, 소정의 값 이하인)경우는 촬상렌즈(201b)를 줌인하고, 템플릿의 높이가 소정의 값 이상인(또는, 소정의 값을 초과함) 경우는 촬상렌즈(201b)를 줌아웃한다. 일례로서 소정의 값으로서, 400화소(입력화상의 크기를 가로방향 640화소, 높이방향 480화소로 한 경우)라는 값을 사용하는 것이 가능하다. 이 경우, 예를 들면 현재의 템플릿의 높이가 300화소, 워크 메모리(202g)에 기록한 현재의 줌렌즈(201b)의 초점거리가 f = 30 mm 이었다고 하면 템플릿의 높이를 400화소로 하기 위해서는, 줌렌즈의 초점거리를 f = 30 ×(400/300) = 40 mm로 하면 된다. 즉, 줌비율을 1.33배로 하면 된다. 따라서 MPU (202f)는, 렌즈제어부(202c)를 거쳐 줌렌즈(201b)의 초점거리를 40 mm로 제어한다. 이와 같이 함으로써 침입물체를 TV 카메라(201a)의 시야 내에 적절한 크기로 포착할 수 있다. 대체예로서 줌인으로서 초점거리를 1.0 mm 길게 한다는 처리를 행하고, 줌아웃으로서 초점거리를 1.0 mm 짧게 한다는 간이적인 처리로도 줌렌즈(201b)를 제어할 수 있다. 침입물체를 추적하는 처리는 차례로 반복하여 실행되기 때문에, 이와 같이 간이적인 처리로도 초점거리의 제어가 부족한 경우는, 다음 처리 프레임에서도 동일하게 제어가 행하여진다. 따라서 침입물체를 추적하는 처리를 반복함으로써 줌렌즈(201b)의 초점거리는 적절한 값으로 제어되어 템플릿의 높이를 소정의 크기에 맞출 수 있다. 여기서 초점거리의 변화량 1.0 mm라는 것은 경험적으로 산출되는 것으로, 이 값이 크면 템플릿의 높이를 소정의 크기에 신속하게 맞출 수 있으나, 적절한 값 부근에서는 초점거리의 진동감소가 발생할 가능성이 있다(over darmping). 한편, 초점거리의 변화량이 작으면 템플릿의 높이가 소정의 크기에 맞을 때까지 시간이 걸리는 경우가 있다(under damping).
상기한 예에서는 대상물체의 화상상의 크기의 판정에 템플릿의 높이를 사용하였으나, 그 이유는 침입물체는 대부분의 경우, 세로로 길게 비치고, 그것에 대하여 촬상장치(201)에 의하여 입력되는 화상은 가로로 길기 때문이다. 즉, 침입물체를 촬상장치(201)의 시야 내에 포착하는 경우, 침입물체의 상하, 좌우끝으로부터 입력화상의 상하, 좌우끝까지의 간격을 각각 비교하면 침입물체의 상하끝으로부터 입력화상의 상하끝까지의 간격의 쪽이 좁다. 따라서 템플릿의 폭을 사용하여 대상물체의 화상상의 크기를 판정하여 그 결과에 의거하여 촬상렌즈(102b)를 제어하여 줌인한 경우, 침입물체의 상하가 화상상의 시야의 바깥쪽으로 튀어 나간다는 문제가 생길 가능성이 있기 때문이다.
따라서, 침입물체의 화상상에서의 크기를 평가하는 경우에, 템플릿의 높이를 기준으로 촬상렌즈(102b)의 초점거리를 조정한 경우의 예에서는 안정된 카메라 운대(201c)의 제어를 유지하면서, 줌인 및 줌아웃을 행할 수 있다. 또한 템플릿의 높이 이외, 예를 들면 템플릿의 폭 등을 기준으로 촬상렌즈(102b)의 초점거리를 조정하는 것도 가능하다. 예를 들면 자동차와 같이 침입물체가 가로로 긴 경우, 템플릿의 폭을 사용할 수 있다.
이에 의하여 침입물체를 TV 카메라(201a)의 시야 내의 중앙에 포착하면서 카메라 운대(201c)를 자동적으로 제어하여 침입물체를 추적할 수 있다.
또한 상기한 침입물체의 화상상의 크기 이외의 요소, 예를 들면 침입물체의 화상상에서의 이동량에 의거하여, 촬상렌즈(201b)의 제어를 행하는 것도 가능하다. 구체적으로는 침입물체의 화상상에서의 이동량이 소정의 값 미만인(또는, 소정의 값이하인) 경우는 촬상렌즈(201b)를 줌인하고, 침입물체의 화상상에서의 이동량이 소정의 값 이상인(또는, 소정의 값을 초과함) 경우는 촬상렌즈(201b)를 줌아웃한다. 이 침입물체의 화상상에서의 이동량에 의거하는 촬상렌즈(201b)의 제어에 대해서는 다른 실시예에 관련하여 뒤에서 설명한다.
이하에 설명하는 화상 컷아웃처리(단계 107)와 화상 확대처리(단계 108)에서는 입력화상 내에 침입물체의 영상을 포함하는 부분영역의 범위를 설정하고, 설정된 범위의 부분영역의 화상에 화상처리(확대처리)를 실시한다.
먼저, 화상 컷아웃처리(단계 107)에서는 침입물체의 위치와 템플릿의 크기에 따라 입력화상의 부분화상을 컷아웃한다(부분화상의 위치, 크기 등을 설정한다).
여기서 도 10을 참조하여 부분화상의 컷아웃처리를 구체적으로 설명한다. 도 10은 어느 시각의 입력화상에 있어서 검출된 침입물체의 템플릿(1101)과 컷아웃할 부분화상(1103)과의 관계를 나타내고 있다. 도 10에 있어서 부분화상의 크기, 즉 가로(Sx)화소, 세로(Sy)화소는 일례로서 수학식 3과 같이 나타낸다.
Figure 112004040013613-pat00003
여기서 Tx는 템플릿의 가로 크기(폭)이며, Ty는 템플릿의 세로 크기(높이)이다. 따라서 부분화상의 높이(Sy)는, 수학식 3에 나타내는 예에서는 템플릿의 세로 크기(Ty)의 120%가 되도록 설정된다. 여기서 120%라는 값은 일례이며, 예를 들면 80% 등, 템플릿의 세로 크기(Ty)보다도 작은 값을 부분화상의 높이(Sy)로서 설정하는 것도 가능하다.
또, 부분화상의 폭(Sx)은, 일례로서 확대결과를 출력하는 화상모니터(205)의 종횡비에 따라 설정한다. 예를 들면 화상모니터(205)의 종횡비가 4 : 3인 경우에는 수학식 3에 나타내는 바와 같이 부분화상의 폭(Sx)은 상기 설정된 부분화상의 높이 (Sy)의 4/3배로 설정된다.
또한 도 10에 있어서, 부분화상의 컷아웃 범위(1103)는 템플릿의 중심[좌표(Cx, Cy)](1102)을 기준으로 설정된다. 즉, 도 10에 있어서 부분화상의 컷아웃 범위(1103)의 좌상의 좌표(x0, y0)는 (Cx - Sx/2, Cy - Sy/2), 부분화상의 컷아웃 범위(1103)의 우하의 좌표(x1, y1)는 (Cx + Sx/2, Cy + Sy/2)로 설정된다. 이와 같이 하면 템플릿의 중심을 부분화상의 중심과 일치시킬 수 있다.
또한 상기한 수학식 3에 있어서는, 템플릿의 세로 크기(Ty)를 기준으로 부분화상의 크기(높이, 폭)를 설정하고 있으나, 템플릿의 가로 크기(Tx)를 기준으로 부분화상의 크기를 설정하여도 좋다.
다음에 상기 도 1에 나타낸 처리의 계속을 설명한다. 화상 확대처리(단계 108)에서는 화상 컷아웃처리(단계 107)에서 얻어진 부분화상을 화상모니터(205)에 출력하기 위하여 화상모니터(205)에서 출력할 수 있는 크기로 확대한다. 즉, 출력하는 화상신호의 크기는, 화상모니터(205)의 화면크기 등에 따라 원하는 크기를 설정하는 것이 가능하다. 예를 들면 화상모니터(205)가 NTSC 방식의 화상신호를 출력할 수 있는 경우에는 일례로서 가로 640화소, 세로 480화소로 확대한다. 이 경 우에는 가로방향은 640/Sx배, 세로방향은 480/Sy배로 확대하면 되나, 확대의 배율로서는 여러가지의 값을 사용하는 것이 가능하다. 또 확대의 배율에 상한값이나 하한값을 설정하는 것도 가능하다. 또 상기한 예에서는 가로 640화소, 세로 480화소라는 일정한 크기로 화상을 확대하는 경우에 대하여 나타내었으나, 확대 후의 화상크기는 일정한 크기가 아니어도 좋다. 여기서 확대된 화상은 뒤에서 설명하는 경보/추미정보표시처리(단계 109)에 있어서, 화상모니터(205)에 표시된다.
다음에 경보/추미정보표시처리(단계 109)에서는 화상 확대처리(단계 108)에서 확대된 화상을 화상 출력부(202i)를 거쳐 화상모니터(205)에 표시한다. 또 예를 들면 침입물체를 추적 중임을 나타내는 경보를 감시원에게 전하기 위하여 화상 출력부(202i)를 거쳐 화상모니터(205)에 침입물체의 정보를 표시하는 것이나, 경보출력부(202j)를 거쳐 경고등(206)을 점등시키는 것 등을 행한다. 여기서 침입물체의 정보로서는 예를 들면 이동량, 이동경로 등의 정보를 사용하는 것이 가능하다.
이와 같이 본 실시예에 의하면, 기계식/광학식 추적에서의 카메라 운대/촬상 렌즈의 응답성의 낮음을 전자적인 화상의 컷아웃처리(단계 107)와 화상의 확대처리(단계 108)에서 보충하고, 전자식 추적에서 요구되는 넓은 화면각의 촬상장치를 기계식의 카메라 운대 제어처리(단계 106)에서 보충하고, 또 해상도의 낮음을 광학적인 촬상렌즈제어처리(단계 106)에서 보충함으로써 침입물체를 화상의 중앙에 고속으로 포착하면서 가능한 한 높은 해상도로 화상모니터에 출력하면서 추적처리를 행할 수 있다.
다음에 도 9를 참조하여 본 실시예의 효과를 구체적으로 설명한다. 도 9는 도 7에 나타낸 침입물체의 추미처리결과와 동일한 시각의 입력화상에 대하여 본 실시예를 적용한 경우의 일례를 나타내는 것이다. 도 9에 있어서는 시각[t1,(t1 + 1), (t1 + 2),(t1 + 3)]의 입력화상을 각각 1001, 1003, 1005, 1007로 하고[입력화상(801, 802, 803, 804)과 동일], 그때의 화상모니터(205)에 출력되는 부분화상의 확대결과를 각각 1002, 1004, 1006, 1008로 하고 있다.
도 9에 있어서, 침입물체의 위치(1001a, 1003a, 1005a, 1007a), 템플릿(1001b, 1003b, 1005b, 1007b)은 각각 상기 도 8에 있어서의 침입물체의 위치(801a, 802a, 803a, 804a), 템플릿(801b, 802b, 803b, 804b)이 동일하다.
도 9에 있어서, 시각(t1)에 있어서, 입력화상(1001)이 얻어지고, 침입물체(1001a)가 검출되어 있다. 이때 화상 컷아웃처리(단계 107)에서는 침입물체의 템플릿(1001b)에 따라 상기와 같이 부분화상(101c)을 컷아웃한다. 그리고 화상 확대처리(단계 108)에서는 화상 모니터(205)에 표시하기 위하여 상기 부분화상(1001c)을 확대한다. 그러면 화상 모니터(205)에는 표시결과(1002)와 같이 표시된다. 여기서 침입물체는 1002a와 같이 화면 중앙에 표시된다(단계 109).
다음에 시각(t1 + 1)에서는 부분화상(1003c)이 컷아웃되고(단계 107), 확대되어(단계 108) 화상 모니터(205)에 표시결과(1004)와 같이 표시된다(단계 109). 또한 시각(t1 + 2)에서는 부분화상(1005c)이 컷아웃되고(단계 107), 확대되어(단계 108) 표시결과(1006)와 같이 표시된다(단계 109). 시각(t1 + 3)에서는 컷아웃할 부분화상이 입력화상과 동일한 크기가 되기 때문에, 입력화상(1007)이 그대로 표시결과(1008)가 된다.
또한, 컷아웃할 부분화상의 크기를 입력화상의 크기보다 항상 작게 하도록, 예를 들면 컷아웃할 부분화상의 크기를 입력화상 크기의 60%로 억제하도록 하는 것도 가능하다. 또 그때 상기한 촬상렌즈(201b)의 제어에서는 줌인의 상한으로서, 일례로서 템플릿의 높이가 400화소가 되는 값을 상한으로서 사용하고 있었으나, 보다 작은 값, 예를 들면 템플릿의 높이가 입력화상 높이의 1/2, 즉 240 화소가 되는 값을 줌인의 상한으로서 사용하도록 하는 것도 가능하다. 이 경우 상기한 화상 확대처리(단계 108)에서는 반드시 부분화상을 확대하지 않으면 안되나, 컷아웃할 부분화상(템플릿의 크기)에 대하여 입력화상이 크기 때문에 침입물체의 상하, 좌우끝으로부터 입력화상의 상하끝, 좌우끝까지의 간격을 넓게 할 수 있다. 따라서 침입물체의 상하, 좌우가 입력화상상의 시야의 바깥쪽으로 튀어나간다는 문제가 생길 가능성이 감소하여 침입물체 추적성능을 향상시킬 수 있다. 또 침입물체의 이동에 따라 부분화상의 컷아웃 위치를 바꿈으로써 침입물체의 추미를 할 수 있기 때문에 물체이동에 대한 고속의 응답을 실현할 수 있다.
또 컷아웃할 부분화상의 위치를 침입물체의 이동량(Δx, Δy)으로 보정함으로써 침입물체의 이동에 따르면서 침입물체의 추적을 행할 수 있고, 침입물체의 표시상의 못보고 놓치는 것을 감소시킬 수 있다. 이 경우 부분화상의 컷아웃범위(1103)의 좌상의 좌표(x0, y0)는 (Cx - Sx/2 + Δx, Cy - Sy/2 + Δy), 부분화상의 컷아웃 범위(1103)의 우하의 좌표(x1, yl)는 (Cx + Sx/2 + Δx, Cy + Sy/2 + Δy)가 된다.
따라서 본 발명에 의하면 카메라 운대·촬상렌즈의 응답성이 낮음의 영향을 억제하면서 검출한 침입물체를 화면의 중앙에 포착하여 침입물체의 해상도도 촬상렌즈의 초점거리 변화에 따라 서서히 고해상도의 영상을 표시할 수 있다.
또한 상기 도 10에 나타낸 처리에서는 화상의 컷아웃 위치를 템플릿의 중앙을 기준으로 행하였으나, 예를 들면 템플릿의 중앙보다도 위쪽 등, 템플릿의 중앙 이외의 장소를 기준으로 하여 부분화상의 컷아웃처리를 행하는 것도 가능하다. 이때 템플릿이 표시결과로부터 밀려 나올 가능성이 있으나, 처리장치의 대상으로 하고 있는 화상은 컷아웃 전의 입력화상이기 때문에, 물체추적처리를 할 수 없게 되는 일은 없다. 예를 들면 템플릿의 중앙보다도 위쪽에 기준을 설정한 경우, 침입물체의 얼굴을 중심으로 한 부분화상이 얻어진다. 또 부분화상으로서 침입물체의 얼굴 부근만을 컷아웃하면, 침입물체의 얼굴만을 확대한 화상을 화상모니터(205)에 출력시키는 것이 가능하다.
또, 본 실시예에서는 침입물체의 화상모니터(205)의 표시화상상에서의 크기를 일정하게 유지하도록 화상확대처리(단계 108)를 실행하도록 구성하였으나, 침입물체의 입력화상상에서의 크기가 작으면 화상의 확대처리에 의하여 현저하게 표시화상의 해상도가 저하하는 경우가 있다. 이와 같은 경우에는 부분화상 컷아웃처리(단계 107)에 있어서의 부분화상의 폭(Sx) 및 높이(Sy)에 하한을 설치하는 것도 가능하다. 예를 들면 부분화상의 폭(Sx)과 높이(Sy)의 하한을 각각 160, 120화소 정도로 설정하면 화상 확대처리(단계 108)에 있어서의 확대의 배율은 최대 640/Sx = 640/160 = 4배, 480/Sy = 480/120 = 4배가 되고, 4배 이상의 확대는 행하여지지 않는다. 따라서 침입물체의 표시화상상에서의 크기는 일정하지 않게 되나, 표시화상의 해상도의 저하를 억제할 수 있다.
또, 화상모니터(205)에는 화상확대처리(단계 108)에 의하여 확대된 부분화상 외에, 전자적인 확대를 행하고 있지 않은 화상, 즉 화상입력처리(102a, 104b)에 있어서의 입력화상을 표시시키는 것도 가능하다. 이때 입력화상과, 확대한 부분화상을 좌우에 나열하여 화상모니터(205)에 표시시키는 것도 가능하다. 또 확대한 부분화상에 겹쳐 입력화상을 축소한 화상을 표시시키는 것 등도 가능하다.
본 발명의 다른 실시예를 이하에서 설명한다.
본 발명에서는 상기한 침입물체의 화상상의 크기 이외의 요소, 예를 들면 침입물체의 화상상에서의 이동량에 의거하여 촬상렌즈(201b)의 제어를 행하는 것도 가능하다. 본 실시예에서는 침입물체의 화상상에서의 이동량에 의거하여 촬상렌즈(201b)의 제어를 행한다. 구체적으로는 침입물체의 화상상에서의 이동량이 소정의 값 미만인(또는, 소정의 값 이하인) 경우는 촬상렌즈(201b)를 줌인하고, 침입물체의 화상상에서의 이동량이 소정의 값 이상인(또는 소정의 값을 초과한) 경우는 촬상렌즈(201b)를 줌아웃한다. 이하에서 이 처리를 도 11과 도 12에 언급하여 설명한다.
도 11은 도 2의 화상감시장치에 의하여 행하여지는 차분법 및 템플릿 매칭법을 사용한 물체추적처리의 순서의 다른 예를 나타낸다. 또한 도 11에 나타내는 순서 중 단계 101 내지 104(및 105)까지는 도 1과 동일하기 때문에 설명을 생략한다. 도 12는 본 실시예에 있어서의 줌배율의 설정의 일례를 설명하기 위한 도면이다.
도 1과 마찬가지로 단계 105에서 워크 메모리(202g)에 기록된, 현재의 입력 화상을 취득한 시점의 촬상렌즈(201b)의 초점거리(f)를 취득한다.
다음에 템플릿 매칭처리(단계 104)에서 얻어진 침입물체의 이동량(Δx, Δy)에 의거하여 수학식 4에 의하여 줌배율(rf)을 산출한다(단계 110).
Figure 112004040013613-pat00004
수학식 4에 있어서 Mx, My는, 이미 설명한 바와 같이 템플릿 매칭법에 있어서의 탐색범위를 나타내고 있다. Kx, Ky는 안정되게 추적하는 것이 가능한 침입물체의 화상상에서의 최대 이동량을 나타내고 있고, 예를 들면 탐색범위의 절반정도, 즉 이 예에서는 Mx = 50, My = 20으로 하고, Kx = 25, Ky = 10으로 한다. 또한 Kx나 Ky의 값은 예를 들면 물체가 탐색범위로부터 벗어나지 않도록 탐색범위의 절반정도로 여유를 가지게 한다는 정도의 요구를 만족하는 값으로 하면 되나, 실제로는 시뮬레이션이나 실험 등을 행하여 설정한다.
또, 수학식 4에서는 침입물체의 이동량이 (Δx, Δy) = (0, 0)인 경우에는 즉 침입물체의 이동량이 제로인 경우에는 줌배율(rf) = 1.5로 하고 있다.
또한 예를 들면 줌배율(rf)이 소정의 값 이상이 된 경우에는 줌배율(rf)을 상기 소정의 값으로 하여, 급격하게 줌인하지 않도록 하여도 된다. 상기 소정의 값으로서는 예를 들면 1.5를 사용할 수 있다. 이 경우, 1회의 줌인으로 최대 50%의 줌인까지 가능하게 된다.
이와 같이 1회의 줌인에 있어서의 최대의 줌인배율(rf)(상한값)을 설정하면, 예를 들면 입력화상의 끝 가까이에서 검출된 물체는 줌인에 의하여 화상상의 시야의 바깥쪽으로 튀어나온다는 문제를 억제할 수 있다.
또, 예를 들면 줌배율(rf)의 상한값을 가변으로 하는 구성을 사용하는 것도 가능하다. 이와 같은 구성에서는 예를 들면 입력화상의 화면크기와 비교하여 템플릿이 너무 작은 경우에 줌배율(rf)의 상한값을 1.5보다 큰 값으로 하는 것도 가능하다.
또, 예를 들면 템플릿의 높이에 의거하여 줌인을 제한하도록 하여도 좋다. 예를 들면 화상의 화면의 높이가 템플릿 높이의 120% 이상이 되는 범위에서만 줌인을 행하지 않도록 하여도 되고, 또는 화상의 화면의 폭이 템플릿 폭의 120% 이상이 되는 범위에서만 줌인을 행하지 않도록 하여도 좋다. 이에 의하여 침입물체의 이동량(Δx, Δy)이 작아 다수회의 줌인이 이루어져 템플릿이 화면의 크기를 초과하는 것을 방지할 수 있어, 화상을 보기 쉽게 하여 안정된 동작을 확보할 수 있다.
또, 템플릿과 화면의 상단, 하단, 좌단, 우단까지의 각각의 거리에 의거하여 줌인에 상한을 설치하도록 하더라도 된다. 예를 들면 도 12에 나타내는 바와 같이 템플릿(172)과 화면(171)의 상단, 하단, 좌단, 우단까지의 거리를 각각 du, db, dl, dr이라 하고, 템플릿(172)의 상변, 하변, 좌변, 우변이 줌인에 의하여 화면의 밖으로 초과하는 배율 120/(120-du), 120/(120-db), 160/(160-dl), 160/(160-dr) 중에서 음의 값을 제외하고 가장 작은 배율을 줌인의 상한으로 한다. 여기서 화면크기로서 폭320화소, 높이 240화소를 상정하였다.
또, 대상물체의 이동량의 예측을 행하는 경우에는 앞프레임에서의 대상물체의 이동량을 (Δx', Δy')라 한 경우, 120/{120 - (du + Δy')}, 120/{120 - (db - Δy')}, 160/{160 - (dl + Δx')}, 160/{160 - (dr - Δx')}로서, 상기와 마찬가지로 하여 템플릿의 상변, 하변, 좌변, 우변이 줌인에 의하여 화면의 밖으로 초과되는 배율(줌인의 배율의 상한)을 산출한다.
또한, 예를 들면 템플릿(172)과 화면(171)의 상단, 하단까지의 거리(du, db) 중에서 짧은 쪽에만 의거하여 줌인의 배율의 상한을 산출하여도 되고, 또 템플릿(172)과 화면(171)의 좌단, 우단까지의 거리(d1, dr) 중에서 짧은 쪽에만 의거하여 줌인의 배율의 상한을 산출하여도 된다.
이상과 같이 하여 침입물체의 화상상에서의 이동량에 의거하여 촬상렌즈(201b)의 줌배율을 산출하고, 운대/렌즈제어(단계 106)에 있어서 렌즈제어부(202c)를 거쳐 촬상렌즈(201b)의 초점거리를 f × rf로 조정하게 된다.
이상으로 침입물체의 화상상에서의 이동량에 의거하여 촬상렌즈(201b)의 제어를 행하는 것에 대한 설명을 마친다. 단계 107 내지 단계 109는 도 1의 실시예와 동일하기 때문에 설명은 생략한다.
상기 실시예에서는 화상으로부터 물체를 검출하는 방법으로서 차분법을 예로서 사용하고, 또 물체의 이동량을 검출하는 방법으로서 템플릿 매칭법을 예로서 사용하였으나, 예를 들면 본예와 마찬가지로 침입물체의 이동량을 검출하면서 추적하 는 것이 가능한 방법이면 다양한 방법이 사용되어도 좋다.
상기 기재는 실시예에 대하여 이루어졌으나, 본 발명은 그 정신과 청구항의 범위에서 여러가지의 변경 및 수정을 할 수 있는 것은 당업자에 분명하다.
예를 들면 본 발명에 관한 물체추적장치나 화상감시장치 등의 구성으로서는, 반드시 이상에 나타낸 것에 한정되지 않고, 다양한 구성이 사용되어도 좋다.
또한, 예를 들면 실시예에서는 촬상장치의 촬상렌즈로서 줌렌즈로 설명하였으나, 이것에 한정되지 않고 여러가지의 것이 사용되어도 좋다.
또, 촬상렌즈제어단계는 입력화상 중에 있어서의 물체의 크기가 소정범위를 만족하도록 또는 상기 화상 중에 있어서의 물체의 이동량이 소정의 값 범위를 만족하도록 촬상수단의 촬상렌즈의 줌배율을 산출하여도 좋다.
또, 부분화상설정의 설정방법으로서는 여러가지의 것이 사용되어도 좋다. 또화상 확대수단으로서는 화상을 전자적으로 확대하는 수단 외에 여러가지의 것이 사용되어도 좋다.
또, 입력화상 중의 물체검출수단에 의한 검출결과에 의거하여 촬상수단의 촬상렌즈를 제어하는 형태로서는 다양한 형태가 사용되어도 좋다. 또 입력화상 중의 물체검출수단에 의한 검출결과에 의거하여 촬상수단의 촬상렌즈의 줌배율을 산출하는 방법으로서는 여러가지의 방법이 사용되어도 좋다.
또, 줌배율의 산출결과에 의거하여 촬상수단의 촬상렌즈를 제어하는 방법으로서는 여러가지의 방법이 사용되어도 되고, 예를 들면 산출되는 줌배율을 실현하도록 촬상수단의 촬상렌즈를 움직이는 방법을 사용할 수 있다.
또, 화상 중에 있어서의 물체의 크기, 이동량으로서는 예를 들면 화상의 프레임 중에 있어서 물체의 크기, 물체가 이동하는 양에 상당하고, 일례로서 프레임을 구성하는 화소의 수를 기준으로 하여 검출하는 것이 가능하다. 또 화상 중에 있어서의 물체의 크기에 관한 소정범위로서는 여러가지의 값이 사용되어도 좋고, 예를 들면 프레임에 있어서 물체의 크기가 너무 크지 않도록 하는 것 등을 고려하여 설정할 수 있다. 또 화상 중에 있어서의 물체의 이동량에 관한 소정범위로서는 여러가지의 값이 사용되어도 좋고, 예를 들면 프레임에 있어서 물체의 이동속도가 너무 빠르지 않게 하는 것 등을 고려하여 설정할 수 있다.
또, 본 발명은 예를 들면 본 발명에 관한 처리를 실행하는 방법 또는 방식이나, 이와 같은 방법이나 방식을 실현하기 위한 프로그램 등으로서 제공하는 것도 가능하고, 또 예를 들면 물체감시장치나 물체검출장치 등의 여러가지의 장치나 시스템으로서 제공하는 것도 가능하다.
또, 본 발명의 적용분야로서는 반드시 이상에 나타낸 것에 한정되지 않고, 본 발명은 여러가지의 분야에 적용하는 것이 가능한 것이다.
또, 본 발명에 관한 물체추적장치나 화상감시장치 등에 있어서 행하여지는 각종 처리로서는 예를 들면 프로세서나 메모리 등을 구비한 하드웨어자원에 있어서 프로세서가 ROM(Read Only Memory)에 저장된 제어프로그램을 실행함으로써 제어되는 구성이 사용되어도 되고, 또 예를 들면 상기 처리를 실행하기 위한 각 기능수단이 독립된 하드웨어회로로서 구성되어도 좋다.
또 본 발명은 상기한 제어프로그램을 저장한 플랙시블 디스크나 CD(Compact Disc) - ROM이나 DVD(Digital Versatile Disk)-ROM 등의 컴퓨터에 의하여 판독 가능한 기록매체나 상기 프로그램(자체)으로서 파악할 수도 있고, 상기 제어프로그램을 기록매체로부터 컴퓨터에 입력하여 프로세서에 실행시킴으로써 본 발명에 관한 처리를 수행시킬 수 있다.
상기 실시예의 물체추적방법 및 물체추적장치에 의하면, 촬상에 의하여 얻어진 화상신호에 의거하여 화상 중의 물체를 추적할 때에 있어서, 촬상을 행하는 촬상 렌즈의 제어와, 화상의 전자적 확대처리에 의하여 물체의 이동에 충분히 고속으로 추종하여 물체의 화상을 충분한 해상도로 취득할 수 있다.
본 발명의 물체추적방법 및 물체추적장치에 의하면, 촬상에 의하여 얻어진 화상신호에 의거하여 화상 중의 물체를 추적할 때에 있어서, 촬상을 행하는 촬상렌즈의 제어와, 화상의 전자적 확대처리에 의하여 촬상수단을 효과적으로 제어할 수 있다.

Claims (20)

  1. 촬상방향과 줌량이 제어 가능한 촬상장치를 사용하여 물체를 추적하는 물체추적방법에 있어서,
    상기 촬상장치로부터 얻어진 입력화상 내의 상기 물체의 화상의 특징량을 적어도 하나 검출하는 단계와,
    상기 물체의 추적을 위해 상기 검출된 특징량에 의거하여 상기 촬상장치를 제어하는 단계와,
    상기 검출된 특징량에 의거하여 상기 입력화상 내에 상기 물체의 화상을 포함하는 부분영역의 범위를 설정하는 단계와,
    상기 설정된 부분영역의 범위의 화상을 확대하는 단계를 가지는 것을 특징으로 하는 물체추적방법.
  2. 제 1항에 있어서,
    상기 적어도 하나의 특징량은, 상기 물체의 화상의 위치, 크기, 이동량의 적어도 어느 하나를 포함하는 것을 특징으로 하는 물체추적방법.
  3. 제 2항에 있어서,
    상기 물체의 화상의 위치에 의거하여 상기 부분영역의 범위의 위치를 설정하고, 상기 물체의 화상의 크기에 의거하여 상기 부분영역의 범위의 크기를 설정하는 것을 특징으로 하는 물체추적방법.
  4. 제 3항에 있어서,
    상기 부분영역의 범위의 크기와 소정의 화상표시크기에 의거하여 설정한 확대율로 상기 부분영역의 범위의 화상을 확대하는 것을 특징으로 하는 물체추적방법.
  5. 제 3항에 있어서,
    상기 물체의 화상의 크기에 의거하여 상기 촬상장치의 촬상렌즈의 줌량의 상한을 설정하고, 상기 부분영역의 범위의 크기는, 상기 입력화상의 크기의 미리 설정한 1 보다 작은 비율 이하가 되도록 설정하는 것을 특징으로 하는 물체추적방법.
  6. 제 2항에 있어서,
    상기 물체의 화상의 이동량에 의존하여 상기 촬상장치의 줌량을 바꾸는 것을 특징으로 하는 물체추적방법.
  7. 제 2항에 있어서,
    상기 물체의 화상의 크기에 의존하여 상기 촬상장치의 줌량을 바꾸는 것을 특징으로 하는 물체추적방법.
  8. 물체추적장치에 있어서,
    촬상방향과 줌량이 제어 가능한 촬상장치와,
    표시장치와,
    상기 촬상장치에 의하여 얻어지는 입력화상 중의 물체의 화상의 특징량을 검출하는 검출부와,
    상기 물체의 추적을 위하여 검출된 상기 특징량에 의거하여 상기 촬상장치를 제어하는 제어부와,
    상기 특징량에 의거하여 상기 입력화상 내에 상기 물체를 포함하는 부분영역의 범위를 설정하는 설정부와,
    상기 표시장치에 표시하기 위하여 상기 설정된 부분영역의 범위의 화상을 확대하는 확대부를 가지는 것을 특징으로 하는 물체추적장치.
  9. 제 8항에 있어서,
    상기 특징량은, 상기 물체의 화상의 위치, 크기, 이동량의 적어도 어느 하나를 포함하는 것을 특징으로 하는 물체추적장치.
  10. 제 9항에 있어서,
    상기 설정부는, 상기 물체의 화상의 위치에 의거하여 상기 부분영역의 범위의 위치를 설정하고, 상기 물체의 화상의 크기에 의거하여 상기 부분영역의 범위의 크기를 설정하는 것을 특징으로 하는 물체추적장치.
  11. 제 10항에 있어서,
    상기 확대부는, 상기 부분영역의 범위의 크기와 소정의 화상표시크기에 의거하여 설정한 확대율로 상기 부분영역의 범위의 화상을 확대하는 것을 특징으로 하는 물체추적장치.
  12. 제 9항에 있어서,
    상기 제어부는, 상기 물체의 화상의 크기에 의거하여 상기 촬상장치의 촬상렌즈의 줌량의 상한을 설정하고, 상기 부분영역의 범위의 크기는, 상기 입력화상의 크기의 미리 설정한 1 보다 작은 비율 이하가 되도록 설정하는 것을 특징으로 하는 물체추적장치.
  13. 제 9항에 있어서,
    상기 제어부는, 상기 물체의 화상 중의 이동량에 의존하여 촬상장치의 촬상 렌즈의 줌량을 바꾸는 것을 포함하는 것을 특징으로 하는 물체추적장치.
  14. 제 9항에 있어서,
    상기 제어부는, 상기 물체의 화상의 크기에 의존하여 상기 촬상장치의 줌량을 바꾸는 것을 특징으로 하는 물체추적장치.
  15. 촬상방향과 줌량이 제어 가능한 촬상장치를 구비한 물체추적장치물을 동작시켜 물체추적을 행하기 위하여 이하의 단계를 실행하는 계산기의 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 있어서,
    상기 촬상장치로부터 얻어진 화상 내의 상기 물체의 화상의 특징량을 적어도 하나 검출하고, 상기 특징량은 상기 물체의 화상의 위치, 크기, 이동량의 적어도 어느 하나를 포함하는 단계와,
    상기 물체의 추적을 위하여 상기 검출된 특징량에 의거하여 상기 촬상장치를 제어하는 단계와,
    상기 검출된 특징량에 의거하여 상기 화상 내에 상기 물체의 화상을 포함하는 부분영역의 범위를 설정하는 단계와,
    상기 설정된 범위의 부분영역의 화상을 확대하는 단계를 실행하는 것을 특징으로 하는 계산기의 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  16. 제 15항에 있어서,
    상기 부분영역의 범위를 설정하는 단계는, 상기 물체의 화상의 위치에 의거하여 상기 부분영역의 범위의 위치를 설정하는 것 및 상기 물체의 화상의 크기에 의거하여 상기 부분영역의 범위의 크기를 설정하는 것을 포함하는 것을 특징으로 하는 계산기의 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  17. 제 15항에 있어서,
    상기 촬상장치를 제어하는 단계는, 검출된 상기 물체의 화상의 크기에 의거하여 상기 촬상장치의 촬상렌즈의 줌량의 상한을 설정하는 것을 포함하고, 상기 부분영역의 범위의 크기는 상기 입력화상의 크기의 미리 설정한 1 보다 작은 비율 이하가 되도록 설정하는 것을 특징으로 하는 계산기의 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  18. 촬상방향과 줌량이 제어 가능한 촬상장치를 구비한 물체추적장치물을 동작시켜 물체추적을 행하기 위하여 이하의 단계를 실행하는 계산기 판독 가능한 매체상에 실현된 계산기 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 있어서,
    상기 촬상장치로부터 얻어진 입력화상 내의 상기 물체의 화상의 특징량을 적어도 하나 검출하고, 상기 특징량은 상기 물체의 화상의 위치, 크기, 이동량의 적어도 어느 하나를 포함하는 단계와,
    상기 물체의 추적을 위하여 상기 검출된 특징량에 의거하여 상기 촬상장치를 제어하는 단계와,
    상기 검출된 특징량에 의거하여 상기 화상 내에 상기 물체의 화상을 포함하는 부분영역의 범위를 설정하는 단계와,
    상기 설정된 범위의 부분영역의 화상을 확대하는 단계를 실행하는 것을 특징으로 하는 계산기의 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  19. 제 18항에 있어서,
    상기 부분영역의 범위를 설정하는 단계는, 상기 물체의 화상의 위치에 의거하여 상기 부분영역의 범위의 위치를 설정하는 것 및 상기 물체의 화상의 크기에 의거하여 상기 부분영역의 범위의 크기를 설정하는 것을 포함하는 것을 특징으로 하는 계산기의 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  20. 제 18항에 있어서,
    상기 촬상장치를 제어하는 단계는, 검출된 상기 물체의 화상의 크기에 의거하여 상기 촬상장치의 촬상렌즈의 줌량의 상한을 설정하는 것을 포함하고, 상기 부분영역의 범위의 크기는, 상기 입력화상의 크기의 미리 설정한 1 보다 작은 비율 이하가 되도록 설정하는 것을 특징으로 하는 계산기의 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020040070323A 2003-09-05 2004-09-03 물체추적방법, 물체추적장치 및 물체추적을 행하기 위한 계산기의 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체 KR100676232B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2003314263 2003-09-05
JPJP-P-2003-00314263 2003-09-05

Publications (2)

Publication Number Publication Date
KR20050025063A KR20050025063A (ko) 2005-03-11
KR100676232B1 true KR100676232B1 (ko) 2007-01-30

Family

ID=34225164

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040070323A KR100676232B1 (ko) 2003-09-05 2004-09-03 물체추적방법, 물체추적장치 및 물체추적을 행하기 위한 계산기의 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체

Country Status (2)

Country Link
US (1) US20050052533A1 (ko)
KR (1) KR100676232B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020027647A1 (en) * 2018-07-31 2020-02-06 Kulim Technology Ideas Sdn Bhd Apparatus and method for imaging

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004015806A1 (de) * 2004-03-29 2005-10-27 Smiths Heimann Biometrics Gmbh Verfahren und Anordnung zur Aufnahme interessierender Bereiche von beweglichen Objekten
KR100807845B1 (ko) * 2006-03-29 2008-02-27 중앙대학교 산학협력단 게임 인터페이스를 위한 적외선 엘이디 추적시스템 및추적방법
CN101087405A (zh) * 2006-06-07 2007-12-12 鸿富锦精密工业（深圳）有限公司 动态监控系统及方法
JP2008035096A (ja) * 2006-07-27 2008-02-14 Sony Corp 監視装置、監視方法及びプログラム
JP5044321B2 (ja) * 2006-09-13 2012-10-10 株式会社リコー 撮像装置および被写体検出方法
WO2008114683A1 (ja) * 2007-03-16 2008-09-25 Nikon Corporation 被写体追跡用コンピュータプログラム製品、被写体追跡装置、およびカメラ
US7992850B2 (en) * 2007-03-29 2011-08-09 Caterpillar Inc. System and method for controlling electromagnet lift power for material handlers
FI120605B (fi) * 2008-02-28 2009-12-15 Elsi Technologies Oy Menetelmä ja järjestelmä tapahtumien havaitsemiseen
KR100879623B1 (ko) * 2008-07-05 2009-01-21 주식회사 일리시스 Ｐｔｚ 카메라를 이용한 자동화된 광역 감시 시스템 및 그방법
US8320662B2 (en) * 2009-01-07 2012-11-27 National Instruments Corporation Distinguishing colors of illuminated objects using machine vision
EP2740120A4 (en) 2011-08-05 2015-03-11 Fox Sports Productions Inc SELECTIVE CAPTURE AND PRESENTATION OF PARTS OF NATIVE IMAGES
US11039109B2 (en) 2011-08-05 2021-06-15 Fox Sports Productions, Llc System and method for adjusting an image for a vehicle mounted camera
US8854481B2 (en) * 2012-05-17 2014-10-07 Honeywell International Inc. Image stabilization devices, methods, and systems
US9939583B2 (en) * 2013-02-04 2018-04-10 Afl Telecommunications Llc Optical zooming system for fusion splicers
JP6373121B2 (ja) * 2014-08-20 2018-08-15 キヤノン株式会社 画像処理装置およびその制御方法
US11159854B2 (en) 2014-12-13 2021-10-26 Fox Sports Productions, Llc Systems and methods for tracking and tagging objects within a broadcast
US9288545B2 (en) 2014-12-13 2016-03-15 Fox Sports Productions, Inc. Systems and methods for tracking and tagging objects within a broadcast
US11758238B2 (en) 2014-12-13 2023-09-12 Fox Sports Productions, Llc Systems and methods for displaying wind characteristics and effects within a broadcast
KR102101438B1 (ko) * 2015-01-29 2020-04-20 한국전자통신연구원 연속 시점 전환 서비스에서 객체의 위치 및 크기를 유지하기 위한 다중 카메라 제어 장치 및 방법
JP6322603B2 (ja) * 2015-06-23 2018-05-09 東芝テック株式会社 画像処理装置および画像処理プログラムと、陳列状況判定装置
US10559177B2 (en) * 2016-08-04 2020-02-11 Dean Michael Feldman Area and property monitoring system and method
KR102634188B1 (ko) * 2016-11-30 2024-02-05 한화비전 주식회사 영상 감시 시스템
JP6910913B2 (ja) * 2017-09-29 2021-07-28 セコム株式会社 監視装置
CN111147763B (zh) * 2019-12-29 2022-03-01 眸芯科技（上海）有限公司 基于灰度值的图像处理方法及应用

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5631697A (en) * 1991-11-27 1997-05-20 Hitachi, Ltd. Video camera capable of automatic target tracking
US5905530A (en) * 1992-08-24 1999-05-18 Canon Kabushiki Kaisha Image pickup apparatus
US6088468A (en) * 1995-05-17 2000-07-11 Hitachi Denshi Kabushiki Kaisha Method and apparatus for sensing object located within visual field of imaging device
JP3279479B2 (ja) * 1996-05-31 2002-04-30 株式会社日立国際電気 映像監視方法及び装置
US6437819B1 (en) * 1999-06-25 2002-08-20 Rohan Christopher Loveland Automated video person tracking system
WO2001069930A1 (en) * 2000-03-10 2001-09-20 Sensormatic Electronics Corporation Method and apparatus for object surveillance with a movable camera
KR100792283B1 (ko) * 2001-08-07 2008-01-07 삼성전자주식회사 이동물체 자동 추적장치 및 방법
KR100470931B1 (ko) * 2001-12-05 2005-02-22 가부시키가이샤 히다치 고쿠사이 덴키 템플레이트 매칭을 이용한 물체추적방법 및 장치
JP3870124B2 (ja) * 2002-06-14 2007-01-17 キヤノン株式会社 画像処理装置及びその方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体
US8004565B2 (en) * 2003-06-19 2011-08-23 Nvidia Corporation System and method for using motion vectors for object tracking

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020027647A1 (en) * 2018-07-31 2020-02-06 Kulim Technology Ideas Sdn Bhd Apparatus and method for imaging

Also Published As

Publication number Publication date
US20050052533A1 (en) 2005-03-10
KR20050025063A (ko) 2005-03-11

Similar Documents

Publication Publication Date Title
KR100676232B1 (ko) 물체추적방법, 물체추적장치 및 물체추적을 행하기 위한 계산기의 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체
US7548269B2 (en) System for autofocusing a moving object
JP4699040B2 (ja) 自動追尾制御装置及び自動追尾制御方法、並びにプログラム、自動追尾システム
US5631697A (en) Video camera capable of automatic target tracking
US7561790B2 (en) Auto focus system
US7113616B2 (en) Object tracking method and apparatus using template matching
JP4745769B2 (ja) カメラ雲台装置
JP3279479B2 (ja) 映像監視方法及び装置
JP4140591B2 (ja) 撮像システム及び撮像方法
US8289402B2 (en) Image processing apparatus, image pickup apparatus and image processing method including image stabilization
US20050264679A1 (en) Autofocus system
US20090219415A1 (en) Imaging apparatus provided with panning mode for taking panned image
US20050185058A1 (en) Image stabilization system and method for a video camera
EP1703723A2 (en) Autofocus system
JP2006267221A (ja) オートフォーカスシステム
JP4866557B2 (ja) 映像信号処理装置、この映像信号処理装置を搭載した撮像装置及び映像信号処理方法並びに映像信号処理用プログラム
KR100623835B1 (ko) 물체 검출 방법 및 물체 검출 장치
JP2006058431A (ja) オートフォーカスシステム
JP4596246B2 (ja) オートフォーカスシステム
JP3560326B2 (ja) 物体追跡方法及び物体追跡装置
JP2006267220A (ja) オートフォーカスシステム
JP2019201387A (ja) 追尾制御装置
JP3828096B2 (ja) 物体追跡装置
JP3615867B2 (ja) 自動撮影カメラシステム
JP2005057743A (ja) 物体追尾方法及び物体追尾装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130111

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20140107

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20150105

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20160104

Year of fee payment: 10

LAPS Lapse due to unpaid annual fee