KR101971866B1 - 동화상에 있어서 물체를 검출하는 방법 및 장치, 및 그 프로그램을 기억한 기억 매체 - Google Patents

동화상에 있어서 물체를 검출하는 방법 및 장치, 및 그 프로그램을 기억한 기억 매체 Download PDF

Info

Publication number
KR101971866B1
KR101971866B1 KR1020160024845A KR20160024845A KR101971866B1 KR 101971866 B1 KR101971866 B1 KR 101971866B1 KR 1020160024845 A KR1020160024845 A KR 1020160024845A KR 20160024845 A KR20160024845 A KR 20160024845A KR 101971866 B1 KR101971866 B1 KR 101971866B1
Authority
KR
South Korea
Prior art keywords
image
tracking
area
unit
detection
Prior art date
Application number
KR1020160024845A
Other languages
English (en)
Other versions
KR20160106514A (ko
Inventor
코타로 야노
이치로 우메다
무링 구오
리펭 슈
Original Assignee
캐논 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 캐논 가부시끼가이샤 filed Critical 캐논 가부시끼가이샤
Publication of KR20160106514A publication Critical patent/KR20160106514A/ko
Application granted granted Critical
Publication of KR101971866B1 publication Critical patent/KR101971866B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G06K9/00771—
    • G06K9/00369—
    • G06K9/4642—
    • G06K9/6212—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

화상처리장치는, 동화상을 취득하는 취득부와, 상기 동화상중의 주목 화상 프레임으로부터 검출 대상 물체를 검출하는 검출부와, 상기 동화상중의 상기 주목 화상 프레임에 선행하는 화상 프레임에 있어서의 상기 검출 대상 물체의 검출 위치의 근방영역에서 추적 물체를 얻는 추적부와, 상기 검출부에 의해 상기 검출 대상 물체가 검출된 위치와 상기 추적부에 의해 상기 추적 물체가 얻어진 위치를 통합해서 상기 추적 물체가 상기 검출 대상 물체에 대응하는지 아닌지를 판정하는 판정부를 구비한다.

Description

동화상에 있어서 물체를 검출하는 방법 및 장치, 및 그 프로그램을 기억한 기억 매체{METHOD AND APPARATUS FOR DETECTING OBJECT IN MOVING IMAGE AND STORAGE MEDIUM STORING PROGRAM THEREOF}
본 발명은, 동화상에 있어서 소정의 물체를 검출하는 화상처리 방법 및 장치에 관한 것이다.
최근, 감시 카메라로 촬영한 영상을 해석하여, 감시 에어리어 내에 인물이 침입한 것인가 아닌가를 검출하고, 검출 결과를 보고하는 시스템이 제안되어 있다. 또한, 그 침입의 검출과 아울러, 화면에 표시된 인물을 추적해서 소정기간에 감시 에어리어를 통과한 인원을 꼽거나, 그 꼽아진 인원수로부터 혼잡 정도를 검출하는 시스템도 제안되어 있다.
이러한 어플리케이션을 실현하기 위해서는, 감시 카메라 영상으로부터 자동적으로 인물을 검출하여, 추적할 필요가 있다. 예를 들면, 화상으로부터 인물을 검출하는 방법은, Ｄａlａｌ ａｎｄ Ｔｒｉｇｇｓ. Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ ｆｏｒ Ｈｕｍａｎ Ｄｅｔｅｃｔｉｏｎ． ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ에 제안되어 있는 방법이 있다. 상기 제안된 방법은, 상기 화상으로부터 화소값의 경사방향의 히스토그램을 추출하고, 그것을 그 히스토그램을 특징량(ＨＯＧ특징량)으로서 사용하여서 화상중의 부분 영역이 인물인가 아닌가를 판정하는 것이다. 즉, 화소값의 경사의 방향에 해당한 특징량에 의해 인체의 윤곽을 표현하여, 인식에 이용하고 있다.
그렇지만, 이러한 인물검출 기술을 실제의 감시 카메라 영상에 적용하기 위해서는, 검출률의 향상이 필요하다. 일반적으로, 인물검출 기술로 대표되는 물체검출 기술에 있어서는, 검출률을 상승시키려고 한다면, 오검출(검출 대상이 아닌 물체를 오보로서 검출해버리는 것)이 보다 많이 일어나고, 실용상 이상적이지 않다. 따라서, 오검출을 억제하면서 검출률을 향상시키는 방법이 요구된다.
이러한 문제의 해결책으로서, 일단 검출한 인물을 후속하는 시계열 화상중에서 추적하고 병행하여 인물의 검출을 계속해서 행하여 외견상의 검출률을 향상시키는 방법이 생각될 수 있다. 도 2를 참조하여 이 방법을 설명한다. 도 2에서, 화상상의 실선으로 나타낸 직사각형은, 인물검출 결과를 나타내고, 점선으로 나타낸 직사각형은 추적 결과를 나타낸다. 도 2에 도시한 바와 같이, 시각t에서 검출한 결과는 시각t+1과 시각t+2의 화상에서 추적된다. 마찬가지로, 시각t+1에서 검출한 결과는 후속하는 시각t+2의 화상에서 추적되고, 또한, 인물은 시각t+2에서 검출된다. 이 예에서는, 검출기가 각 화상으로부터 5명중 2명만을 검출하지만, 그 검출 결과와 추적 결과를 통합함으로써 결과적으로 전원을 검출하고, 추적하고 있다.
이러한 검출과 추적 처리의 병용에 있어서, 일본 특허공개 2014-48702호 공보에서는, 이전의 프레임에서 물체가 검출된 윈도우를 추적 대상으로서 설정함과 아울러, 현재의 프레임을 분할하여서 얻어진 일부의 영역에서 물체를 탐색하여, 그 탐색에 의해 새롭게 물체가 검출된 윈도우를 그 추적 대상에 추가하도록 하고 있다.
물체 식별기를 사용해서 추적 대상을 처리한다. 추적 처리에 그 식별기를 사용하면, 일단 검출한 대상을 시야에서 놓치지 않고 확실하게 추적할 수 있다.
그렇지만, 일본 특허공개 2014-48702호 공보에 개시된 방법을 사용해서 인물의 추적을 행했을 때에도, 더욱 검출률을 상승시키고 싶다고 하는 요망이 있다. 예를 들면, 인물검출기에 있어서의 식별기의 역치를 변경하여 검출률을 향상시키는 것도 생각될 수 있다. 이 경우, 오검출의 수가 증가하고, 오검출된 대상을 계속해서 추적하는, 문제가 생긴다.
본 발명은, 영상으로부터 물체를 검출하고, 그 물체를 추적하는 고정밀 화상처리장치를 제공한다.
본 발명의 일 측면에 따른 화상처리장치는, 동화상을 취득하는 취득부; 상기 동화상중의 주목 화상 프레임으로부터 검출 대상 물체를 검출하는 검출부; 상기 동화상중의 상기 주목 화상 프레임에 선행하는 화상 프레임에 있어서의 상기 검출 대상 물체의 검출 위치의 근방영역에서 추적 물체를 얻는 추적부; 및 상기 검출부에 의해 상기 검출 대상 물체가 검출된 위치와 상기 추적부에 의해 상기 추적 물체가 얻어진 위치를 통합해서 상기 추적 물체가 상기 검출 대상 물체에 대응하는지 아닌지를 판정하는 판정부를 구비한다.
본 발명의 또 다른 특징들은, 첨부도면을 참조하여 이하의 실시예들의 설명으로부터 명백해질 것이다.
도 1은 제1의 실시예에 따른 화상인식 장치의 구성을 도시하는 도다.
도 2는 검출과 추적의 연계 처리를 설명하는 설명도다.
도 3은 제1의 실시예에 따른 처리 흐름도다.
도 4a, 4b 및 4c는 검출 결과의 예를 도시하는 도다.
도 5는 검출 결과 기억부에 있어서의 기억 형식의 예를 도시하는 도다.
도 6은 물체정보 기억부에 있어서의 기억 형식의 예를 도시하는 도다.
도 7은 초기 상태에서의 추적 결과 기억부에 있어서의 기억 형식의 예를 도시하는 도다.
도 8은 물체추적중의 추적 결과 기억부에 있어서의 기억 형식의 예를 도시하는 도다.
도 9는 추적 결과의 화상출력 예를 도시하는 도다.
도 10은 제2의 실시예에 따른 화상인식 장치의 구성을 도시하는 도면이다.
이하, 첨부 도면을 참조하여 본 발명의 실시예를 설명한다.
제1의 실시예
도 1은 제1의 실시예에 따른 화상인식 장치의 구성을 도시하는 도다. 도 1에 도시한 바와 같이, 본 실시예에 따른 화상인식 장치는, 화상취득부(100), 물체식별부(200), 물체검출부(300), 제1의 물체추적부(400), 제2의 물체추적부(500), 검출 결과 통합부(600), 추적 물체 판정부(700), 추적 결과 출력부(800), 검출 결과 기억부(910), 물체정보 기억부(920), 및 추적 결과 기억부(930)를 구비하고 있다.
화상취득부(100)는, 비디오카메라 등의 촬상부에서 촬상한 동화상으로부터 화상 프레임 데이터를 취득한다. 여기서 취득된 화상 프레임 데이터는 ＲＧＢ화상이다. 물체식별부(200)는, 화상취득부(100)로 취득한 화상 프레임 데이터(이하, 간단히 화상이라고도 칭한다)의 부분 영역이 검출 대상으로서 설정된 물체를 포함하는 우도를 산출해서 출력한다. 본 실시예에서는, 검출 대상을 인물로 한다. 즉, 물체식별부(200)가 출력하는 우도는 상기 부분 영역화상이 어느 정도 인물일 것 같은지를 나타내는 값이다.
물체검출부(300)는, 화상취득부(100)로 취득한 화상으로부터 부분 영역을 주사하고, 순차 설정한 부분 영역의 화상 데이터, 즉 부분 영역 화상에 대하여, 물체식별부(200)가 출력하는 우도에 근거하여 화상중의 물체 위치를 검출한다. 물체검출부(300)는 물체를 검출한 검출 위치 및 대응하는 부분 영역 화상을 출력한다. 본 실시예에 의하면, 물체검출부(300)는 화상중의 인물위치를 검출한다.
제1의 물체추적부(400)는, 화상취득부(100)로 취득한 화상중의 일부 영역으로부터 부분 영역을 주사하고, 순차로 설정한 부분 영역화상에 대하여 물체식별부(200)가 출력하는 우도에 근거하여 물체검출부(300)로 검출한 물체를 추적한다. 여기에서, 제1의 물체추적부(400)가 주사하는 일부 영역은, 화상취득부(100)가 이전의 시각에 취득한 화상중에서 물체검출부(300)가 물체를 검출하는 위치의 근방영역이다. 본 실시예에서는, 제1의 물체추적부(400)는 화상중의 인물위치를 추적한다.
제2의 물체추적부(500)는, 화상취득부(100)로 취득한 화상중의 일부 영역으로부터 부분 영역을 주사하고, 순차로 설정한 부분 영역 화상에 대하여 물체검출부(300)로 검출한 부분 영역화상을 사용해서 상기 물체를 추적한다. 여기서, 제2의 물체추적부(500)가 주사하는 일부 영역은 물체검출부(300)가 검출한 물체위치의 근방영역이다. 제2의 물체추적부(500)가 추적하여 출력하는 물체위치는, 물체검출부(300)가 검출한 물체의 검출 종료에서의 위치와 같다. 일반적으로, 물체검출은 시간이 걸리므로, 물체검출은, 프레임마다 전체 영역에 대해서 행해지지 않고, 프레임 중 1프레임에 대해서 수 프레임의 시간을 들여서 행해진다. 이 때문에, 검출 종료의 프레임은 검출 시작의 프레임과는 다르고, 제2의 물체추적부(500)에 의해 추적이 행해진다.
검출 결과 통합부(600)는, 물체검출부(300)로 검출한 물체와 제1의 물체추적부(400)로 추적한 물체를, 그 위치 정보에 근거해서 대응시킨다. 추적 물체 판정부(700)는, 제1의 물체추적부(400)가 추적한 물체의 물체식별부(200)가 출력한 우도에 근거하여 추적중의 물체가 검출 및 추적 대상으로서 설정된 물체인가 아닌가를 판정한다. 본 실시예에서는, 추적 물체 판정부(700)는 추적중의 물체가 인물인가 아닌가를 판정한다.
추적 결과 출력부(800)는, 추적 결과를 출력한다. 예를 들면, 인물이라고 판정한 부분 영역 화상을 나타내는 직사각형을 화상취득부(100)로 취득한 화상 데이터에 중첩하여 디스플레이에 표시한다. 검출 결과 기억부(910)는, 물체검출부(300)가 검출한 물체위치에 대응하는 부분 영역 화상을 검출 결과로서 기억한다.
물체정보 기억부(920)는, 제1의 물체추적부(400) 및 제2의 물체추적부(500)가 추적한 물체위치를 화상 데이터의 촬상 시각과 관련시켜서 물체정보로서 기억한다.
추적 결과 기억부(930)는, 제1의 물체추적부(400) 및 제2의 물체추적부(500)에 의한 추적의 결과를 기억한다. 그 추적 결과는, 추적 물체마다 다른 시각의 물체정보에 관련되고, 이 결과로부터, 물체의 이동 궤적을 재현할 수 있다.
이하, 본 실시예에 따른 동작을 도 3에 나타낸 처리 흐름도에 따라서 설명한다. 화상취득부(100)는 촬상한 화상 데이터를 취득한다. 취득한 화상 데이터는, 각각, 화상취득부(100)의 메모리에 기억된다(단계 S100). 물체검출부(300)는, 단계 S100에서 취득한 화상으로부터 부분 영역을 주사하고, 화상중의 물체 위치를 검출한다(단계 S200). 물체검출부(300)는 그 화상으로부터 잘라낸 부분 영역 화상에 대하여, 물체식별부(200)를 사용해서 상기 부분 영역 화상이 검출 대상으로서 설정된 물체를 포함하는 우도를 구한다. 그리고, 물체검출부(300)는, 우도가 소정의 역치보다 큰 부분 영역을 검출 대상 물체라고 판정하고, 그 위치를 출력한다. 물체검출부(300)에서 행한 검출 방법으로서는, 예를 들면, 전술한 Ｄａｌａｌ들의 논문에 기재되어 있는 방법을 이용할 수 있다. 이 방법에 의하면, 화상으로부터 소정의 크기 및 형상을 갖는 상기 부분 영역을 화상중에서 그 위치를 점차 어긋나게 하면서 주사하고, 잘라낸 부분 영역 화상에 대하여 ＨＯＧ특징량을 구하여 서포트 벡터 머신(ＳＶＭ)에 의해 인물을 검출한다.
여기에서, 그 ＳＶＭ의 출력이 우도와 같다. 화상중에서 다른 사이즈의 인물을 검출하기 위해서는, 사전에 화상을 소정의 배율(예를 들면, 0.8배나 그 제곱근에 해당한 0.82배)로 되도록 축소 처리를 행하고, 축소된 화상 각각에 대하여도 검출 처리를 행한다. 이하, 간략을 기하기 위해서, 하나의 사이즈에 대해서만 검출하는 경우를 일례로서 설명한다. 따라서, 여기에서 출력된 검출 결과는, 화상중의 수평 및 수직방향의 위치이며, 예를 들면, 부분 영역의 좌상단의 화상상에서의 좌표다.
단계 S210에 있어서, 화상으로부터 대상 물체(본 실시예에서는 인물)를 검출한 것인가 아닌가를 판단한다. 그 대상 물체를 검출하지 않은 경우는, 단계 S900에 처리를 옮긴다. 단계 S900에서는, 다음 시각(예를 들면, 0.03초후 등의 소정의 시간)에서의 화상을 처리하기 위해, 단계 S100에 처리를 옮긴다. 이때, 단계 S210에 있어서 "대상 물체를 검출하지 않은 경우는, 단계 S200에서의 검출 처리가 소정의 시간 내에 종료하지 않은 경우와 물체검출 처리를 행했지만 결과적으로 물체를 검출하지 않은 경우의 양쪽을 포함한다. 한편, 단계 S210에 있어서, 대상 물체를 검출한 경우는, 처리를 단계 S220에 옮긴다.
검출 결과 기억부(910)는, 물체검출부(300)가 검출한 물체위치와, 그 물체위치에 대응하는 부분 영역 화상을, 검출 결과로서 기억한다(단계 S220). 예를 들면, 도 4a에 도시한 바와 같이, 화상으로부터 2명을 검출한다. 이 경우, 도 4a에서 점P1 및 점P2의 수평 및 수직방향의 위치 좌표를 기억한다. 동시에, 도 4b 및 4c에 나타낸 것과 같은 부분 영역 화상의 화상 데이터를 기억한다. 이것들의 결과는, 각각, 식별 번호에 대응할 수 있다. 도 5는, 검출 결과 기억부(910)에 있어서의 기억 형식의 예를 도시한 도다. (x1, y1) 및 (x2, y2)은, 각각, 점P1 및 점P2의 수평 및 수직방향의 위치 좌표, {p11, p12,...,p1N} 및 {p21, p22,..., p2N}은, 각각, 부분 영역 화상의 화소값을 나타낸다. 그렇지만, 이때, N은 부분 영역 화상의 화소수다. 마찬가지로, 하나의 화상으로부터 Ｌ명을 검출했을 경우, 식별 번호 1∼L에 대하여 이것들의 결과를 기억하게 된다.
검출 결과 통합부(600)는, 물체검출부(300)로 검출한 검출 결과와 제1의 물체추적부(400)로 추적한 추적 결과를, 그 위치 정보에 근거해서 대응시킨다(단계 S230). 단계 S220에 있어서 기억된 각각의 검출 결과에 대한 위치 좌표는, 제1의 물체추적부(400)로 추적한 결과에 대한 위치 좌표와 비교되어, 그 위치 좌표가 서로 일치되는 것인가 아닌가를 판정한다. 그렇지만, 이때, 좌표값간의 차이가 소정의 범위내에 있을 경우도 위치 좌표가 서로 일치된다고 간주되어도 된다. 제1의 물체추적부(400)로 추적한 결과는 물체정보 기억부(920)에 기억되어 있다. 제1의 물체추적부(400)에 있어서의 추적 처리 및 추적 결과의 상세에 대해서는 후술한다.
단계 S240에 있어서, 물체검출부(300)로 검출한 모든 검출 결과에 대응하는 물체가 물체정보 기억부(920)에 이미 있을 경우에는, 단계 S900에 처리를 옮긴다. 단계 S900에서는, 다음 시각에서의 화상을 처리하기 위해, 단계 S100에 처리를 옮긴다. 한편, 단계 S240에 있어서, 물체검출부(300)로 검출한 검출 결과에 대응하는 물체가 물체정보 기억부(920)에 없는, 즉, 검출 결과가 신규의 물체를 포함하는 경우에는, 처리를 단계 S250에 옮긴다.
제2의 물체추적부(500)는, 단계 S100에서 취득한 화상중의 일부 영역으로부터 부분 영역을 주사하고, 순차로 설정된 부분 영역 화상에 대하여 단계 S200에서 물체검출부(300)가 검출한 부분 영역 화상을 사용해서 물체를 추적한다(단계 S250). 여기서, 제2의 물체추적부(500)가 추적한 대상은, 단계 S240에서 신규의 물체로서 판정된 물체이며, 검출 결과 기억부(910)에 기억된 물체위치의 근방영역을 주사한다. 주사하는 근방영역의 범위는, 화상을 취득하고 나서 물체검출 처리가 종료할 때까지 물체가 이동하는 범위를 커버하도록 촬영하는 씬에 따라서 미리 설정해둔다. 물체검출부(300)의 처리 시간이 처리하는 화상에 의존하므로, 처리 시간에 따라서 주사하는 근방영역의 범위를 적절하게 설정해도 된다.
제2의 물체추적부(500)는, 단계 S100에서 취득한 화상의 부분 영역 화상과 검출 결과 기억부(910)에 기억되어 있는 부분 영역 화상을 서로 대조하고, 화상간의 유사도가 가장 높은 물체위치를 추적 결과로서 출력한다. 화상간의 유사도는, 화상 데이터의 상관, 혹은, 차이의 절대치 합으로부터 구해져도 되거나, 각각의 화상으로부터 화상특징량을 추출하고, 그 화상특징량의 유사도를 구해져도 된다. 화상특징량으로서는, 예를 들면, ＨＯＧ특징량이나 색 히스토그램을 사용할 수 있다. 여기서 출력된 물체위치는, 물체검출부(300)가 검출한 물체의 검출 종료에서의 위치와 같고, 제2의 물체추적부(500)는 화상간의 유사도로부터 그 위치를 추정하고 있다.
제2의 물체추적부(500)로 추적한 결과는, 물체정보 기억부(920) 및 추적 결과 기억부(930)에 추가된다(단계 S260). 물체정보 기억부(920)에는, 제2의 물체추적부(500)가 추적한 물체위치가 화상 데이터의 촬상 시각과 관련되면서 물체정보로서 기억된다. 그 기억된 촬상 시각은, 실제의 촬상 시각이어도 되고, 그 촬상 시각에 대응한 프레임 번호이어도 된다. 이것들의 결과는 각각, 식별 번호에 대응될 수 있다. 물체정보 기억부(920)에 있어서의 기억 형식의 예를 도 6에 나타낸다. (x1, y1) 및 (x2, y2)는 각각, 추적한 물체의 위치 좌표를 나타내고, f1, f2는 각각, 추적한 화상의 프레임 번호를 나타낸다. 이것들 2개의 물체를 1개의 화상으로부터 추적했을 경우, f1, f2는 같은 번호다.
추적 결과 기억부(930)에는, 제2의 물체추적부(500)가 추적한 물체의, 물체정보 기억부(920)에 기억된 물체정보의 식별 번호가, 추적 대상마다 다른 시각간에 관련되도록 기억된다. 이것들의 결과는, 각각, 추적 결과의 식별 번호에 대응된다. 단계 S260에서는, 신규로 검출한 물체의 추적 결과를 처음에 기억하므로, 물체정보의 식별 번호는 1개다. 또한, 각각의 추적 결과에, 상태를 의미하는 식별자가 부여된다. 추적 결과 기억부(930)에 있어서의 기억 형식의 예를 도 7에 나타낸다.
도 7의 예는, 물체검출부(300)로 2개의 물체를 검출하고, 신규로 검출한 물체로서 제2의 물체추적부(500)로 각각 추적하여 얻어진 결과에 관한 것이다. ＩＤ1, ＩＤ2는 각각, 추적 결과의 식별 번호에 대응하는 물체정보 기억부(920)에 기억된 물체정보의 식별 번호를 나타낸다. ' ｄｅｔｅｃｔ'은 "물체가 신규로 검출되었다"라고 하는 상태를 나타낸다. 본 실시예에서는 추적 결과의 상태를 의미하는 식별자로서, 'ｄｅｔｅｃｔ', 'ｔｒａｃｋ' 및 'ｒｅｃｏｇｎｉｚｅ'의 3개의 상태를 사용한다. 'ｔｒａｃｋ', 'ｒｅｃｏｇｎｉｚｅ'은 각각, "추적중", "대상 물체로서 인식"의 상태를 나타낸다. 상태 갱신의 상세에 대해서는 후술한다.
단계 S900에서는, 다음 시각에서의 화상을 취득하기 위해, 단계 S100에 처리를 옮긴다. 본 실시예에서는, 단계 S100에서 취득한 화상으로부터 그 검출된 물체를 추적하는 처리를, 단계 S200∼S260에서의 처리와 병행하여 행한다. 단계 S300에 있어서, 물체정보 기억부(920)에 기억되어 있는 물체정보를 참조하여, 이전의 시각의 화상에 추적 대상으로서 설정된 물체가 있는 것인가 아닌가를 검색한다. 예를 들면, 시각t의 화상을 취득했을 경우는, 시각t-1에 해당하는 프레임 번호의 물체정보가 있는 것인가 아닌가를 조사한다. 추적 대상으로서 설정된 물체가 없을 경우에는, 단계 S900에 처리를 옮긴다. 단계 S900에서는 다음 시각에서의 화상을 취득하기 위해, 단계 S100에 처리를 옮긴다. 한편, 추적 대상으로서 설정된 물체가 있을 경우에는, 관련되는 물체정보의 식별 번호를 취득하고, 처리를 단계 S400에 옮긴다.
제1의 물체추적부(400)는, 단계 S100에서 취득한 화상중의 일부 영역으로부터 부분 영역을 주사하고, 순차로 설정한 부분 영역 화상에 대하여 물체식별부(200)가 출력하는 우도에 근거하여 그 물체를 추적한다(단계 S400). 여기에서 제1의 물체추적부(400)가 추적하는 물체는 물체정보 기억부(920)에 기억되어 있는 물체이며, 물체정보 기억부(920)에 기억되어 있는 물체위치의 근방영역을 주사한다. 주사하는 근방영역의 범위는 전후 프레임의 화상 취득 기간에 물체가 이동하는 범위를 커버하도록, 촬영하는 씬에 따라서 사전에 설정해 둔다. 따라서, 제1의 물체추적부(400)는 제2의 물체추적부(500)가 주사하는 범위보다 좁은 범위를 주사한다. 제1의 물체추적부(400)는, 단계 S100에서 취득한 화상의 부분 영역 화상에 대하여 물체식별부(200)를 사용해서 부분 영역 화상이 검출 대상으로서 설정된 물체를 포함하는 우도를 구한다. 그리고, 주사한 근방영역에서 우도가 가장 높은 물체위치를 추적 결과로서 출력한다. 단계 S300에서 취득한 물체정보의 수만큼 단계 S400의 처리를 반복한다.
제1의 물체추적부(400)로 추적한 결과는, 물체정보 기억부(920) 및 추적 결과 기억부(930)에 추가된다(단계 S410). 물체정보 기억부(920)에는, 제1의 물체추적부(400)가, 추적한 물체위치가 화상 데이터의 촬상 시각과 관련되면서 물체정보로서 기억된다. 물체정보는, 도 6에 도시된 것과 같은 형식으로 기억된다. 추적 결과 기억부(930)에는, 제1의 물체추적부(400)가 추적한 물체의 물체정보 기억부(920)에 기억된 물체정보의 식별 번호가, 추적 대상마다 다른 시각간에 관련되면서 기억된다. 이것들의 결과는, 각각, 추적 결과의 식별 번호에 대응된다.
단계 S300에서 취득한 물체정보의 식별 번호를 추적 결과 기억부(930)로부터 검색하고, 일치된 식별 번호를 유지하는 검출 결과에 제1의 물체추적부(400)가 추적한 물체식별 번호를 추가한다. 또한, 추적 결과의 상태는 'ｔｒａｃｋ'으로 갱신된다. 이때의 추적 결과 기억부(930)에 기억된 추적 결과의 예를 도 8에 도시한 것이다. {ＩＤ11,ＩＤ12} 및 {ＩＤ21,ＩＤ22}는, 각각, 추적 결과의 식별 번호에 대응하는 물체정보 기억부(920)에 기억된 물체정보의 식별 번호를 나타낸다. 'ｔｒａｃｋ'은 "추적중"의 상태를 나타낸다. 이 예에서는, 이전의 시각에 제2의 물체추적부(500)로 추적을 시작한 식별 번호ＩＤ11 및 ＩＤ21의 물체는, 제1의 물체추적부(400)로 추적한 식별 번호ＩＤ12 및 ＩＤ22의 물체에 관련되어 있다. 예를 들면, N프레임 동안에, 물체를 추적했을 경우는, 물체정보의 식별 번호가 N개 나란히 검출 결과에 기억된다. 단계 S300에서 취득한 물체정보의 수만큼 단계 S410의 처리를 반복한다.
추적 물체 판정부(700)는, 제1의 물체추적부(400)가 추적한 물체의 물체식별부(200)가 출력한 우도에 근거하여 추적중의 물체가 검출 및 추적 대상으로서 설정된 물체인가 아닌가를 판정한다(단계 S420). 단계 S400에서 얻은 각각의 추적 결과의 물체식별부(200)가 출력한 우도가 소정의 역치보다 큰 것인가 아닌가를 판정하여, 그 우도가 소정값보다 큰 경우는 추적중의 물체를 대상 물체로서 확정한다. 이때, 추적 결과의 상태는, 'ｒｅｃｏｇｎｉｚｅ'로 갱신된다. 본 실시예에서는, 단계 S200에 있어서의 물체검출부(300)에서 사용한 역치로서 검출률을 향상시키기 위해서 비교적 작은 값을 설정하고 있다. 즉, 물체검출부(300)로 검출한 물체는 추적 물체로서 설정된 물체로서 미확정된 상태에 있고, 추적 물체 판정부(700)로 추적 물체로서 확정되는 후보다. 한편, 단계 S420에 있어서의 추적 물체 판정부(700)에서 사용한 역치로서, 오검출을 억제하기 위해서 단계 S200에서의 값보다 큰 값을 설정한다.
또한, 본 실시예에서는, 추적중의 물체의 우도가 소정값보다 클 경우에 대상 물체로서 물체가 확정하지만, 시각이 다른 추적중의 물체의 복수의 우도로부터 통계량을 구하여서, 그 물체를 대상 물체로서 확정하여도 된다. 예를 들면, 우도가 소정값보다 큰 값을 취하는 도수(frequency), 또는, 상대 도수(우도가 소정값보다 큰 값을 취하는 도수와 통계 대상으로서의 전체 도수와의 비율)를 통계량으로서 설정한다. 상술한 것처럼 복수의 우도로부터 통계량을 구해서 판정을 행하면, 판정 결과의 정밀도를 높이고, 보다 신뢰성이 높은 결과를 얻을 수 있다. 통계량을 구해서 판정 처리를 행하기 위해서는, 단계 S200의 물체검출 처리로 얻은 우도와, 단계 S400의 물체추적 처리로 얻은 우도를, 각각, 검출 결과 기억부(910) 및 물체정보 기억부(920)에 물체위치와 함께 기억한다. 단계 S300에서 취득한 물체정보의 수만큼 단계 S420의 처리를 반복한다.
추적 결과 출력부(800)는, 단계 S420에서 대상 물체로서 확정된 추적 결과를 출력한다(단계 S430). 도 9는 화상출력 예를 도시한 도다. 도 9에서는, 대상 물체(본 실시예에서는, 인물)로서 확정된 부분 영역을 직사각형으로 나타내고, 물체를 추적한 궤적을 점선으로 나타낸다. 추적 결과 기억부(930)에 기억되어 있는 추적 결과 중, 'ｒｅｃｏｇｎｉｚｅ' 상태에서의 결과를 추출하고, 그 물체정보 식별 번호로부터 물체정보 기억부(920)에 기억되어 있는 물체정보의 위치 좌표를 취득하여, 그 직사각형 및 궤적을 그린다. 그 궤적은, 부분 영역의 중심위치를 지난 시각에 걸쳐 서로 연결하여서 얻어진다. 단계 S900에서는, 다음 시각에서의 화상을 취득하기 위해, 단계 S100에 처리를 옮긴다.
상술한 바와 같이, 제1의 실시예에서는, 일단 검출한 인물을 후속하는 시계열 화상중에서 추적하면서, 병행하여 인물의 검출을 계속하였다. 그리고, 제1의 물체추적부(400)는 물체식별부(200)를 사용해서 인물을 추적하고, 취득한 화상마다 추적 물체 판정부(700)에서 물체식별부(200)가 출력한 우도에 근거하여 추적 대상이 인물인가 아닌가를 판정하였다. 이 결과, 검출 처리보다도 고빈도로, 또, 엄격한 역치에서 추적 대상이 인물인가 아닌가를 판정할 수 있으므로, 오검출을 억제하면서, 검출률을 향상시킬 수 있다.
또한, 물체검출부(300)에서 사용된 역치로서 추적 물체 판정부(700)에서 사용한 역치보다도 작은 값을 설정하고, 보다 많은 추적 대상의 후보를 준비하고, 그 검출률을 향상시킬 수 있다. 또한, 상기 실시예에서는, 제2의 물체추적부(500)가 물체검출부(300)에 의해 신규로 검출한 물체를 추적하고, 검출 처리 종료에서의 위치를 추정하였다. 이 결과, 검출 처리에 시간이 걸리고 상기 물체가 크게 이동하는 경우라도, 정확하게 물체를 추적할 수 있다.
제2의 실시예
한편, 검출 처리가 고속으로 실행될 수 있거나, 검출 대상으로서 설정된 물체의 이동 속도가 비교적 느릴 경우에는, 검출한 물체가 검출중에 이동한 후의 위치를 추정할 필요가 없으므로, 제2의 물체추적부(500)를 생략하여서 보다 간단한 구성을 채택할 수 있다. 도 10은 그 구성을 도시한 도다. 도 10에서, 도 1과 동일한 참조기호의 구성 요소는 동등한 기능을 가진다. 그 동작은 도 3에 도시된 처리 플로우에 준하지만, 제2의 물체추적부(500)에 의한 물체추적 처리 단계 S250은 포함하지 않는다.
이상의 실시예에서는, 화상 전체로부터 부분 영역을 주사해서 검출 처리를 행하는 것을 전제로서 설명했지만, 주사 영역은 화상의 일부 영역이어도 된다. 화상으로부터 인물이 출현할 가능성이 있는 영역, 예를 들면, 화상 끝이나 촬영 씬중의 인물의 출입구에 해당하는 영역에 한정될 수 있다.
또한, 이상의 실시예에서는, 화상중에 출현하는 소정의 사이즈의 인물을 검출하는 것을 전제로서 설명했지만, 다른 사이즈의 인물을 검출해도 된다. 이 경우, 검출 결과나 물체정보에 위치 좌표뿐만 아니라 사이즈도 기억해도 된다.
또한, 인물의 검출 정밀도를 향상시키기 위해서, 물체식별부(200)에 복수의 인물 모델을 구비하는 구성을 채용할 수 있다. 예를 들면, 정면, 배면, 좌측면, 우측면의 4개의 인물 모델을 따로따로 구비하고, 각각의 우도를 구한다. 그리고, 물체검출부(300)는 가장 우도가 높은 결과로부터 검출 처리를 행한다. 제1의 물체추적부(400)에 있어서는 물체검출부(300)로 검출한 물체에 대응하는 모델에 따라서 물체식별부(200)의 모델을 선택함으로써 효율적으로 물체의 추적을 행할 수 있다. 예를 들면, 물체검출부(300)가 정면 모델에서 인물을 검출했을 경우는, 정면, 좌측면, 우측면을 포함하는 3개의 인물 모델에 한정해서 물체추적 처리를 행한다.
이상, 화상으로부터 인물을 검출한 경우에 본 발명의 실시예를 적용하는 예에 대해서 설명했지만, 인물이외의 물체를 검출 대상으로서 설정한 경우에도 본 발명의 실시예는 널리 적용가능하다.
이상 설명한 실시예에 의하면, 물체식별부가 출력한 우도에 근거하여 추적중의 물체가 검출 대상으로서 설정된 물체인가 아닌가를 판정하였다. 따라서, 가령 검출기가 오검출하는 경우에도, 그 대상을 추적하면서 그 물체가 인물인가 아닌가를 판정하므로, 정밀하게 인물을 검출하고, 추적할 수 있다.
기타 실시예
또한, 본 발명의 실시예들은, 기억매체(예를 들면, 비일시적 컴퓨터 판독 가능한 기억매체)에 레코딩된 컴퓨터 실행가능한 명령어를 판독하고 실행하여 본 발명의 상술한 실시예(들)의 하나 이상의 기능을 수행하는 시스템 또는 장치를 갖는 컴퓨터에 의해 실현되고, 또 예를 들면 상기 기억매체로부터 상기 컴퓨터 실행가능한 명령어를 판독하고 실행하여 상기 실시예(들)의 하나 이상의 기능을 수행하여서 상기 시스템 또는 상기 장치를 갖는 상기 컴퓨터에 의해 행해진 방법에 의해 실현될 수 있다. 상기 컴퓨터는, 중앙처리장치(CPU), 마이크로처리장치(MPU) 또는 기타 회로소자 중 하나 이상을 구비하여도 되고, 별개의 컴퓨터나 별개의 컴퓨터 프로세서의 네트워크를 구비하여도 된다. 상기 컴퓨터 실행가능한 명령어를, 예를 들면 네트워크나 상기 기억매체로부터 상기 컴퓨터에 제공하여도 된다. 상기 기억매체는, 예를 들면, 하드 디스크, 랜덤액세스 메모리(RAM), 판독전용 메모리(ROM), 분산형 컴퓨팅 시스템의 스토리지, 광디스크(콤팩트 디스크(CD), 디지털 다기능 디스크(DVD) 또는 블루레이 디스크(BD)TM등), 플래시 메모리 소자, 메모리 카드 등 중 하나 이상을 구비하여도 된다.
본 발명을 실시예들을 참조하여 기재하였지만, 본 발명은 상기 개시된 실시예들에 한정되지 않는다는 것을 알 것이다. 아래의 청구항의 범위는, 모든 변형예와, 동등한 구조 및 기능을 포함하도록 폭 넓게 해석해야 한다.

Claims (17)

  1. 동화상을 취득하는 취득부;
    대상물체의 영역이 제1의 역치를 갖는 대상 물체를 포함하는 우도를 평가함으로써 상기 동화상중의 주목 화상 프레임으로부터 상기 대상 물체의 영역을 검출하도록 구성된 검출부;
    상기 동화상중의 상기 주목 화상 프레임에 선행하는 화상 프레임에 있어서의 검출된 상기 대상 물체의 미리 검출된 영역의 근방영역에서 상기 주목 화상 프레임으로부터 상기 대상 물체의 상기 미리 검출된 영역에 대응하는 추적 물체의 영역을 얻도록 구성된 추적부; 및
    상기 추적 물체의 영역이 상기 제1의 역치보다도 큰 제2의 역치를 갖는 상기 대상 물체를 포함하는 우도를 평가함으로써 상기 추적 물체의 영역이 상기 대상 물체를 포함하는 것을 확정하도록 구성된 확정부를 구비한, 화상처리장치.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제 1 항에 있어서,
    상기 확정부는, 상기 우도가 제1의 역치보다도 클 경우에, 상기 추적 물체의 영역이 상기 대상 물체를 포함하는 것을 확정하는, 화상처리장치.
  6. 제 1 항에 있어서,
    상기 확정부는, 상기 추적 물체에 대해서 시각이 다른 복수의 우도로부터 통계량을 구하고, 상기 통계량에 근거하여 상기 추적 물체의 영역이 상기 대상 물체를 포함하는 것을 확정하는, 화상처리장치.
  7. 제 6 항에 있어서,
    상기 통계량은, 상기 복수의 우도가 제1의 역치보다도 큰 값을 취하는 도수, 또는 상대 도수인, 화상처리장치.
  8. 제 5 항에 있어서,
    상기 검출부는, 상기 우도가 제2의 역치보다도 클 경우에 상기 대상 물체의 영역을 검출하는, 화상처리장치.
  9. 제 8 항에 있어서,
    상기 제2의 역치는 상기 제1의 역치보다도 작은, 화상처리장치.
  10. 제 1 항에 있어서,
    상기 검출부는, 상기 주목 화상 프레임에 복수의 부분 영역을 설정하고, 부분 영역마다 상기 우도를 평가하는, 화상처리장치.
  11. 제 1 항에 있어서,
    상기 검출된 상기 대상 물체의 영역에 대응하는 상기 검출의 종료에서의 상기 대상 물체의 영역을 추정하도록 구성된 또 다른 추적부를 더 구비한, 화상처리장치.
  12. 제 11 항에 있어서,
    상기 또 다른 추적부는 상기 동화상중의 화상 프레임의 일부 영역을 주사해서 상기 검출의 종료에서의 상기 대상 물체의 영역을 얻고, 상기 주사의 범위는 상기 추적부의 주사 범위보다도 넓은, 화상처리장치.
  13. 제 1 항에 있어서,
    상기 검출부는, 상기 동화상중의 일부의 화상 프레임에 대하여 검출을 행하는, 화상처리장치.
  14. 제 13 항에 있어서,
    상기 검출부는, 상기 동화상중의 소정수 걸러의 화상 프레임에 대하여 검출을 행하는, 화상처리장치.
  15. 동화상을 취득하는 단계;
    대상물체의 영역이 제1의 역치를 갖는 대상 물체를 포함하는 우도를 평가함으로써 상기 동화상중의 주목 화상 프레임으로부터 상기 대상 물체의 영역을 검출하는 단계;
    상기 동화상중의 상기 주목 화상 프레임에 선행하는 화상 프레임에 있어서의 검출된 상기 대상 물체의 미리 검출된 영역의 근방영역에서 상기 주목 화상 프레임으로부터 상기 대상 물체의 상기 미리 검출된 영역에 대응하는 추적 물체의 영역을 얻는 단계; 및
    상기 추적 물체의 영역이 상기 제1의 역치보다도 큰 제2의 역치를 갖는 상기 대상 물체를 포함하는 우도를 평가함으로써 상기 추적 물체의 영역이 상기 대상 물체를 포함하는 것을 확정하는 단계를 포함하는, 화상처리방법.
  16. 삭제
  17. 컴퓨터에,
    동화상을 취득하는 단계;
    대상물체의 영역이 제1의 역치를 갖는 대상 물체를 포함하는 우도를 평가함으로써 상기 동화상중의 주목 화상 프레임으로부터 상기 대상 물체의 영역을 검출하는 단계;
    상기 동화상중의 상기 주목 화상 프레임에 선행하는 화상 프레임에 있어서의 검출된 상기 대상 물체의 미리 검출된 영역의 근방영역에서 상기 주목 화상 프레임으로부터 상기 대상 물체의 상기 미리 검출된 영역에 대응하는 추적 물체의 영역을 얻는 단계; 및
    상기 추적 물체의 영역이 상기 제1의 역치보다도 큰 제2의 역치를 갖는 상기 대상 물체를 포함하는 우도를 평가함으로써 상기 추적 물체의 영역이 상기 대상 물체를 포함하는 것을 확정하는 단계를 포함하는 화상처리방법을 실행시키는 컴퓨터 판독 가능한 프로그램을 기억하는, 기억 매체.
KR1020160024845A 2015-03-02 2016-03-02 동화상에 있어서 물체를 검출하는 방법 및 장치, 및 그 프로그램을 기억한 기억 매체 KR101971866B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2015-040748 2015-03-02
JP2015040748A JP6655878B2 (ja) 2015-03-02 2015-03-02 画像認識方法及び装置、プログラム

Publications (2)

Publication Number Publication Date
KR20160106514A KR20160106514A (ko) 2016-09-12
KR101971866B1 true KR101971866B1 (ko) 2019-04-24

Family

ID=55588047

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160024845A KR101971866B1 (ko) 2015-03-02 2016-03-02 동화상에 있어서 물체를 검출하는 방법 및 장치, 및 그 프로그램을 기억한 기억 매체

Country Status (5)

Country Link
US (1) US10417773B2 (ko)
EP (1) EP3065082A1 (ko)
JP (1) JP6655878B2 (ko)
KR (1) KR101971866B1 (ko)
CN (1) CN105938622B (ko)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5999394B2 (ja) * 2015-02-20 2016-09-28 パナソニックＩｐマネジメント株式会社 追跡支援装置、追跡支援システムおよび追跡支援方法
US20170054982A1 (en) * 2015-08-19 2017-02-23 Hitachi, Ltd. Real time video stream processing systems and methods thereof
CN105957110B (zh) * 2016-06-29 2018-04-13 上海小蚁科技有限公司 用于检测对象的设备和方法
CN106504270B (zh) 2016-11-08 2019-12-20 浙江大华技术股份有限公司 一种视频中目标物体的展示方法及装置
US11164006B2 (en) * 2017-03-30 2021-11-02 Nec Corporation Information processing apparatus, control method, and program
JP6914699B2 (ja) * 2017-04-04 2021-08-04 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US10839552B2 (en) * 2017-06-01 2020-11-17 Nec Corporation Image processing apparatus, tracking method, and program
US10395385B2 (en) * 2017-06-27 2019-08-27 Qualcomm Incorporated Using object re-identification in video surveillance
JP2019020360A (ja) * 2017-07-21 2019-02-07 日本電信電話株式会社 物体認識装置、物体認識方法、及びプログラム
CN107742303B (zh) * 2017-09-29 2021-05-25 南京阿凡达机器人科技有限公司 一种基于机器人的目标图像显示处理方法及系统
CN107820010B (zh) * 2017-11-17 2020-11-06 英业达科技有限公司 摄影计数装置
JP7208713B2 (ja) * 2018-02-13 2023-01-19 キヤノン株式会社 画像解析装置および画像解析方法
JP6977624B2 (ja) 2018-03-07 2021-12-08 オムロン株式会社 物体検出装置、物体検出方法、およびプログラム
US11494922B2 (en) 2018-03-23 2022-11-08 Nec Corporation Object tracking device, object tracking method, and object tracking program
US10593049B2 (en) * 2018-05-30 2020-03-17 Chiral Software, Inc. System and method for real-time detection of objects in motion
CN108898086B (zh) * 2018-06-20 2023-05-26 腾讯科技（深圳）有限公司 视频图像处理方法及装置、计算机可读介质和电子设备
TWI692731B (zh) * 2019-01-02 2020-05-01 瑞昱半導體股份有限公司 物件位置判斷電路
CN111416916B (zh) * 2019-01-04 2022-07-26 瑞昱半导体股份有限公司 物件位置判断电路
JP6579727B1 (ja) * 2019-02-04 2019-09-25 株式会社Ｑｏｎｃｅｐｔ 動体検出装置、動体検出方法、動体検出プログラム
JP7196999B2 (ja) 2019-04-17 2022-12-27 日本電気株式会社 オブジェクト検出・追跡装置、方法、およびプログラム
JP6785437B2 (ja) * 2019-09-19 2020-11-18 パナソニックＩｐマネジメント株式会社 人物行動監視装置および人物行動監視システム
JP7360303B2 (ja) * 2019-11-08 2023-10-12 株式会社デンソーテン 画像処理装置および画像処理方法
CN112614156A (zh) * 2020-12-16 2021-04-06 深圳市安软科技股份有限公司 一种多目标跟踪网络模型的训练方法、装置及相关设备
JP7494130B2 (ja) * 2021-01-19 2024-06-03 株式会社東芝 情報処理システム、情報処理方法およびプログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130136303A1 (en) * 2011-11-30 2013-05-30 Canon Kabushiki Kaisha Object detection apparatus, method for controlling the object detection apparatus, and storage medium

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7110569B2 (en) * 2001-09-27 2006-09-19 Koninklijke Philips Electronics N.V. Video based detection of fall-down and other events
KR20080073933A (ko) * 2007-02-07 2008-08-12 삼성전자주식회사 객체 트래킹 방법 및 장치, 그리고 객체 포즈 정보 산출방법 및 장치
JP4458173B2 (ja) * 2008-03-19 2010-04-28 カシオ計算機株式会社 画像記録方法、画像記録装置、およびプログラム
JP5361524B2 (ja) 2009-05-11 2013-12-04 キヤノン株式会社 パターン認識システム及びパターン認識方法
JP5656567B2 (ja) 2010-11-05 2015-01-21 キヤノン株式会社 映像処理装置および方法
JP5498454B2 (ja) * 2011-09-15 2014-05-21 株式会社東芝 追跡装置、追跡方法およびプログラム
WO2013128839A1 (ja) * 2012-03-02 2013-09-06 日本電気株式会社 画像認識システム、画像認識方法およびコンピュータ・プログラム
JP2014048702A (ja) 2012-08-29 2014-03-17 Honda Elesys Co Ltd 画像認識装置、画像認識方法、及び画像認識プログラム
US9852511B2 (en) * 2013-01-22 2017-12-26 Qualcomm Incoporated Systems and methods for tracking and detecting a target object
CN103106667B (zh) 2013-02-01 2016-01-20 山东科技大学 一种面向遮挡和场景变换的运动对象追踪方法
US9589595B2 (en) * 2013-12-20 2017-03-07 Qualcomm Incorporated Selection and tracking of objects for display partitioning and clustering of video frames
US9489598B2 (en) * 2014-08-26 2016-11-08 Qualcomm Incorporated Systems and methods for object classification, object detection and memory management
US9811732B2 (en) * 2015-03-12 2017-11-07 Qualcomm Incorporated Systems and methods for object tracking

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130136303A1 (en) * 2011-11-30 2013-05-30 Canon Kabushiki Kaisha Object detection apparatus, method for controlling the object detection apparatus, and storage medium

Also Published As

Publication number Publication date
KR20160106514A (ko) 2016-09-12
US10417773B2 (en) 2019-09-17
JP6655878B2 (ja) 2020-03-04
CN105938622A (zh) 2016-09-14
CN105938622B (zh) 2020-06-30
JP2016162232A (ja) 2016-09-05
EP3065082A1 (en) 2016-09-07
US20160260226A1 (en) 2016-09-08

Similar Documents

Publication Publication Date Title
KR101971866B1 (ko) 동화상에 있어서 물체를 검출하는 방법 및 장치, 및 그 프로그램을 기억한 기억 매체
US10079974B2 (en) Image processing apparatus, method, and medium for extracting feature amount of image
US7783118B2 (en) Method and apparatus for determining motion in images
US9619708B2 (en) Method of detecting a main subject in an image
JP4373840B2 (ja) 動物体追跡方法、動物体追跡プログラムおよびその記録媒体、ならびに、動物体追跡装置
US9311524B2 (en) Image processing apparatus and image processing method
EP3163509A1 (en) Method for region extraction, method for model training, and devices thereof
JP6555906B2 (ja) 情報処理装置、情報処理方法、およびプログラム
US10181075B2 (en) Image analyzing apparatus,image analyzing, and storage medium
CN105095853B (zh) 图像处理装置及图像处理方法
KR20040059313A (ko) 치아영상으로부터 치아영역 추출방법 및 치아영상을이용한 신원확인방법 및 장치
JP2016095808A (ja) 物体検出装置、物体検出方法、画像認識装置及びコンピュータプログラム
JP2021082316A5 (ko)
US11386576B2 (en) Image processing apparatus, method of tracking a target object, and storage medium
US10762372B2 (en) Image processing apparatus and control method therefor
US9947106B2 (en) Method and electronic device for object tracking in a light-field capture
JP2008035301A (ja) 移動体追跡装置
KR100853267B1 (ko) 스테레오 시각 정보를 이용한 복수 인물 추적 방법 및 그시스템
JP2019075051A (ja) 画像処理装置
JP4812743B2 (ja) 顔認識装置、顔認識方法、顔認識プログラムおよびそのプログラムを記録した記録媒体
Ben Shitrit et al. Tracking multiple players using a single camera
US20230410467A1 (en) Image processing device and image processing method
Khatri Intelligent video surveillance using soft biometrics
JPH0312788A (ja) 移動体検出装置

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20160302

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20170901

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20160302

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20180719

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20190118

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20190418

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20190419

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20220324

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20230323

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20240401

Start annual number: 6

End annual number: 6