KR20190038409A - 동체 추적 장치, 동체 추적 방법, 동체 추적 프로그램 - Google Patents

동체 추적 장치, 동체 추적 방법, 동체 추적 프로그램 Download PDF

Info

Publication number
KR20190038409A
KR20190038409A KR1020180115747A KR20180115747A KR20190038409A KR 20190038409 A KR20190038409 A KR 20190038409A KR 1020180115747 A KR1020180115747 A KR 1020180115747A KR 20180115747 A KR20180115747 A KR 20180115747A KR 20190038409 A KR20190038409 A KR 20190038409A
Authority
KR
South Korea
Prior art keywords
candidate
image frame
position information
tracking
unit
Prior art date
Application number
KR1020180115747A
Other languages
English (en)
Other versions
KR102078473B1 (ko
Inventor
겐이치 하야시
?스케 남부
Original Assignee
컨셉 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 컨셉 주식회사 filed Critical 컨셉 주식회사
Publication of KR20190038409A publication Critical patent/KR20190038409A/ko
Application granted granted Critical
Publication of KR102078473B1 publication Critical patent/KR102078473B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image
    • G06T2207/30224—Ball; Puck

Abstract

[과제]
화상 데이터를 사용한 동체의 추적으로서, 목적으로 하는 동체에 외관적인 눈에 띄는 특징이 적고, 또, 프레임 화상 중에 목적으로 하는 동체와 동일한 화상이 복수 존재하는 경우여도, 고정밀도로 동체를 추적한다.
[해결 수단]
주어진 환경 (예를 들어, 탁구) 에 있어서의 운동 모델 (예를 들어, 볼의 움직임은 운동 법칙에 따르고, 볼은 탁구대보다 위에 위치하는 경우가 많은 등) 을 화상 데이터로부터 평가하여, 목적으로 하는 동체에 외관적인 눈에 띄는 특징이 적고, 또 프레임 화상 중에 목적으로 하는 동체와 동일한 화상이 복수 존재하는 경우여도, 고정밀도로 동체를 추적한다.

Description

동체 추적 장치, 동체 추적 방법, 동체 추적 프로그램{Moving Body Tracking Device, Moving Body Tracking Method, and Moving Body Tracking Program}
본 발명은, 동체 추적 장치, 동체 추적 방법, 동체 추적 프로그램에 관한 것이다.
최근, 동영상의 촬상 기술의 진보에 의해, 일상의 여러 가지 장면에 있어서 간편하게 화상 (특히 동영상) 의 촬상이 가능하게 되었다. 이로써 촬상한 화상 (특히 동영상) 으로부터 화상 해석 기술에 의해 물체의 움직임을 추적하는 장치가 요구되고, 발명되어 왔다. 종래 알려져 있는 화상을 사용하여 동체를 추적하는 발명으로서, 예를 들어, 특허문헌 1 에는, 색의 움직임 정도를 평가함으로써 동체를 검출하고, 추적하는 장치가 기재되어 있다.
또, 특허문헌 2 에는, 프레임 화상 간에 있어서의 화소의 이동량을 검출하고, 이동량이 최대가 되는 화소의 위치를 나타내는 화상을 중첩함으로써 동체의 궤적을 검출하여 동체 추적하는 장치가 기재되어 있다.
국제 공표공보 제2012/127618호 국제 공표공보 제2016/021143호
그러나, 특허문헌 1 에 기재된 장치에 있어서는, 색의 움직임 정도를 평가함으로써 동체를 검출하고, 추적하는 점에서, 예를 들어, 탁구의 볼이나 골프의 볼 등과 같이, 색채, 형상, 부분의 배치 등의 외관적으로 눈에 띄는 특징이 적은 동체를 그들 외관적 특징에 의지하지 않고 추적하는 것이 어렵다.
또, 예를 들어, 배구나 축구의 볼 등과 같이, 색채, 형상, 부분의 배치 등의 외관적으로 특징이 있는 동체였다고 하더라도, 후보가 복수 검출되는 경우에는 목표물을 하나로 특정할 수 없으면 추적이 어렵다.
특허문헌 2 에 기재된 장치에 있어서는, 프레임 화상 간에 있어서의 화소의 이동량으로부터 동체의 궤적을 검출하여 동체 추적하는데, 예를 들어 탁구 등에서는, 경기에 사용 중인 볼 외에도, 연습시에 사용하여 바닥에 널려 있는 볼이나 심판 등이 갖는 예비의 볼 등, 복수의 프레임 화상 중에 추적의 목적으로 하는 볼과 동일한 화상이 복수 존재하는 경우도 많고, 또, 볼 이외의 유사한 특징을 갖는 물체를 추적 대상으로서 오검출할 우려도 있다. 이와 같은 경우에 있어서 고정밀도로 동체 추적하는 것이 어렵다.
특허문헌 1 이나 특허문헌 2 와 같이, 색채, 형상, 부분의 배치 등의 외관적으로 특징이나 화소에 주목한 화상 해석에 의한 동체 추적 기술에서는 외관적 특징이 적은 동체에 대해서는 추적이 어렵다. 이 과제를 해결하기 위해서, 동체의 운동의 특징에 주목한 화상 해석에 의한 동체 추적 기술에 기초하는 해결 수단을 제공한다.
본 발명에 관련된 동체 추적 장치는, 화상 데이터를 사용하여 주어진 환경에서의 물체의 움직임을 추적하는 동체 추적 장치로서, 화상 프레임 내의 상기 화상 데이터로부터 추적 목표의 후보가 되는 물체의 위치 정보를 생성하는 위치 정보 생성부와, 상기 화상 프레임마다 추적 목표로서 적합한 상기 물체의 복수의 후보의 상기 위치 정보를 유지하는 후보 위치 유지부와, 상기 후보 위치 유지부가 상기 위치 정보를 유지하는 제 1 화상 프레임의 상기 후보에 대해, 상기 주어진 환경에 따른 특유의 정보로서 좌표계, 상기 추적 목표가 존재하는 위치 조건, 상기 제 1 화상 프레임과 연속되는 제 2 화상 프레임에서의 예측 위치 산출식, 상기 추적 목표의 존재 확률 분포에 기초하는 위치 스코어 산출식 및 상기 추적 목표의 속도에 기초하는 운동 스코어 산출식으로부터 정해지는 운동 모델에 기초하여, 상기 제 2 화상 프레임에서의 예측 위치 정보를 산출하는 위치 예측부와, 상기 제 2 화상 프레임 내의 상기 화상 데이터로부터 상기 위치 정보 생성부에 의해 생성된 상기 위치 정보와, 상기 위치 예측부가 산출한 상기 제 2 화상 프레임에서의 상기 예측 위치 정보로부터 각각의 조합에 대해 위치의 일치도를 나타내는 우도 (尤度) 스코어를 산출하고, 상기 우도 스코어에 기초하여 상기 제 2 화상 프레임에서의 1 내지 2 이상의 상기 후보를 추출하고, 추출된 상기 후보의 위치 정보를 상기 후보 위치 유지부에 출력하는 후보 추출부와, 상기 후보 추출부가 추출한 상기 후보의 위치 정보로부터, 상기 주어진 환경으로부터 정해지는 상기 운동 모델에 기초하여 산출된 위치 스코어와 운동 스코어의 조합으로부터 구해지는 상기 추적 목표로서의 적합성을 나타내는 평가 스코어에 기초하여, 상기 화상 프레임에 있어서의 상기 추적 목표인 상기 물체의 위치 정보를 특정하는 목표 위치 특정부와, 상기 목표 위치 특정부에 의해 특정된 상기 물체의 위치 정보를, 연속되는 상기 화상 프레임에 있어서 트레이스함으로써 상기 물체의 움직임을 추적하는 동체 추적부를 구비하는 것을 특징으로 한다.
여기서, 주어진 환경이란, 추적하는 물체가 놓여진 환경으로서, 화상 데이터를 사용하여 추적하는 물체의 위치를 예측할 때에, 고전역학 (뉴턴 역학) 에서의 운동 법칙에 더하여, 예측 정밀도를 올리기 위하여 고려해야 할 특유의 정보를 갖는 환경을 말한다. 상세한 것은 후술한다.
또, 운동 모델이란, 화상 데이터를 사용하여 추적하는 물체의 위치를 예측할 때에 이용하는 주어진 환경에 있어서의 물체의 운동에 대한 모델이다. 고전역학 (뉴턴 역학) 에서의 운동 법칙과, 그것에 더하여 주어진 환경에 따른 특유의 정보인 좌표계, 추적 목표가 존재하는 위치 조건, 제 1 화상 프레임과 연속되는 제 2 화상 프레임에서의 예측 위치 산출식, 추적 목표의 존재 확률 분포에 기초하는 위치 스코어 산출식 및 추적 목표의 속도에 기초하는 운동 스코어 산출식으로부터 정하고 있다. 상세한 것은 후술한다.
본 발명에 관련된 동체 추적 장치에서는, 상기 후보 추출부는, 상기 위치 예측부가 상기 예측 위치 정보의 산출의 기초로 한 상기 제 1 화상 프레임의 상기 후보가 동일한 상기 제 2 화상 프레임에서의 상기 물체의 후보의 수에 상한을 정할 수 있다.
본 발명에 관련된 동체 추적 장치에서는, 상기 후보 추출부는, 상기 제 1 화상 프레임의 상기 후보의 전부에 대해 각각을 기초로 한 적어도 하나의 상기 제 2 화상 프레임에서의 상기 후보를 추출할 수 있다.
본 발명에 관련된 동체 추적 장치에서는, 상기 후보 추출부는, 상기 우도 스코어가 임계치 이상이 아닌 상기 제 2 화상 프레임에서의 상기 후보에 대해서는 상기 후보로부터 제외할 수 있다.
또, 본 발명에 관련된 동체 추적 방법에서는, 화상 데이터를 사용하여 주어진 환경에서의 물체의 움직임을 추적하는 동체 추적 방법으로서, 화상 프레임 내의 상기 화상 데이터로부터 추적 목표의 후보가 되는 물체의 위치 정보를 생성하는 위치 정보 생성 스텝과, 상기 화상 프레임마다 추적 목표로서 적합한 상기 물체의 복수의 후보의 상기 위치 정보를 유지하는 후보 위치 유지 스텝과, 상기 후보 위치 유지 스텝에서 상기 위치 정보를 유지하는 제 1 화상 프레임의 상기 후보에 대해, 상기 주어진 환경에 따른 특유의 정보로서 좌표계, 상기 추적 목표가 존재하는 위치 조건, 상기 제 1 화상 프레임과 연속되는 제 2 화상 프레임에서의 예측 위치 산출식, 상기 추적 목표의 존재 확률 분포에 기초하는 위치 스코어 산출식 및 상기 추적 목표의 속도에 기초하는 운동 스코어 산출식으로부터 정해지는 운동 모델에 기초하여, 상기 제 2 화상 프레임에서의 예측 위치 정보를 산출하는 위치 예측 스텝과, 상기 제 2 화상 프레임 내의 상기 화상 데이터로부터 상기 위치 정보 생성 스텝에서 생성된 상기 위치 정보와, 상기 위치 예측 스텝에서 산출한 상기 제 2 화상 프레임에서의 상기 예측 위치 정보로부터 각각의 조합에 대해 위치의 일치도를 나타내는 우도 스코어를 산출하고, 상기 우도 스코어에 기초하여 상기 제 2 화상 프레임에서의 1 내지 2 이상의 상기 후보를 추출하고, 추출된 상기 후보의 위치 정보를 후보 위치 유지부에 출력하는 후보 추출 스텝과, 상기 후보 추출 스텝에서 추출한 상기 후보의 위치 정보로부터, 상기 주어진 환경으로부터 정해지는 상기 운동 모델에 기초하여 산출된 위치 스코어와 운동 스코어의 조합으로부터 구해지는 상기 추적 목표로서의 적합성을 나타내는 평가 스코어에 기초하여, 상기 화상 프레임에 있어서의 상기 추적 목표인 상기 물체의 위치 정보를 특정하는 목표 위치 특정 스텝과, 상기 목표 위치 특정 스텝에서 특정된 상기 물체의 위치 정보를, 연속되는 상기 화상 프레임에 있어서 트레이스함으로써 상기 물체의 움직임을 추적하는 동체 추적 스텝을 구비하는 것을 특징으로 한다.
또, 본 발명에 관련된 동체 추적 프로그램에서는, 컴퓨터를, 화상 데이터를 사용하여 주어진 환경에서의 물체의 움직임을 추적하도록 기능시키는 동체 추적 프로그램으로서, 화상 프레임 내의 상기 화상 데이터로부터 추적 목표의 후보가 되는 물체의 위치 정보를 생성하는 위치 정보 생성부, 상기 화상 프레임마다 추적 목표로서 적합한 상기 물체의 복수의 후보의 상기 위치 정보를 유지하는 후보 위치 유지부, 상기 후보 위치 유지부가 상기 위치 정보를 유지하는 제 1 화상 프레임의 상기 후보에 대해, 상기 주어진 환경에 따른 특유의 정보로서 좌표계, 상기 추적 목표가 존재하는 위치 조건, 상기 제 1 화상 프레임과 연속되는 제 2 화상 프레임에서의 예측 위치 산출식, 상기 추적 목표의 존재 확률 분포에 기초하는 위치 스코어 산출식 및 상기 추적 목표의 속도에 기초하는 운동 스코어 산출식으로부터 정해지는 운동 모델에 기초하여, 상기 제 2 화상 프레임에서의 예측 위치 정보를 산출하는 위치 예측부, 상기 제 2 화상 프레임 내의 상기 화상 데이터로부터 상기 위치 정보 생성부에 의해 생성된 상기 위치 정보와, 상기 위치 예측부가 산출한 상기 제 2 화상 프레임에서의 상기 예측 위치 정보로부터 각각의 조합에 대해 위치의 일치도를 나타내는 우도 스코어를 산출하고, 상기 우도 스코어에 기초하여 상기 제 2 화상 프레임에서의 1 내지 2 이상의 상기 후보를 추출하고, 추출된 상기 후보의 위치 정보를 상기 후보 위치 유지부에 출력하는 후보 추출부, 상기 후보 추출부가 추출한 상기 후보의 위치 정보로부터, 상기 주어진 환경으로부터 정해지는 상기 운동 모델에 기초하여 산출된 위치 스코어와 운동 스코어의 조합으로부터 구해지는 상기 추적 목표로서의 적합성을 나타내는 평가 스코어에 기초하여, 상기 화상 프레임에 있어서의 상기 추적 목표인 상기 물체의 위치 정보를 특정하는 목표 위치 특정부, 상기 목표 위치 특정부에 의해 특정된 상기 물체의 위치 정보를, 연속되는 상기 화상 프레임에 있어서 트레이스함으로써 상기 물체의 움직임을 추적하는 동체 추적부로서 기능시키는 것을 특징으로 한다.
동체의 운동의 특징에 주목한 화상 해석에 의한 동체 추적 기술에 기초함으로써, 색채, 형상, 부분의 배치 등의 외관적으로 특징이나 화소에 주목한 종래의 화상 해석에 의한 동체 추적 기술의 과제를 해결하였다. 이로써, 종래의 화상 해석에 의한 동체 추적 기술에서는 추적이 어려운 구기에 있어서의 볼과 같은 외관적 특징이 적은 동체에 대해 고정밀도로 추적할 수 있다.
상기 서술한 바와 같이, 일상의 여러 가지 장면에 있어서 간편하게 화상 (특히 동영상) 의 촬상이 가능하게 된 점에서, 촬상한 화상 (특히 동영상) 으로부터 화상 해석 기술에 의해 물체의 움직임을 추적하는 장치가 요구되고 있고, 카메라 등에 의해 포착한 화상 (특히 동영상) 으로부터, 어느 물체를 추적 목표로 하여, 주어진 환경 내에서 상대적인 위치 및 움직임 (속도 및 그 방향) 등을 파악하는 것은 중요하다. 예를 들어, 구기에 있어서의 볼의 위치 및 움직임은, 그 승패를 결정짓는 것으로서, 특히, 경계선과 같은 환경 정보와의 관계를 분명히 할 것이 요망된다. 또, 볼의 속도나 궤적을 기록하는 것은 선수의 트레이닝에 유효하다.
또한, 추적 목표의 외관적 특징이 아니라, 주어진 환경에 있어서의 동체의 운동의 특징에 주목함으로써, 화소수 등의 화질이나 단위 시간당의 프레임수 등이 범용품의 카메라 등의 성능 (예를 들어, 단위 시간당의 프레임수가 60 fps 정도) 이어도 추적 목표를 고정밀도로 추적할 수 있다. 이 때문에, 고기능, 고품질의 카메라 등이나, 특수한 카메라 등을 사용할 필요가 없다.
도 1 은 동체 추적 장치를 구비하는 장치의 블록도이다.
도 2 는 도 1 에 나타내는 장치의 하드웨어 구성도이다.
도 3 은 카메라로 촬상한 탁구에서의 화상을 모식적으로 나타낸 도면이다.
도 4 는 동체 추적 장치의 동작을 나타내는 플로 차트이다.
도 5 는 동체 추적 장치의 동작을 설명할 때에 사용하는 기호를 모식적으로 나타낸 도면이다.
도 6 은 동체 추적 장치의 후보 추출부의 동작을 나타내는 플로 차트이다.
도 7 은 동체 추적 장치의 목표 위치 특정부의 동작을 나타내는 플로 차트이다.
도 8 은 제 2 실시형태에 관련된 우도 스코어에 의한 후보 추출 처리에 대해 나타내는 플로 차트이다.
도 9 는 제 2 실시형태에 관련된 후보 추출부가 실시하는 우도 스코어에 의한 후보 추출 처리를 모식적으로 나타낸 도면이다.
도 10a 는 제 3 실시형태에 관련된 우도 스코어에 의한 후보 추출 처리에 대해 나타내는 플로 차트 (전반) 이다.
도 10b 는 제 3 실시형태에 관련된 우도 스코어에 의한 후보 추출 처리에 대해 나타내는 플로 차트 (후반) 이다.
도 11 은 제 3 실시형태에 관련된 후보 추출부가 실시하는 우도 스코어에 의한 후보 추출 처리를 모식적으로 나타낸 도면이다.
본 발명의 실시형태에 대해 도면을 참조하여 설명한다. 또한, 중복되는 설명은 생략하고, 각 도면에 있어서 동일 또는 상당 부분에는 동일한 부호를 부여한다.
(제 1 실시형태)
본 실시형태에 관련된 동체 추적 장치는, 화상을 사용하여 동체를 추적하는 장치이다. 본 실시형태에 관련된 동체 추적 장치는, 예를 들어, 탁구, 골프, 야구, 배구 등의 구기 등에 있어서 볼의 움직임을 추적하는, 정해진 필드 내에 있어서 운동 법칙에 따라 운동하는 색채, 형상, 부분의 배치 등의 외관적으로 눈에 띄는 특징이 적은 동체를 고정밀도로 추적하는 장치에 바람직하게 채용되는 것이다. 이것은 예시로서, 운동 경기에만 적용을 한정하는 것이 아니다.
도 1 은, 동체 추적 장치 (1) 를 구비하는 장치 (2) 의 블록도이다. 도 1 에 나타내는 장치 (2) 는, 예를 들어, 스마트 폰, 정보 휴대 단말, 디지털 카메라, 게임 단말, 텔레비전 등의 전화 제품으로서, 도 2 에 나타내는 하드웨어 구성을 갖는다. 도 2 에 나타내는 바와 같이, 장치 (2) 는, 물리적으로는, 중앙 연산 장치 (CPU) (201), 입력 장치 (202), 출력 장치 (203), 주기억 장치 (RAM/ROM) (204), 보조 기억 장치 (205) 등을 포함하는 컴퓨터 시스템으로서 구성된다. 입력 장치 (202) 로는, 카메라, 터치 스크린, 키보드 등, 출력 장치 (203) 로는, 디스플레이, 프린터 등으로 구체적으로는 구성된다. 장치 (2) 는, 통신 모듈 등을 구비하여 네트워크에 접속하는 구성이어도 된다. 또, 동체 추적 장치 (1) 가, 중앙 연산 장치 (CPU) (201), 입력 장치 (202), 출력 장치 (203), 주기억 장치 (RAM/ROM) (204), 보조 기억 장치 (205) 등을 포함하는 컴퓨터 시스템으로서 구성 되어도 된다.
동체 추적 장치 (1) 및 장치 (2) 의 각 기능은, 도 2 에 나타내는 중앙 연산 장치 (CPU) (201), 주기억 장치 (RAM/ROM) (204) 등에 소정의 컴퓨터 소프트웨어를 판독 입력시킴으로써, 중앙 연산 장치 (CPU) (201) 의 제어에 의해 입력 장치 (202), 출력 장치 (203) 를 동작시킴과 함께, 주기억 장치 (RAM/ROM) (204), 보조 기억 장치 (205) 와 데이터의 읽고 쓰기를 실시함으로써 실현된다.
도 1 에 나타내는 바와 같이, 장치 (2) 는, 카메라 (21), 검출부 (22), 동체 추적 장치 (1) 및 표시부 (23) 를 구비하고 있다. 또, 동체 추적 장치 (1) 는, 정보 입력부 (10), 위치 정보 생성부 (11), 후보 위치 유지부 (12), 위치 예측부 (13), 후보 추출부 (14), 목표 위치 특정부 (15) 및 동체 추적부 (16) 를 구비하고 있다.
카메라 (21) 는, 예를 들어, 촬상 소자 등이 사용되고, 화상 또는 동영상을 촬상하는 기능을 갖고 있다. 카메라 (21) 는, 단안 (單眼) 이어도 되고, 복안 (複眼) 이어도 된다. 카메라 (21) 는, 촬상한 복수의 화상 또는 동영상을 화상 프레임으로서 검출부에 출력하는 기능을 갖고 있다.
검출부 (22) 는, 카메라 (21) 로부터 입력된 화상 프레임 내의 화상 데이터로부터 추적 목표가 되는 물체의 특징과 일치하는 후보를 검출하는 기능을 갖고 있다. 예를 들어, 패턴 매칭의 수법인 SSD (Sum of Squared Difference), SAD (Sum of Absolute Difference), NCC (Normalized Cross Correlation) 등이나 통계적 학습 수법 등을 이용하여 후보를 검출한다. 검출부 (22) 는, 화상 프레임 내의 화상 데이터로부터 검출된 후보에 대한 정보를 동체 추적 장치 (1) 의 정보 입력부 (10) 에 출력하는 기능을 갖고 있다.
동체 추적 장치 (1) 는, 검출부 (22) 로부터 입력된 화상 프레임 내의 화상 데이터로부터 검출된 후보에 대한 정보로부터 추적 목표가 되는 물체의 화상 프레임에서의 위치 정보를 특정하여 트레이스함으로써 추적 목표가 되는 물체를 추적하는 기능을 갖고 있다. 동체 추적 장치 (1) 는, 특정한 추적 목표가 되는 물체의 각 프레임에서의 위치 정보를 표시부 (23) 에 출력하는 기능을 갖고 있다.
정보 입력부 (10) 는, 검출부 (22) 로부터 입력된 화상 프레임 내의 화상 데이터로부터 검출된 후보에 대한 정보로부터 필요한 정보를 위치 정보 생성부 (11) 에 출력하는 기능을 갖고 있다. 필요한 정보로서 적어도, 화상 프레임을 특정하기 위한 정보 (이하, 화상 프레임 번호), 후보의 위치를 특정하기 위한 정보 (이하, 위치 정보) 가 있다. 정보 입력부 (10) 는, 화상 프레임 번호를 위치 예측부 (13) 에 출력하는 기능을 갖고 있다. 또, 정보 입력부 (10) 는, 일정한 간격으로 화상 프레임을 추출 (이하, 타임 랩스) 하여 필요한 정보를 위치 정보 생성부 (11) 에 출력하는 기능을 갖고 있어도 된다.
위치 정보 생성부 (11) 는, 정보 입력부 (10) 로부터 입력된 화상 프레임 내의 화상 데이터로부터 검출된 후보에 대한 정보로부터 각각의 후보의 위치 정보를 생성하는 기능을 갖고 있다. 예를 들어, 카메라 (21) 가 단안인 경우에는 2 차원의, 카메라 (21) 가 복안인 경우에는 3 차원의 좌표축을 설정하여 각각의 후보의 위치 정보 (좌표) 를 생성한다. 위치 정보 생성부 (11) 는, 동체의 추적에 영향을 주는 위치에 관한 조건을 후보의 위치 정보에 반영하는 기능을 갖고 있다. 예를 들어, 탁구의 볼의 추적에 있어서의 탁구대의 좌표 영역 등이다. 위치 정보 생성부 (11) 는, 생성한 위치 정보를 후보 추출부 (14) 에 출력하는 기능을 갖고 있다.
후보 위치 유지부 (12) 는, 후보 추출부 (14) 로부터 입력된 상위 후보에 대한 정보를 유지하는 기능을 갖고 있다. 후보 추출부 (14) 의 기능 및 상위 후보의 정의에 대해서는 후술한다. 후보 위치 유지부 (12) 는, 상위 후보에 대한 정보로서 적어도, 화상 프레임 번호, 상위 후보의 위치 정보 및 우도 스코어를 유지하는 기능을 갖고 있다. 우도 스코어에 대해서는 후술한다.
위치 예측부 (13) 는, 정보 입력부 (10) 로부터 입력된 화상 프레임 번호로 지정되는 화상 프레임 (제 2 화상 프레임) 과 연속되는 화상 프레임 (제 1 화상 프레임) 에 있어서의 상위 후보에 대한 정보를 후보 위치 유지부 (12) 에 문의하여 취득하는 기능을 갖고 있다.
여기서, 연속되는 화상 프레임이란, 2 개의 화상 프레임 사이에 다른 화상 프레임이 존재하지 않는 상태로서, 반드시 화상 프레임 번호가 연속적일 필요는 없다. 예를 들어, 2 개의 화상 프레임이 연속적이어도, 원래 사이에 존재한 화상 프레임이 타임 랩스 처리되었기 때문에 화상 프레임 번호가 연속적이지 않은 경우 등이 있다. 또, 연속되는 화상 프레임이란, 시각이 앞인 연속되는 화상 프레임이어도 되고, 시각이 뒤인 연속되는 화상 프레임이어도 된다. 시간의 흐름을 따른 동체 추적을 실시하는 경우에는 시각이 앞인 연속되는 화상 프레임, 시간의 흐름을 거슬러 올라간 동체 추적을 실시하는 경우에는 시각이 뒤인 연속되는 화상 프레임이 된다. 또한, 연속되는 화상 프레임에 대해서는, 본 특허출원에 관련된 서면에 있어서는 그 밖에도 동일하다.
위치 예측부 (13) 는, 후보 위치 유지부 (12) 로부터 취득한 정보에 기초하여 연속되는 화상 프레임 (제 1 화상 프레임) 의 각각의 상위 후보에 대해, 당해 화상 프레임 (제 2 화상 프레임) 에서의 예측 위치 정보를 산출하는 기능을 갖고 있다. 예측 위치 정보는, 예를 들어, 상위 후보의 위치와 속도로부터 산출한다. 또, 예를 들어, 탁구의 볼이면 탁구대에서 바운드함으로써 속도가 변화하는 등의 환경에 따른 특유의 정보를 산출하는 데에 있어서 고려하는 운동 모델을 정의한다. 본 실시예에서는, 운동 모델을, 고전역학 (뉴턴 역학) 에서의 운동 법칙과, 그것에 더하여 주어진 환경에 따른 특유의 정보인 좌표계, 추적 목표가 존재하는 위치 조건, 제 1 화상 프레임과 연속되는 제 2 화상 프레임에서의 예측 위치 산출식, 추적 목표의 존재 확률 분포에 기초하는 위치 스코어 산출식 및 추적 목표의 속도에 기초하는 운동 스코어 산출식으로부터 정하고 있다. 위치 예측부 (13) 는, 산출한 예측 위치 정보를 후보 추출부 (14) 에 출력하는 기능을 갖고 있다.
후보 추출부 (14) 는, 위치 정보 생성부 (11) 로부터 입력된 화상 프레임 (제 2 화상 프레임) 내의 화상 데이터로부터 검출된 후보에 대한 위치 정보와, 위치 예측부 (13) 로부터 입력된 동일한 화상 프레임 (제 2 화상 프레임) 에서의 예측 위치 정보로부터 우도 스코어를 산출하는 기능을 갖고 있다. 여기서, 우도 스코어란, 후보에 대한 위치 정보와 예측 위치 정보의 각각의 조합에 대해 위치의 일치도를 나타내는 스코어로서, 예를 들어, 각각의 거리가 작을수록 스코어가 크다. 후보 추출부 (14) 는, 우도 스코어의 산출에 필요한 예측 위치 정보를 위치 예측부 (13) 에 문의하여 취득하는 기능을 갖고 있다. 후보 추출부 (14) 는, 우도 스코어의 상위에서 정한 수의 후보를 상위 후보로 하여, 그 위치 정보를 목표 위치 특정부 (15) 에 출력하는 기능을 갖고 있다. 또, 후보 추출부 (14) 는, 상위 후보의 위치 정보 등을 후보 위치 유지부 (12) 에 출력하는 기능을 갖고 있다.
목표 위치 특정부 (15) 는, 후보 추출부 (14) 로부터 입력된 상위 후보의 위치 정보로부터 평가 스코어를 산출하는 기능을 갖고 있다. 여기서, 평가 스코어란 추적 목표로서의 적합성을 나타내는 스코어이다. 평가 스코어는, 예를 들어, 위치 스코어와 운동 스코어의 조합에 의해 정의한다. 여기서, 위치 스코어란, 추적 목표가 되는 물체의 존재 확률 분포에 기초하여 스코어화한 것이다. 예를 들어, 추적 목표가 되는 물체가 탁구의 볼인 경우, 탁구대의 상부는 볼의 존재 확률이 높기 때문에 위치 스코어는 크고, 탁구대의 하부는 볼의 존재 확률이 낮기 때문에 위치 스코어는 작아진다. 또, 여기서, 운동 스코어란, 추적 목표가 되는 물체의 속도에 기초하여 스코어화한 것이다. 주어진 환경에 있어서 고전역학 (뉴턴 역학) 에서의 운동 법칙에 더하여 고려해야 할 특유의 추적 목표가 되는 물체의 운동에 관한 정보를 스코어화한다. 구체적으로는, 주어진 환경에 있어서의 속도의 상한치를 정하여 상한치 이상의 속도의 물체에서는 운동 스코어를 작게 하고, 주어진 환경에 있어서는 물체가 반면 (盤面) 등에서 반사되는 경우에는 반사를 고려한 조건에 적합한 속도의 물체에 대해 운동 스코어를 높게 하는 등으로 운동 스코어 산출의 수학식을 정한다. 예를 들어, 추적 목표가 되는 물체가 탁구의 볼인 경우, 속도의 크기가 30 m/s 이하인 경우에는 운동 스코어는 작고, 탁구대의 부근에서 반사 운동을 한 경우에는 운동 스코어가 높아진다. 평가 스코어의 정의로서, 위치 스코어와 운동 스코어를 단순하게 가산해도 되고, 가중을 하여 가산하거나, 승산하는 등으로 정의해도 된다. 목표 위치 특정부 (15) 는, 평가 스코어가 가장 상위인 후보 위치를 그 화상 프레임에 있어서의 추적 목표가 되는 물체의 위치로서 특정하는 기능을 갖고 있다. 목표 위치 특정부 (15) 는, 특정한 추적 목표가 되는 물체의 위치 정보를 동체 추적부 (16) 에 출력하는 기능을 갖고 있다.
동체 추적부 (16) 는, 목표 위치 특정부 (15) 로부터 입력된 각각의 화상 프레임에 있어서의 특정한 추적 목표가 되는 물체의 위치 정보를 트레이스하여 추적하는 기능을 갖고 있다. 동체 추적부 (16) 는, 트레이스한 추적 목표가 되는 물체의 각 프레임에서의 위치 정보를 표시부 (23) 에 출력하는 기능을 갖고 있다.
표시부 (23) 는, 동체 추적 장치 (1) 의 동체 추적부 (16) 로부터 입력된 추적 목표가 되는 물체의 각 프레임에서의 위치 정보를, 예를 들어, 디스플레이 등에 연속적으로 표시함으로써 추적 목표가 되는 물체의 궤적을 표시하는 기능을 갖고 있다.
다음으로, 본 실시형태에 관련된 동체 추적 장치 (1) 의 동작에 대해 설명한다. 또한, 설명 이해의 용이성을 고려하여, 본 발명에 관련된 동체 추적 장치의 동작의 예로서, 탁구에 있어서의 볼을 추적하는 동체 추적 장치를 설명한다. 또한, 여기서는 탁구를 주어진 환경으로 한 예로 설명하지만, 주어진 환경이 배구, 야구, 골프인 경우에 대해 실시예로서 후술한다.
탁구를 주어진 환경으로 하는 경우에 고려해야 할 특징을 설명한다. 도 3 은, 카메라 (21) 로 촬상한 탁구에서의 화상을 모식적으로 나타낸 도면이다. 볼에는 색채, 형상, 부분의 배치 등의 외관적으로 눈에 띄는 특징이 적은 점에서, 화상 내의 볼을 검출하는 경우에는, 검출부 (22) 의 검출 정밀도에 따라 예를 들어 관객의 얼굴 등의 볼 이외의 것 (304) 이 오검출될 가능성이 있다는 특징을 갖고 있다. 또, 추적 목표가 되는 물체인 경기에 사용되고 있는 볼 (301) 이외에도 예비의 볼 (302) 이나 바닥에 널려 있는 볼 (303) 등 추적 목표가 되는 물체 이외가 검출된다는 특징을 갖고 있다. 이 때문에, 경기에 사용되고 있는 볼 (301) 이외로서 오검출된 후보 (304) 나, 볼이어도 추적 목표가 되는 물체가 아닌 후보 (302, 303) 를 배제하고 추적 목표가 되는 물체를 추적할 것이 요구된다.
탁구를 주어진 환경으로 하는 경우에 고려해야 할 특징으로서, 예를 들어, 플레이어가 사용하는 볼의 변경 등에 의해, 지금까지와는 다른 볼로의 추적 목표가 되는 물체의 변경에 대응할 필요가 있다는 특징을 갖고 있다.
탁구를 주어진 환경으로 하는 경우에 고려해야 할 특징으로서, 도 3 에 나타내는 바와 같이, 추적 목표가 되는 물체인 볼은 탁구대의 상부에 존재할 확률이 높다는 특징을 갖고 있다. 또, 볼의 운동은 운동 법칙에 따른다는 특징을 갖고 있지만, 방물 운동이나 탁구대로의 충돌시에 방향을 바꾸는 (튀어오르는) 운동 (301) 을 빈번하게 실시하는 한편으로, 정지 (302) 나 저속으로의 직진 (구르는) 운동 (303) 은 잘 발생하지 않는다는 특징을 갖고 있다. 추적 목표가 되는 물체의 특정시에 이들 특징을 고려함으로써 정밀도가 높아진다.
도 4 는, 본 실시형태에 관련된 동체 추적 장치 (1) 의 동작을 나타내는 플로 차트이다. 또한, 설명 이해의 용이성을 고려하여, 도 4 의 실행 전에 동체 추적 장치 (1) 의 후보 위치 유지부 (12) 는 제 1 화상 프레임에 있어서의 상위 후보에 대한 정보를 유지하고 있는 것으로 하여 설명한다.
도 5 는, 본 실시형태에 관련된 동체 추적 장치 (1) 의 동작을 설명할 때에 사용하는 기호를 모식적으로 나타낸 도면이다. t0 프레임과 t 프레임은 연속적인 화상 프레임이다. Pn(t0) 은, t0 프레임에서의 상위 후보의 n 번째이다. Vn(t0) 은, Pn(t0) 의 속도이다. Qn(t) 은, t 프레임에서의 예측 후보의 n 번째로서, Pn(t0) 을 기초로 한 t 프레임에서의 위치로서 예측된다. Am(t) 은, t 프레임에서 검출된 전체 후보의 m 번째이다. Dmn(t) 은, Qn(t) 과 Am(t) 의 거리이다. 이들 기호의 의미는, 본 특허출원에 관련된 서면에 있어서는 그 밖에도 동일하다.
도 4 에 나타내는 바와 같이, 먼저 정보 입력부 (10) 가, 화상 프레임 (제 2 화상 프레임) 내의 화상 데이터로부터 검출된 후보에 대한 정보를 입력한 후, 입력한 정보로부터 필요한 정보 (적어도, 화상 프레임 번호와 위치 정보) 를 추출하여 위치 정보 생성부 (11) 와 위치 예측부 (13) 에 출력하는 처리를 실시한다 (S401). 이 때, 아울러 타임 랩스 처리를 실시해도 된다 (S401). S401 의 처리가 종료되면, 위치 정보 생성 처리 (S403) 및 위치 예측 처리 (S407) 로 이행한다.
S403 의 처리에서는, 위치 정보 생성부 (11) 가 정보 입력부 (10) 로부터 입력된 후보에 대한 위치 정보를 이후의 처리에 적절한 좌표계에서의 위치 정보로 변환하는 처리를 실시한다. 본 실시형태에서의 탁구에 있어서의 볼을 추적하는 예에서는, 카메라 (21) 가 복안인 것으로 하여, 원점을 탁구대의 중심으로부터 내린 수선 (垂線) 과 바닥면의 교점, X 축을 탁구대의 장변 방향, Y 축을 탁구대의 단변 방향, Z 축을 탁구대에 대해 수직 방향으로 하고, 상방을 향하여를 정 (正), 하방을 향하여를 부 (負) 로 하는 3 차원의 좌표계로 설명한다. 또, 경기에 사용되는 탁구대의 영역은, 좌표계에 따르면, －1.370 ≤ X ≤ 1.370, －0.7625 ≤ Y ≤ 0.7625, Z ＝ 0.76 이 된다. S403 의 처리가 종료되면, 후보 검출 처리 (S409) 로 이행한다.
S407 의 처리에서는, 위치 예측부 (13) 가 정보 입력부 (10) 로부터 입력된 화상 프레임 번호로 지정되는 화상 프레임 (제 2 화상 프레임) 과 연속되는 화상 프레임 (제 1 화상 프레임) 에 있어서의 상위 후보에 대한 위치 정보를 후보 위치 정보 (D405) 취득하는 처리를 실시한다. 다음으로, 제 1 화상 프레임의 각각의 상위 후보에 대한 제 2 화상 프레임에서의 예측 위치 정보를 산출하는 처리를 실시한다. 제 1 화상 프레임을 t0 프레임, 제 2 화상 프레임을 t 프레임으로 하면, 본 실시형태에서의 탁구에 있어서의 볼을 추적하는 예에서는 예측 위치 Qn(t) 은 다음의 수학식으로 구해진다. 여기서, 수학식에 있어서의 단위계는 MKS 단위계를 취하고, 이하에 있어서 동일하다.
Qn(t) ＝ Pn(t0) ＋ Vn(t0)
단, 이하의 조건을 모두 만족하는 경우에는 볼이 탁구대의 상방에 위치하는 경우이고, 바운드를 고려하여 예측 위치 Qn(t) 은 다음의 수학식으로 구해진다. 또한, Qn(t).X 는 Qn(t) 의 X 좌표를, Qn(t).Y 는 Qn(t) 의 Y 좌표를, Qn(t).Z 는 Qn(t) 의 Z 좌표를 각각 나타내고 있고, 이하에 있어서 동일한 표기법을 취한다.
Pn(t0).Z ＞ 0.76, 또한
－1.370 ≤ Qn(t).X ≤ 1.370, 또한
－0.7625 ≤ Qn(t).Y ≤ 0.7625 의 경우
Qn(t) ＝ (Qn(t).X, Qn(t).Y,｜Qn(t).Z － 0.76｜＋ 0.76)
S407 의 처리가 종료되면, 후보 추출 처리 (S409) 로 이행한다.
S409 의 처리에서는, 후보 추출부 (14) 가 위치 정보 생성부 (11) 로부터 입력된 제 2 화상 프레임 내의 화상 데이터로부터 검출된 후보에 대한 위치 정보와, 위치 예측부 (13) 로부터 입력된 동일한 제 2 화상 프레임에서의 예측 위치 정보로부터 우도 스코어를 산출하여, 제 2 화상 프레임에서의 상위 후보를 추출함과 함께, 후보 위치 정보 (D405) 로서 출력하는 처리를 실시한다. 이 처리의 상세한 것은 후술한다. S409 의 처리가 종료되면, 목표 위치 특정 처리 (S411) 로 이행한다.
S411 의 처리에서는, 목표 위치 특정부 (15) 가 후보 추출부 (14) 로부터 입력된 상위 후보의 위치 정보로부터 평가 스코어를 산출하여, 평가 스코어가 가장 상위인 후보 위치를 그 화상 프레임에 있어서의 추적 목표가 되는 물체의 위치로서 특정하는 처리를 실시한다. 이 처리의 상세한 것은 후술한다. S411 의 처리가 종료되면 동체 추적 처리 (S413) 로 이행한다.
S413 의 처리에서는, 동체 추적부 (16) 가 목표 위치 특정부 (15) 로부터 입력된 각각의 화상 프레임에 있어서의 특정한 추적 목표가 되는 물체의 위치 정보를 트레이스하여 추적하는 처리를 실시한다. S413 의 처리가 종료되면, 표시 처리 (S415) 로 이행한다.
S415 의 처리에서는, 표시부 (23) 가 동체 추적부 (16) 로부터 입력된 추적 목표가 되는 물체의 각 프레임에서의 위치 정보를 연속적으로 표시함으로써 추적 목표가 되는 물체의 궤적을 표시하는 처리를 실시한다. S415 의 처리가 종료되면, 종료 판정 처리 (S417) 로 이행한다.
S417 의 처리에서는, 검출부 (22) 로부터 정보 입력부 (10) 에 입력된 모든 화상 프레임에 대해 처리를 실행하였는지 여부를 판정한다. S417 의 처리에 있어서, 모든 화상 프레임에 대해 처리를 실행하고 있지 않은 것으로 판정한 경우에는 S401 의 처리로 재차 이행한다. S401 의 처리에서는, 다음의 미처리 화상 프레임 내의 화상 데이터로부터 검출된 후보에 대한 정보를 입력한 후, S401 내지 S417 의 처리를 실행한다. 이와 같이, 모든 화상 프레임에 대해 처리를 실행할 때까지, S401 내지 S417 의 처리를 반복하여 실행한다. 한편, S417 의 처리에 있어서, 모든 화상 프레임에 대해 처리를 실행한 것으로 판정한 경우에는, 도 4 에 나타내는 제어 처리를 종료한다.
다음으로, 도 4 에 나타내는 서브 루틴의 각 처리에 대해 상세를 설명한다. 먼저, 도 6 을 사용하여 후보 추출 처리 (S409) 의 상세를 설명한다. 도 6 은, 본 실시형태에 관련된 동체 추적 장치 (1) 의 후보 추출부 (14) 의 동작을 나타내는 플로 차트이다.
상기 서술한 바와 같이, 후보 추출 처리 (S409) 에서는, 후보 추출부 (14) 가 위치 정보 생성부 (11) 로부터 입력된 제 2 화상 프레임 내의 화상 데이터로부터 검출된 후보에 대한 위치 정보와, 위치 예측부 (13) 로부터 입력된 동일한 제 2 화상 프레임에서의 예측 위치 정보로부터 우도 스코어를 산출하여, 제 2 화상 프레임에서의 상위 후보를 추출한다. 본 실시예에서는, 추출하는 상위 후보의 수를 자연수 N 으로 하여 설명한다.
도 6 에 나타내는 바와 같이, 먼저, 후보 추출부 (14) 가, 초기치로서 m ＝ 1, n ＝ 1 을 설정한다 (S601).
S603 의 처리에서는, 후보 추출부 (14) 가, S403 의 처리로 얻어진 전체 후보의 m 번째의 Am(t) 을 취득한다.
S605 의 처리에서는, 후보 추출부 (14) 가, S407 의 처리로 얻어진 예측 후보로부터 n 번째의 Qn(t) 을 취득한다.
S607 의 처리에서는, 후보 추출부 (14) 가, Am(t) 과 Qn(t) 의 조합의 우도 스코어 Lmn(t) (이하, 본 특허출원에 관련된 서면에 있어서, 우도 스코어를 동일하게 Lmn(t) 으로 표기) 을 계산하고, 결과를 유지한다 (D619). Lmn(t) 은, Am(t) 과 Qn(t) 의 거리 Dmn(t) 으로부터 다음의 수학식으로 구해진다.
Lmn(t) ＝ exp(－Dmn(t)2)
S609 의 처리에서는, 후보 추출부 (14) 가, Qn(t) 이 S407 의 처리로 얻어진 예측 후보의 마지막인지 여부를 판정한다. 예측 후보의 마지막이 아닌 것으로 판정한 경우에는, n 에 1 가산하는 처리 (S611) 후, S605 의 처리로 재차 이행한다. 이와 같이 모든 예측 후보에 대해 처리를 실행할 때까지, S605 내지 S609 의 처리를 반복적으로 실행한다. 한편, S609 의 처리에 있어서, 예측 후보의 마지막인 것으로 판정한 경우에는 S613 의 처리로 이행한다.
S613 의 처리에서는, 후보 추출부 (14) 가, Am(t) 이 S409 의 처리로 얻어진 후보의 마지막인지 여부를 판정한다. 후보의 마지막이 아닌 것으로 판정한 경우에는, m 에 1 가산하는 처리 (S615) 후, S603 의 처리로 재차 이행한다. 이와 같이 모든 후보에 대해 처리를 실행할 때까지, S603 내지 S613 의 처리를 반복적으로 실행한다. 한편, S613 의 처리에 있어서, 예측 후보의 마지막인 것으로 판정한 경우에는, 우도 스코어에 의한 후보 추출 처리 (S617) 로 이행한다.
우도 스코어에 의한 후보 추출 처리 (S617) 에서는, 후보 추출부 (14) 가, 우도 스코어에서 상위 N 세트의 Am(t), Qn(t), Lmn(t) 의 조합을 후보로서 추출한다. 후보 추출부 (14) 는, 후보 추출 처리를 종료하고 메인 루틴으로 이행한다.
다음으로, 도 7 을 사용하여 목표 위치 특정 처리 (S411) 의 상세를 설명한다. 도 7 은, 본 실시형태에 관련된 동체 추적 장치 (1) 의 목표 위치 특정부 (15) 의 동작을 나타내는 플로 차트이다.
S701 의 처리에서는, 목표 위치 특정부 (15) 가, S409 의 처리로 얻어진 후보를 순서대로 취득한다.
S703 의 처리에서는, 목표 위치 특정부 (15) 가, 위치 스코어 (Sp) 를 산출한다. 본 실시형태에서의 탁구에 있어서의 볼을 추적하는 예에서는, 좌표가 다음에 나타내는 각각의 경우에 있어서, 위치 스코어 (Sp) 는 다음의 수학식으로 구해진다.
－1.370 ≤ X ≤ 1.370, 또한
－0.7625 ≤ Y ≤ 0.7625, 또한
Z ≥ 0.76 의 경우
Sp ＝ 1.0
－1.370 ≤ X ≤ 1.370, 또한
－0.7625 ≤ Y ≤ 0.7625, 또한
Z ≤ 0.76 의 경우
Sp ＝ 0.0
상기의 경우 이외로서, －0.7625 ≤ Y ≤ 0.7625 의 경우
Sp ＝ exp(－(｜X｜－ 1.370)2)
상기 어느 경우 이외의 경우
Sp ＝ exp(－(2(｜Y｜－ 0.7625)(｜X｜－ 1.370))2)
S705 의 처리에서는, 목표 위치 특정부 (15) 가, 운동 스코어 (Sm) 를 산출한다. 본 실시형태에서의 탁구에 있어서의 볼을 추적하는 예에서는, 좌표가 다음에 나타내는 각각의 경우에 있어서, 운동 스코어 (Sm) 는 다음의 수학식으로 구해진다.
Vz ＝ 0.0 의 경우, Sm ＝ 0.001
상기 이외의 경우, Sm ＝ min{1.0, 1 －｜V/30 － 1｜}
S707 의 처리에서는, 목표 위치 특정부 (15) 가, 위치 스코어와 운동 스코어로부터 평가 스코어를 산출한다. 본 실시형태에서의 탁구에 있어서의 볼을 추적하는 예에서는, 위치 스코어와 운동 스코어를 가산함으로써 평가 스코어를 산출한다.
S709 의 처리에서는, 목표 위치 특정부 (15) 가, S707 의 처리로 산출된 평가 스코어가 지금까지의 평가 스코어와 비교하여 최대인지 여부를 판정한다. 최대인 것으로 판정한 경우에는 S711 의 처리로 이행하여 목표 위치 D715 를 평가 스코어가 최대인 것으로 판정한 Am(t) 으로 치환한다. 최대가 아닌 것으로 판정한 경우에는 S713 의 처리로 이행한다.
S713 의 처리에서는, 목표 위치 특정부 (15) 가, 후보가 마지막인지 여부를 판정한다. 마지막이 아닌 것으로 판정한 경우에는 S701 의 처리로 재차 이행한다. 이와 같이 모든 후보에 대해 처리를 실행할 때까지, S701 내지 S713 의 처리를 반복적으로 실행한다. 한편, 마지막인 것으로 판정한 경우에는, 평가 스코어가 최대인 것으로 판정한 Am(t) 을 목표 위치 D715 로 특정하고, 목표 위치 특정 처리를 종료하고 메인 루틴으로 이행한다.
다음으로, 컴퓨터 시스템을 동체 추적 장치 (1) 로서 기능시키기 위한 동체 추적 프로그램에 대해 설명한다. 컴퓨터 시스템의 구성은, 도 2 에 나타내는 바와 같다.
동체 추적 프로그램은, 메인 모듈, 입력 모듈 및 연산 처리 모듈을 구비한다. 메인 모듈은, 화상 처리를 통괄적으로 제어하는 부분이다. 입력 모듈은, 화상 프레임 내의 화상 데이터를 취득하도록 컴퓨터 시스템을 동작시킨다. 연산 처리 모듈은, 위치 정보 생성 모듈, 후보 위치 유지 모듈, 위치 예측 모듈, 후보 추출 모듈, 목표 위치 특정 모듈 및 동체 추적 모듈을 구비한다. 메인 모듈, 입력 모듈 및 연산 처리 모듈을 실행시킴으로써 실현되는 기능은, 동체 추적 장치 (1) 의 정보 입력부 (10), 위치 정보 생성부 (11), 후보 위치 유지부 (12), 위치 예측부 (13), 후보 추출부 (14), 목표 위치 특정부 (15) 및 동체 추적부 (16) 의 기능과 각각 동일하다.
동체 추적 프로그램은, 예를 들어, ROM 등의 기억 매체 또는 반도체 메모리에 의해 제공된다. 또, 동체 추적 프로그램은, 네트워크를 통하여 제공되어도 된다.
이상, 본 실시형태에 관련된 동체 추적 장치 (1) 에서는, 위치 정보 생성부 (11) 에 의해, 정보 입력부 (10) 로부터 입력된 화상 프레임 (제 2 화상 프레임) 내의 화상 데이터로부터 검출된 후보에 대한 정보로부터 각각의 후보의 위치 정보가 생성되고, 위치 예측부 (13) 에 의해, 당해 화상 프레임 (제 2 화상 프레임) 에서의 예측 위치가 산출되고, 후보 추출부 (14) 에 의해, 상기 예측 위치와 후보 위치 유지부 (12) 로부터 취득된 제 1 화상 프레임에서의 상위 후보로부터 제 2 화상 프레임에서의 정해진 수의 복수의 상위 후보가 산출되고, 후보 위치 유지부 (12) 로 출력되어 유지된다. 이와 같이, 각각의 화상 프레임에 대해 정해진 수의 복수의 상위 후보를 후보 위치 유지부 (12) 에 유지함으로써, 추적 목표가 되는 물체인 경기에 사용되고 있는 볼 이외에도 예비의 볼이나 바닥에 널려 있는 볼 등 추적 목표가 되는 물체 이외가 검출된다는 특징을 갖고 있는 환경 하에서 적절한 추적 목표가 되는 물체의 판별이 가능해진다.
또, 본 실시형태에 관련된 동체 추적 장치 (1) 에서는, 목표 위치 특정부 (15) 에 의해, 평가 스코어에 기초하여 상기 화상 프레임에 있어서의 상기 추적 목표인 물체의 위치 정보가 특정되고, 평가 스코어는 위치 스코어와 운동 스코어의 조합에 의해 정의된다. 동체 추적부 (16) 에 의해, 특정된 물체의 위치 정보를, 연속되는 상기 화상 프레임에 있어서 트레이스함으로써 상기 물체의 움직임이 추적된다. 이와 같이 주어진 환경 (예를 들어, 탁구) 에서의 위치 스코어와 운동 스코어의 조합에 의해 평가 스코어를 산출함으로써, 색채, 형상, 부분의 배치 등의 외관적으로 눈에 띄는 특징이 적은 점에서 복수의 후보가 검출되는 경우에 있어서, 추적 목표가 되는 물체를 고정밀도로 특정하는 것이 가능해진다.
실시예
본 실시형태에 관련된 동체 추적 장치 (1) 의 동작에 대한 설명에 있어서, 설명 이해의 용이성을 고려하여, 본 발명에 관련된 동체 추적 장치의 동작의 예로서, 탁구에 있어서의 볼을 추적하는 동체 추적 장치를 설명했지만, 이것을 실시예 1 로 하고, 실시예 1 에 대비하는 형태로, 배구에 있어서의 볼 추적의 예 (실시예 2), 야구의 투구에 있어서의 볼 추적의 예 (실시예 3), 골프에 있어서의 볼 추적의 예 (실시예 4) 를 설명한다.
실시예 1 과 실시예 2 내지 실시예 4 는, 본 실시형태에 관련된 동체 추적 장치 (1) 의 도 1 에 나타내는 구성은 동일하고, 도 2 에 나타내는 장치 (2) 로서 실현되는 점도 동일하다. 주어진 환경에 따른 조건이 상이하기 때문에, 처리의 내용이 상이하다. 구체적으로는, 다음의 점이 상이하다.
위치 정보 생성부 (11) 가 입력 정보부 (10) 로부터 입력된 위치 정보를 변환하는 처리에 적절한 좌표계가 상이하다.
위치 정보 생성부 (11) 가 위치 정보의 생성에 반영하는 동체의 추적에 영향을 주는 위치에 관한 조건이 상이하다. 예를 들어, 주어진 환경이 탁구이면 탁구대의 각 변과 높이를 나타내는 좌표를, 주어진 환경이 배구이면 코트의 각 변을 나타내는 좌표를, 위치에 관한 조건으로 한다.
위치 예측부 (13) 가 예측 위치를 산출하는 수학식이 상이하다. 고전역학 (뉴턴 역학) 에서의 운동 법칙과, 그것에 더하여 주어진 환경에 따른 특유의 정보인 운동 모델에 기초한 수학식으로 예측 위치를 산출한다.
목표 위치 특정부 (15) 가 위치 스코어를 산출하는 수학식이 상이하다. 위치 스코어는, 추적 목표가 되는 물체의 존재 확률 분포에 기초하여 스코어화한 것이다. 위치 스코어를 산출하는 구체적 수학식은 후술하지만, 주어진 환경마다의 생각하는 방식은 다음과 같다. 추적 목표가 되는 물체가 탁구의 볼인 경우, 탁구대의 상부는 볼의 존재 확률이 높기 때문에 위치 스코어는 크고, 탁구대의 하부는 볼의 존재 확률이 낮기 때문에 위치 스코어는 작아진다. 추적 목표가 되는 물체가 배구의 볼인 경우, 코트의 상부는 볼의 존재 확률이 높기 때문에 위치 스코어는 커진다. 추적 목표가 되는 물체가 야구 (투구) 의 볼인 경우, 피처 마운드로부터 홈 베이스를 연결하는 영역의 상부는 볼의 존재 확률이 높기 때문에 위치 스코어는 커진다. 추적 목표가 되는 물체가 골프의 볼인 경우, 볼의 타출 방향으로의 비거리가 볼의 높이보다 긴 경우에 위치 스코어를 산출한다.
목표 위치 특정부 (15) 가 운동 스코어를 산출하는 수학식이 상이하다. 주어진 환경에 있어서의 속도의 상한치를 정하여 상한치 이상의 속도의 물체에서는 운동 스코어를 작게 하고, 주어진 환경에 있어서는 물체가 반면 등에서 반사되는 경우에는 반사를 고려한 조건에 적합한 속도의 물체에 대해 운동 스코어를 높게 하고, 바닥면에 설치되어 있는 물체에서는 운동 스코어를 극단적으로 작게 하는 등으로 운동 스코어 산출의 수학식을 정한다.
운동 모델에 있어서의 상기 서술한 상이점에 대해, 실시예 1 내지 실시예 4 에 대해 표에 정리하였다. 실시예 1 을 표 1 에, 실시예 2 를 표 2 에, 실시예 3 을 표 3 에, 실시예 4 를 표 4 에 나타낸다. 운동 모델이란, 화상 데이터를 사용하여 추적하는 물체의 위치를 예측할 때에 이용하는 주어진 환경에 있어서의 물체의 운동에 대한 모델로서, 고전역학 (뉴턴 역학) 에서의 운동 법칙과, 그것에 더하여 고려해야 할 주어진 환경에 따른 특유의 정보로 이루어진다. 실시예 1 내지 실시예 4 에서의 추적 대상 (볼) 의 위치 예측에서는, 운동 법칙에 더하여 각각에 대응하는 표에 기재된 조건이 적용된 운동 모델이 된다.
Figure pat00001
Figure pat00002
Figure pat00003
Figure pat00004
(제 2 실시형태)
제 2 실시형태에 관련된 동체 추적 장치는, 제 1 실시형태에 관련된 동체 검출 장치 (1) 와 도 1 에 나타내는 구성은 동일하고, 도 2 에 나타내는 장치 (2) 로서 실현되는 점도 동일하다. 기능에 있어서, 제 1 실시형태에 관련된 동체 검출 장치 (1) 와 후보 추출부 (14) 의 기능이 상이한 것이다. 따라서, 후보 추출부 (14) 를 중심으로 설명하고, 제 1 실시형태와의 중복되는 설명은 생략한다.
제 2 실시형태에 관련된 후보 추출부 (14) 는, 위치 정보 생성부 (11) 로부터 입력된 화상 프레임 (제 2 화상 프레임) 내의 화상 데이터로부터 검출된 후보에 대한 위치 정보와, 위치 예측부 (13) 로부터 입력된 동일한 화상 프레임 (제 2 화상 프레임) 에서의 예측 위치 정보로부터 우도 스코어를 산출하는 기능을 갖고 있다. 후보 추출부 (14) 는, 우도 스코어의 산출에 필요한 예측 위치 정보를 위치 예측부 (13) 에 문의하여 취득하는 기능을 갖고 있다. 후보 추출부 (14) 는, 우도 스코어의 상위에서 정한 수의 후보를 상위 후보로 하여, 그 위치 정보를 목표 위치 특정부 (15) 에 출력하는 기능을 갖고 있다. 또, 후보 추출부 (14) 는, 상위 후보의 위치 정보 등을 후보 위치 유지부 (12) 에 출력하는 기능을 갖고 있다. 이들의 기능을 갖는 점은, 제 1 실시형태에 관련된 후보 추출부 (14) 와 동일하다.
제 2 실시형태에 관련된 후보 추출부 (14) 는, 상위 후보를 추출할 때에, 위치 예측부 (13) 가 예측 위치 정보의 산출의 기초로 한 화상 프레임 (제 1 화상 프레임) 에서의 후보가 동일한 예측 위치 정보에 기초하는 후보의 수에 상한을 정하는 기능을 갖고 있다. 이 점은, 제 1 실시형태에 관련된 후보 추출부 (14) 와 상이하다.
상기 서술한 상이점은, 도 6 에 나타내는 우도 스코어에 의한 후보 추출 처리 (S617) 의 상이에 의한 것이다. 도 8 은, 제 2 실시형태에 관련된 우도 스코어에 의한 후보 추출 처리 (S617) 에 대해 나타내는 플로 차트이다.
도 8 에 나타내는 바와 같이, 먼저, 후보 추출부 (14) 가, 초기치로서 n ＝ 1 을 설정한다 (S801).
S803 의 처리에서는, 후보 추출부 (14) 가, Am(t), Qn(t), Lmn(t) 의 조합을 데이터로서 취득한다. 후보 추출부 (14) 는, 우도 스코어 Lmn(t) 의 내림차순으로 데이터를 소트하고, Qn(t) 을 산출의 기초로 하는 데이터를 Lmn(t) 의 내림차순으로 배열한다.
S805 의 처리에서는, 후보 추출부 (14) 가, 우도 스코어에서 상위에서부터 자연수로 S 개까지를 Qn(t) 을 기초로 하는 후보로서 남긴다.
S807 의 처리에서는, 후보 추출부 (14) 가, Qn(t) 이 S407 의 처리로 얻어진 예측 후보의 마지막인지 여부를 판정한다. 예측 후보의 마지막이 아닌 것으로 판정한 경우에는, n 에 1 가산하는 처리 (S809) 후, S803 의 처리로 재차 이행한다. 이와 같이 모든 예측 후보에 대해 처리를 실행할 때까지, S803 내지 S807 의 처리를 반복적으로 실행한다. 한편, S807 의 처리에 있어서, 예측 후보의 마지막인 것으로 판정한 경우에는 S811 의 처리로 이행한다.
S811 의 처리에서는, 후보 추출부 (14) 가, S805 의 처리에서 남겨진 후보로부터 우도 스코어가 상위 N 개인 Am(t), Qn(t), Lmn(t) 의 조합을 상위 후보로서 추출한 후, 우도 스코어에 의한 후보 추출 처리를 종료하고 메인 루틴으로 이행한다.
도 9 는, 제 2 실시형태에 관련된 후보 추출부 (14) 가 실시하는 우도 스코어에 의한 후보 추출 처리 (S617) 를 모식적으로 나타낸 도면이다. 도 9 에서는, 예측 후보 Qn(t) 마다 각 열에 좌에서 우로 우도 스코어 Lmn(t) 의 내림차순으로 데이터가 배열되어 있다. S805 의 처리에서는, 후보 추출부 (14) 가, 우도 스코어에서 상위에서부터 자연수로 S 개까지를 Qn(t) 을 기초로 하는 후보로서 남기지만, 도 9 에서는, S ＝ 4 인 경우의 예시로서, 망점을 넣은 부분의 데이터를 후보로부터 제외하는 것을 나타내고 있다. S811 의 처리에서는, 후보 추출부 (14) 가, S805 의 처리로 남겨진 후보로부터 우도 스코어가 상위 N 개인 상위 후보를 추출하지만, 도 9 에서는, 망점을 넣지 않은 부분의 데이터 후보로부터 우도 스코어가 상위 N 개인 상위 후보를 추출하는 것에 상당한다.
제 2 실시형태에 관련된 후보 추출부 (14) 는, 도 9 의 설명과 같이, 각각의 예측 후보 Qn(t) 에 대해 균등하게 남긴 후보로부터 상위 후보를 추출하기 위하여, 특정의 예측 후보 Qn(t) 로의 치우침이 적어진다. 이로써, 유력한 후보의 부근에 존재하는 후보 이외에도 상위 후보가 남게 된다. 이 때문에, 예를 들어, 플레이어가 사용하는 볼의 변경 등에 의해 지금까지와는 다른 볼로의 추적 목표가 되는 물체가 변경된 경우나, 일시적으로 잘못 검출한 볼 이외의 물체를 추적한 경우 등에, 적정한 추적 목표가 되는 물체로 되돌아와 추적을 계속하는 것이 가능해진다.
(제 3 실시형태)
제 3 실시형태에 관련된 동체 추적 장치는, 제 1 실시형태에 관련된 동체 검출 장치 (1) 와 도 1 에 나타내는 구성은 동일하고, 도 2 에 나타내는 장치 (2) 로서 실현되는 점도 동일하다. 기능에 있어서, 제 1 실시형태에 관련된 동체 검출 장치 (1) 와 후보 추출부 (14) 의 기능이 상이한 것이다. 따라서, 후보 추출부 (14) 를 중심으로 설명하고, 제 1 실시형태와의 중복되는 설명은 생략한다.
제 3 실시형태에 관련된 후보 추출부 (14) 는, 위치 정보 생성부 (11) 로부터 입력된 화상 프레임 (제 2 화상 프레임) 내의 화상 데이터로부터 검출된 후보에 대한 위치 정보와, 위치 예측부 (13) 로부터 입력된 동일한 화상 프레임 (제 2 화상 프레임) 에서의 예측 위치 정보로부터 우도 스코어를 산출하는 기능을 갖고 있다. 후보 추출부 (14) 는, 우도 스코어의 산출에 필요한 예측 위치 정보를 위치 예측부 (13) 에 문의하여 취득하는 기능을 갖고 있다. 후보 추출부 (14) 는, 우도 스코어의 상위에서 정한 수의 후보를 상위 후보로 하여, 그 위치 정보를 목표 위치 특정부 (15) 에 출력하는 기능을 갖고 있다. 또, 후보 추출부 (14) 는, 상위 후보의 위치 정보 등을 후보 위치 유지부 (12) 에 출력하는 기능을 갖고 있다. 이들의 기능을 갖는 점은, 제 1 실시형태에 관련된 후보 추출부 (14) 와 동일하다.
제 3 실시형태에 관련된 후보 추출부 (14) 는, 상위 후보를 추출할 때에, 위치 예측부 (13) 가 예측 위치 정보의 산출의 기초로 한 화상 프레임 (제 1 화상 프레임) 의 후보의 전부에 대해, 우도 스코어가 임계치 이상이라는 조건 하에서, 각각을 기초로 한 적어도 하나의 제 2 화상 프레임에서의 후보를 추출하는 기능을 갖고 있다. 이 점은, 제 1 실시형태에 관련된 후보 추출부 (14) 와 상이하다.
상기 서술한 상이점은, 도 6 에 나타나는 우도 스코어에 의한 후보 추출 처리 (S617) 의 상이에 의한 것이다. 도 10a 및 도 10b 는, 제 3 실시형태에 관련된 우도 스코어에 의한 후보 추출 처리 (S617) 에 대해 나타내는 플로 차트이다.
도 10a 에 나타내는 바와 같이, 먼저, 후보 추출부 (14) 가, 초기치로서 n ＝ 1 을 설정한다 (S1001).
S1003 의 처리에서는, 후보 추출부 (14) 가, Am(t), Qn(t), Lmn(t) 의 조합을 데이터로서 취득한다. 후보 추출부 (14) 는, 우도 스코어 Lmn(t) 의 내림차순으로 데이터를 소트하고, Qn(t) 을 산출의 기초로 하는 데이터를 Lmn(t) 의 내림차순으로 배열한다.
S1005 의 처리에서는, 후보 추출부 (14) 가, S1003 의 처리로 생성된 Am(t), Qn(t), Lmn(t) 의 조합의 데이터 배열 (D1007) 을 출력한다.
S1009 의 처리에서는, 후보 추출부 (14) 가, Qn(t) 이 S407 의 처리로 얻어진 예측 후보의 마지막인지 여부를 판정한다. 예측 후보의 마지막이 아닌 것으로 판정한 경우에는, n 에 1 가산하는 처리 (S1011) 후, S1003 의 처리로 재차 이행한다. 이와 같이 모든 예측 후보에 대해 처리를 실행할 때까지, S1003 내지 S1009 의 처리를 반복적으로 실행한다. 한편, S1009 의 처리에 있어서, 예측 후보의 마지막인 것으로 판정한 경우에는, 도 10b 에 나타내는 S1013 의 처리로 이행한다.
도 10b 에 나타내는 바와 같이, 다시 후보 추출부 (14) 가, 초기치로서 n ＝ 1, j ＝ 1 을 설정한다 (S1013).
S1015 의 처리에서는, 후보 추출부 (14) 가, 데이터 배열 (D1007) 로부터 예측 후보 Qn(t) 에 대해 우도 스코어 Lmn(t) 의 내림차순으로 j 번째의 Am(t), Qn(t), Lmn(t) 의 조합의 데이터를 취득한다.
S1017 의 처리에서는, 후보 추출부 (14) 가, S1015 의 처리로 취득한 데이터에 대해 Lmn(t) 이 임계치 이상인지의 여부를 판정한다. 임계치 이상인 것으로 판정한 경우에는 S1015 의 처리로 취득한 Am(t), Qn(t), Lmn(t) 의 조합을 상위 후보로서 추출 (S1019) 한 후, S1021 의 처리로 이행한다. 한편, 임계치 이상이 아닌 것으로 판정한 경우에는, S1021 의 처리로 이행한다.
S1021 의 처리에서는, 후보 추출부 (14) 가, 지금까지 추출한 상위 후보의 수가 N 보다 작은지 여부를 판정한다. 상위 후보의 수가 N 보다 작은 것으로 판정한 경우에는 S1023 의 처리로 이행한다. 한편, 상위 후보의 수가 N 보다 작지 않은 것으로 판정한 경우에는, 우도 스코어에 의한 후보 추출 처리를 종료하고 메인 루틴으로 이행한다.
S1023 의 처리에서는, 후보 추출부 (14) 가, Qn(t) 이 S407 의 처리로 얻어진 예측 후보의 마지막인지 여부를 판정한다. 예측 후보의 마지막이 아닌 것으로 판정한 경우에는, n 에 1 가산하는 처리 (S1025) 후, S1017 의 처리로 재차 이행한다. 이와 같이 모든 예측 후보에 대해 처리를 실행할 때까지, S1017 내지 S1023 의 처리를 반복적으로 실행한다. 한편, S1013 의 처리에 있어서, 예측 후보의 마지막인 것으로 판정한 경우에는 S1027 의 처리로 이행한다.
S1027 의 처리에서는, 후보 추출부 (14) 가, j 가 데이터 배열 (D1007) 의 예측 후보 Qn(t) 에 대해 최후미인지 여부를 판정한다. j 가 예측 후보 Qn(t) 에 대해 최후미가 아닌 것으로 판정한 경우에는, j 에 1 가산하는 처리 (S1029) 후, S1017 의 처리로 재차 이행한다. 이와 같이 j 가 예측 후보 Qn(t) 에 대해 데이터 배열의 최후미에 이를 때까지, S1017 내지 S1027 의 처리를 반복적으로 실행한다. 한편, S1027 의 처리에 있어서, j 가 예측 후보 Qn(t) 에 대해 최후미인 것으로 판정한 경우에는, 우도 스코어에 의한 후보 추출 처리를 종료하고 메인 루틴으로 이행한다.
도 11 은, 제 3 실시형태에 관련된 후보 추출부 (14) 가 실시하는 우도 스코어에 의한 후보 추출 처리 (S617) 를 모식적으로 나타낸 도면이다. 도 11 에서는, 예측 후보 Qn(t) 마다 각 열에 좌에서 우로 우도 스코어 Lmn(t) 의 내림차순으로 데이터가 배열되어 있다. 도 10a 에 나타내는 S1001 내지 S1011 의 처리로 생성되는 데이터 배열 (D1007) 은, 도 11 에서 모식적으로 나타낸다. S1023 의 처리에서는 도 11 의 각 열에 대해 1 행째로부터 하방에, S1027 의 처리에서는 도 11 의 각 행에 대해 1 열째로부터 좌측으로 순서대로 이동하면서 S1017 의 처리로 우도 스코어가 임계치 이상인지의 판정을 실시한다. 도 11 에서는, 망점을 넣지 않은 부분이, 우도 스코어가 임계치 이상에 상당한다.
제 3 실시형태에 관련된 후보 추출부 (14) 는, 도 11 의 설명과 같이, 각각의 예측 후보 Qn(t) 에 대해 균등하게 남긴 후보로부터 상위 후보를 추출하기 위하여, 특정의 예측 후보 Qn(t) 로의 치우침이 적어진다. 또, 임계치보다 우도 스코어가 작은 후보는 상위 후보로 하지 않기 때문에, 가능성이 낮은 후보 (예를 들어, 도 11 의 Q3(t)) 를 배제할 수 있는 점에서 제 2 실시형태보다 우수하다. 이로써, 유력한 후보의 부근에 존재하는 후보 이외에도 상위 후보가 남게 된다. 이 때문에, 예를 들어, 플레이어가 사용하는 볼의 변경 등에 의해 지금까지와는 다른 볼로의 추적 목표가 되는 물체가 변경된 경우나, 일시적으로 잘못 검출한 볼 이외의 물체를 추적한 경우 등에, 적정한 추적 목표가 되는 물체로 되돌아와 추적을 계속하는 것이 보다 높은 정밀도로 가능해진다.
1 : 동체 추적 장치
10 : 정보 입력부
11 : 위치 정보 생성부
12 : 후보 위치 유지부
13 : 위치 예측부
14 : 후보 추출부
15 : 목표 위치 특정부
16 : 동체 검출부
2 : 동체 추적 장치를 구비하는 장치
21 : 카메라
22 : 검출부
23 : 표시부
201 : 중앙 연산 장치 (CPU)
202 : 입력 장치
203 : 출력 장치
204 : 주기억 장치 (RAM/ROM)
205 : 보조 기억 장치
301 : 추적 목표가 되는 물체 (경기에 사용되고 있는 볼)
302 : 목표가 아닌 물체 (예비의 볼)
303 : 목표가 아닌 물체 (바닥에 널려 있는 볼)
304 : 목표가 아닌 물체 (관객의 얼굴)

Claims (7)

  1. 화상 데이터를 사용하여 주어진 환경에서의 물체의 움직임을 추적하는 동체 추적 장치로서,
    화상 프레임 내의 상기 화상 데이터로부터 추적 목표의 후보가 되는 물체의 위치 정보를 생성하는 위치 정보 생성부와,
    상기 화상 프레임마다 추적 목표로서 적합한 상기 물체의 복수의 후보의 상기 위치 정보를 유지하는 후보 위치 유지부와,
    상기 후보 위치 유지부가 상기 위치 정보를 유지하는 제 1 화상 프레임의 상기 후보에 대해, 상기 주어진 환경에 따른 특유의 정보로서 좌표계, 상기 추적 목표가 존재하는 위치 조건, 상기 제 1 화상 프레임과 연속되는 제 2 화상 프레임에서의 예측 위치 산출식, 상기 추적 목표의 존재 확률 분포에 기초하는 위치 스코어 산출식 및 상기 추적 목표의 속도에 기초하는 운동 스코어 산출식으로부터 정해지는 운동 모델에 기초하여, 상기 제 2 화상 프레임에서의 예측 위치 정보를 산출하는 위치 예측부와,
    상기 제 2 화상 프레임 내의 상기 화상 데이터로부터 상기 위치 정보 생성부에 의해 생성된 상기 위치 정보와, 상기 위치 예측부가 산출한 상기 제 2 화상 프레임에서의 상기 예측 위치 정보로부터 각각의 조합에 대해 위치의 일치도를 나타내는 우도 스코어를 산출하고, 상기 우도 스코어에 기초하여 상기 제 2 화상 프레임에서의 1 내지 2 이상의 상기 후보를 추출하고, 추출된 상기 후보의 위치 정보를 상기 후보 위치 유지부에 출력하는 후보 추출부와,
    상기 후보 추출부가 추출한 상기 후보의 위치 정보로부터, 상기 주어진 환경으로부터 정해지는 상기 운동 모델에 기초하여 산출된 위치 스코어와 운동 스코어의 조합으로부터 구해지는 상기 추적 목표로서의 적합성을 나타내는 평가 스코어에 기초하여, 상기 화상 프레임에 있어서의 상기 추적 목표인 상기 물체의 위치 정보를 특정하는 목표 위치 특정부와,
    상기 목표 위치 특정부에 의해 특정된 상기 물체의 위치 정보를, 연속되는 상기 화상 프레임에 있어서 트레이스함으로써 상기 물체의 움직임을 추적하는 동체 추적부를 구비하는 것을 특징으로 하는 동체 추적 장치.
  2. 제 1 항에 있어서,
    상기 후보 추출부는, 상기 위치 예측부가 상기 예측 위치 정보의 산출의 기초로 한 상기 제 1 화상 프레임의 상기 후보가 동일한 상기 제 2 화상 프레임에서의 상기 물체의 후보의 수에 상한을 정하는, 동체 추적 장치.
  3. 제 1 항에 있어서,
    상기 후보 추출부는, 상기 제 1 화상 프레임의 상기 후보의 전부에 대해 각각을 기초로 한 적어도 하나의 상기 제 2 화상 프레임에서의 상기 후보를 추출하는, 동체 추적 장치.
  4. 제 3 항에 있어서,
    상기 후보 추출부는, 상기 우도 스코어가 임계치 이상이 아닌 상기 제 2 화상 프레임에서의 상기 후보에 대해서는 상기 후보로부터 제외하는, 동체 추적 장치.
  5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    추적의 목표인 상기 물체가 구기에 있어서의 볼인, 동체 추적 장치.
  6. 화상 데이터를 사용하여 주어진 환경에서의 물체의 움직임을 추적하는 동체 추적 방법으로서,
    화상 프레임 내의 상기 화상 데이터로부터 추적 목표의 후보가 되는 물체의 위치 정보를 생성하는 위치 정보 생성 스텝과,
    상기 화상 프레임마다 추적 목표로서 적합한 상기 물체의 복수의 후보의 상기 위치 정보를 유지하는 후보 위치 유지 스텝과,
    상기 후보 위치 유지 스텝에서 상기 위치 정보를 유지하는 제 1 화상 프레임의 상기 후보에 대해, 상기 주어진 환경에 따른 특유의 정보로서 좌표계, 상기 추적 목표가 존재하는 위치 조건, 상기 제 1 화상 프레임과 연속되는 제 2 화상 프레임에서의 예측 위치 산출식, 상기 추적 목표의 존재 확률 분포에 기초하는 위치 스코어 산출식 및 상기 추적 목표의 속도에 기초하는 운동 스코어 산출식으로부터 정해지는 운동 모델에 기초하여, 상기 제 2 화상 프레임에서의 예측 위치 정보를 산출하는 위치 예측 스텝과,
    상기 제 2 화상 프레임 내의 상기 화상 데이터로부터 상기 위치 정보 생성 스텝에서 생성된 상기 위치 정보와, 상기 위치 예측 스텝에서 산출한 상기 제 2 화상 프레임에서의 상기 예측 위치 정보로부터 각각의 조합에 대해 위치의 일치도를 나타내는 우도 스코어를 산출하고, 상기 우도 스코어에 기초하여 상기 제 2 화상 프레임에서의 1 내지 2 이상의 상기 후보를 추출하고, 추출된 상기 후보의 위치 정보를 후보 위치 유지부에 출력하는 후보 추출 스텝과,
    상기 후보 추출 스텝에서 추출한 상기 후보의 위치 정보로부터, 상기 주어진 환경으로부터 정해지는 상기 운동 모델에 기초하여 산출된 위치 스코어와 운동 스코어의 조합으로부터 구해지는 상기 추적 목표로서의 적합성을 나타내는 평가 스코어에 기초하여, 상기 화상 프레임에 있어서의 상기 추적 목표인 상기 물체의 위치 정보를 특정하는 목표 위치 특정 스텝과,
    상기 목표 위치 특정 스텝에서 특정된 상기 물체의 위치 정보를, 연속되는 상기 화상 프레임에 있어서 트레이스함으로써 상기 물체의 움직임을 추적하는 동체 추적 스텝을 구비하는 것을 특징으로 하는 동체 추적 방법.
  7. 컴퓨터를, 화상 데이터를 사용하여 주어진 환경에서의 물체의 움직임을 추적하도록 기능시키는 컴퓨터 판독가능 저장 매체에 저장된 동체 추적 프로그램으로서,
    화상 프레임 내의 상기 화상 데이터로부터 추적 목표의 후보가 되는 물체의 위치 정보를 생성하는 위치 정보 생성부,
    상기 화상 프레임마다 추적 목표로서 적합한 상기 물체의 복수의 후보의 상기 위치 정보를 유지하는 후보 위치 유지부,
    상기 후보 위치 유지부가 상기 위치 정보를 유지하는 제 1 화상 프레임의 상기 후보에 대해, 상기 주어진 환경에 따른 특유의 정보로서 좌표계, 상기 추적 목표가 존재하는 위치 조건, 상기 제 1 화상 프레임과 연속되는 제 2 화상 프레임에서의 예측 위치 산출식, 상기 추적 목표의 존재 확률 분포에 기초하는 위치 스코어 산출식 및 상기 추적 목표의 속도에 기초하는 운동 스코어 산출식으로부터 정해지는 운동 모델에 기초하여, 상기 제 2 화상 프레임에서의 예측 위치 정보를 산출하는 위치 예측부,
    상기 제 2 화상 프레임 내의 상기 화상 데이터로부터 상기 위치 정보 생성부에 의해 생성된 상기 위치 정보와, 상기 위치 예측부가 산출한 상기 제 2 화상 프레임에서의 상기 예측 위치 정보로부터 각각의 조합에 대해 위치의 일치도를 나타내는 우도 스코어를 산출하고, 상기 우도 스코어에 기초하여 상기 제 2 화상 프레임에서의 1 내지 2 이상의 상기 후보를 추출하고, 추출된 상기 후보의 위치 정보를 상기 후보 위치 유지부에 출력하는 후보 추출부,
    상기 후보 추출부가 추출한 상기 후보의 위치 정보로부터, 상기 주어진 환경으로부터 정해지는 상기 운동 모델에 기초하여 산출된 위치 스코어와 운동 스코어의 조합으로부터 구해지는 상기 추적 목표로서의 적합성을 나타내는 평가 스코어에 기초하여, 상기 화상 프레임에 있어서의 상기 추적 목표인 상기 물체의 위치 정보를 특정하는 목표 위치 특정부,
    상기 목표 위치 특정부에 의해 특정된 상기 물체의 위치 정보를, 연속되는 상기 화상 프레임에 있어서 트레이스함으로써 상기 물체의 움직임을 추적하는 동체 추적부로서 기능시키는 것을 특징으로 하는 컴퓨터 판독가능 저장 매체에 저장된 동체 추적 프로그램.
KR1020180115747A 2017-09-29 2018-09-28 동체 추적 장치, 동체 추적 방법, 동체 추적 프로그램 KR102078473B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2017-189397 2017-09-29
JP2017189397A JP6412998B1 (ja) 2017-09-29 2017-09-29 動体追跡装置、動体追跡方法、動体追跡プログラム

Publications (2)

Publication Number Publication Date
KR20190038409A true KR20190038409A (ko) 2019-04-08
KR102078473B1 KR102078473B1 (ko) 2020-02-17

Family

ID=63920550

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180115747A KR102078473B1 (ko) 2017-09-29 2018-09-28 동체 추적 장치, 동체 추적 방법, 동체 추적 프로그램

Country Status (4)

Country Link
US (1) US10909688B2 (ko)
JP (1) JP6412998B1 (ko)
KR (1) KR102078473B1 (ko)
CN (1) CN109584268B (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6659524B2 (ja) * 2016-11-18 2020-03-04 株式会社東芝 移動体追跡装置、表示装置および移動体追跡方法
JP6894707B2 (ja) * 2017-01-06 2021-06-30 キヤノン株式会社 情報処理装置およびその制御方法、プログラム
US10957068B2 (en) * 2017-01-06 2021-03-23 Canon Kabushiki Kaisha Information processing apparatus and method of controlling the same
JP6579727B1 (ja) * 2019-02-04 2019-09-25 株式会社Ｑｏｎｃｅｐｔ 動体検出装置、動体検出方法、動体検出プログラム
CN112955712A (zh) * 2020-04-28 2021-06-11 深圳市大疆创新科技有限公司 目标跟踪方法、设备及存储介质
US20220203166A1 (en) 2020-12-31 2022-06-30 Vrotein Inc. Putting guide system
CN114612522B (zh) * 2022-05-09 2023-01-17 广东金融学院 乒乓球运动参数检测方法、装置及乒乓球训练辅助系统
GB2623766A (en) 2022-10-25 2024-05-01 State Of Play Hospitality Ltd Tracking system

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008535038A (ja) * 2005-04-01 2008-08-28 ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド カメラによりシーンに関して取得された映像中の移動物体を追跡する方法
JP2008250999A (ja) * 2007-03-08 2008-10-16 Omron Corp 対象物追跡方法、対象物追跡装置および対象物追跡プログラム
JP2010257441A (ja) * 2009-04-21 2010-11-11 Nec Soft Ltd 人物追跡装置及び人物追跡方法並びに人物追跡処理プログラム
KR20120127618A (ko) 2010-01-27 2012-11-22 에이에스엠엘 홀딩 엔.브이. 공간 필터를 갖는 홀로그래픽 마스크 검사 시스템
KR20130094862A (ko) * 2011-03-10 2013-08-26 오므론 가부시키가이샤 대상물 추적 장치, 대상물 추적 방법 및 제어 프로그램
KR20160021143A (ko) 2013-06-19 2016-02-24 쳉두 유양 일렉트로메카니칼 프로덕트 디자인 씨오., 엘티디. 탄성 보호 케이스가 구비된 회전구조

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0795461A (ja) * 1993-09-25 1995-04-07 Sony Corp 目標追尾装置
US7035431B2 (en) * 2002-02-22 2006-04-25 Microsoft Corporation System and method for probabilistic exemplar-based pattern tracking
JP5213486B2 (ja) * 2008-03-14 2013-06-19 株式会社ソニー・コンピュータエンタテインメント 対象物追跡装置および対象物追跡方法
JP5635736B2 (ja) * 2009-02-19 2014-12-03 株式会社ソニー・コンピュータエンタテインメント 情報処理装置および情報処理方法
MX2012009579A (es) * 2010-02-19 2012-10-01 Toshiba Kk Sistema de rastreo de objetos en movimiento y metodo de rastreo de objetos en movimiento.
US8989448B2 (en) 2011-03-22 2015-03-24 Morpho, Inc. Moving object detecting device, moving object detecting method, moving object detection program, moving object tracking device, moving object tracking method, and moving object tracking program
JP5841390B2 (ja) * 2011-09-30 2016-01-13 セコム株式会社 移動物体追跡装置
DE102013204935A1 (de) * 2013-03-20 2014-09-25 Robert Bosch Gmbh Verfahren und Vorrichtung zum Erstellen einer Aufnahme eines gepulst aufleuchtenden Objekts
JP6273685B2 (ja) * 2013-03-27 2018-02-07 パナソニックＩｐマネジメント株式会社 追尾処理装置及びこれを備えた追尾処理システム並びに追尾処理方法
CN104794733B (zh) * 2014-01-20 2018-05-08 株式会社理光 对象跟踪方法和装置
WO2016021143A1 (ja) 2014-08-04 2016-02-11 パナソニック株式会社 移動体追跡方法および移動体追跡装置
JP6628494B2 (ja) * 2015-04-17 2020-01-08 Kddi株式会社 実空間情報によって学習する識別器を用いて物体を追跡する装置、プログラム及び方法
JP2016207140A (ja) * 2015-04-28 2016-12-08 Kddi株式会社 映像解析装置、映像解析方法、およびプログラム
CN107209854A (zh) * 2015-09-15 2017-09-26 深圳市大疆创新科技有限公司 用于支持顺畅的目标跟随的系统和方法
CN106920248A (zh) * 2017-01-19 2017-07-04 博康智能信息技术有限公司上海分公司 一种目标跟踪方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008535038A (ja) * 2005-04-01 2008-08-28 ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド カメラによりシーンに関して取得された映像中の移動物体を追跡する方法
JP2008250999A (ja) * 2007-03-08 2008-10-16 Omron Corp 対象物追跡方法、対象物追跡装置および対象物追跡プログラム
JP2010257441A (ja) * 2009-04-21 2010-11-11 Nec Soft Ltd 人物追跡装置及び人物追跡方法並びに人物追跡処理プログラム
KR20120127618A (ko) 2010-01-27 2012-11-22 에이에스엠엘 홀딩 엔.브이. 공간 필터를 갖는 홀로그래픽 마스크 검사 시스템
KR20130094862A (ko) * 2011-03-10 2013-08-26 오므론 가부시키가이샤 대상물 추적 장치, 대상물 추적 방법 및 제어 프로그램
KR20160021143A (ko) 2013-06-19 2016-02-24 쳉두 유양 일렉트로메카니칼 프로덕트 디자인 씨오., 엘티디. 탄성 보호 케이스가 구비된 회전구조

Also Published As

Publication number Publication date
JP2019066974A (ja) 2019-04-25
CN109584268A (zh) 2019-04-05
CN109584268B (zh) 2023-05-23
KR102078473B1 (ko) 2020-02-17
JP6412998B1 (ja) 2018-10-24
US20190122370A1 (en) 2019-04-25
US10909688B2 (en) 2021-02-02

Similar Documents

Publication Publication Date Title
KR20190038409A (ko) 동체 추적 장치, 동체 추적 방법, 동체 추적 프로그램
CN109522843B (zh) 一种多目标跟踪方法及装置、设备和存储介质
US10254845B2 (en) Hand gesture recognition for cursor control
JP6525453B2 (ja) オブジェクト位置推定システム、及びそのプログラム
CN110738101A (zh) 行为识别方法、装置及计算机可读存储介质
Hu et al. Recognising human-object interaction via exemplar based modelling
Deepa et al. Comparison of yolo, ssd, faster rcnn for real time tennis ball tracking for action decision networks
JP2020038440A (ja) 動作認識方法及び装置
Karmaker et al. Cricket shot classification using motion vector
JP2012178036A (ja) 類似度評価装置及び方法並びに類似度評価プログラム及びその記憶媒体
Hu et al. Exemplar-based recognition of human–object interactions
Ruan et al. Dynamic gesture recognition based on improved DTW algorithm
Zhu et al. Action recognition in broadcast tennis video using optical flow and support vector machine
Baumann et al. Action graph a versatile data structure for action recognition
Mishra et al. A feature weighting technique on SVM for human action recognition
Le et al. Openpose’s evaluation in the video traditional martial arts presentation
Siam et al. Human computer interaction using marker based hand gesture recognition
Tsatiris et al. Variance-based shape descriptors for determining the level of expertise of tennis players
Godoy et al. An HMM-based gesture recognition method trained on few samples
JP7216176B1 (ja) 画像解析システム、画像解析方法およびプログラム
US20230162501A1 (en) Image analysis system, image analysis method, and program
Patras et al. Body gesture validation using multi-dimensional dynamic time warping on Kinect data
Klempous et al. Neural networks classification for training of five German longsword mastercuts-a novel application of motion capture: analysis of performance of sword fencing in the historical European martial arts (HEMA) domain
Rangwala et al. Improving Sign Video Modeling Using Graph Neural Network
JP2018156544A (ja) 情報処理装置及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant