KR20200096426A

KR20200096426A - 동체 검출 장치, 동체 검출 방법, 동체 검출 프로그램

Info

Publication number: KR20200096426A
Application number: KR1020200010634A
Authority: KR
Inventors: 겐이치 하야시; 슌스케 남부; 스케 남부
Original assignee: 컨셉 주식회사
Priority date: 2019-02-04
Filing date: 2020-01-29
Publication date: 2020-08-12
Also published as: KR102344227B1; US11587240B2; CN111524086B; JP6579727B1; CN111524086A; US20200250839A1; JP2020126383A

Abstract

(과제) 화상 데이터를 사용한 동체의 추적에서, 화상 프레임 내의 화상으로부터 색채나 형상 등의 외관적으로 두드러진 특징이 적은 목표로 하는 동체의 검출에 있어서, 목표로 하는 동체의 화상과 배경 화상의 겹침이 크고, 또한, 서로의 색채가 동일하거나 혹은 가까운 등의 경우에는 목표로 하는 동체의 검출이 곤란하다는 과제를 해결한다.
(해결 수단) 목표로 하는 동체의 템플릿 화상과 목표의 후보 위치의 주변의 배경 화상을 중첩시킨 합성 화상을 생성하고, 합성 화상과 목표의 후보 위치의 주변의 화상을 대비하여 산출한 일치도에 기초하여 동체를 검출한다.

Description

동체 검출 장치, 동체 검출 방법, 동체 검출 프로그램{MOVING BODY DETECTING DEVICE, MOVING BODY DETECTING METHOD, AND MOVING BODY DETECTING PROGRAM}

본 발명은, 동체 검출 장치, 동체 검출 방법, 동체 검출 프로그램에 관한 것이다.

종래, 촬상된 화상 데이터를 사용하여 동체를 추적하는 장치가 알려져 있다. 이들 장치에서는, 색채나 형상 등의 외관적인 특징에 주목하여 목표로 하는 동체를 검출하여 추적하는 것 (WO2012/127618) 이 많지만, 일본 특허 제6412998호에는, 목표로 하는 동체에 외관적인 두드러진 특징이 적고, 또, 화상 프레임 내의 화상에 목표로 하는 동체와 동일한 화상이 복수 존재하는 경우라도, 고정밀도로 동체를 추적하는 장치가 기재되어 있다. 일반적으로, 색채나 형상 등의 외관적으로 두드러진 특징이 적은 동체 (예를 들어, 야구, 탁구 등의 볼 등) 는 외관적 특징에 의존하는 것에 의한 추적이 어렵다고 여겨진다.

간단한 개요

또, 색채나 형상 등의 외관적으로 두드러진 특징이 적은 동체의 화상으로부터의 검출에 있어서는, 이하에 서술하는 바와 같이 곤란성이 있다.

예를 들어, 목표로 하는 동체를 화상으로부터 검출할 때에, 목표로 하는 동체의 화상과 배경 화상의 겹침이 크고, 또한, 서로의 색채가 동일하거나 혹은 가까운 경우에는 목표로 하는 동체의 검출이 곤란하다고 여겨진다. 예를 들어, 야구나 탁구 등의 구기에서의 화상으로부터 목표로 하는 동체인 흰 볼을 검출하는 경우에 있어서, 흰 볼 (목표로 하는 동체의 화상) 과 흰 라인 (배경 화상) 의 겹침이 큰 경우 등, 흰 볼은 색채나 형상 등의 외관적으로 두드러진 특징이 적은 점에서 올바르게 검출하는 것이 어렵다.

전술한 바와 같은 경우에, 목표로 하는 동체를 검출하지 못하고 놓침으로써, 고정밀도로 동체를 추적하는 것이 곤란해진다.

본 개시에 있어서, 화상 데이터를 사용한 동체의 추적에서, 화상 프레임 내의 화상으로부터 색채나 형상 등의 외관적으로 두드러진 특징이 적은 목표로 하는 동체의 검출에 있어서의 곤란성을 저감시키고자 하는 것이다.

본 개시에 있어서, 동체 검출 장치는, 화상 데이터를 사용한 동체의 추적에 있어서 화상 프레임 내의 화상으로부터 목표로 하는 동체를 검출하는 동체 검출 장치로서, 상기 화상 프레임 내에서의 목표로 하는 동체의 후보 위치를 하나 내지 복수 예측하는 후보 위치 예측부와, 목표로 하는 동체의 템플릿 화상 (목표로 하는 동체에 상당하는 물체의 화상) 과 상기 후보 위치의 주변의 배경 화상을 중첩시킨 합성 화상을 생성하는 합성 화상 생성부와, 상기 합성 화상과 상기 후보 위치의 주변의 화상을 대비하여 일치도를 산출하는 일치도 산출부와, 상기 일치도에 기초하여 상기 화상 프레임 내의 화상으로부터 목표로 하는 동체를 검출하는 동체 검출부를 구비하는 것을 특징으로 한다.

본 개시에 있어서, 동체 검출 장치는, 화상 프레임 내의 화상으로부터 템플릿 화상을 하나 내지 복수 생성하여 템플릿 화상의 기초가 된 물체 (목표로 하는 동체에 상당) 의 위치의 정보와 함께 유지하는 템플릿 화상 생성부를 추가로 구비할 수 있다.

본 개시에 있어서, 동체 검출 장치에서는, 합성 화상 생성부는, 화상 프레임 내에서의 목표로 하는 동체의 후보 위치와 템플릿 화상의 기초가 된 물체의 위치의 정보로부터 산출되는 적절한 크기로 템플릿 화상을 확대 또는 축소하고 나서 후보 위치의 주변의 배경 화상을 중첩시킨 합성 화상을 생성할 수 있다.

본 개시에 있어서, 동체 검출 장치에서는, 합성 화상 생성부는, 템플릿 화상의 기초가 된 물체의 위치가 후보 위치로부터 가장 가까운 템플릿 화상과 후보 위치의 주변의 배경 화상을 중첩시킨 합성 화상을 생성할 수 있다.

본 개시에 있어서, 동체 검출 방법은, 화상 데이터를 사용한 동체의 추적에 있어서 화상 프레임 내의 화상으로부터 목표로 하는 동체를 검출하는 동체 검출 방법으로서, 상기 화상 프레임 내에서의 목표로 하는 동체의 후보 위치를 하나 내지 복수 예측하는 후보 위치 예측 스텝과, 목표로 하는 동체의 템플릿 화상과 상기 후보 위치의 주변의 배경 화상을 중첩시킨 합성 화상을 생성하는 합성 화상 생성 스텝과, 상기 합성 화상과 상기 후보 위치의 주변의 화상을 대비하여 일치도를 산출하는 일치도 산출 스텝과, 상기 일치도에 기초하여 상기 화상 프레임 내의 화상으로부터 목표로 하는 동체를 검출하는 동체 검출 스텝을 구비하는 것을 특징으로 한다.

본 개시에 있어서, 동체 검출 프로그램은, 화상 데이터를 사용한 동체의 추적에 있어서 화상 프레임 내의 화상으로부터 목표로 하는 동체를 검출하도록 컴퓨터를 기능시키는, 매체에 저장된 동체 검출 프로그램으로서, 상기 화상 프레임 내에서의 목표로 하는 동체의 후보 위치를 하나 내지 복수 예측하는 후보 위치 예측 스텝과, 목표로 하는 동체의 템플릿 화상과 상기 후보 위치의 주변의 배경 화상을 중첩시킨 합성 화상을 생성하는 합성 화상 생성 스텝과, 상기 합성 화상과 상기 후보 위치의 주변의 화상을 대비하여 일치도를 산출하는 일치도 산출 스텝과, 상기 일치도에 기초하여 상기 화상 프레임 내의 화상으로부터 목표로 하는 동체를 검출하는 동체 검출 스텝을 컴퓨터에 실행시키는 것을 특징으로 한다.

이상과 같이, 본 개시에 있어서, 화상 데이터를 사용한 동체의 추적에 있어서 화상 프레임 내의 화상으로부터 목표로 하는 동체를 검출할 수 있다.

도 1 은, 동체 검출 장치의 블록도이다.
도 2 는, 동체 검출 장치의 하드웨어 구성도이다.
도 3 은, 템플릿 화상 생성부의 동작에 의한 템플릿 화상의 생성을 모식적으로 나타낸 도면이다.
도 4 는, 목적으로 하는 화상 프레임에 있어서의 화상의 예를 모식적으로 나타낸 도면이다.
도 5 는, 목적으로 하는 화상 프레임에 있어서의 화상의 예를 모식적으로 나타낸 도면이다.
도 6 은, 동체 검출 장치의 동작을 나타내는 플로 차트이다.
도 7 은, 후보 위치 예측부가 실시하는 처리를 모식적으로 나타낸 도면이다.
도 8 은, 합성 화상 생성부가 실시하는 처리를 모식적으로 나타낸 도면이다.
도 9 는, 템플릿 화상과 가공 템플릿 화상의 관계를 나타내는 도면이다.
도 10 은, 일치도 산출부가 실시하는 처리를 모식적으로 나타낸 도면이다.

실시예의 상세한 설명

본 개시에 있어서, 실시형태에 대해 도면을 참조하여 설명한다. 또한, 중복되는 설명은 생략하고, 각 도면에 있어서 동일 또는 상당 부분에는 동일한 부호를 붙인다.

본 실시형태에 있어서, 동체 검출 장치는, 화상 데이터를 사용한 동체의 추적에 있어서 화상 프레임 내의 화상으로부터 목표로 하는 동체를 검출하는 동체 검출 장치이다. 본 실시형태에 있어서, 동체 검출 장치는, 예를 들어, 야구, 탁구 등의 구기에 있어서 볼의 움직임을 추적하는, 정해진 필드 내에 있어서 운동 법칙에 따라 운동하는 색채나 형상 등의 외관적으로 두드러진 특징이 적은 동체를 고정밀도로 추적하는 장치에 있어서의 목표로 하는 동체의 검출에 바람직하게 채용되는 것이다. 이것은 예시로서, 구기에만 적용을 한정하는 것은 아니다.

도 1 은, 동체 검출 장치 (1) 의 블록도이다. 동체 검출 장치 (1) 는, 단독으로 장치로서 구성되는 형태뿐만 아니라, 화상 데이터를 사용한 동체 추적 장치 등 다른 장치에 장착되어 사용되는 형태여도 된다. 동체 검출 장치 (1) 를 장착하는 다른 장치는, 예를 들어, 스마트 폰, 정보 휴대 단말, 디지털 카메라, 게임 단말, 텔레비전 등의 전화 제품이어도 된다. 동체 검출 장치 (1) 는, 도 2 에 나타내는 바와 같이, 물리적으로는, 중앙 연산 장치 (CPU) (201), 입력 장치 (202), 출력 장치 (203), 주기억 장치 (RAM/ROM) (204), 보조 기억 장치 (205) 를 포함하는 컴퓨터로서 구성된다.

동체 검출 장치 (1) 의 각 기능은, 도 2 에 나타내는 중앙 연산 장치 (CPU) (201), 주기억 장치 (RAM/ROM) (204) 등에 화상 프레임 내의 화상으로부터 목표로 하는 동체를 검출하도록 컴퓨터를 기능시키는 프로그램을 판독 입력시킴으로써, 중앙 연산 장치 (CPU) (201) 의 제어에 의해 입력 장치 (202), 출력 장치 (203) 를 동작시킴과 함께, 주기억 장치 (RAM/ROM) (204), 보조 기억 장치 (205) 와 데이터의 판독 기록을 실시함으로써 실현된다.

도 1 에 나타내는 바와 같이, 동체 검출 장치 (1) 는, 후보 위치 예측부 (101), 합성 화상 생성부 (102), 일치도 산출부 (103), 동체 검출부 (104), 및 템플릿 화상 생성부 (105) 를 구비하고 있다. 동체 검출 장치 (1) 에는, 외부로부터의 입력으로서, 카메라 등에 의해 촬상된 복수의 화상 또는 동영상이 연속하는 화상 프레임으로서 부여된다. 또, 동체 검출 장치 (1) 는, 외부에 대한 출력으로서, 화상 프레임에 있어서 목표로서 검출한 동체를 특정하기 위한 정보로서 목표로서 검출한 동체의 화상 프레임에서의 좌표를 출력한다. 또한, 출력 정보는, 화상 프레임에 있어서 목표로서 검출한 동체를 특정할 수 있는 정보이면 되므로, 좌표에만 한정하는 것은 아니다.

여기서, 연속하는 화상 프레임이란, 2 개의 화상 프레임 사이에 다른 화상 프레임이 존재하지 않는 상태로서, 반드시 화상 프레임 번호가 연속일 필요는 없다. 예를 들어, 2 개의 화상 프레임이 연속이라도, 원래 사이에 존재한 화상 프레임이 타임 랩스 처리되었기 때문에 화상 프레임 번호가 연속이 아닌 경우 등이 있다. 또, 연속하는 화상 프레임이란, 시각이 앞인 연속하는 화상 프레임이어도 되고, 시각이 뒤인 연속하는 화상 프레임이어도 된다. 시간의 흐름을 따르는 동체 추적을 실시하는 경우에는 시각이 앞인 연속하는 화상 프레임, 시간의 흐름을 거스르는 동체 추적을 실시하는 경우에는 시각이 뒤인 연속하는 화상 프레임이 된다.

후보 위치 예측부 (101) 는, 화상 프레임 내에서의 목표로 하는 동체의 후보 위치를 하나 내지 복수 예측한다. 후보 위치 예측부 (101) 는, 목표로 하는 동체의 후보 위치를 예측하는 화상 프레임 (이하, 목적으로 하는 화상 프레임) 에 연속하는 하나 내지 복수의 화상 프레임의 정보로부터, 목적으로 하는 화상 프레임 내에서의 목표로 하는 동체의 후보 위치를 하나 내지 복수 예측한다.

합성 화상 생성부 (102) 는, 템플릿 화상과 후보 위치 예측부 (101) 가 예측한 후보 위치의 주변의 배경 화상을 중첩시킨 합성 화상을 생성한다. 목표로 하는 동체의 템플릿 화상은, 본 실시형태에서는 템플릿 화상 생성부 (105) 에 의해 생성되지만, 본 개시에 있어서, 외부로부터의 입력에 의한 것이어도 되고, 미리 동체 검출 장치 (1) 에 부여되어 있는 것에 의한 것이어도 된다. 배경 화상이란, 목표로 하는 동체가 투영되어 있지 않은 (들어가 있지 않거나 또는 표시되어 있지 않은) 배경만의 화상이다. 배경 화상은, 목적으로 하는 화상 프레임에 연속하는 하나 내지 복수의 화상 프레임으로부터 생성해도 되고, 미리 동체 검출 장치 (1) 에 부여되어 있어도 된다. 주변이란, 후보 위치 예측부 (101) 가 예측한 후보 위치를 중심으로 한 정해진 범위로서, 일치도 산출부 (103) 에 있어서 일치도를 산출할 수 있을 정도의 범위를 말한다.

일치도 산출부 (103) 는, 합성 화상 생성부 (102) 가 생성한 합성 화상과 후보 위치 예측부 (101) 가 예측한 후보 위치의 주변의 화상을 대비하여 일치도를 산출한다. 여기서, 주변의 화상이란, 주변의 배경 화상과는 상이하게, 주변에 목표로 하는 동체가 존재하는 경우에는 그것도 포함하는 후보 위치의 주변의 화상이다. 일치도란, 합성 화상 생성부 (102) 가 생성한 합성 화상과 후보 위치 예측부 (101) 가 예측한 후보 위치의 주변의 화상에 대해 양자의 화소의 오차나 상관 계수 등으로부터 정량적으로 구해지는 일치의 정도이다. 일치도가 구해지면 산출의 방법은 불문한다. 예를 들어, 각 화소값의 2 승 오차를 합계한 값을 비교하는 SSD (Sum of Squared Difference) 법, 각 화소값의 오차의 절대값의 합의 값을 비교하는 SAD (Sum of Absolute Difference) 법, 각 화소값의 상관 계수를 비교하는 NCC (Normalized Cross-Correlation) 법 등이 있다.

동체 검출부 (104) 는, 일치도 산출부 (103) 가 산출한 일치도에 기초하여 목적으로 하는 화상 프레임 내의 화상으로부터 목표로 하는 동체를 검출한다. 목표로 하는 동체를 하나 검출하는 것이면, 일치도에 기초하여 가장 일치하고 있는 것으로 판정되는 동체를 목표로서 검출한다. 목표로 하는 동체에 대해 복수의 후보를 검출하는 것이면, 예를 들어, 일치도에 기초하여 가장 일치하고 있는 것으로 판정되는 것부터 순서대로 일정수를 목표로서 추출하는 방법, 일치도에 기초하여 일정한 조건을 만족시키지 않는 후보를 추출하는 목표로부터 제외하는 방법 등이 있다.

템플릿 화상 생성부 (105) 는, 화상 프레임 내의 화상으로부터 템플릿 화상을 하나 내지 복수 생성하여 유지한다. 도 3 은, 템플릿 화상 생성부 (105) 의 동작에 의한 템플릿 화상의 생성을 모식적으로 나타낸 도면이다. 동체 검출 장치 (1) 에 입력된 화상 프레임으로부터 템플릿 화상의 생성에 사용하는 화상 프레임 (31) 을 선택한다. 화상 프레임 (31) 의 선택은, 목표로 하는 동체의 화상이 선명한 화상 프레임이라는 조건 외에, 목표로 하는 동체가 배경과의 관계에 있어서 놓치기 쉬운 화상 프레임, 일광이나 조명의 쪼임 정도에 따라 목표로 하는 동체의 명도가 상이한 화상 프레임 등의 조건에 의한다. 화상 프레임 (31) 내의 화상으로부터 목표로 하는 화상 (여기서는 볼의 화상 (32)) 을 추출하여 템플릿 화상 (33) 을 생성한다. 예를 들어, 컴퓨터의 화면 상에 표시된 화상 프레임 (31) 내의 화상으로부터 마우스나 터치 펜 등으로 목표로 하는 화상 (32) 의 외측 가장자리를 지시함으로써 외측 가장자리에 둘러싸인 부분의 화상을 템플릿 화상 (33) 으로 하는 등의 방법에 의해 템플릿 화상 (33) 을 생성한다.

템플릿 화상 생성부 (105) 는, 템플릿 화상 (33) 의 기초가 된 목표로 하는 화상 (32) 의 위치의 정보를 모두 취득하고 템플릿 화상 (33) 과 연관지어 유지한다. 위치의 정보는, 미리 정해진 화상 프레임 내에서의 좌표계에 의한다. 예를 들어, 야구이면, 원점을 지면의 피처 마운드, X 축을 지면에 대해 상방을 향하여 수직 방향, Y 축을 피처 마운드로부터 홈 베이스 방향으로 취하는 2 차원 좌표계, 탁구이면, 원점을 탁구대의 중심으로부터 내린 수선과 플로어면의 교점, X 축을 탁구대의 장변 방향, Y 축을 탁구대의 단변 방향, Z 축을 탁구대에 대해 상방을 향하여 수직 방향으로 취하는 3 차원 좌표계를 취한다. 화상 프레임 내에서의 위치를 특정할 수 있으면 어떠한 좌표계인지는 불문하기 때문에, 본 실시형태의 방법에 한정하는 것은 아니다.

템플릿 화상 생성부 (105) 는, 템플릿 화상 (33) 을 하나 내지 복수 생성한다. 각각의 템플릿 화상 (33) 에 연관되는 위치의 정보를 유지하고 있기 때문에, 템플릿 화상 (33) 을 복수 생성함으로써 위치에 따른 차이 (예를 들어, 양지와 음지에 있어서의 목표로 하는 동체의 화상의 명도의 차이 등) 에 대응할 수 있다. 구체적인 방법은 후술한다.

또한, 전술한 바와 같이, 본 개시에 있어서, 템플릿 화상은 외부로부터의 입력에 의한 것이어도 되고, 미리 동체 검출 장치 (1) 에 부여되어 있는 것에 의한 것이어도 된다. 이 때, 템플릿 화상 (33) 과 동일하게 위치의 정보가 연관되어도 된다. 그 경우, 템플릿 화상 생성부 (105) 는 존재하지 않는다.

다음으로, 본 실시형태에 있어서, 동체 검출 장치 (1) 의 동작에 대해 설명한다. 또한, 설명 이해의 용이성을 고려하여, 이하에서는, 구기에 있어서의 흰 볼을 검출하는 동체 검출 장치의 동작을 예로 들어 설명한다. 예를 들어, 야구, 탁구 등이 이것에 해당한다.

여기서, 구기에 있어서 흰 볼을 검출하는 경우의 과제에 대해 재차 설명한다. 전술한 바와 같이, 구기에서의 화상에 있어서, 흰 볼 (목표로 하는 동체의 화상) 과 흰 라인 (배경 화상) 의 겹침이 큰 경우 등, 흰 볼은 색채나 형상 등의 외관적으로 두드러진 특징이 적은 점에서 검출이 어렵다.

도 4 는, 목적으로 하는 화상 프레임에 있어서의 화상의 예를 모식적으로 나타내고 있다. 도 4 는, 흰 볼 (목표로 하는 동체의 화상) 과 흰 라인 (배경 화상) 의 겹침이 큰 경우의 예이다. 도 4 에 나타내는 목적으로 하는 화상 프레임에 있어서의 화상에서는, 볼의 중심 좌표는 P40 이다. 파선은 볼의 외측 가장자리를 나타내는 것인데, 실제의 화상에서는 볼도 배경의 라인도 동일하게 백색이기 때문에 흰 볼의 외측 가장자리를 판별은 할 수 없다. 목표의 검출 수법이 목표의 형상적인 특징에 의해 검출하는 수법인 경우, 목표의 예측 위치의 좌표가 동일하게 P40 이었다고 해도 볼의 형상을 화상으로부터 판별할 수 없기 때문에 목표로서 검출할 수 없다.

도 5 는, 목적으로 하는 화상 프레임에 있어서의 화상의 예 (도 4 와는 다른 예) 를 모식적으로 나타내고 있다. 도 5 는, 흰 볼의 중심 좌표는 P50 으로서 볼의 외측 가장자리와 흰 라인은 겹쳐 있지 않은 경우의 예이다. 목표의 검출 수법이 목표의 색채나 모양 등의 특징에 의해 검출하는 수법인 경우, 목표의 예측 위치의 좌표가 P51 을 취하면 볼도 배경의 라인도 동일하게 백색이기 때문에 예측 위치의 좌표인 P51 에 목표가 존재하는 것으로 잘못 검출한다.

이와 같이, 화상을 사용한 동체의 추적에 있어서, 색채나 형상 등의 외관적으로 두드러진 특징이 적은 흰 볼은, 경기 필드의 흰 라인에 걸쳐질 때에 놓치기 쉽다. 동체 검출 장치 (1) 는, 이하에 설명하는 동작에 의해 이와 같은 과제를 해결한다.

도 6 은, 본 실시형태에 있어서, 동체 검출 장치 (1) 의 동작을 나타내는 플로 차트이다. 도 6 의 플로 차트에 따라 동체 검출 장치 (1) 의 동작을 설명한다.

동체 검출 장치 (1) 는, 목적으로 하는 화상 프레임에 대한 목표로 하는 동체의 검출을 실시하기 위한 정보가 외부로부터 입력됨으로써 동작을 개시한다. 동작의 개시는, 입력 후에 자동적이어도 되고, 명시적인 명령에 의한 것이어도 된다.

동체 검출 장치 (1) 가 동작을 개시하면, S601 의 처리의 개시 전에, 템플릿 화상 생성부 (105) 가 템플릿 화상 (D611) 을 생성한다. 생성의 방법은 전술한 바와 같다.

S601 의 처리에서는, 후보 위치 예측부 (101) 가, 목적으로 하는 화상 프레임에 연속하는 하나 내지 복수의 화상 프레임의 정보로부터, 목적으로 하는 화상 프레임 내에서의 목표로 하는 동체의 후보 위치를 하나 내지 복수 예측하는 처리를 실시하여, 목표로 하는 동체의 후보 위치의 좌표를 산출한다. 좌표의 산출은, 전술한 바와 같이, 미리 정해진 화상 프레임 내에서의 좌표계에 의한다.

도 7 은, S601 의 처리를 모식적으로 나타낸 도면이다. 도 7 을 참조하여, 후보 위치 예측부 (101) 가, 목적으로 하는 화상 프레임에 연속하는 하나 내지 복수의 화상 프레임의 정보로부터, 목적으로 하는 화상 프레임 내에서의 목표로 하는 동체의 후보 위치를 하나 내지 복수 예측하는 처리에 대해 설명한다. 또한, 본 개시에 있어서는, 예측 위치를 구하는 방법은 본 실시형태의 구하는 방법에 한정하는 것은 아니다.

t0 프레임과 t 프레임은 연속된 화상 프레임이다. Pn(t0) 은, t0 프레임에서의 목표로 하는 동체의 후보의 n 번째이다. Vn(t0) 은, Pn(t0) 의 속도이다. Qn(t) 는, t 프레임에서의 목표로 하는 동체의 예측 후보의 n 번째로서, Pn(t0) 을 기초로 한 t 프레임에서의 위치로서 예측된다. t 프레임에 있어서의 Pn(t0) 의 예측 위치는, Qn(t) ＝ Pn(t0) ＋ Vn(t0) 으로서 구해진다. 또, t 프레임에 있어서의 Pn(t0) 의 예측 위치는, Qn(t) ＝ Pn(t0) ＋ Vn(t0)·(t - t0) 으로 할 수도 있다.

또, t 프레임에 있어서의 Pn(t0) 의 예측 위치 Qn(t) 를 구하는 데에 있어서, 경기에 의한 목표로 하는 동체의 존재 위치에 대한 조건을 부가할 수도 있다. 예를 들어, 탁구에 있어서는 예측 위치의 Z 좌표의 값 Qn(t).z 가 탁구대의 높이보다 큰 값을 취하는 것을 조건으로 하는 등이다.

S603 의 처리에서는, 합성 화상 생성부 (102) 가, 목표로 하는 동체의 템플릿 화상 (D611) 과 S601 의 처리에서 예측한 후보 위치의 주변의 배경 화상을 중첩시킨 합성 화상을 생성하는 처리를 실시한다. 목표로 하는 동체의 템플릿 화상 (D611) 은, 템플릿 화상 생성부 (105) 에 의해 S603 의 처리에 앞서 생성되어 있다. S601 의 처리에서 목적으로 하는 화상 프레임 내에서의 목표로 하는 동체의 후보 위치를 복수 예측한 경우에는, S603 의 처리는 모든 예측 후보에 대해 실시된다 (S607).

도 8 은, S603 의 처리를 모식적으로 나타낸 도면이다. 도 8 을 참조하여, 합성 화상 생성부 (102) 가, 목표로 하는 동체의 템플릿 화상 (D611) 과 S601 의 처리에서 예측한 후보 위치의 주변의 배경 화상을 중첩시킨 합성 화상을 생성하는 처리에 대해 설명한다.

S603 의 처리에서는, 먼저, 합성 화상 생성부 (102) 가, 목표로 하는 동체의 템플릿 화상을 취득한다. 33 은, 목표로 하는 동체 (흰 볼) 의 템플릿 화상이다. 여기서 템플릿 화상 (33) 에 있어서의 볼의 반경의 값을 Ra 로 한다.

S603 의 처리에서는, 다음으로, 합성 화상 생성부 (102) 가, 취득한 목표로 하는 동체의 템플릿 화상 (33) 을 S601 의 처리에서 예측한 후보 위치의 주변의 배경 화상과 합성하기 위해서 적절한 크기로 확대 또는 축소한다. 81 은, S601 의 처리에서 예측한 후보 위치의 주변의 배경 화상과 합성하기 위해서 적절한 크기로 확대 또는 축소한 목표로 하는 동체의 템플릿 화상이다. 이하, 가공 템플릿 화상이라고 한다. 여기서 가공 템플릿 화상 (81) 에 있어서의 볼의 반경의 값을 Rb 로 한다. 본 실시예에 있어서, 템플릿 화상 (33) 을 적절한 크기로 확대 또는 축소한다란, 템플릿 화상 (33) 을 가로세로 모두 Rb/Ra 배하여 가공 템플릿 화상 (81) 을 생성하는 것이다.

도 9 는, 템플릿 화상 (33) 과 가공 템플릿 화상 (81) 의 관계를 나타내는 도면이다. 촬상하는 카메라 (91) 의 위치로부터 템플릿 화상 (33) 의 기초가 된 물체 (목표로 하는 동체에 상당) 의 위치까지의 거리를 La, 촬상하는 카메라 (91) 의 위치로부터 S601 의 처리에서 예측한 후보 위치까지의 거리를 Lb 로 한다. La ＜ Lb 라면 Ra ＞ Rb 가 되고, La ＞ Lb 라면 Ra ＜ Rb 가 된다. 합성 화상 생성부 (102) 는, Rb 를 산출함으로써 템플릿 화상 (33) 으로부터 가공 템플릿 화상 (81) 을 생성한다.

Ra 는, 화상 프레임 내의 화상으로부터 구해지고, La 와 Lb 는, 촬상하는 카메라 (91) 의 위치의 좌표, 템플릿 화상 (33) 의 기초가 된 물체의 위치의 좌표 및 S601 의 처리에서 예측한 후보 위치의 좌표로부터 산출된다. 카메라 (91) 의 위치에서 본 물체의 외관의 크기는 카메라 (91) 의 위치로부터의 거리에 반비례하기 때문에, 이들 값으로부터 Rb 는 다음의 식에 의해 유도된다.

Rb ＝ (La/Lb)·Ra

S603 의 처리에서는, 다음으로, 합성 화상 생성부 (102) 가, S601 의 처리에서 예측한 후보 위치의 주변의 배경 화상을 생성한다. 도 8 로 되돌아와, 82 는, S601 의 처리에서 예측한 후보 위치의 배경 화상의 주변이다. 도 8 에서는 흰 라인이 도시되어 있다. 본 실시형태에 있어서, 배경 화상은, 한 변이 K·Rb (K 는 정의 정수 (定數), K ＞ 2) 로서, 대각선의 교점의 좌표가 S601 의 처리에서 예측한 후보 위치 Qn(t) 가 되는 정방형이다. K 의 값은, 일치도 산출 처리 (S605) 에 있어서 일치도를 산출할 수 있을 정도의 범위가 되도록 설정한다. 도 8 은, K ＝ 6 으로 한 예를 나타내고 있다. 또한, 배경 화상의 주변의 정의는, 일치도 산출 처리 (S605) 에 있어서 일치도를 산출할 수 있을 정도의 범위가 되도록 설정하면 되므로, 본 실시형태에 한정하는 것은 아니다.

S603 의 처리에서는, 마지막으로, 합성 화상 생성부 (102) 가, 생성된 주변의 배경 화상 (82) 의 중심 (대각선의 교점) 에 목표로 하는 동체의 가공 템플릿 화상 (81) 의 중심이 일치하도록 합성 화상 (83) 을 생성한다. 또한, 도 8 에 있어서의 합성 화상 (83) 의 파선은 목표로 하는 동체의 가공 템플릿 화상 (81) 의 외측 가장자리를 나타내는 것으로서, 합성 화상에는 나타나지 않는다.

템플릿 화상 생성부 (105) 가 복수의 템플릿 화상 (D611) 을 생성하고 있는 경우에는, S603 의 처리에서는, 합성 화상 생성부 (102) 가 템플릿 화상 (D611) 의 기초가 된 물체의 위치가 후보 위치로부터 가장 가까운 템플릿 화상과 후보 위치의 주변의 배경 화상을 중첩시킨 합성 화상을 생성한다. 이로써, 템플릿 화상의 위치에 따른 차이 (예를 들어, 양지와 음지에 있어서의 목표로 하는 동체의 화상의 명도의 차이 등) 에 대응할 수 있다.

S605 의 처리에서는, 일치도 산출부 (103) 가, S603 의 처리에서 생성한 합성 화상과 S601 의 처리에서 예측한 후보 위치의 주변의 화상을 대비하여 일치도를 산출하는 처리를 실시한다. S601 의 처리에서 목적으로 하는 화상 프레임 내에서의 목표로 하는 동체의 후보 위치를 복수 예측한 경우에는, S605 의 처리는 모든 예측 후보에 대해 실시된다 (S607).

도 10 은, S605 의 처리를 모식적으로 나타낸 도면이다. 도 10 을 참조하여, 일치도 산출부 (103) 가, S603 의 처리에서 생성한 합성 화상과 S601 의 처리에서 예측한 후보 위치의 주변의 화상을 대비하여 일치도를 산출하는 처리에 대해 설명한다.

S605 의 처리에서는, 일치도 산출부 (103) 가, S601 의 처리에서 예측한 후보 위치의 주변의 화상을 생성한다. 1001 은, 목적으로 하는 화상 프레임 (t 프레임) 이다. 1002 는, t 프레임 (1001) 에 있어서의 S601 의 처리에서 예측한 시각 t 에 있어서의 후보 위치 Qn(t) 의 주변의 화상이다. 일치도 산출부 (103) 는, t 프레임 (1001) 으로부터 한 변이 KR (K 는 정의 정수, K ＞ 2) 로서, 대각선의 교점의 좌표가 S601 의 처리에서 예측한 시각 t 에 있어서의 후보 위치 Qn(t) 가 되는 정방형을 주변의 화상 (1002) 으로서 생성한다.

S605 의 처리에서는, 다음으로, 일치도 산출부 (103) 가, S603 의 처리에서 생성한 합성 화상 (83) 과 S601 의 처리에서 예측한 후보 위치의 주변의 화상 (1002) 을 대비하여 일치도를 산출한다. 일치도의 산출은, 각 화소값의 2 승 오차를 합계한 값을 비교하는 SSD (Sum of Squared Difference) 법, 각 화소값의 오차의 절대값의 합의 값을 비교하는 SAD (Sum of Absolute Difference) 법, 각 화소값의 상관 계수를 비교하는 NCC (Normalized Cross-Correlation) 법 등에 의해 실시한다. 또한, 일치도가 구해지면 산출의 방법은 본 실시형태의 방법에 한정하는 것은 아니다.

S601 의 처리에서 목적으로 하는 화상 프레임 내에서의 목표로 하는 동체의 후보 위치를 복수 예측한 경우에는, S603 및 S605 의 처리는 모든 예측 후보에 대해 실시된다. S607 은 그것을 위한 재귀 처리이다.

S609 의 처리에서는, 동체 검출부 (104) 가, S605 의 처리에서 산출한 일치도에 기초하여 목적으로 하는 화상 프레임 내의 화상으로부터 목표로 하는 동체를 검출한다. 목표로 하는 동체를 하나 검출하는 것이면, 일치도에 기초하여 가장 일치하고 있는 것으로 판정되는 동체를 목표로서 검출한다. 목표로 하는 동체에 대해 복수의 후보를 검출하는 것이면, 일치도에 기초하여 가장 일치하고 있는 것으로 판정되는 것부터 순서대로 일정수를 목표로서 추출하거나, 혹은, 일치도에 기초하여 일정한 조건을 만족시키지 않는 후보를 추출하는 목표로부터 제외한다. 또한, 목표로 하는 동체에 대해 복수의 후보를 검출하는 방법은 본 실시형태의 방법에 한정하는 것은 아니다.

동체 검출 장치 (1) 는, 목적으로 하는 화상 프레임에 대한 목표로 하는 동체의 검출을 실시한 후, 목표로서 검출한 동체를 특정하기 위한 목적으로 하는 화상 프레임에 있어서의 좌표를 출력하여 일련의 처리를 종료한다. 또한, 출력 정보는, 목적으로 하는 화상 프레임에 대해 목표로서 검출한 동체를 특정할 수 있는 정보이면 되고, 본 실시형태에 한정하는 것은 아니다.

다음으로, 컴퓨터를 동체 검출 장치 (1) 로서 기능시키기 위한 동체 검출 프로그램에 대해 설명한다. 컴퓨터의 구성은, 도 2 에 나타내는 바와 같다.

동체 검출 프로그램은, 메인 모듈, 입출력 모듈 및 연산 처리 모듈을 구비한다. 메인 모듈은, 화상 처리를 통괄적으로 제어하는 부분이다. 입출력 모듈은, 화상 프레임 내의 화상 데이터 등의 입력 정보의 취득이나, 목표로서 검출한 동체를 특정하기 위한 목적으로 하는 화상 프레임에 있어서의 좌표를 일련의 처리 후에 출력하도록 컴퓨터를 동작시킨다. 연산 처리 모듈은, 후보 위치 예측 모듈, 합성 화상 생성 모듈, 일치도 산출 모듈 및 동체 검출 모듈을 구비한다. 메인 모듈, 입출력 모듈 및 연산 처리 모듈을 실행시킴으로써 실현되는 기능은, 동체 검출 장치 (1) 의 후보 위치 예측부 (101), 합성 화상 생성부 (102), 일치도 산출부 (103), 동체 검출부 (104) 및 템플릿 화상 생성부 (105) 의 기능과 각각 동일하다.

동체 검출 프로그램은, 예를 들어, ROM 등의 기억 매체 또는 반도체 메모리에 의해 제공된다. 또, 동체 검출 프로그램은, 네트워크를 통하여 제공되어도 된다.

이상, 본 실시형태에 있어서, 동체 검출 장치 (1) 에서는, 목표로 하는 동체의 템플릿 화상과 목표의 후보 위치의 주변의 배경 화상을 중첩시킨 합성 화상을 생성하고, 합성 화상과 목표의 후보 위치의 주변의 화상을 대비하여 산출한 일치도에 기초하여 동체를 검출함으로써, 화상 프레임 내의 화상으로부터의 색채나 형상 등의 외관적으로 두드러진 특징이 적은 목표로 하는 동체의 검출에 있어서, 목표로 하는 동체의 화상과 배경 화상의 겹침이 크고, 또한, 서로의 색채가 동일하거나 혹은 가까운 등의 경우에서는 목표로 하는 동체의 검출이 곤란하다는 과제를 해결한다.

Claims

화상 데이터를 사용한 동체의 추적에 있어서 화상 프레임 내의 화상으로부터 목표로 하는 동체를 검출하는 동체 검출 장치로서,
상기 화상 프레임 내에서의 목표로 하는 동체의 후보 위치를 하나 내지 복수 예측하는 후보 위치 예측부와,
목표로 하는 동체의 템플릿 화상과 상기 후보 위치의 주변의 배경 화상을 중첩시킨 합성 화상을 생성하는 합성 화상 생성부와,
상기 합성 화상과 상기 후보 위치의 주변의 화상을 대비하여 일치도를 산출하는 일치도 산출부와,
상기 일치도에 기초하여 상기 화상 프레임 내의 화상으로부터 목표로 하는 동체를 검출하는 동체 검출부를 구비하는 것을 특징으로 하는 동체 검출 장치.
제 1 항에 있어서,
상기 화상 프레임 내의 화상으로부터 상기 템플릿 화상을 하나 내지 복수 생성하여 상기 템플릿 화상의 기초가 된 물체의 위치의 정보와 함께 유지하는 템플릿 화상 생성부를 추가로 구비하는 것을 특징으로 하는 동체 검출 장치.
제 2 항에 있어서,
상기 합성 화상 생성부는, 상기 후보 위치와 상기 기초가 된 물체의 위치의 정보로부터 산출되는 적절한 크기로 상기 템플릿 화상을 확대 또는 축소하고 나서 상기 후보 위치의 주변의 배경 화상을 중첩시킨 합성 화상을 생성하는, 동체 검출 장치.
제 2 항 또는 제 3 항에 있어서,
상기 합성 화상 생성부는, 상기 기초가 된 물체의 위치가 상기 후보 위치로부터 가장 가까운 상기 템플릿 화상과 상기 후보 위치의 주변의 배경 화상을 중첩시킨 합성 화상을 생성하는, 동체 검출 장치.
화상 데이터를 사용한 동체의 추적에 있어서 화상 프레임 내의 화상으로부터 목표로 하는 동체를 검출하는 동체 검출 방법으로서,
상기 화상 프레임 내에서의 목표로 하는 동체의 후보 위치를 하나 내지 복수 예측하는 후보 위치 예측 스텝과,
목표로 하는 동체의 템플릿 화상과 상기 후보 위치의 주변의 배경 화상을 중첩시킨 합성 화상을 생성하는 합성 화상 생성 스텝과,
상기 합성 화상과 상기 후보 위치의 주변의 화상을 대비하여 일치도를 산출하는 일치도 산출 스텝과,
상기 일치도에 기초하여 상기 화상 프레임 내의 화상으로부터 목표로 하는 동체를 검출하는 동체 검출 스텝을 구비하는 것을 특징으로 하는 동체 검출 방법.
화상 데이터를 사용한 동체의 추적에 있어서 화상 프레임 내의 화상으로부터 목표로 하는 동체를 검출하도록 컴퓨터를 기능시키는, 매체에 저장된 동체 검출 프로그램으로서,
상기 화상 프레임 내에서의 목표로 하는 동체의 후보 위치를 하나 내지 복수 예측하는 후보 위치 예측 스텝과,
목표로 하는 동체의 템플릿 화상과 상기 후보 위치의 주변의 배경 화상을 중첩시킨 합성 화상을 생성하는 합성 화상 생성 스텝과,
상기 합성 화상과 상기 후보 위치의 주변의 화상을 대비하여 일치도를 산출하는 일치도 산출 스텝과,
상기 일치도에 기초하여 상기 화상 프레임 내의 화상으로부터 목표로 하는 동체를 검출하는 동체 검출 스텝을 컴퓨터에 실행시키는 것을 특징으로 하는 매체에 저장된 동체 검출 프로그램.