KR20210052314A

KR20210052314A - 궤도 산출 장치, 궤도 산출 방법, 궤도 산출 프로그램

Info

Publication number: KR20210052314A
Application number: KR1020200141593A
Authority: KR
Inventors: 겐이치 하야시; 슌스케 남부; 스케 남부
Original assignee: 컨셉 주식회사
Priority date: 2019-10-30
Filing date: 2020-10-28
Publication date: 2021-05-10
Also published as: JP2021071845A; US20210133983A1; JP6697150B1; CN112750153A; US11625836B2; KR102430369B1

Abstract

복수의 카메라가 동기화하여 촬상한 화상 데이터에 기초하여 동체의 삼차원 공간의 위치를 산출하는 경우, 동기화하는 기능을 내장하는 카메라나 복수의 카메라의 동기화하는 시스템 등 고기능의 기재나 시스템이 필요해진다. 또, 미리 카메라 위치를 높은 정밀도로 확정해 둘 것이 요구된다. 서로 비동기인 복수의 카메라로 촬상된 화상 데이터를 사용하여, 목표로 하는 동체의 삼차원 공간에서의 궤도의 산출을 가능하게 함으로써, 상기 과제를 해결한다. 또, 각각의 카메라의 화상 데이터에 공통으로 존재하는 위치 좌표가 결정되어 있는 복수의 기준점으로부터 각각의 카메라 위치를 산출함으로써, 상기 과제를 해결한다.

Description

궤도 산출 장치, 궤도 산출 방법, 궤도 산출 프로그램{TRAJECTORY CALCULATION DEVICE, TRAJECTORY CALCULATION METHOD, AND TRAJECTORY CALCULATION PROGRAM}

본 발명은, 궤도 산출 장치, 궤도 산출 방법, 궤도 산출 프로그램에 관한 것이다.

복수의 카메라로 촬상된 이차원의 화상 데이터를 사용하여 동체의 삼차원 공간의 위치를 산출하는 장치로서, 종래, 복수의 카메라가 동기화하여 촬상한 화상 (이하, 스테레오 화상) 데이터에 기초하여 동체의 삼차원 공간의 위치를 산출하는 장치가 알려져 있다. 예를 들어 일본 공개특허공보 평11-66319호나 일본 공개특허공보 2005-235104호에 기재된 장치 등이다.

또, 스테레오 화상 데이터로부터 동체의 연속된 삼차원 위치를 구함으로써 동체의 궤도를 산출할 수도 있다. 예를 들어, 일본 공개특허공보 2005-235104호 등이다.

그러나, 일본 공개특허공보 평11-66319호나 일본 공개특허공보 2005-235104호에 기재된 장치에 있어서는, 복수의 카메라가 동기화하여 촬상하고 있는 것이 필요해진다. 그 때문에, 실현시에는, 동기화하는 기능을 내장하는 카메라나 복수의 카메라에 대해 동기화하는 시스템 등 고기능의 기재 (機材) 나 시스템이 필요해진다. 또한, 동기화하기 위해서는 2 개의 카메라를 케이블 등으로 접속시킬 필요가 있는 점에서 카메라의 배치 위치에 제약이 생긴다.

또, 화상 데이터에 기초하여 동체의 삼차원 공간의 위치를 산출하기 위해서는, 촬상한 카메라의 삼차원 공간에서의 위치 정보 등이 필요하기 때문에, 미리 카메라 위치를 높은 정밀도로 확정해 둘 것이 요구된다. 촬상에 사용하는 설비에 고정적으로 설치된 위치가 측량되어 있는 카메라 (예를 들어, 스타디움 설비에 설치된 고정 카메라 등) 의 화상을 이용하는 것이 바람직하지만, 스포츠 등의 이벤트시에는, 카메라가 고정적으로 설치되어 있지 않은 설비나 야외 스페이스를 이용하는 경우는 많다. 이와 같은 경우, 카메라 위치의 측량이나 설치 공사 등의 비용을 억제하며 카메라를 설치할 것이 요구되기 때문에, 카메라 위치의 자유도를 높이면서, 카메라의 촬상 데이터만으로부터 동체의 삼차원 공간의 위치를 산출할 수 있는 것이 과제가 된다.

본 발명의 실시예에 있어서, 서로 비동기인 복수의 카메라로 촬상된 화상 데이터를 사용하여, 목표로 하는 동체의 삼차원 공간에서의 궤도의 산출을 가능하게 함으로써, 상기 과제를 해결한다. 그 때문에, 동기화하는 기능을 내장하는 카메라나 복수의 카메라의 동기화하는 시스템 등 고기능의 기재나 시스템이 불필요해진다.

또, 본 발명의 실시예에 있어서, 각각의 카메라의 화상 데이터에 공통으로 존재하는 삼차원 공간에서의 위치 좌표가 결정되어 있는 복수의 기준점으로부터 각각의 카메라의 삼차원 공간의 위치를 산출함으로써, 상기 과제를 해결한다. 그 때문에, 카메라 위치의 측량이나 설치 공사 등의 비용을 억제하면서, 카메라 위치의 자유도를 높이는 것이 가능해진다.

본 발명의 실시예에 관련된 궤도 산출 장치는, 상이한 위치에 설치된 서로 비동기인 복수의 카메라에서 선택된 2 개의 카메라의 화상 데이터를 사용하여, 촬상된 목표로 하는 동체의 삼차원 공간에서의 궤도를 산출하는 궤도 산출 장치로서,

카메라로 촬상된 화상 프레임 내의 화상 데이터로부터 목표로 하는 동체를 검출하고, 목표로 하는 동체의 화상 프레임에 있어서의 이차원 위치를 산출 가능한 이차원 위치 산출부와,

제 1 카메라로 촬상되고 이차원 위치 산출부에 의해 산출된 목표로 하는 동체의 이차원 위치와 제 1 카메라에 대한 삼차원 공간에서의 위치 좌표와 자세로부터, 제 1 카메라로 촬상된 연속되는 화상 프레임에 있어서의 목표로 하는 동체의 삼차원 위치와 제 1 카메라의 렌즈의 광학 중심점을 연결하여 구성되는 삼차원 평면을 존재면으로서 산출 가능한 존재면 산출부와,

제 2 카메라로 촬상되고 이차원 위치 산출부에 의해 산출된 목표로 하는 동체의 이차원 위치와 제 2 카메라에 대한 삼차원 공간에서의 위치 좌표와 자세로부터, 제 2 카메라로 촬상된 화상 프레임에 있어서의 목표로 하는 동체의 삼차원 위치와 제 2 카메라의 렌즈의 광학 중심점을 연결한 직선과, 존재면 산출부가 산출한 존재면이 교차하는 점으로부터 목표로 하는 동체의 삼차원 공간에서의 궤도를 산출하는 삼차원 궤도 산출부를 구비하는 것을 특징으로 한다.

또한, 본 명세서에 있어서, 카메라의 자세란, 목표로 하는 동체의 삼차원 공간에서의 궤도 산출에 필요한 카메라의 상태를 표현하는 파라미터의 조합을 말한다. 상세한 내용은, 후술하는 실시형태 중에서 설명한다. 본 명세서에 있어서는, 목표로 하는 동체의 삼차원 공간에서의 궤도 산출에 필요한 카메라의 상태를 표현할 수 있는 파라미터의 조합이면 되며, 후술하는 실시형태에 있어서의 파라미터의 조합에 한정하는 것은 아니다.

또, 본 발명의 실시예에 관련된 궤도 산출 장치는, 화상 프레임 내의 화상 데이터에 존재하는 삼차원 공간에서의 좌표가 결정되어 있는 복수의 기준점으로부터, 화상 데이터를 촬상한 카메라에 대한 삼차원 공간에서의 위치 좌표와 자세를 산출 가능한 카메라 정보 산출부를 구비하는 것을 특징으로 한다.

또한, 본 발명의 실시예에 관련된 궤도 산출 장치는, 카메라 정보 산출부가, 상이한 위치에 설치된 복수의 카메라에서 광축이 가장 수직에 가까운 2 개의 카메라를 제 1 카메라 및 제 2 카메라로서 선택하는 것을 특징으로 한다. 본 발명의 실시예에 관련된 궤도 산출 장치는, 카메라 정보 산출부가, 목표로 하는 동체의 운동 방향과 광축이 가장 수직에 가까운 카메라를 제 2 카메라로서 선택하는 것을 특징으로 한다. 이로써, 상이한 위치에 설치된 복수의 카메라에서 보다 정밀도가 높은 궤도 산출을 실시하는 카메라를 선정할 수 있다.

또, 본 발명의 실시예에 관련된 궤도 산출 방법에서는,

상이한 위치에 설치된 서로 비동기인 복수의 카메라에서 선택된 2 개의 카메라의 화상 데이터를 사용하여, 촬상된 목표로 하는 동체의 삼차원 공간에서의 궤도를 산출하는 궤도 산출 방법으로서,

카메라로 촬상된 화상 프레임 내의 화상 데이터로부터 목표로 하는 동체를 검출하고, 목표로 하는 동체의 화상 프레임에 있어서의 이차원 위치를 산출하는 이차원 위치 산출 스텝과,

제 1 카메라로 촬상되고 이차원 위치 산출 스텝에 의해 산출된 목표로 하는 동체의 이차원 위치와 제 1 카메라에 대한 삼차원 공간에서의 위치 좌표와 자세로부터, 제 1 카메라로 촬상된 연속되는 화상 프레임에 있어서의 목표로 하는 동체의 삼차원 위치와 제 1 카메라의 렌즈의 광학 중심점을 연결하여 구성되는 삼차원 평면을 존재면으로서 산출하는 존재면 산출 스텝과,

제 2 카메라로 촬상되고 이차원 위치 산출 스텝에 의해 산출된 목표로 하는 동체의 이차원 위치와 제 2 카메라에 대한 삼차원 공간에서의 위치 좌표와 자세로부터, 제 2 카메라로 촬상된 화상 프레임에 있어서의 목표로 하는 동체의 삼차원 위치와 제 2 카메라의 렌즈의 광학 중심점을 연결한 직선과, 존재면 산출 스텝에서 산출된 존재면이 교차하는 점으로부터 목표로 하는 동체의 삼차원 공간에서의 궤도를 산출하는 삼차원 궤도 산출 스텝을 구비하는 것을 특징으로 한다.

또, 본 발명의 실시예에 관련된 궤도 산출 방법에서는, 화상 프레임 내의 화상 데이터에 존재하는 삼차원 공간에서의 좌표가 결정되어 있는 복수의 기준점으로부터, 화상 데이터를 촬상한 카메라에 대한 삼차원 공간에서의 위치 좌표와 자세를 산출하는 카메라 정보 산출 스텝을 구비하는 것을 특징으로 한다.

본 발명의 실시예에 관련된 궤도 산출 프로그램에서는,

상이한 위치에 설치된 서로 비동기인 복수의 카메라에서 선택된 2 개의 카메라의 화상 데이터를 사용하여, 촬상된 목표로 하는 동체의 삼차원 공간에서의 궤도를 산출하도록 컴퓨터를 기능시키는 궤도 산출 프로그램으로서,

제 2 카메라로 촬상되고 이차원 위치 산출 스텝에 의해 산출된 목표로 하는 동체의 이차원 위치와 제 2 카메라에 대한 삼차원 공간에서의 위치 좌표와 자세로부터, 제 2 카메라로 촬상된 화상 프레임에 있어서의 목표로 하는 동체의 삼차원 위치와 제 2 카메라의 렌즈의 광학 중심점을 연결한 직선과, 존재면 산출 스텝에서 산출된 존재면이 교차하는 점으로부터 목표로 하는 동체의 삼차원 공간에서의 궤도를 산출하는 삼차원 궤도 산출 스텝을 컴퓨터에 실행시키는 것을 특징으로 한다.

또, 본 발명의 실시예에 관련된 궤도 산출 프로그램에서는, 화상 프레임 내의 화상 데이터에 존재하는 삼차원 공간에서의 좌표가 결정되어 있는 복수의 기준점으로부터, 화상 데이터를 촬상한 카메라에 대한 삼차원 공간에서의 위치 좌표와 자세를 산출하는 카메라 정보 산출 스텝을 구비하는 것을 특징으로 한다.

이상과 같이 본 발명의 실시예에 의하면, 전술한 과제를 해결하면서, 상이한 위치에 설치된 서로 비동기인 복수의 카메라에서 선택된 2 개의 카메라의 화상 데이터를 사용하여, 촬상된 목표로 하는 동체의 삼차원 공간에서의 궤도를 산출할 수 있다.

도 1 은, 궤도 산출 장치의 블록도이다.
도 2 는, 궤도 산출 장치의 하드웨어 구성도이다.
도 3 은, 실시예 1 에 관련된 궤도 산출 장치의 동작을 나타내는 플로 차트이다.
도 4 는, 목표로 하는 동체의 검출을 모식적으로 나타낸 도면이다.
도 5 는, 실시형태의 설명에서 사용하는 좌표계를 기술한 도면이다.
도 6 은, 도 5 에 있어서 삼차원 공간의 목표 (P) 를 카메라로 촬상한 모습을 나타낸 도면이다.
도 7 은, 야구에 있어서 투수가 던진 볼을 목표로 하는 동체로 하여 서로 비동기인 2 개의 카메라로 촬상한 모습을 모식적으로 나타낸 도면이다.
도 8 은, 존재면 산출 처리에 대해 설명하는 도면이다.
도 9 는, 제 2 카메라로 촬상된 화상 프레임에 있어서의 목표로 하는 동체의 이차원 위치와 존재면을 대응시키는 것에 대해 설명하는 도면이다.
도 10 은, 제 2 카메라로 촬상된 화상 프레임에 있어서의 목표로 하는 동체의 삼차원 위치와 제 2 카메라의 렌즈의 광학 중심점을 연결한 직선과, 대응된 존재면이 교차하는 점의 삼차원 좌표의 산출에 대해 설명하는 도면이다.
도 11 은, 실시예 2 에 관련된 궤도 산출 장치의 동작을 나타내는 플로 차트이다.

본 발명의 실시형태에 대해 도면을 참조하여 설명한다. 또한, 중복되는 설명은 생략하고, 각 도면에 있어서 동일 또는 상당 부분에는 동일한 부호를 붙인다.

본 실시형태에 관련된 궤도 산출 장치는, 상이한 위치에 설치된 서로 비동기인 복수의 카메라에서 선택된 2 개의 카메라의 화상 데이터를 사용하여, 촬상된 목표로 하는 동체의 삼차원 공간에서의 궤도를 산출하는 장치이다. 또한, 본 발명의 실시예에 있어서 화상 데이터는 촬상된 시각을 정보로서 수반하고 있다.

본 실시형태에 관련된 궤도 산출 장치는, 예를 들어, 야구, 탁구, 발리볼 등의 구기에 있어서의 볼과 같이 정해진 필드 내에 있어서 운동 법칙에 따라서 운동하는 동체의 궤도를 산출하는 장치로서 바람직하게 채용되는 것이다. 이것은 예시로서, 운동 경기에만 적용을 한정하는 것은 아니다.

도 1 은, 궤도 산출 장치 (1) 의 블록도이다. 궤도 산출 장치 (1) 는, 단독으로 장치로서 구성되는 형태 뿐만 아니라, 화상 데이터를 사용한 동체 추적 장치 등 다른 장치에 장착되어 사용되는 형태여도 된다. 궤도 산출 장치 (1) 를 장착하는 다른 장치는, 예를 들어, 스마트 폰, 정보 휴대 단말, 디지털 카메라, 게임 단말, 텔레비전 등의 전화 제품이어도 된다. 궤도 산출 장치 (1) 는, 도 2 에 나타내는 바와 같이, 물리적으로는, 중앙 연산 장치 (CPU) (201), 입력 장치 (202), 출력 장치 (203), 주기억 장치 (RAM/ROM) (204), 보조 기억 장치 (205) 를 포함하는 컴퓨터로서 구성된다.

궤도 산출 장치 (1) 의 각 기능은, 도 2 에 나타내는 중앙 연산 장치 (CPU) (201), 주기억 장치 (RAM/ROM) (204) 등에 화상 프레임 내의 화상으로부터 목표로 하는 동체의 궤도를 산출하도록 컴퓨터를 기능시키는 프로그램을 판독 입력시킴으로써, 중앙 연산 장치 (CPU) (201) 의 제어에 의해 입력 장치 (202), 출력 장치 (203) 를 동작시킴과 함께, 주기억 장치 (RAM/ROM) (204), 보조 기억 장치 (205) 와 데이터의 판독 기록을 실시함으로써 실현된다.

도 1 에 나타내는 바와 같이, 궤도 산출 장치 (1) 는, 이차원 위치 산출부 (101), 존재면 산출부 (102), 삼차원 궤도 산출부 (103), 및 카메라 정보 산출부 (104) 를 구비하고 있다. 궤도 산출 장치 (1) 에는, 외부로부터의 입력으로서, 상이한 위치에 설치된 서로 비동기인 복수의 카메라에 의해 촬상된 복수의 화상 또는 동영상으로부터 각각의 카메라마다의 연속되는 화상 프레임이 촬상한 시각과 함께 제공된다. 또, 궤도 산출 장치 (1) 는, 외부로의 출력으로서, 목표로 하는 동체의 삼차원 공간에서의 궤도를 출력한다. 또한, 출력 정보는, 목표로 하는 동체의 삼차원 공간에서의 궤도를 특정할 수 있는 정보이면 된다. 예를 들어, 목표로 하는 동체의 복수의 상이한 시각에 있어서의 삼차원 공간에서의 좌표나, 이들 좌표를 근사 (近似) 한 시간의 함수로서의 삼차원 곡선의 정보를 생각할 수 있다.

여기서, 연속되는 화상 프레임이란, 2 개의 화상 프레임의 사이에 다른 화상 프레임이 존재하지 않는 상태로서, 반드시 화상 프레임 번호가 연속일 필요는 없다. 예를 들어, 2 개의 화상 프레임이 연속이어도, 원래 사이에 존재했던 화상 프레임이 프레임 제거 처리되었기 때문에 화상 프레임 번호가 연속이 아닌 경우 등이 있다. 또, 연속되는 2 개의 화상 프레임은, 시간의 순서일 필요는 없고, 앞의 화상 프레임이 나중의 화상 프레임의 이후에 찍힌 화상 프레임이어도 된다. 시간의 흐름을 따른 동체 추적을 실시하는 경우에는, 먼저 찍은 화상 프레임이 연속되는 화상 프레임의 앞의 화상 프레임, 시간의 흐름을 거슬러 올라간 동체 추적을 실시하는 경우에는, 나중에 찍은 화상 프레임이 연속되는 화상 프레임의 앞의 화상 프레임이 된다.

또, 각각의 카메라마다의 연속되는 화상 프레임이므로, 연속되는 화상 프레임은, 상이한 위치에 설치된 서로 비동기인 복수의 카메라마다 독립적으로 존재한다.

도 1 의 블록도에 따라서, 궤도 산출 장치 (1) 의 각 블록의 기능을 설명한다. 또한, 각 블록의 상세한 동작에 대해서는, 실시예 중에서 후술한다.

이차원 위치 산출부 (101) 는, 입력된 화상 프레임 내의 화상 데이터로부터 목표로 하는 동체를 검출하고, 목표로 하는 동체의 화상 프레임에 있어서의 이차원 위치를 산출한다. 목표로 하는 동체의 화상 프레임에 있어서의 이차원 위치는, 미리 설정한 이차원 좌표로 정해진다.

존재면 산출부 (102) 는, 제 1 카메라로 촬상되고 이차원 위치 산출부 (101) 에 의해 산출된 목표로 하는 동체의 이차원 위치와 제 1 카메라에 대한 삼차원 공간에서의 위치 좌표와 자세로부터, 제 1 카메라로 촬상된 연속되는 화상 프레임에 있어서의 목표로 하는 동체의 삼차원 위치와 제 1 카메라의 렌즈의 광학 중심점을 연결하여 구성되는 삼차원 평면을 존재면으로서 산출한다.

여기서, 카메라에 대한 삼차원 공간에서의 위치 좌표와 자세란, 카메라의 위치를 삼차원계의 좌표로 나타낸 것과, 카메라의 배향 (혹은 방향) 을 회전 각도 파라미터로 나타낸 것을 각각 의미할 수 있다. 또, 카메라의 렌즈의 광학 중심점의 위치는, 본 명세서에서는, 그 카메라의 위치에 상당하며, 삼차원계의 좌표로 나타낼 수 있다. 또, 렌즈의 광학 중심점은, 렌즈에 있어서의 주점 (主點) 에 상당하는 것으로 생각할 수 있다. 얇은 렌즈 근사를 사용한 경우에 있어서, 주점은, 렌즈의 중심점에 상당해도 된다. 또, 주점을 통과하고, 광축에 수직인 면을 주평면 또는 주면이라고 한다.

삼차원 궤도 산출부 (103) 는, 제 2 카메라로 촬상되고 이차원 위치 산출부 (101) 에 의해 산출된 목표로 하는 동체의 이차원 위치와 제 2 카메라에 대한 삼차원 공간에서의 위치 좌표와 자세로부터, 제 2 카메라로 촬상된 화상 프레임에 있어서의 목표로 하는 동체의 삼차원 위치와 제 2 카메라의 렌즈의 광학 중심점을 연결한 직선과, 존재면 산출부 (102) 가 산출한 존재면이 교차하는 점으로부터 목표로 하는 동체의 삼차원 공간에서의 궤도를 산출한다.

카메라 정보 산출부 (104) 는, 화상 프레임 내의 화상 데이터에 존재하는 삼차원 공간에서의 좌표가 결정되어 있는 복수의 기준점으로부터, 화상 데이터를 촬상한 카메라에 대한 삼차원 공간에서의 위치 좌표와 자세를 산출한다. 카메라 정보 산출부 (104) 는, 카메라의 삼차원 공간에서의 위치 좌표와 자세가 사전에 제공되어 있지 않은 경우에 동작한다. 이 경우에 있어서의 카메라 정보 산출부 (104) 의 동작은, 실시예 2 로서 후술한다.

또, 카메라 정보 산출부 (104) 는, 산출한 정보를 기초로, 상이한 위치에 설치된 복수의 카메라에서, 보다 정밀도가 높은 궤도 산출을 실시하는 카메라를 선택한다. 상이한 위치에 설치된 복수의 카메라에서 광축이 가장 수직에 가까운 2 개의 카메라를 제 1 카메라 및 제 2 카메라로서 선택한다. 또, 목표로 하는 동체의 운동 방향과 광축이 가장 수직에 가까운 카메라를 제 2 카메라로서 선택한다.

다음으로, 본 실시형태에 관련된 궤도 산출 장치 (1) 의 동작에 대해 설명한다. 설명 이해의 용이성을 고려하여, 야구에 있어서 투수가 던진 볼을 목표로 하는 동체로 한 궤도 산출 장치 (1) 의 동작을 예로 들어 설명한다. 또한, 이것은 예시로서, 야구 내지 운동 경기에만 본 발명의 적용을 한정하는 것은 아니다.

실시예 1 에서는, 상이한 위치에 설치된 서로 비동기인 복수의 카메라에서 제 1 카메라 및 제 2 카메라가 선택되고, 제 1 카메라 및 제 2 카메라의 삼차원 공간에서의 삼차원 좌표계에 있어서의 위치 좌표와 자세가 사전에 제공되어 있는 경우의 궤도 산출 장치 (1) 의 동작에 대해 설명한다.

도 3 은, 실시예 1 에 관련된 궤도 산출 장치 (1) 의 동작을 나타내는 플로 차트이다. 도 3 의 플로 차트에 따라서 궤도 산출 장치 (1) 의 동작을 설명한다.

궤도 산출 장치 (1) 는, 제 1 카메라 및 제 2 카메라의 화상 프레임 내의 화상 데이터, 및 제 1 카메라 및 제 2 카메라의 삼차원 공간에서의 위치 좌표와 자세에 대한 정보가 외부로부터 입력됨으로써 동작을 개시한다. 동작의 개시는, 입력 후에 자동적이어도 되고, 명시적인 명령에 의한 것이어도 된다.

궤도 산출 장치 (1) 는, 동작을 개시하면, 이차원 위치 산출부 (101) 가 이차원 위치 산출 처리 (S301) 를 실행한다. 이차원 위치 산출 처리 (S301) 에서는, 입력된 제 1 카메라 및 제 2 카메라의 화상 프레임 내의 화상 데이터로부터 목표로 하는 동체를 검출하고, 목표로 하는 동체의 화상 프레임에 있어서의 이차원 위치가 산출된다. 또한, 이하는, 본 실시형태에 관련된 궤도 산출 장치 (1) 에서의 동작의 예로서, 화상 프레임 내의 화상 데이터로부터 목표로 하는 동체를 검출할 수 있으면 다른 동작이어도 되며, 이하의 동작에 한정하는 것은 아니다.

이차원 위치 산출 처리 (S301) 에서는, 목표로 하는 동체의 화상 (이하, 템플릿 화상) 과, 입력된 화상 프레임 내의 화상 데이터에 포함되는 목표로 하는 동체의 후보 화상을 대비하여, 위치에 따른 가중치를 부가한 일치도를 산출하고, 가장 일치하고 있는 것으로 판정되는 동체가 목표로서 검출된다.

도 4 는, 이차원 위치 산출 처리 (S301) 에서의, 템플릿 화상과 입력된 화상 프레임 내의 화상 데이터에 포함되는 목표로 하는 동체의 후보 화상을 대비하여 실시하는 목표로 하는 동체의 검출을 모식적으로 나타낸 도면이다. 이차원 위치 산출부 (101) 는, 야구의 볼의 템플릿 화상 (44) 과 형상이나 색채 등을 대비하여 화상 프레임 (41) 내의 화상 데이터에 포함되는 목표로 하는 동체의 후보 화상 (볼의 화상 (42) 이나 관객의 두부 (頭部) 의 화상 (43) 등) 을 추출한다.

이차원 위치 산출 처리 (S301) 에서는, 템플릿 화상 (44) 과 추출된 각각의 목표로 하는 동체의 후보 화상의 일치도를 산출한다. 일치도란, 템플릿 화상 (44) 과 추출된 각각의 목표로 하는 동체의 후보 화상에 대해 양자의 화소의 차이나 상관 계수 등으로부터 정량적으로 구해지는 일치의 정도이다. 일치도가 구해지면 산출 방법은 불문한다. 예를 들어, 각 화소값의 2 승 오차를 합계한 값을 비교하는 SSD (Sum of Squared Difference) 법, 각 화소값의 차이의 절대값의 합의 값을 비교하는 SAD (Sum of Absolute Difference) 법, 각 화소값의 상관 계수를 비교하는 NCC (Normalized Cross-Correlation) 법 등이 있다.

이차원 위치 산출 처리 (S301) 에서는, 추출된 목표로 하는 동체의 후보 화상에 대해 산출된 일치도에, 위치에 따른 가중치를 부가한다. 본 실시형태에 있어서 목표로 하는 동체 (투수가 던진 볼) 의 화상 프레임에서의 위치는, 투수와 포수의 사이일 확률이 높고, 시각과 함께 투수로부터 포수를 향하여 이동하고 있을 확률이 높은 점에서, 이차원 위치 산출부 (101) 는, 목표로 하는 동체의 존재 확률에 기초하여 산출된 위치에 따른 가중치를 부가한 일치도를 산출한다. 도 4 의 예에서는, 볼의 화상 (42) 은 관객의 두부의 화상 (43) 보다 목표로 하는 동체로서 위치에 따른 가중치를 부가한 일치도가 커진다. 이차원 위치 산출 처리 (S301) 에서는, 가장 일치하고 있는 것으로 판정되는 동체를 목표로서 검출한다.

이차원 위치 산출 처리 (S301) 에서는, 템플릿 화상 (44) 과 가장 일치하고 있는 것으로 판정하여 검출한 목표로 하는 동체 (야구의 볼의 화상 (42)) 의 화상 프레임에 있어서의 이차원 위치를 산출한다. 이차원 위치 산출 처리 (S301) 에서는, 동일한 카메라에 대해 모든 화상 프레임에서 공통의 이차원 좌표계를 설정한다. 도 4 에서는, 이차원 위치 산출부 (101) 가 uv 직교 좌표계를 설정한 예를 나타내고 있다. 도 4 에서는, 이차원 위치 산출 처리 (S301) 에 있어서, 템플릿 화상 (44) 과 가장 일치하고 있는 것으로 판정하여 검출한 목표로 하는 동체 (볼의 화상 (42)) 의 시각 t 에서의 화상 프레임에 있어서의 이차원 위치를 (ut, vt) 로 산출하고 있다.

이차원 위치 산출 처리 (S301) 에서는, 입력된 제 1 카메라 및 제 2 카메라의 화상 프레임 내의 화상 데이터에 대해 동일한 처리를 실시한다. 또한, 본 실시형태에서는, 야구에 있어서 투수가 던진 볼을 목표로 하기 때문에, 도 4 에서, 목표로 하는 동체 (볼의 화상 (42)) 의 화상 프레임에 있어서의 u 축 방향의 위치가 투수 (피처 플레이트의 U 좌표) 와 포수 (본루의 U 좌표) 의 사이에 있는 데이터만을 그 후의 처리에 이용한다. 이차원 위치 산출 처리 (S301) 에서는, 목표로 하는 동체 (볼의 화상 (42)) 의 화상 프레임에 있어서의 u 축 방향의 위치로부터 볼이 포수 (본루의 U 좌표) 에 도달한 것으로 판정하면, 투구 1 회분에 상당하는 기간에 검출한 목표로 하는 동체 (야구의 볼의 화상 (42)) 의 화상 프레임에 있어서의 이차원 위치를 각 화상 프레임이 촬상된 시각의 정보와 함께 존재면 산출 처리 (S302) 에 넘겨준다.

존재면 산출부 (102) 는, 이차원 위치 산출부 (101) 가 이차원 위치 산출 처리 (S301) 를 실행하여 제 1 카메라의 화상 프레임 내의 화상 데이터로부터 산출한 목표로 하는 동체의 화상 프레임에 있어서의 이차원 위치에 기초하여, 존재면 산출 처리 (S302) 를 실행한다. 존재면 산출 처리 (S302) 에서는, 제 1 카메라로 연속되는 화상 프레임에 촬상된 목표로 하는 동체의 삼차원 위치와 제 1 카메라의 렌즈의 광학 중심점을 연결하여 구성되는 평면이 존재면으로서 산출된다.

여기서, 본 실시형태의 설명에서 사용하는 좌표계에 대해 설명한다. 도 5 는, 본 실시형태의 설명에서 사용하는 좌표계를 기술한 도면이다.

본 실시형태에서는, 야구에 있어서 투수가 던진 볼의 궤도를 산출하기 위해 적합한 다음의 삼차원 직교 좌표계 ΣXYZ 를 삼차원 공간에 취한다. 본루를 원점 (501) 으로 하여, 본루로부터 투수의 투구 위치의 중앙 (피처 플레이트의 중앙) 을 향하는 방향을 Y 축의 정 (正) 의 방향으로 한다. 높이 방향을 Z 축으로 하여 상방을 정의 방향으로 한다. Y 축과 Z 축의 각각과 직교하고 일루측을 향하는 방향을 X 축의 정의 방향으로 한다.

또, 본 실시형태에서는, 상이한 위치에 설치된 서로 비동기인 복수의 카메라의 화상 데이터에 공통으로 존재하는 삼차원 좌표계에서의 좌표가 결정되어 있는 복수의 기준점으로서 다음의 점에 대해 삼차원 좌표를 설정한다.

본루 : (X, Y, Z) ＝ (0, 0, 0)

일루 : (X, Y, Z) ＝ (19.4, 19.4, 0)

이루 : (X, Y, Z) ＝ (0, 38.8, 0)

삼루 : (X, Y, Z) ＝ (-19.4, 19.4, 0)

이루 대신에 피처 플레이트의 중앙을 기준점으로 하는 것이어도 된다.

피처 플레이트의 중앙 : (X, Y, Z) ＝ (0, 18.44, 0.254)

이하, 설명에 있어서는, 본루, 일루, 이루, 삼루를 기준점으로 한 예로 설명한다.

또한, 이것은 예시로서, 삼차원 좌표계와 기준점의 설정을 이것에 한정하는 것은 아니다. 삼차원 좌표계와 기준점은, 궤도를 산출하는 목표로 하는 동체의 운동 특성에 맞춰 적합한 것으로 설정하는 것이 바람직하다.

좌표계 Σxyz 는, 카메라의 렌즈의 광학 중심점에 원점 (502) 을 갖는 삼차원 직교 좌표계이다. 좌표계 Σuv 는, 화상 프레임 (촬상 소자면) (504) 에 고정된 원점 (503) 을 갖는 이차원 직교 좌표계이다. 좌표계 Σuv 는, 좌표계 Σxyz 를 평행 이동한 좌표계로서, xy 좌표축과 uv 좌표축은 평행이다. 또, 좌표계 Σxyz 의 z 축과 화상 프레임 (504) 의 교점이 좌표계 Σuv 의 원점 (503) 이 된다. 좌표계 Σxyz 의 z 축은 화상 프레임 (504) 과 직교한다.

다음으로, 목표로 하는 동체의 삼차원 공간에서의 궤도 산출에 필요한 카메라의 상태를 표현하는 파라미터의 조합인 카메라의 자세에 대해 설명한다. 본 실시형태에서는, 카메라의 자세로서, 이른바 렌즈의 외부 파라미터인 로테이션을 취한다. 도 5 에 있어서, 로테이션이란, 좌표계 Σxyz 에서 좌표계 ΣXYZ 로 좌표 변환할 때의 3 축의 회전 각도 파라미터이다. 로테이션의 값을 결정함으로써, 렌즈의 광축이 정해진다. 도 5 에 있어서, 좌표계 Σxyz 의 z 축이 광축이다.

또, 실시예 1 에 있어서는, 이른바 렌즈의 내부 파라미터 (초점 거리, 렌즈의 변형) 는 이미 알려진 것으로 한다. 도 5 에 있어서, 카메라의 렌즈의 광학 중심점 (좌표계 Σxyz 의 원점 (502)) 과 좌표계 Σuv 의 원점 (503) 의 거리가 초점 거리가 된다. 또한, 렌즈의 변형이 결과에 영향을 미치는 경우에는, 변형을 제거한 화상을 생성하고, 이후의 처리는 변형 제거 후의 화상에 대하여 실시하는 것으로 한다. 변형 제거에는, 예를 들어, OpenCV 에서 공개되어 있는 변형 보정용의 함수를 사용할 수 있다.

또한, 도 6 을 사용하여, 화상 프레임에 있어서의 목표로 하는 동체의 삼차원 위치와 카메라의 렌즈의 광학 중심점을 연결하여 구성되는 삼차원 직선의 산출에 대해 설명한다.

도 6 은, 도 5 에 있어서 삼차원 공간의 목표 (P) 를 카메라로 촬상한 모습을 나타낸 도면이다. 삼차원 직교 좌표계 ΣXYZ 에 있어서의 목표 (P) 의 삼차원 위치를 P (X, Y, Z) 로 한다. 목표 (P) 는, 렌즈의 광학 중심점을 삼차원 직교 좌표계 Σxyz 의 원점 (502) 에 갖는 카메라로 화상 프레임 (504) 에 이미지 (P') 로서 촬상된다. 화상 프레임에서의 이차원 직교 좌표계 Σuv 에 있어서의 이미지 (P') 의 이차원 위치를 P' (u, v) 로 한다.

실시예 1 에서는, 삼차원 직교 좌표계 ΣXYZ 에서의 카메라의 위치 좌표와 자세가 사전에 제공되어 있는 점에서, 렌즈의 광학 중심점 (삼차원 직교 좌표계 Σxyz 의 원점 (502)) 의 삼차원 직교 좌표계 ΣXYZ 에 있어서의 위치를 P0 (X0, Y0, Z0) 으로 한다. 렌즈의 광학 중심점을 원점 (502) 으로 하는 삼차원 직교 좌표계 Σxyz 의 z 축이 광축에 해당한다. 광축은, 화상 프레임 (504) 과 직교하고, 그 교점은 화상 프레임에서의 이차원 직교 좌표계 Σuv 의 원점 (503) 이 된다. 원점 (503) 의 이차원 위치를 Q (u0, v0) 으로 한다. 삼차원 직교 좌표계 Σxyz 의 원점 (502) 과 이차원 직교 좌표계 Σuv 의 원점 (503) 의 거리가 초점 거리이며, 길이를 d 로 한다.

도 6 에 있어서, 렌즈의 광학 중심점을 원점 (502) 으로 하는 삼차원 직교 좌표계 Σxyz 에서 본 이미지 (P') 의 위치는, P' (u － u0, v － v0, d) 가 된다. 여기서, 비례 정수를 k, 렌즈의 광학 중심점을 원점 (502) 으로 하는 삼차원 직교 좌표계 Σxyz 에서 삼차원 공간에 있어서의 삼차원 직교 좌표계 ΣXYZ 로의 좌표 변환 행렬을 R 로 한다. 실시예 1 에서는 삼차원 공간에 있어서의 삼차원 직교 좌표계 ΣXYZ 에 있어서의 카메라의 위치 좌표와 로테이션 (좌표계 Σxyz 에서 좌표계 ΣXYZ 로 좌표 변환할 때의 3 축의 회전 각도 파라미터) 이 사전에 제공되어 있는 점에서, 좌표 변환 행렬 R 을 결정할 수 있다.

렌즈의 광학 중심점을 원점 (502) 으로 하는 삼차원 직교 좌표계 Σxyz 에 있어서, 렌즈의 광학 중심점 (원점 (502)) 과 이미지 (P') 와 목표 (P) 는 동일한 직선 상에 있는 점에서 다음의 식 (수학식 1) 이 성립된다.

P (X, Y, Z) ＝ P0 (X0, Y0, Z0) ＋ kRP' (u － u0, v － v0, d)

또한, 본 실시형태에서는, P' 의 X 요소 및 Y 요소인 u － u0 및 v － v0 은 이차원 위치 산출부 (101) 가 산출하는 이차원 위치의 좌표로부터 구할 수 있고, d 는 초점 거리로서 이미 알려진 것이다.

상기 식은, 삼차원 직교 좌표계 Σxyz 에 있어서의 렌즈의 광학 중심점과 이미지 (P') 와 목표 (P) 를 연결하는 삼차원 직교 좌표계 ΣXYZ 에 있어서의 직선의 식이다. 삼차원 직교 좌표계 Σxyz 의 원점 (502) 에 렌즈의 광학 중심점을 구비한 카메라로 목표 (P) 를 촬상하였을 때에, 화상 프레임 (504) 의 이미지 (P') 의 이차원 직교 좌표계 Σuv 에서의 이차원 좌표를 결정할 수 있으면, 상기 식을 산출할 수 있고, 삼차원 직교 좌표계 ΣXYZ 에 있어서 상기 식으로 나타내는 직선 상에 목표 (P) 가 존재한다.

존재면 산출부 (102) 의 동작 설명으로 되돌아온다. 존재면 산출부 (102) 는, 이차원 위치 산출 처리 (S301) 를 실행한 결과인 제 1 카메라 및 제 2 카메라의 화상 프레임 내의 화상 데이터로부터 산출된 목표로 하는 동체의 화상 프레임에 있어서의 이차원 위치가 좌표계 Σuv 의 요소로서 이차원 위치 산출부 (101) 로부터 넘겨진다.

도 7 은, 야구에 있어서 투수가 던진 볼을 목표로 하는 동체로 하여 서로 비동기인 2 개의 카메라로 촬상한 모습을 모식적으로 나타낸 도면이다. 711 은 제 1 카메라, 712 는 제 1 카메라의 화상 프레임, 721 은 제 2 카메라, 722 는 제 2 카메라의 화상 프레임이다. 또, 713 은 제 2 카메라의 화상 프레임 (722) 상의 제 1 카메라의 이미지, 723 은 제 1 카메라의 화상 프레임 (712) 상의 제 2 카메라의 이미지이다. Bt1, Bt2 및 Bt3 은, 각각 시각 t1, t2 및 t3 에 있어서의 투수가 던진 볼의 삼차원 위치이다. Bt1', Bt2' 및 Bt3' 는, 이차원 위치 산출부 (101) 로부터 넘겨진 화상 프레임 상의 Bt1, Bt2 및 Bt3 의 이미지의 이차원 위치이다.

제 1 카메라 (711) 와 제 2 카메라 (721) 는 비동기이기 때문에, 시각 t1 및 시각 t3 에 있어서는 제 1 카메라 (711) 가, 시각 t2 에 있어서는 제 2 카메라 (721) 가 촬상하고 있다. 또한, Bt1' 및 Bt3' 는, 시각 t1 및 시각 t3 의 별개의 화상 프레임 상에 있지만, 설명 이해의 용이성을 고려하여, 동일 화상 프레임 (712) 상에 이차원 위치를 나타내고 있다. 또, 여기서는 제 1 카메라 (711) 로 촬상한 시각 t1 및 시각 t3 에 있어서의 화상 프레임은 연속되어 있는 것으로 한다.

도 8 은, 존재면 산출부 (102) 가 실행하는 존재면 산출 처리 (S302) 에 대해 설명하는 도면이다. 존재면 산출 처리 (S302) 에서는, 제 1 카메라로 연속되는 화상 프레임에 촬상된 목표로 하는 동체의 삼차원 위치와 제 1 카메라의 렌즈의 광학 중심점을 연결하여 구성되는 평면이 존재면으로서 산출된다.

존재면 산출 처리 (S302) 에서는, 도 6 을 사용한 설명과 같이, 제 1 카메라 (711) 의 삼차원 공간에서의 위치 좌표와 자세 및 제 1 카메라 (711) 의 화상 프레임 (712) 상의 Bt1' (Bt1 의 이미지의 화상 프레임 (712) 상의 이차원 위치) 로부터 삼차원 공간에 있어서의 직선 (811) 이 산출된다. 존재면 산출 처리 (S302) 에서는, 동일하게 하여, Bt3' (Bt3 의 이미지의 화상 프레임 (712) 상의 이차원 위치) 로부터 삼차원 공간에 있어서의 직선 (813) 이 산출된다. 직선 (811) 과 직선 (813) 은 제 1 카메라의 렌즈의 광학 중심점에서 교차하기 때문에 직선 (811) 과 직선 (813) 사이에 놓인 평면이 존재면으로서 산출된다.

도 6 을 사용한 설명과 같이, 시각 t1 에 있어서의 투수가 던진 볼의 삼차원 위치 Bt1 은, 삼차원 공간에 있어서의 직선 (811) 상에 있다. 또, 시각 t3 에 있어서의 투수가 던진 볼의 삼차원 위치 Bt3 은, 삼차원 공간에 있어서의 직선 (813) 상에 있다. 투수가 던진 볼은 투수로부터 포수를 향하여 포물 운동을 취하는 점에서, t1 ＜ t2 ＜ t3 으로서, 시각 t2 에 있어서의 투수가 던진 볼의 삼차원 위치 Bt2 는, 직선 (811) 과 직선 (813) 사이에 놓인 존재면에 있을 확률이 크다.

존재면 산출 처리 (S302) 에서는, 이차원 위치 산출 처리 (S301) 로부터 넘겨진 제 1 카메라의 화상 프레임 내의 화상 데이터로부터 산출된 목표로 하는 동체의 연속되는 화상 프레임에 있어서의 이차원 위치의 조합으로부터 인접하는 복수의 존재면이 산출된다. 제 1 카메라의 렌즈의 광학 중심점 (711) 을 주축으로 하여 부채꼴로 복수의 존재면이 산출된다.

존재면 산출부 (102) 에 의한 존재면 산출 처리 (S302) 가 종료되면, 삼차원 궤도 산출부 (103) 가 삼차원 궤도 산출 처리 (S303) 를 개시한다. 삼차원 궤도 산출 처리 (S303) 는, 제 2 카메라로 촬상된 이차원 위치 산출 처리 (S301) 에 의해 산출된 목표로 하는 동체의 이차원 위치와 제 2 카메라에 대한 삼차원 공간에서의 위치 좌표와 자세로부터, 제 2 카메라로 촬상된 화상 프레임에 있어서의 목표로 하는 동체의 삼차원 위치와 제 2 카메라의 렌즈의 광학 중심점을 연결한 직선과, 존재면 산출 처리 (S302) 에 의해 산출된 존재면이 교차하는 점으로부터 목표로 하는 동체의 삼차원 공간에서의 궤도를 산출하는 처리이다.

삼차원 궤도 산출 처리 (S303) 에서는, 먼저, 제 2 카메라로 촬상된 화상 프레임에 있어서의 목표로 하는 동체의 이차원 위치와 존재면을 대응시킨다. 도 9 는, 제 2 카메라로 촬상된 화상 프레임에 있어서의 목표로 하는 동체의 이차원 위치와 존재면을 대응시키는 것에 대해 설명하는 도면이다.

도 9 에서, 제 2 카메라 (721) 로 촬상된 화상 프레임 (722) 의 직선 (911) 및 직선 (913) 은, 각각 존재면 산출 처리 (S302) 에서 산출된 삼차원 공간에 있어서의 직선 (811) 및 직선 (813) 의 사영 (射影) 이다. 도 9 에서는, 제 2 카메라 (721) 로 촬상된 화상 프레임 (722) 에서 Bt2' (제 2 카메라로 촬상된 화상 프레임 상의 Bt2 의 이미지의 이차원 위치) 가 직선 (911) 및 직선 (913) 사이에 놓인 위치 관계에 있다. 삼차원 궤도 산출 처리 (S303) 는, 이와 같은 관계에 있는 제 2 카메라 (721) 로 촬상된 화상 프레임 (722) 에 있어서의 목표로 하는 동체의 이차원 위치와 존재면의 조합을 추출한다.

또한, 삼차원 공간에 있어서의 직선 (911) 및 직선 (913) 으로부터 화상 프레임 (722) 의 직선 (811) 및 직선 (813) 으로의 사상 (寫像) 변환은, 실시예 1 에 있어서는, 카메라의 삼차원 공간에서의 위치 좌표와 자세가 사전에 제공되어 있기 때문에, 도 6 에 있어서의 삼차원 공간에 있어서의 삼차원 직교 좌표계 ΣXYZ 로부터, 렌즈의 광학 중심점을 원점으로 하는 삼차원 직교 좌표계 Σxyz 를 통하여, 화상 프레임에 있어서의 이차원 직교 좌표계 Σuv 로의 변환을 실시함으로써 실현할 수 있다.

삼차원 궤도 산출 처리 (S303) 에서는, 다음으로, 제 2 카메라로 촬상된 화상 프레임에 있어서의 목표로 하는 동체의 이차원 위치와 제 2 카메라에 대한 삼차원 공간에서의 위치 좌표와 자세로부터, 제 2 카메라로 촬상된 화상 프레임에 있어서의 목표로 하는 동체의 삼차원 위치와 제 2 카메라의 렌즈의 광학 중심점을 연결한 직선과, 대응된 존재면이 교차하는 점의 삼차원 좌표가 산출된다.

도 10 은, 제 2 카메라로 촬상된 화상 프레임에 있어서의 목표로 하는 동체의 삼차원 위치와 제 2 카메라의 렌즈의 광학 중심점을 연결한 직선과, 대응된 존재면이 교차하는 점의 삼차원 좌표의 산출에 대해 설명하는 도면이다.

도 10 에서, 직선 (1022) 은, 제 2 카메라로 촬상된 화상 프레임 (722) 에 있어서의 목표로 하는 동체의 삼차원 위치와 제 2 카메라의 렌즈의 광학 중심점 (721) 을 연결한 직선이다. 도 8 을 사용하여 설명한 직선 (811) 및 직선 (813) 의 산출과 동일하게 직선 (1022) 을 산출한다. 직선 (811) 과 직선 (813) 사이에 놓인 존재면과 직선 (1022) 은 모두 동일한 삼차원 좌표계 (도 6 에 있어서의 삼차원 공간에 있어서의 삼차원 직교 좌표계 ΣXYZ) 에서 산출되고, 삼차원 궤도 산출 처리 (S303) 에서는, 그 교차하는 점의 삼차원 좌표가 산출된다.

목표로 하는 투수가 던진 볼의 삼차원 위치 Bt2 는 직선 (1022) 에 존재한다. 한편, 전술한 바와 같이, 목표로 하는 투수가 던진 볼의 삼차원 위치 Bt2 는, 직선 (811) 과 직선 (813) 사이에 놓인 존재면에 있을 확률이 크다. 이러한 점에서 직선 (811) 과 직선 (813) 사이에 놓인 존재면과 직선 (1022) 이 교차하는 점의 삼차원 좌표는, 목표로 하는 투수가 던진 볼의 삼차원 위치 Bt2 와 매우 근접하다.

삼차원 궤도 산출 처리 (S303) 에서는, 이차원 위치 산출 처리 (S301) 에서 산출된 목표로 하는 동체의 제 2 카메라의 화상 프레임에 있어서의 이차원 위치의 전부에 대해, 제 2 카메라로 촬상된 화상 프레임에 있어서의 목표로 하는 동체의 삼차원 위치와 제 2 카메라의 렌즈의 광학 중심점을 연결한 직선과 대응하는 존재면이 교차하는 점의 삼차원 좌표를 산출한다.

삼차원 궤도 산출부 (103) 는, 산출한 목표로 하는 동체의 복수 시각에 있어서의 삼차원 공간에서의 좌표를 목표로 하는 동체의 궤도로서 출력하고, 삼차원 궤도 산출 처리 (S303) 를 종료한다. 혹은, 목표로 하는 동체의 복수 시각에 있어서의 삼차원 공간에서의 좌표를 근사한 삼차원 곡선의 정보를 목표로 하는 동체의 궤도로서 출력하고, 삼차원 궤도 산출 처리 (S303) 를 종료해도 된다. 본 실시형태의 야구에 있어서 투수가 던진 볼을 목표로 하는 동체로 하는 경우, 다항식에 의한 곡선 근사로 정밀도 높은 결과가 구해지는 것이 밝혀져 있다. 또한, 출력 정보는, 목표로 하는 동체의 삼차원 공간에서의 궤도를 특정할 수 있는 정보이면 되며, 본 실시형태에 한정하는 것은 아니다.

이상이 실시예 1 에 대한 설명이다.

실시예 2 에서는, 카메라의 삼차원 공간에서의 삼차원 좌표계에 있어서의 위치 좌표와 자세가 사전에 제공되어 있지 않은 경우의 궤도 산출 장치 (1) 의 동작에 대해 설명한다. 또, 상이한 위치에 설치된 서로 비동기인 복수의 카메라에서 제 1 카메라 및 제 2 카메라를 선택하는 궤도 산출 장치 (1) 의 동작에 대해 설명한다.

도 11 은, 실시예 2 에 관련된 궤도 산출 장치 (1) 의 동작을 나타내는 플로 차트이다. 도 11 의 플로 차트에 따라서 궤도 산출 장치 (1) 의 동작을 설명한다.

실시예 2 에서는, 카메라 정보 산출부 (104) 가 동작하는 점이 실시예 1 과 상이하다. 실시예 2 에서는, 카메라의 화상 프레임 내의 화상 데이터가 궤도 산출 장치 (1) 에 외부로부터 입력된 후, 궤도 산출 장치 (1) 가 동작을 개시하면, 먼저, 카메라 정보 산출부 (104) 가 카메라 정보 산출 처리 (S1101) 를 실행한다. 카메라 정보 산출 처리 (S1101) 는, 카메라 위치 산출 처리 (S1102) 와 카메라 선택 처리 (S1103) 로 이루어진다.

또한, 카메라 정보 산출부 (104) 가 카메라 정보 산출 처리 (S1101) 를 실행한 후의 궤도 산출 장치 (1) 의 동작은 실시예 1 과 동일하기 때문에, 실시예 2 에서는 카메라 정보 산출 처리 (S1101) 에 대해 설명한다.

먼저, 카메라 정보 산출 처리 (S1101) 중, 카메라 위치 산출 처리 (S1102) 에 대해 설명한다. 실시예 2 에서는, 카메라의 삼차원 공간에서의 삼차원 좌표계에 있어서의 위치 좌표와 자세가 사전에 제공되어 있지 않은 점에서, 카메라 위치 산출 처리 (S1102) 에서는, 화상 프레임 내의 화상 데이터에 존재하는 삼차원 공간에서의 좌표가 결정되어 있는 복수의 기준점으로부터, 카메라의 삼차원 공간에서의 삼차원 좌표계에 있어서의 위치 좌표와 자세가 산출된다. 또한, 카메라의 렌즈의 초점 거리 d 는 이미 알려진 것으로 한다.

전술한 바와 같이, 본 실시형태에서는, 상이한 위치에 설치된 서로 비동기인 복수의 카메라의 화상 데이터에 공통으로 존재하는 삼차원 좌표계에서의 좌표가 결정되어 있는 복수의 기준점으로서 다음의 점에 대해 삼차원 좌표를 설정한다.

본루 : (X, Y, Z) ＝ (0, 0, 0)

일루 : (X, Y, Z) ＝ (19.4, 19.4, 0)

이루 : (X, Y, Z) ＝ (0, 38.8, 0)

삼루 : (X, Y, Z) ＝ (-19.4, 19.4, 0)

전술한 바와 같이, 도 6 을 사용하여, 렌즈의 광학 중심점을 원점 (502) 으로 하는 삼차원 직교 좌표계 Σxyz 에 있어서, 렌즈의 광학 중심점 (원점 (502)) 과 이미지 (P') 와 목표 (P) 는 동일한 직선 상에 있는 점에서 다음의 식 (수학식 1) 을 구하였다.

P (X, Y, Z) ＝ P0 (X0, Y0, Z0) ＋ kRP' (u － u0, v － v0, d)

카메라 위치 산출 처리 (S1102) 에서는, 상기 수학식 1 에 있어서, d 는 이미 알려진 것이고, P (X, Y, Z) 를 각각의 기준점으로 하여, 삼차원 공간에서의 삼차원 직교 좌표계 ΣXYZ 에 있어서의 카메라의 위치 좌표와 자세가 산출된다. 구체적으로는, 상기 수학식 1 로부터 삼차원 직교 좌표계 ΣXYZ 에 있어서의 카메라의 렌즈의 광학 중심점 P0 (X0, Y0, Z0) 및 좌표 변환 행렬 R 을 구성하는 로테이션 (좌표계 Σxyz 에서 좌표계 ΣXYZ 로 좌표 변환할 때의 3 축의 회전 각도 파라미터) 이 산출된다.

또한, 삼차원 직교 좌표계 ΣXYZ 에 있어서의 카메라의 렌즈의 광학 중심점 P0 (X0, Y0, Z0) 및 좌표 변환 행렬 R 을 구성하는 로테이션 (좌표계 Σxyz 에서 좌표계 ΣXYZ 로 좌표 변환할 때의 3 축의 회전 각도 파라미터) 의 산출시에는, 미지의 요소의 수가 6 이고, 화상 프레임의 목표로 하는 동체의 이미지는 이차원 직교 좌표계 Σuv 의 요소로 제공되는 점에서, 기준점의 수는 3 이면 충분하다. 그러나, 기준점을 늘리는 것에 의한 산출 정밀도의 향상을 고려하여, 본 실시형태에서는, 기준점의 수를 4 로 하고 있다. 기준점의 수는 계측하고자 하는 공간이나 이용 가능한 기준점의 배치에 맞춰 적합한 수로 하는 것이 바람직하며, 기준점의 수를 4 에 한정하는 것은 아니다.

본 실시형태에 있어서는, 카메라 위치 산출 처리 (S1102) 에서는, 비선형 최소 이승법에 의해, 카메라의 삼차원 공간에서의 삼차원 좌표계에 있어서의 위치 좌표와 자세의 산출 처리를 실시한다. 또한, 이것은 예시로서, 처리 방법은 이것에 한정하는 것이 아니며, 카메라의 삼차원 공간에서의 삼차원 좌표계에 있어서의 위치 좌표와 자세를 높은 정밀도로 산출할 수 있으면 다른 처리 방법에 의한 것이어도 된다. 예를 들어, 높은 정밀도를 기대할 수 있는 LM 법 (Levenberg-Marquardt Method) 에 의한 산출, 기준점의 수를 늘려 DLT 법 (Direct Linear Transformation method) 에 의한 산출 등도 생각할 수 있다.

다음으로, 카메라 정보 산출 처리 (S1101) 중, 카메라 선택 처리 (S1103) 에 대해 설명한다. 카메라 선택 처리 (S1103) 에서는, 상이한 위치에 설치된 서로 비동기인 복수의 카메라에서 제 1 카메라 및 제 2 카메라가 선택되어 있지 않은 경우, 카메라의 광축과 목표로 하는 동체의 운동 방향으로부터 제 1 카메라 및 제 2 카메라가 선택된다. 본 실시형태에서는, 야구에 있어서 투수가 던진 볼을 목표로 하는 동체로 하기 때문에, 목표로 하는 동체의 운동 방향은 투수로부터 포수를 향한 방향으로 생각하면 되고, 도 5 에 나타내는 삼차원 공간에서의 삼차원 직교 좌표계 ΣXYZ 에 있어서의 Y 축과 일치한다.

카메라의 광축은, 도 5 에 나타내는 렌즈의 광학 중심점을 원점 (502) 으로 하는 삼차원 직교 좌표계 Σxyz 에 있어서의 z 축과 일치한다. 카메라 위치 산출 처리 (S1102) 에 의해 산출된 카메라의 삼차원 공간에서의 삼차원 좌표계에 있어서의 위치 좌표와 자세로부터 카메라의 광축을 구할 수 있다.

카메라 선택 처리 (S1103) 에서는, 상이한 위치에 설치된 복수의 카메라에서 광축이 가장 수직에 가까운 2 개의 카메라가 제 1 카메라 및 제 2 카메라로서 선택된다. 도 10 에 나타내는 바와 같이, 제 1 카메라 및 제 2 카메라의 광축이 수직에 가까울수록, 제 2 카메라로 촬상된 화상 프레임 (722) 에 있어서의 목표로 하는 동체의 삼차원 위치와 제 2 카메라의 렌즈의 광학 중심점 (721) 을 연결한 직선 (1022) 과, 직선 (811) 과 직선 (813) 사이에 놓인 존재면이 직교에 가까운 경향이 있는 것으로 생각되며, 직선 (1022) 과, 직선 (811) 과 직선 (813) 사이에 놓인 존재면의 교점을 높은 정밀도로 구할 수 있을 것으로 생각되기 때문이다.

카메라 선택 처리 (S1103) 에서는, 목표로 하는 동체의 운동 방향과 광축이 가장 수직에 가까운 카메라가 제 2 카메라로서 선택된다. 동일하게, 직선 (1022) 과, 직선 (811) 과 직선 (813) 사이에 놓인 존재면의 교점을 높은 정밀도로 구할 수 있을 것으로 생각되기 때문이다.

이상이 실시예 2 에 대한 설명이다.

다음으로, 컴퓨터를 궤도 산출 장치 (1) 로서 기능시키기 위한 궤도 산출 프로그램에 대해 설명한다. 컴퓨터의 구성은, 도 2 에 나타내는 바와 같다.

궤도 산출 프로그램은, 메인 모듈, 입출력 모듈 및 연산 처리 모듈을 구비한다. 메인 모듈은, 화상 처리를 통괄적으로 제어하는 부분이다. 입출력 모듈은, 화상 프레임 내의 화상 데이터 등의 입력 정보의 취득이나, 목표로서 검출한 동체를 특정하기 위한 목적으로 하는 화상 프레임에 있어서의 좌표를 일련의 처리 후에 출력하도록 컴퓨터를 동작시킨다. 연산 처리 모듈은, 이차원 위치 산출 모듈, 존재면 산출 모듈, 삼차원 궤도 산출 모듈 및 카메라 정보 산출 모듈을 구비한다. 메인 모듈, 입력 모듈 및 연산 처리 모듈을 실행시킴으로써 실현되는 기능은, 궤도 산출 장치 (1) 의 이차원 위치 산출부 (101), 존재면 산출부 (102), 삼차원 궤도 산출부 (103) 및 및 카메라 정보 산출부 (104) 의 기능과 각각 동일하다.

궤도 산출 프로그램은, 예를 들어, ROM 등의 기억 매체 또는 반도체 메모리에 의해 제공된다. 또, 궤도 산출 프로그램은, 네트워크를 통하여 제공되어도 된다.

이상, 본 실시형태에 관련된 궤도 산출 장치, 궤도 산출 방법 및 궤도 산출 프로그램은, 서로 비동기인 복수의 카메라로 촬상된 화상 데이터를 사용하여 목표로 하는 동체의 삼차원 공간에서의 궤도의 산출을 가능하게 함으로써, 동기화하는 기능을 내장하는 카메라나 복수의 카메라의 동기화하는 시스템 등 고기능의 기재나 시스템이 필요해진다는 과제를 해결한다. 또, 각각의 카메라의 화상 데이터에 공통으로 존재하는 삼차원 공간에서의 위치 좌표가 결정되어 있는 복수의 기준점으로부터 각각의 카메라의 삼차원 공간의 위치를 산출함으로써, 카메라 위치의 측량이나 설치 공사 등의 비용을 억제하면서, 카메라 위치의 자유도를 높일 것이 요망된다는 과제를 해결한다.

1 : 궤도 산출 장치
101 : 이차원 위치 산출부
102 : 존재면 산출부
103 : 삼차원 궤도 산출부
104 : 카메라 정보 산출부
201 : 중앙 연산 장치 (CPU)
202 : 입력 장치
203 : 출력 장치
204 : 주기억 장치 (RAM/ROM)
205 : 보조 기억 장치
41 : 화상 프레임
42 : 볼의 화상
43 : 관객의 두부의 화상
44 : 템플릿 화상
501 : 삼차원 직교 좌표계 ΣXYZ 의 원점
502 : 삼차원 직교 좌표계 Σxyz 의 원점 (카메라의 렌즈의 광학 중심점)
503 : 이차원 직교 좌표계 Σuv 의 원점
504 : 화상 프레임
711 : 제 1 카메라의 렌즈의 광학 중심점
712 : 제 1 카메라의 화상 프레임
713 : 제 2 카메라의 화상 프레임 상의 제 1 카메라의 이미지
721 : 제 2 카메라의 렌즈의 광학 중심점
722 : 제 2 카메라의 화상 프레임
723 : 제 1 카메라의 화상 프레임 상의 제 2 카메라의 이미지
811 : 제 1 카메라로 화상 프레임에 촬상된 목표로 하는 동체 (Bt1) 의 삼차원 위치와 제 1 카메라의 렌즈의 광학 중심점을 연결한 직선
813 : 제 1 카메라로 화상 프레임에 촬상된 목표로 하는 동체 (Bt2) 의 삼차원 위치와 제 1 카메라의 렌즈의 광학 중심점을 연결한 직선
911 : 삼차원 공간에 있어서의 직선 (811) 의 제 2 카메라의 화상 프레임으로의 사영
913 : 삼차원 공간에 있어서의 직선 (813) 의 제 2 카메라의 화상 프레임으로의 사영
1022 : 제 2 카메라로 화상 프레임에 촬상된 목표로 하는 동체 (Bt2) 의 삼차원 위치와 제 2 카메라의 렌즈의 광학 중심점을 연결한 직선

Claims

상이한 위치에 설치된 서로 비동기인 복수의 카메라에서 선택된 2 개의 카메라의 화상 데이터를 사용하여, 촬상된 목표로 하는 동체의 삼차원 공간에서의 궤도를 산출하는 궤도 산출 장치로서,
카메라로 촬상된 화상 프레임 내의 화상 데이터로부터 목표로 하는 동체를 검출하고, 상기 목표로 하는 동체의 상기 화상 프레임에 있어서의 이차원 위치를 산출하는 이차원 위치 산출부와,
제 1 카메라로 촬상되고 상기 이차원 위치 산출부에 의해 산출된 상기 목표로 하는 동체의 이차원 위치와 상기 제 1 카메라에 대한 상기 삼차원 공간에서의 위치 좌표와 자세로부터, 상기 제 1 카메라로 촬상된 연속되는 화상 프레임에 있어서의 상기 목표로 하는 동체의 삼차원 위치와 상기 제 1 카메라의 렌즈의 광학 중심점을 연결하여 구성되는 삼차원 평면을 존재면으로서 산출하는 존재면 산출부와,
제 2 카메라로 촬상되고 상기 이차원 위치 산출부에 의해 산출된 상기 목표로 하는 동체의 이차원 위치와 상기 제 2 카메라에 대한 상기 삼차원 공간에서의 위치 좌표와 자세로부터, 상기 제 2 카메라로 촬상된 화상 프레임에 있어서의 상기 목표로 하는 동체의 삼차원 위치와 상기 제 2 카메라의 렌즈의 광학 중심점을 연결한 직선과, 상기 존재면 산출부가 산출한 존재면이 교차하는 점으로부터 상기 목표로 하는 동체의 상기 삼차원 공간에서의 궤도를 산출하는 삼차원 궤도 산출부를 구비하는 것을 특징으로 하는 궤도 산출 장치.
제 1 항에 있어서,
화상 프레임 내의 화상 데이터에 존재하는 상기 삼차원 공간에서의 좌표가 결정되어 있는 복수의 기준점으로부터, 상기 화상 데이터를 촬상한 카메라에 대한 상기 삼차원 공간에서의 위치 좌표와 자세를 산출하는 카메라 정보 산출부를 구비하는 것을 특징으로 하는 궤도 산출 장치.
제 2 항에 있어서,
상기 카메라 정보 산출부가, 상이한 위치에 설치된 복수의 카메라에서 광축이 가장 수직에 가까운 2 개의 카메라를 상기 제 1 카메라 및 상기 제 2 카메라로서 선택하는 것을 특징으로 하는 궤도 산출 장치.
제 2 항 또는 제 3 항에 있어서,
상기 카메라 정보 산출부가, 상기 목표로 하는 동체의 운동 방향과 광축이 가장 수직에 가까운 카메라를 상기 제 2 카메라로서 선택하는 것을 특징으로 하는 궤도 산출 장치.
상이한 위치에 설치된 서로 비동기인 복수의 카메라에서 선택된 2 개의 카메라의 화상 데이터를 사용하여, 촬상된 목표로 하는 동체의 삼차원 공간에서의 궤도를 산출하는 궤도 산출 방법으로서,
카메라로 촬상된 화상 프레임 내의 화상 데이터로부터 목표로 하는 동체를 검출하고, 상기 목표로 하는 동체의 상기 화상 프레임에 있어서의 이차원 위치를 산출하는 이차원 위치 산출 스텝과,
제 1 카메라로 촬상되고 상기 이차원 위치 산출 스텝에 의해 산출된 상기 목표로 하는 동체의 이차원 위치와 상기 제 1 카메라에 대한 상기 삼차원 공간에서의 위치 좌표와 자세로부터, 상기 제 1 카메라로 촬상된 연속되는 화상 프레임에 있어서의 상기 목표로 하는 동체의 삼차원 위치와 상기 제 1 카메라의 렌즈의 광학 중심점을 연결하여 구성되는 삼차원 평면을 존재면으로서 산출하는 존재면 산출 스텝과,
제 2 카메라로 촬상되고 상기 이차원 위치 산출 스텝에 의해 산출된 상기 목표로 하는 동체의 이차원 위치와 상기 제 2 카메라에 대한 상기 삼차원 공간에서의 위치 좌표와 자세로부터, 상기 제 2 카메라로 촬상된 화상 프레임에 있어서의 상기 목표로 하는 동체의 삼차원 위치와 상기 제 2 카메라의 렌즈의 광학 중심점을 연결한 직선과, 상기 존재면 산출 스텝에서 산출된 존재면이 교차하는 점으로부터 상기 목표로 하는 동체의 상기 삼차원 공간에서의 궤도를 산출하는 삼차원 궤도 산출 스텝을 구비하는 것을 특징으로 하는 궤도 산출 방법.
제 5 항에 있어서,
화상 프레임 내의 화상 데이터에 존재하는 상기 삼차원 공간에서의 좌표가 결정되어 있는 복수의 기준점으로부터, 상기 화상 데이터를 촬상한 카메라에 대한 상기 삼차원 공간에서의 위치 좌표와 자세를 산출하는 카메라 정보 산출 스텝을 구비하는 것을 특징으로 하는 궤도 산출 방법.
상이한 위치에 설치된 서로 비동기인 복수의 카메라에서 선택된 2 개의 카메라의 화상 데이터를 사용하여, 촬상된 목표로 하는 동체의 삼차원 공간에서의 궤도를 산출하도록 컴퓨터를 기능시키는 궤도 산출 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체로서,
카메라로 촬상된 화상 프레임 내의 화상 데이터로부터 목표로 하는 동체를 검출하고, 상기 목표로 하는 동체의 상기 화상 프레임에 있어서의 이차원 위치를 산출하는 이차원 위치 산출 스텝과,
제 1 카메라로 촬상되고 상기 이차원 위치 산출 스텝에 의해 산출된 상기 목표로 하는 동체의 이차원 위치와 상기 제 1 카메라에 대한 상기 삼차원 공간에서의 위치 좌표와 자세로부터, 상기 제 1 카메라로 촬상된 연속되는 화상 프레임에 있어서의 상기 목표로 하는 동체의 삼차원 위치와 상기 제 1 카메라의 렌즈의 광학 중심점을 연결하여 구성되는 삼차원 평면을 존재면으로서 산출하는 존재면 산출 스텝과,
제 2 카메라로 촬상되고 상기 이차원 위치 산출 스텝에 의해 산출된 상기 목표로 하는 동체의 이차원 위치와 상기 제 2 카메라에 대한 상기 삼차원 공간에서의 위치 좌표와 자세로부터, 상기 제 2 카메라로 촬상된 화상 프레임에 있어서의 상기 목표로 하는 동체의 삼차원 위치와 상기 제 2 카메라의 렌즈의 광학 중심점을 연결한 직선과, 상기 존재면 산출 스텝에서 산출된 존재면이 교차하는 점으로부터 상기 목표로 하는 동체의 상기 삼차원 공간에서의 궤도를 산출하는 삼차원 궤도 산출 스텝을 컴퓨터에 실행시키는 것을 특징으로 하는 궤도 산출 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체.
제 7 항에 있어서,
화상 프레임 내의 화상 데이터에 존재하는 상기 삼차원 공간에서의 좌표가 결정되어 있는 복수의 기준점으로부터, 상기 화상 데이터를 촬상한 카메라에 대한 상기 삼차원 공간에서의 위치 좌표와 자세를 산출하는 카메라 정보 산출 스텝을 컴퓨터에 실행시키는 것을 특징으로 하는 궤도 산출 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체.