KR20200087560A

KR20200087560A - 스크린 충돌위치 인식 시스템 및 방법

Info

Publication number: KR20200087560A
Application number: KR1020190004006A
Authority: KR
Inventors: 김종성; 김명규; 김우석; 백성민; 서상우; 홍성진
Original assignee: 한국전자통신연구원
Priority date: 2019-01-11
Filing date: 2019-01-11
Publication date: 2020-07-21
Also published as: US20200226784A1; US11182926B2

Abstract

본 발명에 따른 다중 이동체의 스크린 상에서의 충돌 위치를 인식하는 시스템은 복수의 이동체가 스크린을 향해 이동시의 이미지 프레임을 획득하는 적외선 카메라, 상기 이미지 프레임에 기초하여 상기 스크린 상에서의 충돌 위치를 산출하기 위한 프로그램이 저장된 메모리 및 상기 메모리에 저장된 프로그램을 실행시키는 프로세서를 포함하되, 상기 프로세서는 상기 프로그램을 실행시킴에 따라, 상기 이미지 프레임으로부터 복수의 이동체를 모두 검출하여 연속되는 이미지 프레임에 포함된 이동체를 서로 연결한 그래프를 생성하고, 상기 그래프에 기초하여 상기 이미지 프레임에 포함된 이동체 및 스크린 상에서의 이동체의 충돌 위치를 산출한다.

Description

스크린 충돌위치 인식 시스템 및 방법{SYSTEM AND METHOD FOR RECOGNIZING COLLISION POSITION IN SCREEN}

본 발명은 스크린 충돌위치 인식 시스템 및 방법에 관한 것으로, 보다 구체적으로는 적외선 카메라를 기반으로 다중 이동체의 스크린 상에서의 충돌 위치를 인식하는 시스템 및 방법에 관한 것이다.

가상 표적 게임 형태의 놀이용 또는 교육용 스포츠 콘텐츠 플랫폼에서는 스크린 앞에서 사용자가 야구공, 축구공, 농구공과 같은 이동체를 손으로 던지거나 발로 차거나 도구로 쳐서 스크린 상에 있는 가상 표적을 맞히는 가상 표적 게임을 체험할 수 있도록 한다.

이와 같은 가상 표적 게임 체험을 위해서는 사용자가 던지거나 차거나 친 이동체가 실제 스크린에 충돌하는 위치를 실시간으로 정밀하게 인식할 수 있어야 한다.

또한, 다수의 사용자가 동시에 가상 표적 게임 체험을 하기 위해서는 동시에 던지거나 차거나 친 다수의 이동체의 스크린 충돌 위치도 인식할 수 있어야 한다.

통상적으로 이동체의 스크린 충돌 위치 인식을 위해서는 발광 센서 어레이를 스크린을 고정하는 프레임 상에 일렬로 설치하여 스크린 상에 광막을 형성한 후, 사용자가 던지거나 친 이동체가 스크린에 충돌 시 이동체와 스크린이 접촉하는 충돌 위치에서 이동체에 의해 발생하는 반사광을 수광 센서 어레이를 통해 감지하여 충돌 위치를 인식하는 광막 센서 어레이 방식이 사용될 수 있다.

또한, 진동 센서 어레이를 스크린에 직접 연결한 후 이동체가 스크린에 충돌시 발생하는 스크린의 진동 신호를 감지하여 이동체의 스크린 충돌 위치를 인식하는 진동 센서 어레이 방식이 사용될 수 있다.

그러나 발광 및 수광 센서 어레이를 사용하는 방식은 복수의 발광 및 수광 센서를 프레임에 일렬로 정확하게 정렬하여 설치해야만 스크린 충돌 위치 인식이 가능하다는 제약이 있다.

또한, 진동 센서 어레이를 사용하는 방식은 복수의 진동 센서를 스크린에 직접 연결해야 하는 제약과, 이동체와 스크린 충돌시 충분한 진동 신호가 발생해야만 스크린 충돌 인식이 가능하다는 제약이 존재한다.

그리고 이러한 센서 어레이 방식은 다수의 사용자가 동시에 던지거나 차거나 친 다중 이동체의 스크린 충돌은 인식하지 못하는 제약이 있다.

본 발명의 실시예는 스크린 앞에서 다중 이동체가 동시에 이동됨에 따른 스크린 상의 충돌 위치를 적외선 카메라를 기반으로 인식할 수 있는 스크린 충돌위치 인식 시스템 및 방법을 제공한다.

다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또다른 기술적 과제들이 존재할 수 있다.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제 1 측면에 따른 스크린 충돌위치 인식 시스템에서 수행되는 방법은 적외선 카메라를 통해 복수의 이동체가 스크린을 향해 이동시의 이미지 프레임을 획득하는 단계; 상기 이미지 프레임으로부터 상기 이동체를 검출하는 단계; 상기 이미지 프레임 상에서의 상기 검출된 이동체의 충돌 위치를 산출하는 단계; 및 상기 이미지 프레임 상의 상기 이동체의 충돌 위치에 기초하여 상기 스크린 상의 상기 이동체의 충돌 위치를 산출하는 단계를 포함한다.

일 실시예로, 상기 이미지 프레임으로부터 상기 이동체를 검출하는 단계는, 연속되는 시간동안 촬영되어 획득된 복수 개의 상기 이미지 프레임에 포함된 이동체를 모두 검출할 수 있다.

일 실시예로, 상기 이미지 프레임으로부터 상기 이동체를 검출하는 단계는, 상기 복수 개의 이미지 프레임으로부터 검출된 모든 이동체를 대상으로 현재 이미지 프레임에 포함된 이동체와 다음 이미지 프레임에 포함된 이동체를 서로 연결한 그래프를 생성하는 단계를 포함할 수 있다.

일 실시예로, 상기 그래프는 상기 이미지 프레임에 포함된 이동체의 운동 위치에 해당하는 노드 집합과, 상기 이미지 프레임과 인접한 이미지 프레임에 포함된 이동체를 서로 연결한 엣지 집합을 포함할 수 있다.

일 실시예로, 상기 그래프를 생성하는 단계는, 상기 엣지 집합에 있어서, 상기 현재 이미지 프레임에 포함된 이동체의 운동 위치에 대한 노드와 상기 다음 이미지 프레임에 포함된 이동체의 운동 위치에 대한 노드 간의 연결 여부를 나타내는 엣지의 값을 산출하는 단계를 포함할 수 있다.

일 실시예로, 상기 그래프를 생성하는 단계는, 상기 현재 이미지 프레임의 노드와 상기 다음 이미지 프레임의 노드 사이의 기하학적 거리에 비례하고, 광도계적 거리에 비례하는 비용함수를 산출하는 단계; 상기 산출된 비용함수가 현재 이미지 프레임의 이전 및 다음 이미지 프레임에 대한 양방향으로 모두 최소가 되는 노드를 선택하는 단계; 및 상기 선택된 노드를 서로 연결하여 상기 그래프를 생성하는 단계를 포함할 수 있다.

본 발명에 따른 스크린 충돌위치 인식 방법은 일 실시예로, 상기 연결된 노드들을 궤적 리스트로 생성하여 저장하는 단계를 더 포함하되, 상기 궤적 리스트는 상기 복수 개의 이미지 프레임으로부터 연속적으로 추적된 이동체에 대한 운동 위치 배열을 포함하며, 상기 운동 위치 배열은 상기 복수의 이동체별로 구분되어 생성될 수 있다.

본 발명에 따른 스크린 충돌위치 인식 방법은 일 실시예로, 상기 이동체에 대한 상태를 추적하는 단계를 더 포함할 수 있다.

일 실시예로, 상기 이동체에 대한 상태는 상기 이동체의 운동 위치 간의 거리와 부호로 구성된 운동함수의 값에 따라 상기 이동체의 정지 및 출발 상태, 전방운동 상태, 충돌 상태 및 후방 운동 상태 중 어느 하나로 결정될 수 있다.

일 실시예로, 상기 이미지 프레임 상의 상기 검출된 이동체의 충돌 위치를 산출하는 단계는, 상기 이동체의 상태가 충돌 상태일 때의 상기 이미지 프레임 상에서의 운동 위치를 상기 충돌 위치로 결정할 수 있다.

일 실시예로, 상기 스크린 상의 상기 이동체의 충돌 위치를 산출하는 단계는, 상기 이미지 프레임과 상기 스크린 상의 평면 대 평면 투영 관계를 나타내는 호모그래피 함수에 기초하여 상기 스크린 상의 충돌 위치를 산출할 수 있다.

본 발명에 따른 스크린 충돌위치 인식 방법은 일 실시예로, 상기 이동체의 상태가 충돌 상태 또는 정지 상태인 경우 이동체의 추적 과정을 종료하는 단계를 더 포함할 수 있다.

또한, 본 발명의 제 2 측면에 따른 다중 이동체의 스크린 상에서의 충돌 위치를 인식하는 시스템은 복수의 이동체가 스크린을 향해 이동시의 이미지 프레임을 획득하는 적외선 카메라, 상기 이미지 프레임에 기초하여 상기 스크린 상에서의 충돌 위치를 산출하기 위한 프로그램이 저장된 메모리 및 상기 메모리에 저장된 프로그램을 실행시키는 프로세서를 포함한다. 이때, 상기 프로세서는 상기 프로그램을 실행시킴에 따라, 상기 이미지 프레임으로부터 복수의 이동체를 모두 검출하여 연속되는 이미지 프레임에 포함된 이동체를 서로 연결한 그래프를 생성하고, 상기 그래프에 기초하여 상기 이미지 프레임에 포함된 이동체 및 스크린 상에서의 이동체의 충돌 위치를 산출한다.

일 실시예로, 상기 프로세서는 연속되는 이미지 프레임에 포함된 이동체의 운동 위치인 노드 간의 연결 여부를 나타내는 엣지의 값을 비용함수에 기초하여 산출할 수 있다.

일 실시예로, 상기 프로세서는 상기 연속되는 이미지 프레임의 노드 사이의 기하학적 거리에 비례하고, 광도계적 거리에 비례하는 상기 비용함수를 산출하고, 상기 산출된 비용함수가 상기 연속되는 이미지 프레임에 대해 양방향으로 모두 최소가 되는 노드를 선택 및 서로 연결하여 상기 그래프를 생성할 수 있다.

일 실시예로, 상기 프로세서는 상기 연결된 노드들을 궤적 리스트로 생성 및 저장하되, 상기 궤적 리스트는 상기 복수 개의 이미지 프레임으로부터 연속적으로 추적된 이동체에 대한 운동 위치 배열을 포함하며, 상기 운동 위치 배열은 상기 복수의 이동체별로 구분되어 생성될 수 있다.

일 실시예로, 상기 프로세서는 상기 이동체에 대한 상태를 상기 이동체의 운동 위치 간의 거리와 부호로 구성된 운동함수의 값에 따라 상기 이동체의 정지 및 출발 상태, 전방운동 상태, 충돌 상태 및 후방 운동 상태 중 어느 하나로 결정하여 추적할 수 있다.

일 실시예로, 상기 프로세서는 상기 이동체의 상태가 충돌 상태일 때의 상기 이미지 프레임 상에서의 운동 위치를 상기 충돌 위치로 결정하고, 상기 이미지 프레임과 상기 스크린 상의 평면 대 평면 투영 관계를 나타내는 호모그래피 함수에 기초하여 상기 스크린 상의 충돌 위치를 산출할 수 있다.

전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 스크린 앞에서 다수의 이동체를 동시에 손으로 던지거나 발로 차거나 도구로 쳐서 스크린 상에 있는 가상 표적을 맞히는 체험형 가상 표적 게임 형태의 운동용 및 교육형 스포츠 콘텐츠 플랫폼을 제공할 수 있다.

특히, 본 발명의 일 실시예에 따르면 별도의 어레이 센서를 사용하지 않고 적외선 카메라를 최소 1대만을 이용 가능하도록 함으로써 다수의 이동체가 스크린에 충돌하는 위치를 실시간으로 정밀하게 인식할 수 있다.

또한, 다수의 이동체가 스크린에 충돌하는 위치뿐만 아니라 이동체의 현재 상태에 대한 추적도 가능하여 사용자에게 보다 많은 정보와 정확성 그리고 편의성을 제공할 수 있다.

이와 더불어 본 발명의 일 실시예는 비용적 측면에서 활용성 및 사업성이 우수할 뿐아니라 기술적 측면에서도 종래 기술에 비하여 보다 높은 정확성을 제공할 수 있다.

도 1은 본 발명의 일 실시예에 따른 스크린 충돌위치 인식 시스템의 블록도이다.
도 2는 스크린과 적외선 카메라의 일 예시를 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 스크린 충돌위치 인식 방법의 순서도이다.
도 4는 본 발명의 일 실시예에서의 다중 이동체의 충돌 위치를 설명하기 위한 도면이다.
도 5는 적외선 카메라를 통해 획득한 이미지 프레임의 일 예시이다.
도 6은 이미지 프레임 상에서 이동체를 검출하는 내용을 설명하기 위한 도면이다.
도 7은 이동체의 위치를 나타내는 그래프의 일 예시이다.
도 8은 이미지 프레임 상에서 추적된 이동체의 위치를 노드와 엣지로 표현한 일 예시이다.
도 9는 이동체의 운동 궤적 리스트의 일 예시이다.
도 10은 이동체의 운동 상태 정보를 나타내는 일 예시이다.
도 11은 그래프 상에 이동체의 위치와 상태 정보를 나타낸 일 예시이다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였다.

명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

본 발명은 적외선 카메라(110)를 기반으로 다중 이동체의 스크린 상에서의 충돌 위치를 인식하는 시스템(100) 및 방법에 관한 것이다.

본 발명은 스크린 앞에서 1인의 사용자가 동시에 다수의 이동체를 이동되도록 하거나, 복수의 사용자가 동시에 다수의 이동체를 이동되도록 하여, 스크린 상에 있는 가상 표적을 맞히거나 스크린 상의 목표 지점에 도달하게 하는 형태의 운동용 및 교육용 스포츠 콘텐츠 플랫폼에 적용될 수 있다.

이러한 본 발명은 별도의 센서 어레이를 사용하지 않고 적외선 카메라 1대만을 이용해 다수의 이동체가 스크린에 충돌하는 위치를 실시간으로 정밀하게 인식할 수 있다.

이때, 본 발명의 일 실시예에서의 이동체는 야구공, 축구공, 농구공 등일 수 있으며, 공 모양의 형상을 갖는 것 뿐만 아니라 화살, 총, 기타 물건 등 사용자 또는 사용자의 조작에 의한 기계의 힘에 의해 이동될 수 있는 모든 객체를 포함하는 개념이다.

또한, 본 발명의 일 실시예에서 적외선 카메라는 기본적으로 1대만을 이용하는 것이 바람직하나 반드시 이에 한정되는 것은 아니며 상황에 따라 복수개가 동시에 적용될 수도 있음은 물론이다.

이하에서는 도 1을 참조하여, 본 발명의 일 실시예에 따른 스크린 충돌위치 인식 시스템(100)에 대하여 설명하도록 한다.

도 1은 본 발명의 일 실시예에 따른 스크린 충돌위치 인식 시스템(100)의 블록도이다. 도 2는 스크린(10)과 적외선 카메라(110)의 일 예시를 도시한 도면이다.

본 발명의 일 실시예에 따른 스크린 충돌위치 인식 시스템(100)은 적외선 카메라(110), 메모리(120) 및 프로세서(130)를 포함한다.

적외선 카메라(110)는 복수의 이동체(20)가 스크린(10)을 향해 이동시의 이미지 프레임(30)을 획득한다. 적외선 카메라(110)는 1인 또는 다수의 사용자가 복수 개의 이동체(20)를 이동시키는 지점에서 스크린(10)에 이동체(20)가 충돌하기까지의 일련의 과정을 모두 이미지 프레임(30)으로 획득할 수 있는 위치에 설치됨이 바람직하다.

메모리(120)에는 적외선 카메라(110)에 의해 촬영된 이미지 프레임(30)에 기초하여 스크린(10) 상에서의 충돌 위치를 산출하기 위한 프로그램이 저장된다. 이때, 메모리(120)는 전원이 공급되지 않아도 저장된 정보를 계속 유지하는 비휘발성 저장장치 및 휘발성 저장장치를 통칭하는 것이다.

예를 들어, 메모리(120)는 콤팩트 플래시(compact flash; CF) 카드, SD(secure digital) 카드, 메모리 스틱(memory stick), 솔리드 스테이트 드라이브(solid-state drive; SSD) 및 마이크로(micro) SD 카드 등과 같은 낸드 플래시 메모리(NAND flash memory), 하드 디스크 드라이브(hard disk drive; HDD) 등과 같은 마그네틱 컴퓨터 기억 장치 및 CD-ROM, DVD-ROM 등과 같은 광학 디스크 드라이브(optical disc drive) 등을 포함할 수 있다.

프로세서(130)는 메모리(120)에 저장된 프로그램을 실행시킴에 따라, 이미지 프레임(30)으로부터 복수의 이동체(20)를 모두 검출하여 연속되는 이미지 프레임(30)에 포함된 이동체(20)를 서로 연결한 그래프(G)를 생성하고, 상기 그래프(G)에 기초하여 이미지 프레임(30)에 포함된 이동체(20) 및 스크린(10) 상에서의 이동체(20)의 충돌 위치를 산출한다.

참고로, 본 발명의 실시예에 따른 도 1에 도시된 구성 요소들은 소프트웨어 또는 FPGA(Field Programmable Gate Array) 또는 ASIC(Application Specific Integrated Circuit)와 같은 하드웨어 형태로 구현될 수 있으며, 소정의 역할들을 수행할 수 있다.

그렇지만 '구성 요소들'은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, 각 구성 요소는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다.

따라서, 일 예로서 구성 요소는 소프트웨어 구성 요소들, 객체지향 소프트웨어 구성 요소들, 클래스 구성 요소들 및 태스크 구성 요소들과 같은 구성 요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다.

구성 요소들과 해당 구성 요소들 안에서 제공되는 기능은 더 작은 수의 구성 요소들로 결합되거나 추가적인 구성 요소들로 더 분리될 수 있다.

이하에서는 도 3 내지 도 11을 참조하여 본 발명의 일 실시예에 따른 스크린 충돌위치 인식 시스템(100)에서 수행되는 방법에 대하여 보다 구체적으로 설명하도록 한다.

도 3은 본 발명의 일 실시예에 따른 스크린 충돌위치 인식 방법의 순서도이다. 도 4는 본 발명의 일 실시예에서의 다중 이동체(20)의 충돌 위치를 설명하기 위한 도면이다. 도 5는 적외선 카메라(110)를 통해 획득한 이미지 프레임의 일 예시이다.

본 발명의 일 실시예는 스크린(10) 앞에서 1인 또는 다수의 사용자가 복수의 이동체(20)를 동시에 던지거나 차거나 도구로 친 이동체(20)의 이미지 프레임(30) 상의 충돌 위치 x^C(31)와 스크린 좌표계 상의 충돌 위치 X^C(11)를 산출할 수 있다.

이때, 본 발명의 일 실시예는 단일 적외선 카메라(110)를 통해 실시간으로 획득되는 다중 이동체(20)의 이미지 프레임 F(30)에 대하여 그래프(G) 기반으로 다중 이동체(20)의 위치 및 상태 추적을 통해 실시간으로 정밀하게 인식할 수 있다.

이를 위해 본 발명의 일 실시예는 먼저, 적외선 카메라(110)를 통해 복수의 이동체(20)가 스크린(10)을 향해 이동시의 이미지 프레임(30)을 획득한다(S110).

본 발명은 카메라 기반 스크린 충돌위치 인식 기술에 있어서 문제가 되는 스크린에 투영되는 콘텐츠의 밝기와 컬러 변화, 그리고 외부 조명 환경의 변화 문제를 해결하기 위하여 가시광 영역은 차단하고 적외선 영역에만 반응하는 적외선 카메라(110)를 통해 다중 객체 스크린 충돌 위치 인식에 필요한 이미지 프레임(30)을 획득한다.

실제 콘텐츠가 투영되는 스크린(10) 앞에서 사용자가 던진 이동체(20)에 대해 단일 적외선 카메라(110)를 통해 실시간으로 획득되는 다중 이동체의 이미지 프레임(30)의 일 예시는 도 5에 도시된 바와 같다.

이와 같이 적외선 카메라(110)를 통해 이미지 프레임(30)이 획득되고 나면, 획득한 이미지 프레임(30)으로부터 이동체(20)를 검출한다(S120).

도 6은 이미지 프레임 상(30)에서 이동체(20)를 검출하는 내용을 설명하기 위한 도면이다.

도 6을 참조하면, 본 발명의 일 실시예는 사용자가 던지거나 차거나 친 다중 이동체(20)를 모두 처리하기 위하여, 적외선 카메라(110)에서 실시간으로 획득되는 이동체가 포함된 이미지 프레임(30)에서 개수의 제한없이 다수의 이동체(32)를 동시에 검출할 수 있다.

즉, 본 발명의 일 실시예는 연속되는 시간동안 촬영되어 획득된 복수 개의 이미지 프레임(30)에 포함된 이동체(32)를 모두 검출할 수 있다.

이때, 본 발명의 일 실시예는 이미지 프레임(30)에서 야구공, 축구공, 농구공과 같은 이동체의 위치 검출을 위해 원형 허프 변환(Circular Hough Transform) 또는 무작위 샘플 융합(Random Sample Sonsensus) 기반 공 검출(Ball Detection) 기법이 사용될 수 있다.

이러한 공 검출 기법에 기초하여 본 발명의 일 실시예는 다중 이동체의 위치(32)를 검출하여, 현재 이미지 프레임(30) 상에서의 운동위치 x(32)를 실시간으로 정밀하게 인식할 수 있다.

그러나, 이러한 이동체 검출 단계에서 인식된 위치(32)가 해당 이동체(20)의 충돌위치(31)인지 여부는 결정할 수 없다. 따라서, 본 발명의 일 실시예는 후술하는 그래프 기반의 다중 이동체 위치 및 상태 추적 과정을 추가적으로 수행하여 이동체의 충돌 위치(31)를 정확하게 파악할 수 있다.

도 7은 이동체의 위치를 나타내는 그래프의 일 예시이다.

본 발명의 일 실시예는 먼저, 적외선 카메라(110)에서 실시간으로 획득되는 이미지 프레임(30)에서 이동체의 위치(32) 검출을 통해 검출된 다중 이동체의 모든 운동 위치를 실시간으로 정밀하게 추적하기 위하여, 이동체 위치 검출을 통해 검출된 다중 이동체의 모든 운동 위치(32)를 기반으로 도 7과 같은 그래프(G)를 연속적으로 생성한다.

즉, 복수 개의 이미지 프레임(30)으로부터 검출된 모든 이동체(32)를 대상으로 현재 이미지 프레임에 포함된 이동체와 다음 이미지 프레임에 포함된 이동체를 서로 연결하여 그래프(G)를 생성할 수 있다.

이때, 다중 이동체의 위치 추적을 위해 생성되는 그래프(G)는 다음 식 1과 같이 이미지 프레임(30)에 포함된 이동체의 운동 위치 x(32)에 해당하는 노드 n으로 구성된 노드 집합(Node Set) N과, 상기 이미지 프레임과 인접한 이미지 프레임에 포함된 이동체의 운동 위치(32)에 해당하는 노드 간 연결 여부를 표현하는 엣지 e로 구성된 엣지 집합(Edge Set) E로 구성된다.

[식 1]

G={N,E}

여기서 노드 집합 N은 다음 식 2와 같이 시간이 t일 때 노드 하위 집합(Node Subset) N_t로 구성된다.

[식 2]

N={ N^t │ t∈[1, T] }

또한, 엣지 집합 E는 다음 식 3과 같이 시간이 t일 때 엣지 하위 집합(Edge Subset) E^t로 구성된다.

[식 3]

E={ E^t │ t∈[1,T-1] }

만약, 시간이 t일 때 해당하는 이미지 프레임 F_t에서 이동체 검출 단계를 통해 P개의 이동체가 검출되었다면, 시간 t일 때 노드 하위 집합 N^t는 다음 식 4와 같이 P개의 노드로 구성된다.

[식 4]

N^t={ n_t ^p │ p∈[1,P] }

또한, 만약 시간 t+1일 때 해당하는 이미지 프레임 F_t+1에서 이동체 검출 단계를 통해 Q개의 이동체가 검출되었다면, 시간 t+1일 때 노드 하위 집합 N_t ₊₁은 다음 식 5와 같이 Q개의 노드로 구성된다.

[식 5]

N^t ⁺¹={ n_q ^t ⁺ ¹ │ q∈[1,Q] }

그리고 시간 t와 t+1일 때 해당하는 이미지 프레임 F_t와 F_t+1에 해당하는 노드 하위 집합 N^t와 N^t ⁺¹을 연결하는 엣지 하위 집합 E^t는 다음 식 6과 같이 P×Q개의 엣지들로 구성된다.

[식 6]

E^t={ e(n_p ^t, n_q ^t+1 ) │ p×q∈[1, P]×[1, Q] }

그 다음 본 발명은 시간 t와 t+1일 때 해당하는 이미지 프레임 F_t와 F_t+1에서 검출된 다중 이동체의 운동 위치 간 연결 여부를 나타내는 엣지의 값을 다음 식 7을 통해 산출한다.

[식 7]

이때, 엣지의 값이 1인 경우 연결, 0인 경우 비연결을 의미한다.

위 식 7에서 n_p ^t와 n_q ^t ⁺¹을 연결하는 비용함수(Cost Function) A(n_p ^t,n_q ^t ⁺ ¹)는 다음 식 8을 통해 산출할 수 있다.

[식 8]

위 식 8에서 D(n_p ^t, n_q ^t ⁺ ¹)는 노드 사이의 기하학적 거리(Geometric Distance)에 비례하는 함수(Distance Function)이고, W(n_p ^t, n_q ^t ⁺ ¹)는 노드 사이의 광도계적 거리(Photometric Distance)에 비례하는 유사 함수(Similarity Function)가 사용될 수 있다.

이와 같이, 본 발명의 일 실시예는 현재 이미지 프레임의 노드와 다음 이미지 프레임의 노드 사이의 기하학적 거리에 비례하고, 광도계적 거리에 비례하는 비용함수를 산출하고 나면, 산출된 비용함수가 현재 이미지 프레임의 이전 및 다음 이미지 프레임에 대한 양방향(Bidirection)으로 모두 최소(Minimum)가 되는 노드를 선택하고, 상기 선택된 노드를 서로 연결하여 도 8과 같은 그래프를 생성할 수 있다.

도 8은 이미지 프레임(30) 상에서 추적된 이동체의 위치를 노드와 엣지로 표현한 일 예시이다.

즉, 시간 t와 t+1일 때 해당하는 이미지 프레임 F_t와 F_t+1에서 검출된 다중 이동체의 운동 위치에 해당하는 n_p ^t와 n_q ^t ⁺ ¹ 중 식 7과 식 8과 같이 양방향으로 모두 비용함수가 최소가 되는 노드를 연결하는 방식으로 도 8과 같이 다중 이동체의 위치를 실시간으로 정밀하게 추적할 수 있다.

여기에서, 그래프 기반 다중 이동체의 위치 추적을 통해 추적된 i번째 이동체의 j번째 운동 위치(Motion Position) x_ij는 다음 식 9와 같이 2×1벡터로 도 8과 같이 저장된다.

[식 9]

그리고 그래프 기반의 다중 이동체 위치 추적을 통해 모든 이미지 프레임에서 i번째 이동체가 연속적으로 J번 추적된 경우, i번째 이동체의 운동 궤적(Motion Track) Ki는 다음 식 10과 도 9와 같이 J개의 운동 위치 배열(31)로 저장된다.

도 9는 이동체의 운동 궤적 리스트(42)의 일 예시이다.

[식 10]

K_i={x_ij│j∈[1, J] }

본 발명의 일 실시예는 도 9와 같이 연결된 노드들을 궤적 리스트(42)로 생성하여 저장할 수 있다.

이때, 궤적 리스트(42)는 복수 개의 이미지 프레임으로부터 연속적으로 추적된 이동체에 대한 운동 위치 배열(41)을 포함하며, 운동 위치 배열(41)은 복수의 이동체별로 구분되어 생성될 수 있다.

즉, 그래프 기반의 다중 이동체 위치 추적을 통해 모든 이미지 프레임(30)에서 I개의 이동체가 추적되었다면, I개의 다중 이동체의 운동 궤적 집합(Track Set) K는 다음 식 11과 도 9와 같이 운동 궤적 리스트(41)로 저장된다.

[식 11]

K={K_i│ i∈[1, I] }

한편, 본 발명의 일 실시예는 이동체에 대한 상태를 추적하는 단계를 더 포함할 수 있다(S130).

도 10은 이동체의 운동 상태 정보 그래프(50)를 나타내는 일 예시이다.

본 발명의 일 실시예는 그래프 기반 다중 객체 위치 추적과 동시에 또는 순차적으로 수행되는 다중 객체 추적에서는, i번째 이동체의 j번째 운동 위치 x_ij에 해당하는 이동체의 운동 상태(Motion State) U(x_ij)를 j-1번째 운동 위치 x_ji _-1의 상태에 따라 다음 식 12를 통해 도 10과 같이 결정할 수 있다.

[식 12]

여기서 S는 이동체의 정지/출발(Stop/Start) 상태, F는 이동체의 전방운동(Forward Move) 상태, C는 이동체의 충돌(Collision) 상태, B는 이동체의 후방운동(Backward Move) 상태를 나타낸다. 그리고 M(x_ij _-1, x_ij)는 모션함수(Motion Function)로 다음 식 13을 통해 산출될 수 있다.

[식 13]

M(x_ij _-1, x_ij)=sgn(y_ij _-1-y_ij ₎×||x_(ij-1)-x_ij||

도 11은 그래프 상에 이동체의 위치와 상태 정보를 나타낸 일 예시이다.

이와 같이, 본 발명의 일 실시예의 경우 스크린(10) 앞에서 사용자가 던지거나 차거나 친 야구공, 축구공, 농구공과 같은 이동체(20)는 반드시 S, F, C, B 중 하나의 상태가 되므로, 도 11과 같이 그래프 기반 다중 객체 위치 및 상태 추적을 통해 다중 객체의 위치뿐만 아니라 상태도 정밀하게 인식할 수 있다.

또한, 본 발명의 일 실시예는 이동체(20)의 운동 상태가 충돌 상태 또는 정지 상태가 될 경우 이동체(20)의 추적 과정을 종료할 수 있다. 그리고 해당 운동 궤적을 운동 궤적 리스트(41)에서 삭제함으로써 제한된 저장 용량 내에서 계속해서 실시간으로 다중 이동체(20)의 운동 위치 및 상태 추적을 수행할 수 있다.

도 11의 경우 이동체(20)의 운동 상태가 충돌 상태(x₂₇, x₃₆, x₄₄, x₅₂)가 되었을 때, 이동체(20)의 위치 및 상태 추적을 종료한 실시예이다.

최종적으로 본 발명의 일 실시예는 다음 식 14를 통해 이미지 프레임(30) 상에서 검출된 이동체의 충돌 위치 x_i ^C(31)를 산출할 수 있다(S140).

[식 14]

x_i ^C=x_ij if U(x_ij)=C

그리고 이미지 프레임 상의 충돌 위치(31)에 기초하여 스크린 상의 이동체의 충돌 위치(11)를 산출할 수 있다(S150).

이때, 본 발명의 일 실시예는 이미지 프레임과 스크린 상의 평면 대 평면 투영(Plane-to-Plane Projection) 관계를 나타내는 호모그래피 함수(Homography Function) H를 이용하여, i번째 이동체의 스크린 좌표계 상 충돌위치 X_i ^C(11)를 다음 식 15를 통해 산출할 수 있다.

[식 15]

이때, h₁₁, h₁₂, h₁₃, h₂₁, h₂₂, h₂₃, h₃₁, h₃₂, h₃₃는 호모그래피 함수 H의 인자로서, 2차원 보정(2D Calibration) 기법을 통해 사전에 계산될 수 있다.

상술한 설명에서, 단계 S110 내지 S150는 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다. 아울러, 기타 생략된 내용이라 하더라도 도 1 내지 도 2에서의 스크린 충돌위치 인식 시스템(100)에 관하여 이미 기술된 내용은 도 3 내지 도 11의 인식 방법에도 적용된다.

한편, 본 발명의 일 실시예는 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램 또는 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.

본 발명의 방법 및 시스템(100)은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

10: 스크린
11: 스크린 상의 충돌 위치
20: 이동체
30: 이미지 프레임
31: 이미지 프레임 상의 충돌 위치
32: 이미지 프레임 상의 운동 위치
40: 운동 궤적 리스트
41: 운동 위치 배열
50: 운동 상태 그래프
100: 스크린 충돌위치 인식 시스템
110: 적외선 카메라
120: 메모리
130: 프로세서

Claims

스크린 충돌위치 인식 시스템에서 수행되는 방법에 있어서,
적외선 카메라를 통해 복수의 이동체가 스크린을 향해 이동시의 이미지 프레임을 획득하는 단계;
상기 이미지 프레임으로부터 상기 이동체를 검출하는 단계;
상기 이미지 프레임 상에서의 상기 검출된 이동체의 충돌 위치를 산출하는 단계; 및
상기 이미지 프레임 상의 상기 이동체의 충돌 위치에 기초하여 상기 스크린 상의 상기 이동체의 충돌 위치를 산출하는 단계를 포함하는 스크린 충돌위치 인식방법.
제 1 항에 있어서,
상기 이미지 프레임으로부터 상기 이동체를 검출하는 단계는,
연속되는 시간동안 촬영되어 획득된 복수 개의 상기 이미지 프레임에 포함된 이동체를 모두 검출하는 것인 스크린 충돌위치 인식방법.
제 2 항에 있어서,
상기 이미지 프레임으로부터 상기 이동체를 검출하는 단계는,
상기 복수 개의 이미지 프레임으로부터 검출된 모든 이동체를 대상으로 현재 이미지 프레임에 포함된 이동체와 다음 이미지 프레임에 포함된 이동체를 서로 연결한 그래프를 생성하는 단계를 포함하는 스크린 충돌위치 인식 방법.
제 3 항에 있어서,
상기 그래프는 상기 이미지 프레임에 포함된 이동체의 운동 위치에 해당하는 노드 집합과, 상기 이미지 프레임과 인접한 이미지 프레임에 포함된 이동체를 서로 연결한 엣지 집합을 포함하는 것인 스크린 충돌위치 인식 방법.
제 4 항에 있어서,
상기 그래프를 생성하는 단계는,
상기 엣지 집합에 있어서, 상기 현재 이미지 프레임에 포함된 이동체의 운동 위치에 대한 노드와 상기 다음 이미지 프레임에 포함된 이동체의 운동 위치에 대한 노드 간의 연결 여부를 나타내는 엣지의 값을 산출하는 단계를 포함하는 스크린 충돌위치 인식 방법.
제 5 항에 있어서,
상기 그래프를 생성하는 단계는,
상기 현재 이미지 프레임의 노드와 상기 다음 이미지 프레임의 노드 사이의 기하학적 거리에 비례하고, 광도계적 거리에 비례하는 비용함수를 산출하는 단계;
상기 산출된 비용함수가 현재 이미지 프레임의 이전 및 다음 이미지 프레임에 대한 양방향으로 모두 최소가 되는 노드를 선택하는 단계; 및
상기 선택된 노드를 서로 연결하여 상기 그래프를 생성하는 단계를 포함하는 스크린 충돌위치 인식 방법.
제 6 항에 있어서,
상기 연결된 노드들을 궤적 리스트로 생성하여 저장하는 단계를 더 포함하되,
상기 궤적 리스트는 상기 복수 개의 이미지 프레임으로부터 연속적으로 추적된 이동체에 대한 운동 위치 배열을 포함하며, 상기 운동 위치 배열은 상기 복수의 이동체별로 구분되어 생성되는 것인 스크린 충돌위치 인식 방법.
제 1 항에 있어서,
상기 이동체에 대한 상태를 추적하는 단계를 더 포함하는 스크린 충돌위치 인식 방법.
제 8 항에 있어서,
상기 이동체에 대한 상태는 상기 이동체의 운동 위치 간의 거리와 부호로 구성된 운동함수의 값에 따라 상기 이동체의 정지 및 출발 상태, 전방운동 상태, 충돌 상태 및 후방 운동 상태 중 어느 하나로 결정되는 것인 스크린 충돌위치 인식 방법.
제 9 항에 있어서,
상기 이미지 프레임 상의 상기 검출된 이동체의 충돌 위치를 산출하는 단계는,
상기 이동체의 상태가 충돌 상태일 때의 상기 이미지 프레임 상에서의 운동 위치를 상기 충돌 위치로 결정하는 것인 스크린 충돌위치 인식 방법.
제 9 항에 있어서,
상기 스크린 상의 상기 이동체의 충돌 위치를 산출하는 단계는,
상기 이미지 프레임과 상기 스크린 상의 평면 대 평면 투영 관계를 나타내는 호모그래피 함수에 기초하여 상기 스크린 상의 충돌 위치를 산출하는 것인 스크린 충돌위치 인식 방법.
제 9 항에 있어서,
상기 이동체의 상태가 충돌 상태 또는 정지 상태인 경우 이동체의 추적 과정을 종료하는 단계를 더 포함하는 스크린 충돌위치 인식 방법.
다중 이동체의 스크린 상에서의 충돌 위치를 인식하는 시스템에 있어서,
복수의 이동체가 스크린을 향해 이동시의 이미지 프레임을 획득하는 적외선 카메라,
상기 이미지 프레임에 기초하여 상기 스크린 상에서의 충돌 위치를 산출하기 위한 프로그램이 저장된 메모리 및
상기 메모리에 저장된 프로그램을 실행시키는 프로세서를 포함하되,
상기 프로세서는 상기 프로그램을 실행시킴에 따라, 상기 이미지 프레임으로부터 복수의 이동체를 모두 검출하여 연속되는 이미지 프레임에 포함된 이동체를 서로 연결한 그래프를 생성하고, 상기 그래프에 기초하여 상기 이미지 프레임에 포함된 이동체 및 스크린 상에서의 이동체의 충돌 위치를 산출하는 것인 스크린 충돌위치 인식 시스템.
제 13 항에 있어서,
상기 프로세서는 연속되는 이미지 프레임에 포함된 이동체의 운동 위치인 노드 간의 연결 여부를 나타내는 엣지의 값을 비용함수에 기초하여 산출하는 것인 스크린 충돌위치 인식 시스템.
제 14 항에 있어서,
상기 프로세서는 상기 연속되는 이미지 프레임의 노드 사이의 기하학적 거리에 비례하고, 광도계적 거리에 비례하는 상기 비용함수를 산출하고, 상기 산출된 비용함수가 상기 연속되는 이미지 프레임에 대해 양방향으로 모두 최소가 되는 노드를 선택 및 서로 연결하여 상기 그래프를 생성하는 것인 스크린 충돌위치 인식 시스템.
제 15 항에 있어서,
상기 프로세서는 상기 연결된 노드들을 궤적 리스트로 생성 및 저장하되, 상기 궤적 리스트는 상기 복수 개의 이미지 프레임으로부터 연속적으로 추적된 이동체에 대한 운동 위치 배열을 포함하며, 상기 운동 위치 배열은 상기 복수의 이동체별로 구분되어 생성되는 것인 스크린 충돌위치 인식 시스템.
제 13 항에 있어서,
상기 프로세서는 상기 이동체에 대한 상태를 상기 이동체의 운동 위치 간의 거리와 부호로 구성된 운동함수의 값에 따라 상기 이동체의 정지 및 출발 상태, 전방운동 상태, 충돌 상태 및 후방 운동 상태 중 어느 하나로 결정하여 추적하는 것인 스크린 충돌위치 인식 시스템.
제 17 항에 있어서,
상기 프로세서는 상기 이동체의 상태가 충돌 상태일 때의 상기 이미지 프레임 상에서의 운동 위치를 상기 충돌 위치로 결정하고, 상기 이미지 프레임과 상기 스크린 상의 평면 대 평면 투영 관계를 나타내는 호모그래피 함수에 기초하여 상기 스크린 상의 충돌 위치를 산출하는 것인 스크린 충돌위치 인식 시스템.