KR101938607B1

KR101938607B1 - 당구게임용 영상 분석시스템 및 방법

Info

Publication number: KR101938607B1
Application number: KR1020180120096A
Authority: KR
Inventors: 이병준
Original assignee: (주)아이즈프리
Priority date: 2018-10-08
Filing date: 2018-10-08
Publication date: 2019-01-15

Abstract

본 발명의 일 실시 예에 의하면, 당구게임용 영상 분석시스템은, 당구공의 움직임이 있는 시점부터 상기 당구공의 움직임이 없는 시점까지 상기 당구공이 놓인 당구대를 촬영한 복수의 영상프레임을 출력하는 영상처리부; 그리고 입력된 상기 영상프레임으로부터 상기 당구공을 수구, 제1적구 및 제2적구로 각각 식별하는 당구공 식별모듈과, 상기 영상프레임으로부터 상기 당구공의 좌표를 산출하는 공위치 인식모듈과, 상기 수구가 어떤 적구에 충돌하였는지 판단하는 공충돌 판단모듈과, 상기 수구가 쿠션에 충돌하였는지 판단하는 쿠션충돌 판단모듈을 포함하는 제어부;를 포함하되, 상기 공충돌 판단모듈은, 상기 수구의 둘레에 적구감지영역(S)을 형성하며, 상기 적구가 상기 적구감지영역(S) 내에 위치하면서 상기 적구가 움직인 경우 상기 수구가 상기 적구와 충돌하였다고 판단할 수 있다.

Description

당구게임용 영상 분석시스템 및 방법{IMAGE ANALYSYS SYSTEM FOR BILLIARDS GAME AND METHOD THEREOF}

본 발명은 영상분석 시스템 및 방법에 관한 것으로, 보다 상세하게는 3쿠션 당구 게임 진행 시 촬영된 영상정보를 분석하여 수구가 제1적구, 제2적구 또는 쿠션과 충돌하였는지 여부를 보다 정확하게 판단하여 득점 여부를 계산할 수 있는 당구게임용 영상분석 시스템 및 방법에 관한 것이다.

사전적으로 당구는 부드러운 천을 깔아놓은 당구대(billiard table)에서 단단한 공을 큐(cue stick)로 쳐서 승부를 가리는 실내 스포츠로 정의되고 있다. 이와 같은 당구는 근래에는 대다수의 남성뿐 아니라 여성들도 즐기는 오락이자 스포츠로 자리잡고 있다.

일반적으로 당구는 그 게임 방식에 따라 사구게임, 쓰리쿠션, 포켓게임 등 다양한 방식이 존재한다. 이 중 쓰리 쿠션(three cushion)은 3개의 공을 당구대 위에 놓고 두 개의 적구 중 마지막 적구를 타격하기 전에 당구대 측면의 쿠션부분을 3회 이상 부딪히면 득점을 하는 방식이다.

최근에는 당구대의 좌표시스템을 이용하여 수구가 제1적구, 제2적구 또는 쿠션과 충돌하였는지 여부를 판단하는 당구 게임 시스템이 등장하고 있다. 그러나 이러한 당구 게임 시스템은 촬영된 영상정보에 잔존하는 당구공의 잔상으로 인해 당구공의 중심 좌표를 정확하게 계산할 수 없다. 따라서, 당구공의 충돌여부를 정확하게 판단할 수 없다는 문제가 있다.

대한민국공개특허공보 2005-0035563호(2005.04.19.) 대한민국공개특허공보 2013-0114512호(2013.10.18.)

본 발명이 해결하고자 하는 과제는 수구가 제1적구, 제2적구 또는 쿠션과 충돌하였는지 여부를 보다 정확하게 판단할 수 있는 당구게임용 영상 분석시스템 및 방법을 제공하는 것이다.

본 발명이 해결하고자 하는 다른 과제들은 다음의 상세한 설명과 도면으로부터 보다 명확해 질 것이다.

본 발명의 일 실시 예에 의하면, 당구게임용 영상 분석시스템은, 당구공의 움직임이 있는 시점부터 상기 당구공의 움직임이 없는 시점까지 상기 당구공이 놓인 당구대를 촬영한 복수의 영상프레임을 출력하는 영상처리부; 그리고 입력된 상기 영상프레임으로부터 상기 당구공을 수구, 제1적구 및 제2적구로 각각 식별하는 당구공 식별모듈과, 상기 영상프레임으로부터 상기 당구공의 좌표를 산출하는 공위치 인식모듈과, 상기 수구가 어떤 적구에 충돌하였는지 판단하는 공충돌 판단모듈과, 상기 수구가 쿠션에 충돌하였는지 판단하는 쿠션충돌 판단모듈을 포함하는 제어부;를 포함할 수 있다.

여기서 상기 공충돌 판단모듈은, 상기 수구의 둘레에 적구감지영역(S)을 형성하며, 상기 적구가 상기 적구감지영역(S) 내에 위치하면서 상기 적구가 움직인 경우 상기 수구가 상기 적구와 충돌하였다고 판단할 수 있다.

상기 공충돌 판단모듈은, 상기 수구의 충돌속도가 기설정된 비율 이상 감소한 경우, 상기 수구가 상기 적구와 충돌하였다고 판단할 수 있다.

이때, 상기 충돌속도는, 이전 영상프레임과 현재 영상프레임에서의 상기 수구의 이동거리(L)를 상기 영상프레임간의 시간간격으로 나눈 값일 수 있다.

아울러 상기 적구감지영역(S)은, 한 변의 길이가 이전 영상프레임과 현재 영상프레임에서의 상기 수구의 이동거리(L)인 정사각형인 것이 바람직하다.

상기 쿠션충돌 판단모듈은, 현재의 영상프레임(m)을 기준으로 이전의 영상프레임들((m-2)(m-1))에서는 수구와 쿠션 사이의 거리가 짧아지면서 이후의 영상프레임들((m+1)(m+2))에서는 수구와 쿠션 사이의 거리가 길어지면 상기 수구가 상기 쿠션과 충돌하였다고 판단할 수 있다.

여기서 상기 쿠션충돌 판단모듈은, 상기 당구대 내측에 형성된 쿠션감지선(C)의 외측에 상기 수구가 위치하는 경우에 상기 수구가 상기 쿠션에 충돌하였는지를 판단할 수 있다.

이때, 상기 쿠션감지선(C)은 직사각형 형상이며, 각 변과 대응되는 쿠션과의 직선 거리가 2*D(상기 당구공의 지름) 이상인 것이 바람직하다.

상기 수구, 상기 제1적구, 상기 제2적구의 색상은 각각 하얀색, 빨간색, 노란색일 수 있다.

이때, 상기 당구공 식별모듈은, 상기 당구공의 RGB 채널 중 녹색(G) 채널의 노란색(Y), 하얀색(W) 및 빨간색(R)의 논리값(1,1,0)을 NOT 비트연산하고 적색(R) 채널의 노란색(Y), 하얀색(W) 및 빨간색(R)의 논리값(1,1,1)을 AND 비트연산한 후 가중치 M을 곱한 제1결과값(0,0,M)과 청색(B) 채널의 노란색(Y), 하얀색(W) 및 빨간색(R)의 논리값(0,1,0)을 NOT 비트연산하고 적색(R) 채널의 노란색(Y), 하얀색(W) 및 빨간색(R)의 논리값(1,1,1)을 AND 비트연산한 후 가중치 N을 적용한 제2결과값(N,0,N)의 합(N, 0, M+N)의 크기를 이용하여 상기 당구공을 상기 수구, 상기 제1적구 및 상기 제2적구로 식별할 수 있다.

본 발명의 다른 실시 예에 의하면, 당구게임용 영상 분석방법은, 당구공의 움직임이 있는 시점부터 상기 당구공의 움직임이 없는 시점까지 상기 당구공이 놓인 당구대를 촬영한 복수의 영상프레임이 출력되는 출력단계; 상기 영상프레임으로부터 상기 당구공이 수구, 제1적구 및 제2적구로 각각 식별되는 식별단계; 상기 영상프레임으로부터 상기 당구공의 좌표가 산출되는 단계;

상기 수구가 어떤 적구에 충돌하였는지 판단하는 공충돌 판단단계; 그리고 상기 수구가 쿠션에 충돌하였는지 판단하는 쿠션충돌 판단단계;를 포함할 수 있다.

여기서, 상기 공충돌 판단단계는, 상기 수구의 둘레에 적구감지영역(S)을 형성하며, 상기 적구가 상기 적구감지영역(S) 내에 위치하면서 상기 적구가 움직인 경우 상기 수구가 상기 적구와 충돌하였다고 판단할 수 있다.

상기 공충돌 판단단계는, 상기 수구의 충돌속도가 기설정된 비율 이상 감소한 경우, 상기 수구가 상기 적구와 충돌하였다고 판단할 수 있다.

여기서, 상기 충돌속도는, 이전 영상프레임과 현재 영상프레임에서의 상기 수구의 이동거리(L)를 상기 영상프레임간의 시간간격으로 나눈 값인 것이 바람직하다.

한편, 상기 적구감지영역(S)은, 한 변의 길이가 이전 영상프레임과 현재 영상프레임에서의 상기 수구의 이동거리(L)인 정사각형인 것이 바람직하다.

상기 쿠션충돌 판단단계는, 현재의 영상프레임(m)을 기준으로 이전의 영상프레임들((m-2)(m-1))에서는 수구와 쿠션 사이의 거리가 짧아지면서 이후의 영상프레임들((m+1)(m+2))에서는 수구와 쿠션 사이의 거리가 길어지면 상기 수구가 상기 쿠션과 충돌하였다고 판단할 수 있다.

여기서, 상기 쿠션충돌 판단단계는, 상기 당구대 내측에 형성된 쿠션감지선(C)의 외측에 상기 수구가 위치하는 경우에 상기 수구가 상기 쿠션에 충돌하였는지를 판단할 수 있다.

여기서, 상기 식별단계는, 상기 당구공의 RGB 채널 중 녹색(G) 채널의 노란색(Y), 하얀색(W) 및 빨간색(R)의 논리값(1,1,0)을 NOT 비트연산한 후 가중치 M을 곱한 제1결과값(0,0,M)과 청색(B) 채널의 노란색(Y), 하얀색(W) 및 빨간색(R)의 논리값(0,1,0)을 NOT 비트연산한 후 가중치 N을 적용한 제2결과값(N,0,N)의 합(N, 0, M+N)의 크기를 이용하여 상기 당구공을 상기 수구, 상기 제1적구 및 상기 제2적구로 식별하는 단계를 포함할 수 있다.

또한, 본 발명의 또 다른 실시 예에 의하면, 상술한 당구게임용 영상 분석방법을 수행하기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록매체를 포함할 수 있다.

본 발명에 따른 당구게임용 영상 분석시스템 및 방법은 수구가 제1적구, 제2적구 또는 쿠션과 충돌하였는지 여부를 보다 정확하게 판단할 수 있는 이점이 있다.

도 1은 본 발명의 일 실시 예에 의한 당구게임용 영상 분석시스템의 블록구성도이다.
도 2는 영상프레임(n-1)에서의 수구가 이동에 의해 영상프레임(n)에서 제1적구에 충돌하는 상태를 나타내는 도면이다.
도 3은 영상프레임(n)에서 수구의 적구감지영역(S)을 산출하는 방법을 나타내는 도면이다.
도 4는 수구의 쿠션 충돌을 시간의 흐름에 따라 각 영상프레임(m-2), (m-1), m, (m+1), (m+2)에서의 수구의 위치로 설명하는 도면이다.
도 5는 도 4의 수구의 모든 위치를 하나의 이미지에 표시한 도면이다.
도 6(a)는 본 발명의 일 실시 예에 의한 당구대가 분리된 상태를 나타내는 도면이고, 도 6(b)는 당구공이 분리된 상태를 나타내는 도면이다.
도 7(a)는 도 6(a)의 영상정보에 이진데이터가 맵핑된 상태를 나타내는 도면이고, 도 7(b)는 도 6(b)의 영상정보에 이진데이터가 맵핑된 상태를 나타내는 도면이다.
도 8은 본 발명의 일 실시 예에 의한 당구공을 식별하는 비트연산을 나타낸 도면이다.
도 9는 도 8의 방법이 적용된 당구공 식별 방법의 순서도이다.
도 10은 본 발명의 일 실시 예에 의한 당구게임용 영상 분석방법의 순서도이다.

이하, 본 발명의 바람직한 실시 예들을 첨부된 도 1 내지 도 10을 참고하여 더욱 상세히 설명한다. 본 발명의 실시 예들은 여러 가지 형태로 변형될 수 있으며, 본 발명의 범위가 아래에서 설명하는 실시 예들에 한정되는 것으로 해석되어서는 안 된다. 본 실시 예들은 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명을 더욱 상세하게 설명하기 위해서 제공되는 것이다. 따라서 도면에 나타난 각 요소의 형상은 보다 분명한 설명을 강조하기 위하여 과장될 수 있다.

설명에 앞서, 수구(23)는 큐를 이용하여 내가 타격하는 공으로 정의하며, 두 개의 적구 중에서도 내 수구(23)와 처음 충돌하는 공을 제1적구(21)라고 하고, 두 번째에 맞는 공을 제2적구(22)라고 칭하기로 한다.

또한, 아래에서 수구(23)는 하얀색이고, 제1적구(21)는 빨간색이며, 제2적구(22)는 노란색임을 가정하여 설명하였으나, 플레이어의 순서에 따라 이러한 당구공들의 색상은 달라질 수 있음은 물론이다.

도 1은 본 발명의 일 실시 예에 의한 당구게임용 영상 분석시스템의 블록구성도이고, 도 2는 영상프레임(n-1)에서의 수구가 이동에 의해 영상프레임(n)에서 제1적구에 충돌하는 상태를 나타내는 도면이며, 도 3은 영상프레임(n)에서 수구의 적구감지영역(S)을 산출하는 방법을 나타내는 도면이고, 도 4는 수구의 쿠션 충돌을 시간의 흐름에 따라 각 영상프레임(m-2), (m-1), m, (m+1), (m+2)에서의 수구의 위치로 설명하는 도면이며, 도 5는 도 4의 수구의 모든 위치를 하나의 이미지에 표시한 도면이다.

도 1 내지 도 5를 참조하면, 본 실시 예에 의한 당구게임용 영상 분석시스템(1)은 3쿠션 당구 게임 진행 시 촬영된 영상정보를 분석하여 수구가 적구 또는 쿠션과의 충돌 여부를 정확하게 판단하기 위한 것으로, 카메라(30), 영상처리부(40), 제어부(50), 저장부(60) 및 디스플레이부(70)를 포함한다.

당구대(10)에는 수구(23), 제1적구(21) 및 제2적구(22)를 포함하는 당구공(20)이 놓여 있으며, 카메라(30)는 당구대(10)를 촬영한 영상정보를 출력한다. 이렇게 출력된 영상정보는 영상처리부(40)로 전송된다.

영상처리부(40)는 카메라(30)와 유무선 네트워크를 통해 연결되며, 카메라(30)로부터 영상정보를 수신한다. 영상처리부(40)는 카메라(30)로부터 수신된 영상정보를 이용하여 당구공(20)의 움직임이 있는 시점부터 당구공(20)의 움직임이 없는 시점까지 당구공(20)이 놓인 당구대(10)를 촬영한 복수의 영상프레임을 생성할 수 있다. 바람직하게는 영상프레임은 초당 20 ~ 60개의 프레임으로 구성될 수 있다. 영상처리부(40)는 복수의 영상프레임을 제어부(50)로 전송한다.

제어부(40)는 영상처리부(40), 저장부(60) 및 디스플레이부(70)와 유무선 네트워크를 통해 연결되며, 영상처리부(40)로부터 전송된 영상프레임들을 이용하여 당구 게임의 득점을 판단할 수 있다. 제어부(40)는 당구공 식별모듈(51), 공위치 인식모듈(53), 공충돌 판단모듈(55), 쿠션충돌 판단모듈(57) 및 득점 판단모듈(59)을 포함한다.

당구공 식별모듈(51)은 영상처리부(40)로부터 입력된 영상프레임들로부터 당구대(10)와 당구공(20)을 분리하고, RGB 비트 연산을 통해 수구(23), 제1적구(21) 및 제2적구(22)를 식별할 수 있다.

도 6(a)는 본 발명의 일 실시 예에 의한 당구대가 분리된 상태를 나타내는 도면이고, 도 6(b)는 당구공이 분리된 상태를 나타내는 도면이며, 도 7(a)는 도 6(a)의 영상정보에 이진데이터가 맵핑된 상태를 나타내는 도면이고, 도 7(b)는 도 6(b)의 영상정보에 이진데이터가 맵핑된 상태를 나타내는 도면이며, 도 8은 본 발명의 일 실시 예에 의한 당구공을 식별하는 비트연산을 나타낸 도면이다.

도 6(a) 및 도 7(a)에서와 같이, 당구공 식별모듈(51)은 상기 영상프레임에 포함된 픽셀이 당구대(10)의 색상(예를 들면, 청색)과 동일한 색상이면 이진데이터 '1'로 매칭시킨다. 당구공 식별모듈(51)은 상기 영상프레임에 포함된 픽셀이 당구대(10)의 색상과 다른 색상이면 이진데이터 '0'으로 매칭시킨다. 이때, HSV(hue saturation value)의 색상정보가 사용될 수 있다.

당구공 식별모듈(51)은 이진데이터 '1'을 가지는 최외각 픽셀을 연결하여 당구대(10)를 당구공(20)으로부터 분리할 수 있다. 즉, 당구공 식별모듈(51)은 최외각 픽셀을 연결한 사각형을 탐색함으로써 당구대(10)를 탐색할 수 있다.

그리고, 도 6(b) 및 도 7(b)에서와 같이, 당구공 식별모듈(51)은 상기 픽셀들과 매칭된 이진데이터 값을 반전(이진데이터 '1'은 '0'으로, 이진데이터 '0'은 '1'로 변환)시킨 후 이진데이터 '1'을 가지는 픽셀을 탐색함으로써 당구대(10)로부터 당구공(20)을 분리할 수 있다.

한편, 당구공 식별모듈(51)은 당구대(10)로부터 분리한 당구공(20)에 해당되는 픽셀의 RGB 채널 값을 이용하여 수구(23), 제1적구(21) 및 제2적구(22)로 식별할 수 있다.

도 8을 참조하면, 당구공 식별모듈(51)은 당구공(20)의 RGB 채널 중 녹색(G) 채널의 노란색(Y), 하얀색(W) 및 빨간색(R)의 논리값(1, 1, 0)을 NOT 비트연산하고 적색(R) 채널의 노란색(Y), 하얀색(W) 및 빨간색(R)의 논리값(1,1,1)을 AND 비트 연산한 후 가중치 M을 곱한 제1결과값(0,0,M)과 청색(B) 채널의 노란색(Y), 하얀색(W) 및 빨간색(R)의 논리값(0, 1, 0)을 NOT 비트연산하고 적색(R) 채널의 노란색(Y), 하얀색(W) 및 빨간색(R)의 논리값(1, 1, 1)을 AND 비트 연산한 후 가중치 N을 적용한 제2결과값(N,0,N)의 합인 식별값(N, 0, M+N)의 크기를 이용하여 당구공(20)을 수구(23), 제1적구(21) 및 제2적구(22)로 식별할 수 있다. 노란색(Y) 공의 식별값은 N이고, 하얀색(W) 공의 식별값은 0이고, 빨간색(R) 공의 식별값은 M+N이므로, 식별값의 크기로 수구(23, 하얀색 공), 제1적구(21, 빨간색 공) 및 제2적구(22, 노란색 공)을 각각 식별할 수 있게 된다. 이때, 식별값의 차이가 명확해 질 수 있도록 M≫N 인 것이 바람직하다. 이때, 상기 M은 40 이상이고, N은 5 이하일 수 있다.

공위치 인식모듈(53)은 상기 영상프레임마다 식별된 당구공(20) 이미지의 픽셀들의 좌표를 이용하여 당구공(20)의 좌표를 산출할 수 있다. 특히, 상기 픽셀들의 좌표의 평균값을 이용하여 당구공(20)의 중심좌표도 산출할 수 있다. 이때, 당구대(10)의 장쿠션을 X축 또는 Y축, 단쿠션을 Y축 또는 X축으로 하는 직교 좌표계가 사용될 수 있다.

공충돌 판단모듈(55)은 수구(23)가 제1적구(21) 또는 제2적구(22)와 충돌하였는지 여부를 판단할 수 있다. 예를 들면, 수구(23)의 중심좌표와 제1적구(21) 또는 제2적구(22)의 중심좌표간의 거리가 당구공(10)의 지름 이하인 경우 수구(23)가 제1적구(21) 또는 제2적구(22)와 충돌하였다고 판단할 수 있다.

도 2 및 도 3을 참조하면, 공충돌 판단모듈(55)은 영상프레임들 상의 수구(23, 23')의 둘레에 적구감지영역(S)을 형성할 수 있다. 공충돌 판단모듈(55)은 적구(21, 22)가 상기 영상프레임들의 적구감지영역(S) 내에 위치한 상태에서, 상기 적구(21, 22)가 움직인 경우(상기 적구(21,22)의 좌표가 바뀐 경우) 수구(23, 23')가 상기 적구(21, 22)와 충돌하였다고 판단할 수 있다. 여기서, 적구감지영역(S)은 사각형, 원, 삼각형 등 다양한 형상의 도형이 사용될 수 있다. 바람직하게는, 적구감지영역(S)은 한 변의 길이가 이전 영상프레임 (n-1)과 현재 영상프레임 (n)에서의 수구(23)의 이동거리(L)인 정사각형이 사용될 수 있다. 예를 들면, 상기 이동거리(L) =

이 사용될 수 있다. 이렇게 충돌 판단에 사용되는 메모리를 최소화함으로써 충돌 판단 처리 속도를 빠르게 할 수 있다.

한편, 공충돌 판단모듈(55)은 수구(23)의 충돌속도가 기설정된 비율 이상 감소한 경우, 수구(23)가 적구(21, 22)와 충돌하였다고 판단할 수 있다. 이때, 상기 충돌속도는 이전 영상프레임 (n-1)과 현재 영상프레임 (n)에서의 수구(23)의 이동거리(L)를 영상프레임들간의 시간간격(예를 들면, 이전 영상프레임과 현재 영상프레임의 시간차)으로 나눈 값이 사용될 수 있다.

도 4 및 도 5를 참조하면, 쿠션충돌 판단모듈(57)은 수구(23)가 쿠션에 충돌하였는지 판단하기 위한 것으로, 현재의 영상프레임(m)을 기준으로 이전의 영상프레임들((m-2)(m-1))에서는 수구(23)와 상기 쿠션 사이의 거리가 짧아지면서 이후의 영상프레임들((m+1)(m+2))에서는 수구(23)와 상기 쿠션 사이의 거리가 길어지면 수구(23)가 상기 쿠션과 충돌하였다고 판단할 수 있다.

쿠션충돌 판단모듈(57)은 당구대(10) 내측에 형성된 쿠션감지선(C)의 외측에 수구(23)가 위치하는 경우에만 수구(23)가 상기 쿠션에 충돌하였는지를 판단하기 시작할 수 있다. 여기서, 상기 쿠션감지선(C)은 직사각형 형상을 가질 수 있다. 이때, 상기 쿠션감지선(C)의 각 변과 대응되는 쿠션과의 직선 거리는 2*D(당구공(20)의 지름) 이상인 것이 바람직하다.

득점 판단모듈(59)은 공충돌 판단모듈(55)의 공충돌 판단정보 및 쿠션충돌 판단모듈(57)의 쿠션충돌 판단정보를 시간의 흐름에 따라 배열하여 득점 여부를 판단할 수 있다. 예를 들면, 제1적구충돌 → (장)쿠션충돌 → (단)쿠션충돌 → (장)쿠션충돌 → 제2적구충돌이면 득점이 인정된다.

도 10은 본 발명의 일 실시 예에 의한 당구게임용 영상 분석방법의 순서도이다. 이하, 도 10을 참조하여, 당구게임용 영상을 분석하는 과정을 설명한다.

우선, 카메라(30)는 당구대(10)를 촬영한 영상정보를 영상처리부(40)로 전송한다.

다음으로, 영상처리부(40)는 당구공(20)의 움직임이 있는 시점부터 당구공(20)의 움직임이 없는 시점까지 당구공(20)이 놓인 당구대(10)를 촬영한 복수의 영상프레임을 생성하여 제어부(50)로 전송한다(S101).

다음으로, 당구공 식별모듈(51)은 상기 영상프레임으로부터 당구공(20)을 수구(23), 제1적구(21) 및 제2적구(22)로 각각 식별한다(S102).

도 9는 도 8의 방법이 적용된 당구공 식별 방법의 순서도이다. 이하, 도 9를 참조하여, 당구공 식별모듈이 당구공을 식별하는 과정을 설명한다.

우선, 당구공 식별모듈(51)이 영상처리부(40)로부터 입력된 영상프레임들로부터 당구대(10)와 당구공(20)을 분리하는 객체분리단계가 수행된다(S10).

객체분리단계(S10)는, 당구공 식별모듈(51)이 상기 영상프레임에 포함된 픽셀이 당구대(10)의 색상(예를 들면, 청색)과 동일한 색상이면 이진데이터 '1'로 매칭시키며, 상기 영상프레임에 포함된 픽셀이 당구대(10)의 색상과 다른 색상이면 이진데이터 '0'으로 매칭시키는 단계(S11)와, 객체분리부(41)가 상기 픽셀들과 매칭된 이진데이터 값을 반전(이진데이터 '1'은 '0'으로, 이진데이터 '0'은 '1'로 변환)시킨 후 이진데이터 '1'을 가지는 픽셀을 탐색하는 단계(S13)를 포함할 수 있다.

다음으로, 당구대(10)로부터 분리된 당구공(20)을 수구(23), 제1적구(21) 및 제2적구(22)로 식별하는 객체식별단계가 수행된다(S20).

구체적으로, 당구공 식별모듈(51)이 당구공(20)의 RGB 채널 중 녹색(G) 채널의 노란색(Y), 하얀색(W) 및 빨간색(R)의 논리값(1, 1, 0)을 NOT 비트 연산한다(S21).

당구공 식별모듈(51)은 상기 논리값(1, 1, 0)을 NOT 비트 연산한 후 적색(R) 채널의 노란색(Y), 하얀색(W) 및 빨간색(R)의 논리값(1,1,1)을 AND 비트 연산한 후 가중치 M을 곱한 제1결과값(0,0,M)을 산출한다(S23).

한편, 당구공 식별모듈(51)이 당구공(20)의 RGB 채널 중 청색(B) 채널의 노란색(Y), 하얀색(W) 및 빨간색(R)의 논리값(0, 1, 0)을 NOT 비트 연산한다(S22).

당구공 식별모듈(51)이 상기 논리값(0, 1, 0)을 NOT 비트 연산한 후 적색(R) 채널의 노란색(Y), 하얀색(W) 및 빨간색(R)의 논리값(1, 1, 1)을 AND 비트 연산한 후 가중치 N을 적용한 제2결과값(N, 0, N)을 산출한다(S24).

그리고, 제1결과값(0, 0, M)과 제2결과값(N, 0, N)의 합(N, 0, M+N)의 크기를 이용하여 당구공 식별한다(S25).

결과적으로, 노란색(Y) 공의 식별값은 N이고, 하얀색(W) 공의 식별값은 0이고, 빨간색(R) 공의 식별값은 M+N이므로, 식별값의 크기로 수구(23, 하얀색 공), 제1적구(21, 빨간색 공) 및 제2적구(22, 노란색 공)을 각각 식별할 수 있게 된다. 이때, 식별값의 차이가 명확해 질 수 있도록 M≫N 인 것이 바람직하다. 이때, 상기 M은 40 이상이고, N은 5 이하일 수 있다.

다음으로, 공위치 인식모듈(53)은 상기 영상프레임으로부터 당구공(20)의 좌표를 산출한다(S103). 구체적으로, 공위치 인식모듈(53)은 상기 영상프레임마다 식별된 당구공(20) 이미지의 픽셀들의 좌표를 이용하여 당구공(20)의 좌표를 산출할 수 있다. 특히, 상기 픽셀들의 좌표의 평균값을 이용하여 당구공(20)의 중심좌표도 산출할 수 있다. 이때, 당구대(10)의 장쿠션을 X축 또는 Y축, 단쿠션을 Y축 또는 X축으로 하는 직교 좌표계가 사용될 수 있다.

다음으로, 공충돌 판단모듈(55)은 수구(23)가 어떤 적구(21, 22)에 충돌하였는지 판단한다(S104). 예를 들면, 수구(23)의 중심좌표와 제1적구(21) 또는 제2적구(22)의 중심좌표간의 거리가 당구공(10)의 지름 이하인 경우 수구(23)가 제1적구(21) 또는 제2적구(22)와 충돌하였다고 판단할 수 있다.

다음으로, 쿠션충돌 판단모듈(57)은 수구(23)가 쿠션에 충돌하였는지 판단한다(S105). 구체적으로, 쿠션충돌 판단모듈(57)은 수구(23)가 쿠션에 충돌하였는지 판단하기 위한 것으로, 현재의 영상프레임(m)을 기준으로 이전의 영상프레임들((m-2)(m-1))에서는 수구(23)와 상기 쿠션 사이의 거리가 짧아지면서 이후의 영상프레임들((m+1)(m+2))에서는 수구(23)와 상기 쿠션 사이의 거리가 길어지면 수구(23)가 상기 쿠션과 충돌하였다고 판단할 수 있다.

다음으로, 득점 판단모듈(59)은 공충돌 판단모듈(55)의 공충돌 판단정보 및 쿠션충돌 판단모듈(57)의 쿠션충돌 판단정보를 시간의 흐름에 따라 배열하여 득점 여부를 판단한다(S106).

결과적으로, 본 실시 예에 따른 당구게임용 영상 분석시스템 및 방법은 영상정보의 당구대(10)로부터 당구공(20)을 분리함으로써 당구공(10)의 위치를 정확하게 인식할 수 있다. 당구대(10)로부터 분리한 당구공(20)에 해당되는 픽셀의 RGB 채널 값을 비트 연산함으로써 정확하게 수구(23), 제1적구(21) 및 제2적구(22)를 식별할 수 있다. 수구(23)가 제1적구(21), 제2적구(22) 또는 쿠션과 충돌하였는지 여부를 보다 정확하게 판단하여 득점 여부를 정확하게 계산할 수 있다.

본 발명을 바람직한 실시 예들을 통하여 상세하게 설명하였으나, 이와 다른 형태의 실시 예들도 가능하다. 그러므로 이하에 기재된 청구항들의 기술적 사상과 범위는 바람직한 실시 예들에 한정되지 않는다.

1: 당구게임용 영상 분석시스템 10: 당구대
20: 당구공 21: 제1적구
22: 제2적구 23: 수구
30: 카메라 40: 영상처리부
50: 제어부 60: 저장부
70: 디스플레이부 S: 적구감지영역
C: 쿠션감지선

Claims

삭제
당구공의 움직임이 있는 시점부터 상기 당구공의 움직임이 없는 시점까지 상기 당구공이 놓인 당구대를 촬영한 복수의 영상프레임을 출력하는 영상처리부; 및
입력된 상기 영상프레임으로부터 상기 당구공을 수구, 제1적구 및 제2적구로 각각 식별하는 당구공 식별모듈과, 상기 영상프레임으로부터 상기 당구공의 좌표를 산출하는 공위치 인식모듈과, 상기 수구가 어떤 적구에 충돌하였는지 판단하는 공충돌 판단모듈과, 상기 수구가 쿠션에 충돌하였는지 판단하는 쿠션충돌 판단모듈을 포함하는 제어부;를 포함하되,
상기 공충돌 판단모듈은,
상기 수구의 둘레에 적구감지영역(S)을 형성하며, 상기 적구가 상기 적구감지영역(S) 내에 위치하면서 상기 적구가 움직인 경우 상기 수구가 상기 적구와 충돌하였다고 판단하며,
상기 공충돌 판단모듈은,
상기 수구의 충돌속도가 기설정된 비율 이상 감소한 경우, 상기 수구가 상기 적구와 충돌하였다고 판단하는, 당구게임용 영상 분석시스템.
청구항 2에 있어서,
상기 충돌속도는,
이전 영상프레임과 현재 영상프레임에서의 상기 수구의 이동거리(L)를 상기 영상프레임간의 시간간격으로 나눈 값인, 당구게임용 영상 분석시스템.
당구공의 움직임이 있는 시점부터 상기 당구공의 움직임이 없는 시점까지 상기 당구공이 놓인 당구대를 촬영한 복수의 영상프레임을 출력하는 영상처리부; 및
입력된 상기 영상프레임으로부터 상기 당구공을 수구, 제1적구 및 제2적구로 각각 식별하는 당구공 식별모듈과, 상기 영상프레임으로부터 상기 당구공의 좌표를 산출하는 공위치 인식모듈과, 상기 수구가 어떤 적구에 충돌하였는지 판단하는 공충돌 판단모듈과, 상기 수구가 쿠션에 충돌하였는지 판단하는 쿠션충돌 판단모듈을 포함하는 제어부;를 포함하되,
상기 공충돌 판단모듈은,
상기 수구의 둘레에 적구감지영역(S)을 형성하며, 상기 적구가 상기 적구감지영역(S) 내에 위치하면서 상기 적구가 움직인 경우 상기 수구가 상기 적구와 충돌하였다고 판단하며,
상기 적구감지영역(S)은,
한 변의 길이가 이전 영상프레임과 현재 영상프레임에서의 상기 수구의 이동거리(L)인 정사각형인, 당구게임용 영상 분석시스템.
당구공의 움직임이 있는 시점부터 상기 당구공의 움직임이 없는 시점까지 상기 당구공이 놓인 당구대를 촬영한 복수의 영상프레임을 출력하는 영상처리부; 및
입력된 상기 영상프레임으로부터 상기 당구공을 수구, 제1적구 및 제2적구로 각각 식별하는 당구공 식별모듈과, 상기 영상프레임으로부터 상기 당구공의 좌표를 산출하는 공위치 인식모듈과, 상기 수구가 어떤 적구에 충돌하였는지 판단하는 공충돌 판단모듈과, 상기 수구가 쿠션에 충돌하였는지 판단하는 쿠션충돌 판단모듈을 포함하는 제어부;를 포함하되,
상기 공충돌 판단모듈은,
상기 수구의 둘레에 적구감지영역(S)을 형성하며, 상기 적구가 상기 적구감지영역(S) 내에 위치하면서 상기 적구가 움직인 경우 상기 수구가 상기 적구와 충돌하였다고 판단하며,
상기 쿠션충돌 판단모듈은,
현재의 영상프레임(m)을 기준으로 이전의 영상프레임들((m-2)(m-1))에서는 수구와 쿠션 사이의 거리가 짧아지면서 이후의 영상프레임들((m+1)(m+2))에서는 수구와 쿠션 사이의 거리가 길어지면 상기 수구가 상기 쿠션과 충돌하였다고 판단하는, 당구게임용 영상 분석시스템.
청구항 5에 있어서,
상기 쿠션충돌 판단모듈은,
상기 당구대 내측에 형성된 쿠션감지선(C)의 외측에 상기 수구가 위치하는 경우에 상기 수구가 상기 쿠션에 충돌하였는지를 판단하되,
상기 쿠션감지선(C)은 직사각형 형상이며, 각 변과 대응되는 쿠션과의 직선 거리가 2*D(상기 당구공의 지름) 이상인, 당구게임용 영상 분석시스템.
당구공의 움직임이 있는 시점부터 상기 당구공의 움직임이 없는 시점까지 상기 당구공이 놓인 당구대를 촬영한 복수의 영상프레임을 출력하는 영상처리부; 및
입력된 상기 영상프레임으로부터 상기 당구공을 수구, 제1적구 및 제2적구로 각각 식별하는 당구공 식별모듈과, 상기 영상프레임으로부터 상기 당구공의 좌표를 산출하는 공위치 인식모듈과, 상기 수구가 어떤 적구에 충돌하였는지 판단하는 공충돌 판단모듈과, 상기 수구가 쿠션에 충돌하였는지 판단하는 쿠션충돌 판단모듈을 포함하는 제어부;를 포함하되,
상기 공충돌 판단모듈은,
상기 수구의 둘레에 적구감지영역(S)을 형성하며, 상기 적구가 상기 적구감지영역(S) 내에 위치하면서 상기 적구가 움직인 경우 상기 수구가 상기 적구와 충돌하였다고 판단하고,
상기 수구, 상기 제1적구, 상기 제2적구의 색상은 각각 하얀색, 빨간색, 노란색이며,
상기 당구공 식별모듈은,
상기 당구공의 RGB 채널 중 녹색(G) 채널의 노란색(Y), 하얀색(W) 및 빨간색(R)의 논리값(1,1,0)을 NOT 비트연산하고 적색(R) 채널의 노란색(Y), 하얀색(W) 및 빨간색(R)의 논리값(1,1,1)을 AND 비트연산한 후 가중치 M을 곱한 제1결과값(0,0,M)과 청색(B) 채널의 노란색(Y), 하얀색(W) 및 빨간색(R)의 논리값(0,1,0)을 NOT 비트연산하고 적색(R) 채널의 노란색(Y), 하얀색(W) 및 빨간색(R)의 논리값(1,1,1)을 AND 비트연산한 후 가중치 N을 적용한 제2결과값(N,0,N)의 합(N, 0, M+N)의 크기를 이용하여 상기 당구공을 상기 수구, 상기 제1적구 및 상기 제2적구로 식별하는, 당구게임용 영상 분석시스템.
당구공의 움직임이 있는 시점부터 상기 당구공의 움직임이 없는 시점까지 상기 당구공이 놓인 당구대를 촬영한 복수의 영상프레임이 출력되는 출력단계;
상기 영상프레임으로부터 상기 당구공이 수구, 제1적구 및 제2적구로 각각 식별되는 식별단계;
상기 영상프레임으로부터 상기 당구공의 좌표가 산출되는 단계;
상기 수구가 어떤 적구에 충돌하였는지 판단하는 공충돌 판단단계; 및
상기 수구가 쿠션에 충돌하였는지 판단하는 쿠션충돌 판단단계;를 포함하되,
상기 공충돌 판단단계는,
상기 수구의 둘레에 적구감지영역(S)을 형성하며, 상기 적구가 상기 적구감지영역(S) 내에 위치하면서 상기 적구가 움직인 경우 상기 수구가 상기 적구와 충돌하였다고 판단하는 단계인, 당구게임용 영상 분석방법.
청구항 8에 있어서,
상기 공충돌 판단단계는,
상기 수구의 충돌속도가 기설정된 비율 이상 감소한 경우, 상기 수구가 상기 적구와 충돌하였다고 판단하는 단계인, 당구게임용 영상 분석.
청구항 9에 있어서,
상기 충돌속도는,
이전 영상프레임과 현재 영상프레임에서의 상기 수구의 이동거리(L)를 상기 영상프레임간의 시간간격으로 나눈 값인, 당구게임용 영상 분석방법.
청구항 8에 있어서,
상기 적구감지영역(S)은,
한 변의 길이가 이전 영상프레임과 현재 영상프레임에서의 상기 수구의 이동거리(L)인 정사각형인, 당구게임용 영상 분석방법.
청구항 8에 있어서,
상기 쿠션충돌 판단단계는,
현재의 영상프레임(m)을 기준으로 이전의 영상프레임들((m-2)(m-1))에서는 수구와 쿠션 사이의 거리가 짧아지면서 이후의 영상프레임들((m+1)(m+2))에서는 수구와 쿠션 사이의 거리가 길어지면 상기 수구가 상기 쿠션과 충돌하였다고 판단하는 단계인, 당구게임용 영상 분석방법.
청구항 12에 있어서,
상기 쿠션충돌 판단단계는,
상기 당구대 내측에 형성된 쿠션감지선(C)의 외측에 상기 수구가 위치하는 경우에 상기 수구가 상기 쿠션에 충돌하였는지를 판단하는 단계이며,
상기 쿠션감지선(C)은 직사각형 형상이며, 각 변과 대응되는 쿠션과의 직선 거리가 2*D(상기 당구공의 지름) 이상인, 당구게임용 영상 분석방법.
청구항 8에 있어서,
상기 수구, 상기 제1적구, 상기 제2적구의 색상은 각각 하얀색, 빨간색, 노란색이며,
상기 식별단계는,
상기 당구공의 RGB 채널 중 녹색(G) 채널의 노란색(Y), 하얀색(W) 및 빨간색(R)의 논리값(1,1,0)을 NOT 비트연산한 후 가중치 M을 곱한 제1결과값(0,0,M)과 청색(B) 채널의 노란색(Y), 하얀색(W) 및 빨간색(R)의 논리값(0,1,0)을 NOT 비트연산한 후 가중치 N을 적용한 제2결과값(N,0,N)의 합(N, 0, M+N)의 크기를 이용하여 상기 당구공을 상기 수구, 상기 제1적구 및 상기 제2적구로 식별하는 단계를 포함하는, 당구게임용 영상 분석방법.
청구항 8 내지 청구항 14 중 어느 한 항에 기재된 방법을 수행하기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록매체.