KR101973655B1

KR101973655B1 - 스포츠 코트 자동인식 및 그에 따른 인/아웃 판단 방법 및 장치

Info

Publication number: KR101973655B1
Application number: KR1020180025967A
Authority: KR
Inventors: 박창만; 염기원; 류정현; 지용; 정호원
Original assignee: 주식회사 디아이블
Priority date: 2018-03-05
Filing date: 2018-03-05
Publication date: 2019-08-26

Abstract

본 발명에 따른 스포츠 코트 자동인식 방법은, 카메라에 의해 촬영된 스포츠 코트의 원본 이미지를 획득하는 단계, 획득된 원본 이미지를 변환하여 이진화 이미지를 생성하는 단계, 이진화 이미지로부터 코트를 구성하는 라인을 검출하는 단계, 검출된 라인들에 가상의 연장선을 인가하여 결여된 라인을 보완함으로써 예비 코트 라인을 생성하는 단계, 미리 저장된 정규 사이즈의 스포츠 코트 템플릿과 예비 코트 라인을 비교하는 단계, 비교 결과에 따라 예비 코트 라인을 수정하는 단계, 수정된 코트 라인에 대해 라벨링하는 단계, 라벨링 정보를 포함한 스포츠 코트 정보를 생성하는 단계를 포함한다.
또한, 본 발명에 따른 스포츠 코트 자동인식 방법은 상기 카메라를 이용하여 상기 스포츠 코트의 실시간 영상 정보를 취득하는 단계, 이미 저장된 다양한 자세의 셔틀콕 템플릿을 이용하여 상기 실시간 영상 정보로부터 셔틀콕의 위치를 인식하는 단계, 인식된 셔틀콕이 특정 길이의 연속된 영상 프레임에서 동일한 위치에 있는지 여부를 확인하고, 상기 특정 길이의 연속된 영상 프레임에서 셔틀콕이 동일한 위치에 있는 것으로 확인되면 셔틀콕이 바닥에 닿은 것으로 판단하는 단계, 바닥에 닿은 것으로 판단된 셔틀콕의 위치 정보를 상기 스포츠 코트 정보와 비교하여 라인 안쪽인지 바깥쪽인지 인아웃을 판단하는 단계를 더 포함한다.

Description

스포츠 코트 자동인식 및 그에 따른 인/아웃 판단 방법 및 장치{METHOD AND APPARATUS FOR AUTOMATIC IDENTIFICATION OF SPORTS COURT AND SUBSEQUENT IN/OUT DETERMINATION}

본 발명은 스포츠 코트를 자동인식하는 방법 및 장치에 관한 것이고, 더 상세하게는, 스포츠 코트를 자동인식하고 후속하여 자동인식된 코트 정보를 기반으로 인아웃 판정을 하는 방법 및 장치에 관한 것이다.

스포츠 경기에서 오심 또는 편파 판정의 우려는 항상 존재하여 왔다. 이러한 우려를 기술적으로 극복하기 위한 노력이 계속되어 왔는데, 영국 옥스퍼드대 마틴스쿨이 2016년 스위스 다보스 세계경제포럼에서 발표한 바에 따르면, 앞으로 10년 내 로봇이 대체할 직업군으로 스포츠 심판의 경우 로봇 대체 확률이 90%이상으로 매우 높다고 보고된 바 있다.

특히, 전통적 구기종목인 축구와 야구, 테니스, 배드민턴 등에서도 심판 판정에 매우 민감하기 때문에 비디오 판독 기술의 적용이 확대되고 있다. 2006년 세계 4대 메이저 대회인 US오픈에서 테니스 비디오 판독 시스템인 호크아이(Hawk-Eye)가 처음 도입되었고, 2014년에는 피파(FIFA)도 브라질 월드컵에서 호크아이와 유사한 비디오 판독 시스템의 활용을 시작하였다.

나아가, 2020년 도쿄 올림픽을 겨냥하여 일본은 대대적인 로봇심판의 등장을 예고하기도 하여, 로봇 심판 또는 자동 심판 시스템은 많은 다국적 기업들이 관심을 두고 있는 분야이기도 하다.

자동 심판 시스템에 있어, 현재까지는 카메라의 해상도를 더 높이고 카메라의 설치 대수를 늘리는 것으로 비디오 판독의 정확도를 높이는 데에 그치고 있다. 그러나 이러한 개발 방향에 의하면 카메라의 단가는 계속 높아질 것이고 그 설치 대수의 증가에 따른 비용 상승으로 이어지게 될 것이다.

더욱이, 생활 체육 단위에는 위에 언급한 고가의 장비를 설치할 엄두를 내기 어려움은 물론, 경기마다 복잡한 설치 과정을 반복해야 하는 것도 부담인데 반해, 프로 게임보다 판정 시비가 더 잦고 첨예하기 때문에, 설치가 간단하고 휴대 가능하며 비용이 높지 않은 자동 판정 시스템에 대한 요구가 높다.

등록특허 10-17990747에는 코트 감지 수단과 셔틀콕 감지 수단을 이용하여 원격의 상대방과 공정한 배드민턴 게임을 진행할 수 있는 시스템이 개시되어 있다. 여기에서는 코트 감지 수단으로서 배드민턴 코트 형태로 바닥에 부착되어 있는 테이프 타입의 감지 센서 또는 적외선이나 레이저와 같은 광 감지 센서를 이용하였다. 셔틀콕 감지 수단으로는 셔틀콕의 방향, 속도, 스핀등에 대한 정보를 이용하여 산출된 예상 궤적에 의해 셔틀콕이 코트 영역 내/외 영역에 낙하하였는지를 판별하도록 하고 있다.

스포츠 코트의 인식과 그에 따른 인아웃 판정을 위해서는, 설치가 간단하고 심지어 별도의 설치를 요하지 않는 이동식 시스템을 제공하는 것이 가장 효율적인 방법임에도 기존 종래기술에서는 그런 방법을 제시하지 못하였다.

본 발명은 비디오 판독을 위해 요구되는 카메라의 성능 향상 및 설치 대수 증가로 인한 비용 증가를 방지할 수 있는 스포츠 코트 자동인식 및 인아웃 판단 방법 및 장치를 제공하는 것을 목적으로 한다.

본 발명의 다른 목적은 설치가 극히 용이하며 비용효율적인 스포츠 코트 자동인식 및 인아웃 판단 방법 및 장치를 제공하는 것이다.

상기한 바와 같은 목적을 달성하기 위한 본 발명에 따른 스포츠 코트 자동인식 방법은, 카메라에 의해 촬영된 스포츠 코트의 원본 이미지를 획득하는 단계, 획득된 원본 이미지를 변환하여 이진화 이미지를 생성하는 단계, 이진화 이미지로부터 코트를 구성하는 라인을 검출하는 단계, 검출된 라인들에 가상의 연장선을 인가하여 결여된 라인을 보완함으로써 예비 코트 라인을 생성하는 단계, 미리 저장된 정규 사이즈의 스포츠 코트 템플릿과 예비 코트 라인을 비교하는 단계, 비교 결과에 따라 예비 코트 라인을 수정하는 단계, 수정된 코트 라인에 대해 인아웃 판정에 필요한 단위별로 라벨링하는 라벨링하는 단계, 라벨링 정보를 포함한 스포츠 코트 정보를 생성하는 단계를 포함한다.

또한, 본 발명에 따른 스포츠 코트 자동인식 방법은 상기 카메라를 이용하여 스포츠 코트의 실시간 영상 정보를 취득하는 단계, 이미 저장된 다양한 자세의 셔틀콕 템플릿을 이용하여 상기 실시간 영상 정보로부터 셔틀콕의 위치를 인식하는 단계, 인식된 셔틀콕이 특정 길이의 연속된 영상 프레임에서 동일한 위치에 있는지 여부를 확인하고, 상기 특정 길이의 연속된 영상 프레임에서 셔틀콕이 동일한 위치에 있는 것으로 확인되면 셔틀콕이 바닥에 닿은 것으로 판단하는 단계, 바닥에 닿은 것으로 판단된 셔틀콕의 위치 정보를 상기 스포츠 코트 정보와 비교하여 라인 안쪽인지 바깥쪽인지 인아웃을 판단하는 단계를 더 포함한다.

본 발명에 따른 스포츠 코트 자동인식 장치는 카메라를 이용하여 스포츠 코트의 원본 이미지를 획득하는 촬영부, 획득된 원본 이미지를 변환하여 이진화 이미지를 생성하는 이진화 이미지 생성부, 이진화 이미지로부터 코트를 구성하는 라인을 검출하는 코트 라인 검출부, 검출된 라인들에 가상의 연장선을 인가하여 결여된 라인을 보완함으로써 예비 코트 라인을 생성하는 예비 코트 라인 생성부, 미리 저장된 정규 사이즈의 스포츠 코트 템플릿과 예비 코트 라인을 비교하는 템플릿 비교부, 비교 결과에 따라 예비 코트 라인을 수정하는 예비 코트 라인 수정부, 수정된 코트 라인에 대해 인아웃 판정에 필요한 단위별로 라벨링하는 라벨링부, 라벨링 정보를 포함한 스포츠 코트 정보를 생성하는 스포트 코트 정보 생성부를 포함한다.

또한, 본 발명에 따른 스포츠 코트 자동인식 장치에서는 상기 촬영부가 상기 카메라를 이용하여 스포츠 코트의 실시간 영상 정보를 취득하고, 이미 저장된 다양한 자세의 셔틀콕 템플릿을 이용하여 상기 실시간 영상 정보로부터 셔틀콕의 위치를 인식하는 셔틀콕 인식부, 인식된 셔틀콕이 특정 길이의 연속된 영상 프레임에서 동일한 위치에 있는지 여부를 확인하고, 상기 특정 길이의 연속된 영상 프레임에서 셔틀콕이 동일한 위치에 있는 것으로 확인되면 셔틀콕이 바닥에 닿은 것으로 판단하는 셔틀콕 착지 판단부, 바닥에 닿은 것으로 판단된 셔틀콕의 위치 정보를 상기 스포츠 코트 정보와 비교하여 라인 안쪽인지 바깥쪽인지 인아웃을 판단하는 인아웃 판단부를 더 포함한다.

본 발명에 따른 스포츠 코트 자동인식 방법 및 장치는 설치가 간편하고, 휴대 가능하며 비용효율적이다.

도 1은 본 발명의 일 실시예에 따른 스포츠 코트 자동인식 장치의 구성도이다.
도 2a는 본 발명의 일 실시예에 따라 촬영부에 의해 캡처된 스포츠 코트의 이미지를 나타낸 것이다.
도 2b는 본 발명의 일 실시예에 따라 도 2a의 스포츠 코트 이미지가 이진화된 이미지를 나타낸 것이다.
도 2c는 본 발명의 일 실시예에 따라 도 2b의 이진화 이미지로부터 코트 라인이 검출된 것을 나타낸 것이다.
도 2d는 본 발명의 일 실시예에 따라 도 2c에서 검출된 코트 라인에 가상의 연장선을 인가하여 생성된 예비 코트 라인을 나타낸 것이다.
도 3은 본 발명의 일 실시예에 따라 코트 라인에 대해 라벨링한 것이다.
도 4a는 스포츠 코트의 일 예인 배드민턴 코트의 전체 규격을 나타낸 것이다.
도 4b 내지 도 4d는 각각 스포츠 코트의 일 예인 배드민턴 코트의 단식, 복식, 및 서브 경우에 대한 인/아웃 판정 라인을 나타낸 것이다.
도 5는 다양한 자세를 갖는 셔틀콕 템플릿의 예를 나타낸 것이다.
도 6는 본 발명의 일 실시예에 따른 스포츠 코트 자동인식 방법의 순서도이다.

이하 첨부된 도면을 참고하여 본 발명에 따른 스포츠 코트 자동인식 및 인아웃 판단 방법 및 장치의 실시예를 상세히 설명한다.

본 명세서 전체에서 사용되는 '~부', '~블록', '~모듈' 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미할 수 있다. 예를 들어 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미할 수 있다. 그렇지만 '~부', '~블록', '~모듈' 등이 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부', '~블록', '~모듈'은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부', '~블록', '~모듈'은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성 요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 알고리즘들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌 웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '~부', '~블록', '~모듈'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부', '~블록', '~모듈'들로 결합되거나 추가적인 구성요소들과 '~부', '~블록', '~모듈'들로 더 분리될 수 있다.

도 1은 본 발명의 일 실시예에 따른 스포츠 코트 자동인식 장치(100)의 구성도인데, 먼저 스포츠 코트를 자동인식하는 구성으로, 촬영부(110), 이진화 이미지 생성부(120), 코트 라인 검출부(130), 예비 코트 라인 생성부(140), 템플릿 비교부(150), 예비 코트 라인 수정부(160), 라벨링부(170), 및 스포츠 코트 정보 생성부(180)를 포함할 수 있다. 또한, 틀어짐 보정부(190)를 더 포함할 수 있다.

추가적으로, 자동인식된 스포츠 코트 정보를 이용하여 해당 스포츠에 사용되는 볼, 예를 들어 셔틀콕의 인/아웃을 판단하기 위한 구성으로, 셔틀콕 인식부(200), 셔틀콕 착지 판단부(210), 및 인/아웃 판단부(220)를 포함할 수 있다. 또한, 음향/조명 출력부(230)를 더 포함할 수 있다.

촬영부(110)는 일반적으로 카메라를 포함하되, 스포츠 코트의 이미지를 순간적으로 캡처하거나 동영상으로 촬영할 수 있는 임의의 카메라 모듈일 수 있다. 예를 들어, 가시광선 카메라 모듈인 CMOS(Complementary Metal Oxide Semiconductor) 카메라 모듈, 또는 CCD(Charge-Coupled Device) 카메라 모듈이 사용될 수 있는데, 특히 실내 스포츠 코트의 이미지를 캡처하기에 적합한 카메라 모듈이 바람직하다.

이진화 이미지 생성부(120)는 촬영부(110)에서 생성된 영상을 이진화 영상으로 변환한다. 이진화 이미지 생성부(120)는 촬영부(110)에서 캡처된 원본 이미지를 이진화 처리하여 코트 라인 후보영역이 백색으로 나타나고 그 외의 배경영역이 흑색으로 나타나는 이진화 이미지를 생성할 수 있다.

이진화 처리 방법으로는 코트 라인을 검출하는데 적합한 임의의 방식, 예를 들어 오츠 이진화(Otsu Threshold) 방식을 이용할 수 있다.

코트 라인 검출부(130)는 이진화 이미지 생성부(120)에서 생성된 이진화 이미지로부터 코트 라인을 검출한다. 이진화 이미지 내에는 코트 라인 후보영역 외에도 주변의 조명 상황에 따라, 이를테면, 실내 체육관 내에 설치된 조명의 반사, 또는 창을 통해 입사되는 태양광의 영향 등에 의해 일부 배경영역이 백색으로 나타날 수 있다. 그 외에도, 코트 주변에 놓인 백색 물체들, 이를테면 네트 기둥이나 라켓 등도 이진화 결과 백색으로 나타날 수 있다. 따라서, 이진화 이미지의 백색 영역 중에서 코트 라인만을 검출해 내는 것이 필요하다. 스포츠 코트의 규격은 이미 알려진 불변의 정보이므로(도 4a 참조), 영상처리 알고리즘을 이용하여 상기 백색 영역중에서 상기 불변의 코트 정보에 매칭되는 부분만을 코트 라인으로 추출할 수 있다.

예비 코트 라인 생성부(140)는 코트 라인 검출부(130)에서 검출된 코트 라인에 가상의 연장선을 부가함으로써 예비 코트 라인을 생성한다. 촬영부(110)에 의해 얻어진 스포츠 코트의 원본 이미지는 촬영 위치, 시야각(FOV: Field of View), 또는 빛 반사 등 여러 조건에 따라 코트 전체의 이미지를 얻지 못하는 경우가 발생할 수 있다. 특히 단일 카메라를 이용하는 경우 그 가능성은 상당하다. 또한, 코트 라인의 노화로 인해 라인의 일부가 뜯어지거나 지워진 경우에도 코트 라인의 전부를 검출할 수 없게 된다.

이와 같이 미검출된 코트 라인을 보완하기 위하여, 코트 라인 검출부(130)에서 검출된 코트 라인에 대해 가상의 연장선을 인가한다. 스포츠 코트 라인은 보통 10여개의 직선으로 이루어지는데, 모든 개소의 직선이 검출되었더라도 개별 직선의 일부분이 검출되지 못한 경우에 상기한 바와 같은 가상의 연장선이 특히 유용하다. 가상선이 인가된 코트 라인은 예비 코트 라인으로 생성된다.

템플릿 비교부(150)는 미리 입력된 정규 코트 모델과 상기 예비 코트 라인을 비교한다. 정규 코트 모델로는 다양한 스포츠 종목의 정규 코트 모델 중에서 원하는 모델을 미리 선택할 수 있다. 비교 결과에 따라, 예비 코트 라인에 결여된 라인이 있는지 또는 잘못 인식된 라인이 있는지 여부 등을 판단할 수 있다.

예비 코트 라인 수정부(160)는 템플릿 비교부(150)에 의한 비교 결과 정보를 이용하여 예비 코트 라인을 수정할 수 있다. 예를 들어, 결여된 라인이 있는 것으로 판단된 경우 이를 채워넣을 수 있을 것이다. 특히, 코트 라인 검출부(130)에 의해 검출된 코트 라인이 해당 스포츠 코트 라인을 구성하는 직선의 개소들 중 일부 개소를 통째로 검출하지 못한 경우, 예비 코트 라인 수정부(160)에 의해 이를 보완할 수 있을 것이다. 그 외에도, 코트 라인으로 잘못 인식된 부분, 이를테면 코트 주변의 흰막대가 라인으로 인식된 부분을 삭제하는 것도 가능하다.

라벨링부(170)는 예비 코트 라인 수정부(160)에서 수정된 코트 라인에 대해, 각 라인을 인/아웃 판정에 필요한 단위별로 구분하여 라벨링한다. 도 4b 내지 4d를 참고하면, 단식, 복식 등의 경기 방식이나 서브 상황과 같은 특정 상황에 따라 인/아웃 판정에 관여하는 라인이 달라질 수 있으므로, 각각의 필요에 따라 적합한 단위별(도 4b 내지 4d 참조)로 라인들을 라벨링할 수 있다. 수정된 코트 라인은 이미 완성된 코트를 나타내고 있으므로, 예를 들어, 미리 입력된 인아웃 판정용 라인 그룹별로 매칭시킨 다음 해당 그룹에 해당하는 픽셀을 분리후 라벨링할 수 있다.

대안적으로, 코트 이미지를 촬영한 카메라와의 위치 관계 정보를 이용하여, 카메라로부터 일정한 거리에 분포하는 픽셀 정보를 분리하여 라벨링하는 것도 가능할 것이다.

스포츠 코트 정보 생성부(180)는 라벨링부(170)를 통해 수집된 라벨링 정보를 포함하는, 하나의 완성된 스포츠 코트 정보를 생성한다.

추가적으로, 이와 같이 생성된 스포츠 코트 정보를 검증하는 검증부(도시하지 않음)를 포함하는 것이 가능할 것이다. 예를 들어, 정규 스포츠 코트 템프릿 상에서 둘 이상의 직선 라인들이 접하는 접점의 수(즉, 공지된 정보)와 상기에서 생성된 스포츠 코트 정보상에서의 접점의 수(즉, 대응 정보)를 비교함으로써 검증하는 것이 가능하다. 이러한 검증은 상기 예비 코트 라인 수정부(160)에 의해 수정이 이루어진 후에 실시될 수도 있을 것이다.

틀어짐 보정부(190)는 스포츠 코트 정보가 생성된 이후 카메라의 위치가 변동된 경우, 기존 스포츠 코트 정보를 보정한다. 구체적으로, 일정 시간 간격으로 상술한 코트 라인 인식 과정의 일부를 반복적으로 실시하되, 카메라의 위치 변화가 확인되면 기존 스포츠 코트 정보에 대해 필요한 보정을 실행할 수 있다. 예를 들어, 촬영부(110)-이진화 이미지 생성부(120)-코트 라인 검출부(130)까지 순차적으로 실행시킨 다음, 검출된 코트 라인을 구성하는 특정 요소 픽셀들 이를테면 코트의 양 모서리를 구성하는 특정 픽셀들의 절대 또는 상대 위치에 변동이 있는지를 비교함으로써 카메라의 위치 변동 여부를 판단할 수 있을 것이다. 이러한 요소 픽셀에 대한 정보는 기존 스포츠 코트 정보를 생성할 때 따로 저장해 둠으로써 이후 틀어짐 보정부(190)의 실행시 비교가 용이하도록 할 수 있다.

틀어짐 보정부(190)에 의한 틀어짐 정도에 대한 판단에 따라 기존 코트 정보를 그대로 이용하거나, 기존 코트 정보를 미세하게 변위시키거나, 또는 새로운 코트 정보를 생성하는 것 중 어느 것도 가능하다.

셔틀콕 인식부(200)는 상기 촬영부(110)가 획득하는 동영상 정보로부터 셔틀콕의 위치를 인식한다. 셔틀콕은 구형이 아니라 하나의 축에 대칭인 형상을 가지므로, 경기 도중 다양한 형태로 인식될 수 있다. 따라서, 미리 저장된 다양한 방향과 자세를 갖는 셔틀콕의 템플릿(도 5 참조)과의 비교를 통해, 셔틀콕의 위치를 인식할 수 있을 것이다. 대안적으로는, 동영상 내에서 셔틀콕의 속도가 가장 빠르다는 점을 이용하여 셔틀콕의 위치를 인식하는 것도 가능할 것이다. 물론, 경기 종목에 따라 셔틀콕 이외의 볼을 인식하는 것도 가능할 것이다.

셔틀콕 착지 판단부(210)는 인식된 셔틀콕이 특정 길이의 연속된 영상 프레임에서 동일한 위치에 있는지 여부를 확인하여 착지 여부를 판단할 수 있다.

셔틀콕 착지 판단부(210)는 경기도중 계속 실행된다. 경기중 셔틀콕이 코트에 착지하는 순간에는 전후의 영상 프레임에서 동일한 위치에 있을 것이므로, 전후 영상 프레임 내에서 셔틀콕의 위치를 비교함으로써 착지 여부를 판단할 수 있다. 따라서, 비교되는 연속 영상 프레임의 길이는 해당 종목에서 볼의 스피드, 카메라의 초당 프레임수 등을 고려하여 착지 여부를 판단하기에 최적의 길이로 정할 수 있다. 비교 결과에 따라, 상기 특정 길이의 연속된 영상 프레임에서 셔틀콕이 동일한 위치에 있는 것으로 확인되면 셔틀콕이 바닥에 닿은 것으로 판단할 수 있다.

추가적으로, 셔틀콕의 착지 여부에 대한 보다 정확한 판단을 위해 셔틀콕(10)의 검정색 띠 부분(12)의 색정보를 이용할 수 있다(도 5 참조). 앞서 언급한 스포츠 코트 템플릿, 셔틀콕 템플릿 등의 템플릿에는 기본적으로 색정보가 포함될 수 있다. 셔틀콕(10)의 볼 부분(11)은 백색이고 띠 부분(12)은 흑색 정보를 가지고 있다. 셔틀콕은 전체적으로 백색을 띄므로 착지할 때 역시 백색인 코트 라인과 겹치는 경우에 분리 인식에 문제가 발생할 수 있다. 따라서, 볼 부분(11)은 백색이고 띠 부분(12)은 흑색이라는 셔틀콕의 특징점을 보조적인 템플릿 정보로 활용함으로써 분리 인식에 대한 문제를 해소할 수 있다. 마찬가지로, 예를 들어 노란색을 띄는 테니스 볼은 라인색과 완전히 구분되므로 볼의 색정보만을 이용하여 착지 판단하는 것이 가능할 것이다.

인/아웃 판단부(220)는 착지한 것으로 판단된 셔틀콕의 위치 정보를 앞서 자동인식된 스포츠 코트 정보와 비교하여 라인의 안쪽인지 바깥쪽인지, 즉 인아웃을 판단할 수 있다. 전술한 바와 같이, 라벨링부(170)에 의해 형성된 코트 라인별 라벨링 정보를 이용하여 해당 경기 상황에 맞는 인아웃 판정이 가능하도록 프로그래밍될 수 있다.

음향/조명 출력부(230)는 인/아웃 판단부(220)의 판단에 따라 미리 설정된 소리를 발생시키거나 또는 조명을 온오프시킬 수 있다. 예를 들어, 내부인 경우 “인” 혹은 녹색등 점멸, 외부인 경우 “아웃” 또는 적색등 점멸을 실행할 수 있다.

도 6은 본 발명의 일 실시예에 따른 스포츠 코트 자동인식 방법을 나타내는 흐름도이다.

우선, 카메라를 이용하여 스포츠 코트 전체를 촬영한다(S110). 이때, 코트로부터 카메라의 거리, 카메라의 높이, 촬영 각도 등은 스포츠 코트의 이미지(도 2a 참조)를 최대한으로 담을 수 있도록 설정하는 것이 바람직하다. 물론, 카메라의 특성에 따라 최적의 위치를 미리 안내하는 것도 가능할 것이다. 또한, 획득된 원본 이미지의 상태가 이후 처리를 위해 불충분한 경우 다른 원본 이미지를 획득할 수 있도록, 원본 이미지의 품질에 대한 기준을 미리 정해둘 수도 있다.

이어서, 코트 원본 이미지로부터 이진화 이미지를 생성한다(S120). 이진화 처리후 코트 라인만이 백색으로 나타나는 것이 가장 바람직할 것이나, 빛 반사나 코트 주변의 이물질의 존재 등 촬영 조건에 따라 코트 라인 이외의 부분도 이진화 이미지 내에서 백색 영역으로 나타날 수 있다(도 2b 참조).

그 다음, 상기 이진화 이미지로부터 코트 라인을 추출한다(S130). 코트 라인 이외의 백색 영역으로부터 코트 라인만을 추출하기 위해, 전술한 바와 같이, 불변의 정보인 정규 스포츠 코트의 템플릿을 이용할 수 있다(도 2c 참조). 코트의 종류에 따라 해당 코트 정보를 미리 설정해두거나 실행시 선택하도록 할 수 있을 것이다.

다음으로, 추출된 코트 라인으로부터 예비 코트 라인을 생성한다(S140). 이는 코트 라인 검출 단계(S130)에서 검출된 코트 라인에 가상의 선을 연장함으로써 달성될 수 있다(도 2d 참조). 이를 통해, 애초에 코트 전체의 이미지를 얻지 못하였거나 실제 코트 라인이 일부 유실된 경우, 미검출된 코트 라인을 보충할 수 있다. 이런 식으로 가상선이 인가된 코트 라인을 예비 코트 라인으로 생성한다.

다음으로, 미리 입력된 정규 코트 템플릿과 상기 예비 코트 라인을 비교한다(S150). 정규 코트 템플릿은 미리 저장된 다양한 종목의 정규 코트 템플릿 중에서 해당 종목에 맞게 미리 설정해두거나 실행중 선택할 수 있다. 비교 결과에 따라, 예비 코트 라인에 결여된 라인이 있는지 또는 잘못 인식된 라인이 있는지 여부 등을 판단하고, 필요한 경우, 예비 코트 라인을 수정한다(S160).

이후, 수정된 예비 코트 라인에 라벨링을 실시한다(S170). 이때, 경기 종목에 따라 인/아웃 판정에 필요한 단위별로 라벨링한다.

이와 같은 라벨링은 미리 프로그래밍된 바에 따라 자동으로 완성될 수도 있으나, 별도의 디스플레이부를 이용하여 라벨링 결과를 보여주고, 외부 입력장치나 터치스크린 등에 의해 사용자가 라벨링을 수정 후 확정할 수 있도록 구성할 수도 있을 것이다. 이러한 사용자의 개입은 본 단계 이전 또는 이후의 임의의 단계에서도 가능할 것임은 자명하다.

도 3을 참조하면, 수정된 예비 코트 라인을 템플릿 상의 각 라인과 매칭시키고, 필요에 따라 P1, P2, P3, P4, P5, P6.. 등으로 라벨링하는 것이 도시되어 있다. 이후, 라벨링 정보를 포함하는 스포츠 코트 정보를 생성하는 것으로써 스포츠 코트의 자동인식이 완성된다(S180).

스포츠 코트의 자동인식이 이루어진 이후에, 외부 충격 등에 의해 카메라의 위치가 변동될 수 있다. 이런 경우를 대비하여, 본 발명의 일 실시예에 따른 스포츠 코트 자동인식 방법에 따라, 주기적으로 틀어짐 보정을 실시할 수 있다(S190).

이와 같이 자동인식이 완료된 스포츠 코트 정보를 이용하여 셔틀콕을 인식하는 방법은 다음과 같다.

먼저, 앞서 스포츠 코트 정보를 얻는데 이용한 카메라가 동일 위치로 유지된 상태에서, 같은 앵글 내에서 이루어지는 경기의 동영상 정보를 획득하고, 이렇게 획득되는 동영상 정보로부터 셔틀콕의 위치를 인식한다(S200). 셔틀콕의 인식은 미리 저장된 셔틀콕 템플릿과의 비교를 통해 달성할 수 있다.

이런 식으로 셔틀콕의 위치를 실시간으로 인식함과 아울러, 특정 길이의 연속 영상 프레임을 비교함으로써 셔틀콕의 착지 여부를 판단한다(S210). 즉, 셔틀콕으로 인식된 픽셀들을 전후 프레임간에 비교하여, 셔틀콕을 구성하는 픽셀에 변화가 없다면 착지된 것으로 판단할 수 있다. 이러한 셔틀콕 착지 여부의 판단은 경기가 진행되는 도중 계속 실행될 수 있다.

셔틀콕의 착지가 판단되면 인/아웃을 판단한다(S220). 착지된 셔틀콕의 위치 정보를 라벨링 정보가 포함된 스포츠 코트 정보와 비교함으로써, 셔틀콕이 라인 안쪽에 떨어졌는지 바깥쪽에 떨어졌는지 판단할 수 있다.

이후, 인아웃 판단에 따라 미리 설정된 소리를 재생하거나 조명을 온오프시킬 수 있다(S230).

이상 설명된 본 발명에 따른 실시예들은 소프트웨어와 하드웨어가 조합된 정보처리 장치에 의해 구현될 수 있고, 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스 크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 본 발명의 일 실시예에 따른 코트 자동인식 및 인아웃 판단 방법 및 장치에 대해 설명하였다. 그러나, 본 발명은 상술한 실시예에 한정되지 아니하며, 특허청구의 범위에서 청구하는 본 발명의 요지와 사상을 벗어남이 없이 당해 발명에 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 수정과 변형실시가 가능할 것이다.

100: 스포츠 코트 자동인식 장치
110: 촬영부
120: 이진화 이미지 생성부
130: 코트 라인 검출부
140: 예비 코트 라인 생성부
150: 템플릿 비교부
160: 예비 코트 라인 수정부
170: 라벨링부
180: 스포츠 코트 정보 생성부
190: 틀어짐 보정부
200: 셔틀콕 인식부
210: 셔틀콕 착지 판단부
220: 인/아웃 판단부
230: 음향/조명 출력부

Claims

스포츠 코트 자동인식 방법에 있어서,
카메라에 의해 촬영된 스포츠 코트의 원본 이미지를 획득하는 단계;
획득된 원본 이미지를 변환하여 이진화 이미지를 생성하는 단계;
이진화 이미지로부터 코트를 구성하는 라인을 검출하는 단계;
검출된 라인들에 가상의 연장선을 인가하여 결여된 라인을 보완함으로써 예비 코트 라인을 생성하는 단계;
미리 저장된 정규 사이즈의 스포츠 코트 템플릿과 예비 코트 라인을 비교하는 단계;
비교 결과에 따라 예비 코트 라인을 수정하는 단계;
수정된 코트 라인에 대해 인아웃 판정에 필요한 단위별로 라벨링하는 단계;
라벨링 정보를 포함한 스포츠 코트 정보를 생성하는 단계;
를 포함하는
스포츠 코트 자동인식 방법.
제 1 항에 있어서,
카메라 위치의 변화에 따른 이미지 틀어짐을 보정하는 단계를 더 포함하는
스포츠 코트 자동인식 방법.
제 1 항 또는 제 2 항에 있어서,
상기 카메라를 이용하여 상기 스포츠 코트의 실시간 영상 정보를 취득하는 단계;
이미 저장된 다양한 자세의 셔틀콕 템플릿을 이용하여 상기 실시간 영상 정보로부터 셔틀콕의 위치를 인식하는 단계;
인식된 셔틀콕이 특정 길이의 연속된 영상 프레임에서 동일한 위치에 있는지 여부를 확인하고, 상기 특정 길이의 연속된 영상 프레임에서 셔틀콕이 동일한 위치에 있는 것으로 확인되면 셔틀콕이 바닥에 닿은 것으로 판단하는 단계;
바닥에 닿은 것으로 판단된 셔틀콕의 위치 정보를 상기 스포츠 코트 정보와 비교하여 라인 안쪽인지 바깥쪽인지 인아웃을 판단하는 단계;
를 더 포함하는
스포츠 코트 자동인식 방법.
제 3 항에 있어서,
상기 인아웃 판단 결과를 소리로 표현하는 단계;
를 더 포함하는
스포츠 코트 자동인식 방법.
제 3 항에 있어서,
상기 인아웃 판단 결과를 조명으로 표현하는 단계;
를 더 포함하는
스포츠 코트 자동인식 방법.
스포츠 코트 자동인식 장치에 있어서,
카메라를 이용하여 스포츠 코트의 원본 이미지를 획득하는 촬영부;
획득된 원본 이미지를 변환하여 이진화 이미지를 생성하는 이진화 이미지 생성부;
이진화 이미지로부터 코트를 구성하는 라인을 검출하는 코트 라인 검출부;
검출된 라인들에 가상의 연장선을 인가하여 결여된 라인을 보완함으로써 예비 코트 라인을 생성하는 예비 코트 라인 생성부;
미리 저장된 정규 사이즈의 스포츠 코트 템플릿과 예비 코트 라인을 비교하는 템플릿 비교부;
비교 결과에 따라 예비 코트 라인을 수정하는 예비 코트 라인 수정부;
수정된 코트 라인에 대해 인아웃 판정에 필요한 단위별로 라벨링하는 라벨링부;
라벨링 정보를 포함한 스포츠 코트 정보를 생성하는 스포츠 코트 정보 생성부;
를 포함하는
스포츠 코트 자동인식 장치.
제 6 항에 있어서,
상기 카메라 위치의 변화에 따른 이미지 틀어짐을 보정하는 틀어짐 보정부;
를 더 포함하는
스포츠 코트 자동인식 장치.
제 6 항 또는 제 7 항에 있어서,
상기 촬영부는 상기 카메라를 이용하여 상기 스포츠 코트 내의 영상 정보를 취득하고,
이미 저장된 다양한 자세의 셔틀콕 템플릿을 이용하여 상기 실시간 영상 정보로부터 셔틀콕의 위치를 인식하는 셔틀콕 인식부;
인식된 셔틀콕이 특정 길이의 연속된 영상 프레임에서 동일한 위치에 있는지 여부를 확인하고, 상기 특정 길이의 연속된 영상 프레임에서 셔틀콕이 동일한 위치에 있는 것으로 확인되면 셔틀콕이 바닥에 닿은 것으로 판단하는 셔틀콕 착지 판단부;
바닥에 닿은 것으로 판단된 셔틀콕의 위치 정보를 상기 스포츠 코트 정보와 비교하여 라인 안쪽인지 바깥쪽인지 인아웃을 판단하는 인아웃 판단부;
를 더 포함하는
스포츠 코트 자동인식 장치.
제 8 항에 있어서,
상기 인아웃 판단부에 의한 인아웃 판단 결과를 소리로 표현하는 음향 출력부;
를 더 포함하는
스포츠 코트 자동인식 장치.
제 8 항에 있어서,
상기 인아웃 판단부에 의한 인아웃 판단 결과를 조명으로 표현하는 조명 출력부;
를 더 포함하는
스포츠 코트 자동인식 장치.