KR20110139869A - 얼굴 인식을 이용한 스크린 골프 시스템 및 그 제어 방법 - Google Patents

Abstract

본 발명은 얼굴 인식을 이용한 스크린 골프 시스템 및 그 제어 방법을 공개한다. 본 발명은 사용자의 상반신 영상을 촬영하고, 상반신 영상에서 얼굴 영역을 추출한 후 분석하여 사용자의 얼굴 방향 변화 및 크기 변화를 인식한다. 그리고, 본 발명은 인식된 사용자의 얼굴 방향에 대응되도록 스크린에 표시되는 영상의 방향을 변경할 수 있고, 사용자의 얼굴의 크기 변화를 이용하여 사용자와 스크린간의 거리를 측정할 수 있고, 이에 대응되도록 스크린에 표시되는 영상을 줌인하거나 줌아웃 할 수 있다. 따라서, 본 발명에 의하면, 사용자는 타석에서 내려와서 컴퓨터 키보드를 조작하고 다시 타석으로 돌아가는 불편함없이, 타석에서 얼굴의 방향을 이동하는 것만으로 간편하게 스크린 영상의 방향을 변경하고, 스크린 영상의 확대 및 축소를 수행할 수 있다.

Description

얼굴 인식을 이용한 스크린 골프 시스템 및 그 제어 방법{Screen-golf system using face recognition and control method of the same }

본 발명은 스크린 골프 시스템 및 그 제어 방법에 관한 것으로서, 보다 구체적으로는 얼굴 인식을 이용한 스크린 골프 시스템 및 그 제어 방법에 관한 것이다.

최근에는, 생활수준의 향상과 함께 골프가 대중적인 스포츠로 자리매김하고 있고, 도시로부터 원거리에 위치한 골프장을 찾기 어려운 시민들이 이용할 수 있는 스크린 골프장이 도심에서 급속도로 확산되고 있으며, 이러한 추세에 따라서, 스크린 골프 시장은 성장기를 지나서 성숙기에 접어들고 있다.

이러한, 스크린 골프장이란 일정한 크기의 방안에 골프장을 그대로 모사한 영상을 방 전면에 설치된 스크린에 표시하고, 사용자가 골프 클럽을 이용해서 스크린을 향해서 골프공을 치면, 골프공의 속도, 방향, 회전 등을 감지하여 골프공이 이동하는 모습을 스크린상에 표시하며, 골프공의 예상 경로 및 거리를 3차원 공간상에서 계산하여 게임을 진행하는 것이다.

초창기에는 이러한 스크린 골프장에 설치된 일련의 장치들을 체감형 골프 실연 시스템, 가상 골프 시뮬레이션 시스템 등으로 칭하였으나, 본 발명은, 이하에서, 일반대중이 부르는 명칭인 스크린 골프 시스템이라 칭하기로 한다.

도 1은 종래의 스크린 골프 시스템의 구성을 도시하는 도면이다.

도 1을 참조하면, 종래의 스크린 골프 시스템은 천장에 프로젝터(12)가 설치되어, 전면에 설치된 스크린(11)에 골프장 영상 및 골프공의 이동 모습을 표시한다.

스윙 플레이트(14;이하, "타석"이라 약칭함)에는 골프공의 회전, 속도, 방향을 측정하는 센서 모듈(15)이 설치되어 있고, 센서 모듈(15)에서 측정된 센서값들은 컴퓨터(16)로 입력된다.

또한, 타석(14)의 정면에는 카메라(13)가 설치되어 사용자가 스윙하는 모습을 촬영하여 샷이 끝난 후 사용자에게 표시한다.

컴퓨터(16)는 내부에 저장된 골프장 영상을 프로젝터(11)를 통해서 출력하고, 센서 모듈(15)로부터 입력된 센서값들을 이용하여 사용자가 친 골프공의 이동 방향 및 경로를 계산하여 프로젝터(12)를 통해서 스크린(11)에 표시한다.

그러나, 이러한 종래의 스크린 골프 시스템에서는 골프공의 이동 방향은 현재 스크린(11)에 표시된 정면을 기준 방향으로 하여 계산 및 표시되고, 탁트인 야외 골프장과 달리, 실내 스크린 골프장은 장소가 협소하여 스크린(11)에 표시되는 영역이 한계가 있다.

따라서, 사용자가 자신이 치는 공의 방향을 변경하거나, 자신이 바라보고자 뷰(view)를 변경하고자 하는 경우, 또는 현재의 스크린에 표시되는 영상을 줌인하거나 줌아웃하기 위해서는, 타석(14)에서 내려와서 컴퓨터(16)에 연결된 키보드(17) 및 마우스(18)를 일일이 조작하여, 스크린에 표시되는 영상을 변경해야 한다.

또한, 한번 변경된 영상의 방향이 마음에 들지 않으면, 다시 또 타석에서 내려와서 키보드 및 마우스를 조작하여 스크린에 표시되는 영상을 일일이 변경해야 하므로, 많은 불편함이 초래된다.

본 발명이 해결하고자 하는 과제는, 사용자가 타석에서 자유롭게 스크린에 표시되는 영상의 방향을 변경하고, 자신이 원하는 영상을 자유롭게 줌인하거나 줌아웃 할 수 있는 스크린 골프 시스템 및 그 제어 방법을 제공하는 것이다.

상술한 과제를 해결하기 위한 본 발명의 얼굴 인식을 이용한 스크린 골프 시스템은, 전면에 설치된 스크린; 상기 스크린에 골프장 영상을 출력하는 프로젝터; 사용자가 타격한 골프공의 속도 및 방향을 측정하는 센서 모듈; 사용자의 상반신 영상을 촬영하는 카메라; 및 상기 센서 모듈로부터 입력된 측정 결과를 이용하여 골프공의 이동 거리 및 이동 방향을 분석하는 타구 분석부, 상기 카메라에서 촬영한 상반신 영상에서 얼굴 영역을 추출하고, 추출된 얼굴 영역을 분석하여 사용자의 얼굴 방향을 판별하고, 얼굴 방향에 대응되도록 상기 스크린에 출력되는 영상을 변경시킬 것을 지시하는 영상 제어신호를 생성하는 안면 인식부, 그래픽 DB에 저장된 그래픽 데이터를 판독하여 상기 프로젝터로 골프장 영상을 출력하고, 제어부로부터 입력되는 골프공 이동 영상 데이터를 상기 골프장 영상과 합성하여 표시하며, 상기 제어부로부터 입력되는 제어신호에 따라서 스크린에 표시되는 영상을 변경하는 영상 처리부, 및 상기 타구 분석부로부터 입력되는 분석 결과에 따라서 상기 골프공 이동 영상 데이터를 생성하여 상기 영상 처리부로 출력하고, 상기 안면 인식부로부터 입력되는 영상 제어신호에 따라서 상기 영상처리부를 제어하여 스크린에 표시되는 영상을 변경하는 제어부를 포함하는 제어 장치를 포함한다.

또한, 상기 안면 인식부는, 사용자의 얼굴 영역에서 두 눈의 위치를 검출하고, 눈의 위치를 이용하여 사용자 얼굴의 방향을 판단할 수 있다.

또한, 상기 안면 인식부는, 사용자의 얼굴 영역에서 두 눈의 위치를 검출하고, 두 눈의 중심점이 얼굴 영상의 중심 범위를 벗어나면, 상기 눈의 중심점이 얼굴 영상의 중심 범위를 벗어난 방향으로 사용자 얼굴의 방향을 판단할 수 있다.

또한, 상기 안면 인식부는, 사용자의 얼굴 영역의 중심과, 사용자의 얼굴 영역의 피부색 영역의 중심을 비교하여 사용자가 얼굴의 위로 향하는지 또는 아래로 향하는지 여부를 판단할 수 있다.

또한, 상기 안면 인식부는, 상기 스크린에 표시되는 영상 중 사용자의 얼굴 방향에 대응되는 영역이 스크린 중심 방향으로 이동하도록 제어하는 상기 영상 제어신호를 발생시켜 상기 제어부로 출력하고, 상기 제어부는 상기 영상 제어신호에 따라서 상기 영상 처리부를 제어하여 상기 스크린에 표시되는 영상을 이동시킬 수 있다.

또한, 기 안면 인식부는, 상기 카메라로부터 입력되는 각각의 영상 프레임에 대해서 사용자의 얼굴 방향을 조사하고, 사용자의 얼굴 방향이 측면을 향하는 경우에, 사용자의 얼굴 방향에 대응되는 방향 변경 예비 이벤트를 발생시키고, 방향 변경 예비 이벤트가 발생된 영상 프레임의 얼굴 영역과, 소정수 이후의 영상 프레임의 얼굴 영역을 비교하여 유사도가 사전에 정의된 임계값 이상인 경우에 예비 방향 변경 이벤트에 대응되도록 영상 제어신호 발생시켜 상기 제어부로 출력할 수 있다.

또한, 상기 안면 인식부는, 상기 얼굴 영역이 정면을 향하는 상태에서, 각 영상 프레임간의 얼굴 영역의 크기를 비교하여, 얼굴 영역의 크기 변화에 따라서 상기 스크린에 표시되는 영상의 확대(줌인) 또는 축소(줌아웃)를 지시하는 영상 제어신호를 상기 제어부로 출력할 수 있다.

또한, 상기 안면 인식부는, 상기 얼굴 영역이 정면을 향하는 상태에서, 각 영상 프레임간의 얼굴 영역의 크기 변화와 상기 상반신 영상에서 상기 얼굴 영역의 위치 변화에 따라서 상기 스크린에 표시되는 영상의 확대(줌인) 또는 축소(줌아웃)를 지시하는 영상 제어신호를 상기 제어부로 출력할 수 있다.

또한, 상기 카메라는, 사용자가 골프공을 타격하는 타석과 상기 스크린 사이의 위치에, 지면으로부터 내부로 형성된 수용홈에 수용되어 타석에 위치한 사용자의 상반신을 촬영할 수 있다.

한편, 상술한 과제를 해결하기 위한 본 발명의 얼굴 인식을 이용한 스크린 골프 시스템의 제어 방법은, (a) 스크린 골프 시스템이 스크린에 골프장 영상을 표시하는 단계; (b) 스크린 골프 시스템이, 타석에 위치한 사용자의 상반신 영상을 촬영하고, 상기 상반신 영상으로부터 얼굴 영역을 추출하는 단계; (c) 상기 스크린 골프 시스템이, 상기 얼굴 영역을 분석하여 얼굴 방향을 판별하는 단계; 및 (d) 상기 스크린 골프 시스템이, 상기 얼굴 방향에 대응되는 영역의 영상을 상기 스크린의 중심으로 이동시켜 표시하는 단계를 포함한다.

또한, 상기 (c) 단계는, 사용자 얼굴 영상에서 두 눈의 위치를 검출하고, 눈의 위치를 이용하여 사용자 얼굴의 방향을 판단할 수 있다.

또한, 상기 (c) 단계는, 사용자의 얼굴 영역에서 두 눈의 위치를 검출하고, 두 눈의 중심점이 얼굴 영상의 중심 범위를 벗어나면, 상기 눈의 중심점이 얼굴 영상의 중심 범위를 벗어난 방향으로 사용자 얼굴의 방향을 판단할 수 있다.

또한, 상기 (c) 단계는, 사용자의 얼굴 영역의 중심과, 사용자의 얼굴 영역의 피부색 영역의 중심을 비교하여 사용자가 얼굴의 위로 향하는지 또는 아래로 향하는지 여부를 판단할 수 있다.

또한, 상기 (c) 단계는, 상기 카메라로부터 입력되는 각각의 영상 프레임에 대해서 사용자의 얼굴 방향을 조사하고, 사용자의 얼굴 방향이 측면을 향하는 경우에, 사용자의 얼굴 방향에 대응되는 방향 변경 예비 이벤트를 발생시키고, 방향 변경 예비 이벤트가 발생된 영상 프레임의 얼굴 영역과, 소정수 이후의 영상 프레임의 얼굴 영역을 비교하여 유사도가 사전에 정의된 임계값 이상인 경우에 예비 방향 변경 이벤트에 대응되는 방향을 사용자가 스크린 영상을 제어하기 위해 움직인 얼굴 방향으로 판단할 수 있다.

또한, 상기 (c) 단계에서 판별된 얼굴 영상의 방향이 정면을 향하는 경우에, 상기 (d) 단계는, 상기 얼굴 영역이 정면을 향하는 상태에서, 각 영상 프레임간의 얼굴 영역의 크기를 비교하여, 얼굴 영역의 크기 변화에 따라서 상기 스크린에 표시되는 영상을 확대(줌인) 또는 축소(줌아웃)할 수 있다.

또한, 상기 (c) 단계에서 판별된 얼굴 영상의 방향이 정면을 향하는 경우에, 상기 (d) 단계는, 상기 얼굴 영역이 정면을 향하는 상태에서, 각 영상 프레임간의 얼굴 영역의 크기를 비교하여, 상기 얼굴 영역의 크기 변화와 상기 상반신 영상에서의 상기 얼굴 영역의 위치 변화에 따라서 상기 스크린에 표시되는 영상의 확대(줌인) 또는 축소(줌아웃)할 수 있다.

본 발명은 사용자의 상반신 영상을 촬영하고, 상반신 영상에서 얼굴 영역을 추출한 후 분석하여 사용자의 얼굴 방향 변화 및 크기 변화를 인식한다. 그리고, 본 발명은 인식된 사용자의 얼굴 방향에 대응되도록 스크린에 표시되는 영상의 방향을 변경할 수 있고, 사용자의 얼굴의 크기 변화를 이용하여 사용자와 스크린간의 거리를 측정할 수 있고, 이에 대응되도록 스크린에 표시되는 영상을 줌인하거나 줌아웃 할 수 있다.

따라서, 본 발명에 의하면, 사용자는 타석에서 내려와서 컴퓨터 키보드를 조작하고 다시 타석으로 돌아가는 불편함없이, 타석에서 얼굴의 방향을 이동하는 것만으로 간편하게 스크린 영상의 방향을 변경하고, 스크린 영상의 확대 및 축소를 수행할 수 있다.

도 1은 종래의 스크린 골프 시스템의 구성을 도시하는 도면이다.
도 2는 본 발명의 바람직한 실시예에 따른 스크린 골프 시스템의 구성을 도시하는 도면이다.
도 3은 스크린과 타석사이에 사용자의 얼굴을 촬영하는 제 2 카메라가 설치된 일 예를 도시한 도면이다.
도 4는 본 발명의 바람직한 실시예에 따른 스크린 골프 시스템의 구조를 기능적으로 도시한 블록도이다.
도 5는 본 발명의 바람직한 실시예에 따른 스크린 골프 시스템의 제어 방법을 설명하는 흐름도이다.
도 6은 사용자가 스크린 화면을 줌인/줌아웃하는 과정을 설명하는 도면이다.
도 7a 내지 도 7c는 사용자가 얼굴을 좌우로 돌리는 경우의 영상 처리 과정을 설명하는 도면이다.
도 8 및 도 9는 사용자가 좌측 또는 우측을 바라보는지 여부를 판단하는 방법을 설명하는 도면이다.
도 10은 사용자가 얼굴을 위아래로 향하는 경우의 영상 처리 과정을 설명하는 도면이다.
도 11은 사용자가 고개를 위로 들었는지 또는 아래로 내렸는지 판단하는 방법의 일예를 도시하는 도면이다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예들을 설명한다.

도 2는 본 발명의 바람직한 실시예에 따른 스크린 골프 시스템의 구성을 도시하는 도면이다.

도 2를 참조하면, 본 발명의 스크린 골프 시스템은 스크린(210), 스윙 플레이트(240:"타석"으로 약칭함), 센서 모듈(250), 프로젝터(220), 제 1 카메라(230), 제 2 카메라(290), 사용자 감지부(미도시 됨) 및 제어 장치(260)를 포함하여 구성된다. 이하, 각 구성요소들에 대해서 설명한다.

먼저, 스크린 골프장 전면에 스크린(210)이 설치되고, 천장에는 골프장 영상 및 골프공의 이동 영상을 전면의 스크린(210)에 출력하는 프로젝터(220)가 설치되어 있다.

스크린(210)으로부터 일정거리 떨어진 위치에는 사용자가 골프 클럽으로 골프공을 타격할 수 있는 타석(240)이 설치되어 있고, 사용자가 골프공을 치는 타석(240) 주변에는 골프공의 속도, 방향, 회전 등을 감지하는 센서 모듈(250)이 설치되어 있다.

또한, 스윙을 위해서 타석(240)에 선 사용자의 전면에는 사용자의 스윙 모습을 촬영하는 제 1 카메라(230)가 설치되어 있다.

상술한 구성은 종래의 스크린 골프 시스템의 구성과 매우 유사하므로 구체적인 설명은 생략한다.

한편, 본 발명의 바람직한 실시예에 따른 스크린 골프 시스템은 스크린(210)과 타석(240) 사이에, 타석(240)에 위치한 사용자의 얼굴을 촬영할 수 있는 제 2 카메라(290)가 설치되어 있고, 타석 주변에는 사용자가 스크린 제어를 위한 영역(화면 제어 영역)에 위치하는지 여부를 감지하여 제어장치(260)로 출력하는 사용자 감지부(미도시 됨)가 설치된다.

사용자 감지부는 타석(240)의 앞부분인 화면 제어 영역 밑에 설치된 압력 센서로 구현되어 사용자가 화면 제어 영역에 위치하면 압력을 감지하여 사용자 감지 신호를 제어장치(260)로 출력할 수 있다.

또한, 사용자 감지부는 타석(240)의 전면에 설치된 거리 측정 센서(초음파 센서 등으로 구현됨)로 구현되어 사용자와 사용자 감지부 간의 거리를 측정하여 사용자가 화면 제어 영역에 위치하는지 여부를 감지하여 사용자 감지 신호를 제어장치(260)로 출력할 수 있다.

도 3은 스크린과 타석(240)사이에 사용자의 얼굴을 촬영하는 제 2 카메라(290)가 설치된 일 예를 도시한 도면이다.

도 3을 참조하면, 본 발명의 바람직한 실시예에서, 사용자의 얼굴을 촬영하는 제 2 카메라(290)는 타석(240)과 스크린(210) 사이의 지면으로부터 내부로 형성된 수용홈(291) 내부에 수용된다. 또한, 수용홈(291)과 지면의 표면에는 골프공이 수용홈(291) 내부로 유입되는 것을 차단하기 위한 투명판(292)이 설치되고, 제 2 카메라(290)는 투명판(292)을 통해서 사용자의 얼굴 영상을 촬영하여 제어 장치(260)로 전송한다.

투명판(292)은 강화 유리판 또는 강화 플라스틱 재질 등과 같이, 골프공이 수용홈(291) 내부로 유입되는 것을 막고, 수용홈(291) 내부의 제 1 카메라(230)가 투명판(292)을 통해서 사용자를 촬영할 수 있는 구성이라면, 그 재질에 제한이 없다.

다시 도 2를 참조하면, 제어 장치(260)는 본 발명의 스크린 골프 시스템을 구현하는 소프트웨어가 설치된 컴퓨터로 구현될 수 있는데, 제어 장치(260)는 센서 모듈(250)로부터 입력되는 센서값을 이용하여, 사용자가 타격한 골프공의 이동 방향, 거리 등을 계산하여 스크린(210)에 표시한다. 사용자의 스윙 영상을 표시하는 구성 등과 같은, 후술하는 사용자의 얼굴을 검출하여 영상을 제어하는 구성 외의 구성은 종래 기술과 매우 유사하므로 구체적인 설명은 생략한다.

한편, 본 발명의 제어 장치(260)는 사용자 감지부(미도시 됨)로부터 사용자가 화면 제어 영역에 위치하였다는 신호를 수신하면, 제 2 카메라(290)로부터 입력되는 사용자를 촬영한 영상에서 사용자의 얼굴 및 눈을 검출하고, 이를 이용하여 사용자가 얼굴을 움직이는 방향을 탐지하며, 사용자가 움직이는 방향에 따라서 스크린(210)에 표시되는 영상을 변경한다.

즉, 제어 장치(260)는 사용자가 고개를 왼쪽으로 돌리면 현재 사용자를 기준으로 왼쪽에 표시된 영상이 스크린(210) 중앙으로 이동하여 표시되도록 표시되는 영상을 변경하고, 사용자가 고개를 오른쪽으로 돌리면 현재 사용자를 기준으로 오른쪽에 표시된 영상이 스크린(210) 중앙으로 이동되어 표시되도록 영상을 변경한다.

또한, 제어 장치(260)는 제 2 카메라(290)가 촬영한 영상에서 사용자 얼굴 영역의 크기를 조사하여 사용자가 타석(240) 내에서 앞으로 이동하는지 또는 뒤로 이동하는지 여부를 조사하여, 사용자가 앞으로 이동하여 얼굴 영역이 이전에 촬영된 영상보다 크게 검출되면 스크린(210)에 표시되는 영상을 줌인(zoom-in)하여 표시하고, 사용자가 뒤로 이동하여 얼굴 영역이 이전에 촬영되던 영상보다 작게 검출되면 스크린(210)에 표시되는 영상을 줌아웃(zoom-out)하여 표시한다.

도 4는 본 발명의 바람직한 실시예에 따른 스크린 골프 시스템의 구조를 기능적으로 도시한 블록도이다.

도 4를 참조하면, 본 발명은 타석(240)에 설치되어 사용자가 타격한 골프공의 속도, 방향, 회전 등의 정보를 측정하는 센서 모듈(250), 사용자가 화면 제어 영역에 위치하였는지를 감지하는 사용자 감지부(280), 사용자의 얼굴 영상을 촬영하는 제 2 카메라(290), 사용자의 스윙 모습을 촬영하는 제 1 카메라(230), 사용자의 조작에 따라서 정보를 입력하는 키보드ㅇ마우스와 같은 입력 수단(270), 제어 장치(260)로부터 입력되는 영상 신호를 스크린(210)에 출력하는 프로젝터(220), 및 상기 구성들을 제어하고 영상 신호를 프로젝터(220)로 출력하는 제어 장치(260)를 포함하여 구성된다.

본 발명의 바람직한 실시예에 따른 제어 장치(260)는, 타구 분석부(261), 안면 인식부(263), 제어부(265), 그래픽 DB(269) 및 영상 처리부(267)를 포함하여 구성되고, 안면 인식부(263)는 얼굴 영역 추출부(263-1), 영상 분석부(263-2), 및 영상 제어신호 생성부(263-3)를 포함하여 구성된다.

먼저, 타구 분석부(261)는 센서 모듈(250)로부터 사용자가 타격한 골프공의 속도, 방향, 회전 등의 센서 측정 정보를 입력받고, 이를 분석하여 3차원 공간상의 골프공의 이동방향, 이동 거리, 이동 궤적등을 계산하여 제어부(265)로 출력한다.

제 1 카메라(230)는 종래의 스크린 골프 시스템과 동일하게, 사용자의 스윙 모습을 촬영하여 제어부(265)로 출력하고, 제어부(265)는 타격이 종료된 후, 이를 사용자에게 출력한다.

입력 수단(270)은 키보드 및 마우스로 구현되어, 사용자는 입력 수단(270)을 이용하여 제어 장치(260)에 포함된 각 기능을 제어할 수 있다.

상술한 타구 분석부(261), 제 1 카메라(230), 입력 수단(270) 등의 구성 및 기능은 종래의 스크린 골프 장치의 구성 및 기능과 거의 동일하므로, 구체적인 설명은 생략하고, 이하에서는 본 발명의 특유한 구성인 안면 인식부(263) 및 이와 연동되는 제어부(265)의 구성을 중심으로 설명한다.

안면 인식부(263)는 제 2 카메라(290)로부터 입력된 타석(240)에 위치한 사용자의 얼굴 영상을 이용하여 사용자가 바라보는 방향 및 스크린(210)과의 거리에 따라서 스크린(210)에 출력되는 영상을 좌우 방향 또는 상하 방향으로 변경시키거나 줌인/줌아웃 시키도록 제어하는 영상 제어 신호를 생성하여 제어부(265)로 출력한다.

구체적으로, 안면 인식부(263)는 얼굴 영역 추출부(263-1), 영상 분석부(263-2), 및 영상 제어 신호 생성부(263-3)를 포함하여 구성된다.

먼저, 얼굴 영역 추출부(263-1)는 제 2 카메라(290)에서 촬영된 사용자의 상반신 영상에서 얼굴 영역을 추출하여 영상 분석부(263-2)로 출력한다. 사용자의 상반신 영상에서 얼굴 영역을 추출하는 기술은 종래에 다양한 방식이 소개되어 있으며, 종래의 다양한 얼굴 추출 방법이 본 발명에 적용될 수 있다. 다만, 본 발명의 바람직한 실시예에서는 "Viola-Jonse Object Detection" 알고리즘을 이용하여 사용자의 얼굴 영역을 추출한다.

영상 분석부(263-2)는 사용자의 얼굴 영역 영상이 좌우 대칭이 되는지 여부를 조사하여, 사용자가 정면을 보고 있는지, 또는 측면(좌측, 우측, 위, 아래)을 보고 있는지 여부를 조사할 수 있다.

또한, 영상 분석부(263-2)는 사용자의 얼굴 영역 영상의 위치 및 크기를 기존 얼굴 영역 영상과 비교하여, 사용자와 스크린(210)간의 거리를 측정하고, 사용자가 스크린(210) 방향으로 접근하는지 또는 스크린(210) 뒤로 이동하는지 여부를 판단한다.

영상 제어신호 생성부(263-3)는 영상 분석부(263-2)로부터 입력되는 분석 결과를 이용하여 사용자의 의도를 판단하고, 사용자의 의도에 따라서 현재 스크린(210)에 표시되는 영상을 변경하도록 지시하는 영상 제어신호를 생성하여 제어부(265)로 출력하고, 제어부(265)는 영상 제어신호에 따라서 스크린(210) 화면을 제어한다.

이하, 도 6 내지 도 8을 더 참조하여, 얼굴 인식부(263)에서 수행되는 기능을 보다 구체적으로 설명한다.

먼저, 도 6은 사용자가 스크린(210) 화면을 줌인/줌아웃하는 과정을 설명하는 도면이다. 도 6을 참조하면, 사용자가 타석(240)에 위치하면, 제 2 카메라(290)에서 촬영한 영상이 얼굴 영역 추출부(263-1)로 입력되고, 사용자의 상반신 영상에서 얼굴 영역만 추출되어 영상 분석부(263-2)로 입력된다.

영상 분석부(263-2)는 얼굴 영상을 분석하여 사용자가 정면을 바라보고 있는지 또는 측면(상, 하, 좌, 우)을 바라보고 있는지 조사하여 생성한 얼굴 방향 정보(얼굴 방향, 두 눈 사이의 거리 및 중심 위치, 얼굴 중심 범위로부터의 이격 거리, 얼굴 영역에서 피부색 영역의 중심의 위치 등을 포함할 수 있음)를, 사용자의 얼굴 영역의 크기 및 얼굴 영상의 위치에 관한 정보와 함께 영상 제어신호 생성부(263-3)로 출력한다.

이 때, 영상 분석부(263-2)는 얼굴 영역 영상이 정면을 바라보고 있는지 여부에 대해서 다양한 방식으로 조사할 수 있는데, 예를 들면, 사람의 얼굴은 정면을 바라볼 때 좌우 대칭을 이루는 것이 일반적이므로, 얼굴 영역 영상을 좌우 반전시켜 원 영상과 비교하여 비교 대상 영상의 유사도가 소정의 임계값 이상인 경우에는 정면을 바라본다고 판정하고, 임계값 미만인 경우에는 좌측 또는 우측을 바라본다고 판단 할 수 있다.

이 밖에도, 사용자의 눈의 위치를 이용하여 사용자가 정면을 바라보는지 여부를 판단할 수 있는데, 얼굴 영역에서 검출된 두 눈의 중심위치가 얼굴 영상의 중심(사용자가 정면을 바라보는 상태에서 두 눈을 잇는 선과 얼굴의 중심 수직선이 교차하는 위치)으로부터 소정의 거리내인 중심 범위를 벗어나면 두 눈의 중심이 얼굴 영상의 중심 범위를 벗어난 방향으로 사용자가 얼굴을 돌렸다고 판단할 수 있다.

즉, 얼굴 영상의 두 눈의 중심점이 얼굴 영상의 중심 범위를 위로 벗어나면 얼굴을 위로 들었다고 판단하고, 아래로 벗어나면 얼굴을 숙였다고 판단하며, 좌측 또는 우측으로 벗어나면 얼굴을 좌측 또는 우측으로 돌렸다고 판단한다.

또한, 얼굴 영역에서 피부색 영역의 중심이 얼굴 영역의 중심에서 벗어난 정도를 이용하여 사용자가 얼굴을 위로 들었는지, 아래로 내렸는지 또는 좌우측으로 돌렸는지 여부를 판단할 수도 있다.

이 밖에 얼굴의 방향을 판단하는 다양한 방법들이 존재하고, 본 발명은 이러한 모든 방법을 적용할 수 있으므로, 구체적인 얼굴 방향 판단 방법에 대한 설명은 생략한다.

한편, 영상 분석부(263-2)에서 영상 제어신호 생성부(263-3)로 출력되는 정보는, 상술한 얼굴 방향 정보, 얼굴 영상의 절대적인 크기 정보, 현재 프레임의 얼굴 영상과 이전 프레임의 얼굴 영상의 크기를 비교한 상대적인 크기의 변화 정보, 현재 프레임의 얼굴 영상과 이전 프레임의 얼굴 영상의 위치를 비교한 상대적인 위치의 변화 정보 등을 포함할 수 있다.

영상 제어신호 생성부(263-3)는 영상 분석부(263-2)로부터 입력되는 얼굴 영상의 크기만을 이용하거나, 얼굴 영상의 크기 및 위치 정보를 종합적으로 고려하여 사용자가 스크린(210)으로 접근하고 있는지 여부 및 스크린(210)으로부터 멀어지고 있는지 여부를 판단하여, 스크린(210)에 접근하고 있는 경우에는 스크린(210)에 표시되는 화면을 확대(zoom-in)하고, 스크린(210)으로부터 멀어지고 있는 경우에는 스크린(210)에 표시되는 화면을 축소(zoom-out)하도록 지시하는 영상 제어신호를 제어부(265)로 출력한다.

이 때, 영상 제어신호 생성부(263-3)가 사용자와 스크린(210)간의 거리를 판단하는 방법의 일예를 도 6을 참조하여 설명하면, 사용자가 스크린(210)으로부터 멀리 떨어져 있는 경우에는, 도 6 의 (a)에 도시된 바와 같이, 얼굴 영역 영상은 그 크기가 작고, 그 위치는 촬영된 전체 사용자의 상반신 영상의 아래쪽에 위치한다.

한편, 사용자가 스크린(210) 방향으로 접근하면, 도 6의 (b) 에 도시된 바와 같이, 사용자의 얼굴 영역은 더 커지고, 그 위치도 위쪽으로 올라가며, 사용자가 더 스크린(210) 방향으로 접근하면, 도 6의 (c)에 도시된 바와 같이, 사용자의 얼굴 영역은 도 6의 (b)에 도시된 것 보다 더 커지고, 그 위치도 더 위쪽에 위치한다.

이렇게, 영상 제어신호 생성부(263-3)는 각 프레임의 얼굴 영상에서 얼굴 영역의 크기만을 비교하거나, 각 프레임의 얼굴 영상에서 얼굴 영역의 크기 및 위치를 비교하여 사용자가 스크린(210) 방향으로 근접하면, 사용자가 현재 스크린(210)에 표시되는 화면을 더 확대해서 보고자 하는 의도라고 판단하여 화면을 확대(zoom-in)하고, 사용자가 스크린(210)으로부터 멀어지면, 사용자가 현재 스크린(210)에 표시되는 화면을 더 축소해서 보고자 하는 의도라고 판단하여 화면을 축소(zoom-out)하여 표시한다.

또한, 영상 제어신호 생성부(263-3)는 영상 분석부(263-2)로부터 입력되는 일련의 얼굴 영상에 대한 정보를 이용하여 사용자가 화면을 제어하기 위해서 고개를 좌우로 돌리거나 위아래로 움직였다고 판단되면, 이에 따라서 스크린(210)에 표시되는 영상을 제어하도록 지시하는 영상 제어신호를 생성하여 제어부(265)로 출력한다.

도 7a 내지 도 7c는 사용자가 얼굴을 좌우측으로 돌리는 경우의 영상 처리 과정을 설명하는 도면이고, 도 8 및 도 9는 사용자가 좌측 또는 우측을 바라보는지 여부를 판단하는 방법을 설명하는 도면이다.

먼저, 도 7a 내지 도 7c를 참조하면, 영상 제어신호 생성부(263-3)는 영상 분석부(263-2)로부터 입력되는 얼굴 영상 정보를 이용하여, 도 7a에 도시된 바와 같이 사용자가 스크린(210) 정면을 바라보다가, 화면 제어를 위해서(오른쪽 영역을 더 보기 위해서) 오른쪽으로 고개를 돌렸다고 판단되면, 도 7b에 도시된 바와 같이, 현재 스크린(210)에 표시되는 전체 영상을 일정 영역만큼 왼쪽으로 이동시킴으로써 오른쪽 측면에 표시된 영상을 일정 부분만큼 중앙으로 이동시키고 기존에 보이지 않던 영역이 오른쪽 측면에 표시된다.

마찬가지로, 사용자가 정면을 바라보다가 화면 제어를 위해서(왼쪽 영역을 더 보기 위해서) 왼쪽으로 고개를 돌렸다고 판단되면, 도 7c에 도시된 바와 같이 현재 스크린(210)에 표시되는 전체 영상을 일정 영역만큼 오른쪽으로 이동시킴으로써 왼쪽 측면에 표시된 영상을 일정 부분만큼 중앙으로 이동시키고 기존에 보이지 않던 영역이 왼쪽 측면에 표시된다.

도 8 및 도 9를 참조하여, 사용자가 좌측 또는 우측을 바라보는지 판단하는 방법을 설명하면, 영상 분석부(263-2)는 얼굴영역 추출부(263-1)로부터 입력되는 각 프레임 영상을 분석한 정보를 영상 제어신호 생성부(263-3)로 출력하고, 영상 제어신호 생성부(263-3)는 도 8 및 도 9에 도시된 바와 같은, 일련의 프레임의 얼굴 영상을 이용하여 영상 제어신호를 생성할지 여부를 결정한다.

예컨대, 도 8 및 도 9의 좌측에 표시된 얼굴 영상부터 우측에 표시된 얼굴 영상의 순서로, 얼굴 영역이 추출되고 얼굴 영상에 대해서 분석이 수행되어 분석 정보가 입력되면, 영상 제어신호 생성부(263-3)는 각 얼굴 영상이 정면을 향하는지, 즉, 얼굴을 돌렸는지 여부를 조사한다.

얼굴을 돌린 얼굴 영상(810, 910)이 입력되면, 방향 변경 예비 이벤트를 발생시키고, 방향 변경 예비 이벤트가 발생된 얼굴 영상의 소정수 이후의 영상(820, 920)과 방향 변경 예비 이벤트가 발생된 영상(810, 910)을 다시 비교한다.

그 후, 도 8과 같이, 얼굴 영상의 유사도가 소정의 임계값 이상이면(즉, 예비 이벤트 발생 영상과 유사한 경우) 방향 변경 예비 이벤트에 대응되는 방향 변경 이벤트를 발생시켜, 해당 방향에 대응되는 영역(좌측 또는 우측)에 표시된 영상이 일정 부분만큼 중앙 방향으로 이동되도록 영상 제어신호를 발생시킨다.

한편, 도 9와 같이, 얼굴 영상의 유사도가 소정의 임계값 미만이면(즉, 예비 이벤트 발생 영상과 유사하지 않은 경우) 방향 변경 예비 이벤트를 취소한다.

이렇게, 사용자가 얼굴을 측면으로 돌린 영상이 검출되었을 때, 바로 방향 변경 이벤트를 발생시키는 않고 소정수 이후의 얼굴 영상과 비교하여 방향 변경 이벤트를 발생시키는 이유는, 사용자가 화면을 제어하기 위해서 얼굴을 돌리는 경우와 타석(240)에서 스윙을 하기 위해서 얼굴을 돌리는 경우를 구별하기 위한 것이다.

도 8에 도시된 예와 같이, 사용자가 화면을 제어하기 위해서 얼굴을 돌리는 경우에는, 얼굴의 돌리는 각도가 제한적이다. 즉, 얼굴이 스크린(210)의 가장자리 부분을 바라보는 각도 이상으로 얼굴을 돌리는 경우는 발생하기 어렵다. 따라서, 화면을 제어하는 경우에, 예비 방향 변경 이벤트가 발생한 영상의 소정수 이후의 영상은 예비 방향 변경 이벤트가 발생된 영상보다 측면으로 조금 더 얼굴을 돌린 영상이거나, 측면으로 얼굴을 돌린 후, 다시 중앙으로 얼굴을 돌리는 과정중의 영상이다.

그러나, 도 9에 도시된 바와 같이, 사용자가 타석(240)에서 스윙을 하기 위해서 얼굴을 돌리는 경우에는, 제 2 카메라(290)에 대해서 거의 90도 만큼 얼굴을 돌리게 되고, 이 경우, 입력되는 얼굴 영상은 얼굴의 측면만이 보여지는 영상(920)이다. 따라서, 예비 방향 변경 이벤트가 발생한 영상(910)과, 소정수 이후의 영상(920)간의 유사도는 소정의 임계값 미만으로 떨어지게 되고, 영상 제어신호 생성부(263-3)는 사용자가 타석(240)에서 스윙하기 위해서 고개를 돌렸음을 인식하여 스크린(210) 화면을 이동시키지 않게된다.

도 8 및 도 9에 도시된 예에서는, 3번째 영상에서 방향 변경 예비 이벤트가 발생하였고, 그 후, 20프레임 이후의 얼굴 영상(23번째 얼굴 영상)을 비교하여, 스크린(210) 화면을 변경할지 여부를 결정하였으나, 초당 안면 인식부(263)로 입력되는 영상의 수에 따라서 10프레임 이후의 얼굴 영상 또는 30프레임 이후의 얼굴 영상과도 비교될 수 있다.

도 10은 사용자가 얼굴을 위아래로 향하는 경우의 영상 처리 과정을 설명하는 도면이고, 도 11은 사용자가 고개를 위로 들었는지 또는 아래로 내렸는지 판단하는 방법의 일예를 도시하는 도면이다.

도 10을 참조하면, 영상 제어신호 생성부(263-3)는 영상 분석부(263-2)로부터 입력되는 분석 결과를 이용하여, 사용자가 얼굴을 들어서 스크린(210)의 상부를 바라본다고 판단되면 스크린(210)에 표시되는 화면을 아래로 이동시켜 사용자가 관심을 갖는 위의 부분 영상이 스크린(210)의 정면에 표시되도록 제어신호를 발생시키고, 사용자가 얼굴을 숙여서 스크린(210)의 하부를 바라본다고 판단되면 스크린(210)에 표시되는 화면을 위로 이동시켜 사용자가 관심을 갖는 아래 부분 영상이 스크린(210)의 정면에 표시되도록 제어신호를 발생시킨다.

도 11을 참조하여, 사용자의 얼굴을 상하 방향으로 움직인 것을 판단하는 방법의 일예를 설명하면, 영상 분석부(263-2)는 얼굴 영역 추출부(263-1)로부터 얼굴 영역(1100)을 입력받고, 그 내부에서 피부색에 대응되는 영역을 계산하여 피부색 영역의 중심(1110)을 계산한다.

사용자가 정면을 바라보는 경우에는, 도 11의 (b)와 같이, 얼굴 영역을 나타내는 사각형 영역의 4군데 모서리 부분에 배경 영상이 골고루 분포하여, 피부색 영역의 중심이 얼굴 영역 중심의 오차 범위내에 위치한다.

그러나, 사용자가 얼굴을 들어 위를 쳐다보는 경우에는 도 11의 (a)에 도시되는 바와 같이, 사용자의 이마 근처의 모서리 부분에 배경영상이 증가하는 반면 사용자의 턱 근처의 모서리 부분에는 배경영상이 감소하여 피부색 영역의 중심이 얼굴 영역의 중심이 사용자가 정면을 바라보는 경우보다 아래에 위치하게 된다. 즉, 피부색 영역의 중심이 얼굴 영역의 중심보다 아래에 위치하게 된다.

또한, 사용자가 고개를 숙여서 아래를 쳐다보는 경우에는 도 11의 (c)에 도시되는 바와 같이, 사용자의 턱 근처의 모서리 부분에 배경영상이 증가하는 반면 사용자의 이마 근처의 모서리 부분에는 배경영상이 감소하여 피부색 영역의 중심이 얼굴 영역의 중심이 사용자가 정면을 바라보는 경우보다 위에 위치하게 된다. 즉, 피부색 영역의 중심이 얼굴 영역의 중심보다 위에 위치하게 된다.

따라서, 이러한 과정을 통해서 사용자가 얼굴을 들어 위쪽을 바라보는지 또는 고개를 숙여서 아래쪽을 바라보는지 판단할 수 있다.

한편, 제어부(265)는 종래의 일반적인 스크린 골프 시스템과 마찬가지로, 타구 분석부(261)로부터 입력되는 타구 분석 정보를 이용하여 골프공의 이동 거리, 이동 방향, 및 이동 궤적을 계산하여 영상 처리부(267)로 출력하여 스크린(210)에 표시하고, 안면 인식부(263)로부터 입력되는 영상 제어신호에 따라서 현재 스크린(210)에 표시되는 영상을 좌우 방향 또는 상하 방향으로 이동시키거나, 줌인/줌아웃하도록 영상 처리부(267)로 제어신호를 출력한다.

그래픽 DB(269)는 사용자가 선택한 골프장을 묘사한 골프장 영상을 저장하고, 영상 처리부(267)는 제어부(265)의 제어신호에 따라서 그래픽 DB(269)로부터 그래픽 데이터를 판독하여 프로젝터(220)로 출력한다.

특히, 영상 처리부(267)는 제어부(265)가 안면 인식부(263)로부터 수신한 영상 제어신호에 따라서 스크린(210)에 표시되는 영상을 상하, 좌우로 이동시키도록 지시하는 제어신호 및 줌인/줌아웃하도록 지시하는 제어신호에 따라서 스크린(210)에 표시되는 영상을 변경한다.

지금까지 본 발명의 바람직한 실시예에 따른 스크린 골프 시스템에 대해서 설명하였다. 이하에서는, 본 발명의 바람직한 실시예에 따른 스크린 골프 시스템의 제어 방법을 설명하는 흐름도인 도 5를 참조하여, 상술한 스크린 골프 시스템의 제어 방법에 대해서 설명한다. 다만, 본 발명의 바람직한 실시예에 따른 스크린 골프 시스템의 제어 방법의 각 기능은, 본 발명의 스크린 골프 시스템의 기능을 설명하면서 상세하게 설명한 내용과 중복되므로, 이하에서는, 전체적인 흐름을 중심으로 간략하게 설명한다.

도 5를 참조하면, 먼저, 본 발명의 스크린 골프 시스템이 가동되면, 사용자가 선택한 골프장 영상이 스크린(210)에 표시되면서, 사용자 감지부(280)가 동작하고, 사용자 감지부(280)가 사용자가 화면 제어 영역에 위치하였음을 감지하면, 제 S502 단계 내지 제 S560 단계가 사용자가 화면 제어 영역에 위치하는 동안 수행된다(S501).

사용자가 화면 제어 영역에 위치하면, 제 2 카메라(290)는 일정한 시간 간격으로, 사용자가 타석(240) 중에서 얼굴로 화면을 제어할 수 있는 영역(화면 제어 영역)에 선 모습을 촬영하여 안면 인식부(263)로 출력하고(S502), 안면 인식부(263)는 촬영된 영상에서 사용자의 얼굴 영역 및 눈을 검출하고, 피부색 영역을 추출한다(S504). 제 S502 단계 및 제 S504 단계는 사용자가 타석(240) 앞부분인 화면 제어 영역에 위치하는 동안에 지속적으로 반복 수행된다.

안면 인식부(263)는 제 S504 단계에서 추출된 얼굴 영상을 분석하여 얼굴 방향이 정면을 향하는가 조사하고(S510), 얼굴이 정면을 향하는 경우에는 프레임간의 얼굴 크기의 변화를 조사하여(S522), 얼굴 크기가 변화되는 경우에는 얼굴 크기 변화에 대응하여 스크린(210)에 표시되는 영상을 줌인 또는 줌아웃 시킨다(S524).

상술한 제 S522 단계에서는, 얼굴 크기의 변화만으로 줌인/줌아웃 여부를 결정하였으나, 도 6에 도시된 바와 같이, 얼굴 크기 및 얼굴 영역의 위치를 종합적으로 고려하여 판단할 수 도 있음은 물론이다.

한편, 제 S522 단계에서 얼굴 크기의 변화가 없으면, 사용자가 얼굴을 상하로 이동하였는지, 즉, 고개를 들었는지 또는 고개를 숙였는지 여부를 조사하여, 얼굴을 상하로 이동하지 않고 정면만을 주시하는 경우에는 제 S510 단계로 진행한다(S526).

제 S510 단계에서 사용자가 얼굴을 상하로 움직였는지 여부를 판단하는 방식은 상술한 바와 같이, 다양하게 적용가능하다. 다만, 본 발명의 바람직한 실시예에서는, 도 11을 참조하여 설명한 바와 같이, 얼굴 영역의 중심과 피부색 영역의 중심을 비교하여 피부색 영역의 중심이 이동되었는지 여부를 조사하여, 사용자가 고개를 들거나 숙였는지 여부를 판단하였다.

제 S526 단계에서, 사용자가 얼굴을 상하로 움직였다고 판단되는 경우에는, 얼굴 방향에 따라서 스크린에 표시되는 영상을 변경한다(S528).

한편, 제 S510 단계에서 얼굴 방향이 정면이 아닌 경우(얼굴을 좌우측면으로 돌린 경우)에는, 도 9에 도시된 바와 같이, 방향 변경 예비 이벤트를 발생시키고(S532), 소정수 이후의 프레임 영상과 비교한다(S534).

안면 인식부(263)는 비교 결과 유사도가 상술한 제 2 임계값 이상인지 여부를 조사하고(S540), 유사도가 상술한 임계값 미만인 경우에는 사용자가 골프공 타격을 위해서 얼굴을 완전히 돌린 경우에 해당되므로, 방향 변경을 위한 예비 이벤트를 취소하고(S550), 사용자가 타격을 마치고, 스크린(210)에 표시된 영상을 제어하기 위해서 타석(240)에서 정면을 바라볼때가지 대기한다(S552).

한편, 제 S540 단계에서, 유사도가 임계값 이상인 경우에는, 사용자가 스크린(210) 영상을 제어하기 위해서 얼굴 방향을 이동시킨 것으로 판단하여, 방향 변경 예비 이벤트 발생 프레임의 얼굴 방향에 따라서 스크린(210)에 표시되는 영상을 좌, 우 방향으로 일정 부분만큼씩 이동시켜서 표시함으로써, 사용자가 얼굴을 움직임으로써 스크린(210)에 표시되는 영상을 자유롭게 제어할 수 있도록 한다(S560).

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플라피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

210 스크린
220 프로젝터
230 제 1 카메라
240 스윙 플레이트(타석)
250 센서 모듈
260 제어 장치
261 타구 분석부 263 안면 인식부
263-1 얼굴영역 추출부 263-2 영상 분석부
263-3 영상 제어신호 생성부
265 제어부 267 영상 처리부
269 그래픽 DB
270 입력 수단
290 제 2 카메라
291 수용홈 292 투명판

Claims (16)

1. 전면에 설치된 스크린;
   상기 스크린에 골프장 영상을 출력하는 프로젝터;
   사용자가 타격한 골프공의 속도 및 방향을 측정하는 센서 모듈;
   사용자의 상반신 영상을 촬영하는 카메라; 및
   상기 센서 모듈로부터 입력된 측정 결과를 이용하여 골프공의 이동 거리 및 이동 방향을 분석하는 타구 분석부,
   상기 카메라에서 촬영한 상반신 영상에서 얼굴 영역을 추출하고, 추출된 얼굴 영역을 분석하여 사용자의 얼굴 방향을 판별하고, 얼굴 방향에 대응되도록 상기 스크린에 출력되는 영상을 변경시킬 것을 지시하는 영상 제어신호를 생성하는 안면 인식부,
   그래픽 DB에 저장된 그래픽 데이터를 판독하여 상기 프로젝터로 골프장 영상을 출력하고, 제어부로부터 입력되는 골프공 이동 영상 데이터를 상기 골프장 영상과 합성하여 표시하며, 상기 제어부로부터 입력되는 제어신호에 따라서 스크린에 표시되는 영상을 변경하는 영상 처리부, 및
   상기 타구 분석부로부터 입력되는 분석 결과에 따라서 상기 골프공 이동 영상 데이터를 생성하여 상기 영상 처리부로 출력하고, 상기 안면 인식부로부터 입력되는 영상 제어신호에 따라서 상기 영상처리부를 제어하여 스크린에 표시되는 영상을 변경하는 제어부를 포함하는 제어 장치를 포함하는 것을 특징으로 하는 스크린 골프 시스템.
2. 제 1 항에 있어서, 상기 안면 인식부는
   사용자의 얼굴 영역에서 두 눈의 위치를 검출하고, 눈의 위치를 이용하여 사용자 얼굴의 방향을 판단하는 것을 특징으로 하는 스크린 골프 시스템.
3. 제 1 항에 있어서, 상기 안면 인식부는
   사용자의 얼굴 영역에서 두 눈의 위치를 검출하고, 두 눈의 중심점이 얼굴 영상의 중심 범위를 벗어나면, 상기 눈의 중심점이 얼굴 영상의 중심 범위를 벗어난 방향으로 사용자 얼굴의 방향을 판단하는 것을 특징으로 하는 스크린 골프 시스템.
4. 제 1 항에 있어서, 상기 안면 인식부는
   사용자의 얼굴 영역의 중심과, 사용자의 얼굴 영역의 피부색 영역의 중심을 비교하여 사용자가 얼굴의 위로 향하는지 또는 아래로 향하는지 여부를 판단하는 것을 특징으로 하는 스크린 골프 시스템.
5. 제 1 항에 있어서,
   상기 안면 인식부는, 상기 스크린에 표시되는 영상 중 사용자의 얼굴 방향에 대응되는 영역이 스크린 중심 방향으로 이동하도록 제어하는 상기 영상 제어신호를 발생시켜 상기 제어부로 출력하고,
   상기 제어부는 상기 영상 제어신호에 따라서 상기 영상 처리부를 제어하여 상기 스크린에 표시되는 영상을 이동시키는 것을 특징으로 하는 스크린 골프 시스템.
6. 제 1 항에 있어서, 상기 안면 인식부는
   상기 카메라로부터 입력되는 각각의 영상 프레임에 대해서 사용자의 얼굴 방향을 조사하고, 사용자의 얼굴 방향이 측면을 향하는 경우에, 사용자의 얼굴 방향에 대응되는 방향 변경 예비 이벤트를 발생시키고, 방향 변경 예비 이벤트가 발생된 영상 프레임의 얼굴 영역과, 소정수 이후의 영상 프레임의 얼굴 영역을 비교하여 유사도가 사전에 정의된 임계값 이상인 경우에 예비 방향 변경 이벤트에 대응되도록 영상 제어신호 발생시켜 상기 제어부로 출력하는 것을 특징으로 하는 스크린 골프 시스템.
7. 제 1 항에 있어서, 상기 안면 인식부는
   상기 얼굴 영역이 정면을 향하는 상태에서, 각 영상 프레임간의 얼굴 영역의 크기를 비교하여, 얼굴 영역의 크기 변화에 따라서 상기 스크린에 표시되는 영상의 확대(줌인) 또는 축소(줌아웃)를 지시하는 영상 제어신호를 상기 제어부로 출력하는 것을 특징으로 하는 스크린 골프 시스템.
8. 제 1 항에 있어서, 상기 안면 인식부는
   상기 얼굴 영역이 정면을 향하는 상태에서, 각 영상 프레임간의 얼굴 영역의 크기 변화와 상기 상반신 영상에서 상기 얼굴 영역의 위치 변화에 따라서 상기 스크린에 표시되는 영상의 확대(줌인) 또는 축소(줌아웃)를 지시하는 영상 제어신호를 상기 제어부로 출력하는 것을 특징으로 하는 스크린 골프 시스템.
9. 제 1 항에 있어서, 상기 카메라는
   사용자가 골프공을 타격하는 타석과 상기 스크린 사이의 위치에, 지면으로부터 내부로 형성된 수용홈에 수용되어 타석에 위치한 사용자의 상반신을 촬영하는 것을 특징으로 하는 스크린 골프 시스템.
10. (a) 스크린 골프 시스템이 스크린에 골프장 영상을 표시하는 단계;
    (b) 스크린 골프 시스템이, 타석에 위치한 사용자의 상반신 영상을 촬영하고, 상기 상반신 영상으로부터 얼굴 영역을 추출하는 단계;
    (c) 상기 스크린 골프 시스템이, 상기 얼굴 영역을 분석하여 얼굴 방향을 판별하는 단계; 및
    (d) 상기 스크린 골프 시스템이, 상기 얼굴 방향에 대응되는 영역의 영상을 상기 스크린의 중심으로 이동시켜 표시하는 단계를 포함하는 것을 특징으로 하는 스크린 골프 시스템의 제어 방법.
11. 제 10 항에 있어서, 상기 (c) 단계는
    사용자 얼굴 영상에서 두 눈의 위치를 검출하고, 눈의 위치를 이용하여 사용자 얼굴의 방향을 판단하는 것을 특징으로 하는 스크린 골프 시스템의 제어 방법.
12. 제 10 항에 있어서, 상기 (c) 단계는
    사용자의 얼굴 영역에서 두 눈의 위치를 검출하고, 두 눈의 중심점이 얼굴 영상의 중심 범위를 벗어나면, 상기 눈의 중심점이 얼굴 영상의 중심 범위를 벗어난 방향으로 사용자 얼굴의 방향을 판단하는 것을 특징으로 하는 스크린 골프 시스템의 제어 방법.
13. 제 10 항에 있어서, 상기 (c) 단계는
    사용자의 얼굴 영역의 중심과, 사용자의 얼굴 영역의 피부색 영역의 중심을 비교하여 사용자가 얼굴의 위로 향하는지 또는 아래로 향하는지 여부를 판단하는 것을 특징으로 하는 스크린 골프 시스템의 제어 방법.
14. 제 10 항에 있어서, 상기 (c) 단계는
    상기 카메라로부터 입력되는 각각의 영상 프레임에 대해서 사용자의 얼굴 방향을 조사하고, 사용자의 얼굴 방향이 측면을 향하는 경우에, 사용자의 얼굴 방향에 대응되는 방향 변경 예비 이벤트를 발생시키고, 방향 변경 예비 이벤트가 발생된 영상 프레임의 얼굴 영역과, 소정수 이후의 영상 프레임의 얼굴 영역을 비교하여 유사도가 사전에 정의된 임계값 이상인 경우에 예비 방향 변경 이벤트에 대응되는 방향을 사용자가 스크린 영상을 제어하기 위해 움직인 얼굴 방향으로 판단하는 것을 특징으로 하는 스크린 골프 시스템의 제어 방법.
15. 제 10 항에 있어서,
    상기 (c) 단계에서 판별된 얼굴 영상의 방향이 정면을 향하는 경우에,
    상기 (d) 단계는
    상기 얼굴 영역이 정면을 향하는 상태에서, 각 영상 프레임간의 얼굴 영역의 크기를 비교하여, 얼굴 영역의 크기 변화에 따라서 상기 스크린에 표시되는 영상을 확대(줌인) 또는 축소(줌아웃)하는 것을 특징으로 하는 스크린 골프 시스템의 제어 방법.
16. 제 10 항에 있어서,
    상기 (c) 단계에서 판별된 얼굴 영상의 방향이 정면을 향하는 경우에,
    상기 (d) 단계는
    상기 얼굴 영역이 정면을 향하는 상태에서, 각 영상 프레임간의 얼굴 영역의 크기를 비교하여, 상기 얼굴 영역의 크기 변화와 상기 상반신 영상에서의 상기 얼굴 영역의 위치 변화에 따라서 상기 스크린에 표시되는 영상의 확대(줌인) 또는 축소(줌아웃)하는 것을 특징으로 하는 스크린 골프 시스템의 제어 방법.

Images