KR20150073146A - 사용자 동작 인식에 기반한 영상 처리 방법 및 시스템 - Google Patents

Abstract

본 발명은 사용자의 동작에 대해 이미지센서를 이용하여 취득된 이미지의 분석을 통해 사용자의 신체 특정 부위를 트래킹함으로써 화면에 디스플레이되는 영상이 사용자의 동작에 대응하여 변화할 수 있도록 함으로써 스크린 골프와 같은 특정 공간 내에서의 맨-머신 인터페이스를 구현할 수 있도록 하는 사용자 동작 인식에 기반한 영상 처리 방법 및 시스템을 제공하기 위한 것이다. 이를 위한 본 발명의 일 실시예에 따른 사용자 동작 인식에 기반한 영상 처리 방법은, 사용자의 머리 위쪽에 설치된 카메라에 의해 내려다보는 화각으로 사용자의 신체의 적어도 일부를 포함하는 신체 영상을 지속적으로 취득하는 단계; 상기 지속적으로 취득한 신체 영상으로부터 사용자의 신체 일부를 특정하고 그 특정된 신체 부위의 동작을 인식하는 단계; 및 상기 인식된 특정 신체 부위의 동작에 따라 미리 설정된 변화된 영상이 디스플레이되도록 영상 처리를 수행하는 단계를 포함한다.

Description

사용자 동작 인식에 기반한 영상 처리 방법 및 시스템{METHOD AND SYSTEM FOR IMAGE PROCESSING BASED ON USER'S GESTURE RECOGNITION}

본 발명은 영상 처리 방법 및 시스템에 관한 것으로, 더욱 상세하게는, 3차원 환경 내에서 사용자의 신체 부위를 추적하는 동작 인식에 기반하여 이에 대응하는 영상이 구현되도록 영상 처리하는 방법 및 그 시스템에 관한 것이다.

특별한 인터페이스 디바이스를 장착하지 않고도 기계를 조작할 수 있도록 사용자의 움직임 인식을 이용하는 맨-머신 인터페이스가 다양하게 개발 및 활용되고 있다.

통상적으로 맨-머신 인터페이스는 사용자가 메뉴가 디스플레이된 화면을 보면서 특정 동작을 유발하는 메뉴를 선택하거나 아이템을 조작하는 방식으로 이루어지므로, 화면을 향하고 있는 사용자의 신체 및 동작을 가장 잘 관찰할 수 있도록 화면에 인접하여 설치된 카메라를 통해 촬영한 사용자의 정면 이미지에 기초한다.

그러나, 실내에 가상 골프장을 디스플레이할 수 있는 스크린을 설치하고 사용자가 볼을 상기 스크린을 향해 타격하면 볼의 속도, 방향 등을 감지하여 상기 스크린상에 볼의 진행을 표시해 주는, 이른바 스크린 골프와 같은 특정 응용 분야에서는 화면과 사용자의 거리가 상대적으로 멀어 사용자의 움직임을 공간적으로 에러 없이 해석하기 곤란할 수 있다.

따라서 스크린 골프와 같은 특정 공간 내에서의 맨-머신 인터페이스는 기존과는 다른 방식으로 사용자의 동작을 인식하고 이를 인터페이스에 적용하는 것이 필요하다.

이와 같은 스크린 골프 시스템에서의 사용자의 동작에 기반한 인터페이스에 관하여 특허출원 제10-2010-0140756호 및 제10-2010-0018298호 등에 개시되어 있으나, 이러한 종래의 기술은 저가로 구현할 수 있는 장점은 있으나 사용자의 한정된 제스처만을 인식할 수 있다는 점에서 사용자의 자유로운 동작에 기반한 맨-머신 인터페이스의 장점을 가질 수 없는 한계가 있었다.

본 출원인은 스크린 골프와 같은 특정 공간 내에서의 맨-머신 인터페이스를 구현하기 위하여 카메라를 통해 촬영된 사용자의 이미지로부터 뎁스 정보를 취득하고 이를 통해 사용자의 신체 특정 부위의 위치를 트래킹할 수 있는 기술에 대해 특허출원 제10-2011-0080799호로서 특허출원을 한 바 있다.

본 발명은 사용자의 동작에 대해 이미지센서를 이용하여 취득된 이미지의 분석을 통해 사용자의 신체 특정 부위를 트래킹함으로써 화면에 디스플레이되는 영상이 사용자의 동작에 대응하여 변화할 수 있도록 함으로써 스크린 골프와 같은 특정 공간 내에서의 맨-머신 인터페이스를 구현할 수 있도록 하는 사용자 동작 인식에 기반한 영상 처리 방법 및 시스템을 제공하기 위한 것이다.

본 발명의 일 실시예에 따른 사용자 동작 인식에 기반한 영상 처리 방법은, 사용자의 머리 위쪽에 설치된 카메라에 의해 내려다보는 화각으로 사용자의 신체의 적어도 일부를 포함하는 신체 영상을 지속적으로 취득하는 단계; 상기 지속적으로 취득한 신체 영상으로부터 사용자의 신체 일부를 특정하고 그 특정된 신체 부위의 동작을 인식하는 단계; 및 상기 인식된 특정 신체 부위의 동작에 대응하는 미리 설정된 영상을 생성하여 디스플레이하도록 영상을 처리하는 단계를 포함한다.

또한 바람직하게는, 상기 신체의 일부는 사용자의 머리 부위, 어깨 부위, 팔 부위 및 손 부위 중 적어도 하나 이상인 것을 특징으로 한다.

또한 바람직하게는, 상기 특정된 신체 부위의 동작을 인식하는 단계는, 상기 신체 영상으로부터 머리 영역 및 어깨 영역을 순차적으로 특정하는 단계와, 상기 어깨 영역으로부터 연결되는 팔 영역 또는 상기 팔 영역의 끝부분에서 손 영역을 특정하는 단계와, 상기 지속적으로 취득한 신체 영상으로부터 상기 특정된 팔 영역 또는 손 영역의 변화를 분석함으로써 사용자의 팔 동작 또는 손 동작을 인식하는 단계를 포함하는 것을 특징으로 한다.

또한 바람직하게는, 상기 영상을 처리하는 단계는, 상기 신체 영상 상에 상기 특정 신체 부위가 존재하는 경우, 복수개의 미리 설정된 영상 모드 중 어느 하나의 영상 모드가 사용자의 선택에 의해 또는 미리 설정된 사항에 따라 자동으로 실행되는 단계와, 상기 검출된 특정 신체 부위의 자세 및 위치 정보 또는 상기 특정 신체 부위를 기초로 검출되는 다른 신체 부위의 자세 및 위치 정보에 대응하여 상기 실행된 영상 모드에 따른 영상을 디스플레이하는 단계를 포함하는 것을 특징으로 한다.

또한 바람직하게는, 상기 영상을 처리하는 단계는, 상기 신체 영상 상에 사용자의 팔에 해당하는 팔 영역이 존재하지 않는 경우, 상기 신체 영상으로부터 특정된 머리 영역으로부터 머리의 동작을 인식하는 단계와, 상기 인식된 머리의 동작에 대응하여 미리 설정된 영상을 생성하여 디스플레이하도록 영상을 처리하는 단계를 더 포함하는 것을 특징으로 한다.

또한 바람직하게는, 상기 영상을 처리하는 단계는, 상기 인식된 특정 신체 부위의 동작에 대응하여 디스플레이되는 영상 상에서 미리 설정된 특수 효과가 구현되도록 영상 처리하는 단계를 포함하는 것을 특징으로 한다.

한편, 본 발명의 다른 일 실시예에 따른 사용자 동작 인식에 기반한 영상 처리 방법은, 소정의 영상이 디스플레이되는 단계; 사용자의 머리 위쪽에 설치된 이미지센서에 의해 내려다보는 화각으로 사용자의 신체의 적어도 일부를 포함하는 신체 영상을 취득하는 단계; 상기 취득한 신체 영상으로부터 사용자의 신체 일부를 특정하고 그 특정된 신체 부위의 자세 및 위치 정보를 검출하는 단계; 상기 디스플레이된 영상에 대한 탐색을 위한 사용자 인터페이스를 구현하는 단계; 및 상기 특정된 신체 부위의 자세 및 위치 정보에 대응하여 상기 사용자 인터페이스 조작이 이루어지도록 하여 상기 디스플레이된 영상에 대한 탐색된 영상이 디스플레이되도록 영상 처리하는 단계를 포함한다.

또한 바람직하게는, 상기 디스플레이된 영상에 대한 탐색을 위한 사용자 인터페이스를 구현하는 단계는, 상기 디스플레이된 영상 상에서 임의의 지점을 지칭하기 위한 포인팅 객체가 생성되는 단계를 포함하며, 상기 디스플레이된 영상에 대한 탐색된 영상이 디스플레이되도록 영상 처리하는 단계는, 상기 포인팅 객체가 상기 검출된 손의 위치 정보에 대응하여 동작하는 단계와, 상기 손의 위치 정보에 대응하여 동작하는 상기 포인팅 객체가 지칭하는 지점에 대한 미리 설정된 정보를 화면에 표시하는 단계를 포함하는 것을 특징으로 한다.

또한 바람직하게는, 상기 포인팅 객체가 지칭하는 지점에 대한 미리 설정된 정보를 화면에 표시하는 단계는, 상기 손의 위치 정보에 대응하여 동작하는 상기 포인팅 객체가 임의의 지점에 위치한 상태에서 미리 설정된 시간 동안 미리 설정된 범위를 벗어나는 움직임이 없는 것으로 판단된 경우 또는 상기 포인팅 객체가 임의의 지점에 위치한 상태에서 상기 신체 영상을 통해 검출되는 상기 손의 동작이 미리 설정된 특정 제스처를 취하는 경우에 해당 지점에 대한 미리 설정된 정보를 화면에 표시하도록 한 것을 특징으로 한다.

또한 바람직하게는, 상기 디스플레이된 영상에 대한 탐색된 영상이 디스플레이되도록 영상 처리하는 단계는, 미리 설정된 뷰로 상기 목표 지점에 대한 확대된 영상으로 디스플레이되도록 영상 처리하는 단계, 상기 목표 지점에 대한 확대된 영상이 서브 윈도우를 통해 디스플레이되도록 영상 처리하는 단계 및 상기 목표 지점에 대한 돋보기 영상이 디스플레이되도록 영상 처리하는 단계 중 어느 하나를 포함하는 것을 특징으로 한다.

한편, 본 발명의 또 다른 일 실시예에 따른 사용자 동작 인식에 기반한 영상 처리 방법은, 소정의 영상이 디스플레이되는 단계; 사용자의 머리 위쪽에 설치된 이미지센서에 의해 내려다보는 화각으로 사용자의 신체의 적어도 일부를 포함하는 신체 영상을 지속적으로 취득하는 단계; 상기 지속적으로 취득한 신체 영상으로부터 사용자의 신체 일부를 특정하고 그 특정된 신체 부위의 동작을 인식하는 단계; 상기 인식된 신체 부위의 동작이 미리 설정된 요건에 해당하는지 여부를 판단하는 단계; 및 상기 인식된 신체 부위의 동작이 미리 설정된 요건에 해당하는 경우, 상기 디스플레이되는 영상 상에서 미리 설정된 특수 효과가 구현되도록 영상 처리하는 단계를 포함한다.

또한 바람직하게는, 상기 특정된 신체 부위의 동작을 인식하는 단계는, 상기 지속적으로 취득한 신체 영상으로부터 머리 영역을 특정하고 상기 특정된 머리 영역으로부터 어깨 영역을 특정하며 상기 특정된 어깨 영역으로부터 팔 영역을 특정하는 단계와, 상기 지속적으로 취득한 신체 영상으로부터 상기 특정된 팔 영역의 동작을 인식하는 단계를 포함하며, 상기 인식된 신체 부위의 동작이 미리 설정된 요건에 해당하는지 여부를 판단하는 단계는, 상기 특정된 팔 영역의 동작 속도, 동작 시간, 동작 크기 및 동작 각도 중 적어도 하나에 대해 미리 설정된 요건이 충족되는지 여부를 판단하는 단계를 포함하는 것을 특징으로 한다.

또한 바람직하게는, 상기 특정된 신체 부위의 동작을 인식하는 단계는, 상기 지속적으로 취득한 신체 영상으로부터 머리 영역을 특정하고 상기 특정된 머리 영역으로부터 어깨 영역을 특정하는 단계와, 상기 지속적으로 취득한 신체 영상으로부터 상기 특정된 어깨 영역의 동작을 인식하는 단계를 포함하며, 상기 인식된 신체 부위의 동작이 미리 설정된 요건에 해당하는지 여부를 판단하는 단계는, 상기 특정된 어깨 영역의 동작 속도, 동작 시간, 동작 크기 및 동작 각도 중 적어도 하나에 대해 미리 설정된 요건이 충족되는지 여부를 판단하는 단계를 포함하는 것을 특징으로 한다.

한편, 본 발명의 일 실시예에 따른 가상 골프 시뮬레이션 시스템의 사용자 동작 인식에 기반한 영상 처리 방법은, 전방의 스크린을 통해 가상의 골프코스에 관한 영상이 투영되고 사용자가 스크린을 향해 골프 샷 한 것에 대한 센싱 결과에 기초한 볼 궤적의 시뮬레이션 영상이 상기 스크린을 통해 영상 구현되는 단계; 사용자의 머리 위쪽에 설치된 이미지센서에 의해 내려다보는 화각으로 사용자의 신체의 적어도 일부를 포함하는 신체 영상을 지속적으로 취득하는 단계; 상기 지속적으로 취득한 신체 영상으로부터 사용자의 신체 일부를 특정하고 그 특정된 신체 부위의 동작을 인식하는 단계; 및 상기 인식된 특정 신체 부위의 동작에 따라 상기 스크린에 투영되는 화면 뷰의 변화, 상기 가상의 골프코스에 대한 탐색 및 상기 가상 골프코스 상에서의 특수 효과 구현 중 어느 하나를 수행하는 단계를 포함한다.

또한 바람직하게는, 상기 특정된 신체 부위의 동작을 인식하는 단계는, 상기 신체 영상으로부터 사용자의 팔 영역을 탐색함으로써 상기 팔 영역을 특정하거나 상기 팔 영역의 끝부분에서 손 영역을 특정하는 단계와, 상기 지속적으로 취득한 신체 영상으로부터 상기 특정된 팔 영역 또는 손 영역의 변화를 분석함으로써 사용자의 팔 동작 또는 손 동작을 인식하는 단계를 포함하며, 상기 스크린에 투영되는 화면 뷰의 변화를 수행하는 단계는, 상기 인식된 팔 동작 또는 손 동작에 대응하여 디스플레이되는 화면이 스크롤되도록 함으로써 화면 뷰가 변화하도록 영상 처리하는 단계를 포함하는 것을 특징으로 한다.

또한 바람직하게는, 상기 특정된 신체 부위의 동작을 인식하는 단계는, 상기 신체 영상으로부터 사용자의 팔 영역을 탐색함으로써 상기 팔 영역의 끝부분에서 손 영역을 특정하는 단계와, 상기 지속적으로 취득한 신체 영상으로부터 상기 특정된 손 영역의 픽셀 분포 및 각 픽셀의 뎁스 정보에 기초하여 손의 위치 정보를 검출하는 단계를 포함하며, 상기 가상의 골프코스에 대한 탐색을 수행하는 단계는, 상기 디스플레이된 가상 골프코스 영상 상에서 임의의 지점을 지칭하기 위한 포인팅 객체를 생성하는 단계와, 상기 포인팅 객체가 상기 검출된 손의 위치 정보에 대응하여 동작하는 단계와, 상기 손의 위치 정보에 대응하여 동작하는 상기 포인팅 객체가 지칭하는 지점에 대한 확대된 영상이 미리 설정된 사항에 따라 영상 처리하여 표시하는 단계를 포함하는 것을 특징으로 한다.

또한 바람직하게는, 상기 특정된 신체 부위의 동작을 인식하는 단계는, 상기 신체 영상으로부터 머리 영역을 특정하고 상기 특정된 머리 영역으로부터 어깨 영역을 특정하며 상기 특정된 어깨 영역으로부터 팔 영역을 특정하는 단계와, 상기 지속적으로 취득한 신체 영상으로부터 상기 특정된 팔 영역의 동작을 인식하는 단계를 포함하며, 상기 가상 골프코스 상에서의 특수 효과 구현을 수행하는 단계는, 상기 인식된 팔 영역의 동작에 따라 상기 영상 구현된 가상 골프코스에 적용된 풍향 및 풍속 정보에 기초하여 상기 풍향 및 풍속에 따라 잔디가 날리는 특수 효과 영상을 구현하는 단계를 포함하는 것을 특징으로 한다.

또한 바람직하게는, 상기 특정된 신체 부위의 동작을 인식하는 단계는, 상기 신체 영상으로부터 머리 영역을 특정하고 상기 특정된 머리 영역으로부터 어깨 영역을 특정하는 단계와, 상기 지속적으로 취득한 신체 영상으로부터 상기 특정된 어깨 영역의 동작을 인식하는 단계를 포함하며, 상기 가상 골프코스 상에서의 특수 효과 구현을 수행하는 단계는, 상기 인식된 어깨 영역의 동작에 따라 사용자가 어드레스 자세를 취하고 있는지 여부를 판단하는 단계와, 사용자가 어드레스 자세를 취하고 있는 것으로 판단하는 경우 정숙을 요구하는 컨텐츠의 특수 효과 영상이 구현되도록 하는 단계를 포함하는 것을 특징으로 한다.

한편, 본 발명의 일 실시예에 따른 사용자 동작 인식에 기반한 영상 처리 시스템은, 사용자 머리 위쪽에 설치되어 사용자의 신체의 적어도 일부를 포함하는 신체 영상을 지속적으로 취득하는 이미지센서; 상기 지속적으로 취득되는 신체 영상으로부터 사용자의 신체 일부를 특정하고 그 특정된 신체 부위의 동작을 인식하는 동작 인식부; 소정의 영상 정보를 처리하여 디스플레이되도록 하는 영상 처리부; 및 상기 동작 인식부에 의해 인식된 사용자의 특정 신체 부위의 동작에 따라 미리 설정된 변화된 영상이 디스플레이되도록 상기 영상 처리부를 제어하는 제어부를 포함한다.

또한 바람직하게는, 상기 제어부는, 상기 동작 인식부에 의해 인식된 사용자의 특정 신체 부위의 동작에 대응하여 상기 디스플레이되는 영상의 화면 뷰를 제어하는 화면뷰 제어수단을 포함하는 것을 특징으로 한다.

또한 바람직하게는, 상기 제어부는, 상기 디스플레이된 영상에 대한 탐색을 위한 사용자 인터페이스가 구현되도록 하며, 상기 동작 인식부에 의해 인식된 사용자의 특정 신체 부위의 동작에 대응하여 상기 사용자 인터페이스를 제어하는 인터페이스 제어수단과, 상기 인터페이스 제어수단에 의해 탐색된 부분의 탐색 영상이 상기 영상 처리부에 의해 영상 구현되도록 제어하는 영상탐색 제어수단을 포함하는 것을 특징으로 한다.

또한 바람직하게는, 상기 제어부는, 사용자의 특정 신체 부위의 동작에 대응하여 영상 구현되도록 하는 특수 효과 정보에 관하여 미리 설정하도록 구성되며, 상기 동작 인식부에 의해 인식된 사용자의 특정 신체 부위의 동작에 대응하여 미리 설정된 특수 효과가 영상 구현되도록 제어하는 특수효과 제어수단을 포함하는 것을 특징으로 한다.

본 발명에 따른 사용자 동작 인식에 기반한 영상 처리 방법 및 시스템은 사용자의 동작에 대해 이미지센서를 이용하여 취득된 이미지의 분석을 통해 사용자의 신체 특정 부위를 트래킹함으로써 화면에 디스플레이되는 영상이 사용자의 동작에 대응하여 변화할 수 있도록 함으로써 스크린 골프와 같은 특정 공간 내에서의 맨-머신 인터페이스를 효과적으로 구현하여 사용자에게 실감 영상을 제공할 수 있는 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 사용자 동작 인식에 기반한 영상 처리 시스템을 개념적으로 설명하기 위한 구성도이다.
도 2는 도 1에 도시된 가상 골프 시뮬레이션 시스템으로 예시되는 본 발명의 일 실시예에 따른 사용자 동작 인식에 기반한 영상 처리 시스템의 구성에 관하여 도시한 블록도이다.
도 3 및 도 4는 본 발명의 일 실시예에 따른 사용자 동작 인식에 기반한 영상 처리 방법에 관하여 설명하기 위한 플로우 차트이다.
도 5는 본 발명의 이미지센서를 통해 취득되는 신체 영상의 일 예를 나타낸 도면이다.
도 6은 도 5에 도시된 신체 영상에서 특정된 머리 영역의 이동, 즉 사용자의 머리의 위치 변화에 대응하여 화면 영상이 시프트되는 것의 일 예를 나타낸 도면이다.
도 7은 본 발명의 이미지센서를 통해 취득되는 신체 영상의 다른 일 예를 나타낸 도면이다.
도 8의 (a) 및 (b)는 사용자의 팔 동작에 대응하여 화면이 좌우로 스크롤되는 경우를 나타낸 도면이다.
도 9는 사용자의 신체 영상으로부터 인식되는 사용자의 동작에 대응하여 사용자 인터페이스가 구현되는 일 예에 관하여 설명하기 위한 도면이다.
도 10은 사용자의 특정 제스처에 의해 디스플레이된 영상 상의 임의의 지점에 대한 확대된 영상이 디스플레이되는 다양한 예에 관하여 나타낸 도면이다.
도 11은 사용자의 특정 제스처에 따라 특수 효과가 영상 구현되는 일 예를 나타낸 도면이다.
도 12는 사용자가 골프 스윙을 위해 어드레스 자세를 취하는 경우에 구현되는 특수 효과의 일 예에 관하여 설명하기 위한 도면이다.

본문에 개시되어 있는 본 발명의 실시예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 실시예들은 다양한 형태로 실시될 수 있으며, 본문에 설명된 실시예들에 한정되는 것으로 해석되어서는 아니 된다.

이하, 본 발명에 따른 사용자 동작 인식에 기반한 영상 처리 방법 및 시스템에 관한 구체적인 내용을 도면을 참조하여 설명한다.

도 1은 본 발명의 일 실시예에 따른 사용자 동작 인식에 기반한 영상 처리 시스템을 개념적으로 설명하기 위한 구성도로서, 상기 영상 처리 시스템의 일 예로서 가상 골프 시뮬레이션 시스템에 관하여 나타낸 것이다.

도 1에 도시된 바와 같이 가상 골프 시뮬레이션 시스템으로 예시되는 본 발명에 따른 영상 처리 시스템은, 영상 처리 장치(100) 및 이미지센서(13)를 포함하여 구성된다.

여기서 가상 골프 시뮬레이션 시스템은, 도 1에 예시된 바와 같이 영상 처리 장치(100)에 의해 가상의 골프코스에 관한 영상(12)이 처리되어 영상 출력 장치(19)를 통해 사용자(11)의 전방에 설치된 스크린(10)으로 투영되고, 타석에서 사용자(11)가 전방의 스크린(10)을 향해 골프클럽으로 볼을 타격하면, 타격에 의해 운동하는 볼 및/또는 볼을 타격한 골프클럽의 움직임을 센싱하는 센싱장치(미도시)가 센싱한 결과에 기초하여 영상 처리 장치(10)에서 볼의 궤적을 산출하여 디스플레이된 영상(12) 상에서 볼의 궤적에 대한 시뮬레이션 영상을 구현하도록 함으로써 사용자(11)가 가상의 환경에서 골프 라운드를 할 수 있게 해 준다.

본 발명은 이와 같은 가상의 환경에서 골프 플레이하는 사용자가 더욱 실감나게 가상 환경을 즐길 수 있도록 하기 위해 사용자의 동작에 대응하여 디스플레이되는 영상이 제어될 수 있도록 한 것으로서, 구체적으로 사용자의 머리 위쪽에 사용자의 동작 인식을 위한 이미지센서(13)가 설치되고 상기 이미지센서(13)는 영상 처리 장치(100)와 연결되어 상기 이미지센서(13)가 취득한 영상을 분석하여 사용자의 동작을 인식하고 그 인식된 동작에 대응하여 디스플레이된 영상을 제어한다.

사용자(11)는 적어도 두부가 나머지 신체보다 상단에 위치하도록 직립 자세를 취하거나, 무릎을 굽히더라도 상체는 두부가 어깨보다 상단에 위치하는 자세로 스크린(10) 앞에 서 있다.

스크린(10)에는 영상 처리 장치(100)로부터 영상 출력 장치(19)를 통해 출력된 영상(12)이 디스플레이되며, 나아가 사용자(11)가 선택하고자 하는 메뉴 또는 조작하고자 하는 아이템 등이 표시되어 있을 수 있다.

이미지센서(13)는 촬영 방향이나, 촬영 각도와 화각을 변경할 수 있는 PTZ(pan, tilt, zoom) 카메라일 수 있다. 또한, 이미지센서(13)는 피사체의 뎁스 정보를 가진 3D 영상을 얻을 수 있는 구조광(structured light) 방식 또는 TOF(time of flight) 방식의 3D 카메라, 또는 2D 카메라와 3D 카메라의 조합을 통해 색상 정보와 뎁스 정보를 가진 하이브리드 영상을 얻을 수 있는 하이브리드 카메라로 구현될 수도 있다.

이미지센서(13)는 일정 높이의 천장에 설치되어 천장에서 바닥면을 향한 상태로 사용자(11)의 신체의 적어도 일부를 포함하는 신체 영상을 획득할 수 있다. 이미지센서(13)의 종류와 구성에 따라, 사용자(11)의 신체 영상은 3D 영상 또는 RGBD 하이브리드 영상 중 어느 하나가 될 수 있다.

영상 처리 장치(100)는 이미지센서(13)에서 획득한 신체 영상, 즉 3D 영상 또는 RGBD 하이브리드 영상 중 어느 하나에 기초하여 머리, 어깨, 팔 등 신체의 적어도 일부를 특정하고 해당 신체 부위의 동작을 인식하여 그 인식된 동작에 대응되도록 화면 뷰를 스크롤 한다거나 디스플레이된 영상(가상 골프 시뮬레이션 시스템의 경우 가상의 골프코스 영상)에 대한 탐색이 가능하도록 한다거나 미리 설정된 특수 효과를 영상 구현하는 등의 영상 처리를 수행한다. 이에 대한 구체적인 사항은 후술하도록 한다.

한편, 도 2는 도 1에 도시된 가상 골프 시뮬레이션 시스템으로 예시되는 본 발명의 일 실시예에 따른 사용자 동작 인식에 기반한 영상 처리 시스템의 구성에 관하여 도시한 블록도이다.

도 2를 참조하면, 본 발명의 영상 처리 시스템은 이미지센서(13), 영상 처리 장치(100) 및 영상 출력부(19)를 포함할 수 있다.

상기 영상 처리 장치(100)는 동작 인식부(110), 제어부(120), 저장부(130) 및 영상 처리부(140)를 포함하며, 구체적인 실시예에 따라 상기 제어부(120)는 화면뷰 제어수단(122), 인터페이스 제어수단(124), 영상탐색 제어수단(126) 및 특수효과 제어수단(128) 중 적어도 하나를 포함하도록 구성될 수 있다.

상기 이미지센서(13)는, 도 1에 도시된 바와 같이 사용자의 머리 위쪽에 설치되어 아래로 내려다 보는 화각으로 촬영하여 영상을 획득하며 그 획득된 영상에는 사용자를 머리 위에서 바로 본 사용자의 신체에 대한 영상이 포함되어 있다.

상기 이미지센서(13)가 획득한 영상은 상기 동작 인식부(110)로 전달되는데, 그 획득 영상이 그대로 전달될 수도 있고 그 획득 영상에서 사용자 영역을 포함하는 소정 범위를 관심 영역으로 설정하고 그 관심 영역만을 추출한 영상이 상기 동작 인식부(110)로 전달될 수 있다. 이하 상기한 획득 영상 또는 상기한 관심 영역을 추출한 영상을 통칭하여 신체 영상이라 하기로 한다.

상기 동작 인식부(110)는 상기 이미지센서(13)로부터 지속적으로 신체 영상을 전달받아 각 신체 영상에서 사용자의 신체 일부를 특정하고 그 특정된 신체 부위의 변화를 분석함으로써 해당 신체 부위의 동작을 인식하도록 구성된다.

상기 제어부(120)는 상기 동작 인식부(110)에 의해 인식된 사용자의 특정 신체 부위의 동작에 따라 미리 설정된 변화된 영상이 디스플레이되도록 영상 처리부(140)를 제어하며, 상기 영상 처리부(140)는 상기 제어부(120)에 의해 제어되어 소정의 영상 정보를 처리하여 디스플레이되도록 하는데, 구체적으로 그 처리된 영상 정보는 영상 출력부(19)로 전달되고 상기 영상 출력부(19)가 사용자가 볼 수 있는 상태의 영상이 출력되어 디스플레이되도록 한다.

상기 저장부(130)는 상기 영상 처리부(140)의 영상 정보 처리를 위한 각종 데이터를 저장하도록 구성되며, 예컨대 가상 골프 시뮬레이션 시스템의 경우 상기 저장부(130)는 가상의 골프코스의 영상 구현을 위한 구체적인 지형 정보 등을 모두 저장한다.

상기 제어부(120)는 사용자의 동작 인식에 기반한 영상 처리를 위해 여러 가지 기능을 수행하는데, 기능별로 화면뷰 제어수단(122), 인터페이스 제어수단(124), 영상탐색 제어수단(126) 및 특수효과 제어수단(128) 중 적어도 하나를 포함하도록 구성될 수 있다.

상기 화면뷰 제어수단(122)은 상기 동작 인식부에 의해 인식된 사용자의 특정 신체 부위의 동작에 대응하여 상기 디스플레이되는 영상의 화면 뷰를 제어하는 기능을 수행한다.

상기 화면뷰 제어수단(122)에 의해 수행되는 기능의 일 예는 도 5 내지 도 8에서 좀 더 구체적으로 설명하도록 한다.

상기 인터페이스 제어수단(124)은 상기 디스플레이된 영상에 대한 탐색을 위한 사용자 인터페이스가 구현되도록 하며, 상기 동작 인식부에 의해 인식된 사용자의 특정 신체 부위의 동작에 대응하여 상기 사용자 인터페이스를 제어하는 기능을 수행한다.

그리고, 상기 영상탐색 제어수단(126)은 상기 인터페이스 제어수단에 의해 탐색된 부분의 탐색 영상이 상기 영상 처리부에 의해 영상 구현되도록 제어하는 기능을 수행한다.

상기 인터페이스 제어수단(124) 및 영상탐색 제어수단(126)에 의해 수행되는 기능의 일 예는 도 9 및 도 10에서 좀 더 구체적으로 설명하도록 한다.

상기 특수효과 제어수단(128)은 상기 동작 인식부에 의해 인식된 사용자의 특정 신체 부위의 동작에 대응하여 미리 설정된 특수 효과가 영상 구현되도록 제어하는 기능을 수행한다.

상기 특수효과 제어수단(128)에 의해 수행되는 기능의 일 예는 도 11 및 도 12에서 좀 더 구체적으로 설명하도록 한다.

한편, 도 3 및 도 4를 참조하여 본 발명의 일 실시예에 따른 사용자 동작 인식에 기반한 영상 처리 방법에 관하여 설명하도록 한다.

먼저, 도 3을 참조하여 본 발명에 따른 사용자 동작 인식에 기반한 영상 처리 방법의 기본적인 플로우를 설명한다.

본 발명의 일 실시예에 따른 사용자 동작 인식에 기반한 영상 처리 방법은 기본적으로, 사용자의 머리 위쪽에 설치된 이미지센서에 의해 내려다보는 화각으로 사용자의 신체의 적어도 일부를 포함하는 신체 영상을 지속적으로 취득한다(S10).

그리고, 그 취득한 신체 영상으로부터 사용자의 신체 일부를 특정하며(S20), 지속적으로 취득되는 신체 영상에서 특정된 신체 부위에 대한 분석을 통해 그 특정된 신체 부위의 동작을 인식한다(S30).

그리고, 상기 인식된 특정 신체 부위의 동작에 따라 미리 설정된 변화된 영상이 디스플레이되도록 영상 처리를 수행한다(S40).

여기서 상기 S40 단계는 여러 가지 모드 중 어느 하나로 실행될 수 있는데, 도 3에 도시된 바와 같이 인식된 특정 신체 부위의 동작에 따라 화면 뷰의 변화를 구현하는 모드로 실행될 수 있고(S41), 인식된 특정 신체 부위의 동작에 따라 사용자 인터페이스 및 영상 탐색을 구현하는 모드로 실행될 수 있으며(S42), 인식된 특정 신체 부위의 동작에 따라 미리 설정된 특수효과를 구현하는 모드로 실행될 수도 있다(S43).

도 4를 통해 상기한 바와 같은 사용자 동작 인식에 기반한 영상 처리 방법에 관하여 좀 더 구체적으로 설명하도록 한다.

본 발명은 기본적으로 어떤 공간 내에서 사용자의 머리 위쪽에 설치된 이미지센서를 포함하는 영상 처리 시스템이면 모두 적용이 가능하며, 대표적으로 도 1에 도시된 바와 같은 가상 골프 시뮬레이션 시스템에 적용된다.

따라서 가상 골프 시뮬레이션 시스템 상에서 본 발명의 일 실시예에 따른 영상 처리 방법이 수행되는 예를 도 4에 도시된 플로우차트를 통해 구체적으로 설명하도록 한다.

먼저, 가상의 골프코스 영상이 영상 처리부(140, 도 2 참조)에서 처리되어 영상 출력부(19, 도 2 참조)를 통해 출력되어 스크린 상에 디스플레이된다(S100).

사용자의 머리 위쪽에서 내려다보는 화각으로 촬영하고 있는 이미지센서(13, 도 2 참조)에 의해 사용자의 신체 영상이 지속적으로 취득되고(S110), 취득되는 신체 영상은 동작 인식부(110, 도 2 참조)로 전달된다.

상기 동작 인식부는, 신체 영상에서 사용자의 머리에 해당하는 머리 영역을 먼저 특정하고, 상기 머리 영역으로부터 연장되는 어깨 영역을 특정하며, 상기 특정된 어깨 영역으로부터 팔 영역을 특정한다(S120).

만약 사용자가 영상이 디스플레이되고 있는 스크린 앞에 서서 화면 영상을 제어하기 위한 소정의 제스처를 취할 수 있는데, 대표적인 경우가 팔을 앞으로 내미는 것이다. 즉, 사용자는 화면의 뷰를 스크롤 하거나 화면 영상을 탐색하는 등의 영상 제어를 할 때 팔을 앞으로 내미는 제스처를 통상적으로 취하게 된다.

상기 S120 단계에서 신체 영상에서 머리 영역, 어깨 영역을 순차적으로 특정 한 후 팔 영역을 특정하는 과정에서, 사용자가 팔을 앞으로 내밀면 신체 영상에 팔 영역이 존재하게 되어 이를 특정할 수 있는데, 사용자가 팔을 앞으로 내밀지 않는 경우에는 신체 영상에서 팔 영역이 존재하지 않기 때문에 이를 특정할 수 없다.

따라서 상기 동작 인식부의 신체 영상 분석 결과 신체 영상에서 상기한 팔 영역이 존재하는지 여부가 먼저 판정됨이 바람직하다(S200).

신체 영상에서 팔 영역이 존재하지 않는 경우, 화면뷰 조작모드(사용자의 동작에 따라 화면 영상이 시프트(Shift)되도록 하거나 회전되도록 하는 등 화면의 뷰를 조작할 수 있도록 하는 모드임)가 사용자의 선택에 의해 실행되거나 자동으로 실행되면(S210), 상기 동작 인식부는 신체 영상에서 특정된 머리 영역에 대해 분석하고 그 분석을 통해 공간 내에서 사용자가 어느 위치에 있는지 결정하게 된다(S220).

그리고 분석된 사용자의 위치(즉, 사용자의 머리 위치(신체 영상에서 특정된 머리 영역의 위치))에 대응하여 화면 뷰가 변화하도록 영상 처리를 수행한다(S230).

상기한 S220 및 S230 과정을 도 5 및 도 6을 참조하여 좀 더 구체적으로 설명하도록 한다.

도 5는 이미지센서를 통해 취득되는 신체 영상을 나타내고, 도 6은 신체 영상에서 특정된 머리 영역의 이동, 즉 사용자의 머리의 위치 변화에 대응하여 화면 영상이 시프트(Shift)되는 것의 일 예를 나타내고 있다.

도 5에 도시된 바와 같이 신체 영상에서 이미지센서에 가장 가까이 위치하게 되는 머리 영역의 픽셀들이 가장 밝은 값을 갖는 것을 알 수 있다. 즉 신체 영상에 대한 히스토그램 분석을 하면 가장 큰 픽셀값을 갖는 픽셀들의 집합이 머리 영역이며, 신체 영상에서 각 픽셀의 뎁스 정보를 분석해도 가장 가까이 위치하는 픽셀들의 집합이 머리 영역이다.

이와 같이 머리 영역이 특정되면, 어깨 부위는 머리 부위와 바로 인접해 있으므로, 상기 머리 영역의 주변에 소정 범위의 픽셀값 또는 뎁스 정보를 갖는 픽셀들의 영역을 어깨 영역으로 특정할 수 있다.

어깨 영역이 특정되면 그 특정된 어깨 영역의 크기에 대응하는 원을 도 5에 도시된 바와 같이 가정할 수 있고 그 원이 어깨 영역과 만나는 경계선 상의 두 점, 즉 P1과 P2로부터 팔 영역을 특정할 수 있다.

그런데 도 5에 도시된 신체 영상에서는 P1이나 P2로부터 연장되는 영역이 없기 때문에 팔 영역이 존재하지 않는 것으로 판단할 수 있다(즉, 도 4의 S200 단계에서 이와 같은 방식으로 팔 영역이 존재하는지 여부를 판단할 수 있다).

이와 같이 신체 영상 상에 팔 영역이 없으면, 특정된 머리 영역을 통해 사용자의 동작을 인식하고 그에 따라 화면 뷰가 조작되도록 할 수 있는데, 도 6에 도시된 바와 같이 사용자의 현재 머리 위치(즉, 신체 영상의 분석을 통해 판정된 머리 영역의 위치)에 대응하도록 화면 영상이 시프트 될 수 있다.

도 6에서, (a), (b) 및 (c)는 이미지센서에 의해 취득되는 신체 영상에서 사용자의 머리 영역의 움직임을 나타낸 것이고, (d), (e) 및 (f)는 사용자의 동작에 따라 화면이 변화하는 것을 나타낸 것인데, (d)는 (a)의 상태에서 디스플레이되는 영상을 나타내고, (e)는 (b)의 상태에서 디스플레이되는 영상을 나타내며, (f)는 (c)의 상태에서 디스플레이되는 영상을 나타낸다.

즉, 사용자가 (a)에 도시된 상태에서 (b)에 도시된 상태로 이동할 경우 머리 위치가 좌측으로 이동하는 것으로 인식하고 (d)에 도시된 상태의 영상으로부터 (e)에 도시된 상태의 영상으로 시프트하며, 사용자가 (a)에 도시된 상태에서 (c)에 도시된 상태로 이동할 경우 머리 위치가 우측으로 이동하는 것으로 인식하고 (d)에 도시된 상태의 영상으로부터 (f)에 도시된 상태의 영상으로 시프트하여 나타낸다.

도면상으로 도시하지는 않았지만, 사용자의 머리 위치가 전방으로 이동하는 경우에는 화면 영상이 확대되어 디스플레이되고 후방으로 이동하는 경우에는 화면 영상이 축소되어 디스플레이되도록 하는 것도 가능하다.

다시 도 4로 돌아와서, 신체 영상에서 팔 영역이 존재하는 경우에는(S200), 이를 전제로 한 다양한 영상 모드가 실행될 수 있다.

도 7에서는 신체 영상에서 팔 영역 및 손 영역을 특정하는 경우에 대해 나타내고 있다.

사용자가 스크린 앞에서 서서 팔을 내밀면, 도 7에 도시된 바와 같은 신체 영상을 획득할 수 있는데, 도 5에서 설명한 바와 같이 머리 영역과 어깨 영역을 순차적으로 특정한 후, 어깨 영역의 경계선 상의 점인 P1 또는 P2로부터 연장되는 부분이 바로 팔 영역이다.

그리고 팔 영역을 특정한 후 다시 상기 팔 영역의 끝부분에서 손 영역을 특정할 수 있다.

본 발명에 따른 영상 처리 시스템 또는 영상 처리 방법은 취득된 신체 영상으로부터 팔 영역까지만 특정하고 상기 특정된 팔 영역의 동작을 분석하여 인식함으로써 이에 기초한 영상 처리가 수행되도록 할 수도 있고, 취득된 신체 영상으로부터 팔 영역을 특정한 후 그로부터 다시 손 영역을 특정하고 상기 특정된 손 영역의 동작을 분석하여 인식함으로써 이에 기초한 영상 처리가 수행되도록 할 수도 있다.

신체 영상에서 손 영역을 특정하는 경우에는, 손 영역의 픽셀들의 분포로부터 사용자의 손의 자세를 판정할 수 있다. 예컨대 사용자가 팔을 내민 상태에서 주먹을 쥐고 있는지, 모든 손가락을 펴고 있는지, 주먹 쥔 상태에서 일부 손가락만 펴고 있는지(예컨대, 사용자가 검지를 펴서 무언가를 가리키는 경우) 등의 손의 자세를 파악할 수 있다.

그리고 손 영역의 픽셀들의 뎁스 정보로부터 사용자의 손의 위치 정보를 판정할 수 있다. 즉 손 영역의 픽셀들의 3차원 공간 상에서의 좌표 정보를 산출할 수 있고 이로부터 손의 위치를 파악할 수 있다.

한편, 신체 영상에서 팔 영역이 존재하는 것을 전제로 한 다양한 영상 모드가 실행될 수 있는데, 그 예로서 화면 스크롤 모드(S300), 영상 탐색 모드(S400) 및 특수 효과 모드(S500)가 실행될 수 있으며, 사용자가 골프클럽으로 어드레스 자세를 취하는 경우 신체 영상으로부터 이를 파악하여 미리 설정된 특수 효과를 구현하도록 하는 것도 가능하다(S600).

상기 화면 스크롤 모드가 실행되면, 제어부는 신체 영상으로부터 특정된 팔 영역 또는 팔 영역에 기초하여 특정되는 손 영역에 대한 분석을 통해 사용자의 팔 또는 손의 동작을 인식하고(S301), 그 인식된 팔 또는 손의 동작에 대응하여 디스플레이되고 있는 화면이 스크롤(Scroll)되도록 영상 처리가 이루어지도록 한다(S302).

상기 화면 스크롤 모드는 사용자가 화면에서 메뉴 등을 통해 선택함으로써 실행되거나 소정의 입력장치를 통한 입력에 의해 실행될 수 있으며, 신체 영상으로부터 팔 영역이 존재하는 경우에 또는 손 영역으로부터 판정되는 손의 자세 등에 따라 자동으로 실행될 수도 있다.

즉 사용자가 팔을 내밀면 그 동작을 인식하여 자동으로 화면 스크롤 모드가 실행되도록 하는 것이 가능하며, 사용자가 팔을 내밀어서 특정 손 동작을 취할 경우(예컨대, 모든 손가락을 펴는 경우)에 이를 인식하여 자동으로 화면 스크롤 모드가 실행되도록 하는 것이 가능하다.

화면 스크롤 모드에 대한 좀 더 구체적인 사항은 이하에서 도 8을 참조하여 설명하도록 한다.

한편, 상기 영상 탐색 모드가 실행되면, 디스플레되고 있는 영상 상에 사용자 인터페이스가 구현되고(S401), 제어부는 신체 영상으로부터 특정된 팔 영역 또는 팔 영역에 기초하여 특정되는 손 영역에 대한 분석을 통해 사용자의 팔 또는 손의 동작을 인식하고(S402), 그 인식된 팔 또는 손의 동작에 대응하여 디스플레이된 영상 상에서 사용자 인터페이스 조작이 이루어지고 그 조작에 의해 탐색된 영상이 구현되도록 영상 처리가 이루어지도록 한다(S403).

상기 영상 탐색 모드는 사용자가 화면에서 메뉴 등을 통해 선택함으로써 실행되거나 소정의 입력장치를 통한 입력에 의해 실행될 수 있으며, 신체 영상으로부터 팔 영역이 존재하는 경우에 또는 손 영역으로부터 판정되는 손의 자세 등에 따라 자동으로 실행될 수도 있다.

즉 사용자가 팔을 내밀면 그 동작을 인식하여 자동으로 영상 탐색 모드가 실행되도록 하는 것이 가능하며, 사용자가 팔을 내밀어서 특정 손 동작을 취할 경우(예컨대, 검지 손가락을 펴서 무언가를 가리키는 제스처를 취하는 경우)에 이를 인식하여 자동으로 영상 탐색 모드가 실행되도록 하는 것이 가능하다.

영상 탐색 모드에 대한 좀 더 구체적인 사항은 이하에서 도 9 및 도 10을 참조하여 설명하도록 한다.

한편, 상기 특수 효과 모드가 실행되면, 제어부는 신체 영상으로부터 특정된 팔 영역 또는 팔 영역에 기초하여 특정되는 손 영역에 대한 분석을 통해 사용자의 팔 또는 손의 동작을 인식하고(S501), 그 인식된 팔 또는 손의 동작이 미리 설정된 요건에 해당하는 경우 미리 설정된 특수 효과가 구현되도록 영상 처리가 이루어지도록 한다(S502).

상기 특수 효과 모드는 가상 골프 시뮬레이션이 시작되기 전의 초기 설정 화면에서 설정되거나 가상 골프 시뮬레이션이 진행되는 과정에서 설정 화면을 통해 설정됨으로써 실행될 수 있다.

상기 특수 효과 모드가 설정되어 있는 경우, 사용자의 동작 인식 결과 사용자가 팔을 크게 휘두르거나 팔을 빠르게 움직이는 등의 특정 제스처를 취하는 경우에 미리 설정되어 있는 특수 효과가 영상 구현되도록 할 수 있다.

사용자가 특정 제스처를 취하고 있는지 여부를 판단하기 위해서는 사용자의 동작에 대한 특정 요건을 미리 설정하는 것이 바람직하며, 예컨대 신체 영상으로부터 특정된 팔 영역의 동작 속도, 동작 시간, 동작 크기 및 동작 각도 중 적어도 하나에 대한 요건을 미리 설정해 놓고 동작 인식 결과 해당 요건을 충족하는 경우에 해당 동작에 대해 미리 설정된 특수 효과가 실행되도록 할 수 있다.

특수 효과 모드에 대한 좀 더 구체적인 사항은 이하에서 도 11을 참조하여 설명하도록 한다.

한편, 가상 골프 시뮬레이션은 사용자가 골프클럽으로 골프 스윙을 하여 볼을 타격하는 것으로부터 시작되는데, 사용자가 골프 스윙을 위해 어드레스 자세를 취하는 경우, 해당 동작을 동작 인식부에서 인식하면 제어부는 미리 설정된 특수 효과가 구현되도록 영상 처리가 이루어지도록 할 수 있다(S601). 사용자가 어드레스 자세 후 볼을 타격하면 가상 골프 시뮬레이션이 진행된다(S602).

사용자가 어드레스 자세를 취하는 경우의 특수 효과 구현에 대해서는 이하에서 도 12를 참조하여 설명하도록 한다.

먼저, 도 8을 참조하여 상기한 화면 스크롤 모드의 일 예에 관하여 설명한다. 도 8의 (a) 및 (b)는 사용자의 팔 동작에 대응하여 화면이 좌우로 스크롤(Scroll) 되는 경우를 각각 나타내고 있다.

도 8의 (a) 및(b)에서는 영상(12a, 12b) 내에 사용자의 신체 영상(U1, U2) 부분을 겹쳐서 나타내고 있는데, 이와 같이 디스플레이되는 영상(12a, 12b)에 사용자에 대해 촬영된 신체 영상(U1, U2) 부분이 겹쳐져서 표시될 수도 있지만, 영상(12a, 12b)에서 신체 영상(U1, U2) 부분은 보이지 않도록 하는 것이 바람직하다.

도 8의 (a)에 도시된 바와 같이 본 발명의 동작 인식부가 지속적인 사용자의 신체 영상(U1)으로부터 팔 영역이 화살표 방향으로, 즉 좌측으로 이동하는 동작을 인식하는 경우, 영상 처리부는 디스플레이되는 영상이 좌측으로 스크롤되도록 하는 변화된 영상(12a)을 표시할 수 있다.

또한, 도 8의 (b)에 도시된 바와 같이 본 발명의 동작 인식부가 지속적인 사용자의 신체 영상(U2)으로부터 팔 영역이 화살표 방향으로, 즉 우측으로 이동하는 동작을 인식하는 경우, 영상 처리부는 디스플레이되는 영상이 우측으로 스크롤되도록 하는 변화된 영상(12b)을 표시할 수 있다.

따라서, 사용자는 스크린을 바라보고 서 있는 상태에서 자신의 팔을 내밀어 좌측 또는 우측으로 이동하는 제스처를 취함으로써 디스플레이되는 영상이 그에 따라 좌측 또는 우측으로 스크롤되도록 할 수 있다.

한편, 도 9 및 도 10을 참조하여 상기한 영상 탐색 모드의 일 예에 관하여 설명한다.

먼저 도 9를 참조하면, 도 9의 (a)는 도 9의 (b)에 도시된 바와 같은 신체 영상으로부터 인식되는 사용자의 팔 동작 또는 손 동작에 대응하여 사용자 인터페이스를 구현하기 위한 일 예로서 포인팅 객체(PO)를 생성한 경우에 관하여 나타내고 있다.

여기서 사용자의 팔 동작 또는 손 동작에 의해 상기 포인팅 객체(PO)를 그 동작에 대응하여 이동하도록 할 수 있다.

즉, 본 발명의 동작 인식부가 도 9의 (b)에 도시된 바와 같은 신체 영상을 통해 팔 영역의 위치 정보를 얻을 수 있고 그 팔 영역의 위치 정보에 대응하도록 포인팅 객체(PO)를 이동시킬 수 있고, 또는 동작 인식부가 신체 영상을 통해 손 영역의 위치 정보를 얻어 그 손 영역의 위치 정보에 대응하도록 포인팅 객체(PO)를 이동시킬 수 있다.

예컨대 사용자가 팔을 위 아래로 이동시키는 제스처를 취할 경우 이에 대한 신체 영상을 통해 팔 영역 또는 손 영역의 픽셀들의 분포 및 각 픽셀들의 뎁스 정보를 통해 그 위치 정보를 얻을 수 있고 이에 대응하여 영상(12) 상의 포인팅 객체(PO)가 위 아래로 이동하도록 제어할 수 있으며, 사용자가 팔을 좌우로 이동시키는 제스처를 취할 경우 이에 대한 신체 영상을 통해 팔 영역 또는 손 영역의 동작을 인식하여 좌우 방향으로의 위치 정보를 얻을 수 있고 이에 대응하여 영상(12) 상의 포인팅 객체(PO)가 좌우로 이동하도록 제어할 수 있다.

즉, 사용자에 대한 신체 영상을 통해 팔 영역 또는 손 영역의 3차원 공간상에서의 위치 정보를 얻을 수 있고 이를 영상(12) 상에서의 포인팅 객체(PO)의 위치 정보로 매칭시킴으로써 사용자의 동작에 대응하여 포인팅 객체(PO)가 움직이도록 할 수 있는 것이다.

한편, 사용자의 동작에 대응하여 포인팅 객체(PO)가 이동하다가, 디스플레이되고 있는 영상, 즉 가상의 골프코스에 대한 영상(12) 상의 임의의 위치에 대한 탐색, 예컨대 해당 위치에 대한 구체적인 지형 정보 등 확대된 영상이 디스플레이 되도록 하는 것이 가능한데, 이는 도 10에 도시된 바와 같이 다양한 형태로 구현될 수 있다.

사용자가 영상(12) 상의 임의의 위치에 포인팅 객체(PO)를 위치시킨 후 특정 제스처를 취하는 경우 그 포인팅 객체(PO)가 가리키는 지점에 대한 확대된 영상이 디스플레이 될 수 있는데, 여기서 상기 특정 제스처는, 예컨대 포인팅 객체(PO)를 임의의 위치에 위치시킨 상태에서 미리 설정된 시간 동안 팔 영역 또는 손 영역의 위치를 그대로 유지한다거나 주먹을 쥐었다가 펴는 제스처를 취한다거나 마치 더블 클릭을 하는 것과 같은 제스처일 수 있다.

이와 같은 특정 제스처에 의해 포인팅 객체(PO)가 가리키는 지점, 즉 목표 지점에 대한 확대된 영상이 디스플레이되도록 할 수 있는데, 도 10의 (a)는 목표 지점에 대해 전체 화면으로 미리 설정된 뷰에 따른 확대된 영상(12v)이 디스플레이된 경우를 나타내고 있고(도 10의 (a)는 쿼터뷰(Quater-View)에 따른 확대된 영상임), 도 10의 (b)는 목표 지점에 대해 서브 윈도우(SW)를 통해 상기 목표 지점의 확대된 영상(12s)이 디스플레이된 경우를 나타내고 있으며, 도 10의 (c)는 목표 지점에 대해 돋보기(MG)를 통해 돋보기 영상(12m)이 디스플레이된 경우를 나타내고 있다.

한편, 도 11을 참조하여 상기한 특수 효과 모드의 일 예에 관하여 설명한다.

도 11에 도시된 예는, 실제 골프장에서 골퍼들이 바람의 방향 및 세기를 알기 위해 잔디를 뜯어서 공중에 날림으로써 잔디가 공중에서 바람에 따라 움직이는 양태를 관찰하는 경우가 많은데, 이러한 것을 디스플레이된 가상의 골프코스 영상(12) 상에서 특수 효과(SE)를 통해 영상 구현한 것을 나타낸 것이다.

예컨대, 사용자가 마치 잔디를 뜯어서 공중에 던지는 제스처와 같이 팔을 크게 휘두른다거나 팔을 미리 설정된 속도로 이동시키는 경우, 사용자에 대한 신체 영상을 통해 특정된 팔 영역의 동작 크기 또는 동작 속도 등의 요건을 미리 설정해 놓고 현재 사용자의 팔의 동작이 신체 영상의 분석을 통해 인식했을 때 미리 설정된 동작 크기 또는 동작 속도에 대한 요건을 충족시키는 경우에 도 11에 도시된 바와 같은 잔디가 날리는 특수 효과 영상이 구현되도록 할 수 있다.

이때 영상으로 디스플레이되는 가상의 골프코스마다 해당 코스에 적용되는 풍향 및 풍속 정보가 저장부에 저장되어 있거나 소정의 기상 정보 서버로부터 실시간으로 풍향 및 풍속 정보(즉, 현재의 기상 정보에 기초한 풍향 및 풍속 정보일 수 있음)를 전송받을 수 있으며, 이와 같은 풍향 및 풍속 정보에 기초하여 특정 오브젝트, 즉 잔디의 움직임에 대한 시뮬레이션 영상으로써 특수 효과가 구현되도록 할 수 있다.

한편, 도 12를 참조하여 사용자가 골프 스윙을 위해 어드레스 자세를 취하는 경우에 구현되는 특수 효과의 일 예에 관하여 설명한다.

도 12의 (a)에 도시된 예는, 실제 골프투어에서 프로 골퍼들이 골프 스윙을 위해 어드레스 자세를 취할 때 안내요원들이 "Quiet please"라는 문구가 새겨진 안내판을 들어 갤러리들로 하여금 정숙을 요구하는 경우가 많은데, 이러한 것을 디스플레이된 영상(12) 상에서 특수 효과(SE)를 통해 영상 구현한 것을 나타낸 것이다.

도 12의 (b)는 이미지센서를 통해 획득된 신체 영상으로부터 사용자가 어드레스 자세를 취하고 있는지 여부를 판정하는 것의 일 예를 설명하기 위한 도면이다.

통상적으로 골프 스윙을 하는 사용자가 어드레스 자세를 취하면 그 사용자의 어깨 위치는 항상 거의 동일할 수밖에 없다. 따라서, 도 12의 (b)에 도시된 바와 같이 사용자가 어드레스 자세를 취하면 이에 대한 신체 영상을 통해 특정되는 사용자의 어깨 영역의 경계선 상의 두 점, P1 및 P2를 연결하는 어깨라인(L1)은 도면상 y축과 이루는 각도가 크지 않으며 대부분의 경우 소정의 각도 범위를 넘지 않는다.

따라서 어깨라인(L1)과 y축이 이루는 각도의 범위를 미리 설정해 놓고 현재 사용자에 대해 취득된 신체 영상을 통해 파악되는 어깨라인(L1)이 y축과 이루는 각도가 상기 미리 설정된 각도 범위에 포함되는 경우, 현재 사용자가 어드레스 자세를 취하고 있는 것으로 판정할 수 있는 것이다.

사용자가 어드레스 자세를 취하는 경우에 영상 구현되는 특수 효과는 도 12의 (a)에 도시된 것에 한정되지 않고 다양한 특수 효과, 예컨대 어떤 캐릭터를 등장시켜 해당 캐릭터가 검지를 입술에 대고 조용히 해달라는 제스처를 취하는 영상을 표시할 수도 있고 어떤 캐릭터가 정숙을 요청하는 내용의 표지판을 두 손으로 들고 서 있는 영상을 표시할 수도 있는 등 다양한 특수 효과 영상의 구현이 가능하다.

13: 이미지센서, 100: 영상 처리 장치
110: 동작 인식부, 120: 제어부
122: 화면뷰 제어수단, 124: 인터페이스 제어수단
126: 영상탐색 제어수단, 128: 특수효과 제어수단
130: 저장부, 140: 영상 처리부

Claims (10)

1. 사용자의 동작을 인식하여, 영상 처리부에 의해 디스플레이되고 있는 영상을 상기 인식된 사용자의 동작에 대응하여 제어하는 제어부를 포함하는 영상 처리 장치의 사용자 동작 인식에 기반한 영상 처리 방법으로서,
   상기 제어부가, 사용자의 머리 위쪽에 설치된 이미지센서에 의해 내려다보는 화각으로 사용자의 신체의 적어도 일부를 포함하는 신체 영상을 지속적으로 취득하는 단계;
   사용자의 팔 또는 손의 동작에 대응하여 디스플레이되고 있는 화면이 스크롤되는 화면 스크롤 모드가 실행되면, 상기 제어부는 상기 지속적으로 취득한 신체 영상으로부터 사용자의 어깨 영역으로부터 연결되는 팔 영역 또는 상기 팔 영역의 끝부분에서 손 영역을 특정하는 단계;
   상기 제어부는, 상기 지속적으로 취득되는 신체 영상을 통해 상기 특정된 팔 영역 또는 손 영역이 좌측으로 이동하는지 우측으로 이동하는지 분석하여 사용자의 팔 또는 손의 동작을 인식하는 단계; 및
   상기 사용자의 동작을 인식하는 단계에서 상기 제어부가 사용자의 팔 또는 손이 좌측으로 이동하는 것으로 인식하는 경우, 상기 제어부는 디스플레이되고 있는 영상이 좌측으로 스크롤되도록 상기 영상 처리부를 제어하며, 상기 사용자의 동작을 인식하는 단계에서 상기 제어부가 사용자의 팔 또는 손이 우측으로 이동하는 것으로 인식하는 경우, 상기 제어부는 디스플레이되고 있는 영상이 우측으로 스크롤되도록 상기 영상 처리부를 제어하는 단계;
   를 포함하는 사용자 동작 인식에 기반한 영상 처리 방법.
2. 제1항에 있어서,
   상기 제어부가 상기 지속적으로 취득한 신체 영상으로부터 사용자의 머리 영역 및 어깨 영역을 순차적으로 특정함으로써 상기 어깨 영역으로부터 연결되는 팔 영역이 존재하는지 판단하는 단계를 더 포함하며,
   상기 화면 스크롤 모드는, 상기 제어부가 상기 팔 영역이 존재하는지 판단하는 단계에서 상기 사용자의 팔 영역이 존재하는 것으로 판단한 경우에 자동으로 실행하도록 한 것을 특징으로 하는 사용자 동작 인식에 기반한 영상 처리 방법.
3. 사용자의 동작을 인식하여, 영상 처리부에 의해 디스플레이되고 있는 영상을 상기 인식된 사용자의 동작에 대응하여 제어하는 제어부를 포함하는 영상 처리 장치의 사용자 동작 인식에 기반한 영상 처리 방법으로서,
   상기 제어부가, 사용자의 머리 위쪽에 설치된 이미지센서에 의해 내려다보는 화각으로 사용자의 신체의 적어도 일부를 포함하는 신체 영상을 지속적으로 취득하는 단계;
   상기 제어부는, 상기 지속적으로 취득한 신체 영상으로부터 사용자의 팔 영역 또는 상기 팔 영역의 끝부분에서 손 영역을 특정하는 단계;
   상기 제어부는, 상기 지속적으로 취득한 신체 영상을 통해 상기 특정된 팔 영역 또는 손 영역의 동작을 인식하여 영상 탐색 모드를 실행하며, 상기 영상 탐색 모드가 실행됨에 따라 상기 디스플레이된 영상 상에서 임의의 지점을 지칭하기 위한 포인팅 객체가 생성되는 단계;
   상기 제어부는, 상기 지속적으로 취득한 신체 영상을 통해 상기 특정된 팔 영역 또는 손 영역의 픽셀들의 분포 및 각 픽셀들의 뎁스 정보를 분석하여 상기 팔 영역 또는 손 영역의 3차원 공간상에서의 위치 정보를 산출하는 단계;
   상기 제어부는, 상기 산출된 팔 영역 또는 손 영역의 3차원 공간상에서의 위치 정보를 상기 디스플레이된 영상 상에서의 포인팅 객체의 위치 정보로 매칭시킴으로써 사용자의 동작에 대응하여 상기 포인팅 객체가 움직이도록 하는 단계;
   상기 포인팅 객체가 상기 디스플레이된 영상 상의 임의의 위치에 위치한 상태에서, 상기 제어부는 상기 지속적으로 취득한 신체 영상을 통해 상기 특정된 팔 영역 또는 손 영역의 동작을 인식함으로써 사용자가 미리 설정된 제스처를 취하는지 여부를 판단하는 단계; 및
   상기 포인팅 객체가 상기 디스플레이된 영상 상의 임의의 위치에 위치한 상태에서 상기 사용자가 미리 설정된 제스처를 취하는 경우, 상기 제어부는 상기 디스플레이된 영상 상에서의 상기 포인팅 객체가 가리키는 지점에 대한 미리 설정된 정보를 디스플레이하도록 상기 영상 처리부를 제어하는 단계;
   를 포함하는 사용자 동작 인식에 기반한 영상 처리 방법.
4. 제3항에 있어서, 상기 포인팅 객체가 가리키는 지점에 대한 미리 설정된 정보를 디스플레이하도록 상기 영상 처리부를 제어하는 단계는,
   상기 포인팅 객체가 임의의 지점에 위치한 상태에서 상기 제어부가 상기 특정된 팔 영역 또는 손 영역이 미리 설정된 시간 동안 미리 설정된 범위를 벗어나는 움직임이 없는 것으로 판단하는 경우 또는 상기 포인팅 객체가 임의의 지점에 위치한 상태에서 상기 제어부가 상기 특정된 팔 영역 또는 손 영역의 동작을 인식하여 사용자가 미리 설정된 특정 제스처를 취하는 경우에, 해당 지점에 대한 미리 설정된 정보를 디스플레이하도록 상기 영상 처리부를 제어하는 것을 특징으로 하는 사용자 동작 인식에 기반한 영상 처리 방법.
5. 제3항에 있어서, 상기 포인팅 객체가 가리키는 지점에 대한 미리 설정된 정보를 디스플레이하도록 상기 영상 처리부를 제어하는 단계는,
   미리 설정된 뷰로 상기 포인팅 객체가 가리키는 지점에 대한 확대된 영상이 디스플레이되도록 상기 영상 처리부를 제어하는 단계를 포함하는 것을 특징으로 하는 사용자 동작 인식에 기반한 영상 처리 방법.
6. 제3항에 있어서, 상기 포인팅 객체가 가리키는 지점에 대한 미리 설정된 정보를 디스플레이하도록 상기 영상 처리부를 제어하는 단계는,
   상기 포인팅 객체가 가리키는 지점에 대한 확대된 영상이 미리 설정된 크기의 서브 윈도우를 통해 디스플레이되도록 상기 영상 처리부를 제어하는 단계를 포함하는 것을 특징으로 하는 사용자 동작 인식에 기반한 영상 처리 방법.
7. 제3항에 있어서, 상기 포인팅 객체가 가리키는 지점에 대한 미리 설정된 정보를 디스플레이하도록 상기 영상 처리부를 제어하는 단계는,
   상기 포인팅 객체가 가리키는 지점에 대한 돋보기 영상이 디스플레이되도록 상기 영상 처리부를 제어하는 단계를 포함하는 것을 특징으로 하는 사용자 동작 인식에 기반한 영상 처리 방법.
8. 전방의 스크린을 통해 가상의 골프코스에 관한 영상이 투영되고 사용자가 스크린을 향해 골프 샷 한 것에 대한 센싱 결과에 기초한 볼 궤적의 시뮬레이션 영상이 상기 스크린을 통해 영상 구현되도록 하는 가상 골프 시뮬레이션 시스템으로서,
   사용자 머리 위쪽에 설치되어 사용자의 신체의 적어도 일부를 포함하는 신체 영상을 지속적으로 취득하는 이미지센서;
   상기 지속적으로 취득되는 신체 영상으로부터 사용자의 신체 일부를 특정하고 그 특정된 신체 부위의 동작을 인식하는 동작 인식부;
   상기 가상의 골프코스에 대한 영상 및 상기 볼 궤적의 시뮬레이션 영상이 표시되도록 영상 정보를 처리하는 영상 처리부; 및
   상기 영상 처리부에 의해 처리되어 상기 스크린에 표시되고 있는 영상을 상기 동작 인식부에 의해 인식된 사용자의 동작에 대응하여 제어하는 제어부를 포함하며,
   상기 제어부는,
   상기 동작 인식부에 의해 인식되는 사용자의 동작이 미리 설정된 제스처인지 여부를 판단하여 미리 설정된 제스처인 경우, 상기 영상 처리부에 의해 처리되어 표시되는 상기 가상의 골프코스 상의 상기 사용자의 동작에 의해 특정되는 영역을 확대하여 표시하도록 상기 영상 처리부를 제어하거나, 상기 가상의 골프코스 상의 상기 사용자의 동작에 의해 특정되는 영역에 대해 미리 설정된 크기의 서브 윈도우를 통해 표시하도록 상기 영상 처리부를 제어하거나, 상기 가상의 골프코스 상의 상기 사용자의 동작에 의해 특정되는 영역에 대해 돋보기 영상을 표시하도록 상기 영상 처리부를 제어하도록 구성되는 것을 특징으로 하는 가상 골프 시뮬레이션 시스템.
9. 사용자의 동작을 인식하여, 디스플레이되고 있는 영상을 상기 인식된 사용자의 동작에 대응하여 제어하도록 하는 사용자 동작 인식에 기반한 영상 처리 시스템으로서,
   사용자 머리 위쪽에 설치되어 사용자의 신체의 적어도 일부를 포함하는 신체 영상을 지속적으로 취득하는 이미지센서;
   상기 지속적으로 취득되는 신체 영상으로부터 사용자의 신체 일부를 특정하고 그 특정된 신체 부위의 동작을 인식하는 동작 인식부;
   소정의 영상 정보를 처리하여 디스플레이되도록 하는 영상 처리부; 및
   상기 동작 인식부에 의해 인식된 사용자의 특정 신체 부위의 동작에 따라 미리 설정된 변화된 영상이 디스플레이되도록 상기 영상 처리부를 제어하는 제어부를 포함하며,
   상기 제어부는,
   상기 이미지 센서에 의해 지속적으로 취득된 신체 영상으로부터 사용자의 머리 영역 및 어깨 영역을 순차적으로 특정함으로써 상기 어깨 영역으로부터 연결되는 팔 영역이 존재하는지 판단하여 상기 사용자의 팔 영역이 존재하는 경우, 사용자의 팔 또는 손의 동작에 대응하여 상기 영상 처리부에 의해 디스플레이되고 있는 화면이 스크롤되는 화면 스크롤 모드를 실행하도록 구성되고,
   상기 제어부는,
   상기 화면 스크롤 모드가 실행되면, 상기 지속적으로 취득되는 신체 영상으로부터 사용자의 어깨 영역으로부터 연결되는 팔 영역 또는 상기 팔 영역의 끝부분에서 손 영역을 특정하고, 상기 특정된 팔 영역 또는 손 영역이 좌측으로 이동하는지 우측으로 이동하는지 분석하여 사용자의 팔 또는 손의 동작을 인식하도록 구성되며,
   상기 제어부는,
   상기 사용자의 지속적으로 취득되는 신체 영상으로부터 사용자의 팔 또는 손의 동작을 인식하는 과정에서, 사용자의 팔 또는 손이 좌측으로 이동하는 것으로 인식하는 경우에는 디스플레이되고 있는 영상이 좌측으로 스크롤되도록 상기 영상 처리부를 제어하며, 사용자의 팔 또는 손이 우측으로 이동하는 것으로 인식하는 경우에는 디스플레이되고 있는 영상이 우측으로 스크롤되도록 상기 영상 처리부를 제어하도록 구성되는 것을 특징으로 하는 사용자 동작 인식에 기반한 영상 처리 시스템.
10. 사용자의 동작을 인식하여, 디스플레이되고 있는 영상을 상기 인식된 사용자의 동작에 대응하여 제어하도록 하는 사용자 동작 인식에 기반한 영상 처리 시스템으로서,
    사용자 머리 위쪽에 설치되어 사용자의 신체의 적어도 일부를 포함하는 신체 영상을 지속적으로 취득하는 이미지센서;
    상기 지속적으로 취득되는 신체 영상으로부터 사용자의 신체 일부를 특정하고 그 특정된 신체 부위의 동작을 인식하는 동작 인식부;
    소정의 영상 정보를 처리하여 디스플레이되도록 하는 영상 처리부; 및
    상기 동작 인식부에 의해 인식된 사용자의 특정 신체 부위의 동작에 따라 미리 설정된 변화된 영상이 디스플레이되도록 상기 영상 처리부를 제어하는 제어부를 포함하며,
    상기 제어부는,
    상기 지속적으로 취득한 신체 영상으로부터 사용자의 팔 영역 또는 상기 팔 영역의 끝부분에서 손 영역을 특정하여 그 특정된 팔 영역 또는 손 영역의 동작을 인식하여 영상 탐색 모드를 실행하며, 상기 영상 탐색 모드가 실행됨에 따라 상기 디스플레이된 영상 상에서 임의의 지점을 지칭하기 위한 포인팅 객체가 생성되도록 하고,
    상기 제어부는,
    상기 지속적으로 취득한 신체 영상을 통해 상기 특정된 팔 영역 또는 손 영역의 픽셀들의 분포 및 각 픽셀들의 뎁스 정보를 분석하여 상기 팔 영역 또는 손 영역의 3차원 공간상에서의 위치 정보를 산출하여 그 산출된 팔 영역 또는 손 영역의 3차원 공간상에서의 위치 정보를 상기 디스플레이된 영상 상에서의 포인팅 객체의 위치 정보로 매칭시킴으로써 사용자의 동작에 대응하여 상기 포인팅 객체가 움직이도록 하며,
    상기 제어부는,
    상기 포인팅 객체가 상기 디스플레이된 영상 상의 임의의 위치에 위치한 상태에서, 상기 특정된 팔 영역 또는 손 영역의 동작을 인식함으로써 사용자가 미리 설정된 제스처를 취하는지 여부를 판단하며, 상기 포인팅 객체가 상기 디스플레이된 영상 상의 임의의 위치에 위치한 상태에서 상기 사용자가 미리 설정된 제스처를 취하는 경우, 상기 디스플레이된 영상 상에서의 상기 포인팅 객체가 가리키는 지점에 대한 미리 설정된 정보를 디스플레이하도록 상기 영상 처리부를 제어하도록 구성되는 것을 특징으로 하는 사용자 동작 인식에 기반한 영상 처리 시스템.

Images