KR101401656B1 - 동작인식 기반의 가상훈련 시스템 및 그 제어방법 - Google Patents

Abstract

본 발명은 사용자 인증을 받거나, 훈련 콘텐츠를 선택하거나, 훈련 콘텐츠를 진행하기 위해 필요한 입출력 인터페이스를 동작인식 처리방식의 모션감지센서로 대체함으로써 마우스 및 키보드가 필요하지 않은 가상훈련 시스템 제어방법을 제공하는데 그 목적이 있다.
본 발명은 가상훈련 시스템에 로그인하기 위한 인증모션정보를 모션감지센서로부터 전달받아 상기 가상훈련 시스템에 로그인하는 단계; 및 상기 가상훈련 시스템에 로그인되면 가상훈련 선택요청정보를 화면상에 출력해주고 상기 모션감지센서로부터 가상훈련 선택모션정보가 입력되면 선택된 가상훈련 콘텐츠를 실행하는 단계;를 포함하는 것을 특징으로 한다.

Description

동작인식 기반의 가상훈련 시스템 및 그 제어방법{MOTION RECONGNITION BASED VIRTUAL TRAINING SYSTEM AND METHODS}

본 발명은 시스템 제어방법에 관한 것으로, 보다 자세하게는 동작인식 기반의 가상훈련 시스템 제어방법에 관한 것이다.

가상 현실은 인공적으로 만들어낸 가상의 현실로 가상 현실 기술의 대표적인 목적은 가상의 경험을 사용자가 얻을 수 있도록 하는 것이다. 즉, 현실의 상황과 동일하거나 물리적으로 불가능한 가상의 시나리오를 사용자가 체험할 수 있도록 하는 것이다.

실제 도구를 이용한 기존의 훈련 방법은 소모성 재료의 사용, 제한된 훈련 공간, 부대 시설 관리 문제, 전압, 전류, 열방출, 스패터(불꽃)에 의한 초보자의 안전사고 위험, 및 훈련에 대한 소극적 대응 등 많은 어려움이 존재한다.

즉, 현장에서는 고도의 숙련된 작업자를 요구하고 있지만, 앞에서 열거한 문제점들은 효율적인 훈련 과정 수행에 걸림돌이 되고 있다.

이러한 문제점들을 해결하기 위해, 실제 작업 환경과 동일한 가상의 환경을 조성하고, 조성된 가상의 환경에서 상기한 문제점들로 인해 발생하는 어려움을 최소화하며 작업자가 훈련을 수행할 수 있도록 하는 동작인식 기반의 가상훈련 시스템들이 개발되었다.

동작인식 기반의 가상훈련 시스템은 사용자가 직접 콘텐츠와 상호작용할 수 있는 입출력 인터페이스 장치를 구비하여 현장의 교육 및 훈련 상황을 실시간 시뮬레이션을 기반으로 디지털 콘텐츠로 구현하여 실제 작업 환경에서 얻는 것과 동일한 경험을 사용자에게 제시하는 시스템이다.

이러한 동작인식 기반의 가상훈련 시스템은 PC를 통하여 실행되는 경우가 대부분이며, 따라서 전술한 입출력 인터페이스 장치는 마우스 및 키보드를 포함하여 이루어질 수 있다.

이때, 마우스 및 키보드는 가상훈련 시스템의 운영에 필요한 사용자 ID를 선택하고 패스워드를 입력하여 사용자 인증을 받거나, 훈련 콘텐츠를 선택하거나, 훈련 콘텐츠를 진행하기 위해 필요하게 된다.

그러나 동작인식 기반의 가상훈련 시스템은 사용자의 모션을 감지하는 모션감지센서를 통해 가상훈련을 수행하게 되는데 이러한 모션감지센서를 장착한 가상훈련 시스템에 키보드나 마우스를 이용하여 사용자 정보를 입력하다 보면 시스템 운영성이 대폭 하락하는 문제점이 있었다.

본 발명의 동작인식 기반의 가상훈련 시스템 제어방법은 전술한 문제점을 해결하기 위해 안출된 것으로서, 사용자 인증을 받거나, 훈련 콘텐츠를 선택하거나, 훈련 콘텐츠를 진행하기 위해 필요한 입출력 인터페이스를 동작인식 처리방식의 모션감지센서로 대체함으로써 마우스 및 키보드가 필요하지 않은 가상훈련 시스템 제어방법을 제공하는데 그 목적이 있다.

전술한 목적을 해결하기 위해 본 발명의 동작인식 기반의 가상훈련 제어방법은 가상훈련 시스템에 로그인하기 위한 인증모션정보를 모션감지센서로부터 전달받아 상기 가상훈련 시스템에 로그인하는 단계; 및 상기 가상훈련 시스템에 로그인되면 가상훈련 선택요청정보를 화면상에 출력해주고 상기 모션감지센서로부터 가상훈련 선택모션정보가 입력되면 선택된 가상훈련 콘텐츠를 실행하는 단계;를 특징으로 한다.

또한, 상기 인증모션정보는 화면에 출력된 복수개의 사용자 ID중 하나를 선택하는 선택모션과 패스워드에 대응하는 패턴모션의 정보로 이루어진 것을 특징으로 한다.

또한, 상기 실행되는 가상훈련은 사용자의 상하좌우 움직임으로 이루어진 가이드모션정보에 의해 이전 또는 이후의 훈련콘텐츠로 이동하는 것을 특징으로 한다.

또한, 상기 가상훈련이 종료되면 상기 가상훈련에 대한 훈련문제를 재생하는 단계;를 더 포함하는 것을 특징으로 한다.

또한, 선택된 가상훈련 콘텐츠를 실행한 이후에 상기 실행한 가상훈련 콘텐츠를 취소하는 취소단계 또는 상기 훈련문제를 재생한 이후에 상기 재생한 훈련문제를 취소하는 취소단계;를 더 포함하고, 상기 취소단계는 모션감지센서로부터 사용자의 두 손이 동시에 인식되면 실행되는 것을 특징으로 한다.

본 발명의 가상훈련 시스템은 가상훈련을 수행하기 위한 사용자의 모션을 감지하는 모션감지센서를 포함하며 상기 모션감지센서로부터 입력된 정보를 데이터로 처리하는 센서부;와 화면 및 스피커로 이루어져 가상훈련 시스템에 관한 그래픽 인터페이스 및 사운드를 출력하는 출력부;와 가상훈련 시스템에 로그인하기 위해 사용자 ID가 저장되고, 사용자에 따라 가상훈련 시스템이 수행되도록 각종 훈련 가이드, 훈련정보 및 훈련문제 등의 콘텐츠가 저장되는 저장부;와 가상훈련 시스템에 로그인하기 위한 인증모션정보를 모션감지센서로부터 전달받아 상기 가상훈련 시스템에 로그인하고, 상기 가상훈련 시스템에 로그인되면 가상훈련 선택요청정보를 상기 출력부에 출력명령을 지시하고 상기 모션감지센서로부터 가상훈련 선택모션정보가 입력되면 선택된 가상훈련에 대한 콘텐츠를 실행시키는 제어부;를 특징으로 한다.

또한, 상기 제어부는 상기 가상훈련이 종료되면 상기 가상훈련에 대한 훈련문제를 재생하는 기능을 더 포함하는 것을 특징으로 한다.

또한, 상기 저장부는 상기 실행된 가상훈련 콘텐츠를 취소하는 취소정보를 더 포함하되, 상기 취소정보는 모션감지센서로부터 사용자의 두 손을 동시에 인식하여 취득한 정보인 것을 특징으로 한다.

전술한 구성에 따르면 본 발명의 동작인식 기반의 가상훈련 시스템 제어방법은 모션감지센서로 사용자의 동작을 감지하여 운영되는 가상훈련 시스템에 별도의 입출력 인터페이스를 구비하지 않고 기 구비된 모션감지센서를 이용하여 사용자를 인증하거나 훈련 콘텐츠를 제어함으로써, 가상훈련 시스템의 운영성이 높아지는 효과가 있다.

도 1은 본 발명의 가상훈련 시스템의 구성도를 개략적으로 나타낸 개략도.
도 2는 본 발명의 일 실시예에 따른 사용자인증 방법의 흐름도.
도 3의 a는 본 발명의 일 실시예에 따라 선택모션이 모션감지센서로부터 감지되는 상태를 나타낸 도.
도 3의 b는 본 발명의 일 실시예에 따라 패턴모션이 모션감지센서로부터 감지되는 상태를 나타낸 도.
도 4는 본 발명의 일 실시예에 따른 가상훈련 실행부의 흐름도.
도 5는 본 발명의 일 실시예에 따른 훈련코스 리스트를 화면에 출력한 상태를 나타낸 도.
도 6은 본 발명의 일 실시예에 따라 사용자의 상하좌우 움직임을 모션감지센서로 감지하는 상태를 나타낸 도.
도 7은 본 발명의 일 실시예에 따라 사용자의 모션을 복수로 인식하는 상태를 나타낸 도.

이하에는 첨부한 도면을 참조하여 본 발명의 동작인식 기반의 가상훈련 시스템 제어방법 및 시스템의 바람직한 실시예에 대해 상세하게 설명한다.

도 1은 본 발명의 가상훈련 시스템의 구성도를 개략적으로 나타낸 개략도이다. 도 1을 참조하여 설명하면 본 발명의 가상훈련 시스템은 센서부(10), 출력부(20), 저장부(30) 및 제어부(40)를 포함하여 이루어진다.

센서부(10)는 사람의 모션을 감지하는 모션감지센서를 포함하여 이루어지고 출력부(20)는 화면 및 스피커로 이루어져 가상훈련 시스템에 관한 그래픽 인터페이스 및 사운드를 출력한다.

저장부(30)는 가상훈련 시스템에 로그인하기 위해 사용자 ID가 저장되는 ID저장부(33), 사용자에 따라 가상훈련 시스템이 수행되도록 각종 훈련 가이드, 훈련정보 및 훈련문제 등의 콘텐츠가 저장된 콘텐츠저장부(35) 및 콘텐츠저장부(35)를 통해 수행된 각종 훈련콘텐츠의 수행을 취소하는 취소정보가 저장된 취소정보저장부(37)를 포함하여 이루어진다.

ID저장부(33) 및 콘텐츠저장부(35)는 독립적으로 구성되어 네트워크로 연동될 수 있다.

제어부(40)는 가상훈련 시스템의 전반적인 시스템을 제어하는 역할을 한다.

전술한 구성을 참조하여, 동작인식 기반의 가상훈련 시스템 제어하기 위한 방법 중 사용자 인증 방법을 자세하게 설명한다.

도 2는 본 발명의 일 실시예에 따른 사용자인증 방법의 흐름도이다. 도 2를 참조하여 설명하면 본 발명의 가상훈련 시스템은 사용자의 동작을 감지하는 모션감지센서를 통해 사용자 ID를 선택하는 인증모션정보를 획득(s100)한다.

여기서 획득한 인증모션정보는 화면에 출력된 복수개의 사용자 ID중 하나를 선택하는 선택모션정보를 포함하며 모션감지센서를 통해 입력되는 선택모션은 PC의 마우스의 기능과 매핑되어 마우스 포인트의 이동과 클릭 및 더블클릭의 역할을 하고 이로써 사용자 ID를 선택하여 클릭할 수 있게 된다.

이때 기 저장된 사용자 ID는 도 1에 도시된 ID저장부(33)에 미리 등록된 사용자 ID 이다.

사용자의 선택모션에 의해 사용자 ID가 선택되면 가상훈련 시스템은 사용자 ID를 선택(s110)하고, 이후에 사용자 ID에 대응하는 패스워드를 입력받는 단계에 진입한다.

여기서, 패스워드는 전술한 인증모션정보이며 인증모션정보는 모션감지센서를 통해 입력되는 사용자의 패턴모션정보를 포함한다. 패턴모션은 모션감지센서가 인식하는 동작의 인식공간을 복수의 평면으로 나누어 각 영역을 지나치는 순서 예를 들어 시작, 중간 및 끝으로 구분되는 궤적의 형상으로 이루어진다.

이에 관한 자세한 설명은 후술하는 도 3에서 서술한다.

모션감지센서를 통해 입력되는 사용자의 패턴모션이 기 저장된 패턴모션과 일치(s120)할 경우 가상훈련 시스템은 패턴모션을 사용자의 ID에 대응하는 패스워드로 인식한다. 패턴모션이 패스워드로 인식되면 가상훈련 시스템의 인증을 완료(s130)하고 이로써 사용자 인증단계는 종료 된다.

도 3의 a는 본 발명의 일 실시예에 따라 사용자의 모션이 모션감지센서로부터 감지되는 상태를 나타낸 도이며 도 3의 b는 본 발명의 일 실시예에 따라 패턴모션이 모션감지센서로부터 감지되는 상태를 나타낸 도이다.

먼저, 도 3의 a에 도시된 바와 같이 모션감시센서는 사용자의 모션(본 발명에서는 사용자의 손 끝)을 읽어들이며 가상훈련 시스템은 사용자의 모션 궤적에 대한 정보를 마우스 포인트와 매핑한다. 이로써 사용자가 손을 이동하면 가상훈련 시스템은 모션감지센서로부터 사용자의 손 궤적 정보를 받아들여 마우스 포인트를 같이 이동시킬 것이다.

도 3의 b는 본 발명의 일 실시예에 따라 사용자의 패턴모션이 감지되는 상태를 나타낸 도이다. 도 3에 도시된 바와 같이 본 발명의 가상훈련 시스템은 동작을 인식하는 공간을 분할하여 형성된 복수평면(본 발명에서는 4개)에 사용자의 손 끝이 지나치는 궤적으로 형성되는 패턴이 기 저장된 패턴모션과 일치할 경우, 사용자 ID에 관한 패스워드라고 판단한다.

본 발명에서는 패턴모션을 시작, 중간 및 끝의 3단계로 나누어 분할된 복수평면을 지나치는 궤적으로 표현하였지만 이는 일 실시예에 불과하며 패턴의 복잡성과 보안성을 증대시키기 위해 더 많은 단계로 이루어진 패턴모션을 형성할 수도 있을 것이며, 이에 따라 패턴모션이 지나치게 되는 분할된 복수평면 역시 더 조밀하게 나뉘어질 수도 있을 것이다.

게다가 전술한 복수평면역시 평면이 아닌 궤적이 지나가는 스팟(SPOT)으로 표현될 수도 있을 것인데 이는 패턴모션이 지나치는 궤적을 인식할 수만 있다면 그 형태에 구애받지 않기 때문이다.

도 2의 사용자 인증이 완료(s120)되면 가상훈련 시스템은 도 1의 출력부(20)를 통해 가상훈련에 필요한 훈련코스 리스트를 출력하게 된다. 도 4는 본 발명의 일 실시예에 따른 가상훈련 실행부의 흐름도이다.

도 4를 참조하여 설명하면, 가상훈련 시스템은 모션감지센서를 통해 입력된 정보로 사용자의 인증이 완료될 경우, 가상훈련 시스템이 수행되도록 각종 훈련 가이드, 훈련정보 및 훈련문제 등의 콘텐츠 중 하나의 선택을 요청하는 선택요청정보를 화면에 출력(s200)한다.

출력된 선택요청정보 중 하나를 사용자가 사용자의 모션으로 선택(s210)하면 선택된 가상훈련을 실행(s220)된다. 이때, 가상훈련 선택요청정보는 도 1의 콘텐츠저장부(35)에 저장되어 있는 가상훈련 리스트 중 하나가 된다.

도 5는 본 발명의 일 실시예에 따른 훈련코스 리스트를 화면에 출력한 상태를 나타낸 도이다.

본 발명의 일 실시예에 따라 화면에 출력되는 코스선택 리스트는 기본코스, 전문코스 및 종합코스로 이루어진 코스선택 리스트(200)이며 사용자가 리스트를 선택하는 모션에 의해 출력된 코스 중 하나가 실행될 것이다.

물론, 이때 선택된 모션에 의해 코스 중 하나가 실행되고, 실행된 가상훈련이후에 가상훈련이 종료되면 가상훈련에 대한 훈련문제를 재생하여 사용자가 가상훈련에 관한 문제를 풀 수 있을 것이다.

도 6은 본 발명의 일 실시예에 따라 사용자의 상하좌우 움직임을 감지하는 상태를 나타낸 도이다. 도 6에 도시된 바와 같이 가상훈련 시스템은 모션감지센서로부터 사용자의 움직임(본 발명에서는 손 끝)을 감지한다.

이렇게 감지한 사용자의 움직임은 전후진 네비게이션 혹은 파라매터 증감제어에 매핑하여 이벤트를 발생시킴으로써, 실행된 훈련 콘텐츠의 재생동작을 처리하게 되고 이로써 이전 또는 이후의 훈련콘텐츠를 선택할 수 있게 된다.

한편, 가상훈련 시스템은 수행된 각종 훈련콘텐츠의 수행을 취소하는 취소정보를 모션감지센서로부터 입력받는데, 취소정보는 사용자의 모션을 복수로 인식(본 발명에서는 사용자의 양손을 동시에 인식)함으로써 발생할 수 있다.

도 7은 본 발명의 일 실시예에 따라 사용자의 모션을 복수로 인식하는 상태를 나타낸 도이다.

도 7에 도시된 바와 같이 모션감지센서는 사용자의 양손 끝(220)을 각각 인식하고 인식된 사용자의 양손 끝이 일정시간 이상 고정될 경우 이를 취소정보로 인식하고 이를 도 1의 취소정보저장부(37)에 저장된 취소정보와 비교하여 매칭될 경우 실행된 가상훈련 콘텐츠들을 취소하게 된다.

전술한 바와 같이 본 발명의 동작인식 기반의 가상훈련 시스템 제어방법을 통해 모션감지센서로 사용자의 동작을 감지하여 운영되는 가상훈련 시스템에 별도의 입출력 인터페이스를 구비하지 않고 기 구비된 모션감지센서를 이용하여 사용자를 인증하거나 훈련 콘텐츠를 제어함으로써, 가상훈련 시스템의 운영성이 높아지는 효과가 있다.

전술한 사항은 단지 본 발명의 원리를 예시한다. 설명된 실시예에 대한 다양한 수정 및 변경은 본 상세한 설명의 교시에 비추어 당업자에게 명백하게 비추어질 수 있으며 이는 본 발명의 원리를 벗어나지 않음은 물론이다.

10: 센서부 20: 출력부
30: 저장부 33: ID저장부
35: 콘텐츠저장부 37: 취소정보저장부
40: 제어부
200: 코스선택 리스트 220: 사용자의 양손 끝

Claims (8)

1. 가상훈련 시스템을 제어하는 방법에 있어서,
   가상훈련 시스템에 로그인하기 위한 인증모션정보를 제어부가 모션감지센서로부터 전달받아 상기 가상훈련 시스템에 로그인하는 단계; 및
   상기 가상훈련 시스템이 로그인되면, 출력부를 통해 가상훈련 선택요청정보를 화면상에 출력하며, 출력한 상기 가상훈련 선택요청정보에 기반하여 센싱된 가상훈련 선택모션정보가 상기 모션감지센서로부터 상기 제어부로 입력되면, 상기 제어부는 입력된 가상훈련 선택요청정보에 대응되는 가상훈련 콘텐츠를 실행하도록 가상훈련 실행부를 제어하는 단계;를 포함하는 것을 특징으로 하는 동작인식 기반의 가상훈련 시스템 제어방법.
2. 제 1항에 있어서,
   상기 인증모션정보는 화면에 출력된 복수개의 사용자 ID 중 어느 하나를 선택하는 선택모션과 선택된 ID에 대응되는 패스워드인 패턴모션으로 구성되며,
   상기 패턴모션은 2개의 평면으로 구분된 공간에서 사용자의 손끝이 상기 평면을 지나가는 궤적 및 손끝이 지나가는 평면의 순서임을 특징으로 하는 동작인식 기반의 가상훈련 시스템 제어방법.
3. 제 1항에 있어서,
   실행되는 상기 가상훈련 콘텐츠는 사용자의 상하좌우 움직임으로 이루어진 가이드모션정보에 의해 현재 실행되는 가상훈련 콘텐츠의 이전 또는 이후의 가상훈련 컨텐츠로 이동되는 것을 특징으로 하는 동작인식 기반의 가상훈련 시스템 제어방법.
4. 제 1항에 있어서,
   상기 가상훈련 콘텐츠의 실행이 종료되면, 실행된 상기 가상훈련 콘텐츠에 대한 훈련문제를 재생하는 단계;를 더 포함함을 특징으로 하는 동작인식 기반의 가상훈련 시스템 제어방법.
5. 제 1항 내지 제 4항 중 어느 한 항에 있어서,
   선택된 상기 가상훈련 콘텐츠를 실행한 이후에 실행한 상기 가상훈련 콘텐츠를 취소하는 취소단계를 더 포함하며, 상기 취소단계는 상기 모션감지센서로부터 사용자의 두 손이 동시에 인식되면 실행되는 것을 특징으로 하는 동작인식 기반의 가상훈련 시스템 제어방법.
6. 가상훈련 시스템에 있어서,
   가상훈련 콘텐츠에서 지시하는 가상훈련을 수행하기 위한 사용자의 모션을 감지하는 모션감지센서를 포함하는 센서부와;
   화면 및 스피커로 이루어지며, 가상훈련 콘텐츠에 관한 그래픽 인터페이스 및 사운드를 출력하는 출력부;와
   상기 가상훈련 시스템이 구동될 수 있도록 훈련 가이드, 훈련 정보 및 훈련문제를 포함하는 가상훈련 콘텐츠를 저장하는 저장부;와
   상기 가상훈련 시스템에 로그인하기 위한 인증모션정보를 상기 모션감지센서로부터 전달받아 상기 가상훈련 시스템을 로그인하며, 상기 가상훈련 시스템이 로그인되면 가상훈련 선택요청정보를 상기 출력부에 출력하도록 지시하며, 상기 모션감지센서로부터 출력된 가상훈련 선택요청정보에 기반한 가상훈련 선택모션정보가 입력되면 선택된 가상훈련 선택모션정보에 대응되는 가상훈련 콘텐츠를 실행하도록 제어하는 제어부;를 포함함을 특징으로 하는 동작인식 기반의 가상훈련 시스템.
7. 제 6항에 있어서, 상기 제어부는,
   상기 가상훈련 콘텐츠의 실행이 종료되면, 실행된 상기 가상훈련 콘텐츠에 대한 훈련문제를 재생하는 기능을 더 포함함을 특징으로 하는 동작인식 기반의 가상훈련 시스템.
8. 제 6항 내지 제 7항 중 어느 한 항에 있어서,
   상기 저장부는 선택된 상기 가상훈련 콘텐츠를 실행한 이후에 실행한 상기 가상훈련 콘텐츠를 취소하는 취소정보를 더 포함하되, 상기 취소정보는 상기 모션감지센서로부터 사용자의 두 손이 동시에 인식되면 실행되는 것을 특징으로 하는 동작인식 기반의 가상훈련 시스템.

Images