KR20180068348A - 스마트폰 기반 가상현실 환경에서 사용자의 자세 추론 방법 - Google Patents

Abstract

본 발명은 스마트폰 기반 가상현실 환경에서 사용자의 자세를 추론하는 방법에 관한 것으로, 더욱 상세하게는 사용자가 앉기, 서기, 눕기, 엎드리기와 같이 자세를 변경하는 것을 자이로 센서와 카메라 감지를 이용해 파악하는 방법에 관한 것이다. 이러한 기술적 과제를 이루기 위해 본 발명의 제1 실시 예에 따른 사용자의 자세를 추론하기 위한 방법은, 스마트폰의 제1 카메라인 외부 카메라로부터 영상을 수신하여 데이터를 획득하는 영상 수신 단계; 상기 영상 정보로부터 사용자의 신체 특정 부위에 부착된 마커를 인식하는 마커 인식 단계; 상기 단계에서 상기 마커 인식될 경우에 헤드 마운티드 디스플레이(HMD)의 방향 및 기울기 각도를 수신하여 측정하는 기울기 측정 단계; 상기 마커 인식 단계에서의 마커 검출 여부와 헤드 마운티드 디스플레이(HMD)의 방향 및 각도 등을 종합적으로 분석하여 사용자의 자세 및 자세 변경을 추론하는 영상 패턴 인식부를 포함한다.
본 발명의 제2 실시 예에 따른 방법은, 스마트폰에 내장된 자이로 센서로부터 가속도 값과 회전 가속도 값의 패턴을 분석하여 사용자의 자세 변경을 추론하는 동작 패턴 인식부를 포함한다.
본 발명을 통해 스마트폰을 이용한 가상현실 환경에서도 내부 계산만으로 사용자의 자세를 추론할 수 있도록 하여 사용자의 자세와 밀접한 가상현실 컨텐츠를 개발할 경우 사용자가 현재 취한 자세에 해당하는 컨텐츠만 선별하여 제공하도록 할 수 있다.

Description

스마트폰 기반 가상현실 환경에서 사용자의 자세 추론 방법{A method of inferring user's attitude in a smartphone-based virtual reality environment}

본 발명은 스마트폰 기반 가상현실 환경에서 사용자의 자세를 추론하는 방법에 관한 것으로, 더욱 상세하게는 사용자가 앉기, 서기, 눕기, 엎드리기와 같이 자세를 변경하는 것을 자이로 센서와 카메라 감지를 이용해 파악하는 방법에 관한 것이다.

최근 국내외 유수의 기업들이 가상현실(Virtual Realty : VR)을 기반으로 하는 게임에 관심이 있다. 글로벌 가상현실 시장 규모는 매해 급속한 성장세를 보이고 있으며 이러한 상승세는 2030년까지 지속적으로 상승할 것으로 전망되고 있다.

가상현실은 컴퓨터 등을 사용한 인공적인 기술로 만들어낸 실제와 유사하지만 실제가 아닌 어떤 특정한 환경이나 상황 혹은 그 기술 자체를 의미한다. 가상현실은 머리에 착용하는 디스플레이 기기가 필요한데 이를 헤드 마운티드 디스플레이(Head Mounted Display, HMD)라고 한다. 헤드 마운트 디스플레이(HMD)는 가상현실을 위해 3D 디스플레이 기술과 접목한다. 플레이스테이션VR과 같은 전용 디스플레이도 있는 반면, 대중들에게 이미 널리 보급된 스마트폰 디스플레이를 이용한 GoogleVR도 서비스하고 있다.

가상현실은 사용자가 헤드 마운티드 디스플레이(HMD)를 머리에 착용하고 고개를 상하 좌우 등으로 회전하여 가상공간 안의 배경이나 사물을 보는 체험을 하는 것이 기본이 된다. 플레이스테이션VR과 같은 가상현실 환경에서는 사용자의 자세를 파악하기 위해 사용자의 특정 신체 부위에 존재하는 센서를 사용자로부터 일정 거리 떨어진 별도의 스테레오 카메라가 센서의 위치를 분석하여 추론 가능하다.

반면, 스마트폰을 이용한 가상현실 환경에서는 별도의 센서나 카메라가 존재하지 않으며 스마트폰이 가진 입력 정보만으로는 사용자의 자세를 추론할 수 있는 뚜렷한 방법은 없는 실정이다.

본 발명이 이루고자 하는 기술적 과제는 상기와 같이 제한적 정보만을 가진 스마트폰을 이용한 가상현실 환경에서 사용자의 자세를 추론하기 위해 안출된 것으로서, 스마트폰 자체적으로 획득 가능한 정보만을 이용해 사용자가 취한 자세나 자세의 변경에 대한 추론을 가능케 하는 것을 목적으로 한다.

이러한 기술적 과제를 이루기 위해 본 발명의 제1 실시 예에 따른 사용자의 자세를 추론하기 위한 방법은, 스마트폰의 제1 카메라인 외부 카메라로부터 영상을 수신하여 데이터를 획득하는 영상 수신 단계; 상기 영상 정보로부터 사용자의 신체 특정 부위에 부착된 마커를 인식하는 마커 인식 단계; 상기 단계에서 상기 마커 인식될 경우에 헤드 마운티드 디스플레이(HMD)의 방향 및 기울기 각도를 수신하여 측정하는 기울기 측정 단계; 상기 마커 인식 단계에서의 마커 검출 여부와 헤드 마운티드 디스플레이(HMD)의 방향 및 각도 등을 종합적으로 분석하여 사용자의 자세 및 자세 변경을 추론하는 영상 패턴 인식부를 포함한다.

본 발명의 제2 실시 예에 따른 방법은, 스마트폰에 내장된 자이로 센서로부터 가속도 값과 회전 가속도 값의 패턴을 분석하여 사용자의 자세 변경을 추론하는 동작 패턴 인식부를 포함한다.

본 발명에 따르면, 본 발명은 스마트폰을 이용한 가상현실 환경에서도 사용자의 자세를 추론할 수 있도록 하여 사용자의 자세와 밀접한 가상현실 컨텐츠를 개발할 경우 사용자가 현재 취한 자세에 해당하는 컨텐츠만 선별하여 제공하도록 할 수 있다.

도 1은 본 발명의 제1 실시 예에 따른 사용자의 자세 및 자세 변경을 추론하는 영상 패턴 인식부의 계산 과정을 나타낸 순서도다.
도 2는 본 발명의 제2 실시 예에 따른 스마트폰에 내장된 자이로 센서로부터 가속도 값과 회전 가속도 값의 패턴을 분석하여 사용자의 자세 변경을 추론하는 동작 패턴 인식부에서 인지하도록 설계된 유저(user)의 자세 상태 머신이다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시 예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

먼저, 도 1을 통해 본 발명의 제1 실시 예에 따른 스마트폰 기반 가상현실 환경에서 사용자의 자세 추론 방법을 설명한다.

도 1은 본 발명의 제1 실시 예에 따른 사용자의 자세 및 자세 변경을 추론하는 영상 패턴 인식부의 계산 과정을 나타낸 순서도다.

도 1과 같이 본 발명의 제1 실시 예는 우선 스마트폰의 외부 카메라로부터 영상 데이터를 수신하는 단계(S110)로부터 시작한다. 이때, 여기서 말하는 외부 카메라란, 스마트폰이 가진 통상 2개의 카메라 중에서 액정 디스플레이의 반대편에 있는 카메라를 말한다. 통상 외부 카메라로 입력되는 영상은 Full HD와 같이 해상도가 크므로 이 영상은 절반 또는 1/4로 축소 샘플링 하여 계산함이 보통이다.

상기 영상 데이터의 수신이 완료되면, 수신한 영상 데이터에서 신체 특정 부위에 부착된 마커를 인식하는 단계(S120)로 이어진다. 이 단계에서 현재 수신한 영상에서 미리 해석하도록 정의된 마커가 인식이 되는지에 대한 판단이 이루어진다. 마커마다 다른 인식 값을 가지도록 설계하여 상기 마커가 인식된 경우에 그 마커가 신체의 어느 부분에 존재하는 마커 인지에 대한 정보를 얻을 수 있다. 마커를 인식하는 영상 처리 부분에 대해서는 다양한 방법이 존재하므로 이 명세서에서는 다루지 않는다.

자이로 센서 값에 접근하여 현 시점에서의 스마트폰의 기울기, 즉, 헤드 마운티드 디스플레이(HMD)의 방향 및 기울기 정보를 얻어온다.(S130)

상기 마커가 인식된 경우에 한해 자세의 상태 및 자세의 변경 여부를 추론(S140)이 이루어진다. 이를 위해 헤드 마운티드 디스플레이(HMD)의 방향 및 기울기 정보와 상기 신체의 특정 부분이라고 가정할 수 있는 마커의 인식 정보를 종합하여 사용자의 자세를 추론할 수 있다.

본 발명의 실시 제1 실시 예에 따르면 허벅지에 부착된 특정 마커가 고개를 45도 숙인 상황에서 인식되었다고 가정할 경우 상체는 뒤로 45도 젖히고 앉아 있는 자세라는 결론을 도출할 수 있다.

본 발명의 제2 실시 예를 설명하기에 앞서 설명하자면, 도 2는 본 발명의 제2 실시 예에 따른 사용자의 자세 변경을 추론하는 동작 패턴 인식부에서 인지하도록 설계된 유저(user)의 자세를 분류한 상태 머신이다. 이 상태 머신은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.

본 발명의 제2 실시 예에 따른 방법은 자세 변경 추론 방법은 스마트폰에 내장된 자이로 센서 값으로부터 패턴을 분석하여 사용자의 자세 변경을 추론하는 동작 패턴 인식 방법이고 상세한 내용은 다음과 같다.

우선 유저의 상태를 상기 상태 머신의 상태 중 하나로 가정하여 시작한다. 현 상태에서 다른 상태로 이어지는 전환이 있는 경우와 해당하는 조건에 한해 자세 변경이 이루어 질 수 있다.

동작 패턴을 인식하기 위해서는 자이로 센서 값을 일련의 버퍼에 기록한다. 상기 버퍼는 짧은 시간 동안 헤드 마운티드 디스플레이(HMD)가 어떤 움직임을 가졌는지 기록하기 위해 사용된다. 상기 버퍼에 기록되는 값을 분석하여 사용자의 고개의 특정 축에 해당하는 회전 가속의 발생 여부와 특정 방향에 해당하는 가속의 발생을 감지할 수 있다. 즉, 사용자의 머리가 어떻게 회전했는지 어떻게 이동했는지 패턴을 분석할 수 있다.

본 발명의 제2 실시 예의 또 다른 일 측에 따르면, 상기 방법의 정확도를 높이기 위해 미리 출력해놓은 특정 동작 패턴의 버퍼 기록들과 현재 발생하여 기록된 버퍼의 유사도를 분석하는 방법도 고려할 수 있다.

본 발명에서 예시로 구현된 앉아 있는 상태에서 서있는 상태로 가는 동작 패턴을 예를 들어 설명하면 다음과 같다. 현재 유저(user)의 동작 추정 상태는 앉아 있는 상태이며 버퍼의 기록을 분석한 결과가 회전 가속이 x축 +방향으로 감지되며 y축에 대한 가속이 +방향으로 감지된 경우 일어선 상태로 전환되었다고 처리할 수 있다.

Claims (2)

1. 스마트폰을 이용한 가상현실 환경에서 사용자의 자세를 추론하는 방법에 있어, 본 발명의 제1 실시 예에 따른, 스마트폰의 제1 카메라인 외부 카메라로부터 영상을 수신하여 데이터를 획득하는 영상 수신 단계; 상기 영상 정보로부터 사용자의 신체 특정 부위에 부착된 마커를 인식하는 마커 인식 단계; 상기 단계에서 상기 마커 인식될 경우에 헤드 마운티드 디스플레(HMD)이의 방향 및 기울기 각도를 수신하여 측정하는 기울기 측정 단계; 상기 마커 인식 단계에서의 마커 검출 여부와 헤드 마운티드 디스플레이의 방향 및 각도 등을 종합적으로 분석하여 사용자의 자세 및 자세 변경을 추론하는 방법.
2. 제2 실시 예에 따른, 스마트폰에 내장된 자이로 센서로부터 가속도 값과 회전 가속도 값의 패턴을 분석하여 사용자의 자세 변경을 추론하는 동작 패턴 인식 방법.

Images