KR20210072350A - 전기 안구도 측정을 통한 안구 운동 상태 기반의 렌더링 방법 - Google Patents

Abstract

전기 안구도(electrooculography, EOG) 측정을 통한 사용자의 안구 운동 상태를 기초로 이미지를 렌더링하는 방법이 개시된다. 본 개시의 방법에 따르면, 안구 운동 상태를 기초로 이미지에 포비애이션(foveation)을 적용하는 정도를 결정할 수 있다.

Description

전기 안구도 측정을 통한 안구 운동 상태 기반의 렌더링 방법 {RENDERING METHOD BASED ON EYE MOVEMENT STATE FROM ELECTROOCULOGRAPHY MEASUREMENT}

가상 현실(virtual reality)에서의 사용자 경험 향상을 위한 렌더링 기법에 관한 기술이다.

VR(virtual reality, 가상 현실)은 감각과 인식을 통해 경험을 시뮬레이션하는 컴퓨터 기술을 말한다. 소프트웨어를 사용하여 이미지, 사운드 및 기타 감각을 렌더링하여 현실에서는 불가능한 경험을 가상 현실을 통해 체험할 수 있다. VR을 체험하기 위해서는 HMD (Head Mounted Display)를 착용하여 사용자의 시야를 완전하게 대체해야 한다.

도 1은 시선 트래킹을 통해 가상 현실과 새로운 방식으로 상호 작용하는 예시를 나타낸 도면이다.

가상 현실 내에서의 상호 작용은 VR 시스템이 제공하는 '몰입'의 수준을 정의하며 다양한 양상으로 구현될 수 있다. 대표적인 상호 작용 방식 중 한가지로 시선 트래킹(eye tracking)을 고려해볼 수 있다. 인간이 주변의 시각적 정보를 수집하는 방식은 머리를 회전시키는 것뿐만 아니라 안구를 움직이는 방식을 통해서도 이루어지기 때문에 이를 이용한 상호 작용은 매우 현실적인 기법이다. 사용자의 머리 움직임, 손 움직임 등에 기반한 모든 입력 정보는 가능한 신속하게 처리되어야 하며 상기 입력 정보에 대응하는 이미지는 인지하기 힘들 정도로 짧은 시간 (예를 들어, 모션 투 포톤 지연(Motion-to-Photon Latency, 이하 MTP)) 내에서 생성되어야 한다.

MTP는 VR 시스템의 주요 성능 지표 중 하나이며, 이는 VR 사용자의 시선의 방향에 대한 변경이 사용자의 전정계(vestibular system)에 의해 감지된 방향의 변화와 일치해야 한다는 기본적 요구 사항에서 비롯되었다.

각 또는 회전 전정 안구 반사(vestibulo-ocular reflex)의 작용 시간 지연은 7 내지 15 밀리초 범위인 것으로 알려져 있으며, 해당 수치는 VR 시스템의 목표 성능 수치로써 간주될 수 있다. VR 비디오의 프레임 속도(또는 fps)는 일반적으로 초당 60 프레임이지만 최신 시스템에서는 초당 최대 90 프레임 (프레임 당 약 11ms)을 렌더링 할 수 있다. 이것은 전술한 MTP와 거의 일치한다. 그러나 핸드 컨트롤러 및 IR 카메라 기반 시선 트래킹과 같은 다른 주변 장치가 추가되는 경우 처리해야 하는 정보의 양이 증가한다. 카메라를 사용하여 안구의 움직임을 추적하는 경우 프로세서가 높은 프레임 속도로 고해상도의 눈 이미지를 분석해야 한다. 따라서 처리 지연이 증가하고 전체 VR 시스템의 MTP가 증가 할 수 있다. 따라서, VR 시스템에서의 정보의 처리 과정에서 MTP를 감소시키기 위해서는 효율적인 시선 트래킹 방법이 필요하다.

MTP가 증가할 수 있는 또 다른 이유로써 고해상도 VR 이미지를 꼽을 수 있다. VR 응용 프로그램에서 VR 사용자의 시선은 VR 디스플레이에 매우 가깝기 때문에 사용자에게 몰입감을 제공하기 위해 VR 이미지의 해상도가 매우 높아야 한다. 증가된 프레임 속도 요구 사항과 함께, 높은 해상도 요구 사항은 VR 컨텐츠 서버에 높은 계산 오버헤드(overhead)를 발생시킬 수 있다. 사용자가 주시하고 있는 영역이 더 높은 해상도로 렌더링 되는 포비티드(foveated) 렌더링 기법은 렌더링 오버헤드를 어느 정도 줄일 수 있다. 따라서 인간의 인지적 특성을 고려하여 VR 컨텐츠 렌더링 오버헤드를 줄이는 추가 방법이 필요하다.

도 2는 IR 카메라를 사용하여 동공의 위치를 감지하는 예시를 나타낸 도면이다.

대부분의 시선 트래킹 시스템은 눈을 촬영하는 적외선(IR) 카메라를 사용한다. 적외선이 눈을 향해 조사되며 적외선에 민감한 카메라를 통해 반사된 적외선을 취합하여 이를 분석함으로써 안구의 움직임을 분석할 수 있다. 인간의 눈은 적외선 파장을 감지할 수 없기 때문에 적외선을 이용한 시선 트래킹 시스템을 활용하더라도 사용자의 경험이 방해 받지 않다. 눈에서 동공을 제외한 부분은 적외선을 반사하지만 동공 영역은 적외선을 반사하지 않다. 따라서, 적외선 카메라는 동공 영역을 어두운 영역으로 감지할 수 있으며, 이러한 감지 결과가 반영된 적외선 이미지에 기초하여 동공의 위치를 판별할 수 있다. 결과적으로 판별된 동공의 위치에 기초하여 시선의 방향이 추정될 수 있다. 두 눈의 시선 트래킹이 동시에 진행되는 경우, 시선의 방향을 조합함으로써 3차원 공간에서의 사용자의 시고정 지점을 추정할 수도 있다.

전기 안구도(electrooculography, 이하 EOG)는 안구의 앞(각막에 의해 형성된 양극)과 뒤쪽(망막에 의해 형성된 음극) 사이의 전위차를 측정하는 방법으로 이에 기반하여 시선의 방향과 안구 운동 유형을 식별할 수 있다. 기본적으로 EOG와 EMG(electromyogram, 근전도) 사이에는 큰 차이가 없다. EMG와 EOG는 모두 동일한 전극으로 측정될 수 있다. EMG는 안면 근육 활동에 의해 생성되는 전기 신호이며, EOG는 안구 운동에 의해 생성되는 전기 신호이다. 측정된 전위를 최대화하려면 전극을 눈 가까이에 배치해야 한다. 눈이 움직이는 동안 극이 전극에 가까워 지거나 전극에서 멀어짐에 따라 전위 변화가 감지된다. EOG는 일반적으로 0Hz에서 30Hz 사이의 필수 주파수를 포함한다. 각 눈의 반대편에 위치한 두 쌍의 피부 전극과 이마의 추가 기준 전극을 사용하여 두 신호 성분 - 수평 성분 및 수직 성분을 식별할 수 있다.

VR 렌더링 프로세스는 매우 큰 컴퓨팅 오버헤드가 필요하다. 이 VR 렌더링 문제는 포비티드 렌더링 및 적응적 해상도 렌더링(adaptive resolution rendering)을 포함한 여러 가지 방식으로 해결할 수 있다.

그러나 현재의 고정된 포비티드 렌더링은 사용자의 시선을 고려하지 않고 시야 중심 영역에 대한 디테일 제공에만 초점을 맞추기 때문에 현실적이지 않은 이미지가 생성될 수 있다. 시선 트래킹은 사용자의 초점을 추적하는데 사용될 수 있기 때문에 고급 포비티드 렌더링에서 활용 가능하다.

현재 시판되는 VR 장치는 적외선 카메라를 사용하는 시선 트래킹 기술을 사용하며. 적외선 조명과 적외선 카메라를 추가하여 눈의 움직임을 포착한다. 일반적인 상용 VR 장치는 적외선 카메라를 사용하지 않으며, 적외선 카메라가 적용되는 경우 장치의 단가가 크게 높아지는 문제가 있다.

VR 렌더링 문제를 해결하기 위한 또 다른 방법은 안구 운동 상태를 이용하는 적응형 렌더링 방법이다. 기존의 안구 추적 방법은 단순히 시선이 고정된 지점을 추적하고 해당 지점에 대하여 높은 해상도를 제공하는 포비티드 렌더링을 적용하며, 전술한 도 3과 같이 안구 운동 상태를 고려하지 않다. 포비티드 렌더링 기법은 사용자의 현재 동작 또는 움직임도 함께 고려해야 한다. 예를 들어, 사용자가 주변을 둘러 보거나(단속 운동 상태) 무언가에 집중할 때(고정 상태) 각 움직임에 따른 렌더링 결과물 차이가 필요하다. 따라서 경제적인(저렴한) 시선 트래킹 방법을 사용하여 포비티드 렌더링 방법을 개선하고, 안구 운동 상태를 참조하여 사용자가 감지 못할 정도로 VR 이미지가 변화되는 한도 내에서 VR 렌더링 오버헤드를 최소화할 필요가 있다.

VR HMD에서 측정된 EOG 신호를 사용하여 사용자의 시고정 지점(fixation point, 또는 시선/초점의 방향)과 현재 안구 운동 상태를 추정한다. 사용자의 시고정 지점은 비침습적 방식의 저렴한 센싱 장비를 통해 취득할 수 있다. 단속 운동, 고정, 깜박임 등 취득된 안구 운동 상태에 대한 정보는 포비에이션(foveation, 포비팅(시고정 지점에는 고해상도, 그외 지점에는 저해상도를 적용하는 기법)을 이미지에 적용하는 것)을 어느 정도로 적용해야 할지 결정하는데 활용될 수 있다. 최대 해상도는 안구가 움직이지 않고 단일 지점에 초점을 맞출 때 사용될 수 있다. 안구 운동 상태 및 방향에 기초한 포비티드 랜더링은 현저한 화질 저하 없이 종래의 포비티드 렌더링 방법에 비해 더 높은 렌더링 효율을 달성 할 수 있다.

본 발명의 실시 예에 따른 렌더링 방법은 개선된 포비티드 렌더링 및 안구 운동 유형에 따른 적응형 VR 렌더링 기법을 활용하여 VR 렌더링시 연산량/오버헤드를 줄일 수 있다. 본 발명의 실시 예에 따른 렌더링 방법은 적외선 조명 및 적외선 카메라를 사용하는 VR 장치 대비 저렴한 전극을 사용하여 사용자의 시고점 지점(또는 시선/초점의 방향)을 추정한다. 기법은 적외선 광을 지속적으로 방출할 필요가 없으므로 소모 전력을 절약할 수 있다. 본 발명의 실시 예에 따른 렌더링 방법은 안구 운동 상태를 이용하여 이미지를 압축/인코딩 함으로써 종래의 방법보다 높은 압축률을 갖다.

도 1은 시선 트래킹을 통해 가상 현실과 새로운 방식으로 상호 작용하는 예시를 나타낸 도면이다.
도 2는 IR 카메라를 사용하여 동공의 위치를 감지하는 예시를 나타낸 도면이다.
도 3은 EOG 특성을 사용한 시선 방향 추정을 나타낸 도면이다.
도 4는 안구 운동 상태 별 EOG 신호를 나타낸 도면이다.
도 5는 포비티드(foveated) 렌더링에 따른 이미지를 나타낸 도면이다.
도 6은 본 발명의 실시 예에 따른 렌더링 방법과 관련된 전체 아키텍쳐를 나타낸 도면이다.
도 7은 미세 근육 움직임 감지를 위한 EOG 전극 배치의 예시를 나타낸 도면이다.
도 8은 안구 운동 상태 분류 및 관련 렌더링 방법을 나타낸 도면이다.
도 9는 EOG와 눈 초점 각도 간 매핑을 나타낸 도면이다.
도 10은 EOG와 눈 초점 각도 간 커브 피팅을 나타낸 도면이다.
도 11은 안구 운동 상태 분류 및 각 안구 운동 상태 분류와 관련 렌더링 방법을 나타낸 도면이다.
도 12는 고정 상태에서의 EOG 신호를 나타낸 도면이다.
도 13은 고정 상태에 대한 렌더링 방법의 예시를 나타낸 도면이다.
도 14는 단속 운동 상태에 대응하는 EOG 신호를 나타낸 도면이다.
도 15는 단속 운동 상태에 대한 렌더링 방법의 예시를 나타낸 도면이다.
도 16은 깜박임 상태에 대응하는 EOG 신호를 나타낸 도면이다.
도 17은 깜박임 상태에 대한 렌더링 방법의 예시를 나타낸 도면이다.
도 18은 본 발명의 실시 예에 따른 렌더링 방법의 또 다른 양상을 나타낸 도면이다.

도 3은 EOG 특성을 사용한 시선 방향 추정을 나타낸 도면이다. 도 3에서 알파벳 R은 시선이 우측을 향하고 있음을 의미하며 알파벳 L은 시선이 좌측을 향하고 있음을 의미하며 알파벳 U는 시선이 위를 향하고 있음을 의미하며 알파벳 D는 시선이 아래를 향하고 있음을 의미하며, 각 알파벳이 대문자인 경우는 해당 시선의 방향과 관련된 안구의 움직임이 큼을 의미하며 소문자인 경우는 해당 시선의 방향과 관련된 안구의 움직임이 작음을 의미한다.

전위의 변화는 움직임의 방향에 따라 다르게 나타난다. 이러한 변화를 분석함으로써 눈의 움직임을 추적할 수 있다. 수평 EOG(EOGh)의 경우, 사용자가 시선을 왼쪽으로 움직일 때 전위 차이는 음의 추세를 갖다. 반대로, 사용자가 시선을 오른쪽으로 움직일 때 전위 차이는 양의 추세를 갖다. 전위 차이는 안구 운동을 얼마나 크게 하는지에 직접적으로 관련된다. 수직 EOG에서도 유사한 양상이 발생된다. 예를 들어, 수직 EOG(EOGv)가 큰 음의 전위차를 갖는 경우, 이는 사용자가 아래를 바라보고 있음을 나타낸다.

도 4는 안구 운동 상태 별 EOG 신호를 나타낸 도면이다. 도 4에서 S는 단속 운동 상태, F는 고정(또는 시고정) 상태, B는 깜박임 상태를 의미한다. EOG를 통해서 다양한 안구의 움직임을 감지할 수 있는데, 여기에서는 단속 운동 상태, 고정 상태, 깜박임 상태 및 VOR(vestibulo-ocular reflex, 전정안반사)에 대해서만 다루도록 한다.

우선, 단속 운동 상태에서 안구는 끊임없이 움직이며, 단속 운동 상태는 사람의 감정/정신의 상태와 관련을 가진다. 단속 운동 상태에서는 망막의 극히 일부분인 중심와(fovea)를 통해서 시각적 인지가 가능하다. 수평 및 수직 EOG의 신호 패턴과 강도에 따라 강하거나 약한 단속 운동, 양의 방향 또는 음의 방향의 단속 운동 및 이들의 모든 조합에 대해 추정할 수 있다.

고정 상태는 시선이 특정 방향을 지속적으로 응시하는 눈의 정적 상태이다. 인간의 안구의 운동 상태는 통상적으로 단속 운동 상태와 고정 상태 사이를 오고 간다. 눈이 똑바로 고정되면, 눈 주위에 놓인 전극에 의해 일정한 전위가 측정된다.

한편, 각막의 정면 부분은 얇은 액체 필름으로 코팅되어있다. 이를 각막 표면에 퍼뜨리려면 정기적으로 눈을 깜박거려야 한다. 환경적 요인(예를 들어 상대 습도, 온도 및 밝기), 신체 활동, 인지 작업량, 피로가 평균 깜박임 빈도 수에 영향을 준다. 눈이 깜박이면 수직 EOG 전극에서만 날카로운 음의 신호 스파이크가 측정된다.

VOR은 머리를 움직이는 동안 고정된 객체로 시선을 유지시키기 위한 매우 빠른 안구의 움직임이다. VOR은 머리 움직임의 반대 방향으로 안구를 움직여 이러한 움직임을 보상한다. VOR은 EOG만 사용하는 경우 단속 운동과 구별하기가 어렵다. 따라서 VOR은 시선 방향(EOG 사용)과 헤드 방향(VR HMD의 IMU 센서 사용)을 비교하여 감지될 수 있다.

도 5는 포비티드 렌더링에 따른 이미지를 나타낸 도면이다.

인간의 눈은 중심와(fovea)라는 망막 중심의 작은 영역에서만 시야의 중요한 세부 사항을 감지한다. 포비티드 렌더링 방법은 사용자가 초점을 맞추고 있는 중심와 영역을 더 자세하게 렌더링하고 그 외 영역은 보다 낮은 세밀함으로 렌더링을 수행한다. 이 방식은 렌더링 작업량을 대폭 줄이고 가상 현실 이미지에 보다 사실적인 효과를 추가할 수 있다.

도 6은 본 발명의 실시 예에 따른 렌더링 방법과 관련된 전체 아키텍쳐를 나타낸 도면이다.

본 발명의 실시 예에 따른 렌더링 방법은 VR 사용자의 안구 운동 상태에 따라 이미지 렌더링 옵션을 동적으로 조정하여 VR 렌더링 오버헤드를 최소화 할 수 있다. VR HMD는 VR 서버에 연결되며 IMU (Inertianl Measurement Unit) 및 EOG에서 측정된 센서 데이터(IMU, EOG)를 VR 서버(VR Server)로 전송할 수 있다. 이후 VR 서버는 가상 현실에서 사용자의 현재 시선 방향에 따라 VR 컨텐츠 이미지를 렌더링한다. 앞에서 언급했듯이 VR 서버의 렌더링 오버헤드를 최소화하는 것이 중요하다. 본 발명의 실시 예에 따른 렌더링 방법은 VR 사용자의 현재 눈 상태를 신중하게 모니터링하여 오버헤드를 줄이고 상태에 따라 렌더링 옵션을 최적화한다. 본 발명의 실시 예에 따른 렌더링 방법은 사용자의 시선 방향 및 현재 안구 운동 상태에 대한 정보에 따라 EOG를 활용하고 적절한 포비티드 렌더링 방법을 포함한다.

먼저, 가상 현실에서 대략적인 FOV (Field of View)를 계산하기 위해 VR 사용자의 머리 방향 (IMU 데이터 기반)(x, y, z)이 VR 렌더링 알고리즘에 입력될 수 있다.

그리고, 더욱 세밀한 FOV 및 포비티드 렌더링 영역은 EOG 센서 데이터로부터 산출된 시선 방향(gaze direction)에 기초하여 계산될 수 있다. 시선 방향(up, down, left, right)은 수평 및 수직 EOG를 사용하여 감지할 수 있다. 각 EOG의 크기는 안구의 움직임 방향에 따라 변화될 수 있다. 예를 들어, 안구를 왼쪽으로 움직이면 수평 EOG의 크기가 상승(또는 하강)하고, 반대로 안구를 오른쪽 방향으로 움직이면 수평 EOG가 하강(또는 상승)한다. 두 EOG의 크기 정보를 사용하여 2D 평면에서 시선의 방향/시고정 지점을 추정할 수 있다. 포비티드 렌더링은 이미지의 비교적 넓은 영역에 대하여 적용되므로 추정 위치(시고정 지점)가 매우 정확하지 않아도 렌더링에 활용될 수 있다.

그리고, 포비티드 렌더링의 적용과 이미지의 해상도는 EOG 신호에 기초한 안구 운동 상태의 유형(eye movement type)에 기반하여 결정될 수 있다. 본 발명을 실시하는 방식에 따라서, 안구 운동 상태가 고정 상태(F)이거나 VOR인 경우에 한하여 최고 해상도의 렌더링 설정이 적용할 수 있고, 안구가 계속 움직이는 동안(S)에는 중간 정도 해상도의 렌더링 설정이 적용될 수 있다. 그리고 깜박임 상태(B)의 경우 최저 해상도의 렌더링 설정을 적용함으로써 렌더링 오버헤드를 최소화할 수 있다.

도 7은 미세 근육 움직임 감지를 위한 EOG 전극 배치의 예시를 나타낸 도면이다. 도 7에서, H는 수평 EOG 전극, V는 수직 EOG 전극, R은 기준 전극을 나타낸다.

EOG 신호는 눈 주위 영역에 전극을 배치하여 수집할 수 있다. VR HMD는 비교적 넓은 표면적을 가지고 있으며 눈 주위의 피부와 직접 접촉한다. 따라서 EOG 전극은 눈 주위에 용이하게 배치될 수 있다.

도 8은 안구 운동 상태 분류 및 관련 렌더링 방법을 나타낸 도면이다. 특히 도 8은 EOG 신호의 전처리 과정(baseline drift & noise removal, wavelet transformation 등)을 포함하고 있다.

EOG 신호에 대한 전처리의 목표는 사용자의 시고정 지점(또는 시선의 방향(gaze direction))을 분류하는데 사용할 수 있는 깨끗한 수평 및 수직 EOG 신호를 얻는 것이다. 이 과정에서 바이어스(drift) 값을 제거하고 노이즈(noise)를 제거하기 위한 신호 처리 방법이 적용될 수 있다.

베이스라인 드리프트(baseline drift)는 EOG 신호에 중첩된 저주파 신호로써, 대부분 실제 안구 운동과는 관련이 없다. 모든 안구 운동은 베이스라인 드리프트의 영향을 받을 수 있다(각 안구 운동과 관련된 EOG신호에 베이스라인 드리프트가 포함될 수 있음). 그리고 베이스라인 드리프트는 수평 및 수직 EOG간에 서로 다르게 나타날 수 있다.

베이스라인 드리프트의 제거는 웨이블릿 변환(wavelet transform)에 기반한 방식을 통해 수행될 수 있다. 본 발명의 실시 예에 따르면, 각 EOG 신호(수평, 수직)에 대하여 레벨 9에서 근사화된 멀티레벨 1-D 웨이블릿 디콤포지션(decomposition)을 적용할 수 있다. 웨이블릿 변환의 결과로써 산출되는 계수(coefficient)에 기반하여 베이스라인 드리프트를 추정할 수 있으며, 추정된 베이스라인 드리프트를 원래 EOG 신호로부터 차감함으로써 베이스라인 드리프트(또는 바이어스된 값)을 제거하고 그 결과로써 보정된 신호가 생성될 수 있다.

EOG 신호는 다양한 요인들에서 발생될 수 있는 노이즈(noise)에 의해 영향을 받을 수 있다. 예를 들어, 전원선, 측정 회로 또는 전극 및 전선에서 노이즈가 발생될 수 있다. 본 발명의 실시 예에 다르면, 노이즈 제거를 위해 미디언 필터링(median filtering)이 활용될 수 있는데, 미디언 필터링을 적용하는 경우 EOG 신호의 크기(크기), 단속 운동시의 급격한 신호의 변화가 유지되고 신호의 변화를 유발하지 않기 때문이다.

이후, EOG 신호 전처리 결과로써 획득된 노이즈 제거된 수평 및 수직 EOG 신호를 사용하여 사용자가 현재 응시하고 있는 지점(시고정 지점 또는 시선의 방향) 및 안구 운동 상태를 추정할 수 있다. 여기서, EOG 신호에 대하여 연속 웨이블릿 변환(Continuous Wavelet Transform)이 적용될 수 있다.

웨이블릿 변환된 EOG 신호에서 기 설정된 어플리케이션 특정 임계 값이 웨이블릿 계수에 적용되어 벡터(또는 웨이블릿 계수로 구성된 숫자열)가 산출될 수 있다. 상기 벡터가 나타내는 값은 다음과 같다. 우선 모든 계수가 음의 임계 값보다 작으면 1, 모든 계수가 양의 임계 값보다 큰 경우 -1, 모든 계수가 양의 임계 값과 음의 임계 값 사이에 있는 경우 0일 수 있다. 이 단계에서, 수평 및 수직 EOG는 안구 운동을 두 가지 상태, 즉 단속 운동 상태 (0이 아닌 벡터 값) 및 고정 상태(벡터 값이 0)로 분류하는 데 이용될 수 있다.

감지된 각 단속 운동 상태에 대해 EOG 신호의 크기와 방향에 대한 분석이 수행될 수 잇다. 단속 운동시 크기는 단속 운동 이전과 이후의 EOG 신호 크기의 차이이며 방향은 이전의 프로세스(이전 EOG 신호에 대한 분석)에서 획득된 벡터 값에 기반하여 산출될 수 있다. 그리고, 각 단속 운동은 크기과 방향의 조합을 나타내는 문자로 인코딩될 수 있다. 예를 들어, 음의 방향을 갖는 수평 EOG의 작은(또는 약한) 단속 운동은 "r"로 인코딩 될 수 있고 양의 방향을 갖는 큰(또는 강한) 단속 운동은 “L”로 인코딩 될 수 있다.

깜박임 상태는 수직 EOG 신호를 통해 감지될 수 있다. 단속 운동과는 달리, 깜박임은 웨이블릿 계수로 구성된 벡터에서 서로 인접한 두 개의 큰 피크(또는 큰 계수 값)로 표출될 수 있다. 여기서 각 피크의 값이 하나는 양의 값이고 다른 하나는 음의 값이다. 깜박임이 발생할 때 이 두 피크 사이의 경과 시간은 연속된 두 번의 단속 운동이 발생할 수 있는 최소 시간보다 작다. 이것은 일반적으로 두 번의 단속 운동 사이에 짧은 고정 상태가 포함되기 때문이다. 따라서, 이 시차에 대하여 임계 값을 적용함으로써 깜박임 상태가 검출될 수 있다.

포비티드 렌더링은 사용자가 현재 집중하고 있는 관심 영역 (region of interest, 이하 ROI) 정보를 필요로 한다. ROI는 EOG 정보에 기초하여 산출될 수 있다. EOG 센서(전극)은 안구의 서로 다른 극(또는 말단) 사이의 전위 차이를 측정할 수 있다. 고정 상태에서는 수평 EOG 값(EOGh) 및 수직 EOG 값(EOGv)의 전위차는 거의 무시될 수 있는 수준이며, 따라서 이 값은 단속 운동 상태 관련 연산(단속 운동 상태 검출 등)에서의 활용을 위해 별도로 저장될 필요가 있다.

도 9는 EOG와 눈 초점 각도(eye focus angle) 간 매핑을 나타낸 도면이다.

본 발명의 실시 예에 다르면 VR HMD FOV(Field-of-view)에서 EOG 센서/전극으로부터의 전위 차이의 크기를 각도에 매핑하는 것이 가능하다. VR FOV에서 사용자의 눈의 초점 각도(또는 시선의 방향의 각도 또는 시고정 지점에 대응하는 각도)를 산출하기 위해서 우선 초기 보정(initial calibration)과정이 필요할 수 있다. 초기 보정시, 사용자는 머리를 움직이지 않고 보정 기준에 대응하는 특정 지점(도 9의 원형 지점)에 초점을 맞추도록 요청받을 수 있다. 이후, 도 9와 같이 EOGh 및 EOGv 값을 FOV의 눈 초점 각도(αh 및 αv)에 매핑할 수 있다.

도 10은 EOG와 눈 초점 각도 간 커브 피팅(curve fitting)을 나타낸 도면이다.

충분한 EOG 대 FOV 교정 데이터를 획득한 후, 곡선 피팅 기법을 이용하여 EOG 데이터와 초점 각도 사이의 상관 관계를 추정할 수 있다. 산출된 곡선 피팅 함수는 추후, 감지된 EOG 신호에 대응하는 ROI 추정시 활용될 수 있다.

도 11은 안구 운동 상태 분류 및 각 안구 운동 상태 분류와 관련 렌더링 방법을 나타낸 도면이다. 그리고 도 12는 고정 상태에서의 EOG 신호를 나타낸 도면이다. 도 12에 따르면, 고정 상태에서는 EOG 신호가 비교적 평평(flat)한 양상을 나타날 수 있다.

고정 상태 동안 사용자의 눈은 단일 지점에 집중하므로, 이 상태 동안 안구의 움직임이 없기 때문에 수평 및 수직 EOG 모두 평평한 신호를 나타낼 수 있다. 본 발명의 실시 예에 따르면, 사용자가 단일 지점에 초점을 맞추기 때문에 사용자가 보고 있는 픽셀 위치에 대응하는 이미지 영역은 최대 해상도로 렌더링될 수 있다. 그렇지 않은 경우 사용자가 인식하는 이미지의 품질에 대하여 만족도가 저하될 수 있다.

도 13은 고정 상태에 대한 렌더링 방법의 예시를 나타낸 도면이다. 사용자가 감상할 최종 이미지에는 포비티드 렌더링이 적용되어야 하며, 사용자가 주시하고 있는 이미지 영역의 중심(F)은 최대 해상도로 렌더링될 수 있다. 해당 영역의 주변에 해당하는 외부는 중간 해상도로 렌더링될 수 있으며, 그외 나머지 영역은 가장 낮은 해상도로 렌더링될 수 있다. 이와 같은 식으로 렌더링을 수행함으로써 사용자가 인식하는 이미지의 품질에 대한 영향력을 최소화할 수 있다.

한편 각 EOG 신호의 크기는 안구의 수평 방향 또는 수직 방향 이동의 크기에 해당한다. VOR 상태에서는 눈이 머리 방향의 반대 방향으로 이동하기 때문에 수평 및 수직 EOG 신호의 크기는 빠르게 변화될 수 있다. 따라서 VOR 상태인지 여부는 EOG 신호와 IMU 신호를 모두 참조하여 결정될 수 있다. EOG 신호가 단속 운동을 나타내더라도 안구 운동의 방향이 머리 움직임과 반대이면 VOR 상태로 분류될 수 있다. VOR 상태에서의 최종 이미지에 고정 상태와 유사한 방식으로 포비티드 렌더링이 적용될 수 있다.

도 14는 단속 운동 상태에 대응하는 EOG 신호를 나타낸 도면이다. 도 14에 따르면, 안구의 운동이 단속 운동 상태일 때는 EOG 신호가 급격하게 변화되는 양상이 나타날 수 있다.

이 상태에서 안구는 빠르게 움직이며, 초점(또는 시선의 방향, 시고정 지점)이 신속하게 변화되므로, 시각적으로 인지되는 환경 또는 (출력되는) 이미지에서의 중요한 특성이 매우 예민하게 수집될 수 있다. 일반적으로 단속 운동 후에는 짧은 고정 상태가 나타나며, 해당 고정 상태 동안 시각적으로 인지된 중요한 특성들을 수용하는데 활용될 수 있다. 그러나 이처럼 빠르게 안구가 운동하는 중에는 사용자의 객체 인식 능력이 저하될 수 있다. 따라서, 이 상태 동안 최대 해상도 대비 상대적으로 낮은 해상도 품질로 이미지가 렌더링될 수 있다.

도 15는 단속 운동 상태에 대한 렌더링 방법의 예시를 나타낸 도면이다. 도 15에서 S는 단속 운동 상태의 안구가 주시한 방향에 대응하는 이미지의 픽셀 또는 영역을 나타낸 것일 수 있다. 전술한 단속 운동 상태의 특성에 따라, 이미지는 중상급 해상도(mid-high resolution)로 렌더링될 수 있다.

단속 운동 상태에서는 눈의 움직임이 매우 짧은 기간 내에 발생하기 때문에 수평 또는 수직 EOG 크기에서 급격한 변화를 나타낸다. EOG 크기 차이는 단속 상태가 얼마나 강하게 나타나는지(안구의 움직임이 얼마나 큰지)에 대응할 수 있다.

도 16은 깜박임 상태(B)에 대응하는 EOG 신호를 나타낸 도면이다.

도 16은 평평한 수평 EOG 신호(F)와 깜박임 상태(B) 중 수직 EOG의 급격한 감소 및 증가를 보여준다.

이 깜박임 상태는 100ms 내지 400ms까지 발생할 수 있다. 이 상태에서 수평 EOG는 평평한 신호를 나타낼 수 있으며 수직 EOG는 상대적으로 큰 감소 및 증가를 나타낼 수 있다.

도 17은 깜박임 상태에 대한 렌더링 방법의 예시를 나타낸 도면이다.

깜박임 상태에서는 사용자의 눈이 닫히므로 표시된 이미지의 모든 영역을 최저 해상도(low resolution)로 렌더링 할 수 있다.

도 18은 본 발명의 실시 예에 따른 렌더링 방법의 또 다른 양상을 나타낸 도면이다.

EOG 및 EMG 신호는 사용자의 눈 주변의 영역과 접촉되는 HMD의 특정 부분에 설치된 전극을 통해 수집될 수 있으며, 수집된 신호를 바탕으로 안구 운동 상태 및 얼굴 제스처를 식별할 수 있다. EOG 신호를 활용하는 본 발명의 실시 예에 따른 렌더링 방법은 다른 종류의 VR HMD에도 용이하게 적용될 수 있다. EOG 신호를 취득할 수 있는 VR HMD를 통해 다음의 과정을 통해 VR 렌더링을 수행할 수 있다.

우선, HMD의 IMU 센서 측정 값을 통해 가상 현실 내 VR 사용자의 현재 FOV를 식별 할 수 있다. 그 다음 가상 현실에서 사용자의 FOV에 대응하는 VR 렌더링 영역을 결정할 수 있다. 그리고, EOG 센서 값에 기초하여 현재의 안구 운동 상태를 판별하고 VR 렌더링 이미지의 해상도를 결정할 수 있다. 여기서, 산출된 사용자의 응시점(초점 지점/영역 또는 시고정 지점 또는 시선 방향에 대응하는 픽셀 등)에 따라 동적 포비티드 렌더링을 적용할 수 있다. 여기서, 수평 및 수직 EOG를 사용하여 사용자의 응시점을 추정할 수 있다.

안구 운동 상태에 따라 렌더링될 이미지의 해상도를 결정할 수 있으며, 바람직하게는 안구가 고정 상태인 경우 최대 해상도의 이미지가 렌더링될 수 있고, 다른 유형의 안구 운동 상태시에는 보다 낮은 해상도의 이미지가 렌더링될 수 있다. 깜박임 상태일 때는 사용 가능한 최저 해상도를 통해 이미지를 렌더링할 수도 있다.

EOG 센서 값의 크기는 안구의 운동 방향에 따라 변경될 수 있다. 수직 및 수평 EOG 센서의 크기 정보를 사용하여 2D 평면에서의 응시점(초점 지점/영역 또는 시고정 지점 또는 시선 방향에 대응하는 픽셀)을 추정 할 수 있다. 포비티드 렌더링은 비교적 넓은 영역에서 수행되므로 응시점의 정확도가 낮은 경우에도 충분히 활용될 수 있다.

렌더링된 VR 이미지는 VR 사용자를 위한 VR HMD 디스플레이를 통해 출력될 수 있다. 사용자의 안구 운동 상태 (또는 유형)에 기초하여 이미지 해상도를 조정함으로써 VR 렌더링 오버헤드를 최소화할 수 있다. 또한 사용자의 추정된 응시 영역/지점(또는 시고정 지점)을 기반으로 동적 포비티드 렌더링을 적절하게 적용함으로써 VR 사용자의 몰입도를 향상시킬 수 있다.

Claims (1)

1. 전기 안구도 측정을 통한 안구 운동 상태 기반의 렌더링 방법.

Images