KR20210073633A - 딥 러닝 기반 시각 피로 측정 장치 및 방법 - Google Patents

Abstract

본 발명은 착용형 적외선 카메라 모듈를 통해 취득한 눈 영상을 기반으로 사용자의 동공 특징을 추출해 시각 피로도를 측정하는 시각 피로 측정 장치 및 방법을 제공한다.

Description

딥 러닝 기반 시각 피로 측정 장치 및 방법 {VISUAL FATIGUE MEASUREMENT APPARATUS AND METHOD BASED ON DEEP LEARNING}

본 발명은 시각 피로 측정 장치 및 방법에 관한 것으로, 보다 상세하게는 딥 러닝 기반으로 시각 피로를 측정하는 장치 및 방법에 관한 것이다.

최근 들어 다양한 디스플레이가 출시되고 있다. 일반적인 모니터형 디스플레이 뿐만 아니라 착용형 디스플레이가 대중화되어, 사용자는 가상 또는 증강 현실 디스플레이를 사용할 수 있게 되었다.

하지만, 사용자가 장시간 디스플레이를 통해 시각 컨텐츠를 시청하는 경우, 사용자에게 시각 피로가 유발되어 문제가 되고 있다.

따라서, 사용자의 시각 피로를 분석하기 위해 생체 신호 등을 이용하는 등의 기술이 개발되고 있다.

본 발명의 배경기술은 대한민국 공개특허 제2014-0097675호에 개시되어 있다.

본 발명은 착용형 적외선 카메라 모듈를 통해 취득한 눈 영상을 기반으로 사용자의 동공 특징을 추출해 시각 피로도를 측정하는 시각 피로 측정 장치 및 방법을 제공한다.

본 발명은 정확한 동공 영역 추출과 동공 크기 측정을 통하여 신뢰할 수 있는 시각 피로도를 측정하는 시각 피로 측정 장치 및 방법을 제공한다.

본 발명의 일 측면에 따르면, 딥 러닝 기반 시각 피로 측정 장치 및 방법을 제공한다.

본 발명의 일 실시예에 따른 딥 러닝 기반 시각 피로 측정 장치 및 방법은 착용형 적외선 카메라 모듈로 눈 영상을 입력 하는 단계, 상기 입력된 눈 영상에서 인공지능 기술 기반 segmentation 모델이 동공 영역 예측을 수행하는 단계, 상기 예측된 동공 영역에서 눈을 감고 있는지 아닌지를 판단하는 단계, 상기 예측된 동공 영역에서 인접한 픽셀끼리 윤곽선을 검출하는 단계, 상기 계산된 윤곽선들을 크기 기반으로 필터링하는 단계, 상기 필터링 후 남아있는 윤곽선들에 타원 피팅을 하는 단계, 상기 피팅된 타원의 종횡비를 기반으로 필터링하는 단계, 상기 필터링 결과 남아있는 영역들 중 최종 동공 영역을 채택하는 단계, 상기 채택된 동공 영역의 크기를 계산하는 단계 및 상기 계산된 동공 크기 값을 이용해 시각 피로를 측정하는 단계를 포함할 수 있다.

본 발명의 일 실시 예에 따르면, 본 발명은 별도의 장비 없이 사용자의 시각 피로를 측정할 수 있어 장소, 조건의 제약을 받지 않는 시스템을 제공한다.

본 발명의 일 실시 예에 따르면, 영상 내에 존재하는 동공을 인공지능 기술 기반으로 정확히 찾아내고, 동공의 크기를 세밀하게 측정한다.

도1은 본 발명의 동공 특징 추출 방법의 흐름도이다.
도2는 본 발명에 따른 동공 특징 추출을 위한 입력 영상이다.
도3은 본 발명에 따른 입력 영상에 딥러닝 기반 segmentation 모델을 적용해 픽셀 단위로 동공 영역을 예측한 결과이다.
도4은 본 발명에 따른 입력 영상에서 눈을 감았을 때 딥러닝 기반 segmentation 모델의 결과로 발생되는 현상의 예시 이미지이다.
도5는 본 발명에 따른 딥러닝 기반 segmentation 모델의 결과로 각 프레임에서 동공이라고 예측된 픽셀의 개수를 시계열 그래프로 나타낸 것이다.
도6은 본 발명에 따른 입력 영상에서 눈을 뜨고 있을 때 가끔 발생되는 잘못된 예측의 예시 이미지이다.
도7은 본 발명에 따른 각 단계를 거쳐 검출된 최종 동공 영역 예시 이미지이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서 및 청구항에서 사용되는 단수 표현은, 달리 언급하지 않는 한 일반적으로 "하나 이상"을 의미하는 것으로 해석되어야 한다.

이하, 본 발명의 바람직한 실시 예를 첨부도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

본 발명은 착용형 적외선 카메라 모듈로 눈 영상을 입력 받는다. 이 때 영상은 초당 30frame이고 frame단위로 동공 특징 추출을 진행한다. 입력 받은 눈 영상에 딥러닝 기반 segmentation 모델을 적용해 1차 동공 후보 영역 추출을 한다. 추출한 동공 후보 영역의 정보를 이용해 눈 깜빡임을 판단한다. 또한 추출한 동공 후보 영역들을 인접한 픽셀들 끼리 묶어 윤곽선 추출을 하고, 윤곽선의 크기가 임계 값을 넘어가면 해당 윤곽선에 존재하는 픽셀들은 동공 영역 후보에서 제외한다. 그 다음 남아있는 윤곽선들에 대해 타원 피팅을 하고 종횡비를 구해 임계 값을 넘어가면 동공 영역 후보에서 제외한다. 마지막으로 필터링 결과 남아있는 영역들 중 크기가 가장 큰 영역을 최종 동공 영역으로 채택하고, 채택된 동공 영역의 크기를 측정해 동공의 특징을 추출한다. 추출한 특징들을 이용해 시각 피로를 측정한다.

본 발명은 몸에 부착하는 장치 없이 적외선 카메라 모듈로 촬영한 눈 영상만을 이용해 시각 피로를 측정하기 위한 동공 크기 측정 방법과 시각 피로 판단 방법에 관한 것이다.

도1은 본 발명의 일 실시 예에 따른 동공 특징 추출 방법의 흐름도이다.

도 1을 참조하면, 본 발명에 따른 시각 피로 측정 장치는 동공 영상을 입력한다. 시각 피로 측정 장치는 딥러닝 기반 동공 후보 영역을 1차적으로 검출한다. 시각 피로 측정 장치는 눈 깜박임을 필터링한다. 또한, 시각 피로 측정 장치는 동공 후보 영역 크기 기반으로 필터링하고, 동공 후보 영역 종횡 비 기반으로 필터링하여 동공 특징을 추출한다.

도 2는 착용형 적외선 카메라 모듈을 이용해 대상의 동공을 촬영한 영상이다. 이 영상을 프레임 단위로 입력한다. 모든 과정은 단일 프레임을 이용해 진행된다.

도 3 은 도 2 영상에 딥러닝 기반 segmentation 모델을 적용해 픽셀 단위로 동공 영역을 예측한 결과이다. 점으로 표시된 부분이 동공으로 예측된 부분이다.

도 4는 도 3의 결과 중 눈을 감았을 때 발생되는 현상이다. 영상에서 동공이 보이지 않게 되면서 동공 외의 영역에서 잘못된 예측이 발생되는 것이다.

도 5는 딥러닝 기반 segmentation 모델의 결과로 각 프레임에서 동공이라고 예측된 픽셀의 개수를 시계열 그래프로 나타낸 것이다. 값이 급격히 커지거나 작아지는 부분이 있는데, 눈을 감았을 경우 이러한 부분들이 발생된다. 그러므로 동공이라고 예측된 픽셀의 개수가 도 5의 빨간색 점선과 같은 범위를 벗어나면 동공 영역 검출에서 제외하고 눈을 감고 있는 상황이라고 판단한다.

도 6은 눈을 뜨고 있는 상황에서 가끔 발생되는 잘못된 결과이다. 이러한 잘못된 예측을 해결하기 위해 다음과 같은 과정을 거친다.

(1) 동공으로 예측된 픽셀들을 각각 인접한 픽셀들 끼리 묶어 윤곽선 검출

(2) 검출한 윤곽선의 둘레를 측정하고 임계값 범위를 벗어나는 영역들은 동공 영역 후보에서 제외

(3) 남아있는 영역들에서 타원 피딩(Ellipse fitting)을 한 후 종횡비를 구하고, 임계값 범위를 벗어나는 영역들은 동공 영역 후보에서 제외

(4) 남아있는 영역들 중 크기가 가장 큰 영역을 최종 동공 영역으로 채택

도 7은 각 단계를 거쳐 검출된 최종 동공 영역 예시 영상이다.

본 발명에 따른 시각 피로 측정 특징별 분석 실험은 주변이 어두운 환경에서 각 변화(무자극, 감마변화, 색온도변화, 밝기변화) 당 15분씩 시각적 자극을 유발할 수 있는 영상을 시청하며 분석을 진행했다. 또한, 통계적 유의성을 확인하기 위해 T-test 단측 검정을 수행했다. 분석 결과 감마 변화 상황에서 유의미한 차이를 확인했다.

딥 러닝 기반 시각 피로 측정 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드 뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (1)

1. 딥 러닝 기반 시각 피로 측정 방법에 있어서,
   착용형 적외선 카메라 모듈로 눈 영상을 입력 하는 단계;
   상기 입력된 눈 영상에서 인공지능 기술 기반 segmentation 모델이 동공 영역 예측을 수행하는 단계;
   상기 예측된 동공 영역에서 눈을 감고 있는지 아닌지를 판단하는 단계;
   상기 예측된 동공 영역에서 인접한 픽셀끼리 윤곽선을 검출하는 단계;
   상기 계산된 윤곽선들을 크기 기반으로 필터링하는 단계;
   상기 필터링 후 남아있는 윤곽선들에 타원 피팅을 하는 단계;
   상기 피팅된 타원의 종횡비를 기반으로 필터링하는 단계;
   상기 필터링 결과 남아있는 영역들 중 최종 동공 영역을 채택하는 단계; 및
   상기 채택된 동공 영역의 크기를 계산하는 단계 및 상기 계산된 동공 크기 값을 이용해 시각 피로를 측정하는 단계를 포함하는 딥 러닝 기반 시각 피로 측정 방법.
   

Images