KR20210045533A

KR20210045533A - 동공 검출 장치

Info

Publication number: KR20210045533A
Application number: KR1020190128157A
Authority: KR
Inventors: 김영찬; 조민경; 송병철; 이강일; 최준호
Original assignee: 삼성디스플레이 주식회사; 인하대학교 산학협력단
Priority date: 2019-10-16
Filing date: 2019-10-16
Publication date: 2021-04-27
Also published as: US20210117672A1; US11508187B2

Abstract

동공 검출 장치가 제공된다. 동공 검출 장치는 학습용 영상으로부터 획득한 동공 좌표 데이터를 기초로 목적 영상을 생성하고, 복수의 필터를 이용하여 상기 학습용 영상을 필터링한 필터 영상을 상기 목적 영상과 기 설정된 기준만큼 유사하게 하기 위하여 상기 복수의 필터의 가중치를 학습하는 필터 가중치 학습부, 상기 학습된 가중치를 갖는 복수의 필터를 이용하여 입력 영상에 대한 동공 영역 분할 영상을 생성하는 분할 영상 생성부, 및 상기 동공 영역 분할 영상의 노이즈를 제거하고, 노이즈가 제거된 복수의 화소 중 적어도 하나의 화소를 선택하여 동공 좌표를 검출하는 동공 좌표 검출부를 포함한다.

Description

동공 검출 장치{PUPIL DETECTING DEVICE}

본 발명은 입력 영상에서 동공을 검출하는 동공 검출 장치에 관한 것이다.

최근 다양한 전자 기기에서 사용자가 어느 위치를 응시하고 있는지를 파악하기 위한 기술로서 시선 추적, 홍채 인식, 동공 검출 등 다양한 기술에 대한 연구 활동이 활발하다.

예를 들어, 표시 장치는 동공 검출 기법을 활용하여 사용자의 시선 정보를 획득할 수 있으므로, 사용자의 특성과 상황에 적응하여 동작할 수 있다. 그리고, 동공 검출 장치는 의료 환경에서 자폐, 치매 등 정신적 장애에 대한 연구를 수행할 때 임상 시험의 일환으로 안구 운동 패턴을 분석하고 파악할 수 있다. 또한, 동공 검출 장치는 지능형 로봇 등 사용자와 상호 작용을 수행하는 기술 분야에서도 중요한 요소 기술로서 작용할 수 있다.

본 발명이 해결하고자 하는 과제는 다양한 입력 영상에 대하여 오검출을 제거하여 검출 성능을 향상시킬 수 있는 동공 검출 장치를 제공하고자 하는 것이다.

본 발명의 과제들은 이상에서 언급한 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기 과제를 해결하기 위한 일 실시예의 동공 검출 장치는 학습용 영상으로부터 획득한 동공 좌표 데이터를 기초로 목적 영상을 생성하고, 복수의 필터를 이용하여 상기 학습용 영상을 필터링한 필터 영상을 상기 목적 영상과 기 설정된 기준만큼 유사하게 하기 위하여 상기 복수의 필터의 가중치를 학습하는 필터 가중치 학습부, 상기 학습된 가중치를 갖는 복수의 필터를 이용하여 입력 영상에 대한 동공 영역 분할 영상을 생성하는 분할 영상 생성부, 및 상기 동공 영역 분할 영상의 노이즈를 제거하고, 노이즈가 제거된 복수의 화소 중 적어도 하나의 화소를 선택하여 동공 좌표를 검출하는 동공 좌표 검출부를 포함한다.

상기 복수의 필터는 가중치를 적용한 컨볼루션 필터링을 수행하여 특징 지도를 출력하는 컨볼루션 필터, 입력된 특징 지도에서 주요 값을 선택하여 맥스 풀링 필터링을 수행하는 맥스 풀링 필터, 및 입력된 특징 지도에 업 샘플링 필터링을 수행하는 업 샘플링 필터를 포함할 수 있다.

상기 복수의 필터는 적어도 하나의 상기 맥스 풀링 필터로 구성된 인코더를 포함할 수 있다.

상기 복수의 필터는 적어도 하나의 상기 업 샘플링 필터, 및 적어도 하나의 상기 컨볼루션 필터로 구성된 디코더를 포함할 수 있다.

상기 필터 가중치 학습부는 상기 인코더에 입력되는 특징 지도를 상기 인코더의 출력에 업 샘플링 필터링을 수행한 특징 지도에 연결시키는 스킵 연결망을 포함할 수 있다.

상기 복수의 필터는 적어도 하나의 상기 맥스 풀링 필터 및 적어도 하나의 상기 업 샘플링 필터로 구성된 보조 필터를 더 포함할 수 있다.

상기 필터 가중치 학습부는 상기 학습용 영상을 컨볼루션 필터링한 특징 지도와, 상기 컨볼루션 필터링한 특징 지도에 맥스 풀링 필터링과 업 샘플링 필터링을 추가로 수행한 특징 지도를 병합하고, 병합된 특징 지도를 컨볼루션 필터링할 수 있다.

상기 필터 가중치 학습부는 상기 복수의 필터의 가중치 학습 횟수가 기 설정된 횟수에 도달하지 않으면, 상기 복수의 필터의 가중치를 변경하여 상기 복수의 필터를 이용한 필터링 과정을 반복할 수 있다.

상기 필터 가중치 학습부는 상기 필터 영상과 상기 목적 영상의 비교 결과를 기초로 상기 복수의 필터의 가중치를 변경시킬 수 있다.

상기 필터 가중치 학습부는 상기 필터 영상과 상기 목적 영상의 비교 결과가 기 설정된 기준을 충족하지 못하면, 상기 복수의 필터의 가중치를 변경하여 상기 복수의 필터를 이용한 필터링 과정을 반복할 수 있다.

상기 필터 가중치 학습부는 상기 학습용 영상에 컨볼루션 필터링 및 맥스 풀링 필터링을 순차적으로 수행하고, 상기 맥스 풀링 필터링한 특징 지도에 업 샘플링 필터링 및 컨볼루션 필터링을 추가로 수행하여 주요 필터 영상을 생성하며, 상기 맥스 풀링 필터링한 특징 지도에 맥스 풀링 필터링, 업 샘플링 필터링, 및 컨볼루션 필터링을 추가적으로 수행하여 보조 필터 영상을 생성할 수 있다.

상기 필터 가중치 학습부는 상기 목적 영상, 상기 주요 필터 영상, 상기 학습용 영상, 및 상기 보조 필터 영상을 기초로 산출된 손실 함수를 기초로 상기 복수의 필터의 가중치를 변경시킬 수 있다.

상기 필터 가중치 학습부는 상기 목적 영상, 상기 주요 필터 영상, 상기 학습용 영상, 및 상기 보조 필터 영상을 기초로 산출된 손실함수가 기 설정된 수치를 초과하면, 상기 복수의 필터의 가중치를 변경하여 상기 복수의 필터를 이용한 필터링 과정을 반복할 수 있다.

상기 필터 가중치 학습부는 상기 학습용 영상을 컨볼루션 필터링하여 상기 인코더에 입력되는 특징 지도와, 상기 인코더의 출력에 업 샘플링 필터링을 수행한 특징 지도를 병합하고, 병합된 특징 지도를 컨볼루션 필터링하여 주요 필터 영상을 생성하며, 상기 보조 필터를 이용하여 상기 인코더의 출력을 필터링하여 보조 필터 영상을 생성할 수 있다.

상기 필터 가중치 학습부는 상기 학습용 영상을 레이블링(Labeling)하여 동공 좌표 데이터를 획득하여, 상기 동공 좌표 데이터를 팽창시키고 가우시안 필터링을 수행하여 상기 목적 영상을 생성할 수 있다.

상기 동공 좌표 검출부는 상기 동공 영역 분할 영상의 노이즈를 제거하고, 노이즈가 제거된 영상을 인덱싱(Indexing)하여 동공 좌표를 검출할 수 있다.

기타 실시예의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

실시예들에 따른 동공 검출 장치에 의하면, 필터 가중치 학습부는 학습용 영상의 필터링을 수행하는 인코더, 및 인코더의 출력을 필터링하여 필터 영상을 생성하는 디코더를 포함할 수 있다. 필터 가중치 학습부는 인코더에 입력되는 특징 지도를 인코더의 출력에 업 샘플링 필터링을 수행한 특징 지도에 연결시키는 스킵 연결망, 및 디코더와 다른 필터로 구성되어 인코더의 출력을 필터링하는 보조 필터를 더 포함할 수 있다. 따라서, 동공 검출 장치는 복수의 필터에 대한 가중치를 정확하게 학습할 수 있으므로, 다양한 입력 영상에 대하여 오검출을 제거하고 검출 성능을 향상시킬 수 있다.

실시예들에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.

도 1은 일 실시예에 따른 동공 검출 장치를 나타내는 블록도이다.
도 2는 일 실시예에 따른 동공 검출 장치의 영상 처리부를 나타내는 블록도이다.
도 3은 일 실시예에 따른 동공 검출 장치의 동공 검출 과정을 나타내는 순서도이다.
도 4는 일 실시예에 따른 필터 가중치 학습부의 복수의 필터를 나타내는 도면이다.
도 5는 도 4의 필터 가중치 학습부의 가중치 학습 과정을 나타내는 일 예시도면이다.
도 6은 도 4의 필터 가중치 학습부의 가중치 학습 과정을 나타내는 다른 예시도면이다.
도 7은 다른 실시예에 따른 필터 가중치 학습부의 복수의 필터를 나타내는 도면이다.
도 8은 도 7의 필터 가중치 학습부의 가중치 학습 과정을 나타내는 일 예시도면이다.
도 9는 도 7의 필터 가중치 학습부의 가중치 학습 과정을 나타내는 다른 예시도면이다.
도 10은 또 다른 실시예에 따른 필터 가중치 학습부의 복수의 필터를 나타내는 도면이다.
도 11은 도 10의 필터 가중치 학습부의 가중치 학습 과정을 나타내는 일 예시도면이다.
도 12는 도 10의 필터 가중치 학습부의 가중치 학습 과정을 나타내는 다른 예시도면이다.
도 13은 일 실시예에 따른 필터 가중치 학습부의 목적 영상 생성 과정을 나타내는 도면이다.
도 14는 일 실시예에 따른 필터 가중치 학습부의 목적 영상 생성 과정을 나타내는 순서도이다.
도 15는 일 실시예에 따른 분할 영상 생성부의 동공 영역 분할 영상을 생성하는 과정을 나타내는 도면이다.
도 16은 일 실시예에 따른 분할 영상 생성부의 동공 영역 분할 영상을 생성하는 과정을 나타내는 순서도이다.
도 17은 일 실시예에 따른 동공 좌표 검출부의 동공 좌표를 검출하는 과정을 나타내는 도면이다.
도 18은 일 실시예에 따른 동공 좌표 검출부의 동공 좌표를 검출하는 과정을 나타내는 순서도이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

비록 제1, 제2 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.

본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하고, 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시할 수도 있다.

이하 첨부된 도면을 참조하여 구체적인 실시예들에 대해 설명한다.

도 1은 일 실시예에 따른 동공 검출 장치를 나타내는 블록도이다.

도 1을 참조하면, 동공 검출 장치(10)는 사용자의 얼굴 영상을 수신하여, 눈 영역을 검출하고, 눈 영역 중 동공을 검출할 수 있다. 예를 들어, 얼굴 영상은 사용자의 눈이 포함된 얼굴 전체 또는 일부의 영상에 해당할 수 있다.

동공 검출 장치(10)는 얼굴 영상을 촬영하는 카메라, 적외선 투과 필터, 및 가시광선 차단 필터 등을 구비할 수 있다. 예를 들어, 카메라는 고배율 렌즈를 포함하여 사용자의 눈 주위 부분을 확대하여 촬영할 수 있다.

동공 검출 장치(10)는 영상 입력부(100), 영상 처리부(200), 제어부(300), 메모리(400), 및 표시부(500)를 포함할 수 있다.

영상 입력부(100)는 동공 검출 장치(10)의 일면에 장착될 수 있고, 사용자의 얼굴을 촬영할 수 있다. 영상 입력부(100)는 렌즈, 이미지 센서, 및 플래쉬 등을 구비한 카메라를 포함할 수 있다. 영상 입력부(100)는 정지 영상 또는 동영상을 촬영할 수 있고, 촬영한 영상 신호를 영상 처리부(200)에 제공할 수 있다. 예를 들어, 영상 신호는 m by n(m, n은 자연수) 행렬 구조로 배치된 복수의 화소를 구비한 이미지 센서로부터 출력될 수 있고, 복수의 화소 각각에 대응되는 전압들(예를 들어, 화소 값)의 집합으로 이루어질 수 있다.

영상 처리부(200)는 입력된 영상으로부터 눈 영역을 검출할 수 있다. 카메라를 이용하여 촬영된 영상은 밝기 정보를 포함할 수 있고, 영상 처리부(200)는 밝기 정보를 기초로 눈 영역을 검출할 수 있다. 예를 들어, 각막 영역의 반사광은 각막 주변 영역의 반사광보다 밝은 화소 값을 가지므로, 영상 처리부(200)는 상대적으로 밝은 화소 값을 갖는 영역을 눈 영역으로 선택할 수 있다. 다른 예를 들어, 각막 영역의 반사광과 각막 주변 영역의 반사광의 화소 값 차이가 크므로, 영상 처리부(200)는 반사광의 화소 값 차이가 큰 영역을 눈 영역으로 선택할 수 있다.

영상 처리부(200)는 영상 입력부(100)로부터 제공받은 영상 신호를 처리하여 동공을 검출할 수 있다. 영상 처리부(200)의 동공 검출은 정지 영상 및 동영상 각각에 대하여 적용될 수 있다. 예를 들어, 영상 처리부(200)는 다수의 영상을 통하여 동공 검출 학습을 수행할 수 있고, 축적된 동공 검출 데이터를 이용하여 입력된 영상으로부터 동공 좌표를 검출할 수 있다.

제어부(300)는 중앙 처리 장치로서, 동공 검출 장치(10)의 전반적인 동작을 제어하고, 사용자의 동공 검출 결과에 따른 동공 검출 장치(10)의 기능을 제어할 수 있다. 예를 들어, 제어부(300)는 터치 스크린 형태의 표시부(500) 뿐만 아니라 영상 입력부(100)를 통한 다양한 사용자 입력을 수신할 수 있다. 여기에서, 사용자 입력은 사용자의 터치, 제스처, 동공의 움직임 등 동공 검출 장치(10)에 입력되는 다양한 형태의 정보를 포함할 수 있다. 제어부(300)는 사용자 입력에 대응되는 동공 검출 장치(10)의 기 설정된 기능을 수행할 수 있다.

메모리(400)는 동공 검출 장치(10)의 운영 시스템, 복수의 어플리케이션, 동공 검출 장치(10)에 입력되는 데이터 등을 저장할 수 있다. 메모리(400)는 사진 및 동영상을 저장할 수 있고, 영상 입력부(100)를 통해 입력되는 동공 검출을 위한 동공 검출 알고리즘 및 데이터 등을 저장할 수 있다. 예를 들어, 메모리(400)는 눈 영역 검출에 사용되는 정보 및 동공 검출에 사용되는 필터 정보, 및 동공 검출에 사용되는 동공 검출 알고리즘 정보를 저장할 수 있다. 메모리(400)에 저장된 정보는 반복되는 동공 검출 학습에 따라 업데이트될 수 있다.

표시부(500)는 제어부(300)로부터 입력된 영상 신호를 기초로 영상을 표시할 수 있다. 예를 들어, 표시부(500)는 액정 표시 장치(Liquid Crystal Display Device), 전계 방출 표시 장치(Field Emission Display Device), 유기 발광 표시 장치(Organic Light Emitting Display Device) 등과 같은 표시 장치일 수 있다.

표시부(500)는 터치 패널을 포함하는 터치 스크린으로 구현될 수 있다. 표시부(500)는 사용자 입력 수단에 의하여 표시부(500)의 표면에 터치가 발생하면, 터치 위치 또는 터치 압력에 대한 정보를 제어부(300)에 제공할 수 있다. 예를 들어, 사용자는 표시부(500)의 화면에 표시된 아이콘을 터치할 수 있고, 동공 검출 장치(10)는 터치된 아이콘과 대응되는 어플리케이션을 실행할 수 있다.

도 2는 일 실시예에 따른 동공 검출 장치의 영상 처리부를 나타내는 블록도이고, 도 3은 일 실시예에 따른 동공 검출 장치의 동공 검출 과정을 나타내는 순서도이다.

도 2 및 도 3을 참조하면, 영상 처리부(200)는 필터 가중치 학습부(210), 분할 영상 생성부(220), 및 동공 좌표 검출부(230)를 포함할 수 있다.

필터 가중치 학습부(210)는 복수의 필터의 가중치를 학습할 수 있다(단계 S100). 필터 가중치 학습부(210)는 학습용 영상을 수신할 수 있고, 학습용 영상으로부터 획득한 동공 좌표 데이터를 기초로 목적 영상을 생성할 수 있다. 예를 들어, 필터 가중치 학습부(210)는 학습용 영상을 레이블링(Labeling)하여 동공 좌표 데이터를 획득할 수 있고, 동공 좌표 데이터를 팽창시키고 가우시안 필터링(Gaussian Filtering)을 수행하여 목적 영상을 생성할 수 있다.

필터 가중치 학습부(210)는 복수의 필터를 이용하여 학습용 영상을 필터링할 수 있다. 필터 가중치 학습부(210)는 학습용 영상을 필터링한 필터 영상을 목적 영상과 유사하게 하기 위하여, 복수의 필터의 가중치를 학습할 수 있다. 예를 들어, 필터 가중치 학습부(210)는 기 설정된 횟수에 따라 필터링 과정을 반복함으로써, 복수의 필터의 가중치를 학습할 수 있다. 다른 예를 들어, 필터 가중치 학습부(210)는 필터 영상이 목적 영상과 일치하거나 일정 기준 유사할 때까지 필터링 과정을 반복함으로써, 복수의 필터의 가중치를 학습할 수 있다. 필터 가중치 학습부(210)는 가중치 학습이 완료되면, 복수의 필터 각각의 가중치를 저장할 수 있다.

분할 영상 생성부(220)는 학습된 가중치를 갖는 복수의 필터를 이용하여 입력 영상에 대한 동공 영역 분할 영상을 생성할 수 있다(단계 S200). 분할 영상 생성부(220)는 영상 입력부(100)를 통해 촬영된 영상을 수신할 수 있다. 분할 영상 생성부(220)는 영상 입력부(100)로부터 입력된 영상을 기초로 동공 좌표 정보를 포함하는 동공 영역 분할 영상을 생성할 수 있다.

분할 영상 생성부(220)는 입력 영상이 포함하는 개체들을 분리하여, 동공 좌표 정보를 포함하는 동공 영역 분할 영상을 생성할 수 있다. 분할 영상 생성부(220)는 이진화(Binarization) 작업을 수행하여 동공 영역을 동공 주변 영역으로부터 분리할 수 있다. 예를 들어, 동공 영역에 배치된 복수의 화소 각각은 동공 좌표 정보를 포함하는 화소 값을 가질 수 있다. 동공 영역에 배치된 복수의 화소 중 일부의 화소는 최대 화소 값(예를 들어, 255의 화소 값)을 가질 수 있다. 최대 화소 값은 확률 분포의 형태를 갖는 화소 값들의 최대 값에 해당할 수 있다. 동공 영역을 제외한 동공 주변 영역에 배치된 복수의 화소는 최소의 화소 값(예를 들어, 0의 화소 값)을 가질 수 있다. 따라서, 분할 영상 생성부(220)는 입력 영상으로부터 동공 좌표 정보를 제외한 나머지 정보를 분리함으로써, 동공 좌표 정보를 포함하는 동공 영역 분할 영상을 생성할 수 있다.

동공 좌표 검출부(230)는 동공 영역 분할 영상을 수신하여 동공 좌표를 검출할 수 있다(단계 S300). 동공 좌표 검출부(230)는 동공 영역 분할 영상의 노이즈를 제거하고, 노이즈가 제거된 복수의 화소 중 적어도 하나의 화소를 선택하여 동공 좌표를 검출할 수 있다. 예를 들어, 동공 좌표 검출부(230)는 동공 영역 분할 영상의 노이즈를 제거하고, 노이즈가 제거된 동공 영역 분할 영상에 인덱싱(Indexing)을 수행할 수 있다. 따라서, 동공 좌표 검출부(230)는 노이즈가 제거된 동공 영역 분할 영상에서 최대 화소 값을 갖는 화소를 인덱싱함으로써, 동공 좌표를 검출할 수 있다.

도 4는 일 실시예에 따른 필터 가중치 학습부의 복수의 필터를 나타내는 도면이고, 도 5는 도 4의 필터 가중치 학습부의 가중치 학습 과정을 나타내는 일 예시도면이다.

도 4 및 도 5를 참조하면, 필터 가중치 학습부(210)는 학습용 영상(LI)으로부터 획득한 동공 좌표 데이터를 기초로 목적 영상(TI)을 생성할 수 있고, 복수의 필터(FT1~FT5)를 이용해 학습용 영상(LI)을 필터링하여 필터 영상(FI)을 생성할 수 있다. 필터 가중치 학습부(210)는 필터 영상(FI)을 목적 영상(TI)과 기 설정된 기준만큼 유사하게 하기 위하여 복수의 필터(FT1~FT5)의 가중치를 학습할 수 있다.

필터 가중치 학습부(210)는 학습용 영상(LI)을 수신할 수 있다(단계 S101). 여기에서, 학습용 영상(LI)은 동공과 관련된 의미 있는 정보(예를 들어, 동공의 공간적 정보) 또는 동공의 위치적 정보를 포함하는 다양한 영상으로 이루어질 수 있고, 필터 가중치 학습부(210)는 복수의 필터(FT1~FT5)의 가중치 학습의 정확도를 향상시킬 수 있다. 학습용 영상(LI)은 다양한 영상으로 이루어짐으로써, 동공 검출 장치(10)는 다양한 입력 영상으로부터 동공 좌표를 검출하는 성능을 향상시킬 수 있다.

필터 가중치 학습부(210)는 학습용 영상(LI)으로부터 동공 좌표 데이터를 획득할 수 있다(단계 S102). 여기에서, 동공 좌표 데이터는 동공 영역의 복수의 화소 중 동공 중심과 일치하는 화소의 좌표 데이터에 해당할 수 있다. 필터 가중치 학습부(210)는 학습용 영상(LI)을 레이블링(Labeling)하여 동공 좌표 데이터를 획득할 수 있다. 예를 들어, 사용자는 학습용 영상(LI)에서 동공 중심을 선택 또는 지정함으로써, 학습용 영상(LI)을 레이블링할 수 있다. 사용자는 레이블링을 수행함으로써, 학습용 영상(LI)에서 검출해야 하는 동공 좌표를 직접 설정할 수 있다. 따라서, 동공 좌표 데이터는 사용자에 의하여 선택 또는 지정된 동공 중심과 일치하는 화소의 좌표 데이터에 해당할 수 있다.

필터 가중치 학습부(210)는 학습용 영상(LI)으로부터 획득한 동공 좌표 데이터를 기초로 목적 영상(TI)을 생성할 수 있다(단계 S103). 필터 가중치 학습부(210)는 동공 좌표 데이터를 동공 중심으로부터 일정 범위까지 팽창시킬 수 있다. 예를 들어, 팽창된 범위의 화소 값은 동공 중심의 화소 값과 동일할 수 있다. 따라서, 동공 영역 중 팽창된 범위 내의 화소는 최대 화소 값(예를 들어, 255의 화소 값)을 가질 수 있다.

필터 가중치 학습부(210)는 팽창된 동공 좌표 데이터에 가우시안 필터링(Gaussian Filtering)을 수행하여 목적 영상(TI)을 생성할 수 있다 예를 들어, 목적 영상(TI)은 가우시안 필터링에 의하여 동공 중심에서 최대 화소 값(예를 들어, 255의 화소 값)을 가질 수 있고, 동공 중심에서 멀어질수록 화소 값이 감소할 수 있다. 목적 영상(TI)은 팽창된 동공 좌표 데이터의 분포 영역 및 최대 화소 값을 기초로 동공과 관련된 의미 있는 정보(예를 들어, 동공의 공간적 정보)를 포함할 수 있다.

복수의 필터(FT1~FT5)는 제1 내지 제5 필터(FT1~FT5)를 포함할 수 있고, 제1 내지 제5 필터(FT1~FT5) 각각은 컨볼루션 필터(Convolution Filter), 맥스 풀링 필터(Max Pooling Filter), 및 업 샘플링 필터(Up Sampling Filter) 중 하나의 필터로 구현될 수 있다. 예를 들어, 동공 검출 장치(10)는 적어도 하나의 컨볼루션 필터, 적어도 하나의 맥스 풀링 필터, 및 적어도 하나의 업 샘플링 필터로 이루어진 복수의 필터를 포함함으로써, 합성곱 신경망(Convolutional Neural Network)을 구현할 수 있다. 복수의 필터는 합성곱 신경망으로 구현됨으로써, 복잡한 비선형 모델을 구현할 수 있고, 영상 처리 또는 음성 처리 성능을 향상시킬 수 있다. 예를 들어, 복수의 필터는 입력 영상에 포함된 2차원 또는 3차원의 데이터를 그대로 유지시킴으로써, 동공과 관련된 의미 있는 정보 및 동공의 위치적 정보를 출력할 수 있다.

이하에서는, 제1 및 제5 필터(FT1, FT5)는 컨볼루션 필터로 구현되고, 제2 및 제3 필터(FT2, FT3)는 맥스 풀링 필터로 구현되며, 제4 필터(FT4)는 업 샘플링 필터로 구현된 실시예를 중심으로 설명한다. 다만, 복수의 필터의 구성은 이러한 실시예에 한정되지 않는다.

제1 및 제5 필터(FT1, FT5) 각각은 컨볼루션 필터로 구현됨으로써, 입력된 영상 또는 입력된 특징 지도에 가중치를 적용한 컨볼루션 필터링(Convolution Filtering)을 수행하여 특징 지도를 출력할 수 있다. 여기에서, 출력된 특징 지도는 입력된 영상 또는 입력된 특징 지도의 다양한 특징이 표현된 영상 데이터에 해당할 수 있다. 예를 들어, 제1 및 제5 필터(FT1, FT5)는 입력된 영상 데이터의 복수의 화소 각각에 가중치를 곱한 뒤 그 결과를 더함으로써, 현재 화소 값을 변경시킬 수 있다. 예를 들어, m by n(m, n은 자연수) 행렬 구조를 갖는 영상 데이터는 p by q(p는 m 이하의 자연수, q는 n 이하의 자연수) 행렬 구조를 갖는 필터의 가중치에 의해 필터링될 수 있다. 제1 및 제5 필터(FT1, FT5) 각각은 필터 가중치를 영상 데이터 상에 슬라이딩(Sliding)시킴으로써, 필터 가중치와 영상 데이터의 내적 연산(dot product)을 수행할 수 있다. 제1 및 제5 필터(FT1, FT5) 각각은 필터 가중치를 영상 데이터 상에서 스트라이드(Stride)에 의하여 결정된 간격 마다 이동시키면서 내적 연산을 수행할 수 있다. 따라서, 제1 및 제5 필터(FT1, FT5)는 입력된 영상 또는 입력된 특징 지도의 특정 위치에 대한 특정 패턴을 갖는 특징 지도를 출력할 수 있다. 특징 지도에 포함된 특정 패턴은 동공과 관련된 의미 있는 정보 또는 동공의 위치적 정보로 이용될 수 있다.

제2 및 제3 필터(FT2, FT3) 각각은 맥스 풀링 필터로 구현됨으로써, 입력된 특징 지도에서 주요 화소 값을 추출하여 크기가 작은 특징 지도를 출력할 수 있다. 예를 들어, 제2 및 제3 필터(FT2, FT3) 각각은 입력된 특징 지도의 복수의 부분 영역마다 최대 화소 값을 추출하고 나머지 화소 값은 제거함으로써, 특징 지도의 크기를 감소시킬 수 있다. 따라서, 제2 및 제3 필터(FT2, FT3)는 특징 지도의 화소 값의 지역적인 사소한 변화가 출력 데이터에 영향을 미치지 않게 할 수 있다.

제4 필터(FT4)는 업 샘플링 필터로 구현됨으로써, 제2 및 제3 필터(FT2, FT3)에 의한 맥스 풀링 결과에 대해 업 샘플링을 수행할 수 있다. 제4 필터(FT4)는 제2 및 제3 필터(FT2, FT3)에 의하여 감소된 특징 지도의 크기를 입력된 영상에 대응되는 크기만큼 증가시킬 수 있다. 제4 필터(FT4)의 구성은 제2 및 제3 필터(FT2, FT3)의 구성에 대응될 수 있으나, 반드시 이에 한정되는 것은 아니다. 예를 들어, 제4 필터(FT4)는 제2 필터(FT2)를 통과하기 전의 화소 값의 위치를 기억하여 특징 지도를 복원할 수 있다. 제2 및 제3 필터(FT2, FT3)에서 제거된 화소 값은 제4 필터(FT4)에 의해 다시 복구되지 않을 수 있다. 다른 예를 들어, 제4 필터(FT4)는 디컨볼루션(Deconvolution)을 통해 업 샘플링을 수행할 수 있다.

필터 가중치 학습부(210)는 제1 필터(FT1)를 이용하여 학습용 영상(LI)을 컨볼루션 필터링할 수 있다(단계 S104). 예를 들어, 제1 필터(FT1)는 학습용 영상(LI)의 복수의 화소 각각에 가중치를 곱한 뒤 그 결과를 더한 제1 특징 지도(FM1)를 출력할 수 있다. 제1 필터(FT1)는 필터 가중치를 학습용 영상(LI) 상에 슬라이딩(Sliding)시킴으로써, 필터 가중치와 영상 데이터의 내적 연산을 수행할 수 있다.

필터 가중치 학습부(210)는 인코더(ENC)를 이용하여 제1 특징 지도(FM1)를 맥스 풀링 필터링할 수 있다(단계 S105). 인코더(ENC)는 제2 및 제3 필터(FT2, FT3)를 포함할 수 있다.

필터 가중치 학습부(210)는 제2 필터(FT2)를 이용해 제1 특징 지도(FM1)를 맥스 풀링 필터링할 수 있다. 제2 필터(FT2)는 제1 특징 지도(FM1)에서 주요 화소 값을 추출하여 크기가 작은 제2 특징 지도(FM2)를 출력할 수 있다. 예를 들어, 제2 필터(FT2)는 제1 특징 지도(FM1)의 복수의 부분 영역마다 최대 화소 값을 추출하고 나머지 화소 값을 제거함으로써, 제2 특징 지도(FM2)의 크기를 감소시킬 수 있다.

필터 가중치 학습부(210)는 제3 필터(FT3)를 이용하여 제2 특징 지도(FM2)를 맥스 풀링 필터링할 수 있다. 제3 필터(FT3)는 제2 특징 지도(FM2)에서 주요 화소 값을 추출하여 크기가 작은 제3 특징 지도(FM3)를 출력할 수 있다. 예를 들어, 제3 필터(FT3)는 제2 특징 지도(FM2)의 복수의 부분 영역마다 최대 화소 값을 추출하고 나머지 화소 값을 제거함으로써, 제3 특징 지도(FM3)의 크기를 감소시킬 수 있다.

필터 가중치 학습부(210)는 디코더(DEC)를 이용해 인코더(ENC)에서 필터링된 특징 지도를 디컨볼루션 필터링(Deconvolution Filtering)할 수 있다. 예를 들어, 디코더(DEC)는 인코더(ENC)에 대응되는 가중치를 가질 수 있다. 디코더(DEC)는 인코더(ENC)에 입력되는 특징 지도를 크롭(Crop)하여 디컨볼루션 필터링의 가중치를 결정할 수 있다. 디코더(DEC)의 출력은 인코더(ENC)에 입력되는 특징 지도(예를 들어, 제1 특징 지도(FM1))와 동일한 크기를 가지면서, 제1 특징 지도(FM1)에 포함된 동공과 관련된 의미 있는 정보를 포함할 수 있다. 다른 예를 들어, 디코더(DEC)의 가중치는 인코더(ENC)의 가중치와 다른 매개 변수 집합으로 이루어질 수 있다. 디코더(DEC)는 제4 및 제5 필터(FT4, FT5)를 포함할 수 있다.

필터 가중치 학습부(210)는 제4 필터(FT4)를 이용하여 제3 특징 지도(FM3)를 업 샘플링 필터링할 수 있다(단계 S106). 제4 필터(FT4)는 인코더(ENC)에 의하여 감소된 제3 특징 지도(FM3)의 크기를 학습용 영상(LI)에 대응되는 크기만큼 증가시킬 수 있다. 예를 들어, 제4 필터(FT4)는 인코더(ENC)를 통과하기 전의 화소 값의 위치를 기억하여 제4 특징 지도(FM4)에 반영할 수 있다.

필터 가중치 학습부(210)는 인코더(ENC)에 입력되는 특징 지도를 인코더(ENC)의 출력에 업 샘플링 필터링을 수행한 특징 지도에 연결시키는 스킵 연결망(Skip)을 포함할 수 있다. 스킵 연결망(Skip)은 인코더(ENC)에 입력되는 데이터를 인코더(ENC)의 출력에 그대로 전달할 수 있다. 예를 들어, 제1 특징 지도(FM1)는 인코더(ENC)에 의해 맥스 풀링 필터링된 후, 제4 필터(FT4)에 의해 업 샘플링 필터링될 수 있다. 또한, 제1 특징 지도(FM1)는 스킵 연결망(Skip)을 따라 전달됨으로써 인코더(ENC)에 의한 필터링 과정을 생략할 수 있고, 제4 필터(FT4)의 출력과 병합될 수 있다. 스킵 연결망(Skip)은 제1 특징 지도(FM1)가 갖는 동공과 관련된 의미 있는 정보 또는 동공의 위치적 정보 외에도 제1 특징 지도(FM1)가 갖는 세부 정보 또는 부수 정보를 디코더(DEC)에 제공할 수 있다.

필터 가중치 학습부(210)는 제4 필터(FT4)의 필터링 결과와 제1 필터(FT1)의 필터링 결과를 병합할 수 있다(단계 S107). 필터 가중치 학습부(210)는 제4 필터(FT4)에서 출력된 특징 지도와 스킵 연결망(Skip)에 의해 전달된 제1 특징 지도(FM1)를 병합하여 제4 특징 지도(FM4)를 생성할 수 있다. 예를 들어, 제4 필터(FT4)에서 출력된 특징 지도는 학습용 영상(LI)의 주요 정보를 포함할 수 있고, 제1 특징 지도(FM1)는 학습용 영상(LI)의 주요 정보와 부수 정보를 모두 포함할 수 있다. 따라서, 필터 가중치 학습부(210)는 스킵 연결망(Skip)을 포함함으로써, 인코더(ENC)에서 제거된 세부 정보 또는 부수 정보에 따라 발생할 수 있는 오류를 방지할 수 있다. 또한, 필터 가중치 학습부(210)는 스킵 연결망(Skip)을 포함함으로써, 제1 내지 제5 필터(FT1~FT5)의 가중치를 적절하게 조절하여 가중치 학습 효율을 향상시킬 수 있다.

필터 가중치 학습부(210)는 제5 필터(FT5)를 이용하여 제4 특징 지도(FM4)를 컨볼루션 필터링할 수 있다(단계 S108). 예를 들어, 제5 필터(FT5)는 제4 특징 지도(FM4)의 복수의 화소 각각에 가중치를 곱한 뒤 그 결과를 더한 제5 특징 지도(FM5)를 출력할 수 있다. 제5 필터(FT5)는 필터 가중치를 제4 특징 지도(FM4) 상에 슬라이딩(Sliding)시킴으로써, 필터 가중치와 제4 특징 지도(FM4)의 내적 연산을 수행할 수 있다. 필터 가중치 학습부(210)는 제5 특징 지도(FM5)를 기초로 필터 영상(FI)을 생성할 수 있고, 필터 영상(FI)과 목적 영상(TI)을 비교할 수 있다. 필터 영상(FI)과 목적 영상(TI)의 차이는 제1 내지 제5 필터(FT1~FT5)의 가중치를 변경하는 과정에서 이용될 수 있다.

필터 가중치 학습부(210)는 제1 내지 제5 필터(FT1~FT5)를 이용한 가중치 학습 횟수를 카운트하여 기 설정된 횟수에 도달하였는지 여부를 판단할 수 있다(단계 S109).

필터 가중치 학습부(210)는 제1 내지 제5 필터(FT1~FT5)를 이용한 가중치 학습 횟수가 기 설정된 횟수에 도달하지 않으면, 제1 내지 제5 필터(FT1~FT5)의 가중치를 변경하여 제1 내지 제5 필터(FT1~FT5)를 이용한 필터링 과정을 반복할 수 있다(단계 S110). 필터 가중치 학습부(210)는 필터 영상(FI)과 목적 영상(TI)의 비교 결과를 기초로 제1 내지 제5 필터(FT1~FT5)의 가중치를 변경시킬 수 있다. 따라서, 제1 내지 제5 필터(FT1~FT5)의 가중치는 학습 횟수가 증가할수록 정확도가 향상될 수 있다. 필터 가중치 학습부(210)는 제1 내지 제5 필터(FT1~FT5)를 포함함으로써, 상대적으로 적은 횟수의 가중치 학습을 수행하더라도, 가중치의 정확도를 향상시킬 수 있다.

필터 가중치 학습부(210)는 제1 내지 제5 필터(FT1~FT5)를 이용한 가중치 학습 횟수가 기 설정된 횟수에 도달하면, 제1 내지 제5 필터(FT1~FT5)의 가중치를 저장할 수 있다(단계 S111). 저장된 제1 내지 제5 필터(FT1~FT5)의 가중치는 분할 영상 생성부(220)가 동공 영역 분할 영상을 생성하는 과정에서 이용될 수 있다.

도 6은 도 4의 필터 가중치 학습부의 가중치 학습 과정을 나타내는 다른 예시도면이다. 도 6의 가중치 학습 과정은 도 5의 가중치 학습 과정의 단계 S108 이후의 과정을 달리하는 것으로서, 이하에서는 전술한 구성과 동일한 구성은 간략히 설명하거나 생략하기로 한다.

도 6을 참조하면, 필터 가중치 학습부(210)는 학습용 영상(LI)을 수신할 수 있다(단계 S101).

필터 가중치 학습부(210)는 학습용 영상(LI)으로부터 동공 좌표 데이터를 획득할 수 있다(단계 S102).

필터 가중치 학습부(210)는 학습용 영상(LI)으로부터 획득한 동공 좌표 데이터를 기초로 목적 영상(TI)을 생성할 수 있다(단계 S103).

필터 가중치 학습부(210)는 제1 필터(FT1)를 이용하여 학습용 영상(LI)을 컨볼루션 필터링할 수 있다(단계 S104).

필터 가중치 학습부(210)는 인코더(ENC)를 이용하여 제1 특징 지도(FM1)를 맥스 풀링 필터링할 수 있다(단계 S105).

필터 가중치 학습부(210)는 제4 필터(FT4)를 이용하여 제3 특징 지도(FM3)를 업 샘플링 필터링할 수 있다(단계 S106).

필터 가중치 학습부(210)는 제4 필터(FT4)의 필터링 결과와 제1 필터(FT1)의 필터링 결과를 병합할 수 있다(단계 S107).

필터 가중치 학습부(210)는 제5 필터(FT5)를 이용하여 제4 특징 지도(FM4)를 컨볼루션 필터링할 수 있다(단계 S108).

필터 가중치 학습부(210)는 필터 영상(FI)과 목적 영상(TI)의 일치 여부를 판단할 수 있다(단계 S112). 예를 들어, 필터 가중치 학습부(210)는 필터 영상(FI)과 목적 영상(TI)의 유사도를 판단하여, 필터 영상(FI)이 목적 영상(TI)이 일치하거나, 일정 수준 유사한지 여부를 판단할 수 있다.

필터 가중치 학습부(210)는 필터 영상(FI)과 목적 영상(TI)의 비교 결과가 기 설정된 기준을 충족하지 못하면, 제1 내지 제5 필터(FT1~FT5)의 가중치를 변경하여 제1 내지 제5 필터(FT1~FT5)를 이용한 필터링 과정을 반복할 수 있다(단계 S113). 필터 가중치 학습부(210)는 필터 영상(FI)과 목적 영상(TI)의 유사도가 기 설정된 기준을 충족하지 못하면, 필터 영상(FI)과 목적 영상(TI)의 비교 결과를 기초로 제1 내지 제5 필터(FT1~FT5)의 가중치를 변경시킬 수 있다. 따라서, 제1 내지 제5 필터(FT1~FT5)의 가중치는 학습 횟수가 증가할수록 정확도가 향상될 수 있다. 필터 가중치 학습부(210)는 제1 내지 제5 필터(FT1~FT5)를 포함함으로써, 상대적으로 적은 횟수의 가중치 학습을 수행하더라도, 가중치의 정확도를 향상시킬 수 있다.

필터 가중치 학습부(210)는 필터 영상(FI)과 목적 영상(TI)의 비교 결과가 기 설정된 기준을 충족하면, 제1 내지 제5 필터(FT1~FT5)의 가중치를 저장할 수 있다(단계 S114). 저장된 제1 내지 제5 필터(FT1~FT5)의 가중치는 분할 영상 생성부(220)가 동공 영역 분할 영상을 생성하는 과정에서 이용될 수 있다.

도 7은 다른 실시예에 따른 필터 가중치 학습부의 복수의 필터를 나타내는 도면이고, 도 8은 도 7의 필터 가중치 학습부의 가중치 학습 과정을 나타내는 일 예시도면이다.

도 7 및 도 8을 참조하면, 필터 가중치 학습부(210)는 학습용 영상(LI)으로부터 획득한 동공 좌표 데이터를 기초로 목적 영상(TI)을 생성할 수 있다. 필터 가중치 학습부(210)는 복수의 필터(FT1~FT8)를 이용해 학습용 영상(LI)을 필터링하여 주요 필터 영상(MFI)과 보조 필터 영상(AFI)을 생성할 수 있다. 필터 가중치 학습부(210)는 주요 필터 영상(MFI)을 목적 영상(TI)과 기 설정된 기준만큼 유사하게 하기 위하여 복수의 필터(FT1~FT8)의 가중치를 학습할 수 있다.

필터 가중치 학습부(210)는 학습용 영상(LI)을 수신할 수 있다(단계 S121). 여기에서, 학습용 영상(LI)은 동공과 관련된 의미 있는 정보(예를 들어, 동공의 공간적 정보) 또는 동공의 위치적 정보를 포함하는 다양한 영상으로 이루어질 수 있고, 필터 가중치 학습부(210)는 복수의 필터(FT1~FT8)의 가중치 학습의 정확도를 향상시킬 수 있다. 학습용 영상(LI)은 다양한 영상으로 이루어짐으로써, 동공 검출 장치(10)는 다양한 입력 영상으로부터 동공 좌표를 검출하는 성능을 향상시킬 수 있다.

필터 가중치 학습부(210)는 학습용 영상(LI)으로부터 동공 좌표 데이터를 획득할 수 있다(단계 S122). 여기에서, 동공 좌표 데이터는 동공 영역의 복수의 화소 중 동공 중심과 일치하는 화소의 좌표 데이터에 해당할 수 있다. 필터 가중치 학습부(210)는 학습용 영상(LI)을 레이블링(Labeling)하여 동공 좌표 데이터를 획득할 수 있다. 예를 들어, 사용자는 학습용 영상(LI)에서 동공 중심을 선택 또는 지정함으로써, 학습용 영상(LI)을 레이블링할 수 있다.

필터 가중치 학습부(210)는 학습용 영상(LI)으로부터 획득한 동공 좌표 데이터를 기초로 목적 영상(TI)을 생성할 수 있다(단계 S123). 필터 가중치 학습부(210)는 동공 좌표 데이터를 동공 중심으로부터 일정 범위까지 팽창시킬 수 있다. 예를 들어, 팽창된 범위의 화소 값은 동공 중심의 화소 값과 동일할 수 있다. 따라서, 동공 영역 중 팽창된 범위 내의 화소는 최대 화소 값(예를 들어, 255의 화소 값)을 가질 수 있다.

필터 가중치 학습부(210)는 팽창된 동공 좌표 데이터에 가우시안 필터링을 수행하여 목적 영상(TI)을 생성할 수 있다. 예를 들어, 목적 영상(TI)은 가우시안 필터링에 의하여 동공 중심에서 최대 화소 값(예를 들어, 255의 화소 값)을 가질 수 있고, 동공 중심에서 멀어질수록 화소 값이 감소할 수 있다. 목적 영상(TI)은 팽창된 동공 좌표 데이터의 분포 영역 및 최대 화소 값을 기초로 동공과 관련된 의미 있는 정보(예를 들어, 동공의 공간적 정보)를 포함할 수 있다.

복수의 필터(FT1~FT8)는 제1 내지 제8 필터(FT1~FT8)를 포함할 수 있고, 제1 내지 제8 필터(FT1~FT8) 각각은 컨볼루션 필터(Convolution Filter), 맥스 풀링 필터(Max Pooling Filter), 및 업 샘플링 필터(Up Sampling Filter) 중 하나의 필터로 구현될 수 있다. 예를 들어, 동공 검출 장치(10)는 적어도 하나의 컨볼루션 필터, 적어도 하나의 맥스 풀링 필터, 및 적어도 하나의 업 샘플링 필터로 이루어진 복수의 필터를 포함함으로써, 합성곱 신경망(Convolutional Neural Network)을 구현할 수 있다. 복수의 필터(FT1~FT8)는 합성곱 신경망으로 구현됨으로써, 복잡한 비선형 모델을 구현할 수 있고, 영상 처리 또는 음성 처리 성능을 향상시킬 수 있다. 예를 들어, 복수의 필터는 입력 영상에 포함된 2차원 또는 3차원의 데이터를 그대로 유지시킴으로써, 동공과 관련된 의미 있는 정보 및 동공의 위치적 정보를 출력할 수 있다.

이하에서는, 제1 및 제5 필터(FT1, FT5)는 컨볼루션 필터로 구현되고, 제2, 제3 및 제6 필터(FT2, FT3, FT6)는 맥스 풀링 필터로 구현되며, 제4, 제7 및 제8 필터(FT4, FT7, FT8)는 업 샘플링 필터로 구현된 실시예를 중심으로 설명한다. 다만, 복수의 필터의 구성은 이러한 실시예에 한정되지 않는다.

제1 및 제5 필터(FT1, FT5) 각각은 컨볼루션 필터로 구현됨으로써, 입력된 영상 또는 입력된 특징 지도에 가중치를 적용한 컨볼루션 필터링(Convolution Filtering)을 수행하여 특징 지도를 출력할 수 있다. 예를 들어, 제1 및 제5 필터(FT1, FT5)는 입력된 영상 데이터의 복수의 화소 각각에 가중치를 곱한 뒤 그 결과를 더함으로써, 현재 화소 값을 변경시킬 수 있다. 제1 및 제5 필터(FT1, FT5) 각각은 필터 가중치를 영상 데이터 상에 슬라이딩(Sliding)시킴으로써, 필터 가중치와 영상 데이터의 내적 연산(dot product)을 수행할 수 있다. 따라서, 제1 및 제5 필터(FT1, FT5)는 입력된 영상 또는 입력된 특징 지도의 특정 위치에 대한 특정 패턴을 갖는 특징 지도를 출력할 수 있다. 특징 지도에 포함된 특정 패턴은 동공과 관련된 의미 있는 정보 또는 동공의 위치적 정보로 이용될 수 있다.

제2, 제3 및 제6 필터(FT2, FT3, FT6) 각각은 맥스 풀링 필터로 구현됨으로써, 입력된 특징 지도에서 주요 화소 값을 추출하여 크기가 작은 특징 지도를 출력할 수 있다. 예를 들어, 제2, 제3 및 제6 필터(FT2, FT3, FT6) 각각은 입력된 특징 지도의 복수의 부분 영역마다 최대 화소 값을 추출하고 나머지 화소 값은 제거함으로써, 특징 지도의 크기를 감소시킬 수 있다. 따라서, 제2, 제3 및 제6 필터(FT2, FT3, FT6)는 특징 지도의 화소 값의 지역적인 사소한 변화가 출력 데이터에 영향을 미치지 않게 할 수 있다.

제4, 제7 및 제8 필터(FT4, FT7, FT8) 각각은 업 샘플링 필터로 구현됨으로써, 맥스 풀링 결과에 대해 업 샘플링을 수행할 수 있다. 제4 필터(FT4)는 제2 및 제3 필터(FT2, FT3)에 의하여 감소된 특징 지도의 크기를 입력된 영상에 대응되는 크기만큼 증가시킬 수 있다. 예를 들어, 제4 필터(FT4)는 제2 필터(FT2)를 통과하기 전의 화소 값의 위치를 기억하여 특징 지도를 복원할 수 있다. 제2 및 제3 필터(FT2, FT3)에서 제거된 화소 값은 제4 필터(FT4)에 의해 다시 복구되지 않을 수 있다.

제7 및 제8 필터(FT7, FT8)는 제2, 제3 및 제6 필터(FT2, FT3, FT6)에 의하여 감소된 특징 지도의 크기를 입력된 영상에 대응되는 크기만큼 증가시킬 수 있다. 예를 들어, 제7 및 제8 필터(FT7, FT8)는 제2 필터(FT2)를 통과하기 전의 화소 값의 위치를 기억하여 특징 지도를 복원할 수 있다. 제2, 제3 및 제6 필터(FT2, FT3, FT6)에서 제거된 화소 값은 제7 및 제8 필터(FT7, FT8)에 의해 다시 복구되지 않을 수 있다.

다른 예를 들어, 제4, 제7 및 제8 필터(FT4, FT7, FT8)는 디컨볼루션(Deconvolution)을 통해 업 샘플링을 수행할 수 있다.

필터 가중치 학습부(210)는 제1 필터(FT1)를 이용하여 학습용 영상(LI)을 컨볼루션 필터링할 수 있다(단계 S124). 예를 들어, 제1 필터(FT1)는 학습용 영상(LI)의 복수의 화소 각각에 가중치를 곱한 뒤 그 결과를 더한 제1 특징 지도(FM1)를 출력할 수 있다. 제1 필터(FT1)는 필터 가중치를 학습용 영상(LI) 상에 슬라이딩(Sliding)시킴으로써, 필터 가중치와 영상 데이터의 내적 연산을 수행할 수 있다.

필터 가중치 학습부(210)는 인코더(ENC)를 이용하여 제1 특징 지도(FM1)를 맥스 풀링 필터링할 수 있다(단계 S125). 인코더(ENC)는 제2 및 제3 필터(FT2, FT3)를 포함할 수 있다.

필터 가중치 학습부(210)는 제4 필터(FT4)를 이용하여 제3 특징 지도(FM3)를 업 샘플링 필터링할 수 있다(단계 S126). 제4 필터(FT4)는 인코더(ENC)에 의하여 감소된 제3 특징 지도(FM3)의 크기를 학습용 영상(LI)에 대응되는 크기만큼 증가시킬 수 있다. 예를 들어, 제4 필터(FT4)는 인코더(ENC)를 통과하기 전의 화소 값의 위치를 기억하여 제4 특징 지도(FM4)에 반영할 수 있다.

필터 가중치 학습부(210)는 제5 필터(FT5)를 이용하여 제4 특징 지도(FM4)를 컨볼루션 필터링할 수 있다(단계 S127). 예를 들어, 제5 필터(FT5)는 제4 특징 지도(FM4)의 복수의 화소 각각에 가중치를 곱한 뒤 그 결과를 더한 제5 특징 지도(FM5)를 출력할 수 있다. 제5 필터(FT5)는 필터 가중치를 제4 특징 지도(FM4) 상에 슬라이딩(Sliding)시킴으로써, 필터 가중치와 제4 특징 지도(FM4)의 내적 연산을 수행할 수 있다. 필터 가중치 학습부(210)는 제5 특징 지도(FM5)를 기초로 주요 필터 영상(MFI)을 생성할 수 있다.

필터 가중치 학습부(210)는 주요 필터 영상(MFI)과 목적 영상(TI)을 비교할 수 있다(단계 S128). 주요 필터 영상(MFI)과 목적 영상(TI)의 차이는 제1 내지 제8 필터(FT1~FT8)의 가중치를 변경하는 과정에서 이용될 수 있다.

필터 가중치 학습부(210)는 보조 필터(AUX)를 이용해 인코더(ENC)에서 필터링된 특징 지도를 디컨볼루션 필터링(Deconvolution Filtering)할 수 있다. 보조 필터(AUX)는 인코더(ENC)와 연결됨으로써, 오토 인코더(Auto Encoder)의 기능을 수행할 수 있다. 필터 가중치 학습부(210)는 보조 필터(AUX)를 더 포함함으로써, 보조 필터 영상(AFI)을 학습용 영상(LI)과 유사하게 재현할 수 있다. 오토 인코더(Auto Encoder)는 학습용 영상(LI)의 데이터를 압축하면서 학습용 영상(LI)의 다양한 특징을 추출할 수 있고, 추출된 다양한 특징을 기초로 보조 필터 영상(AFI)을 학습용 영상(LI)과 최대한 유사하게 재현할 수 있다. 오토 인코더(Auto Encoder)는 인코더(ENC)와 디코더(DEC)로 이루어진 합성곱 신경망에 가중치 학습의 정확도를 보완할 수 있다. 따라서, 필터 가중치 학습부(210)는 인코더(ENC)와 보조 필터(AUX)에 의해 출력되는 보조 필터 영상(AFI)을 학습용 영상(LI)과 비교함으로써, 주요 필터 영상(MFI)이 목적 영상(TI)에 도달하는 과정의 신속도와 정확도를 향상시킬 수 있다. 보조 필터(AUX)는 제6 내지 제8 필터(FT6~FT8)를 포함할 수 있다.

필터 가중치 학습부(210)는 제6 필터(FT6)를 이용해 제3 특징 지도(FM3)를 맥스 풀링 필터링할 수 있다(단계 S129). 제6 필터(FT6)는 제3 특징 지도(FM3)에서 주요 화소 값을 추출하여 크기가 작은 제6 특징 지도(FM6)를 출력할 수 있다. 예를 들어, 제6 필터(FT6)는 제3 특징 지도(FM3)의 복수의 부분 영역마다 최대 화소 값을 추출하고 나머지 화소 값을 제거함으로써, 제6 특징 지도(FM6)의 크기를 감소시킬 수 있다.

필터 가중치 학습부(210)는 제7 및 제8 필터(FT7, FT8)을 이용하여 제6 특징 지도(FM6)를 업 샘플링 필터링할 수 있다(단계 S130). 필터 가중치 학습부(210)는 제7 및 제8 필터(FT7, FT8)에 의해 업 샘플링 필터링된 제8 특징 지도(FM8)를 기초로 보조 필터 영상(AFI)을 생성할 수 있다.

필터 가중치 학습부(210)는 제7 필터(FT7)를 이용해 제6 특징 지도(FM6)를 업 샘플링 필터링하여, 제7 특징 지도(FM7)를 출력할 수 있다. 필터 가중치 학습부(210)는 제8 필터(FT8)를 이용하여 제7 특징 지도(FM7)를 업 샘플링 필터링하여, 제8 특징 지도(FM8)를 출력할 수 있다. 제7 및 제8 필터(FT7, FT8)는 인코더(ENC) 및 제6 필터(FT6)에 의하여 감소된 제6 특징 지도(FM6)의 크기를 학습용 영상(LI)에 대응되는 크기만큼 증가시킬 수 있다. 예를 들어, 제7 및 제8 필터(FT7, FT8)는 인코더(ENC)를 통과하기 전의 화소 값의 위치를 기억하여 제8 특징 지도(FM8)에 반영할 수 있다.

필터 가중치 학습부(210)는 제8 특징 지도(FM8)를 컨볼루션 필터링하여 보조 필터 영상(AFI)을 생성할 수 있다(단계 S131). 예를 들어, 필터 가중치 학습부(210)는 컨볼루션 필터를 제8 특징 지도(FM8) 상에 슬라이딩 시킴으로써, 필터 가중치와 제8 특징 지도(FM8)의 내적 연산을 수행할 수 있다.

필터 가중치 학습부(210)는 보조 필터 영상(AFI)과 학습용 영상(LI)을 비교할 수 있다(단계 S132). 보조 필터 영상(AFI)과 학습용 영상(LI)의 차이는 제1 내지 제8 필터(FT1~FT8)의 가중치를 변경하는 과정에서 이용될 수 있다.

필터 가중치 학습부(210)는 제1 내지 제8 필터(FT1~FT8)를 이용한 가중치 학습 횟수를 카운트하여 기 설정된 횟수에 도달하였는지 여부를 판단할 수 있다(단계 S133).

필터 가중치 학습부(210)는 제1 내지 제8 필터(FT1~FT8)를 이용한 가중치 학습 횟수가 기 설정된 횟수에 도달하지 않으면, 제1 내지 제8 필터(FT1~FT8)의 가중치를 변경하여 제1 내지 제8 필터(FT1~FT8)를 이용한 필터링 과정을 반복할 수 있다(단계 S134). 필터 가중치 학습부(210)는 목적 영상(TI), 주요 필터 영상(MFI), 학습용 영상(LI), 및 보조 필터 영상(AFI)을 기초로 산출된 손실 함수(Loss)를 기초로 제1 내지 제8 필터(FT1~FT8)의 가중치를 변경시킬 수 있다. 따라서, 제1 내지 제8 필터(FT1~FT8)의 가중치는 학습 횟수가 증가할수록 정확도가 향상될 수 있다. 필터 가중치 학습부(210)는 제1 내지 제8 필터(FT1~FT8)를 포함함으로써, 상대적으로 적은 횟수의 가중치 학습을 수행하더라도, 가중치의 정확도를 향상시킬 수 있다.

필터 가중치 학습부(210)는 제1 내지 제8 필터(FT1~FT8)를 이용한 가중치 학습 횟수가 기 설정된 횟수에 도달하면, 제1 내지 제8 필터(FT1~FT8)의 가중치를 저장할 수 있다(단계 S135). 저장된 제1 내지 제8 필터(FT1~FT8)의 가중치는 분할 영상 생성부(220)가 동공 영역 분할 영상을 생성하는 과정에서 이용될 수 있다.

도 9는 도 7의 필터 가중치 학습부의 가중치 학습 과정을 나타내는 다른 예시도면이다. 도 9의 가중치 학습 과정은 도 8의 가중치 학습 과정의 단계 S132 이후의 과정을 달리하는 것으로서, 이하에서는 전술한 구성과 동일한 구성은 간략히 설명하거나 생략하기로 한다.

도 9를 참조하면, 필터 가중치 학습부(210)는 학습용 영상(LI)을 수신할 수 있다(단계 S121).

필터 가중치 학습부(210)는 학습용 영상(LI)으로부터 동공 좌표 데이터를 획득할 수 있다(단계 S122).

필터 가중치 학습부(210)는 학습용 영상(LI)으로부터 획득한 동공 좌표 데이터를 기초로 목적 영상(TI)을 생성할 수 있다(단계 S123).

필터 가중치 학습부(210)는 제1 필터(FT1)를 이용하여 학습용 영상(LI)을 컨볼루션 필터링할 수 있다(단계 S124).

필터 가중치 학습부(210)는 인코더(ENC)를 이용하여 제1 특징 지도(FM1)를 맥스 풀링 필터링할 수 있다(단계 S125).

필터 가중치 학습부(210)는 제4 필터(FT4)를 이용하여 제3 특징 지도(FM3)를 업 샘플링 필터링할 수 있다(단계 S126).

필터 가중치 학습부(210)는 제5 필터(FT5)를 이용하여 제4 특징 지도(FM4)를 컨볼루션 필터링할 수 있다(단계 S127).

필터 가중치 학습부(210)는 주요 필터 영상(MFI)과 목적 영상(TI)을 비교할 수 있다(단계 S128).

필터 가중치 학습부(210)는 제6 필터(FT6)를 이용하여 제3 특징 지도(FM3)를 맥스 풀링 필터링할 수 있다(단계 S129).

필터 가중치 학습부(210)는 제7 및 제8 필터(FT7, FT8)을 이용하여 제6 특징 지도(FM6)를 업 샘플링 필터링할 수 있다(단계 S130).

필터 가중치 학습부(210)는 제8 특징 지도(FM8)를 컨볼루션 필터링하여 보조 필터 영상(AFI)을 생성할 수 있다(단계 S131).

필터 가중치 학습부(210)는 보조 필터 영상(AFI)과 학습용 영상(LI)을 비교할 수 있다(단계 S132).

필터 가중치 학습부(210)는 목적 영상(TI), 주요 필터 영상(MFI), 학습용 영상(LI), 및 보조 필터 영상(AFI)을 기초로 산출된 손실 함수(Loss)가 기 설정된 수치 이하인지 여부를 판단할 수 있다(단계 S136).

필터 가중치 학습부(210)는 손실 함수(Loss)가 기 설정된 수치를 초과하면, 제1 내지 제8 필터(FT1~FT8)의 가중치를 변경하여 제1 내지 제8 필터(FT1~FT8)를 이용한 필터링 과정을 반복할 수 있다(단계 S137). 필터 가중치 학습부(210)는 손실 함수(Loss)를 기초로 제1 내지 제8 필터(FT1~FT8)의 가중치를 변경시킬 수 있다. 따라서, 제1 내지 제8 필터(FT1~FT8)의 가중치는 학습 횟수가 증가할수록 정확도가 향상될 수 있다. 필터 가중치 학습부(210)는 제1 내지 제8 필터(FT1~FT8)를 포함함으로써, 상대적으로 적은 횟수의 가중치 학습을 수행하더라도, 가중치의 정확도를 향상시킬 수 있다.

필터 가중치 학습부(210)는 손실 함수(Loss)가 기 설정된 수치 이하이면, 제1 내지 제8 필터(FT1~FT8)의 가중치를 저장할 수 있다(단계 S138). 저장된 제1 내지 제8 필터(FT1~FT8)의 가중치는 분할 영상 생성부(220)가 동공 영역 분할 영상을 생성하는 과정에서 이용될 수 있다.

도 10은 또 다른 실시예에 따른 필터 가중치 학습부의 복수의 필터를 나타내는 도면이고, 도 11은 도 10의 필터 가중치 학습부의 가중치 학습 과정을 나타내는 일 예시도면이다. 도 10 및 도 11의 가중치 학습 과정은 도 7 및 도 8의 가중치 학습 과정에서 스킵 연결망(Skip)을 더 포함하는 것으로서, 이하에서는 전술한 구성과 동일한 구성은 간략히 설명하거나 생략하기로 한다.

도 10 및 도 11을 참조하면, 필터 가중치 학습부(210)는 학습용 영상(LI)을 수신할 수 있다(단계 S141).

필터 가중치 학습부(210)는 학습용 영상(LI)으로부터 동공 좌표 데이터를 획득할 수 있다(단계 S142).

필터 가중치 학습부(210)는 학습용 영상(LI)으로부터 획득한 동공 좌표 데이터를 기초로 목적 영상(TI)을 생성할 수 있다(단계 S143).

필터 가중치 학습부(210)는 제1 필터(FT1)를 이용하여 학습용 영상(LI)을 컨볼루션 필터링할 수 있다(단계 S144).

필터 가중치 학습부(210)는 인코더(ENC)를 이용하여 제1 특징 지도(FM1)를 맥스 풀링 필터링할 수 있다(단계 S145).

필터 가중치 학습부(210)는 제4 필터(FT4)를 이용하여 제3 특징 지도(FM3)를 업 샘플링 필터링할 수 있다(단계 S146).

필터 가중치 학습부(210)는 제4 필터(FT4)의 필터링 결과와 제1 필터(FT1)의 필터링 결과를 병합할 수 있다(단계 S147). 필터 가중치 학습부(210)는 제4 필터(FT4)에서 출력된 특징 지도와 스킵 연결망(Skip)에 의해 전달된 제1 특징 지도(FM1)를 병합하여 제4 특징 지도(FM4)를 생성할 수 있다. 예를 들어, 제4 필터(FT4)에서 출력된 특징 지도는 학습용 영상(LI)의 주요 정보를 포함할 수 있고, 제1 특징 지도(FM1)는 학습용 영상(LI)의 주요 정보와 부수 정보를 모두 포함할 수 있다. 따라서, 필터 가중치 학습부(210)는 스킵 연결망(Skip)을 포함함으로써, 인코더(ENC)에서 제거된 세부 정보 또는 부수 정보에 따라 발생할 수 있는 오류를 방지할 수 있다. 또한, 필터 가중치 학습부(210)는 스킵 연결망(Skip)을 포함함으로써, 제1 내지 제8 필터(FT1~FT8)의 가중치를 적절하게 조절하여 가중치 학습 효율을 향상시킬 수 있다.

필터 가중치 학습부(210)는 제5 필터(FT5)를 이용하여 제4 특징 지도(FM4)를 컨볼루션 필터링할 수 있다(단계 S148).

필터 가중치 학습부(210)는 주요 필터 영상(MFI)과 목적 영상(TI)을 비교할 수 있다(단계 S149).

필터 가중치 학습부(210)는 제6 필터(FT6)를 이용해 제3 특징 지도(FM3)를 맥스 풀링 필터링할 수 있다(단계 S150).

필터 가중치 학습부(210)는 제7 및 제8 필터(FT7, FT8)을 이용하여 제6 특징 지도(FM6)를 업 샘플링 필터링할 수 있다(단계 S151).

필터 가중치 학습부(210)는 제8 특징 지도(FM8)를 컨볼루션 필터링하여 보조 필터 영상(AFI)을 생성할 수 있다(단계 S152).

필터 가중치 학습부(210)는 보조 필터 영상(AFI)과 학습용 영상(LI)을 비교할 수 있다(단계 S153).

필터 가중치 학습부(210)는 제1 내지 제8 필터(FT1~FT8)를 이용한 가중치 학습 횟수를 카운트하여 기 설정된 횟수에 도달하였는지 여부를 판단할 수 있다(단계 S154).

필터 가중치 학습부(210)는 제1 내지 제8 필터(FT1~FT8)를 이용한 가중치 학습 횟수가 기 설정된 횟수에 도달하지 않으면, 제1 내지 제8 필터(FT1~FT8)의 가중치를 변경하여 제1 내지 제8 필터(FT1~FT8)를 이용한 필터링 과정을 반복할 수 있다(단계 S155). 필터 가중치 학습부(210)는 목적 영상(TI), 주요 필터 영상(MFI), 학습용 영상(LI), 및 보조 필터 영상(AFI)을 기초로 산출된 손실 함수(Loss)를 기초로 제1 내지 제8 필터(FT1~FT8)의 가중치를 변경시킬 수 있다. 예를 들어, 손실 함수(Loss)는 하기의 수학식 1과 같이 정의될 수 있다.

여기에서, "x"는 학습용 영상(LI)을 의미하고, "Pdata(x)"는 학습 데이터 집합을 의미한다. "

"는 랜덤 변수 "x"에 대한 확률 분포 "Pdata"가 이루는 표본 공간에서, 샘플들을 추출하여 계산된 기댓값을 의미한다. "y"는 목적 영상(TI)을 의미하고, "

"는 주요 필터 영상(MFI)을 의미하며, "

"는 보조 필터 영상(AFI)을 의미한다. 따라서, 필터 가중치 학습부(210)는 목적 영상(TI)에 의한 동공 중심과 주요 필터 영상(MFI)에 의한 동공 중심 사이의 거리에 대한 기댓값과, 학습용 영상(LI)에 의한 동공 중심과 보조 필터 영상(AFI)에 의한 동공 중심 사이의 거리에 대한 기댓값을 더하여 손실 함수(Loss)를 산출할 수 있다.

결과적으로, 필터 가중치 학습부(210)는 인코더(ENC), 디코더(DEC), 및 보조 필터(AUX)를 포함함으로써, 복수의 필터에 대한 가중치를 정확하게 학습할 수 있고, 다양한 입력 영상에 대하여 오검출을 제거하여 검출 성능을 향상시킬 수 있다.

필터 가중치 학습부(210)는 제1 내지 제8 필터(FT1~FT8)를 이용한 가중치 학습 횟수가 기 설정된 횟수에 도달하면, 제1 내지 제8 필터(FT1~FT8)의 가중치를 저장할 수 있다(단계 S156).

도 12는 도 10의 필터 가중치 학습부의 가중치 학습 과정을 나타내는 다른 예시도면이다. 도 12의 가중치 학습 과정은 도 11의 가중치 학습 과정의 단계 S153 이후의 과정을 달리하는 것으로서, 이하에서는 전술한 구성과 동일한 구성은 간략히 설명하거나 생략하기로 한다.

도 12를 참조하면, 필터 가중치 학습부(210)는 목적 영상(TI), 주요 필터 영상(MFI), 학습용 영상(LI), 및 보조 필터 영상(AFI)을 기초로 산출된 손실 함수(Loss)가 기 설정된 수치 이하인지 여부를 판단할 수 있다(단계 S157).

필터 가중치 학습부(210)는 손실 함수(Loss)가 기 설정된 수치를 초과하면, 제1 내지 제8 필터(FT1~FT8)의 가중치를 변경하여 제1 내지 제8 필터(FT1~FT8)를 이용한 필터링 과정을 반복할 수 있다(단계 S158). 필터 가중치 학습부(210)는 손실 함수(Loss)를 기초로 제1 내지 제8 필터(FT1~FT8)의 가중치를 변경시킬 수 있다. 따라서, 제1 내지 제8 필터(FT1~FT8)의 가중치는 학습 횟수가 증가할수록 정확도가 향상될 수 있다. 필터 가중치 학습부(210)는 제1 내지 제8 필터(FT1~FT8)를 포함함으로써, 상대적으로 적은 횟수의 가중치 학습을 수행하더라도, 가중치의 정확도를 향상시킬 수 있다.

필터 가중치 학습부(210)는 손실 함수(Loss)가 기 설정된 수치 이하이면, 제1 내지 제8 필터(FT1~FT8)의 가중치를 저장할 수 있다(단계 S159). 저장된 제1 내지 제8 필터(FT1~FT8)의 가중치는 분할 영상 생성부(220)가 동공 영역 분할 영상을 생성하는 과정에서 이용될 수 있다.

도 13은 일 실시예에 따른 필터 가중치 학습부의 목적 영상 생성 과정을 나타내는 도면이다. 도 14는 일 실시예에 따른 필터 가중치 학습부의 목적 영상 생성 과정을 나타내는 순서도이다.

도 13 및 도 14를 참조하면, 필터 가중치 학습부(210)는 학습용 영상(LI)을 수신할 수 있다(단계 S161). 여기에서, 학습용 영상(LI)은 동공과 관련된 의미 있는 정보(예를 들어, 동공의 공간적 정보) 또는 동공의 위치적 정보를 포함하는 다양한 영상으로 이루어질 수 있고, 필터 가중치 학습부(210)는 복수의 필터(FT1~FT8)의 가중치 학습의 정확도를 향상시킬 수 있다. 학습용 영상(LI)은 다양한 영상으로 이루어짐으로써, 동공 검출 장치(10)는 다양한 입력 영상으로부터 동공 좌표를 검출하는 성능을 향상시킬 수 있다.

필터 가중치 학습부(210)는 레이블(Lable)을 수행하여 학습용 영상(LI)으로부터 동공 좌표 데이터를 획득할 수 있다(단계 S162). 여기에서, 동공 좌표 데이터는 동공 영역의 복수의 화소 중 동공 중심과 일치하는 화소의 좌표 데이터에 해당할 수 있다. 필터 가중치 학습부(210)는 학습용 영상(LI)을 레이블링(Labeling)하여 동공 좌표 데이터를 획득할 수 있다. 예를 들어, 사용자는 학습용 영상(LI)에서 동공 중심을 선택 또는 지정함으로써, 학습용 영상(LI)을 레이블링할 수 있다.

필터 가중치 학습부(210)는 학습용 영상(LI)으로부터 획득한 동공 좌표 데이터를 팽창(Expanding)시킬 수 있다(단계 S163). 필터 가중치 학습부(210)는 동공 좌표 데이터를 동공 중심으로부터 일정 범위까지 팽창시킬 수 있다. 예를 들어, 팽창된 범위의 화소 값은 동공 중심의 화소 값과 동일할 수 있다. 따라서, 동공 영역 중 팽창된 범위 내의 화소는 최대 화소 값(예를 들어, 255의 화소 값)을 가질 수 있다.

필터 가중치 학습부(210)는 팽창된 동공 좌표 데이터에 가우시안 필터링(Gaussian Filtering)을 수행할 수 있고(단계 S164), 가우시안 필터링의 출력을 기초로 목적 영상(TI)을 생성할 수 있다(단계 S165). 예를 들어, 목적 영상(TI)은 가우시안 필터링에 의하여 동공 중심에서 최대 화소 값(예를 들어, 255의 화소 값)을 가질 수 있고, 동공 중심에서 멀어질수록 화소 값이 감소할 수 있다. 목적 영상(TI)은 팽창된 동공 좌표 데이터의 분포 영역 및 최대 화소 값을 기초로 동공과 관련된 의미 있는 정보(예를 들어, 동공의 공간적 정보)를 포함할 수 있다.

도 15는 일 실시예에 따른 분할 영상 생성부의 동공 영역 분할 영상을 생성하는 과정을 나타내는 도면이고, 도 16은 일 실시예에 따른 분할 영상 생성부의 동공 영역 분할 영상을 생성하는 과정을 나타내는 순서도이다.

도 15 및 도 16을 참조하면, 분할 영상 생성부(220)는 필터 가중치 학습부(210)에서 학습된 복수의 필터(FT1~FT5)의 가중치를 이용하여, 입력 영상(IN)에 대한 동공 영역 분할 영상(SI)을 생성할 수 있다.

분할 영상 생성부(220)는 영상 입력부(100)를 통해 촬영된 입력 영상(IN)을 수신할 수 있다(단계 S210).

분할 영상 생성부(220)는 제1 필터(FT1)를 이용하여 입력 영상(IN)을 컨볼루션 필터링할 수 있다(단계 S220). 예를 들어, 제1 필터(FT1)는 입력 영상(IN)의 복수의 화소 각각에 가중치를 곱한 뒤 그 결과를 더한 제1 특징 지도(FM1)를 출력할 수 있다. 제1 필터(FT1)는 필터 가중치를 입력 영상(IN) 상에 슬라이딩(Sliding)시킴으로써, 필터 가중치와 영상 데이터의 내적 연산을 수행할 수 있다.

분할 영상 생성부(220)는 인코더(ENC)를 이용하여 제1 특징 지도(FM1)를 맥스 풀링 필터링할 수 있다(단계 S230). 인코더(ENC)는 제2 및 제3 필터(FT2, FT3)를 포함할 수 있다.

분할 영상 생성부(220)는 제2 필터(FT2)를 이용해 제1 특징 지도(FM1)를 맥스 풀링 필터링할 수 있다. 제2 필터(FT2)는 제1 특징 지도(FM1)에서 주요 화소 값을 추출하여 크기가 작은 제2 특징 지도(FM2)를 출력할 수 있다.

분할 영상 생성부(220)는 제3 필터(FT3)를 이용하여 제2 특징 지도(FM2)를 맥스 풀링 필터링할 수 있다. 제3 필터(FT3)는 제2 특징 지도(FM2)에서 주요 화소 값을 추출하여 크기가 작은 제3 특징 지도(FM3)를 출력할 수 있다.

분할 영상 생성부(220)는 제4 필터(FT4)를 이용하여 제3 특징 지도(FM3)를 업 샘플링 필터링할 수 있다(단계 S240). 제4 필터(FT4)는 인코더(ENC)에 의하여 감소된 제3 특징 지도(FM3)의 크기를 입력 영상(IN)에 대응되는 크기만큼 증가시킬 수 있다. 예를 들어, 제4 필터(FT4)는 인코더(ENC)를 통과하기 전의 화소 값의 위치를 기억하여 제4 특징 지도(FM4)에 반영할 수 있다.

분할 영상 생성부(220)는 인코더(ENC)에 입력되는 특징 지도를 인코더(ENC)의 출력에 업 샘플링 필터링을 수행한 특징 지도에 연결시키는 스킵 연결망(Skip)을 포함할 수 있다. 스킵 연결망(Skip)은 인코더(ENC)에 입력되는 데이터를 인코더(ENC)의 출력에 그대로 전달할 수 있다. 예를 들어, 제1 특징 지도(FM1)는 인코더(ENC)에 의해 맥스 풀링 필터링된 후, 제4 필터(FT4)에 의해 업 샘플링 필터링될 수 있다. 또한, 제1 특징 지도(FM1)는 스킵 연결망(Skip)을 따라 전달됨으로써 인코더(ENC)에 의한 필터링 과정을 생략할 수 있고, 제4 필터(FT4)의 출력과 병합될 수 있다. 스킵 연결망(Skip)은 제1 특징 지도(FM1)가 갖는 동공과 관련된 의미 있는 정보 또는 동공의 위치적 정보 외에도 제1 특징 지도(FM1)가 갖는 세부 정보 또는 부수 정보를 디코더(DEC)에 제공할 수 있다.

분할 영상 생성부(220)는 제4 필터(FT4)의 필터링 결과와 제1 필터(FT1)의 필터링 결과를 병합할 수 있다(단계 S250). 분할 영상 생성부(220)는 제4 필터(FT4)에서 출력된 특징 지도와 스킵 연결망(Skip)에 의해 전달된 제1 특징 지도(FM1)를 병합하여 제4 특징 지도(FM4)를 생성할 수 있다. 예를 들어, 제4 필터(FT4)에서 출력된 특징 지도는 입력 영상(IN)의 주요 정보를 포함할 수 있고, 제1 특징 지도(FM1)는 입력 영상(IN)의 주요 정보와 부수 정보를 모두 포함할 수 있다. 따라서, 분할 영상 생성부(220)는 스킵 연결망(Skip)을 포함함으로써, 인코더(ENC)에서 제거된 세부 정보 또는 부수 정보에 따라 발생할 수 있는 오류를 방지할 수 있다. 또한, 분할 영상 생성부(220)는 스킵 연결망(Skip)을 포함함으로써, 제1 내지 제5 필터(FT1~FT5)의 가중치를 적절하게 조절하여 가중치 학습 효율을 향상시킬 수 있다.

분할 영상 생성부(220)는 제5 필터(FT5)를 이용하여 제4 특징 지도(FM4)를 컨볼루션 필터링할 수 있다(단계 S260). 예를 들어, 제5 필터(FT5)는 제4 특징 지도(FM4)의 복수의 화소 각각에 가중치를 곱한 뒤 그 결과를 더한 제5 특징 지도(FM5)를 출력할 수 있다. 제5 필터(FT5)는 필터 가중치를 제4 특징 지도(FM4) 상에 슬라이딩(Sliding)시킴으로써, 필터 가중치와 제4 특징 지도(FM4)의 내적 연산을 수행할 수 있다.

분할 영상 생성부(220)는 제5 특징 지도(FM5)를 기초로 동공 좌표 정보를 포함하는 동공 영역 분할 영상(SI)을 생성할 수 있다(단계 S270).

도 17은 일 실시예에 따른 동공 좌표 검출부의 동공 좌표를 검출하는 과정을 나타내는 도면이고, 도 18은 일 실시예에 따른 동공 좌표 검출부의 동공 좌표를 검출하는 과정을 나타내는 순서도이다.

도 17 및 도 18을 참조하면, 동공 좌표 검출부(230)는 동공 영역 분할 영상(SI)을 수신하여 동공 좌표(OUT)를 출력할 수 있다.

동공 좌표 검출부(230)는 분할 영상 생성부(220)로부터 동공 영역 분할 영상(SI)을 수신할 수 있다(단계 S310).

동공 좌표 검출부(230)는 동공 영역 분할 영상의 노이즈를 제거(Noise Reduction)할 수 있다(단계 S320).

동공 좌표 검출부(230)는 노이즈가 제거된 동공 영역 분할 영상에 인덱싱(Indexing)을 수행할 수 있다(단계 S330).

동공 좌표 검출부(230)는 노이즈가 제거된 복수의 화소 중 적어도 하나의 화소를 선택하여 동공 좌표를 검출할 수 있다(단계 S340). 따라서, 동공 좌표 검출부(230)는 노이즈가 제거된 동공 영역 분할 영상에서 최대 화소 값을 갖는 화소를 인덱싱함으로써, 동공 좌표(OUT)를 검출할 수 있다.

이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

10: 동공 검출 장치 100: 영상 입력부
200: 영상 처리부 210: 필터 가중치 학습부
220: 분할 영상 생성부 230: 동공 좌표 검출부
300: 제어부 400: 메모리
500: 표시부

Claims

학습용 영상으로부터 획득한 동공 좌표 데이터를 기초로 목적 영상을 생성하고, 복수의 필터를 이용하여 상기 학습용 영상을 필터링한 필터 영상을 상기 목적 영상과 기 설정된 기준만큼 유사하게 하기 위하여 상기 복수의 필터의 가중치를 학습하는 필터 가중치 학습부;
상기 학습된 가중치를 갖는 복수의 필터를 이용하여 입력 영상에 대한 동공 영역 분할 영상을 생성하는 분할 영상 생성부; 및
상기 동공 영역 분할 영상의 노이즈를 제거하고, 노이즈가 제거된 복수의 화소 중 적어도 하나의 화소를 선택하여 동공 좌표를 검출하는 동공 좌표 검출부를 포함하는 동공 검출 장치.
제1 항에 있어서,
상기 복수의 필터는,
가중치를 적용한 컨볼루션 필터링을 수행하여 특징 지도를 출력하는 컨볼루션 필터;
입력된 특징 지도에서 주요 값을 선택하여 맥스 풀링 필터링을 수행하는 맥스 풀링 필터; 및
입력된 특징 지도에 업 샘플링 필터링을 수행하는 업 샘플링 필터를 포함하는 동공 검출 장치.
제2 항에 있어서,
상기 복수의 필터는 적어도 하나의 상기 맥스 풀링 필터로 구성된 인코더를 포함하는 동공 검출 장치.
제2 항에 있어서,
상기 복수의 필터는 적어도 하나의 상기 업 샘플링 필터, 및 적어도 하나의 상기 컨볼루션 필터로 구성된 디코더를 포함하는 동공 검출 장치.
제3 항에 있어서,
상기 필터 가중치 학습부는 상기 인코더에 입력되는 특징 지도를 상기 인코더의 출력에 업 샘플링 필터링을 수행한 특징 지도에 연결시키는 스킵 연결망을 포함하는 동공 검출 장치.
제3 항에 있어서,
상기 복수의 필터는 적어도 하나의 상기 맥스 풀링 필터, 및 적어도 하나의 상기 업 샘플링 필터로 구성된 보조 필터를 더 포함하는 동공 검출 장치.
제2 항에 있어서,
상기 필터 가중치 학습부는 상기 학습용 영상을 컨볼루션 필터링한 특징 지도와, 상기 컨볼루션 필터링한 특징 지도에 맥스 풀링 필터링과 업 샘플링 필터링을 추가로 수행한 특징 지도를 병합하고, 병합된 특징 지도를 컨볼루션 필터링하는 동공 검출 장치.
제7 항에 있어서,
상기 필터 가중치 학습부는 상기 복수의 필터의 가중치 학습 횟수가 기 설정된 횟수에 도달하지 않으면, 상기 복수의 필터의 가중치를 변경하여 상기 복수의 필터를 이용한 필터링 과정을 반복하는 동공 검출 장치.
제8 항에 있어서,
상기 필터 가중치 학습부는 상기 필터 영상과 상기 목적 영상의 비교 결과를 기초로 상기 복수의 필터의 가중치를 변경시키는 동공 검출 장치.
제7 항에 있어서,
상기 필터 가중치 학습부는 상기 필터 영상과 상기 목적 영상의 비교 결과가 기 설정된 기준을 충족하지 못하면, 상기 복수의 필터의 가중치를 변경하여 상기 복수의 필터를 이용한 필터링 과정을 반복하는 동공 검출 장치.
제2 항에 있어서,
상기 필터 가중치 학습부는 상기 학습용 영상에 컨볼루션 필터링 및 맥스 풀링 필터링을 순차적으로 수행하고, 상기 맥스 풀링 필터링한 특징 지도에 업 샘플링 필터링 및 컨볼루션 필터링을 추가로 수행하여 주요 필터 영상을 생성하며, 상기 맥스 풀링 필터링한 특징 지도에 맥스 풀링 필터링, 업 샘플링 필터링, 및 컨볼루션 필터링을 추가적으로 수행하여 보조 필터 영상을 생성하는 동공 검출 장치.
제11 항에 있어서,
상기 필터 가중치 학습부는 상기 복수의 필터의 가중치 학습 횟수가 기 설정된 횟수에 도달하지 않으면, 상기 복수의 필터의 가중치를 변경하여 상기 복수의 필터를 이용한 필터링 과정을 반복하는 동공 검출 장치.
제12 항에 있어서,
상기 필터 가중치 학습부는 상기 목적 영상, 상기 주요 필터 영상, 상기 학습용 영상, 및 상기 보조 필터 영상을 기초로 산출된 손실 함수를 기초로 상기 복수의 필터의 가중치를 변경시키는 동공 검출 장치.
제11 항에 있어서,
상기 필터 가중치 학습부는 상기 목적 영상, 상기 주요 필터 영상, 상기 학습용 영상, 및 상기 보조 필터 영상을 기초로 산출된 손실함수가 기 설정된 수치를 초과하면, 상기 복수의 필터의 가중치를 변경하여 상기 복수의 필터를 이용한 필터링 과정을 반복하는 동공 검출 장치.
제6 항에 있어서,
상기 필터 가중치 학습부는 상기 학습용 영상을 컨볼루션 필터링하여 상기 인코더에 입력되는 특징 지도와, 상기 인코더의 출력에 업 샘플링 필터링을 수행한 특징 지도를 병합하고, 병합된 특징 지도를 컨볼루션 필터링하여 주요 필터 영상을 생성하며, 상기 보조 필터를 이용하여 상기 인코더의 출력을 필터링하여 보조 필터 영상을 생성하는 동공 검출 장치.
제15 항에 있어서,
상기 필터 가중치 학습부는 상기 복수의 필터의 가중치 학습 횟수가 기 설정된 횟수에 도달하지 않으면, 상기 복수의 필터의 가중치를 변경하여 상기 복수의 필터를 이용한 필터링 과정을 반복하는 동공 검출 장치.
제16 항에 있어서,
상기 필터 가중치 학습부는 상기 목적 영상, 상기 주요 필터 영상, 상기 학습용 영상, 및 상기 보조 필터 영상을 기초로 산출된 손실 함수를 기초로 상기 복수의 필터의 가중치를 변경시키는 동공 검출 장치.
제15 항에 있어서,
상기 필터 가중치 학습부는 상기 목적 영상, 상기 주요 필터 영상, 상기 학습용 영상, 및 상기 보조 필터 영상을 기초로 산출된 손실함수가 기 설정된 수치를 초과하면, 상기 복수의 필터의 가중치를 변경하여 상기 복수의 필터를 이용한 필터링 과정을 반복하는 동공 검출 장치.
제1 항에 있어서,
상기 필터 가중치 학습부는 상기 학습용 영상을 레이블링(Labeling)하여 동공 좌표 데이터를 획득하여, 상기 동공 좌표 데이터를 팽창시키고 가우시안 필터링을 수행하여 상기 목적 영상을 생성하는 동공 검출 장치.
제1 항에 있어서,
상기 동공 좌표 검출부는 상기 동공 영역 분할 영상의 노이즈를 제거하고, 노이즈가 제거된 영상을 인덱싱(Indexing)하여 동공 좌표를 검출하는 동공 검출 장치.