KR101331055B1

KR101331055B1 - 시각 주의 분석에 근거한 시각 보조 시스템 및 상기 시각 주의 분석을 이용한 시각 보조 방법

Info

Publication number: KR101331055B1
Application number: KR1020100079718A
Authority: KR
Inventors: 이형직; 배창석; 이전우
Original assignee: 한국전자통신연구원
Priority date: 2010-08-18
Filing date: 2010-08-18
Publication date: 2013-11-26
Also published as: US20120044338A1; KR20120017183A

Abstract

사용자의 시각 주의 분석에 의한 시각 보조 시스템 및 방법이 개시된다. 이 시각 보조 시스템 및 방법에서는, 사용자의 눈동자를 추적하여, 추적 결과인 눈동자의 초점 정보를 사용자가 주시하는 전방영역에 대응하는 외부 영상에 매칭(또는 통합)한다. 이후, 외부 영상에 매칭된 상기 눈동자의 초점 정보의 분포를 이용하여 상기 외부 영상에서 사용자가 주시하는 시각 주의 영상 블록을 추출한다. 이후, 추출된 시각 주의 영상 블록을 일정 비율로 확대하여 사용자에게 제공한다.

Description

시각 주의 분석에 근거한 시각 보조 시스템 및 상기 시각 주의 분석을 이용한 시각 보조 방법{VISUAL AID SYSTEM BASED ON THE ANALYSIS OF VISUAL ATTENTION AND VISUAL AIDING METHOD FOR USING THE ANALYSIS OF VISUAL ATTENTION}

본 발명은 시각 주의 분석에 근거한 시각 보조 시스템 및 상기 시각 주의 분석을 이용한 시각 보조 방법에 관한 것으로, 더욱 상세하게는, 사물을 정확하게 볼 수 없는 사용자를 위해, 머리에 착용 가능하도록 설계된 시각 주의 분석에 근거한 시각 보조 시스템 및 상기 시각 주의 분석을 이용한 시각 보조 방법에 관한 것이다.

최근 시력 기능을 완전히 상실한 시각 장애인의 경우, 시력 기능을 대체하는 영상 기술과 상기 영상 기술에 의해 획득된 영상을 분석하여, 그 분석 결과를 음성 정도 또는 촉각 정보 등의 다른 형태의 정보로 변환하여, 시력 기능을 완전히 상실한 시각 장애인에게 제공하는 연구가 활발히 진행되고 있다.

그런데, 시력 기능을 완전히 상실하지는 않았으나, 안경과 같은 시각 보조 기구를 사용하고도 사물을 정확하게 볼 수 없는 시각 장애인의 경우, 굳이 음성 정보 또는 촉각 정보 등을 시각 장애인에게 제공할 필요는 없다.

즉, 시력 기능을 완전히 상실하지 않은 시각 장애인에게는 시력 기능을 대체하는 영상 기술에 의해 획득된 영상 정보를 제공하는 것만으로도 그 시각 보조의 역할은 충분하다.

따라서, 시력 기능을 완전히 상실하지 않은 시각 장애인에게는 효과적인 시각 보조를 위해 어떠한 영상 정보를 제공할 것인지를 판단하는 것이 중요하다. 즉, 시력 기능을 완전히 상실하지 않은 시각 장애인에게 제공되는 영상 정보에 대한 연구가 중요하다.

그러나 영상 정보에 포함된 수많은 정보 중 어떤 정보를 분석하고, 이 분석된 정보를 어떠한 방식으로 시력 기능을 완전히 상실하지 않은 시각 장애인에게 제공하는 것이 효과적인지에 대한 연구 개발은 미흡한 실정이다.

따라서 본 발명의 목적은 사용자의 시각 주의(visual attention)를 분석하고, 그 분석 결과에 대응하는 영상을 사용자에게 제공하는 시각 보조 시스템을 제공하는 것이다.

본 발명의 다른 목적은 상기 시각 주의 분석을 이용한 시각 보조 방법을 제공하는 것이다.

상기와 같은 기술적 과제를 해결하기 위한 본 발명의 일면에 따른 시각 보조 시스템은, 시야를 확보하는 렌즈와, 상기 렌즈를 지지하는 지지대를 포함하는 구조체와, 상기 구조체의 전면 및 후면에 설치되어, 상기 사람의 시선이 향하는 전방 영역을 촬영한 제1 영상과 상기 사람의 눈동자를 포함하는 눈 영역을 촬영한 제2 영상을 생성하는 카메라부와, 상기 몸체의 측면에 장착되고, 상기 제1 영상 및 상기 제2 영상을 입력받아서, 상기 제1 영상과 상기 제2 영상을 통합한 제3 영상을 생성하고, 생성된 상기 제3 영상을 다수의 블록으로 구획하여, 상기 눈동자의 초점이 분포한 정도를 각 블록별로 나타내는 분포 정보를 생성하는 제어부와, 상기 제어부로부터 전달받은 분포 정보에 근거하여 상기 전방 영역에서 상기 사람의 시선이 집중적으로 향하는 시각 주의 영역(visual attention lobe)을 추론하고, 상기 다수의 영상 블록에서 상기 시각 주의 영역에 대응하는 시각 주의 영상 블록에 대한 정보를 포함하는 시각 주의 분석 정보를 생성하는 시각 주의 분석부 및 상기 사람의 눈동자와 마주하는 상기 렌즈의 후면에 설치되고, 상기 시각 주의 분석 정보를 제공받은 상기 제어부가 상기 시각 주의 영상 블록을 확대하고, 상기 제어부로부터 확대된 상기 시각 주의 영상 블록을 제공받아서 표시하는 디스플레이부를 포함한다.

본 발명의 다른 일면에 따른 시각 보조 방법은, 구조체에 설치된 카메라가 상기 사람의 시선이 향하는 전방 영역을 촬영한 제1 영상과 상기 사람의 눈동자를 포함하는 눈 영역을 촬영한 제2 영상을 생성하는 단계와, 상기 제1 영상과 상기 제2 영상을 통합하여, 상기 제1 영상에 상기 눈동자의 초점이 표시된 제3 영상을 생성하는 단계와, 상기 제어부가 상기 생성된 상기 제3 영상을 다수의 블록으로 구획하여, 상기 눈동자의 초점이 분포한 정도를 각 블록별로 나타내는 분포 정보를 생성하는 단계와, 상기 분포 정보에 근거하여 상기 전방 영역에서 상기 사람의 시선이 집중적으로 향하는 시각 주의 영역(visual attention lobe)을 추론하는 단계 및 상기 눈 영역과 마주하도록 상기 구조체의 후면에 설치된 디스플레이를 통해 상기 시각 주의 영역에 대응하는 시각 주의 영상 블록을 확대하고, 확대된 시각 주의 영상 블록을 표시하는 단계를 포함한다.

본 발명에 의하면, 시력 기능을 완전히 상실하지 않은 사용자뿐만 아니라 시력 기능이 정상적인 사용자가 주시하는 사물의 관심영역을 확대된 영상 정보의 형태로 제공함으로써, 사용자에게 효과적인 시각 보조 기능을 제공한다. 예컨대, 지하철역에 배치된 표지판 또는 일반 식당에 배치된 메뉴판 등이 잘 안 보이는 경우에, 사용자가 표지판 또는 메뉴판을 주시하는 경우, 상기 표지판과 메뉴판을 관심영역으로 설정하고, 설정된 관심영역을 확대된 영상 정보로 사용자에게 표시함으로써, 사용자에게 효과적인 시각 보조 기능을 제공한다. 이러한 본 발명은 사람의 신원을 파악하는 얼굴 인식 분야 또는 GPS 기술 분야 등 다양한 응용분야에 활용될 수 있다.

도 1 및 2는 본 발명의 일실시예에 따른 시각 보조 시스템을 입체적으로 보여주는 구성도들이다.
도 3은 도 1 및 도 2에 도시된 시각 보조 시스템에 포함된 제어부와 시각 주의 분석부의 내부 구성을 상세히 보여주는 블록도이다.
도 4는 본 발명의 일실시예에 따른 시각 주의 분석을 이용한 시각 보조 방법을 설명하기 위한 순서도이다.

본 발명에서는 전술한 종래 기술의 문제점을 해결하기 위한 사용자의 시각 주의 분석에 의한 시각 보조 시스템 및 방법이 개시된다. 이 시각 보조 시스템 및 방법에서는, 사용자의 눈동자를 추적하여, 추적 결과인 눈동자의 초점 정보를 사용자가 주시하는 전방영역에 대응하는 외부 영상에 매칭(또는 통합)한다. 이후, 외부 영상에 매칭된 상기 눈동자의 초점 정보의 분포를 이용하여 사용자의 시선이 집중되는 시각 주의 영상 블록을 상기 외부 영상으로부터 추출한다. 이후, 추출된 시각 주의 영상 블록을 일정 배수로 확대하고, 확대한 시각 주의 영상 블록을 사용자에게 제공한다.

본 발명의 시각 보조 시스템은 다양한 외관 형태로 구현될 수 있으며, 특별히 한정하는 것은 아니지만, 아래의 실시예에서는 머리 착용 가능하도록 안경 형태의 구조체에 각종 모듈박스 및 디스플레이 장치가 부착된 시각 보조 시스템이 개시된다.

또한 아래의 실시예에서는, 본 발명의 시각 보조 시스템이 시각 능력을 완전히 상실하지 않은 시각 장애인에게 매우 유용한 시스템으로 설명되고 있으나, 시각 능력이 정상적인 사용자에게도 매우 유용한 시스템으로 활용될 수 있음은 자명하다. 예컨대, 망원경, 군사용 또는 비군사용 야간 투시경 및 썬글라스 등에 적용되어, 시각 능력이 정상적인 사용자에게도 매우 유용한 시스템으로 활용될 수 있다.

이와 같이, 본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있으므로, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다거나 "직접 접속되어"있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

이하, 첨부된 도면을 참조하여, 본 발명의 실시예에 대해 상세히 설명하기로 한다.

도 1 및 2는 본 발명의 일실시예에 따른 시각 보조 시스템을 입체적으로 보여주는 구성도들이다.

도 1을 참조하면, 본 발명의 일실시예에 따른 시각 보조 시스템은 구조체(100), 카메라부(200), 제어부(300), 시각 주의 분석부(400) 및 디스플레이부(500)를 포함한다.

구조체(100)는 시야를 확보하는 렌즈(110)와, 상기 렌즈(110)를 지지하여, 사용자의 머리에 착용가능하도록 형성된 지지대(120)를 포함한다.

카메라부(200)는 상기 사용자의 시선이 향하는 전방영역을 촬영한 제1 영상을 생성하는 제1 카메라(210)와 상기 사용자의 눈동자를 포함하는 눈 영역을 촬영한 제2 영상을 생성하는 제2 카메라(220)를 포함한다. 제1 카메라(210)는 사용자의 시선이 향하는 전방영역을 향하도록 상기 구조체(100)의 전면 예컨대, 구조체(100)의 지지대(120) 일단부에 부착된다. 제2 카메라(220)는 상기 사용자의 우측 눈 영역을 촬영하는 우측 카메라(222)와 상기 사용자의 좌측 눈 영역을 촬영하는 좌측 카메라(224)를 포함한다. 따라서, 제2 영상은 좌측 눈 영역을 촬영한 좌측 영상과 우측 눈 영역을 촬영한 우측 영상을 포함한다. 우측 및 좌측 카메라(222, 224)는 사용자의 좌측 및 우측 눈 영역을 향하도록 지지대(120)의 타단부에 각각 부착된다.

제어부(300)는 모듈 박스 형태로 구현되어, 상기 구조체(100)의 측면, 예컨대, 상기 렌즈(110)로부터 수직방향으로 연장되는 지지대의 일부분에 부착될 수 있다. 제어부(300)는 상기 카메라부(200)와 전기적으로 연결된다. 도면의 간략화를 위해 제어부(300)와 카메라부(210)를 전기적으로 연결하는 도선은 도시하지 않는다. 제어부(300)는 카메라부(200)의 제1 카메라(210)로부터 제1 영상을 입력받고, 제2 카메라(220)로부터 제2 영상을 입력받고, 입력받은 제1 영상과 상기 제2 영상을 통합한 제3 영상을 생성한다. 제어부(300)는 생성된 제3 영상을 다수의 영상 블록으로 구획하고, 각 영상 블록별로 나타나는 사용자의 눈동자 초점이 분포한 정도를 계산하고, 계산 결과를 분포 정보로서 생성한다.

시각 주의 분석부(400)는 상기 제어부(300)와 WBAN 또는 WLAN 등과 같은 무선 네트워크를 통해 무선 통신을 수행하고, 이 무선 통신 방식을 이용하여 상기 제어부(300)로부터 분포 정보를 수신한다. 시각 주의 분석부(400)는 수신된 분포 정보에 근거하여 상기 전방 영역에서 상기 사용자의 시선이 집중적으로 향하는 시각 주의 영역(visual attention lobe)을 추론(검출 또는 추출)하고, 상기 다수의 영상 블록에서 추론된 시각 주의 영역에 대응하는 시각 주의 영상 블록을 검출한다. 시각 주의 분석부(400)는 검출한 시각 주의 영상 블록을 시각 주의 분석 정보로서, 생성하여 다시 제어부(300)로 송신한다.

제어부(300)는 시각 주의 분석부(400)로부터 수신한 시각 주의 분석 정보에 근거하여 제1 영상으로부터 시각 주의 영상 블록을 추출하고, 추출된 시각 주의 영상 블록을 일정 비율로 확대한다. 확대된 시각 주의 영상 블록은 디스플레이부(500)로 제공된다.

디스플레이부(500)는 상기 사람의 눈동자와 마주하는 렌즈(110)의 후면에 부착되어, 사용자가 상기 구조체(100)를 머리에 착용한 상태에서 제어부(300)로부터 제공받은 확대된 시각 주의 영상 블록을 표시한다.

이와 같이, 본 발명의 일실시예에 따른 시각 보조 시스템은 사용자가 주시하는 사물의 관심영역 즉, 시각 주의 영역을 사용자의 눈동자 움직임을 추적하여 자동으로 인식하고, 인식한 시각 주의 영역을 확대하여 사용자에게 제공한다. 따라서, 사용자는 특별한 기기 조작 없이도 단순히 사물을 주시하는 행위만으로 사물의 특정 부위에 해당하는 시각 주의 영역(또는 관심 영역)에 대한 상세한 정보를 시각적으로 손쉽게 확인할 수 있다.

이하, 도 3을 참조하여 상기 제어부(300)와 시각 주의 분석부(400)에 대해 더욱 상세히 설명하기로 한다.

도 3은 도 1 및 도 2에 도시된 시각 보조 시스템에 포함된 제어부와 시각 주의 분석부의 내부 구성을 상세히 보여주는 블록도이다.

도 3을 참조하면, 먼저, 제어부(300)가 상세히 설명된다.

제어부(300)는 영상 입력부(310), 눈동자 추적부(320), 영상 통합부(330), 분포 계산부(340), 제1 인터페이스(350), 영상 처리부(360) 및 구동부(370)를 포함한다.

영상 입력부(310)는 제1 카메라(210)로부터의 제1 영상과 제2 카메라(220)로부터의 제2 영상을 입력받고, 제1 영상을 영상 통합부(330)로, 제2 영상을 눈동자 추적부(320)로 전달한다. 이 과정에서, 영상 입력부(310)는 입력받은 제1 및 제2 영상을 제어부(300) 내부에서 처리 가능한 영상 데이터로 변환할 수 있다.

눈동자 추적부(320)는 영상 입력부(310)를 통해 전달받은 상기 사용자의 눈동자를 포함하는 눈 영역을 촬영한 제2 영상을 입력받고, 제2 영상으로부터 상기 눈 영역에서 상기 눈동자 영역을 검출한다. 이후, 눈동자 추적부(320)는 검출된 상기 눈동자 영역에서 상기 눈동자의 초점을 추적한다.

구체적으로, 눈동자 추적부(320)는 눈동자 검출부(322) 및 좌표 산출부(324)를 포함한다. 눈동자 검출부(322)는 상기 눈 영역에서 상기 눈동자 영역을 검출한다. 예컨대, 상기 눈 영역에서 눈동자 외부의 밝기값과 눈동자 내부의 밝기값의 차이를 이용하여 상기 눈 영역에서 상기 눈동자 영역을 검출한다. 좌표 산출부(324)는 상기 눈 영역의 중심을 기준 좌표로 설정하고, 설정된 기준 좌표를 기준으로 상기 검출된 눈동자 영역의 중심 좌표를 산출한다. 산출된 중심 좌표가 눈동자의 초점이 된다. 산출된 눈동자의 초점 즉, 눈동자의 중심 좌표값은 영상 통합부(330)로 전달된다.

영상 통합부(330)는 영상 입력부(310)로부터 전달받은 제1 영상에 제2 영상을 매칭시킨다. 즉, 영상 통합부(330)는 제1 영상과 제2 영상을 통합하고, 통합된 결과로서 제3 영상을 생성한다. 구체적으로 상기 좌표 산출부(324)로부터 제공받은 눈동자의 초점을 제1 영상에 표시(또한 매칭)함으로써, 상기 제1 영상에 제2 영상이 매칭된 상기 제3 영상이 생성된다. 생성된 제3 영상은 분포 계산부(340)로 제공된다.

분포 계산부(340)는 상기 제3 영상을 N × N(N은 2 이상의 자연수) 개의 영상 블록들로 구획하고, 구획된 영상 블록들 각각에 포함된(표시된) 상기 눈동자의 초점 수를 계산하고, 각 영상 블록별로 눈동자의 초점이 분포한 정도를 나타내는 분포 정보를 생성한다. 여기서 분포 정보에는 해당 영상 블록을 정의하는 색인 정보와 해당 영상 블록에 분포한 눈동자의 초점 수에 대한 정보가 포함된다. 생성된 분포 정보는 제1 인터페이스(350)로 제공된다.

제1 인터페이스(350)는 상기 분포 정보를 WBAN 또는 WLAN 등과 같은 무선 통신 규격에 따라 무선 신호로 변환하고, 변환된 무선 신호를 무선 네트워크(600)를 통해 시각 주의 분석부로 송신한다.

한편, 제어부(300)에 포함된 나머지 구성들 즉, 영상 처리부(360) 및 구동부(370)에 대한 설명은 아래의 시각주의 분석부(400)에 대한 설명 이후에 기술한다.

이하, 제어부(30O)로부터 무선 신호의 형태로 수신된 상기 분포 정보를 분석하여 시각 주의 영역(visual attention lobe)을 추론(검출 또는 추출)하는 시각 주의 분석부(400)가 설명된다.

시각 주의 분석부(400)는 제2 무선 인터페이스(410)와 시각 주의 분석 추론부(420)를 포함한다.

제2 무선 인터페이스(410)는 무선 네트워크를 통해 제어부로부터 송신된 무선 신호에서 분포 정보를 추출하고, 이를 시각 주의 분석 추론부(420)에 제공한다.

시각 주의 분석 추론부(420)는 상기 제2 무선 인터페이스(410)를 통해 제공받은 상기 분포 정보에 분석하여, 눈동자의 초점 수가 가장 많이 분포한 시각 주의 영상 블록을 검출하고, 상기 검출된 시각 주의 영상 블록을 시각 주의 영역(visual attention lobe)을 인지한다. 즉, 색인화된 각 영상 블록들을 눈동자의 초점 수대로 배열하고, 배열된 각 영상 블록들 중 눈동자의 초점 수가 가장 많이 분포한 영상 블록을 시각 주의 영상 블록으로서 검출한다. 검출된 시각 주의 영상 블록은 시각 주의 영역으로 인지된다. 시각 주의 분석 추론부(420)는 인지된 상기 시각 주의 영상 블록에 대한 시각 주의 분석 정(INF2)보를 무선 네트워크(600)를 통해 상기 제어부(300)로 송신한다.

한편, 시각 주의 분석 추론부(420)는 상기 시각 주의 영상 블록을 인지하는 과정에서, 눈동자의 초점 수가 가장 많이 분포한 영상 블록이 복수 개일 수 있다. 즉, 눈동자의 초점 수가 가장 많이 분포한 제1 영상 블록이 검출되고, 상기 제1 영상 블록과 동일한 초점 수를 갖는 제2 영상 블록이 검출될 수도 있다. 특히 제1 영상 블록과 제2 영상 블록이 인접해 있는 경우, 사용자의 눈동자가 관심을 가지고 주시하는 시각 주의 영역이 정확히 어느 영상 블록인지 정의할 수 없다. 따라서, 이 경우에는 시각 주의 분석 추론부(420)가 제어부(300)에게 분포 정보를 다시 요구하는 요청 정보(REQ)를 송신한다.

그러면, 분포 계산부(340)는 상기 요청 정보에 응답하여 영상 통합부(330)로부터 제공받은 상기 제3 영상을 N-1 × N-1(N은 2 이상의 자연수) 개의 영상 블록들로 구획하고, 구획된 영상 블록들 각각에 포함된(표시된) 상기 눈동자의 초점 수를 다시 계산한다. 즉, 분포 계산부(340)은 구획된 영상 블록의 사이즈를 증가시키고, 사이즈가 증가된 영상 블록들 각각에 포함된(표시된) 눈동자의 초점 수를 다시 계산한다. 이후, 분포 계산부(340)는 다시 계산된 결과로서 분포 정보를 시각주의 분석부(400)로 다시 송신하고, 시각주의 분석부(400)는 재 송신된 상기 분포 정보에 근거하여 시각 주의 영역을 인지하는 과정이 수행된다. 인지된 결과는 시각 주의 분석 정보(INF2)로서 무선 네트워크를 통해 제어부(300)로 송신된다.

도 3의 제어부(300)를 다시 참조하면, 제어부(300)의 영상 처리부(360)는 영상 입력부(310)로부터 제1 영상을 입력받고, 제1 인터페이스(350)를 통해 시각 주의 분석 정보(INF2)를 입력받는다. 이후, 영상 처리부(360)는 상기 시각 주의 분석 정보(INF2)에 따라 상기 제1 영상으로부터 시각 주의 영역에 대응하는 시각 주의 영상 블록을 추출하고, 추출된 시각 주의 영상 블록을 소정의 비율로 확대하며, 일례로, 그 해상도를 낮추는 방식으로 확대될 수 있다.

구동부(370)는 영상 처리부(360)로부터 확대된 시각 주의 영상 블록을 입력받아서, 디스플레이부(500)에서 처리가능한 데이터로 변환하여 출력한다. 예컨대, 확대된 시각 주의 영상 블록을 구성하는 모든 픽셀들의 계조(gray) 값들을 각각 대응하는 계조 전압들로 변환하고, 변환된 계조 전압들을 디스플레이부(500)로 제공한다.

디스플레이부(500)는 변환된 계조 전압에 응답하여 상기 확대된 시각 주의 영상 블록을 디스플레이한다. 이로 인해, 사용자는 자신이 주시하는 확대된 시각주의 영역을 볼수 있게 된다. 여기서, 디스플레이부는 액정 표시 모듈 또는 OLED 모듈로 구현될 수 있으며, 그 크기 등을 고려하여, 백라이트가 필요없는 OLED로 구현되는 것이 바람직하다.

도 4는 본 발명의 일실시예에 따른 시각 주의 분석을 이용한 시각 보조 방법을 설명하기 위한 순서도이다. 설명의 이해를 돕기 위하여, 도 3이 함께 참조된다.

도 4를 참조하면, 먼저, 도 3의 제어부(300)가 구조체에 설치된 카메라를 통해 사용자의 시선이 향하는 전방 영역을 촬영한 제1 영상과 상기 사람의 눈동자를 포함하는 눈 영역을 촬영한 제2 영상을 입력받는다(S412).

이어, 입력받은 제2 영상에서 눈동자 영역을 검출하여, 검출된 눈동자의 중심 좌표를 산출하고, 산출된 중심 좌표는 눈동자의 초점으로 정의되어, 눈동자 추적 과정이 수행된다(S414).

이어, 외부영상 즉, 상기 제1 영상과 상기 제2 영상의 통합과정을 통해 상기 제1 영상에 눈동자의 초점이 표시된 제3 영상이 생성된다(S416).

이어, 생성된 제3 영상이 N × N(N은 2 이상의 자연수) 개의 영상 블록들로 구획하고, 구획된 영상 블록들 각각에 나타나는 눈동자의 초점 수가 계산된다. 이를 통해 각 영상 블록별로 눈동자의 초점이 분포한 정도를 나타내는 분포가 계산된다(S418).

이어, 영상 블록별로 계산된 분포 결과는 분포 정보로서 도 3의 시각주의 분석부(400)로 송신된다(S420).

이어, 시각주의 분석부(400)는 상기 분포 정보를 수신하고(S422), 수신된 분포 정보를 분석하여 시각 주의 영상 블록을 추론(인지 또는 검출)한다(S424). 이때, 2개 이상의 인접한 시각 주의 영상 블록들이 추론되면(S426), 제어부(300)로 영상 블록별로 눈동자의 초점이 분포한 정도를 나타내는 분포 계산을 재요청한다(S426에서 S418로). 이때, 제어부(300)는 구획된 영상 블록의 사이즈(size)를 증가시켜 눈동자 초점 수의 분포를 계산한다. 즉, 최초 눈동자 초점 수의 분포 계산이 N × N 개의 영상 블록들로 구획되어 수행된 경우, 상기 눈동자 초점 수의 분포 계산의 재요청이 있는 경우, N-1 × N-1 개의 영상 블록들로 구획되어 수행된다. 이후, 상기 과정들(S420, S422, S424, S426)이 반복된다.

이어, 최종적으로 시각 주의 분석부(400)는 시각주의 영상 블록을 선택하고, 선택된 시각 주의 영상 블록에 대한 정보 즉, 시각 주의 영상 블록을 나타내는 색인 정보 등을 시각 주의 분석 정보로서 제어부(300)로 송신한다(S428에서 S430으로).

이어, 도 3의 제어부(300)는 시각 주의 분석 정보를 수신하고(S430), 수신된 시각 주의 분석 정보에 근거하여 입력받은 외부 영상 즉, 상기 제1 영상에서 시각 주의 영상 블록을 추출하고, 추출된 시각 주의 영상 블록을 소정 비율로 확대한다(S432).

이어, 확대된 시각 주의 영상 블록은 구조체에 설치된 디스플레이를 통해 사용자에게 보여진다.

지금까지 설명한 바와 같이, 본 발명은 사용자의 시각 주의 분석을 통해 사용자가 보려고 하는 영역을 자동으로 분석하고, 이 분석결과를 확대된 영상으로 사용자에게 제공한다. 따라서, 시력이 매우 나쁜 사용자들뿐만 아니라 시력이 정상적인 사용자가 어떠한 물체의 정보를 알고 싶을 때, 자동으로 사용자가 보고 있는 영역의 정보가 확대되어서 표시되므로, 사용자에게 시각 보조의 기능을 제공할 수 있게 된다.

Claims

사용자의 주시하는 전방 영역을 촬영한 제1 영상과 상기 사용자의 눈동자를 포함하는 눈 영역을 촬영한 제2 영상을 생성하는 카메라부;
상기 제1 및 제2 영상을 입력받아서, 상기 제1 영상 및 상기 제2 영상을 통합한 제3 영상을 생성하고, 상기 제3 영상을 다수의 영상 블록으로 구획하여, 상기 눈동자의 초점이 분포한 정도를 각 영상 블록별로 나타내는 분포 정보를 생성하는 제어부;
상기 분포 정보를 입력받아서, 상기 전방 영역에서 상기 사용자가 주시하는 시각 주의 영역(visual attention lobe)을 추론하고, 상기 다수의 영상 블록에서 상기 시각 주의 영역에 대응하는 시각 주의 영상 블록에 대한 시각 주의 분석 정보를 생성하는 시각 주의 분석부; 및
상기 시각 주의 분석부로부터 상기 시각 주의 분석 정보를 수신한 상기 제어부가 상기 시각 주의 분석 정보에 근거하여 상기 제1 영상에서 상기 시각 주의 영역에 대응하는 상기 시각 주의 영상 블록을 추출하여 확대하고, 확대된 상기 시각 주의 영상 블록을 제공받아서 표시하는 디스플레이부
를 포함하는 시각 보조 시스템.
제1항에 있어서, 시야를 확보하는 렌즈와, 상기 렌즈의 일단부와 결합하는 제1 지지대와 상기 렌즈로부터 수직방향으로 상기 제1 지지대로부터 연장되는 제2 지지대를 포함하여, 상기 사용자의 머리에 착용가능하도록 형성된 지지수단을 포함하는 구조체를 더 포함하고,
상기 카메라부는,
상기 제1 지지대에 설치되고,
상기 제어부는,
상기 제2 지지대의 타단부에 설치되는
것을 특징으로 하는 시각 보조 시스템.
제2항에 있어서, 상기 카메라부는,
상기 전방 영역을 향하도록 상기 제1 지지대의 일단부 설치되어, 상기 제1 영상을 생성하는 제1 카메라; 및
상기 사용자의 눈 영역을 향하도록 상기 제1 지지대의 타단부에 설치되어, 상기 제2 영상을 생성하는 제2 카메라;
를 포함하는 것을 특징으로 하는 시각 보조 시스템.
제1항에 있어서, 상기 제어부는,
상기 제2 영상을 입력받고, 상기 눈 영역에서 상기 눈동자 영역을 검출하고, 검출된 상기 눈동자 영역에서 상기 눈동자의 초점을 추적하는 눈동자 추적부;
상기 제1 영상과 상기 눈동자 추적부로부터의 상기 눈동자의 초점에 대한 정보를 입력받아서, 상기 제1 영상에 상기 눈동자의 초점을 표시한 상기 제3 영상을 생성하는 영상 통합부;
상기 제3 영상을 입력받고, 상기 제3 영상을 N × N(N은 2 이상의 자연수) 개의 영상 블록들로 구획하여, 구획된 각 영상 블록에 포함된 상기 눈동자의 초점 수를 계산하여, 상기 분포 정보를 생성하는 분포 계산부; 및
무선 네트워크 통신 방식에 따라 상기 분포 정보를 상기 시각 주의 분석부로 송신하는 제1 무선 통신 인터페이스부
를 포함하는 것을 특징으로 하는 시각 보조 시스템.
제4항에 있어서, 상기 눈동자 추적부는,
상기 눈 영역에 포함된 눈동자 외부의 밝기값과 눈동자 내부의 밝기값의 차이에 근거하여 상기 눈 영역에서 상기 눈동자 영역을 검출하는 눈동자 검출부; 및
상기 눈 영역의 중심을 기준 좌표로 설정하고, 설정된 기준 좌표를 기준으로 상기 검출된 눈동자 영역의 중심 좌표를 상기 눈동자의 초점으로서 산출하는 좌표 산출부;
를 포함하는 것을 특징으로 하는 시각 보조 시스템.
제5항에 있어서, 상기 시각 주의 분석부는,
상기 무선 네트워크 통신방식에 따라 상기 분포 정보를 수신하는 제2 무선 통신 인터페이스부; 및
상기 제2 무선 통신 인터페이스부를 통해 상기 분포 정보를 제공받고, 상기 분포 정보에 근거하여, 상기 영상 블록들 중 상기 눈동자의 초점 수가 가장 많이 분포한 상기 시각 주의 영상 블록을 검출하고, 상기 검출된 시각 주의 영상 블록을 시각 주의 영역(visual attention lobe)으로 추론하고, 추론된 상기 시각 주의 영상 블록에 대한 정보를 포함하는 시각 주의 분석 정보를 상기 제2 무선 통신 인터페이스를 통해 상기 제어부로 송신하는 시각 주의 분석 추론부;
를 포함하는 것을 특징으로 하는 시각 보조 시스템.
제6항에 있어서, 상기 시각 주의 분석 추론부는,
상기 검출된 시각 주의 영상 블록이 복수이고, 복수의 시각 주의 영상 블록이 서로 인접한 경우,
상기 제어부로 상기 분포 정보의 재전송 요청을 수행하는 것을 특징으로 하는 시각 보조 시스템.
제7항에 있어서, 상기 제어부의 분포 계산부는,
상기 시각 주의 분석 추론부로부터의 상기 분포 정보의 재전송 요청에 응답하여 상기 제3 영상을 N-1 × N-1 개의 영상 블록들로 구획하고, 구획된 각 영상 블록에 포함된 상기 눈동자의 초점 수를 계산하여, 상기 분포 정보를 생성하는 것을 특징으로 하는 시각 보조 시스템.
제1항에 있어서, 상기 제어부는,
상기 제1 영상에서 추출된 상기 시각 주의 영상 블록의 해상도를 조절하여 상기 시각 주의 영상 블록을 확대하는 영상 처리부를 더 포함하는 것을 특징으로 하는 시각 보조 시스템.
제9항에 있어서, 상기 디스플레이부는,
상기 사용자의 눈동자와 마주하는 렌즈의 후면에 설치되고, 상기 영상 처리부로부터 상기 확대된 상기 시각 주의 영상 블록을 입력받아서 상기 사용자에게 표시하는 것을 특징으로 하는 시각 보조 시스템.
사용자가 주시하는 전방 영역을 촬영한 제1 영상과 상기 사용자의 눈동자를 포함하는 눈 영역을 촬영한 제2 영상을 생성하는 단계;
상기 제1 영상과 상기 제2 영상을 통합하여, 상기 제1 영상에 상기 눈동자의 초점이 표시된 제3 영상을 생성하는 단계;
제어부가 상기 생성된 상기 제3 영상을 다수의 제1 크기의 영상 블록으로 구획하여, 상기 눈동자의 초점이 분포한 정도를 계산하는 단계;
상기 다수의 제1 크기의 영상 블록 중 상기 눈동자의 초점이 가장 많이 분포한 영상 블록을 상기 전방 영역에서 상기 사용자가 주시하는 시각 주의 영역으로 추론하는 단계; 및
상기 시각 주의 영역에 대응하는 시각 주의 영상 블록을 확대하고, 확대된 시각 주의 영상 블록을 디스플레이를 통해 표시하는 단계;
를 포함하는 시각 보조 방법.
제11항에 있어서, 상기 시각 주의 영역으로 추론하는 단계는,
상기 눈동자의 초점이 가장 많이 분포한 영상 블록이 복수이고, 복수의 영상 블록이 서로 인접한 경우,
상기 제1 크기보다 큰 제2 크기의 영상 블록으로 구획하여 상기 눈동자의 초점이 분포한 정도를 다시 계산하는 것을 특징으로 하는 시각 보조 방법.