KR20210125980A - 시각 장애 또는 시각적으로 손상된 사용자를 위한 환경 인지를 향상하기 위한 의료 기기 - Google Patents

Abstract

본 발명은 시각 장애 또는 시각적으로 손상된 사용자를 위한 환경 인지를 향상하기 위한 장치에 관련되는데, 장치는: - 사용자의 피부와 접촉하도록 의도된 기계적 액추에이터(3)의 세트, - 사용자가 대면하는 환경의 현재 디지털 이미지를 획득하도록 설계된 적어도 하나의 디지털 카메라(6), - 획득한 디지털 이미지로부터 픽셀 신호를 수신하고 픽셀 신호의 적어도 하나의 부분을 제어 신호로 변환하기 위하여 카메라와 연결되는 처리 회로(2), - 사용자의 시선 방향을 식별하기 위해 사용자의 각 눈을 추적하기 위한 안구 추적 모듈(7)을 포함하고, 제어 신호 각각은 액추에이터의 세트 중 기계적 액추에이터에 공급한다. 처리 회로는 그 후 카메라(6)가 촬영한 환경에서 시선 방향의 함수인 획득한 현재 이미지의 영역을 선택하고 상기 영역의 픽셀 신호를 제어 신호로 변환하는데, 그 각각은 사용자의 피부를 자극하기 위해 액추에이터의 세트(3)에 공급된다.

Description

시각 장애 또는 시각적으로 손상된 사용자를 위한 환경 인지를 향상하기 위한 의료 기기

본 발명은 특히 시각 장애 또는 시각적으로 손상된 사용자를 위한 환경 인지의 향상에 관련된다.

용어 "시각 장애 사용자"는 장기적 시각 장애 또는 예컨대 촉각 사용할 목적으로(군사 또는 다른 사용을 위해 완전한 어둠 속에서) 또는 가상이나 증강 현실이나 다른 사용을 위한 보완과 같은 상황에 의해 단순히 야기된 시각 장애로 고통 받는 사람을 의미하는 것으로 이해된다.

망막 주입이 선행 문헌에서 공지되었다. 이들은 시각 장애 사용자의 눈 중 하나의 뒤에 외과적으로 주입되는 장치로, 안경에 설치된 비디오 센서로부터의 무선에 의해 전달되는 이미지를 재생함으로써 뇌로 향하는 뉴런을 전기적으로 자극한다. 하지만, 그 비용과 구현의 복잡도가 그 채택을 제한한다.

이들 사용과 병행하여, 대상이 마주하는 환경으로부터 획득한 비디오 이미지를 대상의 피부나 점막 상에 재생되는 "촉각 이미지"로 변환할 수 있는 시각 장애인을 위한 휴대 장치도 선행 문헌에서 공지된다. 현재 사용되는 버전은 이 경우 사용자의 혀의 전기 자극 유닛(저강도)에 연결되는 정면 비디오 카메라를 포함한다. 이 재생이 꽤 기초적이지만, 여전히 시각 장애인이 사용할 수 있다.

이 장치의 큰 단점 하나는 카메라가 목표한 객체가 이동할 때 그 성능이 아주 감소된다는 점이다. 일반적으로, 사용자는 그 상반신, 목, 머리를 소리나 다른 것의 근원의 방향을 향해 돌려야 한다. 결국, 이러한 시스템은 장치에 질린 사용자를 마침내 지치게 한다.

본 발명은 이 상황을 개선할 것이다.

이 목적을 위해, 시각 장애인 대상의 눈의 이동을 측정하고 이 측정의 함수로 피부 상에 재생되는 이미지를 폐쇄 루프 제어함으로써, 환경의 공간적 인지의 향상을 제공하는 장치를 제공한다.

따라서 본 발명은 시각 장애 또는 시각적으로 손상된 사용자를 위한 환경 인지를 향상하기 위한 장치를 목표로 하는데:

- 사용자의 피부와 접촉하도록 의도된 적어도 한 세트의 기계적 액추에이터,

- 사용자가 대면하는 환경의 현재 디지털 이미지를 획득하도록 배열된 적어도 하나의 디지털 카메라,

- 획득한 디지털 이미지의 픽셀로부터 신호를 수신하고 픽셀 신호의 적어도 일부를 각각이 액추에이터의 세트 중 한 기계적 액추에이터로 공급되는 제어 신호로 변환하기 위해 카메라에 연결되는 처리 회로를 포함한다.

특히, 장치는 사용자의 시선 방향을 식별하기 위해 사용자의 적어도 하나의 눈을 위한 적어도 하나의 안구 추적 모듈을 더 포함한다. 나아가, 처리 회로는 카메라가 촬영한 환경에서 시선 방향에 따라 획득한 현재 이미지의 영역을 선택하고 사용자의 피부를 자극하기 위해 상기 영역의 픽셀로부터의 신호를 각각이 세트 중 액추에이터에 공급되는 제어 신호로 변환하도록 배열된다.

용어 "기계적 액추에이터"는 일반적으로 예컨대 행렬로 배열될 수 있고, 각각이 전기 펄스의 수신 시 움직일 수 있는 요소를 의미하는 것으로 이해된다. 따라서 이들은 예컨대 다음을 가지도록 설계된 압전 요소일 수 있다:

- 수신하는 전기 신호의 함수인 진폭의 변위, 및/또는

- 수신하는 전기 신호의 함수인 변위의 주파수.

이들은 대안적으로 "MEMS"(micro-electro-mechanical) 타입의 시스템과 조합된 압전 요소일 수 있다.

다른 변형으로, 평면 행렬에 분포된 집중된 초음파 방사가 사용자의 피부를 자극하기 위해 사용될 수 있다. 또 다른 변형으로, 전극이 제공되어 미니 전기 충격(예시적인 실시예의 방식으로 후술되는, 강도가 이미지 회색도를 묘사하고, 반복 주파수가 특정 색상을 묘사하는)으로 느껴지는 전기 펄스를 발산할 수 있다.

상술한 사용자의 "피부"는 일반적인 의료 용어 "외피"에도 대응하는, 사용자의 피부(몸통이나 다른 곳)와 구개, 혀나 다른 곳과 같은 점막 모두를 의미하는 것으로 이해된다. 따라서, 액추에이터는 미세 전류를 다루는 전극의 형태를 취하고, 예컨대 구강 내 가짜 구개(의치의 구개에 결합되는 부분 등)에 수용될 수 있는데, 사용자가 말하거나, 먹거나, 마시는 것을 방해하지 않는다.

나아가 용어 "디지털 카메라"는 환경의 획득한 이미지가 일반적으로 행렬로 배열된 픽셀을 포함하고, 전기 신호가 액추에이터에 공급되기 위해 각 픽셀에 할당될 수 있다는 사실을 의미하는 것으로 이해된다. 예를 들어, 단색("흑백") 이미지의 경우, 액추에이터에 공급되는 전기 신호의 강도는 픽셀의 회색도(어둡고 진한 회색에서 밝고 연한 회색까지)에 비례할 수 있다. 이 전기 신호의 강도에 따라서, 기계적 액추에이터는 더 크거나 작은 진폭 및/또는 주파수로 변위할 수 있다.

따라서, 본 발명의 관점에서 장치는 사용자의 안구 추적 측정 및 이에 따른 시선 덕분에 사용자의 주목이 환경의 특정 영역에 집중되어 재생될 수 있게 한다. 예를 들어, 사용자가 특정 방향에서 소리를 들었다면, 이 방향에서 선택된 환경의 영역의 "촉각 이미지"를 재생함으로써 장치가 인식하는 이 방향으로 시선을 향할 수 있다.

이 목적을 위하여, 본 발명은 시각 장애인이 안구 추적 능력을 잃었다는 편견을 극복해야 한다. 하지만, 적어도 최근에 시각 장애가 된 사람의 경우(그리고 안구를 가지고 있다고 가정하면), 반직감적으로 시각 장애인의 안구 움직임이 여전히 존재함(시각 장애에도 불구하고)이 관측된다.

따라서, 본 발명은 소프트웨어 애플리케이션에 의해 제어되고 특히 장애(이 경우 시각 장애 사용자의 시각 장애)의 효과를 감소시키기 위한 목적으로 사용되도록 의도되는 장비(또는 기기)의 유닛의 형태를 취하는 장치를 목표로 한다. 이와 관련하여, 본 발명의 장치는 의료 기기로 간주될 수 있다.

일실시예에서, 처리 회로는 획득한 현재 이미지 내에서 시선 방향에 따르는 현재 이미지의 제한된 영역을 선택하고, 사용자의 피부를 자극하기 위해 상기 제한된 영역의 픽셀로부터의 신호를 각각이 세트 중 액추에이터에 공급되는 제어 신호로 변환하도록 배열될 수 있다.

한 변형으로, 카메라(반드시 광각일 필요는 없음)가 사용자의 시선 방향을 따라가기 위해 회전 이동하도록 배열될 수 있다. 그렇다 하더라도, 고정된 (광각) 카메라를 구현하고 따라서 컴퓨터에 의해 시선 방향에 따라 광각으로 획득된 이미지의 관련 영역을 선택하는 것이 유리할 수 있다.

하지만 광각 카메라도 회전 이동하여(적어도 방위각으로) 사용자의 코를 향해 수렴하는 눈의 이동("근거리 시야" 찾기에 대응)을 추적하도록 배열될 수도 있다. 나아가, 이들 카메라는 자동 초점(블러 감지 모듈이 있는)일 수 있는데, 사용자가 근처의 공간("근거리 시야")과 멀리("원거리 시야") 모두의 환경의 공간적 인지가 제공될 수 있게 한다. 초점 상황 밖과 특히 "원거리 시력"의 경우, 카메라는 기본적으로 사용자의 동측의 눈의 생리적 배향과 최대한 가깝게 준수하면서 서로에 대한 방향으로 조정될 수 있다(시상면에 대해 측 방향으로 대략 15°, 따라서 한 카메라의 다른 쪽에 대한 방향이 대략 30°).

한 가능한 실시예에서, 장치는:

- 사용자의 피부와 접촉하도록 의도된 두 세트의 기계적 액추에이터, 및

- 현재 이미지에서 두 영역을 정의하고 두 영역 각각의 픽셀로부터의 신호를 두 각각의 세트의 액추에이터에 공급되는 두 각각의 세트의 제어 신호로 변환하기 위한 사용자의 각 눈을 위한 두 안구 추적 모듈을 더 포함한다.

사용자의 눈 각각에 안구 추적을 적용함으로써, 장치는 추가로 기계적 액추에이터 덕분에 사용자의 시선 전방의 공간의 3차원 인지를 제공할 수 있다. 사실, 안구 추적과 기계적 액추에이터 모두에 대한 양안시 덕분에, 장치는 사용자에게 보고 있는 공간의 3차원 인지를 제공할 수 있다. 도 1을 참조하여 후술하는 바와 같이, 액추에이터의 세트는 서로 구분되고 공간적으로 분리되지만, 그렇다 하더라도 인간의 뇌는 자연스럽게 두 별개의 2차원 이미지로부터 단일의 3차원 이미지를 재생하도록 구성된다(사용자의 두 눈으로 보통 하는 것과 같이).

따라서, 시각 장애가 있지만 두 눈을 움직이는 능력을 여전히 가지는 것으로 가정하는 사람의 경우, 사용자는 피부에 두 "촉각 이미지"를 수신할 수 있는데, 공통으로 3D 인지를 확립할 수 있다.

그렇다 하더라도, 이것은 정교한 실시예이다. 잠재적으로 사용자가 대면하는 환경을 촬영하는 두 카메라와 함께(잠재적으로 눈의 광축의 보통 생리적 방향과 일치하도록 각 카메라 축 사이에 약 30° 각도를 가지고), 단일 안구 추적 모듈이 제공될 수 있다(경제성 또는 사용자가 동공 움직임이 측정될 수 있는 한 눈만 가지는 이유로). 단일 안구 추적을 사용함으로써 유일하게 가능한 애매함은 다음의 차이이다:

- 코를 향하는 눈의 보통의 수렴으로 사용자가 가까운 이미지를 보고 있는 상황, 및

- 사용자가 먼 곳이지만 한쪽을, 코를 향해 바라보는 상황.

이 경우, 카메라는 "자동 초점"이고 따라서 이들 두 상황을 구별할 수 있다.

본 발명의 일실시예에서, 적어도 카메라 및 안구 추적 모듈은 공통의 기계적 지지부에 장착되고, 안구 추적 모듈은 사용자의 한 눈(일반적으로 사용자의 동측의 눈)을 향해 배향되고, 카메라는 사용자가 대면하는 환경의 현재 디지털 이미지를 획득하기 위해 배향될 수 있다. 따라서, 카메라는 사용자의 동측의 눈의 생리적 축을 따라 배향될 수 있다(또는 각 카메라는 한 눈의 축을 따라 배향된다).

따라서, 카메라와 안구 추적 모듈 간의 거리는 지지부 상에서 시간이 흐름에 따라 일정하게 유지되어, 임의의 주어진 시간에 사용자의 시선 위치가 카메라가 촬영하는 것과 상관될 수 있게 한다.

유리하게는, 카메라는 10 내지 35mm의 초점 거리를 가지는 광각 타입이다.

본 발명의 일실시예에서, 장치는 처리 회로와 액추에이터 간의 적어도 하나의 연결을 위한, 액추에이터로의 제어 신호의 전송을 위한 무선 연결을 포함한다.

무선 연결은 예컨대 액추에이터(도 1을 참조하여 후술되는 바와 같이 사람의 몸통이나 등을 자극할 수 있는)를 장치의 나머지에 간편한 방식으로 연결하고, 예컨대 안구 추적 모듈을 묶는 기계적 지지부, 카메라 및 처리 회로 등 간과 기계적 액추에이터와의 연결을 생성하는 이점을 제공한다.

사용자의 손의 피부가 특히 민감하기 때문에, 한 변형에서 기계적 액추에이터가 장갑에 통합되고, 기계적 액추에이터가 유리하게는 예컨대 사용자의 손바닥 상의 각 패치의 형태로 배치되도록 제공될 수 있다. 기계적 액추에이터의 패치가 있는 장갑은 예컨대 각 손에 제공되어, 각각이 인지되는 환경의 한 이미지에 대응된다(따라서 3차원 재생이 가능하다). 카메라, 안구 추적 모듈 및 처리 회로는 공통 지지부에 장착되고 장갑의 패치에 무선 연결될 수 있다.

기계적 액추에이터가 사용자의 머리 일부(예컨대 도 5에 도시된 바와 같이 이마)를 자극할 수 있는 변형에서, 조립체(액추에이터와 함께 카메라, 안구 추적 모듈 등)가 공통 지지부 상에, 예컨대 이마에 쓰고 사용자의 눈으로 내려오는 헤드셋의 형태로 장착될 수 있다.

일실시예에서, 액추에이터는 수신되는 제어 신호의 함수인 강도에 따라 사용자의 피부를 자극하도록 배열되고, 제어 신호는 각각 픽셀의 색상의 강도의 함수이다.

"픽셀의 색상의 강도"는 주어진 색상에 대한 픽셀의 밝기를 의미하는 것으로 이해된다.

예를 들어, "흑백" 이미지의 경우 각 액추에이터는 백색에서 흑색까지 픽셀의 회색도의 함수로 활성화될 수 있다. 변형으로, 3개의 액추에이터의 세트가 컬러 이미지의 각 픽셀에 제공되어, 각 액추에이터가 이 픽셀의 "적청녹" 색상의 레벨의 함수인 강도나 진동 주파수를 가질 수 있다.

예를 들어, 컬러 이미지의 "재생"의 경우, 픽셀의 밝기(예컨대 어두움에서 밝음까지)가 액추에이터 움직임의 강도로 변환될 수 있는 반면(따라서 사용자의 피부를 더 강하게 누름), 각 액추에이터의 진동 주파수는 이 액추에이터로 할당되는 색상의 타입(적색 또는 청색 또는 녹색)에 의해 결정될 수 있다. 예를 들어, 청색의 레벨을 재생하는 액추에이터는 녹색의 레벨을 재생하는 액추에이터보다 빠르게 진동한다(녹색이나 황색은 중간 진동 주파수를 가지는 액추에이터에 의해 표현됨).

따라서, 각 액추에이터가 주기적 진동에 의해 사용자의 피부를 자극하기 위해 진동으로 움직이는 실시예에서, 액추에이터의 진동 주파수는 픽셀의 색상의 타입에 따를 수 있다.

일실시예에서, 이미지 영역은 안구 추적 모듈에 의해 추적되는 눈의 시야의 형상에 대응하는 일반적인 형상이고, 액추에이터의 세트 중 액추에이터는 시야의 이 형상에 대응하는 2차원 형상에 따라 분포되도록 배치된다.

따라서, 장치에서 세트 중 액추에이터와 영역의 픽셀에 "일대일" 대응이 제공됨이 이해될 것이다. 따라서 세트 중 액추에이터의 수는 영역의 픽셀의 수에 대응하여 제공될 수 있다. 공간적으로, 영역의 픽셀과 액추에이터의 세트 중 각 액추에이터의 위치 대응도 제공될 수 있다. 그렇다 하더라도, 이것은 예시적인 일실시예이다. 예를 들어, 액추에이터는 이미지의 4개 이상의 픽셀의 그룹과 연관될 수 있다(예컨대 평균 회색도를 가지는). 유사하게, 액추에이터는 액추에이터 세트 내에서 규칙적으로 위치하지 않을 수 있다(액추에이터의 세트가 신체의 더 또는 덜 민감한 영역에 걸쳐 연장할 수 있기 때문에, 더 민감한 영역은 더 많은 액추에이터를 수용할 수 있음).

장치는 일반적으로 특히 획득한 이미지의 영역의 픽셀에 기반하여 액추에이터를 구동하기 위한 처리 회로를 포함할 수 있다. 이 처리 회로는 다음 단계를 포함하는 본 발명의 추가적인 대상인 방법을 구현한다:

- 획득한 디지털 이미지의 픽셀로부터 신호를 수신하는 단계,

- 안구 추적에 의해 사용자의 시선 방향의 측정을 수신하는 단계,

- 시선 방향에 대응하는 영역의 획득한 이미지에서 경계를 결정하고 상기 영역의 픽셀로부터 신호를 선택하는 단계,

- 상기 영역의 픽셀로부터의 신호를 각각이 기계적 액추에이터의 세트 중 한 액추에이터에 공급되도록 의도되는 제어 신호로 변환하는 단계로서, 상기 영역의 픽셀의 수는 기계적 액추에이터의 세트가 포함하는 액추에이터의 수에 대응함,

- 상기 액추에이터의 세트로 각 제어 신호를 전송하는 단계.

장치의 처리 회로는 일반적으로 (도 4에 도시된 바와 같이) 프로세서 및 이 명령어가 프로세서에 의해 실행될 때 이 방법의 구현을 위한 컴퓨터 프로그램의 명령어를 저장하는 메모리를 포함할 수 있다. 본 발명은 이러한 컴퓨터 프로그램(그 일반적인 알고리즘이 후술하는 도 3에 의해 도시될 수 있는)도 목표로 한다.

본 발명의 내용 중에 포함되어 있다.

나아가, 본 발명의 다른 이점과 특징이 이후 제시되는 예시적인 실시예의 설명을 읽고 첨부되는 도면을 검토하면 명백해질 것이다.
도 1은 제1 예시적인 실시예에 따른 본 발명의 대상인 환경 인지 향상을 위한 의료 기기를 착용한 사람을 도시한다.
도 2는 도 1을 참조한 본 발명의 대상인 장치의 일부의 사시도이다.
도 3은 도 1을 참조한 본 발명의 대상인 방법의 일반적인 알고리즘의 흐름도에 대응한다.
도 4는 특히 도 1에 도시된 장치의 처리 회로를 개략적으로 도시한다.
도 5는 제2 예시적인 실시예에 따른 환경 인지 향상을 위한 의료 기기를 착용한 사람을 도시한다.
도 6은 본 발명의 의미에서 마주하는 환경을 관측하는 장치의 착용자인 사람(5)를 도시한다.
도 7은 기계적 액추에이터의 세트 중 하나를 개략적으로 도시한다.

도 1은 일반적으로 사용자의 전방의 공간의 환경의 인지를 향상하기 위한 장치를 도시한다. 장치는 시각 장애 또는 시력이 부분적인 사용자(5)가 착용하는데, 이 장치는 광각 카메라(6)와 안구 추적 모듈(7)을 통합하는 기계적 지지부(1)를 포함한다. 더 정확히는, 사용자의 눈이 모두 움직이고 안구 추적이 각 눈에 대해 가능한 이 경우, 장치는 도 1에 도시된 바와 같이 각각이 사용자의 각 눈의 전방의 환경을 촬영하는 2개의 광각 카메라(6) 및 각각이 한 눈의 움직임을 추적하기 위한 2개의 안구 추적 모듈(7)을 포함한다.

일반적으로, 2개의 카메라, 특히 광각은 지지부(1) 상의 각 위치에 고정 설치되고, 입체 효과를 제공하기 위해 부분적으로 중첩되는 광각 이미지에서 선택되는 영역이 3D 인지를 가능하게 한다. 이 목적을 위하여, 장치는 도 1에 도시된 바와 같이 공간적으로 분리되는 2세트의 기계적 액추에이터(3)를 더 포함한다.

카메라(6)와 추적 모듈(7)은 무선 연결을 통해 2세트의 기계적 액추에이터(3)를 구동하는 처리 회로(2)에 연결된다.

도시된 예시에서, 기계적 지지부(1)는 사용자(5)의 머리에 배치되는 반면, 2세트의 기계적 액추에이터(3)는 사용자(5)의 몸통에 위치한다. 사용자(5)의 눈의 움직임은 실시간으로 안구 추적 모듈(7)에 의해 측정된다. 나아가, 예시로서, 획득되는 사용자의 시선의 현재 방향에 대응하는 이미지의 영역이 선택된다. 대안적으로, 카메라(광각이 필수는 아님)는 각 선회축에 장착될 수 있고 사용자의 현재 시선의 방향으로 배향된다. 또 다른 대안에서, 단일 광각 카메라가 제공되지만 각 눈에 대한 안구 추적을 가지고, 촬영되는 환경에서 두 영역이 선택되고, 입체 효과가 이 두 영역의 부분적 중첩에 의해 다시 제공된다.

환경이 "광각" 타입의 하나 이상의 카메라에 의해 촬영되는 실시예에서, 이러한 카메라의 초점 거리는 사용자(5)의 신체가 건강했다면 시야가 대응했을 것을 획득되는 이미지에서 커버하도록 선택된다.

사용자(5)의 눈의 움직임은 광각 카메라(6)에 의해 환경의 촬영과 동시에 측정된다. 더 정확히는, 도 6에 도시된 바와 같이, 안구 추적 모듈(7)에 의해 수행되는 측정은 시선의 방향(D)(각 눈에 대해)의 측정에 따라 광각 카메라(6)에 의해 획득된 환경(E)의 현재 이미지의 픽셀의 적절한 영역(Z)를 선택하기 위해 처리 회로(2)에 의해 분석된다.

수행된 측정은 무선 연결에 의해 처리 회로(2)로 전송될 수 있다. 사실, 이 응용에서 무선 연결은 더 적은 제약과 사용자(5)의 더 큰 움직임의 자유를 가능하게 하고, 처리 회로(2)와 기계적 액추에이터(3)는 사용자(5)의 몸통(또는 일반적으로 등)에 위치한다.

처리 회로(2)는 수신된 데이터를 처리하고 기계적 액추에이터(AM) 세트(3)로 지시를 전송한다.

기계적 액추에이터(3)는 상반신에 위치되어 처리 회로(2)에 의해 수신된 지시에 따라 사용자(5)의 피부를 자극한다. 이들은 처리 회로(2)에서 데이터 처리 후 수정된 이미지를 피부 상에 재생한다.

실제로, 처리 회로(2)는 각 픽셀에 대한 픽셀 강도(예컨대 회색도)를 액추에이터에 의한 자극의 기계적 강도로 변환한다. 특정한 진동 주파수는 픽셀의 각 색상과 연관될 수 있다(예컨대 적색에 저주파수와 청색에 고주파수). 예를 들어, 증가하는 진동 주파수도 가시 스펙트럼의 색상에서 적색에서 자색까지 다양한 색상에도 할당될 수 있다.

도 2는 기계적 지지부(1)의 사시도를 도시하는데, 면(9)과 면(9)에 고정된 2개의 가지(8)를 가지는데, 예컨대 힌지 연결(미도시)을 통해 후자에 기계적으로 단단하게 부착된다. 2개의 안구 추적 모듈(7)은 일반적으로 동공을 촬영하고 그 움직임을 추적하기(보통 획득된 이미지에서 컴퓨터 모듈에 의해 구현되는 형상 인식에 의해) 위해 눈을 향해 위치되고, 이로부터 사용자의 시선 방향을 결정한다 한편, 2개의 광각 카메라(7)가 환경의 방향으로(대상의 눈의 생리적 축을 따라) 위치된다.

도 3은 처리 회로(2)에 의해 구현되는 방법의 가능한 단계를 요약하는 흐름도를 도시한다. 이러한 방법은 단계 S1에서, 카메라(6)에 의한 현재 이미지의 획득을 포함할 수 있다. 단계 S2에서, 안구 추적은 사용자의 시선의 현재 방향을 결정하기 위해 구현된다(안구 추적 모듈 또는 모듈들(7)에 의해 사용자(5)의 시선 방향의 안구 추적에 의한 측정에 기반하여). 따라서 시야는 시선의 방향과 일치하게 된다. 단계 S3에서, 이 시선의 현재 방향에 따라서, 시선 방향(D)에 대응하는 영역(Z)이 환경(E)의 획득된 이미지에서 선택된다(도 6을 참조하여 상술한 바와 같이). 특히, 단계 S4에서 이 영역(Z)의 픽셀로부터의 신호가 기계적 액추에이터(AM)를 위한 제어 신호(sp)로 변환하기 위해 선택된다(도 7에 도시된 것과 같은 액추에이터(3) 세트). 이들은 이들 요소를 진동 구동하기 위해 전기 신호(sp)에 의해 제어되는 상술한 압전 요소 또는 MEMS일 수 있다.

- 픽셀 강도의 함수인 진동의 진폭(예컨대, 회색도), 및

- 색상 타입에 의해 결정되는 진동 주파수(예컨대 청색, 녹색 또는 적색에 대해 3개의 주파수 레벨로).

단계 S5에서, 이들 제어 신호는 이어서 기계적 액추에이터(AM)로 송신된다.

이들 단계 S1 내지 S5가 각 눈(따라서 각 현재 카메라 이미지)에 대해, 그리고 실시간으로 연속적으로 획득되는 모든 이미지에 대해 연속적으로 수행됨은 말할 필요도 없다.

피부 상의 2개의 기계적 액추에이터(3)의 2개의 진동 이미지는 대상이 몸이 건강했다면 동공이 포착했을 것과 가능한 한 비슷하게 의도된다. 이러한 실시예는 주변 공간이 개인(5)에게 다시 알 수 있게 한다.

도 4는 개략적인 형태로 광각 카메라(6)와 안구 추적 모듈(7)과 함께 처리 회로(2)를 포함하는 장치를 도시하는데, 다음을 포함한다.

- 장비(6(현재 이미지의 픽셀) 및 7(시선 방향의 측정))로부터 신호를 수신하기 위한 입력 인터페이스(IN),

- 도 3을 참조하여 상술한 방법의 구현을 위해 본 발명의 측면의 컴퓨터 프로그램의 지시와 함께, 이들 신호에 대응하는 데이터를 적어도 부분적으로 저장하기 위한 메모리(MEM),

- 컴퓨터 프로그램의 지시를 판독 및 실행하고 따라서 액추에이터(AM)를 위한 제어 신호를 전달하기 위해 입력 인터페이스(IN) 및 메모리(MEM)와 협력할 수 있는 프로세서(PROC),

- 액추에이터(3) 세트에 연결되는 출력 인터페이스(OUT).

도 5는 사용자(5)가 머리에 착용하는 환경의 공간적 인지를 향상하기 위한 장치를 도시한다. 장치는 머리 및 개인(5)의 이마에 위치하는 2개의 기계적 액추에이터(3) 양쪽에 연장하는 기계적 지지부(1)를 포함한다. 기계적 지지부(1)는 도 2에 도시된 바와 같이 면(9) 및 면에 고정된 2개의 가지(8)를 포함한다. 도 1에 도시된 장치와 달리, 처리 회로(2)는 기계적 지지부(1)에 통합된다. 기계적 지지부(1)는 사용자(5)의 완전한 자유를 가능하게 하는 헤드셋 형태를 취한다. 여기서, 기계적 지지부(1)와 기계적 액추에이터(3) 간의 짧은 유선 연결이 이 실시예에서 제공될 수 있다. 이것은 사용자(5)의 움직임을 제한하지 않고 전체 장치가 사용자의 머리에 있기 때문이다.

본 발명이 상술한 예시적인 실시예로 제한되지 않고, 다른 변형으로 확장될 수 있음을 말할 필요도 없다.

따라서, 예를 들어 색상 고유의 진동 주파수가 상술되었다. 변형으로, 흑백 이미지의 경우, 진동 주파수는 각 픽셀의 회색도의 함수로 변화하도록 선택될 수 있다.

이전에, 액추에이터 세트의 액추에이터의 분포는 이미지의 선택된 영역이 취하는 시야의 형상에 대응하는 2차원 형상에 따라 정의되었고, 특히 각 세트의 액추에이터의 수는 이미지의 선택된 영역의 픽셀의 수에 대응한다. 그럼에도 불구하고 변형으로, 사용자가 장치에 익숙해짐에 따라 증가하는 수(액추에이터 세트의 중앙에서 시작하여 세트의 액추에이터 전부까지)의 활성 세트의 액추에이터를 렌더링하는 것이 가능하다. 또 다른 변형으로, 세트의 N개의 액추에이터 중의 n개의 액추에이터의 진동(또는 다른 자극)의 진폭을 평균화하고, 이어서 사용자가 장치에 익숙해짐에 따라 n이 감소하게 함으로써 인지의 선명도를 개선하는 것이 가능하다. 이 적응을 빠르게 하기 위해, 수정(컴퓨터에 의해)하고 따라서 예컨대 새카드 안구 운동을 약화시키기 위하여 초기 안구 운동의 수차를 감소시키는 것도 가능하다.

Claims (10)

1. 시각 장애 또는 시각적으로 손상된 사용자를 위한 환경 인지를 향상하기 위한 장치로서:
   - 사용자의 피부와 접촉하도록 의도된 적어도 한 세트의 기계적 액추에이터,
   - 사용자가 대면하는 환경의 현재 디지털 이미지를 획득하도록 배열된 적어도 하나의 디지털 카메라,
   - 획득한 디지털 이미지의 픽셀로부터 신호를 수신하고 픽셀 신호의 적어도 일부를 각각이 액추에이터의 세트 중 기계적 액추에이터로 공급되는 제어 신호로 변환하기 위해 카메라에 연결되는 처리 회로를 포함하고,
   장치는 사용자의 시선 방향을 식별하기 위해 사용자의 적어도 하나의 눈을 위한 적어도 하나의 안구 추적 모듈을 더 포함하고, 처리 회로는 카메라가 촬영한 환경에서 시선 방향에 따라 획득한 현재 이미지의 영역을 선택하고 사용자의 피부를 자극하기 위해 상기 영역의 픽셀로부터의 신호를 각각이 세트 중 액추에이터에 공급되는 제어 신호로 변환하도록 배열되는 장치.
2. 청구항 1에 있어서,
   처리 회로는 획득한 현재 이미지 내에서 시선 방향에 따르는 현재 이미지의 제한된 영역을 선택하고, 사용자의 피부를 자극하기 위해 상기 제한된 영역의 픽셀로부터의 신호를 각각이 세트 중 액추에이터에 공급되는 제어 신호로 변환하도록 배열되는 장치.
3. 청구항 1 또는 청구항 2에 있어서,
   - 사용자의 피부와 접촉하도록 의도된 두 세트의 기계적 액추에이터, 및
   - 현재 이미지에서 두 영역을 정의하고 두 영역 각각의 픽셀로부터의 신호를 두 각각의 세트의 액추에이터에 공급되는 두 각각의 세트의 제어 신호로 변환하기 위한 사용자의 각 눈을 위한 두 안구 추적 모듈을 더 포함하는 장치.
4. 청구항 1 내지 청구항 3 중 어느 하나의 항에 있어서,
   적어도 카메라 및 안구 추적 모듈은 공통의 기계적 지지부에 장착되고, 안구 추적 모듈은 사용자의 한 눈을 향해 배향되고, 카메라는 사용자가 대면하는 환경의 현재 디지털 이미지를 획득하기 위해 배향되는 장치.
5. 청구항 1 내지 청구항 4 중 어느 하나의 항에 있어서,
   처리 회로와 액추에이터 간의 적어도 하나의 연결은 액추에이터를 위한 제어 신호의 전송을 위한 무선 연결인 장치.
6. 청구항 1 내지 청구항 5 중 어느 하나의 항에 있어서,
   각 액추에이터는 수신되는 제어 신호의 함수인 강도에 따라 사용자의 피부를 자극하도록 배열되고, 제어 신호는 각각 픽셀의 색상의 강도의 함수인 장치.
7. 청구항 6에 있어서,
   각 액추에이터는 주기적 진동에 의해 사용자의 피부를 자극하기 위한 진동으로 움직이고, 액추에이터의 진동 주파수는 픽셀의 색상의 타입에 의해 결정되는 장치.
8. 청구항 1 내지 청구항 7 중 어느 하나의 항에 있어서,
   이미지 영역은 안구 추적 모듈에 의해 추적되는 눈의 시야의 형상에 대응하는 일반적인 형상이고, 액추에이터의 세트 중 액추에이터는 시야의 상기 형상에 대응하는 2차원 형상에 따라 분포되는 장치.
9. 청구항 1 내지 청구항 8 중 어느 하나의 항에 따른 장치의 처리 회로에 의해 구현되는 방법으로서:
   - 획득한 디지털 이미지의 픽셀로부터 신호를 수신하는 단계,
   - 안구 추적에 의해 사용자의 시선 방향의 측정을 수신하는 단계,
   - 시선 방향에 대응하는 영역의 획득한 이미지에서 경계를 결정하고 상기 영역의 픽셀로부터 신호를 선택하는 단계,
   - 상기 영역의 픽셀로부터의 신호를 각각이 기계적 액추에이터의 세트 중 한 액추에이터에 공급되도록 의도되는 제어 신호로 변환하는 단계,
   - 상기 액추에이터의 세트로 각 제어 신호를 전송하는 단계를 포함하고,
   상기 영역의 픽셀의 수는 기계적 액추에이터의 세트가 포함하는 액추에이터의 수에 대응하는 방법.
10. 청구항 9에 따른 방법의 구현을 위한 명령어를 포함하는 컴퓨터 프로그램으로서, 상기 명령어는 환경 인지를 향상하기 위한 장치의 처리 회로에 의해 실행되는 컴퓨터 프로그램.

Images