KR101905053B1

KR101905053B1 - 시력보조기를 제어하는 방법 및 장치

Info

Publication number: KR101905053B1
Application number: KR1020137032351A
Authority: KR
Inventors: 앙리 로하흐; 리야드 브노스만; 조제 사엘; 세흐쥬 피코
Original assignee: 유니베르시테 피에르 에 마리에 쿠리에 (파리 6); 상뜨르 나쇼날 드 라 러쉐르쉬 샹띠피끄
Priority date: 2011-05-12
Filing date: 2012-05-11
Publication date: 2018-10-05
Also published as: US9987167B2; CN103732287B; AU2012252200A1; JP6068446B2; CA2835024A1; EP2707093B1; FR2975251B1; EP2707093A1; ES2718103T3; CN103732287A; US20140085447A1; AU2012252200B2; FR2975251A1; JP2014516665A; CA2835024C; WO2012153073A1; KR20140038446A; BR112013028742A2

Abstract

보이는 장면을 나타내는 입력신호(f)는 픽셀 매트릭스에 있는 각 픽셀에 대해, 장면내 픽셀에 대한 광변화의 함수로서 얻은 이벤트-기반의 비동기식 신호 시퀀스를 포함한다. 이 입력신호는 시력보조기(20)의 픽셀영역에 대해 각각의 제어신호(S)를 발생하기 위해 공간적으로 픽셀 매트릭스내에 그리고 시간적으로 신호 시퀀스를 따라 변환된다.

Description

시력보조기를 제어하는 방법 및 장치{METHOD AND DEVICE FOR CONTROLLING A DEVICE FOR AIDING VISION}

본 발명은 시력보조기 분야에 관한 것으로 보다 상세하게는 인공기관(人工器官) 또는 보조기를 제어해 인공기관 또는 보조기를 착용한 사람들에게 시각정보를 제공하는 것에 관한 것이다.

시각 인공기관을 갖는 시력 재활은 시각적으로 문제가 있는 이들에 인지를 재현하기 위해 망막과 뇌 사이 시각경로를 따르는 뉴런을 모방하는 것을 목표로 한다. 시각 인공기관은 공간적으로 및 시간적으로 변조된 전기장을 가하는 신경세포 부근에 이식된다. 전기장은 매트릭스로 배열된 픽셀 영역들에 국소적으로 가해진다. 이는 영향을 받는 뉴런 멤브레인들에 전위를 유발한다. 광수용체 및 다른 망막 세포들이 더 이상 기능하지 않더라도 망막 또는 시각피질의 아직 기능하는 세포들은 자극받을 수 있다.

기존 방법들은 시력 시스템의 다른 영역들을 타겟으로 한다. 망막하(subretinal) 이식은 망막의 쌍극세포들을 자극하는 반면, 망막전(epiretinal) 이식은 시신경을 통해 뇌에 연결되는 신경절세포들을 자극한다. 양 전략은 광수용체 세포들의 악화 후에 남아 있는 망막세포들을 이용하도록 시도한다. 또 다른 접근은 시각피질을 직접적으로 자극하고 심지어 시신경이 손상된 경우에도 이용될 수 있는 피질이식을 이용한다. 이들 3가지 전략들은 임상실험에 테스트되었고 이들은 안내섬광(phosphene)을 자극해 형태인식 및 몇몇 경우 글자인식을 가능하게 할 수 있는 것으로 나타났다.

보조기들은 놓친 시각정보를 제공하기 위해 여전히 기능하는 망막 영역들에 전처리되고 이에 따라 간단한 시각정보를 나타내게 하도록 설계된다. 이 정보는 해당 암점(scotoma)으로 인해 놓칠 수 있거나 복잡도, 크기 또는 콘트라스트(강화된 시력)으로 인해 통상적으로 접근하기 어렵다.

시력보조기(시력보조기로서 이용되는 인공기관 또는 보조기)들에 광캡쳐 시스템으로부터 신호를 처리해 얻은 신호들이 제공된다. 종래 전략들은 시간에 걸쳐 정규적으로 이미지 또는 비디오 프레임들로서 광을 캡쳐하는 것을 포함한다. 가령, US 2010/0067825 A1에 사용된 이 샘플링 방법은 여러 가지 어려움을 일으킨다.

돌출성 추출 또는 윤곽 추출과 같은 집중적 계산을 포함할 수 있는 이미지처리가 이미지들에 적용되어 시각보조기용 활성화 방안을 정의한다. 채택된 다양한 모방전략들은 현재까지 만족스러운 결과들을 내놓지 못하고 있다. 이 방법의 한계는 기껏해야 매 33ms 마다 이미지를 산출하는 센서의 낮은 동적범위에 기인한다. 다른 한편으로, 패스터 CCD(전하결합 디바이스) 카메라의 사용은 이미지 처리 알고리즘의 복잡도와 호환될 수 없으며 휴대용 시스템에 적합하지 않다.

시력시스템의 동적 특징을 재현하는 것은 매우 짧은 응답시간을 필요로 한다. 포유류뇌는 수십 밀리세컨드내에서 시계(視界)의 소정 특징들을 잘 추출해 내는 것이 밝혀졌다. 망막에 기인하는 처리지연은 약 50ms이다. 이미지 단위로 샘플링시, 정보수집목적을 위한 시간 기울기를 관찰하기 위해 여러 이미지들을 수집하는 것이 필요하다. 망막이 모델링하는데 필요한 50ms 시간은 2개 이미지들이 40Hz로 캡쳐될 경우에 이미 초과된다. 따라서, 망막에 의한 특징들의 정확한 실시간 추출은 2차 시간 도함수를 계산하고, 신호를 처리하며, 특징들을 추출하기 위해 이론적으로 60Hz 보다 큰 샘플링 주파수를 필요로 한다.

또한, 기초 자극은 시간상 시각정보 처리의 매우 빠른 다이나믹스(dynammics)로 인해 수 밀리세컨드의 정확도로 두어져야 한다("Rapid Neural Coding in the Retina with Relative Spike Latencies", Gollisch T. et al., Science, Vol. 319, 2008년 2월, p. 1108-1111 참조). 이 요건은 현실적인 샘플링 주파수로는 프레임 단위 캡쳐 시스템으로써 충족될 수 없다.

따라서, 시각보조기를 적절히 컨트롤하게 하는 기술들에 대한 필요가 있게 된다.

- 픽셀 매트릭스에 있는 각 픽셀에 대해, 장면내 픽셀에 대한 광변화의 함수로서 얻은 이벤트-기반의 비동기식 신호 시퀀스를 포함한 보이는 장면을 나타내는 입력신호를 수신하는 단계;

- 시력보조기의 픽셀영역에 대해 각각의 제어신호를 발생하기 위해 공간적으로 픽셀 매트릭스내에 시간적으로 신호 시퀀스를 따라 입력신호를 변환하는 단계; 및

- 시력보조기에 제어신호를 가하는 단계를 포함하는 시력보조기 제어방법이 제안된다.

시력보조기에 대한 제어신호를 구성하기 위해 비동기식 신호를 이용하는 것은 많은 이점이 있다. 이들 신호들은 종래 비디오 신호에서 프레임에 대한 클록과는 달리 기정의된 클록속도로 시간에 걸쳐 샘플링되지 않는다. 이들은 보이는 장면의 AER(Address-Event Representation)이라는 것을 제공한다. 각 픽셀에 따른, 즉, 이 픽셀에 대응하는 광세기의 변화에 따른 이벤트 기반의 신호 시퀀스가 있다, 예시적인 실시예에서, 픽셀에 대한 이벤트 기반의 비동기식 신호 시퀀스는 이 픽셀에 대한 광변화의 함수로서 시간적으로 위치된 포지티브 또는 네거티브 펄스들의 시퀀스를 포함한다. 이런 타입의 획득은 망막 광수용체의 연속 광획득을 재현한다. 이는 시계에서 고도의 시간 중복의 이점을 취한다. 따라서:

- 종래 비디오 카메라가 주어진 프레임 레이트에서 하는 식으로 대부분의 픽셀들에 의해 보여지는 상당히 일정한 광레벨을 시간에 걸쳐 반복할 필요가 없다;

- 프레임간 주기로 국한됨이 없이 광에서 빨리 그리고 정확한 시간 위치로 국소적 변화를 인식할 수 있다.

비동기식 신호 시퀀스는 공간적으로 및 시간적으로 시력 보조기 또는 인공기관에 유용한 정보를 제공하기 위해 변환된다. 이 변환을 위해 여러 가지 접근들이 채택될 수 있다. 일반적으로, 착용요건에 대한 제어 및 이에 따른 신호변환의 파라미터들을 채택하는 것이 필요할 것이다.

한가지 접근은 다른 타입의 망막세포들의 행동의 모델에 기초로 한다.

제어신호를 발생하기 위한 입력신호의 변환은:

- 다른 크기의 필터링 커넬들로 2개의 공간 필터링 연산, 2개의 공간 필터링 동작의 결과들 간의 차의 계산, 및 상기 차에 대한 시간 필터링 연산으로 인해 발생한 제 1 신호를 얻는 단계; 및

- 제 1 신호가 특정 신호값을 갖는다면 0값의, 그렇지 않으면 제 1 신호와 같은 절대값의 제 2 신호를 얻는 단계를 포함한다.

망막 광수용체세포 및 수평세포의 행동을 고려함으로써 다른 크기의 필터링 커넬들의 사용이 고려될 수 있으며, 수평세포는 일반적으로 광수용체보다 상호작용 반경이 더 크다. 제 1 신호의 포지티브 또는 네거티브 부분을 재현하는 제 2 신호는 쌍극세포에 의해 발생된 신호인 것으로 보여질 수 있다. 계산된 차의 극성은 'ON' 쌍극세포와 'OFF' 쌍극세포를 구별한다. 적어도 10개의 다른 타입의 쌍극세포들이 있다면, 공간 및/또는 시간 필터링에 대한 다른 파리미터 세트들도 또한 다른 타입의 쌍극세포들의 행동을 구별한다.

시력 인공기관에 가해진 제어신호가 제 2 신호로부터 발생되기 때문에, 이런 변환 타입은 망막하 시력 인공기관에 적합하다. 이는 또한 발광소자 어레이를 포함하는 보조기에 적합하다.

이는 또한 이들 제 2 신호들의 획득 전에 변환을 계속할 수 있다. 일실시예에서, 적어도 하나의 제 1 흥분신호 및 제 1 억제신호가 차에 대한 시간필터링 연산을 위해 각각의 시간 상수로 얻어지며, 그 후 적어도 하나의 제 2 흥분신호 및 제 2 억제신호가 제 1 흥분신호 및 제 1 억제신호로부터 각각 얻어진다. 이런 식으로 자극된 흥분 및 억제 채널들은 아마크린 세포를 통해 신경절세포에 흥분입력 및 억제입력을 제공할 수 있는 쌍극세포에 해당한다. 제어신호를 발생하기 위한 입력신호의 변환은 이들 제 2 신호들을 얻은 후:

제 2 흥분신호와 제 2 억제신호로부터 유도된 억제성분 간의 차에 대한 공간필터링 연산으로부터 발생한 제 3 신호를 얻는 단계; 및

- 시력보조기의 주어진 픽셀영역에 대한 제 3 신호가 기설정된 임계치를 초과하면, 상기 픽셀영역에 대해 의도된 제어신호에 펄스를 삽입하는 단계 및 상기 픽셀영역에 대한 제 3 신호를 0으로 리셋하는 단계를 포함한다.

상기 모델에서, 제 2 억제신호로부터 억제성분의 유도는 아마크린 세포에 기인하며, 기설정된 지연 및 공간 필터링 연산의 적용을 포함할 수 있다.

이런 식으로 얻은 제 3 신호로부터 발생된 제어신호는, 몇몇 환자들에 대해, 망막전 또는 피질 위치에 또는 외측슬상핵에 이식된 시력 인공기관에 적합할 수 있다.

방향선택적 신경절세포의 행동을 재현하게 하는 관심있는 가능성은 억제성분의 유도에 포함된 공간필터링 연산에 있어 중심을 벗어난 필터링 커넬을 이용하는 것이다. 아마크린 세포에 의해 유발된 지연과 결합된 필터링 커넬의 이 공간 오프세트로 인해 자극의 이동방향에 반응이 민감해진다.

몇몇 신경절세포는 다른 타입의 쌍극세포로부터 결합되는 식으로 흥분될 수 있다. 이를 고려하기 위해, 제 1 채널 및 제 2 채널에 대한 제 2 흥분 및 억제신호가 각각의 시간상수에서 시간필터링 연산으로 얻어질 수 있다. 제어신호를 발생하기 위한 입력신호의 변환은 이들 제 2 신호들을 얻은 후:

- 제 1 및 제 2 채널에 대한 제 2 흥분신호들의 선형결합과 제 1 및 제 2 채널에 대한 제 2 억제신호들로부터 유도된 억제성분간의 차에 대한 공간필터링 연산으로부터 발생한 제 3 신호를 얻는 단계; 및

- 시력보조기의 주어진 픽셀영역에 대한 제 3 신호가 주어진 임계치를 초과하면, 상기 픽셀영역에 대한 제어신호에 펄스를 입력시키는 단계 및 상기 픽셀영역에 대한 제 3 신호를 0으로 리셋하는 단계를 포함한다.

상기 모델에서, 제 2 억제신호들로부터 억제성분의 유도는 상술한 타입과는 다른 타입의 아마크린 세포들에 기인하며, 제 1 및 제 2 채널에 대한 제 2 억제신호에 각각의 지연, 지연된 제 2 억제신호들에 대한 공간필터링 연산, 및 지연되고 필터링된 제 2 억제신호의 선형결합의 계산의 적용을 포함할 수 있다.

이런 식으로 얻은 제 3 신호로부터 발생된 제어신호는, 몇몇 환자들에 대해, 망막전 또는 피질 위치에 또는 외측슬상체에 이식된 시력 인공기관에 적합할 수 있다. 이는 또한 발광소자 어레이를 포함한 보조기에 적합할 수 있다.

신경세포들의 알려진 행동을 다소 기반으로 한 다른 모델들은 소정 환자의 인공기관용 제어신호에 적용되는 특정 변환을 전개할 때 참조로 이용될 수 있다. 소정의 개인을 위한 가장 적절한 변환을 선택하기 위해 정신물리학적 테스트가 이용될 수 있다.

이는 현상학적 모델을, 가령 인공 뉴런망을 이용하는 것을 참고로 하지 않고도 이 변환을 여전히 전개할 수 있다.

본 발명의 또 다른 태양은 픽셀 매트릭스에 있는 각 픽셀에 대해, 장면내 픽셀에 대한 광변화의 함수로서 얻은 이벤트-기반의 비동기식 신호 시퀀스를 포함한 보이는 장면을 나타내는 입력신호를 수신하기 위한 입력부; 시력보조기의 픽셀영역에 대해 각각의 제어신호를 공급하기 위한 출력부; 및 상술한 방법에 따른 제어신호를 발생하기 위한 처리회로를 구비하는 시력보조기를 제어하기 위한 신호처리장치에 관한 것이다.

본 발명의 내용에 포함됨.

본원의 다른 특징 및 이점은 첨부도면을 참조로 하기의 몇몇 비제한적인 예시적 실시예들의 설명으로부터 명백해질 것이다:
도 1은 시력이 손상된 환자의 시력시스템을 자극하기 위한 예시적인 장비의 블록도이다.
도 2a는 비동기식 센서의 픽셀에 대한 광세기 프로파일의 일예를 도시한 도면이다.
도 2b는 도 2a의 광세기 프로파일에 응답해 비동기 센서에 의해 전달된 신호의 일예를 도시한 것이다.
도 2c는 도 2b의 신호로부터 광세기 프로파일의 재구성을 도시한 것이다.
도 3a 및 도 3b는 본원의 방법의 또 다른 실시예에 사용될 수 있는 광획득모드를 도시한 도 2a 및 도 2b의 도면과 유사한 도면이다.
도 4는 망막 신경세포의 다른 카테고리들의 개략도이다.
도 5는 모델에 대한 여러 타입의 망막세포들의 응답을 도시한 도면이다.
도 6 내지 도 9는 본원의 방법의 다수의 예시적인 실시예들에 적용될 수 있는 프로세스를 도시한 도면이다.

망막의 역할은 시신경을 통해 뇌에 전달된 일련의 활동전위에 수신되는 광속을 인코딩하는 것이다. 광변환 캐스캐이드와 망막내 다른 세포 타입들 간의 상호작용으로 신경절세포 활동 시스템이 복잡해진다. 평가는 이들의 형태와 생리에 따라 수 십가지 타입의 신경절세포 응답들을 예상한다.

관찰된 응답 타입의 변화에도 불구하고, 활동전위 시퀀스에서 수 밀리세컨드의 시간 정확도는 뇌가 이 정보를 적절히 해석하는데 중요한 것으로 밝혀졌다. 시각장애인의 인공기관 치료를 고려한다면 망막세포 역학의 충실한 재현을 시도하는 것이 필수적이다. 이 치료의 기본 원리는 광수용체 퇴행성 질환의 경우 망막세포의 전기자극이다.

이 적용에서, 사용된 장비(도 1)는 픽셀 매트릭스로 배열된 광감지소자 그룹을 갖는 광포획유닛(10) 및 가령 망막에 설치되는 인공기관(20)을 구비한다. 인공기관(20)의 피질이식도 또한 가능하다. 처리유닛(30)은 광포획유닛(10)으로부터 입력신호(f)를 인공기관(20)의 각각의 픽셀에 대한 제어신호 세트(S)로 변환시킨다. 이들 제어신호(S)를 인공기관(20)에 가하기 위해, 이 전위를 인공기관의 전극들에 보내는 드라이버유닛(40)에 의해 제어신호들은 아날로그 전위로 변환된다.

예컨대, 인공기관(20)은 2010년 4월 30일자로 출원된 특허출원 FR 10 53381에 기술된 타입일 수 있다. 인공기관의 픽셀영역들은 각각 전기장을 받게 되는 신경세포를 자극하는 전위차를 국소적으로 적용하기 위한 한 쌍의 전극을 포함해 전기장이 유도된다. 2개 전극들 중 하나는 픽셀영역들 중 적어도 일부에 공통인 접지면의 일부분일 수 있다. 인공기관(20)의 픽셀영역들은 광포획유닛(10)의 픽셀 매트릭스의 공간 해상도와 일치할 필요가 없는 공간 밀도를 갖는다.

제어신호(S)를 제공하는 처리유닛(30)은 디지털 신호로 처리된다. 이는 적절한 프로세서를 프로그램함으로써 구현될 수 있다. 실제적으로, 전용 논리회로를 이용한 신호처리유닛(30)의 하드웨어 수단은 장비의 산업화에 바람직할 수 있다.

매트릭스의 각 픽셀에 대해, 유닛(10)은 장치의 시계(視界)에 나타나는 장면에서 픽셀이 겪게 되는 광변화로부터 이벤트 기반의 비동기식 신호 시퀀스를 만든다. 이런 타입의 비동기식 광감지장치는 망막의 생리적 응답에 가까울 수 있고 따라서 적절한 제어방식을 만들어 낸다. 이를 이하 두문자로 DVS(Dynamic Vision Sensor)라 한다.

이 비동기식 센서에 의한 획득 원리가 도 2a 내지 도 2c에 도시되어 있다. 정보는 활동 임계치(Q)에 도달하는 시간(t_k)(k=0,1,2,…)의 연속으로 구성된다. 도 2a는 DVS 매트릭스에서 픽셀이 겪음에 따른 광세기 프로파일(P1)의 일예를 도시한 것이다. 시간(t_k)에 있었던 활동 임계치(Q)와 같은 양만큼 광세기가 증가할 때마다, 새로운 시간(t_k ₊₁)이 구별되고 포지티브 라인(도 2b에서 +1 레벨)이 이 시간(t_k ₊₁)에서 방출된다. 대칭적으로, 시간(t_k)에 있었던 활동 임계치(Q)와 같은 양만큼 광세기가 감소할 때마다, 새로운 시간(t_k' ₊₁)이 구별되고 네거티브 라인(도 2b에서 -1 레벨)이 이 시간(t_k' ₊₁)에서 방출된다. 그런 후 픽셀에 대한 비동기식 신호 시퀀스는 픽셀에 대한 광프로파일에 따라 시간(t_k)에서 일시적으로 위치된 일련의 포지티브 또는 네거티브 라인들 또는 펄스들로 구성된다. 이들 라인들은 방출시간(t_k) 및 사인 비트를 각각 특징으로 하는 포지티브 또는 네거티브 디랙 스파이크에 의해 수학적으로 표현될 수 있다. 따라서, DVS(10)로부터의 출력은 AER(Address-Event Representation) 형태이다. 도 2c는 시간에 걸쳐 도 2b로부터 비동기식 신호를 적분해 프로파일(P1)의 근사로 표현될 수 있는 세기 프로파일(P2)을 도시한 것이다.

도 2a 내지 도 2c의 경우에서와 같이 활동 임계치(Q)가 고정될 수 있거나, 도 3a 내지 도 3b의 경우에서와 같이 광세기에 적응될 수 있다. 가령, 임계치(±Q)는 ±1 이벤트를 발생하기 위한 광세기의 알고리즘의 변화와 비교될 수 있다.

예컨대, DVS(10)는 "A 128×128 120 dB 15 μs Latency Asynchronous Temporal Contrast Vision Sensor", P. Lichtsteiner et al., IEEE Journal of Solid-State Circuits, Vol. 43, No. 2, 2008년 2월, p. 566-576, 또는 특허출원 US 2008/0135731 A1에 기술된 타입일 수 있다.

망막의 다이나믹스(활동전위들 간에 수 밀리세컨드의 최소 배수)가 이런 타입의 DVS로 적절히 재현될 수 있다. 성능은 실제 샘플링 주파수를 갖는 종래 비디오 카메라로 달성될 수 있는 것보다 확실히 훨씬 더 높다.

프로세스 유닛(30)에 입력신호를 구성하는 DVS(10)에 의해 픽셀에 대해 배출된 비동기식 신호의 형태는 일련의 디랙 스파이크만큼 다를 수 있고, 표현된 이벤트들은 가능하게는 이런 이벤트-기반 비동기식 신호에서 임의 시간폭 또는 진폭 또는 파형을 갖는 것에 주목해야 한다.

다른 한편으로, 입력신호는 반드시 광검출 디바이스로부터 얻을 필요가 없다. 이는 또한 합성 AER 신호일 수 있다.

망막세포를 효과적으로 자극하기 위해, 획득 다아니믹스가 충분해야할 뿐만 아니라 의미있는 방식으로 획득된 신호를 처리할 능력이 있어야 한다. 시력시스템에서 각 타입의 세포는 자신의 활동방식이 있다. 예컨대, 몇몇 신경절세포들은 주어진 방향, 움직임 또는 콘트라스트에 우선적으로 응답한다. 이들 특성들은 망막 네트워크 연결을 발생시킨다. 망막전 인공기관의 경우, 이 연결은 적절한 자극 타이밍을 얻기 위해 재현되어야 한다.

한가지 접근은 각 타입의 신경절세포를 DVS로부터의 신호와 링크시키기 위해 생리적 데이터로 인공 신경망을 길들이는 것이다. DVS의 다른 픽셀들로부터의 신호가 신경절세포의 활동을 예상하기 위해 입력을 통합하는 신경망에 도입된다. 알려진 알고리즘을 이용해, 실제 측정 활동으로 예상이 수렴될 때까지 인공 망연결에 포함된 가중치들이 조절된다. 이런 획득 및 필터링을 통해 달성된 시간 정확도는 생리적 관점에서 관련된 망막의 비동기식 자극을 만들어 낼 수 있다.

또 다른 접근은 처리유닛(30)에 의해 수행된 신호처리를 지정할 때 망막 신경세포 행동의 모델을 인용하는 것이다.

모델은 도 4에 개략적으로 표현된 망막과 같은 일반적인 망막구조를 기초로 할 수 있다. 이 모델에서, 공간 및/또는 시간 컨볼루션이 각 세포레벨에서 수행된다. 쌍극세포(BC)는 수평세포(HC)가 억제를 지연시킨 후에 광수용체(PR)로부터 신호의 포지티브 또는 네거티브 부분 중 하나의 비선형 변환을 수행한다. 몇몇 쌍극세포는 포지티브 자극에 응답해 'ON' 채널을 활성화시키는 반면, 다른 상극세포는 네거티브 자극에 응답해 'OFF' 채널을 활성화시킨다. 아마크린 세포(Amacrine cells, AC)는 지연된 억제에 따라 'ON' 및/또는 'OFF' 채널 간에 상호작용을 도입할 수 있다. 이 억제는 또한 시간 변위를 억제한 경우에 공간 기울기를 도입할 수 있다. 신경절세포(GC)는 'ON' 및/또는 'OFF' 채널의 쌍극세포들로부터 발생한 여기 및 아마크린 세포로부터 발생한 억제를 수신하며, 새기 쉬운 통합을 수행하고 시신경(N)에 활동전위("스파이크")를 방출하는 뉴런처럼 행동한다.

이 처리가 도 5에 요약되어 있다. 공간성분, 가령 세포의 통합 반경(r)을 나타내는 표준편차를 갖는 가우시안 및 시간상수(τ)를 갖는 시간성분을 포함하는 컨볼루션 커넬 h=h(x,y,t)에 의해 입력신호 V=V(x,y,t)의 컨볼루션을 수행함으로써 세포 타입이 고려될 수 있다. 컨볼루션 커넬의 가능한 형태는 다음과 같다:

여기서:

x,y는 2개의 공간 방향에 있는 위치들을 나타내고;

t는 시간을 나타내며;

D는 여러 가지 타입의 세포들, 특히 아마크린 세포들에 대해 개입할 수 있는 지연 파라미터(D≠0)를 나타내고;

x₀,y₀는 여러 가지 타입의 세포들, 특히 아마크린 세포들에 대해 개입할 수 있는 공간 오프세트 파라미터(x₀≠0 및/또는 y₀≠0)를 나타낸다.

도 5에서, 첫번째 줄은 입력 매트릭스에 있는 위치(x,y)에서 픽셀에 대한 DVS(10)에서 나온 신호 f=f(x,y,t)를 이루는 포지티브 또는 네거티브 펄스 시퀀스들을 나타낸다. 광수용체들에 의한 처리는 입력신호(f)에 컨볼루션 커넬(h^PR)을 적용하는 것으로 구성된다. 수평세포들에 의한 처리는 컨볼루션 커넬(h^HC)을 광수용체로부터 나온 신호(V^PR)에 적용해 신호(V^HC)를 형성하는 것으로 구성된다. 쌍극세포들은 컨볼루션 커넬(h^BC)을 차(V^PR-V^HC)에 적용해 신호(V^BC)를 형성하고, 상기 신호(V^BC) 중에 'ON' 채널의 경우(V^ON=max{0,V^BC})에 포지티브 부부만 보유되고 'OFF' 채널의 경우(V^OFF=max{0,-V^BC})에 네거티브 부부만 보유된다. 파라미터(τ,r)는 커넬(h^PR,h^HC,h^BC)에 대해 구별된다. 모델화되는 다른 타입의 쌍극세포들에 대해, 값이 별개로 결정될 수 있는 다른 파라미터(τ,r) 세트들이 제공된다.

쌍극세포의 모델링 때까지 수행된 동작의 선형성으로 인해, 도 6에 도시된 예에서, 광수용체 및 수평 세포들(커넬(h^PR, h^HC)은 상호작용 반경(r^PR,r^HC)을 가짐)에 대한 공간 컨볼루션(50,51)과 쌍극세포 타입(커넬(h^BC)은 흥분성세포에 대해 시간상수 τ^exc 및 억제세포에 대해 τ^inh를 가짐)에 대해 간단한 시간 컨볼루션(54 또는 55)만 수행할 수 있다. 이 모델에서, 반경(r^PR,r^HC)은 실제로 3개 세포 타입을 포함한 체인을 따라 모두 분포된 공간 적분을 고려할 수 있다. 마찬가지로, 시간상수(τ^exc, τ^inh)는 실제로 3개 세포 타입, 가능하게는 또한 아마크린 세포 및 신경절세포를 포함해 포함한 체인을 따라 모두 분포된 시간 적분을 고려할 수 있다. 도 6에서, 뺄샘기(53)는 신호(V^PR 및 V^HC) 간의 차를 계산해 시간적으로 필터 되며, 소자(56,57)는 'ON' 쌍극세포의 자극된 흥분 또는 억제 출력(V^ON=V_ON ^exc또는 V_ON ^inh)을 제공하기 위해 신호(V^BC)의 포지티브 부분을 보유한다.

도 6은 또한 아마크린 세포 또는 신경절세포의 행동 모델링의 일예를 도시한 것이다. 이 예에서, 아마크린 세포층은 'ON' 쌍극세포로부터 억제신호(V_ON ^inh)를 수신하고, 이를 주기 D만큼 지연시키며(지연유닛(59)), 반경(r^AC)의 컨볼루션 커넬(60)(가령, x₀=y₀=0을 의미하는 중심 커넬)로 공간적으로 이를 필터시킨다. 결과적으로 발생한 신호는 도 6의 예에서 또한 'ON' 세포인 쌍극세포로부터의 흥분신호(V_ON ^exc)에 따라 신경절세포층으로 보내진 억제성분(V^AC)이다. 주어진 타입의 신경절세포층은 억제성분(V^AC)을 계수(α)만큼 가중화시키는 곱셈기(62), 흥분신호(V_ON ^exc)로부터 가중화된 억제성분(α·V^AC)을 빼는 뺄셈기(63), 여기서는 반경(r^GC)의 공간 커넬에 국한된 컨볼루션 커넬(h^GC)을 적용한 필터(64), 및 컨볼루션 신호 V^GC=h^GC·(V_ON ^exc-α·V^AC)를 수신하는 활동전위(65)의 이미터에 의해 모델화된다. 전압신호(V^GC)가 양의 임계치(θ)에 도달할 때마다, 이미터(65)는 출력신호에 활동전위("스파이크")를 발생하고 전압신호(V^GC)를 0으로 리셋시킴으로써, 필터링(64)에서 일어나는 적분 처리를 재개한다.

도 6에 도시된 모델과 같은 모델은 소정의 'ON' 신경절세포의 응답을 재현하게 한다. 주어진 자극에 응답해 시신경 및/또는 흥분 및 억제 전류에서 관찰된 활동전위의 측정으로부터(B. Roska et al, "Parallel Processing in Retinal Ganglion Cells: How Integration of Space-Time Patterns of Excitation and Inhibition Form the Spiking Output ", Journal of Neurophysiology, Vol. 95, No. 6, 2006, p. 3810-3822 참조), 관찰을 가장 잘 재현하는데 가장 적합한 모델 파라미터를 선택하기 위해 최적화 프로세스가 이용된다. 도 6의 경우에, 파라미터 값은 r^PR, r^HC, τ^exc, τ^inh, D, r^AC, α, r^GC 및 θ이다.

도 6의 경우는 'ON' 신경절세포에 관한 것으로, 입력신호에서 포지티브 라인으로서 자극에 응답하는 세포들을 말한다. 모델은 입력신호에서 네거티브 라인으로서 자극에 응답하는 세포를 의미하는 'OFF' 신경절세포의 경우에도 쉽게 적용된다. 도면은 쌍극세포층에서 발생한 신호(V^PR 및 V^HC)들 간의 뺄셈(52)이 도 6에서 53으로 도시된 것에 반대 극성을 갖는 것을 제외하고는 도 6에의 도면과 같은 도 7에 도시된 도면일 수 있다.

또 다른 가능한 상황은 신경절세포가 'OFF'(또는 'ON') 쌍극세포들로부터 이들 억제성분들(V^AC)이 얻어지는 동안 'ON'(또는 'OFF') 쌍극세포들이 흥분신호(V_ON ^exc) (또는 V_OFF ^exc)를 수신한다는 것이다. 이 상황은 'ON' 쌍극세포에 의한 흥분 및 'OFF' 쌍극세포에 의한 억제의 경우에 도 8에 도시되어 있다.

도 9에 도시된 또 다른 가능성은 신경절이 (상대적 가중화가 양의 계수(α_OFF/ON ^exc씩 조정되는) 'ON' 및 'OFF' 쌍극세포에 의해 흥분되고, 'ON' 및 'OFF' 쌍극세포에 의해 방출된 억제신호(V_ON ^inh,V_OFF ^inh)의 조합에서 나온 성분(V^AC)에 의해 억제되는 경우이다. 2개의 아마크린 세포군이 이런 채널에서 지연유닛(59)에서 다른 시간(D^ON,D^OFF)과 가능하게는 필터(60)에서 다른 상호작용 반경(r_ON ^AC,r_OFF ^AC)으로 모델화된다. 2개 필터들(60)로부터의 출력은 억제성분(V^AC)을 형성하기 위해 선형결합된다. 도 9의 예에서, 각각의 가중계수(α_ON ^inh,α_OFF ^inh)를 'ON' 채널 경로 및 'OFF' 채널 경로의 필터된 신호에 적용하는 곱셈기(68)와, 필터되고 가중화된 신호들의 합으로서 억제성분(V^AC)을 만드는 덧셈기(69)를 이용해 결합이 행해진다.

도 9의 신경절세포층의 모델에서, 곱셈기(70)는 가중계수(α_OFF _/ _ON ^exc)를 'OFF' 쌍극세포에서 나온 흥분신호(V_OFF ^exc)에 적용한다. 흥분 및 억제성분은 71에서 결합되어 공간필터(64)에 입력(V_ON ^exc+α_OFF _/ _ON ^exc·V_OFF ^exc-V^AC)을 공급한다. 가중계수들(α_OFF _/ _ON ^exc, α_ON ^inh,α_OFF ^inh)의 값으로 포함된 다양한 쌍극세포들로부터 관련된 흥분 및 억제수준이 조절되어 진다.

도 9의 도면의 변형으로, 공간필터(64)에 대한 입력은 V_ON ^exc+α_OFF _/ _ON ^exc·V_OFF ^exc-V^AC이 아니라 α_ON _/ _OFF ^exc·V_ON ^exc+V_OFF ^exc-V^AC이다. 계수α_OFF _/ _ON ^exc 또는α_ON _/ _OFF ^exc는 양수이거나 0이다. 이는 신경절이 한가지 타입의 쌍극세포에 의해서만 흥분되고 아마크린 세포를 통해 2가지 타입의 쌍극세포에 의해서만 억제되는 경우에 0으로 제한될 수 있다.

다른 정보 경로들의 일부인 신경절세포들에 대해, 파라미터들을 다르게 하는 것을 포함한 다른 흥분 방식들이 모델에 추가될 수 있다.

DVS 센서(10)에서 나온 AER 신호로부터, 도 5-9에 도시된 모델과 같은 모델은 모델 파라미터들을 최적화함으로써 비. 로스카(B. Roska) 등의 상술한 논문에 기술된 설치류에서는 10가지 타입의 응답을 적절히 발생하게 한다. 이는 망막 신경세포의 적절한 자극을 제공하기 위한 상기 방법의 능력을 입증한다.

방향선택 신경절세포에 대해, 모델은 아마크린 세포에 의해 수행된 프로세싱을 나타내며 층에 적용된 공간 필터링 커넬(60)에서 오프세트(x₀,y₀)를 포함하도록 향상될 수 있다. 이들 아마크린 세포들에 가해진 지연(D)과 결합된 이 중심을 벗어난 커넬은 변위(x₀,y₀) 방향을 따라 자극의 방향성을 반영한다.

인공기관이 망막 앞에 이식되면, 신경절세포의 전기 전위에 영향을 준다. 그러면 도 1의 신호처리유닛(30)에 의해 전달된 제어신호(S)는 도 6-9 중 하나에 도시된 활동전위 이미터(65)에 의해 만들어진 신호일 수 있다. 자극받는 신경절세포 타입과 해당 모델링 방식은 소정의 환자에 대해 가장 잘 인식되는 결과를 제공하는 컨트롤 모드를 찾기 위해 정신물리학적 테스트를 행함으로써 선택될 수 있다. 이는 또한 이런 테스트 동안 모델 파라미터들 중 일부에 대해 조절하게 할 수 있다. 인공기관의 다른 이식은 피질 및 (망막과 피질 사이에 있는) 외측슬상핵이다. 외측슬상핵의 경우, 가령 망막전 자극에 대해 이들 상술한 신호들과 유사한 신호들이 인공기관에 가해질 수 있다.

인공기관이 망막 아래에 이식되면, 쌍극세포의 전위에 영향을 준다. 이 경우, 도 1의 신호처리유닛(30)에 의해 전달된 제어신호(S)는 쌍극세포의 모델링에 포함된 소자(56,57)에 의해 발생된 신호(V_ON ^exc,V_OFF ^exc,V_ON ^inh,V_OFF ^inh)일 수 있다. 다시, 자극받는 쌍극세포 타입과 해당 모델링 방식은 소정의 환자에 대해 정신물리학적 테스트를 행함으로써 선택될 수 있다.

인공기관(20)에서 픽셀영역의 공간 해상도는 DVS 센서(10)에서 픽셀들의 공간 해상도와 반드시 같을 필요가 없다. 따라서, 신호의 공간 리샘플링은 입력신호(f)를 제어신호(S)로 변환에서 발생할 수 있다. 해상도가 센서(10)에서보다 인공기관(20)에서 더 낮은 대표적인 경우에서, 변환에서 수행된 최종 공간 필터링 동작 동안 공간 서브샘플링이 발생할 수 있다.

시력보조기(20)는 시력시스템의 세포를 전기적으로 흥분시키는 인공기관과는 다른 디바이스일 수 있다. 시력보조기의 경우, 컨버터는 시각표현을 발생하기 위해 다른 신호 적분레벨로부터 신호를 취하는 발광소 매트릭스(가령, LED, MicroOLED, LCD)에 해당할 수 있다.

이런 식으로 조절된 보조기는 광수용체의 퇴행성 질환에 대한 치료 전략들 중 하나인 유전자 치료와 결부해 이용될 수 있다. 유전자 치료의 한가지 형태는 망막의 나머지 세포들(이들의 광감지도, 쌍극세포, 아마크린 세포 및 신경절세포를 상실한 광수용체)에서 광감지 이온 채널 또는 광감지 캐리어를 표현하는 것으로 구성된다. 이 유전자 변형은 광에 의해 흥분될 수 있는 새로운 광수용체들을 '만든다'. 그러나, 이들 광감지도는 막대 및 콘에 비해 낮다. 다른 한편으로, 해당 세포의 타입에 따라, 시력정보는 전기자극을 이용해 인공기관과 유사하게 처리될 수 있다. 이것이 바로 더 이상 광에 기반하지 않는 전기이며 동일한 타입의 처리를 필요로 하는 자극을 만드는 시력보조기를 이용하는 것이 이런 경우에 유용한 이유이다.

상술한 실시예들은 본 발명의 예이다. 다양한 변형들이 특허청구범위에 나타내 바와 같이 본 발명의 범위로부터 벗어남이 없이 이루어질 수 있다. 특히, 본원의 방법은 수학적 표현 또는 보다 일반적으로 시력보조기에 대한 제어신호(S)를 개발하기 위해 상기에 언급된 모델링에 국한되지 않는다.

Claims

- 픽셀 매트릭스에 있는 각 픽셀에 대해, 장면내 픽셀에 대한 광변화의 함수로서 얻은 이벤트-기반의 비동기식 신호 시퀀스를 포함한 보이는 장면을 나타내는 입력신호(f)를 수신하는 단계;
- 시력보조기의 픽셀영역에 대해 각각의 제어신호(S)를 발생하기 위해 공간적으로 픽셀 매트릭스내에 시간적으로 이벤트-기반의 비동기식 신호 시퀀스를 따라 입력신호를 변환하는 단계; 및
- 시력보조기에 제어신호를 가하는 단계를 포함하는 시력보조기(20) 제어방법.
제 1 항에 있어서,
픽셀에 대한 이벤트-기반의 비동기식 신호 시퀀스는 픽셀에 대한 광변화의 함수로서 시간적으로 위치된 포지티브 또는 네거티브 펄스들의 시퀀스를 포함하는 시력보조기 제어방법.
제 1 항에 있어서,
제어신호(S)를 발생하기 위해 입력신호(f)를 변환하는 단계는:
- 다른 크기의 필터링 커넬들(50,51)로 2개의 공간 필터링 연산, 2개의 공간 필터링 동작의 결과들 간의 차의 계산, 및 상기 차에 대한 시간 필터링 연산(54,55)으로 인해 발생한 제 1 신호(V^BC)를 얻는 단계; 및
- 제 1 신호가 특정 신호값을 갖는다면 0값의, 그렇지 않으면 제 1 신호와 같은 절대값의 제 2 신호(V_ON ^exc,V_ON ^inh,V_OFF ^exc,V_OFF ^inh)를 얻는 단계를 포함하는 시력보조기 제어방법.
제 3 항에 있어서,
시력보조기는 망막하 시력 인공기관(20)을 구비하고, 상기 시력 인공기관에 가해지는 제어신호(S)가 제 2 신호로부터 발생되는 시력보조기 제어방법.
제 3 항에 있어서,
시력보조기는 발광소자 매트릭스를 구비하고, 상기 매트릭스에 가해진 제어신호(S)는 상기 제 2 신호로부터 발생되는 시력보조기 제어방법.
제 3 항에 있어서,
적어도 하나의 제 1 흥분신호와 제 1 억제신호는 차에 대한 시간필터링 연산(54,55)에 대한 각각의 시간상수(τ^exc,τ^inh)로 얻어지고, 적어도 하나의 제 2 흥분신호(V_ON ^exc,V_OFF ^exc)와 제 2 억제신호(V_ON ^inh,V_OFF ^inh)는 제 1 흥분 및 억제신호로부터 각각 얻어지는 시력보조기 제어방법.
제 6 항에 있어서,
제어신호(S)를 발생하기 위해 입력신호(f)를 변환하는 단계는
- 제 2 흥분신호(V_ON ^exc,V_OFF ^exc)와 제 2 억제신호(V_ON ^inh,V_OFF ^inh)로부터 유도된 억제성분(V^AC) 간의 차에 대한 공간필터링 연산(64)으로부터 발생한 제 3 신호(V^GC)를 얻는 단계; 및
- 시력보조기(20)의 주어진 픽셀영역에 대한 제 3 신호가 기설정된 임계치(θ)를 초과하면, 상기 픽셀영역에 대해 의도된 제어신호(S)에 펄스를 삽입하는 단계 및 상기 픽셀영역에 대한 제 3 신호를 0으로 리셋하는 단계를 포함하는 시력보조기 제어방법.
제 7 항에 있어서,
제 2 억제신호(V_ON ^inh,V_OFF ^inh)로부터 억제성분(V^AC)의 유도는 기설정된 지연(D) 및 공간필터링 연산(60)의 적용(59)을 포함하는 시력보조기 제어방법.
제 8 항에 있어서,
억제성분(V^AC)의 유도에 있어 공간필터링 연산(60)은 중심을 벗어난 필터링 커넬을 이용하는 시력보조기 제어방법.
제 6 항에 있어서,
제 2 흥분 및 억제신호(V_ON ^exc,V_OFF ^exc,V_ON ^inh,V_OFF ^inh)가 각각의 시간상수에서 시간필터링 연산(54,55)으로 제 1 채널 및 제 2 채널에 대해 얻어지고, 제어신호(S)를 발생하기 위해 입력신호(f)를 변환하는 단계는
- 제 1 및 제 2 채널에 대한 제 2 흥분신호들(V_ON ^exc,V_OFF ^exc)의 선형결합과 제 1 및 제 2 채널에 대한 제 2 억제신호들(V_ON ^inh,V_OFF ^inh)로부터 유도된 억제성분(V^AC) 간의 차에 대한 공간필터링 연산(64)으로부터 발생한 제 3 신호(V^GC)를 얻는 단계; 및
시력보조기(20)의 주어진 픽셀영역에 대한 제 3 신호가 주어진 임계치(θ)를 초과하면, 상기 픽셀영역에 대한 제어신호(S)에 펄스를 입력시키는 단계 및 상기 픽셀영역에 대한 제 3 신호를 0으로 리셋하는 단계를 포함하는 시력보조기 제어방법.
제 10 항에 있어서,
제 2 억제신호들(V_ON ^inh,V_OFF ^inh)로부터 억제성분(V^AC)의 유도는 제 1 및 제 2 채널에 대한 제 2 억제신호에 각각의 지연(D_ON,D_OFF), 지연된 제 2 억제신호들에 대한 공간필터링 연산(60), 및 지연되고 필터링된 제 2 억제신호의 선형결합의 계산(68,69)의 적용을 포함하는 시력보조기 제어방법.
제 7 항 내지 제 11 항 중 어느 한 항에 있어서,
시력보조기는 망막전 또는 피질 위치에 또는 외측슬상체에 시력 인공기관(20)을 구비하고, 시력 인공기관에 가해진 제어신호(S)가 상기 제 3 신호로부터 발생되는 시력보조기 제어방법.
제 7 항 내지 제 11 항 중 어느 한 항에 있어서,
시력보조기는 발광소자 매트릭스(20)를 포함하고 이 매트릭스에 가해진 제어신호(S)가 상기 제 3 신호로부터 발생되는 시력보조기 제어방법.
제 1 항 또는 제 2 항에 있어서,
제어신호(S)를 발생하기 위해 입력신호(f)를 변환하는 단계는 인공 신경망을 이용해 수행되는 시력보조기 제어방법.
- 픽셀 매트릭스에 있는 각 픽셀에 대해, 장면내 픽셀에 대한 광변화의 함수로서 얻은 이벤트-기반의 비동기식 신호 시퀀스를 포함한 보이는 장면을 나타내는 입력신호(f)를 수신하기 위한 입력부;
- 시력보조기에 제어신호(S)를 공급하기 위한 출력부; 및
- 공간적으로 픽셀 매트릭스내에 시간적으로 이벤트-기반의 비동기식 신호 시퀀스를 따라 입력신호를 변환시킴으로써 시력보조기의 픽셀영역들에 대해 각각 발생되는 제어신호를 발생하기 위한 처리회로(30)를 구비하는 시력보조기(20)를 제어하기 위한 신호처리장치.
제 15 항에 있어서,
처리회로는
- 다른 크기의 필터링 커넬들로 2개의 공간 필터링 연산, 2개의 공간 필터링 동작의 결과들 간의 차의 계산, 및 상기 차에 대한 시간 필터링 연산으로 인해 발생한 제 1 신호를 얻는 단계; 및
- 제 1 신호가 특정 신호값을 갖는다면 0값의, 그렇지 않으면 제 1 신호와 같은 절대값의 제 2 신호를 얻는 단계를 포함하는 시력보조기를 제어하기 위한 신호처리장치.
제 16 항에 있어서,
적어도 하나의 제 1 흥분신호 및 제 1 억제신호들은 차에 대한 시간필터링 연산에 대한 각각의 시간상수로 얻어지고, 적어도 하나의 제 2 흥분신호와 제 2 억제신호는 제 1 흥분 및 억제신호로부터 각각 얻어지는 시력보조기를 제어하기 위한 신호처리장치.
제 17 항에 있어서,
- 제 2 흥분신호와 제 2 억제신호로부터 유도된 억제성분 간의 차에 대한 공간필터링 연산으로부터 발생한 제 3 신호를 얻는 단계; 및
- 시력보조기의 주어진 픽셀영역에 대한 제 3 신호가 기설정된 임계치를 초과하면, 상기 픽셀영역에 대해 의도된 제어신호에 펄스를 삽입하는 단계 및 상기 픽셀영역에 대한 제 3 신호를 0으로 리셋하는 단계를 포함하는 시력보조기를 제어하기 위한 신호처리장치.
제 17 항에 있어서,
제 2 흥분 및 억제신호가 각각의 시간상수에서 시간필터링 연산으로 제 1 채널 및 제 2 채널에 대해 얻어지고,
처리회로는:
- 제 1 및 제 2 채널에 대한 제 2 흥분신호들의 선형결합과 제 1 및 제 2 채널에 대한 제 2 억제신호들로부터 유도된 억제성분 간의 차에 대한 공간필터링 연산으로부터 발생한 제 3 신호를 얻는 단계; 및
시력보조기의 주어진 픽셀영역에 대한 제 3 신호가 주어진 임계치를 초과하면, 상기 픽셀영역에 대한 제어신호에 펄스를 입력시키는 단계 및 상기 픽셀영역에 대한 제 3 신호를 0으로 리셋하는 단계를 포함함으로써 입력 신호를 변환하도록 더 구성되는 시력보조기를 제어하기 위한 신호처리장치.
제 15 항에 있어서,
처리회로는 인공 신경망을 구비하는 시력보조기를 제어하기 위한 신호처리장치.