KR102516570B1 - 비동기식 촉각 자극을 이용한 감각 대체 시스템 - Google Patents

비동기식 촉각 자극을 이용한 감각 대체 시스템 Download PDF

Info

Publication number
KR102516570B1
KR102516570B1 KR1020197020267A KR20197020267A KR102516570B1 KR 102516570 B1 KR102516570 B1 KR 102516570B1 KR 1020197020267 A KR1020197020267 A KR 1020197020267A KR 20197020267 A KR20197020267 A KR 20197020267A KR 102516570 B1 KR102516570 B1 KR 102516570B1
Authority
KR
South Korea
Prior art keywords
matrix
asynchronous
asynchronous signal
sensory
pixel
Prior art date
Application number
KR1020197020267A
Other languages
English (en)
Other versions
KR20190104153A (ko
Inventor
기욤 쉔그호
리야드 베노스만
케빈 아트
시오-오아 옝
시오-오아 žŸ
Original Assignee
쏘흐본느 유니베흐시테
상뜨르 나쇼날 드 라 러쉐르쉬 샹띠피끄
인쎄름 (엥스띠뛰 나씨오날 드 라 쌍떼 에 드 라 흐쉐르슈 메디깔)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 쏘흐본느 유니베흐시테, 상뜨르 나쇼날 드 라 러쉐르쉬 샹띠피끄, 인쎄름 (엥스띠뛰 나씨오날 드 라 쌍떼 에 드 라 흐쉐르슈 메디깔) filed Critical 쏘흐본느 유니베흐시테
Publication of KR20190104153A publication Critical patent/KR20190104153A/ko
Application granted granted Critical
Publication of KR102516570B1 publication Critical patent/KR102516570B1/ko

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61FFILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • A61F9/08Devices or methods enabling eye-patients to replace direct visual perception by another kind of perception
    • AHUMAN NECESSITIES
    • A41WEARING APPAREL
    • A41DOUTERWEAR; PROTECTIVE GARMENTS; ACCESSORIES
    • A41D1/00Garments
    • A41D1/002Garments adapted to accommodate electronic equipment
    • AHUMAN NECESSITIES
    • A41WEARING APPAREL
    • A41DOUTERWEAR; PROTECTIVE GARMENTS; ACCESSORIES
    • A41D1/00Garments
    • A41D1/04Vests, jerseys, sweaters or the like
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/06Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/50Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/44Event detection
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00Tactile signalling systems, e.g. personal calling systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/04Synchronising

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Textile Engineering (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Vascular Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Professional, Industrial, Or Sporting Protective Garments (AREA)

Abstract

감각 대체 시스템은 사용자의 피부에 대해 여진기(5)가 배치되는 방식으로 사용자가 착용할 수 있는 휴대용 여진기의 매트릭스(1)와, 상기 매트릭스의 여진기용 제어회로(8)를 포함한다. 비동기 신호 소스(10)는 제어회로에 픽셀 매트릭스에 따라 구성된 시각 정보를 나타내는 비동기 신호를 제공한다. 이 비동기 신호는, 각 픽셀에 대해, 상기 픽셀과 비동기 방식으로 연관된 연속 이벤트를 포함한다.

Description

비동기식 촉각 자극을 이용한 감각 대체 시스템
본 발명은 감각 대체 시스템에 관한 것으로, 보다 상세하게는 사용자, 특히 시각 장애가 있는 사용자에게 시각 정보를 제공하기 위해 촉각 자극을 제공하는 것에 관한 것이다.
망막 신경보철물(Retinal neuroprostheses)은 시력 상실로 고통받는 개인에 시각 정보의 결핍을 보완하기 위해 뇌를 자극하는 시스템이다.
이들 신경보철물은 침습적으로 이식되어 시신경의 상류에 있는 망막 세포를 전기적으로 자극한다. 보철물을 이식한 다음 이들을 사용하기 위한 조작은 고가이며 이물(foreign body)이 반드시 있기 때문에 사용자의 건강을 위험하게 할 수 있다.
망막 세포가 감광하게 하는 유전적 변이 방안도 또한 침습적인데, 이는 일단 돌연변이가 일어나면 돌이킬 수 없기 때문이다.
또한, 이러한 장치는 사용자의 시신경이 손상되지 않은 경우에만 기능한다. 따라서, 녹내장 환자나 태어날 때부터 맹인인 사람에 도움되지 않는다. 궁극적으로, 우리는 현재 대뇌 피질 자극의 초기 단계에 머물러 있으며, 연구는 어떤 경우에는 침습적인 이러한 유형의 적용을 완벽하게 할 시간이 여전히 필요할 것이다. 이러한 문제는 또한 감각을 상실한 사람 및/또는 사지가 절단된 사람을 위한 인공 귀 또는 촉각 센서와 같은 다양한 이식형 신경보철물에 영향을 미친다.
이 문제를 해결하기 위해 Bach-y-Rita는 피부의 자연 수용체를 자극하는 장치를 고안했다(P. Bach-y-Rita: "Tactile sensory substitution studies", Annals of the New York Academy of Sciences, no. 1013, pp. 83-91).
이 유형의 감각 대체 장치는 환자가 다소 독립성을 회복할 수 있게 하는 데 성공했다. D. Moraru, C.A. Boiangiu: "About Visual Sensory Substitution", Proceedings of the 3rd International Conference on Acoustics, Speech and Audio Processing(ASAP' 15), Salerno, Italy, June 2015, pp. 115-124, 또는 C.C. Pack, S.J. Bensmaia: "Seeing and Feeling Motion: Canonical Computations in Vision and Touch", PLoS Biology, Vol. 13, No. 9: e1002271, September 2015 참조.
그러나, 공지의 감각 대체 장치는 맹인의 필요를 적절히 충족시키지 못한다. 상기 장치는 일반적으로 부피가 크며 전력이 많이 들며, 이로 인해 사용으로 인한 이점이 줄어든다. P. Galambos: "Vibrotactile Feedback for Haptics and Telemanipulation: Survey, Concept and Experiment", Acta Polytechnica Hungarica, Vol. 9, No. 1(2012), pp. 41-65, 또는 S. Maidenbaum, S. Abboud, A. Amedi: "Sensory substitution: Closing the gap between basic research and widespread practical visual rehabilitation", Neuroscience & Biobehavioral Reviews, Vol. 41(2014), pp. 3-15 참조. 또한, 오랜 교육 기간이 필요하며 그 효과도 개인에 따라 크게 다르다.
본 발명의 목적은 상기 난제를 적어도 부분적으로 극복할 수 있는 다른 기술을 제안하는 것이다.
본 발명은 여진기(exciter)가 피부와 국부적으로 상호 작용하는 방식으로 사용자가 착용할 수 있는 여진기의 매트릭스, 상기 여진기의 매트릭스용 제어회로 및 상기 제어회로에 픽셀 매트릭스에 따라 구성된 시각 정보를 나타내는 비동기 신호를 제공하기 위한 비동기 신호 소스를 포함한 감각 대체 시스템을 제안한다. 비동기 신호는, 각 픽셀에 대해, 상기 픽셀과 비동기으로 관련된 연속 이벤트를 포함한다.
이러한 감각 대체 시스템은 유리하게도 인간의 뇌 및 피부 세포의 기능을 고려한다. 인체는 밀리세컨트 단위로 비동기 정보를 수신할 수 있다. 이는 "The structure and precision of retinal spike trains", Proceedings of the National Academy of Sciences, Vol. 94, No. 10(1997), pp. 5411-5416, 및 P. Reinagel, R.C. Reid: "Temporal Coding of Visual Information in the Thalamus", The Journal of Neuroscience, Vol. 20, No. 14(2000), pp. 5392-5400에 의해 설명된 바와 같이, 정보를 최적으로 처리할 수 있게 한다.
뉴로모픽(neuromorphic) 카메라와 같은 비동기 신호 소스 덕분에, 정보의 필요한 처리를 크게 줄이면서 눈의 기능을 모방할 수 있다.
이는 촉각 수단에 의한 감각 대체 시스템의 소비 감소 및 시각 처리의 생체 모방이 수행되도록 한다.
제안된 시스템은 인체 공학, 에너지 효율 및 세포 기능에 대한 적응성의 관점에서 감각 대체 시스템의 주된 결함을 해소한다.
일 실시예에서, 비동기 신호 소스는 장면을 바라보는 픽셀의 매트릭스에 따라 배열된 감광소자를 포함하는 뉴로모픽 카메라를 포함하며, 비동기 신호는 각 픽셀에 대해 상기 픽셀로부터 비동기으로 발생하는 연속적인 이벤트를 포함한다.
뉴로모픽 카메라는 특히 DVS(Dynamic Vision Sensor) 또는 ATIS(Asynchronous Time-based Image Sensor) 유형으로 구성될 수 있다.
다른 실시예에서, 비동기 신호 소스는 AER(Address-Event Representation)을 갖는 신호를 생성하는 합성기를 포함한다.
비동기 신호 소스는 또한 제어회로에 공급된 비동기 신호가 판독되는 메모리를 포함할 수 있다.
일 실시예에 따르면, 여진기 매트릭스는 사용자가 착용할 수 있는 의복에 부착된다. 이 의복에는 예를 들어 조끼가 포함된다. 이는 예를 들어 네오프렌을 포함하는 탄성을 갖는 재료로 제조될 수 있다.
감각 대체 시스템의 일 실시예에서, 매트릭스의 여진기는 기계적 액추에이터를 포함한다.
대안으로, 매트릭스의 여진기 중 적어도 일부가 전기 자극, 열 변화, 물질의 주입 및 기류의 적용의 적어도 하나를 포함하는 자극을 통해 사용자의 피부와 국부적으로 상호 작용하도록 배열되는 것도 가능하다.
본 발명의 내용에 포함됨.
본 발명의 다른 특징 및 이점은 첨부도면을 참조로 실시예의 비배타적인 예에 대한 다음의 설명에 나타날 것이다:
도 1은 본 발명의 일 실시예에 따른 감각 대체 시스템의 블록도이다.
도 2a는 비동기 카메라의 픽셀에서의 광강도 분포의 예를 도시한 도면이다.
도 2b는 도 2a의 강도 프로파일에 응답하여 비동기 카메라에 의해 생성된 신호의 예를 도시한 것이다.
도 2c는 도 2b의 신호로부터의 강도 프로파일의 재구성을 도시한 것이다.
도 3a 및 도 3b는 방법의 다른 예시적인 실시예에서 사용될 수 있는 광 획득 모드를 도시한 도 2a 및 도 2b와 유사한 도면이다.
도 4는 ATIS 타입 비동기 카메라의 블록도이다.
도 5는 본 발명의 특정 실시예에서 사용될 수 있는 여진기의 매트릭스의 개략도이다.
도 6은 그러한 여진기 매트릭스가 구비된 의복을 도시한 것이다.
도 1을 참조하면, 감각 대체 시스템은 사용자의 피부(2)에 대해 배치되도록 의도된 여진기의 매트릭스(1)를 포함한다.
매트릭스(1)의 각 여진기(5)는 제어회로(8)에 의해 활성화될 때 사용자의 피부와 국부적으로 상호 작용하도록 배치된다.
도시된 예에서, 제어회로(8)는 FPGA(Field-Programmable Gate Array) 기술을 사용하여 만들어진다. 다른 기술, 예를 들어, ASIC(Application-Specific Integrated Circuit) 기술이 제어회로(8)를 만드는 데 사용될 수 있다. 제어회로(8)는 소스(10)로부터 수신된 비동기 신호 ev(p, t)에 따라 여진기(5)에 대한 각각의 제어 신호를 생성한다.
소스(10)에 의해 제어회로(8)에 공급되는 비동기 신호 ev(p, t)는 픽셀의 매트릭스에 따라 편성된 시각 정보를 나타낸다. 이것은 일련의 이벤트로 구성되며, 각 이벤트는 매트릭스의 픽셀(p)에 해당하는 어드레스와 이벤트의 발생 시간(t)으로 구성된다.
일례로서, 비동기 신호 소스(10)는 C.Posch의 논문 "Bio-inspired vision", Journal of instrumentation, Vol. 7, No. 1(2012), C01054에 기술된 타입의 뉴로모픽 카메라일 수 있다.
도 1은 장면을 바로보며 배치되고 하나 이상의 렌즈를 포함하는 획득 광학 기(15)를 통해 장면으로부터 광속(luminous flux)을 수신하는 이벤트 기반의 비동기 시각 센서를 구성하는 이와 같은 뉴로모픽 카메라(10)를 도시한 것이다. 카메라(10)는 획득 광학기의 이미지 면에 배치된다. 이는 픽셀 매트릭스로 구성된 감광소자 어레이를 포함한다. 감광소자에 대응하는 각 픽셀은 장면의 광 변화에 따라 연속적인 이벤트를 생성한다.
카메라(10)로부터의 비동기 시각 정보는 카메라의 시야에 나타나는 장면의 픽셀에 의해 감지된 광 변화에 따라 상이한 픽셀(p)로부터 비동기로 수신된 이벤트 시퀀스 ev(p, t)로 구성된다.
비동기 카메라(10)는 예를 들어 도 2a-2c에 도시된 원리에 따라 획득을 수행한다. 생성된 정보는 활성 임계값(Q)에 도달하는 일련의 모멘트 tk(k = 0, 1, 2 등)를 포함한다. 도 2a는 매트릭스의 픽셀에 의해 보여지는 광강도 프로파일(P1)의 예를 도시한 것이다. 이 강도가 시간(tk)에서의 활성 임계값(Q)과 동일한 양만큼 증가 할 때마다, 새로운 모멘트(tk + 1)가 식별되고 이 모멘트(tk + 1)에서 포지티브 광선(도 2b의 레벨 +1)이 송신된다. 대칭적으로, 픽셀의 강도가 시간(tk)에서의 강도에서 양(Q)만큼 감소할 때마다, 새로운 모멘트(tk + 1)가 식별되고, 네거티브 광선(도 2b의 레벨 -1)이 이 모멘트(tk + 1)에서 전송된다. 따라서, 픽셀에 대한 비동기 신호 시퀀스는 픽셀에 대한 광 프로파일에 따라 모멘트(tk)에서의 시간에 위치된 일련의 포지티브 또는 네거티브 펄스 또는 광선("스파이크")으로 구성된다. 이 광선들은 양수 또는 음수 디랙(Dirac) 스파이크에 의해 수학적으로 표현될 수 있으며 각각은 전송 모멘트(tk) 및 부호 비트에 의해 특징 지어질 수 있다. 따라서, 카메라(10)로부터의 출력은 어드레스-이벤트 표현(AER)의 형태를 취한다. 도 2c는 도 2b의 비동기 신호의 시간 적분에 의한 프로파일(P1)의 근사로서 재구성될 수 있는 강도 프로파일(P2)를 도시한 것이다.
활성 임계값(Q)은 도 2a-c의 경우와 같이 고정되거나, 도 3a-b의 경우에서와 같이, 광강도에 따라 적응될 수 있다. 예를 들어, 임계값(± Q)은 이벤트(± 1)를 생성하기 위한 광강도 대수(light intensity logarithm)의 변화와 비교될 수 있다.
일례로서, 비동기 카메라(10)는 ""A 128x128 120 dB 15 μs Latency Asynchronous Temporal Contrast Vision Sensor", P. Lichtsteiner, et al., IEEE Journal of Solid-State Circuits, Vol. 43, No. 2, February 2008, pp. 566-576 또는 특허 출원 US 2008/0135731 A1에 기술된 타입의 다이나믹 비전 센서(DVS)일 수 있다. 이 타입의 DVS로 약 수 밀리세컨드 정도의 망막의 다이나믹스(동작 전위 간의 최소 시간)에 가까워질 수 있다. 어떤 경우에도, 다이나믹한 성능은 현실적인 샘플레이트의 기존 비디오 카메라로 달성될 수 있는 것보다 광범위하게 우수하다. 제어회로(8)에 대한 입력 신호를 구성하는 DVS(10)에 의해 한 픽셀에 대해 생성된 비동기 신호의 형태는 일련의 디랙(Dirac) 스파이크와 다를 수 있으며, 표시된 이벤트가 이 이벤트 기반의 비동기 신호에서 임의의 종류의 시간 폭 또는 진폭 또는 파형을 갖게 할 수 있다.
본 발명의 범위 내에서 이점적인 사용일 수 있는 비동기 카메라의 또 다른 예는 비동기식 시간 기반 이미지 센서(ATIS)이며, 이 설명은 "A QVGA 143 dB Dynamic Range Frame-Free PWM Image Sensor With Lossless Pixel-Level Video Compression and Time-Domain CDS" C. Posch, et al., IEEE Journal of Solid-State Circuits, Vol. 46, No. 1, January 2011, pp. 259-275 논문에 제시되어 있다.
도 4는 ATIS의 원리를 도시한 것이다. 카메라를 구성하는 매트릭스의 픽셀(16)은 전자 검출회로(18a, 18b)와 각각 관련된 포토다이오드와 같은 2개의 감광소자(17a, 17b)를 포함한다. 센서(17a) 및 센서의 회로(18a)는 상술한 DVS와 유사한 방식으로 기능한다. 이들은 포토다이오드(17a)에 의해 수신된 광강도가 소정량만큼 변화할 때 펄스(P0)를 생성한다. 이러한 강도 변화를 표시하는 펄스(P0)는 다른 포토다이오드(17b)와 관련된 전자회로(18b)를 트리거한다. 그런 후, 이 회로(18b)는 주어진 양의 광(광자 수)이 포토다이오드(17b)에 의해 수신되는 즉시 제 1 펄스(P1)에 이어 제 2 펄스(P2)를 발생시킨다. 펄스들(P1 및 P2) 사이의 시간 갭(δt)은 펄스(P0)의 발생 직후 픽셀(16)에 의해 수신된 광강도에 반비례한다. ATIS로부터의 비동기 정보는 각 픽셀에 대한 2개의 펄스 열을 포함하는 또 다른 형태의 AER 표시이다: 제 1 펄스 열(P0)은 광강도가 검출 임계값을 초과하여 변화된 모멘트를 나타내는 반면, 제 2 펄스 열은 펄스(P1 및 P2), 해당 광강도를 나타내는 시간 갭(δt), 또는 그레이 스케일을 포함한다. 따라서, ATIS의 매트릭스에서 위치(p)를 와 함께 픽셀(16)로부터 발생하는 이벤트 ev(p, t)는 2가지 타입의 정보: 즉, 펄스(P0)의 위치에 의해 제공되고 이벤트의 모멘트(t)를 제공하는 시간 정보와, 펄스들(P1 및 P2) 사이의 시간 갭(δt)에 의해 제공된 그레이 스케일 정보를 포함한다.
다른 실시예에서, 제어회로(8)에 공급하는 비동기 신호 소스(10)는 실제 장면을 관측하는 카메라가 아니라 어드레스-이벤트 표현(AER)을 갖는 신호 합성기이다. 비동기 신호 v(p, t)는 다소 현실적이거나 심지어 추상적일 수 있는 사용자에게 제시될 이미지를 에뮬레이션하는 것과 같은 소스에 의해 합성된다.
예를 들어, 감각 대체 시스템에 의해 이러한 방식으로 제시되는 이미지는 스마트 폰, 태블릿, 컴퓨터, 텔레비전 등과 같은 다양한 장치에 통상적으로 사용되는 그래픽 사용자 인터페이스(GUI)의 요소에 대응할 수 있다. 합성기에 의해 생성된 비동기 신호는 표준 포맷 그래픽 요소의 변환으로 인해 생성되거나 감각 대체 시스템의 요건을 충족시키기 위해 직접 생성될 수 있다.
비동기 신호 소스(10)는 또한 전자, 자기 또는 광학 타입의 메모리로부터 판독하여, 뉴로모픽 카메라 또는 합성기 중 하나를 이용해 획득한 후에 이전에 기록된 이벤트 기반 비동기 신호를 제어회로(8)에 제공함으로써 기능할 수 있다.
제어회로(8)는 소스(10)로부터 수신된 비동기 신호로부터 매트릭스(1)의 여진기(5)를 공급한다. 각각의 여진기(5)는 어드레스-이벤트 표현(AER)에서 대응하는 위치를 갖는 픽셀에 대해 이벤트가 수신될 때 선택적으로 제공되는 공급 전압의 형태로 개별 명령을 수신한다.
매트릭스(1)의 각각의 여진기(5)는 제어회로(8)로부터 발생하는 각각의 신호에 의해 활성화될 때 피부(2)에 진동 및/또는 압력을 생성하는 예를 들어 압전 타입의 기계적 액추에이터로 구성될 수 있다.
다른 유형의 자극은 또한 매트릭스(1)의 여진기(5)에 의해 국부적으로 적용될 수 있다:
- 제어회로(8)에 의해 전압이 선택적으로 공급되는 전극을 이용한 전기 자극,
- 열 장치를 사용한 열 변화,
- 물질의 주입,
- 기류의 적용, 등.
매트릭스(1) 내의 상이한 유형의 여진기(5)의 조합도 또한 고려될 수 있다. 중요한 것은 매트릭스(1)의 각 요소(5)에 의해 적용된 여기(excitation)의 국부적인 특성이다. 따라서, 이 매트릭스는 감각 대체를 촉진하는 공간 인식 다이어그램을 생성하는 사용자의 피부에 자극 점에 대한 일종의 맵을 제공할 수 있게 한다.
매트릭스(1)에서 여진기(5)의 공간 밀도는 비동기 신호를 획득하는데 사용 된 픽셀의 공간 밀도보다 낮을 수 있다. 이 경우, 제어회로(8)는 공간 적분을 수행하여 여진기(5)에 대한 제어신호를 생성할 수 있다.
비시각 시스템을 포함한 비동기식으로 정보를 생성하는 임의의 종류의 시스템을 인터페이스할 수 있다. 예를 들어, 사지절단 환자를 위한 비동기 저압센서 또는 심지어 비동기 오디오 장치를 제공할 수 있다. 따라서, 감각 대체 장치의 사용은 정보가 이벤트 스트림의 형태로 제공될 수 있게 하는 임의의 종류의 센서를 포함할 수 있다.
여진기(5)의 연결을 단순화하기 위해, 모든 여진기 또는 그 중 일부에 대해 공통 접지면을 제공하도록 매트릭스(1)을 배열할 수 있다. 이 경우, 와이어 또는 도전성 트랙을 통해 각 여진기(5)에 대한 제어 전압을 공급하는 것으로 충분하다. 접지면은, 특히, 제어회로(8)와 관련된 전원 단자에 연결된 도전성 직물 시트(20)의 형태를 취할 수 있으며, 여기에 여진기(5)가 부착된다.
도 5는 이 예에서 기계적 액추에이터(5)로 제조된 여진기(5)가 설치되는 직물 시트(20)를 도시한 것이다. 이 예에서, 시트(20)는 액추에이터(5)에 의해 생성된 압력 또는 진동을 사용자에 전달하기 위해 사용자의 피부(2)와 접촉하도록 의도된 다른 직물 백킹(textile backing)(21)에 스티칭되거나 접착된다.
도 6에 도시된 바와 같이, 액추에이터(1)의 매트릭스 및 백킹(21)을 포함하는 어셈블리는 액추에이터(5)와 원하는 기계적 커플링을 생성하기 위해 백킹(21)이 사용자의 피부에 대해 놓이도록 사용자가 착용할 수 있는 의복(22)의 내부에 부착될 수 있다.
바람직하게는, 의복(22)은 사용자의 피부(2)에 대해 액추에이터(1)의 매트릭스를 적절히 부착시키기 위해 탄성을 갖는 재료로 제조된다. 예로써, 의복(22)은 네오프렌으로 제조될 수 있다. 통상적으로, 의복은 조끼일 수 있어, 액추에이터(1)의 매트릭스가 사용자의 등 또는 아마도 사용자의 측면 및 가능하면 사용자의 배에 배치되게 한다. 도 6에 도시된 바와 같이, 액추에이터(5)는 장착된 의복의 전체 강성(rigidity)을 감소시키기 위해 몇몇 서브 어셈블리들에 걸쳐 산개될 수 있다.
물론, 매트릭스(1)는 사용자 신체의 다른 부분, 특히 팔다리에 걸쳐 분포된 여진기(5)를 포함할 수 있다. 부착된 의복은 사용자의 몸통보다 더 많은 것을 덮는 수트(suit)일 수 있다.
상술한 감각 대체 시스템은 뇌에 의해 수행되는 시공간적 해석의 관점에서 피부 수용체 세포의 기능을 고려한다. 따라서, 신체의 다른 영역에서 비동기적으로 촉각, 전기, 신체 또는 기타 자극을 생성할 수 있다.
여진기(5)는 자극 영역에서 수용체 세포의 밀도와 일치하도록 분포된다.
감각 대체 시스템으로 전달된 시각 정보는 수 마이크로 초 간격으로 이격될 수 있다. 여진기(5)에 대한 공급 전압은 수용체 세포를 원하는 강도로 자극하는 데 필요한 시간 동안 지속되는 펄스를 갖는다. 전송되는 정보의 성격에 따라 광범위한 자극 전략을 구현할 수 있다. 특히, 이미지의 여러 그레일 스케일을 시뮬레이트하거나 심지어 단어 인식을 위해 텍스트로 쓰는 것을 시뮬레이트할 수 있다.
이러한 자극에 대한 피험자들의 반응을 연구하기 위해, 건강한 피험자에 대한 시험이 수행되었다. 매트릭스(1)에서 기계적 액추에이터(5)로 수행된 이러한 테스트는 매우 고무적인 결과를 제공했다. 몇 분의 훈련을 거친 후에 문자와 숫자뿐만 아니라 다양한 기하학적 형태의 인식이 이미 만족스러웠다. 이들 테스트는 또한 상술한 바와 같은 뉴로모픽 카메라(10)의 시야에서 물체의 고속 이동이 식별되게 한다. 이는 다른 동적 이동성 실험에 비추어 매우 유망한 결과이다. 각 피험자에 시스템을 연결할 수 있으려면 개인의 고유성을 또한 고려해야 한다.
상술한 실시예는 본 발명의 간단한 설명이다. 이들은 청구범위로부터 명백한 본 발명의 범위를 벗어나지 않으면서 다양한 방식으로 변형될 수 있다.

Claims (11)

  1. 여진기(5)가 사용자의 피부(2)와 국부적으로 상호 작용하는 방식으로 사용자가 착용할 수 있는 여진기의 매트릭스(1);
    상기 여진기의 매트릭스용 제어회로(8); 및
    픽셀 매트릭스에 따라 구성된 시각 정보를 나타내는 비동기 신호를 상기 제어회로에 제공하기 위한 비동기 신호 소스(10)를 포함하고,
    상기 비동기 신호는, 각각의 픽셀에 대해, 상기 픽셀과 비동기식으로 관련된 연속적인 이벤트를 포함하는 감각 대체 시스템.
  2. 제 1 항에 있어서,
    상기 비동기 신호 소스(10)는 장면을 바라보는 픽셀 매트릭스에 따라 배열 된 감광소자를 포함하는 뉴로모픽 카메라(neuromorphic camera)를 포함하며, 상기 비동기 신호는 각 픽셀에 대해 상기 픽셀로부터의 비동기식으로 발생한 연속 이벤트를 포함하는 감각 대체 시스템.
  3. 제 2 항에 있어서,
    상기 뉴로모픽 카메라(10)는 DVS(Dynamic Vision Sensor) 또는 ATIS( Asynchronous Time-based Image Sensor) 타입인 감각 대체 시스템.
  4. 제 1 항에 있어서,
    상기 비동기 신호 소스는 어드레스 이벤트 표현(AER)을 갖는 신호를 생성하는 합성기를 포함하는 감각 대체 시스템.
  5. 제 1 항에 있어서,
    상기 비동기 신호 소스는 상기 제어회로(8)에 공급된 상기 비동기 신호가 판독되는 메모리를 포함하는 감각 대체 시스템.
  6. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
    상기 여진기의 매트릭스(1)는 사용자가 착용할 수 있는 의복(22)에 부착되는 감각 대체 시스템.
  7. 제 6 항에 있어서,
    상기 의복(22)은 조끼를 포함하는 감각 대체 시스템.
  8. 제 6 항에 있어서,
    상기 의복(22)은 탄성을 갖는 재료로 제조되는 감각 대체 시스템.
  9. 제 8 항에 있어서,
    탄성을 갖는 재료는 네오프렌을 포함하는 감각 대체 시스템.
  10. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
    매트릭스(1)의 여진기(5)는 기계적 액추에이터를 포함하는 감각 대체 시스템.
  11. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
    매트릭스(1)의 여진기(5) 중 적어도 일부는 전기 자극, 열 변화, 물질 주입 및 기류의 적용의 적어도 하나를 포함하는 자극을 통해 사용자의 피부(2)와 국부적으로 상호 작용하도록 배열된 감각 대체 시스템.
KR1020197020267A 2016-12-20 2017-12-07 비동기식 촉각 자극을 이용한 감각 대체 시스템 KR102516570B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1662851 2016-12-20
FR1662851A FR3060297B1 (fr) 2016-12-20 2016-12-20 Systeme de substitution sensorielle par stimulation tactile asynchrone
PCT/FR2017/053454 WO2018115627A1 (fr) 2016-12-20 2017-12-07 Systeme de substitution sensorielle par stimulation tactile asynchrone

Publications (2)

Publication Number Publication Date
KR20190104153A KR20190104153A (ko) 2019-09-06
KR102516570B1 true KR102516570B1 (ko) 2023-04-03

Family

ID=58347603

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197020267A KR102516570B1 (ko) 2016-12-20 2017-12-07 비동기식 촉각 자극을 이용한 감각 대체 시스템

Country Status (8)

Country Link
US (1) US11654055B2 (ko)
EP (1) EP3558180B1 (ko)
JP (1) JP6896862B2 (ko)
KR (1) KR102516570B1 (ko)
CN (1) CN110300562A (ko)
CA (1) CA3047364A1 (ko)
FR (1) FR3060297B1 (ko)
WO (1) WO2018115627A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102523510B1 (ko) * 2017-09-28 2023-04-18 애플 인크. 이벤트 카메라를 이용한 정적 이미지들의 생성
US11928981B2 (en) 2022-06-22 2024-03-12 Kevin Fan Tactile vision

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016015099A1 (en) * 2014-07-28 2016-02-04 National Ict Australia Limited Determination of parameter values for sensory substitution devices
US20160317383A1 (en) * 2013-12-31 2016-11-03 Iftech Inventing Future Technology Inc. Wearable devices, systems, methods and architectures for sensory stimulation and manipulation and physiological data acquisition

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1958433B1 (en) 2005-06-03 2018-06-27 Universität Zürich Photoarray for detecting time-dependent image data
US20070041600A1 (en) * 2005-08-22 2007-02-22 Zachman James M Electro-mechanical systems for enabling the hearing impaired and the visually impaired
CN100578568C (zh) * 2005-09-21 2010-01-06 东南大学 基于射流技术的触觉图文显示装置及显示方法
JP4911738B2 (ja) * 2006-11-22 2012-04-04 学校法人早稲田大学 歩行リハビリ支援装置
CN101021745A (zh) * 2006-12-14 2007-08-22 东南大学 基于多维刺激的彩色射流触觉图文显示装置及显示方法
DE102008039153A1 (de) * 2008-08-21 2010-02-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Sehhilfe, Wahrnehmungshilfe und Sehhilfeverfahren
CN101390789B (zh) * 2008-09-25 2010-09-29 上海交通大学 基于电刺激的触觉-视觉替代系统
CN101518482B (zh) * 2009-03-18 2011-04-27 东南大学 一种触觉图文显示装置及显示方法
CN101972149B (zh) * 2010-11-02 2012-03-07 浙江理工大学 视触觉测试仪及视触觉敏感性测试方法
FR2975251B1 (fr) * 2011-05-12 2015-12-04 Univ Pierre Et Marie Curie Paris 6 Procede et dispositif de commande d'un dispositif d'aide a la vision
WO2013018090A1 (en) * 2011-08-01 2013-02-07 Abir Eliahu System and method for non-visual sensory enhancement
CN202270109U (zh) * 2011-10-08 2012-06-13 范迪 一种光信号转非视觉感受器
US20150366504A1 (en) * 2014-06-20 2015-12-24 Medibotics Llc Electromyographic Clothing
US9293015B2 (en) * 2013-09-09 2016-03-22 Immersion Corporation Electrical stimulation haptic feedback interface
FR3019317B1 (fr) * 2014-03-26 2016-05-27 Univ Pierre Et Marie Curie (Paris 6) Dispositif de visualisation d'une sequence d'images et systeme de visualisation d'une scene
CN104352303B (zh) * 2014-10-30 2017-11-07 北京大学 电刺激形成人工视觉的设备
CN204709329U (zh) * 2015-06-08 2015-10-21 深圳市中科微光医疗器械技术有限公司 基于触觉的为视觉障碍人士传达周围环境信息的装置
CN105959572A (zh) * 2016-07-04 2016-09-21 张恩洋 一种用于人体佩戴的具有红外全景深感知功能的导盲帽

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160317383A1 (en) * 2013-12-31 2016-11-03 Iftech Inventing Future Technology Inc. Wearable devices, systems, methods and architectures for sensory stimulation and manipulation and physiological data acquisition
WO2016015099A1 (en) * 2014-07-28 2016-02-04 National Ict Australia Limited Determination of parameter values for sensory substitution devices

Also Published As

Publication number Publication date
CN110300562A (zh) 2019-10-01
FR3060297B1 (fr) 2019-05-10
EP3558180B1 (fr) 2024-04-03
JP2020501747A (ja) 2020-01-23
WO2018115627A1 (fr) 2018-06-28
CA3047364A1 (fr) 2018-06-28
US20190332167A1 (en) 2019-10-31
EP3558180A1 (fr) 2019-10-30
KR20190104153A (ko) 2019-09-06
FR3060297A1 (fr) 2018-06-22
JP6896862B2 (ja) 2021-06-30
US11654055B2 (en) 2023-05-23

Similar Documents

Publication Publication Date Title
Bach-y-Rita et al. Seeing with the brain
JP5057068B2 (ja) 電気触覚ディスプレイ
US9199081B2 (en) Blind sight
Kajimoto et al. SmartTouch-augmentation of skin sensation with electrocutaneous display
KR102516570B1 (ko) 비동기식 촉각 자극을 이용한 감각 대체 시스템
Palanker et al. Restoring sight with retinal prostheses
US11684517B2 (en) Medical device for improving environmental perception for blind or visually-impaired users
Fale et al. Brainport vision technology
CN111902185A (zh) 具有图像抖动功能的人工视网膜刺激器和装置
Moraru et al. About visual sensory substitution
Kajimoto et al. SmartTouch: A new skin layer to touch the non-touchable
JP2018202054A (ja) 人工視覚装置
Chittal Bionic Eye: A Review
Pereira et al. An electrical stimulator for sensory substitution
Arth Neuromorphic sensory substitution with an asynchronous tactile belt for unsighted people: from design to clinical trials
Turicchia et al. A low-power imager and compression algorithms for a brain-machine visual prosthesis for the blind
Alotaibi Artificial Vision-Visual Prosthesis
WO2011089296A1 (es) Sistema de visión táctil portable y dispositivo de estimulacion táctil para el mismo.
Woolley Buccofacial apraxia and the expression of emotion
Fletcher et al. Electronic restoration of vision: science fiction or reality?
Singh et al. Bionic eye technology: An advanced version of artificial vision
Merfeld Vestibular neuroprostheses
Daviss Vision quest: smaller and more sophisticated optical prosthetics provide rudimentary vision in patients with retinal and macular degeneration
Warwick Combining Human & Machine Brains: Practical Systems in Information & Control
Kareer et al. Understanding biological vision repairment using neurostimulation

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant