KR20240038786A - 비-감각 정보 렌더링 및 주입을 위한 방법 및 시스템 - Google Patents
비-감각 정보 렌더링 및 주입을 위한 방법 및 시스템 Download PDFInfo
- Publication number
- KR20240038786A KR20240038786A KR1020247006581A KR20247006581A KR20240038786A KR 20240038786 A KR20240038786 A KR 20240038786A KR 1020247006581 A KR1020247006581 A KR 1020247006581A KR 20247006581 A KR20247006581 A KR 20247006581A KR 20240038786 A KR20240038786 A KR 20240038786A
- Authority
- KR
- South Korea
- Prior art keywords
- brain
- data
- concept
- processing device
- sensory input
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 120
- 230000001953 sensory effect Effects 0.000 title claims abstract description 73
- 238000009877 rendering Methods 0.000 title description 12
- 210000004556 brain Anatomy 0.000 claims abstract description 326
- 238000012545 processing Methods 0.000 claims abstract description 294
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 45
- 230000008569 process Effects 0.000 claims abstract description 44
- 238000013507 mapping Methods 0.000 claims description 59
- 210000005036 nerve Anatomy 0.000 claims description 46
- 241001465754 Metazoa Species 0.000 claims description 45
- 230000005540 biological transmission Effects 0.000 claims description 39
- 238000004891 communication Methods 0.000 claims description 19
- 230000003340 mental effect Effects 0.000 claims description 14
- 230000037361 pathway Effects 0.000 claims description 12
- 230000008878 coupling Effects 0.000 claims description 6
- 238000010168 coupling process Methods 0.000 claims description 6
- 238000005859 coupling reaction Methods 0.000 claims description 6
- 238000013481 data capture Methods 0.000 claims description 2
- 230000015654 memory Effects 0.000 description 56
- 230000006870 function Effects 0.000 description 39
- 230000000875 corresponding effect Effects 0.000 description 37
- 230000000007 visual effect Effects 0.000 description 34
- 230000005236 sound signal Effects 0.000 description 33
- 238000013506 data mapping Methods 0.000 description 29
- 230000001537 neural effect Effects 0.000 description 27
- 210000000869 occipital lobe Anatomy 0.000 description 25
- 230000008859 change Effects 0.000 description 21
- 230000004044 response Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 15
- 210000001152 parietal lobe Anatomy 0.000 description 11
- 230000003287 optical effect Effects 0.000 description 10
- 238000012986 modification Methods 0.000 description 9
- 230000004048 modification Effects 0.000 description 9
- 238000002347 injection Methods 0.000 description 8
- 239000007924 injection Substances 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 6
- 230000001939 inductive effect Effects 0.000 description 6
- 241000894007 species Species 0.000 description 6
- 241000282465 Canis Species 0.000 description 5
- 210000002569 neuron Anatomy 0.000 description 5
- 239000004065 semiconductor Substances 0.000 description 5
- 230000008054 signal transmission Effects 0.000 description 5
- 230000000638 stimulation Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 4
- 210000003926 auditory cortex Anatomy 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 210000000860 cochlear nerve Anatomy 0.000 description 4
- 238000013500 data storage Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 210000004126 nerve fiber Anatomy 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 210000003625 skull Anatomy 0.000 description 4
- 210000000857 visual cortex Anatomy 0.000 description 4
- 241000282324 Felis Species 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000002513 implantation Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 210000001328 optic nerve Anatomy 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 239000003826 tablet Substances 0.000 description 3
- 241000271566 Aves Species 0.000 description 2
- 241000288906 Primates Species 0.000 description 2
- 241000283984 Rodentia Species 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 210000005069 ears Anatomy 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 230000006698 induction Effects 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 230000007433 nerve pathway Effects 0.000 description 2
- 230000010004 neural pathway Effects 0.000 description 2
- 210000000118 neural pathway Anatomy 0.000 description 2
- 238000010079 rubber tapping Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000035807 sensation Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 241000282693 Cercopithecidae Species 0.000 description 1
- 241000282575 Gorilla Species 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 241000270322 Lepidosauria Species 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000007177 brain activity Effects 0.000 description 1
- 210000005013 brain tissue Anatomy 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 210000000877 corpus callosum Anatomy 0.000 description 1
- 238000012258 culturing Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000005669 field effect Effects 0.000 description 1
- 239000007943 implant Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010348 incorporation Methods 0.000 description 1
- 210000005171 mammalian brain Anatomy 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 210000000653 nervous system Anatomy 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000001936 parietal effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000005062 synaptic transmission Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000018405 transmission of nerve impulse Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
- A61B5/7435—Displaying user selection data, e.g. icons in a graphical user interface
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/37—Intracranial electroencephalography [IC-EEG], e.g. electrocorticography [ECoG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/377—Electroencephalography [EEG] using evoked responses
- A61B5/378—Visual stimuli
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/377—Electroencephalography [EEG] using evoked responses
- A61B5/38—Acoustic or auditory stimuli
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/388—Nerve conduction study, e.g. detecting action potential of peripheral nerves
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/7405—Details of notification to user or communication with user or patient ; user input means using sound
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2503/00—Evaluating a particular growth phase or type of persons or animals
- A61B2503/40—Animals
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Public Health (AREA)
- Theoretical Computer Science (AREA)
- Psychiatry (AREA)
- General Engineering & Computer Science (AREA)
- Psychology (AREA)
- Human Computer Interaction (AREA)
- Neurosurgery (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Neurology (AREA)
- Dermatology (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physiology (AREA)
- Fuzzy Systems (AREA)
- Signal Processing (AREA)
- Evolutionary Computation (AREA)
- User Interface Of Digital Computer (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
처리 장치는 감각 입력 없이 개념 형성을 담당하는 대상체의 뇌 영역과 인터페이싱하도록 구성된다. 처리 장치는 감각 입력이 없는 뇌 영역에 의해서 형성된 적어도 하나의 개념을 나타내는 뇌 신호를 수신하고, 적어도 하나의 개념의 유형 형태를 나타내는 데이터로 적어도 하나의 개념을 변환하기 위해서 수신된 뇌 신호를 처리한다. 특정 실시예에서, 처리 장치는 영역에 의해서 형성될 적어도 하나의 개념을 나타내는 데이터를 처리하여 데이터를 하나 이상의 뇌 신호로 변환하고, 데이터에 의해 표현되는 적어도 하나의 개념이 감각 입력 없이 뇌 영역에 의해서 형성되도록 하나 이상의 뇌 신호를 뇌 영역에 선택적으로 제공한다.
Description
본 출원은 2021년 7월 29일자로 출원된 미국 가 특허 출원 번호 63/226,821호로부터 우선권을 주장하며, 이 개시는 그 전체가 원용에 의해서 본 명세서에 포함된다. 본 출원은 또한, 공동 소유의 미국 특허 제 11,395,620호 및 이의 대응 국제 출원 번호 PCT/IB2022/054777호뿐만 아니라, 공동 소유의 미국 특허 출원 번호 17/728,013호 및 이의 대응 국제 출원 번호 PCT/IB2022/055761호와 관련되며, 이들의 개시는 그 전체가 원용에 의해서 본 명세서에 포함된다.
본 발명은 뇌에 의한 개념 형성에 관한 것이며, 더 구체적으로는 그러한 개념을 렌더링(injecting) 및/또는 주입하는 방법 및 시스템에 관한 것이다.
상상력은 감각으로부터의 임의의 즉각적인 입력 없이 마음속에서 사물과 감각을 포함한 개념을 형성하는 능력이다. 이들 개념(사물 및 감각)은 예를 들어, 정신적 이미지, 음운론적 구절(즉, 비-음향적 사운드), 유추 및 서술의 형태일 수 있다.
본 발명의 실시예에 대한 교시에 따르면, 감각 입력 없이 개념 형성을 담당하는 영역을 포함하는 뇌를 가진 동물 대상체에 사용하기 위한 방법이 제공된다. 이 방법은: 처리 장치를 뇌 영역과 인터페이싱하는 단계; 처리 장치에 의해서, 감각 입력 없이 뇌 영역에 의해 형성된 적어도 하나의 개념을 나타내는 뇌 신호를 수신하는 단계; 및 적어도 하나의 개념의 유형의 형태를 나타내는 데이터로 적어도 하나의 개념을 변환하기 위해 처리 장치에 의해서 수신된 뇌 신호를 처리하는 단계를 포함한다.
선택적으로, 인터페이싱하는 단계는 처리 장치와 뇌 영역 사이의 통신 커플링을 제공하기 위해서 뇌 영역과 연관하여 대상체에 기계-대상체 인터페이스의 적어도 일부분을 이식하는 단계를 포함한다.
선택적으로, 인터페이싱하는 단계는 대상체에 처리 장치를 이식하는 단계를 포함한다.
선택적으로, 인터페이싱하는 단계는 처리 장치를 뇌 외부에 전개하는 단계를 포함한다.
선택적으로, 처리 장치는 비-침습적 기술을 통해 적어도 하나의 개념을 나타내는 뇌 신호를 수신한다.
선택적으로, 이 방법은 하나 이상의 규칙에 따라서 데이터에 대해 적어도 하나의 작업을 수행하는 단계를 더 포함한다.
선택적으로, 적어도 하나의 작동은 i) 처리 장치와 통신 가능하게 커플링된 컴퓨터화된 저장 장치에 데이터를 저장하는 것, ii) 하나 이상의 통신 네트워크를 통해 처리 장치와 통신 가능하게 커플링된 컴퓨터화된 서버 시스템에 데이터를 송신하는 것, 또는 iii) 수정된 데이터를 생성하기 위해서 데이터를 수정하는 것을 포함한다.
선택적으로, 이 방법은 수정된 데이터를 생성하기 위해서 데이터를 수정하는 단계; 수정된 데이터를 하나 이상의 뇌 신호로 변환하는 단계; 및 하나 이상의 뇌 신호로 표현되는 개념이 감각 입력 없이 뇌 영역에 의해서 형성되도록 하나 이상의 뇌 신호를 뇌 영역에 제공하는 단계를 더 포함한다.
선택적으로, 적어도 하나의 개념은 정신적 이미지이다.
선택적으로, 적어도 하나의 개념은 비-음향적인 사운드이다.
선택적으로, 유형의 형태는 대상체나 다른 관찰자가 볼 수 있는 이미지를 포함한다.
선택적으로, 유형의 형태는 대상체나 다른 청취자가 인지할 수 있는 사운드를 포함한다.
선택적으로, 뇌 신호는 전달 경로를 따라서 뇌 영역으로 또는 뇌 영역을 통해 전달되는 신경 자극을 포함한다.
선택적으로, 수신된 뇌 신호를 처리하는 단계는 뇌 신호와 데이터 사이를 매핑하는 적어도 하나의 매핑을 수신된 뇌 신호에 적용하는 단계를 포함한다.
본 발명의 교시의 실시예에 따르면, 감각 입력 없이 개념 형성을 담당하는 영역을 포함하는 뇌를 가진 동물 대상체에 사용하기 위한 시스템이 또한 제공된다. 이 시스템은 뇌 영역과 인터페이싱되며; 감각 입력 없이 뇌 영역에 의해서 형성된 적어도 하나의 개념을 나타내는 뇌 신호를 수신하고, 적어도 하나의 개념을 적어도 하나의 개념의 유형 형태를 나타내는 데이터로 변환하기 위해서 수신된 뇌 신호를 처리하도록 구성되는 처리 장치를 포함한다.
선택적으로, 이 시스템은 처리 장치를 뇌 영역과 인터페이싱하기 위한 기계-대상체 인터페이스를 더 포함한다.
선택적으로, 기계-대상체 인터페이스의 적어도 일부분은 처리 장치와 뇌 영역 사이의 통신 커플링을 제공하기 위해서 뇌 영역과 연관하여 대상체에 이식되도록 구성된다.
선택적으로, 처리 장치는 뇌 외부에 있다.
선택적으로, 처리 장치는 비-침습적 기술을 통해 적어도 하나의 개념을 나타내는 뇌 신호를 수신한다.
선택적으로, 처리 장치는 i) 처리 장치와 통신 가능하게 커플링된 컴퓨터화된 저장 장치, 및 ii) 하나 이상의 통신 네트워크를 통해 처리 장치와 통신 가능하게 커플링된 컴퓨터화된 서버 시스템 중 하나 이상에 데이터를 송신하도록 추가로 구성된다.
선택적으로, 처리는 수정된 데이터를 생성하기 위해서 데이터를 수정하고;
수정된 데이터를 하나 이상의 뇌 신호로 변환하고; 하나 이상의 뇌 신호로 표현된 개념이 감각 입력 없이 뇌 영역에 의해서 형성되도록 하나 이상의 뇌 신호를 뇌 영역에 제공하도록 추가로 구성된다.
선택적으로, 적어도 하나의 개념은 정신적 이미지이다.
선택적으로, 적어도 하나의 개념은 비-음향적 사운드이다.
선택적으로, 유형의 형태는 대상체나 다른 관찰자가 볼 수 있는 이미지를 포함한다.
선택적으로, 유형의 형태는 대상체나 다른 청취자가 인지할 수 있는 사운드를 포함한다.
선택적으로, 뇌 신호는 전달 경로를 따라서 뇌 영역으로 또는 뇌 영역을 통해 전달되는 신경 자극을 포함한다.
선택적으로, 처리 장치는 뇌 신호와 데이터 사이를 매핑하는 적어도 하나의 매핑을 수신된 뇌 신호에 적용함으로써 수신된 뇌 신호를 처리하도록 구성된다.
본 발명의 교시의 실시예에 따르면, 감각 입력 없이 개념 형성을 담당하는 영역을 포함하는 뇌를 가진 동물 대상체에 사용하기 위한 방법이 또한 제공된다. 이 방법은 처리 장치를 뇌 영역과 인터페이싱하는 단계; 처리 장치에 의해서, 데이터를 하나 이상의 뇌 신호로 변환하기 위해서 영역에 의해 형성될 적어도 하나의 개념을 나타내는 데이터를 처리하는 단계; 및 데이터에 의해 표현되는 적어도 하나의 개념이 감각 입력 없이 뇌 영역에 의해서 형성되도록 하나 이상의 뇌 신호를 뇌 영역에 선택적으로 제공하는 단계를 포함한다.
선택적으로, 이 방법은 처리 장치에 의해서 데이터를 처리하기 전에 처리 장치에 데이터를 제공하는 단계를 더 포함하며, 데이터는 i) 처리 장치와 통신 가능하게 커플링된 메모리 장치, ii) 하나 이상의 통신 네트워크를 통해 처리 장치와 통신 가능하게 커플링되는 컴퓨터화된 서버 시스템, 또는 iii) 처리 장치와 연관된 데이터 캡처 장치 중 적어도 하나에 의해서 처리 장치에 제공된다.
선택적으로, 데이터를 처리하는 단계는 뇌 신호와 데이터 사이를 매핑하는 적어도 하나의 매핑을 데이터에 적용하는 단계를 포함한다.
본 발명의 교시의 실시예에 따르면, 감각 입력 없이 개념 형성을 담당하는 영역을 포함하는 뇌를 가진 동물 대상체에 사용하기 위한 시스템이 또한 제공된다. 이 시스템은 뇌 영역과 인터페이싱되며; 영역에 의해서 형성될 적어도 하나의 개념을 나타내는 데이터를 수신하고, 데이터를 하나 이상의 뇌 신호로 변환하기 위해서 수신된 데이터를 처리하고, 데이터가 나타내는 적어도 하나의 개념이 감각 입력 없이 뇌 영역에 의해서 형성되도록 하나 이상의 뇌 신호를 뇌 영역에 선택적으로 제공도록 구성된 처리 장치를 포함한다.
선택적으로, 처리 장치는 뇌 신호와 데이터 사이를 매핑하는 적어도 하나의 매핑을 수신된 데이터에 적용함으로써 수신된 데이터를 처리하도록 구성된다.
본 명세서에서 달리 정의되지 않는 한, 본 명세서에서 사용된 모든 기술적 및/또는 과학적 용어는 본 발명이 속하는 기술 분야의 숙련자가 일반적으로 이해하는 것과 동일한 의미를 가진다. 본 명세서에 설명된 것과 유사하거나 등가인 방법 및 재료가 본 발명의 실시예의 실시 또는 테스트에 사용될 수 있지만, 예시적인 방법 및/또는 재료가 아래에 설명된다. 상충되는 경우에, 정의를 포함한 특허 명세서가 우선한다. 또한, 재료, 방법 및 예는 예시일 뿐 반드시 제한하려는 의도가 아니다.
본 발명의 몇몇 실시예는 첨부 도면을 참조하여 단지 예로서 본 명세서에서 설명된다. 도면을 상세하게 참조하면, 도시된 세부사항은 본 발명의 실시예에 대한 예시로서 그리고 예시적인 논의를 위한 것임이 강조된다. 이와 관련하여, 도면과 함께 취해진 설명은 본 발명의 실시예가 어떻게 실시될 수 있는지를 당업자에게 자명하게 한다. 이제 유사한 참조 부호 또는 문자가 대응하거나 유사한 구성요소를 나타내는 도면에 주목한다. 도면에서:
도 1은 본 발명의 실시예에 따른, 감각으로부터의 즉각적인 입력 없이 개념을 형성하고 형성된 개념 또는 형성된 개념들을 나타내는 뇌 신호를 데이터로 그리고 그 반대로의 변환을 담당하는 뇌 영역과 인터페이싱하는 처리 장치를 갖는 시스템의 개략도이며;
도 2는 본 발명의 실시예에 따른, 예시적인 처리 장치의 블록도이며;
도 3은 본 발명의 실시예에 따른 처리 장치가 작동할 수 있는 시스템 환경의 개략도로서, 처리 장치로부터 수신된 데이터를 저장하기 위한 메모리, 그리고 처리 장치에 연결되어 통신 네트워크를 통해 원격 서버 및 원격 처리 시스템과 데이터를 교환하는 트랜시버 유닛을 도시하며;
도 4는 인간 두뇌에서의 처리 장치의 비-제한적인 전개 구성의 개략도로서, 본 발명의 실시예에 따라 후두엽(occipital lobe)과 두정-후두 고랑(parieto-occipital sulcus) 사이의 경계면에 커플링된 처리 장치를 도시하며;
도 5는 본 발명의 실시예에 따른, 두정-후두 고랑으로부터 후두엽으로 입력을 제공하는 두정엽과 후두엽 사이의 전달 경로의 부분에 처리 장치가 이식되는 도 4의 처리 장치의 예시적인 전개 구성의 개략도이며;
도 6은 본 발명의 실시예에 따른, 처리 장치와 뇌 영역 사이의 인터페이싱에 사용될 수 있는 전극 어레이를 포함하는 예시적인 유선 인터페이스의 개략도이며;
도 7은 처리 장치와 뇌 영역 사이의 인터페이싱에 사용될 수 있는 예시적인 무선 인터페이스의 개략도로서, 본 발명의 실시예에 따른 처리 장치에 연결된 전송기 유닛과 수신기 유닛에 연결된 전극 어레이를 도시한다.
도 1은 본 발명의 실시예에 따른, 감각으로부터의 즉각적인 입력 없이 개념을 형성하고 형성된 개념 또는 형성된 개념들을 나타내는 뇌 신호를 데이터로 그리고 그 반대로의 변환을 담당하는 뇌 영역과 인터페이싱하는 처리 장치를 갖는 시스템의 개략도이며;
도 2는 본 발명의 실시예에 따른, 예시적인 처리 장치의 블록도이며;
도 3은 본 발명의 실시예에 따른 처리 장치가 작동할 수 있는 시스템 환경의 개략도로서, 처리 장치로부터 수신된 데이터를 저장하기 위한 메모리, 그리고 처리 장치에 연결되어 통신 네트워크를 통해 원격 서버 및 원격 처리 시스템과 데이터를 교환하는 트랜시버 유닛을 도시하며;
도 4는 인간 두뇌에서의 처리 장치의 비-제한적인 전개 구성의 개략도로서, 본 발명의 실시예에 따라 후두엽(occipital lobe)과 두정-후두 고랑(parieto-occipital sulcus) 사이의 경계면에 커플링된 처리 장치를 도시하며;
도 5는 본 발명의 실시예에 따른, 두정-후두 고랑으로부터 후두엽으로 입력을 제공하는 두정엽과 후두엽 사이의 전달 경로의 부분에 처리 장치가 이식되는 도 4의 처리 장치의 예시적인 전개 구성의 개략도이며;
도 6은 본 발명의 실시예에 따른, 처리 장치와 뇌 영역 사이의 인터페이싱에 사용될 수 있는 전극 어레이를 포함하는 예시적인 유선 인터페이스의 개략도이며;
도 7은 처리 장치와 뇌 영역 사이의 인터페이싱에 사용될 수 있는 예시적인 무선 인터페이스의 개략도로서, 본 발명의 실시예에 따른 처리 장치에 연결된 전송기 유닛과 수신기 유닛에 연결된 전극 어레이를 도시한다.
본 발명의 실시예는 대상체의 감각으로부터 즉각적인 입력 없이 개념을 형성하기 위한 책임이 있는 동물 대상체의 뇌 영역(즉, 상상을 담당하는 영역)과 인터페이싱되는 처리 장치에 의해서, 형성된 개념 또는 형성된 개념들을 나타내는 뇌 신호를 수신하고, 그 다음에 처리 장치에 의해서 수신된 뇌 신호를 처리하여 개념 또는 개념들의 유형의 형태를 나타내는 데이터로 변환하기 위한 방법 및 시스템을 제공한다. 뇌 신호를 수신하고 뇌 신호를 데이터로 변환하는 이러한 프로세스는 본 명세서에서 "상상 렌더링(imagination rendering)", "비-감각 정보 렌더링(non-sensory information rendering)" 또는 "개념 렌더링(concept rendering)"으로 상호교환적으로 지칭된다.
바람직한 실시예에서, 처리 장치는 또한, 뇌 영역에 의해서 형성되거나 형성될 개념 또는 개념들을 나타내는 데이터를 처리하여 데이터를 뇌 신호로 변환하고, 선택적으로 데이터에 의해서 표현되거나 표현될 개념 또는 개념들이 대상체의 감각으로부터 즉각적인 입력 없이 뇌 영역에 의해 형성되도록 뇌 영역에 뇌 신호를 제공하도록 구성된다. 데이터를 뇌 신호로 변환하여 뇌 신호를 뇌에 제공하는 이러한 프로세스는 본 명세서에서 "상상 주입(imagination injection)", "상상 유도(imagination inducement)", "개념 주입(concept injection)", "개념 유도(concept inducement)"로 지칭된다.
데이터로 변환될 감각으로부터 즉각적인 입력 없이 뇌 영역에 의해서 형성되는 개념은 본 명세서에서 "렌더링될 수 있는 개념(a concept that can be rendered)", "렌더링-가능한 개념(a render-able concept)", "렌더링될 수 있는 상상 정보", “렌더링-가능한 상상 정보”, “렌더링될 수 있는 비-감각 정보” 또는 “비-감각 렌더링 가능한 정보(non-sensory render-able information)”로 상호교환적으로 지칭된다. 데이터로 변환되는 개념은 본 명세서에서 "렌더링된 상상 정보", "렌더링된 비-감각 정보" 또는 "렌더링된 개념"으로 상호교환적으로 지칭된다.
해당 영역이 감각으로부터 즉각적인 입력 없이 개념을 형성하도록 뇌 신호로 변환되어 해당 영역에 제공되는 데이터로 표현되는 개념은 본 명세서에서 "주입되거나 유도될 수 있는 개념(a concept that can be injected or induced)", "주입 또는 유도 가능한 개념", "주입 또는 유도될 수 있는 상상 정보(imagination information that can be injected or induced)", "주입 또는 유도 가능한 상상 정보", "주입 또는 유도될 수 있는 비-감각 정보", 또는 "주입 또는 유도 가능한 비-감각 정보(injectable or inducible non-sensory information)"로 상호교환적으로 지칭될 수 있다. 주입 가능한(또는 유도 가능한) 상상 정보는 또한, 주입 가능한/유도 가능한 개념을 대표하는 데이터를 의미할 수 있다. 영역별로 개념이 형성되도록 뇌신호로 변환되어 뇌의 영역에 제공됨으로써 데이터에 의해 표현되는 개념은 본 명세서에서 "주입되거나 유도된 상상 정보", "주입되거나 유도된 개념" 또는 "주입되거나 유도된 비-감각 정보"로 상호교환적으로 지칭된다.
아래에서 상세히 논의되는 바와 같이, 특정 실시예에서 본 발명의 실시예에 따른 방법 및 시스템을 사용하여 렌더링되거나 주입될 수 있는 상상 정보는 시각적 정보(예를 들어, 이미지)일 수 있다. 환언하면, 특정 실시예에서 개념은 "상상 이미지", "상상된 이미지" 또는 "정신적 이미지"로 지칭되는 시각적 상상 정보일 수 있다. 다른 실시예에서, 본 발명의 실시예에 따른 방법 및 시스템을 사용하여 렌더링되거나 주입될 수 있는 상상 정보(즉, 개념)는 오디오 정보(예를 들어, 사운드)일 수 있다. 환언하면, 특정 실시예에서 개념은 "사운드 상상 정보", "상상 사운드", "상상된 사운드", "비-음향 사운드", 또는 "정신적 사운드(mental sound)"로도 지칭되는 오디오 상상 정보일 수 있다.
이러한 문서의 맥락에서, 어떤 경우에 "상상"은 "꿈" 및/또는 "생각"도 포함한다.
본 발명에 따른 방법 및 시스템의 원리 및 작동은 설명에 첨부된 도면을 참조하면 더 잘 이해될 수 있다.
본 발명의 적어도 하나의 실시예를 상세히 설명하기 전에, 본 발명은 다음의 설명에 기재되고/되거나 도면 및/또는 예에 예시되는 구성요소 및 방법의 구성 및 배열에 대한 세부사항의 적용에 반드시 제한되지 않는다는 것을 이해해야 한다. 본 발명은 다른 실시예가 가능하거나 다양한 방식으로 실시 또는 수행될 수 있다.
이제 도면을 참조하면, 도 1은 렌더링 가능한 상상 정보를 렌더링하고 바람직하게는 또한, 주입 가능한 상상 정보를 주입하기 위한 본 발명의 실시예에 따라 총칭하여 도면 부호 10으로 지정된 시스템의 개략도이다. 일반적으로 말하면, 시스템(10)은 대상체(100)의 감각(특히, 시각 또는 청각 중 적어도 하나)으로부터 즉각적인 입력 없이 개념 형성을 담당하는 대상체(100)의 뇌(102) 영역(103)과 인터페이싱(통신적으로 커플링)하기 위한 컴퓨터 처리 장치(12)(이후, "처리 장치"로 상호 교환적으로 지칭됨)를 포함한다. 어떤 경우에 하나 이상의 개념은 감각으로부터의 즉각적인 입력으로부터 파생되는 입력, 예를 들어 대상체(100)의 감각으로부터의 하나 이상의 과거 또는 이전의 즉각적인 입력(들) 또는 대상체(100)의 감각으로부터의 간접적인 입력에 기초하여 영역(103)에 의해서 형성될 수 있다는 점에 주목한다. 따라서, 영역(103)은 어떤 경우에, 대상체(100)의 감각으로부터 비-즉각적 입력을 이용하여 개념을 형성할 수 있고, 다른 경우에는 대상체(100)의 감각으로부터의 과거의 즉각적인 입력 및/또는 간접적인 입력을 이용하여 개념을 형성할 수 있다. 괄호 안에, 이 문서 전반에 걸쳐 "감각 입력 없음", "대상체 감각 입력 없음" 및 "비-즉각적인 감각 입력"이라는 문구는 "대상체의 감각으로부터 즉각적인 입력 없음"을 의미하기 위해서 상호교환적으로 사용된다. 특정 실시예에 따르면, 시스템(10)은 렌더링 가능한 상상 정보(즉, 렌더링 가능한 개념)를 무형의 형태로부터 유형의 형태로 또는 렌더링 가능한 개념/렌더링 가능한 상상 정보의 유형의 형태를 나타내는 데이터로 변환하도록 작동한다. 특정 실시예에서, 시스템(10)은 주입 가능한 개념/주입 가능한 상상 정보의 유형의 형태를 나타내는 데이터를, 개념이 무형의 형태가 되도록 대상체에게 제공되는 뇌 신호로 변환하도록 작동한다.
어떤 비-제한적인 실시예에서, 처리 장치(12)와 인터페이싱되는 뇌(102)의 영역(103)은 시각적인 개념(즉, "정신적인 이미지")을 형성하는 영역이다. 그러한 실시예에서, 렌더링되고 주입될 수 있는 상상 정보는 시각적인 상상 정보이다. 다른 비-제한적인 실시예에서, 처리 장치(12)가 인터페이싱되는 뇌(102)의 영역(103)은 감각 입력 없이 사운드 개념(음운론적 통로)을 형성(즉, 비-음향 사운드 또는 상상된 사운드 형성)을 담당하는 영역이다. 그러한 실시예에서, 렌더링되고 주입될 수 있는 상상 정보는 오디오/사운드 상상 정보이다.
도 1에 도시된 비-제한적인 예시적인 실시예에서 대상체는 인간 대상체이다. 그러나, 본 발명의 원리는 예를 들어, 개과 동물 종, 고양이과 동물 종, 비-인간 영장류 종, 설치류 종, 파충류 종, 조류 종, 그리고 포유 및 비-포유 해양/수생 종을 포함한 비-인간 동물 대상체에도 적용 가능하다. 일반적으로, 특정 동물 종에 대해서 자기공명영상과 같은 뇌 스캐닝 기술을 사용하여 시각적 개념이나 사운드 개념을 형성하는 담당인 대응 뇌 영역이 식별될 수 있다.
바람직한 실시예에서, 처리 장치(12)는 감각 입력 없이(즉, 대상체(100)의 감각으로부터 즉각적인 입력 없이) 뇌의 영역(103)에 의해서 형성된 적어도 하나의 개념을 나타내는 뇌 신호를 수신하도록 작동한다. 환언하면, 처리 장치(12)는 상상 정보(예를 들어, 시각적 상상 정보 또는 사운드 상상 정보)를 전달하는 뇌 신호를 수신하도록 작동하며, 그 때문에 뇌 신호는 신호를 보유하고 있는 상상 정보이다. 이들 뇌 신호는 컴퓨터나 기계 또는 기계-대상체 인터페이스에 의해서 판독, 픽-업, 또는 캡처될 수 있는 임의의 유형의 정보를 보유하는 신호일 수 있다. 하나의 특별한 비-제한적인 예에서, 뇌 신호는 뇌(102)의 영역(103)에 입력을 연결하거나 제공하는 신경 경로를 따라서 전파되는 신경 자극의 형태이다.
처리 장치(12)에 의해서 뇌 신호를 수신하는 프로세스는 본 명세서에서 일반적으로 "뇌 신호 수집" 또는 "뇌 신호의 수집(collection of brain signal)"으로 지칭된다.
처리 장치(12)는 수집된 뇌 신호로부터 데이터(바람직하게는 디지털 데이터)를 생성(발생)하기 위해서 수신된 뇌 신호(수집된 뇌 신호)를 처리하도록 추가로 작동한다. 특히, 처리 장치(12)는 수집된 뇌 신호를 처리하여 뇌 신호에 의해서 운반되는 렌더링 가능한 상상 정보를 상상 정보의 유형적인 형태를 나타내는 데이터로 변환함으로써, 렌더링 가능한 상상 정보를 유형의 형태로 렌더링하도록 작동한다. 데이터는 바람직하게 기계 판독 가능한 데이터 및/또는 컴퓨터 판독 가능한 데이터이다. 환언하면, 데이터는 바람직하게, 데이터가 적합한 기계 또는 컴퓨터(프로세서)에 제공되고 해당 기계 또는 컴퓨터에 의해서 (추가 처리 또는 출력을 위해)판독될 수 있는 형태 또는 포맷이다.
특정 실시예에서, 처리 장치(12)에 의해서 처리되는 수신 신호는 신경 자극일 수 있거나, 몇몇 유형의 마이크로장치(microdevice), 예를 들어 처리 장치(12)와 연관된 마이크로전극 또는 마이크로변환기를 갖는 마이크로장치에 의한 영역(103)에서의 뇌 활동의 측정 또는 샘플링에 응답하여 생성되는(즉, 발생되는) 대표적인 신호일 수 있다.
처리 장치(12)는 (매핑 데이터를 포함하는)매핑 함수(mapping function) 또는 함수들을 뇌 신호에 적용함으로써 뇌 신호(수집된 뇌 신호)를 처리한다. 매핑 함수는 뇌 신호를 보유하는 상상 정보와 데이터 사이를 매핑하여, 즉 뇌 신호로부터 데이터로의 그리고 그 반대로의 변환을 제공하여 수신된 뇌 신호로 표현되는 상상 정보(즉, 개념)가 데이터로 변환(변형)됨으로써, (처리 장치(12)에 의한 매핑 함수의 적용 결과로써)렌더링 가능한 상상 정보를 유형의 형태로 렌더링한다. 이러한 뇌 신호 대 데이터 매핑 함수는 이후에서 "상상-데이터 매핑(imagination-data mapping)"으로 상호 교환적으로 지칭된다. 상상-데이터 매핑은 바람직하게 일대일 매핑(one-to-one mapping)이다. 매핑은 상상-데이터 매핑 함수를 사용하여 뇌 신호로부터 변환된 데이터가 영역(103)에 의해서 형성된 개념을 충실하게 표현하도록 매핑하는 것이 바람직하다. 환언하면, 매핑은 데이터가 대상체(100)에 의해서 상상되는 이미지나 사운드를 충실하게 표현하도록 하는 것이 바람직하다.
언급된 바와 같이, 특정 실시예에 따르면, 영역(103)에 의해 형성되는 개념은 시각적 개념(즉, 정신적 이미지, 상상된 이미지)이다. 즉, 처리 장치(12)는 정신적 이미지를 나타내는 뇌 신호를 변환한다. 그러한 실시예에서, 일 예에서, 뇌 신호로부터 변환되는 데이터는 이미지 데이터 또는 픽셀 데이터일 수 있으며, 이에 따라 유형의 형태는 정신적 이미지를 충실하게 표현하는 이미지/픽셀 데이터에 대응하는 가시적인 이미지이며, 이는 대상체(100) 또는 다른 시청자가 볼 수 있다.
다른 실시예에서, 영역(103)에 의해서 형성되는 개념은 사운드 개념(즉, 상상의 사운드, 비-음향)이다. 즉, 처리 장치(12)는 상상의 사운드를 나타내는 뇌 신호를 변환한다. 그러한 실시예에서, 일 예에서, 데이터는 아날로그 또는 디지털일 수 있는 오디오 신호 또는 신호들(예를 들어, 하나 이상의 사운드 또는 톤을 나타내는 비트 또는 바이트) 형태의 사운드 데이터일 수 있으며, 이에 의해 유형의 형태는 대상체(100) 또는 다른 청취자가 청각적으로 들을 수 있는(즉, 청각적으로 인지할 수 있는) 상상의 사운드(비-음향)를 충실하게 표현한 오디오 신호에 대응하는 음향 사운드이다.
계속해서 도 1을 참조하면서, 본 발명의 비-제한적인 실시예에 따른 처리 장치(12)의 예시적인 블록도를 도시하는 도 2가 또한 참조된다. 처리 장치(12)는 컴퓨터 메모리 등과 같은 컴퓨터 저장 매체(16)에 커플링된 하나 이상의 프로세서(14)를 포함한다. 하나 이상의 프로세서(14)는 마이크로프로세서, 마이크로컨트롤러, 주문형 집적 회로(ASIC), 필드 프로그래밍 가능한 게이트 어레이(FPGA), 디지털 신호 프로세서(DSP), 현장 프로그래밍 가능한 논리 어레이(field-programmable logic arrays: FPLA) 등을 포함하지만, 이에 제한되지 않는 임의의 수의 컴퓨터 프로세서로서 구현될 수 있다. 프로세서는 기존 프로세서이거나 특정 애플리케이션 프로세서 또는 특수 목적 프로세서일 수 있다. 마이크로프로세서와 같은 기존 프로세서는 예를 들어, 서버, 컴퓨터 및 기타 컴퓨터 장치에 사용되는 것과 같은 프로세서일 수 있다. 예를 들어, 프로세서는 AMD 및 Intel의 x86 프로세서, Intel의 Xeon® 및 Pentium® 프로세서뿐만 아니라 이들의 조합을 포함할 수 있다. 양자 컴퓨터 프로세서로서 하나 이상의 프로세서(14)의 구현도 본 명세서에서 고려된다. 전술한 컴퓨터 프로세서는 컴퓨터 프로세서에 의해 실행될 때 컴퓨터 프로세서가 작동을 수행하게 하는 프로그램 코드 또는 명령어 세트를 저장하는 컴퓨터 판독 가능한 매체를 포함하거나 이와 전자 통신할 수 있다. 컴퓨터 판독 가능한 매체의 유형은 컴퓨터 판독 가한능 명령을 컴퓨터 프로세서에 제공할 수 있는 전자, 광학, 자기 또는 기타 저장 또는 전송 장치를 포함하지만 이에 제한되지 않는다. 하나 이상의 프로세서(14)에 대한 위에서 언급된 구현은 예시적인 구현의 완전하지 않은 목록을 나타낸다는 점에 주목한다. 본 명세서에 설명되지 않거나 아직 완전히 개발되지 않은 처리 기술에 기초한 프로세서, 예컨대 생물학적 컴퓨팅 기술 분야의 생물학적 프로세서 또는 유기 반도체가 본 명세서에서 논의된 임의의 처리 장치를 구현하는 데 적합할 수 있다는 것을 포함한, 처리 장치의 다른 구현이 본 명세서에서 고려된다는 것은 당업자에게 자명할 것이다.
저장 장치/메모리(16)는 데이터나 정보를 저장하기 위한 임의의 기존 저장 매체 또는 애플리케이션 특정 또는 특수 목적 저장 매체일 수 있으며, 비록 대표적인 목적으로 단일 구성요소로 도시되었지만 다중 구성요소일 수 있다. 저장 장치/메모리(16)는 예를 들어, 하나 이상의 휘발성 또는 비휘발성 메모리, 플래시 메모리, 읽기 전용 메모리, 랜덤 액세스 메모리 등, 또는 이들의 임의의 조합을 포함한, 다양한 방식으로 구현될 수 있다. 특정 실시예에서, 저장소/메모리(16)는 상상-데이터 매핑을 저장하고 유지하기 위한 하나 이상의 구성요소, 및 하나 이상의 프로세서(16)에 의해 실행될 수 있는 기계 실행 가능 명령어를 저장하도록 구성된 적어도 하나의 구성요소를 포함할 수 있다.
특정 실시예에서, 처리 장치(12)는 하나 이상의 규칙 또는 처리 기준에 따라서 생성된 데이터(상상-데이터 매핑의 적용을 통해 뇌 신호를 처리함으로써 생성됨)에 대해 적어도 하나의 작동을 수행하도록 추가로 작동한다. 예를 들어, 처리 장치(12)는 데이터 저장 규칙 또는 기준 세트에 따라서 생성된 데이터에 대해 작동하도록 구성될 수 있으며, 이에 따라 처리 장치(12)는 적어도 하나의 개념의 유형 형태를 나타내는 데이터의 일부 또는 전부를 처리 장치(12)와 연관된 하나 이상의 컴퓨터화된 저장/기억 장치에 전송한다. 그러한 연관된 저장/기억 장치는 예를 들어, 처리 장치(12)(도 3)의 저장/메모리(16), 또는 이제 논의되는 바와 같이 처리 장치(12)에 링크되거나 연결되는 다른 저장/메모리 장치를 포함할 수 있다.
도 3을 추가로 참조하면, 처리 장치(12)에 링크되거나 연결될 수 있는 다른 저장 장치/기억 장치의 예는 예를 들어, 외부 저장소/메모리(32) 및 서버 시스템(34)(메모리를 가짐)을 포함한다. 처리 장치(12)가 적어도 하나의 개념의 유형 형태를 나타내는 데이터의 일부 또는 전부를 서버 시스템(34)에 전송하는 실시예에서, 원격 서버 시스템일 수 있으므로 처리 장치(12)는 적어도 하나의 개념의 유형 형태를 나타내는 데이터를 통신 네트워크(36)(셀룰러 네트워크, 근거리 통신망, 인터넷 등과 같은 하나 이상의 통신 네트워크일 수 있음)를 통해 서버 시스템(34)에 송신한다. 그러한 실시예에서, 처리 장치(12)는 네트워크(36)로/로부터 데이터를 전송/수신(즉, 네크워크와 데이터를 교환)하기 위한 통신/네트워크 인터페이스를 제공하는 트랜시버(Tx/Rx) 유닛(30)에 링크될 수 있다. 도 3에 또한 도시된 것은 네트워크(36)를 통해 처리 장치(12)에 링크되는 원격 처리 시스템(38)이다.
다른 비-제한적인 예에서, 처리 장치(12)는 수정된 데이터를 생성하기 위한 데이터 수정 또는 조작 규칙 또는 기준의 세트에 따라서 생성된 데이터에 대해 작동하도록 구성될 수 있다. 일반적으로 수정된 데이터는 생성된 데이터에 데이터를 추가하는 것(예를 들어, 생성된 데이터에 데이터를 부가하거나 삽입하는 것), 생성된 데이터로부터 데이터를 삭제하는 것(예를 들어, 생성된 데이터로부터 데이터 서브세트를 제거하는 것), 또는 생성된 데이터의 데이터 요소를 변경하는 것(예를 들어, 데이터 값을 변경하는 것) 중 하나 이상에 의해서 생성된 데이터로부터 생성될 수 있다. 생성된 데이터가 시각적 상상 정보를 나타내는 이미지에 대응하는 픽셀 데이터를 포함하는 실시예에서, 처리 장치(12)는 이미지를 변경하기 위해서 픽셀 중 하나 이상을 변경함으로써 및/또는 컴퓨터 생성 이미지 또는 이미지 캡처 장치(예를 들어, 카메라)로 캡처된 실제 장면의 이미지일 수 있는 다른 이미지를 나타내는 다른 픽셀 데이터와 픽셀 데이터를 조합함으로써 데이터를 수정할 수 있다. 다른 픽셀 데이터는 예를 들어, 이미지 캡처 장치 또는 처리 장치(12), 예를 들어 저장소/메모리(16), 외부 저장소/메모리(32), 서버 시스템(34)에 링크되거나 연결되거나 다른 방식으로 연관된 메모리를 통해 처리 장치(12)에 제공될 수 있다. 생성된 데이터가 오디오/사운드 상상 정보를 나타내는 사운드 또는 사운드들에 대응하는 오디오 신호 또는 신호들을 포함하는 실시예에서, 처리 장치(12)는 예를 들어, (사운드 캡처 장치(예를 들어, 마이크)로부터 또는 처리 장치(12), 예를 들어 저장소/메모리(16), 외부 저장소/메모리(32), 서버 시스템(34)와 연관된 메모리로부터)추가적인 사운드(들)를 추가함으로써, 및/또는 생성된 오디오 신호(들)의 디지털 버전의 데이터 요소(예를 들어, 비트)를 변경 또는 삭제함으로써, 및/또는 예를 들어, 볼륨, 피치, 톤 등을 포함하는 오디오 신호(들)의 오디오 매개변수를 조정함으로써 생성된 데이터를 수정할 수 있다. 예를 들어, 처리 장치(12)는 오디오 신호와 연관된 볼륨을 증가시키거나 감소시키기 위해서 오디오 신호를 수정할 수 있다. 다른 예로서, 처리 장치(12)는 사운드의 하나 이상의 주파수(톤(tone))를 변경하기 위해서 오디오 신호를 수정할 수 있다. 추가적인 예로서, 처리 장치(12)는 생성된 오디오 신호에 대해 잡음 제거 또는 간섭 감소 신호 처리를 수행함으로써 생성된 오디오 신호를 수정할 수 있다.
특정 실시예에서, 처리 장치(12)는 또한, (수정된 데이터에 상상 데이터 매핑을 적용함으로써)수정된 데이터를 하나 이상의 뇌 신호의 새로운 세트로 변환하고, 이들 신호를 뇌의 영역(103)에 제공할 수 있어서, 뇌 신호의 새로운 세트로 표현되는 개념은 감각 입력이 없이 영역(103)에 의해서 형성된다. 환언하면, 수정된 이미지나 사운드는 대상체(100)에 의해서 "상상"될 수 있다.
수정된 데이터는 메모리(예를 들어, 저장소/메모리(16) 및/또는 외부 저장소/메모리(32) 및/또는 서버 시스템(34))에 저장될 수도 있다.
다른 비-제한적인 예에서, 처리 장치(12)는 출력 규칙 또는 기준의 세트에 따라서 생성된 데이터에 대해 작동하도록 구성될 수 있다. 생성된 데이터가 시각적 상상력 정보를 나타내는 이미지에 대응하는 픽셀 데이터를 포함하는 실시예에서, 출력 규칙 또는 기준은 디스플레이 규칙 또는 기준의 세트를 포함할 수 있다. 예를 들어, 처리 장치(12)는 생성된 데이터를 처리 장치(12)에 연결되거나 링크된 디스플레이 장치에 제공하여, 디스플레이 장치가 픽셀 데이터에 의해서 표현되는 하나 이상의 이미지(또는 비디오)를 표시하도록 구성될 수 있다. 처리 장치(12)는 임의의 적합한 이미지/비디오 전송 포맷 또는 표준, 또는 위에서 논의된 임의의 포맷 및 표준을 포함한 데이터 전송을 위해서 일반적으로 사용되는 임의의 표준을 사용하여 그러한 디스플레이 장치에 데이터를 전송하거나 송신할 수 있다. 다른 예로서, 처리 장치(12)는 프로젝션 또는 홀로그램 디스플레이(holographic display)를 위해서 생성된 데이터를 제공할 수 있다.
생성된 데이터가 오디오/사운드 상상 정보를 나타내는 사운드(들)에 대응하는 오디오 신호를 포함하는 실시예에서, 출력 규칙 또는 기준은 재생 규칙 또는 기준의 세트를 포함할 수 있다. 예를 들어, 처리 장치(12)는 생성된 데이터(오디오 신호 또는 신호들)를 처리 장치(12)에 연결되거나 링크된 디지털 오디오 재생 장치(예를 들어, MP3, 디지털 스테레오 등)에 디지털 형태로 제공하여 생성된 데이터가 나타내는 사운드를 오디오 재생 장치가 청각적으로 재생하도록 구성될 수 있다. 처리 장치(12)는 임의의 적합한 오디오 전송 포맷이나 표준, 또는 위에서 논의된 임의의 포맷 및 표준을 포함한 데이터 전송을 위해서 일반적으로 사용되는 임의의 표준을 사용하여 그러한 오디오 재생 장치에 데이터를 전송하거나 송신할 수 있다. 대안적으로, 처리 장치(12)는 생성된 데이터를 아날로그 오디오 재생 장치에 아날로그 형태로 제공하도록 구성될 수 있다.
바람직한 특정 실시예에서, 처리 장치(12)는 감각 입력 없이 뇌의 영역(103)에 의해서 형성될 주입 가능한 개념에 대응하는 정보를 나타내는 획득/수신된 데이터(바람직하게는 디지털 데이터)를 처리하여 데이터를 하나 이상의 뇌 신호로 변환하도록 작동한다. 처리 장치(12)는 획득/수신된 데이터에 의해서 표현되는 주입 가능한 개념이 감각 입력 없이 영역(103)에 의해서 개념으로 형성되도록 영역(103)에 하나 이상의 뇌 신호를 선택적으로 제공하거나 전송하도록 추가로 작동한다. 환언하면, 처리 장치(12)는 예를 들어, 픽셀 데이터로 표시되는 이미지 또는 사운드를 전달하는 아날로그 또는 디지털 오디오 신호의 형태로 데이터를 획득하거나 수신하고 나서, 이미지나 사운드의 개념이 영역(103)에 의해서 형성되도록, 즉 대상체(100)가 이미지나 사운드를 상상하도록 이들 뇌 신호를 뇌의 영역(103)에 제공할 수 있다. 따라서, 본 발명의 특정 양태에 따른 시스템(10)은 주입 가능한 개념/주입 가능한 상상 정보의 유형 형태를 나타내는 데이터를, 개념이 무형 형태로 존재하도록 대상체에게 제공되는 뇌 신호로 변환하도록 작동한다. 특정 실시예에서, 처리 장치(12)는 데이터를 뇌 신호로 변환하기 전에 수신/획득된 데이터를 조작(즉, 수정)할 수 있다. 데이터의 조작/수정은 예를 들어, 위에서 논의된 데이터 수정 또는 조작 규칙 또는 기준의 세트(또는 수정 또는 조작 규칙 또는 기준의 다른 세트)에 따를 수 있다.
특정 실시예에서, 처리 장치(12)는 영역(103)에 대한 입력에서 신경 또는 신경 섬유를 사용하여 뇌 신호를 영역(103)에 전송하도록 구성된다. 예를 들어, 처리 장치(12)는 신경 자극의 신경 전달을 유도함으로써 뇌 신호를 제공(전송)할 수 있다. 예를 들어, 처리 장치(12)는 뇌 신호를 마이크로장치, 예를 들어 뇌 신호에 대응하는 신경 자극의 전달을 유도하는 하나 이상의 미세 전극 또는 미세 변환기에 송신함으로써 뇌 신호를 제공할 수 있다.
처리 장치(12)에 의해 획득되거나 수신되고 처리 장치(12)에 의해 뇌 신호로 변환될 데이터는 다양한 유형일 수 있고/있거나 다양한 소스로부터 나올 수 있다. 예를 들어, 변환될 데이터는 이미지 데이터 또는 사운드 데이터일 수 있고, 처리 장치(12)와 연관된 메모리(예를 들어, 저장소/메모리(16), 외부 저장소/메모리(32), 서버 시스템(34)) 또는 임의의 다른 데이터 소스 또는 저장 매체로부터 처리 장치(12)에 제공될 수 있다. 다른 예로서, 이미지 데이터는 처리 장치(12)에 통신 가능하게 커플링된 이미지 캡처 장치에 의해서 처리 장치(12)에 제공될 수 있다. 또 다른 예로서, 사운드 데이터(예를 들어, 오디오 신호)는 처리 장치(12)에 통신 가능하게 커플링된 사운드 캡처 장치에 의해서 처리 장치(12)에 제공될 수 있다. 추가 예에서, 처리 장치(12)에 의해서 뇌 신호로 변환될 데이터는 수집된 뇌 신호로부터 처리 장치(12)에 의해서 생성된 데이터일 수 있거나, 수집된 뇌 신호로부터 처리 장치(12)에 의해서 생성된 데이터의 수정으로 인한 수정된 데이터일 수 있다.
뇌 신호로 수신된 데이터의 변환은 위에서 논의된 상상-데이터 매핑을 적용함으로써 실시된다. 각각의 대상체의 뇌가 상이하게 개념을 형성할 수 있으므로, 각각의 대상체에 대한 매핑은 대상체별 매핑(즉, 하나의 대상체에 대한 매핑이 다른 대상체에 대한 매핑과 상이할 수 있음)일 수 있다. 그러나, 주어진 상상-데이터 매핑의 특수성과 관계없이, 상상-데이터 매핑 함수를 사용하여 데이터로부터 변환된 뇌 신호가 실제 이미지나 사운드(데이터로 표현됨)를 대상체(100)의 마음속에 충실하게 표현하도록 매핑하는 것이 바람직하다.
상상-데이터 매핑 함수를 생성하기 위한 다양한 예시적인 방법은 본 개시의 후속 섹션에서 상세히 설명될 것이다.
매핑 함수 또는 기능들은 아래에서 추가로 논의되는 바와 같이 처리 장치(12)와 연관된 메모리 장치에 저장될 수 있다. 특정 실시예에서, 매핑 함수(들)은 예를 들어, 매핑 매개변수 및 구성을 저장하는 데이터 테이블의 형태로 데이터 항목 또는 데이터 구조로 저장될 수 있다. 다른 실시예에서, 매핑 함수(들)는 데이터와 뇌 신호 사이의 함수 관계를 제공하는 방정식 또는 방정식 세트로 저장될 수 있다. 또 다른 실시예에서, 매핑 함수(들)는 뇌 신호 및/또는 수신된 데이터에 적용될 수 있는 매핑 알고리즘을 실행하는 컴퓨터 판독 가능 코드로 표현될 수 있다. 전술한 포맷은 단지 예시일 뿐이며, 본 명세서에서는 매핑 함수의 다른 포맷이 고려된다.
계속해서 도 1을 참조하면, 처리 장치(12)와 영역(103)의 통신 커플링(인터페이싱)은 처리 장치(12)를 뇌(102)의 영역(103)과 통신하도록 배치되는 기계-대상체 인터페이싱 배열(18)(이후, "인터페이싱 배열(interfacing arrangement)", "머신-대상체 인터페이스(machine-subject interface)", "머신-뇌 인터페이스" 또는 간단히 "인터페이스"로 상호 교환적으로 지칭됨)에 의해 실시될 수 있다. 특정 실시예에서, 인터페이스(18)는 2 개의 인터페이싱 부분, 즉 제 1 인터페이싱 부분(18a) 및 제 2 인터페이싱 부분(18b)을 포함할 수 있다. 전자 인터페이스 부분(18a)으로도 지칭되는 제 1 인터페이스 부분(18a)은 처리 장치(12)에 연결된다. 대상체 인터페이싱 부분(18b)으로도 지칭되는 제 2 인터페이싱 부분(18b)은 뇌(102)의 영역(103)에 연결되거나 커플링될 수 있다. 두 부분(18a, 18b)은 특정 실시예에서, 두 부분(18a, 18b) 사이에 유선 연결을 제공할 수 있고, 다른 실시예에서 두 부분(18a, 18b) 사이에 무선 연결을 제공할 수 있는 링크 부분(20)을 통해 상호 연결된다.
영역(103)에 대한 처리 장치(12)의 통신 커플링을 달성하기 위한 다양한 전개 구성이 본 명세서에서 고려되며, 여러 비-제한적인 예시적인 전개 구성이 아래에서 더 상세히 설명될 것이다. 본 명세서에서 설명된 전개 구성 중 일부는 대상체(100)에 몇몇 유형의 이식을 요구하며, 이는 침습적 또는 반-침습적 기술을 사용하여 달성될 수 있다. 예를 들어, 침습적 기술은 대상체의 두개골을 통해 영역(103)에 외과적으로 접근하는 것(즉, 두개골을 외과적으로 개방하는 것)에 의한 이식을 포함할 수 있다. 뇌에 수행된 수술은 지난 몇 년 동안 일반화되었으며, 숙련된 인간 외과의사 및/또는 로봇 외과의사(예컨대, 미국 샌프란시스코의 Neuralink Corporation에 의해 사용됨)가 필요한 이식을 수행할 수 있다고 주장된다. 여러 전개 구성을 설명하기 전에, 본 명세서에 설명된 전개 구성은 단지 예시일 뿐이며 처리 장치(12)에 대한 가능한 전개 옵션의 비-포괄적 서브세트만을 나타낸다는 점에 주목한다. 당업자에게 자명한 바와 같이, 다른 전개 옵션이 가능할 수 있다.
특정한 비-제한적인 실시예에 따른 하나의 예시적 전개 구성에서, 처리 장치(12)는 영역(103)을 태핑(tapping)함으로써, 예를 들어 영역(103)에 대한 입력인 전송 경로/경로에 처리 장치(12)를 연결함으로써 영역(103)과 통신한다. 신경, 신경 다발, 또는 신경 경로는 그러한 전달 경로/경로의 일 예이다. 그러한 전개 구성에서, 처리 장치(12)는 바람직하게, 대상체(100)의 뇌(102) 외부에 유지되고, 가장 바람직하게는 대상체의 머리를 볼 때 적어도 부분적으로 볼 수 있도록 두개골 외부에 유지된다. 처리 장치(12)가 대상체(100) 외부에 있을 때, 대상체 인터페이싱 부분(18b)은 링크 부분(20) 전체와 함께, 또는 대상체 인터페이싱 부분(18b)에 연결되는 링크 부분(20)의 세그먼트와 함께 전송 경로의 세그먼트(즉, 영역(103)에 대한 입력)에 또는 그 위에 이식된다. 대상체 인터페이싱 부분(18b)에 연결되는 링크 부분(20)의 세그먼트만이 이식되는 경우에, 전자 인터페이싱 부분(18a)에 연결되는 링크 부분(20)의 나머지 세그먼트는 대상체(100) 외부에 있다.
다른 예시적인 전개 구성에서, 처리 장치(12)는 대상체(100) 외부에 전개되고, 대상체 인터페이싱 부분(18b)은 링크 부분(20) 전체 또는 대상체 인터페이싱 부분(18b)에 연결되는 링크 부분(20)의 세그먼트와 함께 영역(103)에 또는 그 위에 이식된다. 대상체 인터페이싱 부분(18b)에 연결되는 링크 부분(20)의 세그먼트만이 이식되는 경우에, 전자 인터페이싱 부분(18a)에 연결되는 링크 부분(20)의 나머지 세그먼트는 대상체(100) 외부에 있다. 그러한 예시적인 전개 구성은 도 1에 개략적으로 도시된다.
특정한 비-제한적인 실시예에 따른 또 다른 예시적인 전개 구성에서, 처리 장치(12) 자체는 인터페이스(18) 전체와 함께 영역(103)에 또는 그 위에 이식될 수 있다. 비-제한적인 실시예에 따른 다른 예시적인 전개 구성에서, 처리 장치(12)는 전송 경로의 세그먼트(즉, 영역(103)에 대한 입력)에 또는 그 위에 이식된다.
비-침습적 전개 구성도 본 명세서에서 고려된다. 예를 들어, 인터페이스(18)는 광학 자기장 센서 배열 또는 예를 들어 광학, 자기 또는 초음파 기술을 사용하는 비-접촉 변조 배열을 통해 제공될 수 있다. 이러한 구성에서, 인터페이스(18)(및 관련 구성 요소) 및 처리 장치(12)는 완전히 뇌(102) 외부에 있다. 외부 인터페이스(18)는 비-접촉 또는 비-침습적 접촉 수단을 통해 영역(103)에서 뇌 신호를 포착하고, 이들 포착된 뇌 신호를 처리 장치(12)에 제공한다.
계속해서 도 1 내지 도 3을 참조하면서, 렌더링되거나 주입될 수 있는 상상 정보가 시각적 상상 정보인 실시예에서 처리 장치(12)가 인터페이싱되는 뇌의 영역(103)의 바람직하지만 제한되지 않는 예를 개략적으로 나타내는 도 4가 또한 참조된다. 도 4에서, 두정엽(104), 후두엽(106) 및 두정-후두엽 고랑(수직선(109)으로 개략적으로 표시됨)을 포함한 인간 뇌의 다양한 부분이 개략적으로 예시된다. 서론으로, 후두엽은 포유류 뇌의 시각 처리 센터에 있으며 시각 피질(visual cortex)의 해부학적 영역 대부분을 포함한다. 후두엽은 시공간 처리, 거리 및 깊이 인식, 색상 결정, 물체 및 얼굴 인식, 기억 형성과 연관이 있다. 실제 사건으로부터의 시각 정보는 시신경을 통해 후두엽에서 수신되고 두정-후두엽 고랑을 통해 후두엽으로부터 두정엽으로 전달된다. 따라서 시각적 실제 정보와 시각적 상상 정보(예를 들어, 상상된 이미지)는 후두엽과 두정엽 사이에서 반대 방향으로 흐른다. 인간 두뇌에 의한 상상과 현실의 인식에 대한 몇몇 논의는 다음 웹 주소: https://www.livescience.com/49244-imagination-reality-brain-flow-direction.html에 공개된 Live Science 웹 기사에서 찾을 수 있다.
위의 사항을 염두에 두고, 도 4에 예시된 비-제한적인 예시적인 실시예에서, 영역(103)은 두정-후두 고랑(109)으로부터 뇌(102)의 후두엽(106)으로의 입력이다. 두꺼운 양방향 화살표(108)로 도 4에 개략적으로 예시된 전송 경로는 뇌(102)의 두정엽(104)과 후두엽(106) 사이에 정보 인터페이스를 제공한다. 전송 루트(transmission route)("전송 경로(transmission path)"로도 본 명세서에서 상호 교환적으로 지칭됨)(108)는 두정-후두 고랑(109)로부터 후두엽(106)으로의 입력을 제공하고, 예를 들어 하나 이상의 신경 또는 신경 섬유로 형성된 신경 연결일 수 있다. 예시된 예에서, 두정-후두 고랑(109)은 두정엽(104)과 후두엽(106) 사이의 경계를 나타내지만, 뇌량(corpus callosum)도 두정-후두 고랑(109) 대신에 또는 그에 더하여, 두정엽(104)과 후두엽(106) 사이의 경계면을 제공할 수 있으며, 따라서 처리 장치(12)가 인터페이싱되는 영역(103)으로서 사용될 수도 있다.
도 4에 예시된 실시예에 따른 처리 장치(12)의 전개 구성의 일 예에서, 처리 장치(12)는 후두엽(106)과 두정엽(104) 및/또는 두정-후두 고랑(109) 사이의 경계면을 태핑함으로써 영역(103)과 통신한다. 예를 들어, 처리 장치(12)는 두정엽(104)을 후두엽(106)에 링크하는 전송 경로(108)(예를 들어, 신경)에 연결될 수 있다. 그러한 전개 구성에서, 대상체 인터페이스 부분(18b)은 후두엽(106)과 두정-후두 고랑(109) 사이의 전송 경로(108)의 세그먼트(섹션, 부분)에 또는 그 위에 이식될 수 있으며, 이는 특정 비-제한적인 구현에서 먼저 신경 또는 신경 섬유를 절단하여 신경 또는 신경 섬유의 절단 단부를 생성한 다음에, 대상체 인터페이스 부분(18b)을 절단 단부에 연결함으로써 실시될 수 있다. 그러한 전개 구성에서, 처리 장치(12)는 바람직하게, 대상체(100)의 뇌(102) 외부에 유지되고, 가장 바람직하게는 대상체의 머리를 볼 때 적어도 부분적으로 볼 수 있도록 두개골 외부에 유지된다. 처리 장치(12)가 대상체(100) 외부에 있을 때, 대상체 인터페이싱 부분(18b)은 링크 부분(20) 전체 또는 대상체 인터페이싱 부분(18b)에 연결하는 링크 부분(20)의 세그먼트와 함께 전송 루트(108)의 세그먼트에 또는 그 위에 이식된다. 대상체 인터페이싱 부분(18b)에 연결되는 링크 부분(20)의 세그먼트만이 이식되는 경우에, 전자 인터페이싱 부분(18a)에 연결되는 링크 부분(20)의 나머지 세그먼트는 대상체(100) 외부에 있다.
도 4에 예시된 실시예에 따른 처리 장치(12)의 다른 예시적인 전개 구성에서, 처리 장치(12)는 전송 경로(108)의 세그먼트에 또는 그 위에 이식된다. 도 5는 그러한 전개 구성을 개략적으로 예시한다. 여기서, 이식은 예를 들어, 먼저 전송 경로(108)(예를 들어, 신경)를 절단하여 전송 경로(108)의 절단 단부(50a, 50b)을 생성한 다음에, 절단된 부위에 처리 장치(12)를 전개하고 인터페이스(18)를 통해 전송 경로(108)의 절단 단부(50a, 50b)를 처리 장치(12)에 연결함으로써 실시될 수 있다.
영역(103)이 두정-후두 고랑(109)으로부터 후두엽(106)으로의 입력인 실시예에서, 후두엽(106)에 도착하는 다양한 유형의 정보는 공통 포맷을 갖는다는 것이 주목된다. 후두엽(106)에 입력되는 정보가 공통 포맷을 갖고, 후두엽(106)이 뇌의 시각 처리 중추에 있기 때문에, 특정 실시예에서 두정엽(104)으로부터 도착하는 상상된 이미지(즉, 시각적 상상 정보)의 포맷은 시각적 실제 정보와 동일한 포맷이다. 본 명세서에 그 전체가 원용에 의해서 포함되는 공동 소유의 미국 특허 제 11,395,620호는 대상체가 장면을 보는 것에 응답하여 시각 피질(또는 뇌의 등가 시각 처리 영역)로부터 신호(신경 자극에 대응)를 수신하고, 대상체에 의한 장면의 시각적 인식을 나타내는 이미지 데이터를 생성하기 위해서 수신된 신호를 (매핑 함수를 사용하여, "임펄스-이미지 매핑"으로 지칭됨)처리하기 위한 기술을 설명한다. 미국 특허 제 11,395,620호는 매핑 함수를 사용하여 이미지 또는 이미지들에 대응하는 이미지 데이터를 처리함으로써 이미지 데이터를 신경 자극으로 변환하고, 이들 신경 자극을 시각 피질(또는 동등한 시각 처리 영역)에 제공하여 대상체가 이미지 데이터에 대응하는 이미지 또는 이미지들을 시각적으로 인식하기 위한 기술을 추가로 설명한다. 특정 실시예에서 두정엽(104)으로부터 도착하는 상상된 이미지(즉, 시각적 상상 정보)의 포맷이 시각적 실제 정보이므로, 뇌 신호/상상 정보와 이미지 데이터 사이의 변환을 가능하게 하기 위해서 공동 소유된 미국 특허 제 11,395,620호에 설명된 (신경 자극을 이미지 데이터로 변환하거나 그 반대로 변환하기 위한)매핑 방법론을 활용하는 것이 본 발명의 실시예에 따른 특정 양태의 특별한 특징이다. 특히, 미국 특허 제 11,395,620호에 설명된 매핑 함수(들)는 본 발명의 실시예에 따른 상상-데이터 매핑으로 사용될 수 있으며, 여기서 상상 정보는 시각적 상상 정보(즉, 개념은 정신적 이미지)이다. 환언하면, 특정 실시예에서 미국 특허 제 11,395,620호에 설명된 매핑 함수(들)는 시각적 개념(즉, 정신적 이미지 또는 상상된 이미지)을 나타내는 뇌 신호를 이미지 데이터로 변환하거나 그 반대로 변환하는 데 적합하다.
다음 단락은 시각적 상상 정보의 맥락에서 상상-데이터 매핑으로 사용될 수 있는 임펄스-이미지 매핑을 생성하기 위한 다양한 방법 및 기술을 설명한다. 임펄스-이미지 매핑(impulse-image mapping)에 대한 추가 논의는 미국 특허 제 11,395,620호에서 찾을 수 있다.
특정 실시예에 따르면, 임펄스-이미지 매핑(즉, 상상-데이터 매핑)의 생성은 기계 학습(ML) 또는 신경망(NN) 알고리즘의 도움을 받을 수 있다. 예를 들어, 처리 장치(12)는 (대상체의 눈이 장면을 보거나 시각적 자극을 제공받는 것에 응답하여)신경 자극의 신호 포맷을 학습하고, 신경 임펄스 포맷을 처리 장치(12)와 연관된 메모리에 저장된 디지털 이미지와 비교함으로써 상상-데이터 매핑를 결정하기 위해서 하나 이상의 ML 또는 NN 알고리즘을 사용할 수 있다. 특정 실시예에서, 저장된 디지털 이미지는 처리 장치(12)와 연관된 카메라와 같은 이미징 장치에 의해서 생성될 수 있다.
매핑을 생성하기 위한 하나의 비-제한적인 예시적 프로세스의 일부로서, 샘플 사진(즉, 이미지)은 샘플로부터의 빛이 눈에 의해서 수집(캡처)되도록 그리고 샘플을 보는 대상체에 응답하여 (눈으로부터 시각 피질 또는 뇌의 동등한 시각 처리 영역으로 신경 자극을 전달하는 신경 또는 신경들인 시신경을 따라서)처리 장치(12)가 눈으로부터 뇌(102)로 송신된 신경 자극을 수집하도록 시각적 자극으로서 대상체(100)의 눈 앞에 위치될 수 있다. 동일한 샘플을 나타내는 이미지 데이터를 갖는 디지털 이미지는 처리 장치(12)와 연관된 메모리(예를 들어, 저장소(storage)/메모리(16))에 저장될 수도 있다. 디지털 이미지는 예를 들어, 이미징 장치에 의해서 생성될 수 있다. 디지털 이미지의 해상도는 바람직하게, 예를 들어 1920 픽셀 x 1080 픽셀, 1280 픽셀 x 960 픽셀, 800 픽셀 x 600 픽셀 등과 같은 표준 해상도를 따른다. 이어서, 예를 들어 샘플 이미지의 단일 픽셀을 변경하여 샘플 이미지에 약간의 변경을 가하여 새로운 샘플 이미지를 생성할 수 있다. 그러면 새로운 샘플 이미지가 대상체(100)의 눈앞에 배치되고, 처리 장치(12)는 새로운 샘플 이미지를 보는 것에 응답하여 눈으로부터 뇌(102)로 송신되는 신경 자극을 수집한다. 새로운 샘플 이미지의 디지털 버전, 즉 새로운 샘플을 나타내는 디지털 이미지 데이터를 갖는 디지털 이미지도 바람직하게는 처리 장치(12)와 연관된 메모리(예를 들어, 저장소/메모리(16))에 저장된다. 새로운 샘플 이미지의 디지털 버전은 원본 디지털 이미지의 픽셀에 변경 사항을 적용하여 처리 장치(12)에 의해 생성될 수 있다. 이러한 프로세스는 샘플 이미지를 점진적으로 더 크게 변경(예를 들어, 2 픽셀 변경 다음, 5 픽셀 변경 다음, 10 픽셀 변경 등)하여 계속할 수 있다. 변경된 각각의 픽셀에 대해서, (이전 샘플과 비교된)눈으로부터의 신경 자극 변화는 새로운 디지털 이미지 데이터와 이전 디지털 이미지 데이터 사이의 변화와 비교된다. 이러한 프로세스는 눈으로부터의 각각의 신경 자극이 대응 이미지 픽셀과 일대일 방식으로 일치할 수 있을 때까지 여러 상이한 샘플 이미지를 계속 사용할 수 있다. 각각의 신경 자극과 대응 이미지 픽셀 사이의 이러한 매칭은 신경 자극과 이미지 사이의 매핑(즉, 임펄스-이미지 매핑)을 구성하며, 이는 상상-데이터 매핑으로 사용될 수 있다.
특정 실시예에서, 매핑 함수는 신경 자극에서 이미지로, 그리고 이미지에서 신경 자극으로의 변환 매개변수를 유지하는 구성 테이블(configuration table)로서 또는 그와 함께 저장된다. 구성 테이블은 색상, 세기, 위치 및 신경 자극 인코딩 값을 포함한 모든 이미지 속성/특징을 포함한다. 테이블의 크기는 각각의 픽셀(또는 픽셀 그룹)에 대해서, 해당 픽셀(또는 픽셀 그룹)의 이미지 데이터가 색상, 세기, 위치, 및 신경 자극 코드에 대한 대응 값을 가지도록 이미지의 해상도에 따라 달라질 수 있다. 이전에 언급된 바와 같이, 특정 실시예에서 매핑 함수는 데이터와 뇌 신호 사이의 함수적 관계를 제공하는 방정식 또는 방정식 세트로 저장될 수 있는 반면에, 다른 실시예에서 매핑 함수(들)는 뇌 신호 및/또는 수신된 데이터에 적용될 수 있는 매핑 알고리즘을 실행하는 컴퓨터 판독 가능한 코드로 표현될 수 있다.
매핑을 생성하기 위한 프로세스의 바람직하지만 비-제한적인 구현예에서, 디지털 이미지의 앵커 포인트(anchor point) 또는 영역이 먼저 처리된다. 앵커 포인트는 8 개의 앵커 포인트를 초래하는, 디지털 이미지의 4 개의 코너 각각에 있는 픽셀(또는 픽셀 그룹, 일반적으로 적어도 4 개의 픽셀로 구성됨)뿐만 아니라 디지털 이미지의 각각의 에지(즉, 상단, 바닥, 좌측, 우측)의 중앙에 있는 픽셀(또는 픽셀 그룹)을 포함한다. 8 개의 픽셀 각각의 색상과 세기는 샘플 사진의 대응 앵커 포인트(결정된 앵커 포인트의 위치를 기반으로 함)를 대상체(100)의 눈으로 볼 때 대응 신경 자극과 상관된다. 픽셀 그룹이 사용될 때, 각각의 그룹의 픽셀의 평균 색상 및 세기가 계산되어 픽셀 그룹의 색상 및 세기로 설정된다.
픽셀의 색상 및 세기 값은 등록된 대응 신경 자극 값과 함께 테이블에 저장된다. 그런 다음 앵커 포인트에 대한 픽셀 값 중 일부 또는 전부가 변경되고, 눈에 표시되는 샘플 이미지가 이에 따라 변경되며, 8 개의 픽셀 각각의 색상과 세기는 샘플 사진의 대응 앵커 포인트가 눈으로 보일 때 대응 신경 자극과 상관된다. 앵커 포인트의 픽셀(개별 픽셀 또는 픽셀 그룹)과 대응 신경 자극 사이의 상관관계가 확인될 때까지 이러한 프로세스는 여러 번 반복될 수 있다. 그런 다음 매핑 함수 생성 프로세스는 선택된 픽셀 또는 비-앵커 픽셀인 픽셀 그룹의 색상 및 세기 값을 변경하는 작업으로 진행될 수 있다. 변경은 미리 정의된 특정한 순서에 따라서 이루어질 수 있으며, 여기에는 선택된 픽셀에 대한 색상 및 세기 값의 순서, 및 선택된 픽셀의 순서를 포함할 수 있다. 이러한 방식으로, 픽셀 또는 픽셀 그룹이 선택되고(픽셀 선택 순서에 따라서) 선택된 픽셀(들)의 색상 및 세기 값이 색상/세기 순서에 따라서 변경된 다음에, 다른 픽셀 또는 픽셀 그룹이 선택되고(픽셀 선택 순서에 따라서) 모든 픽셀에 걸쳐 색상/세기 값의 모든 조합이 구현되고 대응 신경 자극이 (테이블에)기록/저장될 때까지 선택된 픽셀의 색상 및 세기 값은 색상/세기 순서 등에 따라서 변경된다.
괄호 안에, 각각의 픽셀 또는 픽셀 그룹이 선택되고 색상/세기 값이 점진적으로 변경되어 신경 자극과 이들 픽셀에 대한 색상/세기 값 사이의 상관관계를 생성한 후에, 상관관계의 정확성은 선택된 픽셀에 대한 색상/세기 값을 갖는 부분 테이블을 사용하여 신경 자극을 디지털 이미지 데이터로 변환함으로써 선택적으로 체크될 수 있다.
그런 다음 전체 테이블은 신경 자극(샘플 사진을 보는 눈에 대한 응답으로 수집됨)을 디지털 이미지로 변환하여 생성된 디지털 이미지를 생성하는 데 사용될 수 있다. 생성된 디지털 이미지는 처리 장치(12)와 연관된 메모리(예를 들어, 저장소/메모리(16))에 저장된 디지털 이미지(특정 실시예에서 샘플 사진의 이미지 캡처에 응답하여 이미징 장치 카메라에 의해 생성될 수 있음)와 비교된다. 비교는 픽셀 단위로 수행될 수 있다. 비교 결과로 바람직한 정확도 수준 내에 있는 픽셀 매칭을 생성하면(예를 들어, 두 이미지의 픽셀 중 90%가 동일하면), 매핑 프로세스가 완료된다. 비교 결과로 바람직한 정확도 수준 내에 있는 픽셀 매칭을 생성하지 않으면, 상관관계 프로세스가 반복될 수 있다. 즉, 앵커 포인트가 선택될 수 있고 픽셀의 색상/세기 값이 점진적으로 변경될 수 있다.
다음 단락은 시각적 상상 정보의 맥락에서 상상-데이터 매핑 함수를 생성하기 위한 다른 비-제한적인 예시 방법을 설명한다. 이러한 방법은 인간 대상체에게 사용될 매핑 함수를 생성하는 데 특히 적합하다고 언급할 수 있다. 그러나 이러한 방법이나 유사한 방법은 다른 동물 종, 특히 개과 및 영장류와 같은 지능형 동물 종에 사용되는 매핑 함수를 생성하는 데에도 적합할 수 있다.
이를 염두에 두고, 쉽게 기억될 수 있는(즉, 대상체의 마음에 쉽게 연상될 수 있는) 샘플 이미지가 처리 장치(12)와 뇌가 인터페이싱되는 대상체의 눈앞에 배치된다. 샘플 이미지는 바람직하게, 뚜렷한 및/또는 쉽게 구별할 수 있는 색상으로, 바람직하게 초기에는 흑백으로 구성된다. 샘플 이미지는 예를 들어, 선들 사이에 뚜렷한 간격이 있는 두꺼운 수직선일 수 있다.
다음 단계에서, 대상체는 그의 눈을 감고 기억이나 상상을 통해 샘플 이미지(예를 들어, 흑백 수직선)를 회상하도록 요청될 수 있다. 샘플 이미지를 상상하는 대상체에 응답하여 처리 장치(12)에 의해서 수집된 뇌 신호에 대응하는 제 1 데이터가 캡처된다. 이어서, 샘플 이미지에 변경이 수행되어 새로운 샘플 이미지를 생성할 수 있다. 변경은 바람직하게, 기하학적 변화, 예를 들어 수직선의 길이 또는 두께에 대한 변경, 또는 선이 더 이상 수직이 아니고 약간 경사지도록 선을 기울이는 것이다. 다른 예로, 변경은 형상 변경, 예를 들어 두꺼운 수직선을 원으로 변경하는 것일 수 있다. 기하학적/형상 변화는 바람직하게, 새로운 샘플 이미지가 샘플 이미지와 쉽게 구별될 수 있고, 대상체가 새로운 샘플 이미지와 샘플 이미지를 혼동하지 않고 쉽게 기억/상상할 수 있도록 하는 것이다.
샘플 이미지와 새로운 샘플 이미지 사이의 변경/차이점은 식별/표시/로그될 수 있다. 대상체는 새로운 샘플 이미지를 본 다음, 대상체는 기억/상상을 통해 새로운 샘플 이미지를 회상하도록 요청될 수 있다. 대상체가 새로운 샘플 이미지를 상상함에 따라서 처리 장치(12)에서 수집된 뇌 신호에 대응하는 제 2 데이터를 캡처하여 샘플 이미지에 대응하는 제 1 데이터와 비교한다. 제 1 및 제 2 데이터의 변화는 샘플 이미지와 새로운 샘플 이미지 사이의 변화와 상관될 수 있다.
샘플 이미지를 변경하고 뇌 신호 데이터의 변화를 비교하는 이러한 프로세스는 데이터의 각각의 구성 요소(대상체가 이미지를 상상하는 것에 대한 응답으로 생성됨)가 이미지의 픽셀과 매핑되거나 연관될 때까지 계속될 수 있다.
전술된 프로세스는 이미지의 색상에 변경을 적용함으로써 반복될 수도 있다. 예를 들어, 초기 샘플 이미지가 흑백 이미지인 경우에, 흑백 이미지를 청녹 이미지로 변경한 다음 적황 이미지(red and yellow image)로 변경하는 등의 프로세스가 반복될 수 있다.
위에서 언급한 바와 같이, 매핑 함수를 생성하기 위한 전술된 예시적인 방법은 영역(103)이 감각 입력 없이 시각적 개념(즉, 정신적 이미지)을 형성하는 것을 담당하는 뇌의 일부인 실시예에 적합하며, 특히 영역(103)은 두정-후두 고랑(109)으로부터 후두엽(106)으로의 입력이다. 영역(103)이 사운드 개념 형성을 담당하는 뇌의 일부인(즉, 렌더링되거나 주입될 수 있는 상상 정보가 사운드/오디오 상상 정보인) 실시예에서, 영역(103)은 사운드 관련 신경 자극을 귀로부터 청각 처리를 수행하는 뇌 부분으로 전달하는 하나 이상의 신경을 따르는 세그먼트(인간과 개과 동물 종, 고양잇과 동물 종, 비인간 영장류 종, 및 설치류 종을 포함하지만 이에 제한되지 않는 다른 종이 일반적으로 청각 피질로 지칭됨)를 포함할 수 있다. 본 명세서에 그 전체가 원용에 의해서 포함된 공동 소유의 미국 특허 출원 번호 17/728,013호는 대상체가 듣는 음향 사운드에 응답하여(즉, 청각 자극이 제공되는 대상체의 귀에 응답하여) 청각 피질(또는 뇌의 동등한 청각 처리 영역)로부터 신호(신경 자극에 대응)를 수신하고, ("충격 사운드 매핑(impulse-sound mapping)"으로 지칭되는 매핑 함수를 사용하여)이들 수신된 신호를 처리하여 대상체가 듣는 사운드에 대한 청각적 인식을 나타내는 오디오 신호를 생성하기 위한 기술을 설명한다. 미국 특허 출원 번호 17/728,013호는 매핑 함수를 사용하여 사운드에 대응하는 오디오 신호를 처리하거나 오디오 신호를 신경 자극으로 변환하고, 이들 신경 자극을 청각 피질(또는 뇌의 동등한 청각 처리 영역)에 제공하여 대상체가 오디오 신호에 대응하는 사운드 또는 사운드들을 청각적으로 인식하기 위한 기술을 추가로 설명한다. 따라서 뇌 신호/상상 정보와 오디오 신호/데이터 사이의 변환을 가능하게 하기 위해서 공동 소유의 미국 특허 출원 번호 17/728,013호에 설명된 (신경 자극을 오디오 신호로 변환하고 그 반대로 변환하기 위한)매핑 방법론을 활용하는 것이 본 발명의 실시예에 따른 특정 양태의 특별한 특징이다. 특히, 미국 특허 출원 번호 17/728,013호에 설명된 매핑 함수(들)는 상상 정보가 오디오/사운드 상상 정보인 본 발명의 실시예에 따른 상상-데이터 매핑으로 사용될 수 있다(즉, 개념은 비-음향 사운드이다.) 환언하면, 특정 실시예에서 미국 특허 출원 번호 17/728,013호에 설명된 매핑 함수(들)는 사운드 개념(즉, 비-음향 사운드 또는 상상의 사운드)을 나타내는 뇌 신호를 오디오로 변환하는 데 그리고 그 반대로 변환하는 데 적합하다.
다음 단락은 오디오/사운드 상상 정보의 맥락에서 상상-데이터 매핑으로 사용될 수 있는 임펄스-사운드 매핑을 생성하기 위한 다양한 방법 및 기술을 설명한다. 임펄스-이미지 매핑에 대한 추가 논의는 미국 특허 출원 번호 17/728,013호에서 찾을 수 있다.
특정 실시예에 따르면, 처리 장치(12)는 (귀의 음향 자극에 응답하여)신경 자극의 신호 포맷을 학습하기 위해서 하나 이상의 ML 또는 NN 알고리즘을 사용하고 나서, 예를 들어 처리 장치(12)와 연관된 메모리에 저장된 디지털 데이터 및/또는 캡처 사운드에 응답하여 사운드 캡처 장치(예를 들어, 마이크로폰)에 의해 생성된 아날로그 오디오 신호를 포함한 오디오 신호와 신경 임펄스 포맷을 비교하여 상상 데이터 매핑을 결정함으로써 충격-사운드 매핑(즉, 상상-데이터 매핑)을 생성할 수 있다.
매핑을 생성하기 위한 하나의 비-제한적인 예시적 프로세스의 일부로서, 오디오 샘플 신호가 생성될 수 있으며, 이는 일부 고정된 기간에 걸쳐 진폭이 변하는 신호이다. 오디오 샘플 신호는 고속 푸리에 변환(Fast Fourier Transform: FFT)을 포함한 주파수 분석 기술, 예를 들어 푸리에 분석을 사용하여 격리될 수 있는 다양한 사운드(주파수 톤)에 대응하는 다중 주파수 구성요소로 구성될 수 있는 아날로그 신호이다. 오디오 샘플 신호로부터의 사운드 진동은 대상체(100)의 귀에 의해 캡처되고 처리 장치(12)는 샘플 오디오 청취에 응답하여 귀로부터 (청각 신경을 따라)뇌(102)의 청각 영역으로 송신되는 신경 자극을 수집한다.
괄호 안에, "청각 신경(acoustic nerve)"은 본 명세서에서, 뇌(따라서 대상체)에 의해서 사운드로 해석되고 인식되도록 귀 또는 귀들에 의해 검출된 기계적 파동(예를 들어, 진동)으로부터 변환된 펄스(즉, 신경 자극)를 뇌(102)(특히, 뇌의 청각 영역, 예들 들어 청각 피질)로 전달할 수 있는 임의의 신경 또는 신경 세그먼트를 의미한다.
이어서, 처리 장치(12)에 연결된 사운드 캡처 장치에 의해서 샘플이 캡처되도록 동일한 오디오 샘플이 재생될 수 있다. 처리 장치(12)는 사운드 캡처 장치로부터 처리 장치(12)로 전송된 오디오 신호를 수집하고, 오디오 샘플 신호를 처리한다. 분석/처리는 예를 들어, 디지털화(샘플링 및 양자화) 및/또는 주파수 분석(예를 들어, FFT)을 포함할 수 있다. 이어서, 예를 들어 오디오 샘플 신호의 하나 이상의 주파수 성분 또는 진폭 값을 변경하여 새로운 오디오 샘플 신호를 생성함으로써 하나 이상의 신호 특성에 대한 작은 변화가 오디오 샘플 신호에 이루어질 수 있다. 새로운 오디오 샘플 신호의 사운드 진동은 귀에 의해서 캡처되고, 처리 장치(12)는 새로운 오디오 샘플을 듣는 것에 응답하여 귀로부터 뇌(102)의 청각 영역(청각 신경을 따라)으로 송신되는 신경 자극을 수집한다. 동일한 새로운 오디오 샘플 신호는 샘플이 사운드 캡처 장치에 의해서 캡처되도록 재생될 수 있으며, 처리 장치(12)는 사운드 캡처 장치로부터 처리 장치(12)로 전송된 오디오 신호를 수집한다. 처리 장치(12)는 새로운 오디오 샘플 신호를 (예를 들어, 디지털화 및/또는 FFT를 통해)분석/처리한다. 이러한 프로세스는 오디오 샘플 신호의 특성을 한 번에 하나씩 변경(예를 들어, 단일 주파수 구성요소 변경 또는 순간 진폭 값 변경)하거나 점진적으로 더 큰 신호 특성 그룹(예를 들어, 다중 주파수 구성요소 변경 및/또는 다중 순간 진폭 값 변경)으로 변경하여 계속할 수 있다. 오디오 샘플 신호의 각각의 변화에 대해서, 귀로부터의 신경 자극의 변화(이전 샘플과 비교)는 사운드 캡처 장치로부터 처리 장치(12)에 의해서 수집된 오디오 신호의 변화와 비교된다. 이러한 과정은 귀로부터의 각각의 신경 자극이 사운드 캡처 장치에 의해서 전송된 대응 오디오 신호 구성요소(예를 들어, 사운드)와 일치될 수 있을 때까지 계속될 수 있다. 각각의 신경 자극과 대응 오디오 신호 구성요소 사이의 이러한 매칭은 신경 자극과 사운드 사이의 매핑(즉, 임펄스-사운드 매핑)을 구성하며, 이는 상상-데이터 매핑으로 사용될 수 있다. 오디오 샘플 신호에 대한 변경은 바람직하게, 다중 사운드 조합(주파수 톤)을 포괄해야 하며, 더 바람직하게는 임의의 주어진 진폭 및/또는 주파수 범위에 걸친 사운드를 포괄해야 한다는 점에 주목한다.
본 명세서에서, 처리 장치(12)는 뇌(102)의 영역(103)으로부터 뇌 신호(예를 들어, 신경 자극 또는 생체 전기 신호)를 획득하고 (데이터로부터 변환된)뇌 신호를 뇌 영역(103)에 제공하기 위한 다양한 기술을 사용할 수 있다는 것에 주목한다. 그러한 기술은 전형적으로, 뇌 신호를 측정(수신)하고/하거나, 영역(103)으로의 입력(예를 들어, 도 5의 전송 경로(108))인 전송 경로(예를 들어, 신경 경로)의 세그먼트를 따라 뇌 신호의 전송을 유도하기 위해서 마이크로 전극 또는 마이크로 변환기와 같은 마이크로 장치를 사용하는 데 의존할 수 있다.
특정 실시예에서, 뇌 신호는 신경 자극을 포함하거나 그 형태로 되어 있으며, 이에 따라 전달 유도는 신경 경로 또는 신경 세그먼트, 예를 들어 전달 경로(108)를 형성하는 신경을 따라서 신경 자극의 전달을 유도하는 것을 포함한다.
다양한 엔티티가 이식이나 기타 침습적 또는 반-침습적 수단을 통해 컴퓨터 처리 장치를 뇌, 조직 및 신경에 연결하고 인터페이싱하는 방법에 대한 연구, 개발 및 실험을 수행해 왔다. 그러한 연구의 일 예는 2019년 룩셈부르크 대학교에서 발행한 "CONNECT - Developing nervous system-on-a-chip” (available at https://wwwfr.uni.lu/lcsb/research/developmental_and_cellular_biology/news/connect_developing_nervous_system_on_a_chip)에서 찾을 수 있으며, 이는 개별 신경계 구성요소를 배양하고 미세유체 칩(집적 회로)에 구성요소를 연결하는 것을 설명한다.
뇌-기계 인터페이싱(brain-machine interfacing) 분야의 연구 및 실험의 예는 2011년 Procedia Computer Science에서 발행한 논문 "Brain-Chip Interfaces: The Present and The Future” by Stefano Vassanelli at the NeuroChip Laboratory of the University of Padova in Italy에 설명되어 있다. 일 예에서, 컴퓨터 처리 장치는 금속 미세 전극 또는 산화물 절연 전기 미세 변환기(예를 들어, 전해질-산화물-반도체 전계 효과 트랜지스터(EOSFET) 또는 전해질-산화물-반도체 커패시터(EOSC))를 사용하여 뉴런에 인터페이싱되어 신경 전기적 활동(neuron electrical activity)을 기록(즉, 측정) 또는 자극한다. 다른 예에서, 개별 신경의 대규모 고해상도 기록(즉, 측정값)은 대형 다중 트랜지스터 어레이(MTA)를 특징으로 하는 마이크로칩을 사용하거나 이에 커플링된 처리 장치를 사용하여 획득된다. 또 다른 예에서, 큰 MTA를 특징으로 하는 마이크로칩은 뇌 조직과 접촉하여 MTA를 배치함으로써 시험관 내에서 세포와 인터페이싱하는 데 사용되며, 여기서 신경 자극에 대응하는 신호는 일 예에서, 국소 필드 전위(local-field-potential: LFP)의 형태이다.
뇌-기계 인터페이스 장치의 예는 미국 샌프란시스코의 Neuralink Corporation에서 개발한 Neuralink 장치이다. Neuralink 장치는 미세 전극을 통해 신경으로부터 얻은 정보를 디지털화하는 ASIC을 포함한다.
위의 사항을 염두에 두고, 다음 단락은 본 발명의 비-제한적인 예시적인 실시예에 따라서, 기계-대상체 인터페이스를 제공하기 위해 처리 장치(12)를 대상체(100)와 연결/인터페이싱하는 데 사용될 수 있는 인터페이스(18)의 다양한 비-제한적 구현예에 대한 높은 수준의 설명을 제공한다.
계속해서 도 1 내지 도 5를 참조하면서, 본 발명의 비-제한적인 실시예에 따른 인터페이스(18)의 개략도를 예시하는 도 6이 또한 참조된다. 여기서, 대상체 인터페이스 부분(18b)은 영역(103)(어떤 경우에는, 시신경 또는 청신경과 일치할 수 있음)에 또는 영역 위에 전개된 복수의 전극(23)을 갖는 전극 어레이(22)를 포함한다. 전극(23)은 바람직하게는 EOSFET 또는 EOSC와 같은 미세전극이다. 처리 장치(12)가 뇌 신호를 데이터로 변환하도록 작동하는 실시예에서, 전극 어레이(22)는 영역(103)으로 전송되는 뇌 신호를 측정하고 (측정에 응답하여)뇌 신호와 관련된(그리고 뇌 신호를 대표하는) 전기 신호를 생성하고, 처리 장치(12)가 뇌 신호를 수집하고 상상 데이터 매핑을 사용하여 전기 신호를 처리할 수 있게 하기 위해서 이들 신호를 처리 장치(12)에 제공하도록 작동한다. 예시된 실시예에서, 링크 부분(20)은 전기 신호가 처리 장치(12)에 전파될 수 있는 물리적 전송 매체를 제공하는 와이어 또는 케이블로서 구현될 수 있다. 특정 실시예에서, 인터페이스(18)는 전극 어레이(22) 대신에 또는 전극 어레이(22)에 추가하여 대상체 인터페이싱 부분(18b)의 일부로서 변환기(바람직하게, 위에서 설명한 마이크로 변환기)를 사용할 수 있다. 변환기는 뇌 신호를 데이터로 변환하기 위해서 처리 장치(12)와 함께 사용될 수 있다. 예를 들어, 변환기는 영역(103)으로 전송되는 뇌 신호 활동을 수신(측정)하는 것에 응답하여 전기 신호를 생성할 수 있다. 생성된 전기 신호는 뇌 신호에 대응(즉, 대표)하고(따라서 뇌에 의해 형성된 개념을 대표함) 상상 데이터 매핑을 사용하여 처리하기 위해서 처리 장치(12)에 제공된다.
처리 장치(12)가 데이터(개념의 대표)를 뇌 신호로 변환하고, 뇌 신호가 뇌(102)에 의해 해석되고 데이터에 의해 표현되는 개념(이미지 또는 사운드)이 영역 103에 의해 형성되도록 뇌 신호를 뇌(102)의 영역(103)에 제공/전송하도록 작동하는 실시예에서, 뇌 신호의 전달은 마이크로장치, 예를 들어 전극 어레이(22)(또는 변환기)에 의한 영역(103)의 자극(예를 들어, 신경의 하나 이상의 뉴런의 자극)에 의해서 이루어질 수 있다. 일반적으로 말하자면, 그러한 실시예에서 처리 장치(12)는 영역(103)에 의해서 전송될 뇌 신호(또는 뇌 신호 활동을 나타내는 전기 신호)로 (상상-데이터 매핑을 사용하여)데이터를 변환할 수 있다. 그런 다음 처리 장치(12)는 영역(103)에 뇌 신호를 제공하여 뇌 신호의 전송을 유도한다(또는 영역(103)에 전기 충격을 제공하여 전기 충격으로 표시되는 뇌 신호의 전송을 유도한다). 특정 실시예에서, 전송 유도는 전극 어레이(22)(또는 변환기)에 전기 신호를 제공하는 처리 장치(12)에 의해 실행될 수 있으며, 이는 전기 신호에 따라서 영역(103)의 뉴런을 자극하여 대응 신경 자극의 전송을 유도한다.
도 7은 여기에서 전극 어레이(22)로 표현된 마이크로디바이스에 전기 신호를 제공하기 위해서 무선 신호 전송을 사용하는 다른 실시예를 예시한다. 여기서, 처리 장치(12)는 와이어 또는 케이블(25)을 통해 전송기(Tx) 유닛(24)에 연결되고, 전극 어레이(22)는 와이어 또는 케이블(27)을 통해 수신기(Rx) 유닛(26)에 연결된다. Tx 유닛(24)은 처리 장치(12)에 의해서 생성된 전기 신호를 무선 인터페이스를 통해 Rx 유닛(26)으로 전송하기 위한 전송기 회로 및 구성요소를 포함한다. Rx 유닛(26)은 전기 신호를 수신하고, 수신된 신호를 전기 신호에 대응하는 뇌 신호를 전송하도록 영역(103)을 자극하는 전극 어레이(22)에 제공하는 수신기 회로 및 구성요소를 포함한다.
특정 실시예에서, 무선 전송은 RF 신호 전송일 수 있다. 그러한 실시예에서, Tx 유닛(24)의 전신기 회로 및 구성요소는 예를 들어, 하나 이상의 안테나, 디지털-아날로그 변환 회로, 신호 변조기, 필터, 증폭기 등과 같은 신호 전송 전자기기 및 구성요소를 포함할 수 있으며 Rx 유닛(26)의 수신기 회로 및 구성요소는 예를 들어, 하나 이상의 안테나, 필터, 증폭기, 복조기 등과 같은 신호 수신 전자기기 및 구성요소를 포함할 수 있다. 다른 실시예에서, 무선 전송은 Tx 유닛(24) 및 Rx 유닛(26)이 유도 신호 전송 수단을 사용하여 각각 전송 및 수신하도록 작동하는 지시적 신호 전송일 수 있다. 그러한 실시예에서, 예를 들어, Tx 유닛(24)은 유도 코일을 포함할 수 있고, Rx 유닛(26)은 유도 수신기를 포함할 수 있다.
위에서 언급한 바와 같이, 특정 실시예에서 인터페이스(18)는 처리 장치(12)와 뇌 영역(103) 사이에 비-접촉 또는 비-침습적 접촉을 제공할 수 있다. 예를 들어, 인터페이스(18)는 예를 들어, 광학 자기장 센서 배열 또는 예를 들어, 광학, 자기 또는 초음파 기술을 사용하는 비-접촉 변조 배열을 포함할 수 있다.
특정 실시예에서, 처리 장치(12)가 대상체에서 배양되거나 성장되는 생물학적 프로세서 또는 생물학적 처리 요소로서 구현되는 특정 실시예에서, 인터페이스(18)는 처리 장치(12) 자체이다.
특정 실시예에서, 인터페이싱 배열(18)은 다중 인터페이스를 포함할 수 있다는 점에 주목한다. 예를 들어, 제 1 인터페이스는 데이터를 뇌 신호로 변환하는 데 사용될 수 있다. 제 1 인터페이스는 유선 연결(예를 들어, 도 6에 도시된 바와 같음) 또는 무선 연결(예를 들어, 도 7에 도시된 바와 같음)을 통해 처리 장치(12)에 연결되거나 링크된 전극 어레이(22) 또는 마이크로트랜듀서(예를 들어, EOSC로서 구현됨)를 사용할 수 있다. 제 2 인터페이스는 뇌 신호를 데이터로 효과적으로 변환하는 데 사용될 수 있다. 제 2 인터페이스는 유선 연결을 통해(예를 들어, 도 5에 도시된 바와 같음) 처리 장치(12)에 연결되거나 링크되는 전극 어레이(22) 및/또는 마이크로트랜듀서(예를 들어, EOSFET로 구현됨)를 사용할 수 있다. 다른 실시예에서, 제 2 인터페이스는 비-접촉 또는 비-침습적 접촉 수단(예를 들어, 광 자기장 센서 배열 또는 비접촉 변조 배열)을 사용할 수 있다.
다른 예로, 4 개의 인터페이스 세트가 사용될 수 있다. 제 1 인터페이스는 이미지 데이터를 뇌 신호로 변환하는 데 사용될 수 있으며(시각/이미지 상상 주입용), 제 2 인터페이스는 (시각/이미지 상상 렌더링을 위해서)뇌 신호를 이미지 데이터로 변환하는 데 사용될 수 있다. 제 3 인터페이스는 (사운드 상상 주입을 위해서)데이터(오디오 신호 형태)를 뇌 신호로 효과적으로 변환하는 데 사용될 수 있으며, 제 4 인터페이스는 (사운드 상상 주입을 위해서)뇌 신호를 오디오 신호 데이터로 효과적으로 변환하는 데 사용될 수 있다.
이제 다시 도 1을 참조하면, 특정 비-제한적 실시예에서 시스템(10)은 또한, 처리 장치(12)에 (전자적으로) 연결되거나 링크되고 처리 장치(12)의 작동을 제어하도록 구성되는 제어 유닛(15)을 포함한다. 제어 유닛(15)은 바람직하게, 사용자가 제어 유닛(15)에 입력을 제공할 수 있게 하는 하나 이상의 사용자 입력 인터페이스(예를 들어, 터치스크린, 푸시버튼, 다이얼, 노브(knob), 전자 키패드, (전자)키보드 등)를 포함한다. 사용자 입력 인터페이스를 통한 입력 수신에 응답하여, 제어 유닛(15)은 바람직하게, 처리 장치(12)의 작동을 제어하거나 변경하는 제어 명령을 처리 장치(12)에 제공하도록 작동한다.
일 예에서, 제어 유닛(15)은 사용자가 처리 장치(12)에 의해서 생성된 데이터에 대해 수행되는 적어도 하나의 작동을 결정하는 규칙 또는 처리 기준을 정의할 수 있을 뿐만 아니라 처리 규칙 및/또는 선택된 것으로부터 변경을 선택하고 규칙을 다른 규칙으로 변경할 수 있게 한다. 예를 들어, 사용자는 처리 장치(12)가 작동하는 규칙 세트를 정의할 수 있다. 추가적인 예로서, 사용자는 처리 장치(12)가 선택된 규칙(들)(예를 들어, 데이터 저장 규칙(기준) 세트, 데이터 수정(조작) 규칙 세트, 또는 출력 규칙(기준) 세트)에 따라서 작동하도록 기존 규칙/규칙 세트(예를 들어, 데이터 저장 규칙, 데이터 수정 규칙, 출력 규칙) 또는 새로 정의된 규칙/규칙 세트를 선택할 수 있다. 또한, 사용자는 제어 유닛(15)을 통해 정의된 규칙과 관련된 매개변수를 선택할 수 있다. 예를 들어, 처리 장치(12)가 일련의 데이터 수정(조작) 규칙에 따라서 작동하도록 사용자가 선택하면, 사용자는 생성된 데이터가 생성된 데이터를 수정하는 데 사용되는 임의의 추가 이미지나 사운드를 선택하는 것을 포함한, 수정되는 방법을 선택할 수 있다. 이들 추가 이미지 또는 사운드는 예를 들어, 이미지 또는 사운드를 디지털 형식으로 저장하는 처리 장치(12)와 연관된 컴퓨터 메모리, 이미지 캡처 장치, 오디오 캡처 장치 또는 마이크로폰이나 오디오 플레이어 등과 같은 입력 장치를 포함한 다양한 소스로부터 수신될 수 있다.
다른 예로서, 처리 장치(12)가 일련의 데이터 저장 규칙에 따라서 작동하도록 사용자가 선택하면, 사용자는 생성된 데이터를 나타내는 데이터를 저장하기 위해서 메모리 장치(예를 들어, 저장소/메모리(16), 외부 저장소/메모리(32), 서버 시스템(34))를 선택할 수 있으며, 또한 데이터의 어느 부분(세그먼트 또는 서브-샘플)을 어느 메모리 장치에 저장할지 선택할 수 있다(예를 들어, 사용자는 저장/메모리(16)에 로컬로 저장될 데이터의 일부를 선택하고, 서버 시스템(34)에 원격으로 저장될 데이터의 다른 부분을 선택할 수 있다).
제어 유닛(15)은 또한 바람직하게, 처리 장치(12)에 의해 뇌 신호로 변환될 데이터를 사용자가 선택하도록 허용한다. 선택은 제어 유닛(15)의 사용자 입력 인터페이스의 일부인 메뉴를 통해 적용될 수 있다. 메뉴는 처리 장치(12)와 연관된 메모리에 저장된 이미지나 디지털 오디오 트랙 또는 사운드의 목록을 포함할 수 있다. 또한, 제어 유닛(15)은 바람직하게, 처리 장치(12)에 의해서 데이터로부터 변환된 뇌 신호가 영역(103)에 제공되는 속도를 사용자가 조정 및 설정하도록 허용한다. 속도 설정은 제어 유닛(15)의 사용자 입력 인터페이스를 통해 적용될 수 있다.
특정 바람직한 실시예에서, 제어 유닛(15)은 사용자 입력에 응답하여 시스템(10)의 상이한 작동 모드 사이의 선택적인 전환을 제공한다. 예를 들어, 제어 유닛(15)은 처리 장치(12)를 선택적으로 작동시켜 메모리(예를 들어, 저장소/메모리(16), 저장소/메모리(32), 서버 시스템(34)) 또는 외부 장치(예를 들어, 이미지 캡처 장치 또는 오디오 캡처 장치))로부터 데이터(이미지 또는 오디오)를 검색할 수 있다. 그 때문에, 제어 유닛(15)은 메모리(예를 들어, 저장소/메모리(16), 저장소/메모리(32), 서버 시스템(34)) 또는 외부 장치로부터의 데이터(예를 들어, 이미지 데이터 또는 오디오 신호)가 뇌 신호로 변환되고/되거나 그렇게 변환된 뇌 신호가 영역(103)에 제공/전송되는 경우에 사용자가 제어할 수 있게 할 수 있다. 이러한 방식으로, 사용자는 대상체가 주입된 이미지나 사운드를 상상하는 지의 여부와 시기를 제어할 수 있다.
제어 유닛(15)은 컴퓨터화된 저장 매체(예를 들어, 메모리)에 커플링된 하나 이상의 컴퓨터 프로세서를 포함하는 컴퓨터화된 제어 유닛이다. 하나 이상의 프로세서는 마이크로프로세서, 마이크로컨트롤러, ASIC, FPGA, DSP, FPLA, 상태 머신, 생물학적 프로세서 등을 포함하지만 이에 제한되지 않는 임의의 수의 컴퓨터화된 프로세서로 구현될 수 있다. 마이크로프로세서 구현예에서, 마이크로프로세서는 예를 들어, 서버, 컴퓨터 및 기타 컴퓨터 장치에 사용되는 것과 같은 기존 프로세서일 수 있다. 예를 들어, 마이크로프로세서는 AMD 및 Intel의 x86 프로세서, Intel의 Xeon® 및 Pentium® 프로세서를 포함할 수 있다. 전술한 컴퓨터 프로세서는 컴퓨터 판독 가능한 매체를 포함하거나 전자 통신할 수 있으며, 이는 컴퓨터 프로세서에 의해서 실행될 때 컴퓨터 프로세서가 작동을 수행하게 하는 프로그램 코드 또는 명령어 세트를 저장한다. 컴퓨터 판독 가능한 매체의 유형은 컴퓨터 판독 가능한 명령을 컴퓨터 프로세서에 제공할 수 있는 전자, 광학, 자기 또는 기타 저장 또는 전송 장치를 포함하지만 이에 제한되지 않는다. 제어 유닛(15)의 저장소/메모리는 임의의 기존 저장 매체 또는 임의의 애플리케이션 특정 또는 특수 목적의 저장 매체일 수 있으며, 예를 들어 하나 이상의 휘발성 또는 비-휘발성 메모리, 플래시 메모리, 읽기 전용 메모리, 랜덤 액세스 메모리 등, 또는 이들의 조합을 포함한 다양한 방식으로 구현될 수 있다. 특정 실시예에서, 제어 유닛(15)의 저장소/메모리는 제어 유닛(15)의 하나 이상의 프로세서에 의해서 실행될 수 있는 기계 실행 가능 명령어를 저장할 수 있다.
특정 실시예에서, 처리 장치(12)와 제어 유닛(15)은 하나 이상의 공통 프로세서를 공유하므로, 처리 장치(12)는 처리 기능과 제어 기능을 모두 수행하도록 작동한다. 때로는 더 바람직한 다른 실시예에서, 제어 유닛(15)과 처리 장치(12)는 유선 또는 무선 연결을 통해 전자적으로 연결된 별도의 전자 장치이다. 그러한 실시예에서, 제어 유닛(15)은 예를 들어, 랩탑, 스마트폰, 및 태블릿을 포함하지만 이에 제한되지 않는 모바일 컴퓨팅 장치, 및 데스크탑 컴퓨터를 포함하지만 이에 제한되지 않는 고정형 컴퓨팅 장치를 포함하는 사용자 컴퓨터 장치로서 구현될 수 있다.
다른 실시예에서, 제어 유닛(15)은 모바일 통신 장치(예를 들어, 스마트폰, 태블릿 등) 또는 컴퓨터 장치(예를 들어, 노트북, 데스크탑 등)와 같은 전자 장치에서 실행되는 애플리케이션 소프트웨어를 통해 구현된다. 제어 유닛(15)이 스마트폰, 태블릿, 랩탑 등에서 구현되는 실시예에서, 소프트웨어 애플리케이션은 사용자 입력 인터페이스를 제공할 수 있다. 특정 실시예에서, 제어 유닛(15)은 처리 장치(12)에 직접적인 유선 연결 또는 간접적인 무선 연결을 통해 제어를 제공한다.
특정 실시예에서, 처리 장치(12) 및 시스템(10)의 작동 제어 기능은 예를 들어, 처리 장치(12)에 의해서 실행되는 인공 지능 알고리즘에 의해 알고리즘적으로 제공되어, 시스템(10)은 임의의 기능별 제어 유닛을 필요로 함이 없이 자동으로 작동한다.
지금까지 설명된 본 발명의 실시예가 단일 처리 장치(12)에 속하는 것이지만, 그러한 다중 처리 장치를 사용하는 실시예가 본 명세서에서 고려된다. 예를 들어, 제 1 처리 장치는 시각적 상상 렌더링 및 주입을 수행하기 위해서 두정-후두엽 고랑(109)으로부터 후두엽(106)으로의 입력과 인터페이싱하도록 전개될 수 있고, 제 2 처리 장치는 오디오/사운드 상상 렌더링 및 주입을 수행하기 위해서 뇌의 청각 영역(청각 처리를 수행함)과 인터페이싱하도록 전개될 수 있다.
또한, 지금까지 설명된 본 발명의 실시예가 뇌 신호를 데이터로 변환하고 데이터를 뇌 신호로 변환하는 처리 장치(12)에 속하는 것이지만, 뇌 신호를 데이터로 변환하고 데이터를 뇌 신호로 변환하는 작업이 다양한 프로세서 또는 처리 장치/구성 요소로 세분화되는 다른 실시예도 가능하다. 실제로, 본 명세서에서 설명된 뇌 신호 및 데이터의 처리는 함께 처리 서브시스템을 형성하는 복수의 분산 프로세서 중에서 선택된 임의 수의 프로세서에 의해 수행될 수 있다. 프로세서 중 하나 이상은 처리 장치(12)(및 대상체(100))에 로컬로 있을 수 있고 프로세서 중 하나 이상은 처리 장치(12)에서 원격으로 있을 수 있다. 대안적으로, 원격 프로세서만이 뇌 신호 및 데이터를 처리하는 데 사용될 수 있다.
일 예에서, 도 1 및 도 3에 예시된 실시예의 맥락에서, 처리 서브시스템(200)은 네트워크(36)를 통해 처리 장치(12)에 링크되는 처리 장치(12)의 하나 이상의 프로세서 및 서버 시스템(34) 또는 다른 원격 처리 시스템(38)의 하나 이상의 프로세서(신호 및 데이터를 처리하기 위한 처리 구성요소를 포함할 수 있음)를 포함할 수 있다. 예를 들어, 처리 장치(12)는 특정 실시예에서, 영역(103)으로부터 뇌 신호를 수신하고 이들 신호를 네트워크(36)를 통해 서버 시스템(34)(또는 원격 처리 시스템(38))에 전송한다. 그러한 실시예에서, 서버 시스템(34)(또는 원격 처리 시스템(38))은 상상-데이터 매핑을 적용함으로써 신호를 처리하여 데이터를 생성할 수 있다. 다른 예로서, 서버 시스템(34)(또는 원격 처리 시스템(38))은 생성된 데이터를 수정할 수 있다. 다른 예로서, 데이터(감각 입력 없이 뇌의 영역(103)에 의해서 형성될 개념을 나타냄)는 상상-데이터 매핑을 적용함으로써 서버 시스템(34)(또는 처리 시스템(38))에 의해서 처리되어, 데이터를 뇌 신호로 변환할 수 있다. 서버 시스템(34)(또는 원격 처리 시스템(38))은 이들 신호를 처리 장치(12)로 전송할 수 있고, 처리 장치는 그 신호를 뇌(103) 영역에 제공할 수 있다.
따라서, 일반적으로 말하면, 처리 서브시스템(200)(정의에 따라 적어도 하나의 프로세서를 포함함)은 다음 중 하나 이상: 뇌의 영역(103)에 의해서 형성된 개념을 나타내는 뇌 신호를 수신/획득하고, 수신/획득된 뇌 신호를 처리하여 그 개념을 변환함으로써 데이터를 생성하고, 적어도 하나의 규칙에 따라 생성된 데이터에 대해 적어도 하나의 작동을 수행하고, 데이터를 수신/획득하고, 수신/획득된 데이터를 처리하여 수신/획득된 데이터를 뇌 신호로 변환하고, 뇌 신호를 뇌의 영역(103)에 제공하는 것을 포함한, 위에 설명된 처리 장치(12)의 작업을 수행하도록 구성된다.
본 발명의 실시예가 인간의 상상과 사고의 맥락 내에서 적용될 때 특히 유용하지만, 본 개시의 실시예는 다른 영장류 종(예를 들어, 원숭이, 고릴라 등), 개과 종, 고양이과 종, 파충류 종, 조류 종, 해양/수생 종 등을 포함하지만 이에 제한되지 않는 비-인간 동물 대상체의 상상에도 동일하게 적용될 수 있다. 그러한 비-인간 애플리케이션에서, 뇌 신호는 위에서 논의된 동일하거나 유사한 인터페이싱 방법을 통해 수집될 수 있으며, 종별 상상 데이터 매핑을 사용하여 처리 장치(12)에 의해 데이터로 변환될 수 있다. 위에서 언급된 바와 같이, 특정 동물 종에 대해 시각적 또는 청각적 개념 형성을 담당하는 대응 뇌 영역은 자기 공명 영상과 같은 뇌 스캐닝 기술을 사용하여 식별할 수 있다.
임의의 결과 데이터는 예를 들어, 추가 처리 또는 사용을 위해서 다른 시스템으로 출력될 수 있다. 예를 들어, 개 대상체의 뇌 신호로부터 생성된 이미지나 오디오 신호는 인간 대상체에 의해서 보고 들을 수 있도록 디스플레이 또는 재생용으로 제공되거나, 인간의 상상-데이터 매핑 함수를 사용하여 뇌 신호로 변환함으로써 개과의 대상체에 의해서 인식된 바와 같은 이미지나 사운드를 인간 대상체가 상상할 수 있도록 인간 대상체의 영역(103)에 제공될 수 있다.
본 발명의 실시예의 방법 및/또는 시스템의 구현예는 선택된 작업을 수동으로, 자동으로, 또는 이들의 조합으로 수행하거나 완료하는 것을 포함할 수 있다. 더욱이, 본 발명의 방법 및/또는 시스템의 실시예의 실제 계측 및 장비에 따르면, 몇몇 선택된 작업은 운영 체제를 사용하여 하드웨어, 소프트웨어, 펌웨어 또는 이들의 조합에 의해 구현될 수 있다.
예를 들어, 본 발명의 실시예에 따라 선택된 작업을 수행하기 위한 하드웨어는 칩 또는 회로로 구현될 수 있다. 소프트웨어로서, 본 발명의 실시예에 따라 선택된 작업은 임의의 적절한 운영 체제를 사용하여 컴퓨터에 의해 실행되는 복수의 소프트웨어 명령으로 구현될 수 있다. 본 발명의 예시적인 실시예에서, 본 명세서에 설명된 방법 및/또는 시스템의 예시적인 실시예에 따른 하나 이상의 작업은 복수의 명령을 실행하기 위한 컴퓨팅 플랫폼과 같은 데이터 프로세서에 의해 수행된다. 선택적으로, 데이터 프로세서는 명령 및/또는 데이터를 저장하기 위한 휘발성 메모리 및/또는 명령 및/또는 데이터를 저장하기 위한 비휘발성 저장소, 예를 들어 자기 하드 디스크와 같은 비-일시적 저장 매체 및/또는 이동식 매체를 포함한다. 선택적으로 네트워크 연결도 제공된다. 디스플레이 및/또는 키보드나 마우스와 같은 사용자 입력 장치도 선택적으로 제공된다.
예를 들어, 하나 이상의 비-일시적 컴퓨터 판독 가능(저장) 매체(들)의 임의의 조합이 본 발명의 위에 나열된 실시예에 따라 활용될 수 있다. 비-일시적 컴퓨터 판독 가능(저장) 매체는 예를 들어, 전자, 자기, 광학, 전자기, 적외선 또는 반도체 시스템, 장치 또는 디바이스, 또는 이들의 임의의 적합한 조합일 수 있지만 이에 제한되지 않는다. 컴퓨터 판독 가능 저장 매체의 보다 구체적인 예(불완전한 목록)는 다음: 하나 이상의 와이어를 갖는 전기 연결, 휴대용 컴퓨터 디스켓, 하드 디스크, RAM(Random Access Memory), 읽기-전용 메모리(ROM), 소거 가능한 읽기 전용 메모리(EPROM 또는 플래시 메모리), 광섬유, 휴대용 컴팩트 디스크 읽기 전용 메모리(CD-ROM), 광학 저장 장치, 자기 저장 장치, 또는 위의 임의의 적절한 조합을 포함할 수 있다. 본 문서의 맥락에서, 컴퓨터 판독 가능 저장 매체는 명령 실행 시스템, 장치 또는 디바이스에 의해서 사용되거나 이와 관련하여 사용하기 위한 프로그램을 포함하거나 저장할 수 있는 임의의 유형의 매체일 수 있다.
위에 제공된 단락 및 참조 도면을 참조하여 이해되는 바와 같이, 컴퓨터 구현 방법의 다양한 실시예가 본 명세서에 제공되며, 그 중 일부는 본 명세서에 설명된 장치 및 시스템의 다양한 실시예에 의해서 수행될 수 있고 그 중 일부는 본 명세서에 설명된 비-일시적 컴퓨터 판독 가능 저장 매체에 저장된 명령에 따라서 수행될 수 있다. 또한, 본 명세서에 설명된 실시예를 참조하여 당업자에게 자명한 바와 같이, 본 명세서에 제공된 컴퓨터 구현 방법의 일부 실시예는 다른 장치 또는 시스템에 의해서 수행될 수 있으며, 본 명세서에 설명된 것 이외의 컴퓨터 판독 가능 저장 매체에 저장된 명령에 따라서 수행될 수 있다. 다음 컴퓨터 구현 방법과 관련된 시스템 및 컴퓨터 판독 가능 저장 매체에 대한 모든 참조는 설명 목적으로 제공되며 위에서 설명된 컴퓨터 구현 방법의 실시예와 관련하여 그러한 임의의 시스템 및 그러한 임의의 비-일시적 컴퓨터 판독 가능 저장 매체를 제한하려는 의도는 없다. 마찬가지로, 시스템 및 컴퓨터 판독 가능 저장 매체와 관련하여 다음 컴퓨터 구현 방법에 대한 임의의 참조는 설명의 목적으로 제공되며, 본 명세서에 개시된 그러한 임의의 컴퓨터 구현 방법도 제한하려는 의도는 없다.
도면의 흐름도와 블록도는 본 발명의 다양한 실시예에 따른 시스템, 방법 및 컴퓨터 프로그램 제품의 가능한 구현예의 구성, 기능 및 작동을 예시한다. 이와 관련하여, 흐름도 또는 블록도의 각각의 블록은 지정된 논리 기능(들)을 구현하기 위한 하나 이상의 실행 가능한 명령을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또한, 몇몇 대안적인 구현예에서, 블록에 언급된 기능은 도면에 언급된 순서를 벗어나 발생할 수 있다는 점에 주목해야 한다. 예를 들어, 연속적으로 도시된 두 개의 블록은 실제로는 실질적으로 동시에 실행될 수 있거나, 관련된 기능에 따라 블록이 때때로 역순으로 실행될 수 있다. 블록도 및/또는 흐름도 예시의 각각의 블록과 블록도 및/또는 흐름도 예시의 블록들 조합은 지정된 기능 또는 작동을 수행하는 특수 목적의 하드웨어 기반 시스템, 또는 특수 목적의 하드웨어와 컴퓨터 명령어의 조합에 의해 구현될 수 있다는 점도 주목해야 한다.
본 발명의 다양한 실시예에 대한 설명은 예시의 목적으로 제시되었으며, 개시된 실시예를 총망라하거나 제한하려는 의도는 아니다. 설명된 실시예의 범주 및 사상을 벗어남이 없는 많은 수정 및 변형이 당업자에게 자명할 것이다. 본 명세서에 사용된 용어는 실시예의 원리, 실제 적용 또는 시장에서 발견되는 기술에 대한 기술적 개선을 가장 잘 설명하거나, 당업자가 본 명세서에 개시된 실시예를 이해할 수 있도록 선택되었다.
본 명세서에서 사용된 단수형("a", "an" 및 "the")은 문맥에서 달리 명시하지 않는 한 복수형을 포함한다. 예를 들어, 단일 신경에 대한 언급은 신경 쌍의 두 신경을 모두 언급할 수도 있다. 더욱이, 신경 쌍의 두 신경에 대한 언급은 문맥상 명백히 달리 명시하지 않는 한 단일 신경을 지칭할 수도 있다.
본 명세서에서 "예시적인(exemplary)"이라는 단어는 "예, 실례 또는 예시로서의 역할을 하는"이라는 의미로 사용된다. "예시적인" 것으로 설명된 임의의 실시예는 반드시 다른 실시예에 비해서 바람직하거나 유리한 것으로 해석되고/되거나 다른 실시예의 특징의 통합을 배제하는 것으로 해석되어서는 안 된다.
명확성을 위해서 별도의 실시예와 관련하여 설명된 본 발명의 특정 특징은 단일 실시예에서 조합하여 제공될 수도 있다는 것이 이해된다. 반대로, 간략화를 위해서 단일 실시예의 맥락에서 설명된 본 발명의 다양한 특징은 별도로 제공되거나 임의의 적합한 하위 조합으로 또는 본 발명의 임의의 다른 설명된 실시예에 적합하게 제공될 수도 있다. 다양한 실시예의 맥락에서 설명된 특정 특징은 실시예가 이들 요소 없이 작동하지 않는 한 이들 실시예의 필수 특징으로 간주되지 않는다.
그 일부분을 포함하는 전술한 프로세스는 소프트웨어, 하드웨어 및 이들의 조합에 의해 수행될 수 있다. 이들 프로세스 및 그 일부분은 컴퓨터, 컴퓨터형 장치, 워크스테이션, 프로세서, 마이크로프로세서, 기타 전자 검색 도구와 메모리 및 이와 연관된 기타 비-일시적 저장형 장치에 의해 수행될 수 있다. 프로세스 및 그의 일부분은 또한, 프로그램 가능한 비-일시적 저장 매체, 예를 들어 콤팩트 디스크(CD) 또는 기계 등으로 판독 가능한 자기, 광학 등을 포함하는 기타 디스크, 또는 자기, 광학, 반도체 저장소 또는 기타 전자 신호 소스를 포함한 기타 컴퓨터 사용 가능한 저장 매체에 구현될 수 있다.
본 명세서의 프로세스(방법) 및 그의 구성요소 포함한 시스템은 특정 하드웨어 및 소프트웨어를 예시적으로 참조하여 설명되었다. 프로세스(방법)는 예시적으로 설명되었으며, 특정 단계 및 그 순서는 과도한 실험 없이 실행하기 위해서 이들 실시예를 감소시키도록 당업자에 의해 생략 및/또는 변경될 수 있다. 프로세스(방법) 및 시스템은 당업자가 과도한 실험 없이 종래의 기술을 사용하지 않고 임의의 실시예를 실행하는 데 필요할 수 있는 다른 하드웨어 및 소프트웨어를 쉽게 채택할 수 있도록 충분한 방식으로 설명되었다.
첨부된 청구범위가 다중 종속항 없이 초안이 작성된 경우에, 이는 그러한 다중 종속항을 허용하지 않는 관할권의 공식 요구사항을 수용하기 위해서만 수행된 것이다. 청구범위를 다중 종속항으로 렌더링함으로써 암시되는 모든 가능한 특징의 조합은 명시적으로 예상되며 본 발명의 일부로 간주되어야 한다는 점에 주목해야 한다.
본 발명이 특정 실시예와 관련하여 설명되었지만, 많은 대안, 수정 및 변형이 당업자에게 자명할 것이 분명하다. 따라서, 첨부된 청구범위의 사상과 넓은 범주에 속하는 모든 대안, 수정 및 변형을 포괄하려는 것이 의도이다.
Claims (32)
- 감각 입력 없이 개념 형성을 담당하는 영역을 포함하는 뇌를 가진 동물 대상체에 사용하기 위한 방법으로서,
처리 장치를 뇌 영역과 인터페이싱하는 단계;
처리 장치에 의해서, 감각 입력 없이 뇌 영역에 의해 형성된 적어도 하나의 개념을 나타내는 뇌 신호를 수신하는 단계; 및
적어도 하나의 개념의 유형의 형태를 나타내는 데이터로 적어도 하나의 개념을 변환하기 위해 처리 장치에 의해서 수신된 뇌 신호를 처리하는 단계를 포함하는,
감각 입력 없이 개념 형성을 담당하는 영역을 포함하는 뇌를 가진 동물 대상체에 사용하기 위한 방법. - 제 1 항에 있어서,
인터페이싱하는 단계는 처리 장치와 뇌 영역 사이의 통신 커플링을 제공하기 위해서 뇌 영역과 연관하여 대상체에 기계-대상체 인터페이스의 적어도 일부분을 이식하는 단계를 포함하는,
감각 입력 없이 개념 형성을 담당하는 영역을 포함하는 뇌를 가진 동물 대상체에 사용하기 위한 방법. - 제 1 항에 있어서,
인터페이싱하는 단계는 대상체에 처리 장치를 이식하는 단계를 포함하는,
감각 입력 없이 개념 형성을 담당하는 영역을 포함하는 뇌를 가진 동물 대상체에 사용하기 위한 방법. - 제 1 항에 있어서,
인터페이싱하는 단계는 처리 장치를 뇌 외부에 전개하는 단계를 포함하는,
감각 입력 없이 개념 형성을 담당하는 영역을 포함하는 뇌를 가진 동물 대상체에 사용하기 위한 방법. - 제 1 항에 있어서,
처리 장치는 비-침습적 기술을 통해 적어도 하나의 개념을 나타내는 뇌 신호를 수신하는,
감각 입력 없이 개념 형성을 담당하는 영역을 포함하는 뇌를 가진 동물 대상체에 사용하기 위한 방법. - 제 1 항에 있어서,
하나 이상의 규칙에 따라서 데이터에 대해 적어도 하나의 작업을 수행하는 단계를 더 포함하는,
감각 입력 없이 개념 형성을 담당하는 영역을 포함하는 뇌를 가진 동물 대상체에 사용하기 위한 방법. - 제 6 항에 있어서,
적어도 하나의 작동은 i) 처리 장치와 통신 가능하게 커플링된 컴퓨터화된 저장 장치에 데이터를 저장하는 것, ii) 하나 이상의 통신 네트워크를 통해 처리 장치와 통신 가능하게 커플링된 컴퓨터화된 서버 시스템에 데이터를 송신하는 것, 또는 iii) 수정된 데이터를 생성하기 위해서 데이터를 수정하는 것을 포함하는,
감각 입력 없이 개념 형성을 담당하는 영역을 포함하는 뇌를 가진 동물 대상체에 사용하기 위한 방법. - 제 1 항에 있어서,
수정된 데이터를 생성하기 위해서 데이터를 수정하는 단계;
수정된 데이터를 하나 이상의 뇌 신호로 변환하는 단계; 및
하나 이상의 뇌 신호로 표현되는 개념이 감각 입력 없이 뇌 영역에 의해서 형성되도록 하나 이상의 뇌 신호를 뇌 영역에 제공하는 단계를 더 포함하는,
감각 입력 없이 개념 형성을 담당하는 영역을 포함하는 뇌를 가진 동물 대상체에 사용하기 위한 방법. - 제 1 항에 있어서,
적어도 하나의 개념은 정신적 이미지인,
감각 입력 없이 개념 형성을 담당하는 영역을 포함하는 뇌를 가진 동물 대상체에 사용하기 위한 방법. - 제 1 항에 있어서,
적어도 하나의 개념은 비-음향적인 사운드인,
감각 입력 없이 개념 형성을 담당하는 영역을 포함하는 뇌를 가진 동물 대상체에 사용하기 위한 방법. - 제 1 항에 있어서,
유형의 형태는 대상체나 다른 관찰자가 볼 수 있는 이미지를 포함하는,
감각 입력 없이 개념 형성을 담당하는 영역을 포함하는 뇌를 가진 동물 대상체에 사용하기 위한 방법. - 제 1 항에 있어서,
유형의 형태는 대상체나 다른 청취자가 인지할 수 있는 사운드를 포함하는,
감각 입력 없이 개념 형성을 담당하는 영역을 포함하는 뇌를 가진 동물 대상체에 사용하기 위한 방법. - 제 1 항에 있어서,
뇌 신호는 전달 경로를 따라서 뇌 영역으로 또는 뇌 영역을 통해 전달되는 신경 자극을 포함하는,
감각 입력 없이 개념 형성을 담당하는 영역을 포함하는 뇌를 가진 동물 대상체에 사용하기 위한 방법. - 제 1 항에 있어서,
수신된 뇌 신호를 처리하는 단계는 뇌 신호와 데이터 사이를 매핑하는 적어도 하나의 매핑을 수신된 뇌 신호에 적용하는 단계를 포함하는,
감각 입력 없이 개념 형성을 담당하는 영역을 포함하는 뇌를 가진 동물 대상체에 사용하기 위한 방법. - 감각 입력 없이 개념 형성을 담당하는 영역을 포함하는 뇌를 가진 동물 대상체에 사용하기 위한 시스템으로서,
뇌 영역과 인터페이싱되며;
감각 입력 없이 뇌 영역에 의해서 형성된 적어도 하나의 개념을 나타내는 뇌 신호를 수신하고,
적어도 하나의 개념을 적어도 하나의 개념의 유형 형태를 나타내는 데이터로 변환하기 위해서 수신된 뇌 신호를 처리하도록 구성되는 처리 장치를 포함하는,
감각 입력 없이 개념 형성을 담당하는 영역을 포함하는 뇌를 가진 동물 대상체에 사용하기 위한 시스템. - 제 15 항에 있어서,
처리 장치를 뇌 영역과 인터페이싱하기 위한 기계-대상체 인터페이스를 더 포함하는,
감각 입력 없이 개념 형성을 담당하는 영역을 포함하는 뇌를 가진 동물 대상체에 사용하기 위한 시스템. - 제 16 항에 있어서,
기계-대상체 인터페이스의 적어도 일부분은 처리 장치와 뇌 영역 사이의 통신 커플링을 제공하기 위해서 뇌 영역과 연관하여 대상체에 이식되도록 구성되는,
감각 입력 없이 개념 형성을 담당하는 영역을 포함하는 뇌를 가진 동물 대상체에 사용하기 위한 시스템. - 제 15 항에 있어서,
처리 장치는 뇌 외부에 있는,
감각 입력 없이 개념 형성을 담당하는 영역을 포함하는 뇌를 가진 동물 대상체에 사용하기 위한 시스템. - 제 15 항에 있어서,
처리 장치는 비-침습적 기술을 통해 적어도 하나의 개념을 나타내는 뇌 신호를 수신하는,
감각 입력 없이 개념 형성을 담당하는 영역을 포함하는 뇌를 가진 동물 대상체에 사용하기 위한 시스템. - 제 15 항에 있어서,
처리 장치는 i) 처리 장치와 통신 가능하게 커플링된 컴퓨터화된 저장 장치, 및 ii) 하나 이상의 통신 네트워크를 통해 처리 장치와 통신 가능하게 커플링된 컴퓨터화된 서버 시스템 중 하나 이상에 데이터를 송신하도록 추가로 구성되는,
감각 입력 없이 개념 형성을 담당하는 영역을 포함하는 뇌를 가진 동물 대상체에 사용하기 위한 시스템. - 제 15 항에 있어서,
처리는:
수정된 데이터를 생성하기 위해서 데이터를 수정하고;
수정된 데이터를 하나 이상의 뇌 신호로 변환하고;
하나 이상의 뇌 신호로 표현된 개념이 감각 입력 없이 뇌 영역에 의해서 형성되도록 하나 이상의 뇌 신호를 뇌 영역에 제공하도록 추가로 구성되는,
감각 입력 없이 개념 형성을 담당하는 영역을 포함하는 뇌를 가진 동물 대상체에 사용하기 위한 시스템. - 제 15 항에 있어서,
적어도 하나의 개념은 정신적 이미지인,
감각 입력 없이 개념 형성을 담당하는 영역을 포함하는 뇌를 가진 동물 대상체에 사용하기 위한 시스템. - 제 15 항에 있어서,
적어도 하나의 개념은 비-음향적 사운드인,
감각 입력 없이 개념 형성을 담당하는 영역을 포함하는 뇌를 가진 동물 대상체에 사용하기 위한 시스템. - 제 15 항에 있어서,
유형의 형태는 대상체나 다른 관찰자가 볼 수 있는 이미지를 포함하는,
감각 입력 없이 개념 형성을 담당하는 영역을 포함하는 뇌를 가진 동물 대상체에 사용하기 위한 시스템. - 제 15 항에 있어서,
유형의 형태는 대상체나 다른 청취자가 인지할 수 있는 사운드를 포함하는,
감각 입력 없이 개념 형성을 담당하는 영역을 포함하는 뇌를 가진 동물 대상체에 사용하기 위한 시스템. - 제 15 항에 있어서,
뇌 신호는 전달 경로를 따라서 뇌 영역으로 또는 뇌 영역을 통해 전달되는 신경 자극을 포함하는,
감각 입력 없이 개념 형성을 담당하는 영역을 포함하는 뇌를 가진 동물 대상체에 사용하기 위한 시스템. - 제 15 항에 있어서,
처리 장치는 뇌 신호와 데이터 사이를 매핑하는 적어도 하나의 매핑을 수신된 뇌 신호에 적용함으로써 수신된 뇌 신호를 처리하도록 구성되는,
감각 입력 없이 개념 형성을 담당하는 영역을 포함하는 뇌를 가진 동물 대상체에 사용하기 위한 시스템. - 감각 입력 없이 개념 형성을 담당하는 영역을 포함하는 뇌를 가진 동물 대상체에 사용하기 위한 방법으로서,
처리 장치를 뇌 영역과 인터페이싱하는 단계;
처리 장치에 의해서, 데이터를 하나 이상의 뇌 신호로 변환하기 위해서 영역에 의해 형성될 적어도 하나의 개념을 나타내는 데이터를 처리하는 단계; 및
데이터에 의해 표현되는 적어도 하나의 개념이 감각 입력 없이 뇌 영역에 의해서 형성되도록 하나 이상의 뇌 신호를 뇌 영역에 선택적으로 제공하는 단계를 포함하는;
감각 입력 없이 개념 형성을 담당하는 영역을 포함하는 뇌를 가진 동물 대상체에 사용하기 위한 방법. - 제 28 항에 있어서,
처리 장치에 의해서 데이터를 처리하기 전에 처리 장치에 데이터를 제공하는 단계를 더 포함하며, 데이터는 i) 처리 장치와 통신 가능하게 커플링된 메모리 장치, ii) 하나 이상의 통신 네트워크를 통해 처리 장치와 통신 가능하게 커플링되는 컴퓨터화된 서버 시스템, 또는 iii) 처리 장치와 연관된 데이터 캡처 장치 중 적어도 하나에 의해서 처리 장치에 제공되는,
감각 입력 없이 개념 형성을 담당하는 영역을 포함하는 뇌를 가진 동물 대상체에 사용하기 위한 방법. - 제 28 항에 있어서,
데이터를 처리하는 단계는 뇌 신호와 데이터 사이를 매핑하는 적어도 하나의 매핑을 데이터에 적용하는 단계를 포함하는,
감각 입력 없이 개념 형성을 담당하는 영역을 포함하는 뇌를 가진 동물 대상체에 사용하기 위한 방법. - 감각 입력 없이 개념 형성을 담당하는 영역을 포함하는 뇌를 가진 동물 대상체에 사용하기 위한 시스템으로서,
뇌 영역과 인터페이싱되며;
영역에 의해서 형성될 적어도 하나의 개념을 나타내는 데이터를 수신하고,
데이터를 하나 이상의 뇌 신호로 변환하기 위해서 수신된 데이터를 처리하고,
데이터가 나타내는 적어도 하나의 개념이 감각 입력 없이 뇌 영역에 의해서 형성되도록 하나 이상의 뇌 신호를 뇌 영역에 선택적으로 제공도록 구성된 처리 장치를 포함하는,
감각 입력 없이 개념 형성을 담당하는 영역을 포함하는 뇌를 가진 동물 대상체에 사용하기 위한 시스템. - 제 31 항에 있어서,
처리 장치는 뇌 신호와 데이터 사이를 매핑하는 적어도 하나의 매핑을 수신된 데이터에 적용함으로써 수신된 데이터를 처리하도록 구성되는,
감각 입력 없이 개념 형성을 담당하는 영역을 포함하는 뇌를 가진 동물 대상체에 사용하기 위한 시스템.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202163226821P | 2021-07-29 | 2021-07-29 | |
| US63/226,821 | 2021-07-29 | ||
| PCT/IB2022/056456 WO2023007293A1 (en) | 2021-07-29 | 2022-07-13 | Methods and systems for non-sensory information rendering and injection |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20240038786A true KR20240038786A (ko) | 2024-03-25 |
Family
ID=82742898
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020247006581A KR20240038786A (ko) | 2021-07-29 | 2022-07-13 | 비-감각 정보 렌더링 및 주입을 위한 방법 및 시스템 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US11733776B2 (ko) |
| EP (1) | EP4376702A1 (ko) |
| KR (1) | KR20240038786A (ko) |
| CA (1) | CA3227539A1 (ko) |
| IL (1) | IL310479A (ko) |
| WO (1) | WO2023007293A1 (ko) |
Family Cites Families (45)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5178161A (en) * | 1988-09-02 | 1993-01-12 | The Board Of Trustees Of The Leland Stanford Junior University | Microelectronic interface |
| US6175767B1 (en) * | 1998-04-01 | 2001-01-16 | James H. Doyle, Sr. | Multichannel implantable inner ear stimulator |
| US7574263B2 (en) * | 2003-01-31 | 2009-08-11 | Second Sight Medical Products, Inc. | Pixel re-mapping for visual prosthesis |
| US20050283202A1 (en) * | 2004-06-22 | 2005-12-22 | Gellman Barry N | Neuromodulation system |
| US20100026798A1 (en) * | 2005-03-11 | 2010-02-04 | Schmid David J | Method and System for Capturing Physiological and Video Data and Subsequently Marking the Data While Viewing the Video |
| EP1861049B1 (en) * | 2005-03-23 | 2014-08-20 | Össur hf | System and method for conscious sensory feedback |
| US8369958B2 (en) | 2005-05-19 | 2013-02-05 | Cochlear Limited | Independent and concurrent processing multiple audio input signals in a prosthetic hearing implant |
| US7991475B1 (en) | 2005-06-08 | 2011-08-02 | The Regents Of The University Of California | High density micromachined electrode arrays useable for auditory nerve implants and related methods |
| US20080161915A1 (en) | 2006-12-29 | 2008-07-03 | Qiushi Ren | System for creating visual images |
| US20080242950A1 (en) * | 2007-03-30 | 2008-10-02 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Computational user-health testing |
| US20080319276A1 (en) * | 2007-03-30 | 2008-12-25 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Computational user-health testing |
| US8684926B2 (en) | 2008-02-25 | 2014-04-01 | Ideal Innovations Incorporated | System and method for knowledge verification utilizing biopotentials and physiologic metrics |
| US9451883B2 (en) * | 2009-03-04 | 2016-09-27 | The Regents Of The University Of California | Apparatus and method for decoding sensory and cognitive information from brain activity |
| US20110144471A1 (en) * | 2009-12-16 | 2011-06-16 | Hui-Lin Hsu | Flexible probe structure and method for fabricating the same |
| US9167985B2 (en) * | 2010-03-19 | 2015-10-27 | University Of Manitoba | Microwave tomography systems and methods |
| WO2013172981A1 (en) * | 2012-05-16 | 2013-11-21 | Beth Israel Deaconess Medical Center, Inc. | Identifying individual target sites for transcranial magnetic stimulation applications |
| KR102282961B1 (ko) * | 2012-09-28 | 2021-07-29 | 더 리젠츠 오브 더 유니버시티 오브 캘리포니아 | 감각 및 인지 프로파일링을 위한 시스템 및 방법 |
| CN103705229A (zh) | 2012-09-29 | 2014-04-09 | 中国科学院声学研究所 | 一种用于测量耳蜗内ecap信号的方法及系统 |
| US10264990B2 (en) * | 2012-10-26 | 2019-04-23 | The Regents Of The University Of California | Methods of decoding speech from brain activity data and devices for practicing the same |
| US10946196B2 (en) * | 2012-11-16 | 2021-03-16 | Stimscience Inc. | System for variably configurable, adaptable electrode arrays and effectuating software |
| EP2736273A1 (en) * | 2012-11-23 | 2014-05-28 | Oticon A/s | Listening device comprising an interface to signal communication quality and/or wearer load to surroundings |
| US9174049B2 (en) * | 2013-01-27 | 2015-11-03 | ElectroCore, LLC | Systems and methods for electrical stimulation of sphenopalatine ganglion and other branches of cranial nerves |
| US9773332B2 (en) | 2013-03-14 | 2017-09-26 | Otoy, Inc. | Visual cortex thought detector interface |
| KR101680995B1 (ko) * | 2013-03-15 | 2016-11-29 | 인텔 코포레이션 | 생물 물리학적 신호의 수집된 시간적 및 공간적 패턴에 기초한 뇌-컴퓨터 인터페이스(bci) 시스템 |
| WO2014169190A1 (en) * | 2013-04-11 | 2014-10-16 | Brown University | Write-in and read-out activity in brain circuits |
| US20150142082A1 (en) * | 2013-11-15 | 2015-05-21 | ElectroCore, LLC | Systems and methods of biofeedback using nerve stimulation |
| US9588490B2 (en) * | 2014-10-21 | 2017-03-07 | City University Of Hong Kong | Neural control holography |
| EP3247267B1 (en) * | 2015-01-24 | 2021-07-07 | The Trustees of the University of Pennsylvania | Apparatus for improving cognitive performance |
| CN204520668U (zh) | 2015-02-15 | 2015-08-05 | 山东大学 | 多通道同步耳蜗听神经动作电位测量系统 |
| JP6760081B2 (ja) * | 2015-08-05 | 2020-09-23 | セイコーエプソン株式会社 | 脳内映像再生装置 |
| WO2018057667A1 (en) * | 2016-09-20 | 2018-03-29 | Paradromics, Inc. | Systems and methods for detecting corrupt or inaccurate sensory representations |
| US20180200389A1 (en) * | 2016-12-09 | 2018-07-19 | The Johns Hopkins University | Photoacoustic voltage-sensitive dyes for in vivo imaging |
| US10801038B2 (en) * | 2017-02-28 | 2020-10-13 | Trustees Of Boston University | Opto-genetic modulator |
| WO2018195312A1 (en) * | 2017-04-20 | 2018-10-25 | The Charles Stark Draper Laboratory, Inc. | Implantable optical stimulation and detection leads for nervous tissue |
| WO2019060298A1 (en) * | 2017-09-19 | 2019-03-28 | Neuroenhancement Lab, LLC | METHOD AND APPARATUS FOR NEURO-ACTIVATION |
| US10935776B2 (en) * | 2018-01-23 | 2021-03-02 | The Regents Of The University Of California | Three-dimensional scanless holographic optogenetics with temporal focusing |
| US20190336060A1 (en) * | 2018-05-04 | 2019-11-07 | Hi Llc | Non-invasive measurement system and method using single-shot spectral-domain interferometric near-infrared spectroscopy based on orthogonal dispersion |
| US10925509B2 (en) * | 2018-05-28 | 2021-02-23 | The Governing Council Of The University Of Toronto | System and method for generating visual identity and category reconstruction from electroencephalography (EEG) signals |
| WO2019235458A1 (ja) * | 2018-06-04 | 2019-12-12 | 国立大学法人大阪大学 | 想起画像推定装置、想起画像推定方法、制御プログラム、記録媒体 |
| WO2019239367A1 (en) * | 2018-06-14 | 2019-12-19 | Inner Cosmos Llc | Virtual user interface system and methods for use thereof |
| EP3822617A4 (en) * | 2018-07-09 | 2022-04-06 | National University Corporation Kobe University | MULTIPOINT THREE-DIMENSIONAL HOLOGRAPHIC LIGHT STIMULATION DEVICE AND METHOD |
| US11006876B2 (en) * | 2018-12-21 | 2021-05-18 | Hi Llc | Biofeedback for awareness and modulation of mental state using a non-invasive brain interface system and method |
| WO2020242888A1 (en) * | 2019-05-24 | 2020-12-03 | University Of Rochester | Combined brain stimulation and visual training to potentiate visual learning and speed up recovery after brain damage |
| US11395620B1 (en) * | 2021-06-03 | 2022-07-26 | Ofer Moshe | Methods and systems for transformation between eye images and digital images |
| US11641555B2 (en) * | 2021-06-28 | 2023-05-02 | Moshe OFER | Methods and systems for auditory nerve signal conversion |
-
2022
- 2022-07-13 WO PCT/IB2022/056456 patent/WO2023007293A1/en active Application Filing
- 2022-07-13 KR KR1020247006581A patent/KR20240038786A/ko unknown
- 2022-07-13 US US17/863,480 patent/US11733776B2/en active Active
- 2022-07-13 IL IL310479A patent/IL310479A/en unknown
- 2022-07-13 EP EP22748082.9A patent/EP4376702A1/en active Pending
- 2022-07-13 CA CA3227539A patent/CA3227539A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| US20230031100A1 (en) | 2023-02-02 |
| EP4376702A1 (en) | 2024-06-05 |
| US11733776B2 (en) | 2023-08-22 |
| CA3227539A1 (en) | 2023-02-02 |
| WO2023007293A1 (en) | 2023-02-02 |
| IL310479A (en) | 2024-03-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9579236B2 (en) | Representing visual images by alternative senses | |
| US6584357B1 (en) | Method and system for forming an acoustic signal from neural timing difference data | |
| US20070211947A1 (en) | System for seeing using auditory feedback | |
| US20230306960A1 (en) | Wearable vibrotactile speech aid | |
| US20190333496A1 (en) | Spatialized verbalization of visual scenes | |
| US20230309904A1 (en) | Methods and Systems for Transformation Between Eye Images and Digital Images | |
| CN104010184A (zh) | 信号处理设备和存储介质 | |
| Mahon | Missed Connections: A connectivity-constrained account of the representation and organization of object concepts | |
| CN102688120B (zh) | 彩色声像导盲方法及彩色声像导盲仪 | |
| Valencia et al. | A computer-vision based sensory substitution device for the visually impaired (See ColOr). | |
| KR20240038786A (ko) | 비-감각 정보 렌더링 및 주입을 위한 방법 및 시스템 | |
| US20220417678A1 (en) | Methods and Systems for Auditory Nerve Signal Conversion | |
| Ye et al. | A wearable vision-to-audio sensory substitution device for blind assistance and the correlated neural substrates | |
| US20230251713A1 (en) | Methods and Systems for Controlling and Interacting with Objects Based on Non-Sensory Information Rendering | |
| Martínez et al. | Visual perception substitution by the auditory sense | |
| Ambard et al. | Mobile video-to-audio transducer and motion detection for sensory substitution | |
| Tóth et al. | Autoencoding sensory substitution | |
| Dublon | Sensor (y) landscapes: Technologies for new perceptual sensibilities | |
| Riahi et al. | VBTones a visual to auditory device for the blind | |
| Zhang et al. | ISEE: A Wearable Image-Sound Translation System for Partially Sighted People | |
| BE1003022A3 (fr) | Dispositif de rehabilitation visuelle utilisant le canal auditif. | |
| Tan et al. | Swiping with luminophonics | |
| CA3221974A1 (en) | Methods and systems for auditory nerve signal conversion | |
| Maluf et al. | Sensing super-position: visual instrument sensor replacement | |
| Silva et al. | Acoustic-tactile rendering of visual information |