KR20200027468A - 영상 신호 추출 장치 및 이의 사용 방법 - Google Patents

Abstract

인터페이스와; 인터페이스에 작동 가능하게 결합되는 처리 장치; 및 컴퓨터 판독 가능 매체를 포함하는 영상 신호 추출 장치가 개시되며, 컴퓨터 판독 가능 매체는, 처리 장치에 의해 실행될 때, a) 인터페이스로부터 획득된 영상 정보로부터 2차원 이미지를 생성함으로써, 영상 정보의 탄도 성분을 추정하는 동작과; b) 2차원 이미지를 리매핑하여 3차원 이미지를 생성하는 동작과; c) 3차원 이미지 내의 후보 객체를 식별하는 동작과; d) 후보 객체의 3차원 이미지를 영상 장치와 관련된 점-확산-함수로 매핑하여 후보 객체의 추정 공간 순방향 모델을 획득하는 동작과; e) 후보 객체의 추정 공간 순방향 모델과 추정 시간 성분을 사용하여 배경-보정 데이터를 획득하는 동작; 및 f) 후보 객체에 대해 수렴에 도달할 때까지 추정 공간 순방향 모델과 추정 시간 성분을 반복적으로 업데이트함으로써, 신호 정보를 추출하는 동작을 수행한다.

Description

영상 신호 추출 장치 및 이의 사용 방법

본 발명은 인테리어/인테리어 비즈니스 센터 부서(Department of Interior/Interior Business Center, DoI/IBC)가 수여한 계약 제D16PC00002호의 정보 고등 연구 계획 활동(Intelligence Advanced Research Projects Activity, IARPA) 하에 정부 지원을 받아 이루어졌다. 본 발명은 또한 국립 과학 재단이 수여한 보조금 제DBI-1707408호 하에 정부 지원을 받아 이루어졌다. 정부는 본 발명에 대해 소정 권리를 갖는다.

개시된 실시형태는 영상 기록, 예를 들어, 산란 매질(scattering medium) 내의 영상 기록을 포함하는 시계열 기록으로부터 신호를 추출하는 것에 관한 것이다.

대형 신경세포 집단의 전반적인 역학으로부터의 감각 입력과 복잡한 행동 발생의 멀티-스케일 통합을 이해하는 것은 현재의 신경과학에서의 근본적인 문제이다. 최근에서야, 유전적으로 인코딩된 칼슘(Ca²⁺) 표지자(genetically encoded Calcium indicator, GECI)_[1]와 새로운 광학 영상 기술의 조합으로 인해, 예쁜꼬마선충(C. elegans)_[2,3] 및 제브라피쉬 치어(zebrafish larvae)_[4,5]와 같은 소형 모델 유기체의 전체 신경계로부터 신경세포 집단 활동을 고속 및 단일-세포 해상도로 기록할 수 있게 되었다. 그러나, 포유류의 신피질과 같은 산란 조직에서 고속 및 깊은 심도로 큰 용적에 대한 단일-세포 해상도의 기능적 영상(functional imaging)은 아주 힘든 것으로 입증되었다.

주요 한계는 직렬 및 병렬 획득 방식 간의 기본적인 절충이다. 공간 해상도가 여기(excitation)의 3D 위치에 의해 결정되는 표준 2-광자 주사 현미경 검사(two-photon scanning microscopy, 2PM)_[6]과 같은 직렬 획득 방식은, 방출된 형광이 점 검출기(point detector) 상에서 통합됨에 따라, 방출 경로에서 산란 및 신호 간섭에 대한 강인성(robustness)을 제공한다. 이러한 능력은 2PM을 심부 조직 영상_[7]을 위한 표준 방법으로 만들었다. 그러나 이는, 여기점(excitation spot)을 3D로 스캔해야 하므로, 시간 해상도의 희생을 통해 달성되었다. 보다 최근에, 예를 들어, 음향-광학 편향기(acousto-optic deflector)_[9]를 사용하여 더 빠르게 스캐닝함으로써, 기계식 액추에이터_[10] 또는 음향 광학 렌즈_[11] 사용하여 원격으로 포커싱함으로써, 시간 또는 공간 다중화_[12-14]에 의하거나, 알려진 소스 위치를 랜덤 액세스 스캐닝_[15-17]에 의해 선택적으로 어드레싱함으로써, 또는 보다 효율적인 여기 방식_[18]과 결합하여 현미경의 점 확산 함수(point spread function, PSF)를 생성함으로써, 복잡성이 증가하는 것을 무릅쓰고 이러한 제한을 완화하기 위해 많은 접근법이 개발되었다_[8].

이에 반해서, 광시야 에피-형광 현미경 검사(wide-field epi-fluorescence microscopy), 멀티-뷰 광-시트 기술(multi-view light-sheet techniques)_[21] 및 스위핑 공초점 정렬 평면 여기(swept confocally aligned planar excitation)_[22]를 포함하는 광-시트 현미경 검사_[19,20,5], 광시야 집중 포커싱(wide-field temporal focusing)_[2], 및 홀로그램 방식_[23-25]과 같은 병렬 획득 방식은 시간 해상도를 향상시킬 수 있다. 일반적으로, 이들 방법에서, 다수의 영역 또는 전체 샘플이 동시에 여기되고 2D 센서 어레이를 사용하여 형광이 검출된다. 그러나, 일반적으로, 광 산란은 별개의 신경세포로부터 발생하는 형광 신호를 혼합하고 이들의 위치에 대한 정보를 저하시킨다. 따라서, 병렬 획득 방식은 대부분 매우 투명한 표본 또는 포유류의 피질과 같은 산란 조직의 가장 표면적인 영역으로 제한되어왔다.

본원에 개시된 실시형태들은 영상 장치 인터페이스와, 처리 장치, 및 컴퓨터-판독 가능 매체를 포함하는 영상 신호 추출 장치(예를 들어, 디믹서(demixer))를 포함한다. 영상 장치는 3차원 샘플 용적 위치를 특정 방식으로 2차원 센서 위치로 매핑하는 임의의 장치일 수 있다. 이러한 장치의 예는 명시야 현미경(light-field microscope)이다. 처리 장치는 영상 장치 인터페이스에 작동 가능하게 결합된다. 컴퓨터 판독 가능 매체는, 처리 장치에 의해 실행될 때, (a) 영상 장치 인터페이스로부터 획득된 영상 정보로부터 2차원 이미지(예를 들어, 2차원 표준 편차 이미지)를 생성함으로써, 영상 정보의 탄도 성분(ballistic component)을 추정하는 동작과, (b) 2차원 이미지를 리매핑(예를 들어, 디컨볼루션(deconvolving))하여 3차원 이미지(즉, 3D 용적)를 생성하는 동작과, (c) 3차원 이미지 내의 후보 객체를 식별하는 동작과, (d) 후보 객체의 3차원 이미지를 영상 장치와 관련된 점-확산-함수로 매핑하여 후보 객체의 추정 공간 순방향 모델(estimated spatial forward model)을 획득하는 동작과, (e) 후보 객체의 추정 공간 순방향 모델과 추정 시간 성분을 사용하여 배경-보정 데이터를 획득하는 동작, 및 (f) 후보 객체에 대해 수렴에 도달할 때까지 추정 공간 순방향 모델과 추정 시간 성분을 반복적으로 업데이트함으로써, 신호 정보를 디믹스(demix)하는 동작을 수행하는 명령을 포함한다.

일 실시형태에서, 동작 (a) 전에, 영상 장치 인터페이스를 사용하여, 영상 장치에 의해 획득된 배경 정보가 제거(subtract)될 수 있다. 배경 정보는 명시야 현미경으로부터 획득된 배경 형광일 수 있고, 배경 정보의 제거는 랭크-1-행렬 인수분해(rank-1-matrix factorization)를 적용하는 동작을 포함할 수 있다. 동작 (a)는 카메라 프레임의 시계열의 표준 편차를 결정하는 동작을 포함할 수 있고, 동작 (b)는 영상 장치와 관련된 점-확산-함수를 사용하는 동작을 포함할 수 있다. 점 확산 함수는 수치적으로 시뮬레이션되거나 실험적으로 획득될 수 있으며, 탄도 또는 비탄도 확산 함수일 수 있다. 동작 (b) 전에, 2차원 표준 편차 이미지는 잔류 배경 활동을 배제하도록 임계화될(thresholded) 수 있고, 동작 (b)는 총-변동(total-variation)과 희소성 제약(sparsity constraint)을 리매핑(예를 들어, 디컨볼루션)에 통합하여 재구성 아티팩트(reconstruction artefact)를 감소시키는 동작을 더 포함할 수 있다.

재구성 아티팩트를 감소시키는 동작은 방정식(x_n+1 = x_n (P^Ty / Py+λ 1_dim(x)))을 적용하는 동작을 포함할 수 있고, 여기서 x는 용적 추정치를 나타내고, 1_dim(x)는 x와 동일한 차원을 갖는 벡터를 나타내고, P는 점-확산-함수를 나타내고, λ는 희소성-촉진 항(sparsity-encouraging term)의 가중치를 나타내며, y는 배경이 제거된 원시 데이터를 나타낸다. 동작 (c)는 객체 형태와 양립할 수 없는 공간 주파수를 억제하기 위해 공간 분할(spatial segmentation)을 이용하는 동작을 포함할 수 있다. 공간 분할은 3차원 이미지에 대역 통과 필터를 적용하는 동작과, 배경 아티팩트를 배제하기 위해 임계화하는 동작, 및 국소 최대 검색 알고리즘(local maximum search algorithm)을 적용하는 동작을 포함할 수 있다. 후보 객체의 3차원 이미지를 영상 장치와 관련된 점-확산-함수로 매핑(예를 들어, 컨볼루션(convolving))하는 동작 (d)는 희소 비음수(sparse non-negative) p x n 행렬 S_i를 생성하는 동작을 포함할 수 있으며, 여기서 n은 객체 후보의 수이고, p는 픽셀의 수이며, i는 반복 수이고, 여기서 S₀은 후보 객체의 초기 공간 순방향 모델이다. 동작 (e)는 S₀과 T₀의 행렬 곱을 사용하여 p x t 행렬(Y)을 생성하는 동작을 포함할 수 있으며, 여기서 T_i는 시간 성분의 비음수 n x t 행렬이고, t는 기록 내의 시간 간격의 수이다. T_i는 희소성 제약으로 적응형 리처드슨-루시-타입 솔버(adapted Richardson-Lucy-type solver)를 반복적으로 적용함으로써 획득될 수 있다. 추정 공간 순방향 모델과 추정 시간 성분을 반복적으로 업데이트하는 동작은, (i) 추정 T_i를 일정하게 유지하면서, 업데이트된 추정치 S_i를 획득하는 동작과, (ii) 추정 S_i를 일정하게 유지하면서, 업데이트된 추정치 T_i를 획득하는 동작, 및 (iii) 객체 후보에 대해 수렴에 도달할 때까지 동작 (i) 및 동작 (ii)를 반복적으로 반복하는 동작을 포함할 수 있다. 후보 객체는 신경세포일 수 있다.

산란 매질(예를 들어, 산란 조직)에서 효율적인 신호 추출을 가능하게 하고 반투명 표본에서 증가된 시간 및 공간 충실도(fidelity)를 제공하는 것 외에도, 개시된 실시형태의 주요 진전은 이전의 이미지 재구성(예를 들어, LFM을 위한 이미지 재구성) 및 세 자릿수의 후-처리에 비해 계산 비용의 극적인 감소이다. 이를 통해 실시간 전뇌(whole-brain) 기록, 광유전학(optogenetics) 및 행동과 결합하여 신경세포 집단 활동의 폐루프 조사(closed loop interrogation), 및 데이터 분석에 대한 고급 기계 학습 기술의 적용을 포함하여 질적으로 새로운 다양한 응용이 가능하다.

또 다른 실시형태에서, 영상 신호 추출 장치는 영상 장치 인터페이스와, 영상 장치 인터페이스에 작동 가능하게 결합되는 처리 장치, 및 처리 장치에 의해 실행될 때 동작을 수행하는 명령을 포함하는 컴퓨터 판독 가능 매체를 포함한다. 동작은, 영상 장치 인터페이스로부터 획득된 영상 정보로부터 2차원 이미지를 생성함으로써, 영상 정보의 탄도 성분을 추정하는 동작과, 2차원 이미지를 리매핑하여 3차원 이미지를 생성하는 동작과, 3차원 이미지 내의 후보 객체를 식별하는 동작과, 후보 객체의 3차원 이미지를 영상 장치와 관련된 점-확산-함수로 매핑하여 후보 객체의 추정 공간 순방향 모델을 획득하는 동작과, 후보 객체의 추정 공간 순방향 모델과 추정 시간 성분을 사용하여 배경-보정 데이터를 획득하는 동작, 및 후보 객체에 대해 수렴에 도달할 때까지 추정 공간 순방향 모델과 추정 시간 성분을 반복적으로 업데이트함으로써, 신호 정보를 추출하는 동작을 포함한다. 영상 장치 인터페이스는 미니스코프 플랫폼(Miniscope platform), 이식형 내시경 GRIN 릴레이(implanted endoscopic GRIN relay), 센서, 및 마이크로렌즈 어레이(microlens array)를 사용하여 개발된 하드웨어를 포함한다. 마이크로렌즈 어레이는 후방 초점면(back focal plane)과 센서면(sensor plane)이 일치하도록 센서에 매우 근접하게 정렬되고 장착된다. 마이크로렌즈 어레이는 센서로부터 하나의 초점 거리에서 이미지 평면의 광 경로에 배치될 수 있다. 장치는 또한 센서를 유지하도록 구성된 유지 부재를 포함할 수 있다. 유지 부재는 미니스코프 설계와 비교할 때 2.7 mm 연장될 수 있다.

일 실시형태에서, 본 발명은 영상 신호를 추출하는 방법을 제공한다. 방법은 처리 장치에 작동 가능하게 결합되는 영상 장치 인터페이스를 사용하는 단계를 포함한다. 처리 장치는 다음과 같은 동작을 수행한다: a) 영상 장치 인터페이스로부터 획득된 영상 정보로부터 2차원 이미지를 생성함으로써, 영상 정보의 탄도 성분을 추정하는 동작과; b) 2차원 이미지를 리매핑하여 3차원 이미지를 생성하는 동작과; c) 3차원 이미지 내의 후보 객체를 식별하는 동작과; d) 후보 객체의 3차원 이미지를 영상 장치와 관련된 점-확산-함수로 매핑하여 후보 객체의 추정 공간 순방향 모델을 획득하는 동작과; e) 후보 객체의 추정 공간 순방향 모델과 추정 시간 성분을 사용하여 배경-보정 데이터를 획득하는 동작; 및 f) 후보 객체에 대해 수렴에 도달할 때까지 추정 공간 순방향 모델과 추정 시간 성분을 반복적으로 업데이트함으로써, 신호 정보를 추출하는 동작.

다른 실시형태는 첨부한 도면과 함께 고려되는 다음의 상세한 설명으로부터 명백해질 것이다. 그러나, 도면은 단지 예시로서 제공되며 그 어떠한 실시형태에 대한 제한을 의미하는 것은 아님을 알아야 한다.

도 1은 산란 조직 내의 명시야 기록의 시드 반복 디믹싱(Seeded Iterative Demixing, SID)으로서, 시드 반복 디믹싱의 주요 단계를 도시한다.
도 2는 마우스 해마 내의 비디오율(video-rate) 입체 Ca²⁺ 영상으로서, 뇌량(corpus callosum)(CC), 및 고유 해마 암몬각(Cornu Ammonis)(CA1, CA3) 및 치상회(dentate gyrus)(DG)의 영역을 나타내는 해마 창 준비를 도시하며, CA1 위의 사각형은 대략적인 영상 용적을 나타낸다.
도 3은 동시 2PM-SID 기록을 기반으로 하는 SID 신경세포 검출 및 신호 추출 성능의 통계적 분석을 도시하며; 도 3a는 2PM 데이터에 적용된 분석 패키지CalmAn(청색 흔적)에 의해 달성된 점수와 비교한 SID(녹색 흔적)에 의해 달성된 신경세포 검출 점수 대 깊이를 도시하며, 양자 모두 실측 자료(ground truth)에 대해 평가되었고; (i) 민감도 점수(실제 신경세포에 대한 검출된 수의 비율); (ii) 정확도 점수(진양성(true positive) 및 위양성(false positive)의 합에 대한 진양성 수의 비율); (iii) F-점수(민감도와 정확도의 조화 평균)(n = 4)를 도시하며; 도 3b는 실측 자료에 대한 SID 추출 신호의 비교를 도시하며; (i) 상관 평균 대 깊이 및 (ii) 일례로서 도시된, SID 신호 및 이들의 실측 대응물의 상관 계수의 히스토그램; (iii) 두 쌍의 SID(녹색) 및 대응하는 실측 자료(적색) 신호 쌍의 예 및 이들 각각의 상관 계수; (iv) <0.5 미만의 실측 자료 대 영상 깊이에 대한 상관 관계가 있는 SID-신호의 비율을 도시한다.
도 4는 본원에 개시된 하나 이상의 실시형태에 따른 방법을 수행하는 컴퓨팅 시스템 형태의 예시적인 기계의 적어도 일부의 블록도이다.
도 5는 헤드-마운트 소형 명시야 현미경(Head-mounted miniature Light Field Microscope, MiniLFM)을 도시한다. MiniLFM의 분해도(좌측) 및 단면도(우측)가 도시되어 있다. 시각적 선명도를 위해 일부 부분이 투명하게 도시되어 있다.
도 6은 MiniLFM MLA-센서 정렬 지그(alignment jig)를 도시한다. MLA를 센서 칩에 정렬하기 위해, 호스 클램프(hose clamp, 도시되지 않음)를 사용하여 조여질 수 있는 한 쌍의 맞춤형 4-핑거 홀더(실버 원통형 슬롯형 부품, 중앙 좌측)가 설계되었다. 하나의 클램프는 MLA(보이지 않음, 클램프로 가려짐)를 유지하고 포스트/포스트 홀더(가장 왼쪽 부분)에 고정되게 장착된다. 다른 클램프는 센서(청록색 사각형)를 유지하며 팁(tip), 틸트(tilt)와 회전, 및 측면 위치를 조정하기 위해 6-축 키네마틱 마운트(kinematic mount)(Thorlabs K6XS)에 의해 자체적으로 유지된다. 키네마틱 마운트는 MLA-센서 거리의 조정뿐만 아니라 측면 위치의 간편한 거친 조정을 위해 3-축 선형 스테이지 어셈블리(linear stage assembly)(Thorlabs PTA3A/M)에 부착되어 있다.
도 7은 장치를 착용하지 않은 경우, 미니스코프를 착용한 경우 및 MiniLFM을 착용한 경우의 동물 민첩성의 비교를 나타내는 그래프를 포함한다. 동물 민첩성의 정량화는 훈련이 완료된 후 선형 트랙에서의 행동을 기록하여 표시된다. 세 마리의 마우스; 연이어 3일 동안, 동물당 하루에 한번씩 각각의 조건 하에서 시험하여, 총 n = 27회 시험이 수행되었다. 시험 기간: 10분. 시험간 휴식: 1시간. 넓은 가로 막대는 평균을 나타내고, 오차 막대는 s.e.m이다. 데이터 포인트 색상은 동물을 나타내며, 도 7a는 일원 분산분석(one-way ANOVA)에 의해 유의하지 않은(not significant, ns) 것으로 나타난 평균 보행 속도를 나타내고, 도 7b는 일원 분산분석에 의해 유의하지 않은(ns) 것으로 나타난 시험당 이동 거리를 나타내며, 도 7c는 유의하지 않은(ns) 것으로 나타난 시험 도중 발생한 중지 횟수를 나타내고; *는 일원 분산 분석에 의해 p <0.05에서 유의성이 있었다(p = 0.011).
도 8은 2PM + MiniLFM/SID 동시 기록에 사용된 실험 장비의 개략도이다.
도면의 요소는 단순성과 명확성을 위해 도시되어 있음을 알아야 한다. 상업적으로 실현 가능한 실시형태에서 유용하거나 필요할 수 있는, 일반적이지만 잘 알 수 있는 요소는 도시된 실시형태의 덜 방해 받는 시야를 제공하기 위해 도시되지 않았다.

개시된 실시형태는 시계열 기록으로부터 영상 신호를 추출하는 것에 관한 것이다. 시계열은 시간 순서대로 색인화된 일련의 데이터 포인트이다. 영상 신호 추출의 예는 영상 기록, 특히 산란 매질 내의 영상 기록으로부터의 신호의 디믹싱이다.

개시된 실시형태의 영상 신호 추출 장치는 (1) 잔여 탄도 광에 포함된 고해상도 공간 정보를 이용할 뿐만 아니라, 산란된 광으로부터 방향 정보를 추출하고, (2) 특정 영상 장치의 점 확산 함수(PSF)와 산란의 영향을 통합하고, 및 (3) 소스 위치 또는 신호 특성에 대한 추가 가정을 필요로 하지 않으면서 영상 데이터 내에 존재하는 공간 및 시간 정보 모두를 이용하여 용적 내의 근접하게 위치한 소스로부터 신호를 추출(예를 들어, 디믹스)(예를 들어, 산란의 영향을 디믹스)한다.

일 실시형태에서, 영상 신호 추출 장치가 제공된다. 장치는 장치 인터페이스와, 장치 인터페이스에 작동 가능하게 결합되는 처리 장치, 및 처리 장치에 의해 실행될 때 신호 정보를 추출(예를 들어, 디믹스)하는 동작을 수행하는 명령을 포함하는 컴퓨터 판독 가능 매체를 포함한다.

영상 신호 추출 장치는 3차원(3D) 이미지를 2차원(2D) 센서 어레이에 매핑하는, 특히 병렬 획득 방식을 사용하는 임의의 장치일 수 있다. 이러한 영상 장치의 예는 명시야 현미경(LFM), 광시야 에피-형광 현미경, 멀티-뷰 광-시트 기술 및 스위핑 공초점 정렬 평면 여기를 포함하는 광-시트 현미경, 광시야 집중 포커싱 및 홀로그램 방식을 포함한다. 일반적으로, 이들 방법에서, 다수의 영역 또는 전체 샘플이 동시에 여기되고 2D 센서 어레이를 사용하여 형광이 검출된다.

명시야 현미경을 이용한 영상

바람직한 실시형태에서, 영상 장치는 LFM이다. LFM은 3D 입체 정보를 2D 센서 어레이에 효율적으로 매핑하여 큰 시야에서 매우 높은 용적 획득 속도(GECI 반응 역학 및 카메라 프레임 속도로 제한됨)를 달성하며, 여기서 마이크로렌즈 어레이는 현미경의 이미지 평면에 배치되고, 카메라는 마이크로렌즈 어레이의 초점면에 배치된다. 이로 인해, 입사 광선의 공간 및 각 좌표 모두를 센서 상에서 2D 패턴으로 인코딩하는, 공간적으로 변하는 점-확산-함수(PSF)가 발생한다. 전체 3D 정보는 한 번의 카메라 노출로 캡처되고 원시 이미지의 계산 리매핑(예를 들어, 디컨볼루션)에 의해 오프라인으로 검색된다.

병렬 획득 기술 중에서, 명시야 현미경 검사(LFM)_[4,26-29]는 예쁜꼬마선충 및 제브라피쉬 치어_[4]와 같은 소형 반투명 모델 시스템에서 고속 입체 Ca²⁺ 영상에 대해 특히 단순하지만 강력한 접근법이다. LFM은 3D 정보를 수집하기 위해 여기 빔의 시간 소모적인 스캐닝을 필요로 하지 않기 때문에 경쟁 영상 방법과 차별화된다. 또한, 2-광자 여기를 기반으로 하는 방법과는 대조적으로, LFM은 비싸고 복잡한 초고속 레이저 시스템을 필요로 하지 않으며 샘플 가열 및 비선형 광 손상이 발생하지 않는다.

LFM은 3D 입체 정보를 2D 센서 어레이에 효율적으로 매핑하여 큰 시야에서 매우 높은 용적 획득 속도(GECI 반응 역학 및 카메라 프레임 속도로 제한됨)를 달성하며, 여기서 마이크로렌즈 어레이는 현미경의 이미지 평면에 배치되고, 카메라는 마이크로렌즈 어레이의 초점면에 배치된다. 이로 인해, 입사 광선의 공간 및 각 좌표 모두를 센서 상에서 2D 패턴으로 인코딩하는, 공간적으로 변하는 점-확산-함수(PSF)가 발생한다. 전체 3D 정보는 한 번의 카메라 노출로 캡처되고 원시 이미지의 계산 리매핑(예를 들어, 디컨볼루션)에 의해 오프라인으로 검색된다_[4,27].

LFM이 수집하는 정보는 본질적으로 벡터적이고 중복적이다_[29,30]. LFM에서, 입사 광선의 위치와 방향 모두가 기록되고, 포인트 소스에 의해 방출되고 광학계에 의해 전송되는 모든 광선의 앙상블은 센서 상에 매우 구체적인 PSF 패턴을 형성한다.

그러나, LFM 이미지의 종래의 프레임 단위 재구성은_[4,27] LFM 데이터에 내재된 잠재적 강인성을 크게 확보하지 못할 뿐만 아니라, 계산적으로 매우 자원 집약적이다.

평균적으로, 하나의 산란 길이(피질 내에서 가시 광선의 경우 ~50-100 μm_[7])의 특성 거리에 걸쳐 전파된 후에, 입사 광자 중 약 34%가 여전히 원래 방향으로 이동하는데, 이를 "탄도 광자"라고 하며; 나머지 광자는 임의의 산란 각도로 편향된다. 뇌 조직에서, 이방성 매개변수(g≒0.97)를 갖는 헤니이-그린스타인(Henyey Greenstein) 분포인 산란 각도의 확률 분포는 균일하지 않지만, 전방 방향 주위에서 최고조가 된다. 따라서, 산란된 광자의 원래 방향에 대한 정보는 여러 산란 길이에 대해 유지되지만_[7], 이 정보는 흐려지고 나머지 탄도 광자 주위의 원뿔형 영역으로 확산된다.

종래의 광시야 영상에서, 디포커스(defocus) 효과와 유사하게, 산란은 이미지 특징들이 흐려지고 겹치는 것처럼 보이게 하여, 매우 잘못 설정된 수학 문제를 추출하게 한다. 대조적으로, LFM에서는, 산란이 없는 경우, 초점면 아래 또는 위에 위치한 소스로 인해, 입사 명시야에 대한 위치 및 각도 정보 모두를 인코딩하는 선명하고 구체적인 패턴이 센서 상에 형성된다. 산란 매질 내에서, LFM의 산란된 광자는 탄도 광자에 의해 조명된 것들 주위에서 많은 센서 픽셀에 걸쳐 분포된다. 특히, 산란된 광선에 담긴 모든 방향 정보는 그 자체가 산란된 광의 강도 분포에서 방향-특이적 구배로서 나타나며, 여기서, 화살표로 표시된 바와 같이, 탄도 피크 및 구배는 산란에 기인한다. 산란이 없는 경우, 수치적으로 시뮬레이션된 탄도 PSF_[4,27]을 사용하는 원시 LFM 이미지의 디컨볼루션은 인근 신경세포를 분석할 수 있게 하고, 이들 각각의 시간 신호를 정확하게 복구할 수 있게 한다. 그러나, 산란이 존재하는 경우, 동일한 이미지 재구성 방법은 신호 간섭으로 인해 깊이가 증가함에 따라 점점 더 인근 신경세포의 신호를 정확하게 복구하지 못한다. 또한, 산란된 광은 재구성 아티팩트를 발생시키고, 확산된 배경 성분에 잘못된 밝기를 할당한다. 이와 함께, 이러한 효과는 이전에 확립된 디컨볼루션 방식_[4,27]을 사용하는 산란 조직 내의 신호 추출을 사소하지 않은 작업으로 만든다.

그러나, 약간의 방향 정보가 산란된 광 필드 내에 유지되고 LFM에 의해 기록되기 때문에, 원시 LFM 데이터로부터 보다 확실한 신호 추출이 필요하다. 공간 이미지 분할_[31,32]을 기반으로 하는 방법은 명확한 윤곽선이 없는 경우 유용한 결과를 기대할 수 없다. (주로 2PM 기반의) Ca²⁺ 활동 동영상으로부터 신경 신호를 추출하기 위해 보다 일반적으로 사용되는 접근법은 독립 성분 분석(Independent Component Analysis, ICA)_[33]을 기반으로 한다. ICA는 신경세포가 상당히 잘 분리되었을 때 좋은 활약을 할 수 있다. 그러나, 일련의 신경세포의 기록된 이미지가 공간적으로 중복되거나 이들의 활동이 밀접하게 상관된 경우, ICA는 종종 이들 소스를 정확하게 디믹스하지 못한다_[34]. 비음수, 희소성 및 달리 제약된 시공간 행렬 인수분해(non-negative, sparse and otherwise constrained spatio-temporal matrix factorization)_[34-37]를 기반으로 하는 방법은, 특히 공간 및 시간 제약이 통합되는 경우_[34] 밀집된 신경세포에 대한 디믹싱 기능에서 ICA를 능가한다. 그러나 실제적인 수준에서, 이들 방법은 일반적으로 알고리즘의 확실하고 신속한 수렴을 위해 높은 정확도로 공간 요소의 적절한 초기화를 필요로 한다. 또한, 현재 이용 가능한 구현은 산란과 같은 확률적이고 비특이적인 프로세스는 차치하고, PSF와 같은 영상 시스템에 대한 정보를 포함하지 않는다.

헤드-마운트 장치를 이용한 신경 영상

자유롭게 행동하는 설치류에서 고속 및 단일-세포 해상도로 신경 역학을 입체적으로 캡처하는 것은 신경과학에서 매우 중요한 과제로 남아있다. 명시야 현미경 검사(LFM)와 시드 반복 디믹싱(SID)의 조합은 강하게 산란하는 포유류 피질에서 적용할 수 있는 확장 가능한 고속 입체 칼슘 영상 방법의 실현을 가능하게 한다.

소형 헤드-마운트 명시야 현미경("MiniLFM")이 설계되고 구축되었으며, 이는 SID 알고리즘과 함께 16 Hz 용적 속도에서 ~600 x 600 x 350 μm의 용적 내에서 칼슘 영상을 가능하게 하고, 따라서 자유롭게 움직이는 마우스의 해마에서 영상 기간(imaging session)당 ~530 개의 신경세포의 역학을 캡처할 수 있다. MiniLFM 및 최적화된 SID 알고리즘의 성능은, 이식형 GRIN 대물렌즈 표면으로부터 345 μm 깊이의 신경 활동 흔적의 추출 및 할당을 보여줌으로써 입증되었다.

또 다른 주요 특징은 모션 아티팩트를 최소화하는 독창적이고 견고한 하드웨어 설계인 반면, 전용 처리 파이프라인은 추가 모션 센서 없이도 원시 영상 데이터 내의 모든 잔류 모션을 검출하고 이를 보정하여 SID-처리가 영향을 받지 않게 한다. 또한 파이프라인은 기본 발화 속도(firing rate)와 칼슘 표지자 반응 역학에 대한 모델을 훈련시키고, 모션-영향 프레임에 대해서도 발화 속도의 확실한 추정치를 제공한다.

포유류에서 고도로 통합된 인지 과정뿐만 아니라 복잡하고 행동학적으로 관련된 행동의 신경 기저를 이해하기 위해, 자유 행동 및 사회적 상호작용과 양립할 수 있는 신속한 깊이-관통 입체 영상 기술이 사용된다. 현재의 주제 이전에, 포유류 또는 조류의 뇌로부터 정보를 추출할 수 있는 기존의 모든 입체 Ca²⁺ 영상 기술은 머리 고정을 필요로 하였다. 자유롭게 움직이는 동물로부터의 기록을 가능하게 하는 다수의 휴대용 헤드-마운트 소형 현미경_[20A-24A]이 개발되었지만, 이들 중 그 어느 것도 입체 영상은 불가능하다. 헤드-마운트 형광 영상 장치_{[20A,25A,26A]}의 초기 설계는, 공초점 또는 2-광자 여기를 구현하기 위해 레이저 소스로부터의 광 전달을 위해 광섬유를 사용한 반면, 형광 검출을 위해, 개별 광섬유_[27A] 및 섬유 다발_[21A]을 통한 판독이 분석되었다. 구배 지수(gradient index, GRIN) 로드 렌즈_[27A]와 같은 이식형 내시경 요소가 사용될 때 심부 뇌 구조는 광시야 구성으로 접근 가능하다. 보다 최근에, 단일-광자, 광시야 소형 현미경("Miniscope")_{[22A-24A,28A]}이 구축되어, 해마 위치 세포(hippocampal place cell)의 장기간 기록_[28A]이 가능해지고, 배측 선조체(dorsal striatum) 내의 보행-관련 정보의 인코딩_[24A] 및 별개의 맥락 기억(contextual memory)의 연관성에 있어서의 공유 신경 앙상블의 역할_[23A]의 연구가 가능해졌다. 이러한 연구는 행동학적으로 관련된 복잡한 행동의 신경 기저를 밝히기 위해, 억제되지 않은 행동을 하는 동안의 신경 기록의 중요성을 강조한다.

개시된 주제의 일 실시형태는 헤드-마운트 소형 현미경("Miniscope") 기술_[23A]과 명시야 현미경 검사-기반(LFM)_[3A,29A] 검출 및 광 산란에 대한 높은 강인성을 제공하는 제약 행렬 인수분해(constrained matrix factorization) 방법(시드 반복 디믹싱("SID"))을 기반으로 하는 계산 전략을 결합하여 상기한 한계를 극복한다. LFM은 2D 이미지 센서의 한 번의 노출로 입체 정보를 캡처할 수 있는 반면, SID는 LFM의 도달 범위를 산란하는 포유류 뇌_[4A]로 확장한다. 개시된 주제는 LFM 하드웨어("MiniLFM")를 사용하는 소형 헤드-마운트 SID 현미경을 제공하며, 이는 16 Hz 용적 속도에서 ~700 x 600 x 360 μm의 용적 내에서 Ca²⁺ 영상을 가능하게 하고, 따라서 자유롭게 움직이는 마우스의 해마에서 거의-단일-세포 해상도로 영상 기간당 ~810 개의 신경세포의 역학을 캡처할 수 있다. SID 알고리즘_[4A]은 이식형 GRIN 대물렌즈 표면으로부터 345 μm 깊이의 신경 활동 흔적의 추출 및 할당을 가능하게 한다.

MiniLFM의 하드웨어 설계는 두 가지 중요한 측면에서 전형적인 LFM 설계와 다르다: 첫째, MiniLFM 설계(도 5)는 최소 중량, 동작의 단순성, 및 심부 뇌 구조에 도달하기 위한 이식형 내시경 GRIN 릴레이와의 호환성에 최적화된 오픈-소스 미니스코프 플랫폼_[23A]을 활용한다. 둘째, 카메라 센서면에 마이크로렌즈 어레이(MLA)의 초점면을 중계하는 전형적인 구성이, 마이크로렌즈 어레이가 센서에 매우 근접하게 정렬되고 장착됨으로써 MLA 후방 초점면과 센서면이 일치하도록(도 5)하는 접근법으로 대체되었다. 이러한 접근법의 주요 장점은 단 하나의 추가 광학 요소인 마이크로렌즈 어레이를 통합함으로써 MiniLFM의 전체 무게가 최소로 유지된다는 것이다.

정렬 전략은 고정 전에 이미지 센서에 대한 MLA 방향 및 위치의 정확하고 정량적인 최적화를 제공한다. 정확한 정렬은 중요한데, 디컨볼루션_[3A,30A]에 의해 2D 원시 이미지로부터 입체 데이터를 복구하기 위해서는 시스템의 수치적으로 시뮬레이션된 점-확산-함수(PSF)와 물리적 PSF 사이의 양호한 중첩이 필요하기 때문이다.

현미경은 밀리미터당 80 라인 쌍의 측면 해상도를 달성하는데, 이는 ~6 μm의 스팟 크기 및 -30 μm 축방향 해상도에 해당한다. 그러나, 산란이 존재하는 경우, 광학 해상도는 일반적으로 신경세포를 식별하기 위한 한계를 정량화하는 것은 아니다. 실제 공간 식별성은, 시간에 따른 신경 활동의 유사성과 결합하여, 센서 상의 신경세포의 산란된 공간 풋프린트(spatial footprint)의 공간적 중첩의 양과 같은 요인에 의해 더 결정된다. 두 개의 신경세포가 강력하게 디믹스될 수 있는 이들 중심 사이의 최소 거리는 본원에서 "식별 임계값(discrimination threshold)"이라고 한다. 일 실시형태에서, 이 임계값은 ~15 μm인 것으로 밝혀졌다.

헤드-장착 모듈은 성체 마우스에 의해 휴대 가능하고, 따라서 성체 마우스는 경기장에서 자유롭게 이동할 수 있다. 비디오는 성체 마우스가 경기장에서 50초 동안 자발적으로 활동하고 움직이는 것을 보여준다. MiniLFM은 두개골에 부착된 베이스 플레이트에 나사로 고정되고, 이식형 GRIN 대물렌즈 중앙에 위치한다. 데이터 케이블은 경기장 중앙 위의 아암(arm)에 매달려 있다. 동물 민첩성에 대한 장치 무게의 잠재적 영향은 표준 미니스코프 착용, MiniLFM 착용 또는 장치를 착용하지 않은 세 가지 조건에 대해 선형 트랙에서 동물의 행동을 기록하고 정량화하여 특성화하였다. 예상대로, 장치를 착용하지 않은 동물에서부터 미니스코프를 착용한 동물까지 그리고 미니스코프를 착용한 동물에서부터 MiniLFM을 착용한 동물까지 민첩성이 약간 감소하는 경향이 관찰되었지만, MiniLFM과 미니스코프 사이에 이동 거리, 정지 횟수 또는 평균 속도에서 유의한 차이가 발견되지 않았다.

그 다음, 자유롭게 움직이는 마우스에서 해마 CA1 신경세포의 자발적인 입체 활동을 기록함으로써 MiniLFM의 성능을 검증하였다. 원시 MiniLFM 프레임은 카메라에서 매우 흐리게 보이고 개별 신경세포를 식별할 수 없지만, SID 알고리즘을 적용하면 CA1 피라미드층(pyramidal layer) 및 방사상층(Stratum radiatum layer)에서 신경세포 위치 및 대응하는 활동 시계열을 360 μm의 깊이 아래로 추출할 수 있다. 또한, 입체 기록을 수행하는 방법의 능력은 기록 용적의 3D 렌더링을 통해 피라미드층의 형상을 보다 명확하게 드러낸다. ~8 μm의 간격으로 붙어있는 신경세포를 데이터세트에서 찾을 수 있는 반면, 가장 가까운 이웃 신경세포 거리에 대한 가장 빈번한 값은 12-16 μm이다.

807 개의 활성 신경세포에 해당하는 시간 신호가 30분 동안의 예시적인 기록에서 확인되었다. 다른 방법에 의해 관찰된 바와 같이, Ca²⁺ 과도(transient)의 전형적인 형태는 ~360 μm의 최대 기록 깊이에서 신경세포에 대해서도 정확하게 재현되는 것으로 밝혀졌다. 이러한 정성적 관찰을 입증하기 위해, 그리고 산란하는 포유류 뇌에서 인근 신경세포의 활동을 검출하고 디믹스하는 SID와 결합한 MiniLFM의 능력을 검사하기 위해, 동일한 신경세포의 활동에 대한 동시 기능성 실측 정보가 획득될 수 있도록 MiniLFM을 수정하였다: MiniLFM을 탁상형 2-광자 주사 현미경(2PM)과 결합시킴으로써, 해마 CA1 신경세포를 자극할 수 있었고, 2PM의 검출 아암과 수정되지 않은 MiniLFM 센서 모듈을 통해 신경 활동을 동시에 검출할 수 있었다. 최첨단 신호 추출 알고리즘_[31A]에 이어 인간 검사가 사용되어 2PM 데이터로부터 실측 신경세포 위치 및 활동 흔적을 규명하였다. SID-추출 위치와 활동은 이후 실측 자료와 비교하였다.

두 개의 검출 채널로의 형광의 분할뿐만 아니라 결합의 비효율성으로 인해 두 개의 검출 채널에서 신호-대-잡음비가 크게 감소되었음에도 불구하고, MiniLFM/SID 데이터와 실측 자료 사이의 양호한 일치가 입증되었다. SID에 의해 활성 신경세포가 정확하게(정확도 점수: 0.97 ± 0.02) 그리고 확실하게(민감도 점수: 0.79 ± 0.04) 검출되어, 0.87 ± 0.03의 F-점수(평균 ± s.e., 모든 기록에 걸쳐 수집됨)로 정량화된 전체 검출 성능을 발휘한 것을 확인하였다. 데이터에 대한 보다 상세한 검토 결과, 위치와 신경 신호 모두가 MiniLFM/SID와 실측 기록 간에 양호하게 중복되는 것으로 나타났다. 영상화 조건 하에서 SID의 성능에 대한 상한(보수적 추정치)을 얻기 위해, SID-추출 활동 흔적의 충실도를 두 가지 방식으로 특징화하였다: 첫째, 각각의 SID-추출 흔적과 이들의 실측 대응물 간의 상호-상관을 계산하였고, 전반적으로 높은 중첩을 나타내는 0.88의 중앙값을 발견하였다. 사용한 하이브리드(2PM-MiniLFM) 검출 방식에서, 상호-상관에 의해 측정될 때 획득 가능한 신호 유사성 및 신경세포 검출 성능(F-점수) 모두가, 하이브리드 구성에서 GRIN 렌즈를 통한 2P 여기의 차선적인 배치뿐만 아니라 신호를 검출하기 위해 필요한 높은 MiniLFM 센서 이득에 의해 제공된 달성 가능한 신호-대-잡음비에 의해 제한된다는 것에 주목한다. 형광이 1-광자 여기를 통해 생성되는, 규칙적인 MiniLFM 작동 조건 하에서, 신호 레벨은 몇 자릿수 더 높으며, 이는 MiniLFM을 사용한 실제 실험 도중 비슷하거나 양호한 성능 파라미터로 해석될 것으로 예상된다.

둘째, 별개의 신경세포 쌍에 대한 신경 활동의 차선적인 디믹싱에서 기인하는 간섭을 정량화하는 메트릭(metric)을 도출하였고, 신경세포 쌍 거리의 함수로서 연구하였다. 이를 위해, 각각 가능한 한 쌍의 실측 흔적에 대해 발견된 상호 정보 값을 해당 SID 추적의 상호 정보 값에서 제거하였고, 이 차이를 두 개의 신경세포 사이의 거리의 함수로서 비닝(binning)하였다("과도한 상호 정보"). 간섭의 영향을 무시할 수 있는 넓은 신경세포 거리의 경우, 예상되는 바와 같이, 결과적인 과도한 상호 정보 값은 낮은 잡음 제한 기준선 주위의 평형에 도달하는 것으로 관찰되었다. 그러나, 짧은 신경세포 쌍 거리의 경우, 메트릭은 과도한 상호 정보 값의 비생리적인 증가를 유발하는 흔적 사이의 간섭-유발 허위 유사성을 포착할 것으로 예상된다. 그러나, 더 짧은 신경세포 쌍 거리에 대한 기록에서 이러한 증가는 검출할 수 없었다. 데이터를 각각의 칼슘 과도 수준으로 자르고, 기준선을 제거하여 민감도를 인위적으로 높이는 경우에만, ~15 μm 미만으로 분리된 신경세포 쌍에 대해 간섭 메트릭 값의 아주 적지만 유의한 증가가 검출될 수 있다. 이러한 분석은 접근법이 ~15 μm 이상의 간격에서 신경세포의 간섭이 없는 디믹싱을 정확하게 식별하고 달성할 수 있음을 입증하며, "신경세포 식별 성능"이라고 하는 것에 대한 가치를 확립한다.

신경망 활동에 의한 신경 신호의 오염은, 감소된 공간 해상도를 갖는 것들을 포함하여 많은 칼슘 영상 기법에서 또 다른 문제가 될 수 있다. 이 문제는 발현이 세포핵에 국한된 Ca²⁺ 표지자를 사용함으로써 분자 수준에서 해결될 수 있다. 핵에 대한 GCaMP 발현의 국소화는 반응의 민감도를 감소시키고 반응 시간을 늦출 수 있지만, 신경망 신호를 제거하는 효과적인 전략이다. 핵-국소화 버전의 GCaMP6을 발현하는 동물을 사용하여, 유사하게 잘 분리된 공급원, 낮은 또는 명백하지 않은 신호 간섭, 및 양호한 신호-대-잡음비가 (관찰 가능한 전체 신경 활동이 약간 낮음에도 불구하고) 발견되었다. 실측 기록 및 분석과 함께 이러한 관찰은, 신경망 오염이 실험 조건 하에서는 중요한 문제가 아님을 시사한다. 더 느린 역학을 보이지만, 핵으로 국한된 표지자는 신경망에서 간섭과 배경을 제거하고, 따라서 활성 신경세포의 매우 높은 밀도, 공정이 차지하는 높은 비율의 영상 용적, 또는 더욱 심한 산란의 조건 하에서 신호 품질과 신경세포 분리성(separability)을 최대화하고, 결국은 MiniLFM/SID 영상의 도달 범위를 더 깊은 깊이로 확장할 것으로 예상할 수 있다.

뇌와 두개골이 더 큰 수준의 운동에 자연적으로 노출되는 자유-행동 설정에서 모션-유도 기록 아티팩트를 최소화하는 것은 필수적이다. 미니스코프 몸체와 두개골-부착 베이스 플레이트는 이미지화 중인 뇌 용적에 대한 광학계의 움직임을 최소화하도록 설계되었다. 문헌_[23,28]에 보고된 바와 일치하게, 모션 효과는 본체의 축방향 강성에 기인하는 효과인, FOV의 일시적 측면 이동에 의해 지배되는 것으로 밝혀졌다. 이러한 변위를 최소화하기 위해, 개시된 주제에서, 베이스 플레이트는 큰 접촉면에 걸쳐 두개골에 견고하게 부착되고, MiniLFM 본체는 자석을 사용하여 베이스 플레이트에 부착되고 몸체의 금속-강화면에 대해 나사를 조임으로써 고정된다. 움직이는 광기계적(optomechanical) 부품의 부재 및 상대적으로 높은 프레임 속도는 Ca²⁺ 활동 판독의 모션-유도 섭동(perturbation)에 대한 전반적인 민감성을 크게 줄인다. 기록된 이미지의 모션-유도 변위의 크기는 10분 동안의 규칙적인(비-LFM) 미니스코프 기록 동안 관찰 가능한 외측(전방-후방(anterior-posterior) 및 외측-내측(lateral-medial)) 이동을 플로팅하여 정량화하였으며, 여기서 시프트는 MiniLFM/SID에서보다 더욱 직접적으로 관찰할 수 있다. 단기간 외측 이동은 전형적으로 외측-내측 방향으로 신경세포 직경의 10분의 1의 규모이고, 전방-후방 방향으로 신경세포 반경보다 작은 것으로 밝혀졌다. 전체 기록에 걸친 장기간 이동은 신경세포 직경의 10분의 1 정도이고, 조건 하에서는 며칠 및 몇 주에 걸쳐 신경세포의 신뢰성 있는 재-식별을 허용하기에 충분히 작으며, 이는 이전 관측치와 일치한다. 또한, 동물의 머리에 있는 현미경이 경기장의 벽에 접촉할 때 유도되는, 얼마나 강한 기계적 충격이 잔류 모션 아티팩트를 유발하는지를 특성화하였다. 이 문제를 해결하기 위해, 원시 모션 데이터에서 모션 버스트(motion burst)를 검출하는 맞춤형 신호 추출 파이프라인을 사용하여, 즉 추가 모션 센서 없이 이러한 모션 이벤트를 자동으로 수정하는 알고리즘이 개발되었다. 이는 버스트 사이의 저-모션 세그먼트(low-motion segment)에 SID 알고리즘을 개별적으로 적용한 다음, 세그먼트에 걸쳐 모든 신경세포 검출치를 수집함으로써, 모션 버스트가 실험적으로 확인된 후 신경세포가 시야(field of view, FOV) 내에서 확실하게 이들의 원래 위치로 돌아간다는 사실을 이용한다. 마지막으로, GCaMP 응답 커널(response kernel)_[31A]의 모델이 각각의 신경세포에 대해 최적화되고 이어서 모션-영향 프레임에 걸쳐 활동 흔적을 보간하는 데 사용된다. 동시에, 이 모델은 또한 기본 발화 속도의 최대 가능성 추정치를 산출한다.

이러한 접근법의 기초가 되는 모션 검출 메트릭은, 이를 MiniLFM에 부착된 가속도계에 의해 동시에 기록된 데이터와 비교함으로써 검증되었다. 모든 가속 피크가 반드시 기능적 영상 데이터에서 운동 아티팩트를 유발하는 것은 아니지만, 두 가지 측정법은 명백하게 정성적으로 일치한다는 것이 밝혀졌다.

개시된 실시형태(MiniLFM 설계)는 따라서 LFM, SID 및 미니스코프 기술을 결합하여, 자유롭게 움직이는 동물의 산란 조직에서 낮은 광퇴색(photobleaching) 및 광독성(phototoxicity)으로 신속한 입체 영상을 가능하게 하는 강력한 전략을 제공한다. MiniLFM 설계는 다른 모델 동물에 맞게 쉽게 맞춰지고 개조될 수 있는 간단하고 확장 가능한 플랫폼을 확립한다. SID 알고리즘의 계산 효율 및 신경세포 식별 능력과 함께, 이러한 접근법은 따라서 자유롭게 행동하는 동물에서의 신경 정보 처리에 대한 집단-수준의 연구를 위한 고유한 플랫폼을 제공하며 사회적 상호작용의 신경 기저 분석을 가능하게 한다.

신호 정보 추출 방법

일 실시형태에서, 신호 정보를 디믹스하기 위해 수행되는 동작은 본원에서 논의된 바와 같이 다음을 포함한다. 영상 장치 인터페이스로부터 획득된 정보로부터 2D 표준 편차 이미지가 생성된다. 2D 표준 편차 이미지는 영상 정보의 탄도 성분을 추정한다. 그 다음, 2D 표준 편차 이미지를 리매핑(예를 들어, 디컨볼루션)함으로써 3D 이미지가 생성된다. 3D 이미지로부터, 후보 객체가 식별된다. 그리고 나서, 후보 객체의 3D 이미지를 영상 장치와 관련된 PSF로 매핑(예를 들어, 컨볼루션)함으로써 후보 객체의 추정 공간 순방향 모델이 획득된다. 그 다음, 후보 객체의 추정 공간 순방향 모델과 추정 시간 성분을 사용하여 배경-보정 데이터가 획득된다. 추정 공간 순방향 모델과 추정 시간 성분은 후보 객체에 대해 수렴에 도달할 때까지 반복적으로 업데이트됨으로써, 신호 정보를 디믹스한다.

일 실시형태에서, 2D 표준 편차 이미지가 생성되기 전에, 영상 장치에 의해 획득된 배경 정보는 영상 장치 인터페이스를 사용하여 제거된다. 일 실시형태에서, 배경 정보는 LFM으로부터 획득된 배경 형광이다. 일 실시형태에서, 배경 정보의 제거는 랭크-1-행렬 인수분해를 적용하는 동작을 포함한다.

일 실시형태에서, 2D 표준 편차 이미지는 카메라 프레임의 시계열의 표준 편차를 취함으로써 방출된 신호의 탄도 성분을 추정하여 생성된다. 탄도 광자는 산란된 광보다 적은 센서 픽셀에 걸쳐 확산되기 때문에, 탄도적으로 조명된 픽셀로부터의 신호는 주어진 기본 소스 활동에 대해 더 큰 시간 변화를 갖고, 따라서 산란된 성분으로부터 분리될 수 있다.

일 실시형태에서, 2D 표준 편차 이미지를 리매핑(예를 들어, 디컨볼루션)하여 생성된 3D 이미지는 2D 이미지를 관련된 영상 장치의 수치적으로 시뮬레이션된 탄도 PSF로 리매핑(예를 들어, 디컨볼루션)함으로써 2D 이미지(예를 들어, 2D 표준 편차 이미지)로부터 3D 위치 정보를 추출하는 동작을 포함한다. 산란이 존재하는 경우, 이러한 접근법은, 원시 데이터를 직접 디컨볼루션한 다음 결과의 표준 편차를 계산하여 얻을 수 있는 것보다 훨씬 더 선명한 소스와 감소된 배경이 포함된 용적을 생성한다. 일 실시형태에서, 3D 이미지가 생성되기 전에, 2D 이미지는 잔류 배경 활동을 배제하도록 임계화된다. 일 실시형태에서, 3D 이미지를 생성하는 동작은 총-변동과 희소성 제약을 디컨볼루션에 통합하여 재구성 아티팩트를 감소시키는 동작을 더 포함한다. 예를 들어, 재구성 아티팩트를 감소시키는 동작은 다음 방정식을 적용하는 동작을 포함할 수 있고:

x_n+1 = x_n (P^Ty / Py+λ 1_dim(x)), (1)

여기서 x는 용적 추정치를 나타내고, 1_dim(x)는 x와 동일한 차원을 갖는 벡터를 나타내고, P는 점-확산-함수를 나타내고, λ는 희소성-촉진 항의 가중치를 나타내며, y는 배경이 제거된 원시 데이터를 나타낸다.

후보 객체는 공간적으로 국한된 신호-방출 개체일 수 있다. 일 실시형태에서, 후보 객체의 식별은 객체 형태와 양립할 수 없는 공간 주파수를 억제하기 위해 공간 분할을 이용하는 동작을 포함한다. 객체 형상의 예는, 예를 들어, 신경세포, 기관, 뼈, 근육, 세포 구조 및/또는 종양 성장을 포함하는 생물학적 존재의 해부학적 구조의 임의의 부분일 수 있다. 예를 들어, 신경세포는 3D 이미지, 즉 재구성된 3D 용적에서 국소화되고 분리될 수 있다. 일 실시형태에서, 공간 분할은 3D 이미지에 대역 통과 필터를 적용하는 동작과, 배경 아티팩트를 배제하기 위해 임계화하는 동작, 및 국소 최대 검색 알고리즘을 적용하는 동작을 포함한다. 분할 임계값은 잡음과 아티팩트를 강력하게 거부하도록 선택된다.

일 실시형태에서, 후보 객체의 3D 이미지를 PSF로 매핑(예를 들어, 컨볼루션)하여 획득된 후보 객체의 추정 공간 순방향 모델은 희소 비음수 p x n 행렬 S_i를 생성하는 동작을 포함하고, 여기서 n은 객체 후보의 수이고, p는 픽셀의 수이고, i는 반복 수이며, S₀은 후보 객체의 초기 공간 순방향 모델이다. 예를 들어, 각각의 식별된 후보 객체에 대해, 예상되는 LFM 풋프린트(예를 들어, 예상되는 카메라 센서 패턴)는 후보 객체의 3D 이미지를 영상 장치와 연관된 PSF로 매핑(예를 들어, 컨볼루션)함으로써 계산된다.

일 실시형태에서, 후보 객체의 추정 공간 순방향 모델과 추정 시간 성분을 사용하여 획득된 배경-보정 데이터는 S₀과 T₀의 행렬 곱을 사용하여 p x t 행렬(Y)를 생성하는 동작을 포함하고, 여기서 T_i는 시간 성분의 비음수 n x t 행렬이고, t는 기록 내의 시간 간격의 수이다. T_i는 희소성 제약으로 적응형 리처드슨-루시-타입 솔버를 반복적으로 적용함으로써 획득될 수 있다.

일 실시형태에서, 추정 공간 순방향 모델과 추정 시간 성분을 반복적으로 업데이트하는 동작은, (i) 추정 T_i를 일정하게 유지하면서, 업데이트된 추정치 S_i를 획득하고, 추정 S_i를 일정하게 유지하면서 T_i의 업데이트된 추정치를 획득하는 동작, 및 (ii) 객체 후보에 대해 수렴에 도달할 때까지 동작 (i)를 반복적으로 반복하는 동작을 포함한다. 예를 들어, T₀을 일정하게 유지하면서, 업데이트된 순방향 모델 추정치 S₁이 발견된다. 일 실시형태에서, 이러한 문제는 성분의 공간적으로 중첩되는 세트에 해당하는 신호를 k 개의 더 작은 행렬(T₀ ^k)로 그룹화하고, 비음수 최소 제곱법 문제(negative least-squares problem)를 풀어 업데이트된 공간 성분 추정치(S₁ ^k)를 발견함으로써 해결된다. 이러한 업데이트 단계 동안, S₁ ^k의 행은 탄도 풋프린트에서 파생된 미리 정의된 마스크 외부에서 제로가 되어 간단한 해결책을 보장한다. 이 절차는 수렴에 도달할 때까지 반복된다. 이러한 절차는 수렴에 도달할 때까지 시간 및 공간 업데이트 동작을 교대로 반복함으로써 해결되는 이중 볼록 최적화(bi-convex optimization) 문제이다.

일 실시형태에서, SID로 지칭되는, 산란된 LFM 데이터에 대한 반복 소스 추출 절차가 제공된다. 이 절차는 잔여 탄도 광으로부터 획득된 정보로 추론을 시딩함으로써 정확한 신경세포 위치 측정 및 신호 디믹싱을 달성한다. 시계열 추정치와 각각의 활성 신경세포의 산란된 이미지는 비음수 제약 최소 제곱 최적화에 의해 반복적으로 업데이트된다.

SID의 개시된 실시형태는 산란 조직에서 고속 및 깊은 심도로 입체 신경세포 집단 활동을 기록하기 위한 새로운 확장 가능한 접근법을 나타낸다. 이는 Ca²⁺ 영상에 대한 LFM의 두 가지 주요 한계, 즉 산란에 대한 강인성의 부족 및 높은 계산 비용을 해결함으로써 이루어졌다. 개시된 실시형태는 LFM의 적용을 반투명 모델 유기체를 넘어 산란하는 포유류 뇌로 확장시켜, 깨어있는 설치류에서 여러 대뇌 피질층에 걸쳐 신경 활동의 큰 시야(FOV), 높은 용적비의 판독을 가능하게 한다. 이러한 실시형태는 20 μm의 식별 성능, 30 Hz에서 380 μm 깊이에 위치한 마우스 피질에서뿐만 아니라 마우스 해마에서 유사한 크기의 용적으로부터 ~900 x 900 x 260 μm의 용적 내에서 유전적으로 인코딩된 칼슘(Ca²⁺) 표지자를 발현하는 세포의 신경 활동 흔적을 신뢰성 있게 추출할 수 있게 한다.

소스 위치 정보의 초기 추정치로 SID 디믹싱 알고리즘을 시딩하면, 뇌 조직의 산란 및 등방성 파라미터를 기반으로 예상되는 것과 일치하게, 기록 내의 산란된 광자로부터 동적 정보를 복구할 수 있다. 개시된 실시형태는 산란 매질로부터 정보를 추출하기 위해 광학 영상을 공동으로 설계된 계산 알고리즘과 결합하는 진보를 강조한다.

SID는 적어도 ~375 μm의 깊이까지 신경세포를 강력하게 검출할 수 있고 활성 신경망의 존재 하에 높은 충실도로 대부분의 실제 신경 신호를 복구할 수 있다. 고속 입체 Ca²⁺ 영상_[9,15,17-22]을 위한 기존의 다른 방법과 비교하여, SID는 결합된 획득 용적과 속도, 단순성 및 특별히 저렴한 비용은 물론 뛰어난 확장성을 자랑한다.

2P 여기를 기반으로 하는 일부 순차적 획득 방법은 더 높은 공간 해상도를 제공할 수 있지만, 이들과는 달리, SID에서의 복셀(voxel) 획득 속도와 해상도는 획득된 샘플 볼륨의 크기와는 무관하며, 카메라 프레임 속도(최대 100 Hz)와 형광단(fluorophore) 특성에 의해서만 제한된다. 따라서, 속도와 해상도에서의 성능을 희생시키지 않으면서 SID를 훨씬 더 큰 FOV로 확장시키는 것이 고려될 수 있지만, 어떤 시점에서는 2P 기술에서의 결합된 획득 가능한 용적 크기와 속도는 궁극적으로 조직 가열에 의해 제한될 것이다.

광 시트 현미경 검사의 다양한 구현을 포함하는 단일-광자 기술_[5,20,27]과는 대조적으로, SID는 산란된 광으로부터 정보를 추출하여, 다른 단일-광자 기술에 대해 보여진 것 이상으로 산란 표본에서 이미지화할 수 있게 한다.

일 실시형태에서, 재구성된 용적 아래에서 나오는 배경 형광에 의해 영향을 받을 수 있는 깊이 침투가 다루어진다. 이 실시형태에서, PSF는 더 큰 축방향 범위로 모델링되어, 확산된 배경의 관면에서가 아닌 국소화된 소스의 관점에서 기록된 광의 많은 부분을 설명할 수 있다. 표지된 활성 신경망이 이러한 배경에 기여하고, 따라서 체세포-국한 또는 핵-제한 Ca²⁺ 리포터는 획득 가능한 깊이 범위와 추출된 신호의 품질을 높이는 데 도움이 된다.

일 실시형태에서, 해상도와 소스 분리성을 증가시키기 위해 적응 광학계(adaptive optics)_[48]를 사용하여 조직 불균질성으로 인한 파면 왜곡(wavefront distortion)에 대한 보정이 있다. 많은 생물학적 응용은 높은 표지 밀도가 아닌 표적화된 또는 희소한 표지를 요구할 수 있고, 따라서 배경을 줄이고 신경 신호 할당 및 디믹싱 작업을 매우 용이하게 한다. 또한, 더 긴 파장에서 형광을 내는 GECI는 일반적으로, 스펙트럼의 적색 및 근적외선 영역에서 증가된 산란 길이로 인해, 심부 조직 영상에 유리하다.

신경 신호의 충실한 추출은 다중 광자 산란으로 인한 방향 정보의 손실에 의해 제한될 수 있다. 정보 손실의 임계 깊이는 이동 평균 자유 경로(transport mean free path)라고 알려져 있으며, 산란 길이 이방성 파라미터에 따라 다르다. 마우스 뇌에서, 이는 ~10 개의 산란 길이, 또는 500-1000 μm 에 이른다_[7].

LFM 현미경 검사에서의 이미지 재구성 및 데이터 추출의 이전 구현은 전형적으로 컴퓨팅 클러스터_[4]의 사용을 수반하였고, 이는 생물학적 사용자들 사이의 보급 및 실시간 및 폐쇄 루프 응용의 사용 모두를 심각하게 제한한다. 개시된 SID는 이 문제를 각각의 워크스테이션에서 다루기 쉽게 만들어, 광범위하게 사용 가능한 간단한 하드웨어를 사용하여 전례 없는 속도로 여러 대뇌 피질 영역과 층에 걸쳐 입체 판독을 가능하게 한다. 이러한 상황에서, 개시된 실시형태는 계산 부담의 세 자릿수 감소가 단지 점진적 개선일 뿐만 아니라, LFM-유래 입체 영상 방법이 기존의 규모와 다양한 기능을 훨씬 능가할 수 있게 하는 혁신적인 단계임을 입증하였다. 계산 영상, 특히 신경세포 식별 및 신호 추출을 위한 고급 기계 학습과 결합된, LFM과 같은 플렌옵틱(plenoptic) 기록 기술은 광학 감지의 범위, 적용 가능성 및 예민성을 크게 향상시킨다.

실시예

다음의 실시예는 시뮬레이션된 데이터 세트를 사용하여 개시된 접근법의 효과를 확인한다. 종래의 디컨볼루션과 비교할 때, 개시된 실시형태는 (마우스 피질에서 최대 -400 μm에 해당하는) 약 네 개의 산란 길이의 깊이까지 강력한 신호 디믹싱을 제공한다. 또한, 제브라피쉬 치어와 같은 약하게 산란하는 샘플에 적용될 때, 개시된 알고리즘은 증가된 시간 및 공간 충실도를 제공한다.

SID 방법의 디믹싱 성능을 검증하고 특성화하기 위해, 부분적으로 상관된 GECI-유사 활성을 갖는 무작위로 위치한 신경세포가 포함된 합성 데이터 세트에 적용하였다. 몬테-카를로 방법(Monte-Carlo approach)_[38]을 사용하여 시뮬레이션된 산란 PSF를 이의 파라미터에 대한 문헌_[7,39]으로부터의 값을 사용하여 생성하였다. 이어서, 무작위로 위치한 신경세포가 포함된 입체 프레임을 산란 PSF로 컨볼루션하여, 마우스 피질에서 대략 400 μm의 깊이에 해당하는 합성 LFM 원시 데이터를 수득하였다. 카메라 잡음과 배경 형광에 실험 데이터와 일치하도록 선택된 신호-대-배경 및 신호-대-잡음비를 추가하였다. 합성된 데이터에 SID 알고리즘을 적용하여, 중복되는 공간 풋프린트를 확실하게 디믹스하였고, 순수한 신호 추출이 매우 혼합된 신호를 제공하는 경우, SID는 충실한 신호 디믹싱을 제공하여, 추출된 신호의 밀접한 일치(0.76의 평균 상관 관계)를 얻었다. SID는, 두 개체를 정확하게 구별하기 위해 시간 활동과 공간 풋프린트에서의 약간의 차이만 필요로 한다는 것이 밝혀졌다.

시드 반복 디믹싱(Seeded Iterative Demixing, SID)은 제브라피쉬 치어에서 소스 위치 측정을 개선한다

LFM-기반 Ca²⁺ 영상은 제브라피쉬 치어의 뇌의 큰 부분으로부터 신경 활동을 캡처할 수 있는 것으로 나타났다. 이들 실험에 일반적으로 사용되는 무색소 돌연변이는 현저하게 낮은 광 흡수율을 갖지만, 이들 돌연변이는 완전히 투명하지 않고 어느 정도의 산란을 나타낸다. 제브라피쉬 치어는 따라서 강화된 본 소스 추출 방법에 대한 이상적인 시험대이다. 약한 산란 체제에서 기준 성능을 확립하는 동안, 제브라피쉬 치어 뇌의 영상화는 포유류 피질에서보다 더 높은 신경세포 밀도의 추가적인 어려움을 제기한다.

LFM에서, 측면 해상도는 명시야로부터 각도 정보를 수집하는 능력과 균형을 유지한다. 제브라피쉬 치어의 신경세포 직경의 약 절반에 해당하는 3.5 μm의 측면 해상도_[5] 및 후각구(olfactory bulb)로부터 후뇌의 전방부(anterior part)까지 뇌를 캡처하기에 충분히 큰 700 x 700 x 200 μm의 시야(FOV)를 제공하도록 LFM 설계의 파라미터를 선택하였다.

맞춤형 하이브리드 2-광자 및 명시야 현미경을 사용하여, SID를 통해 추출한 신경세포 위치를, 제브라피쉬의 척수 전방부의 775 x 195 x 200 μm의 용적을 사용하여 고해상도 2PM 이미지 스택과 비교하였다. 2PM 스택의 공간 분할은 상기 용적 내에서 총 1337 개의 신경세포를 생성하였으며, 여기에는 활성 및 비활성 신경세포가 모두 포함된다. SID는 본질적으로 활성 신경세포만 검출하고, 2PM 스택에서 신경세포와 위치가 명확하게 일치하는 508 개의 신경세포를 산출하였다. 4분 동안 20 fps에서 700 x 700 x 200 μm의 용적을 커버하는 전체 제브라피쉬 치어 뇌로부터의 자발적인 신경 활동을 기록하였다. 이 경우, SID는 총 5505 개의 활성 신경세포를 발견하였다.

SID에 의해 식별된 신호와 신경세포 위치를 동일한 데이터의 통상적인 재구성 이후 ICA-기반 분석과 비교하였다. 많은 경우에 ICA와 SID가 일치하는 쌍의 위치와 신호를 생성하는 반면, ICA는 신경세포를 매우 유사한 신호를 갖는 여러 공간 필터로 분할하여 데이터를 과-분할하는 경향이 있음이 밝혀졌다. 또한, ICA-기반 분석은 또한 여러 주변 신경세포로부터의 산란 기여를 포함하는 영역을 위양성 신경세포로 식별하는 경향이 있고, 따라서 심각한 간섭을 나타내는 중복 신호를 생성한다.

전반적으로, ICA와 비교할 때, SID는 전형적으로 활성 신경세포의 상당히 더 많은 부분(이 예에서 -50%)을 식별하는 것으로 밝혀졌다. 또한, ICA에 의해 식별된 대부분의 신호는 또한 SID에 의해 복구되었다(전체 이미지 용적에서 ICA 신호의 82%에 대해 ICA와 SID 간의 >0.8 상호-상관). 동시에, SID는 ICA에 의해 식별된 위양성 신호를 확실하게 거부한다.

시드 반복 디믹싱(Seeded Iterative Demixing, SID)은 380 μm 깊이의 마우스 피질과 해마에서 고속 입체 Ca ²⁺ 영상을 가능하게 한다

표준 LFM 재구성에서의 산란으로 인한 분해의 심각성은 마우스 피질로부터의 체내 LFM 데이터가 통상적으로 재구성될 때 현저하게 명백해진다. 깨어있는 마우스의 후두정 피질에서 다양한 깊이로 획득된 LFM 기록에 SID를 적용할 때, 개시된 실시형태의 효과가 명확해졌다. 30 fps의 용적 획득 속도에서 380 μm의 깊이까지 ~900 μm 직경의 측면 FOV로 용적 내에서 GCaMP6m을 발현하는 신경세포의 활성을 두개골 창(cranial window)을 사용하여 기록하였다. 이러한 접근법의 계산 효율은 더 큰 축방향 범위에 걸쳐 신경세포 위치와 활동 흔적을 확실하게 할당하는 동시에 계산 비용을 크게 줄일 수 있다. 따라서, 단지 두 번의 연속 기록으로 30 fps 용적 속도로 마우스 피질층 I-III 및 피질층 IV의 일부에서 신경세포의 위치와 활동을 포착할 수 있었다. 개시된 알고리즘은 1분의 기록 동안 500 개가 넘는 활성 신경세포를 식별하였으며, 이는 고해상도 2PM을 사용하여 식별된 표지된 모든 신경세포(5296 개)의 10%에 해당한다. 활성 신경세포의 총수 중 296 개는 0 내지 170 μm의 깊이 범위에 있었고, 208 개의 활성 신경세포는 120 내지 380 μm 범위에 있었다.

개시된 알고리즘은 연구 중인 생물학적 문제를 기반으로 사용자에 의해 조정될 수 있는 약한 신호에 대한 민감도 대 위양성 신호 사이에서 일부 절충을 제공한다. 본원에서 논의된 모든 결과에 대해, 약한 신호에 대한 민감도에 걸쳐 위양성 거부를 우선적으로 처리하는 다소 보수적인 추출 전략을 사용하였다. 공간 형상을 기반으로 하는 후-선택의 시행과 함께 이러한 설정은 또한 신경망 신호의 보다 효율적인 거부를 제공한다. 그러나, 생물학적 문제와 GECI 특성에 따라, 덜 보수적인 추정치를 내기 위해 추출 전략을 조정할 수도 있다.

SID의 다양한 기능을 더 예시하기 위해, 피질 흡인_[40,41] 후에 이식된 두개골 창을 사용하는 CA1 해마 신경세포 영상화에 개시된 방법을 적용하였다. CA1 신경세포의 세포체 층이 포함된 ~900 x 900 x 200 μm의 용적 내에서 신경세포 집단 활동을 캡처하여, 이 영역의 해부학적 구조를 대표하는 곡선 층 구조 내에 배열된 150 개 신경세포의 Ca²⁺ 신호를 확실하게 식별하고, 추출하며, 디믹스할 수 있었다. SID에 의해 추출된 강력하고 뚜렷한 Ca²⁺ 과도는 이 뇌 영역에서의 신경세포 유형의 고주파 버스트와 일치한다_[42]. 요약하면, SID는 체내 마우스 피질과 해마에서 최대 380 μm의 깊이까지 신경세포 위치와 시간 신호를 밝혀내는 것으로 나타났다. 다음 섹션에서는, 개시된 실시형태의 추출 충실도를 2PM 기록과 비교함으로써 검증한다.

시드 반복 디믹싱(Seeded Iterative Demixing, SID)은 2PM과 일치하는 시계열을 제공하면서 마우스 뇌에서의 중복되는 신경 신호의 디믹싱을 가능하게 한다

SID가 2PM과 같은 보다 확립된 방법에 의해 획득된 것들과 매우 일치하는 신경 시계열을 제공하면서 산란 조직에서 신경 신호를 디믹스하는 능력을 실험적으로 입증하였다. 공간 풋프린트를 기반으로는 구분할 수 없고 상관 관계가 높은 활동은 나타내는 두 개의 CA1 신경세포를 취함으로써, SID가 이들 신경세포를 공간적으로 분리하고 이들의 시간 신호를 디믹스할 수 있음을 알 수 있었다. 이를 달성하기 위해, SID는 나머지 신경세포의 간섭을 제거하기 위해 각각의 신경세포의 공간 풋프린트 내에서 몇 개의 픽셀만을 필요로 한다. LFM의 입체 FOV 및 프레임 속도는, 마우스 피질 내의 유사한 깊이에서 체내 Ca²⁺ 영상에 일반적으로 사용되는 2PM과 같은 다른 방법의 입체 FOV 및 프레임 속도를 초과한다. 따라서, 전형적인 LFM 용적 크기 및 용적 획득 속도 내에서 SID와 2PM에 의해 획득된 신경 시계열을 직접 비교함으로써, 개시된 실시형태에 대해 실험적 실측 자료를 규명하는 것은 불가능하다. 그럼에도 불구하고, 실험적 실측 자료를 생성하였고, SID를 사용하여 추출된 시계열이, 현재 기술의 한계 내에서, 2PM과 같은 보다 확립된 방법의 데이터와 실제로 일치하는지를 검증하였다. 이를 위해, 마우스 피질 내의 단일 평면에서 2PM 여기를 수행하면서, 하이브리드 2PM-LFM에서 LFM 검출 아암과 광전자 증배관(photomultiplier tube, PMT) 점 검출기를 사용하여 형광을 동시에 검출하였다. 2PM 하드웨어를 통해, 5 Hz에서 200 x 200 μm 평면을 스캔할 수 있었다. 획득된 2PM 데이터의 공간 분할을 사용하여 이 영역에서 발견된 12 개의 신경세포에 대한 위치 측정과 신호 추출을 LFM 검출 아암 상의 SID와 비교할 때, SID에 의해 추출된 신호가 2PM 기록과 양적으로 일치함을 분명하게 입증하였으며, 이는 검출된 12 개의 활성 신경세포 중 12개에 해당하고, 두 가지 방법으로부터의 신호의 평균 상호-상관은 0.85에 달한다.

시드 반복 디믹싱(Seeded Iterative Demixing, SID)은 2PM 실측 자료와 일치하는 시계열과 함께 마우스 뇌에서의 중복되는 신경 신호의 디믹싱 및 위치 측정을 가능하게 한다

다음으로, SID가 이러한 2PM과 같은 보다 확립된 방법에 의해 획득된 것들과 매우 일치하는 신경 시계열을 제공하면서 산란 조직에서 신경 신호를 디믹스하는 능력을 실험적으로 그리고 체계적으로 입증하였다. 예를 들어, 단일-신경세포 수준에서, 공간 풋프린트를 기반으로는 구분할 수 없고 상관 관계가 높은 활동은 나타내는 두 개의 CA1 신경세포를 선택하였다. SID는 신경세포를 각각의 신경세포로서 공간적으로 검출하고 이들의 해당 시간 신호를 디믹스할 수 있다. 이를 달성하기 위해, SID는 각각의 다른 신경세포로부터 간섭을 제거하기 위해 각각의 신경세포의 공간 풋프린트 내에서 몇 개의 픽셀만을 필요로 한다

개시된 실시형태의 입체 FOV 및 프레임 속도는 마우스 피질에서 유사한 깊이로 체내 Ca²⁺ 영상에 전형적으로 사용되는 2PM과 같은 다른 기술의 입체 FOV 및 프레임 속도를 초과한다. 따라서, 전형적인 용적 크기 및 용적 획득 속도 내에서 SID 및 2PM에 의해 수득된 신경 시계열을 직접 비교함으로써 개시된 실시형태에 대한 실험적 실측 자료를 규명하는 것은 불가능하다. 그럼에도 불구하고, 그럼에도 불구하고, 실험적 실측 자료를 생성하였고, SID를 사용하여 추출된 시계열이, 현재 기술의 한계 내에서, 2PM과 같은 보다 확립된 방법의 데이터와 일치하는지를 검증하였다. 이는 하이브리드 2PM-SID 현미경을 사용하여 이루어졌다(방법 참조). 마우스 피질 내의 단일 평면에서 2PM 여기를 수행하면서, 개시된 하이브리드 2PM-SID에서 SID 검출 아암과 광전자 증배관(PMT) 점 검출기를 사용하여 형광을 동시에 검출하였다. 2PM 하드웨어를 통해, 5 Hz에서 200 x 200 μm 평면을 스캔할 수 있었다. 획득된 2PM 데이터 상의 유역 변환(watershed transform)을 기반으로 공간 분할을 사용하여 이 영역에서 발견된 12 개의 신경세포에 대한 위치 측정과 신호 추출을 LFM 검출 아암에서 획득된 데이터의 SID와 비교할 때, SID에 의해 추출된 신호가 2PM 기록과 양적으로 일치함을 분명하게 입증하였다(검출된 12 개의 활성 신경세포 중 12개; 두 가지 방법으로부터의 신호의 평균 상호-상관: 0.85).

SID 성능의 보다 포괄적이고 정량적인 평가를 얻기 위해, 일련의 축방향 깊이(100-375 μm, 총 n = 18 개의 기록)에서 단일-평면, 동시 2PM-SID 동영상 세트가 기록되었다. 제약 행렬 인수분해("CalmAn")를 기반으로 최근에 공개되어 점점 더 많이 사용되는 방법_[36]을 사용하여 2PM 채널로부터 신경세포 위치와 신호를 신호를 추출하였다. 원시 CalmAn 출력과 SID를 정량적으로 비교할 수 있는 실측 자료를 설정하기 위해 CalmAn의 출력을 수동으로 평가하고 보정하였다.

도 3a에, 정확하게 검출된 실제 신경세포의 비율인 "민감도" 점수(도 3a(i)), 총 검출치에 대한 위양성 검출치의 비율(도 3a(ii))인 "정확도" 점수(3a(ii)), 및 이들 두 가지 점수의 조화 평균인 "F-점수"(도 3a(iii)))를 플로팅하여 다양한 조직 깊이에서의 두 가지 방법의 신경세포 검출 성능을 도시하였다. 민감도와 정확도 사이에는 절충이 있는 반면, F-점수를 파라미터로 사용하여 각각의 방법의 전체 성능을 특성화할 수 있다. 두 가지 방법 모두 대부분의 실제 신경세포를 정확하게 식별한다(도 3a). 그러나 SID는 위양성 분류를 줄이는 경향이 있다(도 3b). 전반적으로, SID는 민감도(민감도 점수)와 강인성(정확도 점수) 사이에서 비슷하거나 양호한 타협을 제공하여, 약간 높은 F 점수를 제공한다.

실측 자료와 비교할 때 SID-추출 신경 활동 흔적의 품질을 도 3b에서 다양한 깊이로 특성화하였다. SID-추출 및 2PM 실측 신호 간의 평균 상관 관계는 100 μm 깊이에서 0.84 + 0.05로부터 375 μm에서 0.77 + 0.05로 적당히 감소한다(도 3b(i)). 모든 진정한 양성 SID 검출치 중에서 73%는 0.8보다 양호한 실측 자료와의 상관 관계가 있고, 60%는 0.9보다 양호한 상관 관계가 있는 반면(도 3b(ii)의 히스토그램 및 도 3b(iii의 예시적인 추적 쌍), 추출된 신호의 10%만이 2PM 실측 자료와의 낮은 (<0.4) 상관 관계 및 이에 따라 인근 신경망과의 간섭으로 인한 신경 신호의 저하된 중첩을 나타낸다. 조직 깊이의 함수로서 이러한 불일치의 의존성에 대한 통찰력을 얻기 위해, 0.5 미만의 실측 자료와의 상관 관계가 있는 SID-추출 신경세포의 일부가 어떻게 조직 깊이에 의존하는지를 계산하였다(도 3b(iv)). 이들의 일부는 100 μm 깊이에서는 6%만을 그리고 375 μm에서는 약 12%를 나타내는 것으로 밝혀졌다. 상기 불일치의 주요 원인이 신경망과의 상호작용이었기 때문에, 이는 SID가 조밀하게 표지된 샘플에서도 대다수의 신경세포에 대한 신경 신호를 정확하게 식별하고 할당할 수 있음을 보여준다. 체세포- 또는 핵-국한 Ca²⁺ 표지자를 사용하여 신경망 표지를 제거함으로써 더 나은 결과를 얻을 수 있었다. 또한, 신호로부터의 신경망 기여를 디믹스하고 거부하기 위한 계산 전략의 개요를 기술하였다.

다음으로, 인근 신경세포의 신호를 디믹스하는 SID의 성능을 조사하였다. 신경세포 쌍 거리가 감소함에 따라 일반적으로 증가하는 것으로 알려진 신경 신호의 생리학적 상관 관계 및 짧은 신경세포 쌍 거리에서 SID의 성능 저하 모두는 신경세포 쌍의 거리 감소에 대한 관찰된 상관 관계의 증가를 초래할 것으로 예상된다. SID 추출 쌍에 대한 이러한 관찰된 상관 관계의 근본적인 원인을 분석하기 위해, 기본 실측 쌍 역학이 상관되거나 보정되지 않았는지에 대한 의존성을 조사하였다. 이러한 실측 신경세포 쌍을 식별하기 위해, 대응하는 상호 상관 매트릭스와 히스토그램을 계산하였다. 이후, 보정되지 않은 모든 신경세포 쌍(<0.2) 및 상관된 신경세포 쌍(> 0.6)을 선택하였고, SID에서 대응하는 신호 쌍의 상관 관계를 조사하였다. ~20 μm보다 작은 간격에 대한 보정되지 않은 실측 신경세포 쌍에 대한 상관 관계의 증가가 발견된 반면, 상관된 실측 활동을 갖는 쌍의 경우, 대응하는 SID 추출 쌍은 횡방향 거리 범위에 걸쳐 그리고 ~20 μm에 근접한 거리에서 이들의 실측 쌍과 유사한 상관 관계를 나타냈다. ~20 μm 미만에서 SID에 의해 추출된 미상관 실측 신경세포 쌍에 대한 관찰된 상관 관계의 상기 비-생리학적 증가 및 대략 동일한 거리에 이르기까지 상관된 실측 쌍과의 SID의 일관성은, 개시된 SID 알고리즘에 의해 달성되는 식별성, 즉 산란 마우스 뇌에서 신경 시계열을 검출하고 할당하는 능력을 나타내는 메트릭을 제공한다. SID가 상관 관계가 없는 것으로 알려진 신경세포 사이의 인공적인 "상관"을 검출하기 시작할 때 SID는 한계에 도달한다.

방법

하이브리드 명시야 및 2-광자 현미경

동시 2PM 및 LFM 영상, 물고기 기록 및 마우스 기록에 사용되는 현미경은 주문형 LFM 검출 아암을 갖는 Scientifica Slicescope 플랫폼 주위에 구축된다.

2-광자 여기원(Coherent Chameleon)은 80 MHz 반복 속도 및 920 nm 파장에서 140 fs 펄스를 전달하였다. 감쇠 및 귀선소거를 위해 전기-광학 변조기(Conoptics)를 통해 빔 강도를 제어하였고, 검류계-기반 스캔 헤드(galvo-based scan head)(Scientifica)로 공급하였다. 단파장 통과 이색성 거울(short-pass dichroic mirror)(Semrock FF746-SDi01)을 통해 2P 경로 및 1-광자 여기/LFM 검출 경로를 결합하였다. 청색 LED(CoolLED pe-2)로부터의 1-광자 여기 광을 Olympus 에피-형광 조명기에 공급하였고, 표준 EGFP 여기 필터 및 이색성 필터를 통해 LFM 검출 경로로 반사시켰다.

실험에 따라, 1-광자 또는 2-광자 광을 사용한 반면, 다른 한쪽은 차단하였다. 둘 모두 Nikon 16x 0.8NA 침수 생리학 대물렌즈에 의해 샘플에 초점을 맞췄다. 제브라피쉬 실험을 위해, Olympus 20x 1.0NA 및 Olympus 20x 0.5NA 침수 대물렌즈를 사용하였다.

넌-디스캔드(non-descanned) PMT 아암 또는 LFM 아암에 의해 샘플로부터의 형광을 검출하거나, 둘 모두에 의해 분할하였다. 분할 비율은 대물렌즈 뒤 빔 경로에 삽입된 메인 빔 스플리터에 의해 결정되었다. 맞춤형 검출 헤드 설계를 통해, 100%를 PMT(665 nm 장파장 통과 이색성 필터, Scientifica)로 라우팅하거나 100%를 LFM 아암(필터 없음)으로 라우팅하거나, 형광을 10:90 또는 50:50으로 분할(PMT:LFM)(각각, Omega 10% 빔 샘플러 또는 Thorlabs 50:50 vis 빔 스플리터)하는 구성 간을 빠르게 전환할 수 있었다. PMT 검출 아암은 IR 차단 필터, 집광 렌즈, 565LP 이색성 필터, 및 525/50nm 및 620/60nm 방출 필터와 Scientifica GaAsP(녹색 채널) 및 알칼리(적색) PMT 모듈로 구성되었다.

LFM 검출을 위해, 형광은 레이저를 빔 경로 및 1-광자 필터 큐브(filter cube)에 결합시키는 단파장 통과 이색성 필터를 통과하였다. 표준 Olympus 튜브 렌즈(tube lens)에 의해 형성된 이미지를 두 개의 2-인치 색지움 렌즈(achromatic lens)(f = 200 mm, Thorlabs)를 통해 마이크로렌즈 어레이(MLA, Okotech, 맞춤형 모델, 크기 1 제곱 인치, f-수 10, 114 μm 마이크로렌즈 피치, 이차 그리드, 간격 없음)로 전달하였다. MLA의 f-수를 현미경의 출력 f-수와 일치시켰다. MLA의 후방 초점면은 Andor Zyla 5.5 sCMOS 과학 카메라의 센서 상에 단위 배율(unity magnification)로 사진 매크로 대물렌즈(Nikon 105mm/2.8)에 의해 전달되었으며, 이는 최대 해상도(2560 x 2160 px, 16 비트)에서 최대 75 fps로 독출될 수 있다.

신속한 이미지 획득을 위한 RAID-0 구성 및 아날로그와 타이밍 I/O를위한 National Instruments 6110 및 6321 카드에서 네 개의 반도체 디스크를 갖는 듀얼-CPU 워크스테이션(HP Z820)에 의해 장비를 제어하였다. 장비의 1-광자 및 2-광자 부분에 대해 마이크로-매니저(Micro-manager)와 스캔이미지(Scanimage)를 사용하여 실험을 각각 제어하였다.

소스 추출 알고리즘 및 데이터 분석

개시된 소스 추출 접근법은 배경 및 공통 모드 역학을 제거하기 위해 원시 이미지의 시계열의 랭크-1-행렬 인수분해로 시작한다. 배경-제거 이미지에 대해 모션 검출 메트릭이 계산되고, 임계값을 초과하는 모션 메트릭 값을 갖는 프레임들은 추가 처리에서 제외된다. 그 다음, 시간에 따른 각각의 픽셀의 표준 편차가 계산되어, "표준 편차 이미지"가 생성된다. 이전에 기술된 바와 같이_[4,29], 리처드슨-루시-타입 알고리즘(비음수 및 선택적으로 희소성 제약을 가짐)과 수치적으로 시뮬레이션된 PSF를 사용하여 표준 편차 이미지를 분해하였다. 이로 인해, 밝은 영역으로서 기록 내에서 활성인 신경세포가 포함된 입체 프레임이 생성된다. 재구성된 용적은 대역-통과 필터링되고 국소 최대 검색을 사용하여 분할되어, 신경세포 후보 위치의 사전을 생성한다. 각각의 위치는 시뮬레이션된 PSF로 컨볼루션하여 LFM 카메라에서 (탄도) 풋프린트의 초기 추정치를 얻는다. 각각의 풋프린트에서, 탄도 풋프린트로부터 기여를 받는 모든 마이크로렌즈 뒤의 모든 픽셀마다 하나인 불리언 마스크(Boolean mask)(mi)를 생성하였다. 비음수 p x n 행렬 S0로 신경세포 풋프린트 세트를 대입하였고, 여기서 n은 분할에서 발견된 신경세포의 수이고, p는 카메라 픽셀의 수이다. 또한, Y를 p x t 비음수 데이터 행렬이라 한다(t는 기록 내의 시간 간격의 수).

이후 비음수 최소 제곱법 문제를 풀어 시간 업데이트 단계를 수행한다.

T∥Y ― S T∥2를 최소화한다

단, T≥0

여기서 T는 반복 솔버를 사용하는, 시간 성분의 비음수 n x t 행렬(T)이다. 앞서 수행한 랭크-1-행렬 인수분해에서 발견된 배경 성분은 각각 S 및 T 행렬의 추가 행 및 열로서 삽입되고, 따라서 신경세포 후보와 함께 업데이트된다.

그 다음, 공간 업데이트 단계가 수행된다: 공간적으로 중첩되는 성분의 모든 세트(O^K)가 발견된다. 이들 k 개의 그룹 각각에 대해, 이는 O^k의 공간 성분에 해당하는 모든 열(t_i)을 포함하는 행렬(T^k)이 형성되고, O^k의 마스크(mi)의 0이 아닌 영역에 속하는 픽셀만을 포함하는 데이터 행렬(Y^k)이 가 형성된다. 각각의 k에 대해, 다음과 같은 비음수 공간 제약 최소 제곱법 문제를 푼다.

S^k∥Y^k ― S^k T^k∥2를 최소화한다

단, ^kk≥0

열 S^k=0, 여기서 마스크 mi=0 (∀ i∈O^k).

그리고 나서, 시간 및 공간 업데이트 단계가 수렴될 때까지 반복된다.

마지막으로, 모든 공간 성분의 적분이 계산되고, 이는 1로 정규화되고, 시간 성분은 적분에 의해 조정된다. 시간 성분은 포함된 잡음의 표준 편차(Savitzky-Golay fit의 잔차(residual)로 정의됨)에 따라 개별적으로 조정된다.

프레임별로 재구성된 LFM 데이터세트로부터의 신호 추출

표준 LFM 데이터세트(즉, 리처드슨-루시-타입 알고리즘 및 수치적으로 시뮬레이션된 PSF를 사용하여 원시 프레임을 개별적으로 디컨볼루션함으로써 획득된 일련의 입체 프레임)로부터 신호 및 공간 필터를 추출하기 위해, 참조문헌 35를 기반으로 하는 접근법의 맞춤형 Matlab 구현을 사용하였다: 데이터에서 느리게 변하는 추세 함수(trend function)를 적합(fitting)시키고 나눈 후, 시간에 따른 모든 복셀의 분산을 계산하고, 분산 분포의 80 번째 백분위수 이상의 복셀을 선택하여 문제 크기를 줄였다. 선택한 복셀 시계열에 대해 주성분 분석(Principal Component Analysis, PCA)이 수행된다. 과적합(overfitting)을 피하고 데이터의 노이즈를 제거하기 위해, PCA 성분의 처음 8%가 FastICA Matlab 패키지에 보관되고 공급된다. 결과적인 ICA 공간 성분은 이들의 중량 분포를 기반으로 사후 선택된다: 신경세포와 형태가 양립할 수 있는 현저한 피크(즉, 중량 분포의 20 번째 백분위수보다 큰 값을 갖는 영역)를 포함하는 것만이 유지된다. 해당 신호는 피크의 모든 복셀에 대해 평균화하여 추세 제거 데이터로부터 추출된다.

머리-고정 제브라피쉬 치어의 체내 Ca ²⁺ 영상

제브라피쉬 실험을 위해, elavl3:H2B-GCaMP6s 물고기(n = 4)를 수정 후 5-8일에 이미지화하였다. 이 라인은 mitfa-/-, roy-/-background에서 핵 국한 칼슘 표지자를 전체 신경세포에서 발현한다. 치어를 2% 저융점 아가로스에 포매하여 고정시켰다. 척수 기록을 위해, 실험 전 적어도 1시간 전에 α-붕가로독소(α-bungarotoxin)(125μM)를 심장 공동에 주사하여 치어를 마비시켰다.

깨어있는 마우스의 동물 수술 및 체내 Ca ²⁺ 영상

수술 및 실험 절차는 동물 실험에 대한 오스트리아 및 유럽 규정(오스트리아 §26 Tierversuchsgesetz 2012-TVG 2012)을 충족하였으며 록펠러 대학의 IACUC에 의해 승인되었다. 성체(P90 +) 수컷 및 암컷 C57B1/6J 야생형 마우스(n = 10)를 이소플루란(2-3%, 분당 0.5-0.7의 유속)으로 마취시키고 뇌정위 수술틀(stereotaxic frame)(RWD Life Science Co. 중국)에 넣었다. 두피를 제거하고 결합 조직의 두개골을 비운 후, 주문 제작한 경량 금속 헤드-바를 시아노아크릴레이트 접착제(Krazy Glue)를 사용하여 두개골에 고정하고 검은색 치과용 시멘트(Ortho-Jet, Lang Dental, 미국 또는 Paladur, Heraeus Kulzer, GmbH, 독일)로 덮었다. 헤드-바는 후두골 및 두정골에 삽입된 최대 세 개의 헤드리스 M1.4 나사로 고정함으로써 안정화되었다. 이후, 영상 부위(후두정 피질, PPC, 미측(anterior) -2.5 mm 및 외측 -1.8 mm에 중심; 일차 운동 피질, M1, 전방 -2.5 mm 및 외측 1.5 mm; 배측 해마 미측 2.0-2.5 mm 및 외측에서 정수리점까지 1.4-1.8 mm) 위에서 원형 개두술(circular craniotomy)(직경 3-5 mm)을 수행하였다. 두개골이 열리고 경막이 손상되지 않은 상태에서, GECI-전달 바이러스(AAV8: hSyn-GCaMP6m)를 4-12 개 부위(각각 25 nl, 10 nl/분; 역가 ~10¹² 바이러스 입자/ml)에 400 μm 간격으로 주사하여, PPC의 경우 경막 아래 400-450 μm의 깊이, 해마의 경우 1200 μm의 깊이에서 개두술의 중심 근처에 격자를 형성하였다. 구축물(AAV2/1: Hsyn-JRGECO)을 주사하였다. 주사 이후, 3-5 mm 직경, #1 두께(0.16 mm) 커버슬립으로 구성된 유리 두개골 창을 개두술에 이식하고, 식염수로 씻어내고, 뇌 표면과 접촉하도록 배치하고, 조직 접착제(Vetbond)를 사용하여 제자리에 봉합하였다. 두개골 창을 둘러싸는 노출된 두개골을 치과용 시멘트로 덮고 침수 대물렌즈로 영상화하기 위한 작은 챔버를 구축하였다. 배측 해마에 접근하기 위해, 이전에 보고된 바와 같은 피질 흡인_[42,43] 후에 두개골 창을 이식하였다. 수술 후 감염 및 수술 후 통증을 예방하기 위해, 동물에게 항생제 엔로플록사신(50 mg/Kg) 및 진통제 카프로펜(5 mg/Kg)이 포함된 물을 ~7일 동안 공급하였다. 수술 후, 영상 실험을 하기 전에 회복 및 바이러스 유전자 발현을 위해 2-3주 동안 각자의 사육 케이지로 동물을 보냈다. 경막이 두개골 창 이식 전후에 손상이나 대출혈(major bleeding)을 겪지 않도록 세심한 주의를 기울였다. 손상된 경막 또는 불분명한 창을 갖는 마우스를 안락사시키고 영상 실험에 사용하지 않았다. 영상 기간 동안, 헤드-바 홀더와 마우스 몸체 안정기(body stabilizer)(몸통 재킷(body jacket))가 구비된 맞춤형 마운트를 사용하여 동물의 머리를 고정하였고, 디스크(200 mm 직경) 상에서 자유롭게 달리게 하였다. 자발적인 활동을 기록하였다. 이는 영상화 동안 뇌의 동물 유도 모션을 상당히 감소시켰다. 마우스의 코 앞쪽에 환기 마스크를 배치하여 마우스의 수염과 얼굴에 공기 분사 기계 자극을 제공할 뿐만 아니라 필요에 따라 가스 마취를 제공하였다. 일반적인 영상 기간은 2-10 분 동안 계속 지속되었다.

시드 알고리즘 구현 세부사항

배경 거부

심부 조직 LFM 동영상은 표준 편차 이미지를 계산하기 전에 그리고 모든 추가 단계 전에 제거해야만 강력한 전역 배경 형광을 함유한다. 이 배경은, 주로 재구성에 사용되는 수치적으로 시뮬레이션된 PSF에 의해 캡처된 깊이 범위의 위 및 아래에서 발생하는 형광 때문이다. 이 배경은 LFM 원시 데이터에 랭크-1-행렬-인수분해를 적용하여 추출되었다. 랭크-1-행렬-인수분해로부터 획득된 공간 및 시간 성분은, 각각 S 및 T 행렬의 추가 행 및 열로서 공간 및 시간 업데이트 단계에서 신경세포 후보에 추가된다. 따라서, 배경 추정치는 이들 최적화 단계 동안 개선되고, 활동은 신경세포에서 배경으로, 또는 그 반대로 재-할당될 수 있다. 시간 업데이트 단계에서, 이는 고유한 배경 제거에 대응하는 반면, 공간 업데이트 단계에서, 배경의 형태가 개선된다.

배경 제거가 없으면, LFM 동영상의 표준 편차 이미지는 배경에서의 시간 변화에 의해 지배된다. 배경의 1차원 근사치는 신경세포 풋프린트의 탄도 성분을 얻기에 충분했다. 표준 편차 이미지를 각각 배경 제거가 없는 것과 있는 것에 대해 비교하였다. 배경을 제거하면 국소화된 소스의 LFM 풋프린트가 드러난다.

희소성, 분할을 통한 재구성

비음수 성분을 생성하는, ISRA1로 알려진 리처드슨-루시-타입 알고리즘의 수정을 사용하여 표준 편차 이미지를 재구성(수치적으로 시뮬레이션된 PSF로 디컨볼루션)하였다. 탄도 PSF와 함께 리처드슨-루시 디컨볼루션을 기반으로 하는 고전적인 LFM 재구성_[2,3]은, 광학 공간 샘플링 밀도가 크게 감소되는 현미경의 기본 초점면 근처에서 고르지 않은 아티팩트가 발생하기 쉽다_[2]. 이 아티팩트는 후속 분할 절차의 성공에 해롭다. 필요한 경우, 희소성 제약으로 ISRA를 수정하였다. 용적 추정치(x)의 업데이트 단계는 다음과 같다:

x_n+1 = x_n (P^Ty / P^T P_y+λ 1_dim(x)),

여기서 1_dim(x)는 x와 동일한 차원을 갖는 벡터이고, P는 PSF이다. 파라미터 λ는 희소-촉진 항의 가중치를 제어한다. λ>0은 제브라피쉬 기록을 위해 사용되었다. 심도 마우스 기록의 경우, 성능상의 이유로 λ=0으로 설정하고, 대신에 아티팩트 영역에서 검출된 신경세포 후보를 폐기하였다. 재구성 전에, 표준 편차 이미지를 임계화하여 잔류 배경 활동을 배제하였다.

분할

신경세포 형태와 양립할 수 없는 공간 주파수를 억제하기 위해, 재구성된 표준 편차 용적에 대역 통과 필터를 적용한 후, 결과를 임계화하여 배경을 배제시켰다. 그리고 나서, 국소 최대 검색 알고리즘을 적용하였다. 재구성된 표준 편차 이미지내의 검출된 영역은 빨간색 점이 표시된다. 잡음과 아티팩트를 강력하게 거부하기 위해 분할 임계값이 선택된다.

비음수 행렬 인수분해

알고리즘은 시간 및 공간 업데이트 단계를 번갈아 가며 본문의 방법 섹션에 기술된 바와 같이 진행된다. 초기 공간 추정치에는 탄도 풋프린트만 포함되지만 업데이트된 추정치는 점점 더 주변의 산란된 광을 통합한다. 대응하는 시간 성분은 중첩 신호로부터 더욱 뚜렷해지고 디믹스된다.

수렴

공간 및 시간 최적화 단계 모두는 볼록 문제이고, 따라서 각각은 전체 최적으로 수렴한다. 결합된 문제는 이중 볼록, 및 이러한 유형의 문제에 자주 사용되는 알고리즘인, 문헌에서 교차 볼록 검색(alternate convex search)_[4]으로 알려진 변형이다. 교차 볼록 검색 알고리즘은 문제를 이의 볼록 하위 문제로 분할하여 이중 볼록 대상 함수를 최적화하고, 추측에 의해 솔루션을 초기화하며, 두 개의 하위 문제 중 하나를 반복적으로 풀면서, 이전에 해결된 하위 문제(또는 초기 추측)의 최적 상태에 다른 변수를 고정된 상태로 유지한 다음, 정지 기준에 도달할 때까지 하위 문제를 번갈아 푼다. 교차 볼록 검색 알고리즘에 의해 추구된 반복 시퀀스는 적어도 하나의 집적점(accumulation point)을 가지며, 각각의 집적점이 각각의 서브 문제에 대한 고유한 솔루션을 갖는 경우, 연속적인 반복 간의 차이는 0으로 수렴되는 것으로 나타났다_[4]. 대상 함수의 값은 각각의 집적점에서 동일하며, 부분 최적(즉, 각각의 볼록 변수에서의 최적)에 도달한다. 엄밀히 말하면, 솔루션의 전체 최적성은 보장되지 않는다. 그러나, 교차 볼록 검색은, 예를 들어, 2PM 데이터의 시공간 디믹싱_[5]을 위한 Ca²⁺ 영상과 관련하여, 이중 볼록 최적화 문제에 일상적으로 적용되며, 성공인 결과를 갖는다.

공간 및 시간 업데이트 단계 모두에 대해, ISRA 알고리즘은 희소성 제약 없이 사용되었다. 여러 개의 GPU-코어뿐만 아니라 수천 개의 CPU 코어에 걸쳐 효율적으로 병렬 처리하여 큰 문제(신경세포당 대략 1 GPU-초 내에서 수천 시간 간격으로 수천 픽셀씩)의 빠른 솔루션을 제공한다. 잔차가 네 자릿수로 감소했을 때, 대략 10회 반복한 후 빠른 수렴 및 알고리즘 중단이 일상적으로 관찰되었다. 이러한 점에서, 잔차 데이터에서 공간 또는 시간 구조는 명백하지 않다.

합성 데이터세트 생성

파라미터에 대한 문헌의 값_[7-9] 을 사용하여 합성 데이터세트를 다음과 같이 생성하였다: 40 개의 신경세포(직경 8 μm의 구체)를 하나의 신경세포 직경의 최소 거리를 유지하면서 70 x 70 x 200 μm의 용적 내에 무작위로 배치하고, 경계 아티팩트를 피하기 위해 각각의 면에 25 μm의 여유로 둘러쌓았다. 시뮬레이션된 신경세포 밀도를 입방 밀리미터당 40,000이되도록 선택하였다. 이는 마우스 피질에 대해 보고된 평균 밀도_[10]보다 대략 2 배 정도 낮으며, 주어진 기록 동안 모든 신경세포가 활성이지 않는다는 사실을 설명한다. 용적 크기는 대부분의 LFM 축방향 범위에 걸쳐 이어지도록, 그리고 용적의 먼 쪽에서 비롯된 산란된 신경세포 이미지가 시뮬레이션된 LFM 센서 상에 중복되지 않도록 충분히 크게 선택되었고, 20-CPU-코어, 쿼드-GPU 워크스테이션 내에서 계산 노력을 유지하였다. 활동 전위의 포아송 스파이크 트레인(Poissonian spike train)을 무작위로 생성하였고(평균 발화 속도 0.5 Hz, 5 Hz 샘플링 속도에서 1000시간 간격), 선형으로 혼합하여 이들 사이에 약간의 상관 관계를 도입하였으며(주성분에 의해 설명된 분산의 지수 분포를 유발하도록 선택된 혼합 맹렬), 기하급수적으로 감소하는 GECI 응답 커널(평균 감소 시간 상수 1.2초)로 컨볼루션하였다. 25의 GECI 신호-대-잡음비(SNR)를 모방하기 위해 가우스 잡음을 결과적인 흔적에 추가하였다.

이후, 무작위로 배치된 신경세포 및 시뮬레이션된 GECI 활성 흔적을 조합하여 시계열의 용적을 생성하였다. 신경망 및 검출 잡음으로 인한 배경 형광의 변동을 설명하기 위해, 합성 용적(SNR 25) 전체에 걸쳐 그리고 최종 시뮬레이션된 센서 이미지 전체에 잡음이 많은 배경을 추가하였다. 산란이 없는 상태에서 시뮬레이션된 센서 데이터를 얻기 위해, 수치적으로 시뮬레이션된 탄도 LFM PSF(16x 0.8NA 침수 대물렌즈에 해당)로 합성 용적을 컨볼루션하였다. 산란된 센서 데이터의 근사치를 얻기 위해, 문헌의 값_[7,8]에 따라, 100 μm의 산란 길이, 400 μm의 깊이 및 헤니이-그린스타인 이방성 파라미터 0.9에 대해 몬테-카를로 방법으로부터 얻은 시뮬레이션된 산란 PSF로 합성 용적을 컨볼루션하였다.

산란 PDF의 몬테-카를로 시뮬레이션

산란 PSF를 생성하기 위해, 광축 상의 포인트 소스에서 발사되고, 지수 분포로부터의 산란 이벤트(자유 경로)와 헤니이-그린스타인 분포로부터의 산란 각도 사이의 거리를 샘플링함으로써 전파된 100,000 개의 가상 광선을 사용하여 몬테-카를로 방법을 수행하였다. 각각의 산란 이벤트에 대해, 산란된 광선의 분명한 출발점과 산란 이벤트 이전의 자유 경로에 대응하는 깊이에 "가상" 소스를 배치하였다. 결과적으로 생성된 가상 소스의 용적을 탄도 PSF로 컨볼루션하여 센서를 향해 투영하였다. 이는 LFM PSF의 공간적으로 변하지만 주기적인 구조를 완전히 캡처하기 위해 필요한 모든 측방향 및 축방향 변위에 대해 반복되었다.

SID-추출 신경 신호의 통계 분석

추출 품질 특성을 얻기 위해, 단일 면의 동시 2PM-SID 동영상 세트를 깨어있는 머리-고정 마우스(100-375 μm, 총 n = 18 개 기록, 4 마리 동물)의 후두정 피질로부터 일련의 깊이로 기록하였다.

신호 추출 및 검출 특성 조정

CalmAn 분석 패키지에서 구현된 Ca²⁺ 신호 추출_[5]에 대한 제약 행렬 인수분해 알고리즘을 사용하여 패키지와 함께 제공되는 데모 스크립트(demo script)_[6]에서 정확하게 구현된 2PM 기록을 분석함으로써, 신경세포 크기 및 대략적인 활성 신경세포의 수를 데이터에 적합한 값으로 조정하였다. 초기화 서브루틴과 핵심 제약 행렬 인수분해를 실행한 후, 스크립트는 공간 형상과 크기를 기반으로 ROI의 후-선택을 수행한다. 알고리즘의 전체 민감도와 정확도는 주로 필요한 신경세포의 볼록성(convexity)과 크기뿐만 아니라 초기에 선택된 대략적인 활성 신경세포의 수에 의존하는 것으로 밝혀졌다. 세 가지 추정 품질을 제공하는 데이터에 대한 세 가지 파라미터 값 세트가 결정되었다: "민감한(sensitive)" 추정치(위양성을 검출하는 더 큰 위험을 수용하면서 신경세포 누락을 피함), "보수적(conservative)" 추정치(실제 신경세포를 누락하는 더 큰 위험을 무릅쓰면서 위양성 피함), 및 민감도와 정확도 사이의 최적의 절충을 목표로 하는 "균형(balanced)" 설정.

명시야 원시 데이터를 처리하였다. 배경 제거 이후, 모션 메트릭을 계산하였고, 모션-영향 프레임을 추가 처리에서 배제하였다. SID의 민감도와 정확도 값은, 데이터의 잡음층(noise floor)과 및 배경 수준을 각각 추정하는 두 개의 파라미터의 변경하고 분할 단계의 출력을 수동으로 검사함으로써 조정된다. 잡음층과 배경 추정치를 낮춤으로써 정확도를 희생시키면서 민감도를 증가시킬 수 있으며, 그 반대도 마찬가지이다. 다시, 세 가지 다른 파라미터 세트를 선택하여, 보수적이고 균형 잡힌 민감한 신호 추출 품질을 얻었다. SID는 모든 데이터세트에 대해 "균형" 설정을 사용하고, 또한 한 마리 동물의 기록에 대해 "보수적" 및 "민감한" 설정을 사용하여 실행되었다.

실측 자료의 편집 및 검출치의 분류

민감한 CalmAn 실행의 출력을 수동으로 검사하고, 그 안에 포함된 검출치를, 검출된 객체의 형태를 평가하고 하나의 객체가 여러 개의 ROI로 분할되는지 여부를 평가함으로써, 진양성 또는 위양성으로 분류하였다. 선택되지 않았던 신경세포는 수동으로 추가하고 위음성(false negative)으로 분류하였다. 이와 함께, 2PM 기록 내의 진양성 CalmAn 검출치 및 수동으로 추가된 신경세포(위치 및 신호)는 모든 추가 분석의 실측 자료로 간주되는 것을 구성한다.

제 2 수동 단계에서, "민감한" 품질 설정의 모든 SID 실행은, SID-검출 위치를 실측 위치와 비교하고, 일치하는 쌍을 식별하고, 누락된 신경세포를 추가하여 이들을 위음성으로 표시함으로써 평가되었다. 다른 모든 CalmAn 및 SID 결과의 진/위 양성/음성으로의 분류(즉, "균형" 및 "보수적" 추출 품질)는 "민감한" 추출 출력을 기반으로 수동으로 분류된 위치와 신호에 대한 자동 비교에 의해, 그리고 나서 수동 수동 검사와 검증에 의해 추론되었다.

신경세포 검출 점수

CalmAn 및 SID의 신경세포 검출 성능을 기술하기 위해, 분류/검출 모델과 관련하여 일반적으로 사용되는 세 가지 표준 품질 점수를 계산하였다: 리콜(recall) 또는 민감도로 알려진 점수(검출된 신경세포에 대한 실제 신경세포의 비율); 정확도(전체 검출치, 즉 진양성과 위양성의 합에 대한 진양성의 비율); 및 정확도와 리콜의 조화 평균으로 정의되는 F-점수(값을 (0,1) 범위로 조정하기 위해 2를 곱한 값). F-점수는 민감도와 정확도가 모두 1일 때, 즉 모든 실제 신경세포가 정확하게 검출되었으며 위양성 검출치가 나타나지 않았을 때 1이다.

SID 및 CalmAn 모두에 대한 이들 세 가지 점수 및 세 가지 추출 품질 설정을 플로팅하였다. "민감한" 품질 설정은 SID 및 CalmAn 모두에서 민감도 점수를 최대화하는 반면, "보수적" 설정은 최대 정밀도 점수를 제공한다. F-점수는 "균형" 설정에 최적화되어 있다. 이러한 결과는 파라미터 세트가 적절한 방식으로 선택되었는지를 입증하고, "균형" SID 설정은 SID 구현에서 기본 설정으로 결정되었다.

SID-추출 신경 신호의 상관 분석

도 3b에 나타낸 신호 품질 평가를 위해, 진양성 SID 신호의 제로-래그(zero-lag) 상관 계수 및 실측 자료에서의 이들의 대응물을 이들의 전체 지속 시간을 포함하여 계산하였다. 따라서, 도 3b에 주어진 값은, 추출된 신호 내의 피크가 실측 피크와 일치하는지(진/위 양성 GECI 과도 검출치), 그리고 추출된 신호에서의 이들의 부재가 정확한지(진/위 음성 과도 검출치)에 대한 정보를 포함한다. 비교를 위해, 피크에 대해서만 실측 자료에 대한 SID 신호의 상관 관계를 계산하였다. 결과적인 피크-게이트된(peak-gated) 신호 상관 관계 대 깊이의 히스토그램을 형성하였다. 도 3b(i)에 도시된 게이트되지 않은(ungated) 데이터와 비교할 때, 유의한 차이는 관찰되지 않았다. 이는 실측 자료와 비교할 때 추출된 신호의 불일치가 위음성 또는 위양성 피크를 향해 강하게 치우치지 않으며, 도 3b에 전체에 사용된 게이트되지 않은 상관 관계가 신호 추출 품질의 좋은 척도라는 것을 나타낸다.

신경망 거부

일반적으로, 인근 신경돌기(neurites)로부터의 신경 신호 및 배경 신호(신경망)로부터 신경 신호의 오염을 제거하는 것이 바람직할 수 있다. 개시된 실시형태에서, 신경망 및 매우 작은 신경돌기로부터의 확산된 형광은, 배경 제거 및 분할의 시작점으로서 표준 편차 이미지의 사용뿐만 아니라 알고리즘의 나머지 부분으로 인해 크게 거부된다. LFM과 2PM에서 동시에 기록된 마우스 피질의 평면 동영상을 제작하였다. 신호-대-배경비(signal-to-background ratio)는 200 μm깊이로 로 기록된 2PM 평면 동영상의 평균 이미지에서 ~2만큼 낮지만, 동일한 동영상의 표준 편차 이미지에서는 -20만큼 높다. 후자의 경우, 활성 세포체 및 더 큰 신경돌기와 비교할 때, 확산된 배경이 강하게 억제된다. 명확하게 체세포인, 2PM 표준 편차 이미지의 고강도 영역은 또한 LFM 기록의 대응하는 재구성된 표준 편차 이미지에서 두드러지며, 국소 최대 검색 알고리즘에 의해 확실하게 식별되고 이어서 분할된다. 이 알고리즘은 주로 활성 체세포뿐만 아니라 더 크고 매우 활동적인 신경돌기의 일부를 선택한다. 이러한 더 큰 신경돌기는 추가로 처리되며, 이들의 공간 및 시간 성분은 상기한 바와 같이 반복적으로 최적화된다. 최적화 이후, 최적화된 공간 성분은 재구성되어 이들의 형태를 보다 면밀하게 조사할 수 있다. 세포체는 콤팩트하고, 크고 구형인 반면, 신경돌기는 종종 더 큰 영역으로 확장되는데, 이는 이들의 형태로 인해, 그리고 인근 신경돌기가 이들의 상관된 활동으로 인해 동일한 공간 성분으로 병합되고 덜 규칙적인 형태를 갖기 때문이다. 이러한 차이는, 신경돌기로부터의 신호가 신경 세포체의 신호와 식별되고 제거될 수 있는, 수동 또는 자동 후-선택 처리에 사용된다.

모션 검출 및 보정

영상 기간 동안, 다른 곳에서 더욱 상세하게 기술된 바와 같이_[12], 헤드-바 홀더와 마우스 몸체 안정기(몸체 재킷)가 구비된 맞춤형 마운트를 사용하여 마우스의 머리를 고정하였고, 디스크(200 mm 직경) 상에서 자유롭게 달리게 하였다. 이는 영상화 동안 뇌의 동물 유도 모션을 상당히 감소시켰다 추가 처리 이전에 원시 SID/LFM 원시 데이터에서 잔류 모션을 검출하기 위해, 이미지 자기상관(autocorrelation)을 기반으로 하는 간단한 모션 검출 메트릭이 개발되었으며, 이는 다음과 같이 계산된다. 먼저, 원시 데이터는 SID/LFM 카메라 프레임의 시계열의 랭크-1-비음수 행렬 인수분해에 의해 배경이 제거된다. 그 다음, 모든 배경-제거 프레임 간의 차이 프레임이 계산되고, 차이 프레임의 자기상관 이미지가 계산된다. 차이 프레임에서, FOV 내의 소스의 이동은 그 자체가 이전 소스 위치에서 조명된 픽셀에서 음의 값으로, 그리고 새로운 소스 위치에서 조명된 픽셀에서 양의 값으로 나타난다. 따라서, 이들 두 세트의 픽셀의 값은 상호-상관되어서, 모션 효과의 정도에 대응하는 공간 "래그"(거리)에서 자기상관 이미지에서 음의 피크를 생성한다. 각각의 자기상관 이미지의 최소값(자기상관 이미지의 최대값으로 정규화됨)을 추출하고, 이러한 일련의 최소값의 시간 미분을 취해 LFM 원시 프레임 내의 모션에 대한 명확한 메트릭을 획득하였다. 이러한 메트릭은 동시 2PM+SID 기록으로부터의 데이터에 대해 플로팅되었다. 2PM 및 LFM/SID 원시 데이터로부터 계산된 모션 메트릭은 적절하게 일치하며, 두 메트릭 내의 피크는 고해상도 광학 컴퓨터 마우스로 실행 중인 디스크의 움직임을 추적하여 기록된 동물 모션의 시작과 관련이 있다.

SID/LFM에서, 시스템의 점-확산-함수는 (축방향 해상도를 제공하기 위해) 공간적으로 변하도록 설계되고, 따라서 소스의 이동은 고전적인 광시야 영상에서와 같이 센서 상의 이미지의 단순한 이동이 아닌, 좀더 복잡한 변형을 제공한다. 그러나, 단순히 차이 프레임 자기상관 이미지의 최소값을 취하는 것이 여전히 모션을 잘 선택한다는 것이 밝혀졌다.

모션에 의해 영향을 받는 픽셀은 신경 활동에서 비롯되지 않은 시간에 따른 높은 표준 편차를 나타내고, 따라서 SID 디믹싱과 분할의 정확도에 부정적인 영향을 줄 것이다. 따라서, 표준 편차 이미지를 계산(도 1의 단계 ii)하기 전에 임계값 이상의 모션 메트릭 값을 갖는 프레임을 배제하였다.

모션-영향 프레임으로부터의 신경 활동은 회복되지 않았다. LFM/SID는 편향되지 않은 방식으로 전체 기록 용적을 캡처하므로, 영향 받지 않는 프레임의 SID-검출 신경세포 풋프린트를 모션-영향 프레임 내의 변환된 풋프린트에 등록하여 신경세포 활동 정보를 복구하고, 소스 밝기를 추출할 수 있을 것으로 예상되었다. 위에서 언급한 바와 같이, LFM/SID 내에서의 소스(신경세포)의 이동은, LFM 내의 공간적으로 변하는 점-확산-함수로 인해, 단순한 이동이 아닌 LFM 이미지의 변환을 생성한다. 그러나, 점-확산-함수는 알려져 있으므로, 소스 위치를 이미지에 매핑하고, 모션 프레임 동안 관찰된 이미지를 가장 잘 설명하는 소스 위치의 변환을 반복적으로 찾을 수 있다. 이러한 절차는 이미지 등록을 위한 표준 최적화기(optimizer)를 기반으로 할 수 있으며, 추가 단계는 위치 추정치를 LFM 점-확산-함수로 컨볼루션하여 LFM 이미지에 매핑한다.

MiniLFM의 광 정렬

종래의 광시야 미니스코프를 MiniLFM으로 변환하기 위해, 마이크로렌즈 어레이가 이미지 평면에서 광 경로에, 그리고 CMOS 영상 센서로부터 정확히 하나의 초점 거리만큼 도입되었다. 일례에서, 마이크로렌즈 어레이는 780 μm의 초점 거리를 갖고 100 μm의 렌즈릿(lenslet) 피치로 13 x 13 mm로 측정되었다(RPC Photonics MLA-S-100-f8). 이미지 센서의 활성 표면으로부터 780 μm의 거리에 배치할 수 있도록, 열풍 납땜 리워크 스테이션(hot air soldering rework station)을 사용하여 센서를 제자리에 고정시키는 접착제를 태워 센서 커버 유리를 제거하였다.

마이크로렌즈 어레이의 후방 초점면에 CMOS 영상 센서(1280 x 1024 픽셀, 5.2 μm 픽셀 크기; ON Semiconductor, 미국)를 정확하게 배치시키기 위해, 두 소자 모두에 주문 제작한 홀더를 사용하였다. 3-축 병진 스테이지 및 고정밀 키네마틱 마운트(Thorlabs Inc., 미국)와 함께 사용하면, 장비는 마이크로미터 정확도에서 6-자유도로 이동, 회전 및 틸트가 가능하다. 확장된 시준된(collimated) 녹색 레이저 빔(532 nm)을 MLA에 수직 입사로 향하게 하고, 센서 이미지가 각각의 마이크로렌즈 뒤에서 최적의 균일한 초점을 나타낼 때까지 MLA와 센서의 상대 위치를 조정하였다.

반복 과정에서, 초점은 ImageJ 매크로(Supplementary Software)를 사용하여 분석되었고, 그에 따라 정렬이 조정되었다. MLA 회전은 프레임 전체에 라인 프로파일을 플로팅하여 간단하게 진단하였고; 입자 분석을 통해 틸트와 이동을 정량화하였다. FOV(Supplementary Software)에 걸친 3600 개 모든 지점에 대해 색상-부호화 방식으로 초점 위치와 틸트를 시각화하기 위해, 픽셀 내의 각각의 초점 레이저 스폿 영역과 스폿당 평균 강도를 실시간으로 플로팅하였다. 프레임에 걸친 피크 초점 강도의 균일한 분포는 기울기가 없음을 나타낸다. 또한, 센서가 마이크로렌즈 어레이의 초점면에 배치될 때 레이저 스폿의 면적은 가장 작다. 또한, FOV에 걸친 잘 정렬된 시스템의 각각의 지점을 크기, 강도 및 대칭성에 대해 조사하였다.

따라서, 입자 분석으로부터의 결과를 사용하여 초점 영역의 동시 최소값 및 평균 강도의 최대값에 도달한 요소의 정확한 위치를 결정하였다. 이러한 구성이 얻어지면, 입체 현미경 하에서 고점도 UV-경화 접착제(NOA63, Norland, 미국)로 구성요소를 서로 영구적으로 접착시켰다.

GRIN 대물렌즈 및 튜브 렌즈의 간격의 변화에도 불구하고, 잘 정의된 배율 및 객체-공간 작동 거리를 달성하기 위해, 현미경을 "무한대" 구성으로 작동하도록 조정하였다. 비-LFM 현미경에서, 이는 이미지 센서가 튜브 렌즈의 후방 초점면에 배치된 것을 의미한다. LFM에서, 이는 튜브 렌즈의 후방 초점면(및 상기한 정렬 절차에 의해 보장된 바와 같이 MLA의 후면 초점면에 있는 센서)에 배치된 MLA로 해석된다. "무한대" 구성을 찾기 위해, 제자리의 GRIN 대물렌즈 없이, 홍채를 통해 그리고 MiniLFM의 하단 개구부에 시준된 녹색 레이저를 조준한다. 레이저는 필터를 통과하고, 튜브 렌즈에 초점을 맞추며, 강도의 일부가 MLA 표면에서 반사되어 이전 요소를 통해 다시 전파된다. 이제, 튜브 렌즈로부터의 MLA의 거리는, MiniLFM의 하단 개구부에서 나오는 MLA 표면으로부터의 레이저의 후방 반사가 시준될 때까지 조정된다. 이는 반사면(MLA)이 튜브 렌즈의 후면 초점면에 있는 경우에만 해당된다.

소형 헤드-마운트 명시야 현미경

MiniLFM 설계는 오픈 소스 미니스코프 프로젝트_[23A]를 기반으로 한다: LED로부터의 청색 광은 볼 렌즈에 의해 시준되고, 여기 필터(Chroma ET470/40x)를 통과하고, 이색성 거울(Chroma T4951pxr)에서 반사된다. GRIN 렌즈(Edmund 64-520, 0.5NA, 0.23 피치, 직경 1.8 mm, 길이 3.93 mm, 530 nm에서 작동 거리: 약 200 μm)는 이의 초점면이 샘플의 관심 있는 샘플 영역의 축 중심과 일치하도록 수술에 의해 이식된다. 관심 영역(수술 절차는 아래 참조). 여기 광은 GRIN 렌즈를 통과하고, 이 렌즈는 또한 형광을 수집한다. 그런 다음 형광은 이색성 거울, 방출 필터(Chroma ET525/50m), 및 GRIN 전방 초점면의 8.93 배 확대 이미지를 형성하는 색지움 더블릿 튜브 렌즈(Edmund 45-207, f = 15 mm)를 통과한다. 이러한 이미지 평면에 MLA(RPC Photonics MLA-S-100-f8, f = 780 μm, 마이크로렌즈 피치 100 μm, 사각형 패턴, 간격 없음, 13 x 13 mm로 잘림, 2 mm 기판 두께)가 배치되고, 이미지 센서(On Semiconductor MT9M001C12STM, 1.3 Mpx, 5.2 μm 픽셀 크기, 롤링 셔터)가 MLA의 초점면에 배치된다. 마이크로렌즈 어레이를 수용하기 위해, 이미지 센서를 유지하는 부분을 미니스코프 설계에 비해 2.7 mm만큼 연장시켰다. MLA와 센서는 맞춤형 정렬 장치를 사용하여 서로에 대해 정렬되고, UV 경화 접착제를 사용하여 서로 접착된다. 알려진 배율을 보장하기 위해, GRIN와 튜브 렌즈의 거리는 두 렌즈가 이들 초점 거리의 합에 배치되도록 고정된다. 판독 전자장치, 펌웨어 및 소프트웨어는 Miniscope 프로젝트에서 공개한 것과 다르지 않다. 센서 칩의 전체 프레임 판독 시간은 50 ms이며, 이는 GCaMP6f 상승 시간(200 ms)에 비해 짧고; 따라서 신경세포 타이밍 추출에 대한 롤링 셔터 판독 패턴의 영향은 무시할 수 있다. 더 얇은 유리 기판(동일한 제조업체에서 0.2 mm 사용 가능)을 갖는 맞춤형 MLA를 사용에 의해 장차 전체 미니스코프의 중량을 줄일 수 있음이 주목된다. 이는 전체 무게를 ~15% 줄인다. 베이스 플레이트에 비해 MiniLFM의 안정성을 향상시키기 위해, MiniLFM 몸체 베이스의 한 측면을 얇은 1 x 1.5 mm 알루미늄 플레이트로 강화하여, 고정 나사를 이용해 베이스 플레이트에 더욱 견고하게 고정할 수 있었다. 몸체를 베이스 플레이트에 연결하기 위해 제거 가능한 접착제(예를 들어, 무게가 무시할만한 실리콘 엘라스토머)를 사용하여 안정성을 더욱 향상시킬 수 있다.

신호 추출 및 데이터 분석

원시 데이터는 최근에 확립된 SID 알고리즘_[4]을 기반으로 하는 파이프라인을 사용하여 처리되었으며, 이 알고리즘은 다음과 같이 간략하게 요약된다: 배경 제거를 위한 랭크-1-행렬 인수분해 후, 차이 프레임의 값 범위를 기반으로 하는 모션 메트릭이 계산된다. 원시 프레임의 시계열은 모션 메트릭이 임계값을 초과하는 모든 시점에서 분할되며, 결과적으로 생성된 저-모션 세그먼트는 SID 알고리즘을 사용하여 별도로 처리된다. 각각의 세그먼트에 대해 표준 편차 이미지가 계산되고 시스템의 시뮬레이션된 PSF를 이용하는 제약 디컨볼루션으로 재구성되며, 국소 최대 검색을 사용하여 분할된다. 결과적으로 생성된 신경세포 후보 위치는, 공간(시간) 성분을 고정된 상태로 유지하면서 시간(공간) 성분을 교대로 업데이트하는 제약 시공간 행렬 인수분해 알고리즘을 사용하여 반복적으로 업데이트되는 공간 풋프린트 템플릿의 사전을 시딩하는 데 사용된다. 이로 인해, 신경세포 풋프린트 세트(즉, LFM 센서 상의 각각의 신경세포 이미지 세트)와 시간 신호가 생성된다. 신경세포 풋프린트는 광학계의 상기한 시뮬레이션된 LFM PSF를 이용하는 디컨볼루션에 의해 개별적으로 재구성된다. 각각의 신경세포의 이러한 재구성된 입체 이미지는 공간 밀집도 및 예상 신경세포 크기와의 양립성에 대해 검사된다. 이어서, 모든 저-모션 세그먼트로부터의 신경세포 풋프린트 및 시간 신호가 수집된다(신경세포를 크게 중첩된 풋프린트와 병합함). 이 단계에서의 시간 신호는 더 약한 모션 이벤트로 인해 여전히 짧은 글리치(glitch)를 나타낼 수 있다. 이들 글리치는 신경세포 밝기의 갑작스런 증가 또는 감소를 나타내며, 대략 1-10 프레임 지속되며, 대부분의 신호에 걸쳐 동기화된다. 이들 모션 글리치는 (선택적 수동 추가와 함께) 상기한 모션 메트릭을 사용하여 검출되었고, 각각의 신경세포에서 GECI 반응 역학_[31A]의 모델을 학습하고 이를 사용하여 모션-영향 프레임에 걸쳐 보간함으로써 글리치에 걸쳐 신호를 보간한다. 동일한 GECI 반응 모델도 기본 발화 속도의 추정치를 산출한다. 모델은 기본 활동 전위에 대한 상대적인 형광 변화의 교정을 고려하지 않기 때문에, 결과적인 칼슘 농도 및 발화 속도 추정치는 임의의 단위로 인용된다.

동시 2-광자 현미경 검사 및 MiniLFM 기록

동시에 획득된 2-광자 현미경 검사 데이터와 비교하여 MiniLFM/SID 결과를 검증하기 위해, 깨어있는 마우스(해마 CA1에서 GCaMP6f를 발현하고, GRIN 렌즈가 이식되었으며, 금속 헤드-바 및 MiniLFM베이스 플레이트가 두개골에 부착됨; 아래에 동물 절차 참조)의 머리에 고정하였지만 마우스 머리의 정확한 위치설정 및 정렬을 가능하게 하는 원형 트레드밀 어셈블리(circular treadmill assembly)_[11A]상에서 자유롭게 걸을 수 있었다. 수정된 MiniLFM 장치를 상업용 직립형 2-광자 현미경(2PM; Scientifica Slicescope, 920 nm로 조정된 Coherent Chameleon Ultra II 레이저, Olympus PlanApo N 1.25x/0.04 대물렌즈를 구비함)에 접속시켰다. MiniLFM 몸체를 형광 방출 경로의 위치에서 절단하였으며, 2P 여기 광을 투과하고 GCaMP 방출의 70%를 반사하는 빔 스플리터(Thorlabs BST10R)를 해당 위치에 포함시켰고, 광축에 대해 45도 각도로 장착하였다. 반사된 GCaMP 방출을 두 개의 적외선 차단 필터(Thorlabs GFS900-A 및 Semrock Brightline 720SP)를 통과시켜 2P 여기 광을 제거하였고, 상기한 바와 같이 CMOS 센서에 정렬되고 부착된 마이크로렌즈 어레이로 구성된, 수정되지 않은 MiniLFM 감지 모듈로 유도했다. 투과된 GCaMP 방출을 2PM 대물렌즈로 유도하고 Slicescope 넌-디스캔드 검출 아암 내의 광전자 증배관에서 검출하였다. MiniLFM 프레임 속도를 2 Hz로 설정하였고 2PM 획득 트리거를 MiniLFM 프레임 클록에 동기화시켰다. 2PM은 형광 여기를 최대화하기 위해 각각의 MiniLFM 프레임에 대해 9 프레임을 획득하고 평균화하도록 설정되었다.

두 마리의 마우스로부터 총 n = 5의 기록을 획득하였고, 각각 180초 동안 지속되었다. MiniLFM 데이터는 상기한 바와 같이 SID 알고리즘을 사용하여 처리하였다. 2PM 데이터를 CalmAn 알고리즘_[31A]에 통과시켜 활성 신경세포를 검출하고 이들의 신호를 추출하였다. CalmAn 출력을 수동으로 검사하고, 위양성 및 위음성 검출치에 대해 교정하여 인간-검증 실측 자료(human-verified ground truth)를 확립하였다. 그리고 나서, SID 검출 신경세포를 실측 자료와 비교하고, 진/위 양성/음성으로 분류하였으며, 쌍을 이루는 SID및 실측 시간 신호 간의 상관 관계를 계산하였다. 또한, 각각의 가능한 쌍의 실측 신경 활동에 대한 상호 정보 수치 및 대응하는 쌍의 SID 활동 추적 간의 차이로서 과도한 상호 정보를 계산하였다.

동물 민첩성 정량화

마우스를 트랙의 양단에 있는 "베이스" 구역에서 제공되는 물을 보상으로 높은 선형 트랙(지면 위 37 cm, 길이 198 cm, 벽 높이 2 cm)에서 앞뒤로 달리도록 (연이어 5일 동안) 훈련시켰다. 훈련이 완료된 후, 세 가지 조건(장치 미장착, 미니스코프 장착, MiniLFM장착) 각각에 대해 오버헤드 카메라(HD 웹캠 C615, Logitech)를 사용하여 마우스 행동을 기록하였다. 세 마리 마우스 각각에 대해 한 번에 10분씩 하루에 세 번 시험(순서를 바꿔가며 각각의 조건에 대해 한 번의 시험)을 수행하였고, 시험간 휴식 기간은 1시간이었다. 시험은 연이어 3일 동안 반복되었고, 총 n = 27회 시험이 수행되었다. 동물이 트랙을 가로 지르는 횟수를 수동으로 평가하고 정지 횟수를 세면서 비디오를 분석하였다. 화면 눈금자(screen ruler)를 사용하여 트랙을 따라 이동한 거리를 측정하고, 이 값을 횡단에 필요한 시간(정지 제외)으로 나누어 속도를 계산하였다.

모션 및 모션 아티팩트로 인한 가속의 정량화

MiniLFM 헤드-장착 장치가 겪는 가속도를 측정하기 위해, 3-축 MEMS 가속도계 칩(Sparkfun ADXL335, 범위 +3 g, 축당 10 비트, 50 Hz 대역폭)이 포함된 회로 기판을 MiniLFM 센서 회로 보드의 후면에 부착하였다. 이를 5 개의 가는 와이어를 통해 Arduino 마이크로컨트롤러에 연결시켰고, 이는 원시 가속 값을 독출해 PC로 전송하였다. 원시 값은 고역-통과 필터링되어 중력의 영향을 제거하였고, 비닝(binning)되어 MiniLFM 프레임 속도와 일치시켰다.

광시야 미니스코프 기록 내의 모션 아티팩트는 [https://github.com/daharoni/Miniscope_Analysis]에 미니스코프 데이터 분석 패키지의 일부로서 공개된 재귀 FFT-기반 강성 이미지 등록 알고리즘을 적용하여 정량화되었다.

실험 모델 및 대상 세부 사항

모든 절차는 뉴욕 록펠러 대학교의 동물실험윤리위원회(Institutional Animal Care and Use Committee, IACUC)에 따랐다. 마우스는 잭슨 연구소(Jackson Laboratory)(CjacksonBL/6J)로부터 입수하였고, 전형적으로 표준 케이지에서 12시간/12시간의 명암 주기로 집단 거주시켰으며, 사료와 물이 무제한 제공되었다.

자유롭게 움직이는 마우스의 동물 수술 및 체내 Ca ²⁺ 영상

성체(P90+) 수컷 및 암컷 C57B1/6J 야생형 마우스(n = 5)를 이소플루란(1-1.5%, 분당 0.5-0.7의 유속)으로 마취시키고 뇌정위 수술틀(RWD Life Science Co., Ltd., 중국)에 넣었다. 250 nl의 AAV1.Syn.GCaMP6f.WPRE.SV40(역가 ~10¹² 바이러스 입자/ml, AV-1-PV2822 Penn Vector Core)을 후방 해마(좌표: 후방에서 정수리점까지 2.1 mm, 외측 2 mm 및 두개골 꼭대기로부터 배까지 -1.65 mm)에 주사하였다. 핵-국소화 AAV9.Syn.H2B.GCaMP6f.WPRE.Pzac2.1을 동일한 역가로 주사하였다. 주사는 광유로 채워진, 사전에 당겨지고 기울어진 유리 피펫을 사용하여 미세주입 제어기(World Precision Instruments, FL)로 이루어졌다. 주사 일주일 후, GRIN 렌즈 이식 수술을 수행하였다. 두피를 제거하고 결합 조직의 두개골을 비운 후, 주문 제작한 경량 금속 헤드-바를 시아노아크릴레이트 접착제(Krazy Glue)를 사용하여 두개골에 고정하고 검은색 치과용 시멘트(Ortho-Jet, Lang Dental, 미국)로 덮었다. 개두술의 개요는 주사 부위를 기준으로 사용하여 작성되었다. 주사 부위로부터, 개두술의 중간점을 정수리점에 0.5 mm 더 가깝게 설정하였다. 두개골을 제거한 후, 뇌량이 보일 때까지 피질에 풍부한 냉 식염수를 흡입시키고, 수직 줄무늬가 보일 때까지 수평 줄무늬를 조심스럽게 제거하였다. 전체 영역이 깨끗해지고 출혈이 멈추었을 때, GRIN 렌즈를 두개골 꼭대기에서 1.35 mm 깊이까지 천천히 삽입하고 Vetbond (3M)를 사용하여 제자리에 접착시켰다. 건조되면, 두개골의 나머지 부분은 검은색 치과용 시멘트로 덮여 있었다. 수술후 감염 및 수술후 통증을 방지하기 위해, 마우스에 항생제 첨가제(트리메토프림 및 설파메톡사졸, Purina Mod 5053, LabDiet, MO)를 2주 동안 펠렛으로 공급하였고, 1 mg/ml 멜록시캄을 3일 내지 5일 동안 복강내 주사(Putney, UK)하였다. 마지막 수술 2주 후, 마우스를 마취시키고, 소형 현미경의 베이스 플레이트를 부착하기 위해 다시 뇌정위 수술틀에 놓았다. 이를 위해, 베이스 플레이트는 MiniLFM에 부착되고, 조명된 FOV가 이미지 센서의 중심에 놓일 때까지 베이스 플레이트 방향의 정렬이 수동으로 조정되고, 센서 상의 마이크로렌즈 어레이에 의한 확산 조명으로 형성된 밝은 원은 FOV의 중심에 대해 대칭으로 나타난다. 베이스 플레이트는 이후 치과용 시멘트와 Krazy Glue를 사용하여 제자리에 접착된다. 치과용 시멘트가 경화되자마자 MiniLFM이 제거되고, 동물은 사육 케이지로 되돌려 보낸다. 그 후, 동물은 영상화할 준비가 된다.

1시간 이하 지속되는 실험 기간에 영상화를 수행하였다. 부착된 베이스 플레이트에 MiniLFM을 끼우고, 베이스 플레이트뿐만 아니라 MiniLFM의 바닥면에 내장된 소형 자석에 의해 제자리에 유지되고, 추가로 고정 나사에 의해 고정되었다. 마우스를 넓은 경기장 또는 선형 트랙에 배치하여, 기록 기간 동안 자유롭게 걷게 하였다.

5 마리 동물로부터 총 12 개의 신경세포 기록을 분석하였다(동시 2PM-MiniLFM 검증 기록 포함). 모든 준비 동물 절차가 신호 검출을 가능하게 하도록 충분히 잘 활동한 동물을 연구에 포함시켰다. 표준 2-광자 현미경을 사용하여 동물 절차(수술 및 바이러스 주사/GECI 발현)가 성공적인 것으로 확인된 경우, 동일한 동물의 영상 기간 및 동물들 모두에 대해, 영상 결과 및 데이터 품질이 확실하게 재현 가능한 것으로 밝혀졌다. 본 연구의 목적은 어떠한 생물학적 발견보다는 신경 기록 방법을 확립하는 것이기 때문에, 이 샘플 크기는 개시된 방법의 성능을 검증하기에 충분하다.

표준 2-광자 현미경을 사용하여 검증된 바와 같이, 모든 준비 동물 절차가 신호 검출을 가능하게 하도록 (즉, 관찰 가능한 GECI 발현, 이식된 GRIN 렌즈의 정확한 배치) 충분히 잘 활동한 동물만이 연구에 포함되었다. 이들 동물 중 어느 것도 배제하지 않았다.

동물 절차(수술 및 바이러스 주사/GECI 발현)가 (표준 2-광자 현미경을 사용하여 검증된 바와 같이) 성공적인 모든 동물에 대해, 동일한 동물의 영상 기간 및 동물들 모두에 대해, 영상 및 데이터 분석 결과를 확실하게 재현하였다.

소프트웨어 및 컴퓨팅 시스템

MiniLFM 정렬 및 데이터 분석 파이프라인을 위한 커스텀 코드(Custom code)를 개발하였다. LFM 정렬을 위한 초점 분석을 구현하는 Custom-written Java (ImageJ/Fiji, release 2017-05-30) and R (v3.x)코드 및 신호 추출과 모션 감지 파이프라인을 구현하는 Matlab(2017a) 코드를 또한 본문 및 온라인 방법에 기술된 바와 같이 개발하였다. Nobauer, T. 등의 선행 간행물(Video rate volumetric Ca²⁺ imaging across cortex using seeded iterative demixing (SID) microscopy. Nat Meth 14, 811-818 (2017), doi: 10.1038/nmeth.4341)과 함께 Supplementary Software로 공개된 SID Matlab 패키지, 및 이 패키지와 함께 제공되는 README.txt 파일에 나열된 종속성이 필요하다.

본원에 개시된 하나 이상의 실시형태 또는 이의 일부는 컴퓨터 또는 워크스테이션에서 실행되는 소프트웨어를 이용할 수 있다. 예로서, 오직 그리고 제한 없이, 도 4는 컴퓨팅 시스템(400) 형태의 기계의 실시형태의 블록도이며, 여기에는, 실행될 때 기계로 하여금 개시된 주제의 실시형태에 따른 하나 이상의 방법을 수행하도록 하는 일련의 명령(402)이 있다. 하나 이상의 실시형태에서, 기계는 독립형 장치로서 작동하고; 하나 이상의 다른 실시형태에서, 기계는 (예를 들어, 네트워크(422)를 통해) 다른 기계에 연결된다. 네트워크 구현에서, 기계는 서버-클라이언트 사용자 네트워크 환경에서 서버 또는 클라이언트 사용자 기계의 자격으로 작동한다. 개시된 주제의 실시형태에서 고려되는 바와 같은 기계의 예시적인 구현은 서버 컴퓨터, 클라이언트 사용자 컴퓨터, 개인용 컴퓨터(PC), 태블릿 PC, 개인 휴대 정보 단말기(PDA), 셀룰러 전화기, 모바일 장치, 팜톱 컴퓨터, 랩톱 컴퓨터, 데스크톱 컴퓨터, 통신 장치, 개인 신뢰 장치, 웹 기기, 네트워크 라우터, 스위치 또는 브리지, 또는 기계가 수행할 행동을 지정하는 일련의 명령(순차적 또는 기타)을 실행할 수 있는 임의의 기계를 포함하지만 이에 한정되지 않는다.

컴퓨팅 시스템(400)은, 처리 장치(들)(404)(예를 들어, 중앙 처리 장치(CPU), 그래픽 처리 장치(GPU) 또는 둘 모두)와, 프로그램 메모리 장치(들)(406), 및 데이터 메모리 장치(들)(408)를 포함하고, 이들은 버스(410)를 통해 서로 통신한다. 컴퓨팅 시스템(400)은 디스플레이 장치(412)(들)(예를 들어, 액정 디스플레이(LCD), 평면 패널, 반도체 디스플레이, 또는 음극선관(CRT))를 더 포함한다. 컴퓨팅 시스템(400)은 입력 장치(들)(414)(예를 들어, 키보드)와, 커서 제어 장치(들)(416)(예를 들어, 마우스)와, 디스크 드라이브 유닛(들)(418)과, 신호 생성 장치(들)(420)(예를 들어, 스피커 또는 리모콘), 및 인터페이스 장치(들)(424)를 포함하고, 이들은 버스(410)를 통해 서로 및/또는 다른 기능 블록과 함께 작동 가능하게 결합된다.

디스크 드라이브 유닛(들)(418)은 기계-판독 가능 매체(들)(426)를 포함하고, 여기에는 본원에 예시된 방법을 포함하여 본원의 하나 이상의 방법 또는 기능을 사용하는 하나 이상의 명령(402)(예를 들어, 소프트웨어) 세트가 저장된다. 명령(402)은 또한 컴퓨팅 시스템(400)에 의해 실행되는 동안 프로그램 메모리 장치(들)(406), 데이터 메모리 장치(들)(408) 및/또는 처리 장치(들)(404) 내에 완전히 또는 적어도 부분적으로 상주할 수 있다. 프로그램 메모리 장치(들)(406)와 처리 장치(들)(404)는 또한 기계-판독 가능 매체를 구성한다. ASIC, 프로그램 가능 로직 어레이, 및 기타 하드웨어 장치와 같은, 그러나 이에 한정되지 않는, 전용 하드웨어 구현은 본원에 기술된 방법을 구현하도록 구성될 수 있다. 다양한 실시형태의 장치 및 시스템을 포함하는 응용은 다양한 전자 및 컴퓨터 시스템을 광범위하게 포함한다. 일부 실시형태는, 모듈 간에 그리고 모듈을 통해, 또는 ASIC의 일부로서 통신되는 관련 제어 및 데이터 신호를 갖는 두 개 이상의 특정의 상호 연결된 하드웨어 모듈 또는 장치에서 기능을 구현한다. 따라서, 예시적인 시스템은 소프트웨어, 펌웨어 및/또는 하드웨어 구현에 적용 가능하다.

본원에서 사용되는 "처리 장치"라는 용어는, 예를 들어, CPU(중앙 처리 장치) 및/또는 다른 형태의 처리 회로를 포함하는 것과 같은 임의의 프로세서를 포함한다. 또한, "처리 장치"라는 용어는 하나 이상의 개별 프로세서를 의미할 수 있다. "메모리"라는 용어는, 예를 들어, RAM(랜덤 액세스 메모리), ROM(판독 전용 메모리), 고정 메모리 장치(예를 들어, 하드 드라이브), 착탈식 메모리 장치(예를 들어, 디스켓), 플래시 메모리 등과 같은 프로세서 또는 CPU와 관련된 메모리를 포함한다. 또한, 디스플레이 장치(들)(412), 입력 장치(들)(414), 커서 제어 장치(들)(416), 신호 생성 장치(들)(420) 등은 총괄적으로 "입력/출력 인터페이스"라 할 수 있고, 처리 장치(들)(404)에 데이터를 입력하기 위한 하나 이상의 메커니즘, 및 처리 장치(들)와 관련된 결과를 제공하기 위한 하나 이상의 메커니즘을 포함한다. 입/출력 또는 I/O 장치(키보드(예를 들어, 영숫자 입력 장치(들)(414), 디스플레이 장치(들)(412) 등)를 포함하지만 이에 한정되지 않음)는 시스템에 직접(예를 들어, 버스(410)를 통해) 또는 이들 사이의 입력/출력 제어기(명확성을 위해 생략됨)를 통해 결합될 수 있다.

개시된 주제의 하나 이상의 실시형태의 집적 회로 구현에서, 다수의 동일한 다이(die)가 일반적으로 반도체 웨이퍼의 표면 상에 반복된 패턴으로 제조된다. 각각의 이러한 다이는 본원에 기술된 장치를 포함할 수 있고, 다른 구조 및/또는 회로를 포함할 수 있다. 각각의 다이는 웨이퍼로부터 절단되거나 다이싱(dicing)된 후 집적 회로로서 패키징된다. 본 기술 분야의 숙련자는 집적 회로를 제조하기 위해 웨이퍼를 다이싱하고 다이를 패키징하는 방법을 알고 있을 것이다. 첨부 도면에 예시된 임의의 예시적인 회로 또는 방법 또는 이의 일부는 집적 회로의 일부일 수 있다. 이렇게 제조된 집적 회로는 개시된 본 주제의 일부로 간주된다.

개시된 주제의 실시형태에 따른 집적 회로는 본질적으로 버퍼가 사용되는 임의의 응용 및/또는 전자 시스템에서 사용될 수 있다. 개시된 주제의 하나 이상의 실시형태를 구현하기 위한 적절한 시스템은 개인용 컴퓨터, 인터페이스 장치(예를 들어, 인터페이스 네트워크, 고속 메모리 인터페이스(예를 들어, DDR3, DDR4) 등), 데이터 저장 시스템(예를 들어, RAID 시스템), 데이터 서버 등을 포함하지만 이에 한정되지 않는다. 이러한 집적 회로를 포함하는 시스템은 개시된 주제의 실시형태의 일부로 간주된다. 본원에 제공된 교시를 고려할 때, 본 기술 분야의 숙련자는 다른 구현 및 응용을 고려할 수 있을 것이다.

다양한 실시형태에 따르면, 본원에 기술된 방법, 기능 또는 로직은 컴퓨터 프로세서에서 실행되는 하나 이상의 소프트웨어 프로그램으로서 구현된다. 주문형 반도체, 프로그램 가능 로직 어레이 및 다른 하드웨어 장치를 포함하지만 이에 한정되지 않는 전용 하드웨어 구현도 마찬가지로 본원에 기술된 방법을 구현하도록 구성될 수 있다. 또한, 분산 처리 또는 구성요소/객체 분산 처리, 병렬 처리, 또는 가상 기계 처리를 포함하지만 이에 한정되지 않는 대안적인 소프트웨어 구현이 또한 본원에 기술된 방법, 기능 또는 로직을 구현하도록 구성될 수 있다.

실시형태는, 명령(402)을 포함하거나, 전파된 신호로부터 명령(402)을 수신하고 실행하여 네트워크 환경(422)에 연결된 장치가 음성, 비디오 또는 데이터를 송수신하고, 명령(402)을 사용하여 네트워크(422)를 통해 통신할 수 있도록 하는 기계-판독 가능 매체 또는 컴퓨터-판독 가능 매체를 고려한다. 명령(402)은 또한 네트워크 인터페이스 장치(들)(424)를 통해 네트워크(422) 상에서 송수신된다. 기계-판독 가능 매체는 또한 본원의 시스템 및 방법의 예시적인 실시형태에서 데이터와 기계 또는 컴퓨터 사이의 기능적 관계를 제공하는 데 유용한 데이터를 저장하기 위한 데이터 구조를 포함한다.

기계-판독 가능 매체(402)가 예시적인 실시형태에서 단일 매체로 도시되어 있지만, "기계-판독 가능 매체"라는 용어는 하나 이상의 명령 세트를 저장하는 단일 매체 또는 다중 매체(예를 들어, 중앙 집중식 또는 분산 데이터베이스, 및/또는 연관된 캐시 및 서버)를 포함하는 것으로 간주되어야 한다. "기계-판독 가능 매체"라는 용어는 또한, 기계에 의해 실행될 명령 세트를 저장, 인코딩 또는 운반할 수 있고, 기계로 하여금 실시형태의 하나 이상의 방법을 수행하도록 하는 임의의 매체를 포함하는 것으로 간주되어야 한다. "기계-판독 가능 매체"라는 용어는 따라서 반도체 메모리(예를 들어, 반도체 드라이브(SSD), 플래시 메모리 등); ROM(판독 전용 메모리) 또는 다른 비휘발성 메모리; 랜덤 액세스 메모리(RAM) 또는 다른 재기록 가능(휘발성) 메모리; 디스크 또는 테이프와 같은 광자기 또는 광 매체를 포함하지만 이에 한정되지 않는 것을 간주되어야 하고; 및/또는 이메일 또는 다른 자체-포함 정보 아카이브 또는 아카이브 세트에 대한 디지털 파일 첨부는 유형의 저장 매체와 동등한 분배 매체로 간주된다. 따라서, 실시형태는, 본원에 열거되고, 본원의 소프트웨어 구현이 저장되는 기술-인식 등가물 또는 후속 매체를 포함하는, 하나 이상의 유형의 기계-판독 매체 또는 유형의 분산 매체를 포함하는 것으로 간주된다.

본원의 방법, 기능 및/또는 로직을 구현하는 소프트웨어는, 디스크 또는 테이프와 같은 자기 매체; 디스크와 같은 광자기 또는 광 매체; 또는 하나 이상의 판독 전용(비휘발성) 메모리, 랜덤 액세스 메모리 또는 다른 재기록 가능(휘발성) 메모리를 수용하는 메모리 자동차 또는 다른 패키지와 같은 반도체 매체와 같은 유형의 저장 매체에 선택적으로 저장된다. 이메일 또는 다른 자체-포함 정보 아카이브 또는 아카이브 세트에 대한 디지털 파일 첨부는 유형의 저장 매체와 동등한 분배 매체로 간주된다. 따라서, 본 개시는 본원에 열거된 바와 같은 유형의 저장 매체 또는 분배 매체 및 본원의 소프트웨어 구현이 저장되는 다른 등가물 및 후속 매체를 포함하는 것으로 간주된다.

본 명세서는 특정 표준 및 프로토콜을 참조하여 실시형태에서 구현된 구성요소 및 기능을 설명하지만, 실시형태는 이러한 표준 및 프로토콜로 제한되지 않는다.

본원에 기술된 실시형태의 예시는 다양한 실시형태의 구조에 대한 일반적인 이해를 제공하기 위한 것이며, 이들 실시형태는 본원에 기술된 구조를 이용할 수 있는 장치 및 시스템의 모든 요소 및 특징의 완전한 설명을 제공하기 위한 것은 아니다. 상기 설명을 검토할 때 많은 다른 실시형태가 본 기술 분야의 숙련자에게 명백할 것이다. 구조적 및 논리적 대체 및 변경이 본 개시의 범위를 벗어나지 않고 이루어지도록 다른 실시형태가 이용되고 그로부터 도출된다. 또한, 도면은 단지 표현일 뿐이며 일정한 비율로 그려지지 않았다. 도면의 특정 비율은 과장되는 반면, 다른 비율은 감소한다. 따라서, 명세서 및 도면은 제한적인 것이 아니라 예시적인 것으로 간주되어야 한다.

이러한 실시형태들은 단지 편의상 그리고 사실상 하나 이상의 실시형태가 도시된 경우 본 출원의 범위를 임의의 단일 실시형태 또는 발명의 개념으로 자발적으로 제한하려는 의도 없이 "실시형태"라는 용어에 의해 개별적으로 및/또는 집합적으로 본원에서 언급된다. 따라서, 특정 실시형태가 본원에 예시되고 기술되었지만, 동일한 목적을 달성하기 위해 계획된 임의의 구성이 도시된 특정 실시형태를 대체하는 것으로 이해되어야 한다. 본 개시는 다양한 실시형태의 임의의 및 모든 적응 또는 변형을 포함한다. 상기 실시형태와 본원에서 구체적으로 기술되지 않은 다른 실시형태의 조합은 상기 설명을 검토할 때 본 기술 분야의 숙련자에게 명백할 것이다. 상기 실시형태의 설명에서, 본 개시를 간소화하기 위해 다양한 특징이 단일 실시형태에서 함께 그룹화된다. 본 개시의 방법은 청구된 실시형태가 각각의 청구범위에 명시적으로 언급된 것보다 더 많은 특징을 갖는다는 것을 반영하는 것으로 해석되어서는 안 된다. 오히려, 다음의 청구범위가 반영하는 바와 같이, 본 발명의 주제는 단일 실시형태의 모든 특징보다 적다. 따라서, 다음의 청구범위는 상세한 설명에 포함되며, 각각의 청구범위는 그 자체가 별도의 예시적인 실시형태에 의거한다.

독자가 기술적 개시 내용의 본질을 신속하게 확인할 수 있도록 하는 초록이 요구하는 37 C.F.R. § 1.72(b)를 준수하도록 요약이 제공된다. 이는 청구범위의 범위 또는 의미를 해석하거나 제한하기 위해 사용되지 않을 것이라는 조건 하에 제출된다. 또한, 상기 상세한 설명에서, 본 개시를 간소화하기 위해 다양한 특징들이 단일 실시형태에서 함께 그룹화됨을 알 수 있다. 본 개시의 방법은 청구된 실시형태가 각각의 청구범위에 명시적으로 언급된 것보다 더 많은 특징을 요구한다는 의도를 반영하는 것으로 해석되어서는 안 된다. 오히려, 다음의 청구범위가 반영하는 바와 같이, 본 발명의 주제는 단일 실시형태의 모든 특징보다 적다. 따라서, 다음의 청구범위는 상세한 설명에 포함되며, 각각의 청구범위는 그 자체가 개별적으로 청구된 주제에 의거한다.

특정 예시적인 실시형태가 기술되었지만, 본원에 기술된 본 발명의 광범위한 주제를 벗어나지 않고 이들 실시형태에 대해 다양한 수정 및 변경이 이루어질 수 있음이 명백할 것이다. 따라서, 명세서 및 도면은 제한적인 것이 아니라 예시적인 것으로 간주되어야 한다. 본원의 일부를 형성하는 첨부 도면은 주제가 실시되는 특정 실시형태를 예시로서, 그리고 제한 없이 도시한다. 예시된 실시형태는 본 기술 분야의 숙련자가 본원의 교시를 실시할 수 있도록 충분히 상세하게 기술된다. 구조적 및 논리적 대체 및 변경이 본 개시의 범위를 벗어나지 않고 이루어지도록 다른 실시형태가 이용되고 그로부터 도출된다. 따라서, 이러한 상세한 설명은 제한적인 의미로 간주되어서는 안 되며, 다양한 실시형태의 범위는, 첨부된 청구범위가 자격을 부여하는 모든 등가물과 함께 첨부된 청구범위에 의해서만 정의된다.

본원에 제공된 교시를 고려할 때, 본 기술 분야의 숙련자는 개시된 실시형태의 기술의 다른 구현 및 응용을 고려할 수 있을 것이다. 예시적인 실시형태가 첨부 도면을 참조하여 본원에서 기술되었지만, 이들 실시형태는 개시된 실시형태로 제한되지 않으며, 첨부된 청구범위를 벗어나지 않고 본 기술 분야의 숙련자에 의해 다양한 다른 변경 및 수정이 본원에서 이루어지는 것을 알아야 한다.

참조문헌

1. Chen et al., Nature 499, 295-300 (2013).

2. Schrodel et al., Nat. Methods 10, 1013-1020 (2013).

3. Nguyen et al., Proc. Natl. Acad. Sci. 113, E1074-E1081 (2016).

4. Prevedel et al., Nat. Methods 11, 727-730 (2014).

5. Ahrens et al., Nat. Methods 10, 413-420 (2013).

6. Denk et al., Science 248, 73-76 (1990).

7. Helmchen et al., Nat. Methods 2, 932-940 (2005).

8. Ji et al., Nat. Neurosci. 19, 1154-1164 (2016).

9. Grewe et al., Nat. Methods 7, 399-405 (2010).

10. Botcherby et al., Proc. Natl. Acad. Sci. 109, 2919-2924 (2012).

11. Kirkby et al., Opt. Express 18, 13720 (2010).

12. Cheng et al., Nat. Methods 8, 139-142 (2011).

13. Kim et al., Opt. Express 15, 11658 (2007).

14. Stirman et al., Wide field-of-view, twin region two-photon imaging across extended cortical networks. (2014). at http://biorxiv.org/lookup/doi/10.l101/011320

15. Reddy et al., Nat. Neurosci. 11, 713-720 (2008).

16. Katona et al., Nat. Methods 9, 201-208 (2012).

17. Fernandez-Alfonso et al., J. Neurosci. Methods 222, 69-81 (2014).

18. Prevedel et al., Nat. Methods advance online publication, (2016).

19. Huisken, J. Science 305, 1007-1009 (2004).

20. Wu, et al., Proc. Natl. Acad. Sci. 108, 17708-17713 (2011).

21. Chhetri et al., Nat. Methods 12, 1171-1178 (2015).

22. Bouchard et al., Nat. Photonics 9, 113-119 (2015).

23. Yang, et al, Neuron 89, 269-284 (2016).

24. Abrahamsson et al., Nat. Methods 10, 60-63 (2012).

25. Packer et al., Nat. Methods 12, 140-146 (2015).

26. Levoy et al., ACM Trans. Graph. 25, 924 (2006).

27. Broxton et al., Opt. Express 21, 25418-25439 (2013).

28. Cohen et al., Opt. Express 22, 24817-24839 (2014).

29. Pegard et al., Optica 3, 517 (2016).

30. Liu et al., Opt. Express 23, 14461 (2015).

31. Kaifosh et al., Front. Neuroinformatics 8, 80 (2014).

32. Pachitariu et al., Extracting regions of interest from biological images with convolutional sparse block coding, in Adv. Neural Inf. Process. Syst. 1745-1753 (2013). at <http://papers.nips.cc/paper/5167-extracting-regions-of-interest-from-biological-imageswith-convolutional-sparse>

33. Mukamel et al., Neuron 63, 747-760 (2009).

34. Pnevmatikakis et al., Neuron (2016). at http://www.sciencedirect.com/science/article/pii/S0896627315010843

35. Maruyama et al., Neural Netw. Off. J. Int. Neural Netw. Soc. 55, 11-19 (2014).

36. Haeffele et al., Structured Low-Rank Matrix Factorization: Optimality, Algorithm, and Applications to Image Processing, in Proc. 31st Int. Conf. Mach. Learn. 32, (JMLR:, 2014).

37. Diego Andilla, F. & Hamprecht, F. A. in Adv. Neural Inf. Process. Syst. 27 (eds. Ghahramani, Z., Welling, M., Cortes, C, Lawrence, N. D. & Weinberger, K. Q.) 64-72 (Curran Associates, Inc., 2014). at <http://papers.nips.cc/paper/5342-sparse-space-timedeconvolution-for-c alcium-image-analysis.pdf >

38. Nairat et al., Approach for incorporating aerosol scattering in wave optics propagation simulation in 2013 IEEE Aero sp. Conf. 1-5 (2013) doi: 10.1109/AERO.2013.6497321

39. Jacques, S. L., Phys. Med. Biol. 58, R37 (2013).

40. Dombeck et al., Nat. Neurosci. 13, 1433-1440 (2010).

41. Kaifosh et al., Nat. Neurosci. 16, 1182-1184 (2013).

42. Graves et al., Neuron 76, 776-789 (2012).

43. Waller et al., Nature 523, 416-417 (2015).

44. Zhou et al., Efficient and accurate extraction of in vivo calcium signals from microendoscopic video data, in (2015). at https://www.semanticscholar.org/paper/Efficient-and-accurate-extraction-of-in-vivo-Zhou-Resendez/e57db51b5518da58ae734ff58014f3a862b30b0e

45. Apthorpe et al., Automatic Neuron Detection in Calcium Imaging Data Using Convolutional Networks. ArXivl60607372 Cs Q-Bio (2016). at http://arxiv.org/abs/1606.07372

46. Wang et al., Nat. Commun. 6, (2015).

1A. Ji et al., Nat. Neurosci. 19, 1154-1164 (2016).

2A. Yang et al., Nat. Methods 14, 349-359 (2017).

3A. Prevedel et al., Nat. Methods 11, 727-730 (2014).

4A. Nobauer et al., Nat. Methods 14, 811-818 (2017).

5A. Pegard et al., Optica 3, 517 (2016).

6A. Huisken et al., Science 305, 1007-1009 (2004).

7A. Ahrens et al., Nat. Methods 10, 413-420 (2013).

8A. Chhetri et al., Nat. Methods 12, 1171-1178 (2015).

9A. Bouchard et al., Nat. Photonics 9, 113-119 (2015).

10A. Schrodel et al., Nat. Methods 10, 1013-1020 (2013).

11A. Prevedel et al., Nat. Methods 13, 1021-1028 (2016).

12A. Duemani Reddy et al., Nat. Neurosci. 11, 713-720 (2008).

13A. Yang et al., Neuron 89, 269-284 (2016).

14A. Katona et al., Nat. Methods 9, 201-208 (2012).

15A. Fernandez-Alfonso, et al., J. Neurosci. Methods 222, 69-81 (2014).

16A. Botcherby et al., Proc. Natl. Acad. Sci. 109, 2919-2924 (2012).

17A. Lu, et al., Nat. Neurosci. 20, 620-628 (2017).

18A. Song, et al., Nat. Methods 14, 420-426 (2017).

19A. Chen et al., Nature 499, 295-300 (2013).

20A. Helmchen et al., Neuron 31, 903-912 (2001).

21A. Flusberg et al., Nat. Methods 5, 935-938 (2008).

22A. Ghosh, et al., Nat. Methods 8, 871-878 (2011).

23A. Cai et al., Nature 534, 115-118 (2016).

24A. Barbera, et al., Neuron 92, 202-213 (2016).

25A. Sabharwal et al., Appl. Opt. 38, 7133-7144 (1999).

26A. Jung et al, J. Neurophysiol. 92, 3121-3133 (2004).

27A. Flusberg et al., Opt. Lett. 30, 2272-2274 (2005).

28A. Ziv et al., Nat. Neurosci. 16, 264-266 (2013).

29A. Levoy, et al., ACM Trans. Graph. 25, 924 (2006).

30A. Broxton et al., Opt. Express 21, 25418-25439 (2013).

31A. Pnevmatikakis et al., Neuron 89, 285-299 (2016).

32A. Matz et al., Opt. Express 24, 10987-11001 (2016).

Claims (24)

1. 영상 장치 인터페이스와,
   영상 장치 인터페이스에 작동 가능하게 결합되는 처리 장치, 및
   컴퓨터 판독 가능 매체를 포함하는 영상 신호 추출 장치로서, 컴퓨터 판독 가능 매체는, 처리 장치에 의해 실행될 때,
   a) 영상 장치 인터페이스로부터 획득된 영상 정보로부터 2차원 이미지를 생성함으로써, 영상 정보의 탄도 성분(ballistic component)을 추정하는 동작과;
   b) 2차원 이미지를 리매핑하여 3차원 이미지를 생성하는 동작과;
   c) 3차원 이미지 내의 후보 객체를 식별하는 동작과;
   d) 후보 객체의 3차원 이미지를 영상 장치와 관련된 점-확산-함수(point-spread-function)로 매핑하여 후보 객체의 추정 공간 순방향 모델(estimated spatial forward model)을 획득하는 동작과;
   e) 후보 객체의 추정 공간 순방향 모델과 추정 시간 성분을 사용하여 배경-보정 데이터를 획득하는 동작; 및
   f) 후보 객체에 대해 수렴에 도달할 때까지 추정 공간 순방향 모델과 추정 시간 성분을 반복적으로 업데이트함으로써, 신호 정보를 추출하는 동작을 포함하는 동작을 수행하는 명령을 포함하는, 영상 신호 추출 장치.
   
2. 제 1 항에 있어서,
   영상 신호 추출 장치는 명시야 현미경인, 영상 신호 추출 장치.
   
3. 제 1 항에 있어서,
   2차원 이미지는 2차원 표준 편차 이미지인, 영상 신호 추출 장치.
   
4. 제 1 항에 있어서,
   리매핑하여 3차원 이미지를 생성하는 동작은 이차원 이미지를 디컨볼루션(deconvolving)하는 동작을 포함하는, 영상 신호 추출 장치.
   
5. 제 1 항에 있어서,
   매핑하여 후보 객체의 추정 공간 순방향 모델을 획득하는 동작은 후보 객체의 3차원 이미지를 영상 장치와 관련된 점-확산-함수로 컨볼루션(convolving)하는 동작을 포함하는, 영상 신호 추출 장치.
   
6. 제 1 항에 있어서,
   동작 (a) 전에, 영상 장치 인터페이스를 사용하여, 영상 장치에 의해 획득된 배경 정보가 제거되는, 영상 신호 추출 장치.
   
7. 제 6 항에 있어서,
   배경 정보는 명시야 현미경으로부터 획득된 배경 형광인, 영상 신호 추출 장치.
   
8. 제 6 항에 있어서,
   배경 정보의 제거는 랭크-1-행렬 인수분해(rank-1-matrix factorization)를 적용하는 동작을 포함하는, 영상 신호 추출 장치.
   
9. 제 1 항에 있어서,
   동작 (a)는 카메라 프레임의 시계열의 표준 편차를 결정하는 동작을 포함하는, 영상 신호 추출 장치.
   
10. 제 1 항에 있어서,
    동작 (b)는 영상 장치와 관련된, 수치적으로 시뮬레이션된 점-확산-함수를 사용하는 동작을 포함하는, 영상 신호 추출 장치.
    
11. 제 1 항에 있어서,
    동작 (b) 전에, 2차원 표준 편차 이미지가 잔류 배경 활동을 배제하도록 임계화되는, 영상 신호 추출 장치.
    
12. 제 1 항에 있어서,
    동작 (b)는 총-변동(total-variation)과 희소성 제약(sparsity constraint)을 매핑에 통합하여 재구성 아티팩트(reconstruction artefact)를 감소시키는 동작을 더 포함하는, 영상 신호 추출 장치.
    
13. 제 12 항에 있어서,
    재구성 아티팩트를 감소시키는 동작은 다음 방정식을 적용하는 동작을 포함하고;
    x_n+1 = x_n (P^Ty / Py+λ 1_dim(x)),
    여기서 x는 용적 추정치를 나타내고, 1_dim(x)는 x와 동일한 차원을 갖는 벡터를 나타내고, P는 점-확산-함수를 나타내고, λ는 희소성-촉진 항(sparsity-encouraging term)의 가중치를 나타내며, y는 배경이 제거된 원시 데이터를 나타내는, 영상 신호 추출 장치.
    
14. 제 1 항에 있어서,
    동작 (c)는 객체 형태와 양립할 수 없는 공간 주파수를 억제하기 위해 공간 분할(spatial segmentation)을 이용하는 동작을 포함하는, 영상 신호 추출 장치.
    
15. 제 14 항에 있어서,
    공간 분할은,
    3차원 이미지에 대역 통과 필터를 적용하는 동작과;
    배경 아티팩트를 배제하기 위해 임계화하는 동작; 및
    국소 최대 검색 알고리즘(local maximum search algorithm)을 적용하는 동작을 포함하는, 영상 신호 추출 장치.
    
16. 제 1 항에 있어서,
    후보 객체의 3차원 이미지를 영상 장치와 관련된 점-확산-함수로 매핑하는 동작 (d)는 희소 비음수(sparse non-negative) p x n 행렬 S_i를 생성하는 동작을 포함하고, 여기서 n은 객체 후보의 수이고, p는 픽셀의 수이며, i는 반복 수이고, 여기서 S₀은 후보 객체의 초기 공간 순방향 모델인, 영상 신호 추출 장치.
    
17. 제 6 항에 있어서,
    배경-보정 데이터를 획득하는 동작은 S₀과 T₀의 행렬 곱을 사용하여 p x t 행렬(Y)을 생성하는 동작을 포함하고, 여기서 T_i는 시간 성분의 비음수 n x t 행렬이고, t는 기록 내의 시간 간격의 수인, 영상 신호 추출 장치.
    
18. 제 17 항에 있어서,
    T_i는 희소성 제약으로 적응형 리처드슨-루시-타입 솔버(adapted Richardson-Lucy-type solver)를 반복적으로 반복적으로 적용함으로써 획득되는, 영상 신호 추출 장치.
    
19. 제 18 항에 있어서,
    추정 공간 순방향 모델과 추정 시간 성분을 반복적으로 업데이트하는 동작은,
    (i) 추정 T_i를 일정하게 유지하면서, 업데이트된 추정치 S_i를 획득하고, 추정 S_i를 일정하게 유지하면서, 업데이트된 추정치 T_i를 획득하는 동작; 및
    (ii) 객체 후보에 대해 수렴에 도달할 때까지 동작 (i)를 반복적으로 반복하는 동작을 포함하는, 영상 신호 추출 장치.
    
20. 제 1 항에 있어서,
    후보 객체는 신경세포인, 영상 신호 추출 장치.
    
21. 영상 장치 인터페이스와,
    영상 장치 인터페이스에 작동 가능하게 결합되는 처리 장치, 및
    컴퓨터 판독 가능 매체를 포함하는 영상 신호 추출 장치로서, 컴퓨터 판독 가능 매체는, 처리 장치에 의해 실행될 때,
    a) 영상 장치 인터페이스로부터 획득된 영상 정보로부터 2차원 이미지를 생성함으로써, 영상 정보의 탄도 성분을 추정하는 동작과;
    b) 2차원 이미지를 리매핑하여 3차원 이미지를 생성하는 동작과;
    c) 3차원 이미지 내의 후보 객체를 식별하는 동작과;
    d) 후보 객체의 3차원 이미지를 영상 장치와 관련된 점-확산-함수로 매핑하여 후보 객체의 추정 공간 순방향 모델을 획득하는 동작과;
    e) 후보 객체의 추정 공간 순방향 모델과 추정 시간 성분을 사용하여 배경-보정 데이터를 획득하는 동작; 및
    f) 후보 객체에 대해 수렴에 도달할 때까지 추정 공간 순방향 모델과 추정 시간 성분을 반복적으로 업데이트함으로써, 신호 정보를 추출하는 동작을 포함하고, 영상 장치 인터페이스는, 미니스코프 플랫폼(Miniscope platform), 이식형 내시경 GRIN 릴레이(implanted endoscopic GRIN relay), 센서, 및 마이크로렌즈 어레이(microlens array)를 사용하여 개발된 하드웨어를 포함하고, 마이크로렌즈 어레이는 후방 초점면(back focal plane)과 센서면(sensor plane)이 일치하도록 센서에 매우 근접하게 정렬되고 장착되는, 영상 신호 추출 장치.
    
22. 제 21 항에 있어서,
    마이크로렌즈 어레이는 이미지 평면의 광 경로에 배치되고, 마이크로렌즈 어레이는 센서로부터 하나의 초점 거리에 배치되는, 영상 신호 추출 장치.
    
23. 제 21 항에 있어서,
    센서를 유지하도록 구성된 유지 부재를 더 포함하고, 유지 부재는 미니스코프 설계와 비교할 때 2.7 mm 연장되는, 영상 신호 추출 장치.
    
24. 영상 신호를 추출하는 방법으로서, 방법은,
    영상 장치 인터페이스가 처리 장치에 작동 가능하게 결합되는 것을 포함하고,
    상기 처리 장치는,
    a) 영상 장치 인터페이스로부터 획득된 영상 정보로부터 2차원 이미지를 생성함으로써, 영상 정보의 탄도 성분을 추정하는 동작과;
    b) 2차원 이미지를 리매핑하여 3차원 이미지를 생성하는 동작과;
    c) 3차원 이미지 내의 후보 객체를 식별하는 동작과;
    d) 후보 객체의 3차원 이미지를 영상 장치와 관련된 점-확산-함수로 매핑하여 후보 객체의 추정 공간 순방향 모델을 획득하는 동작과;
    e) 후보 객체의 추정 공간 순방향 모델과 추정 시간 성분을 사용하여 배경-보정 데이터를 획득하는 동작; 및
    f) 후보 객체에 대해 수렴에 도달할 때까지 추정 공간 순방향 모델과 추정 시간 성분을 반복적으로 업데이트함으로써, 신호 정보를 추출하는 동작을 수행하는 것을 특징으로 하는, 영상 신호를 추출하는 방법.
    

Images