KR101638016B1 - 내시경 - Google Patents

내시경 Download PDF

Info

Publication number
KR101638016B1
KR101638016B1 KR1020150075285A KR20150075285A KR101638016B1 KR 101638016 B1 KR101638016 B1 KR 101638016B1 KR 1020150075285 A KR1020150075285 A KR 1020150075285A KR 20150075285 A KR20150075285 A KR 20150075285A KR 101638016 B1 KR101638016 B1 KR 101638016B1
Authority
KR
South Korea
Prior art keywords
light
image
optical fiber
information
transfer matrix
Prior art date
Application number
KR1020150075285A
Other languages
English (en)
Inventor
장환철
이흥노
Original Assignee
광주과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광주과학기술원 filed Critical 광주과학기술원
Priority to KR1020150075285A priority Critical patent/KR101638016B1/ko
Priority to US15/166,276 priority patent/US10080485B2/en
Application granted granted Critical
Publication of KR101638016B1 publication Critical patent/KR101638016B1/ko

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/07Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00165Optical arrangements with light-conductive means, e.g. fibre optics
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/042Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by a proximal camera, e.g. a CCD camera
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/063Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for monochromatic or narrow-band illumination
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Endoscopes (AREA)

Abstract

본 발명에 따른 내시경에는, 광원; 상기 광원의 출사광이 조사되는 곳의 이미지 정보를 포함하는 광이 입사하는 광입구부와, 내부를 통과한 광이 출사하는 광출구부를 가지는 광섬유; 및 상기 이미지 정보를 획득하는 이미지 획득기가 포함되고, 상기 이미지 획득기에는, 상기 광섬유를 통과하는 광의 정보를 획득하는 이미지 센서; 상기 광입구부로 입사하는 다양한 광의 전달상태를 나타내는 전달행렬이 미리 저장되어 있는 전달행렬저장부; 및 상기 전달행렬을 이용하여 희소표현을 이용하는 압축센싱기법으로, 상기 이미지 센서로 획득된 광의 정보로부터 상기 이미지 정보를 복구하는 이미지 복구부가 포함된다. 본 발명에 따르면, 내시경의 광섬유를 축소시킬 수 있어서 환자의 불편함을 줄일 수 있고, 진단에 필요한 충분한 이미지 정보를 획득할 수 있다.

Description

내시경{Endoscope}
본 발명은 내시경에 관한 것이다. 상세하게는 사용의 불편함이 없이 고품질의 이미지를 획득할 수 있는 내시경에 관한 것이다.
내시경은 몸의 내부를 촬영하는 장비로서 비침습에 가까운 최저 침습적으로 내부를 관찰할 수 있기 때문에 현대 의료 환경에서 필수 불가결한 장비이다. 상기 내시경은 주지의 장비로서 광원, 광섬유, 및 카메라를 이용하여 몸의 외부에서도 몸 속 상태를 볼 수 있도록 한다.
상기 내시경을 사용할 때에는 몸 속으로 광섬유 다발을 삽입한다. 이 때에 환자는 구역감 및 이물감 등과 같은 큰 불편함을 느끼게 되고, 이 불편함을 줄이기 위하여 근래들어서는 수면 상태에서 내시경을 사용하기도 한다. 그러나 수면 내시경은 마취를 해야 하는 불편함과 그에 따른 부작용이 있다.
이러한 배경 하에서 가급적 광섬유 다발을 좁게 제공하여 내시경을 사용할 때 환자가 느끼는 불편함을 줄일 수 있는 방법이 요청된다. 그러나, 광섬유의 다발을 줄일수록 전달되는 정보의 양이 줄어들기 때문에 충분한 해상도의 이미지를 복구할 수 없다.
본 발명은 상기되는 배경하에서 제안되는 것으로서, 환자의 몸 속에 삽입되는 광섬유의 굵기를 최소화하여 환자의 불편을 줄이고, 좁은 광섬유로도 충분한 이미지를 복구하여 몸 속 상태를 정화하게 진단할 수 있도록 하는 내시경을 제안한다.
본 발명에 따른 내시경에는, 광원; 상기 광원의 출사광이 조사되는 곳의 이미지 정보를 포함하는 광이 입사하는 광입구부와, 내부를 통과한 광이 출사하는 광출구부를 가지는 광섬유; 및 상기 이미지 정보를 획득하는 이미지 획득기가 포함되고, 상기 이미지 획득기에는, 상기 광섬유를 통과하는 광의 정보를 획득하는 이미지 센서; 상기 광입구부로 입사하는 다양한 광의 전달상태를 나타내는 전달행렬이 미리 저장되어 있는 전달행렬저장부; 및 상기 전달행렬을 이용하여 희소표현을 이용하는 압축센싱기법으로, 상기 이미지 센서로 획득된 광의 정보로부터 상기 이미지 정보를 복구하는 이미지 복구부가 포함된다.
여기서, 상기 광원은 가간섭광으로서, 레이저 광원이 바람직하게 사용될 수 있다. 또한, 상기 이미지 획득기와 상기 광섬유의 사이에는 빔스플리터가 제공되고, 상기 빔스플리터는, 상기 광섬유를 통과한 신호빔과, 상기 광원에서 출사한 참조빔이 함께 상기 이미지 센서로 입사되도록 할 수 있다.
또한, 상기 광입구부에는 상기 광입구부의 개구수를 증가시킬 수 있는 불규칙 매체가 제공되고, 상기 상기 불규칙 매체는 투명의 기재에 나노스케일의 미소입자가 혼입될 수 있다. 한편, 상기 미소입자의 재질은 ZnO로 제공될 수 있고, 상기 불규칙 매체는 상기 광입구부에 도포될 수 있다.
또한, 상기 광섬유는 멀티모드파이버로 제공될 수 있다.
또한, 상기 전달행렬에는 수천개 단위의 칼럼이 포함되고, 상기 전달행렬의 각 칼럼은 입사각이 서로 다르게 조정될 수 있다.
또한, 상기 광출구부의 하류측에는 렌즈계가 더 제공될 수 있다.
다른 측면의 본 발명에 따른 내시경에는, 이미지 정보를 포함하는 광의 통과경로를 제공하는 광섬유; 및 상기 광섬유를 통과한 광으로부터 상기 이미지 정보를 획득하는 이미지 획득기가 포함되고, 상기 이미지 획득기에는, 상기 광섬유를 통과한 광의 정보를 획득하는 이미지 센서; 상기 광섬유를 통과하는 입사각이 서로 다른 광의 전달상태를 나타내는 전달행렬이 미리 저장되어 있는 전달행렬저장부; 및 상기 전달행렬을 이용하여 희소표현을 이용하는 압축센싱기법으로, 상기 이미지 센서로 획득된 광의 정보로부터 상기 이미지 정보를 복구하는 이미지 복구부가 포함될 수 있다.
본 발명에 따르면, 내시경의 광섬유를 축소시킬 수 있어서 환자의 불편함을 줄일 수 있고, 진단에 필요한 충분한 이미지 정보를 획득할 수 있다.
도 1은 실시예에 따른 내시경의 개략적인 도면.
도 2는 이미지 획득기의 구성을 설명하는 도면.
도 3은 전달행렬을 측정하는 방법을 설명하는 도면.
도 4는 실시예에 따른 내시경의 사용상태를 설명하는 도면.
도 5는 전달행렬을 설명하는 도면.
도 6은 불규칙 매체의 이점을 설명하는 참조도.
도 7은 불규칙 매체가 사용되지 않은 경우이고, 도 8은 불규칙 매체가 사용된 경우로서, (a)는 상기 다방향 광조사기에서 조사되는 광의 일련번호 별 전달행렬의 칼럼이고, (b)는 상기 전달행렬의 칼럼의 자기상관이고, (c)는 상기 전달행렬의 칼럼의 각 스펙트럼을 나타내는 도면.
도 9는 불규칙 매체를 제공하지 않은 상태에서 가성반전법을 적용한 경우와 희소표현을 이용하는 압축센싱을 이용한 경우의 복구된 이미지.
도 10은 불규칙 매체를 제공한 상태에서 가성반전법을 적용한 경우와 희소표현을 이용하는 압축센싱을 이용한 경우의 복구된 이미지.
이하에서는 도면을 참조하여 본 발명의 구체적인 실시예를 상세하게 설명한다. 그러나, 본 발명의 사상은 이하에 제시되는 구체적인 실시예로 제한되지 아니하며, 본 발명의 사상을 이해하는 당업자는 동일한 사상의 범위 내에 포함되는 다른 실시예를 구성요소의 부가, 변경, 삭제, 및 추가 등에 의해서 용이하게 제안할 수 있을 것이나, 이 또한 본 발명의 사상에 포함된다고 할 것이다.
첨부되는 도면은 빛의 경로가 과장하여 표시될 수 있고, 이해의 편의를 위하여 부품의 축적이 실제의 물품과는 다르게 표시될 수 있다. 그러나, 그 물품의 기능 및 역할 등은 충분히 이해가능하다.
도 1은 바람직한 실시예에 따른 내시경의 개략적인 도면이다.
도 1을 참조하면, 광섬유(2)와, 상기 광섬유(2)의 광입구부에 제공되는 불규칙 매체(turbid media)(1)와, 상기 광섬유(2)의 광출구부에 제공되는 렌즈계(3)와 상기 렌즈계의 출구부에 제공되는 빔스플리터(4)와, 빔스플리터(4)의 출구측에 제공되는 이미지 획득기(7)가 포함된다.
상기 광섬유는 멀티모드파이버(MMF:MultiMode Fiber)를 바람직하게 예시할 수 있다. 상기 멀티모드파이버는 다수의 광전달모드가 광섬유의 내부에 구현되는 파이버이고, 실시예의 경우에는 한 가닥의 멀티모드파이버로도 동작이 가능하다. 물론 두 가닥 이상의 광섬유다발이 사용되는 것도 배제하지는 않지만, 한 가닥의 멀티모드파이버로도 충분히 동작되는 것이 본 발명의 한 장점을 제공한다. 따라서 충분히 적은 직경, 예를 들어 1마이크로미터 이하 직경의 광섬유로 내시경을 구현할 수 있고, 이로써 몸 속으로 삽입되는 기기로 인한 사용자의 불편함을 획기적으로 줄일 수 있다. 상기 불규칙 매체(1)는, 빛이 투과되는 투명의 수지 재질의 기재에 미소 입자인 파티클이 혼입되어 있다. 상기 불규칙 매체(1)는 광섬유(2)의 광입구부에 도포될 수 있다. 상기 미소입자로는 나노스케일의 산화아연(ZnO)이 사용될 수 있다. 상기 불규칙 매체(1)가 상기 광섬유의 광입구부에 제공됨으로써 광섬유의 원래 개구수(NA: Numeric Aperature)를 증대시키는 작용이 있다. 다시 말하면, 상기 불규칙 매체(1)의 내부에서는 광이 다수의 방향으로 산란되기 때문에, 상기 광입구부를 통하여 진입할 수 있는 광의 각도가 더 넓어지는 효과를 기대할 수 있는 것이다. 예를 들어, 광섬유(2)의 내부로 들어올 수 없는 광이 미소입자로 들어와서, 진행방향이 변경되어 광섬유(2)의 내부에서 전달될 수 있는 모드로 바뀌는 것이 가능한 것이다. 상기 빔스플리터(4)는 몸 속 이미지에 대한 정보를 포함하는 신호빔(5)과 원래의 광원에 대한 참조빔(6)을 함께 획득할 수 있도록 한다. 상기 참조빔(6)을 얻기 위하여 상기 광원(10)에서 조사된 빛 중의 일부를 바이패스시키는 빔 스플리터가 더 포함될 수 있다. 상기 빔 스플리터(4)에 신호빔과 참조빔을 도입하여 위상신호를 복구하는 것을 홀로그래픽 프로세스라고 이름할 수 있다. 상기 이미지 획득기(7)는 신호빔의 강도신호와 함께 신호빔과 참조빔을 함께 참조하여 신호빔의 위상신호를 이용하여 이미지 신호를 복구하는 부분이다.
상기 내시경의 동작 및 작용을 간단히 설명한다.
실시예에 따른 내시경이 몸 속으로 삽입된 상태에서, 상기 광원(10)에서 조사된 빛은 대상자 몸 속의 어느 지점에 조사되고, 조사된 부위의 광 정보는 불규칙 매체(1)를 통과하여 광섬유(2)로 들어온다. 이미 설명한 바와 같이 상기 불규칙 매체(1)는 상기 광입구부의 개구수(NA)를 크게 한다. 상기 광섬유(2)를 통하여 전달된 광신호는 렌즈계(3)를 통과하여 신호빔(5)으로서 빔스플리터(4)로 들어온다. 상기 빔스플리터(4)에는 신호빔(5)과 함께 참조빔(6)을 함께 받아들이도록 한다. 상기 참조빔(6)은 상기 광원(10)에서 조사되는 광이 또 다른 빔스플리터 등을 이용하여 입사되는 광으로 생각할 수 있다. 상기 이미지 획득기(7)에서는 신호빔(5)의 강도신호를 획득할 뿐만 아니라, 참조빔(6)을 이용하여 신호빔(5)의 위상신호도 획득할 수 있다. 상기 강도신호와 위상신호를 함께 이용하여 이미지를 복구함으로써, 보다 정확한 이미지를 얻을 수 있다.
도 2는 이미지 획득기의 구성을 설명하는 도면이다.
도 2를 참조하면, 상기 이미지 획득기(7)에는, 상기 빔스플리터(4)를 통과하는 신호빔(5)과 참조빔(6)이 함께 획득되는 이미지 센서(71)와, 전달행렬 저장부(72)와, 상기 전달행렬 저장부(72)에 저장되는 전달행렬과 상기 이미지 센서(71)에서 획득된 이미지를 이용하여 몸 속의 실제 이미지를 복구하는 이미지 복구부(73)가 포함된다.
상기 전달행렬 저장부(72)에 저장되는 전달행렬(TM: Transmission Matrix)에 더하여 더 상세하게 설명한다. 상기 전달행렬 저장부(72)에 저장되는 전달행렬은, 상기 광입구부의 서로 다른 다수의 방향 및 다수의 위치로 입사된 광이 상기 불규칙 매체(1)와 상기 광섬유(2)와 렌즈계(3)와 빔스플리터(4)를 통과한 다음에, 어떠한 이미지로 맺히는 지를 전달행렬로 표시할 수 있고, 상기 전달행렬은 내시경의 출시 전에 미리 파악하도록 한다. 특히, 상기 불규칙 매체(1)에 내재되는 미소 입자가 어떠한 방식으로 내재하는지에 따라서 전달행렬이 달라질 수 있으므로 각 내시경마다 서로 다르게 측정될 수 있다. 예를 들어, 상기 전달행렬 저장부(72)에 저장되는 전달행렬의 개수는 수천개 단위로 제공될 수 있다.
상기 이미지 복구부(73)는 압축센싱기법(CS:Compressed sensing)을 이용하여 이미지를 복구하는데, 이때 전달행렬 저장부(72)에 저장되어 있는 전달행렬과 이미지 센서(71)로 획득되는 이미지를 이용한다.
도 3은 전달행렬을 측정하는 방법을 설명하는 도면이다.
도 3을 참조하면, 실시예에 따른 내시경의 광입구부, 더 정확하게는 불규칙 매체(1)를 향하여 다양한 방향 및 위치로 광을 조사하는 다방향 광조사기(20)가 도시된다. 상기 다방향 광조사기(20)는 수십 초 정도의 시간 안에 수천 개에 이르는 다양한 위치 및 각도로 레이저를 조사한다. 하나의 경우로서 불규칙 매체(1)를 기준으로 할 때 중심에서 시작하여, 중심으로부터 거리와 각도를 점진적으로 늘려가면서 전달행렬을 측정할 수 있다. 각각의 상기 전달행렬은, 어느 각도에서 광이 입사할 때 전달행렬을 거쳐서 상기 이미지 센서(71)에서 이미지를 맺는 것을 의미할 수 있다.
상기 전달행렬의 의미를 수학식을 참조하여 설명한다.
Figure 112015051632412-pat00001
여기서, Uo(x,y)는 대상 웨이브(object wave)이고, Ao(k)는 상기 대상 웨이브의 각 스펙트럼(angular spectrum)로서 여기서 k는 웨이브 벡터(wave vector)이고, P(x,y;k)는 k 진행방향(propogation direction)을 가지는 평면파(plane wave)이다. 따라서, 상기 대상 웨이브는 상기 불규칙 매체(1)로 입사하는 광을 나타내는 것이고, 상기 대상 웨이브는 k 진행방향을 가지는 평면파의 세트로 나뉘어질 수 있다.
한편, 상기 수학식 1에서, Io(x,y)와 Po(x,y)는 (x,y)에서의 광파(light wave)의 강도와 위상을 각각 나타낸다. 물리적으로 상기 대상 웨이브는 강도정보와 위상정보로 표현될 수 있는 것이다.
상기 대상 웨이브가 상기 불규칙 매체(1)와 광섬유(2)를 통과하면, 불규칙 매체의 산란특성 및 광섬유 모드의 전달특성으로 인하여 왜곡된 다음에, 왜곡 대상 웨이브가 되어 신호빔(5)으로서 이미지 획득기(7)에서 획득된다. 수학식 2는 왜곡되는 대상 웨이브를 나타낸다.
Figure 112015051632412-pat00002
여기서, Ur(x,y)는 왜곡 대상 웨이브이고, Ao(k)는 상기 대상 웨이브의 각 스펙트럼(angular spectrum)이고, F(x,y:k)는 어느 P(x,y;k)(k 진행방향을 가지는 평면파)가 불규칙 매체와 광섬유를 통과한 다음의 응답 웨이브로서, 전달행렬의 각 칼럼을 나타낼 수 있다. 도 5는 전달행렬을 설명하는 도면이다. 도 5를 참조하면, k 진행방향을 가지는 평면파에 대한 전달행렬의 각 칼럼은 f로 표시되고, 전달행렬은 F로 표시되고, 전달행렬 저장부(72)에 저장되어 있다. 상기 도 5에서는 강도정보만을 나타낸 것이지만 위상정보는 신호빔과 참조빔을 비교하여 홀로그래픽 프로세스를 이용하여 획득될 수 있다. 따라서, 상기 전달행렬의 칼럼의 각 원소의 전보는 복소수로 표시될 수 있다.
상기 수학식 2는 벡터형식으로는 수학식 3으로 표현할 수 있다.
Figure 112015051632412-pat00003
여기서, r은 상기 왜곡 대상 웨이브의 벡터표현이고, a는 상기 대상 웨이브의 각 스펙트럼의 벡터표현이고, F는 전달행렬로서 그 전달행렬의 각 칼럼은 상기 응답 웨이브의 벡터표현이 된다. 여기서, k의 개수는 상기 다방향 광조사기(20)를 통하여 획득된 전달행렬의 칼럼의 수가 될 수 있다.
상기 수학식 3에서 r은 상기 이미지 획득기를 통하여 획득되는 정보이고, F는 상기 전달행렬의 측정을 통하여 획득되는 정보이므로, 상기 대상 웨이브의 각 스펙트럼(a)를 추측할 수 있다. 상기 각 스펙트럼을 제대로 추측해 내면, P(x,y;k)(k 진행방향(propogation direction)을 가지는 평면파(plane wave))는 알고 있으므로, 수학식 1을 참조하여 상기 대상 웨이브, 즉 불규칙 매체(1)로 입사한 이미지를 재구성할 수 있다.
도 4는 실시예에 따른 내시경의 사용상태를 설명하는 도면이다.
도 4를 참조하면, 광원(10)에서 조사된 광의 일부는 샘플에서 반사되어 불규칙 매체(1), 즉 광섬유(2)의 광입구단으로 입사한다. 상기 광원(10)에서 조사된 광의 다른 일부는 빔스플리터(미도시) 등과 같은 광 분기기구에 의해서 바이패스되어 빔스플리터(4)의 참조빔으로서 입사한다. 상기 광원(10)에서 조사되는 빛은 가간섭광(coherent wave)으로 이미지 센서에서 획득되는 정보에서 강도(진폭)와 위상 정보를 활용할 수 있도록 한다. 상기 광원(10)의 대표적인 예로서 레이저를 활용할 수 있고, 인체에 무해한 적외선 레이저 광을 바람직하게 사용할 수 있다. 상기 광원이 가간섭광이 아니라 비간섭광(incoherent wave)으로서 위상정보를 활용할 수 없는 경우와 비교할 때 이미지의 정확도는 두 배 이상 차이가 난다. 따라서 가간섭광을 사용하는 것이 바람직하게 예상된다. 만약 비간섭광을 사용하는 경우에는 홀로그래픽 프로레스가 적용되지 않기 때문에 빔스플리터(4) 및 참조빔(6)이 필요없고 위상정보의 활용을 위한 복소수 표현이 필요하지 않게 된다.
실시예에서는 이미지의 정확도를 향상시키기 위하여 가간섭광을 사용하는 것을 바람직하게 제시하지만, 비간섭광을 사용하는 것도 배제하지는 않는다.
상기 불규칙 매체(1)에 의하면 광섬유(2)의 광입구단의 개구수가 커지는 효과를 얻을 수 있다. 도 6은 불규칙 매체의 이점을 설명하는 참조도이다. 도 6에서 상측 도면은 불규칙 매체가 없는 경우를 설명하는 그림이고, 하측 도면은 불규칙 매체가 광섬유의 광입구단에 제공되는 경우를 설명하는 그림이다.
도 6을 참조하면, 상기 불규칙 매체가 제공되는 경우에는 광섬유의 개구수가 커져서 원래는 광섬유의 광입구단으로 진입할 수 없는 각도의 정보가 광섬유의 안으로 들어올 수 있다. 이는 불규칙 매체(1)로 일단 들어온 빛이 미소 입자의 산란을 통하여 광섬유의 입구단으로 들어갈 수 있는 것에 기인한다. 따라서, 상기 광섬유(2)의 어느 하나의 전달모드에 포함되는 절대적인 정보의 양은 동일하더라도, 어느 하나의 광섬유(2)의 전달모드에 포함되는 정보는 더 섞여 있는 정보가 될 수 있다. 다시 말하면, 상기 불규칙 매체(1)가 제공되지 않아서 원래는 광섬유로 들어올 수 없는 정보가, 광섬유에 포함되어 전달되므로 그 정보를 적극적으로 활용함으로써 더 정확한 이미지를 복구할 수 있는 것이다.
보다 정확하게 불규칙 매체의 장점을 설명한다. 첫째 상기 광섬유(2)의 광출구단에서 제공되는 출력모드에는, 상기 광섬유(2)의 광입구단에서 들어오는 모든 입력모드의 정보를 포함한다. 따라서, 두 개 이상의 전달모드를 가지는 광섬유(즉, MMF: Multi Mode Fiber)를 사용하는 경우에는 더 많은 모든 입력모드를 전달할 수 있다. 그러므로, 실시예의 장점은 멀티모드파이버를 사용하는 경우에 더 현저하게 드러날 수 있다. 그러나, 발명의 사상이 두 개 이상의 싱글모드파이버가 번들로 함께 사용하는 것을 제외하는 것은 아니다. 둘째 광섬유 어느 한 전달모드가 전달하는 입력모드들의 선형 연합(linear combination of input mode signals)은 다른 전달모드들에서 전달하는 선형 연합들과 선형 독립(linearly independent)이거나 상관관계성(correlation)이 거의 없다. 따라서, 광섬유의 전달모드는 최고의 효율을 가지고서 사용할 수 있게 된다. 예를 들어서, 불규칙 매체가 사용되지 않고 1, 2, 및 3 세 개의 전달모드가 있는 광섬유의 경우에, 상기 각 전달모드를 통하여 가, 나, 및 다의 입력모드가 각각 전달된다고 할 때, 상기 불규칙 매체(1)가 사용되는 경우에는 원래는 들어오지 못한 입력모드로서 라, 및 마가 더 입력될 수 있고, 1, 2, 및 3의 전달모드에는 가, 나, 다, 라, 및 마의 전달모드가 섞여서 광섬유를 통하여 전달될 수 있는 것과 같은 의미이다.
상기되는 설명에 의해서 불규칙 매체를 사용하는 경우의 장점을 이해할 수 있을 것이다.
이제 수학식 3을 참조하여 상기 대상 웨이브의 각 스펙트럼을 구하는 과정을 설명한다. 수학식 3은 비결정 시스템(underdeteremined system)으로서 최적화 과정을 통하여 해를 구할 수 있다. 본 발명에서는 그 해를 구하기 위하여 희소표현(sparse representation)을 이용하는 압축센싱(compressed sensing)을 이용하는 것에 일 특징이 있다.
상기 희소표현을 이용하는 압축센싱이 성공적으로 수행되기 위해서는, 두가지 조건이 충족하여야 한다.
첫째, 상기 수학식 3에서 상기 대상 웨이브의 각 스펙트럼(a)이 압축이 가능한 신호이어야 한다. 압축이 가능하다는 것(compressible)은, 상기 대상 웨이브의 각 스펙트럼(a)이 적은 수의 영이 아닌 값(small number of nonzero elements)을 가지도록 하여야 한다는 것을 의미한다. 그런데, 본 발명에서 대상으로 하는 몸 속의 이미지를 포함하는 자연계의 이미지는 웨이블릿 도메인(wavelet domain)에서 적은 수의 요소로 표현이 가능하다. 더욱이 웨이블릿 도메인이 아니더라도, 만약 다른 직교신호베이스(orthogonal signal base)에서 적은 수의 요소로 표현이 가능하다면, 그 신호는 압축이 가능하다는 것(compressible)이 알려져 있다.
구체적으로 이러한 사실은, M. Aharon, M. Elad, and A. Bruckstein, "K-SVD: an algorithm for designing overcomplete dictionaries for sparse representation," IEEE Ttrans. Signal processing. 54, 4311-4322(2006)과, E. J. Candes and T. Tao, "Near-optimal signal recovery from random projections: universal encoding strategies," IEEE Trans. Inf. Theory. 52, 5406-5425(2006)를 통하여 알려져 있다.
둘째, 상기 수학식 3에서 전달행렬(F)은 비간섭성으로(incoherent) 제공될 필요가 있다. 상기 압축센싱에 있어서, 상기 전달행렬(F)은 상기 불규칙 매체(1)와 상기 광섬유(2)의 특성을 측정한 것으로서 측정행렬이라고 표현할 수 있다. 상기 전달행렬의 각 칼럼의 교차상관(cross-correlation)이 작은 경우에, 상기 전달행렬은 비간섭성이라고 할 수 있다. 그런데, 상기 전달행렬의 각 칼럼은, 상기 다방향 광조사기(20)에 의해서 각각 다른 방향으로 조사된 광에 대한 측정값이고, 상기 불규칙 매체(1)를 통과함으로써 그 측정값은 랜덤하게 달라지므로, 전달행렬의 비간섭성은 확보할 수 있다. 상기 불규칙 매체(1)가 제공되지 않는 경우에도 광섬유(2)의 자체적인 전달모드의 차이로 인하여 비간섭성을 일정 수준의 값으로 얻을 수는 있다. 따라서, 불규칙 매체(1)가 사용되지 않는 경우에도 희소표현을 이용하는 압축센싱이 적용될 수도 있으나, 압축센싱의 효과를 극대화시키기 위해서는 불규칙 매체(1)를 사용하는 것이 더욱 바람직하다.
상기 불규칙 매체(1)를 이용하는 경우와 상기 불규칙 매체를 이용하지 않는 경우에 상기 전달행렬의 비간섭성의 차이를 도면을 참조하여 설명한다.
도 7은 불규칙 매체가 사용되지 않은(intact) 경우이고, 도 8은 불규칙 매체가 사용된(turbid media coated) 경우로서, (a)는 상기 다방향 광조사기(20)에서 조사되는 광의 일련번호(i) 별로 전달행렬의 칼럼이고, (b)는 상기 전달행렬의 칼럼의 자기상관(autocorrelation)이고, (c)는 상기 전달행렬의 칼럼의 각 스펙트럼이다.
도 7 및 도 8을 참조하면, (a)를 참조할 때, 전달행렬의 칼럼의 불규칙 정도가 불규칙 매체가 있는 경우에 큰 것을 확인할 수 있다. 따라서, (b)를 참조할 때, 자기상관은 불규칙 매체가 제공되는 경우에 훨씬 크게 제공되어 전체영역의 가운데를 중심으로 모여있는 것을 확인할 수 있다. 또한 (c)를 참조할 때, 각 스펙트럼(angular spectrum)이 전체영역에 대하여 고르게 퍼져있는 것을 확인할 수 있다.
그러므로, 불규칙 매체가 제공되는 경우에 더욱 바람직하게 희소표현을 이용하는 압축센싱을 이용할 수 있다. 다만 주의할 것은 상기 희소표현을 이용하는 압축센싱의 경우에 불규칙 매체가 있는 것이 더욱 좋으나, 불규칙 매체가 반드시 사용되어야 하는 것은 아니고, 광섬유를 그대로 사용할 수도 있다. 그러나, 불규칙 매체가 사용되는 것이 현저하게 바람직한 것은 위의 설명을 통하여 이해할 수 있을 것이다.
상기되는 설명에 따르면, 수학식 3으로 표현되는 비결정 시스템은 희소표현을 이용하는 압축센싱을 적용하여 최적해를 구할 수 있는 것을 확인할 수 있다. 희소표현을 이용하는 압축센싱으로 최적해를 구하는 방법은 수학식 4로 표현된다.
Figure 112015051632412-pat00004
여기서, Ψ는 상기 대상 웨이브의 각 스펙트럼(a)이, 적은 수의 영이 아닌 값을 가지는(small number of nonzero elements)을 가지도록 추정하는 희소화 베이스(sparsifying basis)이다. (·)*는 매트릭스의 공액전치를 나타낸다. ∥·∥1는 L1놈을 나타내고, 다시 말하면, 벡터요소의 절대값의 합을 나타낸다.
상기 수학식 4는 심플렉스법(simplex methods) 또는 기울기하강법(steepest decent methods) 또는 이차미분법(second derivative methods)을 사용하여 최적의 해를 구할 수 있다. 또 다른 예로서 본 발명의 출원인이 대한민국특허등록번호 10-1423964에서 제안한 바가 있는 L1 놈 최적화 방법을 이용하여 최적의 해를 구할 수 있다.
상기 수학식 4를 통하여 상기 대상 웨이브의 각 스펙트럼을 추정하면, 수학식 3에서 설명한 바와 같이, 이미지를 복구할 수 있다.
상술되는 구성을 참조하여 내시경의 구체적인 실시예와 그 실시예를 이용하여 실험한 결과를 설명한다.
상기 광섬유(2)로는 한 가닥의 다중모드파이버(MMF:Multi Mode Fiber)로서 thorlabs사의 0.22의 개구를 가지는 1미터 M14L01를 사용하였다. 나노스케일의 산화아연(ZnO)을 나노파티클을 투명수지에 혼입하여 불규칙 매체를 상기 광섬유의 광입구단에 제공하였다. 갈바노미터로 방향을 조정하는 상기 다방향 광조사기(20)로 633nm의 레이저를 조사하여 4000번 측정하여 전달행렬을 얻었다. 촬영대상으로는 USAF 타켓과 비슷한 샘플을 이용하였다.
실험은 네 가지의 경우로 나누어 수행되었다. 첫째 희소표현을 이용하는 압축센싱을 이용하거나 가성반전법(PINV: pseduo inversion method)을 이용하는 경우, 둘째 상기 불규칙 매체를 제공하거나 제공하지 않는 경우로, 네 가지의 경우로 나누어서 행하였다. 상세하게, 도 9는 불규칙 매체를 제공하지 않은 상태에서 가성반전법을 적용한 경우(PINV)와 희소표현을 이용하는 압축센싱을 이용한 경우(SR: Sparse representation)의 복구된 이미지이고, 도 10은 불규칙 매체를 제공한 상태에서 가성반전법을 적용한 경우(PINV)와 희소표현을 이용하는 압축센싱을 이용한 경우(SR: Sparse Representation)의 복구된 이미지이다.
상기 도 9와 도 10을 참조하면, 불규칙 매체를 사용한 경우에 복구된 이미지의 성능이 더욱 개선되고 희소표현을 이용하는 압축센싱을 이용하는 경우에 복구된 이미지의 성능이 더욱 개선되는 것을 확인할 수 있다.
본 발명에 따르면 내시경 중에서 몸 속으로 삽입되는 부분의 직경을 현저하게 줄일 수 있어서 환자의 불편함을 없앨 수 있다. 뿐만 아니라, 복구된 이미지의 해상도가 높기 때문에 내시경으로의 적용 가능성이 더 높아질 것으로 기대된다. 한편, 내시경을 제외하는 외부에서 보이지 않는 개소에 광섬유로 예시되는 좁은 물품을 넣어서 그 내부를 보는 기기에는 어디라도 바람직하게 적용될 수 있을 것이다.
1 : 불규칙 매체
2: 광섬유
4 : 빔스플리터
7 : 이미지 획득기

Claims (13)

  1. 광원;
    상기 광원의 출사광이 조사되는 곳의 이미지 정보를 포함하는 광이 입사하는 광입구부와, 내부를 통과한 광이 출사하는 광출구부를 가지는 광섬유; 및
    상기 이미지 정보를 획득하는 이미지 획득기가 포함되고,
    상기 이미지 획득기에는,
    상기 광섬유를 통과하는 광의 정보를 획득하는 이미지 센서;
    상기 광입구부로 입사하는 다양한 광의 전달상태를 나타내는 전달행렬이 미리 저장되어 있는 전달행렬저장부; 및
    상기 전달행렬을 이용하여 희소표현을 이용하는 압축센싱기법으로, 상기 이미지 센서로 획득된 광의 정보로부터 상기 이미지 정보를 복구하는 이미지 복구부가 포함되는 내시경.
  2. 제 1 항에 있어서,
    상기 광원은 가간섭광인 내시경.
  3. 제 2 항에 있어서,
    상기 광원은 레이저 광원인 내시경.
  4. 제 1 항에 있어서,
    상기 이미지 획득기와 상기 광섬유의 사이에는 빔스플리터가 제공되고,
    상기 빔스플리터는, 상기 광섬유를 통과한 신호빔과, 상기 광원에서 출사한 참조빔이 함께 상기 이미지 센서로 입사되도록 하는 내시경.
  5. 제 1 항에 있어서,
    상기 광입구부에는 상기 광입구부의 개구수를 증가시킬 수 있는 불규칙 매체가 제공되는 내시경.
  6. 제 5 항에 있어서,
    상기 불규칙 매체는 투명의 기재에 나노스케일의 미소입자가 혼입되는 내시경.
  7. 제 6 항에 있어서,
    상기 미소입자의 재질은 ZnO인 내시경.
  8. 제 5 항에 있어서,
    상기 불규칙 매체는 상기 광입구부에 도포되는 내시경.
  9. 제 1 항에 있어서,
    상기 광섬유는 멀티모드파이버인 내시경.
  10. 제 1 항에 있어서,
    상기 전달행렬에는 수천개 단위의 칼럼이 포함되는 내시경.
  11. 제 1 항에 있어서,
    상기 전달행렬의 각 칼럼은 입사각이 서로 다른 내시경.
  12. 제 1 항에 있어서,
    상기 광출구부의 하류측에는 렌즈계가 제공되는 내시경.
  13. 이미지 정보를 포함하는 광의 통과경로를 제공하는 광섬유; 및
    상기 광섬유를 통과한 광으로부터 상기 이미지 정보를 획득하는 이미지 획득기가 포함되고,
    상기 이미지 획득기에는,
    상기 광섬유를 통과한 광의 정보를 획득하는 이미지 센서;
    상기 광섬유를 통과하는 입사각이 서로 다른 광의 전달상태를 나타내는 전달행렬이 미리 저장되어 있는 전달행렬저장부; 및
    상기 전달행렬을 이용하여 희소표현을 이용하는 압축센싱기법으로, 상기 이미지 센서로 획득된 광의 정보로부터 상기 이미지 정보를 복구하는 이미지 복구부가 포함되는 내시경.
KR1020150075285A 2015-05-28 2015-05-28 내시경 KR101638016B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020150075285A KR101638016B1 (ko) 2015-05-28 2015-05-28 내시경
US15/166,276 US10080485B2 (en) 2015-05-28 2016-05-27 Endoscope

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150075285A KR101638016B1 (ko) 2015-05-28 2015-05-28 내시경

Publications (1)

Publication Number Publication Date
KR101638016B1 true KR101638016B1 (ko) 2016-07-08

Family

ID=56504670

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150075285A KR101638016B1 (ko) 2015-05-28 2015-05-28 내시경

Country Status (2)

Country Link
US (1) US10080485B2 (ko)
KR (1) KR101638016B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6704920B2 (ja) * 2015-10-14 2020-06-03 アルプスアルパイン株式会社 流路構造体および測定対象液体の測定装置
CN109031915B (zh) * 2018-08-01 2020-06-30 华中科技大学 一种获取多模光纤成像传输矩阵的方法及系统
GB201818290D0 (en) * 2018-11-09 2018-12-26 Cancer Research Tech Ltd Methods of characterising and imaging with an optical system
US11269174B2 (en) * 2019-01-08 2022-03-08 Honeywell International Inc. Endoscopic imaging

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160030269A (ko) * 2013-07-09 2016-03-16 지멘스 에너지, 인코포레이티드 터빈 엔진들에서 사용하기에 적절한 광섬유 기반 이미지 포착을 위한 시스템 및 방법

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4273419A (en) * 1980-03-21 1981-06-16 The United States Of America As Represented By The Secretary Of The Air Force Light-scattering disc collector
US6927859B2 (en) * 2001-03-08 2005-08-09 The Hong Kong Polytechnic University Microdensitometer system with micrometer resolution for reading radiochromic films
DE102005062174C5 (de) * 2005-12-23 2010-05-06 INSTITUT FüR MIKROTECHNIK MAINZ GMBH Meßchip
US8582934B2 (en) * 2007-11-12 2013-11-12 Lightlab Imaging, Inc. Miniature optical elements for fiber-optic beam shaping
US7813609B2 (en) * 2007-11-12 2010-10-12 Lightlab Imaging, Inc. Imaging catheter with integrated reference reflector
DE102009014080B4 (de) * 2009-03-23 2011-12-15 Baumer Innotec Ag Vorrichtung zum Bestimmen von Partikelgrössen
US8406556B2 (en) * 2010-06-10 2013-03-26 Microsoft Corporation Light transport reconstruction from sparsely captured images
US9509956B2 (en) * 2011-11-07 2016-11-29 The Regents Of The University Of Colorado, A Body Corporate High-speed wavefront optimization
US9871948B2 (en) * 2012-03-29 2018-01-16 Ecole polytechnique fédérale de Lausanne (EPFL) Methods and apparatus for imaging with multimode optical fibers
KR101423964B1 (ko) 2012-07-20 2014-07-31 광주과학기술원 분광계의 광 신호 처리 방법 및 그 장치
US9380221B2 (en) * 2013-02-27 2016-06-28 Massachusetts Institute Of Technology Methods and apparatus for light field photography
DE102013219181B4 (de) * 2013-09-24 2018-05-09 Olympus Soft Imaging Solutions Gmbh Vorrichtung und Verfahren zur optischen Bestimmung von Partikeleigenschaften
GB201319079D0 (en) * 2013-10-29 2013-12-11 Univ St Andrews Random Wavelength Meter
KR101609029B1 (ko) * 2013-12-13 2016-04-04 고려대학교 산학협력단 광 전달 매질의 투과 특성을 측정하는 방법 및 이를 이용한 이미지 획득 장치
US10295718B2 (en) * 2015-12-18 2019-05-21 Novaris Ag Diverging light from fiber optics illumination delivery systems

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160030269A (ko) * 2013-07-09 2016-03-16 지멘스 에너지, 인코포레이티드 터빈 엔진들에서 사용하기에 적절한 광섬유 기반 이미지 포착을 위한 시스템 및 방법

Also Published As

Publication number Publication date
US20160345813A1 (en) 2016-12-01
US10080485B2 (en) 2018-09-25

Similar Documents

Publication Publication Date Title
Amitonova et al. Endo-microscopy beyond the Abbe and Nyquist limits
KR101638016B1 (ko) 내시경
KR102343626B1 (ko) 광을 검출하기 위한 장치, 시스템 및 방법
US11640027B2 (en) Enhancing imaging by multicore fiber endoscopes
US20160123877A1 (en) Method and apparatus for remote sensing using optical orbital angular momentum (oam)-based spectroscopy for object recognition
US7282716B2 (en) Digital imaging assembly and methods thereof
Mezil et al. Single-shot hybrid photoacoustic-fluorescent microendoscopy through a multimode fiber with wavefront shaping
Scagliola et al. Correlation plenoptic imaging for microscopy applications
US7470903B2 (en) Digital imaging assembly & methods thereof
US20230239053A1 (en) Apparatus and method for spatial light modulation
US11622686B2 (en) Optical imaging with unshifted reference beam
Silveira et al. Side-view holographic endomicroscopy via a custom-terminated multimode fibre
Beskrovnyy et al. Quantum limits of super-resolution in reconstruction of optical objects
Hoenders Review of a bewildering classical–quantum phenomenon: ghost imaging
Roux et al. Projective measurements in quantum and classical optical systems
US10082659B2 (en) Microscope
Nuster et al. Comparison of optical and piezoelectric integrating line detectors
Huynh et al. Patterned interrogation scheme for compressed sensing photoacoustic imaging using a Fabry Perot planar sensor
Oh et al. Review of endomicroscopic imaging with coherent manipulation of light through an ultrathin probe
Ma et al. Foveated imaging through scattering medium with LG-basis transmission matrix
Gordon et al. Single-pixel phase-corrected fiber bundle endomicroscopy with lensless focussing capability
Horstmann et al. Optical full-field holographic detection system for non-contact photoacoustic tomography
Kanaev et al. Holographic imaging through extended scattering media under extreme attenuation
US11259706B2 (en) Dual wavelength imaging and out of sample optical imaging
US11559208B2 (en) Imaging with scattering layer

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190702

Year of fee payment: 4