KR20110018696A - 입체 영상 처리 장치 및 방법 - Google Patents

입체 영상 처리 장치 및 방법 Download PDF

Info

Publication number
KR20110018696A
KR20110018696A KR1020090076290A KR20090076290A KR20110018696A KR 20110018696 A KR20110018696 A KR 20110018696A KR 1020090076290 A KR1020090076290 A KR 1020090076290A KR 20090076290 A KR20090076290 A KR 20090076290A KR 20110018696 A KR20110018696 A KR 20110018696A
Authority
KR
South Korea
Prior art keywords
information
photographing
unit
grid pattern
photographing target
Prior art date
Application number
KR1020090076290A
Other languages
English (en)
Inventor
최승욱
이민규
Original Assignee
주식회사 이턴
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 이턴 filed Critical 주식회사 이턴
Priority to KR1020090076290A priority Critical patent/KR20110018696A/ko
Priority to US12/720,421 priority patent/US20110043609A1/en
Priority to CN201010256339XA priority patent/CN101996417B/zh
Publication of KR20110018696A publication Critical patent/KR20110018696A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12—Acquisition of 3D measurements of objects
    • G06V2201/121—Acquisition of 3D measurements of objects using special illumination

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Endoscopes (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

입체 영상 처리 장치 및 방법이 개시된다. 본 발명의 일 측면에 따르면, 촬영 대상에 기준 격자 무늬를 투사하는 격자 무늬 투사부와, 기준 격자 무늬가 투사된 촬영 대상을 촬영하여 영상 정보를 생성하는 촬영부와, 생성된 영상 정보를 이용하여 촬영 대상의 깊이 정보를 추출하는 깊이 정보 추출부와, 깊이 정보에 상응하여 촬영 대상의 입체 정보인 양안 정보를 생성하는 양안 정보 생성부를 포함하는 입체 영상 처리 장치는 하나의 촬영부를 이용하여 입체 정보를 생성할 수 있고, 입체 영상을 생성하기 위해 사용된 격자 무늬를 제거함으로써 사용자가 촬영 대상을 실제 입체 형상대로 관측할 수 있는 효과가 있다.
입체 영상, 격자 무늬, 깊이 정보, 수술.

Description

입체 영상 처리 장치 및 방법{Apparatus and method for processing 3D image}
본 발명은 전자 기기에 관한 것으로, 특히 입체 영상 처리 장치 및 방법에 관한 것이다.
의학적으로 수술이란 피부나 점막, 기타 조직을 의료 기계를 사용하여 자르거나 째거나 조작을 가하여 병을 고치는 말한다. 특히, 수술부위의 피부를 절개하여 열고 그 내부에 있는 기관 등을 치료, 성형하거나 제거하는 개복 수술 등은 출혈, 부작용, 환자의 고통, 흉터 등의 문제로 인하여 최근에는 환자의 피부에 소정의 구멍만을 천공하여 수술을 수행하는 복강경 수술 또는 로봇(robot)을 사용한 수술이 대안으로서 각광받고 있다.
종래의 복강경 수술 또는 로봇 수술 시 환부의 영상을 입체적으로 촬영하기 위하여 사용되는 스테레오 스코프(stereo scope)는 일반적으로 두개의 렌즈를 사용하여 촬영 대상에 대해 양안 시차(兩眼 視差), 즉, 사용자의 양쪽 눈의 망막에 맺 히는 상의 차이에 대응하여 서로 다른 영상을 생성함으로써, 촬영 대상을 입체적으로 재생할 수 있다.
이러한 종래 기술에 따르면, 수술시 필요한 카메라가 최소한 2개 이상의 렌즈를 필요로 하기 때문에, 장치의 부피가 크고 이에 연동되는 부품이 복잡하게 설계되는 문제점이 있다. 특히, 상술한 바와 같이 복강경 수술 또는 로봇 수술은 개복을 하지 않고 환자에게 복강경, 스킨 홀더, 석션(suction) 라인이나 조작자(effector) 등 수술에 필요한 각종 인스트루먼트만을 삽입하여 수술을 진행하기 때문에 삽입되는 장비의 부피가 작아질수록 사용이 편리한 장점이 있다.
전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.
본 발명은 하나의 렌즈, 즉, 하나의 촬영부를 이용하여 입체 정보를 생성할 수 있는 입체 영상 처리 장치 및 방법을 제공하기 위한 것이다.
또한, 본 발명은 입체 영상을 생성하기 위해 사용된 격자 무늬를 제거함으로써 사용자가 촬영 대상을 실제 입체 형상대로 관측할 수 있는 입체 영상 처리 장치 및 방법을 제공하기 위한 것이다.
본 발명이 제시하는 이외의 기술적 과제들은 하기의 설명을 통해 쉽게 이해 될 수 있을 것이다.
본 발명의 일 측면에 따르면, 촬영 대상에 기준 격자 무늬를 투사하는 격자 무늬 투사부와, 기준 격자 무늬가 투사된 촬영 대상을 촬영하여 영상 정보를 생성하는 촬영부와, 생성된 영상 정보를 이용하여 촬영 대상의 깊이 정보를 추출하는 깊이 정보 추출부와, 깊이 정보에 상응하여 촬영 대상의 입체 정보인 양안 정보를 생성하는 양안 정보 생성부를 포함하는 입체 영상 처리 장치가 제공된다.
여기서, 깊이 정보 추출부는, 촬영 대상에 투사된 기준 격자 무늬와 영상 정보에 포함된 변형 격자 무늬를 비교함으로써 촬영 대상의 깊이 정보를 추출할 수 있다.
또한, 깊이 정보 추출부는, 변형 격자 무늬를 형성하는 라인들의 인접 라인과의 거리, 라인의 폭, 라인의 기울기 및 라인의 기울기의 변화율 중 어느 하나 이상의 정보를 이용하여 촬영 대상의 깊이 정보를 추출할 수 있다.
아울러, 격자 무늬 투사부는, 촬영 대상에 기준 격자 무늬를 소정의 주기에 상응하여 온 또는 오프되도록 투사할 수 있다.
이 경우 격자 무늬 투사부는, 기준 격자 무늬를 포함하는 투사광을 주기에 상응하여 점멸(點滅)하는 점멸 제어부를 더 포함하거나 주기에 상응하여 회전하여 기준 격자 무늬를 포함하는 투사광을 촬영 대상으로 반사하는 미러부를 더 포함할 수 있다.
또한, 격자 무늬 투사부는, 기준 격자 무늬를 포함하는 투사광을 굴절시켜 촬영 대상에 투사하는 프리즘을 더 포함할 수 있다.
여기서, 촬영부는, 기준 격자 무늬가 투사된 촬영 대상과 기준 격자 무늬가 투사되지 않은 촬영 대상을 촬영하여 영상 정보를 생성할 수 있으며, 또한, 촬영부는, 기준 격자 무늬가 투사된 촬영 대상과 기준 격자 무늬가 투사되지 않은 촬영 대상을 하나씩 번갈아 촬영할 수 있다.
또한, 깊이 정보 추출부는, 기준 격자 무늬가 투사된 촬영 대상을 촬영하여 생성된 영상 정보를 이용하여 촬영 대상의 깊이 정보를 추출할 수 있으며, 양안 정보 생성부는, 깊이 정보에 상응하여 기준 격자 무늬가 투사되지 않은 촬영 대상을 촬영하여 생성된 영상 정보로부터 촬영 대상의 입체 정보인 양안 정보를 생성할 수 있다.
격자 무늬 투사부는 내시경에 결합하며, 격자 무늬 투사부는 내시경에 회동 가능하도록 힌지 결합할 수 있고, 본 실시예는 격자 무늬 투사부의 일단에 결합하여 격자 무늬 투사부를 회전시키는 회전 수단을 더 포함할 수 있으며, 회전 수단은 와이어, 기어 및 바 형태의 로드 중 어느 하나가 될 수 있다.
또한, 본 실시예는 격자 무늬 투사부에서 방출되어 일면으로 입사하는 투사광은 통과시키고, 촬영 대상으로부터 반사되어 타면으로 입사하는 광은 반사하는 제1 미러를 더 포함할 수 있으며, 이 경우 격자 무늬 투사부의 전단에 위치하며 투사광을 제1 미러로 반사하는 제2 미러를 더 포함할 수 있다.
본 실시예에 따르면, 격자 무늬 투사부, 촬영부, 제1 미러 및 제2 미러 중 어느 하나 이상을 포함하는 광학부는 내시경에 내장되거나 또는 별도의 장치로 내시경에 탈부착될 수 있다.
본 발명의 다른 측면에 따르면, 내시경에 결합하는 입체 영상 처리 장치에 있어서, 촬영 대상에 기준 격자 무늬를 투사하는 격자 무늬 투사부와, 격자 무늬 투사부와 일측에 결합하며, 내시경에 탈부착가능하도록 결합하는 결합부와, 기준 격자 무늬가 투사된 촬영 대상을 촬영하여 영상 정보를 생성하는 촬영부와, 생성된 영상 정보를 이용하여 촬영 대상의 깊이 정보를 추출하는 깊이 정보 추출부와, 깊이 정보에 상응하여 촬영 대상의 입체 정보인 양안 정보를 생성하는 양안 정보 생성부를 포함하는 입체 영상 처리 장치가 제공된다.
여기서, 상기 격자 무늬 투사부는 상기 결합부에 회동 가능하도록 힌지 결합하며, 내시경은 결합부와 동축 결합할 수 있다. 또한, 본 실시예는 격자 무늬 투사부의 일단에 결합하여 격자 무늬 투사부를 회전시키는 회전 수단을 더 포함할 수 있으며, 회전 수단은 와이어, 기어 및 바 형태의 로드 중 어느 하나가 될 수 있다.
본 발명의 또 다른 측면에 따르면, 촬영 대상에 기준 격자 무늬를 투사하는 단계, 기준 격자 무늬가 투사된 촬영 대상을 촬영하여 영상 정보를 생성하는 단계, 생성된 영상 정보를 이용하여 촬영 대상의 깊이 정보를 추출하는 단계 및 깊이 정보에 상응하여 촬영 대상의 입체 정보인 양안 정보를 생성하는 단계를 포함하는 입체 영상 처리 방법이 제공된다.
깊이 정보 추출 단계는, 촬영 대상에 투사된 기준 격자 무늬와 영상 정보에 포함된 변형 격자 무늬를 비교함으로써 촬영 대상의 깊이 정보를 추출할 수 있으 며, 예를 들면, 깊이 정보 추출 단계는, 변형 격자 무늬를 형성하는 라인들의 인접 라인과의 거리, 라인의 폭, 라인의 기울기 및 라인의 기울기의 변화율 중 어느 하나 이상의 정보를 이용하여 촬영 대상의 깊이 정보를 추출할 수 있다.
또한, 양안 정보 생성 단계는, 추출된 깊이 정보에 상응하여 촬영 대상의 입체 정보를 생성하고, 생성된 입체 정보로부터 양안 시차에 상응하는 영상 정보인 양안 정보를 생성할 수 있다.
또한, 기준 격자 무늬 투사 단계는, 촬영 대상에 기준 격자 무늬를 소정의 주기에 상응하여 온 또는 오프되도록 투사할 수 있으며, 이 경우 영상 정보 생성 단계는, 기준 격자 무늬가 투사된 촬영 대상과 기준 격자 무늬가 투사되지 않은 촬영 대상을 촬영하여 영상 정보를 생성할 수 있으며, 영상 정보 생성 단계는, 기준 격자 무늬가 투사된 촬영 대상과 기준 격자 무늬가 투사되지 않은 촬영 대상을 하나씩 번갈아 촬영할 수 있다.
또한, 깊이 정보 추출 단계는, 기준 격자 무늬가 투사된 촬영 대상을 촬영하여 생성된 영상 정보를 이용하여 촬영 대상의 깊이 정보를 추출하며, 양안 정보 생성 단계는, 깊이 정보에 상응하여 기준 격자 무늬가 투사되지 않은 촬영 대상을 촬영하여 생성된 영상 정보로부터 촬영 대상의 입체 정보인 양안 정보를 생성할 수 있다.
본 발명의 또 다른 측면에 따르면, 상술한 입체 영상 처리 방법을 수행하기 위하여 디지털 처리 장치에 의해 실행될 수 있는 명령어들의 프로그램이 유형적으로 구현되어 있으며 디지털 처리 장치에 의해 판독될 수 있는 프로그램을 기록한 기록매체가 제공될 수 있다.
전술한 것 외의 다른 측면, 특징, 잇점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.
본 발명에 따른 입체 영상 처리 장치 및 방법은 하나의 렌즈를 이용하여 입체 정보를 생성할 수 있고, 입체 영상을 생성하기 위해 사용된 격자 무늬를 제거함으로써 사용자가 촬영 대상을 실제 입체 형상대로 관측할 수 있는 효과가 있다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
도 1은 본 발명의 실시예에 따른 입체 영상 처리 장치(110)의 블록 구성도이다. 도 1을 참조하면, 격자 무늬 투사부(112), 촬영부(114), 깊이 정보 추출부(116) 및 양안 정보 생성부(118)가 도시된다.
본 실시예는 촬영 대상에 격자 무늬의 투사광을 방출하고 이를 하나의 카메라로 촬영한 후 격자 무늬의 변형 형상으로부터 양안 정보를 생성함으로써 촬영 대상의 입체 정보를 획득할 수 있는 특징이 있다. 즉, 본 실시예는 수술 시 환부를 촬영하기 위해 하나의 렌즈를 가지는 촬영부(114)를 이용하는 특징이 있다.
격자 무늬 투사부(112)는 촬영 대상에 기준 격자 무늬를 투사한다. 기준 격자 무늬는 촬영 대상에 투사되는 격자 무늬로서, 촬영 대상에 투사되어 변형되는 변형 격자 무늬와 구별된다. 격자 무늬 투사부(112)는 직진성이 우수한 레이저 광을 방출하는 레이저 발진기가 될 수 있다. 또한, 기준 격자 무늬는 소정의 패턴, 예를 들면, 가로와 세로의 라인이 같은 간격으로 직각으로 교차하는 패턴을 가지는 무늬, 스트라이프 또는 원형의 패턴을 가지는 무늬 등 다양한 무늬가 될 수 있다.
격자 무늬 투사부(112)는 내시경에 결합하여 체내에 삽입됨으로써 격자 무늬를 투사할 수 있다. 이 경우 격자 무늬 투사부(112)는 내시경에 회전 가능도록 결합, 예를 들면, 힌지 결합할 수 있다. 또한, 내시경이 스네이크 타입 또는 플렉서블한 형태로 구현되는 경우 격자 무늬 투사부(112)는 내시경 중 체내에 삽입되는 특정 부분에 결합하여 내시경이 휘어짐에 따라 촬영 대상을 향하여 격자 무늬를 투사할 수 있다. 또한, 내시경의 측면에 렌즈를 구비하여 촬영 대상을 촬영하는 경우 렌즈에 인접한 부분에 격자 무늬 투사부(112)를 위치시킬 수도 있다. 이외에도 격자 무늬 투사부(112)를 내시경의 구조에 상응하여 내시경과 결합하는 다양한 방식이 본 발명에 적용될 수 있음은 물론이다.
촬영부(114)는 상술한 기준 격자 무늬가 투사된 촬영 대상을 하나의 렌즈를 이용하여 촬영하여 영상 정보를 생성한다. 영상 정보는 정적인 이미지 정보 또는 동영상 정보가 될 수 있다. 촬영부(114)는 렌즈를 통해 영상을 촬영하는 장치, 예를 들면, 카메라가 될 수 있다. 촬영부(114)는 생성한 영상 정보를 저장하는 저장부, 예를 들면, 메모리를 더 포함할 수 있다. 본 실시예의 촬영부(114)는 하나의 렌즈를 포함하고 있으므로, 그 부피가 작은 특징이 있다.
깊이 정보 추출부(116)는 촬영부(114)에서 생성된 영상 정보를 이용하여 촬영 대상의 깊이 정보를 추출한다. 예를 들면, 깊이 정보 추출부(116)는 촬영 대상에 투사되는 기준 격자 무늬와 촬영부(114)에서 생성된 영상 정보에 포함된 변형 격자 무늬를 비교함으로써 촬영 대상의 깊이 정보를 추출할 수 있다. 즉, 촬영 부(114)에서 생성된 영상 정보에는, 투사된 기준 격자 무늬가 촬영 대상의 깊이 정보에 상응하여 변형됨으로써 생성되는 변형 격자 무늬가 촬영 대상의 영상 정보에 포함되어 있으므로, 이러한 변형 격자 무늬를 기준 격자 무늬와 비교함으로써 촬영 대상의 깊이 정보를 추출한다.
깊이 정보 추출부(116)는 변형 격자 무늬를 형성하는 라인들의 인접 라인과의 거리, 라인의 폭, 라인의 기울기 및 라인의 기울기의 변화율 중 어느 하나 이상의 정보를 이용하여 촬영 대상의 깊이 정보를 추출할 수 있다. 예를 들면, 깊이 정보 추출부(116)는 기준 격자 무늬와 변형 격자 무늬를 비교하여 변형 격자 무늬의 라인들의 인접 라인과의 거리가 기준 격자 무늬의 라인들의 인접 라인과의 거리보다 작은 경우 촬영 대상이 기울어 졌다고 판단할 수 있다.
또한, 깊이 정보 추출부(116)는 기준 격자 무늬와 변형 격자 무늬를 비교하여 변형 격자 무늬의 라인의 폭이 기준 격자 무늬의 라인의 폭보다 작은 경우 촬영 대상과 촬영부(114)의 거리가 크다고 판단할 수 있다. 따라서 변형 격자 무늬의 라인들의 인접 라인과의 거리가 기준 격자 무늬의 라인들의 인접 라인과의 거리보다 작아지고, 변형 격자 무늬의 라인의 폭이 기준 격자 무늬의 라인의 폭보다 작아지는 경우 깊이 정보 추출부(116)는 촬영 대상과 촬영부(114)의 거리가 커진다고 판단할 수 있다.
또한, 깊이 정보 추출부(116)는 변형 격자 무늬의 라인의 기울기와 기준 격자 무늬의 라인의 기울기를 비교하여 촬영 대상의 기울기 방향에 대한 정보를 추출할 수 있다. 또한, 깊이 정보 추출부(116)는 이러한 라인의 기울기의 변화율을 측 정하여 촬영부(114)에 대한 촬영 대상의 요철이 형성하는 테두리의 곡선 정보를 추출할 수 있다. 이외에도 본 발명의 당업자에게 자명한 다양한 깊이 정보 추출 방법이 본 발명에 적용될 수 있음은 물론이다.
양안 정보 생성부(118)는 깊이 정보 추출부(116)에서 추출한 깊이 정보에 상응하여 촬영 대상의 입체 정보인 양안 정보를 생성한다. 양안 정보 생성부(118)는 추출된 깊이 정보에 상응하여 촬영 대상의 입체 정보를 생성한 후 생성된 입체 정보로부터 사용자의 양안 시차에 상응하는 영상 정보인 양안 정보를 생성할 수 있다. 양안 정보는 추출한 깊이 정보를 이용하여 재현된 3차원 이미지에서 좌 또는 우로 양안 시차만큼 쉬프트하여 구현되는 영상에 관한 정보이다. 즉, 양안 정보는 사용자의 양안 시차에 상응하여 생성하는 영상 정보로서, 양안 정보 생성부(118)는 상술한 바와 같은 깊이 정보에 상응하여 입체 영상을 생성한 후 이로부터 사용자의 양안 시차에 상응하는 영상 정보를 생성할 수 있다.
도 2는 본 발명의 다른 실시예에 따른 입체 영상 처리 장치의 블록 구성도이다. 도 2를 참조하면, 격자 무늬 투사부(112), 점멸 제어부(113), 촬영부(114), 깊이 정보 추출부(116), 양안 정보 생성부(118) 및 촬영 대상(210)이 도시된다. 상술한 바와의 차이점을 위주로 설명한다.
본 실시예는 상술한 기준 격자 무늬를 소정의 주기에 상응하여 온(on) 및 오프(off)되도록 촬영 대상(210)에 투사하여 실제 입체로 구현되는 영상은 기준 격자 무늬를 포함하지 않도록 하는 특징이 있다. 즉, 기준 격자 무늬가 촬영 대상(210)에 투사된 영상은 깊이 정보를 추출하는데 사용되며, 기준 격자 무늬가 촬영 대 상(210)에 투사되지 않은 영상은 양안 정보를 생성하는 사용함으로써 사용자에게 출력되는 입체 영상은 격자 무늬가 포함되지 않을 수 있다.
점멸 제어부(113)는 격자 무늬 투사부(112)를 소정의 주기에 상응하여 온(on) 또는 오프(off)시킨다. 즉, 점멸 제어부(113)는 기준 격자 무늬를 투사하는 투사광을 소정의 주기에 상응하여 점멸(點滅)할 수 있다. 본 실시예의 영상 정보가 동영상에 관한 정보인 경우, 일반적으로 사람 눈은 25 내지 30 FPS(frames per second) 이상의 동영상을 잔상에 의해 연속 영상으로 인식하기 때문에 상술한 소정의 주기는 점멸의 한 사이클이 초당 25 내지 30번 이상 반복되도록 결정될 수 있다. 즉, 점멸 제어부(113)는 기준 격자 무늬를 투사하는 투사광을 초당 25번 이상 점멸시킴으로써, 촬영부(114)가 기준 격자 무늬가 투사된 촬영 대상(210)과 기준 격자 무늬가 투사되지 않은 촬영 대상(210)을 각각 초당 25번 이상 촬영할 수 있도록 한다.
촬영부(114)는 기준 격자 무늬가 투사된 촬영 대상(210)과 기준 격자 무늬가 투사되지 않은 촬영 대상(210)을 촬영하여 영상 정보를 생성하며, 깊이 정보 추출부(116)는 기준 격자 무늬가 투사된 촬영 대상(210)을 촬영하여 생성된 영상 정보로부터 상술한 바와 같이 촬영 대상(210)의 깊이 정보를 추출할 수 있다. 여기서, 촬영부(114)는 기준 격자 무늬가 투사된 촬영 대상과 기준 격자 무늬가 투사되지 않은 촬영 대상을 하나씩 번갈아 촬영할 수 있다.
또한, 양안 정보 생성부(118)는 추출된 깊이 정보에 상응하여 기준 격자 무늬가 투사되지 않은 촬영 대상(210)을 촬영하여 생성된 영상 정보를 이용하여 촬영 대상(210)의 입체 정보인 양안 정보를 생성할 수 있다.
도 3은 본 발명의 또 다른 실시예에 따른 입체 영상 처리 장치의 블록 구성도이다. 도 3을 참조하면, 격자 무늬 투사부(112), 촬영부(114), 스캔 제어부(115), 깊이 정보 추출부(116), 양안 정보 생성부(118), 미러부(119) 및 촬영 대상(210)이 도시된다. 상술한 바와의 차이점을 위주로 설명한다.
본 실시예는 소정의 도구, 예를 들면, 미러부(119)를 이용하여 기준 격자 무늬를 포함하는 투사광의 경로를 상술한 소정의 주파수에 상응하여 변경함으로써 촬영 대상(210)에 소정의 주기에 상응하여 기준 격자 무늬가 온 또는 오프되어 투사될 수 있도록 하는 특징이 있다.
여기서, 미러부(119)는 소정의 주기에 상응하여 격자 무늬 투사부(112)에서 방출되는 투사광을 촬영 대상(210) 방향으로 반사하는 수단으로서, 예를 들면, 폴리곤 미러 또는 갈바노 미러 등이 될 수 있다. 즉, 미러부(119)는 상술한 주기에 상응하여 회전하여 기준 격자 무늬를 포함하는 투사광을 촬영 대상(210)으로 반사함으로써, 상술한 바와 같이 촬영 대상(210)에 기준 격자 무늬가 상기 주기에 상응하여 투사될 수 있다.
도 4는 본 발명의 또 다른 실시예에 따른 입체 영상 처리 장치의 블록 구성도이다. 도 4를 참조하면, 격자 무늬 투사부(112), 촬영부(114), 깊이 정보 추출부(116), 프리즘(117), 양안 정보 생성부(118) 및 촬영 대상(210)이 도시된다. 상술한 바와의 차이점을 위주로 설명한다.
본 실시예는 프리즘(117)을 구비하여 기준 격자 무늬를 포함하는 투사광의 경로를 자유롭게 변경할 수 있는 특징이 있다. 본 실시예에 따르면, 프리즘(117)이 투사광의 경로를 변경할 수 있으므로, 격자 무늬 투사부(112)의 위치는 자유롭게 특정될 수 있다. 즉, 도시된 바와 같이 격자 무늬 투사부(112)는 촬영부(114)와 촬영 대상(210)을 잇는 직선 상에 위치하지 않더라도 프리즘(117)이 투사광을 촬영부(114)가 촬영 대상(210)을 향하는 방향으로 방출할 수 있다. 이러한 구조에 의하면, 격자 무늬 투사부(112)가 구비되는 위치가 다양해 질 수 있으므로, 장치의 부피를 최대한 활용할 수 있는 장점이 있다. 본 실시예 및 이하에서 서술되는 실시예들도 상술한 바와 같이 기준 격자 무늬가 투사된 촬영 대상(210)의 영상으로부터 깊이 정보를 추출하고, 기준 격자 무늬가 투사되지 않은 촬영 대상(210)에 깊이 정보를 적용하여 양안 정보를 얻을 수 있음은 물론이다.
도 5 내지 도 9는 상술한 입체 영상 처리 장치가 내시경에 결합한 실시예를 도시한 도면이다. 이하에서는 상술한 바와의 차이점 및 각 실시예간의 차이점을 위주로 설명한다.
도 5를 참조하면, 격자 무늬 투사부(112)는 내시경 몸체(130)와 힌지(122) 결합하여, 내시경이 환자 몸 속에 삽입되는 경우에는 내시경 몸체(130)의 연장 방향과 동일한 방향을 향하도록 회전하며, 촬영시 촬영 대상(210)에 격자 무늬를 투사하도록 내시경 몸체(130)의 연장 방향에 대해 소정의 각을 형성하도록 회전한다.
본 실시예는 격자 무늬 투사부(112)의 일단에 결합하여, 격자 무늬 투사부(112)를 회전시키는 회전 수단을 더 포함할 수 있다. 여기서, 회전 수단은 와이어, 기어 및 바 형태의 로드(rod) 등이 될 수 있다. 예를 들어, 도 5에 도시된 와 이어(124)를 중심으로 설명하면, 와이어(124)의 일단은 힌지(122)의 중심과 소정의 거리만큼 이격되도록 격자 무늬 투사부(112)에 결합함으로써, 와이어(124)가 당겨지는 경우 발생한 토크에 의해 격자 무늬 투사부(112)가 힌지(122)를 중심으로 반시계 방향으로 회전하게 된다. 와이어(124)의 타단은 사용자에 의해 조작가능한 조작부(미도시)에 연결된다. 반대로, 격자 무늬 투사부(112)를 시계 방향으로 회전시키기 위해서는 시계 방향의 토크를 발생시키는 별도의 와이어를 구비하거나 또는 스프링(예를 들면, 힌지(122)에 결합하는 V자형 스프링 등)을 이용하여 격자 무늬 투사부(112)를 시계 방향으로 회전시킬 수도 있다. 이외에 격자 무늬 투사부(112)를 회전시키는 다양한 메커니즘이 본 발명에 적용될 수 있음은 물론이다.
도 6을 참조하면, 격자 무늬 투사부(112)는 결합부(140)에 상술한 바와 같이 힌지(122) 결합하며, 결합부(140)가 내시경 몸체(130)에 결합한다. 내시경 몸체(130)의 말단은 결합부(140)에 삽입되며, 삽입 후 격자 무늬 투사부(112)의 기능, 작동 방법 및 기타 구성요소와의 기능적 결합관계는 상술한 바와 같다. 즉, 격자 무늬 투사부(112)는 결합부(140)와 함께 모듈화되어 내시경 몸체(130)에 탈부착가능하도록 결합한다. 도 6을 참조하면, 내시경 몸체(130)는 그 연장 방향으로 관 형상의 결합부(140) 내부에 삽입되는 동축 결합을 한다. 이외에도 내시경 몸체(130)와 결합부(140)의 다양한 결합 방식이 본 발명에 적용될 수 있음은 물론이다. 이러한 구조에 의하면, 종래 기술에 따른 내시경에 본 실시예에 따른 격자 무늬 투사부(112)가 기구적으로 결합함으로써 본 발명이 구현될 수 있는 장점이 있다.
도 7a를 참조하면, 내시경 몸체(130)와 광 소스(light source) 연결부(132)를 포함하는 내시경에 본 실시예에 따른 격자 무늬 투사부(112), 촬영부(114) 및 제1 미러(150)를 포함하는 광학부(A)가 내장된다. 즉, 본 실시예는 내시경 몸체(130) 내부에 광학부를 내장하여 광의 진행 경로를 제어할 수 있다. 제1 미러(150)는 격자 무늬 투사부(112)에서 방출되어 일면에서 입사하는 투사광은 통과시키고, 촬영 대상(210)으로부터 반사되어 타면에서 입사하는 광은 반사시킴으로써 격자 무늬 투사부(112)와 촬영부(114)를 서로 다른 방향을 향하도록 위치시킬 수 있다. 여기서, 제1 미러(150)는 일방향 미러(one way mirror) 또는 광굴절변조기(EOM)가 될 수 있다.
또한, 도 7b를 참조하면, 격자 무늬 투사부(112), 촬영부(114) 및 제1 미러(150)를 포함하는 광학부(A)는 내시경 몸체(130)와 탈부착가능한 별도 장치로 구현될 수도 있다. 광학부는 내시경의 말단, 예를 들면, 접안 렌즈(134)가 위치한 부분과 결합한다. 상술한 깊이 정보 추출부(116)와 양안 정보 생성부(118)와 같은 다른 기능부들은 광학부와 같은 장치에 내장되거나 광학부와 통신 가능한 별도의 장치로 구현될 수 있다. 광학부가 내시경과 결합하는 방식은 다양하게 구현될 수 있으며, 예를 들면, 내시경 몸체(130)가 그 연장 방향으로 관 형상의 광학부 내부에 삽입되는 동축 결합을 할 수 있다. 이 경우 종래에 사용되는 내시경에 본 발명이 모듈화되어 구현된 부품을 간편하게 결합하여 적용할 수 있는 장점이 있다.
도 8을 참조하면, 상술한 바와 다른 방식의 광학 시스템이 도시된다. 즉, 제2 미러(155)를 격자 무늬 투사부(112)의 앞단에 위치시킴으로써 격자 무늬 투사 부(112)와 촬영부(114)가 동일 방향을 향하도록 배치할 수 있다. 제2 미러(155)는 격자 무늬 투사부(112)에서 방출된 투사광을 제1 미러(150) 방향으로 반사한다. B 영역도 상술한 A 영역과 마찬가지로 내시경 몸체(130)와 탈부착가능하도록 별도의 부품으로 모듈화될 수 있다.
이상에서는 2개 이하의 미러를 포함하는 광학 시스템을 설명하였으나, 이외에도 더 많은 미러가 구비되는 등 다양한 광학 시스템의 구성에 의해서 격자 무늬 투사부(112)와 촬영부(114)를 효율적으로 배치할 수 있음은 물론이다.
도 9는 본 발명의 실시예에 따른 입체 영상 처리 방법의 흐름도이다.
단계 S910에서, 격자 무늬 투사부(112)가 촬영 대상에 기준 격자 무늬를 투사한다. 단계 S912에서는, 실제 입체로 구현되는 영상은 기준 격자 무늬를 포함하지 않도록 하기 위해서 격자 무늬 투사부(112)는 기준 격자 무늬를 소정의 주기에 상응하여 온(on) 및 오프(off)되도록 촬영 대상(210)에 투사한다. 이러한 주기에 상응한 투사 방법은 상술한 바와 같이 점멸 제어부(113) 또는 미러부(119)의 구동에 의해 구현될 수 있다.
단계 S920에서, 촬영부(114)는 기준 격자 무늬가 투사된 촬영 대상을 하나의 렌즈를 이용하여 촬영하여 영상 정보를 생성한다. 또한, 단계 S922에서, 촬영부(114)는 기준 격자 무늬가 투사된 촬영 대상(210)과 기준 격자 무늬가 투사되지 않은 촬영 대상(210)을 촬영하여 각각에 대한 영상 정보를 생성한다. 상술한 바와 같이 기준 격자 무늬가 투사된 촬영 대상(210)을 촬영하여 생성된 영상 정보는 촬영 대상(210)의 깊이 정보를 추출하는데 사용되며, 기준 격자 무늬가 투사되지 않 은 촬영 대상(210)을 촬영하여 생성된 영상 정보는 촬영 대상(210)의 입체 정보인 양안 정보를 생성하는데 사용될 수 있다.
단계 S930에서, 깊이 정보 추출부(116)는 생성된 영상 정보를 이용하여 촬영 대상(210)의 깊이 정보를 추출한다. 깊이 정보 추출 방법은 다양하게 구현될 수 있으며, 예를 들면, 단계 S932에서, 깊이 정보 추출부(116)는 촬영 대상(210)에 투사되는 기준 격자 무늬와 촬영부(114)에서 생성된 영상 정보에 포함된 변형 격자 무늬를 비교함으로써 촬영 대상(210)의 깊이 정보를 추출할 수 있다. 즉, 상술한 바와 같이 깊이 정보 추출부(116)는 변형 격자 무늬를 형성하는 라인들의 인접 라인과의 거리, 라인의 폭, 라인의 기울기 및 라인의 기울기의 변화율 등과 같은 정보를 이용하여 촬영 대상의 깊이 정보를 추출할 수 있다.
단계 S940에서, 양안 정보 생성부(118)는 추출된 깊이 정보에 상응하여 촬영 대상(210)의 입체 정보인 양안 정보를 생성한다. 단계 S942에서, 양안 정보 생성부(118)는 추출된 깊이 정보에 상응하여 촬영 대상의 입체 정보를 생성한 후 생성된 입체 정보로부터 사용자의 양안 시차에 상응하는 영상 정보인 양안 정보를 생성할 수 있다. 또한, 단계 S944에서, 양안 정보 생성부(118)는 추출된 깊이 정보에 상응하여 기준 격자 무늬가 투사되지 않은 촬영 대상(210)을 촬영하여 생성된 영상 정보를 이용하여 촬영 대상(210)의 입체 정보인 양안 정보를 생성할 수 있다.
그 외 본 발명의 실시예에 따른 입체 영상 처리 장치에 대한 구체적인 규격, 임베디드 시스템, O/S 등의 공통 플랫폼 기술과 통신 프로토콜, I/O 인터페이스 등 인터페이스 표준화 기술 및 엑추에이터, 배터리, 카메라, 센서 등 부품 표준화 기 술 등에 대한 구체적인 설명은 본 발명이 속하는 기술 분야의 통상의 지식을 가진자에게 자명한 사항이므로 생략하기로 한다.
본 발명에 따른 입체 영상 처리 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 즉, 기록 매체는 컴퓨터에 상술한 단계들을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체가 될 수 있다.
상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합한 형태로 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM, DVD와 같은 광기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.
상기한 바에서, 본 발명의 실시예에 따른 입체 영상 처리 장치 및 방법은 점멸 제어부 또는 미러부 등과 같은 구성을 일 실시예에 따라 기술하였으나, 반드시 이에 한정될 필요는 없고, 이들이 서로 조합되거나 또는 투사광의 반사 경로를 다양하게 하기 위해서 미러부가 복수개 포함되는 등 다른 구조로 구현되더라도 전체적인 작용 및 효과에는 차이가 없다면 이러한 다른 구성은 본 발명의 권리범위에 포함될 수 있으며, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
도 1은 본 발명의 실시예에 따른 입체 영상 처리 장치의 블록 구성도.
도 2는 본 발명의 다른 실시예에 따른 입체 영상 처리 장치의 블록 구성도.
도 3은 본 발명의 또 다른 실시예에 따른 입체 영상 처리 장치의 블록 구성도.
도 4는 본 발명의 또 다른 실시예에 따른 입체 영상 처리 장치의 블록 구성도.
도 5는 본 발명의 실시예에 따른 입체 영상 처리 장치가 내시경에 결합한 상태도.
도 6은 본 발명의 다른 실시예에 따른 입체 영상 처리 장치가 내시경에 결합한 상태도.
도 7a는 본 발명의 또 다른 실시예에 따른 입체 영상 처리 장치가 내시경에 내부에 결합한 상태도.
도 7b는 도 7a의 입체 영상 처리 장치가 별도 장치로 구현되어 내시경에 결합하는 상태도.
도 8은 본 발명의 또 다른 실시예에 따른 입체 영상 처리 장치가 내시경에 결합한 상태도.
도 9는 본 발명의 실시예에 따른 입체 영상 처리 방법의 흐름도.
<도면의 주요부분에 대한 부호의 설명>
110 : 입체 영상 처리 장치 112 : 격자 무늬 투사부
113 : 점멸 제어부 114 : 촬영부
115 : 스캔 제어부 116 : 깊이 정보 추출부
117 : 프리즘 118 : 양안 정보 생성부
119 : 미러부 122 : 힌지
124 : 와이어 130 : 내시경 몸체
140 : 결합부 150 : 제1 미러
155 : 제2 미러 210 : 촬영 대상

Claims (34)

  1. 촬영 대상에 기준 격자 무늬를 투사하는 격자 무늬 투사부와;
    상기 기준 격자 무늬가 투사된 촬영 대상을 촬영하여 영상 정보를 생성하는 촬영부와;
    상기 생성된 영상 정보를 이용하여 촬영 대상의 깊이 정보를 추출하는 깊이 정보 추출부와;
    상기 깊이 정보에 상응하여 상기 촬영 대상의 입체 정보인 양안 정보를 생성하는 양안 정보 생성부를 포함하는 입체 영상 처리 장치.
  2. 제1항에 있어서,
    상기 깊이 정보 추출부는,
    상기 촬영 대상에 투사된 기준 격자 무늬와 상기 영상 정보에 포함된 변형 격자 무늬를 비교함으로써 상기 촬영 대상의 깊이 정보를 추출하는 것을 특징으로 하는 입체 영상 처리 장치.
  3. 제2항에 있어서,
    상기 깊이 정보 추출부는,
    상기 변형 격자 무늬를 형성하는 라인들의 인접 라인과의 거리, 라인의 폭, 라인의 기울기 및 라인의 기울기의 변화율 중 어느 하나 이상의 정보를 이용하여 상기 촬영 대상의 깊이 정보를 추출하는 것을 특징으로 하는 입체 영상 처리 장치.
  4. 제1항에 있어서,
    상기 격자 무늬 투사부는,
    상기 촬영 대상에 기준 격자 무늬를 소정의 주기에 상응하여 온 또는 오프되도록 투사하는 것을 특징으로 하는 입체 영상 처리 장치.
  5. 제4항에 있어서,
    상기 격자 무늬 투사부는,
    상기 기준 격자 무늬를 포함하는 투사광을 상기 주기에 상응하여 점멸(點滅)하는 점멸 제어부를 더 포함하는 입체 영상 처리 장치.
  6. 제4항에 있어서,
    상기 격자 무늬 투사부는,
    상기 주기에 상응하여 회전하여 상기 기준 격자 무늬를 포함하는 투사광을 상기 촬영 대상으로 반사하는 미러부를 더 포함하는 입체 영상 처리 장치.
  7. 제1항에 있어서,
    상기 격자 무늬 투사부는,
    상기 기준 격자 무늬를 포함하는 투사광을 굴절시켜 상기 촬영 대상에 투사하는 프리즘을 더 포함하는 입체 영상 처리 장치.
  8. 제4항에 있어서,
    상기 촬영부는,
    상기 기준 격자 무늬가 투사된 촬영 대상과 상기 기준 격자 무늬가 투사되지 않은 촬영 대상을 촬영하여 영상 정보를 생성하는 것을 특징으로 하는 입체 영상 처리 장치.
  9. 제8항에 있어서,
    상기 촬영부는,
    상기 기준 격자 무늬가 투사된 촬영 대상과 상기 기준 격자 무늬가 투사되지 않은 촬영 대상을 하나씩 번갈아 촬영하는 것을 특징으로 하는 입체 영상 처리 장 치.
  10. 제8항에 있어서,
    상기 깊이 정보 추출부는,
    상기 기준 격자 무늬가 투사된 촬영 대상을 촬영하여 생성된 영상 정보를 이용하여 촬영 대상의 깊이 정보를 추출하는 것을 특징으로 하는 입체 영상 처리 장치.
  11. 제10항에 있어서,
    상기 양안 정보 생성부는,
    상기 깊이 정보에 상응하여 상기 기준 격자 무늬가 투사되지 않은 촬영 대상을 촬영하여 생성된 영상 정보로부터 상기 촬영 대상의 입체 정보인 양안 정보를 생성하는 것을 특징으로 하는 입체 영상 처리 장치.
  12. 제1항에 있어서,
    상기 격자 무늬 투사부는 내시경에 결합하는 입체 영상 처리 장치.
  13. 제12항에 있어서,
    상기 격자 무늬 투사부는 내시경에 회동 가능하도록 힌지 결합하는 입체 영상 처리 장치.
  14. 제13항에 있어서,
    상기 격자 무늬 투사부의 일단에 결합하여 상기 격자 무늬 투사부를 회전시키는 회전 수단을 더 포함하는 입체 영상 처리 장치.
  15. 제14항에 있어서,
    상기 회전 수단은 와이어, 기어 및 바 형태의 로드 중 어느 하나인 것을 특징으로 하는 입체 영상 처리 장치.
  16. 제1항에 있어서,
    상기 격자 무늬 투사부에서 방출되어 일면으로 입사하는 투사광은 통과시키고, 상기 촬영 대상으로부터 반사되어 타면으로 입사하는 광은 반사하는 제1 미러를 더 포함하는 입체 영상 처리 장치.
  17. 제16항에 있어서,
    상기 격자 무늬 투사부, 상기 촬영부 및 상기 제1 미러를 포함하는 광학부는 내시경에 내장되거나 또는 별도의 장치로 상기 내시경에 탈부착되는 것을 특징으로 하는 입체 영상 처리 장치.
  18. 제16항에 있어서,
    상기 격자 무늬 투사부의 전단에 위치하며 상기 투사광을 상기 제1 미러로 반사하는 제2 미러를 더 포함하는 입체 영상 처리 장치.
  19. 제18항에 있어서,
    상기 격자 무늬 투사부, 상기 촬영부, 상기 제1 미러 및 상기 제2 미러를 포함하는 광학부는 내시경에 내장되거나 또는 별도의 장치로 상기 내시경에 탈부착되는 것을 특징으로 하는 입체 영상 처리 장치.
  20. 내시경에 결합하는 입체 영상 처리 장치에 있어서,
    촬영 대상에 기준 격자 무늬를 투사하는 격자 무늬 투사부와;
    상기 격자 무늬 투사부와 일측에 결합하며, 상기 내시경에 탈부착가능하도록 결합하는 결합부와;
    상기 기준 격자 무늬가 투사된 촬영 대상을 촬영하여 영상 정보를 생성하는 촬영부와;
    상기 생성된 영상 정보를 이용하여 촬영 대상의 깊이 정보를 추출하는 깊이 정보 추출부와;
    상기 깊이 정보에 상응하여 상기 촬영 대상의 입체 정보인 양안 정보를 생성하는 양안 정보 생성부를 포함하는 입체 영상 처리 장치.
  21. 제20항에 있어서,
    상기 격자 무늬 투사부는 상기 결합부에 회동 가능하도록 힌지 결합하는 입체 영상 처리 장치.
  22. 제20항에 있어서,
    상기 격자 무늬 투사부의 일단에 결합하여 상기 격자 무늬 투사부를 회전시키는 회전 수단을 더 포함하는 입체 영상 처리 장치.
  23. 제22항에 있어서,
    상기 회전 수단은 와이어, 기어 및 바 형태의 로드 중 어느 하나인 것을 특징으로 하는 입체 영상 처리 장치.
  24. 제20항에 있어서,
    상기 내시경은 상기 결합부와 동축 결합하는 것을 특징으로 하는 입체 영상 처리 장치.
  25. 입체 영상 처리 장치가 입체 영상을 처리하는 방법에 있어서,
    촬영 대상에 기준 격자 무늬를 투사하는 단계;
    상기 기준 격자 무늬가 투사된 촬영 대상을 촬영하여 영상 정보를 생성하는 단계;
    상기 생성된 영상 정보를 이용하여 촬영 대상의 깊이 정보를 추출하는 단계; 및
    상기 깊이 정보에 상응하여 상기 촬영 대상의 입체 정보인 양안 정보를 생성하는 단계를 포함하는 입체 영상 처리 방법.
  26. 제25항에 있어서,
    상기 깊이 정보 추출 단계는,
    상기 촬영 대상에 투사된 기준 격자 무늬와 상기 영상 정보에 포함된 변형 격자 무늬를 비교함으로써 상기 촬영 대상의 깊이 정보를 추출하는 것을 특징으로 하는 입체 영상 처리 방법.
  27. 제26항에 있어서,
    상기 깊이 정보 추출 단계는,
    상기 변형 격자 무늬를 형성하는 라인들의 인접 라인과의 거리, 라인의 폭, 라인의 기울기 및 라인의 기울기의 변화율 중 어느 하나 이상의 정보를 이용하여 상기 촬영 대상의 깊이 정보를 추출하는 입체 영상 처리 방법.
  28. 제25항에 있어서,
    상기 양안 정보 생성 단계는,
    상기 추출된 깊이 정보에 상응하여 상기 촬영 대상의 입체 정보를 생성하고, 상기 생성된 입체 정보로부터 양안 시차에 상응하는 영상 정보인 양안 정보를 생성하는 것을 특징으로 하는 입체 영상 처리 방법.
  29. 제25항에 있어서,
    상기 기준 격자 무늬 투사 단계는,
    상기 촬영 대상에 기준 격자 무늬를 소정의 주기에 상응하여 온 또는 오프되도록 투사하는 것을 특징으로 하는 입체 영상 처리 방법.
  30. 제29항에 있어서,
    상기 영상 정보 생성 단계는,
    상기 기준 격자 무늬가 투사된 촬영 대상과 상기 기준 격자 무늬가 투사되지 않은 촬영 대상을 촬영하여 영상 정보를 생성하는 것을 특징으로 하는 입체 영상 처리 방법.
  31. 제30항에 있어서,
    상기 영상 정보 생성 단계는,
    상기 기준 격자 무늬가 투사된 촬영 대상과 상기 기준 격자 무늬가 투사되지 않은 촬영 대상을 하나씩 번갈아 촬영하는 것을 특징으로 하는 입체 영상 처리 방법.
  32. 제30항에 있어서,
    상기 깊이 정보 추출 단계는,
    상기 기준 격자 무늬가 투사된 촬영 대상을 촬영하여 생성된 영상 정보를 이용하여 촬영 대상의 깊이 정보를 추출하는 것을 특징으로 하는 입체 영상 처리 방법.
  33. 제32항에 있어서,
    상기 양안 정보 생성 단계는,
    상기 깊이 정보에 상응하여 상기 기준 격자 무늬가 투사되지 않은 촬영 대상을 촬영하여 생성된 영상 정보로부터 상기 촬영 대상의 입체 정보인 양안 정보를 생성하는 것을 특징으로 하는 입체 영상 처리 방법.
  34. 제25항 내지 제33항 중 어느 하나에 기재된 입체 영상 처리 방법을 수행하기 위하여 디지털 처리 장치에 의해 실행될 수 있는 명령어들의 프로그램이 유형적으로 구현되어 있으며 디지털 처리 장치에 의해 판독될 수 있는 프로그램을 기록한 기록매체.
KR1020090076290A 2009-08-18 2009-08-18 입체 영상 처리 장치 및 방법 KR20110018696A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020090076290A KR20110018696A (ko) 2009-08-18 2009-08-18 입체 영상 처리 장치 및 방법
US12/720,421 US20110043609A1 (en) 2009-08-18 2010-03-09 Apparatus and method for processing a 3d image
CN201010256339XA CN101996417B (zh) 2009-08-18 2010-08-18 3d图像处理的装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090076290A KR20110018696A (ko) 2009-08-18 2009-08-18 입체 영상 처리 장치 및 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020090080209A Division KR100933466B1 (ko) 2009-08-28 2009-08-28 입체 영상 처리 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20110018696A true KR20110018696A (ko) 2011-02-24

Family

ID=43605031

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090076290A KR20110018696A (ko) 2009-08-18 2009-08-18 입체 영상 처리 장치 및 방법

Country Status (3)

Country Link
US (1) US20110043609A1 (ko)
KR (1) KR20110018696A (ko)
CN (1) CN101996417B (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101314101B1 (ko) * 2012-09-24 2013-10-04 위프코 주식회사 3차원 계측 시스템 및 그 방법
WO2017082484A1 (en) * 2015-11-11 2017-05-18 Samsung Electronics Co., Ltd. Image photographing apparatus and method for controlling the same
US10360719B2 (en) 2016-10-19 2019-07-23 Flux Planet, Inc. Method and apparatus for obtaining high-quality textures

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8255225B2 (en) 2008-08-07 2012-08-28 Vocollect Healthcare Systems, Inc. Voice assistant system
US8908995B2 (en) 2009-01-12 2014-12-09 Intermec Ip Corp. Semi-automatic dimensioning with imager on a portable device
JP5578844B2 (ja) 2009-12-21 2014-08-27 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP5784379B2 (ja) * 2011-06-15 2015-09-24 株式会社東芝 画像処理システム、装置及び方法
JP5973704B2 (ja) * 2011-08-26 2016-08-23 キヤノン株式会社 投影制御装置及び投影制御方法
US9779546B2 (en) 2012-05-04 2017-10-03 Intermec Ip Corp. Volume dimensioning systems and methods
US10007858B2 (en) 2012-05-15 2018-06-26 Honeywell International Inc. Terminals and methods for dimensioning objects
US9217636B2 (en) * 2012-06-11 2015-12-22 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and a computer-readable storage medium
US10321127B2 (en) 2012-08-20 2019-06-11 Intermec Ip Corp. Volume dimensioning system calibration systems and methods
JP5740370B2 (ja) * 2012-09-04 2015-06-24 株式会社東芝 領域特定装置、方法、及びプログラム
US9939259B2 (en) 2012-10-04 2018-04-10 Hand Held Products, Inc. Measuring object dimensions using mobile computer
US20140104413A1 (en) 2012-10-16 2014-04-17 Hand Held Products, Inc. Integrated dimensioning and weighing system
US20140104416A1 (en) * 2012-10-16 2014-04-17 Hand Held Products, Inc. Dimensioning system
DE102013200898A1 (de) * 2013-01-21 2014-07-24 Siemens Aktiengesellschaft Endoskop, insbesondere für die minimal-invasive Chirurgie
JP6236721B2 (ja) * 2013-02-12 2017-11-29 藤垣　元治 形状計測装置および形状計測方法
US9080856B2 (en) 2013-03-13 2015-07-14 Intermec Ip Corp. Systems and methods for enhancing dimensioning, for example volume dimensioning
US10228452B2 (en) 2013-06-07 2019-03-12 Hand Held Products, Inc. Method of error correction for 3D imaging device
US9464885B2 (en) 2013-08-30 2016-10-11 Hand Held Products, Inc. System and method for package dimensioning
CN103475894B (zh) * 2013-09-27 2015-11-04 浙江大学 一种3d腹腔镜视频处理方法
US11033182B2 (en) 2014-02-21 2021-06-15 3Dintegrated Aps Set comprising a surgical instrument
DE102014204244A1 (de) * 2014-03-07 2015-09-10 Siemens Aktiengesellschaft Endoskop mit Tiefenbestimmung
DE102014204243A1 (de) * 2014-03-07 2015-09-10 Siemens Aktiengesellschaft Endoskop mit Tiefenbestimmung
US9823059B2 (en) 2014-08-06 2017-11-21 Hand Held Products, Inc. Dimensioning system with guided alignment
US10775165B2 (en) 2014-10-10 2020-09-15 Hand Held Products, Inc. Methods for improving the accuracy of dimensioning-system measurements
US10810715B2 (en) 2014-10-10 2020-10-20 Hand Held Products, Inc System and method for picking validation
US9779276B2 (en) 2014-10-10 2017-10-03 Hand Held Products, Inc. Depth sensor based auto-focus system for an indicia scanner
US9897434B2 (en) 2014-10-21 2018-02-20 Hand Held Products, Inc. Handheld dimensioning system with measurement-conformance feedback
US9557166B2 (en) 2014-10-21 2017-01-31 Hand Held Products, Inc. Dimensioning system with multipath interference mitigation
US9762793B2 (en) 2014-10-21 2017-09-12 Hand Held Products, Inc. System and method for dimensioning
US9752864B2 (en) 2014-10-21 2017-09-05 Hand Held Products, Inc. Handheld dimensioning system with feedback
US10060729B2 (en) 2014-10-21 2018-08-28 Hand Held Products, Inc. Handheld dimensioner with data-quality indication
US9786101B2 (en) 2015-05-19 2017-10-10 Hand Held Products, Inc. Evaluating image values
US10066982B2 (en) 2015-06-16 2018-09-04 Hand Held Products, Inc. Calibrating a volume dimensioner
US9857167B2 (en) 2015-06-23 2018-01-02 Hand Held Products, Inc. Dual-projector three-dimensional scanner
US20160377414A1 (en) 2015-06-23 2016-12-29 Hand Held Products, Inc. Optical pattern projector
US9835486B2 (en) 2015-07-07 2017-12-05 Hand Held Products, Inc. Mobile dimensioner apparatus for use in commerce
EP3396313B1 (en) 2015-07-15 2020-10-21 Hand Held Products, Inc. Mobile dimensioning method and device with dynamic accuracy compatible with nist standard
US10094650B2 (en) 2015-07-16 2018-10-09 Hand Held Products, Inc. Dimensioning and imaging items
US20170017301A1 (en) 2015-07-16 2017-01-19 Hand Held Products, Inc. Adjusting dimensioning results using augmented reality
US10249030B2 (en) 2015-10-30 2019-04-02 Hand Held Products, Inc. Image transformation for indicia reading
US10225544B2 (en) 2015-11-19 2019-03-05 Hand Held Products, Inc. High resolution dot pattern
US10025314B2 (en) 2016-01-27 2018-07-17 Hand Held Products, Inc. Vehicle positioning and object avoidance
CN105996961B (zh) * 2016-04-27 2018-05-11 安翰光电技术（武汉）有限公司 基于结构光的3d立体成像胶囊内窥镜系统及方法
US10339352B2 (en) 2016-06-03 2019-07-02 Hand Held Products, Inc. Wearable metrological apparatus
US9940721B2 (en) 2016-06-10 2018-04-10 Hand Held Products, Inc. Scene change detection in a dimensioner
US10163216B2 (en) 2016-06-15 2018-12-25 Hand Held Products, Inc. Automatic mode switching in a volume dimensioner
US10909708B2 (en) 2016-12-09 2021-02-02 Hand Held Products, Inc. Calibrating a dimensioner using ratios of measurable parameters of optic ally-perceptible geometric elements
US11047672B2 (en) 2017-03-28 2021-06-29 Hand Held Products, Inc. System for optically dimensioning
US10542245B2 (en) * 2017-05-24 2020-01-21 Lg Electronics Inc. Mobile terminal and method for controlling the same
US10733748B2 (en) 2017-07-24 2020-08-04 Hand Held Products, Inc. Dual-pattern optical 3D dimensioning
US10584962B2 (en) 2018-05-01 2020-03-10 Hand Held Products, Inc System and method for validating physical-item security
CN110613510B (zh) * 2018-06-19 2020-07-21 清华大学 一种自投影式内窥镜装置
CN112740666A (zh) 2018-07-19 2021-04-30 艾科缇弗外科公司 自动手术机器人视觉系统中多模态感测深度的系统和方法
KR20220021920A (ko) 2019-04-08 2022-02-22 액티브 서지컬, 인크. 의료 이미징을 위한 시스템 및 방법
WO2021035094A1 (en) 2019-08-21 2021-02-25 Activ Surgical, Inc. Systems and methods for medical imaging
US11639846B2 (en) 2019-09-27 2023-05-02 Honeywell International Inc. Dual-pattern optical 3D dimensioning

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5436655A (en) * 1991-08-09 1995-07-25 Olympus Optical Co., Ltd. Endoscope apparatus for three dimensional measurement for scanning spot light to execute three dimensional measurement
JP3388684B2 (ja) * 1997-03-05 2003-03-24 株式会社オプトン ３次元形状測定方法
EP1275258A1 (en) * 2000-02-11 2003-01-15 Forte Visio Medica AB Design, function, and utilisation of an equipment for capturing of three-dimensional images
CN1587900A (zh) * 2004-07-09 2005-03-02 中国科学院计算技术研究所 三维表面测量方法及装置
CN1617009A (zh) * 2004-09-20 2005-05-18 深圳大学 基于空间点阵投影的三维数字成像方法
US7436524B2 (en) * 2004-11-26 2008-10-14 Olympus Corporation Apparatus and method for three-dimensional measurement and program for allowing computer to execute method for three-dimensional measurement
CN1266452C (zh) * 2004-12-31 2006-07-26 深圳大学 复合编码多分辨三维数字成像方法
JP4674121B2 (ja) * 2005-06-17 2011-04-20 株式会社山武 ３次元計測装置、３次元計測方法及び３次元計測プログラム
WO2007043328A1 (ja) * 2005-10-12 2007-04-19 Konica Minolta Holdings, Inc. データ検出装置及びデータ検出方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101314101B1 (ko) * 2012-09-24 2013-10-04 위프코 주식회사 3차원 계측 시스템 및 그 방법
WO2014046325A1 (ko) * 2012-09-24 2014-03-27 위프코 주식회사 3차원 계측 시스템 및 그 방법
US9342889B2 (en) 2012-09-24 2016-05-17 Chang-Suk Cho Three-dimensional measurement system and method therefor
WO2017082484A1 (en) * 2015-11-11 2017-05-18 Samsung Electronics Co., Ltd. Image photographing apparatus and method for controlling the same
KR20170055163A (ko) * 2015-11-11 2017-05-19 삼성전자주식회사 영상 촬영 장치 및 이의 제어 방법
US9947064B2 (en) 2015-11-11 2018-04-17 Samsung Electronics Co., Ltd. Image photographing apparatus and method for controlling the same
US10360719B2 (en) 2016-10-19 2019-07-23 Flux Planet, Inc. Method and apparatus for obtaining high-quality textures

Also Published As

Publication number Publication date
CN101996417B (zh) 2013-05-15
US20110043609A1 (en) 2011-02-24
CN101996417A (zh) 2011-03-30

Similar Documents

Publication Publication Date Title
KR20110018696A (ko) 입체 영상 처리 장치 및 방법
US20220241013A1 (en) Quantitative three-dimensional visualization of instruments in a field of view
EP3145383B1 (en) 3d laparoscopic image capture apparatus with a single image sensor
US9220399B2 (en) Imaging system for three-dimensional observation of an operative site
JP5284731B2 (ja) 立体画像撮影表示システム
KR100944678B1 (ko) 복강경 및 그 설치방법
WO2017145788A1 (ja) 画像処理装置、画像処理方法、プログラム、及び、手術システム
JP2004309930A (ja) 立体観察システム
JP2003187261A5 (ko)
JP2022087198A (ja) データユニットを有する手術用顕微鏡及び画像をオーバレイするための方法
WO2008006180A1 (en) Endoscopic vision system
BRPI1100216A2 (pt) mÉtodo e aparelho de corte, e , programa de computador
KR100980247B1 (ko) 복강경 및 이를 이용한 영상 처리 시스템
JP2013244104A (ja) 立体視内視鏡装置
JP2014140594A (ja) 立体内視鏡装置
CN110177518A (zh) 用于在图像捕获装置的视场内检测物体的系统和方法
KR100933466B1 (ko) 입체 영상 처리 장치 및 방법
JP2005040205A (ja) 立体内視鏡装置
JP6169312B2 (ja) 内視鏡装置
JP5177668B2 (ja) 立体画像作成装置及び方法並びに内視鏡検査システム
KR20110104233A (ko) 3차원 영상데이터를 제공하는 전자 내시경
JP6884607B2 (ja) 医療画像表示装置、医療情報処理システム、及び医療画像表示制御方法
JP2007075338A (ja) 医療用立体観察装置
JP7086929B2 (ja) 医療情報処理システム
US20200261180A1 (en) 27-3systems, methods, and computer-readable media for providing stereoscopic visual perception notifications and/or recommendations during a robotic surgical procedure

Legal Events

Date Code Title Description
A107 Divisional application of patent
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid