KR100252013B1

KR100252013B1 - 입체 내시경 영상 처리 시스템

Info

Publication number: KR100252013B1
Application number: KR1019980018382A
Authority: KR
Inventors: 송철규; 김원기; 김성식
Original assignee: 윤종용; 삼성전자주식회사
Priority date: 1998-05-21
Filing date: 1998-05-21
Publication date: 2000-04-15
Also published as: KR19990085765A

Abstract

본 발명은 입체 내시경 영상 처리 시스템에 관한 것으로서, 입체 내시경 영상 처리 시스템은, 체내에 들어가 소정 부위의 좌, 우 이미지를 획득하는 복강경; 상기 복강경이 이미지를 획득하도록 광원을 공급하고, 상기 복강경으로부터 획득한 좌, 우 이미지를 각각 영상신호로 출력하는 카메라; 상기 카메라로부터의 좌, 우의 영상신호를 압축시키는 다중화기; 상기 다중화기로부터의 압축 신호를 저장하는 VTR; 상기 VTR에 저장된 압축 신호로부터 좌, 우 영상신호를 분리하여 추출하는 역다중화기; 상기 역다중화기로부터 추출된 좌, 우 영상신호에 각각 한 필드씩을 더 추가, 수직해상도를 보상하여 각각의 필드 주파수를 높이는 필드 주파수 보상부; 및 상기 카메라 및 필드 주파수 보상부로부터 유입된 소정 주파수의 상기 좌, 우 영상 신호를 디스플레이하는 디스플레이부를 구비한다.

본 발명에 의하면, 영상 다중화 기기를 사용하여 고해상도의 입체 내시경 영상을 얻을 수 있고, 편광방식의 디스플레이 장치를 사용하여 플리커링 현상에 따른 사용자의 눈의 피로를 감소시킬수 있으며, 촬상한 내시경 영상을 디지틀 동영상 파일로 저장하여 검색 및 관리할 수 있다.

Description

입체 내시경 영상 처리 시스템

본 발명은 의료기기인 내시경 시스템에 관한 것으로서, 보다 상세하게는 획득한 내시경 영상을 저장, 재생 및 관리하는 입체 내시경 영상 처리 시스템에 관한 것이다.

도 1은 종래의 내시경 시스템을 도시한 것으로서, 내시경 시스템은, 복강경(100), 아날로그 영상처리기(110) 및 CRT 모니터(120)으로 구성되어 있다. 복강경은 체내에 삽입되어 소정 부위의 이미지를 획득하기 위한 것이다. 아날로그 영상처리기(110)는 복강경(100)으로부터 획득된 이미지를 주사선 신호로 처리하여 CRT 모니터(120)로 출력시킨다. 이미지의 출력은 1개의 CRT 모니터를 사용하여 출력하는 방식과 2개의 CRT 및 하프미러(half mirror)를 쓰는 방식이 있다. 아날로그 영상 처리기(110)는 외부로부터 사용자의 명령에 따라 일정한 이미지를 VTR(130)로 출력할 수 있다. VTR(130)로의 저장은, 사용자가 추후에 소정 이미지를 반복하여 재생하기 위한 것이다. 복강경(100)으로부터 획득한 이미지의 저장은 VTR 테입으로 하는데, 이 때 이미지의 저장은 표준 비디오 대역폭내에 좌, 우측 카메라에 의한 내시경 영상을 저장할 수 있도록 사이드필드(side-field) 주사 방식으로 저장한다. 사이드필드 주사방식은 좌, 우측 영상에 대해 수직방향은 그대로 두고, 수평방향으로만 1/2배 압축하는 방식으로, 압축된 좌, 우측 영상사이에 블랭킹 신호를 삽입하여, 재생시 전자셔터안경(140)과 동기를 맞출 수 있도록 한 것이다. 한편, 이러한 시스템으로부터 CRT 모니터(120)에 디스플레이된 영상을 사용자가 보기 위해서는 무선 적외선 전자셔터 안경(140)을 착용해야 한다. 무선 적외선 전자셔터 안경(이하 전자 안경)(140)의 좌, 우 렌즈에 부착된 셔터의 여닫는 시간 간격과 CRT 모니터(120)에 좌,우 영상이 디스플레이되는 시간 간격을 각각 동기시켜야 사용자가 CRT 모니터(120)상의 영상을 입체적으로 인식할 수 있다.

도 1의 내시경 시스템에서 1개의 CRT 모니터를 사용하여 영상을 디스플레이하게 되면, 디스플레이된 영상을 보기위해 사용자가 전자셔터 안경을 착용해야 하는데, 전자셔터 안경이 소정의 동기 회로 및 셔터 구동 회로를 포함하고 있어 사용자에게 무게감이 느껴지고 셔터와 디스플레이 영상의 좌, 우 동기에 따른 어지러움이 느껴진다는 문제점이 있다. 영상 디스플레이를 위해 2개의 CRT 모니터를 사용하면, CRT 디스플레이 방식이 편광방식이기 때문에 전자셔터 안경의 셔터와 디스플레이 영상의 동기를 맞출 필요는 없으나 CRT가 2대이므로 공간을 많이 차지하고 이동이 불편하다는 문제점이 있다. CRT를 사용하는 입체영상 디스플레이 방식시에는 입체 영상을 보기 위한 안경을 수 분이상 착용하므로 사용자가 어지러움을 느끼게 되고, 내시경 수술시에는 레이저 안경이 필요하므로 2개 이상의 안경을 착용하게 되는 불편함이 발생한다.

도 1과 같은 종래의 내시경 시스템은 이미지의 저장과 재생이 아날로그적으로 처리되는 시스템으로 디지털 데이터를 다루는 컴퓨터와 인터페이스하는 기능이 없다.

본 발명이 이루고자하는 기술적 과제는 컴퓨터에 내시경 영상을 저장하고, 비월 주사 방식을 사용하여 복강경의 좌우 영상을 저장하여 고해상도의 영상을 디스플레이할 수 있는 3차원 내시경 시스템을 제공하는데 있다.

본 발명이 이루고자하는 다른 기술적 과제는 촬상한 내시경 영상을 입체적으로 사용자에게 디스플레이하는 내시경 디스플레이 장치를 제공하는데 있다.

본 발명이 이루고자하는 또다른 기술적 과제는 촬상한 내시경 영상을 사용자 명령에 따라 디지틀 파일로 저장하여 검색 및 관리하는 내시경 자료 저장 시스템을 제공하는데 있다.

도 1은 종래의 내시경 시스템을 도시한 것이다.

도 2는 본 발명의 입체 내시경 영상 처리 시스템의 구성도이다.

도 3은 셔터가 부착된 적외선 안경의 셔터를 제어하면서 내시경 영상을 디스플레이하는 입체 내시경 디스플레이 시스템의 구성도이다.

도 4는 본 발명의 내시경 디스플레이 장치의 구조도이다.

도 5는 본 발명의 내시경 자료 저장 시스템의 구성도이다.

도 6은 도 5에서의 동영상 저장 및 대표 이미지가 추출되는 과정을 보이는 것이다.

도 7은 본 발명의 입체 내시경 디스플레이 시스템의 구성도이다.

도 8은 내시경 영상에서 여러 부호화 포맷에 대한 신호대 잡음비의 크기를 나타낸 그래프이다.

상기 과제를 해결하기 위한, 입체 내시경 영상 처리 시스템은, 체내에 들어가 소정 부위의 좌, 우 이미지를 획득하는 복강경; 상기 복강경이 이미지를 획득하도록 광원을 공급하고, 상기 복강경으로부터 획득한 좌, 우 이미지를 각각 영상신호로 출력하는 카메라; 상기 카메라로부터의 좌, 우의 영상신호를 압축시키는 다중화기; 상기 다중화기로부터의 압축 신호를 저장하는 VTR; 상기 VTR에 저장된 압축 신호로부터 좌, 우 영상신호를 분리하여 각기 추출하는 역다중화기; 상기 역다중화기로부터 추출된 좌, 우 영상신호에 각각 한 필드씩을 더 추가, 수직해상도를 보상하여 각각의 필드 주파수를 높이는 필드 주파수 보상부; 및 상기 카메라 및 필드 주파수 보상부로부터 유입된 소정 주파수의 상기 좌, 우 영상 신호를 디스플레이하는 디스플레이부를 구비한다. 상기 다중화기는, 상기 좌, 우 영상신호를 각각 짝수의 스캔라인과 홀수의 스캔라인으로 할당한 비월주사선 신호를 발생함이 바람직하다.

상기 필드 주파수 보상부는, 상기 추출된 좌, 우 영상 신호의 필드 주파수를 각각 2배로 늘리는 것임이 바람직하다.

상기 디스플레이부는, 상기 카메라로부터 유입된 좌, 우 영상신호를 디지털 신호로 변환하는 아날로그/디지털 변환기; 및 상기 필드 주파수 보상부로부터 출력된 상기 VTR 저장 신호의 좌, 우 영상신호와 상기 아날로그/디지털 변환기로부터 출력된 현 내시경 영상신호를 편광방식의 액정 소자(LCD)에 디스플레이하는 LCD 구동부를 구비함이 바람직하다.

상기 과제를 해결하기 위한, 좌, 우 렌즈위에 셔터가 부착된 전자 셔터 적외선 안경을 사용하여 셔터의 열림과 닫힘을 제어하여 입체적으로 내시경 영상을 보는 입체 내시경 영상 처리 시스템은, 체내에 들어가 소정 부위의 좌, 우 이미지를 획득하는 복강경; 상기 복강경이 이미지를 획득하도록 광원을 공급하고, 상기 복강경으로부터 획득한 좌, 우 이미지를 각각 영상신호로 출력하는 카메라; 및 상기 카메라로부터의 좌, 우 영상신호를 각각 짝수 스캔라인과 홀수 스캔라인으로 할당한 비월주사 신호를 만들어 출력하고, 상기 비월주사 신호의 좌, 우 스캔라인 주파수와 상기 안경의 좌, 우 셔터 여닫음을 동기시켜 내시경 영상을 보여지게 하는 입체 영상 디스플레이부를 포함함이 바람직하다.

상기 입체 영상 디스플레이부는, 카메라로부터의 좌, 우 내시경 영상을 순차적으로 홀, 짝 스캔라인으로 다중화하는 비디오 다중화부; 카메라로부터의 좌, 우 내시경 영상 신호에 대한 동기신호를 추출하는 동기 분리부; 상기 동기 분리부에서 추출된 동기신호에 맞춰 상기 전자 셔터 적외선 안경의 셔터 제어 신호를 발생하여 좌, 우 필드 신호와 전자 셔터 안경의 좌, 우 셔터 열림의 동기가 맞춰지게 하는 셔터 구동부; 및 상기 셔터 구동부의 제어신호에 따라 상기 비디오 다중화로부터 출력되는 좌, 우 필드 신호를 선택적으로 출력하는 채널 선택부를 구비함이 바람직하다.

상기 다른 과제를 해결하기 위한, 체내로 투입한 복강경을 통해 촬상된 좌측 영상을 출력하는 좌측 카메라 및 상기 복강경을 통해 촬상된 우측 영상을 출력하는 우측 카메라로부터 얻어진 내시경 영상을 디스플레이하는 내시경 디스플레이 장치는, 상기 좌측 영상을 투과시키는 제1편광판; 상기 제1편광판과 수직으로 이어지고, 상기 좌측 영상과 90도 위상차로 상기 우측 영상을 투과시키는 제2편광판; 상기 제1편광판과 상기 제2편광판이 맞닿은 부분으로부터 서로의 중앙에 위치하며, 상기 두 편광판으로부터 나온 영상의 절반은 투과시키고 절반은 반사하는 하프 미러(half mirror); 상기 하프 미러로부터 나온 좌, 우 영상신호의 상이 맺혀지는 커버 글래스; 및 사용자의 좌, 우 눈에 부착되어 상기 커버 글래스에 맺혀진 좌, 우 영상을 인지시키는 편광 안경을 구비한다.

상기 내시경 디스플레이 장치는, 편광판과 닿지 않는 다른 한쪽 하프미러의 끝에서 상기 제1편광판과 같은 길이 및 방향의 축을 기준으로 대칭하여 위치하고, 상기 하프미러를 통과한 통과 및 반사한 우, 좌 영상을 반사시키는 반사경; 및 상기 반사경에서 반사된 좌, 우 영상의 상이 맺혀지는 제2커버 글래스를 더 구비함이 바람직하다.

상기 또다른 과제를 해결하기 위한, 복강경으로부터 획득한 이미지를 동화상으로 저장하는 내시경 자료 저장 시스템은, 체내에 들어가 소정 부위의 좌, 우 이미지를 획득하는 복강경; 상기 복강경이 이미지를 획득하도록 광원을 공급하고, 상기 복강경으로부터 획득한 좌, 우 이미지를 각각 영상신호로 출력하는 카메라; 사용자로부터 상기 영상신호를 저장하라는 명령을 받는 스위치; 카메로부터의 좌, 우의 영상신호를 압축시키는 다중화기; 상기 스위치가 닫히면 상기 카메라에서 출력한 영상신호를 디지털 동화상 신호로 저장하는 디지털 동화상 처리 및 저장부; 상기 디지털 동화상 처리 및 저장부에서 저장 및 처리된 신호를 디스플레이하는 디스플레이부를 구비한다.

상기 디지털 동화상 처리 및 저장부는, 입력된 영상신호를 MPEG 1 또는 MPEG 2 방식의 데이터 스트림으로 변환한 디지틀 파일을 생성하는 데이터 코딩부; 상기 데이터 코딩부에서 생성된 MPEG 파일 및 상기 파일에 대해 각각 사용자에 의해 정해진 소정의 조건을 저장하는 파일 저장부; 상기 데이터 코딩부에서 생성된 디지틀 파일을 사용자가 정한 소정 조건에 따라 분류하여 사용자가 상기 조건에 따라 상기 파일 저장부로부터 해당 디지틀 파일을 검색 및 관리하는 데이터 검색 및 관리부; 상기 데이터 코딩부에서 생성된 디지틀 파일에 대한 대표 이미지를 만들어 디스플레이하는 대표이미지 추출부; 및 사용자가 상기 대표이미지 추출부의 소정 대표 이미지를 선택하면, 데이터 코딩부에 있는 해당 디지틀 파일을 재생하는 데이터 디코딩부를 구비함이 바람직하다.

이하에서 첨부된 도면을 참조하여 본 발명을 상세히 설명한다.

도 2는 본 발명의 입체 내시경 영상 처리 시스템의 구성도로서, 입체 내시경 영상 처리 시스템은, 복강경(200), 카메라(210), 다중화기(220), VTR(230), 역다중화기(240), 필드 주파수 보상부(250) 및 디스플레이부(260)를 구비한다. 복강경(200)은 체내에 들어가 소정 부위의 좌, 우 이미지를 획득한다. 카메라(210)는 복강경(200)이 어두운 체내에서 이미지를 획득할 수 있도록 세논(Xnon)이라는 광원(211)을 공급하고, 복강경(200)으로부터 획득한 좌,우 이미지를 각각 영상신호로 출력한다. 다중화기(220)는 카메라(210)로부터의 좌,우의 영상신호를 압축시킨다. 좌, 우 영상 신호의 압축은 카메라(210)로부터의 좌,우 영상신호를 각각 짝수의 스캔라인과 홀수의 스캔라인으로 할당한 비월주사선 신호를 발생하는 것을 말한다. VTR(230)은 다중화기(220)에서 발생된 비월주사 신호를 저장한다. 역다중화기(240)는 VTR(230)에 저장된 비월주사신호로부터 좌, 우 영상신호를 분리하여 추출한다. 필드 주파수 보상부(250)는 역다중화기(240)로부터 추출된 좌, 우 영상신호의 주파수를 높여준다. 이는 좌,우 영상신호에 각각 한 필드씩을 더 추가 보상함으로써 이뤄진다. 좌,우 영상신호의 주파수를 보상하지 않고 역다중화기(240)의 출력을 그대로 디스플레이하면 플리커링(flickering) 현상 때문에 사용자의 눈이 피로하게 되기 때문에 이와 같은 주파수 보상을 하게된다. 여기서 필드 주파수 보상부는 좌,우 영상 신호의 필드 주파수를 각각 2배로 늘리는 것이 바람직하다. 디스플레이부(260)는 카메라(210) 및 필드 주파수 보상부(250)로부터 유입된 내시경의 좌, 우 영상 신호를 디스플레이한다. 디스플레이부(260)는, 카메라(210)로부터 유입된 좌,우 영상신호를 디지털 신호로 변환하는 아날로그/디지털 변환기(261) 및 필드 주파수 보상부(250)로부터 출력된 VTR 저장 신호의 좌,우 영상신호와 아날로그/디지털 변환기로부터 출력된 현 내시경 영상신호를 편광방식의 액정 소자(LCD)(263)에 디스플레이하는 LCD 구동부(262)를 구비한다. 카메라(210)에서 디스플레이부(260)로 직접 출력되는 영상은 복강경(200)이 현재 촬상하고 있는 실시간 영상이며, 필드 주파수 보상부(250)에서 디스플레이부(260)로 출력되는 영상은 VTR(230)에 저장된 녹화 영상이다.

도 3은 디스플레이 방식이 편광방식이 아닌 셔터가 부착된 적외선 안경의 셔터를 제어하면서 내시경 영상을 디스플레이하는 입체 내시경 디스플레이 시스템의 구성도로서, 좌,우 렌즈위에 셔터가 부착된 전자 셔터 안경(300)을 사용하여 셔터의 열림과 닫힘을 제어하여 입체적으로 내시경 영상을 보는 입체 내시경 영상 처리 시스템은, 복강경(310), 카메라(320), 입체 영상 디스플레이부(330) 및 모니터(340)를 구비한다. 복강경(310) 및 카메라(320)는 도 2에서 설명한 바와 동일하므로 그 설명을 약한다. 입체 영상 디스플레이부(330)는 카메라(320)로부터의 좌, 우 영상신호를 각각 짝수 스캔라인과 홀수 스캔라인으로 할당한 비월주사 신호를 만들어 출력하고, 그 비월주사 신호의 좌,우 스캔라인 주파수와 전자 셔터 안경(300)의 좌, 우 셔터 여닫음을 동기시켜 내시경 영상을 보여지게 한다. 입체 영상 디스플레이부(330)는 비디오 다중화부(331), 동기 분리부(332), 셔터 구동부(333) 및 채널 선택부(334)를 구비한다. 비디오 다중화부(331)는 카메라(310)로부터의 좌, 우 영상을 순차적으로 홀,짝 스캔라인으로 다중화한다. 동기 분리부(332)는 카메라로부터의 좌, 우 영상 신호에 대한 동기신호를 출력한다. 셔터 구동부(333)는 동기 분리부(332)의 동기신호에 맞춰 전자 셔터 안경(300)의 셔터 제어 신호를 발생한다. 즉, 좌측 영상에 대해 홀수 필드가 할당될 때, 비디오 다중화부(331)로부터 홀수 스캔라인이 출력시 전자 셔터 안경(300)의 좌측 셔터를 열고 우측 셔터를 닫게하는 제어신호를 발생한다. 짝수 스캔라인 출력시에는 그와 반대의 제어신호를 발생하여, 모니터(340)로 출력되는 좌,우 필드 신호와 전자 셔터 안경의 좌,우 셔터 열림의 동기가 맞춰진다. 채널 선택부(333)는 셔터 구동부(333)의 제어신호에 따라 비디오 다중화로부터 출력되는 좌, 우 필드 신호를 선택적으로 출력한다.

도 4는 본 발명의 내시경 디스플레이 장치의 구조도로서, 체내로 투입한 복강경을 통해 촬상된 좌측 영상을 출력하는 좌측 카메라 및 상기 복강경을 통해 촬상된 우측 영상을 출력하는 우측 카메라로부터 얻어진 내시경 영상을 디스플레이하는 내시경 디스플레이 장치는, 제1편광판(400), 제2편광판(410), 하프미러(half mirror;반반사경)(420), 커버 글래스(430) 및 편광안경(440)을 구비한다. 제1편광판(400)은 카메라로부터의 우측 영상이 소정의 인터페이스부(401)를 거쳐 전송되는 액정(LCD) 패널이다. 제2편광판(410)은 제1편광판(400)과 수직으로 이어지고, 소정의 인터페이스부(411)을 거친 우측 영상과 90도 위상차로 상기 좌측 영상을 전송받는 LCD 패널이다. 하프 미러(420)는 제1편광판(400)과 상기 제2편광판(410)이 맞닿은 부분으로부터 서로의 중앙에 위치하며, 그 두 편광판으로부터 나온 영상의 절반은 투과시키고 절반은 반사한다. 커버 글래스(430)는 하프 미러(420)로부터 나온 좌, 우 영상신호의 상이 맺혀지는 부분이며 사용자는 이 커버 글래스(430)에 맺혀진 영상을 보게된다. 제1편광판(400)을 통해 출력되는 우안용 영상 신호는 하프 미러(420)를 통해 반사되어 좌,우 상이 반전되므로 제1편광판(400)인 LCD 구동 드라이버는 이 점을 감안한 디스플레이 동작을 수행하도록 제작된다. 편광 안경(440)은 커버 글래스(430)에 맺혀진 좌,우 영상을 인지한다. 이 내시경 디스플레이 장치는, 제1, 제2편광판과 닿지 않는 다른 한쪽 하프미러의 끝에서 상기 제1편광판(400)과 같은 길이 및 방향의 축을 기준으로 대칭하여 위치하고, 상기 하프미러를 통과 및 반사한 우, 좌 영상을 모두 반사시키는 반사경(450)과 반사경(450)에서 반사된 좌, 우 영상의 상이 맺혀지는 제2커버 글래스(460)를 더 구비하여 기구적으로 앞, 뒤의 커버 글래스(430, 460)에 좌, 우 내시경 영상이 디스플레이되게 할 수 있다. 이렇게 함으로써 내시경 수술시 집도의와 보조의 모두 서 있는 위치에 크게 구애받지 않고 앞,뒤 커버 글래스 화면(430, 460)을 통해 입체감 있는 내시경 디스플레이 정보를 얻을 수 있다.

도 5는 본 발명의 내시경 자료 저장 시스템의 구성도로서, 내시경 이미지를 동화상으로 저장하는 내시경 자료 저장 시스템은, 복강경(500), 카메라(510), 사용자 스위치(520), 다중화기(530), 디지털 동화상 처리 및 저장부(540) 및 디스플레이부(550)를 구비한다. 복강경(500)은 체내에 들어가 소정 부위의 좌,우 이미지를 획득한다. 카메라(510)은 복강경이 어두운 체내에서 이미지를 획득하도록 광원을 공급하고, 복강경(500)으로부터 획득한 좌,우 이미지를 각각 영상신호로 출력한다. 사용자 스위치(520)는 사용자로부터 상기 영상신호를 저장하라는 명령이 전달되는 스위치로서, 사용자가 발을 사용하여 닫을 때마다, 내시경 영상이 저장되는 풋 스위치(foot switch)이다. 다중화기(530)는 카메라(510)로부터의 내시경 좌, 우 영상 신호를 홀,짝 스캔라인으로 할당하여 비월 주사신호로 다중화한다. 디지틀 동화상 처리 및 저장부(540)는 사용자 스위치(520)가 닫힌 상태에서 내시경의 좌, 우 영상을 디지털 동화상 신호로 저장한다. 디지털 동화상 처리 및 저장부(540)는 입력된 영상신호를 MPEG 1 또는 MPEG 2 방식의 데이터 스트림으로 변환한 디지틀 파일을 생성하는 데이터 코딩부(541), 데이터 코딩부(541)에서 생성된 MPEG 파일 및 그 파일에 대해 각각 사용자에 의해 정해진 소정의 조건을 저장하는 파일 저장부(542), 데이터 코딩부(541)에서 생성된 디지틀 파일을 사용자가 정한 소정 조건에 따라 분류하여 파일 저장부(542)로부터 해당 디지틀 파일을 검색 및 관리하는 데이터 검색 및 관리부(543), 데이터 코딩부(541)에서 생성된 디지틀 파일에 대한 대표 이미지를 만들어 디스플레이하는 대표이미지 추출부(544) 및 사용자가 대표이미지 추출부(544)의 소정 대표 이미지를 선택하면, 데이터 코딩부(541)에 있는 해당 디지틀 파일을 재생하는 데이터 디코딩부(545)를 구비한다. 디스플레이부(550)는 디지털 동화상 처리 및 저장부(540)에서 저장 및 처리된 신호를 디스플레이한다. 또한, 디지털 동화상이 만들어 지고 있다는 소정의 표시 기능을 부가하여 사용자에게 알릴 수 있다. 디지틀 파일을 생성할 때 위에서 말한 소정의 조건은, 예를 들면 사용자 스위치(520)가 닫혀진 순간의 시간, 수술명, 사용자 이름등이 될 수 있다. 디지틀 파일이 생성되면서 그 파일과 관련된 상기 조건들의 내용이 소정의 테이블에 작성되어져, 후에 사용자가 그 테이블의 내용을 조건으로 하여 해당 디지틀 파일을 검색할 때 그 파일 또는 대표 이미지를 가져오게 하거나 그 반대로 소정 디지틀 파일의 대표 이미지를 선택했을 때 조건 테이블로부터 해당 파일과 관련된 조건이 함께 따라 나오게 한다.

도 6은 도 5에서의 동영상 저장 및 대표 이미지가 추출되는 과정을 보이는 것으로서, 사용자 스위치(520) 아래 펄스 신호는 스위치(520)가 사용자에 의해 닫힌 순간 및 그 지속시간을 나타내는 것이다. 여기서 t시간에 스위치가 닫혀지면 그 닫혀진 순간만큼의 좌,우 내시경 영상신호가 사용자 스위치(520)를 거쳐 입력되어 MPEG 1 또는 MPEG 2로 인코딩(encoding)되고(600), 대표 이미지(thumbnail image; 소정의 대표 이미지가 아이콘화된 이미지)가 만들어진다(610). 이런식으로 t+1시간에 스위치가 닫혀질 경우에도 소정 길이의 좌,우 내시경 영상신호가 인코딩되고(600) 그에 대한 대표 이미지가 생성된다(610).

도 7은 본 발명의 입체 내시경 디스플레이 시스템의 구성도로서, 복강경(700), 카메라(710), 다중화부(720), VTR(730), 역다중화부(740), 필드 주파수 보상부(792), 디지털 동화상 처리 및 저장부(750), 아날로그/디지털 변환기(760), 제1선택 스위치(770), LCD 인터페이스부(780), 제2선택 스위치(790) 및 LCD 디스플레이부(791)을 구비한다. 복강경(700)은 체내에 들어가 소정 부위의 좌,우 이미지를 획득한다. 카메라(710)는 복강경(700)이 어두운 체내에서 이미지를 획득할 수 있도록 세논(Xnon)이라는 광원(711)을 공급하고, 복강경(700)으로부터 획득한 좌,우 이미지를 각각 영상신호로 출력한다. 다중화기(720)는 카메라(710)로부터의 좌,우의 영상신호를 압축시킨다. 좌,우 영상 신호의 압축은 카메라(710)로부터의 좌,우 영상신호를 각각 짝수의 스캔라인과 홀수의 스캔라인으로 할당한 비월주사선 신호를 발생하는 것을 말한다. VTR(730)은 다중화기(720)에서 발생된 비월주사 신호를 저장한다. 역다중화기(740)는 VTR(730)에 저장된 비월주사신호로부터 좌,우 영상신호를 분리하여 추출한다. 필드 주파수 보상부(792)는 역다중화기(740)로부터 추출된 좌, 우 영상신호의 주파수를 높여준다. 이는 좌,우 영상신호에 각각 한 필드씩을 더 추가 보상함으로써 이뤄진다. 디지틀 동화상 처리 및 저장부(750)는 사용자로부터 카메라(710)에서 출력되는 영상신호를 저장하라는 명령이 전달되는 스위치, 즉 사용자가 발을 사용하여 닫을 때마다, 내시경 영상이 저장되는 풋 스위치(foot switch)가 닫힌 상태에서 내시경의 좌,우 영상을 디지털 동화상 신호로 저장한다. 디지털 동화상 처리 및 저장부(750)는 입력된 영상신호를 MPEG 1 또는 MPEG 2 방식의 데이터 스트림으로 변환한 디지틀 파일을 생성하고 생성된 MPEG 파일 및 그 파일에 대해 각각 사용자에 의해 정해진 소정의 조건을 저장하며, 생성된 디지틀 파일을 사용자가 정한 소정 조건에 따라 분류하여 해당 디지틀 파일을 검색 및 관리하고 디지틀 파일에 대한 대표 이미지를 만들어 디스플레이하여 사용자가 소정 대표 이미지를 선택하면, 해당 디지틀 파일을 재생한다. 디지털 동화상 처리 및 저장부(750)의 이러한 동작은 도 5에서 설명한 바와 동일하다. 아날로그/디지털 변환부(760)는 카메라(710)에서 출력된 좌, 우 내시경 영상 신호를 디지털 신호로 변환한다. 제1선택 스위치(770)는 아날로그/디지털 변환부(760)에서 출력된 카메라로부터의 내시경 영상과 필드 주파수 보상부(792)로부터 출력된 VTR(730)에 저장된 내시경 영상중 어느 한 쪽을 선택하는 스위치로서 사용자에 의해 조작된다. LCD 인터페이스부(780)는 아날로그/디지털 변환부(760)에서 출력된 카메라로부터의 내시경 영상과 필드 주파수 보상부(792)로부터 출력된 VTR(730)에 저장된 내시경 영상이 LCD 디스플레이부(791)에 디스플레이되게 인터페이스하는 것이다. 제2선택 스위치(790)는 LCD 디스플레이부(791)에서 출력된 영상과 디지털 동화상 처리 및 저장부(750)에서 출려된 디지털 화상중 어느 하나를 사용자의 조작에 따라 선택하는 스위치이다. LCD 디스플레이부(791)는 편광방식의 액정 디스플레이 장치로서, 그 구조는 도 4의 400∼460과 동일하고, 그 기능 및 동작도 도 4에서와 같으므로 설명을 생략한다.

이하에서는 상술한 본 발명이 적용되었을 경우의 종래와의 영상 효율의 차이등에 관한 분석을 표 1 및 표 2를 사용하여 설명한다.

종래의 입체 영상포맷인 사이드 필드(side-field) 방식과 본 발명의 다중화부 출력신호인 비월주사방식의 입체 내시경 영상을 엠펙2(MPEG 2) 디지털 비디오로 부호화할 때, 부호화율에 따른 휘도 신호대 잡음비를 실험하였다.

표 1은 내시경 수술영상에 대해 독립체널 방식과 사이드 필드 포맷 방식으로 부호화할 때의 신호대 잡음비이고, 표 2는 내시경 영상에 대해 독립채널 방식과 비월 주사 방식으로 구성한 후, 부호화했을 때 산출한 신호대 잡음비를 나타내고 있다. 사이드 필드 포맷의 경우는 프레임 단위의 영상특징을 갖기 때문에 프레임 단위의 영상 구조로만 부호화를 시행하였다. 표에서 나타난 것처럼 사이드 필드 포맷에 의한 내시경 영상의 화질이 독립채널방식보다 떨어짐을 알 수 있다. 그것은 사이드 필드 포맷으로 변환하는 과정에서 화질의 손실이 생겼기 때문이다. 표 1과 표 2에서 알 수 있는 특징은 비월주사 입체 내시경 영상의 부호화가 프레임 영상구조의 부호화보다 효율이 일관성 있게 높게 나타나는 것이다.

표 1 및 표 2는 입체 내시경 영상에 대한 분석이다. 표 1은 독립채널 방식의 부호화 방식이 사이드 필드 포맷 부호화보다 신호대 잡음비의 값이 우수함을 보이기 위해 실험을 통해 얻어진 결과이다. 표 1 및 표 2 상단의 좌측영상과 우측영상은 각각 좌, 우 카메라에서 얻어진 내시경 좌,우 영상을 의미하고, 독립채널식 신호대 잡음비의 평균값은 입체 내시경 영상 시컨스 좌,우의 영상을 각각 독립적으로 엠펙 2 부호화한 후, 부호화된 좌, 우 영상의 신호대 잡음비를 평균하여 얻어진 값이다. 즉, 3차원 내시경 영상 시컨스를 독립채널 방식으로 부호화하는 경우, 부호화율이 2Mb/초 일 때, 내시경 좌측 영상의 신호대 잡음비는 30.56dB이고, 우측 영상은 30.33dB이다. 또한 이들 두 값의 평균을 취하면 30.46dB가 된다.

부호화율	좌측영상	우측영상	프레임	신호대잡음비 평균치(PSNR)증감
	독립채널식 PSNR	사이드필드포맷
2Mb/s	30.56	30.33	30.11	-0.35
	30.46
4Mb/s	32.73	32.67	32.47	-0.01
	32.48
6Mb/s	35.86	35.74	34.92	-0.88
	35.80
8Mb/s	37.61	37.36	37.30	-0.18
	37.48
10Mb/s	39.11	39.08	39.00	-0.07
	39.07
12Mb/s	40.27	40.01	39.41	-0.73
	40.14
14Mb/s	40.45	40.26	40.27	-0.07
	40.34
16Mb/s	41.73	41.55	41.59	-0.05
	41.65
18Mb/s	42.75	42.66	41.80	-0.90
	42.70

부호화율	좌측영상	우측영상	프레임	필드	신호대잡음비 평균치(PSNR)증감
	독립채널식 PSNR	비월주사방식신호대잡음비	프레임	필드
	독립채널식 PSNR	2Mb/s	30.56	30.33		30.88	30.67	0.27
30.46	30.73	2Mb/s						0.27
4Mb/s	32.73	32.67	33.56	33.39	0.67
4Mb/s	32.48	33.47			0.67
6Mb/s	35.86	35.74	35.92	36.01	0.16
6Mb/s	35.80	35.96			0.16
8Mb/s	37.61	37.36	38.10	38.30	0.72
8Mb/s	37.48	38.20			0.72
10Mb/s	39.11	39.08	39.32	39.82	0.18
10Mb/s	39.07	39.25			0.18
12Mb/s	40.27	40.01	40.41	41.69	0.75
12Mb/s	40.14	40.89			0.75
14Mb/s	40.45	40.26	41.49	41.86	1.67
14Mb/s	40.34	41.67			1.67
16Mb/s	41.73	41.55	42.82	42.70	1.23
16Mb/s	41.65	42.89			1.23
18Mb/s	42.75	42.66	43.29	43.71	0.80
18Mb/s	42.70	43.50			0.80

도 8은 내시경 영상에서 부호화 방식을 독립 채널식, 사이드 필드식 및 비월주사방식으로 각각 부호화 했을 대 부호화율 변화에 따른 신호대 잡음비의 크기를 나타낸 것이다. 이 그래프에서 본 발명의 영상 신호 포맷 방식인 비월주사방식(프레임 영상 구조와 필드 영상 구조 각각에 대한 평균값)의 신호 효율이 가장 높게 나타남을 알 수 있다.

본 발명에 의하면, 영상 다중화 장치를 사용하여 고해상도의 입체 내시경 영상을 얻을 수 있고, 편광방식의 디스플레이 장치를 사용하여 플리커링 현상에 따른 사용자의 눈의 피로를 감소시킬수 있으며, 촬상한 내시경 영상을 디지틀 동영상 파일로 저장하여 검색 및 관리할 수 있다.

Claims

체내에 들어가 소정 부위의 좌, 우 이미지를 획득하는 복강경;

상기 복강경이 이미지를 획득하도록 광원을 공급하고, 상기 복강경으로부터 획득한 좌, 우 이미지를 각각 영상신호로 출력하는 카메라;

상기 카메라로부터의 좌, 우의 영상신호를 압축시키는 다중화기;

상기 다중화기로부터의 압축 신호를 저장하는 VTR;

상기 VTR에 저장된 압축 신호로부터 좌, 우 영상신호를 분리하여 각기 추출하는 역다중화기;

상기 역다중화기로부터 추출된 좌,우 영상신호에 각각 한 필드씩을 더 추가 보상하여 각각의 필드 주파수를 높이는 필드 주파수 보상부; 및

상기 카메라 및 필드 주파수 보상부로부터 유입된 소정 주파수의 상기 좌, 우 영상 신호를 디스플레이하는 디스플레이부를 포함함을 특징으로 하는 입체 내시경 영상 처리 시스템.
제1항에 있어서, 상기 다중화기는,

상기 좌, 우 영상신호를 각각 짝수의 스캔라인과 홀수의 스캔라인으로 할당한 비월주사선 신호를 발생함을 특징으로 하는 입체 내시경 영상 처리 시스템.
제1항에 있어서, 상기 필드 주파수 보상부는,

상기 추출된 좌, 우 영상 신호의 필드 주파수를 각각 2배로 늘리는 것임을 특징으로 하는 입체 내시경 영상 처리 시스템.
제1항에 있어서, 상기 디스플레이부는,

상기 카메라로부터 유입된 좌, 우 영상신호를 디지털 신호로 변환하는 아날로그/디지털 변환기; 및

상기 필드 주파수 보상부로부터 출력된 상기 VTR 저장 신호의 좌, 우 영상신호와 상기 아날로그/디지털 변환기로부터 출력된 현 내시경 영상신호를 편광방식의 액정 소자(LCD)에 디스플레이하는 LCD 구동부를 포함함을 특징으로 하는 입체 내시경 영상 처리 시스템.
좌,우 렌즈위에 셔터가 부착된 전자 셔터 적외선 안경을 사용하여 셔터의 열림과 닫힘을 제어하여 입체적으로 내시경 영상을 보는 입체 내시경 영상 처리 시스템에 있어서,

체내에 들어가 소정 부위의 좌, 우 이미지를 획득하는 복강경;

상기 복강경이 이미지를 획득하도록 광원을 공급하고, 상기 복강경으로부터 획득한 좌, 우 이미지를 각각 영상신호로 출력하는 카메라; 및

상기 카메라로부터의 좌, 우 영상신호를 각각 짝수 스캔라인과 홀수 스캔라인으로 할당한 비월주사 신호를 만들어 출력하고, 상기 비월주사 신호의 좌, 우 스캔라인 주파수와 상기 안경의 좌, 우 셔터 여닫음을 동기시켜 내시경 영상을 보여지게 하는 입체 영상 디스플레이부를 포함함을 특징으로 하는 입체 내시경 영상 처리 시스템.
제5항에 있어서, 상기 입체 영상 디스플레이부는,

카메라로부터의 좌, 우 내시경 영상을 순차적으로 홀, 짝 스캔라인으로 다중화하는 비디오 다중화부;

카메라로부터의 좌, 우 내시경 영상 신호에 대한 동기신호를 추출하는 동기 분리부;

상기 동기 분리부에서 추출된 동기신호에 맞춰 상기 전자 셔터 적외선 안경의 셔터 제어 신호를 발생하여 좌, 우 필드 신호와 전자 셔터 안경의 좌, 우 셔터 열림의 동기가 맞춰지게 하는 셔터 구동부; 및

상기 셔터 구동부의 제어신호에 따라 상기 비디오 다중화로부터 출력되는 좌, 우 필드 신호를 선택적으로 출력하는 채널 선택부를 포함함을 특징으로 하는 입체 내시경 영상 처리 시스템.
체내로 투입한 복강경을 통해 촬상된 좌측 영상을 출력하는 좌측 카메라 및 상기 복강경을 통해 촬상된 우측 영상을 출력하는 우측 카메라로부터 얻어진 내시경 영상을 디스플레이하는 내시경 디스플레이 장치에 있어서,

상기 우측 영상을 투과시키는 제1편광판;

상기 제1편광판과 수직으로 이어지고, 상기 우측 영상과 90도 위상차로 상기 좌측 영상을 투과시키는 제2편광판;

상기 제1편광판과 상기 제2편광판이 맞닿은 부분으로부터 서로의 중앙에 위치하며, 상기 두 편광판으로부터 나온 영상의 절반은 투과시키고 절반은 반사하는 하프 미러(half mirror);

상기 하프 미러로부터 나온 좌, 우 영상신호의 상이 맺혀지는 커버 글래스; 및

사용자의 좌, 우 눈에 부착되어 상기 커버 글래스에 맺혀진 좌, 우 영상을 인지시키는 편광 안경을 포함함을 특징으로 하는 내시경 디스플레이 장치.
제7항에 있어서,

상기 편광판과 닿지 않는 다른 한쪽 하프미러의 끝에서 상기 제1편광판과 같은 길이 및 방향의 축을 기준으로 대칭하여 위치하고, 상기 하프미러를 통과한 통과 및 반사한 우, 좌 영상을 반사시키는 반사경; 및

상기 반사경에서 반사된 좌, 우 영상의 상이 맺혀지는 제2커버 글래스를 더 구비함을 특징으로 하는 내시경 디스플레이 장치.
복강경으로부터 획득한 이미지를 동화상으로 저장하는 내시경 자료 저장 시스템에 있어서,

체내에 들어가 소정 부위의 좌, 우 이미지를 획득하는 복강경;

상기 복강경이 이미지를 획득하도록 광원을 공급하고, 상기 복강경으로부터 획득한 좌, 우 이미지를 각각 영상신호로 출력하는 카메라;

사용자로부터 상기 영상신호를 저장하라는 명령을 받는 스위치;

카메로부터의 좌, 우의 영상신호를 압축시키는 다중화기;

상기 스위치가 닫히면 상기 카메라에서 출력한 영상신호를 디지털 동화상 신호로 저장하는 디지털 동화상 처리 및 저장부;

상기 디지털 동화상 처리 및 저장부에서 저장 및 처리된 신호를 디스플레이하는 디스플레이부를 포함함을 특징으로 하는 입체 내시경 영상 처리 시스템.
제8항에 있어서, 상기 디지털 동화상 처리 및 저장부는,

입력된 영상신호를 MPEG 1 또는 MPEG 2 방식의 데이터 스트림으로 변환한 디지틀 파일을 생성하는 데이터 코딩부;

상기 데이터 코딩부에서 생성된 MPEG 파일 및 상기 파일에 대해 각각 사용자에 의해 정해진 소정의 조건을 저장하는 파일 저장부;

상기 데이터 코딩부에서 생성된 디지틀 파일을 사용자가 정한 소정 조건에 따라 분류하여 사용자가 상기 조건에 따라 상기 파일 저장부로부터 해당 디지틀 파일을 검색 및 관리하는 데이터 검색 및 관리부;

상기 데이터 코딩부에서 생성된 디지틀 파일에 대한 대표 이미지를 만들어 디스플레이하는 대표이미지 추출부; 및

사용자가 상기 대표이미지 추출부의 소정 대표 이미지를 선택하면, 데이터 코딩부에 있는 해당 디지틀 파일을 재생하는 데이터 디코딩부를 포함함을 특징으로 하는 입체 내시경 영상 처리 시스템.
체내에 들어가 소정 부위의 좌, 우 이미지를 획득하는 복강경;

상기 복강경이 이미지를 획득하도록 광원을 공급하고, 상기 복강경으로부터 획득한 좌, 우 이미지를 각각 영상신호로 출력하는 카메라;

상기 카메로부터의 좌, 우의 영상신호를 압축시키는 다중화기;

상기 다중화기로부터의 압축 신호를 저장하는 VTR;

상기 VTR에 저장된 압축 신호로부터 좌, 우 영상신호를 각기 추출하는 역다중화기;

상기 역다중화기로부터 추출된 좌, 우 영상신호에 각각 한 필드씩을 더 추가 보상하여 각각의 필드 주파수를 높이는 필드 주파수 보상부;

사용자로부터 상기 카메라에서 출력되는 내시경 영상신호를 저장하라는 명령이 전달되면 내시경의 좌, 우 영상을 디지털 동화상 신호로 저장하고, 사용자에 의해 소정 조건하에서 검색되거나 재생될 수 있도록 한 디지틀 동화상 처리 및 저장부;

상기 카메라에서 출력된 좌, 우 내시경 영상 신호를 디지털 신호로 변환하는 아날로그/디지털 변환부;

상기 아날로그/디지털 변환부에서 출력된 내시경 영상과 필드 주파수 보상부로부터 출력된 내시경 영상중 어느 한 쪽을 선택하도록 선택하는 제1선택 스위치;

상기 제1선택 스위치에서 선택된 내시경 영상이 소정의 편광방식 액정 디스플레이 장치상에 디스플레이되록 구동하는 LCD 인터페이스부;

LCD 디스플레이부에서 출력된 영상 또는 디지털 동화상 처리 및 저장부에서 출려된 디지털 화상중 어느 하나를 사용자의 조작에 따라 선택하는 제2선택 스위치; 및

상기 카메라 및 필드 주파수 보상부로부터 유입된 소정 주파수의 상기 좌, 우 영상 신호를 디스플레이하는 LCD 디스플레이부를 포함함을 특징으로 하는 입체 내시경 영상 처리 시스템.
제11항에 있어서, 상기 디지틀 동화상 처리 및 저장부는,

입력된 영상신호를 MPEG 1 또는 MPEG 2 방식의 데이터 스트림으로 변환한 디지틀 파일을 생성하는 데이터 코딩부;

상기 데이터 코딩부에서 생성된 MPEG 파일 및 상기 파일에 대해 각각 사용자에 의해 정해진 소정의 조건을 저장하는 파일 저장부;

상기 데이터 코딩부에서 생성된 디지틀 파일을 사용자가 정한 소정 조건에 따라 분류하여 사용자가 상기 조건에 따라 상기 파일 저장부로부터 해당 디지틀 파일을 검색 및 관리하는 데이터 검색 및 관리부;

상기 데이터 코딩부에서 생성된 디지틀 파일에 대한 대표 이미지를 만들어 디스플레이하는 대표이미지 추출부; 및

사용자가 상기 대표이미지 추출부의 소정 대표 이미지를 선택하면, 데이터 코딩부에 있는 해당 디지틀 파일을 재생하는 데이터 디코딩부를 포함함을 특징으로 하는 입체 내시경 영상 처리 시스템.
제11항에 있어서, 상기 LCD 디스플레이부는,

상기 우측 영상을 투과시키는 제1편광판;

상기 제1편광판과 수직으로 이어지고, 상기 우측 영상과 90도 위상차로 상기 좌측 영상을 투과시키는 제2편광판;

상기 제1편광판과 상기 제2편광판이 맞닿은 부분으로부터 서로의 중앙에 위치하며, 상기 두 편광판으로부터 나온 영상의 절반은 투과시키고 절반은 반사하는 하프 미러(half mirror);

상기 하프 미러로부터 나온 좌, 우 영상신호의 상이 맺혀지는 커버 글래스; 및

사용자의 좌, 우 눈에 부착되어 상기 커버 글래스에 맺혀진 좌, 우 영상을 인지키는 편광 안경을 포함함을 특징으로 하는 입체 내시경 영상 처리 시스템.