KR20170001189A

KR20170001189A - 저속 장거리 인터페이스용 안드로이드 시스템을 위한 다중 영상 장치 및 이미지 처리 방법

Info

Publication number: KR20170001189A
Application number: KR1020150090836A
Authority: KR
Inventors: 강욱; 신일형
Original assignee: 인더스마트 주식회사
Priority date: 2015-06-26
Filing date: 2015-06-26
Publication date: 2017-01-04
Also published as: US20180343415A1; CN106264429A; KR102186739B1; US20160381263A1; US10645336B2; CN106264429B; US10063806B2

Abstract

본 발명의 실시예에 따른 내시경 시스템은 케이블의 일측에 연결되며, 상기 케이블을 통한 인체 내부에 대한 영상신호의 전송이 가능하도록 장거리 전송용 프로토콜에 따라 상기 영상신호를 변환하여 변환영상신호를 전송하는 신호전송부를 포함하는 영상신호 생성부; 상기 케이블의 타측과 연결되어 상기 케이블을 통하여 전송된 상기 변환영상신호를 수신하여 상기 변환영상신호를 상기 영상신호로 변환하는 신호처리부; 상기 영상신호에 대한 유저 인터페이스 및 사용자의 상기 유저 인터페이스 조작에 따른 동작제어신호를 출력하는 CPU; 및 상기 신호처리부로부터 출력된 상기 영상신호에 상기 유저 인터페이스를 오버랩핑하고 상기 동작제어신호에 따라 상기 영상신호를 처리하는 이미지 프로세싱부를 포함한다.

Description

저속 장거리 인터페이스용 안드로이드 시스템을 위한 다중 영상 장치 및 이미지 처리 방법{MULTI IMAGE PROCESSING APPARATUS AND MULTI IMAGE PROCESSING METHOD OF ANDROID SYSTEM FOR LOW SPEED AND LONG DISTANCE INTERFACE}

본 발명은 내시경 시스템 및 내시경 시스템의 이미지 처리방법에 관한 것이다.

내시경 시스템은 수술이나 검사 과정에서 인체 내부의 이미지를 의사에게 제공하며, 의사는 이미지를 확인할 수 있기 때문에 수술이나 검사 과정을 안정적으로 정확하게 할 수 있다.

최근 내시경 시스템은 단순히 이미지를 제공하는 것뿐만 아니라 다양한 기능 제공에 대한 요구가 증대되고 있다.

이에 따라 이미지 처리를 고속으로 할 수 있으면서 다양한 기능을 제공할 수 있는 내시경 시스템에 대한 연구가 진행되고 있다.

공개특허 10-2007-0071556 (공개일 : 2007년07월04일)

본 발명의 실시예에 따른 내시경 시스템 및 내시경 시스템의 이미지 처리방법 은 이미지의 고속 처리가 가능하면서도 다양한 기능을 제공하기 위한 것이다.

본 발명의 실시예에 따른 내시경 시스템 및 내시경 시스템의 이미지 처리방법 은 영상신호와 부가영상신호를 처리하여 영상신호의 고속 처리를 제공하기 위한 것이다.

본 출원의 과제는 이상에서 언급한 과제로 제한되지 않으며, 언급되지 않는 또 다른 과제는 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

본 발명의 일측면에 따르면, 케이블의 일측에 연결되며, 상기 케이블을 통한 인체 내부에 대한 영상신호의 전송이 가능하도록 장거리 전송용 프로토콜에 따라 상기 영상신호를 변환하여 변환영상신호를 전송하는 신호전송부를 포함하는 영상신호 생성부; 상기 케이블의 타측과 연결되어 상기 케이블을 통하여 전송된 상기 변환영상신호를 수신하여 상기 변환영상신호를 상기 영상신호로 변환하는 신호처리부; 상기 영상신호에 대한 유저 인터페이스 및 사용자의 상기 유저 인터페이스 조작에 따른 동작제어신호를 출력하는 CPU; 및 상기 신호처리부로부터 출력된 상기 영상신호에 상기 유저 인터페이스를 오버랩핑하고 상기 동작제어신호에 따라 상기 영상신호를 처리하는 이미지 프로세싱부를 포함하는 내시경 시스템이 제공된다.

상기 신호처리부, 상기 CPU 및 상기 이미지 프로세싱부 중 적어도 하나를 리얼 타임(real time)으로 모니터링하여 상기 적어도 하나의 상태값에 따라 상기 적어도 하나의 리셋을 수행하는 모니터링부를 더 포함할 수 있다.

상기 CPU가 상기 영상신호에 대한 이미지 처리를 하는 경우, 상기 이미지 프로세싱부에 의한 상기 영상신호에 대한 이미지 처리 속도는 상기 CPU에 의한 이미지 처리 속도보다 고속일 수 있다.

상기 CPU는 데이터베이스나 로컬 테이블의 질병 표시 영상 데이터와 상기 영상신호를 매칭시키고, 상기 매칭 결과는 상기 이미지 프로세싱부에 의하여 처리된 상기 영상신호에 오버랩핑될 수 있다.

상기 CPU는 상기 이미지 프로세싱부의 복수의 필터들 중 적어도 하나를 선택하기 위한 처리제어신호를 출력하고, 상기 동작제어신호에 따라 선택된 필터는 상기 CPU의 이미지 처리 속도에 비해 고속으로 상기 영상신호를 처리할 수 있다.

상기 모니터링부는, 상기 동작제어신호나 상기 영상신호의 전송이나 변환을 제어하기 위한 처리제어신호를 상기 CPU로부터 전송받아 상기 신호전송부, 신호처리부 및 이미지 프로세싱부 중 적어도 하나에 상기 동작제어신호나 상기 처리제어신호에 해당되는 제어명령을 전송할 수 있다.

본 발명의 다른 측면에 따르면, 케이블의 일측에 연결되며, 초당 n 프레임인 인체 내부에 대한 영상신호와 초당 m 프레임인 상기 인체 내부에 대한 부가영상신호를 상기 케이블을 통한 전송이 가능하도록 장거리 전송용 프로토콜에 따라 변환영상신호로 변환하여 전송하는 영상신호 생성부; 상기 케이블의 타측과 연결되어 상기 케이블을 통하여 전송된 변환영상신호를 상기 영상신호와 상기 부가영상신호로 변환하고, 상기 영상신호와 상기 부가영상신호를 제1 전송경로와 제2 전송경로로 각각 전송하는 신호처리부; 상기 제2 전송경로를 통하여 전송된 상기 부가영상신호를 상기 제1 전송경로에서의 상기 영상신호의 전송속도보다 느리게 전송하는 CPU; 및 상기 제1 전송경로를 통하여 전송된 상기 영상신호와 상기 CPU로부터 출력된 상기 부가영상신호를 오버랩하는 이미지 프로세싱부를 포함하는 내시경 시스템이 제공된다.

상기 영상신호 생성부는, 상기 영상신호를 생성하는 이미지 센싱부, 상기 부가영상신호를 생성하는 부가 이미지 센싱부, 상기 영상신호와 상기 부가영상신호를 통합하여 시리얼신호를 생성하는 시리얼라이저, 및 상기 케이블의 일측과 연결되어 상기 케이블을 통한 상기 시리얼신호의 전송이 가능하도록 상기 장거리 전송용 프로토콜에 따라 상기 시리얼신호를 상기 변환영상신호로 변환하여 전송하는 신호전송부를 포함할 수 있다.

상기 신호처리부는, 상기 케이블의 타측과 연결되어 상기 케이블을 통하여 상기 변환영상신호를 수신하여 상기 시리얼신호로 변환하는 신호수신부, 상기 시리얼신호를 상기 영상신호와 상기 부가영상신호로 분리하는 디시리얼라이저, 상기 제1 전송경로로 상기 영상신호를 출력하고 상기 제2 전송경로로 상기 부가영상신호를 출력하는 경로경성부를 포함할 수 있다.

상기 신호처리부, 상기 CPU 및 상기 이미지 프로세싱부 중 적어도 하나를 리얼 타임으로 모니터링하여 상기 적어도 하나의 상태값에 따라 상기 적어도 하나의 리셋을 수행하는 모니터링부를 더 포함할 수 있다.

상기 제1 전송경로에서의 상기 영상신호의 전송속도는 상기 제2 전송경로에서의 상기 부가영상신호의 전송속도보다 빠를 수 있다.

상기 제1 전송경로에서의 상기 영상신호의 대역폭이 상기 제2 전송경로에서의 상기 부가영상신호의 대역폭보다 클 수 있다.

상기 CPU가 상기 영상신호에 대한 이미지 처리를 하는 경우, 상기 이미지 프로세싱부에 의한 상기 영상신호에 대한 이미지 처리 속도는 상기 CPU에 의한 이미지 처리 속도보다 빠를 수 있다.

상기 CPU는 상기 이미지 프로세싱부의 복수의 필터들 중 적어도 하나를 선택하기 위한 처리제어신호를 출력하고, 상기 동작제어신호에 따라 선택된 필터는 상기 CPU의 이미지 처리 속도에 비해 고속으로 상기 영상신호 및 상기 부가영상신호 중 적어도 하나를 처리할 수 있다.

본 발명의 다른 측면에 따른 내시경 시스템은 상기 인체 내부로 빛을 조사하는 광방출부를 더 포함하고, 상기 영상신호 생성부는 상기 영상신호를 생성하는 이미지 센싱부를 포함하며, 상기 이미지 센싱부가 받아들일 수 있는 광량을 초과할 경우, 상기 CPU는 상기 광방출부가 빛의 세기를 줄이도록 제어할 수 있다.

상기 영상신호 생성부는 상기 변환영상신호를 아날로그 신호로 변환하여 상기 케이블 일측으로 전송하는 제1 변환부를 더 포함하고, 상기 신호처리부는 상기 케이블 타측을 통하여 전송된 상기 아날로그 신호를 디지털 신호 형태의 상기 변환영상신호로 변환하는 제2 변환부를 더 포함할 수 있다.

상기 케이블은 동축 케이블이나 트위스티드 케이블일 수 있다.

상기 CPU는 상기 영상신호 및 상기 부가영상신호 중 적어도 하나에 대한 유저 인터페이스와, 사용자의 상기 유저 인터페이스 조작에 따른 동작제어신호를 출력하고, 상기 이미지 프로세싱부는 상기 영상신호 및 상기 부가영상신호와 더불어 상기 유저 인터페이스를 오버랩핑하고 상기 동작제어신호에 따라 상기 영상신호 및 상기 부가영상신호 중 적어도 하나를 처리할 수 있다.

상기 이미지 센싱부는 초당 n 프레임의 상기 영상신호를 생성하고, 상기 부가 이미지 센서는 초당 m 프레임인 상기 부가영상신호를 생성하며, 상기 m은 상기 n보다 작을 수 있다.

본 발명의 또다른 측면에 따르면, 내시경의 케이블을 통한 인체 내부에 대한 영상신호의 전송이 가능하도록 장거리 전송용 프로토콜에 따라 상기 영상신호를 변환하여 변환영상신호를 전송하는 단계; 상기 케이블을 통하여 전송된 상기 변환영상신호를 수신하여 상기 변환영상신호를 상기 영상신호로 변환하는 단계; 상기 영상신호에 대한 유저 인터페이스 및 사용자의 상기 유저 인터페이스 조작에 따른 동작제어신호를 출력하는 단계; 및 상기 영상신호에 상기 유저 인터페이스를 오버랩핑하고 상기 동작제어신호에 따라 상기 영상신호를 처리하는 단계를 포함하는 내시경 시스템의 이미지 처리방법이 제공된다.

본 발명의 또다른 측면에 따르면, 초당 n 프레임인 인체 내부에 대한 영상신호와 초당 m 프레임인 상기 인체 내부에 대한 부가영상신호를 내시경의 케이블을 통한 전송이 가능하도록 장거리 전송용 프로토콜에 따라 변환영상신호로 변환하여 전송하는 단계; 상기 케이블을 통하여 전송된 변환영상신호를 상기 영상신호와 상기 부가영상신호로 변환하고, 상기 영상신호와 상기 부가영상신호를 제1 전송경로와 제2 전송경로로 각각 전송하는 단계; 상기 제2 전송경로를 통하여 전송된 상기 부가영상신호를 상기 제1 전송경로에서의 상기 영상신호의 전송속도보다 느리게 전송하는 단계; 및 상기 제1 전송경로를 통하여 전송된 상기 영상신호와 상기 CPU로부터 출력된 상기 부가영상신호를 오버랩하는 단계를 포함하는 내시경 시스템의 이미지 처리방법이 제공된다.

본 발명의 실시예에 따른 내시경 시스템 및 내시경 시스템의 이미지 처리방법은 영상신호와 유저 인터페이스의 처리 경로를 다르게 함으로써 이미지의 고속 처리 및 다양한 기능을 제공할 수 있다.

본 발명의 실시예에 따른 내시경 시스템 및 내시경 시스템의 이미지 처리방법 은 영상신호와 부가영상신호를 서로 다른 경로를 통하여 처리함으로써 영상신호의 고속 처리를 수행할 수 있다.

본 출원의 효과는 이상에서 언급한 효과로 제한되지 않으며, 언급되지 않는 또 다른 효과는 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 제1 실시예 및 제2 실시예에 따른 내시경 시스템의 외형을 나타낸다.
도 2 및 도 3은 본 발명의 제1 실시예에 따른 내시경 시스템의 블록도를 나타낸다.
도 4 및 도 5는 본 발명의 제2 실시예에 따른 내시경 시스템의 블록도를 나타낸다.
도 6 및 도 7은 시리얼라이저 및 디시리얼라이저의 동작을 나타낸다.
도 8 및 도 9는 본 발명의 제3 실시예 및 제4 실시예에 따른 내시경 시스템의 이미지 처리방법의 순서도를 나타낸다.

이하 본 발명의 실시예에 대하여 첨부한 도면을 참조하여 상세하게 설명하기로 한다. 다만, 첨부된 도면은 본 발명의 내용을 보다 쉽게 개시하기 위하여 설명되는 것일 뿐, 본 발명의 범위가 첨부된 도면의 범위로 한정되는 것이 아님은 이 기술분야의 통상의 지식을 가진 자라면 용이하게 알 수 있을 것이다.

또한, 본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다음으로 도면을 참조하여 본 발명의 제1 실시예 및 제2 실시예에 따른 내시경 시스템에 대해 설명한다.

도 1은 본 발명의 제1 실시예 및 제2 실시예에 따른 내시경 시스템의 외형을 나타낸다. 도 1에 도시된 바와 같이, 도 1에 도시된 외형은 본 발명의 제1 실시예 및 제2 실시예에 따른 내시경 시스템의 케이블(500) 일측에 연결된 영상신호 생성부(100)를 포함한다.

영상신호 생성부(100)는 이미지 센싱부(미도시) 또는 부가 이미지 센싱부(미도시)를 포함할 수 있다. 이미지 센싱부와 부가 이미지 센싱부에 대해서는 이후에 상세히 설명하도록 한다.

영상신호 생성부(100)는 렌즈 어레이가 내부에 구비된 텔레스코프(10)와 연결될 수 있다. 텔레스코프(10) 내부에는 광방출부의 광을 이미지 센싱부나 부가 이미지 센싱부로 유도하는 광 가이딩부가 구비될 수 있다.

본체(20)는 케이블(500)의 타측에 연결되어 영상신호나 부가영상신호를 처리하는 하드웨어 또는 소프르웨어 중 적어도 하나의 구성요소들이 설치될 수 있다. 영상신호 및 부가영상신호에 대해서는 이후에 도면을 참조하여 상세히 설명하도록 한다.

도 1에 도시된 외형은 본 발명의 제1 실시예 및 제2 실시예에 따른 내시경 시스템 외형의 일례일 뿐 이에 한정되는 것은 아니다.

도 2 및 도 3은 본 발명의 제1 실시예에 따른 내시경 시스템의 블록도를 나타낸다. 본 발명의 제2 실시예에 따른 내시경 시스템의 블록도는 이후에 도 4 및 도 5를 참조하여 상세히 설명한다.

도 2에 도시된 바와 같이, 본 발명의 제1 실시예에 따른 내시경 시스템은 영상신호 생성부(100), 신호처리부(200), CPU(300) 및 이미지 프로세싱부(400)를 포함한다.

영상신호 생성부(100)는 케이블(500)의 일측에 연결되며, 케이블(500)을 통한 인체 내부에 대한 영상신호(IMAGE 1)의 전송이 가능하도록 장거리 전송용 프로토콜에 따라 영상신호(IMAGE 1)를 변환하여 변환영상신호(IMAGE 1')를 전송하는 신호전송부(110)를 포함한다.

이 때 영상신호 생성부(100)는 영상신호(IMAGE 1)를 생성하는 이미지 센싱부(120)를 포함할 수 있으며, 이미지 센싱부(120)는 CCD 소자 또는 CMOS 소자를 포함할 수 있다.

또한 영상신호 생성부(100)는 영상신호 생성부(100)가 인체 내부에 삽입되었을 때 빛을 조사하는 광방출부(130)를 포함할 수 있다. 이와 같은 광방출부(130)는 LED를 포함할 수 있으며, CPU(300)의 제어에 따라 광량이 조절될 수 있다.

신호전송부(110)는 영상신호(IMAGE 1)를 수 미터 내외의 케이블(500)로 전송하기 위하여 영상신호(IMAGE 1)를 USB(universal serial bus) 프로토콜로 변환할 수 있으나 장거리 전송용 프로토콜은 USB 프로토콜에 한정되는 것은 아니다.

이후에 보다 상세히 설명하겠으나 내시경 시스템은 인체 내부의 이미지를 빠르고 정확하게 표시부(800)를 통하여 표시함으로써 의사에 의한 수술이나 검사에 도움을 줄 수 있어야 한다.

따라서 이미지 센싱부(120)에 의한 영상신호(IMAGE 1)의 생성에서 표시부(800)를 통한 영상신호의 표시까지 걸리는 시간이 짧을수록 내시경 시스템의 성능이 좋음을 알 수 있다. 내시경 시스템에 포함된 케이블(500)의 길이는 수 미터 내외이며 내시경 시스템의 이미지 처리 관점에서 이러한 케이블(500)의 길이는 장거리에 해당될 수 있다.

영상신호(IMAGE 1)가 수 미터 내외의 케이블(500)을 통하여 전송될 경우 영상신호의 누락이나 변형으로 인하여 이미지가 표시부(800)에 빠르고 정확하게 표시되지 않을 수 있다.

이를 방지하기 위하여 본 발명의 실시예에 따른 내시경 시스템은 영상신호(IMAGE 1)를 장거리 전송용 프로토콜에 따라 변환영상신호(IMAGE 1')로 변환함으로써 인체 내부의 이미지를 빠르고 정확하게 표시할 수 있다.

한편, 신호처리부(200)는 케이블(500)의 타측과 연결되어 케이블(500)을 통하여 전송된 변환영상신호(IMAGE 1')를 수신하여 변환영상신호(IMAGE 1')를 영상신호(IMAGE 1)로 변환한다.

CPU(300)는 영상신호(IMAGE 1)에 대한 유저 인터페이스(user interface) 및 사용자의 유저 인터페이스 조작에 따른 동작제어신호를 출력한다. 유저 인터페이스는 메뉴를 포함할 수 있으며, 내시경 시스템의 동작 제어와 표시부(800)에 표시되는 영상의 조작을 위한 것일 수 있다. 유저 인터페이스를 통한 영상의 조작은 영상의 확대나 축소, 샤프니스(sharpness)나 휘도 변화 등을 위한 것일 수 있으나 이에 한정되는 것은 아니다.

이 때 도면에는 도시되어 있지 않으나 CPU(300)는 유저 인터페이스에 대한 데이터를 저장하기 위한 메모리(미도시)를 포함할 수 있다.

이미지 프로세싱부(400)는 신호처리부(200)로부터 출력된 영상신호(IMAGE 1)에 유저 인터페이스를 오버랩핑(overlapping)하고 동작제어신호에 따라 영상신호(IMAGE 1)를 처리한다.

이 때 신호전송부(110), 신호처리부(200) 및 이미지 프로세싱부(400) 중 적어도 하나는 FPGA(field-programmable gate array)로 구현될 수 있으나, 이에 한정되는 것은 아니다.

FPGA는 프로그램밍이 가능한 비메모리 반도체의 일종으로 회로 변경이 불가능한 일반 반도체와 달리 용도에 맞게 회로를 다시 변경할 수 있다. FPGA는 하드웨어적 요소인 스위칭 소자의 동작을 통하여 원하는 회로를 구현할 수 있으며, 이에 따라 영상신호(IMAGE 1)가 소프트웨어에 의하여 전송 또는 처리되는 것에 비하여 고속으로 전송 또는 처리될 수 있다.

이미지 프로세싱부(400)는 오버랩된 영상신호와 유저 인터페이스를 비디오 포트(600)를 통하여 표시부(800)로 전송할 수 있다. 비디오 포트(600)는 VGA(Video Graphics Array), DVI(Digital Visual Interface), HDMI(High Definition Multimedia Interface), 또는 LVDS(Low Voltage Differential Signaling)일 수 있으나 이에 한정되는 것은 아니다.

이와 같은 본 발명의 제1 실시예에 따른 내시경 시스템은 유저 인터페이스의 처리 경로와 영상신호(IMAGE 1)의 처리 경로가 다를 수 있다. 즉, 본 발명의 제1 실시예에 따른 내시경 시스템의 경우, CPU(300)는 유저 인터페이스를 처리하고, 신호전송부(110), 신호처리부(200) 및 이미지 프로세싱부(400)는 영상신호(IMAGE 1)를 처리할 수 있다.

의사는 내시경 시스템에 의하여 생성된 영상을 보면서 환자를 수술할 수 있는데, 의사가 수술하는 인체 내부의 상황을 즉시 영상으로 볼 수 있어야 정확한 수술을 시행할 수 있다.

만약 의사가 수술 과정에서 인체 내부의 모습을 즉시 영상으로 볼 수 없을 경우, 의사가 의도치 않은 실수를 했더라도 의사는 즉시 실수를 인지하지 못할 수 있다.

따라서 내시경 시스템은 인체 내부의 영상신호(IMAGE 1)를 고속으로 처리하여 모니터와 같은 표시부(800)에 표시할 수 있어야 한다. 반면에 유저 인터페이스의 처리는 인체 내부의 영상신호(IMAGE 1)의 이미지 처리에 비하여 늦더라도 수술 과정에 큰 영향을 미치지 않을 수 있다.

본 발명의 제1 실시예에 따른 내시경 시스템과 다르게 하나의 이미지 처리 경로로 영상 신호와 유저 인터페이스가 처리되는 경우 유저 인터페이스의 처리로 인하여 영상 신호의 처리 역시 느려지므로 수술에 좋지 않은 영향을 미칠 수 있다.

본 발명의 제1 실시예에 따른 내시경 시스템의 경우, 신호전송부(110), 신호처리부(200) 및 이미지 프로세싱부(400)는 영상신호(IMAGE 1)를 고속으로 처리하고 CPU(300)는 유저 인터페이스를 상대저으로 저속으로 처리하여 이미지 프로세싱부(400)가 영상신호(IMAGE 1)와 유저 인터페이스를 오버랩할 수 있다.

이에 따라 의사는 오버랩된 영상신호(IMAGE 1)와 유저 인터페이스를 표시부(800)를 통하여 볼 수 있으므로 영상신호(IMAGE 1)의 처리 과정에 따라 발생하는 시간 지연을 덜 느끼거나 인지하지 못하면서도 유저 인터페이스 조작을 통한 내시경 시스템의 다양한 기능을 이용할 수 있다.

한편, 도 3에 도시된 바와 같이, 본 발명의 제1 실시예에 따른 내시경 시스템 은 모니터링부(700)를 더 포함할 수 있다. 모니터링부(700)는 신호처리부(200), CPU(300) 및 이미지 프로세싱부(400) 중 적어도 하나를 리얼 타임으로 모니터링할 수 있다. 이때 모니터링부(700)는 상기 적어도 하나의 상태값에 따라 상기 적어도 하나의 리셋을 수행할 수 있다.

내시경 시스템은 의료용으로 사용되므로 영상신호(IMAGE 1)의 처리가 항상 안정적으로 이루어져야 한다. 예를 들어, 수술 과정 중에 의사가 인체 내부의 이미지를 보지 못할 경우 수술 과정이 원활하게 이루어지지 않을 수 있다.

따라서 모니터링부(700)는 이미지와 유저 인터페이스의 처리를 수행하는 신호처리부(200), 이미지 프로세싱부(400) 및 CPU(300) 중 적어도 하나에 대한 실시간 모니터링을 수행할 수 있다. 예를들어, 모니터링부(700)는 1 ms마다 신호처리부(200), 이미지 프로세싱부(400) 및 CPU(300) 중 적어도 하나의 상태값을 전송받을 수 있으나, 상태값을 전송받는 주기는 1 ms보다 크거나 작을 수 있다.

모니터링부(700)는, 비정상이나 에러를 나타내는 상태값의 해당 구성요소를 리셋함으로써 비정상인 이미지 처리나 유저 인터페이스 처리 시간을 줄이거나 최소화할 수 있다.

아울러 모니터링부(700)는 영상신호(IMAGE 1)를 전송하는 신호전송부(110)의 상태값에 따라 신호전송부(110)를 리셋할 수 있다.

이와 같은 모니터링부(700)는 CPU(300)에 비하여 단순한 기능을 수행하므로 Micro Control Unit 형태나 펌웨어(firmware) 형태로 구현될 수 있다.

한편, 모니터링부(700)는 동작제어신호나 처리제어신호를 CPU(300)로부터 전송받아 신호전송부(110), 신호처리부(200) 및 이미지 프로세싱부(400) 중 적어도 하나에 동작제어신호나 처리제어신호에 해당되는 제어명령을 전송할 수 있다.

이 때 모니터링부(700)의 제어명령은 CPU(300)가 출력한 동작제어신호나 처리제어신호와 동일할 수도 있고 모니터링부(700)에 의하여 신호 전송부(110), 신호 처리부(200) 및 이미지 프로세싱부(400) 중 적어도 하나에 맞도록 변환된 것일 수 있다.

이 때 처리제어신호는, 신호전송부(110), 신호처리부(200) 및 이미지 프로세싱부(400) 중 적어도 하나에서 이루어지는 영상신호(IMAGE 1)의 전송, 변환, 이미지 오버랩핑을 제어하기 위한 것일 수 있으나, 이에 한정되지 않을 수 있다.

앞서 설명된 바와 같이, CPU(300)는 신호전송부(110), 신호처리부(200) 및 이미지 프로세싱부(400) 중 적어도 하나의 현재 상태(예를 들어, 고장, 이상동작 또는 정상동작 등)를 실시간으로 확인할 수 없지만 모니터링부(700)는 실시간으로 상기 적어도 하나를 감시하고 있다.

따라서 CPU(300)는 동작제어신호나 처리제어신호를 모니터링부(700)로 전송하고, 모니터링부(700)는 동작제어신호나 처리제어신호에 해당되는 제어명령을 상기 적어도 하나에 전송할 수 있다.

만약 상기 적어도 하나의 구성요소가 고장이나 이상 동작을 할 경우, CPU(300)가 동작제어신호나 처리제어신호를 전송하더라도 모니터링부(700)가 고장이나 이상 동작을 하는 구성 요소를 리셋시키고 CPU(300)에 이를 통보함으로써 CPU(300)가 구성 요소의 고장이나 이상 동작에 대응하는 동작을 할 수 있다.

즉, 도 2의 본 발명의 제1 실시예에 따른 내시경 시스템은 모니터링부(700)를 포함하지 않으며, CPU(300)가 동작제어신호나 처리제어신호를 신호전송부(110), 신호처리부(200) 및 이미지 프로세싱부(400) 중 적어도 하나에 전송할 수 있다.

CPU(300)는 내시경 시스템 전체의 동작을 제어하므로 처리 계산량이 커서 신호전송부(110), 신호처리부(200) 및 이미지 프로세싱부(400)의 실시간 모니터링에 한계가 있지만 도 3의 내시경 시스템은 CPU(300)와는 별도의 모니터링부(700)를 통하여 실시간으로 동작 상태를 파악할 수 있으므로 내시경 시스템의 동작 안정성이 크게 증가할 수 있다.

한편, 도 2 및 도 3에 도시된 바와 같이, CPU(300)가 영상신호(IMAGE 1)에 대한 이미지 처리를 하는 경우, 이미지 프로세싱부(400)에 의한 영상신호(IMAGE 1)에 대한 이미지 처리 속도는 CPU(300)에 의한 이미지 처리 속도보다 고속일 수 있다.

이미지 프로세싱부(400)뿐만 아니라 CPU(300)도 영상신호(IMAGE 1)에 대한 이미지 처리를 할 수 있다. 이 때 CPU(300)는 계산량이 많은 이미지 처리를 수행하고, 이미지 프로세싱부(400)는 고속으로 이미지를 처리를 해야 하므로 CPU(300)의 이미지 처리에 비하여 간단한 이미지 처리를 할 수 있다.

예를 들어, CPU(300)는 데이터베이스(미도시)나 로컬 테이블(local table)(미도시)의 질병 표시 영상 데이터와 영상신호(IMAGE 1)를 패턴 매칭(pattern matching)시키고, 매칭 결과는 이미지 프로세싱부(400)에 의하여 처리된 영상신호(IMAGE 1)에 오버랩핑될 수 있다.

이 때 데이터베이스나 로컬 테이블은 CPU(300)에 구비된 메모리에 저장될 수도 있고, 네트워크을 통하여 접속가능한 원격 메모리 장치에 저장될 수도 있다.

데이터베이스나 로컬 테이블에는 인체 내부의 다양한 질병에 대한 이미지가 미리 저장될 수 있다. 이 때 본 발명의 제1 실시예에 따른 내시경 시스템이 특정 질병의 이미지가 담긴 영상신호(IMAGE 1)를 생성할 경우, CPU(300)는 영상신호(IMAGE 1)과 데이터베이스나 로컬 테이블에 미리 저장된 이미지를 비교함으로써 영상신호(IMAGE 1)과 유사한 이미지를 선택할 수 있다.

이와 같은 CPU(300)의 동작은 영상신호(IMAGE 1)와 미리 저장된 이미지의 특징점 비교나 엣지 검출과 같이 많은 계산량을 처리해야 하므로 처리 속도가 느려질 수 있다.

또한 CPU(300)는 이미지 프로세싱부(400)의 복수의 필터들 중 적어도 하나를 선택하기 위한 처리제어신호를 출력하고, 처리제어신호에 따라 선택된 필터는 CPU(300)의 이미지 처리 속도에 비해 고속으로 영상신호(IMAGE 1)를 처리할 수 있다.

이 때 도 2의 CPU(300)는 필터 선택용 처리제어신호를 이미지 프로세싱부(400)로 출력할 수 있다. 또한 도 3의 CPU(300)는 필터 선택용 처리제어신호를 모니터링부(700)로 출력하고, 모니터링부(700)는 필터 선택용 처리제어신호에 대응하는 제어명령을 이미지 프로세싱부(400)로 출력할 수 있다.

이미지 프로세싱부(400)는 샤프니스 필터(sharpness filter)나 반사광 제어 필터와 같은 복수의 필터를 포함하며, 선택된 필터를 통하여 영상신호에 대한 전처리를 수행할 수 있다. 필터를 이용한 이미지 전처리는 계산량이 많지 않기 때문에 이미지 프로세싱부(400)에 의한 고속 이미지 처리가 가능하다.

이에 따라 본 발명의 제1 실시예에 따른 내시경 시스템의 경우, 이미지 센싱부(120)에 의하여 생성된 영상신호(IMAGE 1)가 표시부(800)를 통하여 표시되는데 소요되는 시간은 100 ms 이내일 수 있으며, 바람직하게는 30 ms 이내 일 수 있다.

상기 시간이 100 ms 이내인 경우, 의사는 이미지 처리로 인한 시간 지연을 크게 인지하지 않으며 이러한 시간 지연은 수술이나 검사를 방해하지 않을 정도일 수 있다. 또한 상기 시간이 30 ms 이내인 경우 의사는 이미지 처리로 인한 시간 지연을 거의 느끼지 못하므로 수술이나 검사가 원활하게 이루어질 수 있다.

한편, 본 발명의 제1 실시예에 따른 내시경 시스템은 유저 인터페이스를 사용자가 조작할 수 있는 입력부(750)를 더 포함할 수 있다. 본 발명의 제1 실시예에 따른 내시경 시스템의 입력부(750)는 표시부(800) 상에는 설치된 터치 패널일 수 있으나 이에 한정되는 것은 아니다. 예를 들어, 입력부(750)는 키보드, 마우스 또는 스타일러스 펜일 수 있다.

사용자가 유저 인터페이스를 이용하기 위하여 입력부(750)를 조작하면, 입력부(750)는 사용자의 조작에 해당되는 입력신호를 CPU(300)로 출력할 수 있다. 이에 따라 CPU(300)는 입력신호에 따른 동작을 수행할 수 있다.

한편, 영상신호 생성부(100)는 변환영상신호(IMAGE 1')를 아날로그 신호로 변환하여 케이블(500) 일측으로 전송하는 제1 변환부(160)를 더 포함할 수 있다. 또한 신호처리부(200)는 케이블(500) 타측을 통하여 전송된 아날로그 신호를 디지털 신호 형태의 변환영상신호(IMAGE 1')로 변환하는 제2 변환부(240)를 더 포함할 수 있다.

상기 제1 변환부(160)는 케이블(500)의 일측과 연결된 파이칩(phy chip)을 포함할 수 있으며, 상기 제2 변환부(240)는 케이블(500)의 타측과 연결된 디파이칩(dephy chip)을 포함할 수 있다.

파이 칩은 디지털 신호 형태의 변환영상신호(IMAGE 1')를 아날로그 신호로 변환하고, 디파이 칩은 아날로그 신호에서 디지털 신호 형태의 변환영상신호(IMAGE 1')로 변환할 수 있다.

본 발명의 제1 실시예와 다르게 구형파 형상인 디지털 신호가 케이블(500)을 통하여 신호처리부(200)로 수 Gbps 고속으로 장거리 전송되면, 구형파의 엣지가 일그러질 수 있다. 이를 방지하기 위하여 본 발명의 제1 실시예에 따른 내시경 시스템은 디지털 신호 형태의 변환영상신호(IMAGE 1')를 아날로그 신호로 변환함으로써 변환영상신호(IMAGE 1')를 고속으로 장거리 전송할 수 있다.

다음으로 도면을 참조하여 본 발명의 제2 실시예에 따른 내시경 시스템을 설명한다.

도 4 및 도 5에 도시된 바와 같이, 본 발명의 제2 실시예에 따른 내시경 시스템은 영상신호 생성부(100), 신호처리부(200), CPU(300) 및 이미지 프로세싱부(400)를 포함한다.

영상신호 생성부(100)는 케이블(500)의 일측에 연결된다. 또한 영상신호 생성부(100)는 초당 n 프레임인 인체 내부에 대한 영상신호(IMAGE 1)와 초당 m 프레임인 인체 내부에 대한 부가영상신호(IMAGE 2)를 케이블(500)을 통한 전송이 가능하도록 장거리 전송용 프로토콜에 따라 변환영상신호(IMAGE 12')로 변환하여 전송한다.

부가영상신호(IMAGE 2)는 가시광선을 제외한 파장대역 별(예를 들어, 근적외선, 적외선, 자외선 등) 이미지 또는 형광 내시경 검사나 형광 내시경 수술에서 사용되는 형광물질에 대한 이미지에 대한 것으로 병소를 찾는 것과 같은 특정 타겟에 대한 영상일 수 있다.

장거리 전송용 프로토콜에 대해서는 앞서 제1 실시예를 통하여 상세히 설명하였으므로 이에 대한 설명은 생략된다.

신호처리부(200)는 케이블(500)의 타측과 연결된다. 또한 신호처리부(200)는 케이블(500)을 통하여 전송된 변환영상신호(IMAGE 12')를 영상신호(IMAGE 1)와 부가영상신호(IMAGE 2)로 변환한다. 신호처리부(200)는 영상신호(IMAGE 1)를 제1 전송경로로 전송하고, 부가영상신호(IMAGE 2)를 제2 전송경로로 전송한다. 이 때 신호처리부(200)는 영상신호(IMAGE 1) 역시 제2 전송경로로 전송할 수 있다.

CPU(300)는 제2 전송경로를 통하여 전송된 부가영상신호(IMAGE 2)를 제1 전송경로에서의 영상신호(IMAGE 1)의 전송속도보다 느리게 전송한다.

이미지 프로세싱부(400)는 제1 전송경로를 통하여 전송된 영상신호(IMAGE 1)와 CPU(300)로부터 출력된 부가영상신호(IMAGE 2)를 오버랩한다. 이에 따라 영상신호(IMAGE 1)는 백그라운드 이미지(background image)가 될 수 있으며, 표시부(800)는 백그라운드 이미지에 중첩된 부가영상이미지(IMAGE 2)를 표시할 수 있다.

이상에서 설명된 바와 같이, 부가영상신호(IMAGE 2)에 비하여 영상신호(IMAGE 1)가 고속으로 처리될 수 있다. 영상신호(IMAGE 1)는 인체 내부의 상황을 나타내므로 영상신호(IMAGE 1)가 생성되어 표시부(800)에 표시될 때까지의 시간 지연이 짧을수록 의사에게 정확하게 정보를 제공할 수 있다.

부가영상신호(IMAGE 2)는 형광물질에 대한 이미지 또는 파장대역 별 이미지이므로 부가영상신호(IMAGE 2)의 생성 자체가 느릴 수 있다. 즉 형광물질의 광량이나 파장대역 별 광량은 작기 때문에 이미지 부가영상신호(IMAGE 2)의 온전한 이미지를 얻으려면 이후에 설명될 부가 이미지 센싱부(140)가 상대적으로 오랜 시간 형광물질의 광이나 파장대역 별 광에 노출되어야 한다.

이에 따라 본 발명의 제2 실시예에 따른 내시경 시스템과 다르게 영상신호(IMAGE 1)과 부가영상신호(IMAGE 2)가 동일한 경로를 통하여 처리된다면 영상신호(IMAGE 1)의 처리가 영향을 받아 영상신호(IMAGE 1)에 해당되는 이미지가 표시부(800)를 통하여 빠르고 정확하게 표시되지 않을 수 있다.

본 발명의 제2 실시예에 따른 내시경 시스템은 영상신호(IMAGE1)과 부가영상신호(IMAGE 2)를 서로 다른 경로를 통하여 처리하고 영상신호(IMAGE 1)을 부가영상신호(IMAGE 2)보다 고속으로 처리함으로써 인체 내부의 이미지를 빠르고 정확하게 표시할 수 있다.

도 4 및 도 5에 도시된 바와 같이, 본 발명의 제2 실시예에 따른 내시경 시스템은 제1 메모리(310) 및 제2 메모리(330)를 포함할 수 있으며, 신호처리부(200) 및 이미지 프로세싱부(400) 각각은 DMA(Direct Memory Access) 로직을 포함하여 제1 메모리(310) 및 제2 메모리(330)에 고속으로 엑세스할 수 있다.

신호처리부(200)의 DMA(Direct Memory Access) 로직은 영상신호(IMAGE 1) 및 부가영상신호(IMAGE 2)를 제1 메모리(310)에 덤프(dump)시킬 수 있다. 또한 이미지 프로세싱부(400)의 DMA 로직은 부가영상신호(IMAGE 2)의 데이터나 서로 오버랩된 유저 인페이스 및 부가영상신호(IMAGE 2 + User interface)를 제2 메모리(330)로부터 읽어올 수 있다. 이 때 제1 메모리(310)와 제2 메모리(330)는 싱크통신라인을 통하여 데이터를 읽고 쓰는지에 대한 정보를 서로 송수신할 수 있다.

한편, 영상신호 생성부(100)는 이미지 센싱부(120), 부가 이미지 센싱부(140), 시리얼라이저(serializer)(150) 및 신호전송부(110)를 포함할 수 있다. 이 때 도 4 및 도 5에는 시리얼라이저(150)와 신호전송부(110)가 하나의 모듈에 구현된 것으로 도시되어 있으나, 이와 다르게 별도의 모듈에 구현될 수도 있다.

이미지 센싱부(120)는 영상신호(IMAGE 1)를 생성하고, 부가 이미지 센싱부(140)는 부가영상신호(IMAGE 2)를 생성한다. 이를 위하여 이미지 센싱부(120)는 CCD 또는 CMOS를 포함할 수 있으며, 부가 이미지 센싱부(140)는 형광물질의 광이나 파장대역 별 광을 센싱할 수 있는 센서나 필터를 포함할 수 있다.

시리얼라이저(150)는 영상신호(IMAGE 1)와 부가영상신호(IMAGE 2)를 통합하여 시리얼신호를 생성한다. 도 6에 도시된 바와 같이, 시리얼라이저(150)는 MUX(multiplexer)(151)를 포함할 수 있다. MUX(151)는 제1 입력단(T1)과 제2 입력단(T2)을 포함하며, 제1 입력단(T1)으로 영상신호(IMAGE 1)가 입력되고, 제2 입력단(T2)으로 부가영상신호(IMAGE 2)가 입력될 수 있다.

이 때 시리얼라이저(150)는 제1 입력단(T1)과 제2 입력단(T2)을 기준 클럭(REF)에 맞추어 스위칭할 수 있으며, 하나의 출력단(T3)을 통하여 시리얼신호를 출력할 수 있다. 이와 같은 시리얼라이저(150)의 구조에 따라 영상신호(IMAGE 1) 및 부가영상신호(IMAGE 2)가 직렬화될 수 있다. 이 때 기준 클럭(REF)이 곧 시리얼라이저(150)의 전송대역이 될 수 있다. 예를 들어, Full HD 해상도의 영상신호(IMAGE 1)를 시리얼라이저(150)를 통해서 보내기 위하여 기준클럭은 수 Gbps일 수 있으나 이에 한정되는 것은 아니다.

이러한 시리얼라이저(150)의 구조 때문에 시리얼신호를 형성하는 과정에서 영상신호(IMAGE 1)와 부가영상신호(IMAGE 2)가 충돌하지 않으므로 영상신호(IMAGE 1)과 부가영상신호(IMAGE 2)의 손실없이 시리얼신호가 전송될 수 있다.

도 6에 도시된 바와 같이, 영상신호(IMAGE 1)에 비하여 부가영상신호(IMAGE 2)의 데이터가 작으므로 스위치가 제2 입력단(T2)으로 스위칭할 때 부가영상신호(IMAGE 2)가 입력되지 않을 수 있다.

이에 따라 영상신호(IMAGE 1)와 부가영상신호(IMAGE 2)의 직렬화 과정에서 리던던시(redundancy)가 발생하므로 전송과정에서 시리얼신호의 전송이 안정적으로 이루어질 수 있다.

이와 같이 시리얼신호의 전송이 안정적으로 이루어지므로 본 발명의 제2 실시예에 따른 내시경 시스템은 의료용으로 쓰일 경우 인체 내부의 이미지가 정확하게 표시부(800)를 통하여 표시될 수 있다.

시리얼라이저(150)가 압축 과정없이 시리얼신호로 전송하므로 압축 과정에서 필요한 헤더가 필요없으며 압축된 시리얼신호에 대한 압축 해제 과정 역시 필요없게 된다.

이에 따라 시리얼신호에 대한 압축 및 압축 해제를 위한 시간이나 계산량을 줄일 수 있으므로 영상신호(IMAGE 1)의 고속 처리가 가능하다.

이상에서는 압축없이 시리얼신호를 전송하는 시리얼라이저(150)에 대해 설명하였으나 이에 한정되는 것은 아니며 본 발명의 제2 실시예에 따른 시리얼라이저(150)는 시리얼신호를 압축하여 전송할 수도 있다.

한편, 신호전송부(110)는 케이블(500)의 일측과 연결되어 케이블(500)을 통한 시리얼신호의 전송이 가능하도록 장거리 전송용 프로토콜에 따라 시리얼신호를 변환영상신호(IMAGE 12')로 변환하여 전송할 수 있다.

도 4 및 도 5에서는 하나의 이미지 센싱부(120)와 부가 이미지 센싱부(140)가 도시되어 있으나 이에 한정되는 것은 아니며 본 발명의 제2 실시예에 따른 내시경 시스템은 하나 이상의 이미지 센싱부(120)와 하나 이상의 부가 이미지 센싱부(140)를 포함할 수 있다.

이와 같은 이미지 센싱부(120)는 초당 n 프레임의 영상신호(IMAGE 1)를 생성하고, 부가 이미지 센서는 초당 m 프레임인 부가영상신호(IMAGE 2)를 생성할 수 있다. 이 때 m은 상기 n보다 작을 수 있다.

예를 들어, 부가영상신호가 형광물질에 대한 이미지에 해당될 경우, 부가 이미지 센싱부(140)가 형광물질로부터 방출된 포톤(photon)을 모으는데 시간이 걸리므로 부가 이미지 센싱부(140)가 초당 10 프레임으로 부가영상신호(IMAGE 2)를 생성한다면 이미지 센싱부(120)는 초당 60 프레임으로 영상신호(IMAGE 1)를 생성할 수 있다.

한편, 도 4 및 도 5에 도시된 바와 같이, 신호처리부(200)는, 신호수신부(210), 디시리얼라이저(deserializer)(220), 및 경로형성부(230)를 포함할 수 있다.

신호수신부(210)는 케이블(500)의 타측과 연결되어 케이블(500)을 통하여 변환영상신호(IMAGE 12')를 수신하여 시리얼신호로 변환한다.

디시리얼라이저(220)는 시리얼신호를 영상신호(IMAGE 1)와 부가영상신호(IMAGE 2)로 분리한다. 도 7에 도시된 바와 같이, 디시리얼라이저(220)는 DEMUX(demultiplexer)(221)를 포함할 수 있다.

DEMUX(221)는 하나의 입력단(O1)과, 제1 출력단(O2) 및 제2 출력단(O3)을 포함할 수 있다. 입력단(O1)을 통하여 시리얼신호가 입력될 수 있다. 이 때 디시리얼라이저(220)는 제1 출력단(O2)과 제2 출력단(O3)을 기준 클럭(REF)에 맞추어 스위칭할 수 있다.

이에 따라 제1 출력단(O2)으로 영상신호(IMAGE 1)가 출력되고, 다른 하나의 출력단(O3)을 통하여 부가영상신호(IMAGE 2)가 출력될 수 있다. 이와 같은 디시리얼라이저(220)의 구조에 따라 시리얼신호로부터 영상신호(IMAGE 1) 및 부가영상신호(IMAGE 2)가 분리될 수 있다.

이 때 시리얼라이저(150)와 디시리얼라이저(220)의 기준 클럭(REF)과 동작시작시점이 서로 동일할 수 있다. 이에 따라 시리얼라이저(150)와 디시리얼라이저(220)가 동기화되므로 디시리얼라이저(220)는 시리얼신호를 원래의 영상신호(IMAGE 1)와 부가영상신호(IMAGE 2)로 분리할 수 있다.

경로형성부(230)는 제1 전송경로로 영상신호(IMAGE 1)를 출력하고, 제2 전송경로로 부가영상신호(IMAGE 2)를 출력할 수 있다.

한편, 도 5에 도시된 바와 같이, 본 발명의 제2 실시예에 따른 내시경 시스템은 모니터링부(700)를 더 포함할 수 있다. 모니터링부(700)는 신호처리부(200), CPU(300) 및 이미지 프로세싱부(400) 중 적어도 하나를 리얼 타임으로 모니터링하여 적어도 하나의 상태값에 따라 적어도 하나의 리셋을 수행할 수 있다.

또한 모니터링부(700)는 시리얼라이저(150) 및 신호전송부(110)를 리얼 타임으로 모니터링하여 시리얼라이저(150) 및 신호전송부(110)의 상태값에 따라 이들 구성요소에 대한 리셋을 수행할 수 있다.

이에 따라 모니터링부(700)는 내시경 시스템의 안정적이고 신속한 이미지와 부가이미지의 표시를 수행할 수 있으며, 모니터링부(700)에 대해서는 앞서 제1 실시예를 통하여 설명하였으므로 이에 대한 설명은 생략된다.

한편, 모니터링부(700)는, 동작제어신호나 상기 영상신호(IMAGE 1)의 전송이나 변환을 제어하기 위한 처리제어신호를 CPU(300)로부터 전송받아 신호전송부(110), 신호처리부(200) 및 이미지 프로세싱부(400) 중 적어도 하나에 동작제어신호나 처리제어신호에 해당되는 제어명령을 전송할 수 있다.

이 때 동작제어신호와 처리제어신호에 대해서는 앞서 제1 실시예를 통하여 상세히 설명하였으므로 이에 대한 설명은 생략된다.

한편, 앞서 설명된 바와 같이, 수술이나 검사의 원활한 진행을 위하여 영상신호(IMAGE 1)은 가능한한 빠르게 처리되어야 하며, 한 프레임의 부가영상신호(IMAGE 2)가 생성되는데 걸리는 시간은 영상신호(IMAGE 1)에 비하여 클 수 있다.

따라서 제1 전송경로에서의 영상신호(IMAGE 1)의 전송속도는 제2 전송경로에서의 부가영상신호(IMAGE 2)의 전송속도보다 빠를 수 있으며, 제1 전송경로에서의 영상신호(IMAGE 1)의 대역폭이 제2 전송경로에서의 부가영상신호(IMAGE 2)의 대역폭보다 클 수 있다.

또한 CPU(300)가 영상신호(IMAGE 1)에 대한 이미지 처리를 하는 경우, 이미지 프로세싱부(400)에 의한 영상신호(IMAGE 1)에 대한 이미지 처리 속도는 CPU(300)에 의한 이미지 처리 속도보다 빠를 수 있다.

예를 들어, CPU(300)는 데이터베이스나 로컬 테이블의 질병 표시 영상 데이터와 영상신호(IMAGE 1)를 매칭시키고, 매칭 결과는 이미지 프로세싱부(400)에 의하여 처리된 영상신호(IMAGE 1)에 오버랩핑될 수 있다.

이에 대해서는 앞서 제1 실시예를 통하여 상세히 설명하였으므로 이에 대한 설명은 생략된다.

한편, CPU(300)는 이미지 프로세싱부(400)의 복수의 필터들 중 적어도 하나를 선택하기 위한 처리제어신호를 출력할 수 있다. 처리제어신호에 따라 선택된 필터는 CPU(300)의 이미지 처리 속도에 비해 고속으로 영상신호(IMAGE 1) 및 부가영상신호(IMAGE 2) 중 적어도 하나를 처리할 수 있다.

CPU(300)의 동작제어신호는 유저 인터페이스에 대응하는 신호이거나, 광 방출부(130)와 같은 하드웨어를 제어하기 위한 신호일 수 있다.

이상에서 설명된 바와 같이, 본 발명의 제2 실시예에 따른 내시경 시스템은 영상신호(IMAGE 1)와 부가영상신호(IMAGE 2)를 별도의 경로를 통하여 처리함에 따라 영상신호(IMAGE 1)가 고속으로 처리될 수 있다.

이에 따라 본 발명의 제2 실시예에 따른 내시경 시스템의 경우, 영상신호(IMAGE 1)의 생성부터 표시부(800)를 통한 영상신호(IMAGE 1)의 표시까지 100 ms 이내로 시간이 소요될 수 있으며, 바람직하게는 30 ms 이내로 시간이 소요될 수 있다. 상기 시간이 30 ms 이내인 경우 내시경 시스템을 이용하는 의사는 시각적으로 시간지연을 거의 느끼지 않을 수 있다.

또한 부가 이미지 센싱부(140)에 의하여 부가영상신호(IMAGE 2)가 생성되기 시작해서 표시되는데 걸리는 시간은 100 ms 내지 500 ms 정도로 영상신호(IMAGE 1)의 상기 시간보다 클 수 있다.

한편, CPU(300)는 부가영상신호(IMAGE 2)와 유저 인터페이스를 통합한 통합 이미지(IMAGE 2 + User interface)를 이미지 프로세싱부(400)로 출력하고, 이미지 프로세싱부(400)는 통합 이미지(IMAGE 2 + User interface)와 영상신호(IMAGE 1)를 오버랩핑할 수 있다.

본 발명의 제2 실시예와 다르게 이미지 프로세싱부(400)가 부가영상신호(IMAGE 2) 및 유저 인터페이스를 각각 영상신호와 오버랩할 경우 이미지 프로세싱부(400)는 오버랩하기 위한 계산량이 증가할 수 있다.

반면에 본 발명의 제2 실시예와 같이 CPU(300)가 통합 이미지(IMAGE 2 + User interface)를 생성한 후 이미지 프로세싱부(400)가 통합 이미지(IMAGE 2 + User interface)와 영상신호(IMAGE 1)를 오버랩할 경우 계산량을 줄일 수 있다.

본 발명의 제2 실시예에 따른 내시경 시스템은 인체 내부로 빛을 조사하는 광방출부(130)를 더 포함할 수 있다. 이 때 이미지 센싱부(120)가 받아들일 수 있는 광량을 초과할 경우, CPU(300)는 광방출부(130)가 빛의 세기를 줄이도록 제어할 수 있다.

예를 들어, 광량이 초과되어 이미지 센싱부(120)의 이미지 센서들이 포화되면, 영상신호는 포화를 나타내는 FFFF 신호를 계속하여 출력할 수 있다. CPU(300)는 전체 이미지 센서의 영역 중 일정 영역을 넘어서면 광이 과도하게 세다고 판단하여 광량을 줄이라는 동작제어신호를 광방출부(130)로 출력할 수 있다.

영상신호 생성부(100)는 변환영상신호(IMAGE 12')를 아날로그 신호로 변환하여 케이블(500) 일측으로 전송하는 제1 변환부(160)를 더 포함할 수 있다. 또한 신호처리부(200)는 케이블(500) 타측을 통하여 전송된 아날로그 신호를 디지털 신호 형태의 변환영상신호(IMAGE 12')로 변환하는 제2 변환부(240)를 더 포함할 수 있다.

파이 칩은 디지털 신호 형태의 변환영상신호(IMAGE 12')를 아날로그 신호로 변환하고, 디파이 칩은 아날로그 신호에서 디지털 신호 형태의 변환영상신호(IMAGE 12')로 변환할 수 있다.

본 발명의 제2 실시예와 다르게 구형파 형상인 디지털 신호가 케이블(500)을 통하여 신호처리부(200)로 수 Gbps 고속으로 장거리 전송되면, 구형파의 엣지가 일그러질 수 있다. 이를 방지하기 위하여 본 발명의 제2 실시예에 따른 내시경 시스템은 디지털 신호 형태의 변환영상신호(IMAGE 12')를 아날로그 신호로 변환함으로써 변환영상신호(IMAGE 12')를 고속으로 장거리 전송할 수 있다.

한편, 본 발명의 제1 실시예 및 제2 실시예에 따른 내시경 시스템의 케이블(500)은 동축 케이블(coaxial cable)이나 트위스티드 케이블(twisted cable)일 수 있다. 동축 케이블(coaxial cable)이나 트위스티드 케이블(twisted cable)은 전자기파 영향을 줄이거나 방지할 수 있다.

앞서 설명된 바와 같이, 수 Gbps의 시리얼신호가 케이블(500)을 통하여 전송되므로 동축케이블이나 트위스티드 케이블은 전자파의 영향을 줄일 수 있다. 이에 따라 본 발명의 제1 실시예 및 제2 실시예에 내시경 시스템은 따른 수술이나 검사와 같이 고도의 안전성을 요구하는 작업에 대응할 수 있다.

CPU(300)는 영상신호(IMAGE 1) 및 부가영상신호(IMAGE 2) 중 적어도 하나에 대한 유저 인터페이스와, 사용자의 유저 인터페이스 조작에 따른 동작제어신호를 출력할 수 있다.

이미지 프로세싱부(400)는, 영상신호(IMAGE 1) 및 부가영상신호(IMAGE 2)와 더불어 유저 인터페이스를 오버랩핑하고 동작제어신호에 따라 영상신호(IMAGE 1) 및 부가영상신호(IMAGE 2) 중 적어도 하나를 처리할 수 있다.

도 2 내지 도 4에 도시된 바와 같이, 본 발명의 제1 실시예 및 제2 실시예에 따른 내시경 시스템의 CPU(300)는 PACS 서버와 같은 병원 네트웍에 접속하여 데이터를 보내고 받을 수 있다.

이에 따라 본 발명의 제1 실시예 및 제2 실시예에 따른 내시경 시스템은 병원 네트웍의 서버에 영상신호, 부가 영상신호 및 유저 인터페이스를 저장시킬 수 있으므로 별도의 DVR(Digital Video Recorder)이 필요없을 수 있다.

도 3 및 도 4의 입력부(750) 및 비디오 포트(600)에 대해서는 제1 실시예를 통하여 상세히 설명하였으므로 이에 대한 설명은 생략된다.

도 8 및 도 9는 본 발명의 제3 실시예 및 제4 실시예에 따른 내시경 시스템의 이미지 처리방법의 순서도를 나타낸다.

도 8에 도시된 바와 같이, 본 발명의 제3 실시예에 따른 내시경 시스템의 이미지 처리방법은 내시경의 케이블(500)을 통한 인체 내부에 대한 영상신호(IMAGE 1)의 전송이 가능하도록 장거리 전송용 프로토콜에 따라 영상신호(IMAGE 1)를 변환하여 변환영상신호(IMAGE 1')를 전송하는 단계, 케이블(500)을 통하여 전송된 변환영상신호(IMAGE 1')를 수신하여 변환영상신호(IMAGE 1')를 영상신호(IMAGE 1)로 변환하는 단계, 영상신호(IMAGE 1)에 대한 유저 인터페이스 및 사용자의 유저 인터페이스 조작에 따른 동작제어신호를 출력하는 단계 및 영상신호(IMAGE 1)에 유저 인터페이스를 오버랩핑하고 동작제어신호에 따라 영상신호(IMAGE 1)를 처리하는 단계를 포함한다.

이에 대해서는 본 발명의 제1 실시예에 따른 내시경 시스템을 통하여 상세히 설명하였으므로 이에 대한 설명은 생략된다.

한편, 도 9에 도시된 바와 같이, 본 발명의 제4 실시예에 따른 내시경 시스템의 이미지 처리방법은 초당 n 프레임인 인체 내부에 대한 영상신호(IMAGE 1)와 초당 m 프레임인 인체 내부에 대한 부가영상신호(IMAGE 2)를 내시경의 케이블(500)을 통한 전송이 가능하도록 장거리 전송용 프로토콜에 따라 변환영상신호(IMAGE 12')로 변환하여 전송하는 단계, 케이블(500)을 통하여 전송된 변환영상신호(IMAGE 12')를 영상신호(IMAGE 1)와 부가영상신호(IMAGE 2)로 변환하고, 영상신호(IMAGE 1)와 부가영상신호(IMAGE 2)를 제1 전송경로와 제2 전송경로로 각각 전송하는 단계, 제2 전송경로를 통하여 전송된 부가영상신호(IMAGE 2)를 제1 전송경로에서의 영상신호(IMAGE 1)의 전송속도보다 느리게 전송하는 단계 및 제1 전송경로를 통하여 전송된 영상신호(IMAGE 1)와 CPU로부터 출력된 부가영상신호(IMAGE 12)를 오버랩하는 단계를 포함한다.

이에 대해서는 본 발명의 제2 실시예에 따른 내시경 시스템을 통하여 상세히 설명하였으므로 이에 대한 설명은 생략된다.

이상과 같이 본 발명에 따른 실시예를 살펴보았으며, 앞서 설명된 실시예 이외에도 본 발명이 그 취지나 범주에서 벗어남이 없이 다른 특정 형태로 구체화 될 수 있다는 사실은 해당 기술에 통상의 지식을 가진 이들에게는 자명한 것이다. 그러므로, 상술된 실시예는 제한적인 것이 아니라 예시적인 것으로 여겨져야 하고, 이에 따라 본 발명은 상술한 설명에 한정되지 않고 첨부된 청구항의 범주 및 그 동등 범위 내에서 변경될 수도 있다.

영상신호 생성부(100)
신호전송부(110)
이미지 센싱부(120)
광방출부(130)
부가 이미지 센싱부(140)
시리얼라이저(serializer)(150)
MUX(multiplexer)(151)
제1 변환부(160)
신호처리부(200)
신호수신부(210),
디시리얼라이저(deserializer)(220),
DEMUX(demultiplexer)(221)
경로형성부(230)
제2 변환부(240)
CPU(300)
제1 메모리(310)
제2 메모리(330)
이미지 프로세싱부(400)
케이블(500)
비디오 포트(600)
모니터링부(700)
입력부(750)
표시부(800)

Claims

케이블의 일측에 연결되며, 상기 케이블을 통한 인체 내부에 대한 영상신호의 전송이 가능하도록 장거리 전송용 프로토콜에 따라 상기 영상신호를 변환하여 변환영상신호를 전송하는 신호전송부를 포함하는 영상신호 생성부;
상기 케이블의 타측과 연결되어 상기 케이블을 통하여 전송된 상기 변환영상신호를 수신하여 상기 변환영상신호를 상기 영상신호로 변환하는 신호처리부;
상기 영상신호에 대한 유저 인터페이스 및 사용자의 상기 유저 인터페이스 조작에 따른 동작제어신호를 출력하는 CPU; 및
상기 신호처리부로부터 출력된 상기 영상신호에 상기 유저 인터페이스를 오버랩핑하고 상기 동작제어신호에 따라 상기 영상신호를 처리하는 이미지 프로세싱부
를 포함하는 내시경 시스템.
제1항에 있어서,
상기 신호처리부, 상기 CPU 및 상기 이미지 프로세싱부 중 적어도 하나를 리얼 타임으로 모니터링하여 상기 적어도 하나의 상태값에 따라 상기 적어도 하나의 리셋을 수행하는 모니터링부를 더 포함하는 것을 특징으로 하는 내시경 시스템.
제1항에 있어서,
상기 CPU가 상기 영상신호에 대한 이미지 처리를 하는 경우,
상기 이미지 프로세싱부에 의한 상기 영상신호에 대한 이미지 처리 속도는 상기 CPU에 의한 이미지 처리 속도보다 고속인 것을 특징으로 하는 내시경 시스템.
제3항에 있어서,
상기 CPU는 데이터베이스나 로컬 테이블의 질병 표시 영상 데이터와 상기 영상신호를 매칭시키고,
상기 매칭 결과는 상기 이미지 프로세싱부에 의하여 처리된 상기 영상신호에 오버랩핑되는 것을 특징으로 하는 내시경 시스템.
제3항에 있어서,
상기 CPU는 상기 이미지 프로세싱부의 복수의 필터들 중 적어도 하나를 선택하기 위한 처리제어신호를 출력하고,
상기 처리제어신호에 따라 선택된 필터는 상기 CPU의 이미지 처리 속도에 비해 고속으로 상기 영상신호를 처리하는 것을 특징으로 하는 내시경 시스템.
제2항에 있어서,
상기 모니터링부는,
상기 동작제어신호나 상기 영상신호의 전송이나 변환을 제어하기 위한 처리제어신호를 상기 CPU로부터 전송받아 상기 신호전송부, 신호처리부 및 이미지 프로세싱부 중 적어도 하나에 상기 동작제어신호나 상기 처리제어신호에 해당되는 제어명령을 전송하는 것을 특징으로 하는 내시경 시스템.
케이블의 일측에 연결되며, 초당 n 프레임인 인체 내부에 대한 영상신호와 초당 m 프레임인 상기 인체 내부에 대한 부가영상신호를 상기 케이블을 통한 전송이 가능하도록 장거리 전송용 프로토콜에 따라 변환영상신호로 변환하여 전송하는 영상신호 생성부;
상기 케이블의 타측과 연결되어 상기 케이블을 통하여 전송된 변환영상신호를 상기 영상신호와 상기 부가영상신호로 변환하고, 상기 영상신호와 상기 부가영상신호를 제1 전송경로와 제2 전송경로로 각각 전송하는 신호처리부;
상기 제2 전송경로를 통하여 전송된 상기 부가영상신호를 상기 제1 전송경로에서의 상기 영상신호의 전송속도보다 느리게 전송하는 CPU; 및
상기 제1 전송경로를 통하여 전송된 상기 영상신호와 상기 CPU로부터 출력된 상기 부가영상신호를 오버랩하는 이미지 프로세싱부
를 포함하는 내시경 시스템.
제7항에 있어서,
상기 영상신호 생성부는,
상기 영상신호를 생성하는 이미지 센싱부,
상기 부가영상신호를 생성하는 부가 이미지 센싱부,
상기 영상신호와 상기 부가영상신호를 통합하여 시리얼신호를 생성하는 시리얼라이저, 및
상기 케이블의 일측과 연결되어 상기 케이블을 통한 상기 시리얼신호의 전송이 가능하도록 상기 장거리 전송용 프로토콜에 따라 상기 시리얼신호를 상기 변환영상신호로 변환하여 전송하는 신호전송부
를 포함하는 것을 특징으로 하는 내시경 시스템.
제8항에 있어서,
상기 신호처리부는,
상기 케이블의 타측과 연결되어 상기 케이블을 통하여 상기 변환영상신호를 수신하여 상기 시리얼신호로 변환하는 신호수신부,
상기 시리얼신호를 상기 영상신호와 상기 부가영상신호로 분리하는 디시리얼라이저,
상기 제1 전송경로로 상기 영상신호를 출력하고 상기 제2 전송경로로 상기 부가영상신호를 출력하는 경로경성부를 포함하는 것을 특징으로 하는 내시경 시스템.
제7항에 있어서,
상기 신호처리부, 상기 CPU 및 상기 이미지 프로세싱부 중 적어도 하나를 리얼 타임으로 모니터링하여 상기 적어도 하나의 상태값에 따라 상기 적어도 하나의 리셋을 수행하는 모니터링부를 더 포함하는 것을 특징으로 하는 내시경 시스템.
제7항에 있어서,
상기 제1 전송경로에서의 상기 영상신호의 전송속도는 상기 제2 전송경로에서의 상기 부가영상신호의 전송속도보다 빠른 것을 특징으로 하는 내시경 시스템.
제7항에 있어서,
상기 제1 전송경로에서의 상기 영상신호의 대역폭이 상기 제2 전송경로에서의 상기 부가영상신호의 대역폭보다 큰 것을 특징으로 하는 내시경 시스템.
제7항에 있어서,
상기 CPU가 상기 영상신호에 대한 이미지 처리를 하는 경우,
상기 이미지 프로세싱부에 의한 상기 영상신호에 대한 이미지 처리 속도는 상기 CPU에 의한 이미지 처리 속도보다 빠른 것을 특징으로 하는 내시경 시스템.
제13항에 있어서,
상기 CPU는 데이터베이스나 로컬 테이블의 질병 표시 영상 데이터와 상기 영상신호를 매칭시키고,
상기 매칭 결과는 상기 이미지 프로세싱부에 의하여 처리된 상기 영상신호에 오버랩핑되는 것을 특징으로 하는 내시경 시스템.
제13항에 있어서,
상기 CPU는 상기 이미지 프로세싱부의 복수의 필터들 중 적어도 하나를 선택하기 위한 처리제어신호를 출력하고,
상기 처리제어신호에 따라 선택된 필터는 상기 CPU의 이미지 처리 속도에 비해 고속으로 상기 영상신호 및 상기 부가영상신호 중 적어도 하나를 처리하는 것을 특징으로 하는 내시경 시스템.
제1항 또는 제7항에 있어서,
상기 인체 내부로 빛을 조사하는 광방출부를 더 포함하고,
상기 영상신호 생성부는 상기 영상신호를 생성하는 이미지 센싱부를 포함하며,
상기 이미지 센싱부가 받아들일 수 있는 광량을 초과할 경우, 상기 CPU는 상기 광방출부가 빛의 세기를 줄이도록 제어하는 것을 특징으로 하는 내시경 시스템.
제1항 또는 제7항에 있어서,
상기 영상신호 생성부는 상기 변환영상신호를 아날로그 신호로 변환하여 상기 케이블 일측으로 전송하는 제1 변환부를 더 포함하고,
상기 신호처리부는 상기 케이블 타측을 통하여 전송된 상기 아날로그 신호를 디지털 신호 형태의 상기 변환영상신호로 변환하는 제2 변환부를 더 포함하는 것을 특징으로 하는 내시경 시스템.
제1항 또는 제7항에 있어서,
상기 케이블은 동축 케이블이나 트위스티드 케이블인 것을 특징으로 하는 내시경 시스템.
제7항에 있어서,
상기 CPU는
상기 영상신호 및 상기 부가영상신호 중 적어도 하나에 대한 유저 인터페이스와, 사용자의 상기 유저 인터페이스 조작에 따른 동작제어신호를 출력하고,
상기 이미지 프로세싱부는
상기 영상신호 및 상기 부가영상신호와 더불어 상기 유저 인터페이스를 오버랩핑하고 상기 동작제어신호에 따라 상기 영상신호 및 상기 부가영상신호 중 적어도 하나를 처리하는 것을 특징으로 하는 내시경 시스템.
제10항에 있어서,
상기 모니터링부는,
상기 동작제어신호나 상기 영상신호의 전송이나 변환을 제어하기 위한 처리제어신호를 상기 CPU로부터 전송받아 상기 신호전송부, 신호처리부 및 이미지 프로세싱부 중 적어도 하나에 상기 동작제어신호나 상기 처리제어신호에 해당되는 제어명령을 전송하는 것을 특징으로 하는 내시경 시스템.
제8항에 있어서,
상기 이미지 센싱부는 초당 n 프레임의 상기 영상신호를 생성하고,
상기 부가 이미지 센서는 초당 m 프레임인 상기 부가영상신호를 생성하며,
상기 m은 상기 n보다 작은 것을 특징으로 하는 내시경 시스템.
내시경의 케이블을 통한 인체 내부에 대한 영상신호의 전송이 가능하도록 장거리 전송용 프로토콜에 따라 상기 영상신호를 변환하여 변환영상신호를 전송하는 단계;
상기 케이블을 통하여 전송된 상기 변환영상신호를 수신하여 상기 변환영상신호를 상기 영상신호로 변환하는 단계;
상기 영상신호에 대한 유저 인터페이스 및 사용자의 상기 유저 인터페이스 조작에 따른 동작제어신호를 출력하는 단계; 및
상기 영상신호에 상기 유저 인터페이스를 오버랩핑하고 상기 동작제어신호에 따라 상기 영상신호를 처리하는 단계를 포함하는 내시경 시스템의 이미지 처리방법.
초당 n 프레임인 인체 내부에 대한 영상신호와 초당 m 프레임인 상기 인체 내부에 대한 부가영상신호를 내시경의 케이블을 통한 전송이 가능하도록 장거리 전송용 프로토콜에 따라 변환영상신호로 변환하여 전송하는 단계;
상기 케이블을 통하여 전송된 변환영상신호를 상기 영상신호와 상기 부가영상신호로 변환하고, 상기 영상신호와 상기 부가영상신호를 제1 전송경로와 제2 전송경로로 각각 전송하는 단계;
상기 제2 전송경로를 통하여 전송된 상기 부가영상신호를 상기 제1 전송경로에서의 상기 영상신호의 전송속도보다 느리게 전송하는 단계; 및
상기 제1 전송경로를 통하여 전송된 상기 영상신호와 상기 CPU로부터 출력된 상기 부가영상신호를 오버랩하는 단계를 포함하는 내시경 시스템의 이미지 처리방법.