KR102482133B1

KR102482133B1 - 시선, 제스쳐, 또는 음성을 이용한 비접촉 무균 조작 시스템

Info

Publication number: KR102482133B1
Application number: KR1020200016941A
Authority: KR
Inventors: 신승용; 김상욱
Original assignee: 중앙대학교 산학협력단
Priority date: 2020-02-12
Filing date: 2020-02-12
Publication date: 2022-12-29
Also published as: KR20210102658A

Abstract

본 발명의 실시예에 따라서 시선, 제스쳐, 또는 음성을 이용한 비접촉 무균 조작 시스템이 제공되고, 영상을 표시하도록 배치되는 디스플레이부; 사용자의 시선 움직임을 추적하도록 상기 디스플레이부의 일측에 배치되는 시선 추적부; 사용자의 손의 움직임이나 형태를 감지하도록 상기 디스플레이부의 일측에 배치되는 제스쳐 감지부; 및 상기 시선 추적부 및 상기 제스쳐 감지부에서 감지된 신호에 따라서 미리 설정된 영상을 선택 및 가공하고, 이를 상기 디스플레이부를 통해서 디스플레이하는 제어부를 포함할 수 있다.

Description

시선, 제스쳐, 또는 음성을 이용한 비접촉 무균 조작 시스템{ASCEPTIC OPERATING SYSTEM USING GAZE-TRACKING, GESTURE, OR VOICE}

본 발명은 무균 조작 시스템에 대한 것으로, 보다 상세하게는 키보드나 마우스를 조작하여 영상 시스템을 제어하는 전통적인 방법을 대신하여 사용자의 시선, 제스쳐, 또는 음성을 이용하는 무균 조작 시스템에 관한 것이다.

스크린에 표시되는 일련의 객체(예컨대, 웹브라우저나 어플리케이션 등)를 조작하기 위해서는 대표적인 입력장치로 키보드, 마우스, 또는 리모컨이 사용되며, 스크린을 직접 터치하기도 한다.

컴퓨터의 성능 향상으로 인간과 컴퓨터 사이에 상호 작용이 강화된 직관적인 인터페이스 기술들이 부상하고 있는데, 사용자의 모션 정보를 검출하고 이로부터 조작명령을 인식하는 기술이 의료 분야에서도 개발되고 있다.

특히, 최근의 의료 분야에서, 많은 종류의 시술과 수술이 최소침습 및 경피적 시술로 바뀌어감에 따라서 사람의 육안으로 직접 보고 만지는 고전적인 사용자 환경(UI)보다 다양한 영상장비를 통해서 치료기구의 위치와 모양을 확인 및 측정하고 유도하는 사용자 환경이 등장했다.

이와 같은 사용자 환경에서 수술이나 시술을 무균적으로 진행하기 위해서는 주 시술자 외에 각종 영상장비들을 조작하기 위한 보조 인력이 필요하다.

특히, 보조 인력은 고도의 수술과 시술을 잘 이해하고 있으며, 각각의 특수한 상황들과 그 상황에 맞도록 적절한 영상을 추적하고 시술자가 정확히 판단하기 유리하도록 보여주어 시술/수술이 안전하고 정확하게 유도될 수 있도록 도와주는 일을 수행한다.

그러나, 시술 중 발생하는 다양하고 복잡한 상황들을 함께 처리하기 불가능하고, 시술 전에 예측하지 못한 다양한 상황에 맞도록 보조자는 시술자가 원하는 방향으로 영상을 보여주고 필요한 정보(목표물의 위치, 거리, 크기 등)를 빠르고 정확하게 추적하여 시술자가 판단하기 유리하도록 시술자에게 보여주는 것이 중요하다.

보조자는 시술자가 원하는 동작(영상장비 조작 등)을 수행하고 시술자는 제공된 정보를 바탕으로 다음 단계를 어떻게 진행할 지 결정하는데, 시술자는 무균적 조작을 위해 멸균 가운과 장갑을 착용하고 있으며, 시술자의 양손은 도구들을 잡거나 연속적으로 조작하고 있기 때문에 리모컨이 멸균처리가 되어 있더라도 직접 조작이 불가능하다. 많은 경우에 시술자의 발도 (주로 영상) 장비 조작을 위해 페달을 사용하고 있는 상태이므로, 시술자는 요구사항을 주로 언어를 통해서 보조자에게 전달해야 한다.

그러나, 일반적인 병원 환경에서 대부분의 보조자들이 시술자만큼 숙달된 경우는 드물고 잘 훈련된 보조자라 하더라도 시술자가 원하는 동작을 한번에 신속하고 정확하게 수행하는 것은 불가능하다.

따라서, 시술의 종류, 상황에 따라서 이와 같은 지연과 부정확함이 환자의 안전과 시술 결과에 심각한 영향을 미칠 수 있기 때문에 시술자가 직접 정확하고 무균적으로 조작할 수 있게 하는 시스템이 필요하다.

위에서 언급된 배경기술에 기재된 내용들은 단지 본 발명의 배경기술을 이해시키기 위해서 작성된 것이므로, 이 기술의 당업자에게 이미 알려진 공지기술 외의 내용을 포함할 수 있다.

출원번호 10-2016-0064946 출원번호 10-2012-0103599 출원번호 10-2015-0144243

본 발명의 실시예들은 시선, 제스쳐(모션), 또는 음성신호를 미리 설정된 프로그램으로 처리하여 마우스나 키보드 같은 접촉 조작 없이 장비를 제어함으로써 보다 완벽한 무균 상태의 시술환경을 구현할 수 있는 비접촉 무균 조작 시스템을 제공하는 것이다.

또한, 시술 과정에서 원하는 영상을 검색하는 기능, 검색된 영상에서 설정된 구간을 반복적으로 재생하는 기능, 검색된 영상에서 원하는 프레임을 검색하는 기능, 영상에서 원하는 부위를 선택하고 확대하는 기능, 영상의 특정 영역의 길이를 측정하는 기능, 및 검색된 영상들을 비교하는 기능, 영상 장비가 시술자가 원하는 동작을 하도록 하는 기능 등을 수행할 수 있는 무균 조작 시스템을 제공하는 것이다.

뿐만 아니라, 다양한 시술에 사용되는 영상 및 보조 장비에 적합한 사용자 인터페이스로의 변환이 가능하며, 복잡한 시술/수술에서 보조자의 숙련도 차이에서 생기는 특수 상황에서의 신속하고 정확하게 대응하여 잠재적 위험요인을 제거할 수 있어 환자 안전 재고와 치료 결과 개선에 도움이 될 수 있는 비접촉 무균 조작 시스템을 제공하는 것이다.

본 발명의 실시 예에 따른 시선, 제스쳐, 또는 음성을 이용한 비접촉 무균 조작 시스템은 영상을 표시하도록 배치되는 디스플레이부; 사용자의 시선 움직임을 추적하도록 상기 디스플레이부의 일측에 배치되는 시선 추적부; 사용자의 손의 움직임이나 형태를 감지하도록 상기 디스플레이부의 일측에 배치되는 제스쳐 감지부; 및 상기 시선 추적부 및 상기 제스쳐 감지부에서 감지된 신호에 따라서 미리 설정된 영상을 선택 및 가공하고, 이를 상기 디스플레이부를 통해서 디스플레이하는 제어부를 포함할 수 있다.

본 발명의 실시 예에 따른 시선, 제스쳐, 또는 음성을 이용한 비접촉 무균 조작 시스템에서, 상기 시선 추적부는 상기 디스플레이부의 일측에 시선의 움직임 방향으로 배치되는 바 타입일 수 있다.

본 발명의 실시 예에 따른 시선, 제스쳐, 또는 음성을 이용한 비접촉 무균 조작 시스템에서, 상기 시선 추적부는 상기 디스플레이부의 일측에 배치될 수 있다.

본 발명의 실시예에 따른 시선, 제스쳐, 또는 음성을 이용한 비접촉 무균 조작 시스템에서, 상기 제스쳐 감지부는 Depth 카메라, RBG 카메라, 스테레오 카메라, 또는 적외선 카메라를 포함할 수 있다.

본 발명의 실시 예에 따른 시선, 제스쳐, 또는 음성을 이용한 비접촉 무균 조작 시스템에서, 사용자의 음성을 감지하도록 상기 디스플레이부의 일측에 배치되는 음성 인식부를 더 포함할 수 있다.

본 발명의 실시 예에 따른 시선, 제스쳐, 또는 음성을 이용한 비접촉 무균 조작 시스템에서, 상기 시선 추적부 및 상기 제스쳐 감지부에서 감지된 신호에 따라서, 소프트웨어부를 통해서 메모리부에 저장된 영상들 중에서 적어도 하나를 선택하는 제어부를 포함할 수 있다.

본 발명의 실시 예에 따른 시선, 제스쳐, 또는 음성을 이용한 비접촉 무균 조작 시스템에서, 상기 시선 추적부 및 상기 제스쳐 감지부에서 감지된 신호에 따라서, 상기 제어부는 선택된 영상에서 미리 설정된 구간을 반복하여 디스플레이할 수 있다.

본 발명의 실시 예에 따른 시선, 제스쳐, 또는 음성을 이용한 비접촉 무균 조작 시스템에서, 상기 시선 추적부 및 상기 제스쳐 감지부에서 감지된 신호에 따라서, 상기 제어부는 영상을 구성하는 프레임들 중에서 적어도 하나의 프레임을 선택하여 디스플레이할 수 있다.

본 발명의 실시 예에 따른 시선, 제스쳐, 또는 음성을 이용한 비접촉 무균 조작 시스템에서, 상기 시선 추적부 및 상기 제스쳐 감지부에서 감지된 신호에 따라서, 상기 제어부는 영상에서 적어도 하나의 지점에 시각적 마크(mark)를 형성하고, 이를 시선이나 제스쳐에 따라서 움직이거나 고정시킬 수 있다.

본 발명의 실시 예에 따른 시선, 제스쳐, 또는 음성을 이용한 비접촉 무균 조작 시스템에서, 상기 시선 추적부 및 상기 제스쳐 감지부에서 감지된 신호에 따라서, 상기 제어부는 적어도 두 개의 상기 마크가 형성하는 거리, 면적, 또는 부피를 연산하고, 이를 디스플레이할 수 있다.

본 발명의 실시예에 따른 시선, 제스쳐, 또는 음성을 이용한 비접촉 무균 조작 시스템에서, 상기 시선 추적부 및 상기 제스쳐 감지부에서 감지된 신호에 따라서, 상기 제어부는 음성 인식부를 통해서 입력 받은 음성신호와 상기 마크를 서로 매칭시킬 수 있다.

본 발명의 실시 예에 따른 시선, 제스쳐, 또는 음성을 이용한 비접촉 무균 조작 시스템에서, 상기 시선 추적부 및 상기 제스쳐 감지부에서 감지된 신호에 따라서, 상기 제어부는 상기 음성 인식부를 통해서 입력받은 음성신호와 매칭되는 상기 마크를 탐색하고, 탐색된 상기 마크가 포함된 영상을 디스플레이할 수 있다.

본 발명의 실시 예에 따른 시선, 제스쳐, 또는 음성을 이용한 비접촉 무균 조작 시스템에서, 상기 디스플레이부가 사용자의 눈 또는 손을 바라보도록 회전시키는 회동부를 포함할 수 있다.

본 발명의 실시 예들에 따르면, 시선, 제스쳐(모션), 또는 음성신호를 미리 설정된 프로그램으로 처리하여 마우스나 키보드의 조작 없이 장비를 제어함으로써 보다 무균 상태의 시술환경을 구현할 수 있다.

특히, 시술 과정에서 원하는 영상을 검색하는 기능, 검색된 영상에서 설정된 구간을 반복적으로 재생하는 기능, 검색된 영상에서 원하는 프레임을 검색하는 기능, 영상에서 원하는 부위를 선택하고 확대하는 기능, 영상의 특정 영역의 길이를 측정하는 기능, 및 검색된 영상들을 비교하는 기능을 수행할 수 있다.

뿐만 아니라, 다양한 시술에 사용되는 영상 및 보조 장비에 적합한 사용자 인터페이스로의 변환이 가능하며, 복잡한 시술/수술에서 보조자의 숙련도 차이에서 생기는 특수 상황에서의 신속하고 정확하게 대응하여 잠재적 위험요인을 제거할 수 있어 환자 안전 재고와 치료 결과 개선에 도움이 될 수 있다.

위에서 언급된 본 발명의 실시 예에 따른 효과는 기재된 내용에만 한정되지 않고, 명세서 및 도면으로부터 예측 가능한 모든 효과를 더 포함할 수 있다.

도 1은 본 발명의 실시예에 따른 시선, 제스쳐, 또는 음성을 이용한 비접촉 무균 조작 시스템의 개략적인 구성도이다.
도 2는 본 발명의 실시예에 따른 무균 조작 시스템의 조작방법을 보여준다.
도 3은 본 발명의 실시예에 따른 무균 조작 시스템의 프로세스를 보여주는 플로우차트이다.
도 4는 본 발명의 실시예에 따른 무균 조작 시스템의 기능을 보여주는 테이블이다.
도 5는 본 발명의 실시예에 따른 무균 조작 시스템의 영상을 보여준다.
도 6은 본 발명의 다른 실시예에 따른 무균 조작 시스템의 개략적인 사시도이다.
도 7 내지 도 12는 본 발명의 실시예들을 보여주는 개략적인 도면이다.

본 발명은 이하에서 설명되는 특정 실시 예에 한정되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변형, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

본 명세서에서 사용한 용어는 특정 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 뜻하지 않는 한 복수의 표현을 포함할 수 있다.

"포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 구성이나 작용 등 외에도 다른 구성이나 작용 등을 더 포함할 가능성이 있음을 의미한다. 제1, 제2 등의 용어는 구성요소들을 한정하기 위한 것이 아니며, 하나의 구성요소를 다른 구성요소로부터 구별하는 목적이다.

이하, 본 발명에 따른 시선, 제스쳐, 또는 음성을 이용한 비접촉 무균 조작 시스템의 실시 예를 첨부도면을 참조하여 상세히 설명한다.

도 1은 본 발명의 실시예에 따른 시선, 제스쳐, 또는 음성을 이용한 비접촉 무균 조작 시스템의 개략적인 구성도이다.

도 1을 참조하면, 무균 조작 시스템은 시선 추적부(100), 제스쳐 감지부(105), 음성 인식부(110), 디스플레이부(115), 입출력부(120), 연산제어부(130), 메모리부(135), 및 소프트웨어부(140)를 포함하고, 입출력부(120)에는 키보드(122), 마우스(124), 또는 페달(126)이 유/무선으로 연결될 수 있다. 먼저, 시선 추적부(100)는, 사람의 눈에 적외선이나 빛을 쪼아 눈의 동공 위치를 추적하고 이를 이용하여 눈의 움직임을 추정하여 시선(210)을 추적할 수 있고, 눈동자를 포함한 눈의 전체 모습을 촬영함으로써 시선(210)의 방향을 추정할 수 있다. 이렇게 추정된 시선 방향을 가상의 선으로 설정해서 2D 평면 모니터에서의 위치 또는 3D 공간 상에서의 방향과 영역을 추정할 수 있다.

본 발명의 실시예에 따른 시선 추적부(100)는, 상기 디스플레이부(115)의 하단에 부착되는 바 타입으로 구성될 수 있고, 이러한 구조를 통해서 사용자가 바라보고 있는 영상 안에서 특정 지점 혹은 영역을 보다 빠르고 정확하게 선택할 수 있다.

그리고, 상기 제스쳐 감지부(105)는, 손가락의 움직임이나 모양을 인식하는 것으로, 카메라를 포함할 수 있으며, 상기 제스쳐 감지부(105)는 카메라를 이용하여 비접촉식으로 손가락의 움직임을 추적할 수 있다.

상기 제스쳐 감지부(105)의 카메라는 크게 깊이(depth) 영상을 이용하는 타입과 칼라(RBG) 영상 또는 적외선을 이용하는 타입을 포함할 수 있고, 본 발명의 실시 예에서 깊이 영상을 이용하는 타입이 상대적으로 더 좋은 추적 성능을 보일 수 있으나, 칼라 영상을 이용하는 타입도 채용될 수 있다.

본 발명에서는 3인칭 시점에서의 손가락 움직임 추적 방법이 적합할 것으로 생각되며, 사용자가 수술의사인 경우에, 혈액이 묻어 있는 장갑을 착용하고 있기 때문에, 성능의 안정성을 위해 깊이 영상 타입의 카메라를 사용할 수 있다. 아울러, 사용자의 손을 빠르게 탐지하는 방법으로써, 이미 공지된 프로그램, 작동 기구, 및 방법들이 실시 예에 따라서 적합하게 적용될 수 있다.

또한, 상기 음성 인식부(110)는 음성 인식 기술을 활용하여 특정 위치에서 시선 등을 고정시킨 상태에서 음성을 이용한 주석(annotation)을 이용하여 영상의 원하는 지점에 점을 찍거나 점을 선택하고, 이에 명칭을 부여하며, 필요한 경우에 같은 지점을 음성을 통해서 지칭하거나 검색할 수 있다.

상기 디스플레이부(115)는 본 발명의 실시예에서, 영상을 표시한 것으로, 플라스마, 발광다이오트, 액정 등의 전자디바이스이며 터치 기능이 있는 평면모니터가 적용될 수 있으며, 공지된 디스플레이 장치를 선택적으로 적용할 수 있다.

상기 연산제어부(130)는 미리 설정된 소프트웨어 또는 프로그램에 의해 동작하는 하나 이상의 마이크로 프로세서로 구현될 있으며, 이러한 설정된 프로그램 또는 소프트웨어는 본 발명의 실시 예에 따른 각 동작과 기능을 수행하기 위한 일련의 명령을 포함할 수 있다.

상기 메모리부(135)에는 미리 설정된 영상이 저장되고 배열되며, 업데이트될 수 있으며, 이는 외부 시스템과 유무선으로 연결될 수 있으며, 상기 소프트웨어부(140)는 상기 입출력부(120)의 키보드, 마우스, 또는 페달을 통해서 입력되거나 상기 시선 추적부(100), 상기 제스쳐 감지부(105), 또는 상기 음성 인식부(110)를 통해서 입력되는 사용자의 지시나 명령을 연산제어부(130)를 통해서 수행할 수 있으며, 상기 연산제어부(130)와 상기 소프트웨어부(140)를 통해서 수행하는 기능들에 대해서는 도 1 내지 6을 참조하여 설명한다.

도 2는 본 발명의 실시예에 따른 무균 조작 시스템의 조작방법을 보여준다.

도 2를 참조하면, 디스플레이부(115)의 하단부에는 가로방향으로 바 타입의 시선 추적부(100)가 장착된다. 본 발명의 실시예에서, 바 타입의 상기 시선 추적부(100)는 상기 디스플레이부(115)의 상단에 가로방향으로 배치될 수도 있고, 디스플레이부(115)와 별도로 구성될 수도 있다.

상기 제스쳐 감지부(105)는 상기 디스플레이부(115)의 상단부에서 좌우로 배치될 수 있고, 이는 깊이 카메라 또는 칼라 카메라일 수 있으며, 이의 설치 위치는 가변될 수 있고, 상기 제스쳐 감지부(105)는 상기 디스플레이부(115)와 별도로 구성될 수도 있다.

상기 음성 인식부(110)는 외부로부터 사용자의 음성을 감지하도록 상기 디스플레이부(115)의 측면에 설치될 수 있고, 상기 음성 인식부(110)의 설치위치는 가변될 수 있고, 상기 디스플레이부(115)와 별도로 구성될 수도 있다.

사용자의 눈이 상기 디스플레이부(115)의 화면을 주시하는 상태에서, 상기 시선 추적부(100)는 사용자의 눈의 시선(210) 방향을 감지하고, 상기 제스쳐 감지부(105)는 사용자의 손(200)의 이동경로와 손의 형태 등을 감지할 수 있다. 아울러, 사용자는 키보드(122), 마우스(124), 또는 페달(126)을 통해서 지시신호를 입력할 수 있다.

도 3은 본 발명의 실시예에 따른 무균 조작 시스템의 프로세스를 보여주는 플로우차트이다.

도 3을 참조하면, S300에서 무균 조작 시스템의 파워가 온 되고, S310에서 시선 추적부(100)가 사용자의 시선을 추적하며, S320에서 제스쳐 감지부(105)가 사용자의 손의 움직임과 형태를 감지하며, S330에서 음성감지부(105)가 사용자의 음성을 감지한다.

S340에서 연산제어부(130)는 시선 추적부(100), 제스쳐 감지부(105), 및 음성감지부(105)에서 감지된 신호들을 처리하고, 이에 대응하는 명령신호를 생성하고, S350에서 소프트웨어부(140)는 연산제어부(130)에서 생성된 명령신호를 수신하고, 이에 대응하는 기능을 수행한다.

도 4는 본 발명의 실시 예에 따른 무균 조작 시스템의 기능을 보여주는 테이블이다.

도 4를 참조하면, 무균 조작 시스템은 S400에서 메모리부(135)에 저장된 영상을 검색하는 기능을 수행할 수 있다. 여기서, 영상의 제목을 통해서 영상의 검색이 가능하고, 영상의 제목은 음성으로 인식될 수 있다.

또한, 무균 조작 시스템은 S410에서 검색된 영상에서 프레임을 검색하는 기능을 수행할 수 있는데, 선택될 프레임에 대응하는 명칭을 음성으로 입력하여 프레임을 검색할 수 있다.

또한, 무균 조작 시스템은 S420에서 검색된 영상을 반복적으로 재생하는 기능을 수행할 수 있는데, 사용자는 검색된 영상에서 반복될 구간을 설정할 수 있고, 이 구간을 반복하여 재생할 수 있다.

또한, 무균 조작 시스템은 S430에서 영상에서 특정 영역의 길이/직경/부피 등을 측정할 수 있는 기능을 수행할 수 있다. 사용자는 시선, 제스쳐, 또는 음성을 통해서 영상, 또는 프레임을 검색하고, 특정영역을 선택하고, 이의 길이, 직경, 또는 부피가 측정할 수 있다.

또한, 무균 조작 시스템은 S440에서 영상에서 특정영역을 확대 또는 축소를 수행하는 기능을 수행할 수 있다. 사용자는 시선, 제스쳐, 또는 음성을 통해서 영상, 또는 프레임을 검색하고, 영상의 특정영역을 선택하고, 선택된 영역을 확대 또는 축소할 수 있다.

또한, 무균 조작 시스템은 S450에서 영상에서 특정영역 또는 지점에 마크를 형성하는 기능을 수행할 수 있다. 사용자는 시선, 제스쳐, 또는 음성을 통해서 영상의 특정영역 또는 지점을 선택하고, 선택된 영역 또는 지점에 미리 설정된 마크를 형성할 수 있다. 여기서, 사용자는 마크의 형태 등을 다양하게 선택할 수 있다.

또한, 무균 조작 시스템은 S460에서 검색된 영상에서 특정영역 또는 지점에 마크를 형성하고, 이 마크에 텍스트 명칭 또는 음성 명칭을 부여하는 기능을 수행할 수 있고, 사용자는 영상의 특정영역 또는 지점을 선택하고, 선택된 영역 또는 지점에 미리 설정된 마크를 형성하고, 형성된 마크에 텍스트 명칭 또는 음성 명칭을 부여할 수 있다.

또한, 무균 조작 시스템은 S470에서 미리 형성된 마크에 텍스트 명칭 또는 음성 명칭을 부여하는 기능을 수행할 수 있다. 따라서, 사용자는 텍스트 명칭 또는 음성 명칭을 통해서 영상 또는 프레임을 신속하고 정확하게 검색할 수 있다.

도 5는 본 발명의 실시예에 따른 무균 조작 시스템의 영상을 보여준다.

도 5를 참조하면, 사용자는 시선, 제스쳐, 또는 음성을 통해서 디스플레이부(115)에서 표현되는 영상과 프레임을 검색하고, 특정 영역에 마크(500)를 형성하고, 이 마크(500) 사이에 길이(L)을 파악할 수 있다. 아울러, 사용자는 마크(500)에 텍스트 명칭 또는 음성 명칭을 부여하고, 추후에 텍스트 명칭 또는 음성 명칭을 통해서 영상과 프레임을 신속하게 검색할 수 있으며, 이는 디스플레이부(115)를 통해서 눈으로 확인할 수 있다.

본 발명의 실시 예에서, 사용자는 특정 영상과 특정 프레임에 텍스트 명칭 또는 음성 명칭을 부여할 수 있고, 이러한 명칭은 영상에서 시각적으로 표현될 수 있으며, 이러한 명칭을 이용하여 영상과 프레임이 신속하고 정확하게 검색될 수 있다.

도 6은 본 발명의 다른 실시예에 따른 무균 조작 시스템의 개략적인 사시도이다.

도 6을 참조하면, 디스플레이부(115)의 하부에는 받침대(610)가 배치되고, 상기 받침대(610)에는 회동부(600)가 구성되고, 상기 회동부(600)는 상기 디스플레이부(115)를 설정각도로 회전시킬 수 있다.

여기서, 상기 회동부는 상기 디스플레이부를 좌우방향 또는 상하방향으로 회전시킬 수 있고, 3차원 공간에서 움직일 수 있다. 따라서, 시선과 동작을 편안하고 정확하게 인식하여 시술자에 맞도록 방향/높이를 전환할 수 있다.

상기 음성 인식부(110), 상기 제스쳐 감지부(105), 또는 상기 시선 추적부(100)는 미리 설정된 메인 사용자의 위치를 감지하고, 연산제어부(130)는 감지된 위치에 따라서 상기 회동부(600)를 제어하여 상기 디스플레이부(115)의 화면이 사용자의 눈에 잘 보여지도록 할 수 있으며, 상기 시선 추적부(100)와 상기 제스쳐 감지부(105)의 감지 정확도를 향상시킬 수 있다.

본 발명의 실시 예에 따른 시선, 제스쳐, 또는 음성을 이용한 비접촉 무균 조작 시스템에서, 사용자의 제스쳐 명령을 종합적으로 분석하여, 보조 장비가 원하는 동작(전/후/좌/우로 이동, 회전 등)을 원하는 만큼(각도, 거리, 높/낮이 등) 취하도록 할 수 있으며, 명령의 수행 과정에서 사용자가 원하는 동작을 더욱 정확하게 수행할 수 있도록 머신 러닝 등의 알고리즘을 사용할 수 있다.

도 6을 참조하면, 회동부는 사용자의 시선을 추적하고 인식을 정확하게 하기 위해서 필요하다고 생각하며, 사용자의 키와 위치에 따라서 적절히 높낮이와 상하 회전도 가능하다.

본 발명의 실시 예에 따른 시선, 제스쳐, 또는 음성을 이용한 비접촉 무균 조작 시스템에서, 명령을 종합적으로 분석하여 보조 장비가 원하는 동작(전/후/좌/우로 이동, 회전 등)을 원하는 만큼(각도, 거리, 높/낮이 등) 취하도록 할 수 있으며, 명령의 수행 과정에서 사용자가 원하는 동작을 더욱 정확하게 수행할 수 있도록 머신 러닝 등의 알고리듬을 사용할 수 있다.

도 7 내지 도 12는 본 발명의 실시 예들을 보여주는 개략적인 도면이다.

도 7을 참조하면, 투시 조영에 대한 것으로, 위로 올라감에 따라서 진행방향으로 장비가 적정위치를 찾아가며, 여러 가지 catheter의 모양/굵기/전극 배치에 따라서 인식하며, 시술자가 "가"라고 카테터를 조작할 때, "가"라고 네이밍하면 기구가 인식될 수 있다. Lock-on "가"가 된 후 기구를 따라서 영상을 보여줄 수 있다.

모니터 하단을 gaze tracking해서, 진행방향으로 70%의 여백이 유지되도록 적당한 속도로 움직일 수 있다. 또한, 머신 러닝의 기능을 활용하여 시술자/시술종류에 따라서 더욱 향상된 영상과 부드러운 작동 등 개선을 기대할 수 있다.

또한, 멸균 장갑의 손등에 마커를 부착해서, 손동작 중 push-in 거리를 정확히 측정해서, 기계에 이동할 거리를 예측해서 전달할 수 있고, 이동거리를 카메라를 통해서 감지하고, 예상되는 위치로 동기화되어 이동할 수 있다.

도 8은 심장의 전체윤곽을 보여주고, 네이밍 가능 활용예로써, 관상동맥 조영술시, "우관상동맥"이라고 네이밍하면, 오른쪽으로 포커싱하여 이동하고, "좌관상동맥"이라고 네이밍하면, 왼쪽으로 포커싱하여 이동하며, 심장의 윤곽/모션을 머신 러닝하여 혈관이 화면 밖으로 나가지 않도록, 화면의 상하좌우 위치와 X 선 투시장비의 높낮이, 각도가 조절될 수 있다.

도 9를 참조하면, 혈관 조영측정(Angiographic measurement)으로써, 프레임선택/비디오클립선택(Frame selection/video clip selection)을 수행할 수 있다. 먼저, "기계이름"을 부르고(예를 들어, 기계명칭 "angio"), "나에게 클립리스트를 보여주시요(show me video clip list)"라고 부른다. 그럼, 도 9의 (a)와 같이, 썸네일 리스트가 플레이되는 상태로 디스플레이가 구성된다.

그 다음, 손동작을 좌/우로 스크롤하면, 시선에 따라서 선택된 썸네일이 주위보다 커지고, 이것이 맞는 것으로 판단되면, "ok"를 부르거나 손동작으로 이를 선택한다. 그 다음, 선택된 클립이 전체화면으로 바뀌고, 디스플레이 되도록 준비되며, 도 9의 (b)와 같이 아래의 프레임 뷰 영역에, 프레임 위치를 손동작을 좌우로 이동하여 원하는 프레임을 선택한다. 그리고, 선택된 프레임에서 앞뒤의 1 내지 3 프레임을 병합하고, 디스플레이 대상의 경계를 선명하게 하여, margin enhance 상태로 측정 전에 프로세스를 진행한다.

도 10을 참조하면, 혈관조영 측정(Angiographic measurement)에 대한 것으로, 보조자의기계적 측정의 예시는, d1', d2', d3'이고, 시술자의 의도 시술계획, d1, d2, d3이다. 사용자가, 음성으로, 활성화할 장비 이름 "A-view"라고 부르면, 대기 입력모드로 진입하고, 사용할 기능으로써, "거리측정(distance measurement)"라고 부르면, 시선 경로(gaze tracking) 부위가 화면에서 과녁모양 등으로 확대된다.

그 다음, "Point1" 이 과녁에 대응되면, 이 자리에서 "stop"이라 부른다. 만약, "비의도적 눈 움직임"이나 "stop"후, 눈을 잠시 떼거나 깜빡임을 이용해서 정확한 포인트에 마커가 고정되었는지를 확인하고 수정할 수 있다. 같은 방법으로 "point2"를 고정 후 두 점 사이의 "거리 측정"[수행하고자 하는 기능이름]을 부르고 거리측정을 수행할 수 있다.

도 11을 참조하면, 심장 내 전기도(Electrogram, EGM) 및 조율(pacing) 기록의 측정 및 분석 기능에 대한 것으로, 원하는 페이지(page)가 스크롤(scroll)될 때 대응하는 부분에서, "book mark"라고 부르면, 로그(log)에 표시되고, 리뷰(review) 화면에서 "book mark 번호"를 부르면, 그 화면으로 이동한다. 여기서, 원하는 신호가 화면 구석에 있을 수도 있으므로, 스크롤(scroll)해서 원하는 부위를 찾을 수 있다. 본 실시 예에서, 스크롤(scroll)은 음성/손동작(좌우움직임, 거리/속도)/에 따라서 마우스 마크를 움직여서 수행될 수 있다. 아울러, 포워드/백워드, by second/page/half page 등 자유롭게 명령하고, 첫 명령 후, "next"를 말하면, 같은 스케일과 방향으로 이동할 수 있다.

아울러, "stimulation"이라 부르고, 원하는 명령을 입력하면, stimulation 기능을 수행하고, 예를 들어서, 특정지점"A1-2/site"를 설정된 주기로 지속적으로 박동 조율(straight pacing at the cycle length of 500ms)하는 기능을 수행할 수 있다.

도 12에서, "trace v1-2"라고 말하면, v1-2신호를 다른 색깔로 바꾸고, 활성화하여 크게 화면을 확대하고, 시선을 따라서 "X"마커가 선을 따라서 표시되며, 정점을 측정할 때는 "peak"라고 하면, 신호피크점(signal peak)에 마커(marker)가 표시된다. 그리고, 원하는 곳에 오면 "point 1, 같은 방법으로 피크(peak)가 여러 개 있으며, "first peak"및"second peak"하며, p1 및 p2 결정하고, 이 "measure time between p1 and p2"를 통해서 두 점 사이의 시간을 측정할 수 있다.

아울러, "A1-2"와 다른 줄에 있는 것 측정 시에는 p1 결정 후, "change channel to V1-2" 라고 지칭한 후, 같은 방법으로 p2 고정 후, "measure p1 and p2"를 통해서 두 점 사이의 시간을 측정하며, "take off"/"beginning" 명령을 이용해서 심장 전기도의 "peak"/"take off" 선택하고, 머신 러닝을 통해서 신호 정의(signal definition)를 정확히 수행할 수 있다.

이상에서 본 발명의 실시 예들에 대하여 설명하였으나, 본 발명의 사상은 본 명세서에 제시되는 실시 예에 제한되지 아니하며, 본 발명의 사상을 이해하는 당업자는 동일한 사상의 범위 내에서, 구성요소의 부가, 변경, 삭제, 추가 등에 의해서 다른 실시 예를 용이하게 제안할 수 있을 것이나, 이 또한 본 발명의 사상범위 내에 든다고 할 것이다.

100: 시선 추적부 105: 제스쳐 감지부
110: 음성 인식부 115: 디스플레이부
120: 입출력부 130: 제어부
135: 메모리부 140: 소프트웨어부
122: 키보드 124: 마우스
126: 페달 200: 손
210: 눈 500: 마크
600: 회동부 610: 받침대

Claims

영상을 표시하도록 배치되는 디스플레이부;
사용자의 시선 움직임을 추적하도록 상기 디스플레이부의 일측에 배치되는 시선 추적부;
사용자의 손의 움직임이나 형태를 감지하도록 상기 디스플레이부의 일측에 배치되는 제스쳐 감지부; 및
상기 시선 추적부 및 상기 제스쳐 감지부에서 감지된 신호에 따라서 미리 설정된 영상을 선택 및 가공하고, 이를 상기 디스플레이부를 통해서 디스플레이하는 제어부;
를 포함하고,
상기 시선 추적부 및 상기 제스쳐 감지부에서 감지된 신호에 따라서, 소프트웨어부를 통해서 메모리부에 저장된 영상들 중에서 적어도 하나를 선택하는 제어부;
를 더 포함하고,
상기 시선 추적부 및 상기 제스쳐 감지부에서 감지된 신호에 따라서,
상기 제어부는 영상에서 적어도 하나의 지점에 시각적 마크(mark)를 형성하고, 이를 시선이나 제스쳐에 따라서 움직이는 것을 특징으로 하고,
상기 디스플레이부가 사용자의 눈 또는 손을 바라보도록 회전시키는 회동부;를 더 포함하고,
상기 시선 추적부 및 상기 제스쳐 감지부는 미리 설정된 메인 사용자의 위치를 감지하고, 상기 제어부는 감지된 위치에 따라서 상기 회동부를 제어하여 상기 디스플레이부의 화면이 사용자의 눈에 잘 보여지도록 하고, 상기 시선 추적부 및 상기 제스쳐 감지부의 감지 정확도를 향상시키고,
상기 회동부는 상기 디스플레이부를 좌우방향 또는 상하방향으로 회전하거나, 3차원 공간에서 움직이고, 상기 사용자의 시선을 추적하고 인식을 정확하게 하기 위해 상기 사용자의 키와 위치에 맞추는 것을 특징으로 하는 시선, 제스쳐, 또는 음성을 이용한 비접촉 무균 조작 시스템.
제 1 항에 있어서,
상기 시선 추적부는 상기 디스플레이부의 일측에 시선의 움직임 방향으로 배치되는 바 타입인 것을 특징으로 하는 시선, 제스쳐, 또는 음성을 이용한 비접촉 무균 조작 시스템.
제 2 항에 있어서,
상기 시선 추적부는 상기 디스플레이부의 일측에 배치되는 것을 특징으로 하는 시선, 제스쳐, 또는 음성을 이용한 비접촉 무균 조작 시스템.
제 1 항에 있어서,
상기 제스쳐 감지부는 Depth 카메라, RBG 카메라, 스테레오 카메라, 또는 적외선 카메라를 포함하는 것을 특징으로 하는 시선, 제스쳐, 또는 음성을 이용한 비접촉 무균 조작 시스템.
제 1 항에 있어서,
사용자의 음성을 감지하도록 상기 디스플레이부의 일측에 배치되는 음성 인식부를 더 포함하는 것을 특징으로 하는 시선, 제스쳐, 또는 음성을 이용한 비접촉 무균 조작 시스템.
삭제
제 1 항에 있어서,
상기 시선 추적부 및 상기 제스쳐 감지부에서 감지된 신호에 따라서,
상기 제어부는 선택된 영상에서 미리 설정된 구간을 반복하여 디스플레이하는 것을 특징으로 하는 시선, 제스쳐, 또는 음성을 이용한 비접촉 무균 조작 시스템.
제 1 항에 있어서,
상기 시선 추적부 및 상기 제스쳐 감지부에서 감지된 신호에 따라서,
상기 제어부는 영상을 구성하는 프레임들 중에서 적어도 하나의 프레임을 선택하여 디스플레이하는 것을 특징으로 하는 시선, 제스쳐, 또는 음성을 이용한 비접촉 무균 조작 시스템.
삭제
삭제
삭제
삭제
삭제