KR20180098174A

KR20180098174A - 가상현실 기반 방사선학 실습 장치 및 방법

Info

Publication number: KR20180098174A
Application number: KR1020180022591A
Authority: KR
Inventors: 이희석; 조은일
Original assignee: 주식회사 브이알애드
Priority date: 2017-02-24
Filing date: 2018-02-26
Publication date: 2018-09-03
Anticipated expiration: 2038-02-26
Also published as: US20200333940A1; MY198241A; KR20210064129A; US11157131B2; WO2018155973A3; CN110366746B; WO2018155973A2; CN110366746A; KR102343387B1

Abstract

본 발명은 실습자가 머리 장착형 디스플레이(HMD)를 장착하고, 손에 손 장착부를 착용하고, 시청각적 가상현실상에서 제공된 가상 방사선실습 환경에서, 가상 방사선 장비를 조작하여 가상 방사선 실습을 행하되, 손 장착부로부터 실습자의 손의 위치와 각도를 핸드 모션 콘트롤러가 수신하여, 가상 방사선 장비를 동작시키게 하고, 가상 방사선 장비가 동작 됨에 따른 소정 결과를 가상으로 출력하게 하는, 가상현실 기반 방사선학 실습 장치 및 방법에 관한 것이다.
본 발명의 가상 방사선학 실습 장치는, 실습자의 머리에 장착되며, HMD 영상출력부로, 가상 방사선학 실습을 위해, 가상 방사선 장치를 포함하는 영상이 출력되는, HMD 머리장착부; 실습자의 손에 장착되며, 영상 상에 가상 방사선 장치를 조작하기 위해, 실습자의 손이 움직일때, 실습자의 손 움직임신호를 검출하는 손 움직임 검출부를 포함하는, HMD 손장착부; HMD 손장착부로부터 손 움직임신호를 수신하여 메인서버로 전송하고, 메인서버로 부터 수신된 영상을 HMD 머리장착부로 전송하는, HMD 제어부; HMD 제어부로부터 수신한 손 움직임신호를 수신하고, 손 움직임 신호에 따라서, 영상상에서, 실습자의 가상의 손인, 손 움직임 표시자가 움직이며, 움직여진 손 움직임 표시자를 포함하는 영상을, HMD 제어부로 전송하는 메인서버;를 포함하여 이루어진 것을 특징으로 한다.

Description

가상현실 기반 방사선학 실습 장치 및 방법{Virtual reality-based radiology practice apparatus and method}

본 발명은 실습자가 머리 장착형 디스플레이(HMD)를 장착하고, 손에 손 장착부를 착용하고, 시청각적 가상현실상에서 제공된 가상 방사선실습 환경에서, 가상 방사선 장비를 조작하여 가상 방사선 실습을 행하되, 손 장착부로부터 실습자의 손의 위치와 각도를 핸드 모션 콘트롤러가 수신하여, 가상 방사선 장비를 동작시키게 하고, 가상 방사선 장비가 동작 됨에 따른 소정 결과를 가상으로 출력하게 하는, 가상현실 기반 방사선학 실습 장치 및 방법에 관한 것이다.

일반적으로, 방사선 장비는 방사선에 노출될 우려가 있어 상당히 위험하기 때문에, 이를 다루는 사람은, 고도의 숙련된 전문가 일 것이 요구되는 장비이다.

의료용 방사선 장비로서, 감마 카메라, 컴퓨터 단층촬영장치, 갑상선 섭취율 측정장치, X선 장치, 선형 가속기, 사이클로트론 등등 다양한 장치가 있으며, 같은 방사선 장비들이라도 제조사별로 기기들의 사용법 등이 다른 경우가 많다.

미래의 의료전문가는 사람의 생명과 직결된 의료용 방사선 장비를 가능한 한 다 숙지할 필요가 있다.

그러나, 이러한 의료용 방사선 장비들은 상당히 고가이고, 이들 장비가 크기 때문에 공간도 많이 차지하며, 또한, 이들을 관리하기 위한 전문관리인이 필요하다. 따라서, 일반적으로, 방사선학 실습을 필요로 하는 학교 또는 학과들이 이러한 장비를 전부 구비하는 것은 쉽지 않다.

종래에, 방사선학 실습을 필요로 하는 학교 또는 학과들에서, 방사선학 실습에 있어서, 실제 방사선 장비와 마네킹을 이용하여 실습을 행한다. 따라서, 실습자 또는 교육자는 방사선에 노출될 우려가 있다.

그러므로 저비용에 다양한 의료용 방사선 장비를 이용한 다양한 실습이 가능하고, 방사선에 노출될 위험이 없는 방사선학 실습 장치가 요망된다.

이를 위해, 본 발명에서는 가상현실 기반 방사선학 실습 장치를 제안한다.

가상현실상에서 방사선학 실습을 할 경우, 단지 보는 것 으로는,실제 실습자가 방사선 장비를 다르는 것을 실제적으로 익힐 수 없다.

따라서, 가상현실상에서 방사선학 실습을 하되, 실습자가, 방사선 촬영 장비를 조작하고, 그 조작 결과에 의해 소정의 출력을 얻어내는 실제 실습과 같은, 가상 실습을 행하는 것이 요망된다.

따라서, 본 발명은 실습자가 머리 장착형 디스플레이(Head Mounted Display)(이하 HMD라 함)를 장착하고, 손에 손 장착부를 착용하고, 시청각적 가상현실상에서 제공된 가상 방사선실습 환경에서, 가상 방사선 촬영 장비를 조작하여 가상 방사선 촬영 실습을 행하되, 손 장착부로부터 실습자의 손의 위치와 각도를 핸드 모션 콘트롤러(hand motion controller, 손 위치 결정장치)가 수신하여, 가상 방사선 촬영 장비를 동작시키게 하고, 가상 방사선 촬영 장비가 동작 됨에 따른 소정 결과를 가상으로 출력하게 하는, 가상현실 기반 방사선학 실습 장치 및 방법을 제안한다.

선행기술로, 국내 공개특허공보 제2003-0044909호 '치과학용 가상 현실 실습 시스템 및 방법'이 있다.

도 1에서와 같이, 이 발명은 손에 들고 쓸 수 있는 실제 요소(2)의 공간 위치에 관한 데이터를 감지하고, 스크린(7) 상에 가상 물체(T)의 3차원 표시를 하고, 상기 실제 요소(2)의 실제 공간적인 위치에 대응하는 가상 기구(OV)의 공간 표시를 제공하기 위하여 컴퓨터(6)는 공간적인 위치 데이터를 처리하고, 가상 물체(T) 상에서 작동하는 가상 기구(01-04)를 제공하고 그리고 상기 가상 물체(T)와 상기 가상 기구 사이의 상호 작용을 모델링함으로써 치과학에서 절차 이동을 얻기 위한 가상 현실 실습을 위한 시스템에 관한 것이다. 손에 들고 쓸 수 있는 요소(2)는 가상 기구(OV)가 가상 물체(T)와 상호 작용할 때 상기 실제 요소(2)를 손에 보유하고 있는 사용자에게 힘 피드백을 제공하도록 제어되는 액츄에이터를 구비하는 촉각형 사람-기계 인터페이스(IHM) 장치(1)에 속한다. 즉, 손에 들고 쓸 수 있는 실제 요소(2)는 탐침 수공구 등으로, 촉각형 인터페이스 장치(1)의 관절식 아암(3)의 자유단부에 장착되며, 촉각형 인터페이스 장치(1)는 가상 기구(OV)가 가상 물체(T)와 상호 작용할 때, 손에 들고 쓸 수 있는 실제 요소(2)에 소정의 힘을 피드백한다.

국내 공개특허공보 제2003-0044909호는 치과용 장비로서 실습자가 많이 움직일 필요가 없이 한 자리에서 실습을 행하고, 다양한 가상 환자를 보유하고 있지 않으며, 실제 실습을 하는 환경과는 거리가 있는 다른 환경에서 실습을 행한다.

즉, 국내 공개특허공보 제2003-0044909호는 가상 방사선 장비를 구비하지 못하며, 다양한 가상 환자에 대한 실습이 불가능하며, 가상 방사선 실습시에는 가상 방사선 장비를 실제 실습자의 손으로 조작하는 실습이 어렵다.

본 발명이 해결하고자 하는 과제는, 실습자가 머리 장착형 디스플레이(HMD)를 장착하고, 손에 손 장착부를 착용하고, 시청각적 가상현실상에서 제공된 가상 방사선실습 환경에서, 가상 방사선 장비를 조작하여 가상 방사선 실습을 행하되, 손 장착부로부터 실습자의 손의 위치와 각도를 핸드 모션 콘트롤러가 수신하여, 가상 방사선 장비를 동작시키게 하고, 가상 방사선 장비가 동작 됨에 따른 소정 결과를 가상으로 출력하게 하는, 가상현실 기반 방사선학 실습 장치 및 방법를 제공하는 것이다.

본 발명이 해결하고자 하는 다른 과제는, 가상현실 속에서, 다양한 가상 방사선 촬영 장비를, 다양한 종류의 가상 환자 또는 다양한 가상 촬영대상에게 맞추어 조작하고, 그 실습결과를 가상으로 확인할 수 있는, 가상현실 기반 방사선학 실습 장치 및 방법를 제공하는 것이다.

본 발명이 해결하고자 하는 다른 과제는, 소정 실습자가 행하는 가상 실습 실행 영상을 일반 디스플레이 상에도 디스플레이하여, 타 실습자 또는 교육자가 이를 볼 수 있도록 이루어진, 가상현실 기반 방사선학 실습 장치 및 방법를 제공하는 것이다.

상기 과제를 해결하기 위해, 본 발명의 가상 방사선학 실습 장치는, 실습자의 머리에 장착되며, HMD(Head Mounted Display) 영상출력부로, 가상 방사선학 실습을 위해, 가상 방사선 장치를 포함하는 영상이 출력되는, HMD 머리장착부; 실습자의 손에 장착되며, 영상 상에 가상 방사선 장치를 조작하기 위해, 실습자의 손이 움직일때, 실습자의 손 움직임신호를 검출하는 손 움직임 검출부를 포함하는, HMD 손장착부; HMD 손장착부로부터 손 움직임신호를 수신하여 메인서버로 전송하고, 메인서버로 부터 수신된 영상을 HMD 머리장착부로 전송하는, HMD 제어부; HMD 제어부로부터 수신한 손 움직임신호를 수신하고, 손 움직임 신호에 따라서, 영상상에서, 실습자의 가상의 손인, 손 움직임 표시자가 움직이며, 움직여진 손 움직임 표시자를 포함하는 영상을, HMD 제어부로 전송하는 메인서버;를 포함하여 이루어진 것을 특징으로 한다.

HMD 머리장착부는, 메인서버로부터 HMD 제어부를 통해 수신되는 음향신호를 출력하는 이어폰;을 더 포함하고, HMD 손장착부는, 영상에서, 손 움직임 표시자와 충돌된 가상의 물체가, 상기 영상 상에서 손 움직임 표시자로 잡고 있음을 나타내게 하는, 트리거 버튼;을 더 포함한다.

손 움직임 표시자와 충돌된 가상의 물체의 부분이 가동부분인 경우에, 메인서버는, 트리거 버튼으로부터 HMD 제어부를 통해 수신된 트리거 버튼 신호가 수신되면, 영상 상에서, 가상의 물체의 가동부분이, 손 움직임 표시자의 움직임에 따라, 움직이도록 이루어진다.

HMD 손장착부는, 영상상에서 손 움직임 표시자와 가상의 물체가 충돌될 때, 진동을 출력하는 진동발생부를 더 포함하며, HMD 머리장착부는 실습자의 머리 움직임을 검출하는 머리 움직임 검출부를 더 포함한다.

메인서버는 머리 움직임 검출부로부터 HMD 제어부를 통해 머리움직임 신호를 수신하고, 머리움직임 신호에 따라, 영상의 시점을 변경한 영상을 생성하여, HMD 제어부로 전송한다.

상기 가상 방사선학 실습 장치는 실습자를 촬영하여 위치 트래킹 영상을 생성하는 카메라부를 더 포함하며, 메인서버는 카메라부로부터 HMD 제어부를 통해 수신한 위치 트래킹 영상, 머리움직임 신호, 손 움직임 신호에 따라, 영상을 생성하여 HMD 제어부로 전송한다.

HMD 손장착부는, 전후좌우 이동 버튼(트랙패드)를 더 포함하며, 메인서버는, 전후좌우 이동 버튼으로부터 출력된 전후좌우 이동 버튼 신호가, HMD 제어부를 통해 수신되면, 영상 상에서, 머리움직임 신호에 의한 방향으로, 실습자가 이동함에 따라, 실습자에게 보이는 영상을 생성하여, HMD 제어부로 전송한다.

머리움직임 신호, 위치 트래킹 영상, 손움직임 신호는, 베이스 스테이션부의 적외선 발생에 동기되어 검출된 신호이다.

실습자가, 가상 방사선 장치 또는 가상 환자를 설정하도록하는 설정부를 더 포함한다.

또한, 본 발명의 가상 방사선학 실습 장치의 구동방법는, 실습자의 머리에 장착된 HMD(Head Mounted Display) 머리장착부의 HMD 영상출력부가, 가상 방사선학 실습을 위해, 가상 방사선 장치를 포함하는 영상을 출력하고, 실습자의 손에 장착된 HMD 손장착부의 손 움직임 검출부는, 영상 상에 가상 방사선 장치를 조작하기 위해, 실습자의 손이 움직일때, 실습자의 손 움직임신호를 검출하여, HMD 제어부를 통해 메인서버의 연산처리부로 전송하고, 메인서버의 연산처리부는 수신된 손 움직임 신호에 따라서, 영상 상에서, 실습자의 가상의 손인, 손 움직임 표시자가 움직이며, 움직여진 손 움직임 표시자를 포함하는 영상을, HMD 제어부를 통해 HMD 머리장착부의 HMD 영상출력부로 출력하는 것을 특징으로 한다.

또한, 본 발명의 가상 방사선학 실습 장치의 구동방법는, 메인서버의 연산처리부는, HMD 머리장착부에 장착된 머리움직임 검출부로부터 검출된 머리움직임 신호와, HMD 손장착부의 손 움직임 검출부로부터 검출된 손움직임 신호와, 카메라부가 실습자를 촬영하여 생성한 위치 트래킹 영상을, HMD 제어부를 통해, 수신하는 신호수신단계; 메인서버의 연산처리부는 머리움직임 신호에 따라 실습자의 시야를 결정하고, 기설정된 가상실습환경의 영상을 출력하되, 실습자의 시야에 따라 조정하여 출력하고, 가상실습환경의 영상에, 손움직임 신호에 따른 위치 또는 위치 트래킹 영상신호에 따른 손 위치에, 실습자의 가상의 손인, 손움직임 표시자를 표시하는, 시야조정 및 손움직임 표시자 표시단계; 메인서버의 연산처리부는, HMD 손장착부의 입력버튼이 선택됨에 따른 입력버튼 신호가 수신되었는지 여부를 판단하고, 손움직임 표시자가 가상 방사선 장치와 충돌되었는지 여부를 판단하는, 상호적용 조건 만족여부 판단단계; 메인서버의 연산처리부는, 상호적용 조건 만족여부 판단단계에서, 입력버튼 신호가 입력되었다면, 입력버튼 신호에 따른 동작을 수행하고, 상호적용 조건 만족여부 판단단계에서, 손움직임 표시자가 가상 방사선 장치와 충돌되었다면, 진동출력 제어신호를 생성하여, HMD 제어부로 전송하는, 상호작용 실행단계;를 포함하여 이루어진다.

또한, 본 발명의 가상 방사선학 실습 장치의 구동방법는, 실습자의 손움직임 신호에 따라 움직이는, 손움직임 표시자의 움직임에 따라서, 메인서버의 연산처리부는, 영상 상에서, 촬상하기 위한 위치로 이동된 가상 환자의 촬상부위에게 가상 필름을 배치하고, 가상 방사선 촬영 장치의 위치와 각도를 조절하고, 가상 방사선 촬영 장치를 구동시켜 가상 촬영하는 실습을 진행하는, 실습진행단계; 실습진행단계 후, 손움직임 표시가 가상 결과화면 모니터와 충돌되었다면, 메인서버의 연산처리부는, 손움직임 표시자에 따라서, 가상환자에게서 제거한 필름을 가상 인상하여, 가상 결과화면 모니터에 디스플레이하는, 가상 실습결과 출력단계;를 포함하여 이루어진 것을 특징으로 한다.

실습진행단계 전에, 영상상에서, 실습자가 가상 방사선 촬영실로 이동함으로써, 메인서버의 연산처리부는, 가상 방사선 촬영실의 영상을 HMD 제어부를 통해 HMD 영상출력부로 전송하는, 가상 실습실 이동단계; 가상 실습실 이동단계 후, 메인서버의 연산처리부는, 환자선택 대화상자를 디스플레이하게 하고, 실습자가 설정한 가상 환자영상을, HMD 제어부를 통해 HMD 영상출력부로 전송하는, 가상 환자 설정단계;를 더 포함하여 이루어진다.

또한, 본 발명의 가상 방사선학 실습 장치의 구동방법는, 메인서버의 연산처리부는, 영상상에서, 손움직임 표시자가 가상물체의 가동부분과 충돌하고, HMD 손장착부의 트리거 버튼으로부터, HMD 제어부를 통해, 트리거 버튼 신호가 수신되었다면, 실습자가 가상 물체를 잡으려고 한 것으로 판단하고, HMD 손장착부의 손 움직임 검출부로부터 손 움직임신호를 수신하여, 메모리부 저장하는, 손움직임 신호 수신단계; 메인서버의 연산처리부는, HMD 손장착부의 트리거 버튼으로부터 HMD 제어부를 통해 트리거 버튼 신호가 수신되었다면, HMD 손장착부의 손 움직임 검출부로부터 현재의 손 움직임신호를 수신하고, 전의 손움직임 신호와 비교하여, 가상 물체의 가동부분을 이동시키는, 가동부분 이동단계;를 포함하여 이루어진 것을 특징으로 한다.

또한, 본 발명의 가상 방사선학 실습 장치의 구동방법는, 메인서버의 연산처리부는, HMD 손장착부의 전후좌우 이동버튼(트랙패드)로부터 HMD 제어부를 통해 전후좌우 이동버튼신호가 수신되었는지를 판단하는, 전후좌우 이동버튼신호 수신여부 판단단계; 메인서버의 연산처리부는, 전후좌우 이동버튼 신호를 수신하였다면, HMD 손장착부의 손 움직임 검출부로부터의 손의 위치 및 각도값으로 이루어진 손 움직임신호를 수신하고, 손 움직임신호의 위치 및 각도에 따른 방향의 연장선 상에 지면과의 충돌지점을 계산하는, 지면 충돌지점 연산단계; 메인서버의 연산처리부는, HMD 제어부으로부터 머리의 위치 및 각도로 이루어진 머리움직임 신호를 수신하여, 실습자의 머리가 향하고 있는 방향을 결정하는, 머리움직임 신호 수신단계; 메인서버의 연산처리부는, 충돌지점 중심으로, 텔레포트 지점을 표시하고, 사용자의 바라보는 방향을 표시하는, 충돌지점 중심으로 텔레포트 지점표시단계;를 포함하여 이루어진 것을 특징으로 한다.

충돌지점 중심으로 텔레포트 지점표시단계 후, 메인서버의 연산처리부는, HMD 손장착부의 그랩 버튼으로부터의 그랩 버튼신호를 수신하였는지 여부를 판단는, 그랩 버튼신호 수신여부 판단단계; 그랩 버튼신호 수신여부 판단단계에서, 그랩 버튼신호를 수신하지 않았다면, 메인서버의 연산처리부는, HMD 손장착의 전후좌우 이동 버튼으로부터의 전후좌우 이동버튼 신호를 수신하였는지 여부를 판단하고, 전후좌우 이동버튼 신호를 다시 수신하지 않았다면, 지면 충돌지점 연산단계로 되돌아가는, 전후좌우 이동버튼신호 재수신여부 판단단계; 메인서버의 연산처리부는, 충돌지점 중심으로 텔레포트 지점표시단계에서 표시한, 사용자의 바라보는 방향과 텔레포트 지점으로 실습자의 방향과 위치 이동을 행한 영상을 생성하여 HMD 제어부으로 전송하는, 위치 이동실행 단계; 위치 이동실행 단계 후, 또는, 그랩 버튼신호 수신여부 판단단계에서, 그랩 버튼신호를 수신하였다면, 메인서버의 연산처리부는, 충돌지점 중심으로 텔레포트 지점표시단계에서 표시한 텔레포트 지점을 해제하는, 텔레포트 지점표시 해제단계;를 더 포함하여 이루어진다.

본 발명은, 가상 실습을 실시하기 전에, 가상환자를 생성하여 디스플레이하는, 가상 방사선학 실습 장치의 구동방법에 있어서, 메인서버의 연산처리부는, MRI 스캔 데이터 또는 CT 스캔 데이터로 이루어진 의료영상 데이터를 영상처리서버로 전송하는 단계; 영상처리서버는, 심층인공신경망구조를 사용하여, 메인서버로부터 수신한 의료영상 데이터의 영상분할을 행하고, 분할된 영상을 이용하여 장기 또는 조직의 메쉬 데이터(표면정보)를 산출하고, 산출된 장기 또는 조직의 표면정보(메쉬 데이터)를 메인서버로 전송하는 단계; 메인서버는 수신된 표면정보(메쉬 데이터)를 가상환자의 소정부분을, 3D모델의 표면정보(메쉬 데이터)로 변경하여, 가상환자를 디스플레이하는 단계;를 포함하는 것을 특징으로 한다.

또한, 본 발명은, 가상 실습이 끝나면, 메인서버가 가상 방사선 촬영 결과화면을 생성하는, 가상 방사선학 실습 장치의 구동방법에 있어서, 메인서버의 연산처리부는, 촬영대상, 촬영기, 필름의 상대적 위치 및 각도 값을 읽어들이는, 촬영대상과 촬영기와 필름의 상대적 위치 읽기단계; 메인서버의 연산처리부는 설정된 환자의 CT 스캔 데이터를 데이터베이스로부터 읽어들이는, CT 스캔 데이터 로드단계;메인서버의 연산처리부는 볼륨렌더링을 통한 CT 스캔데이터의 3차원 모델링을 행하는, CT 스캔데이터의 3차원 모델링단계; 메인서버의 연산처리부는 CT 스캔데이터의 3차원 모델링단계에서 생성된 3차원 모델과, 필름 및 촬영기의 상대적 위치에 따라, 촬영기와 필름 사이의 상기 3차원 모델의 3차원 데이터를 2차원 평면에 투과시켜 방사선 사진을 생성하는, 방사선 사진 생성단계;를 포함하여 이루어진 것을 특징으로 한다.

또한, 본 발명은, 가상 실습이 끝나면, 메인서버가 가상 방사선 촬영 결과화면을 생성하는, 가상 방사선학 실습 장치의 구동방법에 있어서, 메인서버의 연산처리부는, 촬영대상, 촬영기, 필름의 상대적 위치 및 각도 값을 읽어들이는, 촬영대상과 촬영기와 필름의 상대적 위치 읽기단계; 메인서버의 연산처리부는, 기 설정된 환자의 타겟부위 방사선 사진을 데이터베이스로부터 읽어들이는, 방사선사진 로드단계; 메인서버의 연산처리부는, 방사선사진 로드단계에 읽어들인 타겟부위 방사선 사진인, 원본 방사선 사진을 투영하여, 촬영기 평행방향으로 이동하고, 투영에 따른 사진 크기를 확대 또는 축소하는, 원본 방사선 사진의 크기 조절단계; 메인서버의 연산처리부는, 원본 방사선 사진의 크기 조절단계 후, 투영사진과 필름이, 접점이 있는지 여부를 판단하고, 접점이 없다면, 원본 방사선 사진의 크기 조절단계로 되돌아가는, 접점존재 여부판단단계; 접점존재 여부판단단계에서 접점이 있다면, 메인서버의 연산처리부는, 상기 접점의 투영사진 픽셀값을, 결과사진을 저장하는 버퍼에, 복사하는, 픽셀값 저장단계;를 포함하여 이루어진 것을 특징으로 한다.

상기 가상 방사선학 실습 장치의 구동방법은, 투영사진이 필름영역을 벗어났는지 여부를 판단하고, 벗어나지 않았다면, 원본 방사선 사진의 크기 조절단계로 되돌아가고, 투영사진이 필름영역을 벗어 났다면, 종료하는, 필름영역을 벗어났는지 여부 판단단계를 더 포함하여 이루어진다.

본 발명의 가상현실 기반 방사선학 실습 장치 및 방법는, 실습자가 머리 장착형 디스플레이(HMD)를 장착하고, 손에 손 장착부를 착용하고, 시청각적 가상현실상에서 제공된 가상 방사선실습 환경에서, 가상 방사선 촬영 장비를 조작하여 가상 방사선 촬영 실습을 행하되, 손 장착부로부터 실습자의 손의 위치와 각도를 핸드 모션 콘트롤러가 수신하여, 가상 방사선 촬영 장비를 동작시키게 하고, 가상 방사선 촬영 장비가 동작 됨에 따른 소정 결과를 가상으로 출력하게 한다. 따라서, 본 발명은 실습자가 실제 환경에서 실제적인 실습을 행하는 것과 같은 실습을 행하게 하며, 실습자와 교육자가 방사선에 노출될 우려가 없다.

본 발명은, 가상현실 속에서, 다양한 가상 방사선 촬영 장비를, 다양한 종류의 가상 환자 또는 다양한 가상 촬영 대상에게 맞추어 조작하고, 그 실습 결과를 가상으로 확인할 수 있다.

즉, 본 발명은, 기존 방사선학 실습에서 실제 방사선 장비와 마네킹을 이용하여 행하던 실습 방식을, 가상현실 속에서 가상의 촬영장비와 다양한 가상의 환자를 통하여 실습을 실시하도록 하여, 기존 방사선학 실습 방식이 가지고 있던 문제점들인 방사선에 직접적인 노출, 실습실 운영에 들어가는 높은 비용, 제한적인 실습 경험을 해결 할 수 있다.

본 발명은, 구강 방사선할 실습(Oral Radiology Practice) 등에도 적용 가능하다.

또한, 본 발명은, 소정 실습자가 행하는 가상 실습 실행 영상을 일반 디스플레이 상에도 디스플레이하여, 타 실습자 또는 교육자가 이를 볼 수 있도록 이루어져, 실습자는 가상 실습을 행하되, 교육자의 교육에 따라 실습이 가능하며, 타 실습자의 조언도 들을 수 있다.

도 1은 국내 공개특허공보 제2003-0044909호의 가상 현실 실습 시스템의 블록도이다.
도 2는 본 발명의 가상현실 기반 방사선학 실습 장치를 개략적으로 설명하기 위한 모식도이다.
도 3은 도 2의 가상현실 기반 방사선학 실습 장치의 구동방법을 개략적으로 설명하기 위한 모식도이다.
도 4는 도 2의 HMD 손장착부의 일예이다.
도 5는 도 2의 가상현실 기반 방사선학 실습 장치의 구성을 설명하기 위한 블럭도이다.
도 6은 도 5의 메인서버의 연산처리부의 기본 동작을 설명하기 위한 흐름도이다.
도 7은 방사선 촬영장치를 이용한 실습모드에서, 도 5의 메인서버의 연산처리부의 동작을 설명하기 위한 흐름도이다.
도 8은 가상실습환경에서 물건을 잡을 때에 대한, 도 5의 메인서버의 연산처리부의 동작을 설명하기 위한 흐름도이다.
도 9는 도 5의 메인서버의 연산처리부에서, 가상 실습공간에서 텔레포트(실습자의 위치 이동) 처리과정을 나타내는 흐름도이다.
도 10은 본 발명의 가상 방사선학 실습 장치를 이용한 가상 실습시, 방사선 촬영 결과화면의 연산과정의 일예를 설명하는 흐름도이다.
도 11은 본 발명의 가상 방사선학 실습 장치를 이용한 가상 실습시, 방사선 촬영 결과화면의 연산과정의 다른 일예를 설명하는 흐름도이다.
도 12 및 도 13은 도 2의 가상현실 기반 방사선학 실습 장치에서, 가상 방사선 장치가 디지털 엑스레이 기기인 경우의 모식도이다.
도 14 및 도 15는 도 2의 가상현실 기반 방사선학 실습 장치에서, 가상 방사선 장치가 혈관조영술 기기인 경우의 모식도이다.
도 16은 도 2의 가상현실 기반 방사선학 실습 장치에서, 가상 방사선 장치가 CT 스캐너인 경우의 모식도이다.

이하, 본 발명의 가상현실 기반 방사선학 실습 장치 및 방법을 첨부된 도면을 참조하여 상세히 설명한다.

도 2는 본 발명의 가상현실 기반 가상 방사선학 실습 장치를 개략적으로 설명하기 위한 모식도이고, 도 3은 도 2의 가상현실 기반 가상 방사선학 실습 장치의 구동방법을 개략적으로 설명하기 위한 모식도이다.

본 발명에서, 베이스 스테이션부(77), HMD 머리장착부(100), HMD제어부(링크박스)(150), HMD 손장착부(200), 카메라부(300)는 하나의 세트, 즉, HMD 세트(76)로 이루어진다. 여기서, HMD 세트(76)는 시판되는 것을 사용할 수도 있다.

도 2에서와 같이, 실습자(20)는 머리에 HMD 머리장착부(100)를 착용하고, 손에는 HMD 손장착부(핸드 모션 콘트롤러)(200)를 착용하거나 손에 쥐고, HMD 머리장착부(100)에 디스플레이 되는 영상을 보면서 그리고 HMD 머리장착부(100) 연결된 이어폰(130)을 통해 소리(음향)를 들으면서, 강의를 듣거나, 실습을 행할 수 있다. 이때, HMD 머리장착부(100)에 디스플레이되는 영상은 외부에 위치된 디스플레이부(600)에 그대로 디스플레이 되고, 또한 HMD 머리장착부(100) 연결된 이어폰(130)의 소리는 외부에 위치된 스피커부(575)를 통해 그대로 출력된다.

카메라부(300)는 하나 이상의 위치 트래킹(모션 트래킹) 센싱 카메라를 포함하여 이루어지며, 실습자(20)의 움직임 영상, 즉, 실습자 영상을 촬영하여 HMD제어부(150)로 전송하며, HMD제어부(150)는 이를 메인서버(500)로 전송하거나, 실습자 영상으로부터 사용자의 움직임에 따른 위치 트래킹(모션 트래킹) 신호를 검출하여 메인서버(500)로 전송한다.

HMD 머리장착부(100)와 디스플레이부(600)에는 손형태의 손 움직임 표시자(70)를 디스플레이하며, 손 움직임 표시자(70)는 실습자(20)의 손, 즉, HMD 손장착부(200)의 움직임 신호에 대응하여, 디스플레이부(600)의 화면상, 즉, 가상 실습환경에서, 움직여지고, 손 움직임 표시자(70의 움직임에 대응하여, 디스플레이된 가상 방사선 장치(50)의 소정 가동부분이 움직이거나(또는 이동하거나), 아니면, 디스플레이된 소정 설정 스위치가 선택될 수 있다. 이때, 실습자(20)의 손 움직임 표시자(70)가 가상 방사선 장치(50) 등과 접촉되거나, 가상 방사선 장치(50) 등을 잡았을 때, 이를 나타내는 진동을 HMD 손장착부(200)의 진동발생부(230)을 통해 느끼게 된다.

HMD 머리장착부(100)는 메인서버(500)로부터 HMD제어부(150)를 통해 수신된 영상신호 및 음향신호를 HMD 영상출력부(120) 및 이어폰(130)으로 출력하고, HMD 머리장착부(100) 상에 장착된 머리움직임 검출부(110)로부터 검출된 머리움직임 신호를 HMD제어부(150)를 통해 메인서버(500)로 전송한다. 여기서, 머리움직임 신호는 실습자(20)가 향하는 방향 또는 실습자(20)가 처다보고 있는 방향을 나타내는 것이다.

HMD 머리장착부(100)와 디스플레이부(600)에는 사용자가 선택한 실습모드에 따라서, 메인서버(500)로부터 HMD제어부(150)을 통해 수신된 가상 방사선 장치(50)가 디스플레이되고, 또한, 가상 방사선학 실습 장치의 설정부에서 사용자의 설정에 따라 메인서버(500)로부터 HMD제어부(150)을 통해 수신된 소정 가상 환자(30)가 디스플레이될 수 있다.

여기서, 도 2의 가상 방사선 장치(50)는 구내방사선 촬영기 (Intraoral X-ray Machine)를 나타내고 있으나, 이로써 본 발명을 한정하기 위한 것이 아님을 밝혀둔다. 가상 방사선 장치(50)는 가상 방사선 치료장치이거나 또는 가상 방사선 촬영장치로, 디지털 엑스레이 기기(Digital X-ray Machine), 혈관조영술 기기 (Angiography Machine), CT 스캐너 (CT Scanner), MRI 기기 (MRI Machine), 구내방사선 촬영기 (Intraoral X-ray Machine), 파노라마 방사선 촬영기, 구외방사선촬영기 (Panoramic Rapdiograph machine), 유방촬영기 (Mammography Machine) 등 일 수 있다.

예를들어, 가상 방사선 장치(50)가 디지털 엑스레이 기기(Digital X-ray Machine)인 경우의 가상현실 기반 가상 방사선학 실습 장치의 모식도는 도 12 및 도 13과 같다. 또한, 가상 방사선 장치(50)가 혈관조영술 기기 (Angiography Machine)인 경우의 가상현실 기반 가상 방사선학 실습 장치의 모식도는 도 14 및 도 15와 같다. 또한, 가상 방사선 장치(50)가 CT 스캐너인 경우의 가상현실 기반 가상 방사선학 실습 장치의 모식도는 도 16과 같다.

HMD 머리장착부(100)와 연결된 이어폰(130)은 메인서버(500)로부터 HMD제어부(150)을 통해 수신된 음향신호가 출력되고, 이 음향신호는 메인서버(500)로부터 스피커부(575)로도 전달되어, 스피커부(575)를 통해서도 들을 수 있다.

HMD 손장착부(200)는 손움직임 검출부(210)에서 검출된 손 움직임 신호를 HMD제어부(150)을 통해 메인서버(500)로 전송하며, 또한 메인서버(500)로부터 HMD제어부(150)을 통해 수신된 진동제어신호에 따라 진동발생부(230)가 구동된다.

손움직임 검출부(210) 및 머리움직임 검출부(110)는 베이스 스테이션부(77)로부터 적외선이 발생됨에 따라 이에 동기하여, 손 움직임 신호 및 머리 움직임 신호를 검출한다.

메인서버(500)는 수신된 손 움직임 신호, 머리움직임 신호, 실습자 영상을 이용하여, 움직이게 하고자 하는 가상 방사선 장치(50)의 가동부분을 설정하고, 손 움직임 신호에 대응하여 설정된 가동부분을 움직이게 하는 영상을 생성하여 HMD 머리장착부(100)와 디스플레이부(600)로 전송한다.

또는, 메인서버(500)는 수신된 손 움직임 신호, 입력버튼 신호, 머리움직임 신호, 실습자 영상을 이용하여, 가상 방사선 장치(50)의 설정부 또는 가상 방사선학 실습 장치의 설정부에서, 소정 스위치를 선택하고, 선택된 스위치의 구동을 개시하거나 종료하게 한다. 이들 스위치들은 토굴 스위치로 이루어질 수 있다.

도 4는 도 2의 HMD 손장착부의 일예이다.

도 2의 HMD 손장착부(200)는 시판되는 것으로, 그 상면에 전후좌우 이동 버튼(215), 전원 온(On)/오프(Off) 버튼(237), 메뉴 버튼(235)을 포함하며, 그 하면의 일측에 트리거 버튼(217)을 구비한다. 전후좌우 이동 버튼(215), 전원 온(On)/오프(Off) 버튼(237), 메뉴 버튼(235)은 엄지손가락을 사용할 수 있으며, 트리거 버튼(217)은 집게손가락을 사용할 수 있다.

도 5는 도 2의 가상현실 기반 가상 방사선학 실습 장치의 구성을 설명하기 위한 블럭도로, 베이스 스테이션부(77), HMD 머리장착부(100), HMD제어부(150), HMD 손장착부(200), 메인서버(500), 스피커부(575), 디스플레이부(600), 의료영상처리 서버(700)을 포함하여 이루어진다.

베이스 스테이션부(77)는 소정 주기로 적외선을 출력하는 하나 이상의 베이스 스테이션으로 이루어지며, 머리움직임 검출부(110)와 손 움직임 검출부(210)는 베이스 스테이션부(77)에서 출사되는 적외선에 동기되어 신호를 검출한다.

HMD 머리장착부(100)는 실습자(20)에게 가상 실습환경을 제공하며, 현재 실습자의 얼굴이 향한 방향을 위해 머리 움직임신호를 검출하여, HMD제어부(150)를 통해 메인서버(500)로 전송하기 위한 수단이다. HMD 머리장착부(100)는 머리움직임 검출부(110), HMD 영상출력부(120), 이어폰(130)을 포함하여 이루어진다.

머리움직임 검출부(110)는 HMD 머리장착부(100)에 머리움직임 검출센서(미도시)가 장착되어, 머리움직임 신호를 검출하여, HMD제어부(150)의 머리움직임 신호 전처리부(160)로 전송한다. 머리움직임 신호는 머리의 위치신호(X, Y, Z)와 머리 회전의 각도 신호로 이루질 수 있다. 여기서, 머리움직임 검출센서로는 자이로센서, 가속도 센서 등으로 이루어질 수 있다.

HMD 영상출력부(120)는 영상출력 제어부(170)를 통해 수신된 영상신호를 출력한다.

이어폰(130)은 음향출력 제어부(177)를 통해 수신된 음향신호를 출력한다. 이어폰(130)을 통해 출력되는 음향은 주로 강의 자료(음향) 등일 수 있다.

HMD 손장착부(200)는 손 움직임 검출부(210), 입력버튼(220), 진동발생부(230)를 구비하며, 손 움직임 검출부(210)를 이용하여 실습자(20)의 손 움직임 신호를 검출하여, 가상 실습환경(영상) 상에 디스플레이되는 손 움직임 표시자(70)를 이동하여 가상 실습을 행하게 하며, 또한, 입력버튼(220)을 통해, 실습자(20)가 가상 영상 상에 디스플레이되는 가상 방사선 장치(50)의 설정부 또는 가상 방사선학 실습 장치의 설정부 등에서 소정 스위치 등을 선택할 수 있게 하고, 진동발생부(230)를 이용하여, 실습자(20)가 가상 실습환경 상에 소정 물체에 접촉하거나, 소정 물체를 잡았을 때의 느낌을, 진동을 통해 인지하도록 이루어져 있다.

손 움직임 검출부(210)는 손 움직임 검출센서(미도시)가 장착되어, 손 움직임 신호를 검출하여, 무선으로 HMD 제어부(150)의 제1 데이터송수신부(250)을 통해 손 움직임 신호 전처리부(260)으로 전송한다. 여기서, 손 움직임 신호는 손의 위치신호(X, Y, Z)와 손 회전의 각도 신호로 이루질 수 있다. 여기서, 손 움직임 검출센서로는 자이로센서, 가속도 센서 등으로 이루어질 수 있다.

입력버튼부(220)는 HMD 손장착부(200)에 전후좌우 이동 버튼(215), 트리거 버튼(217), 전원 온(On)/오프(Off) 버튼(237), 메뉴 버튼(235) 등을 구비하여, 실습자(20)의 이동(예를들어, 실습자(20)가, 가상실습환경 상에서, 가상 촬영실 밖으로 나오거나 할때의 이동) 시에 사용하거나, 또는 가상 방사선 장치(50)의 설정부 또는 가상 방사선학 실습 장치의 설정부 등에서 소정 스위치 등을 선택할 때 사용한다. 트리거 버튼(217)은 실습자가 가상 물체 등을 잡으려고 할 때 선택하는 버튼이다. 즉, 실습자는 가상 물체를 잡고 있는 동안에는 트리거 버튼을 계속 누르고 있으며, 따라서 그동안에는 가상 물체를 움직임 표시자가 잡고 있는 것이 된다.

진동발생부(230)는 HMD제어부(150)의 진동출력 제어부(280)로부터 제1 데이터송수신부(250)을 통해 수신된 진동발생부 구동신호에 따라 진동을 발생한다. 진동발생부(230)는 HMD 손장착부(200)에서 손바닥이 접촉되는 부분에 위치된다.

카메라부(300)는 실습자(20)의 움직임 영상을 촬영하여, 실습자 영상, 즉, 실습자의 위치 트래킹(모션 트래킹) 영상을 HMD제어부(150)의 영상신호 전처리부(310)로 전송한다. 카메라부(300)는 디스플레이부(600)와 실습자(20)의 움직임을 촬상가능한 곳에 장착되며, 카메라부(300)는 하나 이상의 카메라로 이루어질 수 있으며, 바람직하게는 2대의 카메라로 이루어질 수 있다. 카메라부(300)는 위치 트래킹(모션 트래킹) 센싱부이다. 경우에 따라서 카메라부(300)는 뎁스 카메라로 이루어질 수 있다.

HMD제어부(150)는 머리 움직임 신호 전처리부(160), 영상출력 제어부(170), 음향출력 제어부(177), 손움직임 신호 전처리부(260), 입력버튼신호 전처리부(270), 진동출력제어부(280), 영상신호 전처리부(310)을 포함하여 이루어진다.

도 2에서는, HMD제어부(150)와 HMD 머리장착부(100)의 연결은 유선으로 이루어지고, HMD제어부(150)와 HMD 손장착부(200)의 연결은 무선으로 이루어지고, HMD제어부(150)와 메인서버(500)는 유선으로 연결되어 있으나, 이로써 본 발명을 한정하기 위한 것이 아님을 밝혀둔다. 즉, HMD제어부(150)와 HMD 머리장착부(100)의 연결이 무선으로 이루어지거나, 또는 HMD제어부(150)와 메인서버(500)의 연결이 무선으로 이루어질 수 있다.

머리 움직임 신호 전처리부(160)는 머리움직임 검출부(110)에서 검출된 머리 움직임 신호를 증폭하거나 잡음을 제거하며, 디지탈신호로 변경하고, 디지탈신호로 변경된 머리움직임 신호를 HMD제어부(150)의 연산처리부(350)로 전송한다.

영상출력 제어부(170)는 HMD제어부(150)의 연산처리부(350)로 부터, 영상신호와 영상출력 제어신호를 수신하여, HMD 영상출력부(120)가 상기 영상신호를 출력하도록 제어한다.

음향출력 제어부(177)는 HMD제어부(150)의 연산처리부(350)로 부터, 음향신호와 음향출력 제어신호를 수신하여, 이어폰(130)이 상기 음향신호를 출력하도록 제어한다.

손움직임 신호 전처리부(260)는 손 움직임 검출부(210)에서 검출된 손 움직임 신호를 제1 데이터송수신부(250)을 통해 수신하여, 증폭하거나 잡음을 제거하며, 디지탈신호로 변경하고, 디지탈신호로 변경된 손움직임 신호를 HMD제어부(150)의 연산처리부(350)로 전송한다.

입력버튼신호 전처리부(270)는 입력버튼부(220)로부터 제1 데이터송수신부(250)을 통해 버튼입력신호를 수신하고, 디지탈신호로 변환하여 HMD제어부(150)의 연산처리부(350)로 전송한다.

진동출력 제어부(280)는 HMD제어부(150)의 연산처리부(350)로부터, 수신된 진동출력 제어신호를 수신에 따라, 진동발생부(230)를 구동시키기 위한 진동발생부 구동신호를 생성하여, 제1 데이터송수신부(250)을 통해 진동발생부(230)로 전송한다.

영상신호 전처리부(310)은 카메라부(300)로부터 수신된 실습자 영상, 즉, 실습자의 위치 트래킹(모션 트래킹) 영상을 디지탈신호로 변경하여 HMD제어부(150)의 연산처리부(350)로 전송한다.

연산처리부(350)은 수신된 머리움직임 신호, 손움직임 신호, 입력버튼 신호, 실습자 영상(실습자의 위치 트래킹 영상)을 수신하여, 메인서버(500)로 전송하기 위한 신호로 변환하여, 제2 데이터송수신부(370)을 통해 메인서버(500)으로 전송한다. 또한, 연산처리부(350)는 메인서버(500)로부터 수신된 영상신호, 음향신호를, 영상출력 제어부(170), 음향출력 제어부(177)를 통해, HMD 영상출력부(120, 이어폰(130)으로 출력하게 한다.

즉, 베이스 스테이션부(77)에서 일정하게 적외선 신호를 내보내면, HMD 머리장착부(100)의 적외선 검출센서(미도시)는 상기 적외선 신호를 검출하고, 상기 적외선 신호가 검출되면, 머리움직임 검출부(110)에서 검출된 머리움직임 신호가 HMD제어부(150)의 머리 움직임 신호 전처리부(160)로 전송되고, 머리 움직임 신호 전처리부(160)는 머리움직임 신호를 전처리하고, 전처리된 머리움직임 신호(또는, 머리움직임 신호 및 상기 적외선 신호)를 연산처리부(350) 및 제2 데이터 송수신부(370)을 통해, 메인서버(500)로 전송한다. 또한, HMD 손장착부(200)의 적외선 검출센서(미도시)도 상기 적외선 신호를 검출하여, 적외선 신호가 검출되면, 손움직임 검출부(210)에서 검출된 손움직임 신호와 상기 적외선 신호가, 제1 데이터 송수신부(250)을 통해, HMD제어부(150)의 손움직임신호 전처리부(260)로 전송되고, 손움직임신호 전처리부(260)는 손움직임 신호를 전처리하고, 전처리된 손움직임 신호(또는, 손움직임 신호 및 상기 적외선 신호)를 연산처리부(350) 및 제2 데이터 송수신부(370)을 통해, 메인서버(500)로 전송한다.

메인서버(500)는 가상 방사선학 실습 장치(10)의 전반적인 제어를 담당한다.

메인서버(500)는 HMD제어부(150)로부터 머리움직임 신호를 수신하고, 손움직임 신호, 입력버튼신호, 실습자 영상을 수신하고, 이들 신호로부터, 움직이게 하고자 하는 가상 방사선 장치(50)의 가동부분을 설정하고, 손 움직임 신호에 대응하여 설정된 가동부분을 움직이게 하는 영상을 생성하여 출력하게 한다.

또한, 메인서버(500)는 사용자에 의해 설정된 가상환자(30)를 읽어들여 디스플레이부(600)에 디스플레이하되, 가상환자(30)는 특정 장기 또는 조직에 문제를 가진 환자로, 의료영상처리 서버(700)에서 생성된 특정 장기 또는 조직과 관련된 메쉬 데이터를 수신하여, 가상환자(30)에 적용시켜 디스플레이 한다.

메인서버(500)는 데이터 송수신부(510), 연산처리부(550), 데이터베이스(560), 메모리부(570)을 포함하여 이루어진다.

데이터 송수신부(510)는 HMD제어부(150)로부터 수신된 신호를 연산처리부(550)으로 전달하기 위한 수단이다. 경우에 따라서는 데이터 송수신부(510)는 생략될 수 있다.

연산처리부(550)는 머리움직임 신호에 따라 가상 방사선 장치(50) 및 가상환자(30)을 포함하는 이미지의 시점을 결정하여 디스플레이하게 한다. 그리고, 연산처리부(550)는 카메라부(300)의 실습자 영상, 즉 실습자의 위치 트래킹영상을 이용하여, 사용자의 손의 위치를 결정하고, 상기 손의 위치에 맞추어 손형태의 손 움직임 표시자(70)를 상기 이미지에 디스플레이한다. 그리고, 연산처리부(550)는 손 움직임 신호에 따라, 손 움직임 표시자(70)를 이동하게(움직이게) 한다.

만약, 상기 이미지 상에서 손 움직임 표시자(70)가 가상 방사선 장치(50)의 가동부분에 접촉되었다면, 연산처리부(550)는 가상 방사선 장치(50)의 가동부분을 손(양손 또는 한 손)으로 잡고 있는 것으로 인식한다. 만약, 상기 이미지 상에서 손 움직임 표시자(70)가 가상 방사선 장치(50)의 가동부분에 접촉된 상태로 이동되었다면, 연산처리부(550)는 손 움직임 표시자(70)의 이동에 따라, 가상 방사선 장치(50)의 가동부분도 이동하도록 하는 영상을 생성하여 HMD 머리장착부(100)와 디스플레이부(600)로 전송하여 출력하게 한다. 이때, 손 움직임 표시자(70)가 가상 방사선 장치(50)의 가동부분에 접촉된 상태이라면, 진동출력 제어신호를 생성하여, 데이터 송수신부(510)를 통해, HMD 제어부(150)으로 전송한다.

또한, 연산처리부(550)는 입력버튼 신호가 수신되었다면, HMD 머리장착부(100)와 디스플레이부(600)에 디스플레이되는, 가상 방사선학 실습 장치(10)의 설정부, 또는 가상 방사선 장치(50)의 설정부의, 다수의 스위치 중에, 사용자가 선택한 소정 스위치를 인식한다. 즉, 연산처리부(550)는 입력버튼 신호가 수신되었다면, 카메라부(300)으로부터 수신된 영상을 통해 사용자가 선택한 스위치를 찾고(검출하고), 이렇게 검출된 스위치를 누른 것으로 인식한다.

여기서, 가상 방사선학 실습 장치(10)의 설정부, 또는 가상 방사선 장치(50)의 설정부의, 다수의 스위치는 토굴(toggle)스위치로서, 처음 누르면 그 스위치를 온(ON)한 것이 되고, 다음에 다시 누르면 그 스위치를 오프(OFF)한 것이 된다.

즉, 연산처리부(550)는 입력버튼 신호, 카메라부(300)의 실습자 영상을 이용하여, 가상 방사선 장치(50)의 설정부 또는 가상 방사선학 실습 장치의 설정부에서, 소정 스위치를 선택하고, 선택된 스위치의 구동을 개시하거나 종료하게 한다.

데이터베이스(560)는 다양한 가상 방사선 장치 영상, 다양한 가상 환자 영상들을 저장하고 있다.

메모리부(570)은 연산처리부(550)로부터 수신된 출력된 신호들을 저징하며, 연산처리부(550)에서 연산과정 중 데이터 등의 임시저장을 위해 사용된다.

스피커부(575)는 메인서버(500)의 연산처리부(550)로부터 수신된 음향신호를 출력하며, 여기서 출력되는 음향신호는 이어폰(130)에서 출력되는 음향신호와 같다.

디스플레이부(600)는 피실습자 또는 교육자가 보기 위한 디스플레이부로서, 메인서버(500)의 연산처리부(550)로부터 수신된 영상신호를 출력하며, 여기서 출력되는 영상신호는 HMD 영상출력부(120)에서 출력되는 영상신호와 같다.

영상처리서버(700)는 메인서버(500)에서 (즉, 메인서버(500)의 연산처리부(550)로부터 데이터 송수신부(510)룰 통해) 로부터 의료영상 데이터(MRI/CT 스캔 데이터)를 수신하고, 심층인공신경망구조를 사용하여,의료영상 데이터의 영상분할을 진행하여, 분할된 영상을 이용하여 장기 또는 조직의 메쉬 데이터(표면정보)를 산출하고, 산출된 장기 또는 조직의 메쉬 데이터(표면정보, polygon mesh)를 메인서버(500)로 전송한다. 상기 의료영상 데이터(MRI/CT 스캔 데이터)는 환자에게서 받은 의료영상 데이터이다.

영상처리서버(700)는 데이터 송수신부(710), 연산처리부(750), DB(760), 메모리부(770)을 포함한다.

연산처리부(750)는, 송수신부(710)을 통해, 메인서버(500)로부터 의료영상 데이터(MRI/CT 스캔 데이터)를 수신하고, 심층인공신경망구조를 사용하여, 의료영상 데이터의 영상분할을 진행하여, 분할된 영상을 이용하여 장기 또는 조직의 메쉬 데이터(표면정보)를 산출한다. 즉, 연산처리부(750)는, 환자에게서 받은 의료영상 데이터(MRI/CT)를 3차원벡터로 심층인공신경망에 넣어서, 특징을 추출하고 특징 벡터에 대한 가중치를 계산하여 해당 백터의 가중치에 따라 벡터를 분류한 후(즉, 해당 벡터가 어떤 장기/조직인지를 분류한 후), 분류별로 결과로써 3차원벡터 데이터(볼륨데이터)를 출력한다. 상기 심층 인공신경망에서 추출된 3차원벡터(볼륨정보)에서 빈 공간(값이 0인 voxel)과 맞닿아 있는 voxel(복셀)들을 vertices(점들)로 추출하고 이 점들을 이어 edges(선들)을 만들고 선을 기반으로 face(면)들을 만들고 서로 연결하여 폴리곤 메쉬(polygon mesh)를 만들어, 메쉬 데이터(표면정보)로 메인서버(500)로 전송하게 된다.

메인서버(500)는 메쉬 데이터(표면정보)를 수신하여 가상환자의 특정부분의 3D모델을, 3D모델의 메쉬 데이터(표면정보)로 변경한다. 예를들어, 가상환자의 내부에 구강부분을 보여주는 3D모델을, 영상처리서버(700)로부터 수신된 메쉬 데이터(3D모델)로 변경한다.

또한, 가상 방사선학 실습 장치(10)의 설정부에서, 강의 모드, 튜토리얼 모드, 연습모드, 실습모드, 방사선 치료 장치모드, 방사선 촬영 장치 모드 등을 설정할 수 있다.

튜토리얼 모드는 가상 방사선학 실습 장치(10)의 사용방법을 배우기 위한 모드이다.

여기서, 연습모드는 가상 환자(30) 대신에 가상 마네킹(미도시)가 디스플레이 되며, 경우에 따라서는 가상 마네킹(미도시)도 디스플레이 되지 않은 상태에 연습할 수 있다. 반면, 실습모드는 가상 환자(30)가 디스플레이되어, 가상 환자(30)에 대해 실습을 행할 수 있다.

가상 방사선 장치(50)의 설정부에서, 환자의 연령/성별 촬영(또는 치료)의 종류, 촬영(또는 치료)이 필요한 부위들을, 사용자가 설정할 수도 있고, 이들에 대해 임의의 설정을 생성할 수도 있다.

예를들어, 구강 방사선 촬영을 실습하는 경우는 다음과 같다.

우선, 실습자(20)는 HMD 손장착부(200)의 입력버튼(220)를 이용하여, 방사선학 실습 장치(10)의 설정부에서 실습모드와 방사선 촬영 장치 모드를 선택하고, 방사선 촬영장치 중에서는 구강 방사선 촬영 장치를 선택한다.

그리고, 실습자(20)는, HMD 손장착부(200)의 입력버튼(220)을 이용하여, 가상 방사선 장치(50)의 설정부에서, 환자의 연령/성별, 촬영의 종류, 촬영이 필요한 부위들을 설정하거나, 자동 설정을 선택할 수 있다.

HMD 영상출력부(120)와 디스플레이부(600)의 영상 상에서, 가상 환자(30)가 촬영실에 들어오면, 실습자(20)는, HMD 손장착부(200)를 이용하여 손 움직임 표시자(70)를 상기 영상(즉, 가상 실습환경 영상) 상에 표시시키고, 손 움직임 표시자(70)를 이용하여, 가상환자가 금속 장신구나 촬영에 영향을 미칠 수 있는 교정기나 보철물을 하고 있는지 확인하고, 가상 환자(30)를 가상 방사선 촬영장치(미도시)의 의자에 앉히고, 촬영하려는 촬영법에 따라 가상환자(30)의 머리의 각도를 조절한다.

실습자(20)는, 손 움직임 표시자(70)를 이용하여, 상기 영상에서, 가상환자(30)의 입을 벌리게 하고, HMD 손장착부(200)의 입력버튼(220)을 이용하여, 촬영에 맞는 필름과 촬영법에 맞는 보조도구을 선택하며, 손 움직임 표시자(70)를 이용하여 선택된 필름을 집어 선택된 보조 도구를 사용하여 환자의 입안의 올바른 위치에 위치시킨 후 고정시킨다. 여기서, 가상환자(30)의 구강 부분은 의료영상처리 서버(700)에서 생성된 구강부분 보여주는 3D모델의 메쉬 데이터가 적용된 3D 영상이다.

구강 방사선 촬영 장치를 촬영부위와 촬영법에 따라 위치와 각도를 조절하고 촬영실 밖으로 나와 가상 방사선 촬영장치의 설정부에서 촬영버튼을 누른다.

이후 가상환자(30)의 입에서 필름을 제거한 후 필름을 인상하여 촬영결과를 확인한다.

도 6은 도 5의 메인서버의 연산처리부의 기본 동작을 설명하기 위한 흐름도이다.

신호수신단계로, 메인서버(500)의 연산처리부(550)는 HMD 제어부(150)으로부터, 손움직임 신호를 수신하고(S120), 머리움직임 신호를 수신하고(S130), 실습자의 움직임에 따른 위치 트래킹(모션 트래킹) 영상신호(즉, 실습자 영상신호)를 수신한다(S140). 여기서, 손움직임 신호, 머리움직임 신호, 위치 트래킹 영상신호는 베이스 스테이션부(77)의 적외선신호에 따라 검출된 것으로, 특히, 위치 트래킹 영상신호는 동영상이 아닌, 적외선신호가 검출될 때 카메라부(300)에서 촬상하여 얻어진 영상신호이다.

시야조정 및 손움직임 표시자 표시단계로, 메인서버(500)의 연산처리부(550)는 머리움직임 신호에 따라 실습자의 시야를 결정하고, 기설정된 가상실습환경의 영상을 출력하되, 상기 실습자의 시야에 따라 조정하여 출력하고, 상기 가상실습환경의 영상에, 손움직임 신호에 따른 위치 또는 위치 트래킹 영상신호에 따른 손 위치에, 손움직임 표시자(70)를 표시한다.

상호적용 조건 만족여부 판단단계로, 연산처리부(550)는 입력버튼(220)을 통해 수신된 입력버튼 신호가 입력되었는지 여부를 판단하고, 또한, 손움직임 표시자(70)가 가상 방사선 장치(50) 등과 충돌(접촉)되는지 여부를 판단하고(S160), 입력버튼 신호가 입력되지 않았으며, 손움직임 표시자(70)가 가상 방사선 장치(50) 등과 충돌(접촉)하지 않았다면, 종료여부 판단단계(S180)으로 간다.

상호작용 실행단계로, 상호적용 조건 만족여부 판단단계에서, 입력버튼 신호가 입력되었다면, 연산처리부(550)는 상기 입력버튼 신호에 따른 동작을 수행하고, 상호적용 조건 만족여부 판단단계에서, 손움직임 표시자(70)가 가상 방사선 장치(50) 등과 충돌(접촉)되었다면, 진동출력 제어신호를 생성하여, HMD 제어부(150)으로 전송한다(S170).

종료여부 판단단계로, 종료버튼에 따른 종료신호가 수신되거나, 또는 실습시간 종료에 의해 종료신호가 수신되었다면, 종료하고, 그렇지않다면, 신호수신단계로 되돌아 간다.

도 7은, 방사선 촬영장치를 이용한 실습모드에서, 도 5의 메인서버의 연산처리부의 동작을 설명하기 위한 흐름도이다.

가상 실습실 이동단계로, 실습자가 가상 실습실(방사선 촬영실)로 이동함으로써, 메인서버(500)의 연산처리부(550)는, 가상 실습실(방사선 촬영실)을, 가상실습환경의 영상으로 출력하게 한다(S210).

가상 환자 설정단계로, 연산처리부(550)는 환자선택 대화상자를 디스플레이하게 하며(S220), 실습자(사용자)가 설정한 가상 환자영상을 디스플레이하게 하며(S230), 실습자에 의해 기 설정된 학습과정에 따라, 가상 환자가 촬영 또는 치료를 위한 준비를 하게 한다(S240). 예를들어, 가상환자가 금속 장신구나 촬영에 영향을 미칠 수 있는 교정기나 보철물을 하고 있는지 확인하고, 가상 환자(30)를 가상 방사선 촬영장치(미도시)의 의자에 앉히고, 촬영하려는 촬영법에 따라 가상환자(30)의 머리의 각도를 조절한다.

실습진행단계로, 실습자의 손움직임 표시자의 움직임에 따라, 촬상하기 위한 위치로 이동된 가상 환자의 촬상부위에게 필름을 배치하고, 가상 방사선 촬영 장치의 위치와 각도를 조절하고, 가상 방사선 촬영 장치를 구동시켜 가상 촬영하는 실습을 진행한다(S250).

즉, 실습자는 카메라(촬영장치)를 가상 환자를 촬상하기 위한 위치로 이동시키고, 촬영에 맞는 필름과 촬영법에 맞는 보조도구 등을 선택하며, 손 움직임 표시자(70)를 이용하여 선택된 필름을 집어 선택된 보조 도구를 사용하여 가상 환자의 촬상부위(예를들어 가상 환자의 입안)에 상기 필름을 위치시킨 후 고정시키고, 가상 방사선 촬영 장치를 촬영부위와 촬영법에 따라 위치와 각도를 조절하고 촬영실 밖으로 나와 가상 방사선 촬영장치의 설정부에서 촬영버튼을 눌러, 방사선 촬영실습을 진행한다.

촬영결과 획득여부 판단단계로, 실습진행단계가 끝나서, 실습자가 촬영결과를 확인하기 위해, 손움직임 표시자(70)을 가상 결과화면 모니터(미도시)에 충돌(접촉)시켰는지 여부를 판단하고(S260), 손움직임 표시자(70)을 가상 결과화면 모니터(미도시)에 충돌(접촉)되지 않았다면, 아직 실습이 끝나지 않았으므로, 실습진행단계로 되돌아간다.

가상 실습결과 출력단계로, 촬영결과 획득여부 판단단계에서, 손움직임 표시자(70)가 가상 결과화면 모니터(미도시)에 충돌(접촉)되었다면, 손움직임 표시자(70)에 따라서, 가상환자(30)에게서 제거한 필름을 인상하여, 가상 결과화면 모니터(미도시)에 디스플레이한다(S280).

종료여부 판단단계로, 가상 방사선 장치(50)의 설정부 또는 가상 방사선학 실습 장치의 설정부의 종료버튼(종료 스위치)에 따른 종료신호가 수신되거나, 또는 실습시간 종료에 의해 종료신호가 수신되었다면, 종료하고, 그렇지않다면, 가상 환자 설정단계로 되돌아간다.

도 8은 가상실습환경에서 물건을 잡을 때에 대한, 도 5의 메인서버의 연산처리부의 동작을 설명하기 위한 흐름도이다.

가동부분과의 충돌여부 판단단계로, 메인서버(500)의 연산처리부(550)는, 실습자(사용자)의 손움직임 표시자(70)가 물체의 가동부분(Actor)(예를들어, 가상 방사선 장치(50)의 소정 가동부분)과 충돌(접촉)하였는지 여부를 판단하고(S310), 만약 손움직임 표시자(70)가 물체의 가동부분(Actor)가 충돌(접촉)하지 않았다면, 종료한다. 여기서, 물체의 가동부분(Actor)은 물체의 움직일 수 있는 부분을 말한다.

트리거 버튼 신호 수신여부 판단단계로, 가동부분과의 충돌여부 판단단계에서, 손움직임 표시자(70)가 물체의 가동부분(Actor)가 충돌하였다면, HMD 손장착부(핸드 콘트롤러)(200)의 트리거 버튼(217)으로부터 수신된 트리거 버튼 신호(트리거 신호)가 수신되었는지 여부를 연산처리부(550)가 판단하고(S320), 트리거 버튼 신호가 입력되지 않았다면, 실습자가 물체를 잡으려고 한 것이 아니라고 판단하여 종료한다.

손움직임 신호 수신단계로, 트리거 버튼 신호 수신여부 판단단계에서, 트리거 버튼 신호가 수신되었다면, 실습자가 물체를 잡으려고 한 것으로 판단하고, HMD 손장착부(핸드 콘트롤러)(200)의 손 움직임 검출부(210)로부터 손 움직임신호, 즉, 손의 초기 위치 및 각도 값을 수신하여, 메모리부(570)에 저장한다(S330).

트리거 버튼신호 재수신여부 판단단계로, 실습자가 HMD 손장착부(핸드 콘트롤러)(200)의 트리거 버튼을 계속 누름에 의해, 트리거 버튼 신호가 수신되고 있는지 여부를 판단하고(S340), 트리거 버튼 신호 수신되고 있지 않다면, 최종위치로의 움직임단계(S360)로 간다.

가동부분 이동단계로, 트리거 버튼신호 재수신여부 판단단계에서, 트리거 버튼 신호가 수신되고 있다면, HMD 손장착부(핸드 콘트롤러)(200)의 손 움직임 검출부(210)로부터 현재의 손 움직임신호, 즉, 손의 현재 위치 및 현재 각도 값을 수신하고, 이를 전의 손움직임 신호, 즉, 손의 전 위치 및 전의 각도 값과 비교하여, 가상 물체의 가동부분을 이동 및 회전시킨다(S350).

최종위치로의 움직임단계로, 가상 물체의 가동부분에 중력이 적용되어 최종 위치로 이동하며, 지면 등에 충돌 시, 물리 엔진에 따른 상호작용 후, 최종위치에서 정지한다(S360).

도 9는 도 5의 메인서버의 연산처리부에서, 가상 실습공간에서 텔레포트(실습자의 위치 이동) 처리과정(프로세스)을 나타내는 흐름도이다.

전후좌우 이동버튼신호 수신여부 판단단계로, 메인서버(500)의 연산처리부(550)는, HMD 손장착부(핸드 콘트롤러)(200)의 전후좌우 이동 버튼(트랙패드)(215)이 눌러짐에 따른, 전후좌우 이동버튼 신호를 수신하였는 지 여부를 판단하고(S510), 전후좌우 이동버튼 신호를 수신하지 않았다면, 종료한다.

지면 충돌지점 연산단계로, 전후좌우 이동버튼신호 수신여부 판단단계에서, 전후좌우 이동버튼 신호를 수신하였다면, 연산처리부(550)는 HMD 손장착부(핸드 콘트롤러)(200)의 손 움직임 검출부(210)로부터 현재의 손 움직임신호, 즉, 손의 현재 위치 및 현재 각도 값을 수신하고, 현재 위치 및 현재 각도에 따른 현재 방향의 연장선 상에 지면과의 충돌지점을 계산한다(S520).

머리움직임 신호 수신단계로, 연산처리부(550)는, HMD 제어부(150)으로부터 머리움직임 신호, 즉, 머리의 현재 위치 및 현재 각도를 수신하여, 실습자의 머리가 향하고 있는 방향을 결정한다(S530).

충돌지점 중심으로 텔레포트 지점표시단계로, 연산처리부(550)는, 충돌지점 중심으로, 텔레포트 지점을 표시하고, 사용자의 바라보는 방향을 표시한다(S540).

그랩 버튼신호 수신여부 판단단계로, 연산처리부(550)는, HMD 손장착부(핸드 콘트롤러)(200)의 그랩 버튼이 눌려짐에 따른, 그랩 버튼신호를 수신하였는지 여부를 판단하고, 그랩 버튼신호를 수신하였다면, 텔레포트 지점표시 해제단계(S580)으로 간다,

전후좌우 이동버튼신호 재수신여부 판단단계로, 그랩 버튼신호 수신여부 판단단계에서, 그랩 버튼신호를 수신하지 않았다면, 연산처리부(550)는, HMD 손장착부(핸드 콘트롤러)(200)의 전후좌우 이동 버튼(트랙패드)(215)이 눌러짐에 따른, 전후좌우 이동버튼 신호를 다시 수신하였는지 여부를 판단하고(S560), 전후좌우 이동버튼 신호를 다시 수신하지 않았다면, 지면 충돌지점 연산단계로 되돌아간다.

위치 이동실행 단계로, 연산처리부(550)는, 충돌지점 중심으로 텔레포트 지점표시단계에서 표시한, 사용자의 바라보는 방향과 텔레포트 지점으로 실습자(사용자)의 방향과 위치 이동을 행한 영상을 생성하여 HMD 제어부(150)으로 전송한다(S570).

텔레포트 지점표시 해제단계로, 충돌지점 중심으로 텔레포트 지점표시단계에서 표시한 텔레포트 지점을 해제한다(S580).

도 10은 본 발명의 가상 방사선학 실습 장치를 이용한 가상 실습시, 방사선 촬영 결과화면의 연산과정의 일예를 설명하는 흐름도이다.

도 10에서는 CT스캔 데이터를 통한 결과화면을 생성하는 과정을 설명한다.

촬영대상와 촬영기와 필름의 상대적 위치 읽기단계로, 메인서버(500)의 연산처리부(550)는, 촬영대상, 촬영기, 필름의 상대적 위치 및 각도 값을 읽어들인다(S610).

CT 스캔 데이터 로드단계로, 연산처리부(550)는 설정된 환자의 CT 스캔 데이터를 데이터베이스(560)로부터 읽어들인다(S620).

CT 스캔데이터의 3차원 모델링단계로, 연산처리부(550)는 볼륨렌더링을 통한 CT 스캔데이터의 3차원 모델링을 행한다(S630)

방사선 사진 생성단계로, 3차원 모델과 필름, 촬영기의 상대적 위치에 따라, 촬영기와 필름 사이의 모델의 3차원 데이터를 2차원 평면에 투과시켜 방사선 사진을 생성한다(S650).

기본적으로 일반 3D 그래픽 경우 메쉬와 텍스쳐로 구성되어 있으며, 여기서, 메쉬는 외형을 결정하는 것으로 내부가 비어 있는 외형의 경계선만을 표시한 데이터이다. 일반적으로 이 메쉬 위에 텍스쳐(즉, 그림파일)를 그려넣어 3D 그래픽이 표현된다.

이러한 방식과 달리 볼륨렌더링의 경우, 매우 얇은 층의 평면텍스쳐를 층층이 쌓아 올린 것과 같다. 실제로 2차원 명면이 쌓여 3차원 입체가 되는 것과 동일한 방식으로 물체의 내부에 대한 정보다 있다는 것이 장점이다. 그러나 연산량이 많아 시스템 로드가 많이 걸리는 것이 단점이다.

본 발명에서는 CT 스캔 데이터에서 스캔 간격에 따라 평면 텍스쳐를 쌓아올린 후 그 사이 공간을 인터폴레이션(interpolation) 을 통해 채워 넣어 내부의 정보를 모두 담고 있는 3D모델을 만든다.

도 11은 본 발명의 가상 방사선학 실습 장치를 이용한 가상 실습시, 방사선 촬영 결과화면의 연산과정의 다른 일예를 설명하는 흐름도이다.

도 11에서는 기존 방사선 사진을 통한 결과화면을 생성하는 과정을 설명한다.

촬영대상와 촬영기와 필름의 상대적 위치 읽기단계로, 메인서버(500)의 연산처리부(550)는, 촬영대상, 촬영기, 필름의 상대적 위치 및 각도 값(즉, 촬영 대상의 기존 보유한 방사선 사진과의 상대 값)을 읽어들인다(S710).

방사선사진 로드단계로, 연산처리부(550)는 설정된 환자의 타겟부위 방사선 사진을 데이터베이스(560)로부터 읽어들인다(S720).

원본 방사선 사진의 크기 조절단계로, 연산처리부(550)는, 방사선사진 로드단계에 읽어들인 타겟부위 방사선 사진인, 원본 방사선 사진을 투영하여, 촬영기 평행방향으로 이동하고, 투영에 따른 사진 크기를 확대 또는 축소한다(S730).

접점존재 여부판단단계로, 원본 방사선 사진의 크기 조절단계 후, 투영사진과 필름이, 접점이 있는 지 여부를 판단하고(S750), 접점이 없다면, 원본 방사선 사진의 크기 조절단계로 되돌아간다.

픽셀값 저장단계로, 접점존재 여부판단단계에서 접점이 있다면, 상기 접점의 투영사진 픽셀값을 결과사진을 저장하는 버퍼에 복사한다(S760).

필름영역을 벗어났는지 여부 판단단계로, 투영사진이 필름영역을 벗어났는지 여부를 판단하고, 벗어나지 않았다면, 원본 방사선 사진의 크기 조절단계로 되돌아가고, 투영사진이 필름영역을 벗어 났다면, 종료한다(S770).

도 11에서는, CT 스캔 데이터는 없으나 특정부위에 대한 방사선 사진이 있는 경우 사용하며, 원본사진이 있는 부위를 중심으로 같은 방향이지만 각도 등 촬영 미숙에 따른 잘못된 (상의 연장 등) 결과 방사선 사진을 생성한다.

이상과 같이, 본 발명은, 기존 방사선학 실습에서 실제 방사선 촬영장비와 마네킹을 이용하여 촬영하던 방식을 가상현실 속에서 가상의 촬영장비와 다양한 가상의 환자를 통하여 실습을 실시하도록 하여 기존 방사선학 실습 방식이 가지고 있던 문제점들인 방사선에 직접적인 노출, 실습실 운영에 들어가는 높은 비용, 제한적인 실습 경험을 해결할 수 있다.

본 발명은 HMD(Head Mounted Display) 머리장착부(100)를 이용하여 사용자가 시각과 청각을 통하여 경험하는 가상현실 속에서, HMD 손장착부(hand motion controller)(200)를 이용하여 가상의 방사선 촬영 장비를 조작하여 방사선 촬영 실습을 실시하고 가상의 촬영대상, 장비의 위치, 설정에 따라 촬영결과를 시뮬레이션 하여 가상현실 속에 결과를 출력하는 가상현실 기반 방사선학 실습 장치 및 방법에 관한 것이다.

본 발명은 하드웨어와 소프트웨어 부분을 구비하며, 하드웨어부분은 시청각적 가상현실을 사용자에게 경험하게 해주는 HMD 머리장착부(100), 사용자의 손의 위치와 각도를 추적하게 해주고 입력장치를 통해 입력신호를 받는 HMD 손장착부(hand motion controller)(200)와 가상현실을 시뮬레이션 하는 컴퓨터인 메인서버(500)를 포함하여 이루어지며, 소프트웨어부분의 경우 윈도우 운영체제 기반 단일 어플리케이션으로 이루어질 수 있다.

즉, 본 발명은 가상현실 속에서 방사선학 실습을 실시하는 장치 및 방법에 관한 것으로, HMD와 가상현실을 렌더 하는 소프트웨어를 통해 가상현실을 경험하게 해주며, 가상현실 속에 있는 방사선 촬영장비를 HMD 손장착부(hand motion controller)(200)로 조작할 수 있는 방법을 제공하고, 가상의 촬영장비와 환자 촬영 설정 등을 모두 반영하여 엑스레이 촬영 시뮬레이션을 실시하고, 결과 엑스레이 이미지를 가상현실 속에 출력해줌으로써 가상현실 속에서 방사선학 실습을 실시할 수 있다.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.

10 : 가상 방사선학 실습 장치 20 : 실습자
30 : 가상 환자 50 : 가상 방사선 장치
70 : 손 움직임 표시자 76 : HMD 세트
77 : 베이스 스테이션부 100 : HMD 머리장착부
110 : 머리움직임 검출부 120 : HMD 영상출력부
130 : 이어폰 150 : HMD제어부
160 : 머리 움직임 신호 전처리부 170 : 영상출력 제어부
177 : 음향출력 제어부 200 : HMD 손장착부
210 : 손움직임 검출부 215 : 전후좌우 이동 버튼
217 : 트리거 버튼 220 : 입력버튼
230 : 진동발생부 237: 전원 온/오프 버튼
235 : 메뉴버튼 250 : 제1 데이터송수신부
260 : 손 움직임 신호 전처리부 270 : 입력버튼신호 전처리부
280 : 진동출력 제어부 300 : 카메라부
310 : 영상신호 전처리부 350 : HMD 제어부의 연산처리부
370 : 제2 데이터송수신부 500 : 메인서버
510 : 데이터 송수신부 550 : 메인서버의 연산처리부
560 : 데이터베이스 570 : 메모리부
575 : 스피커부 600 : 디스플레이부

Claims

실습자의 머리에 장착되며, HMD(Head Mounted Display) 영상출력부로, 가상 방사선학 실습을 위해, 가상 방사선 장치를 포함하는 영상이 출력되는, HMD 머리장착부;
실습자의 손에 장착되며, 영상 상에 가상 방사선 장치를 조작하기 위해, 실습자의 손이 움직일때, 실습자의 손 움직임신호를 검출하는 손 움직임 검출부를 포함하는, HMD 손장착부;
HMD 손장착부로부터 손 움직임신호를 수신하여 메인서버로 전송하고, 메인서버로 부터 수신된 영상을 HMD 머리장착부로 전송하는, HMD 제어부;
HMD 제어부로부터 수신한 손 움직임신호를 수신하고, 손 움직임 신호에 따라서, 영상상에서, 실습자의 가상의 손인, 손 움직임 표시자가 움직이며, 움직여진 손 움직임 표시자를 포함하는 영상을, HMD 제어부로 전송하는 메인서버;
를 포함하여 이루어진 것을 특징으로 하는, 가상 방사선학 실습 장치.
제1항에 있어서,
HMD 머리장착부는, 메인서버로부터 HMD 제어부를 통해 수신되는 음향신호를 출력하는 이어폰;
을 더 포함하여 이루어진 것을 특징으로 하는, 가상 방사선학 실습 장치.
제2항에 있어서, HMD 손장착부는,
영상에서, 손 움직임 표시자와 충돌된 가상의 물체가, 상기 영상 상에서 손 움직임 표시자로 잡고 있음을 나타내게 하는, 트리거 버튼;
을 더 포함하여 이루어진 것을 특징으로 하는, 가상 방사선학 실습 장치.
제3항에 있어서,
손 움직임 표시자와 충돌된 가상의 물체의 부분이 가동부분인 경우에, 메인서버는, 트리거 버튼으로부터 HMD 제어부를 통해 수신된 트리거 버튼 신호가 수신되면, 영상 상에서, 가상의 물체의 가동부분이, 손 움직임 표시자의 움직임에 따라, 움직이도록 이루어진 것을 특징으로 하는, 가상 방사선학 실습 장치.
제4항에 있어서, HMD 손장착부는,
영상상에서 손 움직임 표시자와 가상의 물체가 충돌될 때, 진동을 출력하는 진동발생부;
를 더 포함하고 있는 것을 특징으로 하는, 가상 방사선학 실습 장치.
제5항에 있어서, HMD 머리장착부는
실습자의 머리 움직임을 검출하는 머리 움직임 검출부;
를 더 포함하고 있는 것을 특징으로 하는, 가상 방사선학 실습 장치.
제6항에 있어서,
메인서버는 머리 움직임 검출부로부터 HMD 제어부를 통해 머리움직임 신호를 수신하고, 머리움직임 신호에 따라, 영상의 시점을 변경한 영상을 생성하여, HMD 제어부로 전송하는 것을 특징으로 하는, 가상 방사선학 실습 장치.
제7항에 있어서,
실습자를 촬영하여 위치 트래킹 영상을 생성하는 카메라부;를 더 포함하는 것을 특징으로 하는, 가상 방사선학 실습 장치.
제8항에 있어서,
메인서버는 카메라부로부터 HMD 제어부를 통해 수신한 위치 트래킹 영상, 머리움직임 신호, 손 움직임 신호에 따라, 영상을 생성하여 HMD 제어부로 전송하는 것을 특징으로 하는, 가상 방사선학 실습 장치.
제8항에 있어서,
HMD 손장착부는, 전후좌우 이동 버튼(트랙패드)를 더 포함하며,
메인서버는, 전후좌우 이동 버튼으로부터 출력된 전후좌우 이동 버튼 신호가, HMD 제어부를 통해 수신되면, 영상 상에서, 머리움직임 신호에 의한 방향으로, 실습자가 이동함에 따라, 실습자에게 보이는 영상을 생성하여, HMD 제어부로 전송하는 것을 특징으로 하는, 가상 방사선학 실습 장치.
제10항에 있어서,
머리움직임 신호, 위치 트래킹 영상, 손움직임 신호는, 베이스 스테이션부의 적외선 발생에 동기되어 검출된 신호인 것을 특징으로 하는, 가상 방사선학 실습 장치.
제1항 내지 제11항 중 어느 한 항에 있어서,
실습자가, 가상 방사선 장치 또는 가상 환자를 설정하도록하는 설정부를 더 포함하는 것을 특징으로 하는, 가상 방사선학 실습 장치.
실습자의 머리에 장착된 HMD(Head Mounted Display) 머리장착부의 HMD 영상출력부가, 가상 방사선학 실습을 위해, 가상 방사선 장치를 포함하는 영상을 출력하고,
실습자의 손에 장착된 HMD 손장착부의 손 움직임 검출부는, 영상 상에 가상 방사선 장치를 조작하기 위해, 실습자의 손이 움직일때, 실습자의 손 움직임신호를 검출하여, HMD 제어부를 통해 메인서버의 연산처리부로 전송하고,
메인서버의 연산처리부는 수신된 손 움직임 신호에 따라서, 영상 상에서, 실습자의 가상의 손인, 손 움직임 표시자가 움직이며, 움직여진 손 움직임 표시자를 포함하는 영상을, HMD 제어부를 통해 HMD 머리장착부의 HMD 영상출력부로 출력하는 것을 특징으로 하는, 가상 방사선학 실습 장치의 구동방법.
메인서버의 연산처리부는, HMD 머리장착부에 장착된 머리움직임 검출부로부터 검출된 머리움직임 신호와, HMD 손장착부의 손 움직임 검출부로부터 검출된 손움직임 신호와, 카메라부가 실습자를 촬영하여 생성한 위치 트래킹 영상을, HMD 제어부를 통해, 수신하는 신호수신단계;
메인서버의 연산처리부는 머리움직임 신호에 따라 실습자의 시야를 결정하고, 기설정된 가상실습환경의 영상을 출력하되, 실습자의 시야에 따라 조정하여 출력하고, 가상실습환경의 영상에, 손움직임 신호에 따른 위치 또는 위치 트래킹 영상신호에 따른 손 위치에, 실습자의 가상의 손인, 손움직임 표시자를 표시하는, 시야조정 및 손움직임 표시자 표시단계;
메인서버의 연산처리부는, HMD 손장착부의 입력버튼이 선택됨에 따른 입력버튼 신호가 수신되었는지 여부를 판단하고, 손움직임 표시자가 가상 방사선 장치와 충돌되었는지 여부를 판단하는, 상호적용 조건 만족여부 판단단계;
메인서버의 연산처리부는, 상호적용 조건 만족여부 판단단계에서, 입력버튼 신호가 입력되었다면, 입력버튼 신호에 따른 동작을 수행하고, 상호적용 조건 만족여부 판단단계에서, 손움직임 표시자가 가상 방사선 장치와 충돌되었다면, 진동출력 제어신호를 생성하여, HMD 제어부로 전송하는, 상호작용 실행단계;
를 포함하여 이루어진 것을 특징으로 하는, 가상 방사선학 실습 장치의 구동방법.
실습자의 손움직임 신호에 따라 움직이는, 손움직임 표시자의 움직임에 따라서, 메인서버의 연산처리부는, 영상 상에서, 촬상하기 위한 위치로 이동된 가상 환자의 촬상부위에게 가상 필름을 배치하고, 가상 방사선 촬영 장치의 위치와 각도를 조절하고, 가상 방사선 촬영 장치를 구동시켜 가상 촬영하는 실습을 진행하는, 실습진행단계;
실습진행단계 후, 손움직임 표시가 가상 결과화면 모니터와 충돌되었다면, 메인서버의 연산처리부는, 손움직임 표시자에 따라서, 가상환자에게서 제거한 필름을 가상 인상하여, 가상 결과화면 모니터에 디스플레이하는, 가상 실습결과 출력단계;
를 포함하여 이루어진 것을 특징으로 하는, 가상 방사선학 실습 장치의 구동방법.
제15항에 있어서,
실습진행단계 전에,
영상상에서, 실습자가 가상 방사선 촬영실로 이동함으로써, 메인서버의 연산처리부는, 가상 방사선 촬영실의 영상을 HMD 제어부를 통해 HMD 영상출력부로 전송하는, 가상 실습실 이동단계;
가상 실습실 이동단계 후, 메인서버의 연산처리부는, 환자선택 대화상자를 디스플레이하게 하고, 실습자가 설정한 가상 환자영상을, HMD 제어부를 통해 HMD 영상출력부로 전송하는, 가상 환자 설정단계;
를 더 포함하여 이루어진 것을 특징으로 하는, 가상 방사선학 실습 장치의 구동방법.
메인서버의 연산처리부는, 영상상에서, 손움직임 표시자가 가상물체의 가동부분과 충돌하고, HMD 손장착부의 트리거 버튼으로부터, HMD 제어부를 통해, 트리거 버튼 신호가 수신되었다면, 실습자가 가상 물체를 잡으려고 한 것으로 판단하고, HMD 손장착부의 손 움직임 검출부로부터 손 움직임신호를 수신하여, 메모리부 저장하는, 손움직임 신호 수신단계;
메인서버의 연산처리부는, HMD 손장착부의 트리거 버튼으로부터 HMD 제어부를 통해 트리거 버튼 신호가 수신되었다면, HMD 손장착부의 손 움직임 검출부로부터 현재의 손 움직임신호를 수신하고, 전의 손움직임 신호와 비교하여, 가상 물체의 가동부분을 이동시키는, 가동부분 이동단계
를 포함하여 이루어진 것을 특징으로 하는, 가상 방사선학 실습 장치의 구동방법.
메인서버의 연산처리부는, HMD 손장착부의 전후좌우 이동버튼(트랙패드)로부터 HMD 제어부를 통해 전후좌우 이동버튼신호가 수신되었는지를 판단하는, 전후좌우 이동버튼신호 수신여부 판단단계;
메인서버의 연산처리부는, 전후좌우 이동버튼 신호를 수신하였다면, HMD 손장착부의 손 움직임 검출부로부터의 손의 위치 및 각도값으로 이루어진 손 움직임신호를 수신하고, 손 움직임신호의 위치 및 각도에 따른 방향의 연장선 상에 지면과의 충돌지점을 계산하는, 지면 충돌지점 연산단계;
메인서버의 연산처리부는, HMD 제어부으로부터 머리의 위치 및 각도로 이루어진 머리움직임 신호를 수신하여, 실습자의 머리가 향하고 있는 방향을 결정하는, 머리움직임 신호 수신단계;
메인서버의 연산처리부는, 충돌지점 중심으로, 텔레포트 지점을 표시하고, 사용자의 바라보는 방향을 표시하는, 충돌지점 중심으로 텔레포트 지점표시단계;
를 포함하여 이루어진 것을 특징으로 하는, 가상 방사선학 실습 장치의 구동방법.
제18항에 있어서,
충돌지점 중심으로 텔레포트 지점표시단계 후, 메인서버의 연산처리부는, HMD 손장착부의 그랩 버튼으로부터의 그랩 버튼신호를 수신하였는지 여부를 판단는, 그랩 버튼신호 수신여부 판단단계;
그랩 버튼신호 수신여부 판단단계에서, 그랩 버튼신호를 수신하지 않았다면, 메인서버의 연산처리부는, HMD 손장착의 전후좌우 이동 버튼으로부터의 전후좌우 이동버튼 신호를 수신하였는지 여부를 판단하고, 전후좌우 이동버튼 신호를 다시 수신하지 않았다면, 지면 충돌지점 연산단계로 되돌아가는, 전후좌우 이동버튼신호 재수신여부 판단단계;
메인서버의 연산처리부는, 충돌지점 중심으로 텔레포트 지점표시단계에서 표시한, 사용자의 바라보는 방향과 텔레포트 지점으로 실습자의 방향과 위치 이동을 행한 영상을 생성하여 HMD 제어부으로 전송하는, 위치 이동실행 단계;
위치 이동실행 단계 후, 또는, 그랩 버튼신호 수신여부 판단단계에서, 그랩 버튼신호를 수신하였다면, 메인서버의 연산처리부는, 충돌지점 중심으로 텔레포트 지점표시단계에서 표시한 텔레포트 지점을 해제하는, 텔레포트 지점표시 해제단계;
를 더 포함하여 이루어진 것을 특징으로 하는, 가상 방사선학 실습 장치의 구동방법.
가상 실습을 실시하기 전에, 메인서버가 가상환자를 생성하여 디스플레이하는, 가상 방사선학 실습 장치의 구동방법에 있어서,
메인서버의 연산처리부는, MRI 스캔 데이터 또는 CT 스캔 데이터로 이루어진 의료영상 데이터를 영상처리서버로 전송하는 단계;
영상처리서버는, 심층인공신경망구조를 사용하여, 메인서버로부터 수신한 의료영상 데이터의 영상분할을 행하고, 분할된 영상을 이용하여 장기 또는 조직의 메쉬 데이터(표면정보)를 산출하고, 산출된 장기 또는 조직의 표면정보(메쉬 데이터)를 메인서버로 전송하는 단계;
메인서버는 수신된 표면정보(메쉬 데이터)를 가상환자의 소정부분을, 3D모델의 표면정보(메쉬 데이터)로 변경하여, 가상환자를 디스플레이하는 단계;
를 포함하는 것을 특징으로 하는 가상 방사선학 실습 장치의 구동방법.
가상 실습이 끝나면, 메인서버가 가상 방사선 촬영 결과화면을 생성하는, 가상 방사선학 실습 장치의 구동방법에 있어서,
메인서버의 연산처리부는, 촬영대상, 촬영기, 필름의 상대적 위치 및 각도 값을 읽어들이는, 촬영대상과 촬영기와 필름의 상대적 위치 읽기단계;
메인서버의 연산처리부는 설정된 환자의 CT 스캔 데이터를 데이터베이스로부터 읽어들이는, CT 스캔 데이터 로드단계;
메인서버의 연산처리부는 볼륨렌더링을 통한 CT 스캔데이터의 3차원 모델링을 행하는, CT 스캔데이터의 3차원 모델링단계;
메인서버의 연산처리부는 CT 스캔데이터의 3차원 모델링단계에서 생성된 3차원 모델과, 필름 및 촬영기의 상대적 위치에 따라, 촬영기와 필름 사이의 상기 3차원 모델의 3차원 데이터를 2차원 평면에 투과시켜 방사선 사진을 생성하는, 방사선 사진 생성단계;
를 포함하여 이루어진 것을 특징으로 하는, 가상 방사선학 실습 장치의 구동방법.
가상 실습이 끝나면, 메인서버가 가상 방사선 촬영 결과화면을 생성하는, 가상 방사선학 실습 장치의 구동방법에 있어서,
메인서버의 연산처리부는, 촬영대상, 촬영기, 필름의 상대적 위치 및 각도 값을 읽어들이는, 촬영대상과 촬영기와 필름의 상대적 위치 읽기단계;
메인서버의 연산처리부는, 기 설정된 환자의 타겟부위 방사선 사진을 데이터베이스로부터 읽어들이는, 방사선사진 로드단계;
메인서버의 연산처리부는, 방사선사진 로드단계에 읽어들인 타겟부위 방사선 사진인, 원본 방사선 사진을 투영하여, 촬영기 평행방향으로 이동하고, 투영에 따른 사진 크기를 확대 또는 축소하는, 원본 방사선 사진의 크기 조절단계;
메인서버의 연산처리부는, 원본 방사선 사진의 크기 조절단계 후, 투영사진과 필름이, 접점이 있는지 여부를 판단하고, 접점이 없다면, 원본 방사선 사진의 크기 조절단계로 되돌아가는, 접점존재 여부판단단계;
접점존재 여부판단단계에서 접점이 있다면, 메인서버의 연산처리부는, 상기 접점의 투영사진 픽셀값을, 결과사진을 저장하는 버퍼에, 복사하는, 픽셀값 저장단계;
를 포함하여 이루어진 것을 특징으로 하는, 가상 방사선학 실습 장치의 구동방법.
제22항에 있어서,
투영사진이 필름영역을 벗어났는지 여부를 판단하고, 벗어나지 않았다면, 원본 방사선 사진의 크기 조절단계로 되돌아가고, 투영사진이 필름영역을 벗어 났다면, 종료하는, 필름영역을 벗어났는지 여부 판단단계;
를 더 포함하여 이루어진 것을 특징으로 하는, 가상 방사선학 실습 장치의 구동방법.