KR20190112968A - 증강현실을 이용한 x선 촬영 시뮬레이션 방법 및 프로그램 - Google Patents

증강현실을 이용한 x선 촬영 시뮬레이션 방법 및 프로그램 Download PDF

Info

Publication number
KR20190112968A
KR20190112968A KR1020180035012A KR20180035012A KR20190112968A KR 20190112968 A KR20190112968 A KR 20190112968A KR 1020180035012 A KR1020180035012 A KR 1020180035012A KR 20180035012 A KR20180035012 A KR 20180035012A KR 20190112968 A KR20190112968 A KR 20190112968A
Authority
KR
South Korea
Prior art keywords
camera
marker
augmented reality
angle
application
Prior art date
Application number
KR1020180035012A
Other languages
English (en)
Other versions
KR102048208B1 (ko
Inventor
이재기
배정희
구자영
김윤주
Original Assignee
남서울대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 남서울대학교 산학협력단 filed Critical 남서울대학교 산학협력단
Priority to KR1020180035012A priority Critical patent/KR102048208B1/ko
Publication of KR20190112968A publication Critical patent/KR20190112968A/ko
Application granted granted Critical
Publication of KR102048208B1 publication Critical patent/KR102048208B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • G09B23/286—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine for scanning or photography techniques, e.g. X-rays, ultrasonics
    • A61B6/14—
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/42—Arrangements for detecting radiation specially adapted for radiation diagnosis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/51—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for dentistry

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Medicinal Chemistry (AREA)
  • Dentistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Educational Technology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Algebra (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

X선 촬영장치에 결합된 단말기를 통해 X선 촬영을 시뮬레이션하는 방법 및 프로그램이 제공된다. 상기 본 발명은, X선 촬영장치의 암(Arm)에 결합된 단말기를 이용한 X선 촬영 시뮬레이션 방법에 있어서, 말기 어플리케이션이 단말기 카메라의 실시간 촬영 영상에서 팬텀에 부착된 마커를 인식하여 상기 카메라의 상대좌표 및 상대각도를 설정하고, 시뮬레이션을 시작하는 단계; 기 어플리케이션을 통해 X선 촬영 시뮬레이션을 진행할 치아를 입력받는 단계; 기 어플리케이션이 팬텀과 상기 입력받은 치아를 촬영하기 위한 카메라의 좌표 및 각도를 나타내는 가이드 포인트를 증강현실 영상으로 디스플레이하는 단계; 기 치아를 촬영하기 위해 단말기의 위치 및 각도가 조절되는 단계로서, 상기 어플리케이션이 카메라의 실시간 촬영 영상 내 마커의 형상을 분석하여 상기 카메라의 상대좌표를 변경하고, 단말기의 자이로 센서(Gyro Sensor)를 통해 카메라의 상대각도를 변경하고, 상기 변경된 상대좌표 및 상대각도를 상기 증강현실 영상에 증강하여 디스플레이하는, 단계; 및 말기의 위치 및 각도 조절이 완료된 후, 상기 어플리케이션이 카메라가 캡쳐한 이미지를 통해 가상의 X선 사진을 생성하는 단계;를 포함한다.

Description

증강현실을 이용한 X선 촬영 시뮬레이션 방법 및 프로그램 {METHOD AND PROGRAM OF X-RAY SIMULATION USING AUGMENTED REALITY}
본 발명은 증강현실을 이용한 X선 촬영 시뮬레이션 방법 및 프로그램에 관한 것으로, 보다 상세하게는 X선 촬영장치에 결합된 단말기를 통해 X선 촬영을 시뮬레이션하는 방법 및 프로그램에 관한 것이다.
일반적으로, 흉부, 어깨와 같은 부위의 X선을 촬영할 때는, 환자가 기기에 가서 자세를 취하고 촬영하는 방식이지만, 치아의 X선을 촬영하는 장치는 시술자가 직접 기기의 위치 및 각도를 조절하여 환자의 특정 치아 부위를 촬영하게 된다.
이때, 교육을 받고 있는 시술자의 경우 다양하고 많은 경험을 실전 감각을 쌓는 것이 중요한데, 교육을 진행할 때마다 X선 촬영장치를 가동시키는 것에는 무리가 있다.
또한, X선을 촬영하지 않고 단순하게 눈으로 확인하는 것은 학습 효과가 현저하게 떨어진다는 문제점이 있다.
이로 인해, 스마트폰, 테블릿과 같은 단말기를 통해 가상으로 X선을 촬영하는 시뮬레이션을 진행하여 X선 촬영장치를 구동하지 않고도 학습효과를 높일 수 있는 시뮬레이션 방법에 대해 필요성을 느끼게 되었다.
그러나, 이와 같이 단말기를 통해 가상으로 X선 촬영 시뮬레이션을 진행하는 것과 관련된 특허는 현재 개시되어 있지 않다.
일례로, 대한민국 공개특허공보 제10-2006-0030154호 등에 휴대용 엑스레이 촬영장치를 통해 X선을 촬영하는 내용만이 개시되어 있을 뿐, 상술한 문제점에 대한 근본적인 해결책은 제시되고 있지 못하는 실정이다.
상술한 바와 같은 문제점을 해결하기 위한 본 발명은 단말기의 카메라와 어플리케이션을 통해 X선을 방사하지 않고도 X선 촬영 시뮬레이션을 진행할 수 있는 증강현실을 이용한 X선 촬영 시뮬레이션 방법 및 프로그램을 제공할 수 있다.
또한, 본 발명은 팬텀에 부착된 마커를 통해 단말기 카메라의 상대좌표 및 상대각도를 산출하여 증강현실 영상으로 디스플레이하고, 가상을 X선 사진을 촬영할 수 있는 증강현실을 이용한 X선 촬영 시뮬레이션 방법 및 프로그램을 제공할 수 있다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상술한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 증강현실을 이용한 X선 촬영 시뮬레이션 방법은, X선 촬영장치의 암(Arm)에 결합된 단말기를 이용한 X선 촬영 시뮬레이션 방법에 있어서, 어플리케이션이 X선 촬영 시뮬레이션을 진행할 치아를 입력받는 단계; 상기 어플리케이션이 팬텀과 상기 입력받은 치아를 촬영하기 위한 카메라의 좌표 및 각도를 나타내는 가이드 포인트를 증강현실 영상으로 디스플레이하는 단계; 상기 치아를 촬영하기 위해 단말기의 위치 및 각도가 조절되는 단계로서, 상기 어플리케이션이 카메라의 실시간 촬영 영상 내 마커의 형상을 분석하여 상기 카메라의 상대좌표를 변경하고, 단말기의 자이로 센서(Gyro Sensor)를 통해 카메라의 상대각도를 변경하고, 상기 변경된 상대좌표 및 상대각도를 상기 증강현실 영상에 증강하여 디스플레이하는, 단계; 및 단말기의 위치 및 각도 조절이 완료된 후, 상기 어플리케이션이 카메라가 캡쳐한 이미지를 통해 가상의 X선 사진을 생성하는 단계;를 포함한다.
또한, 상기 입력받는 단계 이전에, 어플리케이션이 마커의 원본 이미지와 촬영 영상 내 마커의 형상을 비교하여 카메라와 마커가 평행이 되었다고 판단되면, 카메라의 상대좌표 및 상대각도를 설정하고, 시뮬레이션을 시작하는 단계;를 더 포함한다.
또한, 상기 시작하는 단계에 있어서, 상기 카메라의 상대좌표 및 상대각도는, 상기 마커의 위치를 기준좌표(0, 0, 0)로 하여 설정한다.
또한, 상기 시작하는 단계는, 어플리케이션이 단말기의 실시간 촬영 영상에 마커 인식영역을 표시하며, 마커가 상기 인식영역 내에 위치하면 카메라와 마커가 평행이 되었다고 판단하고, 상기 인식영역 내 마커의 크기가 일정크기 이내가 되면 카메라와 마커의 거리가 기준거리가 되었다고 판단하고, 카메라의 상대좌표 및 상대각도를 설정하고 시뮬레이션을 시작한다.
또한, 상기 조절되는 단계는, 상기 어플리케이션이 마커의 원본 이미지와 카메라의 실시간 촬영 영상 내 마커의 이미지의 크기 및 각도를 비교하여 카메라의 상대좌표를 변경한다.
또한, 상기 마커는, 검은색 정사각형, 문자, 바코드, QR코드 중 하나인 것을 특징으로 한다.
또한, 상기 디스플레이하는 단계는, 상기 어플리케이션이 저장부에 저장된 치아의 3차원 좌표를 통해 상기 입력받은 치아를 촬영하기 위한 카메라의 위치 및 각도를 산출하여 가이드 포인트를 생성하여 팬텀과 함께 증강현실 영상으로 디스플레이한다.
또한, 상기 어플리케이션이, 상기 치아의 X선 촬영 시뮬레이션이 실패했다고 판단되면, 상기 이미지를 촬영한 시점의 카메라의 상대좌표 및 상대각도와 가이드 포인트의 차이점을 디스플레이하는 단계;를 더 포함한다.
또한, 상기 어플리케이션은, 상기 단말기 카메라의 실시간 촬영 영상의 중심점을 상기 증강현실 영상에 디스플레이한다.
본 발명의 다른 실시예에 따른 증강현실을 이용한 X선 촬영 시뮬레이션 프로그램은, 하드웨어인 컴퓨터와 결합되어 상기 언급된 증강현실을 이용한 X선 촬영 시뮬레이션 방법을 실행하며, 매체에 저장된다.
상기와 같은 본 발명에 따르면, X선을 방사하지 않고도 실제 촬영과 같이 X선 촬영 시뮬레이션을 진행할 수 있는 효과가 있다.
또한, 시뮬레이션을 진행할 치아를 입력하고, 해당 치아를 촬영하기 위한 가이드 포인트를 제공하여 학습효과를 높이는 효과가 있다.
또한, 입력받은 치아를 촬영하고 시뮬레이션에 실패할 경우, 가이드 포인트와 비교하여 잘못된 점을 디스플레이하는 효과가 있다.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 실시예에 따른 단말기가 X선 촬영장치의 암(Arm)에 결합된 것을 도시한 개략도.
도 2는 본 발명의 실시예에 따른 증강현실을 이용한 X선 촬영 시뮬레이션 방법의 순서도.
도 3은 본 발명의 실시예에 따른 X선 촬영장치의 암(Arm)이 팬텀의 전방에 위치된 것을 예시한 예시도.
도 4는 본 발명의 실시예에 따른 인식영역에 마커가 위치되는 것을 예시한 예시도.
도 5는 본 발명의 실시예에 따른 팬텀과 가이드 포인트가 증강현실 영상으로 디스플레이된 것을 예시한 예시도.
도 6은 본 발명의 실시예에 따른 가상의 X선 사진이 디스플레이되는 것을 예시한 예시도.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.
설명에 앞서 본 명세서에서 사용하는 용어의 의미를 간략히 설명한다. 그렇지만 용어의 설명은 본 명세서의 이해를 돕기 위한 것이므로, 명시적으로 본 발명을 한정하는 사항으로 기재하지 않은 경우에 본 발명의 기술적 사상을 한정하는 의미로 사용하는 것이 아님을 주의해야 한다.
단말기: 본 발명의 실시예에 따른 단말기는 다양한 형태로 구현될 수 있다. 예를 들어, 스마트폰(Smart Phone), 휴대폰, 태블릿 PC(Tablet PC), 핸드헬드 단말(Hand Held Terminal), PDA(Personal Digital Assistant) 등과 같이 카메라를 구비하고, 어플리케이션의 설치 및 구동이 가능하며, X선 촬영장치의 암(Arm)에 결합 또는 장착될 수 있는 사이즈의 기기는 모두 적용 가능하다.
팬텀: 치아 X-Ray 촬영을 위한 학습 도구의 일종으로, X-Ray 촬영 시뮬레이션을 위해 촬영이 가능한 사람의 얼굴 형태의 모형을 의미한다.
X선 촬영장치: 환자의 치아를 촬영 가능한 X선 촬영 장치를 의미하며, 예를 들어 환자의 치아를 촬영하기 위해 치아 방향으로 배치하여 치아 촬영이 가능한 모든 X선 촬영장치를 포함한다.
도 1은 본 발명의 실시예에 따른 단말기가 X선 촬영장치의 암(Arm)에 결합된 것을 도시한 개략도이다.
도 1을 참조하면, 본 발명의 실시예에 따른 단말기(100)는 X선 촬영장치(800)의 암(Arm, 830)에 결합된다.
X선 촬영장치(800)의 암(Arm, 830)은 다단으로 이루어져, 높이를 조절할 수 있고 다양하게 각도를 조절할 수 있는 것이 바람직하지만, 이에 한정되지는 않는다.
일반적으로, X선 촬영을 학습하는 사용자의 경우 특정 치아의 촬영에 숙달되기 위해 많은 촬영을 진행해봐야하는데, 현실적으로 촬영을 진행할 때마다 X선을 직접 촬영할 수 없고, 촬영을 진행하지 않으면 학습의 효과가 떨어진다는 단점이 있다.
이에 본 발명의 실시예에 따른 증강현실을 이용한 X선 촬영 시뮬레이션 방법은, 카메라(110)를 구비하고 있고, 어플리케이션(130)이 설치되어 있는 단말기(100)를 X선 촬영장치(800)의 암(Arm, 830)에 결합시켜 팬텀(300)을 촬영함에 따른 단말기(100)의 위치, 각도를 산출하여 가상현실 영상으로 디스플레이하고, 이미지를 촬영하면 가상의 X선 사진을 생성하여 X선을 방사하지 않고도 실제 학습효과를 하는데 그 목적이 있다.
이하, 다른 도면들을 참조하여 본 발명의 실시예를 보다 상세하게 설명하도록 한다.
도 2는 본 발명의 실시예에 따른 증강현실을 이용한 X선 촬영 시뮬레이션 방법의 순서도이며, 도 3은 본 발명의 실시예에 따른 X선 촬영장치의 암(Arm)이 팬텀의 전방에 위치된 것을 예시한 예시도이고, 도 4는 본 발명의 실시예에 따른 인식영역에 마커가 위치되는 것을 예시한 예시도이며, 5는 본 발명의 실시예에 따른 팬텀과 가이드 포인트가 증강현실 영상으로 디스플레이된 것을 예시한 예시도이고, 도 6은 본 발명의 실시예에 따른 가상의 X선 사진이 디스플레이되는 것을 예시한 예시도이다.
도 2를 참조하여 본 발명의 실시예에 따른 증강현실을 이용한 X선 촬영 시뮬레이션의 방법에 대해서 설명하도록 한다.
먼저, 단말기(100)의 어플리케이션(130)이 단말기(100) 카메라(110)의 실시간 촬영 영상에서 팬텀(300)에 부착된 마커(330)를 인식하여 카메라(110)의 상대좌표 및 상대각도를 설정하고, 시뮬레이션을 시작한다. (S510단계)
보다 상세하게는, S510단계는 단말기(100) 어플리케이션(130)이 단말기(100) 카메라(110)의 실시간 촬영 영상에서 팬텀(300)에 부착된 마커(330)를 인식하는 단계(S515단계) 및 어플리케이션(130)이 마커(330)의 원본 이미지와 촬영 영상 내 마커(330)의 형상을 비교하여 카메라(110)와 마커(330)가 평행이 되었다고 판단되면, 카메라(110)의 상대좌표 및 상대각도를 설정하고 시뮬레이션을 시작하는 단계(S520단계)로 이루어진다.
그리고, S510단계는 단말기(100)가 결합된 X선 촬영장치(800)의 암(830)을 조절하여 카메라(110)가 마커(330)와 기 설정된 거리 이내에 위치하도록 하고, 카메라(110)와 마커(330)가 평행이 이루도록 한다.
이때, 카메라(110)와 마커(330)의 거리는 70cm 정도가 되는 것이 적당하지만, 마커(330)의 크기와 단말기(100)의 카메라(110)의 초점에 따라서 용이하게 선택하도록 한다.
그리고, 본 발명의 실시예에 따른 마커(330)는 팬텀(300)의 미간에 부착되어 있으며, 마커(330)의 위치를 기준좌표(0, 0, 0)로 설정하고, 마커(330)의 좌표를 기준으로 하여 카메라(110)의 상대좌표 및 상대각도를 설정하도록 한다.
보다 상세하게는, S520단계는 어플리케이션(130)이 단말기(100)의 실시간 촬영 영상에 마커(330) 인식영역(500)을 표시하고, 마커(330)가 인식영역(500) 내에 위치하면 카메라(110)와 마커(330)가 평행이 되었다고 판단하고, 인식영역(500) 내 마커(330)의 크기가 일정크기 이내가 되면 카메라(110)와 마커(330)의 거리가 기준거리가 되었다고 판단하고, 카메라(110)의 상대좌표 및 상대각도를 설정하고 시뮬레이션을 시작하도록 한다.
따라서, 도 4와 같이 (A)와 같이 마커(330)의 이미지가 인식영역(500)의 위에 위치하면 단말기(100)의 높이를 아래로 조절하고, (B)와 같이 마커(330)의 이미지가 인식영역(500)의 아래에 위치하면 단말기(100)의 높이를 위로 조절하도록 한다.
그리고, (C)와 같이 위치하면 카메라(110)와 마커(330)의 높이가 평행이 된 것으로 인식하게 된다.
또한, 마커(330)가 인식영역(500) 내에 위치하면, 어플리케이션(130)은 마커(330)의 원본 이미지와 카메라(110)의 촬영 영상 내 마커(330)의 크기를 비교하여 일정크기 이내가 되면 카메라(110)와 마커(330)의 거리가 기준거리가 되었다고 판단하게 된다.
그리고, 도 3과 같이 X선 촬영장치(800)의 암(830)이 돌출되어 있는 관이 구비되어 있을 경우, 관두를 팬텀(300)의 입 중앙에 위치시켜 팬텀(300)과 카메라(110)의 거리를 조절할 수 있다.
그리고, 시뮬레이션을 시작하는 단계(S510단계)에 있어서, 카메라(110)의 상대각도를 설정하기 위해서 단말기(100)는 도 3과 같이 직각으로 암(830)에 결합하도록 한다.
S510단계 다음, 어플리케이션(130)을 통해 X선 촬영 시뮬레이션을 진행할 치아를 입력 또는 선택 받는다. (S530단계)
바람직하게는, 본 발명의 실시예에 따른 X선 촬영 시뮬레이션은 특정 치아를 촬영하는 것을 시뮬레이션 하기 위한 것이기 때문에 시뮬레이션을 진행할 치아를 입력받는 것을 의미한다.
S530단계 다음, 어플리케이션(130)이 입력받은 치아를 촬영하기 위한 카메라(110)의 좌표 및 각도를 나타내는 가이드 포인트(530)를 팬텀(300)과 함께 증강현실 영상으로 디스플레이한다. (S550단계)
보다 상세하게는, 어플리케이션(130)이 저장부(150)에 저장된 치아의 3차원 좌표를 통해 상기 입력받은 치아를 촬영하기 위한 카메라(110)의 위치 및 각도를 산출하여 가이드 포인트(530)를 생성하여 팬텀(300)과 함께 증강현실 영상으로 디스플레이하는 것을 의미한다.
따라서, 도 5의 (A)와 같이 증강현실 영상으로 팬텀(300)과 가이드 포인트(530)를 디스플레이하여 사용자로 하여금 해당 위치에서 촬영하여 시뮬레이션을 진행하면 정확한 X선 촬영을 하였다는 것을 알 수 있게 된다.
또한, 어플리케이션(130)은 단말기(100) 카메라(110)의 실시간 촬영 영상의 중심점(550)을 증강현실 영상에 디스플레이하도록 한다.
따라서, 도 5의 (A)에서는 현재 카메라(110)의 촬영 영상의 중심점(550)이 팬텀(300)의 인중 부분을 향하고 있는 것을 디스플레이하고 있다.
S550단계 다음, 상기 입력받은 치아를 촬영하기 위해 단말기(100)의 위치 및 각도가 조절되는 단계로서, 어플리케이션(130)이 카메라(110)의 실시간 촬영 영상 내 마커(330)의 형상을 분석하여 카메라(110)의 상대좌표를 변경하고, 단말기(100)의 자이로 센서(Gyro Sensor, 170)를 통해 카메라(110)의 상대각도를 변경하고, 변경된 상대좌표 및 상대각도를 증강현실 영상에 증강하여 디스플레이 한다. (S570단계)
바람직하게는, S570단계는, 상기 어플리케이션(130)이 카메라(110)의 실시간 촬영 영상 내 마커(330)의 형상을 분석하여 단말기(100)의 변경된 위치에 따른 상기 카메라(110)의 상대좌표를 변경하고, 단말기(100)의 자이로 센서(170)를 통해 단말기(100)의 변경된 각도에 따른 상기 카메라(110)의 상대각도를 변경하여, 상기 변경된 상대좌표 및 상대각도를 통해 상기 카메라(110)의 실시간 촬영 영상의 중심점(550)을 상기 증강현실 영상에 증강하여 디스플레이하는 단계를 의미한다.
이때, 단말기(100)에 포함되어 있는 자이로 센서(170)는 단말기(100)의 x축, y축, z축의 기울기, 각도를 측정할 수 있는 센서이기 때문에, 이를 이용하여 단말기(100)의 카메라(110)의 기준각도로부터의 상대각도를 산출하는 것을 의미한다.
바람직하게는, S530단계에서 입력받은 치아를 촬영하기 위해서 단말기(100)의 위치 및 각도를 조절하는 단계로, 단말기(100)의 변경된 위치 및 각도에 따른 촬영 영상 내 마커(330)의 형상을 분석하여 카메라(110)의 상대좌표를 업데이트하고, 단말기(100)의 자이로 센서(170)를 통해 카메라(110)의 상대각도를 업데이트하여 카메라(110)의 위치 및 각도를 증강현실 영상에 증강하여 디스플레이하는 것을 의미한다.
이때, 증강현실 영상에 증강하는 것은, 카메라(110)의 상대좌표 및 상대각도의 변경된 점을 업데이트 하여 증강현실 영상에 반영하는 것을 의미한다.
보다 상세하게는, 어플리케이션(130)이 마커(330)의 원본 이미지와 카메라(110)의 실시간 촬영 영상 내 마커(330)의 이미지의 크기 및 각도를 비교하여 카메라(110)의 상대좌표를 변경하는 것을 의미한다.
예컨대, 마커(330)가 검은색의 정사각형으로 이루어졌을 경우, 시뮬레이션을 시작하는 단계(S510단계)에서는 카메라(110)의 촬영 영상 내 마커(330)의 형상이 정사각형으로 표시되지만, 단말기(100)의 위치가 조절되었을 경우 마커(330)를 정면이 아닌 다른 각도에서 촬영하기 때문에, 카메라(110)의 촬영 영상 내 마커(330)의 형상이 정사각형이 기울어진 형상을 띄게 된다.
따라서, 어플리케이션(130)은 이러한 마커(330)의 형상이 기울어진 형상을 분석하여 카메라(110)의 상대좌표를 산출하게 된다.
이때, 어플리케이션(130)이 마커(330)의 형상을 정확하게 판별하기 위해 마커(330)는 검은색 정사각형, 문자, 바코드, QR코드 중 하나인 것이 바람직하다.
또한, S530단계에서 입력받은 치아를 촬영하기 위해서 카메라(110)의 각도를 조절해야 하기 때문에, 단말기(100)의 각도가 조절되면 어플리케이션(130)이 자이로 센서(170)의 센싱을 감지하고 카메라(110)의 상대각도를 변경하게 된다.
S570단계 다음, 단말기(100)의 위치 및 각도 조절이 완료된 후, 어플리케이션(130)이 카메라(110)가 촬영 또는 캡쳐한 이미지를 통해 가상의 X선 사진을 생성한다. (S590단계)
S570단계에서 치아를 촬영하기 위해 단말기(100)의 위치 및 각도 조절이 완료된 후 어플리케이션(130)의 캡쳐 버튼을 클릭하여 카메라(110)의 촬영 영상을 캡쳐하도록 하고, 어플리케이션(130)이 카메라(110)가 캡쳐한 이미지를 통해 가상의 X선 사진을 생성하는 것을 의미한다.
예컨대, 도 6과 같이 ①의 이미지에서 이미지를 캡쳐한 시점의 카메라(110)의 촬영 영상의 중심점(550)이 디스플레이되고 있고, ②에 가이드 포인트(530)에 대한 정보가 표시되고, ③에서 어플리케이션(130)이 생성한 가상의 X선 사진이 디스플레이되는 것이 예시되고 있다.
그리고, S590단계 다음, 어플리케이션(130)이 S530단계에서 입력받은 치아의 X선 촬영 시뮬레이션이 실패했다고 판단되면, 이미지를 캡쳐한 시점의 카메라(110)의 상대좌표 및 상대각도와 가이드 포인트(530)의 차이점을 디스플레이하는 단계를 더 포함할 수 있다.
따라서, X선 촬영 시뮬레이션이 실패하게 되면, 사용자는 어플리케이션(130)을 통해서 시뮬레이션과 가이드 포인트(530)의 차이점을 확인하고, 문제점을 알아낼 수 있으며, S570단계로 돌아가서 단말기(100)의 위치 및 각도를 다시 조절하여 시뮬레이션을 진행하여 학습의 효과를 높일 수 있다.
이외에, 시뮬레이션을 시작하는 단계(S510단계)에서, 어플리케이션(130)은 카메라(110)와 마커(330)의 수평각도가 10° 이내가 되면, 카메라(110)와 마커(330)가 평행이 되었다고 판단하고, 카메라(110)와 마커(330)의 수평각도를 보정값으로 저장하도록 한다.
그리고, 단말기(100)의 위치 및 각도가 조절되는 단계(S570단계)에서 카메라(110)의 실시간 촬영 영상 내 마터의 형상을 분석하여 카메라(110)의 상대좌표를 변경하고, 상기 보정값을 통해 상대좌표를 보정하도록 한다.
이는, 카메라(110)와 마커(330)가 완벽하게 수평을 이루도록 하는 것은 현실적으로 힘들 수 있기 때문에, 기 설정된 각도 이내가 되면 수평이 된 것으로 판단하여 시뮬레이션을 시작하도록 하고, 카메라(110)와 마커(330)의 수평각도를 보정값으로 저장하여 시뮬레이션을 진행할 때 상대좌표에 보정값을 산출하여 상대좌표를 보정하도록 하는 것을 의미한다.
또한, 어플리케이션(130)이 무선으로 연결되어 있는 프린터를 통해 상기 가상의 X선 사진을 출력하는 단계를 더 포함할 수 있다.
이상에서 전술한 본 발명의 일 실시예에 따른 증강현실을 이용한 X선 촬영 시뮬레이션 방법은, 하드웨어인 서버와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다.
상기 전술한 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.
상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.
본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.
100: 단말기
110: 카메라 130: 어플리케이션
150: 저장부 170: 자이로 센서
300: 팬텀 330: 마커
500: 인식영역 530: 가이드 포인트
550: 중심점
800: X선 촬영장치 830: 암(Arm)

Claims (10)

  1. X선 촬영장치의 암(Arm)에 결합된 단말기를 이용한 X선 촬영 시뮬레이션 방법에 있어서,
    어플리케이션이 X선 촬영 시뮬레이션을 진행할 치아를 입력받는 단계;
    상기 어플리케이션이 팬텀과 상기 입력받은 치아를 촬영하기 위한 카메라의 좌표 및 각도를 나타내는 가이드 포인트를 증강현실 영상으로 디스플레이하는 단계;
    상기 치아를 촬영하기 위해 단말기의 위치 및 각도가 조절되는 단계로서, 상기 어플리케이션이 카메라의 실시간 촬영 영상 내 마커의 형상을 분석하여 상기 카메라의 상대좌표를 변경하고, 단말기의 자이로 센서(Gyro Sensor)를 통해 카메라의 상대각도를 변경하고, 상기 변경된 상대좌표 및 상대각도를 상기 증강현실 영상에 증강하여 디스플레이하는, 단계; 및
    단말기의 위치 및 각도 조절이 완료된 후, 상기 어플리케이션이 카메라가 캡쳐한 이미지를 통해 가상의 X선 사진을 생성하는 단계;를 포함하는, 증강현실을 이용한 X선 촬영 시뮬레이션 방법.
  2. 제1항에 있어서,
    상기 입력받는 단계 이전에,
    어플리케이션이 마커의 원본 이미지와 촬영 영상 내 마커의 형상을 비교하여 카메라와 마커가 평행이 되었다고 판단되면, 카메라의 상대좌표 및 상대각도를 설정하고, 시뮬레이션을 시작하는 단계;를 더 포함하는, 증강현실을 이용한 X선 촬영 시뮬레이션 방법.
  3. 제2항에 있어서,
    상기 시작하는 단계에 있어서,
    상기 카메라의 상대좌표 및 상대각도는, 상기 마커의 위치를 기준좌표(0, 0, 0)로 하여 설정하는, 증강현실을 이용한 X선 촬영 시뮬레이션 방법.
  4. 제2항에 있어서,
    상기 시작하는 단계는,
    어플리케이션이 단말기의 실시간 촬영 영상에 마커 인식영역을 표시하며, 마커가 상기 인식영역 내에 위치하면 카메라와 마커가 평행이 되었다고 판단하고, 상기 인식영역 내 마커의 크기가 일정크기 이내가 되면 카메라와 마커의 거리가 기준거리가 되었다고 판단하고, 카메라의 상대좌표 및 상대각도를 설정하고 시뮬레이션을 시작하는, 증강현실을 이용한 X선 촬영 시뮬레이션 방법.
  5. 제1항에 있어서,
    상기 조절되는 단계는,
    상기 어플리케이션이 마커의 원본 이미지와 카메라의 실시간 촬영 영상 내 마커의 이미지의 크기 및 각도를 비교하여 카메라의 상대좌표를 변경하는, 증강현실을 이용한 X선 촬영 시뮬레이션 방법.
  6. 제1항에 있어서,
    상기 마커는,
    검은색 정사각형, 문자, 바코드, QR코드 중 하나인 것을 특징으로 하는, 증강현실을 이용한 X선 촬영 시뮬레이션 방법.
  7. 제1항에 있어서,
    상기 디스플레이하는 단계는,
    상기 어플리케이션이 저장부에 저장된 치아의 3차원 좌표를 통해 상기 입력받은 치아를 촬영하기 위한 카메라의 위치 및 각도를 산출하여 가이드 포인트를 생성하여 팬텀과 함께 증강현실 영상으로 디스플레이하는, 증강현실을 이용한 X선 촬영 시뮬레이션 방법.
  8. 제7항에 있어서,
    상기 어플리케이션이, 상기 치아의 X선 촬영 시뮬레이션이 실패했다고 판단되면, 상기 이미지를 촬영한 시점의 카메라의 상대좌표 및 상대각도와 가이드 포인트의 차이점을 디스플레이하는 단계;를 더 포함하는, 증강현실을 이용한 X선 촬영 시뮬레이션 방법.
  9. 제1항에 있어서,
    상기 어플리케이션은,
    상기 단말기 카메라의 실시간 촬영 영상의 중심점을 상기 증강현실 영상에 디스플레이하는, 증강현실을 이용한 X선 촬영 시뮬레이션 방법.
  10. 하드웨어인 컴퓨터와 결합되어, 제1항 내지 제9항 중 어느 한 항의 방법을 실행시키기 위하여 매체에 저장된, 증강현실을 이용한 X선 촬영 시뮬레이션 프로그램.
KR1020180035012A 2018-03-27 2018-03-27 증강현실을 이용한 x선 촬영 시뮬레이션 방법 및 프로그램 KR102048208B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180035012A KR102048208B1 (ko) 2018-03-27 2018-03-27 증강현실을 이용한 x선 촬영 시뮬레이션 방법 및 프로그램

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180035012A KR102048208B1 (ko) 2018-03-27 2018-03-27 증강현실을 이용한 x선 촬영 시뮬레이션 방법 및 프로그램

Publications (2)

Publication Number Publication Date
KR20190112968A true KR20190112968A (ko) 2019-10-08
KR102048208B1 KR102048208B1 (ko) 2019-11-25

Family

ID=68208788

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180035012A KR102048208B1 (ko) 2018-03-27 2018-03-27 증강현실을 이용한 x선 촬영 시뮬레이션 방법 및 프로그램

Country Status (1)

Country Link
KR (1) KR102048208B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210092983A (ko) * 2020-01-17 2021-07-27 연봉근 증강현실 기반의 3d 스캐닝 가이드를 이용한 사용자 가슴 정보 제공 방법 및 프로그램
KR20210123747A (ko) * 2020-04-06 2021-10-14 연봉근 증강현실 기반 가슴 정보 제공 방법 및 프로그램
KR20220160385A (ko) * 2021-05-27 2022-12-06 남서울대학교 산학협력단 증강 및 가상현실형 단계별 치아조각실습 시뮬레이터

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009133918A (ja) * 2007-11-28 2009-06-18 Niigata Univ 口内法エックス線撮影実習評価システム
KR101212636B1 (ko) * 2010-08-20 2012-12-20 한국과학기술원 증강 현실에서 위치 정보를 표시하는 방법 및 장치
KR101334049B1 (ko) * 2011-03-16 2013-11-28 성준형 증강 현실 기반 사용자 인터페이스 제공 장치 및 방법
KR20140137980A (ko) * 2013-05-24 2014-12-03 테크빌닷컴 주식회사 스마트 센서를 이용한 영상 인식 및 증강 현실 제공 방법, 단말 장치 및 컴퓨터 판독 가능한 기록 매체

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009133918A (ja) * 2007-11-28 2009-06-18 Niigata Univ 口内法エックス線撮影実習評価システム
KR101212636B1 (ko) * 2010-08-20 2012-12-20 한국과학기술원 증강 현실에서 위치 정보를 표시하는 방법 및 장치
KR101334049B1 (ko) * 2011-03-16 2013-11-28 성준형 증강 현실 기반 사용자 인터페이스 제공 장치 및 방법
KR20140137980A (ko) * 2013-05-24 2014-12-03 테크빌닷컴 주식회사 스마트 센서를 이용한 영상 인식 및 증강 현실 제공 방법, 단말 장치 및 컴퓨터 판독 가능한 기록 매체

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210092983A (ko) * 2020-01-17 2021-07-27 연봉근 증강현실 기반의 3d 스캐닝 가이드를 이용한 사용자 가슴 정보 제공 방법 및 프로그램
KR20210123747A (ko) * 2020-04-06 2021-10-14 연봉근 증강현실 기반 가슴 정보 제공 방법 및 프로그램
KR20220160385A (ko) * 2021-05-27 2022-12-06 남서울대학교 산학협력단 증강 및 가상현실형 단계별 치아조각실습 시뮬레이터

Also Published As

Publication number Publication date
KR102048208B1 (ko) 2019-11-25

Similar Documents

Publication Publication Date Title
CN109740491B (zh) 一种人眼视线识别方法、装置、系统及存储介质
KR102048208B1 (ko) 증강현실을 이용한 x선 촬영 시뮬레이션 방법 및 프로그램
CN110123257A (zh) 一种视力检测方法、装置、视力检测仪及计算机存储介质
US9377859B2 (en) Enhanced detection of circular engagement gesture
KR102013928B1 (ko) 영상 변형 장치 및 그 방법
CN108881724B (zh) 一种图像获取方法、装置、设备及存储介质
CN113994396A (zh) 基于增强现实和/或姿势检测技术的用户引导系统
CN110148191B (zh) 视频虚拟表情生成方法、装置及计算机可读存储介质
KR101631011B1 (ko) 제스처 인식 장치 및 제스처 인식 장치의 제어 방법
US11042730B2 (en) Method, apparatus and device for determining an object, and storage medium for the same
KR20180005528A (ko) 영상 처리를 위한 디스플레이 장치 및 방법
CN113936324A (zh) 注视检测方法、电子设备的控制方法及相关设备
CN110427849B (zh) 人脸姿态确定方法、装置、存储介质和电子设备
US10162997B2 (en) Electronic device, computer readable storage medium and face image display method
CN113926172A (zh) 使用被配置为检查重叠状态下两个高尔夫图像和结果数据的应用程序的姿势比较和校正方法
CN111857333A (zh) 眼动追踪方法、装置及电子设备
KR102045228B1 (ko) 신체 정보 분석 장치 및 얼굴형 모의 방법
US10248307B2 (en) Virtual reality headset device with front touch screen
US20160350622A1 (en) Augmented reality and object recognition device
CN114241604A (zh) 姿态检测的方法、装置、电子设备和存储介质
KR20160075884A (ko) 스켈레톤 트래킹 방법 및 이를 이용한 스켈레톤 트래킹 시스템
TW201640448A (zh) 判定一非對稱鏡片之靜止角之系統與方法
JP2019128748A (ja) 視線校正データ生成装置、視線測定装置およびそれらのプログラム
US9300908B2 (en) Information processing apparatus and information processing method
JP2009194697A (ja) 指示システム、指示プログラム及び指示装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant