KR102236360B1 - 스캔 가이드 제공 방법 이를 위한 영상 처리장치 - Google Patents

스캔 가이드 제공 방법 이를 위한 영상 처리장치 Download PDF

Info

Publication number
KR102236360B1
KR102236360B1 KR1020190036899A KR20190036899A KR102236360B1 KR 102236360 B1 KR102236360 B1 KR 102236360B1 KR 1020190036899 A KR1020190036899 A KR 1020190036899A KR 20190036899 A KR20190036899 A KR 20190036899A KR 102236360 B1 KR102236360 B1 KR 102236360B1
Authority
KR
South Korea
Prior art keywords
scan path
guide
user
scan
oral scanner
Prior art date
Application number
KR1020190036899A
Other languages
English (en)
Other versions
KR20200114710A (ko
Inventor
김설호
Original Assignee
오스템임플란트 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 오스템임플란트 주식회사 filed Critical 오스템임플란트 주식회사
Priority to KR1020190036899A priority Critical patent/KR102236360B1/ko
Priority to EP20782603.3A priority patent/EP3925569B1/en
Priority to US17/436,889 priority patent/US20220160476A1/en
Priority to PCT/KR2020/003024 priority patent/WO2020204366A2/ko
Priority to CN202080026083.5A priority patent/CN113645893A/zh
Publication of KR20200114710A publication Critical patent/KR20200114710A/ko
Application granted granted Critical
Publication of KR102236360B1 publication Critical patent/KR102236360B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/24—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the mouth, i.e. stomatoscopes, e.g. with tongue depressors; Instruments for opening or keeping open the mouth
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00—Impression cups, i.e. impression trays; Impression methods
    • A61C9/004—Means or methods for taking digitized impressions
    • A61C9/0046—Data acquisition means or methods
    • A61C9/0053—Optical means or methods, e.g. scanning the teeth by a laser or light beam
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064—Constructional details of the endoscope body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00131—Accessories for endoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062—Arrangements for scanning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062—Arrangements for scanning
    • A61B5/0064—Body surface scanning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0088—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for oral or dental tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4538—Evaluating a particular part of the muscoloskeletal system or a particular medical condition
    • A61B5/4542—Evaluating the mouth, e.g. the jaw
    • A61B5/4547—Evaluating teeth
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/743—Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7445—Display arrangements, e.g. multiple display units
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C19/00—Dental auxiliary appliances
    • A61C19/04—Measuring instruments specially adapted for dentistry
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00—Impression cups, i.e. impression trays; Impression methods
    • A61C9/004—Means or methods for taking digitized impressions
    • A61C9/0046—Data acquisition means or methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth

Abstract

스캔 가이드 제공 방법 이를 위한 영상 처리장치가 개시된다. 일 실시 예에 따른 스캔 가이드 제공 방법은, 구강 스캐너의 스캔 전략을 제공하는 가이드 스캔 경로를 스캔 화면에 표시하는 단계와, 가이드 스캔 경로를 따라 구강 스캐너를 통해 실제로 스캔되는 사용자 스캔 경로를 추적하는 단계와, 추적된 사용자 스캔 경로를 가이드 스캔 경로와 함께 표시하는 단계를 포함한다.

Description

스캔 가이드 제공 방법 이를 위한 영상 처리장치 {Method for providing scan guide and image processing apparatus therefor}
본 발명은 구강 스캐너 및 스캐닝을 위한 영상처리 기술에 관한 것이다.
구강 스캐너를 통해 치아를 정확하게 촬영하기 위한 스캔 가이드가 제공될 수 있다. 그런데 이러한 스캔 가이드는 별도의 문서 또는 웹 페이지를 통해 제공된다. 그러므로 사용자가 제품 설명서를 읽어보지 않으면 스캔 가이드의 존재 여부를 알지 못할 수 있다. 또한, 스캔 가이드를 알고 있더라도, 본인이 스캔 가이드대로 잘 촬영하고 있는지 확인할 방법이 없다.
일 실시 예에 따라, 스캔 가이드를 스캔 화면을 통해 제공함에 따라 사용자가 스캔 가이드대로 촬영하고 있는지를 확인할 수 있는 스캔 가이드 제공 방법 이를 위한 영상 처리장치를 제안한다.
일 실시 예에 따른 스캔 가이드 제공 방법은, 구강 스캐너의 스캔 전략을 제공하는 가이드 스캔 경로를 스캔 화면에 표시하는 단계와, 가이드 스캔 경로를 따라 구강 스캐너를 통해 실제로 스캔되는 사용자 스캔 경로를 추적하는 단계와, 추적된 사용자 스캔 경로를 가이드 스캔 경로와 함께 표시하는 단계를 포함한다.
가이드 스캔 경로를 스캔 화면에 표시하는 단계에서, 구강 스캐너의 제조사 별로 사전에 설정된 가이드 스캔 경로를 화면에 표시할 수 있다.
가이드 스캔 경로를 스캔 화면에 표시하는 단계에서, 가이드 스캔 경로를 사용자 조작에 의해 회전하거나 구강 스캐너를 통해 실제 촬영되는 위치와 동일한 시점으로 이동하여 화면에 표시할 수 있다.
가이드 스캔 경로를 스캔 화면에 표시하는 단계에서, 구강 스캐너를 통해 실제 촬영되는 위치와 동기화되어 가이드 스캔 경로를 실시간으로 회전하여 화면에 표시할 수 있다.
사용자 스캔 경로를 추적하는 단계는, 구강 스캐너의 스캔을 통해 얻어지는 2D 이미지를 재구성하여 뎁스 이미지를 생성하는 단계와, 뎁스 이미지를 구성하는 각 객체의 중심점 또는 주점을 서로 연결하는 단계와, 각 객체의 중심점 또는 주점에서 3D 객체의 표면 위치로의 교차 지점을 검출하고 검출된 교차 지점들을 서로 연결하여 사용자 스캔 경로를 생성하는 단계를 포함할 수 있다. 이때, 사용자 스캔 경로를 추적하는 단계는, 검출된 교차 지점들로부터 미리 설정된 거리를 두고 형성되는 지점들을 서로 연결하여 사용자 스캔 경로를 보정하는 단계를 더 포함할 수 있다.
사용자 스캔 경로를 추적하는 단계에서, 구강 스캐너의 스캔을 통해 얻어지는 3D 이미지의 각 개체의 중심점을 서로 연결하여 사용자 스캔 경로를 생성할 수 있다.
가이드 스캔 경로와 함께 표시하는 단계에서, 추적된 사용자 스캔 경로의 스케일을 가이드 스캔 경로의 스케일과 일치시킨 후 사용자 스캔 경로를 가이드 스캔 경로에 매칭하여 표시할 수 있다.
스캔 가이드 제공 방법은, 실제 구강 스캐너를 통해 스캔된 영상 데이터에 사용자 스캔 경로를 표시하는 단계를 더 포함할 수 있다.
스캔 가이드 제공 방법은, 스캔 가이드의 표시 또는 미표시 여부의 사용자 설정을 위한 사용자 인터페이스를 제공하는 단계와, 스캔 가이드의 투명도의 사용자 설정을 위한 사용자 인터페이스를 제공하는 단계를 더 포함할 수 있다.
스캔 가이드 제공 방법은, 사용자 스캔 경로와 가이드 스캔 경로를 비교 분석하는 단계와, 비교 분석 결과 및 비교 분석 결과에 따라 발생하는 경고신호 중 적어도 하나를 제공하는 단계를 더 포함할 수 있다.
다른 실시 예에 따른 영상 처리장치는, 사용자의 구강 내부 또는 구강 모형을 스캔한 영상 데이터를 구강 스캐너로부터 획득하는 데이터 획득부와, 구강 스캐너로부터 획득된 영상 데이터와, 구강 스캐너의 스캔 전략을 제공하는 가이드 스캔 경로를 화면에 표시하는 출력부와, 데이터 획득부를 통해 획득된 영상 데이터를 수신하여 영상 처리하고 가이드 스캔 경로를 출력부에 제공하는 제어부를 포함한다.
출력부는 가이드 스캔 경로를 사용자 조작에 의해 회전하거나 구강 스캐너를 통해 실제 촬영되는 위치와 동일한 시점으로 이동하여 화면에 표시할 수 있다.
출력부는 구강 스캐너를 통해 실제 촬영되는 위치와 동기화되어 가이드 스캔 경로를 실시간으로 회전하여 화면에 표시 할 수 있다.
출력부는 스캔 가이드의 표시 또는 미표시 여부의 사용자 설정을 위한 사용자 인터페이스와, 스캔 가이드의 투명도의 사용자 설정을 위한 사용자 인터페이스를 화면에 표시할 수 있다.
제어부는, 가이드 스캔 경로를 따라 구강 스캐너를 통해 실제로 스캔되는 사용자 스캔 경로를 추적하고 추적된 사용자 스캔 경로를 가이드 스캔 경로에 매칭하여 화면을 구성하고, 출력부는 가이드 스캔 경로와 함께 사용자 스캔 경로를 화면에 표시할 수 있다.
제어부는 구강 스캐너의 스캔을 통해 얻어지는 2D 이미지를 재구성하여 뎁스 이미지를 생성하고, 뎁스 이미지를 구성하는 각 객체의 중심점 또는 주점을 서로 연결하며, 각 객체의 중심점 또는 주점에서 3D 객체의 표면 위치로의 교차 지점을 검출하고 검출된 교차 지점들을 서로 연결하여 사용자 스캔 경로를 생성할 수 있다. 이때, 제어부는 검출된 교차 지점들로부터 미리 설정된 거리를 두고 형성되는 지점들을 서로 연결하여 사용자 스캔 경로를 보정할 수 있다.
제어부는 구강 스캐너의 스캔을 통해 얻어지는 3D 이미지의 각 개체의 중심점을 서로 연결하여 사용자 스캔 경로를 생성할 수 있다. 제어부는 추적된 사용자 스캔 경로의 스케일을 가이드 스캔 경로의 스케일과 일치시킨 후 사용자 스캔 경로를 가이드 스캔 경로에 매칭할 수 있다.
출력부는 실제 구강 스캐너를 통해 스캔된 영상 데이터에 사용자 스캔 경로를 표시할 수 있다. 제어부는 사용자 스캔 경로와 가이드 스캔 경로를 비교 분석하고 비교 분석 결과 및 비교 분석 결과에 따라 발생하는 경고신호 중 적어도 하나를 제공할 수 있다.
일 실시 예에 따른 스캔 가이드 제공 방법 이를 위한 영상 처리장치에 따르면, 스캔 프로그램의 스캔 화면에 구강 스캐너를 이용한 스캔 전략을 제공하는 스캔 가이드를 제공함에 따라 사용자가 가이드 스캔 경로를 프로그램을 통해 확인할 수 있다.
또한, 가이드 스캔 경로에 촬영 중인 영상 데이터와 함께 실시간 스캔 방향을 추적한 사용자 스캔 경로를 표시함에 따라 본인이 가이드 스캔 경로대로 잘 촬영하고 있는지를 확인할 수 있다. 이에 따라, 보다 정확한 스캔 영상 데이터를 획득할 수 있다. 나아가, 구강 스캐너를 통한 스캔훈련에도 적용 가능하다.
도 1은 본 발명의 일 실시 예에 따른 영상 처리장치의 구성을 도시한 도면,
도 2 및 도 3은 본 발명의 일 실시 예에 따른 스캔 가이드 화면의 배치 및 설정 화면을 도시한 도면,
도 4 및 도 5는 본 발명의 다양한 실시 예에 따른 스캔 가이드 온/오프 기능을 도시한 도면,
도 6은 본 발명의 일 실시 예에 따른 사용자 스캔 경로를 추적하는 화면을 도시한 도면,
도 7은 본 발명의 일 실시 예에 따른 사용자 스캔 경로를 추적하기 위한 알고리즘을 설명하기 위한 프로그램 화면을 도시한 도면,
도 8은 본 발명의 일 실시 예에 따른 추적된 사용자 스캔 경로와 가이드 스캔 경로를 비교하여 출력하는 스캔 화면을 도시한 도면,
도 9는 사용자마다 사용자 스캔 경로와 가이드 스캔 경로가 매칭되지 않음을 보여주는 도면,
도 10은 본 발명의 일 실시 예에 따른 사용자 스캔 경로와 가이드 스캔 경로가 매칭시키는 화면을 도시한 도면,
도 11은 본 발명의 일 실시 예에 따른 사용자 스캔 경로와 가이드 스캔 경로를 비교하여 보여주는 화면을 도시한 도면,
도 12는 본 발명의 일 실시 예에 따른 스캔 가이드 제공 방법의 흐름을 도시한 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
본 발명의 실시 예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이며, 후술되는 용어들은 본 발명의 실시 예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램인스트럭션들(실행 엔진)에 의해 수행될 수도 있으며, 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장치의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장치의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다.
이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장치를 지향할 수 있는 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다.
그리고 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장치 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장치 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장치를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명되는 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록 또는 각 단계는 특정된 논리적 기능들을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있으며, 몇 가지 대체 실시 예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하며, 또한 그 블록들 또는 단계들이 필요에 따라 해당하는 기능의 역순으로 수행되는 것도 가능하다.
이하, 첨부 도면을 참조하여 본 발명의 실시 예를 상세하게 설명한다. 그러나 다음에 예시하는 본 발명의 실시 예는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 다음에 상술하는 실시 예에 한정되는 것은 아니다. 본 발명의 실시 예는 이 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위하여 제공된다.
도 1은 본 발명의 일 실시 예에 따른 영상 처리장치의 구성을 도시한 도면이다.
영상 처리장치(1)는 영상 처리 프로그램을 실행 가능한 전자장치이다. 일 실시 예에 따른 영상 처리 프로그램은 구강 스캐너를 통해 획득된 영상 데이터를 영상 처리하고, 구강 스캐너를 통해 치아를 정확하게 촬영하기 위한 스캔 전략을 가이드한다. 전자장치는 컴퓨터, 노트북 컴퓨터, 랩탑 컴퓨터, 태블릿(Tablet) PC, 스마트폰, 휴대폰, PMP(Personal Media Player), PDA(Personal Digital Assistants) 등이 있다. 영상 처리 프로그램은 스캔 프로그램, CAD 프로그램 등이 있다. 또한, 구강 스캐닝 이외에 다른 일반적인 의료영상 처리를 위한 프로그램에 적용될 수 있다. 나아가, 구강 스캐너를 이용한 스캔훈련에 사용될 수 있다.
구강 스캐너는 사용자의 구강 내부를 스캔하여 구강 내부의 영상 데이터를 획득한다. 영상 처리장치(1)는 구상 스캐너로부터 데이터 획득부(10)를 통해 영상 데이터를 수신하고 제어부(14)를 이용하여 구강 스캐너가 획득한 영상 데이터를 처리한다. 또한, 구강 스캐너를 통해 치아를 정확하게 촬영하기 위한 스캔 전략을 가이드 한다. 구강 스캐너는 내부 조명의 광원을 구동하여 광을 출력한 후, 광 경로를 따라 외부로 조사된 광을 통해 사용자의 구강 내부 또는 구강 모형을 비출 수 있다. 그러면, 구강 내부 또는 구강 모형에서 반사된 광은 다시 광 경로를 따라 구강 스캐너의 이미지 센서에 도달함으로써 구강 내부 또는 구강 모형의 영상 데이터가 획득될 수 있다.
이하, 도 1의 구성을 참조로 하여 전술한 특징을 가지는 영상 처리장치의 구성에 대해 후술한다.
도 1을 참조하면, 일 실시 예에 따른 영상 처리장치(1)는 데이터 획득부(10), 저장부(12), 제어부(14), 입력부(16) 및 출력부(18)를 포함한다.
데이터 획득부(10)는 구상 스캐너를 통해 촬영되는 영상 데이터를 획득한다. 구강 스캐너는 환자의 구강을 본떠 생성한 석고 모형을 스캐닝하는 3D 스캐너(3D Scanner)이거나, 환자의 구강 내부를 스캐닝하는 구강 내 3D 스캐너(3D Intra-oral scanner)일 수 있다. 획득된 영상 데이터는 저장부(12)에 저장될 수 있다. 저장부(12)에는 영상 처리장치(1)의 동작 수행을 위해 필요한 정보와 동작 수행에 따라 생성되는 정보가 저장되어, 제어부(14)의 요청 시 정보를 제공한다.
제어부(14)는 구상 스캐너로부터 데이터 획득부(10)를 통해 획득된 영상 데이터를 수신하여 영상 처리하고 구강 스캐너를 통해 치아를 정확하게 촬영하기 위한 스캔 전략을 가이드 한다. 예를 들어, 구강 스캐너의 스캔 전략을 제공하는 가이드 스캔 경로를 가이드 화면에 표시한다. 가이드 스캔 경로는 구강 스캐너의 제조사 별로 사전에 설정된 것일 수 있다. 이때, 가이드 스캔 경로를 별도의 문서 또는 웹페이지를 통해 제공되는 것이 아니라, 영상 처리 프로그램의 화면에 표시됨에 따라 사용자가 가이드 스캔 경로를 화면에서 확인하면서 본인이 가이드대로 잘 촬영하고 있는지를 확인할 수 있게 된다.
일 실시 예에 따른 제어부(14)는 사용자 스캔 경로를 추적하여 출력부(18)에 제공한다. 사용자 스캔 경로는 사용자가 가이드 스캔 경로를 따라 구강 스캐너를 통해 스캔을 시작했을 때 실제로 실시간으로 스캔되는 경로이다. 제어부(14)는 사용자 스캔 경로를 추적하고 추적된 사용자 스캔 경로를 가이드 스캔 경로에 매칭하여 스캔 가이드 화면을 구성한다. 이때, 출력부(18)는 가이드 스캔 경로와 함께 사용자 스캔 경로를 스캔 가이드 화면에 표시할 수 있다. 예를 들어, 치아 모델 데이터 상에 가이드 스캔 경로와 사용자 스캔 경로가 중첩되어 표시된다.
사용자 스캔 경로 추적 방법의 예를 들면, 제어부(14)는 구강 스캐너의 스캔을 통해 얻어지는 2D 이미지를 재구성하여 뎁스 이미지(depth image)를 생성하고, 뎁스 이미지를 구성하는 각 객체의 중심점 또는 주점을 서로 연결한다. 이어서, 각 객체의 중심점 또는 주점에서 3D 객체의 표면 위치로의 교차 지점을 검출하고 검출된 교차 지점들을 서로 연결하여 사용자 스캔 경로를 생성한다. 나아가, 검출된 교차 지점들로부터 미리 설정된 거리를 두고 형성되는 지점들을 서로 연결하여 사용자 스캔 경로를 보정할 수 있다. 이에 대한 실시 예는 도 7을 참조로 하여 후술한다. 다른 예로, 제어부(14)는 구강 스캐너의 스캔을 통해 얻어지는 3D 이미지의 각 개체의 중심점을 서로 연결하여 사용자 스캔 경로를 생성할 수 있다.
사용자 스캔 경로를 가이드 스캔 경로에 함께 보여주기 위한 영상 처리 예를 들면, 제어부(14)는 추적된 사용자 스캔 경로의 스케일을 가이드 스캔 경로의 스케일과 일치시킨 후 사용자 스캔 경로를 가이드 스캔 경로에 매칭한다. 이에 대한 실시 예는 도 9 및 도 10을 참조로 하여 후술한다. 제어부(14)는 사용자 스캔 경로와 가이드 스캔 경로를 비교 분석하고 비교 분석 결과 및 비교 분석 결과에 따라 생성되는 경고신호 중 적어도 하나를 제공할 수 있다. 예를 들어, 사용자 스캔 경로가 가이드 스캔 경로를 많이 벗어나는 경우 경고신호를 발생하여 사용자가 이를 인식하도록 한다.
출력부(18)는 스캔 가이드 화면을 다양하게 보여줄 수 있다. 예를 들어, 출력부(18)는 가이드 스캔 경로를 사용자 조작에 의해 회전하거나 구강 스캐너를 통해 실제 촬영되는 위치와 동일한 시점으로 이동하여 스캔 가이드 화면에 표시할 수 있다. 또한, 출력부(18)는 구강 스캐너를 통해 실제 촬영되는 위치와 동기화되어 가이드 스캔 경로를 실시간으로 회전하여 스캔 가이드 화면에 표시할 수 있다. 다른 예로, 출력부(18)는 스캔 가이드의 표시 또는 미표시 여부의 사용자 설정을 위한 사용자 인터페이스를 화면에 표시하고 입력부(16)를 통해 사용자로부터 스캔 가이드의 표시 또는 미표시 여부를 설정받을 수 있다. 또 다른 예로, 스캔 가이드의 투명도의 사용자 설정을 위한 사용자 인터페이스를 화면에 표시하고 입력부(16)를 통해 사용자로부터 스캔 가이드의 투명도 여부를 설정받을 수 있다. 출력부(18)는 실제 구강 스캐너를 통해 스캔되는 영상 데이터에 사용자 스캔 경로를 실시간으로 표시할 수 있다. 입력부(16)는 영상 처리 프로그램을 통해 각종 사용자 명령을 입력 받는다.
도 2 및 도 3은 본 발명의 일 실시 예에 따른 스캔 가이드 화면의 배치 및 설정 화면을 도시한 도면으로, 보다 세부적으로 도 2는 2차원 스캔 가이드 화면을, 도 3은 3차원 스캔 가이드 화면을 도시한 도면이다.
도 2 및 도 3을 참조하면, 스캔 프로그램은 사용자가 스캔을 시작하기 전 및 스캔 도중에 사용자가 구강 스캐너를 통해 치아를 정확하게 촬영할 수 있도록 스캔 전략을 제공하는 가이드 스캔 경로(200)를 스캔 가이드 화면(2)을 통해 표시한다. 이때, 가이드 스캔 경로(200)는 소정의 치아 모델 데이터에 경로가 표시된다. 가이드 스캔 경로(200)에 의해 제공되는 스캔 전략은 스캔 스캔 시작점, 스캔 방향 및 스캔 순서 등을 포함하고 있다. 가이드 스캔 경로(200)는 2D 또는 3D 이미지로 제공될 수 있고, 애니메이션 형태로 제공될 수도 있다. 사용자는 가이드 스캔 경로(200)에 따라 스캔을 진행하게 된다.
스캔 가이드 화면(2)은 기본으로 스캔 프로그램의 네 모서리 중 한 곳에 배치될 수 있다. 사용자는 스캔 가이드 화면(2)을 원하는 위치로 이동할 수 있다. 예를 들어, 드래그 및 홀드(Drag and Hold) 기능을 이용하여 스캔 가이드 화면(2)의 위치를 자유자재로 이동시킨다.
도 2에 도시된 바와 같이 2D 스캔 가이드 화면(2)은 평면 뷰(top view)를 기본으로 하며, 다른 시점(view)으로 전환되어 표시될 수도 있다. 도 3에 도시된 바와 같이 3D 스캔 가이드 화면(2)의 가이드 스캔 경로(200)는 뷰 상에서 사용자 입력으로 회전되거나 구강 스캐너를 통해 실제 촬영되는 위치와 동일한 시점으로 이동하여 표시될 수 있다. 또한, 3D 스캔 가이드 화면(2)은 구강 스캐너를 통해 실제 촬영되는 위치와 동기화되어 가이드 스캔 경로를 실시간으로 회전하여 표시될 수 있다.
도 4 및 도 5는 본 발명의 다양한 실시 예에 따른 스캔 가이드 온/오프 기능을 도시한 도면이다.
도 4 및 도 5를 참조하면, 사용자가 스캔 프로그램에 스캔 가이드 화면(2)이 보이는 것을 원치 않을 수 있다. 이 경우, 도 4에 도시된 바와 같이 별도의 옵션 메뉴(500)의 설정 창(510)을 통해 스캔 가이드 화면을 온/오프할 수 있다. 다른 예로, 도 5에 도시된 바와 같이 스캔 화면 상에 온/오프 기능을 실시간으로 처리 가능한 사용자 인터페이스, 예를 들어 체크 박스 형태의 버튼을 포함한 설정 창(600)을 제공하여 사용자가 스캔 가이드 화면을 온/오프할 수 있다. 나아가, 스캔 가이드 화면(2)의 가이드 스캔 경로(200)의 투명도의 사용자 설정을 위한 사용자 인터페이스를 화면에 표시하고, 사용자로부터 스캔 가이드의 투명도를 설정 받을 수 있다. 이는 사용자가 가이드 스캔 경로(200)가 보이는 것을 원하지만 치아 모델도 선명하게 보고 싶은 경우로, 투명도 조절을 통해 이를 달성할 수 있도록 한다.
도 6은 본 발명의 일 실시 예에 따른 사용자 스캔 경로를 추적하는 화면을 도시한 도면이다.
도 6을 참조하면, 스캔이 진행되면서 사용자가 촬영한 스캔 경로를 실시간으로 추적하여 이를 스캔 가이드 화면(2)에 표시할 수 있고, 실제 스캔되는 영상 데이터에 표시할 수 있다.
도 7은 본 발명의 일 실시 예에 따른 사용자 스캔 경로를 추적하기 위한 알고리즘을 설명하기 위한 프로그램 화면을 도시한 도면이다.
도 1 및 도 7을 참조하면, 영상 처리장치(1)는 영상 중심을 선택하여 경로를 추적하는 방법을 사용하여 사용자 스캔 경로를 추적하여 화면에 표시할 수 있다. 예를 들어, 도 7에 도시된 바와 같이 뎁스 이미지(810)의 중심점을 연결한다. 뎁스 이미지(810)는 높이(Z값)를 가지는 이미지이며, 2D 이미지에 대해 다양한 재구성(Reconstruction) 알고리즘에 기반하여 얻어질 수 있다. 3D 객체는 뎁스 이미지(810)를 사용하여 얻어질 수 있다. 구강 스캐너 카메라의 해상도가 640 * 480 일 때, 중첩되는 영역을 가지는 각 뎁스 이미지 컷(CUT)은 640 * 480의 사이즈를 가진다. 재구성 이후 얻어진 각각의 뎁스 이미지의 CUT의 중심(또는 주점)인 320 * 240 지점(821, 822, 823, 824)을 순차 연결한다(830). 이어서, 3D 상에서의 표현을 위해 CUT의 중심점(821, 822, 823, 824)에서 3D 객체의 표면 위치로의 교차 지점을 검색(840)하고, 검색된 교차 지점들을 순차적으로 연결함에 따라 사용자 스캔 경로(850)를 생성한다. 이때, 검출된 포인트의 위치에 따라 교차 지점들을 연결할 때 객체를 뚫고 지나가는 상황이 발생할 수 있다(예를 들어, 교차지점 연결 뷰 1, 2의 850). 따라서, 미리 설정된 거리, 예를 들어 5mm의 거리를 더 주고 사용자 스캔경로를 보정할 수 있다(예를 들어, 교차지점 연결 뷰 1의 860). 도 7의 예시에서 포인트(point)들이 같이 표시되어 있지만, 실제 프로그램 구현 시 포인트들은 출력하지 않고 라인만을 출력할 수 있다.
도 8은 본 발명의 일 실시 예에 따른 추적된 사용자 스캔 경로와 가이드 스캔 경로를 비교하여 출력하는 스캔 화면을 도시한 도면이다.
도 1 및 도 8을 참조하면, 영상 처리장치(1)는 스캔 가이드 화면(2)의 치아 모델 데이터에 사용자 스캔 경로(210)와 가이드 스캔 경로(200)를 함께 표시한다. 이때, 사용자 스캔 경로(210)와 가이드 스캔 경로(200)가 중첩되어 표시됨에 따라, 사용자는 사용자 스캔 경로(210)와 가이드 스캔 경로(200)를 비교하면서 자신이 올바르게 스캔하고 있는지 여부를 실시간으로 확인할 수 있다.
일 실시 예에 따른 영상 처리장치(1)는 사용자 스캔 경로(210)와 가이드 스캔 경로(200)를 비교 분석하여 비교 분석 결과를 사용자에 제공할 수 있다. 예를 들어, 치아 모델 데이터의 소정의 지점을 기준으로 매칭되는 사용자 스캔 경로(210)의 지점과 가이드 스캔 경로(200)의 지점 간의 거리를 계산하여 계산된 거리를 표시한다. 나아가, 영상 처리장치(1)는 비교 분석 결과에 대한 경고신호를 출력할 수 있다. 예를 들어, 계산된 거리가 미리 설정된 거리 이상이면 스캔이 비정상인 것으로 판단하여 이를 사용자에 경고한다. 경고신호는 알람, 팝업 메뉴 표시 등의 일반적인 알림 기술을 사용할 수 있다.
도 9는 사용자마다 사용자 스캔 경로와 가이드 스캔 경로가 매칭되지 않음을 보여주는 도면이다.
도 9를 참조하면, 사람마다 풀 아치(full arch)의 크기, 개별치아 크기 및 치아배열 등이 상이하기 때문에 스캔 경로의 스케일이 다를 수 있다. 예를 들어, 도 9에 도시된 바와 같이 성인의 풀 아치 치아에 형성되는 사용자 스캔 경로의 스케일은, 유아의 풀 아치 치아(성인 풀 아치 치아보다 크기가 작음)에 형성되는 사용자 스캔 경로의 스케일과 상이하므로 가이드 스캔 경로와 서로 일치하지 않게 된다. 따라서, 스케일을 일치화 시키는 작업이 필요하다.
도 10은 본 발명의 일 실시 예에 따른 사용자 스캔 경로와 가이드 스캔 경로가 매칭시키는 화면을 도시한 도면이다.
도 1 및 도 10을 참조하면, 도 9를 참조로 하여 전술한 스케일 불일치 문제를 해결하기 위해 사용자가 가이드 스캔 경로에서 제시하는 시작 포인트와 동일한 위치에서 스캔을 시작한다고 가정한다. 일 실시 예에 따른 영상 처리장치(1)는 스케일 일치를 위해 사용자 스캔 경로의 가로 세로 길이와 비율을 가이드 스캔 경로와 일치시키는 형태로 스케일을 조절한다. 예를 들어, 성인의 풀 아치 치아에 형성되는 사용자 스캔 경로의 스케일을 다운(Scale Down) 시켜 다운된 사용자 스캔 경로를 생성한다. 유아의 풀 아치 치아에 형성되는 사용자 스캔 경로의 스케일은 업(Scale Up) 시켜 업된 사용자 스캔 경로를 생성한다. 사용자 스캔 경로의 스케일 업/다운 가공을 통해 생성된 사용자 스캔 경로(210)는 가이드 스캔 경로(200)와 스케일이 일치됨에 따라 스캔 가이드 화면(2) 내에서 매칭이 가능하게 된다.
도 11은 본 발명의 일 실시 예에 따른 사용자 스캔 경로와 가이드 스캔 경로를 비교하여 보여주는 화면을 도시한 도면이다.
도 1 및 도 11을 참조하면, 영상 처리장치(1)는 스캔을 위한 가이드 스캔 경로(200)를 가이드 스캔 화면(2)에 표시(a)하고, 사용자가 가이드 스캔 경로(200)를 따라 스캔을 시작하면 스캔에 따라 생성되는 사용자 스캔 경로(210)를 가이드 스캔 화면(2)의 가이드 스캔 경로(200)에 함께 표시한다(b, c). 도 11의 (b)는 사용자가 가이드 스캔 경로(200)를 따라 촬영을 잘 한 경우이고, (c)는 사용자가 가이드 스캔 경로(200)가 가이드 스캔 경로(200)를 많이 벗어난 경우를 각각 나타낸다.
도 12는 본 발명의 일 실시 예에 따른 스캔 가이드 제공 방법의 흐름을 도시한 도면이다.
도 1 및 도 12를 참조하면, 영상 처리장치(1)는 구강 스캐너의 스캔 전략을 제공하는 가이드 스캔 경로를 스캔 화면에 표시한다(S1210). 가이드 스캔 경로를 스캔 화면에 표시하는 단계(S1210)에서, 영상 처리장치(1)는 구강 스캐너의 제조사 별로 사전에 설정된 가이드 스캔 경로를 화면에 표시할 수 있다. 영상 처리장치(1)는 가이드 스캔 경로를 사용자 조작에 의해 회전하거나 구강 스캐너를 통해 실제 촬영되는 위치와 동일한 시점으로 이동하여 화면에 표시할 수 있다. 다른 예로, 영상 처리장치(1)는 구강 스캐너를 통해 실제 촬영되는 위치와 동기화되어 가이드 스캔 경로를 실시간으로 회전하여 화면에 표시할 수 있다. 나아가, 영상 처리장치(1)는 스캔 가이드의 표시 또는 미표시 여부의 사용자 설정을 위한 사용자 인터페이스, 스캔 가이드의 투명도의 사용자 설정을 위한 사용자 인터페이스 등을 화면에 제공할 수 있다.
이어서, 스캔이 시작(S1220)되면, 영상 처리장치(1)는 가이드 스캔 경로를 따라 구강 스캐너를 통해 실제로 스캔되는 사용자 스캔 경로를 추적한다(S1230).
사용자 스캔 경로 추적 단계(S1230)에서, 일 실시 예에 따른 영상 처리장치(1)는 영상 중심 또는 주점을 이용하여 사용자 스캔 경로를 추적한다. 예를 들어, 영상 처리장치(1)는 구강 스캐너의 스캔을 통해 얻어지는 2D 이미지를 재구성하여 뎁스 이미지를 생성하고, 뎁스 이미지를 구성하는 각 객체의 중심점 또는 주점을 서로 연결한다. 이어서, 각 객체의 중심점 또는 주점에서 3D 객체의 표면 위치로의 교차 지점을 검출하고 검출된 교차 지점들을 서로 연결하여 사용자 스캔 경로를 생성한다. 이때, 검출된 교차 지점들로부터 미리 설정된 거리를 두고 형성되는 지점들을 서로 연결하여 사용자 스캔 경로를 보정할 수 있다. 다른 예로, 영상 처리장치(1)는 구강 스캐너의 스캔을 통해 얻어지는 3D 이미지의 각 개체의 중심점을 서로 연결하여 사용자 스캔 경로를 생성할 수 있다.
이어서, 영상 처리장치(1)는 추적된 사용자 스캔 경로를 가이드 스캔 경로와 함께 표시한다(S1240). 가이드 스캔 경로와 함께 표시하는 단계(S1240)에서, 일 실시 예에 따른 영상 처리장치(1)는 영상 처리를 통해 사용자 스캔 경로의 스케일을 가이드 스캔 경로의 스케일과 일치시킨 후 사용자 스캔 경로를 가이드 스캔 경로에 매칭하여 표시한다. 영상 처리장치(1)는 실제 구강 스캐너를 통해 스캔된 영상 데이터에 사용자 스캔 경로를 표시할 수 있다.
나아가, 영상 처리장치(1)는 사용자 스캔 경로와 가이드 스캔 경로를 비교 분석하고, 비교 분석 결과 및 경고신호 중 적어도 하나를 제공할 수 있다.
이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (22)

  1. 구강 스캐너의 스캔 전략을 제공하기 위해 제조사 별로 사전에 설정된 가이드 스캔 경로를 스캔 화면에 표시하는 단계;
    가이드 스캔 경로를 따라 구강 스캐너를 통해 실제로 스캔되는 사용자 스캔 경로를 추적하는 단계; 및
    추적된 사용자 스캔 경로를 가이드 스캔 경로와 함께 표시하는 단계;
    를 포함하는 것을 특징으로 하는 스캔 가이드 제공 방법.
  2. 삭제
  3. 구강 스캐너의 스캔 전략을 제공하는 가이드 스캔 경로를 스캔 화면에 표시하는 단계;
    가이드 스캔 경로를 따라 구강 스캐너를 통해 실제로 스캔되는 사용자 스캔 경로를 추적하는 단계; 및
    추적된 사용자 스캔 경로를 가이드 스캔 경로와 함께 표시하는 단계; 를 포함하며,
    가이드 스캔 경로를 스캔 화면에 표시하는 단계는
    가이드 스캔 경로를 사용자 조작에 의해 회전하거나 구강 스캐너를 통해 실제 촬영되는 위치와 동일한 시점으로 이동하여 화면에 표시하는 것을 특징으로 하는 스캔 가이드 제공 방법.
  4. 구강 스캐너의 스캔 전략을 제공하는 가이드 스캔 경로를 스캔 화면에 표시하는 단계;
    가이드 스캔 경로를 따라 구강 스캐너를 통해 실제로 스캔되는 사용자 스캔 경로를 추적하는 단계; 및
    추적된 사용자 스캔 경로를 가이드 스캔 경로와 함께 표시하는 단계; 를 포함하며,
    가이드 스캔 경로를 스캔 화면에 표시하는 단계는
    구강 스캐너를 통해 실제 촬영되는 위치와 동기화되어 가이드 스캔 경로를 실시간으로 회전하여 화면에 표시하는 것을 특징으로 하는 스캔 가이드 제공 방법.
  5. 구강 스캐너의 스캔 전략을 제공하는 가이드 스캔 경로를 스캔 화면에 표시하는 단계;
    가이드 스캔 경로를 따라 구강 스캐너를 통해 실제로 스캔되는 사용자 스캔 경로를 추적하는 단계; 및
    추적된 사용자 스캔 경로를 가이드 스캔 경로와 함께 표시하는 단계; 를 포함하며,
    사용자 스캔 경로를 추적하는 단계는
    구강 스캐너의 스캔을 통해 얻어지는 2D 이미지를 재구성하여 뎁스 이미지를 생성하는 단계;
    뎁스 이미지를 구성하는 각 객체의 중심점 또는 주점을 서로 연결하는 단계; 및
    각 객체의 중심점 또는 주점에서 3D 객체의 표면 위치로의 교차 지점을 검출하고 검출된 교차 지점들을 서로 연결하여 사용자 스캔 경로를 생성하는 단계;
    를 포함하는 것을 특징으로 하는 스캔 가이드 제공 방법.
  6. 제 5 항에 있어서, 사용자 스캔 경로를 추적하는 단계는
    검출된 교차 지점들로부터 미리 설정된 거리를 두고 형성되는 지점들을 서로 연결하여 사용자 스캔 경로를 보정하는 단계;
    를 더 포함하는 것을 특징으로 하는 스캔 가이드 제공 방법.
  7. 구강 스캐너의 스캔 전략을 제공하는 가이드 스캔 경로를 스캔 화면에 표시하는 단계;
    가이드 스캔 경로를 따라 구강 스캐너를 통해 실제로 스캔되는 사용자 스캔 경로를 추적하는 단계; 및
    추적된 사용자 스캔 경로를 가이드 스캔 경로와 함께 표시하는 단계; 를 포함하며,
    사용자 스캔 경로를 추적하는 단계는
    구강 스캐너의 스캔을 통해 얻어지는 3D 이미지의 각 개체의 중심점을 서로 연결하여 사용자 스캔 경로를 생성하는 것을 특징으로 하는 스캔 가이드 제공 방법.
  8. 구강 스캐너의 스캔 전략을 제공하는 가이드 스캔 경로를 스캔 화면에 표시하는 단계;
    가이드 스캔 경로를 따라 구강 스캐너를 통해 실제로 스캔되는 사용자 스캔 경로를 추적하는 단계; 및
    추적된 사용자 스캔 경로를 가이드 스캔 경로와 함께 표시하는 단계; 를 포함하며,
    가이드 스캔 경로와 함께 표시하는 단계는
    추적된 사용자 스캔 경로의 스케일을 가이드 스캔 경로의 스케일과 일치시킨 후 사용자 스캔 경로를 가이드 스캔 경로에 매칭하여 표시하는 것을 특징으로 하는 스캔 가이드 제공 방법.
  9. 제 1 항에 있어서, 스캔 가이드 제공 방법은
    실제 구강 스캐너를 통해 스캔된 영상 데이터에 사용자 스캔 경로를 표시하는 단계;
    를 더 포함하는 것을 특징으로 하는 스캔 가이드 제공 방법.
  10. 구강 스캐너의 스캔 전략을 제공하는 가이드 스캔 경로를 스캔 화면에 표시하는 단계;
    가이드 스캔 경로를 따라 구강 스캐너를 통해 실제로 스캔되는 사용자 스캔 경로를 추적하는 단계;
    추적된 사용자 스캔 경로를 가이드 스캔 경로와 함께 표시하는 단계;
    스캔 가이드의 표시 또는 미표시 여부의 사용자 설정을 위한 사용자 인터페이스를 제공하는 단계; 및
    스캔 가이드의 투명도의 사용자 설정을 위한 사용자 인터페이스를 제공하는 단계;
    를 포함하는 것을 특징으로 하는 스캔 가이드 제공 방법.
  11. 제 1 항에 있어서, 스캔 가이드 제공 방법은
    사용자 스캔 경로와 가이드 스캔 경로를 비교 분석하는 단계; 및
    비교 분석 결과 및 비교 분석 결과에 따라 발생하는 경고신호 중 적어도 하나를 제공하는 단계;
    를 더 포함하는 것을 특징으로 하는 스캔 가이드 제공 방법.
  12. 사용자의 구강 내부 또는 구강 모형을 스캔한 영상 데이터를 구강 스캐너로부터 획득하는 데이터 획득부;
    구강 스캐너로부터 획득된 영상 데이터와, 구강 스캐너의 스캔 전략을 제공하기 위해 제조사 별로 사전에 설정된 가이드 스캔 경로를 화면에 표시하는 출력부; 및
    데이터 획득부를 통해 획득된 영상 데이터를 수신하여 영상 처리하고 가이드 스캔 경로를 출력부에 제공하는 제어부;
    를 포함하는 것을 특징으로 하는 영상 처리장치.
  13. 사용자의 구강 내부 또는 구강 모형을 스캔한 영상 데이터를 구강 스캐너로부터 획득하는 데이터 획득부;
    구강 스캐너로부터 획득된 영상 데이터와, 구강 스캐너의 스캔 전략을 제공하는 가이드 스캔 경로를 화면에 표시하는 출력부; 및
    데이터 획득부를 통해 획득된 영상 데이터를 수신하여 영상 처리하고 가이드 스캔 경로를 출력부에 제공하는 제어부; 를 포함하며,
    출력부는
    가이드 스캔 경로를 사용자 조작에 의해 회전하거나 구강 스캐너를 통해 실제 촬영되는 위치와 동일한 시점으로 이동하여 화면에 표시하는 것을 특징으로 하는 영상 처리장치.
  14. 사용자의 구강 내부 또는 구강 모형을 스캔한 영상 데이터를 구강 스캐너로부터 획득하는 데이터 획득부;
    구강 스캐너로부터 획득된 영상 데이터와, 구강 스캐너의 스캔 전략을 제공하는 가이드 스캔 경로를 화면에 표시하는 출력부; 및
    데이터 획득부를 통해 획득된 영상 데이터를 수신하여 영상 처리하고 가이드 스캔 경로를 출력부에 제공하는 제어부; 를 포함하며,
    출력부는
    구강 스캐너를 통해 실제 촬영되는 위치와 동기화되어 가이드 스캔 경로를 실시간으로 회전하여 화면에 표시하는 것을 특징으로 하는 영상 처리장치.
  15. 사용자의 구강 내부 또는 구강 모형을 스캔한 영상 데이터를 구강 스캐너로부터 획득하는 데이터 획득부;
    구강 스캐너로부터 획득된 영상 데이터와, 구강 스캐너의 스캔 전략을 제공하는 가이드 스캔 경로를 화면에 표시하는 출력부; 및
    데이터 획득부를 통해 획득된 영상 데이터를 수신하여 영상 처리하고 가이드 스캔 경로를 출력부에 제공하는 제어부; 를 포함하며,
    출력부는
    스캔 가이드의 표시 또는 미표시 여부의 사용자 설정을 위한 사용자 인터페이스와, 스캔 가이드의 투명도의 사용자 설정을 위한 사용자 인터페이스를 화면에 표시하는 것을 특징으로 하는 영상 처리장치.
  16. 삭제
  17. 사용자의 구강 내부 또는 구강 모형을 스캔한 영상 데이터를 구강 스캐너로부터 획득하는 데이터 획득부;
    구강 스캐너로부터 획득된 영상 데이터와, 구강 스캐너의 스캔 전략을 제공하는 가이드 스캔 경로를 화면에 표시하는 출력부; 및
    데이터 획득부를 통해 획득된 영상 데이터를 수신하여 영상 처리하고 가이드 스캔 경로를 출력부에 제공하는 제어부; 를 포함하고,
    제어부는
    가이드 스캔 경로를 따라 구강 스캐너를 통해 실제로 스캔되는 사용자 스캔 경로를 추적하고 추적된 사용자 스캔 경로를 가이드 스캔 경로에 매칭하여 화면을 구성하고,
    출력부는 가이드 스캔 경로와 함께 사용자 스캔 경로를 화면에 표시하며,
    제어부는
    구강 스캐너의 스캔을 통해 얻어지는 2D 이미지를 재구성하여 뎁스 이미지를 생성하고,
    뎁스 이미지를 구성하는 각 객체의 중심점 또는 주점을 서로 연결하며,
    각 객체의 중심점 또는 주점에서 3D 객체의 표면 위치로의 교차 지점을 검출하고 검출된 교차 지점들을 서로 연결하여 사용자 스캔 경로를 생성하는 것을 특징으로 하는 영상 처리장치.
  18. 제 17 항에 있어서, 제어부는
    검출된 교차 지점들로부터 미리 설정된 거리를 두고 형성되는 지점들을 서로 연결하여 사용자 스캔 경로를 보정하는 것을 특징으로 하는 영상 처리장치.
  19. 사용자의 구강 내부 또는 구강 모형을 스캔한 영상 데이터를 구강 스캐너로부터 획득하는 데이터 획득부;
    구강 스캐너로부터 획득된 영상 데이터와, 구강 스캐너의 스캔 전략을 제공하는 가이드 스캔 경로를 화면에 표시하는 출력부; 및
    데이터 획득부를 통해 획득된 영상 데이터를 수신하여 영상 처리하고 가이드 스캔 경로를 출력부에 제공하는 제어부; 를 포함하고,
    제어부는
    가이드 스캔 경로를 따라 구강 스캐너를 통해 실제로 스캔되는 사용자 스캔 경로를 추적하고 추적된 사용자 스캔 경로를 가이드 스캔 경로에 매칭하여 화면을 구성하고,
    출력부는 가이드 스캔 경로와 함께 사용자 스캔 경로를 화면에 표시하며,
    제어부는
    구강 스캐너의 스캔을 통해 얻어지는 3D 이미지의 각 개체의 중심점을 서로 연결하여 사용자 스캔 경로를 생성하는 것을 특징으로 하는 영상 처리장치.
  20. 사용자의 구강 내부 또는 구강 모형을 스캔한 영상 데이터를 구강 스캐너로부터 획득하는 데이터 획득부;
    구강 스캐너로부터 획득된 영상 데이터와, 구강 스캐너의 스캔 전략을 제공하는 가이드 스캔 경로를 화면에 표시하는 출력부; 및
    데이터 획득부를 통해 획득된 영상 데이터를 수신하여 영상 처리하고 가이드 스캔 경로를 출력부에 제공하는 제어부; 를 포함하고,
    제어부는
    가이드 스캔 경로를 따라 구강 스캐너를 통해 실제로 스캔되는 사용자 스캔 경로를 추적하고 추적된 사용자 스캔 경로를 가이드 스캔 경로에 매칭하여 화면을 구성하고,
    출력부는 가이드 스캔 경로와 함께 사용자 스캔 경로를 화면에 표시하며,
    제어부는
    추적된 사용자 스캔 경로의 스케일을 가이드 스캔 경로의 스케일과 일치시킨 후 사용자 스캔 경로를 가이드 스캔 경로에 매칭하는 것을 특징으로 하는 영상 처리장치.
  21. 제 12 항에 있어서, 출력부는
    실제 구강 스캐너를 통해 스캔된 영상 데이터에 사용자 스캔 경로를 표시하는 것을 특징으로 하는 영상 처리장치.
  22. 제 12 항에 있어서, 제어부는
    사용자 스캔 경로와 가이드 스캔 경로를 비교 분석하고 비교 분석 결과 및 비교 분석 결과에 따라 발생하는 경고신호 중 적어도 하나를 제공하는 것을 특징으로 하는 영상 처리장치.
KR1020190036899A 2019-03-29 2019-03-29 스캔 가이드 제공 방법 이를 위한 영상 처리장치 KR102236360B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020190036899A KR102236360B1 (ko) 2019-03-29 2019-03-29 스캔 가이드 제공 방법 이를 위한 영상 처리장치
EP20782603.3A EP3925569B1 (en) 2019-03-29 2020-03-03 Scan guide providing method and image processing device therefor
US17/436,889 US20220160476A1 (en) 2019-03-29 2020-03-03 Scan guide providing method and image processing device therefor
PCT/KR2020/003024 WO2020204366A2 (ko) 2019-03-29 2020-03-03 스캔 가이드 제공 방법 이를 위한 영상 처리장치
CN202080026083.5A CN113645893A (zh) 2019-03-29 2020-03-03 扫描引导提供方法及用于其的图像处理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190036899A KR102236360B1 (ko) 2019-03-29 2019-03-29 스캔 가이드 제공 방법 이를 위한 영상 처리장치

Publications (2)

Publication Number Publication Date
KR20200114710A KR20200114710A (ko) 2020-10-07
KR102236360B1 true KR102236360B1 (ko) 2021-04-05

Family

ID=72667189

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190036899A KR102236360B1 (ko) 2019-03-29 2019-03-29 스캔 가이드 제공 방법 이를 위한 영상 처리장치

Country Status (5)

Country Link
US (1) US20220160476A1 (ko)
EP (1) EP3925569B1 (ko)
KR (1) KR102236360B1 (ko)
CN (1) CN113645893A (ko)
WO (1) WO2020204366A2 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI712396B (zh) * 2020-01-16 2020-12-11 中國醫藥大學 口腔缺陷模型之修補方法及口腔缺陷模型之修補系統
FR3139002A1 (fr) * 2022-08-31 2024-03-01 Dental Monitoring Procédé d’acquisition d’un ensemble d’images d’un objet buccal

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008537494A (ja) 2005-03-03 2008-09-18 カデント・リミテッド 口腔スキャニング用システムおよび方法
JP2017513597A (ja) * 2014-04-23 2017-06-01 シロナ・デンタル・システムズ・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツング 光学式三次元撮像を実施するための方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH105248A (ja) * 1996-01-12 1998-01-13 Egawa:Kk ハンドピースの操作表示装置
US20090061381A1 (en) * 2007-09-05 2009-03-05 Duane Milford Durbin Systems and methods for 3D previewing
US20120062557A1 (en) * 2010-09-10 2012-03-15 Dimensional Photonics International, Inc. Systems and methods for processing and displaying intra-oral measurement data
EP2678830B1 (en) * 2011-02-22 2020-04-08 Midmark Corporation Hybrid stitching for 3d reconstruction
US8948482B2 (en) * 2012-11-01 2015-02-03 Align Technology, Inc. Motion compensation in a three dimensional scan
WO2015182198A1 (ja) * 2014-05-28 2015-12-03 オリンパス株式会社 光走査型観察装置及び光走査型観察装置の作動方法
JP6902352B2 (ja) * 2017-01-19 2021-07-14 株式会社日立製作所 光走査装置、映像装置、及び距離計測装置
CN108309493B (zh) * 2018-02-12 2021-01-05 苏州佳世达光电有限公司 口腔扫描仪控制方法及口腔扫描设备
EP3689218B1 (en) * 2019-01-30 2023-10-18 DENTSPLY SIRONA Inc. Method and system for guiding an intra-oral scan

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008537494A (ja) 2005-03-03 2008-09-18 カデント・リミテッド 口腔スキャニング用システムおよび方法
JP2017513597A (ja) * 2014-04-23 2017-06-01 シロナ・デンタル・システムズ・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツング 光学式三次元撮像を実施するための方法

Also Published As

Publication number Publication date
US20220160476A1 (en) 2022-05-26
KR20200114710A (ko) 2020-10-07
EP3925569A2 (en) 2021-12-22
WO2020204366A3 (ko) 2020-11-26
WO2020204366A2 (ko) 2020-10-08
EP3925569A4 (en) 2022-10-19
CN113645893A (zh) 2021-11-12
EP3925569B1 (en) 2023-11-29

Similar Documents

Publication Publication Date Title
KR102152921B1 (ko) 구강 스캐너 캘리브레이션 장치 및 그 방법
US20170053437A1 (en) Method and apparatus for positioning navigation in a human body by means of augmented reality based upon a real-time feedback
KR101556992B1 (ko) 얼굴 성형 시뮬레이션을 이용한 3차원 스캔 시스템
CN106663327B (zh) 3-d表面的自动重新拼接
KR102236360B1 (ko) 스캔 가이드 제공 방법 이를 위한 영상 처리장치
CN112155596B (zh) 超声波诊断设备、超声波图像的生成方法及存储介质
JP2018192230A (ja) 眉形状ガイド装置およびその方法
EP2947549A1 (en) Apparartus and method for navigating through volume image
KR20210008220A (ko) 임플란트 시술 계획 수립을 위한 다중 골밀도 표시방법 및 그 영상 처리장치
KR20190048614A (ko) 포즈 인식 방법 및 장치
CN111937038B (zh) 用于3d扫描对象表面的至少一部分的方法和光学3d扫描仪
KR102198664B1 (ko) 위험 인자를 고려한 픽스쳐 자동 식립이 가능한 치과용 임플란트 시술 계획 방법 및 그 장치
JPWO2017158896A1 (ja) 画像処理装置、画像処理システム、画像処理装置の作動方法
KR20200134371A (ko) Ct 장비 별 hu 정보를 이용한 임플란트 수술 계획 수립 방법 및 이를 위한 의료영상 처리장치
KR102418811B1 (ko) 삽입로 설정용 인터페이스 선택 방법 및 이를 위한 덴탈 캐드 장치
KR102422534B1 (ko) 임플란트 시뮬레이션 방법 및 그 장치
KR102269029B1 (ko) 임플란트 시뮬레이션 방법 및 그 장치
KR102210341B1 (ko) 영상처리 및 시뮬레이션을 이용한 신경관 자동 검출방법 및 그 장치
WO2016201637A1 (en) Guided ultrasound breast cancer screening system
KR102418810B1 (ko) 마진라인 포인트 선택 방법 및 이를 위한 덴탈 캐드 장치
KR20200114381A (ko) 스캔 모델 자동 융합방법 및 이를 수행하는 영상 처리장치
US10853957B2 (en) Real-time key view extraction for continuous 3D reconstruction
KR102651515B1 (ko) 데이터 처리 장치 및 데이터 처리 방법
US20230290093A1 (en) Data processing method
KR102638302B1 (ko) 치과 치료 데이터 정합 방법 및 이를 위한 디지털 덴티스트리 장치

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant