WO2020167042A1 - 스캔 과정 재생 방법 - Google Patents

스캔 과정 재생 방법 Download PDF

Info

Publication number
WO2020167042A1
WO2020167042A1 PCT/KR2020/002133 KR2020002133W WO2020167042A1 WO 2020167042 A1 WO2020167042 A1 WO 2020167042A1 KR 2020002133 W KR2020002133 W KR 2020002133W WO 2020167042 A1 WO2020167042 A1 WO 2020167042A1
Authority
WO
WIPO (PCT)
Prior art keywords
scan
scanner
information
scanning
reproducing
Prior art date
Application number
PCT/KR2020/002133
Other languages
English (en)
French (fr)
Inventor
이동훈
최원훈
Original Assignee
주식회사 메디트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 메디트 filed Critical 주식회사 메디트
Priority to CN202080014353.0A priority Critical patent/CN113424523B/zh
Priority to EP20755610.1A priority patent/EP3913913A4/en
Priority claimed from KR1020200018162A external-priority patent/KR102311389B1/ko
Publication of WO2020167042A1 publication Critical patent/WO2020167042A1/ko
Priority to US17/401,250 priority patent/US20210375031A1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals

Definitions

  • the present invention relates to a method of reproducing a process of acquiring scan model data for scan model data acquired through a scanner (SCAN PROCESS REPLAYING METHOD).
  • a 3D scanner is a machine that can acquire and digitize shape information of an object to be scanned, and performs measurement on the object by projecting light onto the object.
  • 3D scan data is used in the fields of automobile manufacturing, figure manufacturing, quality inspection, medical fields, and custom manufacturing, and the scope of use is gradually expanding.
  • a tissue structure in the oral cavity such as a tooth is identified by taking an impression of the patient's teeth, and treatment and treatment are performed based on this.
  • 3D information on the dental oral scanner system which implements a 3D modeling image of the intraoral tissue structure with measurement light such as a laser, has been widely used.
  • the scanning process reproducing method includes a scanning step of obtaining scan data by scanning an object to be scanned with a scanner, an information obtaining step of obtaining status information of the scanner in the scanning step, and the scanner obtained from the information obtaining step.
  • the scanning step includes a two-dimensional image acquisition step of acquiring at least one or more two-dimensional image data by receiving light incident through an opening formed at one end of the scanner, and the at least one obtained from the two-dimensional image acquisition step.
  • a 3D image generation step of converting the above 2D image data into 3D volume data, and an alignment step of performing alignment so that the plurality of 3D volume data are connected and aligned with each other may be further included.
  • the information obtained in the information acquisition step may include location information and rotation information of the camera.
  • the location information of the camera may be obtained in the form of a three-dimensional rectangular coordinate system expressed as x, y, and z values.
  • the rotation information of the camera may be obtained in the form of a 3 ⁇ 3 rotation matrix.
  • the location information of the camera and the rotation information of the camera may be obtained together in the form of a 3 ⁇ 4 matrix.
  • position information and rotation information of the scanner tip may be obtained through the position information of the camera and the rotation information of the camera.
  • the position information and rotation information of the scanner tip may be formed to be linked with the scan time.
  • the display step may be reproduced to sequentially display the process of forming the scan data according to time.
  • a reproducing speed may be adjusted through a reproducing speed adjusting unit formed on the user interface.
  • a reproducing position may be adjusted through a scan time notation unit formed on the user interface.
  • the display step may display one end of the shape of the scanner including the scanner tip on the user interface in reproducing the process of forming the scan data.
  • the shape of the scanner is displayed translucent on the user interface, so that the state of the scanner including the scanner tip and the scan data can be simultaneously reproduced.
  • the display step may additionally display a moving path of the scanner tip.
  • the movement path of the scanner tip includes scan time information, and when a part of the movement path of the scanner tip is selected, it may be moved to a reproduction position corresponding to the part.
  • the scan data and position information and rotation information of the scanner tip may be divided into a plurality of groups according to a time order.
  • the scanning process in which the scan data is obtained is implemented as a replay image, so that the process of the scanning process can be simulated according to a temporal sequence.
  • information including the environment in which the scan operation performed to obtain the scan data was performed, the scanning method, and problems occurring during the scan can be checked according to the flow of the operation, and the confirmed information is determined by the reliability of the scan data. It can be used for evaluation or referred to as a guide to improve efficiency when performing the next scan operation.
  • FIG. 1 is a schematic flowchart of a method for reproducing a scan process according to the present invention.
  • FIG. 2 is a flowchart illustrating in more detail the scanning step in the method for reproducing the scanning process according to the present invention.
  • FIG. 3 is a schematic diagram of an object to be scanned and a scanner for scanning the object to be scanned in a method of reproducing a scan process according to the present invention.
  • FIG. 4 is a diagram schematically illustrating a process of performing a scan while proceeding from T1 to T6 when a scanner scans an object to be scanned in the scanning process reproduction method according to the present invention.
  • FIG. 5 is a diagram schematically illustrating a relationship between a camera built in a scanner and an object to be scanned when scanning an object to be scanned.
  • 6 to 14 are diagrams illustrating a process of generating scan model data on a user interface in chronological order in a method of reproducing a scan process according to the present invention.
  • 15 is a diagram illustrating a display of a scan path on a user interface in a method of reproducing a scan process according to the present invention.
  • T1 T2, T3, T4, T5, T6: scan point
  • FIG. 1 is a schematic flowchart of a method of reproducing a scan process according to the present invention
  • FIG. 2 is a flow chart showing in more detail a scanning step in a method of reproducing a scan process according to the present invention.
  • a method of reproducing a scan process includes a scanning step S10 of obtaining scan data by scanning an object 1 with a scanner.
  • the scanning step S10 light reflected from the surface of the scan object 1 is introduced into the scanner through an opening formed at one end of the scanner.
  • Light introduced into the scanner is received through a camera formed inside the scanner, and the camera acquires the received light as digital scan data through an imaging sensor connected to the camera.
  • the scan data may be at least one or more 2D image data (this may correspond to the step S11 of acquiring 2D image data during the scan step S10).
  • the obtained 2D image data may be displayed in real time by the scan performing unit 20 to be described later, or a 3D volume by structured light irradiated toward the scan object 1 from an optical projector additionally formed inside the scanner.
  • a 3D volume by structured light irradiated toward the scan object 1 from an optical projector additionally formed inside the scanner.
  • it can also be used as data for 3D volume data generation.
  • the acquired 2D image data may be combined to be converted into 3D volume data (3D image generation step, S12).
  • the 3D volume data may be formed to include a voxel having graphic information in a 3D space, and as a result, scan data may be displayed on the user interface 10 by a set of such 3D volume data. .
  • each 3D volume data does not appear fragmentarily, and an alignment step of performing alignment so that a plurality of 3D volume data are connected and aligned with each other ( S13).
  • the connection between the 3D volume data generated through the alignment step (S13), coordinate alignment, etc. are performed.
  • the alignment process may be performed in various ways, but preferably, the overlapping portions of other data on one data are
  • the alignment step (S13) may be performed using an ICP (iterative closest point) algorithm to be connected.
  • status information of the scanner may be obtained together with the scan data (information acquisition step S20).
  • the status information of the scanner can be obtained in various ways, among them, location information and rotation information of the camera formed inside the scanner can be obtained. There may be one or more cameras formed inside the scanner, and there may be one or more cameras from which location information and rotation information are obtained. Obtaining the location information and rotation information through the camera is to finally obtain distance information between the scanner and the object to be scanned.
  • FIG 3 is a schematic diagram of a scan object 1 and a scanner for scanning the scan object 1 in the scanning process reproduction method according to the present invention.
  • the object to be scanned 1 is scanned through a scanner.
  • the object to be scanned 1 may be a gypsum model obtained through impression taking, or may be an actual oral cavity including the patient's teeth and gingiva.
  • various types of scanners exist for the types of scanners, it is preferable to adopt and use a handheld type 3D scanner in consideration of the characteristics and convenience of use of the present invention.
  • the light reflected from the scan object 1 through the scanner tip of the scanner enters the inside of the scanner, so that 2D and 3D images are acquired and aligned to form 3D modeled scan data.
  • FIG. 4 is a diagram schematically illustrating a process of performing a scan while proceeding from T1 to T6 when a scanner scans a scan object in the scanning process reproduction method according to the present invention. It is a diagram schematically showing the relationship between the built-in camera and the object to be scanned.
  • the scanner may perform scanning while moving the scan object 1 from one end to the other end.
  • scanning is sequentially performed from the first scan point T1 to the next scan points T2, T3, T4, T5, and T6.
  • the scan points T1, T2, T3, T4, T5, and T6 may have portions overlapping with respective adjacent scan points. As the scan is performed so that the overlapping portion exists, alignment between data is performed, so that model data of one object to be scanned may be finally created.
  • the location information of the camera obtained in the information acquisition step S20 may be in the form of a three-dimensional rectangular coordinate system expressed as x, y, and z values.
  • the location information of the camera may be displayed as a relative location based on a specific point.
  • the coordinates at the time of starting the scan may be set as the origin (0, 0, 0), and relative coordinates for each of the scan points may be obtained.
  • the rotation information of the camera can be obtained in the form of three angles represented by ( ⁇ , ⁇ , ⁇ ).
  • ⁇ may be an angle of the camera in the xy plane
  • ⁇ may be an angle of the camera in the yz plane
  • ⁇ may be an angle of the camera in the zx plane.
  • the rotation information of the camera may be obtained in the form of a 3 ⁇ 3 matrix.
  • the matrix of 3 ⁇ 3 may include information on the angle in the xy plane, the angle in the yz plane, and the angle in the zx plane, and the rotation information is inclined with respect to the reference position rather than information on the rotation speed. It means information about the true angle.
  • the rotation information of the camera can be converted from 3 angles expressed as ( ⁇ , ⁇ , ⁇ ) into a 3 ⁇ 3 matrix, and vice versa, in the form of a 3 ⁇ 3 matrix. It is also possible to convert into 3 types of angles.
  • the position information of the camera may be obtained in the form of a 3D rectangular coordinate system and the rotation information of the camera may be obtained separately in a matrix of 3 ⁇ 3, but the position information of the camera and the rotation information of the camera are 3 ⁇ 4 at once. They can also be acquired together in the form of a matrix.
  • the location information and rotation information of the scanner tip can be obtained from the location information and rotation information of the camera obtained by using the location information and rotation information between the camera and the scanner tip.
  • the scanner tip is configured to have a certain distance and a certain angle from the camera due to the structural characteristics of the scanner. Accordingly, by adding the distance between the camera and the scanner tip from the location information and rotation information of the camera, and reflecting the angle formed by the camera and the scanner tip, position information of the scanner tip and rotation information of the scanner tip can be derived.
  • the position information of the scanner tip may appear in various ways, but may be based on a portion corresponding to the center of the cross-sectional shape of the opening of the scanner.
  • the rotation information of the scanner tip may be an angle of a normal vector of a virtual plane including a cross section of the opening of the scanner.
  • a calculation step S30 of calculating relative information between the scanner and the scan object 1 may be performed from the state information of the scanner.
  • a distance between the scanner tip acquired in the information acquisition step S20 and the scan object 1 may be measured. This may correspond to scan points (eg, T1, T2, T3, T4, T5, and T6.
  • the number of scan points is not limited to six, and the scan points are scanned when performing the scan step S10).
  • a plurality of points may correspond) and the straight line distance and angle between the scanner tip may be calculated and obtained as distance data.
  • position information and rotation information of the camera can be obtained, and position information and rotation of the scanner tip through the position information and rotation information of the camera Information can be obtained.
  • distance and angle information between the scan object 1 and the scanner tip may be calculated, and a movement path 110 of the scanner tip to be described later is generated according to the distance and angle information calculated in the calculation step S30.
  • position information and rotation information of the scanner tip may change according to the scan time. Accordingly, the position information and rotation information of the scanner tip may be formed to be data-related so as to have information on the scan time at which the position information and rotation information occurred. Accordingly, it is possible to arrange the position information and rotation information of the scanner tip in the order of scanning time. Since the position information and rotation information of the scanner tip are arranged in the order of scan time, there is an advantage that data can be arranged and reproduced in a time order.
  • 6 to 14 are diagrams illustrating a process of generating scan model data on a user interface in chronological order in a method of reproducing a scan process according to the present invention.
  • the scanning process reproduction method is a display step of displaying the scan data in the form of a three-dimensional model M on a user interface by scanning an object 1 ( S40) may be included.
  • the completed model M may be displayed through the scanning process, but the process of forming the model until the completion may be displayed.
  • the user interface includes a scan display unit 10 displaying scan data as a three-dimensional model M, a scan performing unit 20 displaying a scanning process, and a three-dimensional model. It may include a manipulation interface unit 30 capable of performing manipulation.
  • the scan performing unit 20 may visually display 2D image data generated through a camera and an imaging sensor at a corresponding time. Meanwhile, the scan performing unit 20 and the scan display unit 10 may be formed to be displayed on the same screen, and the process of forming the 3D model M in correspondence to the same scanning time point and the 2D image obtained during the scanning process. Data can be played back simultaneously.
  • the scan performing unit 20 may be formed to be spaced apart from the scan display unit 10, and in order for the 3D model M to be recognized more principally, the scan performing unit 20 is smaller than the scan display unit 10 It can be formed to occupy an area.
  • the manipulation interface unit 30 may perform various manipulations on the 3D model M.
  • the option to delete the data for a specific part the option to check the data reliability of the 3D model (M) data, the scanner operation status (waiting, Scanning, etc.) may be included in the operation interface unit 30, but in the present invention, since the reproduction of the scanning process is the main thing, option buttons not related thereto are omitted.
  • the operation interface unit 30 may include a reproduction operation unit 31.
  • the scan display unit 10 displays only the final data that appears by forming a three-dimensional model M from the data until the start and end of the scan starts, but by manipulating the playback control unit 31 (for example, clicking)
  • the user interface can be switched to the playback mode.
  • portions 32 to 36 corresponding to the playback mode may additionally appear at the bottom of the scan display unit 10.
  • the scan time notation unit 32 can visually indicate the time at which the scan has progressed in the playback mode. In this case, the scan time will appear according to the movement of the search button 32b from one end to the other in the form of the slider bar 32a. I can. That is, the scan time is the scan start time when the search button 32b is located at one end (eg, the left end of the slider bar), and the search button 32b is the other end (eg, the right end of the slider bar). Part) may correspond to the scan end time.
  • the process of forming the scan data in the reproduction mode may be reproduced to sequentially display according to time.
  • the process of forming the scan data refers to displaying the scan data acquired in the above-described scanning step (S10) in the order in which the scan data are acquired.
  • the scan time notation unit 32 may move to a scan time point corresponding to the corresponding point by clicking a specific point of the slider bar 32a, and the scanning process may be reproduced from the scan time corresponding to the point.
  • the search button 32b and dragging and dropping the user may move to a desired scan time point.
  • the display step S40 may be configured to be able to adjust the reproduction speed through the reproduction speed control unit 33 formed on the user interface in reproducing the process of forming the scan data.
  • the playing speed control unit 33 includes a playing speed deceleration unit 33a and a playing speed accelerating unit 33b, and the playing speed deceleration unit 33a is usually indicated by a sign of'-' and the playing speed accelerating unit ( 33b) may be usually indicated by a'+' sign.
  • the playing speed currently applied when performing the playing process may be displayed, and the playing speed is ⁇ 0.5, ⁇ 1.0, ⁇ 1.5 of the reference speed, It can be adjusted in various ways such as ⁇ 2.0, ⁇ 2.5, ⁇ 3.0 times.
  • one end of the shape 100 of the scanner including the scanner tip is displayed in the user interface (more specifically, the scan display unit ( 10) can be marked on the top).
  • the shape of the scanner 100 is displayed on the scan display unit 10
  • the shape of the scanner 100 is translucently displayed on the user interface, so that the state of the scanner including the scanner tip and the scan data can be simultaneously reproduced.
  • the scanner graphic may cover part or all of the scan data appearing in the form of a three-dimensional model M. Therefore, the transparency of the shape 100 of the scanner is adjusted.
  • the status of the scanner including the scan data and the scanner tip can be checked together.
  • the shape 100 and the three-dimensional model M of the scanner including the scanner tip are the position information and rotation information of the scanner tip obtained in the above-described information acquisition step (S20) and calculation step (S30), and the scan target. It can be reproduced so that the distance and angle information from (1) appears. That is, when the scanning process is reproduced in the display step S40, information sequentially obtained according to time may be visually displayed on the scan display unit 10. In particular, when the scanner is rotated when scanning the scan object 1, it may be expressed to rotate the 3D model M as the scanner rotates with respect to the scan object 1 during scanning.
  • a scan portion selection portion 40 may be formed at one end of the scan display portion 10.
  • the scanning area selection unit 40 may be formed on the upper end of the scan display unit 10, and the scanning area selection unit 40 is a maxillary selection unit 41, a mandibular selection unit 42, and occlusion selection It may include a part 43.
  • the playback control unit 31 When the playback control unit 31 is activated (for example, clicked) to enter the playback mode, when the upper jaw selection unit 41 is selected, playback can be performed only for the scanning process of the upper jaw, and the lower jaw selection unit 42 When is selected, regeneration can be performed only for the scanning process of the mandible.
  • regeneration may be performed only for the process of scanning the occlusal shape of the upper and lower jaws in order to form an occlusion between the upper and lower jaws.
  • the portion where occlusal information is obtained may be displayed to be distinguished from the maxilla and the mandible, and this may be displayed in a visual manner of at least one of a color, a shade, and a pattern 14.
  • the scanning process of the maxilla, the scanning process of the mandible, and the scanning process of the occlusion can be classified according to the time sequence, the scan data and the position information of the scanner tip and rotation are performed to separate and reproduce the scanning process according to each scan process.
  • the information may be divided into a plurality of groups according to a time order. As described above, since the maxillary scan process, the mandibular scan process, and the occlusion scan process can be viewed separately, the user can quickly take only feedback on a specific scan process without checking all the scan processes.
  • a portion to be scanned at each scan time point may appear in the form of a shadow 12 on the 3D model M displayed on the scan performing unit 10.
  • the user can receive feedback on the scan-incomplete part by referring to the moving path of the shadow 12, etc., and can be used as reference material for later scanning.
  • 15 is a diagram illustrating a display of a scan path on a user interface in a method of reproducing a scan process according to the present invention.
  • a moving path 110 of the scanner tip may be additionally displayed.
  • the moving path 110 of the scanner tip is a connection of the position information of the scanner tip in a temporal order. Therefore, each point constituting the movement path 110 of the scanner tip may include scan time information (scan time), and when a part of the movement path 110 of the scanner tip is selected, the scan time corresponding to the corresponding point Playback can be performed by moving to (playback position). Accordingly, the user can visually check the moving path 110 of the scanner tip, and can take feedback on the scanning process based on the moving path 110 of the scanner tip, thereby enabling quick feedback.
  • the present invention provides a method for reproducing a scan process capable of simulating and displaying a scan process in which the scan data is obtained from previously stored scan data.

Abstract

본 발명에 따른 스캔 과정 재생 방법은, 스캔 단계에서 스캔 대상물을 스캔하면서 스캐너의 위치정보 및 회전정보를 획득하고, 이러한 스캐너의 위치정보 및 회전정보에 따라 스캔 대상물과의 거리관계 및 각도관계가 계산될 수 있다. 획득한 정보들 및 관계값들은 스캔 시간과 함께 연동되어 저장될 수 있으며, 디스플레이 단계에서 획득한 정보와 함께 스캔 데이터가 시간에 따라 순차적으로 표시될 수 있다. 스캔 과정 재생 방법에 따르면, 시간 순서대로 사용자의 스캔이 수행된 과정을 검토할 수 있고, 이러한 검토 과정은 재생 속도 조절과 스캔 시간 선택을 통해 신속하게 검토될 수 있다. 이에 따라, 사용자는 스캔이 미비한 부분에 대하여 해당 부분에 대한 추가적인 스캔을 수행할 수 있으며, 유사한 구강 형태를 가지는 다른 환자에 대하여 스캔을 수행할 때 스캔하기 위한 최적의 경로를 도출하기 위한 자료로도 사용가능한 이점이 있다.

Description

스캔 과정 재생 방법
본 발명은 스캐너를 통해 획득한 스캔 모델 데이터에 대하여, 스캔 모델 데이터를 획득하는 과정을 재생하는 방법(SCAN PROCESS REPLAYING METHOD)에 관한 것이다.
3차원 스캐너는 스캔 대상인 물체의 형상 정보를 획득하여 디지털화할 수 있는 기계로, 객체에 빛을 투사하여 대상에 대한 측정을 수행하게 된다. 3차원 스캔 데이터는 자동차 제작, 피규어 제작, 품질 검사, 의료 분야, 맞춤 제작 등의 분야에서 사용되고 있으며, 그 사용 범위는 점차 확대되는 추세이다.
일 예로, 일반적으로 치과 병원 등에서는 환자의 치아에 대한 인상채득(impression taking)을 통해 치아 등의 구강 내 조직구조를 파악하고, 이를 기초로 치료 및 진료를 수행하게 되는데, 최근에는 구강 내 조직구조에 대한 3차원 정보를 획득하기 위해 레이저 등의 측정광으로 구강 내 조직구조의 3차원 모델링 영상을 구현하는 치과용 구강스캐너 시스템이 널리 이용되고 있다.
일반적인 3차원 물체의 스캔 장치의 경우, 3차원 물체를 스캔하게 되면 물체의 복잡도를 표현하기 위해 소위 폴리곤(Polygon)이라 부르는 많은 수의 기하(Geometry) 정보들을 생성하고 그에 대한 연산이 수행되어 3차원 스캔 데이터를 생성하게 된다. 스캔 작업을 종료하고 데이터를 저장하면, 스캔이 완료된 상태는 확인할 수 있으나, 실제 스캔이 이루어진 과정을 다시 확인하는 것은 어려운 문제가 있었다.
본 발명에 따른 목적은, 기 저장된 스캔 데이터로부터 그 스캔 데이터가 얻어진 스캔 과정을 시뮬레이션하여 표시할 수 있는 스캔 과정 재생 방법을 제공하기 위한 것이다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재들로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명에 따른 스캔 과정 재생 방법은, 스캐너로 스캔 대상물을 스캔하여 스캔 데이터를 획득하는 스캔 단계, 상기 스캔 단계에서 상기 스캐너의 상태 정보를 획득하는 정보 획득 단계, 상기 정보 획득 단계로부터 획득한 상기 스캐너의 상태 정보로부터, 상기 스캐너와 상기 스캔 대상물과의 상대적인 정보를 계산하는 연산 단계, 및 상기 스캔 대상물의 스캔으로 획득된 상기 스캔 데이터가 유저 인터페이스 상에 표시되는 디스플레이 단계를 포함할 수 있다.
또한, 상기 스캔 단계는 상기 스캐너의 일단부에 형성된 개구부를 통하여 입사하는 광을 수용하여 적어도 하나 이상의 2차원 이미지 데이터를 획득하는 2차원 이미지 획득 단계, 상기 2차원 이미지 획득 단계로부터 획득한 상기 적어도 하나 이상의 2차원 이미지 데이터를 3차원 볼륨 데이터로 변환하는 3차원 이미지 생성 단계, 및 복수개의 상기 3차원 볼륨 데이터가 서로 연결 및 정렬되도록 얼라인을 수행하는 얼라인 단계를 더 포함할 수 있다.
또한, 상기 정보 획득 단계에서 획득되는 정보는 카메라의 위치정보 및 회전정보를 포함할 수 있다.
또한, 상기 카메라의 위치정보는 x, y, z값으로 표현되는 3차원 직각좌표계의 형태로 획득될 수 있다.
또한, 상기 카메라의 회전정보는 3×3의 회전행렬의 형태로 획득될 수 있다.
또한, 상기 카메라의 위치정보 상기 카메라의 회전정보는 3×4의 행렬의 형태로 함께 획득될 수 있다.
또한, 상기 정보 획득 단계는 상기 카메라의 위치정보 및 상기 카메라의 회전정보를 통해 스캐너 팁의 위치정보 및 회전정보를 획득할 수 있다.
또한, 상기 스캐너 팁의 위치정보 및 회전정보는 스캔 시간과 연동되도록 형성될 수 있다.
또한, 상기 디스플레이 단계는 상기 스캔 데이터의 형성 과정을 시간에 따라 순차적으로 표시하도록 재생할 수 있다.
또한, 상기 디스플레이 단계는 상기 스캔 데이터의 형성 과정을 재생함에 있어 상기 유저 인터페이스 상에 형성된 재생속도조절부를 통해 재생 속도를 조절가능할 수 있다.
또한, 상기 디스플레이 단계는 상기 스캔 데이터의 형성 과정을 재생함에 있어 상기 유저 인터페이스 상에 형성된 스캔시간표기부를 통해 재생 위치를 조절가능할 수 있다.
또한, 상기 디스플레이 단계는 상기 스캔 데이터의 형성 과정을 재생함에 있어 스캐너 팁을 포함하는 상기 스캐너의 형상 일단을 상기 유저 인터페이스 상에 표시할 수 있다.
또한, 상기 스캐너의 형상은 상기 유저 인터페이스 상에 반투명하게 표시되어 상기 스캐너 팁을 포함하는 상기 스캐너의 상태 및 상기 스캔 데이터가 동시에 재생될 수 있다.
또한, 상기 디스플레이 단계는 상기 스캐너 팁의 이동경로를 추가적으로 표시할 수 있다.
또한, 상기 스캐너 팁의 이동경로는 스캔 시간 정보를 포함하고, 상기 스캐너 팁의 이동경로 중 일부분을 선택하면 상기 일부분에 해당하는 재생 위치로 이동할 수 있다.
또한, 상기 스캔 데이터 및 상기 스캐너 팁의 위치정보 및 회전정보는 시간 순서에 따라 복수개의 그룹으로 구분될 수 있다.
본 발명의 일 실시예에 따른 스캔 과정 재생 방법에 따르면, 스캔 데이터가 얻어진 스캔 과정을 리플레이 영상으로 구현함으로써, 스캔 작업이 진행되는 과정을 시간적 순서에 따라 시뮬레이션할 수 있다.
이를 통하여, 상기 스캔 데이터를 얻기 위하여 수행된 스캔 작업이 수행된 환경, 스캔 방법 및 스캔 도중 발생한 문제사항을 포함하는 정보를 작업이 수행된 흐름에 따라 확인할 수 있으며, 확인된 정보를 스캔 데이터의 신뢰도 평가에 활용하거나 다음 스캔 작업 수행시 효율을 향상시키기 위한 가이드로 참고할 수 있다.
도 1은 본 발명에 따른 스캔 과정 재생 방법에 대한 개략적인 순서도이다.
도 2는 본 발명에 따른 스캔 과정 재생 방법에서, 스캔 단계에 대해 더욱 상세하게 도시한 순서도이다.
도 3은 본 발명에 따른 스캔 과정 재생 방법에서, 스캔 대상물과 스캔 대상물을 스캔하기 위한 스캐너의 개략도이다.
도 4는 본 발명에 따른 스캔 과정 재생 방법에서, 스캐너가 스캔 대상물을 스캔할 때 T1에서 T6으로 진행하면서 스캔을 수행하는 과정을 개략적으로 설명한 도이다.
도 5는 스캔 대상물을 스캔할 때 스캐너에 내장된 카메라와 스캔 대상물과의 관계를 개략적으로 나타낸 도이다.
도 6 내지 도 14는 본 발명에 따른 스캔 과정 재생 방법에서, 유저 인터페이스 상에 스캔 모델 데이터가 생성되는 과정을 시간 순서대로 도시한 도이다.
도 15는 본 발명에 따른 스캔 과정 재생 방법에서, 유저 인터페이스 상에 스캔 경로가 표시된 것을 도시한 도이다.
[부호의 설명]
S10: 스캔 단계
S11: 2차원 이미지 획득 단계
S12: 3차원 이미지 생성 단계
S13: 얼라인 단계
S20: 정보 획득 단계
S30: 연산 단계
S40: 디스플레이 단계
T1, T2, T3, T4, T5, T6: 스캔 지점
1: 스캔 대상물
M: 모델
10: 스캔표시부
12: 음영
14: 패턴
20: 스캔수행부
21: 스캐너 팁
30: 조작 인터페이스부
31: 재생조작부
32: 스캔시간표기부
32a: 슬라이더 바
32b: 탐색 버튼
33: 재생속도조절부
33a: 재생속도감속부
33b: 재생속도가속부
34: 스캐너 팁 표시/해제버튼
35: 스캔 영역 표시/해제버튼
36: 재생/정지버튼
40: 스캔부위 선택부
41: 상악 선택부
42: 하악 선택부
43: 교합 선택부
100: 스캐너
110: 이동 경로
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.
본 발명의 실시예의 구성 요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1은 본 발명에 따른 스캔 과정 재생 방법에 대한 개략적인 순서도이고, 도 2는 본 발명에 따른 스캔 과정 재생 방법에서, 스캔 단계에 대해 더욱 상세하게 도시한 순서도이다.
도 1 및 도 2를 참조하면, 본 발명에 따른 스캔 과정 재생 방법은 스캐너로 스캔 대상물(1)을 스캔하여 스캔 데이터를 획득하는 스캔 단계(S10)를 포함한다. 스캔 단계(S10)에서는 스캐너의 일단에 형성된 개구부를 통해 스캔 대상물(1)의 표면에서 반사되는 광이 스캐너 내부로 유입된다. 스캐너 내부로 유입된 광은 스캐너 내부에 형성된 카메라를 통하여 수용되고, 카메라는 수용된 광을 카메라와 연결된 이미징 센서를 통해 디지털 스캔 데이터로 획득한다. 이 때, 스캔 데이터는 적어도 하나 이상의 2차원 이미지 데이터일 수 있다(이는 스캔 단계(S10) 중 2차원 이미지 데이터를 획득하는 단계(S11)에 해당할 수 있다). 한편, 획득되는 2차원 이미지 데이터는 후술할 스캔수행부(20)에서 실시간으로 표시될 수도 있고, 또는 스캐너 내부에 추가적으로 형성된 광 프로젝터에서 스캔 대상물(1)을 향해 조사되는 구조광에 의해 3차원 볼륨 데이터로 생성될 때 3차원 볼륨 데이터 생성의 자료로 사용될 수도 있다.
한편, 카메라 및 카메라와 연결된 이미징 센서를 통해 2차원 이미지 데이터를 획득한 후, 획득한 2차원 이미지 데이터들을 조합하여 3차원 볼륨 데이터로 변환되도록 형성할 수 있다(3차원 이미지 생성 단계, S12). 3차원 볼륨 데이터는 3차원 공간에서 그래픽 정보를 가지는 복셀(voxel)을 포함하도록 형성될 수 있으며, 이러한 3차원 볼륨 데이터의 집합에 의하여 결과적으로 스캔 데이터가 유저 인터페이스(10) 상에 표시될 수 있다. 다만, 스캔 데이터가 유저 인터페이스(10) 상에 표시되기 위해, 각각의 3차원 볼륨 데이터가 단편적으로 나타나는 것은 아니고, 복수개의 3차원 볼륨 데이터가 서로 연결 및 정렬되도록 얼라인을 수행하는 얼라인 단계(S13)를 거쳐야 한다. 얼라인 단계(S13)를 통해 생성된 3차원 볼륨 데이터 간의 연결, 좌표 정렬 등이 수행되며, 이러한 얼라인 과정은 다양한 방식으로 수행될 수 있으나 바람직하게는 일 데이터에 타 데이터의 중첩되는 부분이 서로 연결되도록 하는 ICP(iterative closest point) 알고리즘을 사용하여 얼라인 단계(S13)가 수행될 수 있다.
또한, 전술한 바와 같이 스캔 단계(S10)가 수행되는 중에 스캐너의 상태 정보가 스캔 데이터와 함께 획득될 수 있다(정보 획득 단계, S20). 이 때, 스캐너의 상태 정보는 다양하게 획득될 수 있으나, 그 중 스캐너 내부에 형성된 카메라의 위치정보와 회전정보를 얻을 수 있다. 스캐너 내부에 형성된 카메라는 하나 이상일 수 있으며, 위치정보와 회전정보가 획득되는 카메라 또한 하나 이상일 수 있다. 카메라를 통하여 위치정보 및 회전정보를 획득하는 것은 최종적으로 스캐너와 스캔 대상물과의 거리정보를 획득하기 위한 것이다.
도 3은 본 발명에 따른 스캔 과정 재생 방법에서, 스캔 대상물(1)과 스캔 대상물(1)을 스캔하기 위한 스캐너의 개략도이다.
도 3을 참조하면, 스캔 대상물(1)을 스캐너를 통해 스캔하게 된다. 스캔 대상물(1)은 인상채득(impression taking)을 통해 획득한 석고 모형일 수도 있고, 또는 환자의 치아와 치은을 포함하는 실제 구강일 수도 있다. 스캐너의 종류에 대하여 다양한 형태의 스캐너가 존재하나, 본 발명의 특성 및 사용편의성 등을 종합적으로 고려하였을 때 핸드헬드(handheld) 형식의 3차원 스캐너가 채택되서 사용되는 것이 바람직하다. 스캐너의 스캐너 팁을 통해 스캔 대상물(1)에서 반사된 광이 스캐너 내부로 들어오게 되어 2차원 및 3차원 이미지 획득 및 얼라인이 수행되어 3차원 모델링된 스캔 데이터로 형성될 수 있다.
도 4는 본 발명에 따른 스캔 과정 재생 방법에서, 스캐너가 스캔 대상물을 스캔할 때 T1에서 T6으로 진행하면서 스캔을 수행하는 과정을 개략적으로 설명한 도이고, 도 5는 스캔 대상물을 스캔할 때 스캐너에 내장된 카메라와 스캔 대상물과의 관계를 개략적으로 나타낸 도이다.
도 4 및 도 5를 참조하면, 스캐너는 스캔 대상물(1)을 일단에서 타단으로 이동하면서 스캔을 수행할 수 있다. 한편, 사용자가 스캐너를 통하여 스캔을 수행할 때, 제1 스캔 지점(T1)으로부터 다음 스캔 지점들(T2, T3, T4, T5, 및 T6)까지 순차적으로 스캔이 수행된다. 스캔이 수행되는 과정에서, 스캔 지점들(T1, T2, T3, T4, T5, 및 T6)은 인접하는 각각의 스캔 지점들과 중첩되는 부분을 가질 수 있다. 중첩되는 부분이 존재하도록 스캔이 수행됨에 따라 데이터 간의 얼라인이 수행되어 최종적으로 하나의 스캔 대상물의 모델 데이터가 만들어질 수 있다.
한편, 스캐너가 스캔을 수행함에 있어서 정보 획득 단계(S20)에서 획득되는 카메라의 위치정보는 x, y, z값으로 표현되는 3차원 직각좌표계의 형태일 수 있다. 카메라의 위치정보는 특정 지점을 기준으로 한 상대적인 위치로 표시될 수 있다. 바람직하게는, 스캔을 시작하였을 때의 좌표를 원점(0, 0, 0)으로 설정하고, 각각의 스캔 지점들에 대한 상대적인 좌표를 획득할 수 있다.
카메라의 회전정보는 (α, β, γ)로 표현되는 3가지의 각도의 형태로 획득될 수 있다. 이 때, α는 xy 평면에서의 카메라의 각도, β는 yz 평면에서의 카메라의 각도, γ는 zx 평면에서의 카메라의 각도를 의미할 수 있다. 또한, 카메라의 회전정보는 3×3의 행렬의 형태로 획득될 수 있다. 이 때 3×3의 행렬은 xy 평면에서의 각도, yz 평면에서의 각도, 및 zx 평면에서의 각도에 대한 정보를 포함할 수 있으며, 회전정보는 회전속도 등에 대한 정보가 아니라 기준 위치에 대하여 기울어진 각도에 대한 정보를 의미한다. 카메라의 회전정보는 필요에 따라 (α, β, γ)로 표현되는 3가지의 각도의 형태에서 3×3의 행렬의 형태로 변환될 수 있으며, 그 역의 경우로 3×3의 행렬의 형태에서 3가지의 각도의 형태로 변환 또한 가능하다.
또한, 전술한 바와 같이 카메라의 위치정보가 3차원 직각좌표계의 형태로, 카메라의 회전정보가 3×3의 행렬로 각각 따로 획득될 수도 있으나, 한꺼번에 카메라의 위치정보와 회전정보가 3×4의 행렬의 형태로 함께 획득될 수도 있다.
카메라의 위치정보와 회전정보가 획득되면, 카메라와 스캐너 팁 사이의 위치정보 및 회전정보를 사용함으로써 획득한 카메라의 위치정보와 회전정보로부터 스캐너 팁의 위치정보 및 회전정보를 획득할 수 있다. 보다 상세하게는, 카메라의 위치정보 및 회전정보로부터, 스캐너 팁은 스캐너의 구조적 특성상 카메라와 일정한 거리 및 일정한 각도를 가지도록 구성되어 있다. 따라서, 카메라의 위치정보 및 회전정보에서, 카메라와 스캐너 팁까지의 거리를 가산하고, 카메라와 스캐너 팁이 이루는 각도를 반영하면 스캐너 팁의 위치정보와 스캐너 팁의 회전정보를 도출할 수 있다. 이 때, 스캐너 팁의 위치정보는 다양하게 나타날 수 있으나, 스캐너의 개구부 단면 형상의 중심에 해당하는 부분을 기준으로 할 수 있다. 또한, 스캐너 팁의 회전정보는 스캐너의 개구부 단면을 포함하는 가상의 평면의 법선벡터가 가지는 각도일 수 있다.
정보 획득 단계(S20)가 수행되면, 스캐너의 상태 정보로부터 스캐너와 스캔 대상물(1)과의 상대적인 정보를 계산하는 연산 단계(S30)가 수행될 수 있다. 연산 단계(S30)는 정보 획득 단계(S20)에서 획득한 스캐너 팁과 스캔 대상물(1) 간의 거리를 측정할 수 있다. 이는 스캔 지점들(예시적으로 T1, T2, T3, T4, T5, 및 T6이 이에 해당할 수 있다. 다만 스캔 지점이 6개에 한정되는 것이 아니며, 스캔 단계(S10)를 수행할 때 스캔되는 복수의 지점들이 해당될 수 있다)과 스캐너 팁 간의 직선거리와 각도를 연산하여 거리 데이터로 획득할 수 있다. 도 5를 참조하면, 카메라가 이동하면서(C1에서 C2로, C2에서 C3로) 카메라의 위치정보와 회전정보가 획득될 수 있고, 카메라의 위치정보와 회전정보를 통해 스캐너 팁의 위치정보와 회전정보가 획득될 수 있다. 또한, 스캔 대상물(1)과 스캐너 팁과의 거리, 각도정보가 연산될 수 있으며, 연산 단계(S30)에서 연산된 거리, 각도정보에 따라 후술할 스캐너 팁의 이동경로(110)가 생성된다.
한편, 스캐너를 통해 스캔 단계(S10)를 수행할 때, 스캔 시간에 따라 스캐너 팁의 위치정보 및 회전정보가 변화할 수 있다. 따라서, 스캐너 팁의 위치정보 및 회전정보는, 그 위치정보 및 회전정보가 발생한 스캔 시간에 대한 정보를 가지도록 데이터적으로 연동되도록 형성될 수 있다. 이에 따라서, 스캐너 팁의 위치정보 및 회전정보가 스캔 시간 순서대로 배열되도록 할 수 있다. 스캐너 팁의 위치정보 및 회전정보가 스캔 시간 순서대로 배열됨으로써, 시간 순서대로 데이터들이 배열되어 재생될 수 있는 이점이 있다.
도 6 내지 도 14는 본 발명에 따른 스캔 과정 재생 방법에서, 유저 인터페이스 상에 스캔 모델 데이터가 생성되는 과정을 시간 순서대로 도시한 도이다.
도 6 내지 도 14를 전체적으로 참조하면, 본 발명에 따른 스캔 과정 재생 방법은 스캔 대상물(1)의 스캔으로 유저 인터페이스 상에 스캔 데이터가 3차원 모델(M)의 형태로 나타나도록 표시되는 디스플레이 단계(S40)를 포함할 수 있다. 디스플레이 단계(S40)는 스캔 과정을 통해 완성된 모델(M)을 표시할 수도 있지만, 완성되기까지의 모델이 형성되는 과정을 표시할 수도 있다.
도 6 및 도 7을 참조하면, 유저 인터페이스는 스캔 데이터가 3차원 모델(M)로서 표시되는 스캔표시부(10)와, 스캔되는 과정이 표시되는 스캔수행부(20), 그리고 3차원 모델에 대하여 조작을 수행할 수 있는 조작 인터페이스부(30)를 포함할 수 있다. 스캔수행부(20)는 스캔이 실시간으로 수행되거나 스캔 과정을 재생할 때 해당 시간에 카메라 및 이미징 센서를 통해 생성되는 2차원 이미지 데이터를 시각적으로 표시할 수 있다. 한편, 스캔수행부(20)와 스캔표시부(10)는 동일한 화면에 표시되도록 형성될 수 있으며, 동일한 스캔 시점에 대응되어 3차원 모델(M)이 형성되는 과정과 스캔 과정에서 획득된 2차원 이미지 데이터가 동시에 재생될 수 있다. 또한, 스캔수행부(20)는 스캔표시부(10)와 이격되어 형성될 수 있으며, 3차원 모델(M)이 더욱 주요하게 인식되기 위하여, 스캔수행부(20)는 스캔표시부(10)보다 작은 영역을 점유하도록 형성될 수 있다.
한편, 조작 인터페이스부(30)는 3차원 모델(M)에 대한 다양한 조작을 수행할 수 있다. 경우에 따라서, 스캔의 결과가 사용자의 예상과 다른 경우, 특정 부분에 대하여 데이터를 삭제할 수 있는 옵션, 3차원 모델(M) 데이터의 데이터 신뢰도를 확인할 수 있는 옵션, 스캐너의 동작 상태(대기중, 스캔중 등)를 확인할 수 있는 옵션 등이 조작 인터페이스부(30)에 포함될 수 있으나, 본 발명에서는 스캔 과정에 대한 재생이 주요한 것인 바, 이와 관계없는 옵션 버튼에 대하여는 생략하였다.
조작 인터페이스부(30)는 재생조작부(31)를 포함할 수 있다. 일반적으로 스캔표시부(10)는 스캔이 시작되고 종료되기까지의 데이터를 3차원 모델(M)로 형성하여 나타나는 최종의 데이터만을 표시하지만, 재생조작부(31)를 조작(예를 들어, 클릭)함으로써 유저 인터페이스를 재생 모드로 전환할 수 있다.
재생 모드로 전환되면, 스캔표시부(10)의 하단에 재생 모드에 대응되는 부분들(32 내지 36)이 추가적으로 나타날 수 있다. 스캔시간표기부(32)는 재생 모드에서 스캔이 진행된 시간을 시각적으로 나타낼 수 있으며, 이 때 스캔 시간은 슬라이더 바(32a)의 형태 상에서 탐색 버튼(32b)이 일단에서 타단으로 이동하는 동작에 따라 나타날 수 있다. 즉, 스캔 시간은 탐색 버튼(32b)이 일단(예를 들어, 슬라이더 바의 좌측 끝부분)에 위치하는 경우 스캔 시작 시간이며, 탐색 버튼(32b)이 타단(예를 들어, 슬라이더 바의 우측 끝부분)에 위치하는 경우 스캔 종료 시간에 해당될 수 있다. 본 발명에 따른 디스플레이 단계(S40)에서는 재생 모드에서 스캔 데이터의 형성 과정을 시간에 따라 순차적으로 표시하도록 재생할 수 있다. 스캔 데이터의 형성 과정은 전술한 스캔 단계(S10)에서 획득한 스캔 데이터에 대하여, 스캔 데이터가 획득된 시간 순서대로 표시하는 것을 의미한다.
한편, 스캔시간표기부(32)는 슬라이더 바(32a)의 특정 지점을 클릭함으로써 해당 지점에 대응되는 스캔 시점으로 이동할 수 있으며, 해당 지점에 대응되는 스캔 시간부터 스캔 과정이 재생될 수 있다. 또는, 탐색 버튼(32b)을 클릭하여 드래그 앤 드롭(drag & drop)함으로써 사용자가 원하는 스캔 시점으로 이동할 수 있다.
또한, 디스플레이 단계(S40)는 스캔 데이터의 형성 과정을 재생함에 있어 유저 인터페이스 상에 형성된 재생속도조절부(33)를 통해 재생 속도를 조절가능하도록 구성될 수 있다. 재생속도조절부(33)는 재생속도감속부(33a)와 재생속도가속부(33b)를 포함하며, 재생속도감속부(33a)는 통상적으로 '-'의 기호로 표시되고 재생속도가속부(33b)는 통상적으로 '+'의 기호로 표시될 수 있다. 재생속도감속부(33a)와 재생속도가속부(33b) 사이에는 현재 재생 과정을 수행할 때 적용되고 있는 재생 속도가 표시될 수 있으며, 재생 속도는 기준 속도의 ×0.5, ×1.0, ×1.5, ×2.0, ×2.5, ×3.0배 등 다양하게 조절될 수 있다.
한편, 도 7 내지 도 12를 참조하면, 디스플레이 단계(S40)는 스캔 데이터의 형성 과정을 재생함에 있어서 스캐너 팁을 포함하는 스캐너의 형상(100) 일단을 유저 인터페이스(보다 상세하게는, 스캔표시부(10) 상)에 표시할 수 있다. 스캐너의 형상(100)이 스캔표시부(10)에 나타남으로써 사용자가 스캔 대상물(1)을 스캔할 때 어떠한 위치와 회전(기울임 각도)을 통하여 스캔을 수행하였는지 시각적으로 확인하고, 스캔이 미비한 부분을 피드백할 수 있다. 또한, 스캐너의 형상(100)은 유저 인터페이스 상에 반투명하게 표시되어 스캐너 팁을 포함하는 스캐너의 상태와 스캔 데이터가 동시에 재생될 수 있다. 즉, 스캐너의 형상(100)이 불투명하게 표시되는 경우 스캐너 그래픽이 3차원 모델(M)의 형태로 나타나는 스캔 데이터의 일부 또는 전부를 가릴 수 있으므로, 스캐너의 형상(100)에 대한 투명도를 조절하여 스캔 데이터와 스캐너 팁을 포함하는 스캐너의 상태를 함께 확인할 수 있도록 할 수 있다.
이 때, 스캐너 팁을 포함하는 스캐너의 형상(100)과 3차원 모델(M)은 전술한 정보 획득 단계(S20) 및 연산 단계(S30)에서 획득한 스캐너 팁의 위치정보 및 회전정보, 스캔 대상물(1)과의 거리 및 각도정보가 나타나도록 재생될 수 있다. 즉, 디스플레이 단계(S40)에서 스캔 과정이 재생되면 시간에 따라 순차적으로 획득된 정보들이 스캔표시부(10)에서 시각적으로 표시될 수 있다. 특히, 스캔 대상물(1)을 스캔함에 있어서 스캐너가 회전하였다면, 스캐너가 스캔시 스캔 대상물(1)에 대하여 회전한 것과 같이 3차원 모델(M)을 회전하도록 표현될 수 있다.
한편, 스캐너 팁이 스캔 과정 재생시에 보이지 않도록 하여 스캔 데이터의 형성 과정만 확인하고 싶은 경우, 스캔표시부(10) 일측에 형성된 스캐너 팁 표시/해제버튼(34)을 클릭하여 스캐너 팁을 포함하는 스캐너의 형상(100)이 표시되지 않도록 할 수 있다. 스캐너의 형상(100)이 표시되지 않음으로써, 3차원 모델(M)을 형성하는 스캔 데이터가 획득되는 과정을 더욱 면밀히 관찰할 수 있다.
도 13 및 도 14를 참조하면, 스캔표시부(10)의 일단에는 스캔부위 선택부(40)가 형성될 수 있다. 예를 들어, 스캔부위 선택부(40)는 스캔표시부(10)의 상단에 형성될 수 있으며, 스캔부위 선택부(40)는 상악 선택부(41), 하악 선택부(42), 및 교합 선택부(43)를 포함할 수 있다. 재생조작부(31)를 활성화(예를 들어, 클릭)하여 재생 모드에 진입한 경우, 상악 선택부(41)가 선택된 경우 상악의 스캔 과정에 대해서만 재생을 수행할 수 있고, 하악 선택부(42)가 선택된 경우 하악의 스캔 과정에 대해서만 재생을 수행할 수 있다. 또한, 재생 모드에서 교합 선택부(43)가 선택된 경우 상악과 하악의 교합을 형성하기 위하여 상/하악의 교합형태를 스캔한 과정에 대해서만 재생을 수행할 수 있다. 이 때, 교합 정보가 획득되는 부분은 상악 및 하악과 구분되도록 표시될 수 있으며, 이는 색상, 음영, 패턴(14) 중 적어도 하나 이상의 시각적 방식으로 표시될 수 있다. 한편, 상악의 스캔 과정, 하악의 스캔 과정, 및 교합의 스캔 과정은 시간 순서에 따라 구분될 수 있으므로, 각각의 스캔 과정에 따라 스캔 과정을 분리 재생하기 위하여 스캔 데이터와 스캐너 팁의 위치정보 및 회전정보는 시간 순서에 따라 복수개의 그룹으로 구분될 수 있다. 이와 같이, 상악 스캔 과정, 하악 스캔 과정, 교합 스캔 과정을 분리하여 볼 수 있으므로 사용자는 전체 스캔 과정을 모두 점검하지 않더라도 신속하게 특정 스캔 과정에 대한 피드백만 취할 수 있는 이점이 있다.
한편, 위와 같은 재생 모드에서 각각의 스캔 시점에서 스캔이 수행되는 부분이 스캔수행부(10) 상에 표시되는 3차원 모델(M) 상에 음영(12)의 형태로 나타날 수 있다. 사용자는 음영(12)의 이동경로 등을 참고하여 스캔이 미비한 부분에 대한 피드백을 받을 수 있으며, 추후 스캔에 참고자료로 활용할 수 있다.
도 15는 본 발명에 따른 스캔 과정 재생 방법에서, 유저 인터페이스 상에 스캔 경로가 표시된 것을 도시한 도이다.
도 15를 참조하면, 본 발명에 따른 스캔 과정 재생 방법에서 디스플레이 단계(S40)는 스캐너 팁의 이동경로(110)를 추가적으로 표시할 수 있다. 스캐너 팁의 이동경로(110)는 스캐너 팁의 위치정보를 시간적 순서에 따라 연결한 것이다. 따라서, 스캐너 팁의 이동경로(110)를 구성하는 각각의 지점은 스캔 시간 정보(스캔 시점)를 포함할 수 있고, 스캐너 팁의 이동경로(110) 중 일부분을 선택하면 해당 지점에 대응되는 스캔 시점(재생 위치)로 이동하여 재생이 수행될 수 있다. 이에 따라 사용자는 스캐너 팁의 이동경로(110)를 시각적으로 확인할 수 있으며, 스캐너 팁의 이동경로(110)를 기초로 스캔 과정에 대한 피드백을 취할 수 있어 신속한 피드백이 가능한 이점이 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.
따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
본 발명은 기 저장된 스캔 데이터로부터 그 스캔 데이터가 얻어진 스캔 과정을 시뮬레이션하여 표시할 수 있는 스캔 과정 재생 방법을 제공한다.

Claims (16)

  1. 스캐너로 스캔 대상물을 스캔하여 스캔 데이터를 획득하는 스캔 단계;
    상기 스캔 단계에서 상기 스캐너의 상태 정보를 획득하는 정보 획득 단계;
    상기 정보 획득 단계로부터 획득한 상기 스캐너의 상태 정보로부터, 상기 스캐너와 상기 스캔 대상물과의 상대적인 정보를 계산하는 연산 단계; 및
    상기 스캔 대상물의 스캔으로 획득된 상기 스캔 데이터가 유저 인터페이스 상에 표시되는 디스플레이 단계;를 포함하는 스캔 과정 재생 방법.
  2. 제1 항에 있어서,
    상기 스캔 단계는 상기 스캐너의 일단부에 형성된 개구부를 통하여 입사하는 광을 수용하여 적어도 하나 이상의 2차원 이미지 데이터를 획득하는 2차원 이미지 획득 단계;
    상기 2차원 이미지 획득 단계로부터 획득한 상기 적어도 하나 이상의 2차원 이미지 데이터를 3차원 볼륨 데이터로 변환하는 3차원 이미지 생성 단계; 및
    복수개의 상기 3차원 볼륨 데이터가 서로 연결 및 정렬되도록 얼라인을 수행하는 얼라인 단계;를 더 포함하는 스캔 과정 재생 방법.
  3. 제1 항에 있어서,
    상기 정보 획득 단계에서 획득되는 정보는 카메라의 위치정보 및 회전정보를 포함하는 스캔 과정 재생 방법.
  4. 제3 항에 있어서,
    상기 카메라의 위치정보는 x, y, z값으로 표현되는 3차원 직각좌표계의 형태로 획득되는 스캔 과정 재생 방법.
  5. 제3 항에 있어서,
    상기 카메라의 회전정보는 3×3의 회전행렬의 형태로 획득되는 스캔 과정 재생 방법.
  6. 제3 항에 있어서,
    상기 카메라의 위치정보 상기 카메라의 회전정보는 3×4의 행렬의 형태로 함께 획득되는 스캔 과정 재생 방법.
  7. 제3 항 내지 제6 항 중 어느 한 항에 있어서,
    상기 정보 획득 단계는 상기 카메라의 위치정보 및 상기 카메라의 회전정보를 통해 스캐너 팁의 위치정보 및 회전정보를 획득하는 스캔 과정 재생 방법.
  8. 제7 항에 있어서,
    상기 스캐너 팁의 위치정보 및 회전정보는 스캔 시간과 연동되도록 형성되는 스캔 과정 재생 방법.
  9. 제1 항에 있어서,
    상기 디스플레이 단계는 상기 스캔 데이터의 형성 과정을 시간에 따라 순차적으로 표시하도록 재생하는 스캔 과정 재생 방법.
  10. 제9 항에 있어서,
    상기 디스플레이 단계는 상기 스캔 데이터의 형성 과정을 재생함에 있어 상기 유저 인터페이스 상에 형성된 재생속도조절부를 통해 재생 속도를 조절가능한 스캔 과정 재생 방법.
  11. 제9 항에 있어서,
    상기 디스플레이 단계는 상기 스캔 데이터의 형성 과정을 재생함에 있어 상기 유저 인터페이스 상에 형성된 스캔시간표기부를 통해 재생 위치를 조절가능한 스캔 과정 재생 방법.
  12. 제9 항에 있어서,
    상기 디스플레이 단계는 상기 스캔 데이터의 형성 과정을 재생함에 있어 스캐너 팁을 포함하는 상기 스캐너의 형상 일단을 상기 유저 인터페이스 상에 표시하는 스캔 과정 재생 방법.
  13. 제12 항에 있어서,
    상기 스캐너의 형상은 상기 유저 인터페이스 상에 반투명하게 표시되어 상기 스캐너 팁을 포함하는 상기 스캐너의 상태 및 상기 스캔 데이터가 동시에 재생되는 스캔 과정 재생 방법.
  14. 제13 항에 있어서,
    상기 디스플레이 단계는 상기 스캐너 팁의 이동경로를 추가적으로 표시하는 스캔 과정 재생 방법.
  15. 제14 항에 있어서,
    상기 스캐너 팁의 이동경로는 스캔 시간 정보를 포함하고, 상기 스캐너 팁의 이동경로 중 일부분을 선택하면 상기 일부분에 해당하는 재생 위치로 이동하는 스캔 과정 재생 방법.
  16. 제8 항에 있어서,
    상기 스캔 데이터 및 상기 스캐너 팁의 위치정보 및 회전정보는 시간 순서에 따라 복수개의 그룹으로 구분되는 스캔 과정 재생 방법.
PCT/KR2020/002133 2019-02-15 2020-02-14 스캔 과정 재생 방법 WO2020167042A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202080014353.0A CN113424523B (zh) 2019-02-15 2020-02-14 扫描过程再生方法
EP20755610.1A EP3913913A4 (en) 2019-02-15 2020-02-14 METHOD OF REPRODUCTION OF A SCAN PROCESS
US17/401,250 US20210375031A1 (en) 2019-02-15 2021-08-12 Method for replaying scanning process

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20190017680 2019-02-15
KR10-2019-0017680 2019-02-15
KR10-2020-0018162 2020-02-14
KR1020200018162A KR102311389B1 (ko) 2019-02-15 2020-02-14 스캔 과정 재생 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/401,250 Continuation US20210375031A1 (en) 2019-02-15 2021-08-12 Method for replaying scanning process

Publications (1)

Publication Number Publication Date
WO2020167042A1 true WO2020167042A1 (ko) 2020-08-20

Family

ID=72043973

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/002133 WO2020167042A1 (ko) 2019-02-15 2020-02-14 스캔 과정 재생 방법

Country Status (1)

Country Link
WO (1) WO2020167042A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150057800A (ko) * 2013-11-20 2015-05-28 한국전자통신연구원 복원조각과 볼륨형 표면을 이용하는 카메라 트래킹 장치 및 방법
KR20150082428A (ko) * 2012-11-01 2015-07-15 얼라인 테크널러지, 인크. 3차원 스캔에서의 움직임 보상
US20160302895A1 (en) * 2007-06-29 2016-10-20 3M Innovative Properties Company Video-assisted margin marking for dental models
KR101915215B1 (ko) * 2014-05-07 2018-11-06 얼라인 테크널러지, 인크. 구강내 스캔 중 관심 구역의 식별
JP2018175227A (ja) * 2017-04-10 2018-11-15 富士フイルム株式会社 医用画像表示装置、方法およびプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160302895A1 (en) * 2007-06-29 2016-10-20 3M Innovative Properties Company Video-assisted margin marking for dental models
KR20150082428A (ko) * 2012-11-01 2015-07-15 얼라인 테크널러지, 인크. 3차원 스캔에서의 움직임 보상
KR20150057800A (ko) * 2013-11-20 2015-05-28 한국전자통신연구원 복원조각과 볼륨형 표면을 이용하는 카메라 트래킹 장치 및 방법
KR101915215B1 (ko) * 2014-05-07 2018-11-06 얼라인 테크널러지, 인크. 구강내 스캔 중 관심 구역의 식별
JP2018175227A (ja) * 2017-04-10 2018-11-15 富士フイルム株式会社 医用画像表示装置、方法およびプログラム

Similar Documents

Publication Publication Date Title
JP4567258B2 (ja) 歯牙もしくは歯牙標本及び該歯牙に直接近接した近傍域を把捉してモニタに表出する方法
CN113424523B (zh) 扫描过程再生方法
WO2017192020A1 (ko) 치과용 3차원 데이터 처리장치 및 그 방법
JP2003501118A5 (ko)
WO2018074854A1 (ko) 엑스선 영상 표시 장치 및 그 방법
WO2018066764A1 (ko) 임플란트 진단용 영상 생성 시스템 및 그 생성방법
KR20100105461A (ko) 교합기를 이용하여 치아 모형 이미지를 스캔하기 위한 장치
WO2018066763A1 (ko) 임플란트 진단용 영상 생성 시스템 및 그 생성방법
WO2021141424A1 (ko) 이미지 필터링 방법
WO2020167042A1 (ko) 스캔 과정 재생 방법
WO2021137573A2 (ko) 마진라인 설정 장치 및 방법
WO2020204366A2 (ko) 스캔 가이드 제공 방법 이를 위한 영상 처리장치
WO2020218734A1 (ko) 보철물 설계 시 언더컷 영역 표시방법 및 이를 수행하는 보철 캐드 장치
WO2022065756A1 (ko) 구강 이미지 처리 장치, 및 구강 이미지 처리 방법
WO2020171589A1 (ko) 구강 및 인상의 복합 스캔 시스템 및 방법
WO2021182754A1 (ko) 치과 임플란트 수술계획 수립방법 및 그 장치
WO2022164175A1 (ko) 삼차원 구강 모델을 처리하는 방법 및 장치
WO2019088343A1 (ko) 아크라인에 기초한 보철물 디자인 방법 및 시스템
WO2020189940A2 (ko) 엑스선 영상 생성 방법, 엑스선 영상 생성 장치 및 컴퓨터 판독 가능한 기록 매체
WO2022098039A1 (ko) 데이터 처리 방법
WO2022197153A1 (ko) 데이터 처리 방법
WO2022131585A1 (ko) 치아 배열용 그래픽 사용자 인터페이스를 이용한 디지털 치아 배열 방법 및 그 장치
WO2022092594A1 (ko) 구강 이미지 처리 장치, 및 구강 이미지 처리 방법
WO2021133086A2 (ko) 3차원 스캐너의 데이터 통합 방법 및 이를 이용한 시스템
WO2023003192A1 (ko) 이미지 처리 장치, 및 이미지 처리 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20755610

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020755610

Country of ref document: EP

Effective date: 20210819