KR102609442B1 - 치아 객체의 3차원 측정을 위한 카메라 및 방법 - Google Patents
치아 객체의 3차원 측정을 위한 카메라 및 방법 Download PDFInfo
- Publication number
- KR102609442B1 KR102609442B1 KR1020177036929A KR20177036929A KR102609442B1 KR 102609442 B1 KR102609442 B1 KR 102609442B1 KR 1020177036929 A KR1020177036929 A KR 1020177036929A KR 20177036929 A KR20177036929 A KR 20177036929A KR 102609442 B1 KR102609442 B1 KR 102609442B1
- Authority
- KR
- South Korea
- Prior art keywords
- sensor
- camera
- projection
- image
- pixel
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000005259 measurement Methods 0.000 title claims abstract description 38
- 230000003287 optical effect Effects 0.000 claims abstract description 14
- 230000003534 oscillatory effect Effects 0.000 claims abstract description 14
- 230000005855 radiation Effects 0.000 claims abstract description 3
- 238000005286 illumination Methods 0.000 claims description 11
- 238000000691 measurement method Methods 0.000 claims description 4
- 239000003086 colorant Substances 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 3
- 239000000523 sample Substances 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/24—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the mouth, i.e. stomatoscopes, e.g. with tongue depressors; Instruments for opening or keeping open the mouth
- A61B1/247—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the mouth, i.e. stomatoscopes, e.g. with tongue depressors; Instruments for opening or keeping open the mouth with means for viewing areas outside the direct line of sight, e.g. dentists' mirrors
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00172—Optical arrangements with means for scanning
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00188—Optical arrangements with focusing or zooming features
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00194—Optical arrangements adapted for three-dimensional imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
- A61C9/00—Impression cups, i.e. impression trays; Impression methods
- A61C9/004—Means or methods for taking digitized impressions
- A61C9/0046—Data acquisition means or methods
- A61C9/0053—Optical means or methods, e.g. scanning the teeth by a laser or light beam
- A61C9/006—Optical means or methods, e.g. scanning the teeth by a laser or light beam projecting one or more stripes or patterns on the teeth
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
- A61C9/00—Impression cups, i.e. impression trays; Impression methods
- A61C9/004—Means or methods for taking digitized impressions
- A61C9/0046—Data acquisition means or methods
- A61C9/0053—Optical means or methods, e.g. scanning the teeth by a laser or light beam
- A61C9/0066—Depth determination through adaptive focusing
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2518—Projection by scanning of the object
- G01B11/2527—Projection by scanning of the object with phase change by in-plane movement of the patern
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Optics & Photonics (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Dentistry (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Epidemiology (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
본 발명은 조사 빔(5)을 방출하는 적어도 하나의 광원(4), 투영 패턴(30, 40)을 생성하는 적어도 하나의 투영 수단(9), 치과용 카메라(1)에 대해 정의된 초점거리(8)에서 선명한 초점평면(7)에 투영 패턴(30, 40)을 표시하는 집속 광학계(6)를 포함하되, 객체(2) 위로 투영된 투영 패턴(30, 40)은 객체(2)에 의해 관찰 빔(10)으로서 반사되어 센서(11)에 의해 획득되는, 치아 객체(2)의 3차원 측정을 위한 카메라(1) 및 방법에 관한 것이다. 객체(2)를 측정함에 있어서, 집속 광학계(6)는 복수의 정의된 스캔 위치들(12, 13, 14, 54) 사이에서 카메라(1)에 대한 선명한 초점평면(7)의 초점거리(8)가 점진적으로 변화하는 방식으로 제어되고, 각각의 스캔 위치(12, 13, 14, 54)에 대해 제1 이미지(35) 및 적어도 하나의 제2 이미지(36)가 센서(11)에 의해 취득되고, 센서(11) 또는 투영 수단(9)은 관찰 빔의 빔 경로에 대해 횡방향으로 전후 진동 운동을 하고, 제1 이미지(35)는 센서(11)의 제1 센서 위치(18)에서 획득되고 제2 이미지(36)는 센서(11)의 제2 센서 위치(19)에서 획득되며, 상기 진동 운동 중에 센서(11)는 센서 픽셀행에 평행한 제1 센서 축을 따라, 또는 센서 픽셀열에 평행한 제2 센서 축을 따라 센서(11)의 픽셀(33, 34) 한 개의 폭에 해당하는 제1 센서 위치(18)와 제2 센서 위치(19) 사이의 거리(20)만큼 이동되거나, 제1 이미지(35)는 투영 수단(9)의 제1 위치에서 획득되고 제2 이미지(36)는 투영 수단(9)의 제2 위치에서 획득되며, 상기 진동 운동 중에 투영 수단(9)은 투영 패턴(30, 40)이 픽셀행에 평행한 제1 센서 축을 따라, 또는 픽셀열에 평행한 제2 센서 축을 따라 센서(11)의 픽셀(33, 34) 한 개의 폭만큼 센서(11)의 평면(7) 내에서 이동되는 방식으로 그 치수가 정해진 거리(20)만큼 이동된다.
Description
본 발명은 치아 객체의 3차원 측정을 위한 방법 및 카메라로서, 조사 빔을 방출하는 적어도 하나의 광원, 투영 패턴을 생성하는 적어도 하나의 투영 수단, 상기 치과용 카메라에 대해 정의된 초점거리에서 선명한 초점평면에 투영 패턴을 표시하는 집속 광학계를 포함하되, 객체 상으로 투영된 투영 패턴은 객체에 의해 관찰 빔으로서 반사되어 센서에 의해 획득되는, 방법 및 카메라에 관한 것이다.
치아 객체의 3차원 측정을 위한 다수의 방법 및 카메라들이 최신 기술로부터 공지되어 있다.
WO 2012/083967 A1은 광학적 공초점(confocal) 측정 방법을 사용하는 객체의 광학적 3D 측정용 장치를 개시하되, 제1 광원 외에도 적어도 하나의 제2 광원이 사용되고, 그 광은 광 가이드를 사용하여 장치의 빔 경로에 결합된다. 또한, 컬러 필터들과 조합된 컬러 LED들 또는 LED들과 같은 광원들이 사용될 수 있음으로써, 광원들이 교번하는 방식으로 켜져 균질한 조사를 보장하는 것이 더 개시된다.
WO 2010/145669 A1은 광학적 공초점 측정 방법을 사용하는 객체의 광학적 3D 측정용 장치를 개시한다. 이 경우, 일시적으로 변하는 패턴이 객체 상으로 투영된다. 변하는 패턴은 바퀴 형태의 모터 구동식 기계적 수단을 사용하여 생성된다.
이 방법들의 단점은 일시적으로 변하는 투영 패턴이 이동 가능한 투영 수단, 예컨대 모터 구동식 바퀴 형상의 투영 격자를 조사 빔 경로에 사용하여 생성된다는 것이다. 기계적으로 구동되는 투영 격자들의 부정확한 제어 또는 부정확한 작동은, 위치 선정 오류를 야기하여 객체의 부정확한 3차원 이미지 데이터가 획득되는 결과를 초래할 수 있다.
다른 단점은 기계적으로 구동되는 투영 격자들은 설치 공간이 필요하다는 것으로, 이는 카메라의 전반적인 크기 증가를 초래한다.
따라서, 본 발명의 과제는 치아 객체에 대해 에러가 없는 측정을 가능하게 하는 컴팩트한 디자인의 카메라를 제공하는 것이다.
본 발명은 치아 객체의 3차원 측정을 위한 카메라로서, 조사 빔을 방출하는 적어도 하나의 광원, 투영 패턴을 생성하는 적어도 하나의 투영 수단, 치과용 카메라에 대해 정의된 초점거리에서 선명한 초점평면에 투영 패턴을 표시하는 집속 광학계를 포함하되, 객체 상으로 투영된 투영 패턴은 객체에 의해 관찰 빔으로서 반사되어 센서에 의해 획득되는, 카메라에 관한 것이다.
객체를 측정하는 동안, 집속 광학계는 복수의 정의된 스캔 위치들 사이에서 카메라에 대한 선명한 초점평면의 초점거리가 점진적으로 변화하는 방식으로 제어되되, 여기서 각각의 스캔 위치에 대해 제1 이미지 및 적어도 하나의 제2 이미지가 센서에 의해 취득된다. 그 동안, 센서는 관찰 빔의 빔 경로에 대해 횡방향으로 전후 진동 운동을 하되, 제1 이미지는 센서의 제1 센서 위치에서 획득되고, 제2 이미지는 센서의 제2 센서 위치에서 획득된다. 카메라는 핸드피스(handpiece) 형태로 종래의 하우징(housing)에 통합될 수 있다. 광원은 광역 스펙트럼을 갖는 조사 빔을 방출하는, 예를 들어, 단일 LED, 또는 LED 그룹일 수 있다. 따라서, 광원은 백색 LED 또는 다수의 컬러 LED의 조합일 수 있다. 광원은 단색 조사 빔을 방출하는 레이저 LED 또는 레이저 다이오드일 수도 있다. 투영 수단은 투영 격자이거나 투영 패턴을 생성하는 투영 마스크일 수 있다. 투영 수단은 액정 구성요소(LCD)로 만들어진 디지털 광 프로젝터일 수도 있고, 적절하게 제어되어 투영 패턴을 생성한다. 집속 광학계는 조정 가능하고, 투영 패턴을 생성된 선명한 초점평면에 집속시키며, 여기서 선명한 초점평면은 전체 객체가 스캔될 수 있도록 점진적으로 변화한다. 스캔 위치들 사이의 거리는, 예를 들어, 0.1 mm일 수 있다. 이 거리는 스캔 방향을 따라 해상도를 정의한다. 집속 광학계의 조정은 연속적으로 수행될 수 있고, 그에 의해 이미지들의 이미지 데이터만이 정의된 스캔 위치들에서 이산적으로 판독된다.
제1 이미지 및 적어도 제2 이미지는 매 스캔 위치마다 생성되고, 이에 따라 센서는 전후로 진동 운동을 한다. 본 방법에 따르면, 강도 및 강도의 변화는 센서의 매 픽셀마다 기록된다. 따라서, 제1 이미지 강도 값과 제2 이미지 강도 값의 차이가 결정될 수 있고, 이로부터 2 개의 이미지의 콘트라스트 또는 선명도가 결정될 수 있다. 콘트라스트 값이나 선명도에 기초하여, 선명한 초점표면에 대해 측정될 객체 표면의 초점 거리가 결정될 수 있다. 그 이유는, 측정될 객체 표면이 선명한 초점표면으로부터 벗어날 경우 객체가 이미지 상에서 흐리게 보일 것이기 때문이다. 선명한 초점표면의 초점거리 또는 집속 광학계의 초점거리를 알면, 카메라에 대한 객체 표면의 거리를 계산할 수 있다. 예를 들어, 소위 DfD (depth-from-defocus) 측정법이 객체의 3 차원 이미지 데이터를 결정하는데 사용될 수 있다. 상이한 초점위치들로부터 획득된 이미지들은 서로 합쳐져 객체의 3차원 이미지 데이터를 결정한다. 예들 들어, 각각의 픽셀에 대해 강도 프로파일은 프레임 번호의 함수로서, 따라서 시간 및 초점위치의 함수로서 도시된다. 객체가 초점위치 내에 있지 않는 경우, 콘트라스트가 떨어진다. 객체가 초점위치 내에 있는 경우, 콘트라스트는 최대가 된다. 따라서, 최대 콘트라스트를 갖는 이미지는 카메라의 초점위치 내에서 획득된다. 이러한 방식으로, 카메라에 대한 객체의 거리가 결정된다.
조사 빔 경로 내의 기계적 투영 수단과 비교했을 때 이 카메라의 한 가지 장점은, 센서가 움직임으로 인해 더 컴팩트한 카메라 디자인이 가능하다는 것에 있다.
이 카메라의 다른 장점은, 두 센서 위치 사이에서 센서의 조정이 매우 정밀하게 제어됨으로써 객체의 에러 없는 측정이 가능하다는 것에 있다.
투영 패턴은 유리하게는 바둑판 형 패턴일 수 있고, 명과 암의 정사각형 패턴 요소로 구성될 수 있다.
바둑판 형 패턴은 단순히 패턴 요소 하나만큼 센서를 이동시킴으로 명 패턴 요소와 암 패턴 요소 간의 신속한 변환을 가능하게 한다.
바람직하게는, 투영 수단이 투영 패턴의 매 투영 요소가 센서의 하나의 픽셀 위로 투영되도록 치수를 갖고 정렬됨으로써, 센서의 평면 내에 투영된 패턴 요소의 이미지가 픽셀의 치수에 해당한다.
따라서, 하나의 개별 패턴 요소가 하나의 개별 픽셀 위로 투영됨으로써, 센서의 진동 동 운동 중에, 명과 암의 패턴 요소가 각각의 픽셀 위로 교번적으로 투영된다. 결과적으로, 각각의 픽셀에 대해 제1 이미지의 강도 값과 제2 이미지의 강도 값 사이의 차이 값이 용이하게 결정될 수 있다. 촬상 대상 객체의 표면이 선명한 초점표면 내에 있는 경우, 이 패턴의 이미지는 선명할 것이고, 따라서 강도 값의 차이 및 콘트라스트가 최대가 된다. 따라서, 객체의 개별 포인트들이 측정될 수 있고, 이 정보는 객체의 3차원 이미지 데이터를 생성하는데 사용될 수 있다.
진동 운동 중에, 센서는 유리하게는 센서의 픽셀 하나의 폭에 해당하는 거리만큼 제1 센서 위치와 제2 센서 위치 사이에서 이동된다.
따라서 제1 센서 위치와 제2 센서 위치 사이에서 센서의 이동은 최소한으로 작으며, 예들 들어 압전 소자에 의해 달성될 수 있다. 횡방향 이동 거리는 대안적으로 픽셀 폭의 배수에 해당할 수도 있다.
바람직하게는, 센서는 행에 평행한 제1 센서 축을 따라, 또는 열에 평행한 제2 센서 축을 따라 이동될 수 있다.
따라서, 행을 따라, 또는 열을 따라 센서를 조정하는 것은 용이하게 수행될 수 있다.
카메라는 바람직하게는 센서 전방 관찰 빔의 빔 경로에 관찰 마스크를 포함하며, 관찰 마스크는 두 개의 센서 위치 사이에서 센서와 함께 이동된다.
관찰 마스크는 또한, 예를 들어 투영 패턴과 같은 바둑판 형 구조를 포함할 수 있다.
관찰 마스크는 바람직하게는 바이엘(Bayer) 필터일 수 있고, 적색, 녹색 및 청색 컬러 필터로 구성된 바둑판 형 구조를 포함하며, 필터 각각은 치아 객체의 컬러 측정이 가능하도록 센서의 픽셀 하나와 연관된다.
따라서, 특정 컬러 필터가 각 픽셀의 전방에 배치되어 픽셀들의 개별 강도 값을 평가할 때 객체의 컬러가 결정될 수 있다. 3차원 측정 및 컬러 측정은 따라서 조인트 깊이 스캔으로 동시에 수행될 수 있다.
상이한 컬러 필터들 또한 컬러 측정을 수행하는데 적합한 다른 컬러들을 가질 수 있다. 컬러 필터는 또한 센서의 픽셀 그룹, 예컨대 2x2 또는 4x4 픽셀 그룹과 연관될 수도 있다.
제1 이미지를 제1 센서 위치에서 사용하고, 제1 센서 위치에 대해 픽셀 하나만큼 오프셋된 제2 센서 위치에서 제2 이미지를 사용함으로써, 제1 센서 위치에서의 제1 강도 값 및 제2 센서 위치에서의 제2 강도 값이 유리하게는 센서의 매 픽셀마다 결정 가능하며, 여기서 제1 강도 값과 제2 강도 값 사이의 차이 값은 카메라의 연산 유닛을 이용해 차이를 계산함으로써 결정 가능할 수 있다.
따라서, 콘트라스트 값에 해당하는 두 강도 값들 사이의 차이 값이 결정된다. 따라서, 개별 스캔 위치들 사이를 조정하는 과정에서 차이 값의 변화가 결정될 수 있고, 여기서 차이 값의 최대치는 객체 표면의 깊이 위치에 해당한다.
연산 유닛을 사용하면서 차이 값을 초점거리의 함수로서 사용함으로써, 유리하게는 객체의 객체 표면의 깊이 정보가 매 픽셀마다 획득되어 객체의 3차원 표면 데이터가 생성될 수 있다.
따라서, 객체 표면의 복수의 측정 포인트에 대한 깊이 정보가 결정되어, 이 정보로부터 객체의 3차원 표면 데이터가 생성될 수 있다.
투영 패턴은 바람직하게는 복수의 평행한 명과 암의 스트라이프로 구성될 수 있다.
그 결과, 평행한 스트라이프들로 구성된 통상의 투영 패턴이 사용된다.
바람직하게는, 투영 수단이, 투영 패턴의 각각의 스트라이프가 센서 픽셀의 하나의 열 또는 행 위로 투영되도록 치수를 갖고 정렬됨으로써, 센서의 평면 내에 투영된 스트라이프의 폭이 픽셀의 폭에 해당한다.
따라서, 투영 패턴의 각각의 스트라이프가 센서의 하나의 열 또는 행 위로 투영된다.
진동 운동 중에, 센서는 센서의 픽셀 하나의 폭에 해당하는 제1 센서 위치와 제2 센서 위치 사이의 거리만큼 유리하게 변위될 수 있으며, 여기서 센서는 투영된 스트라이프에 수직인 방향으로 이동된다.
따라서, 센서의 진동 운동은 픽셀 하나의 폭만큼만 센서를 변위시키고, 이에 의해 투영된 패턴의 밝은 스트라이프 또는 어두운 스트라이프가 각각의 픽셀 위로 교번하여 투영된다. 평행한 스트라이프의 투영 패턴의 경우, 카메라는 바람직하게는 센서 전방 관찰 빔의 빔 경로에 센서와 함께 이동되는 관찰 마스크를 포함할 수 있으며, 여기서 관찰 마스크는 적색, 녹색 및 청색 컬러 필터의 바둑판 형 구조로 이루어진 바이엘 필터이며, 필터의 각각은 치아 객체의 컬러 측정이 가능하도록 센서의 픽셀 하나와 연관된다.
따라서, 바이엘 필터를 사용하면 객체의 3차원 측정 외에도 컬러 측정이 가능해진다.
제1 이미지를 제1 센서 위치에 사용하고, 제1 센서 위치에 대해 상대적으로 하나의 픽셀만큼 스트라이프에 수직인 방향으로 오프셋된 제2 센서 위치에 제2 이미지를 사용함으로써, 제1 센서 위치에서의 제1 강도 값과 제2 센서 위치에서의 제2 강도 값이 센서의 매 픽셀마다 획득될 수 있고, 여기서 제1 강도 값과 제2 강도 값 간의 차이 값은 카메라의 연산 유닛을 이용해 차이를 계산함으로써 얻어질 수 있으며, 여기서 연산 유닛을 사용하면서 차이 값을 초점 거리의 함수로서 사용함으로써, 객체의 객체 표면의 깊이 정보가 매 픽셀마다 획득되어 객체의 3차원 표면 데이터의 측정이 가능해진다.
따라서, 차이 값의 변화를 콘트라스트 변화의 지표로서 판단하는 것이 간단한 방식으로 가능해진다. 따라서, 차이 값의 변화가 최대일 때, 선명한 초점평면이 객체 표면 내에 놓이게 된다. 센서는 바람직하게는 CCD 센서 또는 CMOS 센서일 수 있다.
따라서, 종래의 센서 유형들이 사용될 수 있다. CMOS 센서는 개별 이미지들이 더 신속하게 판독될 수 있다는 장점을 가진다.
센서의 진동 운동은 유리하게는 전동기에 의하거나 적어도 3,000 Hz의 주파수를 갖는 압전 소자에 의해 수행될 수 있다.
예를 들어, 6,000 Hz의 주파수는 깊이 스캔 당 300 개의 스캔 위치를 포함하는 카메라에 획득되며, 여기서 각각의 스캔 위치에 대해 두 개의 이미지가 두 개의 센서 위치에서 취득되고, 이 이미지들은 100 ms의 촬상 시간을 갖는다. 스캔 위치 수가 적고 촬상 시간이 길어질 경우, 주파수는 예를 들어 100 Hz까지 실질적으로 낮아질 수도 있다.
압전 소자는 두 스캐닝 위치 사이에서 특히 신속하고 정확한 조정을 가능하게 하는데 특히 적합하다.
본 발명은 카메라에 의한 치아 객체의 3차원 측정 방법으로서, 조사 빔을 방출하는 적어도 하나의 광원, 투영 패턴을 생성하는 적어도 하나의 투영 수단, 및 치과용 카메라에 대해 정의된 초점거리에서 선명한 초점평면에 투영 패턴을 표시하는 집속 광학계를 포함하되, 객체 위로 투영된 투영 패턴은 객체에 의해 관찰 빔으로서 반사되어 센서에 의해 획득되는, 방법에 관한 것이다. 객체를 측정하는 동안, 집속 광학계는 복수의 정의된 스캔 위치들 사이에서 카메라에 대한 선명한 초점평면의 초점거리가 점진적으로 변화하는 방식으로 제어되고, 여기서 각각의 스캔 위치마다 제1 이미지 및 적어도 하나의 제2 이미지가 센서에 의해 취득된다.
따라서, 각각의 스캔 위치마다 콘트라스트를 결정하기 위한 적어도 두 개의 이미지가 생성된다.
이 방법의 하나의 장점은, 두 이미지의 콘트라스트 또는 선명도가 두 이미지를 비교함으로써 용이하게 결정된다는 것이다. 이 정보는 이어서 카메라로부터 객체의 거리 및 객체의 3차원 이미지 데이터를 결정하는데 사용될 수 있다.
센서는 유리하게는 관찰 빔의 빔 경로에 대해 횡방향으로 전후 진동 운동을 할 수 있고, 여기서 제1 이미지는 센서의 제1 센서 위치에서 획득되고 제2 이미지는 센서의 제2 센서 위치에서 획득되며, 진동 운동 중에 센서는 센서 픽셀의 행에 평행한 제1 센서 축을 따라, 또는 센서 픽셀의 열에 평행한 제2 센서 축을 따라 센서의 픽셀 한 개의 폭에 해당하는 제1 센서 위치와 제2 센서 위치 사이의 거리만큼 이동된다.
센서의 이동 결과, 각각의 픽셀은 투영 패턴 중 밝은 패턴 요소 또는 어두운 패턴 요소로 교번하여 조사된다. 이에 따라, 차이 값 및 콘트라스트가 각 픽셀 강도의 시간 의존성에 의해 결정될 수 있다. 투영 수단은 유리하게는 조사 빔의 빔 경로에 대해 횡방향으로 전후 진동 운동을 할 수 있으며, 여기서 제1 이미지는 투영 수단의 제1 위치에서 획득되고 제2 이미지는 투영 수단의 제2 위치에서 획득되며, 진동 운동 동안에 투영 수단은 행에 평행한 제1 센서 축을 따라, 또는 열에 평행한 제2 센서 축을 따라, 투영 패턴이 센서의 평면 내에서 센서의 픽셀 한 개의 폭만큼 이동되는 방식으로 그 치수가 정해진 거리만큼 이동된다.
따라서, 투영 패턴의 변화가 투영 수단의 진동 운동에 의해 생성된다.
투영 패턴은 유리하게는 바둑판 형 패턴일 수 있고, 명과 암의 정사각형 패턴 요소로 구성될 수 있다.
그 결과, 투영 패턴이 픽셀 하나만큼 변위될 때, 명 또는 암 패턴 요소가 센서의 각 픽셀 위로 교번하여 투영된다.
바람직하게는, 투영 수단이 투영 패턴의 각 투영 요소가 센서의 픽셀 한 개 위로 투영되도록 치수를 갖고 정렬됨으로써, 센서의 평면 내에 투영된 패턴 요소의 이미지가 픽셀의 치수에 해당할 수 있다.
따라서, 투영 수단의 이동은 최소화되고 압전 소자와 같은 컴팩트하고 정밀한 구동 수단에 의해 보장될 수 있다.
바람직하게는, 카메라는 센서 전방의 관찰 빔의 빔 경로에 센서와 함께 이동되는 관찰 마스크를 포함함으로써, 관찰 마스크의 평면 내 투영 패턴의 패턴 요소의 이미지 치수가 관찰 마스크 요소의 치수에 해당할 수 있다.
따라서, 구조상 관찰 마스크는 투영 패턴에 해당한다.
투영 패턴은 바람직하게는 복수의 평행한 스트라이프로 구성될 수 있다.
따라서, 예를 들어, 평행한 스트라이프를 갖는 통상의 투영 격자가 투영 패턴을 생성하는데 사용될 수 있다.
바람직하게는, 투영 수단이 투영 패턴의 각 스트라이프가 센서 픽셀의 하나의 열 또는 행 위로 투영되도록 치수를 갖고 정렬됨으로써, 센서의 평면 내에 투영된 스트라이프의 폭이 픽셀의 폭에 해당할 수 있고, 이에 의해 센서 또는 투영 수단이 투영된 스트라이프에 수직인 방향으로 이동될 수 있다.
투영 패턴을 픽셀 하나만큼 변위시킴으로써, 명 또는 암 스트라이프가 센서의 각 픽셀 위로 교번하여 투영된다. 바람직하게는, 제1 센서 위치 또는 투영 수단의 제1 위치에 제1 이미지를 사용하고, 제1 센서 위치에 대해 센서의 매 픽셀이 상대적으로 픽셀 한 개만큼 오프셋된 제2 센서 위치 또는 투영 수단의 제2 위치에 제2 이미지를 사용할 때, 제1 강도 값은 제1 센서 위치 또는 투영 수단의 제1 위치에서 획득될 수 있고 제2 강도 값은 제2 센서 위치 또는 투영 수단의 제2 위치에서 획득될 수 있으며, 여기서 제1 강도 값과 제2 강도 값 간의 차이 값은 카메라의 연산 유닛을 이용해 차이를 계산함으로써 얻어진다.
따라서, 콘트라스트의 지표로서의 차이 값이 스트라이프 패턴을 이동 시킴으로써 용이하게 결정될 수 있다.
연산 유닛을 사용하면서 차이 값을 초점거리의 함수로서 사용함으로써, 유리하게는 객체의 객체 표면의 깊이 정보가 매 픽셀마다 획득되고, 따라서 객체의 3차원 표면 데이터가 생성될 수 있다.
따라서, 초점 거리의 함수로서의 차이 값이 매 픽셀마다 획득되고, 이에 의해 차이 값이 최대가 객체 표면의 위치에 해당한다.
평행한 스트라이프의 투영 패턴의 경우, 카메라는 바람직하게는 센서 전방 관찰 빔의 빔 경로에 센서와 함께 이동되는 관찰 마스크를 포함할 수 있으며, 여기서 관찰 마스크는 적색, 녹색 및 청색 컬러 필터의 바둑판 형 구조로 이루어진 바이엘 필터이고, 필터의 각각은 치아 객체의 컬러 측정이 가능하도록 센서의 픽셀 하나와 연관된다.
따라서, 객체의 3차원 측정 외에도 객체의 컬러 측정이 가능하다. 4 개의 정사각형 군은, 예를 들어 2 개의 청색, 1 개의 녹색 및 1 개의 적색 컬러 필터로 구성될 수 있다.
센서 또는 투영 수단의 진동 운동은 유리하게는 전동기에 의하거나 적어도 6,000 Hz의 주파수를 갖는 압전 요소에 의해 수행될 수 있다.
본 발명은 도면들을 참조하여 설명된다. 도면들은 다음을 나타낸다:
도 1은 3차원 측정용 카메라의 스케치이고,
도 2는 바둑판 형 투영 패턴의 스케치이고,
도 3은 명과 암의 스트라이프로 이루어진 투영 패턴의 스케치이고,
도 4는 시간의 함수로서의 강도 값의 다이어그램이고,
도 5는 시간의 함수로서의 강도 값의 다이어그램이고,
도 6은 초점 거리의 함수로서의 강도 값의 도표이다.
도 1은 3차원 측정용 카메라의 스케치이고,
도 2는 바둑판 형 투영 패턴의 스케치이고,
도 3은 명과 암의 스트라이프로 이루어진 투영 패턴의 스케치이고,
도 4는 시간의 함수로서의 강도 값의 다이어그램이고,
도 5는 시간의 함수로서의 강도 값의 다이어그램이고,
도 6은 초점 거리의 함수로서의 강도 값의 도표이다.
설계예
도 1은 환자의 도시된 치아와 같은 치아 객체(2)의 3차원 측정을 위한 카메라(1)의 스케치를 도시하며, 여기서 카메라(1)은 핸드피스의 형태로 하우징(3)에 통합되어 있다. 상기 카메라는 조사 빔(5)을 방출하는 광원(4), 및 카메라(1)에 대해 정의된 초점거리(8)에서 선명한 초점표면(7) 위로 조사 빔(5)을 집속하는 집속 광학계를 포함한다. 카메라(1)는 투영 패턴을 생성하기 위한 투영 수단(9), 예컨대 투영 격자 또는 LCD 광 프로젝터를 더 포함한다. 투영 패턴은, 예를 들어, 바둑판 형태를 포함하거나 여러 개의 평행한 스트라이프로 구성될 수 있다. 따라서, 투영 패턴은 객체(2) 위로 투영되고, 객체(2)에 의해 관찰 빔(10)으로서 반사되어 센서(11)에 의해 획득된다. 객체(2)를 측정할 때, 예를 들어 복수의 렌즈로 구성된 집속 광학계(6)는 카메라(2)에 대한 선명한 초점평면(7)의 초점거리(8)가 복수의 정의된 스캔 위치들(12, 13, 14) 사이에서 점진적으로 조정되는 방식으로 제어된다. 매 스캔 위치(7, 12, 13 또는 14)마다 제1 이미지 및 적어도 하나의 제2 이미지가 생성되고, 이에 의해 센서(11)는 모터나 압전 소자와 같은 구동 수단(16)의 작동에 의해 화살표(15)로 도시된 바와 같이 관찰 빔(10)의 빔 경로에 대해 횡방향으로 이동된다. 센서(11)의 진동 운동의 결과, 각각의 스캔 위치(12, 13, 14)에서 센서(11)의 매 픽셀은 투영 패턴의 명 또는 암 패턴 요소로 교번하여 조사된다. 스캔 위치들(7, 12, 13, 14) 간의 거리는, 예를 들어, 0.1 mm일 수 있다. 따라서, 관찰 빔(10)에 평행한 Z-방향으로의 해상도는 스캔 위치들 간의 이 거리에 따라 정의된다. 카메라는, 예를 들어 복수의 컬러 필터들로 만들어진 바이엘 필터의 형태로 디자인 될 수 있는 관찰 마스크(17)를 더 포함한다. 이러한 바이엘 필터(17)는 객체(2)의 3차원 측정에 추가하여 객체(2)의 컬러 측정도 가능하게 한다. 센서(11)가 이동(15)되는 과정에서, 센서(11)는 점선으로 도시된 제1 센서 위치(18)와 제2 센서 위치(19) 사이로 거리(20)만큼 이동된다. 거리(20)는, 예를 들어, 센서(11)의 픽셀 하나의 폭에 해당할 수 있다. 따라서, 센서(11)의 매 픽셀에 대해 제1 강도 값이 제1 센서 위치(18)에서 결정되고 제2 강도 값이 제2 센서 위치(19)에서 결정되며, 이에 의해 제1 강도 값과 제2 강도 값 간의 차이 값은 연산 유닛(21)을 이용해 차이를 계산함으로써 얻어진다. 관찰 마스크(17)는, 예를 들어, 센서(11)와 함께 두 센서 위치(18, 19) 사이에서 이동될 수 있다. 연산 유닛(21)은 카메라(1)에 통합된, 예를 들어, 마이크로 컴퓨터 또는 칩일 수 있다. 차이 값의 결정은 컴퓨터(22)를 이용해 대안적으로 수행될 수 있고, 이에 의해 센서(11)의 이미지 데이터는 케이블 연결(23)이나 무선에 의해 컴퓨터로 전송된다. 따라서, 선명한 층(7)이 객체(2)의 표면(24)과 일치할 때 최대가 되는 차이 값은 이러한 방식으로 매 스캔 위치(7, 12, 13 또는 14) 및 매 픽셀마다 결정된다. 그렇지 않으면, 투영 패턴은 객체(2)의 표면(24) 상에서 흐려질 것이다. 따라서, 센서(11)의 이미지 데이터는 화살표(25)에 의해 도시된 바와 같이 각각의 이미지 뒤에서 판독되어 컴퓨터로 전송된다. 컴퓨터가 객체(2)를 측정을 완료한 후, 측정 객체(2)의 표면(24) 상의 측정 포인트들의 개별 좌표들은 모니터와 같은 표시 장치(27)에 의해 시각화될 수 있는 객체(2)의 3차원 이미지 데이터(26)을 계산하는데 사용된다. 센서(11)의 이동에 대한 대안으로서, 전동기나 압전 소자와 같은 제2 구동 수단(9.1)을 사용함으로써 투영 수단(9)이 작동될 수 있다. 이어서, 투영 수단(9)의 제어는, 화살표로 표시된 바와 같이, 투영 패턴이 센서(11)의 표면 내에서 픽셀 하나의 폭만큼 이동되는 방식으로 수행된다. 다른 대안에서, 센서(11) 및 투영 수단(9)은 동기적으로(synchronously) 이동되어 센서(11)에 대한 투영 패턴의 원하는 변위를 생성할 수 있다. 카메라(1)는 거울과 같이 조사 빔(5)을 객체(2)에 편향시키는 빔 디플렉터(28)를 포함한다. 카메라(1)는 관찰 빔(10)을 센서(11)에 편향시키는 빔 스플리터(29)를 더 포함한다. 집속 광학계(6)는 조사 빔(5) 및 관찰 빔(10) 모두에 의해 조사된다.
도 2는 제1 센서 위치(18)에서의 센서(11) 상의 바둑판 형 투영 패턴(30)의 스케치를 도시한다. 치수에 있어서, 투영 패턴(30)의 암 패턴 요소(31) 및 투영 패턴(30)의 명 패턴 요소(32)는 센서(11)의 개별 픽셀들(33)에 해당한다. 픽셀(33) 하나의 폭에 해당하는 거리(20)만큼의 횡방향 변위(15)로 인해, 예를 들어 좌상 코너의 픽셀(34)에는 명 패턴 요소(32)가 조사된다. 이러한 방식으로, 센서(11)의 각 픽셀에는 명 패턴 요소(32) 또는 암 패턴 요소(31)이 교번하여 조사된다. 따라서, 센서 위치(18)에서의 제1 이미지(35) 및 제2 센서 위치(19)에서의 제2 이미지(36)로부터의 두 강도 값의 차이 값이 각각의 픽셀에 대해 획득될 수 있다. 상기 선명한 층이 상기 객체의 객체 표면(24)과 일치하는 경우, 센서(11) 상의 투영 패턴(30)의 이미지는 선명한 초점 내에 있게 되므로, 개별 차이 값들은 최대가 된다.
도 3은 명 스트라이프(41)와 암 스트라이프(42)로 이루어진 투영 패턴(40)의 스케치를 도시한다. 도 2에서와 같이, 투영 패턴은 제1 센서 위치(18)과 제2 센서 위치(19) 사이에서 픽셀 하나의 폭에 해당하는 거리(20)만큼 이동된다. 센서(11)의 이러한 변위의 결과, 센서(11)의 각 픽셀에는 명 스트라이프(42) 또는 암 스트라이프(41)가 마찬가지로 조사된다.
도 4는 x-축 상의 시간 (51)의 함수로서의 y-축 상의 강도 값(50)의 다이어그램을 도시한다. 제1 스캔 위치(12)에서, 눈금 0과 1 사이에 있는 제1 강도 값(52)은 제1 센서 위치(18)에서 제1 이미지(35)로부터 획득되고, 제2 강도 값(53)은 제2 센서 위치(19)에서 제2 이미지(36)로부터 획득된다. 제2 스캔 위치(13), 제3 스캔 위치(14), 및 제5 스캔 위치(54)에 대한 강도 값들은 동일한 방식으로 획득된다.
도 5는 본 방법을 도시하기 위한 다이어그램을 나타내며, 여기서 제1 스캔 위치(12)에 대한 제1 차이 값(60), 제2 스캔 위치(13)에 대한 제2 차이 값(61), 제3 스캔 위치(14)에 대한 제3 차이 값(62), 및 제4 스캔 위치(54)에 대한 제4 차이 값(63)은 강도 값(52, 53)으로부터 그 차이를 계산함으로써 획득된다. 상기 차이 값은 시간의 함수(51)로서 도시되어 있다. 제4 스캔 위치에서(54), 차이 값(63)은 최대이므로, 이 스캔 위치(54)에서 선명한 초점평면(7)이 객체 표면(24)과 일치한다. 따라서, 객체 표면(24) 상의 해당 측정 포인트의 깊이 정보가 매 픽셀마다 획득될 수 있다.
도 6은 센서(11)의 하나의 개별 픽셀에 대한 초점 거리(8)의 함수로서의 차이 값(70)을 도시한다. 차이 값의 최대 값(71)에서, 도 2의 투영 패턴(30)의 이미지가 선명한 초점 내에 있으므로, 콘트라스트가 최대이다.
1 카메라
2 객체
3 하우징
4 광원
5 조사 빔
6 집속 광학계
7 선명한 초점평면
8 초점거리
9 투영 수단
9.1 구동 수단
10 관찰 빔
11 센서
12 스캔 위치
13 스캔 위치
14 스캔 위치
15 화살표
16 구동 수단
17 관찰 마스크/바이엘 필터
18 센서 위치
19 센서 위치
20 거리
21 연산 유닛
22 컴퓨터
23 케이블 연결
24 표면
25 화살표
26 이미지 데이터
27 표시 장치
28 거울
29 빔 스플리터
30 투영 패턴
31 패턴 요소
32 패턴 요소
33 픽셀
34 픽셀
35 제1 이미지
36 제2 이미지
40 투영 패턴
41 암 스트라이프
42 명 스트라이프
50 강도 값
51 시간
52 강도 값
53 강도 값
54 스캔 위치
60 제1 차이 값
61 제2 차이 값
62 제3 차이 값
63 제4 차이 값
70 차이 값
71 최대
2 객체
3 하우징
4 광원
5 조사 빔
6 집속 광학계
7 선명한 초점평면
8 초점거리
9 투영 수단
9.1 구동 수단
10 관찰 빔
11 센서
12 스캔 위치
13 스캔 위치
14 스캔 위치
15 화살표
16 구동 수단
17 관찰 마스크/바이엘 필터
18 센서 위치
19 센서 위치
20 거리
21 연산 유닛
22 컴퓨터
23 케이블 연결
24 표면
25 화살표
26 이미지 데이터
27 표시 장치
28 거울
29 빔 스플리터
30 투영 패턴
31 패턴 요소
32 패턴 요소
33 픽셀
34 픽셀
35 제1 이미지
36 제2 이미지
40 투영 패턴
41 암 스트라이프
42 명 스트라이프
50 강도 값
51 시간
52 강도 값
53 강도 값
54 스캔 위치
60 제1 차이 값
61 제2 차이 값
62 제3 차이 값
63 제4 차이 값
70 차이 값
71 최대
Claims (28)
- 치아 객체(2)의 3차원 측정을 위한 카메라(1)로서, 조사 빔(5)을 방출하는 적어도 하나의 광원(4); 투영 패턴(30, 40)을 생성하는 적어도 하나의 투영 수단(9); 및 치과용 카메라(1)에 대해 정의된 초점거리(8)에서 선명한 초점 평면(7)에 투영 패턴(30, 40)을 표시하는 집속 광학계(6)를 포함하되, 객체(2) 상으로 투영된 투영 패턴(30, 40)은 객체(2)에 의해 관찰 빔(10)으로서 반사되어 센서(11)에 의해 획득되며, 객체(2)를 측정하는 동안, 집속 광학계(6)는 복수의 정의된 스캔 위치들(12, 13, 14, 54) 사이에서 카메라(1)에 대한 선명한 초점평면(7)의 초점거리(8)가 점진적으로 변화하거나 연속적으로 변화하는 방식으로 제어되고, 각각의 스캔 위치(12, 13, 14, 54)에 대해 제1 이미지(35) 및 적어도 하나의 제2 이미지(36)가 센서(11)에 의해 취득되고, 센서(11)는 상기 관찰 빔의 빔 경로에 대해 횡방향으로 전후 진동 운동을 하고, 제1 이미지(35)는 센서(11)의 제1 센서 위치(18)에서 획득되고 제2 이미지(36)는 센서(11)의 제2 센서 위치(19)에서 획득되는 것을 특징으로 하는, 카메라(1).
- 제1항에 있어서, 투영 패턴(30)은 명과 암의 정사각형 패턴 요소들(31, 32)로 구성된 바둑판 형 패턴인 것을 특징으로 하는, 카메라(1).
- 제2항에 있어서, 투영 수단(9)이 투영 패턴(30, 40)의 매 패턴 요소(31, 32)가 상기 센서(11)의 픽셀(33, 34) 한 개 위로 투영되도록 치수를 갖고 정렬됨으로써, 센서(11)의 평면(7) 내에 투영된 패턴 요소(31, 32)의 이미지가 픽셀(33, 34)의 치수에 해당하는 것을 특징으로 하는, 카메라(1).
- 제3항에 있어서, 상기 진동 운동 중에, 센서(11)는 센서(11)의 픽셀(33, 34) 한 개의 폭에 해당하는 제1 센서 위치(18)와 제2 센서 위치(19) 사이의 거리(20)만큼 이동되는 것을 특징으로 하는, 카메라(1).
- 제4항에 있어서, 센서(11)는 픽셀행에 평행한 제1 센서 축을 따라, 또는 픽셀열에 평행한 제2 센서 축을 따라 이동되는 것을 특징으로 하는, 카메라(1).
- 제1항 내지 제5항 중 어느 한 항에 있어서, 카메라(1)는 두 센서 위치(18, 19) 사이에서 센서(11)와 함께 이동되는 관찰 마스크(17)를 센서(11) 전방의 상기 관찰 빔의 빔 경로 내에 포함하는 것을 특징으로 하는, 카메라(1).
- 제6항에 있어서, 관찰 마스크(17)는 적색, 녹색 및 청색 컬러 필터의 바둑판 형 구조로 구성된 바이엘(Bayer) 필터이며, 상기 필터 각각은 치아 객체(2)의 컬러 측정이 가능하도록 센서(11)의 픽셀(33, 34) 하나와 연관되는 것을 특징으로 하는, 카메라(1).
- 제1항 내지 제5항 중 어느 한 항에 있어서, 제1 센서 위치(18)에서 제1 이미지(35)를 사용하고, 제1 센서 위치(18)에 대해 상기 센서(11)의 매 픽셀(33, 34)이 픽셀(33, 34) 한 개만큼 오프셋된 제2 센서 위치(19)에서 제2 이미지(36)을 사용할 때, 제1 강도 값(52)은 제1 센서 위치(18)에서 획득될 수 있고 제2 강도 값(53)은 제2 센서 위치(19)에서 획득될 수 있고, 여기서 제1 강도 값(52)과 제2 강도 값(53) 간의 차이 값(60, 61, 62, 63, 70)은 카메라(1)의 연산 유닛(21)을 이용해 차이를 계산함으로써 획득되는 것을 특징으로 하는, 카메라(1).
- 제8항에 있어서, 연산 유닛(21)을 사용하면서 차이 값(60, 61, 62, 63, 70)을 초점 거리(8, 20)의 함수로 사용함으로써, 객체(2)의 객체 표면(24)의 깊이 정보가 매 픽셀(33, 34)마다 획득될 수 있고, 따라서 객체(2)의 3차원 표면 데이터(26)의 측정이 가능해지는 것을 특징으로 하는, 카메라(1).
- 제1항에 있어서, 투영 패턴(40)은 복수의 평행한 명과 암의 스트라이프(41)로 구성된 것을 특징으로 하는, 카메라(1).
- 제10항에 있어서, 투영 수단(9)이 투영 패턴(40)의 매 스트라이프(41, 42)가 센서(11) 픽셀들(33, 34)의 하나의 열 또는 행 위로 투영되도록 치수를 갖고 정렬됨으로써, 센서(11) 평면(7)에 투영된 스트라이프(41, 42)의 폭이 픽셀(33, 34)의 폭에 해당하는 것을 특징으로 하는, 카메라(1).
- 제11항에 있어서, 상기 진동 운동 중에, 센서(11)는 센서(11)의 픽셀(33, 34) 한 개의 폭에 해당하는 제1 센서 위치(18)와 제2 센서 위치(19) 사이의 거리(20)만큼 이동되고, 여기서 센서(11)는 투영된 스트라이프(41, 42)에 수직인 방향으로 이동되는 것을 특징으로 하는, 카메라(1).
- 제10항 내지 제12항 중 어느 한 항에 있어서, 카메라(1)는 센서(11) 전방의 상기 관찰 빔의 상기 빔 경로에 관찰 마스크(17)를 포함하되, 관찰 마스크(17)는 적색, 녹색 및 청색 컬러 필터로 이루어진 바둑판 형 구조를 포함하는 바이엘 필터이고, 상기 필터 각각은 치아 객체(2)의 컬러 측정이 가능하도록 센서(11)의 픽셀(33, 34) 하나와 연관되는 것을 특징으로 하는, 카메라(1).
- 제10항 내지 제12항 중 어느 한 항에 있어서, 제1 이미지(35)를 제1 센서 위치(18)에서 사용하고, 제1 센서 위치(18)에 대해 센서(11)의 매 픽셀(33, 34)이 상대적으로 하나의 픽셀(33, 34)만큼 스트라이프(41, 42)에 수직인 방향으로 오프셋된 제2 센서 위치(19)에서 제2 이미지(36)을 사용할 때, 제1 강도 값(52)은 제1 센서 위치(18)에서 획득될 수 있고 제2 강도 값(53)은 제2 센서 위치(19)에서 획득될 수 있고, 여기서 제1 강도 값(52)과 제2 강도 값(53) 간의 차이 값(60, 61, 62, 63, 70)은 카메라(1)의 연산 유닛(21)을 이용해 차이를 계산함으로써 획득될 수 있고, 연산 유닛(21)을 사용하면서 차이 값(60, 61, 62, 63, 70)을 초점 거리(8, 20)의 함수로 사용함으로써, 객체(2)의 객체 표면의 깊이 정보가 매 픽셀(33, 34)마다 획득될 수 있고, 따라서 객체(2)의 3차원 표면 데이터의 측정을 가능해지는 것을 특징으로 하는, 카메라(1).
- 제1항 내지 제5항과 제10항 내지 제12항 중의 어느 한 항에 있어서, 센서(11)은 CMOS 센서 또는 CCD 센서인 것을 특징으로 하는, 카메라(1).
- 제1항 내지 제5항과 제10항 내지 제12항 중의 어느 한 항에 있어서, 센서(11)의 상기 진동 운동은 전동기에 의하거나, 적어도 6,000 Hz의 주파수를 갖는 압전(piezo) 소자에 의해 수행되는 것을 특징으로 하는, 카메라(1).
- 카메라(1)에 의한 치아 객체(2)의 삼차원 측정 방법으로서,
상기 카메라(1)는, 조사 빔(5)을 방출하는 적어도 하나의 광원(4); 투영 패턴(30, 40)을 생성하는 적어도 하나의 투영 수단(9); 및 치과용 카메라(1)에 대해 정의된 초점거리(8)에서 선명한 초점평면(7)에 투영 패턴(30, 40)을 표시하는 집속 광학계(6)를 포함하고,
상기 방법은,
투영 패턴(30, 40)을 객체(2) 상으로 투영하는 단계;
객체(2) 상으로 투영된 투영 패턴(30, 40)이 객체(2)에 의해 관찰 빔(10)으로서 반사되어 센서(11)에 의해 획득되는 단계;
객체(2)를 측정하는 동안, 복수의 정의된 스캔 위치들(12, 13, 14, 54) 사이에서 상기 카메라(1)에 대한 선명한 초점평면(7)의 초점거리(8)가 점진적으로 변화하거나 연속적으로 변화하는 방식으로 집속 광학계(6)를 제어하는 단계; 및
각각의 스캔 위치(12, 13, 14, 54)에 대해 제1 이미지(35) 및 적어도 하나의 제2 이미지(36)를 센서(11)에 의해 취득하는 단계를 포함하고,
센서(11)는 상기 관찰 빔의 빔 경로에 대해 횡방향으로 전후 진동 운동을 하되, 제1 이미지(35)는 센서(11)의 제1 센서 위치(18)에서 획득되고 제2 이미지(36)는 센서(11)의 제2 센서 위치(19)에서 획득되며,
상기 진동 운동 중에 센서(11)는, 센서 픽셀의 행에 평행한 제1 센서 축을 따라, 또는 센서 픽셀의 열에 평행한 제2 센서 축을 따라, 센서(11)의 픽셀(33, 34)의 폭에 해당하는 제1 센서 위치(18)와 제2 센서 위치(19) 사이의 거리(20)만큼 이동되는 것을 특징으로 하는, 방법. - 카메라(1)에 의한 치아 객체(2)의 삼차원 측정 방법으로서,
상기 카메라(1)는, 조사 빔(5)을 방출하는 적어도 하나의 광원(4); 투영 패턴(30, 40)을 생성하는 적어도 하나의 투영 수단(9); 및 치과용 카메라(1)에 대해 정의된 초점거리(8)에서 선명한 초점평면(7)에 투영 패턴(30, 40)을 표시하는 집속 광학계(6)를 포함하고,
상기 방법은,
투영 패턴(30, 40)을 객체(2) 상으로 투영하는 단계;
객체(2) 상으로 투영된 투영 패턴(30, 40)이 객체(2)에 의해 관찰 빔(10)으로서 반사되어 센서(11)에 의해 획득되는 단계;
객체(2)를 측정하는 동안, 복수의 정의된 스캔 위치들(12, 13, 14, 54) 사이에서 상기 카메라(1)에 대한 선명한 초점평면(7)의 초점거리(8)가 점진적으로 변화하거나 연속적으로 변화하는 방식으로 집속 광학계(6)를 제어하는 단계; 및
각각의 스캔 위치(12, 13, 14, 54)에 대해 제1 이미지(35) 및 적어도 하나의 제2 이미지(36)를 센서(11)에 의해 취득하는 단계를 포함하고,
투영 수단(9)은 조사 빔(5)의 상기 빔 경로에 대해 횡방향으로 전후 진동 운동을 하되, 제1 이미지(35)는 투영 수단(9)의 제1 위치에서 획득되고 제2 이미지(36)는 투영 수단(9)의 제2 위치에서 획득되며, 여기서 상기 진동 운동 동안에 투영 수단(9)은 행에 평행한 제1 센서 축을 따라, 또는 열에 평행한 제2 센서 축을 따라, 투영 패턴(30, 40)이 센서(11)의 평면(7) 내에서 센서(11)의 픽셀(33, 34) 한 개의 폭만큼 이동되는 방식으로 그 치수가 정해진 거리(20)만큼 이동되는 것을 특징으로 하는, 방법. - 제17항 또는 제18항에 있어서, 투영 패턴(30, 40)은 명과 암의 정사각형 패턴 요소들(31, 32)로 구성된 바둑판 형 패턴이거나 복수의 평행한 스트라이프들(41, 42)로 구성되는 것을 특징으로 하는, 방법.
- 제19항에 있어서, 투영 수단(9)이 투영 패턴(30)의 매 패턴 요소(31, 32)가 센서(11)의 픽셀(33, 34) 한 개 위로 투영되도록 치수를 갖고 정렬됨으로써, 센서(11)의 평면(7) 내에 투영된 패턴 요소(31, 32)의 상기 이미지가 픽셀(33, 34)의 치수에 해당하는 것을 특징으로 하는, 방법.
- 제20항에 있어서, 카메라(1)가 센서(11) 전방의 상기 관찰 빔의 상기 빔 경로 내에 관찰 마스크(17)를 포함함으로써, 관찰 마스크(17)의 평면(7) 내 투영 패턴(30)의 패턴 요소(31, 32)의 이미지 치수가 관찰 마스크 요소의 치수에 해당하는 것을 특징으로 하는, 방법.
- 제19항에 있어서, 투영 수단(9)이 투영 패턴(30, 40)의 매 스트라이프(41, 42)가 센서(11)의 픽셀들(33, 34)의 하나의 열 또는 행 위로 투영되도록 치수를 갖고 정렬됨으로써, 센서(11)의 평면(7) 내에 투영된 스트라이프(41, 42)의 폭이 픽셀(33, 34)의 폭에 해당하고, 여기서 센서(11) 또는 투영 수단(9)은 투영된 스트라이프(41, 42)에 수직인 방향으로 이동되는 것을 특징으로 하는, 방법.
- 제17항에 있어서, 제1 센서 위치(18)에서 제1 이미지(35)를 사용하고, 제1 센서 위치(18)에 대해 센서(11)의 매 픽셀(33, 34)이 상대적으로 픽셀(33, 34) 한 개만큼 오프셋된 제2 센서 위치(19)에서 제2 이미지(36)을 사용할 때, 제1 강도 값(52)은 제1 센서 위치(18)에서 획득될 수 있고 제2 강도 값(53)은 제2 센서 위치(19)에서 획득될 수 있고, 여기서 제1 강도 값(52)과 제2 강도 값(53) 간의 차이 값(60, 61, 62, 63, 70)은 카메라(1)의 연산 유닛(21)을 이용해 차이를 계산함으로써 획득되는 것을 특징으로 하는, 방법.
- 제23항에 있어서, 연산 유닛(21)을 사용하면서 차이 값(60, 61, 62, 63, 70)을 초점 거리(8)의 함수로 사용함으로써, 객체(2)의 객체 표면(24)의 깊이 정보가 매 픽셀(33, 34)마다 획득되어 객체(2)의 3차원 표면 데이터(26)가 생성되는 것을 특징으로 하는, 방법.
- 제18항에 있어서, 투영 수단(9)의 상기 제1 위치에서 제1 이미지(35)를 사용하고, 투영 수단(9)의 상기 제2 위치에서 제2 이미지(36)을 사용할 때, 제1 강도 값(52)은 투영 수단(9)의 상기 제1 위치에서 획득될 수 있고 제2 강도 값(53)은 투영 수단(9)의 상기 제2 위치에서 획득될 수 있고, 여기서 제1 강도 값(52)과 제2 강도 값(53) 간의 차이 값(60, 61, 62, 63, 70)은 카메라(1)의 연산 유닛(21)을 이용해 차이를 계산함으로써 획득되는 것을 특징으로 하는, 방법.
- 제25항에 있어서, 연산 유닛(21)을 사용하면서 차이 값(60, 61, 62, 63, 70)을 초점 거리(8)의 함수로 사용함으로써, 객체(2)의 객체 표면(24)의 깊이 정보가 매 픽셀(33, 34)마다 획득되어 객체(2)의 3차원 표면 데이터(26)가 생성되는 것을 특징으로 하는, 방법.
- 제17항 또는 제18항에 있어서, 카메라(1)는 센서(11) 전방의 상기 관찰 빔의 상기 빔 경로에 관찰 마스크(17)를 포함하고, 관찰 마스크(17)는 적색, 녹색 및 청색 컬러 필터의 바둑판 형 구조로 이루어진 바이엘 필터이고, 상기 필터 각각은 치아 객체(2)의 컬러 측정이 가능하도록 센서(11)의 픽셀(33, 34) 한 개와 연관되는 것을 특징으로 하는, 방법.
- 제17항 또는 제18항에 있어서, 센서(11) 또는 투영 수단(9)의 상기 진동 운동(15)은 전동기에 의하거나, 적어도 6,000 Hz의 주파수를 갖는 압전(piezo) 소자에 의해 수행되는 것을 특징으로 하는, 방법.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102015209404.9A DE102015209404B4 (de) | 2015-05-22 | 2015-05-22 | Verfahren und Kamera zur dreidimensionalen Vermessung eines dentalen Objekts |
DE102015209404.9 | 2015-05-22 | ||
PCT/EP2016/061370 WO2016188881A1 (de) | 2015-05-22 | 2016-05-20 | Verfahren und kamera zur dreidimensionalen vermessung eines dentalen objekts |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20180006451A KR20180006451A (ko) | 2018-01-17 |
KR102609442B1 true KR102609442B1 (ko) | 2023-12-01 |
Family
ID=56131495
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020177036929A KR102609442B1 (ko) | 2015-05-22 | 2016-05-20 | 치아 객체의 3차원 측정을 위한 카메라 및 방법 |
Country Status (8)
Country | Link |
---|---|
US (1) | US10206558B2 (ko) |
EP (1) | EP3298344B1 (ko) |
JP (1) | JP6907125B2 (ko) |
KR (1) | KR102609442B1 (ko) |
CN (1) | CN108076654B (ko) |
DE (1) | DE102015209404B4 (ko) |
DK (1) | DK3298344T3 (ko) |
WO (1) | WO2016188881A1 (ko) |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
ATE406850T1 (de) | 2004-06-17 | 2008-09-15 | Cadent Ltd | Verfahren und gerät zur farbbildformung einer dreidimensionalen struktur |
DE102015209402A1 (de) * | 2015-05-22 | 2016-11-24 | Sirona Dental Systems Gmbh | Vorrichtung zur optischen 3D-Vermessung eines Objekts |
WO2017143427A1 (en) * | 2016-02-25 | 2017-08-31 | Synaptive Medical (Barbados) Inc. | System and method for scope based depth map acquisition |
WO2017220786A1 (en) * | 2016-06-24 | 2017-12-28 | 3Shape A/S | 3d scanner using a structured beam of probe light |
US11529056B2 (en) * | 2016-10-18 | 2022-12-20 | Dentlytec G.P.L. Ltd. | Crosstalk reduction for intra-oral scanning using patterned light |
US10708574B2 (en) * | 2017-06-15 | 2020-07-07 | Align Technology, Inc. | Three dimensional imaging apparatus with color sensor |
KR102014971B1 (ko) * | 2017-09-20 | 2019-08-27 | 오스템임플란트 주식회사 | 구강카메라 영상 표시 장치 및 방법 |
KR101998083B1 (ko) * | 2017-10-11 | 2019-07-09 | 오스템임플란트 주식회사 | 구강카메라 영상 표시 장치 및 방법 |
US11073380B2 (en) | 2018-01-24 | 2021-07-27 | Cyberoptics Corporation | Structured light projection for specular surfaces |
CN108478188B (zh) * | 2018-02-12 | 2021-08-20 | 苏州佳世达电通有限公司 | 以结构光进行扫描的立体物件扫描装置 |
CN108731596B (zh) * | 2018-03-29 | 2022-05-31 | 海安智鹏自动化科技有限公司 | 一种基于视觉识别的简易水下测距方法 |
EP3784111A2 (en) | 2018-04-25 | 2021-03-03 | Dentlytec G.P.L. Ltd. | Properties measurement device |
US10753734B2 (en) * | 2018-06-08 | 2020-08-25 | Dentsply Sirona Inc. | Device, method and system for generating dynamic projection patterns in a confocal camera |
JP7240702B2 (ja) * | 2018-09-13 | 2023-03-16 | 株式会社モリタ東京製作所 | 治療状況イメージングシステム |
CN112930468B (zh) | 2018-11-08 | 2022-11-18 | 成都频泰鼎丰企业管理中心(有限合伙) | 三维测量设备 |
CN109489583B (zh) * | 2018-11-19 | 2021-09-17 | 先临三维科技股份有限公司 | 投影装置、采集装置及具有其的三维扫描系统 |
TWI704907B (zh) * | 2018-11-29 | 2020-09-21 | 財團法人金屬工業研究發展中心 | 牙體建模裝置以及牙體建模方法 |
US10631956B1 (en) | 2019-12-04 | 2020-04-28 | Oxilio Ltd | Methods and systems for making an orthodontic aligner having fixing blocks |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000155960A (ja) | 1998-11-16 | 2000-06-06 | Nippon Telegr & Teleph Corp <Ntt> | 光メモリ読み取り装置および光メモリ媒体 |
JP2003139521A (ja) | 2001-11-06 | 2003-05-14 | Minolta Co Ltd | パターン投影型画像入力装置 |
WO2012083967A1 (en) * | 2010-12-21 | 2012-06-28 | 3Shape A/S | Optical system in 3D focus scanner |
JP2012530267A (ja) | 2009-06-17 | 2012-11-29 | 3シェイプ アー/エス | 焦点操作装置 |
JP2014533556A (ja) | 2011-11-18 | 2014-12-15 | オプトビュー,インコーポレーテッド | 眼底カメラ |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE3721749A1 (de) * | 1987-07-01 | 1989-01-12 | Man Technologie Gmbh | Verfahren und vorrichtung zur beruehrungslosen erfassung der form von gegenstaenden |
JP3481631B2 (ja) | 1995-06-07 | 2003-12-22 | ザ トラスティース オブ コロンビア ユニヴァーシティー イン ザ シティー オブ ニューヨーク | 能動型照明及びデフォーカスに起因する画像中の相対的なぼけを用いる物体の3次元形状を決定する装置及び方法 |
US5878152A (en) | 1997-05-21 | 1999-03-02 | Cognex Corporation | Depth from focal gradient analysis using object texture removal by albedo normalization |
DE19950780C2 (de) * | 1999-10-21 | 2003-06-18 | Sirona Dental Systems Gmbh | Verfahren und Vorrichtung zur Erfassung medizinischer Objekte, insbesondere von Modellen präparierter Zähne |
DE102007039981B4 (de) * | 2007-08-23 | 2009-10-22 | Vistec Semiconductor Systems Gmbh | Verfahren zur Bestimmung derjenigen Position eines Messobjektivs in Z-Koordinatenrichtung einer optischen Messmaschine mit grösster Reproduzierbarkeit gemessener Strukturbreiten |
DE502008001698D1 (de) * | 2007-10-18 | 2010-12-16 | Nectar Imaging S R L | Vorrichtung zur tomografischen Erfassung von Objekten |
US8059280B2 (en) | 2008-01-31 | 2011-11-15 | Cyberoptics Corporation | Method for three-dimensional imaging using multi-phase structured light |
JP5433381B2 (ja) * | 2009-01-28 | 2014-03-05 | 合同会社IP Bridge1号 | 口腔内測定装置及び口腔内測定方法 |
DE102009001086B4 (de) * | 2009-02-23 | 2014-03-27 | Sirona Dental Systems Gmbh | Handgehaltene dentale Kamera und Verfahren zur optischen 3D-Vermessung |
US20100268069A1 (en) * | 2009-04-16 | 2010-10-21 | Rongguang Liang | Dental surface imaging using polarized fringe projection |
US8134719B2 (en) * | 2010-03-19 | 2012-03-13 | Carestream Health, Inc. | 3-D imaging using telecentric defocus |
CN103262524B (zh) * | 2011-06-09 | 2018-01-05 | 郑苍隆 | 自动聚焦图像系统 |
KR101283635B1 (ko) * | 2011-08-16 | 2013-07-08 | 주식회사 오라픽스 | 구강 내 스캐닝 시스템 및 스캐닝 방법 |
JP6025346B2 (ja) * | 2012-03-05 | 2016-11-16 | キヤノン株式会社 | 検出装置、露光装置及びデバイスを製造する方法 |
US9860520B2 (en) * | 2013-07-23 | 2018-01-02 | Sirona Dental Systems Gmbh | Method, system, apparatus, and computer program for 3D acquisition and caries detection |
DE102013218231A1 (de) * | 2013-09-11 | 2015-03-12 | Sirona Dental Systems Gmbh | Optisches System zur Erzeugung eines sich zeitlich ändernden Musters für ein Konfokalmikroskop |
-
2015
- 2015-05-22 DE DE102015209404.9A patent/DE102015209404B4/de active Active
-
2016
- 2016-05-20 DK DK16729200.2T patent/DK3298344T3/da active
- 2016-05-20 EP EP16729200.2A patent/EP3298344B1/de active Active
- 2016-05-20 WO PCT/EP2016/061370 patent/WO2016188881A1/de active Application Filing
- 2016-05-20 JP JP2017556193A patent/JP6907125B2/ja active Active
- 2016-05-20 CN CN201680029671.8A patent/CN108076654B/zh active Active
- 2016-05-20 KR KR1020177036929A patent/KR102609442B1/ko active IP Right Grant
- 2016-05-20 US US15/575,871 patent/US10206558B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000155960A (ja) | 1998-11-16 | 2000-06-06 | Nippon Telegr & Teleph Corp <Ntt> | 光メモリ読み取り装置および光メモリ媒体 |
JP2003139521A (ja) | 2001-11-06 | 2003-05-14 | Minolta Co Ltd | パターン投影型画像入力装置 |
JP2012530267A (ja) | 2009-06-17 | 2012-11-29 | 3シェイプ アー/エス | 焦点操作装置 |
WO2012083967A1 (en) * | 2010-12-21 | 2012-06-28 | 3Shape A/S | Optical system in 3D focus scanner |
JP2014533556A (ja) | 2011-11-18 | 2014-12-15 | オプトビュー,インコーポレーテッド | 眼底カメラ |
Also Published As
Publication number | Publication date |
---|---|
US10206558B2 (en) | 2019-02-19 |
DK3298344T3 (da) | 2021-11-15 |
DE102015209404B4 (de) | 2018-05-03 |
WO2016188881A1 (de) | 2016-12-01 |
CN108076654B (zh) | 2021-03-05 |
JP6907125B2 (ja) | 2021-07-21 |
US20180125338A1 (en) | 2018-05-10 |
JP2018515760A (ja) | 2018-06-14 |
EP3298344A1 (de) | 2018-03-28 |
CN108076654A (zh) | 2018-05-25 |
EP3298344B1 (de) | 2021-08-25 |
DE102015209404A1 (de) | 2016-11-24 |
KR20180006451A (ko) | 2018-01-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102609442B1 (ko) | 치아 객체의 3차원 측정을 위한 카메라 및 방법 | |
US10254111B2 (en) | Device for optical 3D measuring of an object | |
US12025430B2 (en) | Intraoral scanner | |
KR102521476B1 (ko) | 치아 객체의 3차원 측정을 위한 카메라 및 방법 | |
JP5846763B2 (ja) | 内視鏡装置 | |
US20150015701A1 (en) | Triangulation scanner having motorized elements | |
EP3387372B1 (en) | 3-d scanner calibration with active display target device | |
JP2010507079A (ja) | 三次元輪郭の非接触検出のための装置および方法 | |
JP2006516719A (ja) | 3次元形状測定装置 | |
US20140302452A1 (en) | Dental Camera System | |
CN110186927B (zh) | 图像检查装置以及图像检查方法 | |
JP2010019762A (ja) | 表面形状測定方法及び表面形状測定装置 | |
JP2012237613A (ja) | 形状計測装置及び形状計測方法 | |
CN105547191B (zh) | 一种彩色3d测量系统 | |
JP7161877B2 (ja) | レンズ特性測定装置及びレンズ特性測定装置の作動方法 | |
KR20180040316A (ko) | 광학 3d 스캐너 | |
JP2009300100A (ja) | 形状測定装置およびその形状測定方法 | |
KR20130039130A (ko) | 3차원 형상 스캐닝 장치 및 스캐닝 방법 | |
CN105547194B (zh) | 一种彩色3d测量系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E902 | Notification of reason for refusal | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |