KR102445053B1 - 임플란트 검색 및 자동 식별을 수행하는 시스템 - Google Patents

임플란트 검색 및 자동 식별을 수행하는 시스템 Download PDF

Info

Publication number
KR102445053B1
KR102445053B1 KR1020200103530A KR20200103530A KR102445053B1 KR 102445053 B1 KR102445053 B1 KR 102445053B1 KR 1020200103530 A KR1020200103530 A KR 1020200103530A KR 20200103530 A KR20200103530 A KR 20200103530A KR 102445053 B1 KR102445053 B1 KR 102445053B1
Authority
KR
South Korea
Prior art keywords
implant
image
display
information
search
Prior art date
Application number
KR1020200103530A
Other languages
English (en)
Other versions
KR20220022400A (ko
Inventor
엄상호
유진용
Original Assignee
(주)헤리바이오
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)헤리바이오 filed Critical (주)헤리바이오
Priority to KR1020200103530A priority Critical patent/KR102445053B1/ko
Priority to PCT/KR2020/015727 priority patent/WO2022039322A1/ko
Publication of KR20220022400A publication Critical patent/KR20220022400A/ko
Application granted granted Critical
Publication of KR102445053B1 publication Critical patent/KR102445053B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C13/00—Dental prostheses; Making same
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C13/00—Dental prostheses; Making same
    • A61C13/0003—Making bridge-work, inlays, implants or the like
    • A61C13/0004—Computer-assisted sizing or machining of dental prostheses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/538—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/56—Information retrieval; Database structures therefor; File system structures therefor of still image data having vectorial format
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Library & Information Science (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Epidemiology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Mathematical Physics (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

임플란트 검색 및 자동 식별을 수행하는 시스템은 임플란트 이미지와 연관된 정보를 표시하도록 구성된 디스플레이; 및 촬영된 임플란트 이미지가 상기 디스플레이 상의 가이드 박스 내에 위치되면, 상기 가이드 박스 내에 위치한 임플란트 이미지를 캡처하여 인공지능 서버로 전송하도록 제어하는 제어부를 포함할 수 있다. 상기 제어부는 상기 인공지능 서버로부터 상기 캡처된 임플란트 이미지에 대한 임플란트 식별 결과를 수신하고, 상기 촬영된 임플란트 이미지와 상기 식별 결과에 따라 가장 높은 매칭 결과를 갖는 제1 임플란트 이미지와 연관된 정보를 상기 디스플레이 상의 제1 영역에 표시하고, 상기 식별 결과에 따른 요약 결과를 상기 디스플레이 상의 제2 영역에 표시할 수 있다.

Description

임플란트 검색 및 자동 식별을 수행하는 시스템 {System for performing automatic identification and retrieval for implants}
본 발명은 임플란트 검색 및 자동 식별 시스템에 관한 것이다. 보다 상세하게는, 임플란트 이미지에 기반하여 임플란트 검색 및 자동 식별을 수행하는 시스템에 대한 것이다.
임플란트는 어버트먼트(abutment)와 보철물을 포함하여 이루어질 수 있다. 이와 관련하여, 임플란트 픽스처는, 결손된 치아의 수복을 위한 보철물을 치조골에 지지시켜 줄 수 있도록, 치조골에 식립되는 고정체를 의미한다. 한편, 어버트먼트는, 상기 임플란트 픽스처와 보철물 간의 연결을 위한 임플란트 픽스처에 결합되는 기둥을 의미한다. 또한, 보철물은 환자의 치아와 유사한 형태로 제작되는 것을 의미한다.
한편, 이러한 임플란트가 장착된 잇몸을 포함하는 카메라 이미지 또는 X-ray 이미지와 같은 임플란트 이미지로부터 해당 모델에 대한 검색 및 자동 식별이 수행될 필요가 있다. 특히, 치과 의사와 같은 사용자가 카메라 이미지 또는 X-ray 이미지와 같은 임플란트 이미지로부터 해당 모델에 대한 검색 및 자동 식별이 필요하다. 하지만, 환자가 임플란트 모델에 대하여 알고 있지 않은 경우, 어느 임플란트 모델인지를 알 수 없다는 문제점이 있다.
또한, 환자가 임플란트 모델에 대하여 알고 있거나 이전 시술 정보로부터 임플란트 모델을 알 수 있는 경우에도, 임플란트 이미지로부터 해당 모델에 대한 검색 및 자동 식별을 통해 해당 모델에 대한 검증이 필요하다.
또한, 여러 제조사에서 제조하는 다양한 모델과 다양한 사이즈의 임플란트 모델에 대한 상세 정보가 제공될 필요가 있다. 치과 의사와 같은 사용자가 임플란트 모델을 이전 시술 정보로부터 알 수 있는 경우에도, 해당 임플란트 모델에 대한 상세 정보를 다시 검색해야 하는 문제점이 있다. 또한, 해당 임플란트 모델에 대한 시술 방법 등에 대한 노하우를 별도로 습득해야 하는 문제점이 있다.
따라서, 본 발명의 목적은 전술한 문제를 해결하기 위해, 임플란트 검색 및 자동 식별 모듈을 제공함에 있다.
또한, 본 발명의 목적은 임플란트 이미지에 기반하여 임플란트를 자동으로 식별하고 검색하는 기능을 제공함에 있다.
또한, 본 발명의 목적은 임플란트 이미지에 기반하여 자동으로 식별 및 검색된 임플란트 정보를 표시 및 저장하고 해당 임플란트 사용에 대한 사용자 경험을 공유함에 있다.
상기와 같은 과제를 해결하기 위한 본 발명에 따른 임플란트 검색 및 자동 식별을 수행하는 시스템이 제공된다. 상기 임플란트 검색 및 자동 식별을 수행하는 시스템은 임플란트 검색 및 자동 식별을 수행하는 소프트웨어 모듈에 의해 구성될 수 있다. 한편, 임플란트 검색 및 자동 식별을 수행하는 소프트웨어 모듈이 사용자 단말에서 실행될 수 있다. 임플란트 검색 및 자동 식별을 수행하는 소프트웨어 모듈이 실행되는 사용자 단말을 임플란트 검색 및 자동 식별 장치로 지칭할 수 있다. 상기 임플란트 검색 및 자동 식별 장치는 임플란트 이미지와 연관된 정보를 표시하도록 구성된 디스플레이; 및 촬영된 임플란트 이미지가 상기 디스플레이 상의 가이드 박스 내에 위치되면, 상기 가이드 박스 내에 위치한 임플란트 이미지를 캡처하여 인공지능 서버로 전송하도록 제어하는 제어부를 포함할 수 있다. 상기 제어부는 상기 인공지능 서버로부터 상기 캡처된 임플란트 이미지에 대한 임플란트 식별 결과를 수신하고, 상기 촬영된 임플란트 이미지와 상기 식별 결과에 따라 가장 높은 매칭 결과를 갖는 제1 임플란트 이미지와 연관된 정보를 상기 디스플레이 상의 제1 영역에 표시하고, 상기 식별 결과에 따른 요약 결과를 상기 디스플레이 상의 제2 영역에 표시할 수 있다.
일 실시 예에 따르면, 상기 제어부는 상기 제2 영역 내의 컨트롤 영역에 터치 입력이 수신되면, 상기 제1 임플란트 이미지부터 상기 식별 결과에 따른 매칭 결과 순으로 복수의 임플란트 이미지들과 요약 결과를 상기 디스플레이의 전체 화면 상에 표시되도록 제어할 수 있다.
일 실시 예에 따르면, 상기 제어부는 상기 전체 화면 상에 표시되는 요약 결과와 인접하게 배치된 컨트롤 박스가 선택되면, 상기 선택된 요약 결과에 따른 특정 임플란트의 이미지와 상세 정보가 상기 전체 화면 상에 표시되도록 제어할 수 있다.
일 실시 예에 따르면, 상기 제어부는 기본 정보 탭이 선택된 경우, 상기 특정 임플란트의 제조사, 모델명, 사이즈 별 특징 정보, 상기 특정 임플란트와 가장 유사한 임플란트 정보 및 임상 및 지식공유 플랫폼 연동 컨트롤을 포함하는 기본 정보가 상기 디스플레이에 표시되도록 제어할 수 있다.
일 실시 예에 따르면, 상기 제어부는 상세 정보 탭이 선택된 경우, 상기 특정 임플란트에 대한 해체 드라이버 정보, 호환가능 스캔바디, 시술법과 연관된 제조사 제공 동영상, 쇼핑몰 연결 링크, 응급처치법/수술 팁과 연관된 동영상 및 임상 및 지식공유 플랫폼 연동 컨트롤을 포함하는 상세 정보가 상기 디스플레이에 표시되도록 제어할 수 있다.
일 실시 예에 따르면, 상기 제어부는 상기 임상 및 지식공유 플랫폼 연동 컨트롤이 선택되면, 상기 특정 임플란트에 대한 임상 및 지식공유를 위한 정보를 입력하기 위한 정보 입력 화면이 표시되도록 제어하고, 상기 임상 및 지식공유를 위한 정보의 공개 범위가 선택되면, 상기 임상 및 지식공유를 위한 정보 및 상기 특정 임플란트의 이미지와 요약 결과가 상기 디스플레이 상에 표시되도록 제어할 수 있다.
일 실시 예에 따르면, 상기 제어부는 상기 특정 임플란트의 이미지와 요약 결과가 표시된 영역에 터치 입력이 인가되면, 상기 특정 임플란트의 이미지와 상세 정보가 상기 전체 화면 상에 표시되도록 제어할 수 있다.
일 실시 예에 따르면, 상기 제어부는 검색하고자 하는 임플란트의 X-ray 이미지와 같은 임플란트 이미지가 입력할 수 있는 화면 영역을 상기 디스플레이 상에 표시하고, 상기 화면 영역 상에 사용자 입력이 인가되고, 특정 X-ray 이미지와 같은 임플란트 이미지가 선택되면, 하나 이상의 임플란트 이미지가 포함된 상기 특정 X-ray 이미지와 같은 임플란트 이미지를 상기 디스플레이 상에 표시할 수 있다. 상기 제어부는 상기 하나 이상의 임플란트 이미지 중 가이드 박스 내에 제2 임플란트 이미지가 배치되면, 상기 가이드 박스 내에 위치한 제2 임플란트 이미지를 캡처하여 인공지능 서버로 전송하도록 제어할 수 있다.
일 실시 예에 따르면, 상기 제어부는 상기 제2 임플란트 이미지로부터 각 부위 별로 각 특징 요소를 검색하여 상기 각 특징 요소를 합성하면서 최종 합성 이미지를 생성할 수 있다. 상기 각 부위는 platform part, coronal part, middle part 및 apical part일 수 있다.
일 실시 예에 따르면, 상기 제어부는 상기 platform part의 platform color 및 bone/tissue level을 식별하고, 상기 coronal part의 설계(design)을 식별하고, 상기 middle part의 형상(shape) 및 설계를 식별하고, 상기 apical part의 형상, 홀 유무 및 형상과 그루브 유무를 식별하도록 구성될 수 있다.
일 실시 예에 따르면, 상기 제어부는 상기 제2 임플란트 이미지와 상기 식별된 각 부위의 식별 정보에 따른 최종 합성 이미지를 상기 디스플레이 상에 표시하고, 상기 최종 합성 이미지는 상기 각 부위 별로 각 특징 요소가 다른 부분과 구별되도록 표시될 수 있다.
일 실시 예에 따르면, 상기 제어부는 상기 디스플레이 상에 표시된 검색 버튼이 선택되면, 상기 제2 임플란트 이미지와 상기 최종 합성 이미지에 기반하여 상기 선택된 특정 X-ray 이미지에 최적 매칭되는 특정 임플란트를 검색하고, 상기 최적 매칭되는 특정 임플란트와 상기 특정 임플란트에 대한 연관 정보를 상기 디스플레이 상에 표시할 수 있다.
본 발명의 적어도 일 실시 예에 따르면, 임플란트 이미지에 기반하여 임플란트를 자동으로 식별하고 검색하는 기능을 제공할 수 있다는 장점이 있다.
또한, 본 발명의 목적은 임플란트 이미지에 기반하여 자동으로 식별 및 검색된 임플란트 정보를 표시 및 저장하고 해당 임플란트 사용에 대한 사용자 경험을 공유할 수 있는 장점이 있다.
상술한 본 발명의 특징 및 효과는 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다.
도 1a 내지 도 1c는 본 발명에 따른 임플란트 검색 및 자동 식별을 수행할 수 있는 어플리케이션 프로그램의 실행 전 및 실행 후의 화면을 나타낸다.
도 2a 및 도 2b는 임플란트 자동 식별 기능에 해당하는 scan implant 모듈이 실행되는 경우, 이미지 취득 및 이미지 전송과 연관된 화면을 나타낸다.
도 3은 본 발명에 따른 임플란트 검색 및 자동 식별 장치와 이를 포함하는 시스템의 상세 구성을 나타낸다.
도 4a 및 도 4b는 본 발명에 따른 임플란트 자동 식별에 따른 결과 화면을 나타낸다.
도 5a 및 도 5b는 본 발명에 따른 임플란트 이미지와 상세 정보가 표시된 화면을 나타낸다.
도 6a 및 도 6b는 본 발명에 따른 임상 및 지식공유 플랫폼 연동 시 실행 화면과 정보 업로드 시 표시되는 화면을 나타낸다.
도 7a 내지 도 7c는 본 발명에 따른 각 특징 요소를 고려하여 임플란트 검색 기능을 수행하는 화면을 나타낸다.
도 8a는 본 발명에 따른 임플란트의 상세 구성부를 나타낸다.
도 8b 및 도 8c는 본 발명에 따른 임플란트의 platform part 및 coronal part의 각 특징 요소에 따른 임플란트 검색 기능이 수행되는 과정을 나타낸다.
도 9a 및 도 9b는 본 발명에 따른 임플란트의 middle part 및 apical part의 각 특징 요소에 따른 임플란트 검색 기능이 수행되는 과정을 나타낸다.
도 10은 본 발명에 따른 임플란트의 특징 요소에 대한 식별 과정을 통해 생성된 최종 합성 이미지를 나타낸다.
상술한 본 발명의 특징 및 효과는 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 구체적으로 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용한다.
제1, 제2등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다.
일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않아야 한다.
이하의 설명에서 사용되는 구성요소에 대한 접미사 모듈, 블록 및 부는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
이하, 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 당해 분야에 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 설명한다. 하기에서 본 발명의 실시 예를 설명함에 있어, 관련된 공지의 기능 또는 공지의 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.
이하에서는, 본 발명에 따른 임플란트 검색 및 자동 식별 장치 및 임플란트 이미지에 기반하여 임플란트 검색 및 자동 식별을 수행하는 시스템에 대해 설명한다. 임플란트 검색 및 자동 식별을 수행하는 시스템은 임플란트 검색 및 자동 식별을 수행하는 소프트웨어 모듈에 의해 구성될 수 있다. 한편, 임플란트 검색 및 자동 식별을 수행하는 소프트웨어 모듈이 사용자 단말에서 실행될 수 있다. 임플란트 검색 및 자동 식별을 수행하는 소프트웨어 모듈이 실행되는 사용자 단말을 임플란트 검색 및 자동 식별 장치로 지칭할 수 있다.
이와 관련하여, 도 1a 내지 도 1c는 본 발명에 따른 임플란트 검색 및 자동 식별을 수행할 수 있는 어플리케이션 프로그램의 실행 전 및 실행 후의 화면을 나타낸다. 구체적으로, 도 1a는 본 발명에 따른 임플란트 검색 및 자동 식별을 수행할 수 있는 어플리케이션 프로그램이 단말기의 바탕 화면(background screen) 상에 표시된 상태를 나타낸다.
한편, 도 1b는 본 발명에 따른 임플란트 검색 및 자동 식별을 수행할 수 있는 어플리케이션 프로그램이 실행된 경우 초기화면을 나타낸다. 임플란트 검색 및 자동 식별을 수행할 수 있는 어플리케이션 프로그램이 실행된 초기 화면에 두 개의 이미지가 표시될 수 있다. 일 예로, 크라운(crown)이 임플란트에 삽입된 제1 이미지와 본 어플리케이션 프로그램과 관련된 제2 이미지가 함께 표시될 수 있다. 제1 이미지는 임플란트 마스터(implant master)라 지칭될 수 있는 본 발명에 따른 임플란트 검색 및 자동 식별 모듈과 연관될 수 있다. 제2 이미지는 임상 경험 및 지식 공유 모듈과 연관될 수 있다. 임상 경험 및 지식 공유 모듈이 실행되면 임상 케이스에 대한 글, 사진, 동영상 등을 게시할 수 있고, 설문 및 평가 기능이 수행될 수 있다.
제1 이미지와 연관된 임플란트 마스터가 실행된 경우 초기화면과 이후의 과정에 대해 설명하면 다음과 같다. 이와 관련하여, 도 1c는 제1 이미지와 연관된 임플란트 마스터가 실행된 경우 초기화면을 나타낸다.
도 1c를 참조하면, 임플란트 마스터가 실행되면 3개의 아이콘이 디스플레이 상의 화면에 표시될 수 있다. 제1 아이콘은 임플란트 자동 식별 기능을 수행하며, 스캔 임플란트(scan implant) 아이콘으로 지칭될 수 있다. 제1 아이콘이 선택되면, 머신러닝 기법에 따른 임플란트 X-ray 이미지와 같은 임플란트 이미지의 구조적 분류와 딥러닝을 활용한 임플란트 자동 판독 기능이 구현될 수 있다.
제2 아이콘은 임플란트 검색 기능을 수행하며, pick implant features 아이콘으로 지칭될 수 있다. 제2 아이콘이 선택되면, 임플란트 구조적 특성 이미지에 따른 UI/UX 기법의 직관적인 검색 기능이 구현될 수 있다.
제3 아이콘은 저장된 임플란트 정보를 확인할 수 있도록 하며, saved implants 아이콘으로 지칭될 수 있다. 제3 아이콘이 선택되면, 저장된 임플란트에대한 기본 정보 및 상세 정보를 확인할 수 있는 정보 확인 기능이 구현될 수 있다.
전술한 바와 같이, 본 발명에 따른 임플란트 자동 식별 기능에 해당하는 scan implant 모듈이 실행된 경우에 대해 상세하게 설명하면 다음과 같다. 이와 관련하여, 도 2a 및 도 2b는 임플란트 자동 식별 기능에 해당하는 scan implant 모듈이 실행되는 경우, 이미지 취득 및 이미지 전송과 연관된 화면을 나타낸다. 한편, 도 3은 본 발명에 따른 임플란트 검색 및 자동 식별 장치와 이를 포함하는 시스템의 상세 구성을 나타낸다. 도 3의 임플란트 검색 및 자동 식별 장치는 임플란트 검색 및 자동 식별 모듈이 설치된 단말기 (전자 기기), 예컨대 이동 단말기 또는 고정 단말기일 수 있다. 이 경우, 임플란트 검색 및 자동 식별 모듈은 임플란트 검색 및 자동 식별을 수행할 수 있는 어플리케이션 프로그램일 수 있다.
도 3을 참조하면, 임플란트 검색 및 자동 식별 장치(100)는 디스플레이(110) 및 제어부(120)를 포함할 수 있다. 임플란트 검색 및 자동 식별 장치(100)는 무선 통신부(130) 및 메모리(140)를 포함할 수 있다. 임플란트 검색 및 자동 식별 장치(100)는 인공지능 서버(200)와 연동하도록 구성될 수 있다. 인공지능 서버(200)는 AI(artificial intelligence) 인식 서버로 지칭될 수 있다.
무선 통신부(130)는 제어부(120)와 동작 가능하게 결합될 수 있고, 제어부(120)는 무선 통신부(130)를 제어하도록 구성될 수 있다. 무선 통신부(130)는 장치(100)와 인공 지능 서버(200)와 동작 가능하게 결합되도록 무선 인터페이스를 제공할 수 있다. 무선 통신부(130)는 AP(access point)를 통해 인공 지능 서버(200)로 정보를 송신하거나 정보를 수신하도록 구성될 수 있다. 또한, 무선 통신부(130)는 기지국을 통해 인공 지능 서버(200)로 정보를 송신하거나 정보를 수신하도록 구성될 수 있다.
메모리(140)는 제어부(120)와 동작 가능하게 결합될 수 있고, 제어부(120)는 메모리(140)를 제어하도록 구성될 수 있다. 메모리(140)는 임플란트 검색 및 자동 식별 과정에서 관련 정보를 저장하도록 구성될 수 있다.
도 1a와 같이 디스플레이(110)의 바탕 화면상에 임플란트 검색 및 자동 식별을 수행할 수 있는 어플리케이션 프로그램 아이콘이 선택되면, 도 1b와 같이 어플리케이션 프로그램이 초기 화면이 디스플레이(110) 상에 표시될 수 있다. 도 1b의 초기 화면에서 제1 이미지가 선택되거나 또는 기본 셋팅으로 임플란트 마스터가 실행되면 도 1c와 같이 어플리케이션 프로그램이 실행될 수 있다. 구체적으로, 임플란트 마스터가 실행되면 임플란트 마스터와 연관된 임플란트 마스터 모듈이 실행될 수 있다. 이 경우, 프로세서에 해당하는 제어부(120)는 어플리케이션 프로그램 인터페이스(API)를 통해 어플리케이션 프로그램(150)과 연동될 수 있다. 또한, 어플리케이션 프로그램(150)의 일부 실행 모듈이 제어부(120)의 프로세서를 통해 실행될 수 있다.
도 2a를 참조하면, 카메라를 통해 임플란트 이미지가 취득될 수 있다. 임플란트 이미지 취득은 다음과 같이 여러 방식으로 취득될 수 있다. 1) 치과용 X-ray 장비에서 촬영한 이미지에서 식별이 필요한 임플란트 이미지만 별도로 캡쳐될 수 있다. 이 경우, 임플란트 검색 및 자동 식별 모듈은 X-ray 촬영 솔루션과의 직접 연동되도록 구성될 수 있다. 2) 임플란트 이미지를 별도의 agent 프로그램을 통해서 캡쳐되도록 구성될 수 있다. 3) 또한, 도 2a와 같이 임플란트 이미지가 화면이나 인쇄된 사진에서 카메라를 통하여 촬영되도록 구성될 수 있다.
한편, 입력된 임플란트 이미지를 두 손가락으로 확대 및 축소, 회전, 이동을 하여 도 2a의 가이드 박스(110a) 안에 식별하고자 하는 임플란트 이미지가 위치하도록 할 수 있다. 이와 관련하여, 사용자(치과의사)의 판단에 의하여 가이드 박스(110a) 상단의 라인(110b) 위치를 조정하여 임플란트 픽스쳐의 상단 부분의 라인을 정의할 수 있다. 이와 관련하여, 검색이나 식별의 대상은 임플란트 픽스쳐이다.
도 2a, 도 2b 및 도 3을 참조하면, 장치(100)는 가이드 박스(110a) 내에 위치한 임플란트 이미지를 캡쳐하여 인공지능 서버(200)로 전송하고, 전송 결과를 대기하도록 구성될 수 있다. 전송 결과를 대기하는 동안, 도 2b와 같이 디스플레이 상에 별도의 공지 사항 및 광고 이미지, 동영상 등을 표시할 수 있다.
한편, 도 4a 및 도 4b는 본 발명에 따른 임플란트 자동 식별에 따른 결과 화면을 나타낸다. 구체적으로, 도 4a는 취득된 임플란트 이미지와 자동 식별된 임플란트 이미지 및 최적의 매칭 결과를 나타낸 화면이다. 또한, 도 4b는 사용자가 복수의 매칭 결과를 원하는 경우, 사용자 입력에 따라 자동 식별된 복수의 매칭 결과가 표시된 화면을 나타낸다.
도 4a를 참조하면, 왼쪽 화면에 사용자가 촬영한 임플란트 이미지가 추가되거나 또는 임플란트 이미지가 재촬영되도록 할 수 있다. 최적 매칭 결과가 표시된 화면 하부 영역의 컨트롤 영역(112a)에 터치 입력이 수신되면, 도 4b와 같은 복수의 임플란트 이미지들과 요약 결과가 전체 화면 상에 표시될 수 있다. 이와 관련하여, 인식된 결과 중 가장 매칭율이 높은 임플란트 후보를 가장 상부 영역에 표시할 수 있다. 또한, 가장 매칭율이 높은 임플란트 후보 보다 낮은 매칭 후보를 하부 영역에 표시되도록 리스트 업 구성을 수행할 수 있다.
임플란트 자동식별에 따른 결과 화면에서 매칭율이 % 단위로 표시될 수 있고, 매칭율이 높은 순서대로 후보군이 제시될 수 있다. 임플란트 자동식별과 관련하여, AI 학습 등 분석과 연구를 통해 후보군의 개수가 결정될 수 있다. 이와 관련하여, 임계 치보다 낮은 낮은 매칭율의 임플란트 후보 제품은리스트 업이 되지 않도록 구성될 수 있다.
한편, 임플란트 검색 결과의 제시는 구조적 형태로 검색되는 모델을 제시하는 과정이다. 따라서, 임플란트 검색 결과의 제시는 특별한 우선 순위 없이 알파벳 순서대로 제시될 수 있고, 검색 결과의 개수에 대한 제한은 없다. 다만,이러한 임플란트 검색 결과와 관련된 검색 DB가 많이 축적될수록, 많이 검색되는 순서대로 우선순위를 갖도록 표시될 수 있다.
한편, 도 4b와 같이 해당 임플란에 대한 상세 정보에 인접하게 표시된 컨트롤 박스(113)를 클릭하면 상세 제공 정보 화면으로 이동할 수 있다.
전술한 바와 같이 임플란트 검색 및 자동 식별을 수행하는 임플란트 검색 및 자동 식별 장치의 각 구성 별 상세 동작을 도 2a 내지 도 4b를 참조하여 설명하면 다음과 같다. 전술한 바와 같이 임플란트 검색 및 자동 식별 장치(100)는 디스플레이(110) 및 제어부(120)를 포함하도록 구성될 수 있다. 임플란트 검색 및 자동 식별 장치(100)는 무선 통신부(130) 및 메모리(140)를 포함할 수 있다.
임플란트 검색 및 자동 식별 장치(100)는 인공지능 서버(200)와 연동하도록 구성될 수 있다. 한편, 임플란트 검색 및 자동 식별 장치(100)는 치과용 X-ray 장비(300)과 인터페이스되도록 구성될 수 있다.
디스플레이(110)는 임플란트 이미지와 연관된 정보를 표시하도록 구성될 수 있다. 제어부(120)는 촬영된 임플란트 이미지가 디스플레이(110) 상의 가이드 박스(110a) 내에 위치되면, 가이드 박스 내에 위치한 임플란트 이미지를 캡처하여 인공지능 서버(200)로 전송하도록 제어할 수 있다.
이에 대응하여, 인공지능 서버(200)는 AI 기반으로 캡처된 임플란트 이미지에 대한 임플란트 식별 결과를 생성하여, 장치(100)로 전송할 수 있다. 이와 관련여, 제어부(120)는 촬영된 임플란트 이미지와 식별 결과에 따라 가장 높은 매칭 결과를 갖는 제1 임플란트 이미지와 연관된 정보를 디스플레이(110) 상의 제1 영역(111)에 표시되도록 제어할 수 있다. 또한, 제어부(120)는 식별 결과에 따른 요약 결과를 디스플레이(110) 상의 제2 영역(112)에 표시할 수 있다.
한편, 제어부(120)는 제2 영역(112) 내의 컨트롤 영역(112a)에 터치 입력이 수신 (도 4a 참조)되면, 복수의 임플란트 이미지들과 요약 결과를 디스플레이(110)의 전체 화면 상에 표시 (도 4b 참조)되도록 제어할 수 있다. 이 경우, 제어부(120)는 가장 매칭율이 높은 제1 임플란트 이미지부터 식별 결과에 따른 매칭 결과 순으로 복수의 임플란트 이미지들과 요약 결과를 표시할 수 있다.
한편, 제어부(120)는 전체 화면 상에 표시되는 요약 결과와 인접하게 배치된 컨트롤 박스(113)가 선택되면, 선택된 요약 결과에 따른 특정 임플란트의 이미지와 상세 정보가 전체 화면 상에 표시되도록 제어할 수 있다. 이와 관련하여, 도 5a 및 도 5b는 본 발명에 따른 임플란트 이미지와 상세 정보가 표시된 화면을 나타낸다. 구체적으로, 도 5a는 본 발명에 따른 임플란트 이미지와 기본 정보 탭이 선택된 경우 화면 구성을 나타낸다. 한편, 도 5b는 본 발명에 따른 임플란트 이미지와 상세 정보 탭이 선택된 경우 화면 구성을 나타낸다.
도 3, 도 5a 및 도 5b를 참조하면, 기본 정보 탭이 선택된 경우, 제어부(120)는 특정 임플란트의 제조사, 모델명, 사이즈 별 특징 정보, 특정 임플란트와 가장 유사한 임플란트 정보 및 임상 및 지식공유 플랫폼 연동 컨트롤을 포함하는 기본 정보가 디스플레이(120)에 표시되도록 제어할 수 있다.
도 5a를 참조하면, 검색결과는 같은 제품군의 대표 모델만 검색이 되며, 다른 모델들은 하단 사이즈 표기부분에 표시될 수 있다. 동일 모델에 다른 사이즈의 복수의 임플란트 모델이 있는 하단에 좌우 스크롤 형태로 화면에 표시될 수 있다. 이 경우, 해당 임플란트 모델을 클릭 시, 해당 모델에 대한 상세 화면으로 분기될 수 있다. 한편, 해당 임플란트 구입 링크 버튼이 해당 임플란트 이미지에 인접하게 배치될 수 있다. 또한, 비슷한 특성을 가진 임플란트 모델을 좌우 스크롤 형태로 표시되도록 배치될 수 있다. 일 예로, 검색결과 리스트에서 다른 임플란트 모델을 나열할 수 있다. 이 경우, 해당 임플란트 모델을 클릭 시, 해당 모델에 대한 상세 화면으로 분기될 수 있다.
반면에, 상세 정보 탭이 선택된 경우, 제어부(120)는 특정 임플란트에 대한 해체 드라이버 정보, 호환가능 스캔바디, 시술법과 연관된 제조사 제공 동영상, 쇼핑몰 연결 링크, 응급처치법/수술 팁과 연관된 동영상 및 임상 및 지식공유 플랫폼 연동 컨트롤을 포함하는 상세 정보가 디스플레이(110)에 표시되도록 제어할 수 있다.
도 5b를 참조하면, 상세 정보 탭이 선택된 경우, 제조사에서 제공하는 정보가 표시될 수 있다. 이와 관련하여, 드라이버 종류, 식립 토크, 스캔바디, 카탈로그 다운로드, 비디오 링크 및 제조사/유통사의 URL 등이 표시될 수 있다. 한편, 본 발명에 따른 어플리케이션 프로그램 모듈에서 제공하는 동영상은 보철방법, 염증처치법, 임플란트 제거법 등에 관한 동영상일 수 있다. 한편, 본 발명에 따른 어플리케이션 프로그램 모듈에서 제공하는 동영상 및 자료와 관련하여, 공유플랫폼에 업로드된 관련 임플란트 모델의 동영상이나 자료 검색 기능이 추가될 수 있다.
한편, 본 발명에 따르면, 임상 및 지식공유 플랫폼 연동 컨트롤이 선택되면,정보 입력 화면이 표시되고, 이에 따라 임상 및 지식공유가 이루어질 수 있다. 이와 관련하여, 도 6a 및 도 6b는 본 발명에 따른 임상 및 지식공유 플랫폼 연동 시 실행 화면과 정보 업로드 시 표시되는 화면을 나타낸다. 구체적으로, 도 6a는 본 발명에 따른 임상 및 지식공유 플랫폼 연동 시 실행 화면을 나타낸다. 도 6b는 본 발명에 따른 임상 및 지식공유 플랫폼에 정보 업로드 시 표시되는 화면을 나타낸다.
도 3 및 도 6a를 참조하면, 제어부(120)는 임상 및 지식공유 플랫폼 연동 컨트롤(114)이 선택되면, 특정 임플란트에 대한 임상 및 지식공유를 위한 정보를 입력하기 위한 정보 입력 화면(115)이 표시되도록 제어할 수 있다. 이 경우, 본문 작성란 하단에 임플란트 모델의 간략한 정보 포함한 태그가 배치될 수도 있다. 한편, 입력한 임플란트 X-ray 사진을 첨부할 수 있는 화면 인터페이스가 배치될 수도 있다.
도 3, 도 6a 및 도 6b를 참조하면, 제어부(120)는 임상 및 지식공유를 위한 정보의 공개 범위가 선택되면, 임상 및 지식공유를 위한 정보(116) 및 특정 임플란트의 이미지와 요약 결과(117)가 디스플레이(110) 상에 표시되도록 제어할 수 있다.
도 3 및 도 6b를 참조하면, 제어부(120)는 특정 임플란트의 이미지와 요약 결과가 표시된 영역에 터치 입력이 인가되면, 특정 임플란트의 이미지와 상세 정보가 전체 화면 상에 표시되도록 제어할 수 있다.
한편, 본 발명에 따른 임플란트 검색 및 자동 식별 장치는 임플란트의 각 특징 요소를 고려한 임플란트 검색 기능을 수행할 수 있다. 이와 관련하여, 도 7a 내지 도 7c는 본 발명에 따른 각 특징 요소를 고려하여 임플란트 검색 기능을 수행하는 화면을 나타낸다.
도 3 및 도 7a를 참조하면, 검색하고자 하는 임플란트 X-ray 이미지와 같은 임플란트 이미지를 좌측에 배치하고, 이미지 형태로 표현된 각 특징요소를 찾아서 합성하면서 검색하는 방식으로 임플란트 검색 기능이 수행될 수 있다. 또한, 도 7a에 도시된 바와 같이, 검색어 입력을 통한 제조사 검색 기능이 지원될 수 있다. 입력된 X-ray 이미지와 같은 임플란트 이미지는 임플란트 자동식별을 위한 AI 학습 데이터로 활용될 수 있다. 이와 관련하여, 임플란트 자동식별을 위한 AI 학습은 장치(100)에 의해 수행되거나 장치(100)와 인공지능 서버(200)와 연동하여 수행될 수 있다. 어플리케이션 프로그램에 포함된 AI 모듈이 임플란트 자동식별을 위한 AI 학습을 지원하더라도, 다양한 사용자에 의해 수행된 AI 학습 기능을 활용하기 위해 장치(100)는 인공지능 서버(200)와 연동할 수 있다.
도 3, 도 7b를 참조하면, 임플란트 이미지가 촬영될 수 있다. 일 예로, 환자의 치아에 복수의 임플란트가 장착된 경우, 복수의 임플란트와 크라운을 포함한 임플란트 이미지가 촬영될 수 있다. 도 3, 도 7b 및 도 7c를 참조하면, 입력된 임플란트 이미지를 두 손가락으로 확대 및 축소, 회전, 이동을 하여 가이드 박스 안에 검색하고자 하는 임플란트 이미지가 위치하도록 할 수 있다.
전술한 임플란트 이미지 검색을 위한 임플란트 이미지 검출 과정을 제어부(120)가 수행할 수 있다. 도 3, 도 7b 및 도 7c를 참조하면, 제어부(120)는 검색하고자 하는 임플란트의 X-ray 이미지와 같은 임플란트 이미지가 입력할 수 있는 화면 영역을 디스플레이(110) 상에 표시할 수 있다. 제어부(120)는 화면 영역 상에 사용자 입력이 인가되고, 특정 X-ray 이미지와 같은 임플란트 이미지가 선택되면, 하나 이상의 임플란트 이미지가 포함된 특정 X-ray 이미지와 같은 임플란트 이미지를 디스플레이(110) 상에 표시할 수 있다. 이 경우, 하나 이상의 임플란트 이미지는 카메라에 의해 촬영되거나 또는 치과용 X-ray 장비와 연동되어 획득될 수 있다. 하나 이상의 임플란트 이미지 중 가이드 박스 내에 제2 임플란트 이미지가 배치되면, 제어부(120)는 가이드 박스 내에 위치한 제2 임플란트 이미지를 캡처하여 인공지능 서버(200)로 전송하도록 제어할 수 있다.
한편, 본 발명에 따른 각 특징 요소에 기반한 임플란트 검색 기능과 관련하여, 임플란트의 각 구성부가 정의될 필요가 있다. 이와 관련하여, 도 8a는 본 발명에 따른 임플란트의 상세 구성부를 나타낸다. 도 8a를 참조하면, 임플란트(1100)는 platform part(1110), coronal part(1120), middle part(1130) 및 apical part(1140)로 구성될 수 있다. platform part(1110)는 level, connection type 및 platform color로 분류될 수 있다. coronal part(1120)는 coronal part design으로 분류될 수 있다. middle part(1130)는 middle part shape 및 design으로 분류될 수 있다. apical part(1140)는 apical part shape, hole type 및 groove 유무에 따라 분류될 수 있다.
전술한 임플란트의 각 특징 요소에 따른 임플란트 검색 기능이 수행될 수 있다. 이와 관련하여, 도 8b 및 도 8c는 본 발명에 따른 임플란트의 platform part 및 coronal part의 각 특징 요소에 따른 임플란트 검색 기능이 수행되는 과정을 나타낸다. 도 8b를 참조하면, platform part(1110)에 대한 식별 및 검색 과정을 나타낸다. platform part(1110)에 대한 식별 및 검색 과정에서, connection type이 external이고, platform color는 no color로 식별될 수 있다. 또한, platform part(1110)에 대한 식별 및 검색 과정에서, level은 bone level일 수 있다.
도 8c를 참조하면, coronal part(1120)에 대한 식별 및 검색 과정을 나타낸다. coronal part(1120)에 대한 식별 및 검색 과정에서, coronal part design은 No micro-thread 및 rounded로 식별될 수 있다. 일 예로, coronal part(1120)가 micro-thread 설계인지 여부를 식별하고, coronal part(1120)가 micro-thread 설계가 아니면 Square, rounded, v-shaped, buttress 또는 reverse buttress 중 어느 형상인지를 식별할 수 있다
한편, 도 9a 및 도 9b는 본 발명에 따른 임플란트의 middle part 및 apical part의 각 특징 요소에 따른 임플란트 검색 기능이 수행되는 과정을 나타낸다. 도 9a를 참조하면, middle part(1130)에 대한 식별 및 검색 과정을 나타낸다. middle part(1130)에 대한 식별 및 검색 과정에서, middle part design이 V-shaped로 식별될 수 있다. 또한, middle part(1130)에 대한 식별 및 검색 과정에서, middle part shape이 tapered로 식별될 수 있다.
도 9b를 참조하면, apical part(1140)에 대한 식별 및 검색 과정에서, apical part groove가 존재하는 것으로 식별될 수 있다. 또한, apical part(1140)에 대한 식별 및 검색 과정에서, apical part shape이 flat한 것으로 식별될 수 있다.
전술한 바와 같이 임플란트의 각 구성부에 대한 상세한 식별 과정을 통해, 임플란트에 대한 최종 합성 이미지가 생성될 수 있다. 이와 관련하여, 도 10은 본 발명에 따른 임플란트의 특징 요소에 대한 식별 과정을 통해 생성된 최종 합성 이미지를 나타낸다.
도 3 및 도 8a 내지 도 10을 참조하면, 제어부(1200)는 카메라 또는 X-ray 영상에서 획득된 제2 임플란트 이미지로부터 각 부위 별로 각 특징 요소를 검색하여 각 특징 요소를 합성하면서 최종 합성 이미지를 생성하여 표시할 수 있다. 이 경우, 각 특징 요소와 연관된 각 부위는 전술한 바와 같이 platform part(1110), coronal part(1120), middle part(1130) 및 apical part(1140)을 포함할 수 있다.
제어부(120)는 화면의 좌측에 획득된 제2 임플란트 이미지를 표시할 수 있다. 제어부(120)는 화면의 우측에 최종 합성 이미지와 각 구성부의 특징 요소가 하이라이트되도록 표시할 수 있다.
제어부(120)는 platform part(1110)의 platform color 및 bone/tissue level을 식별하고, coronal part(1120)의 설계(design)을 식별할 수 있다. coronal part(1120)의 설계와 관련하여, micro-thread의 유무를 식별하고 구체적인 설계/형상을 식별할 수 있다. 이후, 제어부(120)는 middle part(1130)의 형상(shape) 및 설계를 식별하고, apical part(1140)의 형상, 홀 유무 및 형상과 그루브 유무를 식별할 수 있다.
본 발명에 따른 임플란트 자동식별 프로세스는 인식대상 이미지를 입력하고 가이드만 조정하면, 서버에서 자동으로 식별하는 과정이다. 한편, 임플란트 자동식별에 따른 매칭율을 높이기 위해서 몇 가지 요소가 추가될 수도 있다. 이와 관련하여, 임플란트 자동식별 시 일부 검색 요소의 추가를 통한 검색 정확도 향상이 가능하다. 예를 들면, 일부 검색 요소(레벨이나 커넥션 타입/피쳐 등)의 입력을 사용자 단말에게 요청할 수도 있다.
이와 관련하여, 제어부(120)는 제2 임플란트 이미지와 식별된 각 부위의 식별 정보에 따른 최종 합성 이미지를 디스플레이(110) 상에 표시하도록 제어할 수 있다. 이와 관련하여, 최종 합성 이미지는 각 부위 별로 각 특징 요소가 다른 부분과 구별되도록 표시될 수 있다. 따라서, 사용자가 각 부위 별로 식별된 각 특징 요소에 잘못된 결과가 있을 수 있다고 판단되면, 해당 특징 요소가 포함된 부분에 대한 사용자 입력을 통해 해당 부분에 대한 식별 및 검색을 다시 수행하도록 할 수 있다. 이에 따라, 임플란트 자동 식별 및 검색 정확도를 향상시키면서도 자동 식별 및 검색에 소요되는 처리 시간을 개선할 수 있다.
제어부(120)는 디스플레이(110) 상에 표시된 검색 버튼(118)이 선택되면, 제2 임플란트 이미지와 최종 합성 이미지에 기반하여 선택된 특정 임플란트를 검색하여 출력할 수 있다. 이와 관련하여, 특정 임플란트는 특정 X-ray 이미지와 같은 임플란트 이미지에 최적 매칭되는 임플란트 모델일 수 있다. 제어부(120)는 최적 매칭되는 특정 임플란트와 특정 임플란트에 대한 연관 정보를 각각 도 5a 및 도 5b와 같은 구성으로 디스플레이 상에 표시할 수 있다. 이와 관련하여, 도 5a는 본 발명에 따른 임플란트 이미지와 기본 정보 탭이 선택된 경우 화면 구성을 나타낸다. 한편, 도 5b는 본 발명에 따른 임플란트 이미지와 상세 정보 탭이 선택된 경우 화면 구성을 나타낸다. 따라서, 제어부(120)는 최적 매칭되는 특정 임플란트를 도 5a와 같은 구성으로 디스플레이 상에 표시할 수 있다. 또한, 제어부(120)는 최적 매칭되는 특정 임플란트에 대한 연관 정보를 도 5b와 같은 구성으로 디스플레이 상에 표시할 수 있다.
추가적으로, 전세계적으로 유통되는 임플란트의 갯수가 매우 많기 때문에, 임플란트 자동 인식율을 높이기 위해서 지역별(국가별 등)로 유통되는 모델들에 대해 별도로 AI 학습데이터 세트를 구성할 필요가 있다. 따라서, 본 임플란트 검색 및 자동 식별 시스템을 사용하는 사용자의 위치정보 (국가 등)에 따라 AI 학습세트를 적용하는 방법으로 매칭율을 높이는 방법이 적용될 수 있다.
이상에서는 본 발명에 따른 임플란트 검색 및 자동 식별 장치에 대해 살펴보았다. 본 발명에 따른 기술적 효과에 대해 살펴보면 다음과 같다.
본 발명의 적어도 일 실시 예에 따르면, 임플란트 이미지에 기반하여 임플란트를 자동으로 식별하고 검색하는 기능을 제공할 수 있다는 장점이 있다.
또한, 본 발명의 목적은 임플란트 이미지에 기반하여 자동으로 식별 및 검색된 임플란트 정보를 표시 및 저장하고 해당 임플란트 사용에 대한 사용자 경험을 공유할 수 있는 장점이 있다.
상술한 본 발명의 특징 및 효과는 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 구체적으로 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능뿐만 아니라 각각의 구성 요소들에 대한 설계 및 파라미터 최적화는 별도의 소프트웨어 모듈로도 구현될 수 있다. 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션으로 소프트웨어 코드가 구현될 수 있다. 상기 소프트웨어 코드는 메모리에 저장되고, 제어부(controller) 또는 프로세서(processor)에 의해 실행될 수 있다.

Claims (10)

  1. 임플란트 검색 및 자동 식별 장치에 있어서,
    임플란트 이미지와 연관된 정보를 표시하도록 구성된 디스플레이; 및
    촬영된 임플란트 이미지가 상기 디스플레이 상의 가이드 박스 내에 위치되면, 상기 가이드 박스 내에 위치한 임플란트 이미지를 캡처하여 인공지능 서버로 전송하도록 제어하는 제어부를 포함하고,
    상기 제어부는,
    상기 인공지능 서버로부터 상기 캡처된 임플란트 이미지에 대한 임플란트 식별 결과를 수신하고, 상기 촬영된 임플란트 이미지와 상기 식별 결과에 따라 가장 높은 매칭 결과를 갖는 제1 임플란트 이미지와 연관된 정보를 상기 디스플레이 상의 제1 영역에 표시하고,상기 식별 결과에 따른 요약 결과를 상기 디스플레이 상의 제2 영역에 표시하되,
    상기 제어부는,
    검색하고자 하는 임플란트의 X-ray 이미지가 입력할 수 있는 화면 영역을 상기 디스플레이 상에 표시하고, 상기 화면 영역 상에 사용자 입력이 인가되고, 특정 X-ray 이미지가 선택되면, 하나 이상의 임플란트 이미지가 포함된 상기 특정 X-ray 이미지를 상기 디스플레이 상에 표시하고, 상기 하나 이상의 임플란트 이미지 중 가이드 박스 내에 제2 임플란트 이미지가 배치되면, 상기 가이드 박스 내에 위치한 제2 임플란트 이미지를 캡처하여 인공지능 서버로 전송하도록 제어하며,
    상기 제2 임플란트 이미지로부터 각 부위 별로 각 특징 요소를 검색하여 상기 각 특징 요소를 합성하면서 최종 합성 이미지를 생성하고, 상기 각 부위는 platform part, coronal part, middle part 및 apical part인 것을 특징으로 하는 임플란트 검색 및 자동 식별 장치.
  2. 제1 항에 있어서,
    상기 제어부는,
    상기 제2 영역 내의 컨트롤 영역에 터치 입력이 수신되면, 상기 제1 임플란트 이미지부터 상기 식별 결과에 따른 매칭 결과 순으로 복수의 임플란트 이미지들과 요약 결과를 상기 디스플레이의 전체 화면 상에 표시되도록 제어하는, 임플란트 검색 및 자동 식별 장치.
  3. 제2 항에 있어서,
    상기 제어부는,
    상기 전체 화면 상에 표시되는 요약 결과와 인접하게 배치된 컨트롤 박스가 선택되면, 상기 선택된 요약 결과에 따른 특정 임플란트의 이미지와 상세 정보가 상기 전체 화면 상에 표시되도록 제어하는, 임플란트 검색 및 자동 식별 장치.
  4. 제3 항에 있어서,
    기본 정보 탭이 선택된 경우, 상기 특정 임플란트의 제조사, 모델명, 사이즈 별 특징 정보, 상기 특정 임플란트와 가장 유사한 임플란트 정보 및 임상 및 지식공유 플랫폼 연동 컨트롤을 포함하는 기본 정보가 상기 디스플레이에 표시되도록 제어되고,
    상세 정보 탭이 선택된 경우, 상기 특정 임플란트에 대한 해체 드라이버 정보, 호환가능 스캔바디, 시술법과 연관된 제조사 제공 동영상, 쇼핑몰 연결 링크, 응급처치법/수술 팁과 연관된 동영상 및 임상 및 지식공유 플랫폼 연동 컨트롤을 포함하는 상세 정보가 상기 디스플레이에 표시되도록 제어하는, 임플란트 검색 및 자동 식별 장치.
  5. 제4 항에 있어서,
    상기 제어부는,
    상기 임상 및 지식공유 플랫폼 연동 컨트롤이 선택되면, 상기 특정 임플란트에 대한 임상 및 지식공유를 위한 정보를 입력하기 위한 정보 입력 화면이 표시되도록 제어하고,
    상기 임상 및 지식공유를 위한 정보의 공개 범위가 선택되면, 상기 임상 및 지식공유를 위한 정보 및 상기 특정 임플란트의 이미지와 요약 결과가 상기 디스플레이 상에 표시되도록 제어하고,
    상기 특정 임플란트의 이미지와 요약 결과가 표시된 영역에 터치 입력이 인가되면, 상기 특정 임플란트의 이미지와 상세 정보가 상기 전체 화면 상에 표시되도록 제어하는, 임플란트 검색 및 자동 식별 장치.
  6. 삭제
  7. 삭제
  8. 제1 항에 있어서,
    상기 제어부는,
    상기 platform part의 platform color를 식별하고, 상기 coronal part의 설계(design)을 식별하고, 상기 middle part의 형상(shape) 및 설계를 식별하고, 상기 apical part의 형상, 홀 유무 및 형상과 그루브 유무를 식별하는, 임플란트 검색 및 자동 식별 장치.
  9. 제8 항에 있어서,
    상기 제어부는,
    상기 제2 임플란트 이미지와 상기 식별된 각 부위의 식별 정보에 따른 최종 합성 이미지를 상기 디스플레이 상에 표시하고,
    상기 최종 합성 이미지는 상기 각 부위 별로 각 특징 요소가 다른 부분과 구별되도록 표시되는, 임플란트 검색 및 자동 식별 장치.
  10. 제9 항에 있어서,
    상기 제어부는,
    상기 디스플레이 상에 표시된 검색 버튼이 선택되면, 상기 제2 임플란트 이미지와 상기 최종 합성 이미지에 기반하여 상기 선택된 특정 X-ray 이미지에 최적 매칭되는 특정 임플란트를 검색하고,
    상기 최적 매칭되는 특정 임플란트와 상기 특정 임플란트에 대한 연관 정보를 상기 디스플레이 상에 표시하는, 임플란트 검색 및 자동 식별 장치.
KR1020200103530A 2020-08-18 2020-08-18 임플란트 검색 및 자동 식별을 수행하는 시스템 KR102445053B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200103530A KR102445053B1 (ko) 2020-08-18 2020-08-18 임플란트 검색 및 자동 식별을 수행하는 시스템
PCT/KR2020/015727 WO2022039322A1 (ko) 2020-08-18 2020-11-11 임플란트 검색 및 자동 식별을 수행하는 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200103530A KR102445053B1 (ko) 2020-08-18 2020-08-18 임플란트 검색 및 자동 식별을 수행하는 시스템

Publications (2)

Publication Number Publication Date
KR20220022400A KR20220022400A (ko) 2022-02-25
KR102445053B1 true KR102445053B1 (ko) 2022-09-21

Family

ID=80322925

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200103530A KR102445053B1 (ko) 2020-08-18 2020-08-18 임플란트 검색 및 자동 식별을 수행하는 시스템

Country Status (2)

Country Link
KR (1) KR102445053B1 (ko)
WO (1) WO2022039322A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024101654A1 (ko) * 2022-11-11 2024-05-16 오스템임플란트 주식회사 위험 요소 가이드 방법, 컴퓨팅 장치 및 이를 위한 컴퓨터 판독 가능한 기록 매체
WO2024136243A1 (ko) * 2022-12-21 2024-06-27 연세대학교 산학협력단 머신러닝 모델을 이용한 임플란트의 보철 옵션 결정 장치 및 그 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240099685A (ko) * 2022-12-22 2024-07-01 오스템임플란트 주식회사 딥러닝 방식을 이용한 임플란트 식별 방법 및 그 방법이 적용된 시스템

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180168780A1 (en) 2016-12-16 2018-06-21 Align Technology, Inc. Augmented reality enhancements for dental practitioners
KR102053818B1 (ko) 2019-06-05 2019-12-09 주식회사 시메이션 이미지 매칭 방법 및 장치
JP2020502717A (ja) 2016-12-19 2020-01-23 ロマ リンダ ユニヴァーシティ 撮像データを使用するインプラント識別の方法及びそのためのシステム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0514554D0 (en) * 2005-07-15 2005-08-24 Materialise Nv Method for (semi-) automatic dental implant planning
KR20080089437A (ko) * 2005-12-30 2008-10-06 쓰리엠 이노베이티브 프로퍼티즈 컴파니 치과용 제품에 관한 데이터를 관리하는 시스템 및 방법과제조 공정
KR20160009163A (ko) * 2014-07-15 2016-01-26 오스템임플란트 주식회사 임플란트 선택 시스템 및 방법
KR101544773B1 (ko) * 2015-04-01 2015-08-17 주식회사 디오 치과 임플란트용 서지컬 가이드를 이용한 시술 안내정보 제공방법
KR102026707B1 (ko) * 2017-03-17 2019-09-30 엄상호 스마트폰을 이용한 임플란트 픽스쳐 자동 검색 및 드라이버 제안 방법
KR102086685B1 (ko) * 2017-12-26 2020-03-10 오스템임플란트 주식회사 객체조정 ui를 이용한 치과용 임플란트 플래닝 방법, 이를 위한 장치 및 이를 기록한 기록매체
KR102048971B1 (ko) * 2018-03-27 2019-11-27 (주)두드림 임플란트 검사 장치 및 임플란트 검사 방법
KR20200001887A (ko) * 2018-06-28 2020-01-07 십일번가 주식회사 이미지 검색 지원 방법 및 이를 위한 서비스 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180168780A1 (en) 2016-12-16 2018-06-21 Align Technology, Inc. Augmented reality enhancements for dental practitioners
JP2020502717A (ja) 2016-12-19 2020-01-23 ロマ リンダ ユニヴァーシティ 撮像データを使用するインプラント識別の方法及びそのためのシステム
KR102053818B1 (ko) 2019-06-05 2019-12-09 주식회사 시메이션 이미지 매칭 방법 및 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024101654A1 (ko) * 2022-11-11 2024-05-16 오스템임플란트 주식회사 위험 요소 가이드 방법, 컴퓨팅 장치 및 이를 위한 컴퓨터 판독 가능한 기록 매체
WO2024136243A1 (ko) * 2022-12-21 2024-06-27 연세대학교 산학협력단 머신러닝 모델을 이용한 임플란트의 보철 옵션 결정 장치 및 그 방법

Also Published As

Publication number Publication date
KR20220022400A (ko) 2022-02-25
WO2022039322A1 (ko) 2022-02-24

Similar Documents

Publication Publication Date Title
KR102445053B1 (ko) 임플란트 검색 및 자동 식별을 수행하는 시스템
CN101645111B (zh) 报告制成支援装置、报告制成支援系统、医用图像参照装置
CN103777840B (zh) 用于口内图像的导航的叠加图
EP3721320B1 (en) Communication methods and systems
US20160179305A1 (en) Inspection image display apparatus, inspection image display method and storage medium
EP2405336A1 (en) Method and device for digital image templating
EP3531263A1 (en) Gesture input processing method and electronic device supporting the same
US7400998B2 (en) Test apparatus and test method
KR102413695B1 (ko) 병변 검출방법 및 이를 위한 치과영상 처리장치
CN101593348B (zh) 具有图像处理功能的移动通话终端及其图像处理方法
JP2005011309A (ja) 医療用画像記録システム
US20150054855A1 (en) Image processing apparatus, image processing system, image processing method, and program
KR102608827B1 (ko) Ai 학습을 위한 임플란트 클래스 분류 방법
JP2018109880A (ja) 作業支援装置、作業支援方法およびプログラム
Kray et al. Group coordination and negotiation through spatial proximity regions around mobile devices on augmented tabletops
US20200387568A1 (en) Methods and systems for reporting requests for documenting physical objects via live video and object detection
US20100123831A1 (en) Third party acquisition of images at the direction of an independent imaging application
US9727693B2 (en) Automated tracking of a medical procedure using macros
JP2019200558A (ja) 画像処理装置及び検査システム
JP2018092419A (ja) 情報表示装置、情報表示方法及び記録媒体
US20160080597A1 (en) Imaging device for imaging pages of book, method therefor, and recording medium
US20220413810A1 (en) Program executing device, program executing method, and non-transitory computer-readable storage medium
JP7571627B2 (ja) 画像処理装置、編集方法およびプログラム
US20240077997A1 (en) System and method for diagnosis and analysis of medical images
JP6664070B2 (ja) 内視鏡プロセッサ、並びに、内視鏡プロセッサの信号処理方法及び制御プログラム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right