KR20190000488A

KR20190000488A - 구강 모니터링 치경

Info

Publication number: KR20190000488A
Application number: KR1020170079552A
Authority: KR
Inventors: 이정화; 허경용; 최훈
Original assignee: 동의대학교 산학협력단
Priority date: 2017-06-23
Filing date: 2017-06-23
Publication date: 2019-01-03
Also published as: KR102001852B1

Abstract

실시예에 따른 구강 모니터링 치경은, 구강 내를 관찰하는 거울을 갖는 구강 모니터링 치경으로, 거울 내부에 배치되어 구강 내를 촬영하여 구강 영상을 획득하는 카메라; 상기 획득된 구강 영상을 전송하는 통신부; 상기 거울 측으로 공기를 분사하는 에어 인젝션; 및 상기 카메라를 제어하여 구강 모니터링 기능을 제공하는 프로세서를 포함하고, 상기 프로세서는, 상기 카메라에서 촬영된 구강 영상을 상기 통신부를 제어하여 헤드 마운티드 디스플레이로 송신하여, 상기 헤드 마운티드 디스플레이에 가상 이미지로 상기 구강 영상을 표시하도록 제어할 수 있다.

Description

구강 모니터링 치경 {A TOOTH MIRROR FOR MONITERING ORAL}

본 발명은 구강 모니터링 치경에 관한 것이다. 보다 상세하게는, 헤드 마운티드 디스플레이를 이용하여 사용자의 구강을 손쉽고 정밀하게 관찰할 수 있는 구강 모니터링 치경에 관한 것이다.

일반적으로 치과에서는 환자의 입 안을 들여다보며 환자의 구강상태 및 충치 등을 확인하며 환자의 치아 치료를 수행하고, 이때 치아를 검사하는 장치로서 환자가 입을 편안하게 벌린 상태에서 입 안 구석구석까지 세밀히 검사하기 위하여 치과용 치경이 개발되었다.

그러나 종래의 치과용 치경은 치과의사 또는 제 3 자에 의한 사용을 통해 환자의 치아 상태를 확인할 수 있도록 구성되어 환자 등이 스스로 자가 진단을 할 경우 치아의 상태를 확인할 수 없는 문제점이 있다.

이를 해결하기 위해, 선행문헌 1은(대한민국 공개특허공보 제 10-2012-0069794호), 치경에 카메라를 설치하고, 치경에서 촬영된 영상을 외부 장치에서 모니터링하는 치아 모니터링 장치를 제안하였다. 그러나 선행문헌 1의 치아 모니터링 장치는, 촬영된 영상을 외부 디스플레이 장치에서 볼 수 있도록 하여 실제 치경에 반사되는 이미지와 동시에 관찰할 수 없으며, 이는 자가 치아 검사를 위함으로 제 3 자가 타인의 구강을 좀더 손쉽게 관찰하기 위한 기술과는 거리가 멀다.

KR 10-2012-0069794 A

본 발명은 타인의 구강을 손쉽고 정밀하게 관찰하도록 보조하는 구강 모니터링 치경을 제안하고자 한다.

자세히, 본 발명은, 구강을 촬영하고 촬영된 영상을 분석하여 헤드 마운티드 디스플레이를 통해 사용자에게 제공함으로써, 사용자가 타인의 구강을 손쉽고 정밀하게 관찰할 수 있는 구강 모니터링 치경을 제공함을 목적으로 한다.

이때, 글래스와, 상기 글래스에 상기 구강 영상을 수신하여 가상 이미지로 표시하는 디스플레이부를 포함하는 헤드 마운티드 디스플레이를 더 포함하고, 상기 디스플레이부는, 상기 구강 영상을 상기 글래스의 일측 모서리의 분할 영역에 표시할 수 있다.

또한, 상기 헤드 마운티드 디스플레이는, 사용자의 입력에 따라서 상기 분할 영역의 크기를 확대 또는 축소하고, 상기 사용자의 입력에 따라 상기 구강 영상의 일부 영역을 확대 또는 축소하는 인터페이스를 제공할 수 있다.

또한, 상기 프로세서는, 상기 구강 영상 내에서 구강 트러블에 대한 오브젝트를 검출하면, 상기 오브젝트를 기초로 구강 트러블 정보를 획득하고, 상기 구강 트러블 정보를 상기 헤드 마운티드 디스플레이에 송신하며, 상기 헤드 마운티드 디스플레이는, 상기 구강 트러블 정보를 증강현실 이미지로 표시할 수 있다.

또한, 상기 프로세서는, 상기 구강 영상의 탁도를 산출하고, 상기 탁도가 소정의 값 이하이면 상기 에어 인젝션을 동작시켜 상기 거울의 습기를 제거할 수 있다.

또한, 상기 프로세서는, 상기 카메라부를 통해 치열을 따라 촬영된 복수의 구강 영상을 수신하면, 상기 복수의 구강 영상을 합성하여 파노라마 구강 영상을 생성하고, 상기 생성한 구강 영상을 상기 헤드 마운티드 디스플레이로 전송할 수 있다.

또한, 상기 프로세서는, 상기 복수의 구강 영상에서 각각 치아와 잇몸 사이의 경계를 추출하여 수직에서의 합성 기준으로 결정하고, 상기 복수의 구강 영상에서 치아와 치아 사이의 경계를 구강 영상들 간 수평에서의 합성 기준으로 결정하여 상기 합성 기준에 따라 상기 복수의 구강 영상을 합성할 수 있다.

또한, 상기 프로세서는, 상기 카메라에서 치아의 내측면, 상면 및 외측면을 촬영한 구강 영상을 수신하면, 상기 복수의 구강 영상을 통해 상기 치아에 대한 3차원 모델을 구현할 수 있다.

또한, 서로 다른 위치에 배치된 복수의 LED를 포함하는 조명부를 더 포함하고, 상기 프로세서는, 상기 LED의 순차 구동시키고, 상기 LED가 순차적으로 구동함에 따라서 촬영한 구강 영상을 기초로 포토메트릭스 스테레오(Photometric Stereo) 방식으로 상기 치아에 대한 3D 모델을 구현할 수 있다.

실시예에 따른 구강 내를 관찰하는 거울을 갖는 구강 모니터링 치경에서 구강 모니터링 기능을 제공하는 방법으로서, 상기 거울에 배치된 카메라를 제어하여 구강 영상을 촬영하는 단계; 상기 구강 영상을 헤드 마운티드 디스플레이로 전송하는 단계; 및상기 헤드 마운티드 디스플레이에서 상기 구강 영상을 증강현실 이미지로 표시하는 단계를 포함한다.

실시예에 따른 구강 모니터링 치경은, 거울을 통해 구강 내측을 관찰하도록 보조함과 동시에 구강 내측을 촬영하고 촬영한 영상을 헤드 마운티드 디스플레이를 통해 출력하므로써, 사용자는 상기 구강 모니터링 치경을 이용하여 타인의 구강을 손쉽고 정밀하게 모니터링할 수 있다.

도 1은 본 발명의 실시예에 따른 구강 모니터링 치경의 내부 블록도이다.
도 2는 본 발명의 실시예에 따른 구강 모니터링 치경의 사시도이다.
도 3은 본 발명의 실시예에 따른 헤드 마운티드 디스플레이의 사시도이다.
도 4는 본 발명의 실시예에 따른 구강 모니터링 치경의 움직임을 센싱하는 모습을 나타낸다.
도 5는 본 발명의 실시예에 따른 구강 모니터링 치경의 동작과정을 나타내는 흐름도이다.
도 6은 본 발명의 실시예에 따른 헤드 마운티드 디스플레이에서 구강 모니터링 영상이 디스플레이되는 모습을 나타낸다.
도 7은 본 발명의 실시예에 따른 헤드 마운티드 디스플레이를 통해 바라본 시야에서 증강현실 이미지가 표시되는 모습을 나타낸다.
도 8a는 본 발명의 실시예에 따른 제 1 방향으로 촬영방향을 변경하며 구강 영상을 촬영하는 모습을 나타내고, 도 8b는 도 8a에서 촬영된 영상을 합성하여 생성한 구강 파노라마 영상을 나타낸다.
도 9a는 본 발명의 실시예에 따른 제 2 방향으로 촬영방향을 변경하며 구강 영상을 촬영하는 모습을 나타내고, 도 9b는 도 9a에서 촬영한 구강 영상을 2차원 구강 영상으로 디스플레이하는 이미지이고, 도 9c는 도 9a에서 촬영한 구강 영상을 3차원 구강 영상으로 디스플레이한 이미지이다.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다. 이하의 실시예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다. 또한, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다. 또한, 도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

실시예에 따른 구강 모니터링 치경은, 거울을 통해 구강 내측을 관찰하도록 보조함과 동시에 구강 내측을 촬영하고 촬영한 영상을 헤드 마운티드 디스플레이를 통해 출력하여, 사용자가 타인의 구강을 손쉽고 정밀하게 모니터링할 수 있도록 보조할 수 있다.

이하, 도 1을 참조하여 이러한 구강 모니터링 치경의 내부 구성에 대해 먼저 상세히 설명한다.

도 1을 참조하면, 실시예에 따른 구강 모니터링 치경은, 입력부(110), 통신부(120), 인터페이스부(130), 메모리(140), 카메라(150), 센서부(160), 프로세서(170), 에어 인젝션(180) 및 조명부(190)를 포함할 수 있다. 다만, 도 1에 도시된 구성요소들은 구강 모니터링 치경을 구현하는데 있어서 필수적인 것은 아니어서, 본 명세서 상에서 설명되는 구강 모니터링 치경은 위에서 열거된 구성요소들 보다 많거나, 또는 적은 구성요소들을 가질 수 있다.

그리고 실시예에 따른 구강 모니터링 치경은, 통신부(120)를 통해 무선으로 통신하며 구강 영상을 헤드 마운티드 디스플레이(200)에 전송하고 표시하므로, 헤드 마운티드 디스플레이(200)를 직접 포함하는 것으로 이해할 수도 있다. 그리고 촬영된 구강 영상을 분석하고 디스플레이하는 과정에서의 데이터 처리는 구강 모니터링 치경의 프로세서(170)와 헤드 마운티드 디스플레이(200)에 포함된 프로세서 중 적어도 하나의 프로세서)가 처리하는 것으로서, 실시예에서는 구강 모니터링 치경의 프로세서(170)가 데이터 처리를 수행하는 것으로 설명하나 헤드 마운티드 디스플레이(200)에서도 일부 데이터 처리가 이루어지는 실시예 또한 가능함은 당연할 것이다.

다시 내부 구성에 대한 설명으로 돌아와, 구강 모니터링 치경은, 사용자의 입력을 감지하는 입력부(110)를 포함할 수 있다.

예를 들어, 입력부(110)는, 구강 모니터링 치경의 전원을 온(on)/오프(off)시키는 실행 입력이나, 구강 모니터링 치경의 각종 기능에 대한 설정, 실행 입력 등을 감지할 수 있다.

이러한 입력부(110)는 사용자 제스쳐를 감지하는 제스쳐 입력부(예를 들어 (optical sensor) 등), 터치를 감지하는 터치 입력부(예를 들어, 터치 센서(touch sensor), 터치키(touch key), 푸시키(mechanical key) 등) 및 음성 입력을 감지하는 마이크로폰(microphone) 중 적어도 하나 이상을 포함하여, 사용자 입력을 감지할 수 있다.

또한, 구강 모니터링 치경은, 헤드 마운티드 디스플레이(200)와 무선 통신하는 통신부(120)를 포함할 수 있다.

자세히, 통신부(120)는, 촬영한 구강 영상이나 구강 정보를 헤드 마운티드 디스플레이(200)에 전송하여, 헤드 마운티드 디스플레이(200)에 표시할 수 있다.

또한, 통신부(120)는, 헤드 마운티드 디스플레이(200)로부터 송신한 구강 정보에 대한 피드백이나 제어신호 등을 수신할 수도 있다.

이러한 통신부(120)는, 하기 통신방식(예를 들어, GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등), WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), Wi-Fi(Wireless Fidelity) Direct, DLNA(Digital Living Network Alliance), WiBro(Wireless Broadband), WiMAX(World Interoperability for Microwave Access)에 따라 구축된 네트워크망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신할 수 있다.

또한, 통신부(120)는, 근거리 무선 통신방식으로 무선 신호를 송수신할 수 있다. 예를 들어, 통신부(120)는, 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 근거리 통신을 지원할 수 있다.

한편, 도 3을 참조하면, 실시예에서의 헤드 마운티드 디스플레이(200)는, 안경(glasses) 타입의 글라스 디스플레이 장치로서, 빛을 투과하는 글라스(G)와, 글라스(G)에 가상 이미지를 디스플레이하는 디스플레이부(210)를 포함할 수 있다. 즉, 실시예에서, 헤드 마운티드 디스플레이(200)는, 안경과 같이 글라스(G)를 통해 외부를 관찰시킴과 동시에 글라스(G)에 표시되는 가상 이미지를 출력하여, 사용자에게 증강현실(AR)을 제공할 수 있다.

자세히, 도 3을 참조하면, 실시예에 따른 헤드 마운트 디스플레이는, 사용자의 얼굴(머리)에 착용가능한 안경의 형태로 이루어지고, 메인 바디를 형성하는 글래스 프레임과, 글래스 프레임 양측 단부를 형성하고 사용자의 귀에 접촉하게 되는 지지부와, 빛을 투과하는 글라스(G)와, 글라스(G)에 가상 영상을 디스플레이하는 디스플레이를 포함할 수 있다.

헤드 마운트 디스플레이가 안경으로서 보다 견고한 지지를 위하여 사용자의 얼굴에서 코 영역을 지지하기 위한 제 2 지지부를 더 포함할 수 있으며, 도시되지는 않았지만, 사용자의 양쪽 눈 앞에 위치하는 안경알이 글래스 프레임에 더 결합될 수 있다.

사용자는 이러한 구조의 헤드 마운트 디스플레이를 착용하면, 글라스(G)를 통해 외부를 관찰할 수 있음과 동시에, 디스플레이부의 표시에 따라서 글라스(G)에 표시되는 다양한 이미지, 텍스트 등의 멀티미디어를 감상할 수 있다.

한편, 구강 모니터링 치경은, 데이터를 수신하거나 프로세서(170)에서 처리 또는 생성된 신호를 외부로 전송하는 인터페이스부(130)를 포함할 수 있다.

실시예에서, 인터페이스부(130)는, 유/무선으로 헤드 마운티드 디스플레이(200)를 제외한 단말기 디스플레이로 구강 정보나 구강 영상을 송출하여 디스플레이하도록 제어할 수 있다.

자세히, 이러한 인터페이스부(130)는 구강 모니터링 치경에 연결되는 다양한 종류의 외부 기기와의 통로 역할을 수행할 수 있다. 이러한 인터페이스부(130)는, 유/무선 헤드셋 포트(port), 외부 충전기 포트(port), 유/무선 데이터 포트(port), 메모리(140) 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트(port), 오디오 I/O(Input/Output) 포트(port), 비디오 I/O(Input/Output) 포트(port), 이어폰 포트(port) 중 적어도 하나를 포함할 수 있다. 구강 모니터링 치경에서는, 상기 인터페이스부(130)에 외부 기기가 연결되는 것에 대응하여, 연결된 외부 기기와 관련된 적절할 제어를 수행할 수 있다.

또한, 구강 모니터링 치경은, 구강 모니터링 치경의 다양한 기능을 지원하는 데이터를 저장하는 메모리(140)를 포함할 수 있다.

자세히, 메모리(140)는 구강 모니터링 치경에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 구강 모니터링 치경의 동작을 위한 데이터들, 명령어들을 저장할 수 있다.

그리고 응용 프로그램은, 메모리(140)에 저장되고, 구강 모니터링 치경 상에 설치되어, 프로세서(170)에 의하여 상기 구강 모니터링 치경의 동작(또는 기능)을 수행하도록 구동될 수 있다.

또한, 실시예에서 메모리(140)는, 이전 모니터링하였던 사람의 구강 정보, 구강 영상을 저장해두어 추후 증강현실 구현시 이전 저장했던 정보를 추가 이미지로 표시할 수 있다.

또한, 메모리(140)는 하드웨어적으로, ROM, RAM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기 일 수 있고, 메모리(140)는 인터넷(internet)상에서 상기 메모리(140)의 저장 기능을 수행하는 웹 스토리지(web storage)일 수도 있다.

또한, 구강 모니터링 치경은, 구강 내부를 촬영하는 카메라(150)를 더 포함할 수 있다.

자세히, 실시예에서, 카메라(150)는, 치경 주변 또는 치경 내부에 배치되어 치경이 빛을 반사하는 방향(예컨대, 치경 거울면의 법선 방향) 측을 촬영할 수 있다.

예를 들어, 도 2를 참조하면, 카메라(150)는, 치경의 거울부(M) 중앙에 배치되어 치경이 반사하는 방향과 동일한 방향을 촬영하여, 사용자가 직관적으로 치경의 촬영방향을 인지하도록 배치될 수 있다.

좀더 자세히, 치경은, 막대 형상을 갖는 손잡이부와, 헤드(head, H)에 배치된 거울부(M), 그리고 헤드와 손잡이부(M)를 연결하는 넥(neck, N)부를 포함할 수 있다. 이러한 거울부(M)의 중앙에는 카메라(150)가 배치될 수 있으며, 카메라(150)의 상의 중앙 거울부(M)는 타 거울부(M) 영역에 비해 상대적으로 광 투과율이 높아 카메라(150)의 촬영을 보조할 수 있다.

예를 들어, 거울부(M)는, 유리와 유리 하면 상에 배치된 반사층을 포함할 수 있으며, 유리의 중앙부에만 반사층이 형성되지 않거나 타 영역에 비해 상대적으로 얇게 형성되어 광 투과율을 낮출 수 있다.

이러한 카메라(150)는 이미지 센서와 영상 처리 모듈을 포함할 수 있다. 카메라(150)는 이미지 센서(예를 들면, CMOS 또는 CCD)에 의해 얻어지는 정지영상 또는 동영상을 처리할 수 있다. 영상 처리 모듈은 이미지 센서를 통해 획득된 정지영상 또는 동영상을 가공하여, 필요한 정보를 추출하고, 추출된 정보를 프로세서(170)에 전달할 수 있다.

또한, 구강 모니터링 치경은, 구강 모니터링 치경의 움직임을 감지하는 센서부(160)를 포함할 수 있다.

예를 들어, 센서부(160)는, 가속도 센서(acceleration sensor), 자기 센서(magnetic sensor), 중력 센서(G-sensor), 자이로스코프 센서(gyroscope sensor), 모션 센서(motion sensor) 중 적어도 하나의 센서를 포함하여 손잡이부(M)의 3차원 움직임을 감지할 수 있다.

자세히, 실시예에서, 센서부(160)는, 구강 모니터링 치경의 손잡이부(M)에 배치되어 손잡이부(M)의 3차원 움직임을 감지할 수 있으며, 이러한 움직임 정보는 이후 구강 영상을 분석하는데 활용될 수 있다.

예를 들어, 도 4를 참조하면, 프로세서(170)는, 손잡이부(M)에 배치된 센서부(160)로부터 손잡이부(M)의 상하좌우전후 움직임 정보(X, Y, Z)를 획득할 수 있으며, 손잡이부(M)의 움직임 정보를 치경 헤드의 움직임 정보(X', Y', Z')로 변환하여, 치경 헤드에 위치한 카메라(150)에서 촬영된 구강 영상을 분석하는데 활용할 수 있다.

또한, 구강 모니터링 치경은, 치경의 거울부(M)에 공기를 출사하는 에어 인젝션(180)을 더 포함할 수 있다.

자세히, 실시예에서, 에어 인젝션(180)은, 거울부(M)를 향해 공기를 출력하여 거울부(M)에 이물을 제거함으로써, 거울부(M)의 반사율을 향상시키고 카메라(150)의 촬영을 보조할 수 있다.

이러한 에어 인젝션(180)은, 손잡이부(M)나 넥부에 배치될 수 있으며, 공기 출력 홀을 거울부(M) 상면을 향하도록 배치할 수 있다.

예컨대, 손잡이부(M)와 넥부 사이에 거울면을 바라보는 절곡면이 배치되고, 절곡면에 에어 인젝션(180)의 공기 출력 홀이 형성되어, 에어 인젝션(180)은 거울부(M) 측으로 공기를 방출할 수 있다.

또한, 구강 모니터링 치경은, 구강 내부로 광을 방출하는 조명부(190)를 더 포함할 수 있다.

실시예에서, 조명부(190)는, LED 조명으로 거울부(M)의 상면 법선방향 측으로 광을 방출하여 카메라(150)의 구강 내부 촬영을 도울 수 있다.

예를 들어, 도 2를 참조하면, 거울부(M)를 둘러싸는 헤드의 둘레를 따라서 복수의 조명부(190)가 배치될 수 있다. 좀더 자세히, 헤드의 둘레를 따라서 등간격으로 4개의 조명부(190)가 배치되어 광을 조사할 수 있다.

이때, 프로세서(170)는, 4개의 조명부(190)를 순차적으로 동작시킬 수 있으며, 순차적으로 동작한 조명부(190)에 따라 촬영된 구강 영상을 통해 구강 내부 환경을 3차원 영상으로 구현할 수 있다. 즉, 프로세서(170)는, LED의 순차 구동 및 LED 구동에 동기하여 촬영함으로써, 포토메트릭스 스테레오(Photometric Stereo) 방식으로 구강 환경의 3D 모델을 구현할 수 있다.

각 유닛의 전반적인 동작을 제어하는 프로세서(170)를 포함할 수 있다.

이러한 프로세서(170)는 ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(170)(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 이용하여 구현될 수 있다.

프로세서(170)는 상기 응용 프로그램과 관련된 동작 외에도, 통상적으로 구강 모니터링 치경의 전반적인 동작을 제어한다. 프로세서(170)는 위에서 살펴본 구성요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 메모리(140)에 저장된 응용 프로그램을 구동함으로써, 사용자에게 적절한 정보 또는 기능을 제공 또는 처리할 수 있다.

이하, 이와 같은 유닛들로 구성된 구강 모니터링 치경이 동작하여 각종 구강 모니터링 기능을 제공하는 방법을 상세히 설명한다.

먼저, 사용자가 치경을 통해 환자의 구강 내를 관찰할 때, 치경의 카메라(150)가 동작하여 구강 내부를 촬영할 수 있다. (S101)

자세히, 실시예의 카메라(150)는 치경의 거울부(M) 중앙에 배치되어 거울부(M)의 반사 이미지와 동일한 방향의 이미지를 촬영하여, 사용자는 직관적으로 카메라(150)의 촬영방향을 인지하며 구강 내 관찰하고자 하는 영역을 촬영할 수 있다.

이때, 조명부(190)는, 치경 카메라(150)의 촬영방향에 조명을 조사하여, 카메라(150)의 촬영을 보조할 수 있다. 프로세서(170)는, 촬영된 구강 영상의 밝기를 판단하여 조명부(190)의 세기를 결정하여, 결정된 조명부(190) 세기에 따라서 조명부(190) 출력량을 제어할 수 있다.

구강을 촬영하여 구강 영상을 획득하면, 통신부(120)는, 상기 구강 영상을 송신하여 디스플레이에 표시하도록 제어할 수 있다.

자세히, 디스플레이는, 구강 영상을 글라스(G)의 일부 영역에 표시하여, 사용자가 글라스(G)를 통해 치경으로 구강 내를 관찰함과 동시에 글라스(G)에 일부 영역에 표시되는 구강 영상을 통해서 더욱 정밀하게 사용자의 구강을 관찰할 수 있다. (S102)

예를 들어, 도 6을 참조하면, 디스플레이는, 글라스(G)의 일측 모서리 측 영역 일부를 분할하고, 분할된 영역에 구강 영상을 표시하여, 사용자가 구강 내를 정밀하게 모니터링하도록 보조할 수 있다.

이때, 디스플레이는, 사용자의 입력에 따라서 구강 영상 표시 영역의 크기를 확대/축소하거나, 구강 영상의 일부 영역을 확대/축소하는 기능을 제공하여, 사용자가 원하는 영역을 손쉽게 모니터링하도록 하는 인터페이스 기능을 제공할 수 있다.

한편, 프로세서(170)는, 촬영된 구강 영상을 분석하여 구강 트러블을 검출할 수 있다. (S103)

자세히, 프로세서(170)는, 메모리(140) 저장된 구강 트러블들(예컨대, 충치, 구내염, 치아 수복제)의 특징을 저장하고, 구강 영상 내에 저장된 특징을 갖는 오브젝트가 검출되면, 상기 오브젝트를 분석하여 구강 트러블 정보를 획득할 수 있다.

좀더 자세히, 프로세서(170)는, 영상 전처리(preprocessing)를 수행한 후 세그먼트(segment) 및 클러스터링(clustering)을 수행하여, 배경(background)과 전경(foreground)을 분리할 수 있다. 이후, 프로세서(170)는, 이미지 세그먼트에 의해 분리된 전경으로부터 오브젝트를 검출할 수 있다. 다음으로, 프로세서(170)는, 분리된 오브젝트를 분류하고(classify), 확인할 수 있다(verify). 예를 들어, 프로세서(170), 뉴럴 네트워크(neural network)를 이용한 식별법, SVM(Support Vector Machine) 기법, Haar-like 특징을 이용한 AdaBoost에 의해 식별하는 기법, 또는 HOG(Histograms of Oriented Gradients) 기법 등을 사용할 수 있다.

그리고 프로세서(170)는, 획득한 구강 트러블 정보를 통신부(120)를 통해 디스플레이에 전송하여 표시하도록 제어하여, 사용자가 놓칠 수 있는 구강 트러블에 대한 정보를 알려줄 수 있다. (S104)

자세히, 디스플레이는, 해당 구강 트러블 오브젝트에 매칭되도록 구강 트러블 정보를 증강현실 이미지로 표시함으로써, 사용자에게 구강 트러블 정보를 표시할 수 있다.

예를 들어, 도 7을 참조하면, 충치에 대한 구강 트러블 정보를 수신한 경우, 디스플레이는, 해당 충치를 하이라이트하며 충치에 대한 정보를 텍스트로 표시한 증강현실 이미지를 글래스에 표시함으로써, 사용자에게 구강 트러블 정보를 알려주는 구강 모니터링 기능을 제공할 수 있다.

또한, 디스플레이는, 동일한 환자의 이전 구강 모니터링시 촬영하였던 구강 영상 및 구강 트러블 정보를 메모리(140)에 저장하고, 추후 다시 구강 모니터링하였을 때, 이전 모니터링시 저장하였던 구강 영상/구강 트러블 정보를 증강현실 이미지로 표시하여 구강 진료를 보조할 수 있다.

한편, 프로세서(170)는, 시간에 따라 촬영된 구강 영상들의 탁도(또는, 선명도)를 비교하여, 소정의 탁도 이하로 구강 영상이 촬영됨을 감지할 수 있다. (S105)

즉, 프로세서(170)는, 습한 구강 내에서 치경의 유리에 습기가 차는 것을 구강 영상의 선명도 변화를 통해 감지할 수 있다.

그리고 프로세서(170)는, 소정의 탁도 이하로 구강 영상이 촬영될 경우, 자동으로 에어 인젝션(180)을 구동시켜 치경의 유리에 습기를 제거함으로써, 사용자의 구강 모니터링 편의를 향상시킬 수 있다. (S108)

한편, 구강 내의 전체에 대해 건강 검진을 수행할 때, 치경의 거울만으로 구강 전체 영역을 꼼꼼하게 모니터링하기 어려울 수 있다. 구강 내 전반 영역을 일거에 모니터링하는 기능으로, 치경은, 파노라마 구강 모니터링 기능을 제공할 수 있다.

자세히, 파노라마 구강 모니터링 기능이 실행되면, 프로세서(170)는, 치경의 이동(또는, 회전)에 따라서 카메라(150) 방향을 변경하여 구강 내를 순차적으로 촬영할 수 있다. (S107)

좀더 자세히, 도 8a를 참조하면, 사용자는, 파노라마 구강 모니터링 기능을 실행하고, 치아 내측에서 치열을 따라 치경의 카메라(150)를 이동시키며 복수의 치아들을 촬영할 수 있다. 예를 들어, 카메라(150)는, 하악의 최외곽 치아에서 제 1 방향(d1)으로 회전 이동하며 타측 최외곽 치아를 촬영함으로써, 하악 측 전체 치아에 대한 구강 영상을 획득할 수 있다.

그리고 프로세서(170)는, 순차적으로 촬영된 복수의 구강 영상을 합성하여, 파노라마 구강 영상을 생성하고, 디스플레이에 표시하여 구강 내 복수의 영역을 한번에 확인할 수 있는 파노라마 구강 영상을 제공할 수 있다. (S108)

자세히, 프로세서(170)는, 구강 영상들을 분석하여 치아와 잇몸 사이의 경계를 검출하고, 복수의 구강 영상들이 경계가 일치하도록 합성하여, 구강 영상들 간의 싱크(sink) 기준을 손쉽게 결정할 수 있다.

또한, 프로세서(170)는, 구강 영상들 간의 합성 기준 경계를 치아와 치아 사이의 경계를 통해 손쉽게 결정하고 합성할 수 있다. 예를 들어, 제 1 구강 영상의 2번 과 3번 어금니 사이의 경계와, 제 2 구강 영상의 제 2 구강 영상의 2번과 3번 어금니 사이의 경계가 일치하도록 제 1 구강 영상과 제 2 구강 영상을 합성하여, 구강 영상들 간 정확한 위치 기준 설정이 가능할 수 있다.

디스플레이는, 도 8b와 같이, 복수의 구강 영상(P1, P2, P3, P4)을 포함하는 파노라마 구강 영상을 표시하여, 사용자가 한눈에 복수의 구강

영역(예컨대, 하악 치아 내측 전체)를 확인할 수 있도록 보조하는 파노라마 구강 모니터링 기능을 제공할 수 있다.

한편, 특정 치아나 치아들 사이를 정밀하게 모니터링하기 위해서, 치경은, 3차원 모델로 구강을 모니터링하는 기능을 제공할 수도 있다.

자세히, 3차원 구강 모니터링 기능이 실행되면, 프로세서(170)는, 치경의 이동에 따라서 변경된 카메라(150) 촬영방향에 따라 순차적으로 촬영된 구강 영상을 획득할 수 있다. (S109)

예를 들어, 도 9a를 참조하면, 사용자는 3차원 구강 모니터링 기능을 실행하고, 치경을 이동시켜 치아의 내측면, 상면 및 외측면을 차례대로 촬영하는 방향(d2)으로 이동하며 촬영하여 구강 영상을 획득할 수 있다.

이때, 프로세서(170)는, 4개의 조명부(190)를 순차적으로 동작시킬 수 있으며, 순차적으로 동작한 조명부(190)에 따라 촬영된 구강 영상을 획득할 수 있다.

또한, 프로세서(170)는, 센서부(160)를 통해 치경의 움직임 정보를 추가로 획득할 수 있다.

그리고 프로세서(170)는, 촬영된 구강 영상을 그대로 디스플레이에 전송하여 2차원 이미지로 표시할 수도 있다. 예를 들어, 도 9b를 참조하면, 디스플레이는, 치아의 상면 이미지, 치아의 내측면 이미지, 치아의 외측면 이미지를 각각 시점 이동시키면서 표시할 수 있는 2차원 이미지를 표시할 수 있다.

또한, 프로세서(170)는, 복수의 구강 영상, 움직임 정보를 통해 해당 구강 영역을 3차원 모델로 모델링하여, 3차원 이미지로 구강 영상을 표시할 수 있다. (S110)

자세히, 프로세서(170)는, 움직임 정보, LED의 순차 구동 및 LED 구동에 동기하여 촬영한 구강 영상을 기초로 포토메트릭스 스테레오(Photometric Stereo) 방식으로 구강 환경의 3D 모델 구강 영상을 구현할 수 있다.

그리고 구현한 3D 모델 구강 영상을 전송하여 도 9c와 같이 디스플레이에서 표시함으로써, 3차원 시점 변환하며 특정 구강 영역을 정밀하게 모니터링할 수 있다.

이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리(140) 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.

본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.

또한 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시 예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자 또는 해당 기술분야에 통상의 지식을 갖는 자라면 후술할 특허청구범위에 기재된 본 발명의 사상 및 기술 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허청구범위에 의해 정하여져야만 할 것이다.

Claims

구강 내를 관찰하는 거울을 갖는 구강 모니터링 치경에 있어서,
거울 내부에 배치되어 구강 내를 촬영하여 구강 영상을 획득하는 카메라;
상기 획득된 구강 영상을 전송하는 통신부;
상기 거울 측으로 공기를 분사하는 에어 인젝션; 및
상기 카메라를 제어하여 구강 모니터링 기능을 제공하는 프로세서를 포함하고,
상기 프로세서는,
상기 카메라에서 촬영된 구강 영상을 상기 통신부를 제어하여 헤드 마운티드 디스플레이로 송신하여, 상기 헤드 마운티드 디스플레이에 가상 이미지로 상기 구강 영상을 표시하도록 제어하는
구강 모니터링 치경.
제 1 항에 있어서,
글래스와, 상기 글래스에 상기 구강 영상을 수신하여 가상 이미지로 표시하는 디스플레이부를 포함하는 헤드 마운티드 디스플레이를 더 포함하고,
상기 디스플레이부는,
상기 구강 영상을 상기 글래스의 일측 모서리의 분할 영역에 표시하는
구강 모니터링 치경.
제 2 항에 있어서,
상기 헤드 마운티드 디스플레이는,
사용자의 입력에 따라서 상기 분할 영역의 크기를 확대 또는 축소하고,
상기 사용자의 입력에 따라 상기 구강 영상의 일부 영역을 확대 또는 축소하는 인터페이스를 제공하는
구강 모니터링 치경.
제 2 항에 있어서,
상기 프로세서는,
상기 구강 영상 내에서 구강 트러블에 대한 오브젝트를 검출하면, 상기 오브젝트를 기초로 구강 트러블 정보를 획득하고, 상기 구강 트러블 정보를 상기 헤드 마운티드 디스플레이에 송신하며,
상기 헤드 마운티드 디스플레이는,
상기 구강 트러블 정보를 증강현실 이미지로 표시하는
구강 모니터링 치경.
제 2 항에 있어서,
상기 프로세서는,
상기 구강 영상의 탁도를 산출하고, 상기 탁도가 소정의 값 이하이면 상기 에어 인젝션을 동작시켜 상기 거울의 습기를 제거하는
구강 모니터링 치경.
제 1 항에 있어서,
상기 프로세서는,
상기 카메라부를 통해 치열을 따라 촬영된 복수의 구강 영상을 수신하면, 상기 복수의 구강 영상을 합성하여 파노라마 구강 영상을 생성하고, 상기 생성한 구강 영상을 상기 헤드 마운티드 디스플레이로 전송하는
구강 모니터링 치경.
제 6 항에 있어서,
상기 프로세서는,
상기 복수의 구강 영상에서 각각 치아와 잇몸 사이의 경계를 추출하여 수직에서의 합성 기준으로 결정하고,
상기 복수의 구강 영상에서 치아와 치아 사이의 경계를 구강 영상들 간 수평에서의 합성 기준으로 결정하여 상기 합성 기준에 따라 상기 복수의 구강 영상을 합성하는
구강 모니터링 치경.
제 1 항에 있어서,
상기 프로세서는,
상기 카메라에서 치아의 내측면, 상면 및 외측면을 촬영한 구강 영상을 수신하면, 상기 복수의 구강 영상을 통해 상기 치아에 대한 3차원 모델을 구현하는
구강 모니터링 치경.
제 8 항에 있어서,
서로 다른 위치에 배치된 복수의 LED를 포함하는 조명부를 더 포함하고,
상기 프로세서는,
상기 LED의 순차 구동시키고, 상기 LED가 순차적으로 구동함에 따라서 촬영한 구강 영상을 기초로 포토메트릭스 스테레오(Photometric Stereo) 방식으로 상기 치아에 대한 3D 모델을 구현하는
구강 모니터링 치경.
구강 내를 관찰하는 거울을 갖는 구강 모니터링 치경에서 구강 모니터링 기능을 제공하는 방법으로서,
상기 거울에 배치된 카메라를 제어하여 구강 영상을 촬영하는 단계;
상기 구강 영상을 헤드 마운티드 디스플레이로 전송하는 단계; 및
상기 헤드 마운티드 디스플레이에서 상기 구강 영상을 증강현실 이미지로 표시하는 단계를 포함하는
구강 모니터링 치경의 제어방법.