KR20210156703A

KR20210156703A - ３차원 안면 스캔데이터 및 ａｒ 글래스를 이용한 실시간 가시화 서비스 제공 방법

Info

Publication number: KR20210156703A
Application number: KR1020200081092A
Authority: KR
Inventors: 송정훈
Original assignee: 주식회사 디엠에프
Priority date: 2020-06-18
Filing date: 2020-07-01
Publication date: 2021-12-27
Also published as: KR102458276B1

Abstract

3차원 안면 스캔데이터 및 AR 글래스를 이용한 실시간 가시화 서비스 제공 방법이 제공되며, 피시술자의 안면을 3차원으로 스캔하여 3차원 안면 데이터를 수집하는 단계, 3차원 안면 데이터에 적어도 하나의 가시화 데이터를 중첩시켜 병합하는 단계, 적어도 하나의 가시화 데이터에 대응하는 3차원 정보를 AR 글래스로 전송하는 단계, AR 글래스에서 안면의 적어도 하나의 특징점을 추출하는 경우 AR 페이스 트래킹(Face Tracking)을 실시하는 단계 및 적어도 하나의 특징점에 대응하도록 적어도 하나의 가시화 데이터를 AR 글래스에 출력하는 단계를 포함할 수 있다.

Description

３차원 안면 스캔데이터 및 ＡＲ 글래스를 이용한 실시간 가시화 서비스 제공 방법{METHOD FOR PROVIDING REAL-TIME VISUALIZATION SERVICE USING 3-DIMENSIONAL FACIAL SCAN DATA AND AUGMENT REALITY}

본 발명은 3차원 안면 스캔데이터 및 AR 글래스를 이용한 실시간 가시화 서비스 제공 방법에 관한 것으로, 적어도 하나의 특징점을 기준으로 AR 글래스 상에 가시화 데이터를 플로팅(Floating)시킴으로써 실시간으로 지연 및 마커없이 데이터를 출력할 수 있는 플랫폼을 제공한다.

영상 정합 기술은 각종 병변에 대한 치료 계획에 점차 널리 활용되고 있으며, 가장 단순하게는 다양한 모달리티 의료 영상들을 하나의 좌표계에서 표현하기 위해 주로 이용되어 왔으며, 움직임 보정, 왜곡보정, 여러 기능지도 작성, 영상 배열 등에 다른 목적을 위해서도 이용된다. 영상과 영상 간뿐만 아니라 영상과 로봇간의 좌표계를 일치시키는 과정에서도 정합 기술은 이용되기도 한다. 기술적인 측면에서는 초기에 해부학적 지표나 인공부착물 활용하는 포인트-투-포인트(Point-to-Point) 방법에서 이미지-투-이미지(Image-to-Image) 방식의 자동적인 최적화 방법으로 발전해 왔으며, 최근에는 이러한 영상정합 기술이 단순히 좌표정합에 그치지 않고 3차원 모델링 된 가상의 세계와의 정합에 이르기까지 광범위하게 연구되고 있다.

이때, 증강현실을 이용하여 외과수술을 할 때 3D 안경을 이용하는 방법이 연구 및 개발되었는데, 이와 관련하여, 선행기술인 한국등록특허 제10-1647467호(2016년08월11일 공고)에는, 인체에 삽입되는 수술 대상물에 부착되어 제 1 위치정보를 전송하고, 수술 대상물을 인체에 시술하는데 사용되는 수술기구에 부착되어 제 2 위치정보를 전송하고, 세 개 이상의 기준점이 설정된 신체 내부에 대한 3D 모델링을 3D 영상용 안경으로 전송하고, 제 1 위치정보에 해당하는 지점의 수술 대상물의 3D 모델링 및 제 2 위치정보에 해당하는 지점의 수술기구의 3D 모델링을 3D 영상용 안경으로 전송하고, 신체 내부에 대한 3D 모델링에 설정된 세 개 이상의 기준점과 동일한 위치의 인체에 동일한 개수로 장착되어 각각의 센서 위치정보를 전송하며, 안경알을 통해 투영된 인체의 실제 영상에 3D 모델링 저장 및 신체 내부에 대한 3D 모델링을 중첩하여 표시하고, 수술 대상물 및 수술기구의 3D 모델링을 해당 위치에 추가로 표시하되, 신체 내부에 대한 3D 모델링에 설정된 세 개 이상의 기준점을 동일한 개수의 센서 위치에 각각 일치시킴으로써, 인체에 장착된 세 개 이상의 센서 위치를 기준으로 신체 내부에 대한 3D 모델링을 중첩하여 증강현실 영상을 표시하는 구성이 개시되어 있다.

다만, 상술한 방법은 전통적인 방법의 증강현실을 이용한 것으로, 증강현실 콘텐츠를 실사에 띄워주기 위하여 증강현실 마커인 AR 마커가 요구되는데, 이를 수술기구 및 센서로 표시를 해줘야 하기 때문에 수술기구가 미리 환자의 몸에 붙어있어야 제대로 좌표를 잡고 디스플레이를 해줄 수가 있다. 그렇지 않은 경우 제대로 증강현실 콘텐츠가 출력되지 않음에 따라 사인펜으로 수술 지점을 그리는 것보다 더 못한 시야 방해를 하게 되는데, 이러한 경우 의료과오소송으로 수집되는 정보까지 존재하므로, 원고의 입증책임 완화로 인하여 증거물을 제출할 경우 패소확률이 급격하게 높아진다. 또, 실시간으로 3D 모델링을 수행하기 때문에 프로세스 처리 지연이 발생하는 경우 시술자나 의사의 시야를 가리게 되기 때문에 구글 글래스와 같이 무용지물로 전락할 가능성이 높아지게 된다. 이에, 실시간으로 가시화 데이터를 AR 글래스에 지연없이 출력할 수 있으면서도 별도의 부착 마커가 필요없는 플랫폼의 연구 및 개발이 요구된다.

본 발명의 일 실시예는, 피시술자의 3차원 안면 스캔데이터를 수집한 후, 수술계획에 따른 수술부위마킹이나, 시술이나 수술 후의 3차원 시뮬레이션 프로그램을 구동한 결과 데이터 또는 해부학적 안면 스캔데이터를 포함하는 가시화 데이터를 중첩시키고, 가시화 데이터를 AR 글래스로 전송하는데 이때 안면의 적어도 하나의 특징점에 대응하도록 가시화 데이터가 AR 글래스 상에 출력될 수 있도록 제어함으로써, 별도의 AR 마커가 없어도 실시간으로 좌표에 대응하도록 가시화 데이터가 출력될 수 있으면서도, 가시화 데이터가 출력됨에 있어서 3D 모델링을 수행하지 않음으로써 지연이나 딜레이가 발생하지 않아 시야 방해를 하지 않을 수 있는, 3차원 안면 스캔데이터 및 AR 글래스를 이용한 실시간 가시화 서비스 제공 방법을 제공할 수 있다. 다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예는, 피시술자의 안면을 3차원으로 스캔하여 3차원 안면 데이터를 수집하는 단계, 3차원 안면 데이터에 적어도 하나의 가시화 데이터를 중첩시켜 병합하는 단계, 적어도 하나의 가시화 데이터에 대응하는 3차원 정보를 AR 글래스로 전송하는 단계, AR 글래스에서 안면의 적어도 하나의 특징점을 추출하는 경우 AR 페이스 트래킹(Face Tracking)을 실시하는 단계 및 적어도 하나의 특징점에 대응하도록 적어도 하나의 가시화 데이터를 AR 글래스에 출력하는 단계를 포함할 수 있다.

전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 피시술자의 3차원 안면 스캔데이터를 수집한 후, 수술계획에 따른 수술부위마킹이나, 시술이나 수술 후의 3차원 시뮬레이션 프로그램을 구동한 결과 데이터 또는 해부학적 안면 스캔데이터를 포함하는 가시화 데이터를 중첩시키고, 가시화 데이터를 AR 글래스로 전송하는데 이때 안면의 적어도 하나의 특징점에 대응하도록 가시화 데이터가 AR 글래스 상에 출력될 수 있도록 제어함으로써, 별도의 AR 마커가 없어도 실시간으로 좌표에 대응하도록 가시화 데이터가 출력될 수 있으면서도, 가시화 데이터가 출력됨에 있어서 3D 모델링을 수행하지 않음으로써 지연이나 딜레이가 발생하지 않아 시야 방해를 하지 않을 수 있다.

도 1은 본 발명의 일 실시예에 따른 3차원 안면 스캔데이터 및 AR 글래스를 이용한 실시간 가시화 서비스 제공 시스템을 설명하기 위한 도면이다.
도 2는 도 1의 시스템에 포함된 실시간 가시화 서비스 제공 서버를 설명하기 위한 블록 구성도이다.
도 3 내지 도 6은 본 발명의 일 실시예에 따른 3차원 안면 스캔데이터 및 AR 글래스를 이용한 실시간 가시화 서비스가 구현된 일 실시예를 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 3차원 안면 스캔데이터 및 AR 글래스를 이용한 실시간 가시화 서비스 제공 방법을 설명하기 위한 동작 흐름도이다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

명세서 전체에서 사용되는 정도의 용어 "약", "실질적으로" 등은 언급된 의미에 고유한 제조 및 물질 허용오차가 제시될 때 그 수치에서 또는 그 수치에 근접한 의미로 사용되고, 본 발명의 이해를 돕기 위해 정확하거나 절대적인 수치가 언급된 개시 내용을 비양심적인 침해자가 부당하게 이용하는 것을 방지하기 위해 사용된다. 본 발명의 명세서 전체에서 사용되는 정도의 용어 "~(하는) 단계" 또는 "~의 단계"는 "~ 를 위한 단계"를 의미하지 않는다.

본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다. 한편, '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, '~부'는 어드레싱 할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체 지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.

본 명세서에 있어서 단말, 장치 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말, 장치 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말, 장치 또는 디바이스에서 수행될 수도 있다.

본 명세서에서 있어서, 단말과 매핑(Mapping) 또는 매칭(Matching)으로 기술된 동작이나 기능 중 일부는, 단말의 식별 정보(Identifying Data)인 단말기의 고유번호나 개인의 식별정보를 매핑 또는 매칭한다는 의미로 해석될 수 있다.

이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 3차원 안면 스캔데이터 및 AR 글래스를 이용한 실시간 가시화 서비스 제공 시스템을 설명하기 위한 도면이다. 도 1을 참조하면, 3차원 안면 스캔데이터 및 AR 글래스를 이용한 실시간 가시화 서비스 제공 시스템(1)은, 적어도 하나의 사용자 단말(100), 실시간 가시화 서비스 제공 서버(300), 적어도 하나의 3차원 안면 스캐너(400) 및 적어도 하나의 AR 글래스(500)를 포함할 수 있다. 다만, 이러한 도 1의 3차원 안면 스캔데이터 및 AR 글래스를 이용한 실시간 가시화 서비스 제공 시스템(1)은, 본 발명의 일 실시예에 불과하므로, 도 1을 통하여 본 발명이 한정 해석되는 것은 아니다.

이때, 도 1의 각 구성요소들은 일반적으로 네트워크(network, 200)를 통해 연결된다. 예를 들어, 도 1에 도시된 바와 같이, 적어도 하나의 사용자 단말(100)은 네트워크(200)를 통하여 실시간 가시화 서비스 제공 서버(300)와 연결될 수 있다. 그리고, 실시간 가시화 서비스 제공 서버(300)는, 네트워크(200)를 통하여 적어도 하나의 사용자 단말(100), 적어도 하나의 3차원 안면 스캐너(400), 적어도 하나의 AR 글래스(500)와 연결될 수 있다. 또한, 적어도 하나의 3차원 안면 스캐너(400)는, 네트워크(200)를 통하여 실시간 가시화 서비스 제공 서버(300)와 연결될 수 있다. 그리고, 적어도 하나의 AR 글래스(500)는, 네트워크(200)를 통하여 적어도 하나의 사용자 단말(100), 실시간 가시화 서비스 제공 서버(300) 및 적어도 하나의 3차원 안면 스캐너(400)와 연결될 수 있다.

여기서, 네트워크는, 복수의 단말 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크의 일 예에는 근거리 통신망(LAN: Local Area Network), 광역 통신망(WAN: Wide Area Network), 인터넷(WWW: World Wide Web), 유무선 데이터 통신망, 전화망, 유무선 텔레비전 통신망 등을 포함한다. 무선 데이터 통신망의 일례에는 3G, 4G, 5G, 3GPP(3rd Generation Partnership Project), 5GPP(5th Generation Partnership Project), LTE(Long Term Evolution), WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi), 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), RF(Radio Frequency), 블루투스(Bluetooth) 네트워크, NFC(Near-Field Communication) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.

하기에서, 적어도 하나의 라는 용어는 단수 및 복수를 포함하는 용어로 정의되고, 적어도 하나의 라는 용어가 존재하지 않더라도 각 구성요소가 단수 또는 복수로 존재할 수 있고, 단수 또는 복수를 의미할 수 있음은 자명하다 할 것이다. 또한, 각 구성요소가 단수 또는 복수로 구비되는 것은, 실시예에 따라 변경가능하다 할 것이다.

적어도 하나의 사용자 단말(100)은, 3차원 안면 스캔데이터 및 AR 글래스를 이용한 실시간 가시화 서비스 관련 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 이용하여 3차원 안면 스캐너(400)로부터 스캔된 피시술자 또는 피수술자의 안면 스캔데이터를 출력하고, 적어도 하나의 특징점을 조절하여 시술 후의 안면을 예측하도록 시뮬레이션 프로그램을 구동시키는 병원의 단말일 수 있다. 그리고, 사용자 단말(100)은, 시술 후의 피시술자 또는 피수술자의 안면 스캔데이터를 3차원 안면 스캐너(400)로부터 재수집하고, 시술 전 안면 스캔데이터, 시술 후 안면 스캔 데이터 및 시뮬레이션 데이터를 중첩하여 비교결과를 시각화하여 출력하는 단말일 수 있다. 또한, 사용자 단말(100)은 AR 글래스(500)와 연동되어 사용자 단말(100)을 경유하여 실시간 가시화 서비스 제공 서버(300)로 연결시키거나, 사용자 단말(100)에서 실시간 가시화 서비스 제공 서버(300)의 구동 프로세스가 온전히 구동되는 경우 AR 글래스(500)와 연결되어 AR 글래스(500)의 동작을 제어하는 단말일 수 있다.

여기서, 적어도 하나의 사용자 단말(100)은, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다. 이때, 적어도 하나의 사용자 단말(100)은, 네트워크를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구현될 수 있다. 적어도 하나의 사용자 단말(100)은, 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(Smartphone), 스마트 패드(Smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.

실시간 가시화 서비스 제공 서버(300)는, 3차원 안면 스캔데이터 및 AR 글래스를 이용한 실시간 가시화 서비스 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 제공하는 서버일 수 있다. 그리고, 실시간 가시화 서비스 제공 서버(300)는, 적어도 하나의 3차원 안면 스캐너(400)로부터 수신한 피시술자 또는 피수술자의 3차원 안면 스캔데이터를 수집하고, 사용자 단말(100)에서 입력된 가시화 데이터가 중첩되는 경우, 적어도 하나의 특징점을 기준으로 영상 데이터를 중첩시키고, AR 글래스(500)가 사용자 단말(100)과 연동되는 경우, AR 글래스(500)로 가시화 데이터를 전송하여 출력되도록 하되, AR 글래스(500)에서 촬영한 피시술자 또는 피수술자의 안면으로부터 적어도 하나의 특징점을 찾음으로써 가시화 데이터를 안면 상에 플로팅(Floating)시킬 수 있도록 하는 서버일 수 있다. 이때, 실시간 가시화 서비스 제공 서버(300)는 사용자 단말(100)에서 상술한 구성이나 프로세스가 모두 수행되는 경우, 프로그램을 사용자 단말(100)로 전송하거나 업데이트하는 역할에 그칠 수도 있으며 상술한 구성은 삭제될 수도 있다. 하지만, 클라우드 기반으로 사용자 단말(100)이 실시간 가시화 서비스 제공 서버(300)로 연결되는 경우 상술한 구성이나 프로세스는 실시간 가시화 서비스 제공 서버(300)에서 실행될 수 있다.

여기서, 실시간 가시화 서비스 제공 서버(300)는, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다.

적어도 하나의 3차원 안면 스캐너(400)는, 3차원 안면 스캔데이터 및 AR 글래스를 이용한 실시간 가시화 서비스 관련 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 이용하거나 이용하지 않는 스캐너 장치일 수 있다. 이때, 3차원 안면 스캐너(400)의 형상은 일 실시예에 불과할 뿐 도면에 도시된 것과 동일하지 않을 수도 있고, 이 외에도 다양한 스캐너가 사용될 수 있음은 자명하다 할 것이다.

여기서, 적어도 하나의 3차원 안면 스캐너(400)는, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다. 이때, 적어도 하나의 3차원 안면 스캐너(400)는, 네트워크를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구현될 수 있다. 적어도 하나의 3차원 안면 스캐너(400)는, 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(Smartphone), 스마트 패드(Smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.

적어도 하나의 AR 글래스(500)는, 3차원 안면 스캔데이터 및 AR 글래스를 이용한 실시간 가시화 서비스 관련 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 이용하거나 이용하지 않고 사용자 단말(100)로부터 가시화 데이터를 수집하고, 적어도 하나의 특징점을 기준으로 피시술자의 안면 상에 가시화 데이터를 플로팅시키는 장치일 수 있다. 이때, AR 글래스(500)의 기본적인 개념인 촬영, 프로젝팅(Projecting), 합성 등은 공지기술과 동일하므로 본 발명의 일 실시예에서 상세히 설명하지는 않는다.

여기서, 적어도 하나의 AR 글래스(500)는, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다. 이때, 적어도 하나의 AR 글래스(500)는, 네트워크를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구현될 수 있다. 적어도 하나의 AR 글래스(500)는, 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(Smartphone), 스마트 패드(Smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.

도 2는 도 1의 시스템에 포함된 실시간 가시화 서비스 제공 서버를 설명하기 위한 블록 구성도이고, 도 3 내지 도 6은 본 발명의 일 실시예에 따른 3차원 안면 스캔데이터 및 AR 글래스를 이용한 실시간 가시화 서비스가 구현된 일 실시예를 설명하기 위한 도면이다.

도 2를 참조하면, 실시간 가시화 서비스 제공 서버(300)는, 수집부(310), 병합부(320), 전송부(330), 트래킹부(340), 출력부(350), 추출부(360) 및 저장부(370)를 포함할 수 있다.

본 발명의 일 실시예에 따른 실시간 가시화 서비스 제공 서버(300)나 연동되어 동작하는 다른 서버(미도시)가 적어도 하나의 사용자 단말(100), 적어도 하나의 3차원 안면 스캐너(400), 및 적어도 하나의 AR 글래스(500)로 3차원 안면 스캔데이터 및 AR 글래스를 이용한 실시간 가시화 서비스 애플리케이션, 프로그램, 앱 페이지, 웹 페이지 등을 전송하는 경우, 적어도 하나의 사용자 단말(100), 적어도 하나의 3차원 안면 스캐너(400), 및 적어도 하나의 AR 글래스(500)는, 3차원 안면 스캔데이터 및 AR 글래스를 이용한 실시간 가시화 서비스 애플리케이션, 프로그램, 앱 페이지, 웹 페이지 등을 설치하거나 열 수 있다. 또한, 웹 브라우저에서 실행되는 스크립트를 이용하여 서비스 프로그램이 적어도 하나의 사용자 단말(100), 적어도 하나의 3차원 안면 스캐너(400), 및 적어도 하나의 AR 글래스(500)에서 구동될 수도 있다. 여기서, 웹 브라우저는 웹(WWW: World Wide Web) 서비스를 이용할 수 있게 하는 프로그램으로 HTML(Hyper Text Mark-up Language)로 서술된 하이퍼 텍스트를 받아서 보여주는 프로그램을 의미하며, 예를 들어 넷스케이프(Netscape), 익스플로러(Explorer), 크롬(Chrome) 등을 포함한다. 또한, 애플리케이션은 단말 상의 응용 프로그램(Application)을 의미하며, 예를 들어, 모바일 단말(스마트폰)에서 실행되는 앱(App)을 포함한다.

도 2를 참조하면, 수집부(310)는, 피시술자의 안면을 3차원으로 스캔하여 3차원 안면 데이터를 수집할 수 있다. 이하에서 시술이라 표현하지만, 수술로도 대체가능할 수 있고, 피시술자가 피수술자일 수도 있음을 명시한다. 이때, 3차원 안면 스캐너(400)는 특정 스캐너를 사용하지 않고 공지공용의 안면 스캐너를 사용할 수 있으므로 본 발명의 일 실시예에서는 특정하여 상세히 설명하지 않는다. 즉 이하에서 시뮬레이션 분석에 들어가기 이전에 얼굴의 각도를 맞춰주는 것인데, 이 전처리 과정을 통하여 시뮬레이션 결과를 이후에 중첩했을 때 정확히 들어맞을 수 있도록 보상하는 과정을 더 수행하기로 한다. 또, 포즈 보상을 통하여 3차원 형상을 정면으로 위치시키고 포인트 시그니처(Point Signature) 방법을 통하여 데이터를 추출할 수 있다.

피시술자 또는 피수술자가 3차원 안면 스캐너(400)를 정면으로 바라보고 스캐닝을 했음에도 불구하고 실제 스캔이 된 영상을 확인하면 개인의 신체적 특징에 따라 다양한 방향으로 조금씩 회전된 영상이 입력된다. 정확한 특징점 추출을 위하여 이렇게 회전된 영상은 포즈보상 단계를 통하여 정면영상으로 위치시킬 수 있다. 이때, 얼굴 포즈 보상(Face Pose Compensation)을 위하여 포인트(점)를 설정해야 하는데, 미간점(점 1)과 코밑점(점 2)을 기준으로 Y’축을 설정하고 눈꼬리점(점 3, 점 4)를 기준으로 X’축을 설정한다. 이렇게 새롭게 설정된 X’, Y’축과 스캔 공간상의 기준 좌표계 사이에서 발생하는 오류를 최소화함으로써 포즈보상이 이루어질 수 있다.

그 다음 단계는 포인트 시그니처를 이용한 3차원 형상의 데이터 추출 단계인데, 포인트 시그니처는 거리정보를 각도에 대한 1차원 공간신호로 표현한 것으로, 얼굴인식에 도입되었다. 이는 한 점을 기준으로 깊이정보를 추출하는 기법으로 얼굴구조의 곡률 정보를 추출할 수 있다. 이때, pRBFNNs(Polynomial-based. Radial Basis Function Neural Networks) 구조는 조건부에서 가우시안 함수가 아닌 FCM(Fuzzy C-Means) 클러스터링을 기반으로 하여 FCM의 적합도를 활성함수로 사용하는 구조이다. 결론부의 연결가중치는 기존의 상수항이었던 것을 확장하여 다항식 함수를 사용함으로써 퍼지 규칙 표현과 같이 언어적 관점에서 해석될 수 있는데, FCM 클러스터링을 이용함으로써 네트워크 측면에서는 활성 함수를 언어적 측면에서는 소속 함수의 기능을 수행할 수 있다. 결론부의 다항식은 네트워크 연결가중치로 퍼지 규칙의 로컬 모델로 동작될 수 있고. 추론부에서 네트워크의 최종출력은 퍼지 규칙의 추론 결과로서 구해질 수 있다. pRBFNNs 구조는 퍼지 규칙을 기반으로 한 네트워크 구조를 가지며, 조건부, 결론부, 추론부와 같이 세 가지 기능적 모듈로 분리되어 동작하면서 pRBFNNs는 DE(Differential Evolution) 최적화 알고리즘을 사용하여 각 파라미터를 최적화시키고 각 얼굴의 각도를 조정하는 전처리를 수행할 수 있다. 물론, 얼굴의 각도를 조정하는 방법은 상술한 방법에 한정되지 않으며 다양한 방법을 이용할 수 있음은 자명하다 할 것이다.

병합부(320)는, 3차원 안면 데이터에 적어도 하나의 가시화 데이터를 중첩시켜 병합할 수 있다. 이때, 적어도 하나의 가시화 데이터는, 피시술자의 환자정보 콘텐츠, 시술 또는 수술 부위 마킹(Marking), 3차원 시뮬레이션 프로그램을 구동한 결과인 시뮬레이션 데이터 및 해부학적 영상 데이터 중 어느 하나 또는 적어도 하나의 조합일 수 있으나, 나열된 것들로 한정되지 않고 열거되지 않은 이유로 배제되지 않는다. 이때, 해부학적 영상 데이터는, X-Ray, CT, PET, MRI 및 치아 데이터를 포함하는 영상 데이터일 수 있으나, 역시 나열된 것들로 한정되지 않고 열거되지 않은 이유로 배제되지 않는다. 3차원 시뮬레이션 프로그램은, Ceph 프로그램일 수 있으나, 이 역시 이에 한정되지 않고 실시예에 따라 변경가능함은 자명하다 할 것이다.

이때 해부학적 영상 데이터는 의료 영상의 세부 영역인데, 의료 영상이란 의학적인 진단이나 치료를 하는 과정에서 실험이나 촬영을 통해 생성된 영상으로, 영상 고유의 정보들과 환자의 증상과 같은 진단에 중요한 정보들이 함께 표현된다는 점에서 일반적인 영상과 구분된다. 또 다른 특징은 육안으로 볼 수 없는 인체 내부의 특성들을 볼 수 있게 해 준다는 점이다. 예를 들어 기능 자기공명영상법(functional Magnetic resonance imaging, fMRI)은 장기의 관류나 혈류 영상을 볼 수 있게 해주며, 양전자 방출단층영상법(Positron emission tomography, PET)은 신진대사나 수용체와 결합한 영상을 보여준다. 영상 의료기기라 불리는 이러한 장비들은 각기 다른 영상화 방법으로 인체 내부를 투시해서 우리에게 제공한다. 빠른 속도의 연산이 가능한 컴퓨터 하드웨어와 정밀 소프트웨어의 기술 발달로 인하여 단순한 2차원 영상보다는 3차원 영상을 이용하여 진단하는 것이 보편화되고 있고, 의료기기 전 분야에 걸쳐 촬영시간의 단축, 고해상도, 입체화 가능 추세로 변화하고 있으며, 특히 의료영상저장 및 전송 시스템(Picture Achieving Communication System, PACS)이 확대 보급되면서 더욱 가속화되고 있다.

이렇게 수집된 의료 영상은 처리를 해야 하는데, 일반적으로 처리과정 및 이용 목적에 따라 영상 개선, 영상 분할 및 정합, 영상 가시화, 영상 분석 등 몇 가지 단계로 구분된다. 주요한 몇 가지 기술에 대해 간단히 설명하도록 한다. 영상 개선 알고리즘은 의료영상의 외형을 개선시키는 것으로 시각적인 이해, 분석이나 해석을 용이하게 하는 것으로 목적으로 한다. 주요 기술들은 영상의 대조도나 공간적인 특성의 개선, 불필요한 아티팩트 제거, 기하학적 요소의 수정이나 개선 등으로 광범위하게 분류된다. 또한 적용하는 형태에 따라서는 영상처리의 단계상 전처리 또는 후처리로 분류할 수도 있다. 영상 분할이란 주어진 영상을 비슷한 특성을 갖는 몇 개의 영역으로 나눈 후 병변과 같은 특정한 관심 영역만 을 추출해 내는 과정을 말한다. 사용자의 개입 정도에 따라 영역분할 알고리즘은 자동, 반자동으로 분류할 수 있으며, 접근방법에 따라서는 클러스터링 기반 방법, 특징공간을 이용한 방법, 영상의 윤곽선을 이용한 방법, 질감특성을 이용한 방법 등으로 구분된다. 이러한 기본 개념을 가지고 이하의 구성을 계속하여 설명한다.

전송부(330)는, 적어도 하나의 가시화 데이터에 대응하는 3차원 정보를 AR 글래스(500)로 전송할 수 있다. 이때, AR 글래스(500)가 무선으로 본 발명의 서버(300)와 연결되기 위해서 사용자 단말(100)과의 연동이 요구될 수 있다. 이때, 사용자 단말(100)과 AR 글래스(500) 간의 통신은 예를 들어, WBAN(Wireless Body Area Network)이 이용될 수 있다. 여기서, WBAN 통신 가능 범위 확장, 데이터 용량 증대 및 속도 향상을 위해서는 이동 통신의 핵심기술로 주목받는 다중 입출력 기술(MIMO: Multiple-Input Multiple-Output)이 더 적용될 수 있다. 이 기술은 여러 개의 안테나를 사용해 동일한 무선 채널환경에서 두 개 이상의 데이터 신호를 전송함으로써 무선 통신의 범위를 넓히고, 속도를 크게 향상시킬 수 있는 고속 멀티미디어 데이터 통신을 가능하게 한다. MIMO 안테나 설계 측면에 있어서 가장 중요한 핵심 요소는 휴대용 무선 통신기기의 고집적화와 소형화에 따른 설계 공간 협소로 야기되는 근접한 두 안테나 사이의 격리도 개선이다.

이를 위하여, 예를 들어, 두 안테나 사이의 거리를 반파장 이상 이격시킬 수도 있고, 캐패시터와 같은 결합기(Lumped Element)를 이용한 격리도 향상 공진기(Isolating Resonator)를 사용할 수도 있다. 또는, 안테나 사이에 EBG(Electromagnetic Band-Gap) 구조와 같은 메타물질 구조를 이용할 수도 있고, 중화기술(Neutralization technique)이나 서스펜디드 라인(Suspended-line), 슬로(Slot) 또는 Distributed LC 공진기를 사용할 수도 있다. 또는, 2.4 GHz ISM(industrial, Scientific, and Medical) 대역에서 동작하는 AR 글래스(500)용 초소형 MIMO 안테나를 사용할 수도 있다. 이때, MIMO 안테나는 IFA(Inverted-F Antenna) 구조를 이용하여 소형화할 수 있고, 두 안테나 사이에 LC 공진기와 슬롯(Slot) 구조를 위치시켜 격리되도록 특성이 개선될 수 있다. 또, 인체의 특성을 고려하기 위하여 인체의 전기적 상수를 갖는 팬텀(Phantom) 위에 안테나를 위치시킬 수 있다.

예를 들어, MIMO 안테나는 서로 가깝게 놓인 두 개의 대칭 IFA 안테나 사이에 접힌 T-형태의 아이솔레이터(Isolator)가 접지면 위에 위치하고, 접지면에 추가적인 두 개의 슬롯이 대칭으로 위치할 수 있다. 좁은 공간에 효율적인 IFA 안테나 설계를 위해 비아홀(Via Hole)을 통해 아랫면으로 방사체의 길이를 연장할 수 있고, 접지면과 IFA 및 아이솔레이터를 포함한 안테나의 전체 크기는 AR 글래스(500)의 안경다리에 위치하기에 적합하도록 FR-4 기판 위에 초소형으로 설계될 수 있다. 또, 이 안테나는 설계 초기부터 인체의 영향을 고려하여 SPEAG에서 제공하는 팬텀 샘플을 이용할 수 있다. 물론, 해당 장치에 한정되는 것은 아니고 해당 기능을 가지는 소자라면 그 어느 것이든 사용가능하다. 이때, 두 개의 IFA가 매우 근접하게 위치하기 때문에 안테나 사이의 아이솔레이터만으로는 우수한 격리도 특성을 얻을 수 없기 때문에, 추가로 1쌍의 슬롯을 더 부가할 수 있고 우수한 격리도 특성을 얻을 수 있다. 슬롯은 IFA 안테나의 임피던스 정합부분인 급전부분과 단락부분 사이에 위치함으로써 임피던스 정합특성을 개선할 수도 있다. 물론, 해당 무선통신기술에 한정되는 것은 아니고 다양한 방법이 이용될 수 있음은 자명하다 할 것이다.

트래킹부(340)는, AR 글래스(500)에서 안면의 적어도 하나의 특징점을 추출하는 경우 AR 페이스 트래킹(Face Tracking)을 실시할 수 있다. 적어도 하나의 특징점은, 헤어라인(Hair Line, HL), 미간(Glabella, G), 코 뿌리점(Nasion, N), 코끝점(Pronasale, PN), 비주의 최전방점(Columella, CM), 비주와 상순의 교차점(Subnasale, SN), 상순의 변곡점(Labiale superius, LS), 하순의 최전방점(Lower Lip Point, LL), 하순의 변곡점(Labiale Inferius, LI), 턱의 최전방점(Pogonion, PG), 턱의 최하방점(Chin Line, CL), 입꼬리 오른쪽(Cheilion Right, CHR), 입고리 왼쪽(Cheilion Left, CHL), 눈썹 오른쪽 바깥라인(Eyebrow Right Outer, EER), 눈섭 왼쪽 바깥라인(Eyebrow Left Outer, EEL), 눈 오른쪽 가쪽 끝(Exocanthion Right, EXR), 눈 오른쪽 안쪽 끝(Endocanthion Right, ENR), 눈 왼쪽 가쪽 끝(Exocanthion Left, EXL), 눈 왼쪽 안쪽 끝(Endocanthion Left, ENL), 오른쪽(Right, R), 왼쪽(Left, L), 오른쪽 귀 끝점(Otobasion Inferius Right, ObiR) 및 왼쪽 귀 끝점(Otobasion Inferius Left, ObiL)을 포함할 수 있다.

출력부(350)는, 적어도 하나의 특징점에 대응하도록 적어도 하나의 가시화 데이터를 AR 글래스(500)에 출력할 수 있다. 출력부(350)는, 적어도 하나의 특징점에 대응하도록 적어도 하나의 가시화 데이터를 AR 글래스(500)에 출력할 때, 적어도 하나의 특징점을 기준으로 적어도 하나의 가시화 데이터를 병합시켜 AR 글래스(500)에 출력할 수 있다. 여기서, AR 글래스는 카메라 자세 추정(Pose Estimation)을 통하여 피시술자의 안면 간의 거리를 산출할 수 있다.

예를 들어, 사용자의 안면 데이터는 이미 3차원 안면 스캐너(400)로 얻은 상태이므로 AR 글래스는 이미 절대적인 크기와 위치를 알고 있는 물체를 촬영하고 있다. 또, 적어도 하나의 특징점을 이미 설정해두었고 그 지점까지 설정해두었기 때문에, 적어도 하나의 특징점을 AR 마커로 이용할 수 있고, 출력부(350)는 drawMarker() 함수를 통해 마커 이미지를 생성하고 detectMarker() 함수를 사용하여 이미지 상의 마커에서 4개의 코너점 값과 ID를 얻을 수 있다. 얻어낸 마커의 4개의 코너점 값과 ID를 활용하여 OpenCV 라이브러리에서 제공하는 Estimate Pose Single Markers Method 함수를 이용하여 카메라의 3차원 위치와 방향을 알아낸다. 카메라의 자세 추정을 실행하기 전에 카메라 고유의 파라미터(Focal Length, Pricipal Point, Skew Coefficient)을 얻어내서 오차 값을 보정하는 카메라 캘리브레이션(Calibration) 알고리즘을 이용한 작업을 하여 정밀한 카메라 위치와 방향값을 측정할 수 있다. 또, EstimatePoseSingleMarkers Method 함수를 사용하면 카메라로부터 입력된 영상으로부터 감지된 마커를 받아 카메라에 대한 포즈 추정을 개별적으로 반환한다.

따라서 각 마커에 대해 하나의 회전(Rotation Vector) 및 평행이동 벡터(Trasform Vector)가 반환되는데 입력 값으로 마커 한 변의 길이를 얻어내면 마커 코디네이트(Coordinate) 시스템은 마커의 중앙에 위치하게 되며 z축은 마커 평면에 수직이 된다. 이렇게 되면, AR 글래스의 카메라가 깊이 카메라가 아니더라도, 이미 절대적인 크기와 위치를 알고 있는 물체를 함께 촬영하는 것만으로도 AR 글래스의 카메라와 피시술자의 안면 간의 거리값을 측정할 수 있고, 카메라 캘리브레이션을 이용하여 카메라 고유의 파라미터 값을 측정할 수 있으며, 카메라의 오차를 보정하여 카메라의 위치와 자세를 추정할 수 있기 때문에, 피시술자의 안면 영상 내에서 XYZ 좌표를 정확하게 얻어낼 수 있고 얼굴 트래킹을 통하여 시술 후 시뮬레이션 데이터를 AR 글래스 상에 출력할 수 있고 의사 또는 시술자는 정확한 위치계산으로 시뮬레이션과 동일 또는 유사한 시술 결과를 얻어낼 수 있게 된다.

이때, AR 글래스에서 실시간으로 영상 및 특징점을 추출하여 AR 글래스 상에 출력해야 하기 때문에 네트워킹 자원 및 컴퓨팅 자원이 충분히 지원되어야 한다. 이를 위하여, GPU를 이용하도록 하여 동일한 컴퓨팅 자원에서도 높은 성능을 낼 수있도록 설계할 수 있다. 실시간으로 피시술자의 얼굴 상에 표시를 해야하기 때문에, 속도 및 안정성이 저하되는 것을 방지하기 위해 멀티 GPU를 이용한 병렬처리 기법을 사용하며, 각각의 GPU에 대한 활성화 정도를 파악해 GPU를 스레드에 할당하여 리소스를 최적의 상태로 분배할 수 있는 방법을 더 이용할 수 있다.

멀티 GPU를 사용하는 과정에서 GPU 리소스를 효율적으로 할당하지 않을 경우에는 하나의 GPU에 과부하가 걸려 안정적인 시스템 구동에 문제가 발생하게 된다. 따라서 본 발명의 일 실시예에서는 N 개의 스레드(Thread)에 쿠다를 사용하여 GPU 리소스를 최적의 상태로 분배하는 알고리즘을 이용할 수 있다. GPU 할당 알고리즘은 첫 번째로 모든 GPU 디바이스의 활성화된 코어 수와 메모리 활성화 정도를 파악한다. 이 과정을 통해 각 GPU가 현재 어느 정도 사용되고 있는지를 파악하게 된다. 두 번째로 각 GPU의 현재 리소스 사용 상태를 따라 가장 점유율이 낮은 GPU를 스레드에 할당한다. 이때 메모리 사용량과 활성화된 코어의 개수를 모두 고려하여 최적의 GPU를 할당하는데, 예를 들어, 리소스 점유율이 가장 낮은 GPU #2를 스레드 #1에 할당하게 된다. 스레드 #N-1과 스레드 #N에 대해서도 첫 번째와 두 번째 과정을 수행하여 모든 스레드에 대하여 최적의 GPU를 할당할 수 있다.

세 번째로 모든 스레드에 대하여 최적의 GPU를 할당한 후에는 첫 번째와 두 번째 과정을 매 프레임 반복시 오히려 GPU에 과부하가 발생될 우려가 있다. 따라서 GPU 점유율이 일정 수준 이상으로 높아질 경우에만 다시 첫 번째와 두 번째 과정을 수행하게 된다. 기준치를 높여 알고리즘을 실행할 경우에는 예상보다 빠르게 GPU 점유율이 높아져 GPU를 스위칭하기 전에 과부하가 걸릴 우려가 있다. 반대로 기준치를 낮추는 경우에는 GPU 스위칭이 너무 빈번하게 발생해 오히려 성능이 저하되는 현상이 발생하는 문제가 있다. 따라서 다시 수행하는 기준인 GPU 점유율이 기 설정된 퍼센트, 예를 들어 60%로 설정할 수 있으나 이에 한정되지는 않는다.

추출부(360)는, 수집부(310)에서 피시술자의 안면을 3차원으로 스캔하여 3차원 안면 데이터를 수집한 후, 3차원 안면 데이터로부터 적어도 하나의 특징점을 추출할 수 있다. 이렇게 추출된 적어도 하나의 특징점은 상술한 AR 글래스(500)에서 AR 마커가 없더라도 AR 마커와 같은 역할을 수행하게 된다.

저장부(370)는, 출력부(350)에서 적어도 하나의 특징점에 대응하도록 적어도 하나의 가시화 데이터를 AR 글래스(500)에 출력한 후, AR 글래스(500)에서 촬영 및 출력된 영상을 저장할 수 있다. 이때, AR 글래스(500)에서 촬영된 영상은 시술 또는 수술 동영상이고, AR 글래스(500)에 출력된 영상은 적어도 하나의 가시화 데이터일 수 있다. 저장부(370)는 가역 정보 은닉(Reversible Data Hiding, RDH) 방법을 이용하여 데이터들을 저장할 수 있다. 이는, 멀티미디어 콘텐츠에 비밀 데이터를 삽입하여도 약간의 왜곡이 있는 상태로 콘텐츠를 확인할 수 있고, 비밀 데이터를 추출하고 나면 원래의 콘텐츠 값을 그대로 복원시킬 수 있는 기술이다. 그리고, H.264/AVC (Advanced Video Coding)은 동영상 압축 표준의 하나이며, 표준과 비교했을 때 절반 이하의 비트레이트(Bitrate)에서 비슷하거나 더 좋은 화질을 얻을 수 있다. 우선, 사진, 이미지 및 동영상으로 촬영된 증빙자료는 표준 H.264/AVC 코덱에 의해서 압축되어 저장될 수 있다.

동영상 압축은 기본적으로 손실코딩이다. H.264의 동영상 압축 과정을 대략적으로 살펴보면 입력되는 동영상은 16×16크기의 매크로 블록으로 나뉘게 되고 각각의 매크로 블록은 공간 영역의 값을 주파수 영역으로 변환시켜주는 변환과정을 거치고 양자화 과정을 거쳐 중간 출력 값으로 양자화 계수를 생성한다. 이 양자화 계수는 복원할 경우 원래의 값으로 복원되지 않아 양자화 손실이 발생한다. 이후의 단계인 엔트로피 코딩 과정에서는 양자화 계수를 통계적인 기법을 이용하여 압축하기 때문에 손실이 발생하지 않는다. 따라서, 양자화 계수를 입력으로 받는 해쉬 함수를 SHA-2를 이용하여 해쉬 이미지를 생성하고 이를 RDH 방식을 이용하여 다시 양자화 계수에 숨기는 방식으로 사진, 이미지 및 동영상 자체에 무결성 정보를 혼재시켜 영상의 왜곡을 최소화하면서 무결성 검증도 할 수 있다.

따라서, 압축과 동시에 무결성 확인 데이터가 생성되고, 헤더 정보의 변경과 무관하면서 사진, 이미지 및 영상 콘텐츠 자체의 무결성만 검증하는 방식이다. 히스토그램 쉬프팅(Histogram Shifting), 차이값 확장 기법(Difference Expansion, DE), 추정 에러값 확장 기법(Prediction Expansion) 등 다양한 RDH 방식을 이용할 수도 있다. 다만, 양자화 계수(Quantized DCT Coefficient)는 정보 은닉으로 인한 왜곡에 취약하다는 점과 실시간 계산이 필요하다는 점을 고려하여 QDC 값에 최적화된 DE 기법을 적용할 수 있도록 한다. 특히, QDC의 변형으로 인한 현재 프레임의 왜곡은 다음 프레임에 그대로 전파될 수 있어 이를 고려한 최적화 알고리즘 설계가 필요하다. RDH 방식으로 해시 이미지를 영상 내부에 삽입하므로, 직접 접근에 노출되지 않는 보안효과를 얻을 수 있고 영상 정보와 무결성 확인 정보의 정확한 동기화로 인해 전방, 후방, 중간 삭제 등의 다양한 공격에 대응할 수 있다. 그리고, 무결성 정보를 제출하지 않는 무력화 우려도 제거될 수 있다.

인코딩 알고리즘은 다음과 같다. 우선, AR 글래스(500)로부터 동영상을 취득하여 압축과 동시에 무결성 검증을 위한 데이터를 생성 및 은닉할 수 있는데, 첫째, H.264 인코딩 과정에서 휘도(Luminance) 성분의 I-frame을 대상으로 가역 정보 은닉 알고리즘을 적용한다. 이는, SHA-256으로 생성된 해쉬 이미지의 크기가 256비트에 불과하여 통상적으로 화질이 HD급인 영상 정보의 휘도 성분에만 은닉하기에 문제가 없으며 사람의 눈에 보다 민감한 색도(Chrominace) 성분이 정보 은닉에 따른 왜곡이 생기지 않도록 한다. 또한, P-frame에 정보를 은닉하게 되면 같은 양의 은닉 정보에 대해 I-frame 보다 왜곡이 심해진다는 사실도 고려할 수 있다. 둘째, 원본과 화면 내 예측영상의 차이영상 값을 계산한다. 차이영상 값을 입력으로 스케일링(Scaling), 정수 DCT(Integer DCT), 양자화의 과정을 거쳐 QDC 값을 생성한다. 이 과정에서 레이트 왜곡(Rate Distortion) 최적화를 수행할 수 있는데 이 경우에는 최종 QDC 값을 이용한다.

셋째, 크기가 16x16인 매크로 블록 안에서 지그재그 스캐닝(Zigzag Scanning) 방식으로 QDC 값을 순차적으로 나열한다. 이런 방식으로 모든 매크로 블록의 QDC를 나열하고 모두 연결해서 하나의 스트림으로 완성시킨다. 이것을 SHA-256 해시 함수의 입력으로 사용하여 HMAC(The Keyed-Hash Message Authentication Code)를 구한다. 여기서, 키는 개인키를 그대로 해쉬 이미지의 앞뒤에 단순히 붙이는 방식이기 때문에 계산량이 적고 부인방지 용도로 사용 가능하다. 넷째, DE기법을 사용하여 하나의 매크로 블록에 1 비트를 숨긴다. 지그재그 스캔 순서의 중간에 위치한 두 개의 양자화 계수값을 이용하여 이들의 차이 값에 HMAC중 1 비트를 순차적으로 숨긴다. 여기서, 원래의 QDC 값은 차이값과 숨긴 비트 값에 의존적으로 왜곡되어 QDC'로 수정된다. 또, 디코딩은 인코딩의 역순이므로 이의 설명은 생략한다.

이하, 상술한 도 2의 실시간 가시화 서비스 제공 서버의 구성에 따른 동작 과정을 도 3 내지 도 6을 예로 들어 상세히 설명하기로 한다. 다만, 실시예는 본 발명의 다양한 실시예 중 어느 하나일 뿐, 이에 한정되지 않음은 자명하다 할 것이다.

도 3을 참조하면, 도 2에서 기술한 바와 같이, 최초 시술 전 피시술자의 3차원 안면 스캔데이터를 촬영하고, 특징점을 추출하여 영역분할을 한 후 시뮬레이션으로 특징점을 제어하여 시술 후 모습을 예상해보게 된다. 이렇게 환자, 엔지니어 및 의사가 합의한 시뮬레이션 결과 데이터는 저장되고 이후 환자가 시술을 받은 후 또는 수술을 받은 후 3차원 안면 스캔데이터와 비교해보는 기준값 역할을 함과 동시에, AR 글래스(500) 상에 플로팅되는 3차원 정보가 된다.

이때, AR 글래스(500)는 페이스 트래킹을 하면서 안면 상에 합의했던 시술 부위나 시술정도 등을 출력하게 되는데, 이로 인하여 겉표면에서는 잘 안보였던 내부구조라던지 합의했던 사항에 따른 각도 등을 출력할 수 있게 되고, 의사나 시술자가 자의적으로 시술이나 수술하는 것을 막을 수 있게 도와줄 수 있다. 또, 내부에 중요한 신경이나 혈관이 지나가고 있을 경우에는 일반적으로 손으로 만져가면서 이를 확인하고 이를 피해가는 시술이나 수술을 했다면, 본 발명의 일 실시예에 따른 방법에서는 해당 가시화 데이터를 환자의 안면에 플로팅시키기 때문에 그 자리를 건드리지 않고 피해갈 수 있고 장해를 줄 수 있는 심각한 손상을 주지 않을 수 있다. 이에, 시술자나 수술자도 안심하고 시술이나 수술할 수 있고, 환자도 자의적인 평가나 주관적인 판단에 의해서가 아니라 합의했던 사항을 결과를 통하여 확인할 수 있으므로 컴플레인이나 재수술 또는 의료과오소송을 진행하지 않아도 된다. 즉, 시뮬레이션으로 조작된 결과는 환자라는 일측과 의사라는 타측이 맺은 계약서와 같다. 이에 반하는 경우에는 환자는 컴플레인을 제기할 수도 있지만, 이에 대응하거나 근소한 차이가 나는 경우에는 환자는 컴플레인을 제기하지 않을 것이다. 결과적으로 AR 글래스(500)에 출력되는 가시화 데이터는 환자와 의사가 맺은 계약서라고 할 수 있고, 도 2에서 설명한 바와 같이 증명력을 가지도록 암호화하여 저장할 수 있다.

도 4 내지 도 6에 도시된 3차원 안면 스캐너(500), 영상 중첩 시뮬레이션 결과, 및 AR 가시화 결과는 본 발명의 일 실시예에 따른 방법을 설명하기 위하여 예로 든 사진일 뿐, 본원발명의 일 실시예에 따른 사진이 아니며 이에 특정하지 않는다.

도 4a 내지 도 4c를 보면, 실시간 가시화 서비스 제공 서버(300)는, 적어도 하나의 종류의 3차원 안면 스캐너(500)를 통하여 3차원 안면 스캔데이터를 입력받고, 도 5a 내지 도 5e와 같이, 시술이나 수술에 필요한 정보를 입력하거나 중첩시킨다. 이대, 환자정보를 3차원 안면 스캔데이터에 병합시킬 수도 있고, 시술 또는 수술 부위를 마킹한 정보를 중첩시킬 수도 있으며, 보톡스나 필러 시술의 3차원 시뮬레이션 데이터를 입력하여 중첩할 수도 있고, 미용이나 성형수술의 3차원 시뮬레이션 데이터, 또 해부학적 데이터의 안면 스캔데이터를 중첩시킬 수도 있다.

그리고, 도 6a를 참조하면, 이렇게 중첩된 3차원 정보, 즉 가시화 데이터는 AR 글래스(500)로 전송되며, AR 페이스 트래킹을 시작하게 된다. 이때, AR 글래스(500)는, 이에 부착된 카메라로부터 얼굴의 적어도 하나의 특징점 정보를 추출하면서 자세추정 및 이에 대응하는 가시화 데이터를 각도에 맞게 회전 또는 변형하여 출력하게 된다. 이때, AR 글래스(500)는 얼굴의 특징점 정보로부터 가시화 데이터를 대응시켜 3차원 데이터를 병합하게 되고, 글래스 디스플레이에 시술 및 수술정보를 추출할 수 있게 된다. 그리고, 도 6b와 같이 성형수술의 경우에는 수술에 필요한 정보를 AR 글래스(500)로 실시간으로 확인하면서 수술을 할 수도 있고, 치과치료의 경우에도 3차원 치아 데이터를 AR 글래스(500)로 보면서 시술할 수도 있다. 또, 필러 시술의 경우에도 3차원 시뮬레이션 데이터를 AR 글래스(500)로 실시간으로 확인하면서 시술할 수 있고, 보톡스 시술의 경우에도 해부학적 데이터를 AR 글래스(500)로 실시간으로 확인하면서 신경 등 위험한 부위를 회피하며 시술할 수 있게 된다. 이렇게 AR 글래스(500)에서 출력 및 촬영된 데이터는 실시간 가시화 서비스 제공 서버(300)에 저장되는데, 시술 및 수술 동영상을 촬영하여 도 2에서 설명한 바와 같이 무결성이 입증되도록 저장하고, 환자의 3차원 정보도 함께 저장하여 이후 컴플레인이나 재수술 요청, 더 나아가 의료과오소송에서의 입증책임을 지는 병원측의 증빙자료로 이용될 수 있도록 한다.

이와 같은 도 2 내지 도 6의 3차원 안면 스캔데이터 및 AR 글래스를 이용한 실시간 가시화 서비스 제공 방법에 대해서 설명되지 아니한 사항은 앞서 도 1을 통해 3차원 안면 스캔데이터 및 AR 글래스를 이용한 실시간 가시화 서비스 제공 방법에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.

도 7은 본 발명의 일 실시예에 따른 도 1의 3차원 안면 스캔데이터 및 AR 글래스를 이용한 실시간 가시화 서비스 제공 시스템에 포함된 각 구성들 상호 간에 데이터가 송수신되는 과정을 나타낸 도면이다. 이하, 도 7을 통해 각 구성들 상호간에 데이터가 송수신되는 과정의 일 예를 설명할 것이나, 이와 같은 실시예로 본원이 한정 해석되는 것은 아니며, 앞서 설명한 다양한 실시예들에 따라 도 7에 도시된 데이터가 송수신되는 과정이 변경될 수 있음은 기술분야에 속하는 당업자에게 자명하다.

도 7을 참조하면, 실시간 가시화 서비스 제공 서버는, 피시술자의 안면을 3차원으로 스캔하여 3차원 안면 데이터를 수집한다(S7100).

그리고, 실시간 가시화 서비스 제공 서버는, 3차원 안면 데이터에 적어도 하나의 가시화 데이터를 중첩시켜 병합하고(S7200) 적어도 하나의 가시화 데이터에 대응하는 3차원 정보를 AR 글래스로 전송한다(S7300).

또한, 실시간 가시화 서비스 제공 서버는, AR 글래스에서 안면의 적어도 하나의 특징점을 추출하는 경우 AR 페이스 트래킹(Face Tracking)을 실시하고(S7400), 적어도 하나의 특징점에 대응하도록 적어도 하나의 가시화 데이터를 AR 글래스에 출력한다(S7500).

상술한 단계들(S7100~S7500)간의 순서는 예시일 뿐, 이에 한정되지 않는다. 즉, 상술한 단계들(S7100~S7500)간의 순서는 상호 변동될 수 있으며, 이중 일부 단계들은 동시에 실행되거나 삭제될 수도 있다.

이와 같은 도 7의 3차원 안면 스캔데이터 및 AR 글래스를 이용한 실시간 가시화 서비스 제공 방법에 대해서 설명되지 아니한 사항은 앞서 도 1 내지 도 6을 통해 3차원 안면 스캔데이터 및 AR 글래스를 이용한 실시간 가시화 서비스 제공 방법에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.

도 7을 통해 설명된 일 실시예에 따른 3차원 안면 스캔데이터 및 AR 글래스를 이용한 실시간 가시화 서비스 제공 방법은, 컴퓨터에 의해 실행되는 애플리케이션이나 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.

전술한 본 발명의 일 실시예에 따른 3차원 안면 스캔데이터 및 AR 글래스를 이용한 실시간 가시화 서비스 제공 방법은, 단말기에 기본적으로 설치된 애플리케이션(이는 단말기에 기본적으로 탑재된 플랫폼이나 운영체제 등에 포함된 프로그램을 포함할 수 있음)에 의해 실행될 수 있고, 사용자가 애플리케이션 스토어 서버, 애플리케이션 또는 해당 서비스와 관련된 웹 서버 등의 애플리케이션 제공 서버를 통해 마스터 단말기에 직접 설치한 애플리케이션(즉, 프로그램)에 의해 실행될 수도 있다. 이러한 의미에서, 전술한 본 발명의 일 실시예에 따른 3차원 안면 스캔데이터 및 AR 글래스를 이용한 실시간 가시화 서비스 제공 방법은 단말기에 기본적으로 설치되거나 사용자에 의해 직접 설치된 애플리케이션(즉, 프로그램)으로 구현되고 단말기에 등의 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims

실시간 가시화 서비스 제공 서버에서 실행되는 실시간 가시화 서비스 제공 방법에 있어서,
피시술자의 안면을 3차원으로 스캔하여 3차원 안면 데이터를 수집하는 단계;
상기 3차원 안면 데이터에 적어도 하나의 가시화 데이터를 중첩시켜 병합하는 단계;
상기 적어도 하나의 가시화 데이터에 대응하는 3차원 정보를 AR 글래스로 전송하는 단계;
상기 AR 글래스에서 상기 안면의 적어도 하나의 특징점을 추출하는 경우 AR 페이스 트래킹(Face Tracking)을 실시하는 단계; 및
상기 적어도 하나의 특징점에 대응하도록 상기 적어도 하나의 가시화 데이터를 상기 AR 글래스에 출력하는 단계;
를 포함하는 3차원 안면 스캔데이터 및 AR 글래스를 이용한 실시간 가시화 서비스 제공 방법.
제 1 항에 있어서,
상기 적어도 하나의 가시화 데이터는,
상기 피시술자의 환자정보 콘텐츠, 시술 또는 수술 부위 마킹(Marking), 3차원 시뮬레이션 프로그램을 구동한 결과인 시뮬레이션 데이터 및 해부학적 영상 데이터 중 어느 하나 또는 적어도 하나의 조합인 것인, 3차원 안면 스캔데이터 및 AR 글래스를 이용한 실시간 가시화 서비스 제공 방법.
제 2 항에 있어서,
상기 해부학적 영상 데이터는, X-Ray, CT, PET, MRI 및 치아 데이터를 포함하는 영상 데이터인 것인, 3차원 안면 스캔데이터 및 AR 글래스를 이용한 실시간 가시화 서비스 제공 방법.
제 2 항에 있어서,
상기 3차원 시뮬레이션 프로그램은, Ceph 프로그램인 것인, 3차원 안면 스캔데이터 및 AR 글래스를 이용한 실시간 가시화 서비스 제공 방법.
제 1 항에 있어서,
상기 적어도 하나의 특징점은,
헤어라인(Hair Line, HL), 미간(Glabella, G), 코 뿌리점(Nasion, N), 코끝점(Pronasale, PN), 비주의 최전방점(Columella, CM), 비주와 상순의 교차점(Subnasale, SN), 상순의 변곡점(Labiale superius, LS), 하순의 최전방점(Lower Lip Point, LL), 하순의 변곡점(Labiale Inferius, LI), 턱의 최전방점(Pogonion, PG), 턱의 최하방점(Chin Line, CL), 입꼬리 오른쪽(Cheilion Right, CHR), 입고리 왼쪽(Cheilion Left, CHL), 눈썹 오른쪽 바깥라인(Eyebrow Right Outer, EER), 눈섭 왼쪽 바깥라인(Eyebrow Left Outer, EEL), 눈 오른쪽 가쪽 끝(Exocanthion Right, EXR), 눈 오른쪽 안쪽 끝(Endocanthion Right, ENR), 눈 왼쪽 가쪽 끝(Exocanthion Left, EXL), 눈 왼쪽 안쪽 끝(Endocanthion Left, ENL), 오른쪽(Right, R), 왼쪽(Left, L), 오른쪽 귀 끝점(Otobasion Inferius Right, ObiR) 및 왼쪽 귀 끝점(Otobasion Inferius Left, ObiL)을 포함하는 것인, 3차원 안면 스캔데이터 및 AR 글래스를 이용한 실시간 가시화 서비스 제공 방법.
제 1 항에 있어서,
상기 피시술자의 안면을 3차원으로 스캔하여 3차원 안면 데이터를 수집하는 단계 이후에,
상기 3차원 안면 데이터로부터 적어도 하나의 특징점을 추출하는 단계;
를 더 포함하는 것인, 3차원 안면 스캔데이터 및 AR 글래스를 이용한 실시간 가시화 서비스 제공 방법.
제 1 항에 있어서,
상기 적어도 하나의 특징점에 대응하도록 상기 적어도 하나의 가시화 데이터를 상기 AR 글래스에 출력하는 단계는,
상기 적어도 하나의 특징점을 기준으로 상기 적어도 하나의 가시화 데이터를 병합시켜 상기 AR 글래스에 출력하는 단계;
를 포함하는 것인, 3차원 안면 스캔데이터 및 AR 글래스를 이용한 실시간 가시화 서비스 제공 방법.
제 1 항에 있어서,
상기 적어도 하나의 특징점에 대응하도록 상기 적어도 하나의 가시화 데이터를 상기 AR 글래스에 출력하는 단계 이후에
상기 AR 글래스에서 촬영 및 출력된 영상을 저장하는 단계;
를 더 포함하는 것인, 3차원 안면 스캔데이터 및 AR 글래스를 이용한 실시간 가시화 서비스 제공 방법.
제 8 항에 있어서,
상기 AR 글래스에서 촬영된 영상은 시술 또는 수술 동영상이고,
상기 AR 글래스에 출력된 영상은 상기 적어도 하나의 가시화 데이터인 것인, 3차원 안면 스캔데이터 및 AR 글래스를 이용한 실시간 가시화 서비스 제공 방법.
제 1 항 내지 제 9 항 중 어느 한 항의 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 판독가능한 기록매체.