KR102518075B1 - Ar 전자 현미경 제공 단말기 - Google Patents

Abstract

본 발명은 AR 전자 현미경 제공 단말기에 관한 것으로, 카메라 촬영 영상 내에서 프레파라트의 마커가 인식되면, 인식된 마커에 해당되는 AR 컨텐트를 로딩하고 이를 촬영 화면으로 표시하여 사용자가 가상으로 전자 현미경을 체험할 수 있도록 하는 효과가 있다.

Description

AR 전자 현미경 제공 단말기{Terminal for providing AR electron microscope}

본 발명은 AR 전자 현미경 제공 단말기에 관한 것으로, 보다 상세하게는 단말기을 통해 마커가 인식되면, AR 컨텐트를 제공하여 전자 현미경과 같은 효과를 제공하는 것이다.

최근 들어, AR, VR 기술이 나날이 발전하고 있으며, 이러한 AR, VR 기술을 기존 기술들에 적용하는 사례가 증가하고 있다.

어린 아이, 학생 등과 같이 교육이 필요한 대상에게 전자 현미경을 실습하고 교육을 하여야 하는 상황이 자주 있지만, 실제로 전자 현미경은 일반인이 설비를 갖추기에는 무리가 있다.

그럼에도 불구하고, 전자 현미경을 체험을 원하는 수요는 증가하고 있는 상황이지만, 이를 지원할 수 있는 방법이 전무하다.

이에, 본 출원인은 대다수가 보유하고 있는 스마트폰과 같은 장치를 이용하여 AR 기술을 적용하여 가상으로 전자현미경을 체험하는 것과 같은 효과를 제공하고자 한다.

대한민국 등록특허공보 제10-2086925호, (2020.03.03)

상술한 바와 같은 문제점을 해결하기 위한 본 발명은 프레파르트의 마커가 인식되면, 인식된 마커에 해당되는 AR 컨텐트를 로딩하고 이를 촬영 화면으로 표시하는 AR 전자 현미경 제공 단말기을 제공하고자 한다.

또한, 본 발명은 사용자의 단말기 화면 터치 제스쳐에 따라서 AR 컨텐트의 줌 배율을 변경하여 AR 컨텐트를 표시하고자 한다.

또한, 본 발명은 AR 컨텐트의 줌 배율이 변경되는 시간 동안 AR 컨텐트를 블러링 처리하여 표시하고자 한다.

또한, 본 발명은 마커의 촬영 각도에 따라 AR 컨텐트를 회전시켜 표시하고자 한다.

또한, 본 발명은 AR 컨텐트를 블러링 처리하여 촬영 영상 내에 표시하며, 사용자의 초점 조절 신호에 따라 블러링을 제거하여 표시하고자 한다.

본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

상술한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 AR 전자 현미경 제공 단말기는, 다수의 마커들 각각에 해당하는 AR(Augmented Reality) 컨텐트가 저장된 데이터베이스, 적어도 하나의 마커가 형성된 프레파라트의 마커를 촬영하는 카메라, 상기 카메라의 촬영 영상을 표시하는 터치스크린 및 상기 카메라의 촬영 영상 내에서 상기 마커를 인식하고, 상기 인식된 마커에 해당되는 AR 컨텐트를 상기 데이터베이스에 검색하여 로딩하고, 상기 로딩된 AR 컨텐트가 상기 촬영 영상 내에서 상기 마커의 위치 상에 중첩되게 표시되도록 제어하는 제어부를 포함하며, 상기 제어부는, 상기 촬영 영상이 표시되는 화면 상에 전자 현미경 조작을 위한 UI(User Interface)를 더 표시하고, 상기 UI의 제1 영역 내에 상기 마커가 위치하여 인식될 경우, 상기 제1 영역 내에 상기 AR 컨텐트를 표시하고, 상기 UI의 제2 영역 상에서 행해지는 사용자의 터치 제스쳐에 따라, 상기 AR 컨텐트의 줌 배율을 변경하여 표시하고, 상기 AR 컨텐트는 동물 세포, 식물 세포 및 바이러스 중 적어도 하나를 포함한다.

또한, 상기 제어부는, 상기 촬영 영상 내 마커의 이미지를 상기 인식된 마커의 원본 이미지와 비교하여 상기 마커로부터 상기 단말기의 각도를 산출하고, 상기 산출된 각도를 기반으로 상기 촬영 영상 화면으로 표시되고 있는 AR 컨텐트를 회전시키는 것을 특징으로 한다.

또한, 상기 제어부는, 상기 UI의 제2 영역에 입력된 터치 제스쳐가 배율 교체 신호인 경우, 기 설정된 렌즈 교체 시간 동안 상기 AR 컨텐트를 블러링 처리하고, 상기 블러링된 AR 컨텐트가 출력되도록 제어하여, 현미경의 렌즈 교체 효과를 가상으로 제공하는 것을 특징으로 한다.

또한, 상기 제어부는, 상기 촬영 영상 내 마커의 이미지에 흔들림이 감지되면, 상기 단말기 또는 상기 프레파라트가 흔들린 것으로 판단하고, 상기 표시되고 있는 AR 컨텐트를 블러링 처리하는 것을 특징으로 한다.

또한, 상기 UI의 제3 영역으로 자동 초점 조절 모드 및 수동 초점 조절 모드를 제공하며, 상기 제어부는, 상기 수동 초점 조절 모드가 선택되면, 상기 로딩된 AR 컨텐트를 블러링 처리하여 상기 촬영 영상 내에서 상기 마커의 위치 상에 중첩되게 표시되도록 제어하여, 현미경의 아웃 포커싱 효과를 가상으로 제공하는 것을 특징으로 한다.

또한, 상기 제어부는, 기 설정된 블러링 레벨로 상기 AR 컨텐트를 블러링 처리하고, 상기 UI를 통해 포커싱 조절 신호가 입력됨에 따라 상기 AR 컨텐트에 처리된 블러링의 레벨을 낮추고, 포커싱 조절이 완료됨에 따라 상기 AR 컨텐트에 처리된 블러링을 제거함으로써, 현미경의 포커싱 효과를 가상으로 제공하는 것을 특징으로 한다.

또한, 상기 제어부는, 상기 촬영 영상 내 마커의 이미지를 상기 인식된 마커의 원본 이미지와 비교하여 상기 마커로부터 상기 단말기의 거리를 산출하고, 상기 산출된 거리를 기반으로 상기 AR 컨텐트의 블러링 레벨을 결정하여 블러링 처리하는 것을 특징으로 한다.

또한, 상기 데이터베이스는 각각의 마커에 대한 세포 정보가 더 저장되어 있고, 상기 제어부는, 상기 UI를 통해 샘플 비교 모드를 제공하며, 상기 샘플 비교 모드가 실행되면, 연속으로 촬영되어 인식된 복수의 마커 각각의 세포 정보를 상기 데이터베이스에서 로딩하고, 상기 로딩된 복수의 세포 정보를 비교하여 공통점 및 차이점 중 적어도 하나를 도출하여 세포 교육 자료를 생성하고, 상기 복수의 마커 각각에 해당되는 AR 컨텐트 및 상기 세포 교육 자료를 상기 단말기로 출력되도록 제어하는 것을 특징으로 한다.

또한, 상술한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 AR 전자 현미경 제공 방법은, 카메라의 촬영 영상 내에서 프레파라트의 마커를 인식하는 단계, 상기 인식된 마커에 해당되는 AR 컨텐트를 데이터베이스에 검색하여 로딩하는 단계 및 상기 로딩된 AR 컨텐트를 상기 촬영 영상 내에서 상기 마커의 위치 상에 중첩되게 표시하는 단계를 포함하며, 상기 촬영 영상이 표시되는 화면 상에 AR 컨텐트의 배율 조절을 위한 UI(User Interface)를 더 표시하고, 상기 UI의 제1 영역 내에 상기 마커가 위치하여 인식될 경우, 상기 제1 영역 내에 상기 AR 컨텐트를 표시하고, 상기 UI의 제2 영역 상에서 행해지는 사용자의 터치 제스쳐에 따라, 상기 AR 컨텐트의 줌 배율을 변경하여 표시하고, 상기 AR 컨텐트는 동물 세포, 식물 세포 및 바이러스 중 적어도 하나를 포함한다.

이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공될 수 있다.

상기와 같은 본 발명에 따르면, 카메라 촬영 영상 내에서 프레파라트의 마커가 인식되면, 인식된 마커에 해당되는 AR 컨텐트를 로딩하고 이를 촬영 화면으로 표시하여 사용자가 가상으로 전자 현미경을 체험할 수 있도록 하는 효과가 있다.

또한, 본 발명에 따르면, 사용자의 단말기 화면 터치 제스쳐에 따라서 AR 컨텐트의 줌 배율을 변경하여 AR 컨텐트를 표시함으로써, 실제 줌 배율을 변경하는 것과 같은 효과를 제공할 수 있다.

또한, 본 발명에 따르면, AR 컨텐트의 줌 배율이 변경되는 시간 동안 AR 컨텐트를 블러링 처리하여 표시함으로써, 실제 현미경의 렌즈가 교체되는 것과 같은 실감 효과를 제공할 수 있다.

또한, 본 발명에 따르면, 마커의 촬영 각도에 따라 AR 컨텐트를 회전시켜 표시함으로써, 다른 각도에서 관찰하는 것과 같은 효과를 제공한다.

또한, 본 발명에 따르면, AR 컨텐트를 블러링 처리하여 촬영 영상 내에 표시하며, 사용자의 초점 조절 신호에 따라 블러링을 제거하여 표시함으로써, 실제로 초점이 조절되는 것과 같은 효과를 제공한다.

본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 실시예에 따른 AR 전자현미경 제공 단말기의 블록도이다.
도 2는 본 발명의 실시예에 따른 AR 전자현미경 제공 시스템의 블록도이다.
도 3은 본 발명의 실시예에 따른 AR 전자현미경 제공 방법의 흐름도이다.
도 4는 다수의 프레파라트가 수용된 것을 예시한 도면이다.
도 5는 단말기가 전자현미경 거치대에 거치된 것을 예시한 도면이다.
도 6은 카메라를 통해 프레파라트의 마커가 촬영된 것을 예시한 도면이다.
도 7은 마커의 촬영 이미지에 AR 컨텐트가 표시되는 것을 예시한 도면이다.
도 8은 단말기의 UI에서 2배율이 선택되어 도 7의 AR 컨텐트가 블러링 처리된 것을 예시한 도면이다.
도 9는 AR 컨텐트가 2배율로 표시되고 있는 것을 예시한 도면이다.
도 10은 단말기의 UI에서 3배율이 선택되어 도 9의 AR 컨텐트가 블러링 처리된 것을 예시한 도면이다.
도 11은 AR 컨텐트가 3배율로 표시되고 있는 것을 예시한 도면이다.
도 12는 수동 초점 모드가 선택되어 AR 컨텐트가 아웃 포커싱된 것을 예시한 도면이다.
도 13은 포커싱 조절 신호가 입력되어 도 12의 AR 컨텐트의 블러링 레벨을 낮춘 것을 예시한 도면이다.
도 14는 포커싱 조절 신호가 입력되어 도 13의 AR 컨텐트의 블러링이 제거된 것을 예시한 도면이다.
도 15는 단말기의 촬영 각도 변화에 따라 AR 컨텐트의 시점이 변화되는 것을 예시한 도면이다.
도 16은 사용자가 촬영한 복수의 마커에 해당되는 세포 정보를 기반으로 세포 교육 자료를 생성하고 단말기로 제공하는 것을 예시한 도면이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.

설명에 앞서 본 명세서에서 사용하는 용어의 의미를 간략히 설명한다. 그렇지만 용어의 설명은 본 명세서의 이해를 돕기 위한 것이므로, 명시적으로 본 발명을 한정하는 사항으로 기재하지 않은 경우에 본 발명의 기술적 사상을 한정하는 의미로 사용하는 것이 아님을 주의해야 한다.

도 1은 본 발명의 실시예에 따른 AR 전자현미경 제공 단말기(100)의 블록도이다.

도 2는 본 발명의 실시예에 따른 AR 전자현미경 제공 시스템(10)의 블록도이다.

도 3은 본 발명의 실시예에 따른 AR 전자현미경 제공 방법의 흐름도이다.

도 4 내지 도 16은 본 발명의 실시예에 따른 AR 전자현미경 제공 시스템(10)의 설명을 돕기위한 도면으로, 도 1, 도 2 및 도 3과 함께 참조하여 본 발명의 실시예를 설명하도록 한다.

본 발명의 실시예에 따른 AR 전자현미경 제공 시스템(10)에서 발명의 주체는 컴퓨터가 적용 가능하며, 구체적으로는 도 1과 같이 AR 전자현미경 제공 단말기(100)가 수행 주체가 될 수도 있고, 도 2와 같이 AR 전자현미경 제공 서버(200)가 수행 주체가 될 수도 있다.

결론적으로, 도 1과 도 2를 통해 설명되는 단말기(100)와 서버(200)를 이용한 시스템(10)은 발명의 각 프로세스를 진행하는 내용은 동일하며, 수행 주체만 다를 뿐이므로 중복되는 설명은 생략될 수 있다.

본 발명의 실시예에서 서버(200)는 AR 전자 현미경 제공 서비스를 위한 서비스 애플리케이션을 제공하며, 사용자는 단말기(100)에 서비스 애플리케이션을 설치하여 AR 전자 현미경 제공 서비스를 이용할 수 있다.

이때, 서비스 애플리케이션이 설치된 후에 도 1과 같이 단말기(100)에서 단독으로 AR 전자 현미경 제공 서비스가 제공될 수도 있고, 도 2와 같이 서버(200)와의 통신을 지속해야 AR 전자 현미경 제공 서비스가 제공될 수도 있다.

또한, 본 발명의 실시예에서 단말기(100)는 컴퓨터와 같은 정보처리수단이 적용될 수 있으며, 제어부와 같은 프로세서, 카메라와 같은 촬영 수단, 터치 스크린을 포함하는 입출력 수단을 포함하고 있는 스마트폰, 태블릿PC 등과 같은 디바이스라면 무엇이든 적용이 가능하다.

도 1을 참조하면, 본 발명의 실시예에 따른 AR 전자현미경 제공 단말기(100)는 제어부(110), 통신부(120), 데이터베이스(130), 카메라(140), 입출력부(150) 및 블러링 모듈(160)을 포함한다.

다만, 몇몇 실시예에서 서버(200)는 도 1에 도시된 구성요소보다 더 적은 수의 구성요소나 더 많은 구성요소를 포함할 수도 있다.

데이터베이스(130)는 다수의 마커들 각각에 해당하는 AR(Augmented Reality) 컨텐트가 저장되어 있다.

도 4는 다수의 프레파라트(30)가 수용된 것을 예시한 도면이다.

도 4와 같이 AR 전자 현미경 제공 서비스는 다양한 프레파라트(30)를 제공할 수 있으며, 각각의 프레파라트(30)는 서로 다른 마커(35)가 형성되어 있다.

본 발명의 실시예에서 프레파라트에 형성된 마커는 대표적으로 QR 코드(Quick Response Code)가 적용 가능하지만, 이에 한정되는 것은 아니며 2차원 바코드(Bar Code), 3차원 바코드 또는 이미지 등이 적용이 가능하며, 서로 간의 프레파라트를 구별할 수 있어 마커의 역할을 담당할 수 있다면 무엇이든 적용이 가능하다.

AR 전자 현미경 제공 서비스에서 제공하는 AR 컨텐트는 동물 세포, 식물 세포 및 바이러스 중 적어도 하나를 포함할 수 있고, 이에 따라 각각의 프레파라트에는 해당되는 세포 또는 바이러스의 명칭에 기재되어 있을 수 있다.

카메라(140)는 단말기(100)에 구비된 촬영 수단으로, 프레파라트의 마커를 촬영한다.

입출력부(150)는 입력, 출력을 수행할 수 있는 수단이 포함될 수 있으며, 본 발명의 실시예에서는 대표적으로 터치 스크린(153)이 적용 가능하다.

따라서, 터치 스크린(153)은 카메라(140)의 촬영 영상을 표시하고, 사용자의 터치 입력, 터치 제스쳐를 입력받는다.

제어부(110)는 카메라(140)의 촬영 영상 내에서 마커를 인식하고, 인식된 마커에 해당되는 AR 컨텐트를 데이터베이스(130)에 검색하여 로딩하고, 로딩된 AR 컨텐트가 촬영 영상 내에서 마커의 위치 상에 중첩되도록 표시한다.

블러링 모듈(160)은 제어부의 제어 신호에 따라서, AR 컨텐트를 블러링 처리할 수 있으며, 기 설정된 복수의 레벨에 따라서 블러링 효과를 다르게 처리할 수 있다.

이어서, 도 1 및 도 3의 흐름도를 함께 참조하여 상세하게 설명하도록 한다.

먼저, 제어부(110)가 카메라(140)의 촬영 영상 내에서 프레파라트의 마커를 인식한다. (S110)

도 5는 프레파라트(30)와 단말기(100)가 전자현미경 거치대에 거치된 것을 예시한 도면이다.

도 6은 카메라(140)를 통해 프레파라트(30)의 마커(35)가 촬영된 것을 예시한 도면이다.

사용자는 도 5와 같이 거치대에 프레파라트(30)와 단말기(100)을 위치시키고, 단말기(100)에 설치된 서비스 애플리케이션을 설치하여 전자 현미경을 온(On)하면 단말기(100)의 카메라(140)가 활성화된다.

카메라(140)의 촬영 영상 내에 프레파라트의 마커가 위치되도록 단말기(100)의 위치를 조정하면, 제어부(110)가 촬영 영상 내에 마커를 인식하게 된다.

도 4는 AR 전자 현미경 제공 서비스에서 실제 전자 현미경과 같은 효과를 더 부가하기 위해서 제공되는 거치대에 프레파라트(30)와 단말기(100)를 거치하고 있으나, 반드시 거치대에 프레파라트(30)와 단말기(100)를 거치해야 하는 것을 의미하는 것은 아니며 하나의 예시일 뿐이다.

또한, 제어부(110)는 단말기(100)에 설치된 서비스 애플리케이션이 실행되고, 전자 현미경이 온(on)되면, 단말기(100)의 화면으로 UI를 제공한다.

이때, UI의 제1 영역(171)은 마커가 촬영되는 영역이며, 제2 영역(172)은 전자 현미경의 배율 조절 영역, 그리고 제3 영역(173)은 초점 조절 모드 선택과, 초점 조절 신호를 입력하는 영역이다.

따라서, 카메라(140)의 촬영 영상 내에서 프레파라트의 마커를 인식하는 것은, 보다 상세하게는 단말기(100)의 화면으로 제공된 UI의 제1 영역(171) 내에 마커의 촬영 화면을 위치시키는 것을 의미한다.

일 실시예로, 제어부(110)는 촬영 영상이 표시되는 화면 상에 전자 현미경 조작을 위한 UI를 더 표시하고, UI의 제1 영역(171) 내에 마커가 위치하여 인식될 경우 제1 영역(171) 내에 AR 컨텐트를 표시한다.

그리고, 제어부(110)는 UI의 제2 영역(172) 상에서 행해지는 사용자의 터치 제스쳐에 따라 AR 컨텐트의 줌 배율을 변경하여 표시한다.

S110 다음으로, 제어부(110)가 S110에서 인식된 마커에 해당되는 AR 컨텐트를 데이터베이스(130)에 검색하여 로딩한다. (S130)

S130 다음으로, 제어부(110)가 로딩된 AR 컨텐트를 촬영 영상 내에서 마커의 위치 상에 중첩되게 표시한다. (S150)

도 7은 마커의 촬영 이미지에 AR 컨텐트가 표시되는 것을 예시한 도면이다.

도 6과 도 7은 동일한 카메라(140) 촬영 영상이지만, 도 6은 S150이 진행되기 전으로, 마커가 촬영되고 있는 것이고, 도 7은 S150이 진행되어 도 6의 마커의 위치 상에 AR 컨텐트가 중첩되게 표시되고 있는 도면이다.

아래에서는, 도 7 내지 도 12를 참조하여, 전자 현미경 조작을 위한 UI에서 사용자의 전자 현미경 배율 조작에 따라 AR 컨텐트를 제공하는 것에 대하여 설명하도록 한다.

본 발명의 실시예에서 AR 컨텐트의 줌 배율을 변경하는 배열 조작 신호를 입력하는 방법은, 제1 영역(171)의 배율 숫자를 손가락으로 터치/입력하여 신호를 입력할 수 있다.

또는, 본 발명의 실시예에서 AR 컨텐트의 줌 배율을 변경하는 배열 조작 신호를 입력하는 방법은, 현재 배율에서 목표 배율로 드래그 하는 터치 제스쳐를 입력하여 신호를 입력할 수도 있다.

참고로, 도 7은 1배율에 해당되는 AR 컨텐트가 표시되고 있는 것으로 설명하도록 한다.

도 8은 단말기(100)의 UI에서 2배율이 선택되어 도 7의 AR 컨텐트가 블러링 처리된 것을 예시한 도면이다.

도 9는 AR 컨텐트가 2배율로 표시되고 있는 것을 예시한 도면이다.

도 10은 단말기(100)의 UI에서 3배율이 선택되어 도 9의 AR 컨텐트가 블러링 처리된 것을 예시한 도면이다.

도 11은 AR 컨텐트가 3배율로 표시되고 있는 것을 예시한 도면이다.

제어부(110)는 UI의 제2 영역(172)에 입력된 터치 제스쳐가 배율 교체 신호인 경우, 기 설정된 렌즈 교체 시간 동안 AR 컨텐트를 블러링 처리하고, 블러링된 AR 컨텐츠가 단말기(100)의 촬영 영상 화면으로 표시되도록 제어한다.

AR 전자 현미경 제공 서비스는 실제로 렌즈가 교체되는 것은 아니지만, 이러한 구성을 통해서, 사용자가 보기에 전자 현미경의 렌즈 교체 효과를 가상으로 제공하는 효과가 있다.

또한, 도 8 및 도 10과 같이 이전 배율의 AR 컨텐트에서 목표 배율의 AR 컨텐트로 교체되는 것과 같은 이미지 효과를 제공하여 렌즈 교체 효과를 더 부가해줄 수도 있다.

따라서, 도 7에서 2배율이 선택되어 제어부(110)가 도 7의 AR 컨텐트를 블러링 처리하여 도 8과 같이 단말기(100)의 촬영 영상 화면으로 표시하고, 기 설정된 렌즈 교체 시간이 지나서 도 9와 같이 AR 컨텐트를 2배율로 표시하고 있다.

또한, 도 9에서 3배율이 선택되어 제어부(110)가 도 9의 AR 컨텐트를 블러링 처리하여 도 10과 같이 단말기(100)의 촬영 영상 화면으로 표시하고, 기 설정된 렌즈 교체 시간이 지나서 도 11과 같이 AR 켄턴트를 3배율로 표시하고 있다.

이때, 기 설정된 렌즈 교체 시간이란 일반적으로 렌즈를 교체하는데 소요되는 시간이 적용될 수 있으며, 예를 들어 1~2초 정도의 시간이 적용될 수 있다.

또한, 2배율 이미지, 3배율 이미지는 각각 최초로 표시되는 AR 컨텐트에서 2배율, 3배율을 한다는 것을 의미한다.

또한, AR 컨텐트의 1배율 이미지, 2배율 이미지, 3배율 이미지는 각각 데이터베이스(130)에 저장되어 제어부(110)가 각각을 배율에 맞게 로딩하게 된다.

전술한 바와 같이, AR 컨텐트는 동물 세포, 식물 세포 및 바이러스 중 적어도 하나를 포함하는 것으로, AR 컨텐트의 1배율, 2배율, 3배율은 각각의 세포 또는 바이러스가 더 확대되어 저장된 랜더링 이미지를 의미한다.

도 12는 수동 초점 모드가 선택되어 AR 컨텐트가 아웃 포커싱된 것을 예시한 도면이다.

도 13은 포커싱 조절 신호가 입력되어 도 12의 AR 컨텐트의 블러링 레벨을 낮춘 것을 예시한 도면이다.

도 14는 포커싱 조절 신호가 입력되어 도 13의 AR 컨텐트의 블러링이 제거된 것을 예시한 도면이다.

제어부(110)는 UI의 제3 영역(173)으로 자동 초점 모드 및 수동 초점 조절 모드를 제공한다.

그리고, 제어부(110)는 수동 초점 조절 모드가 선택되면, UI의 제3 영역(173)으로 포커싱 조절 버튼을 표시하고, 사용자로부터 포커싱 조절 버튼이 선택되면 점차적으로 초점이 맞춰지는 효과를 제공할 수 있다.

상세하게는, 제어부(110)는 수동 초점 조절 모드가 선택되면, S130에서 로딩된 AR 컨텐트를 블러링 처리하여 촬영 영상 내에서 마커의 위치 상에 중첩되게 표시되도록 제어한다.

일 실시예로, 제어부(110)는 촬영 영상 내 마커의 이미지를 인식된 마커의 원본 이미지와 비교하여, 마커로부터 단말기(100)의 거리를 산출하고, 산출된 거리를 기반으로 AR 컨텐트의 블러링 레벨을 결정하여 블러링 처리할 수 있다.

따라서, 수동 초점 조절 모드가 선택되면, 제어부(110)는 도 12와 같이 AR 컨텐트가 아웃 포커싱되어 표시되도록 한다.

이때, 제어부(110)는 블러링 모듈(160)을 제어하여 기 설정된 블러링 레벨로 AR 컨텐트를 블러링 처리할 수 있다.

그리고, 제어부(110)는 포커싱 조절 버튼(포커싱 조절 신호)이 입력됨에 따라 AR 컨텐트에 처리된 블러링 레벨을 낮추고, 포커싱 조절이 완료됨에 따라 AR 컨텐트에 처리된 블러링을 모두 제거하여 블러링 효과가 없는 AR 컨텐트를 촬영 영상 화면으로 표시한다.

도 12를 참조하면, AR 컨텐트가 높은 레벨로 블러링 처리되어 표시됨으로써, AR 컨텐트가 아웃 포커싱 된 것 같은 효과가 제공되고 있다.

도 13을 참조하면, 포커싱 조절 신호가 입력되어 도 12의 AR 컨텐트보다 낮은 레벨로 블러링 처리되어 표시됨으로써, AR 컨텐트가 아웃 포커싱 되어 있지만, 점차적으로 포커싱이 맞춰지고 있는 것 같은 효과가 제공되고 있다.

도 14를 참조하면, 포커싱 조절 신호가 입력되어 도 13의 AR 컨텐트에 처리된 블러링이 모두 제거됨으로써, AR 컨텐트의 포커싱이 맞춰진 것과 같은 효과가 제공되고 있다.

본 발명의 실시예에 따른 AR 전자 현미경 제공 장치는 이와 같은 구성을 통해서 현미경의 포커싱 효과를 가상으로 제공하는 효과가 있다.

도 15는 단말기(100)의 촬영 각도 변화에 따라 AR 컨텐트의 시점이 변화되는 것을 예시한 도면이다.

일 실시예로, 제어부(110)는 촬영 영상 내 마커의 이미지를 인식된 마커의 원본 이미지와 비교하여 마커로부터 단말기(100)의 각도를 산출하고, 산출된 각도를 기반으로 촬영 영상 화면으로 표시되고 있는 AR 컨텐트를 회전시킨다.

도 15를 참조하면, 프레파라트의 상부에서 마커를 촬영하던 단말기(100)의 각도가 조절되었고, 이에 따라서 촬영 영상 내 마커의 이미지가 기울어지게 되고, 제어부(110)가 이를 인식하여 기울어진 각도 즉, 마커로부터 단말기(100)의 각도를 기반으로 AR 컨텐트를 회전시켜 표시함으로써, AR 컨텐트를 옆에서 바라보는 것과 같은 효과를 제공하고 있다.

일 실시예로, 제어부(110)는 단말기(100)의 자이로센서(미도시)로부터 센싱된 단말기(100)의 기울기 정보를 수신할 수 있으며, 이를 기반으로 단말기(100)의 기울기를 기반으로 단말기(100)의 마커 촬영 각도를 산출할 수 있다.

일 실시예로, 제어부(110)는 촬영 영상 내 마커의 이미지에 흔들림이 감지되면, 단말기(100) 또는 프레파라트가 흔들린 것으로 판단하고, 촬영 영상 화면으로 표시되고 있는 AR 컨텐트를 블러링 처리한다.

실제로, 현미경을 이용하여 특정 세포, 바이러스를 관찰할 때에 프레파라트 또는 현미경이 조금이라도 흔들리게 되면, 초점이 맞지 않게 된다.

본 발명에서 AR 전자 현미경 제공 장치는 이와 같은 효과를 가상으로 제공하기 위해서, 위와 같은 구성을 포함하고 있으며, 이를 통해서 사용자는 실제로 단말기(100) 또는 프레파라트가 흔들리게 되면 AR 컨텐트의 초점이 맞지 않는 것과 같은 효과를 느끼게 된다.

일 실시예로, 제어부(110)는 촬영 영상 내 마커의 이미지에 흔들림이 감지되면, 흔들림의 정도를 파악할 수 있으며 파악된 흔들림의 정도에 따라서 서로 다른 레벨의 블러링 처리를 수행할 수도 있다.

도 16은 사용자가 촬영한 복수의 마커에 해당되는 세포 정보를 기반으로 세포 교육 자료를 생성하고 단말기(100)로 제공하는 것을 예시한 도면이다.

도 16을 참조하면, 일 실시예로, 데이터베이스(130)는 각각의 마커에 대한 세포 정보가 더 저장되어 있다.

그리고, 제어부(110)는 UI의 제4 영역으로 샘플 비교 버튼을 표시할 수 있다.

제어부(110)는 샘플 비교 버튼이 실행되면, 실행 후 연속으로 촬영되어 인식된 복수의 마커 각각의 세포 정보를 데이터베이스(130)에서 로딩하고, 로딩된 복수의 세포 정보를 비교하여 공통점 및 차이점 중 적어도 하나를 도출하여 세포 교육 자료를 생성한다.

그리고, 제어부(110)는 복수의 마커 각각에 해당되는 AR 컨텐트 및 생성된 세포 교육 자료를 단말기(100)로 출력할 수 있다.

또한, 제어부(110)는 해당 세포들에 대한 정보를 획득할 수 있는 외부 서버(200)의 Url을 검색하여, 단말기(100)로 제공할 수도 있다.

도 2를 참조하면, AR 전자현미경 제공 서버(200)는, 제어부(210), 통신부(220), 데이터베이스(230) 및 블러링 모듈(260)을 포함한다.

단말기(100)에 설치된 서비스 애플리케이션이 구동되면, 단말기(100)의 통신부(120)와 서버(200)의 통신부(220)가 연결된다.

그리고, 서버(200)의 통신부(220)는 단말기(100)의 카메라(140) 촬영 영상을 실시간으로 수신한다.

서버(200)의 제어부(210)는 수신되는 촬영 영상 내에서 마커를 인식하고, 인식된 마커에 해당되는 AR 컨텐트를 데이터베이스(230)에 검색하여 로딩하고, 로딩된 AR 컨텐트가 단말기(100)의 촬영 영상 화면 내에서 마커의 위치 상에 중첩되게 표시되도록 제어한다.

이와 같이, AR 전자현미경 제공 서버(200)는 전술한 AR 전자현미경 제공 단말기(100)에서 제어부(110), 데이터베이스(130) 및 블러링 모듈(160) 중에서 필요한 구성만 채택하여 서버(200)의 구성으로 포함할 수 있으며, 입출력부(150)와 카메라(140)는 그대로 단말기(100)의 구성으로 포함되어 작동될 수 있다.

일 예로, AR 전자현미경 제공 서버(200)는 제어부(210) 및 통신부(220)의 구성만 포함하여, 단말기(100)로부터 촬영 영상만 수신하고, 제어 신호만을 입력할 뿐 나머지 구성들은 단말기(100)에 제어 신호를 입력함으로써 단말기(100)의 구성들을 제어할 수 있다. (예: 단말기의 제어부, 터치 스크린, 카메라, 데이터베이스, 블러링 모듈 등)

예를 들어, 단말기(100)에 서비스 애플리케이션을 설치할 때 단말기(100)의 데이터베이스(130) 내에 AR 컨텐트 등의 데이터를 모두 저장하고, 서버(200)의 제어부(110)는 제어 신호를 입력하는 역할만 수행할 수도 있다.

이상으로 설명한 본 발명의 실시예에 따른 AR 전자현미경 제공 서버(200)는 도 1 및 도 3 내지 도 16를 통해 설명한 AR 전자현미경 제공 단말기(100)와 발명의 카테고리만 다를 뿐, 동일한 내용이므로 중복되는 설명, 예시는 생략하도록 한다.

이상에서 전술한 본 발명의 일 실시예에 따른 방법은, 하드웨어인 서버와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다.

상기 전술한 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.

상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.

본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.

이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

10: AR 전자현미경 제공 시스템
30: 프레파라트
35: 마커
100: AR 전자현미경 제공 단말기
110: 제어부
120: 통신부
130: 데이터베이스
140: 카메라
150: 입출력부
153: 터치스크린
160: 블러링 모듈
171: 제1 영역
172: 제2 영역
173: 제3 영역
200: AR 전자현미경 제공 서버
210: 제어부
220: 통신부
230: 데이터베이스
260: 블러링 모듈

Claims (10)

1. AR 전자현미경 제공 서버; 및
   상기 AR 전자현미경 제공 서버와 통신을 통하여 연결되는 AR 전자 현미경 제공 단말기로,
   다수의 마커들 각각에 해당하는 AR(Augmented Reality) 컨텐츠가 저장된 데이터베이스;
   적어도 하나의 마커가 형성된 프레파라트의 마커를 촬영하는 카메라;
   상기 카메라의 촬영 영상을 표시하는 터치스크린; 및
   상기 카메라의 촬영 영상 내에서 상기 마커를 인식하고, 상기 인식된 마커에 해당되는 AR 컨텐츠를 상기 데이터베이스에 검색하여 로딩하고, 상기 로딩된 AR 컨텐츠가 상기 촬영 영상 내에서 상기 마커의 위치 상에 중첩되게 표시되도록 제어하는 제어부를 포함하며,
   상기 제어부는,
   상기 촬영 영상 내 마커의 이미지를 상기 인식된 마커의 원본 이미지와 비교하여 상기 마커로부터 상기 단말기의 각도를 산출하고, 상기 산출된 각도를 기반으로 상기 촬영 영상 화면으로 표시되고 있는 AR 컨텐츠를 회전시키고, 상기 촬영 영상이 표시되는 화면상에 전자 현미경 조작을 위한 UI(User Interface)를 더 표시하고, 상기 UI의 제1 영역 내에 상기 마커가 위치하여 인식될 경우, 상기 제1 영역 내에 상기 AR 컨텐츠를 표시하며, 상기 UI의 제2 영역 상에서 행해지는 사용자의 터치 제스쳐에 따라, 상기 AR 컨텐츠의 줌 배율을 변경하여 표시하며, 상기 AR 컨텐츠는 동물 세포, 식물 세포 및 바이러스 중 적어도 하나를 포함하고,
   상기 UI의 제3 영역으로 자동 초점 조절 모드 및 수동 초점 조절 모드를 제공하며,
   상기 수동 초점 조절 모드가 선택되면, 상기 제어부는
   상기 로딩된 AR 컨텐츠를 블러링 처리하여 상기 촬영 영상 내에서 상기 마커의 위치상에 중첩되게 표시되도록 제어하여, 현미경의 아웃 포커싱 효과를 가상으로 제공하는 것을 특징으로 하는 AR 전자현미경 제공 단말기.
2. 삭제
3. 삭제
4. 제1항에 있어서,
   상기 제어부는,
   상기 카메라의 촬영 영상 내 마커의 이미지를 상기 인식된 마커의 원본 이미지와 비교하여, 상기 프레파라트의 마커로부터 상기 단말기의 거리를 산출하는 것을 특징으로 하는 AR 전자현미경 제공 단말기
5. 제4항에 있어서,
   상기 제어부는,
   상기 산출된 거리를 기반으로 상기 AR 컨텐츠의 블러링 레벨을 결정하여 상기 블러링 처리를 수행하는 것을 특징으로 하는,
   AR 전자현미경 제공 단말기.
6. 삭제
7. 제1항에 있어서,
   상기 카메라의 촬영 영상 내 마커의 이미지에 흔들림이 감지되는 경우, 상기 촬영 영상 화면으로 표시되고 있는 상기 AR 컨텐츠를 블러링 처리하는 것을 특징으로 하는 AR 전자현미경 제공 단말기.
8. 제1항에 있어서,
   상기 데이터베이스는 각각의 마커에 대한 세포 정보가 더 저장되어 있고,
   상기 제어부는,
   상기 UI를 통해 샘플 비교 모드를 제공하며,
   상기 샘플 비교 모드가 실행되면,
   연속으로 촬영되어 인식된 복수의 마커 각각의 세포 정보를 상기 데이터베이스에서 로딩하고, 상기 로딩된 복수의 세포 정보를 비교하여 공통점 및 차이점 중 적어도 하나를 도출하여 세포 교육 자료를 생성하고,
   상기 복수의 마커 각각에 해당되는 AR 컨텐츠 및 상기 세포 교육 자료를 상기 단말기로 출력되도록 제어하는 것을 특징으로 하는 AR 전자현미경 제공 단말기.
9. 삭제
10. 삭제

Images