KR20190023906A

KR20190023906A - 증강현실 서버와 시스템 및 그 방법과 이에 관한 기록 매체

Info

Publication number: KR20190023906A
Application number: KR1020170110305A
Authority: KR
Inventors: 정종문; 서순호; 신영환; 윤주식; 유원석; 양원식
Original assignee: 연세대학교 산학협력단
Priority date: 2017-08-30
Filing date: 2017-08-30
Publication date: 2019-03-08
Also published as: KR101980444B1

Abstract

증강현실 서버와 시스템 및 그 방법과 이에 관한 기록 매체가 개시된다. 개시된 서버는 수신 영상 및 상기 수신 영상이 촬영된 장소의 위치 정보를 수신하는 수신부; 다수의 객체 정보가 저장되는 데이터베이스; 상기 데이터베이스 내의 객체 정보 중 수신 영상이 촬영된 장소의 위치와 일정 거리 내에 존재하는 객체의 정보를 이용하여 상기 수신 영상 내의 객체를 인식하는 객체 인식부; 및 상기 객체 인식부가 수신 영상의 일부 객체 인식에 실패하면 상기 수신 영상이 촬영된 위치와 일정 거리 이내의 다른 카메라로부터 참고 영상을 요청하는 영상 요청부를 포함하되, 상기 객체 인식부는 수신 영상의 일부 객체 인식에 실패하면, 상기 참고 영상을 이용하여 상기 인식에 실패한 객체의 인식을 재시도하는 것을 특징으로 한다. 개시된 서버에 따르면, 영상의 특징점 추출을 이용한 객체 인식에 실패하더라도 위치 정보와 다른 카메라 및 객체 인식 로그를 이용하여 객체를 인식할 수 있는 장점이 있다.

Description

증강현실 서버와 시스템 및 그 방법과 이에 관한 기록 매체{Augmented Reality Server and System and its Method, and Recording Medium thereof}

본 발명은 증강현실을 위한 객체 인식 장치와 시스템 및 그 방법과 이에 관한 기록 매체에 대한 것이다.

증강현실(AR: Augmented Reality)은 현실 세계에서의 사용자의 시각으로 얻어진 데이터 베이스를 바탕으로 컴퓨터로 생성된 이미지를 겹쳐 사용자에게 제공하는 기술이다. 겹쳐진 이미지는 사용자의 머리와 눈의 모든 운동 감각에 맞춰 조정되며, 조정된 이미지를 통해 사용자들의 실제 세계에 대한 인식이 향상될 수 있다.

사용자는 스마트 디바이스(Smart Device) 등의 클라이언트에서 증강현실 카메라를 이용하여 주변의 영상을 촬영하여 증강현실 서버에 전송하고, 증강현실 서버에서는 촬영된 영상 내의 객체를 인식하고, 객체에 대한 정보를 영상에 합성하여 다시 클라이언트에게 전송하게 된다. 사용자는 이러한 과정을 통해 현실 세계의 영상과 합성된 증강현실 영상을 볼 수 있게 된다.

증강현실 정보를 제공하기 위해서는 영상 내의 객체를 인식해야 하는데, 네트워크 스위치나 라우터의 문제 또는 재난, 사고 및 특수한 상황에서의 높은 트래픽으로 인해 네트워크 상태가 악화되어 낮은 해상도의 영상을 제공받았을 시에는 영상 내의 특징점 추출이 완벽하게 이루어지지 않아 객체 인식에 실패할 수 있다. 낮은 해상도의 영상으로 인해 이미지 인식률이 낮아서 발생되는 위와 같은 현상은 사용자에게 최적의 증강현실 정보를 제공하지 못하여 그 효용이 떨어질 수 있는 문제점이 있다.

상기한 바와 같은 종래기술의 문제점을 해결하기 위해, 본 발명은 위치 정보와 다른 카메라 및 객체 인식 로그를 이용하여 객체 인식률을 높인 증강현실 서버와 시스템 및 그 방법과 이에 관한 기록 매체를 제공한다.

상기한 목적을 달성하기 위해 본 발명의 제1 실시예에 따르면, 수신 영상 및 상기 수신 영상이 촬영된 장소의 위치 정보를 수신하는 수신부; 다수의 객체 정보가 저장되는 데이터베이스; 상기 데이터베이스 내의 객체 정보 중 수신 영상이 촬영된 장소의 위치와 일정 거리 내에 존재하는 객체의 정보를 이용하여 상기 수신 영상 내의 객체를 인식하는 객체 인식부; 및 상기 객체 인식부가 수신 영상의 일부 객체 인식에 실패하면 상기 수신 영상이 촬영된 위치와 일정 거리 이내의 다른 카메라로부터 참고 영상을 요청하는 영상 요청부를 포함하되, 상기 객체 인식부는 수신 영상의 일부 객체 인식에 실패하면, 상기 참고 영상을 이용하여 상기 인식에 실패한 객체의 인식을 재시도하는 것을 특징으로 하는 증강현실 서버가 제공된다.

다수의 객체 인식 로그 영상이 저장되는 로그 데이터베이스를 더 포함하되, 상기 영상 요청부는 상기 로그 데이터베이스로부터 참고 영상을 더 요청하는 것을 특징으로 한다.

상기 객체 인식부는 상기 수신 영상 내의 인식된 객체 및 인식에 실패한 객체의 위치 관계와 상기 참고 영상 중 상기 인식된 객체가 존재하는 영상 내의 객체간 위치 관계를 이용하여 상기 인식에 실패한 객체의 인식을 재시도하는 것을 특징으로 한다.

상기 객체 인식부는 수신 영상의 일부 객체 인식에 실패하면, 상기 수신 영상 내의 객체 배열 벡터와 상기 참고 영상의 객체 배열 벡터를 비교하여 상기 인식된 객체의 순서가 일치하는 참고 영상에서 상기 인식에 실패한 객체의 위치에 존재하는 객체를 상기 인식에 실패한 객체로 인식하고, 상기 객체 배열 벡터는 임의의 방향에 대한 각 객체의 배열 순서를 나타내는 벡터인 것을 특징으로 한다.

상기 객체 정보는 객체의 특징점 정보를 포함하고, 상기 객체 인식부는 상기 수신 영상에서 특징점 정보를 추출하여 상기 획득된 객체 정보 중 특징점 정보와 비교하여 객체를 인식하는 것을 특징으로 한다.

상기 객체 정보는 상기 증강현실 영상 합성을 위한 정보를 더 포함하며, 상기 증강현실 서버는, 상기 수신 영상과 상기 수신 영상 내의 인식에 성공한 객체의 증강현실 영상 합성을 위한 정보를 합성하는 영상 합성부; 및 상기 합성된 영상을 송신하는 송신부를 더 포함하는 것을 특징으로 한다.

상기 송신부는 상기 객체 인식부가 상기 수신 영상의 모든 객체의 인식에 성공하지 못하면, 더 높은 해상도의 영상을 요청하는 것을 특징으로 한다.

또한, 본 발명의 제2 실시예에 따르면, 영상을 촬영하는 카메라 장치; 상기 촬영된 영상을 송신하는 클라이언트; 및 상기 촬영된 영상을 수신하여 증강현실 영상을 생성하여 클라이언트에게 송신하는 증강현실 서버를 포함하되, 상기 증강현실 서버는, 수신 영상 및 상기 수신 영상이 촬영된 장소의 위치 정보를 수신하는 수신부; 다수의 객체 정보가 저장되는 데이터베이스; 상기 데이터베이스 내의 객체 정보 중 수신 영상이 촬영된 장소의 위치와 일정 거리 내에 존재하는 객체의 정보를 이용하여 상기 수신 영상 내의 객체를 인식하는 객체 인식부; 및 상기 객체 인식부가 수신 영상의 일부 객체 인식에 실패하면 상기 수신 영상이 촬영된 위치와 일정 거리 이내의 다른 카메라로부터 참고 영상을 요청하는 영상 요청부를 포함하되, 상기 객체 인식부는 수신 영상의 일부 객체 인식에 실패하면, 상기 참고 영상을 이용하여 상기 인식에 실패한 객체의 인식을 재시도하는 것을 특징으로 하는 증강현실 시스템이 제공된다.

또한, 본 발명의 제3 실시예에 따르면, (a)수신 영상 및 상기 수신 영상이 촬영된 장소의 위치 정보를 수신하는 단계; (b)상기 수신 영상이 촬영된 장소의 위치와 일정 거리 내에 존재하는 객체 정보를 획득하는 단계; (c)상기 획득된 객체 정보를 이용하여 상기 수신 영상 내의 객체를 인식하는 단계; (d)상기 수신 영상의 일부 객체 인식에 실패하면, 상기 수신 영상이 촬영된 장소의 위치와 일정 거리 내에 존재하는 다른 카메라들에게 참고 영상을 요청하는 단계; 및 (e)상기 참고 영상을 이용하여 상기 인식에 실패한 객체의 인식을 재시도하는 단계를 포함하는 것을 특징으로 하는 증강현실 방법이 제공된다.

또한, 본 발명의 제4 실시예에 따르면, 상기의 증강현실 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체가 제공된다.

본 발명은 영상의 특징점 추출을 이용한 객체 인식에 실패하더라도 위치 정보와 다른 카메라 및 객체 인식 로그를 이용하여 객체를 인식할 수 있는 장점이 있다.

도 1은 본 발명의 바람직한 일 실시예에 따른 증강현실 시스템의 구조도이다.
도 2는 본 발명의 바람직한 일 실시예에 따른 증강현실 서버의 구조도이다.
도 3은 본 발명의 바람직한 일 실시예에 따른 객체 인식부의 구조도이다.
도 4는 객체 배열 벡터를 설명하기 위한 도면이다.
도 5는 객체 배열 벡터의 비교 방법을 예시한 도면이다.
도 6은 본 발명의 바람직한 일 실시예에 따른 증강현실 방법을 시간의 흐름에 따라 나타낸 순서도이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 자세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 이하에서, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.

도 1은 본 발명의 바람직한 일 실시예에 따른 증강현실 시스템의 구조도이다.

도 1을 참조하면, 본 발명의 바람직한 일 실시예에 따른 증강현실 시스템은 클라이언트(100) 및 증강현실 서버(200)를 포함할 수 있다.

클라이언트(100)는 카메라장치(110)를 포함할 수 있으며, 카메라장치(110)는 주변의 영상을 촬영할 수 있다. 클라이언트(100)는 증강현실 영상을 제공받기 위해 카메라장치(110)가 촬영하는 영상 및 카메라장치(110)의 위치 정보를 증강현실 서버(200)로 전송할 수 있다. 일례로, 클라이언트는 HMD(Head mounted Display)일 수 있다.

증강현실 서버(200)는 클라이언트(100)로부터 카메라장치(110)가 촬영하는 영상 및 카메라장치(110)의 위치 정보를 제공받을 수 있다. 증강현실 서버(200)에는 다수의 객체들의 정보 및 다수의 객체 인식 로그 정보가 저장되어 있을 수 있다. 다수의 객체들의 정보는 다수의 객체들의 영상 인식을 위한 특징점 정보 및 다수의 객체들의 위치정보가 포함될 수 있으며, 증강현실 영상에 합성될 정보가 포함될 수도 있다. 한편, 다수의 객체 인식 로그는 서로 다른 다수의 클라이언트들이 전송한 영상에서 객체 인식에 성공한 정보들일 수 있으며, 객체 인식 로그는 일정 시간 동안 서버에 저장될 수 있다.

증강현실 서버(200)는 먼저 카메라장치(110)의 위치 정보를 이용하여 카메라장치(110)와 일정한 거리 내에 있는 객체들의 정보를 획득한 후, 카메라장치(110)로부터 수신된 영상 내의 특징점 정보를 추출하여 객체 인식을 시도할 수 있다. 수신 영상 내 일부 객체의 인식이 실패하면, 카메라장치(110)와 일정 거리 이내에 위치하는 다른 카메라 장치로부터 참고 영상을 요청하며, 서버(200) 내의 객체 인식 로그 중 카메라장치(110)와 일정한 거리 내에서 인식에 성공한 로그 정보를 획득한다. 수신 영상 내 인식에 성공한 객체들과 인식에 실패한 객체들의 위치관계를 참고 영상 내에 인식된 객체들의 위치관계와 비교하면 수신 영상 내 인식에 실패한 객체들이 참고 영상에 존재하는 객체 중 어떠한 객체에 해당하는지 추정할 수 있다. 이러한 방법으로 증강현실 서버(200)는 참고 영상을 이용하여 수신 영상 내의 모든 객체의 정보를 획득할 수 있으며, 그럼에도 객체가 인식되지 않는다면 클라이언트(100)에 더 높은 해상도의 영상을 요청할 수도 있다.

이하에서, 본 발명의 자세한 구조와 객체 인식 과정에 대해 도면을 참조하여 상세히 설명한다.

도 2는 본 발명의 바람직한 일 실시예에 따른 증강현실 서버의 구조도이다.

도 2를 참조하면, 본 발명의 바람직한 일 실시예에 따른 증강현실 서버는 수신부(210), 데이터베이스(220), 로그 데이터베이스(230), 객체 정보 획득부(240), 객체 인식부(250), 영상 합성부(260) 및 송신부(270)를 포함할 수 있다.

수신부(210)는 클라이언트(100)로부터 카메라장치(110)가 촬영하는 영상 및 카메라장치(110)의 위치 정보를 수신할 수 있다. 카메라장치(110)가 촬영하는 영상은 H.120, H.261, H.262, H.263, H.264, H.265 등 VCEG (Video Coding Experts Group)의 표준 혹은 국제 표준화 기구(International Organization for Standardization, ISO)의 표준 MPEG(Moving Picture Experts Group)을 사용하여 인코딩이 수행되어 있을 수 있다. 물론 인코딩 형식은 VCEG, ISO 표준 등에 한정되는 것은 아니며, 다양한 인코딩 형식이 사용될 수 있다. 또한, 수신된 영상에는 촬영 영상인 미디어 파일에 대한 정보인 MPD(Media Presentation Description), 즉 각 미디어 파일의 시작 시간과 종료 시간, 사용 언어, 네트워크 대역폭, 영상의 품질과 크기, URL 정보 등이 포함될 수도 있다.

데이터베이스(220)에는 인식 가능한 객체의 정보가 저장될 수 있다. 각 객체의 정보에는 각 객체의 위치 정보와 객체 인식을 위한 특징점 정보 및 증강현실 영상 합성을 위한 정보가 포함될 수 있다.

로그 데이터베이스(230)에는 객체 인식에 성공한 영상들의 객체 인식 로그 정보가 저장된다. 객체 인식 로그 정보에는 각 객체 인식에 성공한 영상과 그 촬영된 위치 및 인식된 객체들의 정보가 포함될 수 있다. 특히, 객체 인식 로그 정보에는 영상의 객체 배열 벡터 정보도 포함될 수 있다. 다수의 클라이언트들의 객체 인식 로그가 로그 데이터베이스(230)에 저장될 수 있으며, 객체 인식 로그 정보는 일정 시간이 경과하면 삭제될 수도 있다.

객체 정보 획득부(240)는 수신부(210)에서 수신된 위치 정보를 기준으로 일정 거리 내에 존재하는 객체의 정보를 데이터베이스(220)로부터 획득할 수 있다. 객체의 정보에는 각 객체의 특징점 정보와 위치 정보 및 증강현실 영상 합성을 위한 정보 등이 포함될 수 있다.

객체 인식부(250)는 객체 정보 획득부(240)에서 획득한 정보를 이용하여 수신부(210)에서 수신한 영상 내의 객체를 인식할 수 있다.

도 3은 본 발명의 바람직한 일 실시예에 따른 객체 인식부의 구조도이다.

도 3을 참조하면, 객체 인식부(250)는 특징점 추출부(251), 객체 판단부(253), 영상 요청부(254), 객체 배열 벡터 생성부(255), 객체 배열 벡터 비교부(257) 및 출력부(259)를 포함할 수 있다.

특징점 추출부(251)에서는 수신부(210)에서 수신한 영상에서 객체의 특징점을 추출한다. 객체 인식을 위해 영상의 특징점을 추출하는 방법에는 공지된 다양한 방법이 있다. 추출된 특징점은 데이터베이스(220)에서 획득된 객체들의 특징점 정보와 비교된다.

객체 판단부(253)는 특징점 추출부(251)에서 추출된 특징점을 데이터베이스(220)에서 획득된 객체들의 특징점 정보와 비교하여 수신한 영상 내 객체가 데이터베이스(220)의 객체 중 어떠한 객체에 해당하는지 판단한다. 객체 판단부(253)는 수신한 영상 내 객체의 특징점과 데이터베이스(220)의 객체의 특징점의 비교 결과값이 임계값 이상이면 수신한 영상 내 객체를 해당 데이터베이스(220)의 객체로 인식할 수 있다. 한편, 객체 판단부(253)는 수신한 영상 내 특정 객체의 특징점이 데이터베이스(220)의 어떠한 객체의 특징점과의 비교값도 임계값에 도달하지 못한다면, 특정 객체의 인식은 실패한 것으로 판단할 수 있다. 모든 객체의 인식에 성공했다면, 객체의 인식 정보는 출력부(259)에서 처리된다.

영상 요청부(254)는 모든 객체의 인식에 성공하지 못한 경우, 송신부(270)를 통하여 수신 영상을 촬영한 위치와 일정 거리 이내에 위치하는 다른 카메라 장치들에 참고 영상을 요청할 수 있다. 요청한 영상은 수신부(210)를 통해 객체 인식부(250)로 전달될 수 있다. 한편, 영상 요청부(254)는 로그 데이터베이스(230)에도 참고 영상을 요청할 수 있다. 로그 데이터베이스(230) 내의 객체 인식 로그 정보 중 수신 영상이 촬영된 위치와 일정 거리 이내에서 촬영된 영상 정보를 요청할 수 있다.

객체 배열 벡터 생성부(255)는 객체의 위치 정보를 기준으로 객체 배열 벡터를 생성한다. 참고 영상 중 객체 인식 로그 정보에는 객체 배열 벡터 정보가 포함되어 있을 수 있으므로, 객체 배열 벡터 생성을 생략할 수도 있다.

도 4는 객체 배열 벡터를 설명하기 위한 도면이다.

도 4에서, A, C는 인식된 객체이며 ?는 인식에 실패한 객체이다. 수신된 영상에서 임의의 좌표축을 기준으로 하나의 객체 배열 벡터가 정의될 수 있다. 즉, 도4 의 영상에서 객체 배열 벡터는 (A, , C)로 정의될 수 있다.

객체 배열 벡터 생성부(255)에서 생성된 객체 배열 벡터는 객체 배열 벡터 비교부(257)에서 비교될 수 있다.

객체 배열 벡터 비교부(257)에서는 수신 영상의 객체 배열 벡터를 참고 영상들의 객체 배열 벡터와 비교할 수 있다.

인식된 객체를 포함하는 참고 영상의 객체 배열 벡터와 수신 영상의 객체 배열 벡터의 인식된 객체에 해당되는 부분이 일치한다면, 해당 참고 영상은 수신된 영상과 유사한 방향에서 촬영된 것임을 알 수 있다. 그러므로, 수신 영상의 객체 배열 벡터의 인식된 객체에 해당되는 부분과 일치하는 참고 영상을 찾고, 수신 영상의 객체 배열 벡터의 인식에 실패한 객체가 참고 영상의 객체 배열 벡터에서 어느 객체에 해당하는지 확인하여 객체 배열 벡터 비교부(257)는 인식에 실패한 객체의 정보를 알아낼 수 있다.

일례로 도 4의 경우에, 객체 배열 벡터 비교부(257)는 객체 A 및 객체 C를 포함하는 참고 영상 중 객체 배열 벡터에서 객체 A 및 객체 C의 순서가 수신된 영상의 객체 배열 벡터와 일치하는 참고 영상을 찾아낼 수 있다. 적합한 참고 영상이 존재하면, 해당 참고 영상의 객체 배열 벡터에서 객체 ?를 찾아내어 객체 ?를 해당 객체로 인식할 수 있게 된다.

객체 배열 벡터를 이용하여 객체 배열 벡터 비교부(257)는 영상의 촬영 방향과 촬영 위치가 변화하여도 원하는 객체를 찾아낼 수 있을 것이다.

도 5는 객체 배열 벡터의 비교 방법을 예시한 도면이다.

일례로, 도 4 및 도 5의 (a)를 참조하면, 도 4를 기준으로 도 5의 (a)는 촬영 위치가 이동되어 해당 객체들의 위치가 변화되었다. 그러나 도 4의 객체 배열 벡터는 (A, ?, C)이고 도 5(a)의 객체 배열 벡터는 (A, B, C)이므로 객체 배열 벡터 비교부(257)는 도 4의 인식에 실패한 객체 ?가 객체 B임을 알아낼 수 있다.

또한, 도 4 및 도 5의 (b)를 참조하면, 도 4를 기준으로 도 5의 (b)는 촬영 방향 및 객체와 카메라의 거리 변화에 따라 객체들의 위치가 변화하였으며, 다른 도 4에는 존재하지 않는 객체 D가 존재한다. 도 5(a)의 경우와 마찬가지로 두 영상의 객체 배열 벡터를 비교하면 도 4의 경우는 (A, ?, C)이며 도 5(b)는 (A, B, C, D)이므로 객체 배열 벡터 비교부(257)는 도 5(a)의 객체 배열 벡터에서 객체 A와 객체 C의 순서를 확인하여 객체 ?가 객체 B임을 알아낼 수 있다.

또 다른 예로, 객체 배열 벡터는 행렬로 표현될 수도 있다. 영상 정보는 2차원 영상이므로, 객체 배열 벡터를

행렬로 나타내어 객체간 위치 관계가 보다 정확히 표기되도록 할 수도 있다.

출력부(259)에는 객체 판단부(253)의 객체 인식 결과 및 객체 배열 벡터 비교부(257)의 객체 배열 벡터 비교 결과가 전달된다. 출력부(259)는 최종적으로 수신된 영상 내의 모든 객체의 인식 결과를 취합하여 출력한다.

객체 인식부(250)의 객체 인식 결과 수신된 영상의 모든 객체가 인식되었다면 수신 영상 및 인식된 객체들의 정보는 영상 합성부(260)로 전달된다. 또한, 성공한 수신 영상의 정보는 로그 데이터베이스(230)에도 저장된다. 한편, 정보가 부족하여 수신된 영상의 모든 객체가 인식되지 않았을 경우, 송신부(270)를 통해 카메라장치(110)에 더 높은 해상도의 영상을 송신할 것을 요청할 수도 있다.

영상 합성부(260)에서는 객체 인식부(250)의 객체 인식 결과를 이용하여 인식된 객체들의 증강현실 영상 합성을 위한 정보를 수신된 영상에 합성한다.

송신부(270)는 합성된 영상을 클라이언트(100)로 송신하며, 송신된 영상은 클라이언트(100)가 출력할 수 있다. 한편, 정보가 부족하여 수신된 영상의 모든 객체가 인식되지 않았을 경우 송신부(270)는 카메라장치(110)에 더 높은 해상도의 영상을 송신할 것을 요청할 수 있다.

이상과 같이, 본 발명의 바람직한 일 실시예에 따른 증강현실 시스템은 영상의 특징점 추출을 이용한 인식에 실패하더라도, 카메라 장치의 위치 정보에 의해 과거에 촬영했던 로그 또는 다른 카메라 장치를 이용하여 객체를 인식해 내므로, 객체 인식률을 현저하게 높일 수 있다.

도 6은 본 발명의 바람직한 일 실시예에 따른 증강현실 방법을 시간의 흐름에 따라 나타낸 순서도이다.

도 6을 참조하면, 본 발명의 바람직한 일 실시예에 따른 증강현실 방법은 수신 단계(S610), 정보 획득 단계(S620), 특징점 추출 단계(S630), 객체 판단 단계(S640), 참고 영상 요청 단계(S650), 객체 배열 벡터 생성 단계(S660), 객체 배열 벡터 비교 단계(S670), 객체 인식 출력 단계(S680), 고화질 영상 요청 단계(S690), 영상 합성 단계(S700) 및 송신 단계(S710)를 포함할 수 있다.

수신 단계(S610)는 수신부(210)에서 카메라장치(110)가 촬영하는 영상 및 카메라장치(110)의 위치 정보를 수신하는 단계이다.

정보 획득 단계(S620)는 객체 정보 획득부(240)가 데이터베이스(220)에서 정보를 획득하는 단계이다. 획득되는 정보는 수신된 위치 정보와의 거리를 기준으로 결정될 수 있다.

특징점 추출 단계(S630)는 특징점 추출부(251)에서 객체 인식을 위해 수신된 영상의 특징점을 추출하는 단계이다.

객체 판단 단계(S640)는 객체 판단부(253)에서 추출된 특징점을 정보 획득 단계(S620)에서 획득된 정보 중 객체들의 특징점과 비교하여 객체를 인식하는 단계이다.

참고 영상 요청 단계(S650)는 영상 요청부(254)에서 참고 영상을 요청하는 단계이다.

객체 배열 벡터 생성 단계(S660)는 객체 배열 벡터 생성부(255)에서 객체 배열 벡터를 생성하는 단계이다.

객체 배열 벡터 비교 단계(S670)는 객체 배열 벡터 생성부(255)에서 생성된 객체 배열 벡터를 정보 획득 단계(S680)에서 획득된 정보 중 인식된 객체를 포함하는 각 참고 영상의 객체 배열 벡터와 비교하는 단계이다. 객체 배열 벡터 비교 단계(S670)를 통하여 객체 판단 단계(S640)에서 인식에 실패한 객체들을 인식할 수 있게 된다.

객체 인식 출력 단계(S680)는 객체 판단 단계(S640) 및 객체 배열 벡터 비교 단계(S670)에서 인식한 객체들의 정보를 취합하여 출력하는 단계이다.

고화질 영상 요청 단계(S690)는 객체 인식 출력 단계(S680)에서 인식이 성공하지 못한 개체가 존재할 경우 카메라장치(110)에 더 높은 해상도의 영상을 요청하는 단계이다. 더 높은 해상도의 영상이 수신되면, 상기의 단계들을 반복한다.

영상 합성 단계(S700)는 영상 합성부(260)에서 객체 인식 결과를 이용하여 인식된 객체들의 증강현실 영상 합성을 위한 정보를 수신된 영상에 합성하는 단계이다.

송신 단계(S710)는 송신부(270)에서 합성된 영상을 클라이언트(100)로 송신하는 단계이다.

앞서 설명한 기술적 내용들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예들을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 하드웨어 장치는 실시예들의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다는 것을 이해할 것이다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

100: 클라이언트
110: 카메라장치
200: 증강현실 서버
210: 수신부
220: 데이터베이스
230: 로그 데이터베이스
240: 객체 정보 획득부
250: 객체 인식부
251: 특징점 추출부
253: 객체 판단부
254: 영상 요청부
255: 객체 배열 벡터 생성부
257: 객체 배열 벡터 비교부
259: 출력부
260: 영상 합성부
270: 송신부

Claims

수신 영상 및 상기 수신 영상이 촬영된 장소의 위치 정보를 수신하는 수신부;
다수의 객체 정보가 저장되는 데이터베이스;
상기 데이터베이스 내의 객체 정보 중 수신 영상이 촬영된 장소의 위치와 일정 거리 내에 존재하는 객체의 정보를 이용하여 상기 수신 영상 내의 객체를 인식하는 객체 인식부; 및
상기 객체 인식부가 수신 영상의 일부 객체 인식에 실패하면 상기 수신 영상이 촬영된 위치와 일정 거리 이내의 다른 카메라로부터 참고 영상을 요청하는 영상 요청부를 포함하되,
상기 객체 인식부는 수신 영상의 일부 객체 인식에 실패하면, 상기 참고 영상을 이용하여 상기 인식에 실패한 객체의 인식을 재시도하는 것을 특징으로 하는 증강현실 서버.
제1항에 있어서,
다수의 객체 인식 로그 영상이 저장되는 로그 데이터베이스를 더 포함하되,
상기 영상 요청부는 상기 로그 데이터베이스로부터 참고 영상을 더 요청하는 것을 특징으로 하는 증강현실 서버.
제1항에 있어서,
상기 객체 인식부는 상기 수신 영상 내의 인식된 객체 및 인식에 실패한 객체의 위치 관계와 상기 참고 영상 중 상기 인식된 객체가 존재하는 영상 내의 객체간 위치 관계를 이용하여 상기 인식에 실패한 객체의 인식을 재시도하는 것을 특징으로 하는 증강현실 서버.
제3항에 있어서,
상기 객체 인식부는 수신 영상의 일부 객체 인식에 실패하면, 상기 수신 영상 내의 객체 배열 벡터와 상기 참고 영상의 객체 배열 벡터를 비교하여 상기 인식된 객체의 순서가 일치하는 참고 영상에서 상기 인식에 실패한 객체의 위치에 존재하는 객체를 상기 인식에 실패한 객체로 인식하고,
상기 객체 배열 벡터는 임의의 방향에 대한 각 객체의 배열 순서를 나타내는 벡터인 것을 특징으로 하는 증강현실 서버.
제1항에 있어서,
상기 객체 정보는 객체의 특징점 정보를 포함하고,
상기 객체 인식부는 상기 수신 영상에서 특징점 정보를 추출하여 상기 획득된 객체 정보 중 특징점 정보와 비교하여 객체를 인식하는 것을 특징으로 하는 증강현실 서버.
제1항에 있어서,
상기 객체 정보는 상기 증강현실 영상 합성을 위한 정보를 더 포함하며,
상기 증강현실 서버는,
상기 수신 영상과 상기 수신 영상 내의 인식에 성공한 객체의 증강현실 영상 합성을 위한 정보를 합성하는 영상 합성부; 및
상기 합성된 영상을 송신하는 송신부를 더 포함하는 것을 특징으로 하는 증강현실 서버.
제6항에 있어서,
상기 송신부는 상기 객체 인식부가 상기 수신 영상의 모든 객체의 인식에 성공하지 못하면, 더 높은 해상도의 영상을 요청하는 것을 특징으로 하는 증강현실 서버.
영상을 촬영하는 카메라 장치;
상기 촬영된 영상을 송신하는 클라이언트; 및
상기 촬영된 영상을 수신하여 증강현실 영상을 생성하여 클라이언트에게 송신하는 증강현실 서버를 포함하되,
상기 증강현실 서버는,
수신 영상 및 상기 수신 영상이 촬영된 장소의 위치 정보를 수신하는 수신부;
다수의 객체 정보가 저장되는 데이터베이스;
상기 데이터베이스 내의 객체 정보 중 수신 영상이 촬영된 장소의 위치와 일정 거리 내에 존재하는 객체의 정보를 이용하여 상기 수신 영상 내의 객체를 인식하는 객체 인식부; 및
상기 객체 인식부가 수신 영상의 일부 객체 인식에 실패하면 상기 수신 영상이 촬영된 위치와 일정 거리 이내의 다른 카메라로부터 참고 영상을 요청하는 영상 요청부를 포함하되,
상기 객체 인식부는 수신 영상의 일부 객체 인식에 실패하면, 상기 참고 영상을 이용하여 상기 인식에 실패한 객체의 인식을 재시도하는 것을 특징으로 하는 증강현실 시스템.
제8항에 있어서,
다수의 객체 인식 로그 영상이 저장되는 로그 데이터베이스를 더 포함하되,
상기 영상 요청부는 상기 로그 데이터베이스로부터 참고 영상을 더 요청하는 것을 특징으로 하는 증강현실 시스템.
제8항에 있어서,
상기 객체 인식부는 상기 수신 영상 내의 인식된 객체 및 인식에 실패한 객체의 위치 관계와 상기 참고 영상 중 상기 인식된 객체가 존재하는 영상 내의 객체간 위치 관계를 이용하여 상기 인식에 실패한 객체의 인식을 재시도하는 것을 특징으로 하는 증강현실 시스템.
제10항에 있어서,
상기 객체 인식부는 수신 영상의 일부 객체 인식에 실패하면, 상기 수신 영상 내의 객체 배열 벡터와 상기 참고 영상의 객체 배열 벡터를 비교하여 상기 인식된 객체의 순서가 일치하는 참고 영상에서 상기 인식에 실패한 객체의 위치에 존재하는 객체를 상기 인식에 실패한 객체로 인식하고,
상기 객체 배열 벡터는 임의의 방향에 대한 각 객체의 배열 순서를 나타내는 벡터인 것을 특징으로 하는 증강현실 시스템.
제8항에 있어서,
상기 객체 정보는 객체의 특징점 정보를 포함하고,
상기 객체 인식부는 상기 수신 영상에서 특징점 정보를 추출하여 상기 획득된 객체 정보 중 특징점 정보와 비교하여 객체를 인식하는 것을 특징으로 하는 증강현실 시스템.
제8항에 있어서,
상기 객체 정보는 상기 증강현실 영상 합성을 위한 정보를 더 포함하며,
상기 증강현실 서버는,
상기 수신 영상과 상기 수신 영상 내의 인식에 성공한 객체의 증강현실 영상 합성을 위한 정보를 합성하는 영상 합성부; 및
상기 합성된 영상을 상기 클라이언트에게 송신하는 송신부를 더 포함하는 것을 특징으로 하는 증강현실 서버.
제13항에 있어서,
상기 송신부는 상기 객체 인식부가 상기 수신 영상의 모든 객체의 인식에 성공하지 못하면, 상기 클라이언트에게 더 높은 해상도의 영상을 요청하는 것을 특징으로 하는 증강현실 서버.
(a)수신 영상 및 상기 수신 영상이 촬영된 장소의 위치 정보를 수신하는 단계;
(b)상기 수신 영상이 촬영된 장소의 위치와 일정 거리 내에 존재하는 객체 정보를 획득하는 단계;
(c)상기 획득된 객체 정보를 이용하여 상기 수신 영상 내의 객체를 인식하는 단계;
(d)상기 수신 영상의 일부 객체 인식에 실패하면, 상기 수신 영상이 촬영된 장소의 위치와 일정 거리 내에 존재하는 다른 카메라들에게 참고 영상을 요청하는 단계; 및
(e)상기 참고 영상을 이용하여 상기 인식에 실패한 객체의 인식을 재시도하는 단계를 포함하는 것을 특징으로 하는 증강현실 방법.
제13항에 있어서,
상기 (d)단계는,
다수의 객체 인식 로그 영상을 참고 영상으로 더 요청하는 것을 특징으로 하는 증강현실 방법.
제15항에 있어서,
상기 (e)단계는,
상기 수신 영상 내의 인식된 객체 및 인식에 실패한 객체의 위치 관계와 상기 참고 영상 중 상기 인식된 객체가 존재하는 영상 내의 객체간 위치 관계를 이용하여 상기 인식에 실패한 객체의 인식을 재시도하는 것을 특징으로 하는 증강현실 방법.
제17항에 있어서,
상기 (e)단계는,
상기 수신 영상 내의 객체 배열 벡터와 상기 참고 영상의 객체 배열 벡터를 비교하여 상기 인식된 객체의 순서가 일치하는 참고 영상에서 상기 인식에 실패한 객체의 위치에 존재하는 객체를 상기 인식에 실패한 객체로 인식하고,
상기 객체 배열 벡터는 임의의 방향에 대한 각 객체의 배열 순서를 나타내는 벡터인 것을 특징으로 하는 증강현실 방법.
제15항에 있어서,
상기 객체 정보는 객체의 특징점 정보를 포함하고,
상기 (c)단계는,
상기 수신 영상에서 특징점 정보를 추출하여 상기 획득된 객체 정보 중 특징점 정보와 비교하여 객체를 인식하는 것을 특징으로 하는 증강현실 방법.
제15항에 있어서,
상기 (e)단계 이후에,
(f)상기 (e)단계에서 상기 수신 영상의 모든 객체의 인식에 성공하지 못하면, 더 높은 해상도의 영상을 요청하는 단계를 더 포함하는 것을 특징으로 하는 증강현실 방법.
제20항에 있어서,
상기 객체 정보는 상기 증강현실 영상 합성을 위한 정보를 더 포함하며,
상기 (f)단계 이후에,
(g)상기 수신 영상과 상기 수신 영상 내의 인식에 성공한 객체의 증강현실 영상 합성을 위한 정보를 합성하는 단계; 및
(h)상기 합성된 영상을 송신하는 단계를 더 포함하는 것을 특징으로 하는 증강현실 방법.
제15항 내지 제21항 중 어느 한 항의 증강현실 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체.