KR20190022283A - 스트리트 뷰 서비스 방법 및 이러한 방법을 수행하는 장치 - Google Patents

Abstract

본 발명은 스트리트 뷰 서비스 방법 및 이러한 방법을 수행하는 장치에 관한 것이다. 스트리트 뷰 서비스 방법은 스트리트 뷰 서비스 서버가 제1 영상 처리 장치로부터 제1 경로에 대한 제1 경로 영상을 수신하는 단계, 상기 스트리트 뷰 서비스 서버가 상기 제1 경로 영상을 기반으로 상기 제1 경로에 대한 스트리트 뷰 서비스를 위한 제1 사용자 제공 정보를 생성하는 단계와 상기 스트리트 뷰 서비스 서버가 사용자 장치로 상기 제1 사용자 제공 정보를 전송하는 단계를 포함할 수 있다.

Description

스트리트 뷰 서비스 방법 및 이러한 방법을 수행하는 장치{Method for street view service and apparatus for using the method}

본 발명은 스트리트 뷰 서비스 방법 및 이러한 방법을 수행하는 장치에 관한 것이다. 보다 상세하게는 사용자의 영상 촬상 장치를 기반으로 생성된 영상에 대한 후처리를 기반으로 스트리트 뷰 서비스를 제공하는 방법 및 장치에 관한 것이다.

전방향(omnidirectional) 영상 시스템은 특정 시점을 기준으로 모든 방향(360도)의 영상 정보를 기록할 수 있는 영상 시스템을 일컫는다. 기존의 영상 시스템에 비해 매우 넓은 시야각(field-of-view)의 영상을 얻을 수 있기 때문에 근래 들어 컴퓨터 비전, 이동 로봇 등의 연구 분야와 더불어 감시 시스템, 가상 현실 시스템, PTZ(pan-tilt-zoom) 카메라, 영상 회의와 같은 실용 분야에 이르기까지 그 응용의 폭이 점점 더 넓어지고 있다.

전방향 영상을 얻기 위해 다양한 방법이 사용될 수 있다. 예를 들어, 단일 시점(single view point)를 만족하는 광축(optical axis)를 기준으로 하나의 카메라를 회전시키면서 얻은 영상을 접합하여 전방향 영상이 생성될 수 있다. 또는 복수의 카메라를 환형 구조로 배열하여 각각의 카메라에서 얻은 영상을 조합하는 방법이 사용될 수도 있다. 사용자는 다양한 전방향 영상 처리 장치(또는 전방향 영상 처리 카메라, 360도 카메라)를 사용하여 전방향 영상을 생성할 수 있다.

전방향 영상 장치는 다양한 영역에서 활용될 수 있다. 예를 들어, 방범/보안과 같은 전방향의 영상에 대한 감시가 필요한 영역에서 활용될 수도 있고, 여행을 다닐 때 여행자가 방문했던 장소에 대한 기록을 위해 활용될 수도 있다. 이뿐만 아니라, 전방향 영상 장치를 기반으로 촬영된 전방향 영상은 편집되어 상품 판매 영상으로도 활용될 수도 있고, 스트리트 뷰(street view) 서비스와 같은 영상 기반 지도 서비스를 제공하기 위한 영상으로도 활용될 수 있다.

따라서, 사용자가 전방향 영상 처리 장치를 기반으로 생성된 전방향 영상에 대한 다양한 처리를 통해 전방향 영상을 다양한 분야에서 활용하기 위한 기술 개발이 필요하다.

본 발명은 상술한 문제점을 모두 해결하는 것을 그 목적으로 한다.

또한, 본 발명은, 사용자의 영상 처리 장치에 의해 수집된 영상(예를 들어, 전방향 영상)에 대한 후처리를 기반으로 동영상 기반의 스트리트 뷰 서비스를 제공하는 것을 다른 목적으로 한다.

또한, 본 발명은, 복수의 사용자 각각의 복수의 영상 처리 장치 각각에 의해 생성된 복수의 영상에 대한 후처리를 통해 빠른 영상 업데이트 및 다양한 촬상 시점의 스트리트 뷰를 제공하는 스트리트 뷰 서비스를 구현하는 것을 다른 목적으로 한다.

이뿐만 아니라, 본 발명은, 사람이 이동 가능한 다양한 경로(예를 들어, 차량이 지나갈 수 없는 경로(계단, 좁은 골목길 등))에 대한 스트리트 뷰를 제공하는 것을 또 다른 목적으로 한다.

상기 목적을 달성하기 위한 본 발명의 대표적인 구성은 다음과 같다.

본 발명의 일 태양에 따르면, 스트리트 뷰 서비스 방법은 스트리트 뷰 서비스 서버가 제1 영상 처리 장치로부터 제1 경로에 대한 제1 경로 영상을 수신하는 단계, 상기 스트리트 뷰 서비스 서버가 상기 제1 경로 영상을 기반으로 상기 제1 경로에 대한 스트리트 뷰 서비스를 위한 제1 사용자 제공 정보를 생성하는 단계와 상기 스트리트 뷰 서비스 서버가 사용자 장치로 상기 제1 사용자 제공 정보를 전송하는 단계를 포함할 수 있다.

본 발명의 다른 태양에 따르면, 스트리트 뷰 서비스를 위한 스트리트 뷰 서비스 서버는 사용자 장치와 데이터 통신을 위한 통신부; 및 상기 통신부와 동작 가능하게(operatively) 연결된 프로세서를 포함하되, 상기 프로세서는 제1 영상 처리 장치로부터 제1 경로에 대한 제1 경로 영상을 수신하고, 상기 제1 경로 영상을 기반으로 상기 제1 경로에 대한 스트리트 뷰 서비스를 위한 제1 사용자 제공 정보를 생성하고, 사용자 장치로 상기 제1 사용자 제공 정보를 전송하도록 구현될 수 있다.

본 발명에 의하면, 사용자의 영상 처리 장치에 의해 수집된 영상(예를 들어, 전방향 영상)에 대한 후처리를 기반으로 동영상 기반의 스트리트 뷰 서비스가 제공될 수 있다.

또한, 본 발명에 의하면, 복수의 사용자 각각의 복수의 영상 처리 장치 각각에 의해 생성된 복수의 영상에 대한 후처리를 통해 빠른 영상 업데이트 및 다양한 촬상 시점의 스트리트 뷰를 제공하는 스트리트 뷰 서비스가 구현될 수 있다.

이뿐만 아니라, 본 발명에 의하면, 사람이 이동 가능한 다양한 경로(예를 들어, 차량이 지나갈 수 없는 경로(계단, 좁은 골목길 등))에 대한 스트리트 뷰가 제공될 수 있다.

도 1은 본 발명의 실시예에 따른 스트리트 뷰 서비스 제공 시스템을 나타낸 개념도이다.
도 2는 본 발명의 실시예에 따른 영상 처리 장치의 영상 처리 방법을 나타낸 개념도이다.
도 3은 본 발명의 실시예에 따른 프레임 그룹을 나타낸 개념도이다.
도 4는 본 발명의 실시예에 따른 프레임 그룹을 나타낸 개념도이다.
도 5는 본 발명의 실시예에 따른 촬상 위치 정보 결정 방법을 나타낸 개념도이다.
도 6은 본 발명의 실시예에 따른 사용자 제공 영상을 생성하는 방법을 나타낸 개념도이다.
도 7은 본 발명의 실시예에 따른 사용자 제공 영상 생성 방법을 나타낸 개념도이다.
도 8은 본 발명의 실시예에 따른 사용자 제공 영상 생성 방법을 나타낸 개념도이다.
도 9는 본 발명의 실시예에 따른 사용자 제공 영상 생성 방법을 나타낸 개념도이다.
도 10은 본 발명의 실시예에 따른 사용자 제공 영상 생성 방법을 나타낸 개념도이다.
도 11은 본 발명의 실시예에 따른 사용자 제공 영상 생성 방법을 나타낸 개념도이다.
도 12는 본 발명의 실시예에 따른 사용자 제공 영상 생성 방법을 나타낸 개념도이다.
도 13은 본 발명의 실시예에 따른 스트리트 뷰 서비스 방법을 나타낸 개념도이다.
도 14는 본 발명의 실시예에 따른 전방향 영상 처리 장치를 나타낸 개념도이다.
도 15는 본 발명의 실시예에 따른 전방향 영상 처리 장치에 위치한 복수의 영상 촬상부의 특성을 나타낸 개념도이다.
도 16은 본 발명의 실시예에 따른 복수의 영상 촬상부의 촬상선을 나타낸 개념도이다.
도 17은 본 발명의 실시예에 따른 복수의 영상 촬상부의 촬상선을 나타낸 개념도이다.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이러한 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 본 명세서에 기재되어 있는 특정 형상, 구조 및 특성은 본 발명의 정신과 범위를 벗어나지 않으면서 일 실시예로부터 다른 실시예로 변경되어 구현될 수 있다. 또한, 각각의 실시예 내의 개별 구성요소의 위치 또는 배치도 본 발명의 정신과 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 행하여 지는 것이 아니며, 본 발명의 범위는 특허청구범위의 청구항들이 청구하는 범위 및 그와 균등한 모든 범위를 포괄하는 것으로 받아들여져야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 구성요소를 나타낸다.

이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 여러 바람직한 실시예에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.

이하, 본 발명의 실시예의 영상 처리 장치는 전방향 영상 처리 장치를 포함할 수 있다. 전방향 영상 처리 장치는 전방향 영상(또는 360도 영상)을 촬상할 수 있는 전방향 카메라(360도 카메라)를 포함할 수 있다. 이뿐만 아니라 영상 처리 장치는 전방향이 아닌 특정 화각의 영상에 대한 촬상이 가능한 장치일 수도 있다.

또한, 이하, 본 발명의 실시예에서 개시되는 영상 정보, 동영상 정보는 전방향 영상(또는 360도 영상)을 포함할 수 있고, 영상 정보, 동영상 정보는 전방향 영상뿐만 아니라 일정 화각을 가지는 영상을 포함할 수도 있다.

이하, 본 발명의 실시예에서는 설명의 편의상 주로 영상 기반 서비스는 스트리트 뷰 서비스일 수 있다. 스트리트 뷰 서비스는 이동 경로/길 주변의 영상 정보를 제공하는 서비스이다. 사용자는 스트리트 뷰 서비스를 통해 가보지 않은 경로에 대한 영상 정보를 제공받을 수 있다. 또한, 스트리트 뷰는 이동 경로/길 주변의 영상 정보뿐만 아니라, 이동 경로 상에서 이동 가능한 실내(예를 들어, 쇼핑몰, 커피샵)에 대한 영상도 포함하는 의미로 해석될 수 있다.

도 1은 본 발명의 실시예에 따른 스트리트 뷰 서비스 제공 시스템을 나타낸 개념도이다.

도 1에서는 영상 처리 장치에 의해 촬상된 영상을 기반으로 스트리트 뷰 서비스를 제공하기 위한 스트리트 뷰 서비스 제공 시스템이 개시된다.

스트리트 뷰 서비스 제공 시스템은 영상 처리 장치(100), 스트리트 뷰 서비스 서버(120), 사용자 장치(140)를 포함할 수 있다.

영상 처리 장치(100)는 스트리트 뷰 서비스를 제공하기 위한 경로 영상을 생성하기 위해 구현될 수 있다. 영상 처리 장치(100)는 경로에 대한 영상(예를 들어, 경로 및 경로 주변에 대한 전방향 영상)을 생성하기 위해 구현될 수 있다. 예를 들어, 영상 처리 장치(100)는 경로 상에서 이동하고, 경로 및 경로 주변을 촬상하여 경로 영상을 생성할 수 있다. 이하, 경로 영상은 영상 처리 장치(100)에 의해 경로 상의 특정 위치에서 촬상된 전방향 영상, 전방향 이미지들의 집합일 수 있다.

영상 처리 장치(100)는 경로를 이동하면서 경로 영상을 생성할 수 있다. 영상 처리 장치(100)는 경로 영상이 생성된 현재 촬상 위치를 탐지하고 현재 촬상 위치 정보를 생성할 수 있다. 예를 들어, 영상 처리 장치(100)는 현재 촬상 위치 정보를 탐지하고 촬상 위치 정보를 생성하기 위한 위치 정보 생성 모듈(예를 들어, GPS(global positioning system) 모듈)을 포함할 수 있다. 위치 정보 생성 모듈은 현재 영상 처리 장치(100)의 촬상 위치를 탐색하여 촬상 위치 정보를 생성할 수 있다. 경로 영상에 대한 정보와 촬상 위치 정보는 서로 매칭되거나, 경로 영상에 대한 정보에 촬상 위치 정보가 포함되는 형식과 같이 하나의 정보 단위로 생성될 수 있다.

따라서, 이후 영상 후처리 과정 상에서 촬상 위치 정보를 고려하여 경로 영상에 대한 영상 후처리가 수행될 수 있다. 이러한 경로 영상에 대한 영상 후처리를 통해 사용자에게 스트리트 뷰가 제공될 수 있다. 경로 영상에 대한 영상 후처리를 기반으로 사용자에게 스트리트 뷰 서비스를 제공하기 위한 영상은 사용자 제공 영상이라는 용어로 표현될 수 있다.

본 발명의 실시예에 따르면, 영상 처리 장치(100)에 의해 생성된 경로 영상에 포함되는 복수의 프레임 중 적어도 하나의 프레임 각각에 대해 촬상 위치 정보가 대응될 수 있다. 영상 처리 장치(100)는 시간 당 복수의 프레임을 생성할 수 있고, 복수의 프레임 중 적어도 하나의 프레임 각각에 대해 촬상 위치 정보가 대응될 수 있다. 이러한 경로 영상에 포함되는 프레임과 촬상 위치 정보 간의 대응은 영상 처리 장치(100)에 의해 직접 수행될 수도 있고, 스트리트 뷰 서비스 서버(120)에 의해 수행될 수도 있다. 프레임과 촬상 위치 정보 간의 대응 및 영상 처리 장치(100)에 의해 생성된 경로 영상에 대한 후처리는 후술된다.

스트리트 뷰 서비스 서버(120)는 영상 처리 장치(100)로부터 수신한 경로 영상에 대한 정보 및 촬상 위치 정보를 기반으로 사용자 장치(140)로 스트리트 뷰 서비스를 제공할 수 있다.

스트리트 뷰 서비스는 지도 상의 특정 경로에서 촬상된 실제 이미지를 사용자의 사용자 장치(140)를 통해 제공하는 서비스일 수 있다. 기존에는 정지 이미지를 기반으로 스트리트 뷰 서비스가 제공되었으나, 본 발명의 실시예에 따른 스트리트 뷰 서비스에서는 특정 경로 상에서 촬상된 동영상 기반의 전방향 영상이 제공될 수 있다.

스트리트 뷰 서비스에 의해 사용자 장치(140)로 제공되는 사용자 제공 정보는 사용자 제공 영상 정보 및 사용자 장치(140)에서 사용자 입력 정보에 따른 스트리트 뷰 서비스를 제공하기 위한 제어 정보 등을 포함할 수 있다. 사용자 제공 영상 정보는 영상 처리 장치(100)에 의해 촬상된 경로 영상에 대한 후처리를 통해 생성된 영상으로서 사용자 장치(140)로 스트리트 뷰 서비스를 제공하기 위한 후처리된 스트리트 뷰 영상 정보를 포함할 수 있다.

예를 들어, 스트리트 뷰 서비스 서버(120)는 영상 처리 장치(100)로부터 수신한 경로 영상에 대한 후처리를 통해 사용자 장치(140)로 스트리트 뷰 서비스를 제공하기 위한 사용자 제공 정보를 생성할 수 있다. 사용자 제공 정보는 사용자 제공 영상 정보 및 사용자 장치(140)에서 사용자의 입력 정보에 따른 스트리트 뷰 서비스의 제어를 위한 제어 정보(예를 들어, 이동 제어 정보, 탐색 관련 정보 등)를 포함할 수 있다.

스트리트 뷰 서비스 서버(120)는 프레임에 대응되는 촬상 위치 정보를 기반으로 영상 처리 장치(100)로부터 수신한 경로 영상에서 중첩되거나 불필요한 부분을 제외할 수 있다. 또한, 스트리트 뷰 서비스 서버(120)는 이동 경로별 경로 영상에 대한 분할 영상 처리를 통해 사용자 제공 영상 정보를 생성할 수 있다.

예를 들어, 스트리트 뷰 서비스 서버(120)는 영상 처리 장치(100)에 의해 생성된 영상 중 중첩되어 촬영된 부분을 제외하여 사용자 제공 영상을 생성할 수 있다. 중첩되어 촬상된 영상인지 여부는 프레임에 대응되는 촬상 위치 정보를 기반으로 결정될 수 있다.

또한, 스트리트 뷰 서비스 서버(120)는 경로 영상이 촬상된 촬상 위치 정보를 고려하여 경로 별로 경로 영상을 분할하여 경로별 사용자 제공 영상을 생성할 수 있다. 예를 들어, 분기점에서 제1 경로 및 제2 경로로 경로가 분할되는 경우, 제1 경로에 대한 제1 경로 영상을 기반으로 제1 경로에 대한 사용자 제공 영상이 생성되고, 제2 경로에 대한 제2 경로 영상을 기반으로 제2 경로에 대한 사용자 제공 영상이 생성될 수 있다.

또한, 스트리트 뷰 서비스 서버(120)는 사용자 제공 영상 상에서 사용자의 가상 이동을 위한 제어 정보를 생성할 수 있다.

예를 들어, 사용자가 스트리트 뷰 서비스를 제공받는 경우, 사용자 장치(140)를 통해 사용자 제공 영상(또는 스트리트 뷰 영상)이 제공될 수 있고, 사용자 입력 정보에 따라 사용자 제공 영상이 변화되어 사용자가 경로 상을 실제로 이동하는 듯한 시각적인 감각을 제공할 수 있다. 스트리트 뷰 서비스 서버(120)는 사용자 제공 영상 내에 존재하는 경로를 판단하고, 경로 상에서 사용자 인터페이스(이동)을 출력하기 위한 제어 정보를 생성할 수 있다.

또 다른 예를 들어, 스트리트 뷰 서비스 서버(120)는 사용자 제공 영상 내에 존재하는 경로를 판단하고, 경로의 분기점 상에서 사용자 인터페이스(이동)을 출력하기 위한 제어 정보를 생성할 수 있다.

또한, 스트리트 뷰 서비스 서버(120)는 사용자 인터페이스(이동)를 통한 입력 정보를 고려하여 사용자 제공 영상을 매칭하기 위한 제어 정보를 생성할 수 있다. 예를 들어, 스트리트 뷰 서비스 서버(120)는 사용자 제공 영상 내의 분기점에서 사용자 인터페이스(이동)을 띄우고 사용자 인터페이스(이동)을 통해 사용자 입력 정보를 수신하고, 사용자 입력 정보에 따라 사용자에게 사용자 제공 영상을 제공하기 위한 제어 정보를 생성할 수 있다. 제어 정보는 사용자 입력 정보에 의해 지시되는 이동 방향에 대응되는 사용자 제공 영상을 제공하기 위한 정보일 수 있다. 제어 정보를 기반으로 사용자 장치(140)를 통해 지시된 이동 방향에 대한 사용자 제공 영상이 제공되고, 사용자는 경로 상을 가상으로 움직일 수 있다.

스트리트 뷰 서비스 서버(120)는 한번에 사용자 장치(140)로 사용자 제공 영상 및/또는 제어 정보를 제공할 수도 있고, 사용자 장치(140) 상에서 사용자 제공 영상 정보 및 제어 정보에 따라 스트리트 뷰 서비스가 수행될 수 있다.

스트리트 뷰 서비스 서버(120)는 사용자 장치(140)로부터 사용자 제공 영상 요청 정보를 수신하고, 사용자 장치(140)로 요청된 사용자 제공 영상 및/또는 요청된 사용자 제공 영상을 기반으로 스트리트 뷰 서비스를 제공하기 위한 제어 정보를 제공할 수도 있다. 사용자 제공 영상 요청 정보는 사용자 인터페이스를 통해 입력되는 사용자 입력 정보를 기반으로 생성될 수 있다. 또는 스트리트 뷰 서비스 서버(120)는 사용자 장치(140)로부터 사용자 인터페이스(이동)를 통해 사용자 입력 정보를 수신하고, 사용자 입력 정보를 기준으로 일정 시간 내에 사용자에게 요청될 수 있는 사용자 제공 영상을 제공할 수도 있다. 예를 들어, 스트리트 뷰 서비스 서버(120)는 사용자의 현재 위치를 기준으로 임계 이동 거리 내에 해당하는 사용자 제공 영상을 사용자 장치(140)로 제공될 수 있다. 또는 사용자 장치(140)가 사용자 인터페이스(이동)를 통해 제1 방향으로만 이동한 경우, 제1 방향을 기준으로 임계 이동 거리 내에 해당하는 사용자 제공 영상이 사용자 장치(140)로 제공될 수 있다.

스트리트 뷰 서비스 서버(120)는 영상 처리 장치(100) 및 사용자 장치(140)와 데이터 통신을 위한 통신부를 포함하고, 통신부와 동작 가능하게(operatively) 연결된 프로세서를 포함할 수 있다. 이하, 본 발명의 실시예에서 개시된 스트리트 뷰 서비스 서버(120)의 동작은 프로세서를 기반으로 수행될 수 있다.

사용자 장치(140)는 스트리트 뷰 서비스 서버(120)로부터 사용자 제공 정보를 수신하여 스트리트 뷰 서비스를 사용자에게 제공할 수 있다. 전술한 바와 같이 사용자 제공 정보는 사용자 제공 영상 정보 및 제어 정보를 포함할 수 있다.

예를 들어, 사용자 장치(140)는 사용자 제공 정보를 기반으로 사용자 제공 영상을 출력할 수 있다. 또한, 제어 정보를 기반으로 사용자 장치(140)를 통해 제공되는 사용자 제공 영상 상에 사용자 인터페이스(이동)이 출력되고, 사용자 인터페이스(이동)을 통해 입력되는 정보를 기반으로 사용자 장치(140)를 통해 제공되는 사용자 제공 영상이 변화될 수 있다.

예를 들어, 사용자 장치(140)는 전방향 VR(virtual reality)/AR(augmented reality) 기반의 스트리트 뷰 영상을 출력할 수 있고, 사용자의 움직임을 인식할 수 있는 장치일 수 있다. 사용자 장치(140)는 HMD(head mounted display)일 수 있고, 사용자의 손의 움직임을 사용자 입력 정보로서 해석하여 수신할 수 있다. 또는 사용자 장치(140)는 스마트폰, PC(personal computer)와 같은 장치일 수도 있고, 터치/키 기반 사용자 입력 신호를 수신하여 스트리트 뷰 영상을 출력할 수도 있다.

구체적으로 사용자는 사용자 장치(140)를 통해 제공되는 사용자 제공 영상 상에서 사용자 인터페이스(이동)를 통해 이동하고자 하는 방향을 선택하여 경로 상에서 가상으로 이동할 수 있다. 예를 들어, 사용자 제공 영상은 분기점에서 사용자 인터페이스(이동)을 출력할 수 있다. 사용자 인터페이스(이동)에 포함되는 이동하고자 하는 방향을 지시하는 아이콘(또는 이미지)이 사용자의 손에 의해 선택될 수 있다. 사용자 장치(140)는 손의 움직임을 사용자 입력 정보로서 인식하고, 사용자 입력 정보에 대응되는 사용자 제공 영상이 사용자에게 제공될 수 있다.

또는 사용자 장치(140)는 사용자의 다른 신체 부위의 움직임을 사용자 입력 정보로서 인식하고, 이동 제어 정보를 기반으로 사용자에 의해 선택된 특정 방향에 대응되는 사용자 제공 영상이 사용자 장치(140)를 통해 사용자에게 제공될 수 있다.

영사 처리 장치는 전방향에 대한 동영상 정보를 생성 가능한 장치일 수 있고, 본 발명의 실시예에 따른 스트리트 뷰 서비스 서버는 복수의 사용자 각각의 복수의 영상 처리 장치 각각에 의해 생성된 복수의 영상에 대한 후처리를 통해 빠른 영상 업데이트 및 다양한 촬상 시점의 스트리트 뷰를 제공하는 동영상 기반의 스트리트 뷰 서비스를 제공할 수 있다.

이뿐만 아니라, 본 발명의 실시예에 따르면 영상 처리 장치는 웨어러블 장치이고, 영상 처리 장치를 착용한 사람이 이동 가능한 다양한 경로(예를 들어, 차량이 지나갈 수 없는 경로(계단, 좁은 골목길 등))에 대한 스트리트 뷰를 촬상할 수 있다. 즉, 기존의 차량을 통해 수집된 이미지를 기반으로 스트리트 뷰 서비스를 제공하는 것과 다르게 사람이 이동 가능한 경로에 대해 스트리트 뷰 서비스가 제공 가능할 수 있다.

도 2는 본 발명의 실시예에 따른 영상 처리 장치의 영상 처리 방법을 나타낸 개념도이다.

도 2에서는 영상 처리 장치(200)에 의해 생성되는 경로 영상에 대한 정보(또는 동영상 정보, 전방향 영상 정보, 360도 영상 정보)(또는 영상 정보)에 포함되는 복수의 프레임(frame)(또는 픽쳐(picture))에 대응되는 촬상 위치 정보를 결정하기 위한 방법이 개시된다.

영상 처리 장치(200)는 특정 시간 단위(예를 들어, 1초)에 복수개의 프레임을 촬상하여 경로 영상에 대한 정보를 생성할 수 있다. 예를 들어, 영상 처리 장치(200)는 60fps(frame per second), 30fps, 24fps와 같이 일정 시간(예를 들어, 초) 당 복수개의 프레임을 촬상하여 경로 영상에 대한 정보를 생성할 수 있다.

본 발명의 실시예에 따르면, 복수개의 프레임 중 적어도 하나의 프레임에 대응되는 정보로서 프레임을 촬상한 위치에 대한 촬상 위치 정보(또는 지오 태그(geo tag) 정보)가 결정될 수 있다. 즉, 영상 처리 장치(200)에 의해 생성되는 모든 프레임 또는 미리 설정된 프레임에 대응되는 정보로서 촬상 위치 정보가 생성될 수 있다.

영상 처리 장치(200)는 실내 또는 실외에서 경로 영상을 촬상할 수 있다. 영상 처리 장치(200)(또는 별도의 외부 장치)는 실내 또는 실외에서 촬상 위치 정보를 획득할 수 있고, 획득된 촬상 위치 정보는 경로 영상을 구성하는 복수의 프레임 중 적어도 하나의 프레임에 대응될 수 있다.

촬상 위치 정보는 프레임에 대한 파라메터 정보로서 경로 영상에 대한 정보(동영상 비트스트림)의 전송 단위(또는 전송 포맷)에 포함되어 스트리트 뷰 서비스 서버에서 처리될 수 있다. 촬상 위치 정보는 프레임의 파라메터 정보로 포함되어 프레임에 대한 정보를 포함하는 경로 영상에 대한 정보와 함께 전송될 수도 있다. 구체적으로 촬상 위치 정보에 대한 제1 정보 단위, 프레임 정보를 포함하는 제2 정보 단위가 하나의 동영상 비트스트림을 구성할 수 있다.

또는 촬상 위치 정보는 별도의 외부 장치에 의해 생성되어 바로 스트리트 뷰 서비스 서버로 전송될 수도 있고, 스트리트 뷰 서비스 서버에서 영상 처리 장치(200)에 의해 전송된 경로 영상에 대한 정보를 구성하는 복수의 프레임 정보와 결합될 수도 있다.

또는 촬상 위치 정보는 경로 영상에 대한 정보와 분리된 개별적인 정보 포맷(또는 전송 단위)으로 생성될 수도 있다. 예를 들어, 촬상 위치 정보는 프레임 촬상 시간 정보와 대응되어 별도의 정보 포맷으로 생성되고, 경로 영상에 대한 정보는 프레임에 대한 정보 및 프레임에 대응되는 프레임 촬상 시간 정보를 포함할 수 있다. 촬상 위치 정보는 (시간 정보, 촬상 위치 정보)를 포함하고, 경로 영상에 대한 정보는 (시간 정보, 프레임 정보)를 포함하고, 동기화된 시간 정보를 기준으로 촬상 위치 정보와 프레임 정보가 매칭되고 프레임을 촬상한 촬상 위치 정보가 획득될 수 있다.

도 3은 본 발명의 실시예에 따른 프레임 그룹을 나타낸 개념도이다.

도 3에서는 복수의 프레임을 포함하는 프레임 그룹이 개시된다. 프레임 그룹은 복수의 프레임을 포함하는 집합일 수 있다. 도 3에서는 프레임 그룹에 포함되는 복수의 프레임 각각에 대응되는 촬상 위치 정보가 생성되는 경우가 가정된다.

프레임 그룹에 포함되는 복수의 프레임 각각에 대응되는 촬상 위치 정보가 생성될 수 있다. 촬상 위치 정보는 프레임을 촬상한 촬상 위치에 대한 정보일 수 있다. 촬상 위치 정보는 영상 처리 장치에 의해 생성될 수도 있고, 별도의 외부 장치에 의해 생성될 수도 있다.

도 3의 상단을 참조하면, 동일한 시간 자원 상에서 촬상 위치 정보의 개수와 초당 프레임의 개수(예를 들어, 30fps)를 맞추어서 복수의 프레임 각각에 대한 촬상 위치 정보가 생성될 수 있다. 예를 들어, 1초에 30번의 간격으로 촬상 위치 정보가 탐지되어 생성되고 30fps로 생성되는 복수의 프레임 각각에 대응되는 촬상 위치 정보가 대응될 수 있다.

도 3의 중단을 참조하면, 동일한 시간 자원 상에서 촬상 위치 정보의 개수가 초당 프레임의 개수보다 많은 경우, 촬상 위치 정보 중 일부는 무시되고, 프레임과 시간적으로 가장 인접하여 대응되는 촬상 위치 정보가 해당 프레임에 대한 촬상 위치 정보로서 결정될 수 있다. 예를 들어, 1/30초에 생성된 제1 촬상 위치 정보와 1/25초에 생성된 제2 촬상 위치 정보가 존재하는 경우, 1/30초에 생성된 프레임에 대한 촬상 위치 정보는 제1 촬상 위치 정보일 수 있다.

도 3의 하단을 참조하면, 동일한 시간 자원 상에서 촬상 위치 정보의 개수가 초당 프레임의 수보다 적은 경우, 촬상 위치 정보를 기반으로 예측 촬상 위치 정보가 결정되고, 예측 촬상 위치 정보가 프레임에 대한 촬상 위치 정보로서 결정될 수 있다.

예를 들어, 제1 프레임(310)의 촬상시 수신된 촬상 위치 정보가 제1 촬상 위치 정보(315)이고, 그 이후에 제5 프레임(350)의 촬상시 수신된 촬상 위치 정보가 제2촬상 위치 정보(325)일 수 있다.

제1 프레임(310)과 제5 프레임(350)의 사이에서 촬상된 제2 프레임, 제3 프레임, 제4 프레임에 대한 촬상 위치 정보는 제1 촬상 위치 정보(315)로 결정되거나, 제1 촬상 위치 정보(315) 및 제2 촬상 위치 정보(325)를 기반으로 결정될 수 있다. 제1 촬상 위치 정보(315)에 의해 지시되는 제1 위치와 제2 촬상 위치 정보(325)에 의해 지시되는 제2 위치를 직선으로 연결하거나 지도 상의 경로 정보 등을 고려하여 사용자 이동 경로가 설정할 수 있다.

제1 위치와 제2 위치 사이의 사용자 이동 경로가 분할되어 분할된 제1 예측 촬상 위치(360), 제2 예측 촬상 위치(370) 및 제3 예측 촬상 위치(380) 각각이 제2 프레임, 제3 프레임, 제4 프레임에 대한 촬상 위치 정보로서 결정될 수 있다. 예를 들어, 제1 위치와 제2 위치 사이의 사용자 이동 경로가 등간격으로 분할되고 사용자 이동 경로를 등간격으로 분할한 제1 예측 촬상 위치(360), 제2 예측 촬상 위치(370) 및 제3 예측 촬상 위치(380) 각각이 결정될 수 있다. 영상 처리 장치의 이동 속도를 고려하여, 제1 위치와 제2 위치 사이의 사용자 이동 경로가 등간격으로 분할되지 않을 수도 있다.

결정된 제1 예측 촬상 위치(360)는 제2 프레임에 대한 촬상 위치 정보, 제2 예측 촬상 위치(370)는 제3 프레임에 대한 촬상 위치 정보, 제3 예측 촬상 위치(380)는 제4 프레임에 대한 촬상 위치 정보로서 결정될 수 있다.

스트리트 뷰 서비스 서버는 촬상 위치 정보 및 프레임 정보를 수신하고 촬상 위치 정보 및 프레임 정보를 기반으로 사용자 제공 영상을 생성할 수 있다.

도 4는 본 발명의 실시예에 따른 프레임 그룹을 나타낸 개념도이다.

도 4에서는 복수의 프레임을 포함하는 프레임 그룹이 개시된다. 프레임 그룹은 복수의 프레임을 포함하는 집합일 수 있다. 도 4에서는 프레임 그룹에 포함되는 복수의 프레임 중 일부 프레임에만 촬상 위치 정보가 대응되는 경우가 가정된다.

도 4를 참조하면, 복수개의 프레임 중 일부의 프레임에만 대응되는 촬상 위치 정보가 존재하는 경우, 촬상 위치 정보와 대응되는 프레임은 촬상 위치 정보 프레임(400)이라는 용어로 표현될 수 있다.

예를 들어, 영상 처리 장치가 30fps이고, 1초에 2회 찰상 위치 정보가 생성되는 경우, 1초에 생성된 30개의 프레임 중 2개의 프레임이 촬상 위치 정보 프레임(400)일 수 있고, 2개의 촬상 위치 정보 프레임(400) 각각에 생성된 2개의 촬상 위치 정보가 대응될 수 있다.

복수의 프레임 중 촬상 위치 정보 프레임(400)이 지시될 수 있다. 서비스 서버는 촬상 위치 정보 프레임(400)에 대한 지시 정보를 기반으로 촬상 위치 정보를 획득하여 사용자 제공 영상을 생성할 수 있다.

또는 영상 처리 장치는 미리 프레임 그룹에 포함되는 복수의 프레임 중 일부의 프레임을 촬상 위치 정보 프레임(400)으로 미리 설정할 수 있다. 예를 들어, 프레임 그룹에 10개의 프레임이 포함되는 경우, 10개의 프레임(제1 프레임 내지 제10 프레임) 중 제1 프레임(410) 및 제6 프레임(460)이 촬상 위치 정보 프레임(400)으로서 설정될 수 있다. 복수의 프레임 중 촬상 위치 정보 프레임(400)이 지시될 수 있다. 서비스 서버는 촬상 위치 정보 프레임(400)에 대한 지시정보를 기반으로 촬상 위치 정보, 촬상 위치 정보 프레임(400) 및 촬상 위치 정보가 대응되지 않는 나머지 프레임을 기반으로 사용자 제공 영상을 생성할 수 있다. 구체적으로 사용자 제공 영상의 생성을 위해 촬상 위치 정보 프레임에 대한 지시 정보를 기반으로 촬상 위치 정보 프레임이 결정되고, 촬상 위치 정보 프레임에 대응되는 촬상 위치 정보를 기반으로 영상 후처리를 통해 사용자 제공 영상이 생성될 수 있다.

도 5는 본 발명의 실시예에 따른 촬상 위치 정보 결정 방법을 나타낸 개념도이다.

도 5에서는 영상을 촬상하는 영상 처리 장치의 촬상 위치 정보를 결정하기 위한 방법이 개시된다.

도 5를 참조하면, 영상 처리 장치는 GPS(global positioning system)와 같은 위치 측위 모듈을 포함할 수 있고, GPS와 같은 위치 측위 모듈을 기반으로 현재 촬상 위치 정보가 생성될 수 있다.

위치 측위 모듈로 위치 신호(예를 들어, GPS 신호)가 정확하게 수신되는 경우, 영상 처리 장치는 위치 신호를 수신할 수 있고, 위치 신호를 기반으로 현재 촬상 위치 정보가 확인될 수 있다.

또한, 본 발명의 실시예에 따르면, 위치 측위 모듈을 기반으로 현재 위치 정보에 대한 확인이 불가능한 경우, 촬상 위치 정보를 생성하기 위해 영상 처리 장치(또는 사용자)의 이동 정보도 고려될 수 있다.

이동 정보는 시간별 이동 거리, 전체 이동 거리, 이동 속도/이동 방향, 이동 시간 등과 같은 영상 처리 장치의 이동과 관련된 정보를 포함할 수 있다.

영상 처리 장치로의 위치 신호(또는 GPS 신호)의 수신이 끊긴 경우, 이동 정보를 고려하여 촬상 위치 정보가 결정될 수 있다.

예를 들어, 제1 지역(510)은 위치 신호 수신 가능 지역이고, 제2 지역(520)은 위치 신호 수신 불가능 지역일 수 있다. 영상 처리 장치가 제1 지역(510)에서 제2 지역(520)으로 이동할 경우, 위치 신호의 수신이 불가능할 수 있다. 위치 신호 수신이 불가능한 제2 지역(520)에서 이동 정보가 생성되고, 이동 정보에 따라 촬상 위치 정보가 결정될 수 있다.

위치 신호의 수신이 임계 시간 동안 불가능한 경우, 영상 처리 장치는 이동 정보를 생성할 수 있다. 위치 신호를 기반으로 촬상 위치 정보를 결정하는 동작 모드가 제1 모드이고, 이동 정보를 기반으로 촬상 위치 정보를 결정하는 동작 모드가 제2 모드라고 가정하면, 영상 처리 장치는 제1 모드에서 제2 모드로 모드를 전환하여 촬상 위치 정보를 결정할 수 있다.

예를 들어, 영상 처리 장치를 착용한 사용자가 제1 지역(510)에서 제2 지역(520)으로 이동할 경우가 가정될 수 있다. 제1 지역(510)에서는 촬상 위치 정보가 위치 신호를 기반으로 결정될 수 있다. 영상 처리 장치가 제1 지역(510)에서 제2 지역(520)으로 이동되는 경우, 위치 신호의 수신이 불가할 수 있다. 위치 신호의 수신이 불가한 지점이 기준점(550)으로 설정되고, 기준점(550)을 기준으로 이동 정보를 고려하여 촬상 위치 정보가 결정될 수 있다.

구체적으로 위치 신호가 수신되지 않는 경우, 최종 위치 신호 수신 시점에 대해 기준점(550)이 설정되고, 기준점(550)을 기준으로 이동하는 영상 처리 장치의 이동 정보를 고려하여 촬상 위치 정보가 결정될 수 있다. 예를 들어, 기준점(550)을 기준으로 제1 경로(560), 제2 경로(570)를 이동한다고 가정하면, 영상 처리 장치의 제1 경로(560) 상의 이동 정보(이동 방향, 이동 속도, 이동 거리, 전체 이동 거리, 이동 시간 등)를 기반으로 기준점(550)을 기준으로 제1 경로(560) 상의 영상 처리 장치의 촬상 위치 정보가 결정될 수 있다. 또한, 영상 처리 장치의 제2 경로(570) 상의 이동 정보(이동 방향, 이동 속도, 이동 거리, 전체 이동 거리, 이동 시간 등)를 기반으로 기준점(550)을 기준으로 제2 경로(570) 상의 영상 처리 장치의 촬상 위치 정보가 결정될 수 있다.

구체적으로 영상 처리 장치가 제1 경로(560)를 이동하는 경우, 이동 방향(동쪽 방향)으로 이동 시간별 이동 거리가 결정될 수 있고, 이동 방향, 이동 시간별 이동 거리에 따라 기준점을 기준으로 한 이동 시간별 촬상 위치 정보가 결정될 수 있다. 마찬가지로 영상 처리 장치가 제2 경로(570)를 이동하는 경우, 이동 방향(북쪽 방향)으로 이동 시간별 이동 거리가 결정될 수 있고, 이동 방향, 이동 시간별 이동 거리에 따라 기준점을 기준으로 한 이동 시간별 촬상 위치 정보가 결정될 수 있다.

즉, 기준점(550) 및 제1 경로(560) 상의 이동 정보, 제2 경로(570) 상의 이동 정보를 기반으로 영상 처리 장치의 동선이 결정될 수 있다. 기준점(550)을 원점으로 하여 영상 처리 장치의 동선이 좌표 평면(예를 들어, 3차원 좌표) 상에서 결정될 수 있다.

전술한 바와 같이 촬상 위치 정보는 영상 처리 장치에 의해 촬상된 영상(또는 프레임)과 매칭될 수 있고, 사용자 인터페이스(이동)과 매칭되어 사용자 제공 영상을 제공할 수 있다. 스트리트 뷰 서비스 서버는 제1 경로(560) 상의 이동 정보, 제2 경로(570) 상의 이동 정보를 수신하고, 사용자가 사용자 제공 영상 상에서 제1 경로(560) 내지 제2 경로(570) 상에서 이동할 수 있도록 사용자 인터페이스(이동)를 제공할 수 있다.

또한, 스트리트 뷰 서비스 서버는 경로 상에서 이동 정보를 기반으로 결정된 촬상 위치 정보와 촬상된 프레임을 매칭시켜 사용자 제공 영상을 생성할 수 있다. 이동 정보를 기반으로 한 촬상 위치 정보와 프레임 간의 매칭은 구체적으로 후술된다.

이러한 방법을 통해 실외뿐만 아니라, 실내의 영상을 제공할 수도 있다. 예를 들어, 영상 처리 장치가 외부에서 돌아다니다가 실내 쇼핑몰로 이동한 경우, 실내 쇼핑몰 내에서 이동 정보에 따라 사용자 인터페이스(이동)이 제공되고, 실내 쇼핑몰 내부에 대한 영상 정보도 사용자 제공 영상으로서 제공될 수 있다. 즉, 스트리트 뷰 서비스를 제공받는 사용자는 거리를 걷다가 특정 쇼핑몰이나 가게 내부에 대한 영상도 스트리트 뷰로서 제공받을 수 있다. 즉, 본 발명의 실시예에 따른 스트리트 뷰는 외부의 경로 주변의 영상뿐만 아니라, 경로와 연결되는 실내 공간에 대한 영상도 포함할 수 있다.

이동 정보는 이동되는 높이에 대한 정보도 포함할 수 있고, 사용자가 실내에서 에스컬레이터, 엘리베이터를 타고 가는 경우에도 사용자의 위치가 3차원 좌표 상에서 판단될 수 있다.

도 6은 본 발명의 실시예에 따른 사용자 제공 영상을 생성하는 방법을 나타낸 개념도이다.

도 6에서는 이동 정보를 기반으로 결정된 촬상 위치 정보와 프레임 간의 매칭 방법이 개시된다.

도 6을 참조하면, 도 5와 같이 이동 정보가 결정되는 경우, 이동 정보를 기반으로 촬상 위치 정보가 결정될 수 있다. 즉, 이동 정보를 기반으로 영상 처리 장치의 시간에 따른 촬상 위치가 결정될 수 있다.

전술한 바와 같이 이동 정보는 시간별 이동 거리, 전체 이동 거리, 이동 속도/이동 방향 등에 대한 정보를 포함할 수 있다. 기준점이 원점이라고 가정할 경우, 이동 정보를 기반으로 시간별 영상 처리 장치의 위치, 즉, 영상 처리 장치의 시간에 따른 촬상 위치에 대한 정보인 촬상 위치 정보가 결정될 수 있다.

영상 처리 장치가 기준점(0, 0, 0)를 기준으로 0~1초일 때 (a~a', 0, 0) 지점, 1~2초일 때 (b~b', 0, 0) 지점, 2~3초일 때 (c~c', 0, 0) 지점에 위치할 수 있고, 이러한 영상 처리 장치의 위치에 대한 정보가 촬상 위치 정보로서 결정될 수 있다. 설명의 편의상 초 단위로 설정하였으나 초 단위가 아닌 다른 다양한 단위로 촬상 위치 정보가 결정될 수 있다.

영상 처리 장치에 의해 30fps(frame per second)로 촬상이 수행되는 경우, 0~1초에 촬상된 30개의 프레임을 포함하는 제1 프레임 그룹(610)의 경우, 촬상 위치 정보 (a~a', 0, 0)에 대응되고, 1~2초에 촬상된 30개의 프레임을 포함하는 제2 프레임 그룹(620)의 경우, 촬상 위치 정보 (b~b', 0, 0)에 대응되고, 2~3초에 촬상된 30개의 프레임을 포함하는 제3 프레임 그룹(630)의 경우, 촬상 위치 정보 (c~c', 0, 0)에 대응될 수 있다.

영상 처리 장치는 이동 시간에 따라 영상 촬상을 수행하여 시간별 프레임 정보를 생성할 수 있다. 동기화된 시간 정보를 기반으로 (시간, 촬상 위치 정보)와 (시간, 프레임 정보)를 매칭하여 촬상 위치 정보와 프레임 정보가 매칭될 수 있다. 스트리트 뷰 서비스 서버는 동기화된 시간 정보를 기반으로 촬상 위치 정보와 프레임 정보를 매칭하여 사용자 제공 영상을 생성할 수 있다.

도 7은 본 발명의 실시예에 따른 사용자 제공 영상 생성 방법을 나타낸 개념도이다.

도 7에서는 경로 영상 정보에 대한 영상 후처리를 통해 사용자 제공 영상을 생성하는 방법이 개시된다.

본 발명의 실시예에 따른 스트리트 뷰 서비스는 복수의 사용자가 직접 영상 처리 장치를 사용하여 촬상한 경로 영상을 기반으로 제공될 수 있다. 예를 들어, 영상 처리 장치는 웨어러블 장치일 수 있고, 영상 처리 장치를 착용한 복수의 사용자 각각이 특정 경로를 이동하고, 복수의 영상 처리 장치 각각이 경로 주변에 대한 경로 영상을 생성할 수 있다.

스트리트 뷰 서비스 서버는 특정 경로에 대해 하나의 경로 영상(720)만이 존재하는 경우, 하나의 경로 영상(예를 들어, 하나의 전방향 영상)(720)에 대한 영상 후처리를 통해 경로에 대한 사용자 제공 영상(750)을 생성할 수 있다. 스트리트 뷰 서비스 서버는 하나의 경로 영상(720)을 분석하고, 하나의 경로 영상(720)에서 불필요한 프레임을 제거하여 사용자 제공 영상(750)을 생성할 수 있다. 또한, 스트리트 뷰 서비스 서버는 사용자 제공 영상(750)을 생성하기 위해 경로 영상에 대한 후처리를 수행하고 제어 정보를 생성할 수 있다.

스트리트 뷰 서비스 서버는 동일한 경로에 대해 복수의 영상 처리 장치로부터 수신한 복수의 경로 영상(예를 들어, 복수의 전방향 영상)(740)이 존재하는 경우, 복수의 경로 영상(740)에 대한 영상 후처리를 통해 경로에 대한 사용자 제공 영상(750)을 생성할 수 있다. 스트리트 뷰 서비스 서버는 복수의 경로 영상(740)을 분석하고, 복수의 경로 영상(740) 중 사용자 제공 영상(750)을 생성하기 위한 적어도 하나의 선택 경로 영상을 결정하고, 선택 경로 영상에서 불필요한 프레임을 제거할 수 있다. 또한, 스트리트 뷰 서비스 서버는 사용자 제공 영상(750)을 생성하기 위해 선택 경로 영상에 대한 후처리를 수행하고 제어 정보를 생성할 수 있다. 구체적으로 스트리트 뷰 서비스 서버는 경로 영상에 대하여 사용자가 실제 경로를 이동하는 느낌을 가질 수 있도록 경로 영상에 대한 후처리를 수행할 수 있다.

도 8은 본 발명의 실시예에 따른 사용자 제공 영상 생성 방법을 나타낸 개념도이다.

도 8에서는 경로 영상에 대한 영상 후처리를 통해 경로에 대한 사용자 제공 영상을 생성하기 위한 방법이 개시된다. 특히, 사용자 제공 영상을 생성하기 위해 불필요한 프레임을 제거하기 위한 방법이 개시된다.

도 8을 참조하면, 경로 영상은 웨어러블 기반의 영상 처리 장치를 착용한 사용자에 의해 촬상된 영상일 수 있다.

스트리트 뷰 서비스 서버는 사용자 제공 영상을 제공하기 위해 경로 영상(또는 선택 경로 영상)에 포함되는 복수의 프레임 중 불필요한 프레임에 대한 삭제를 수행할 수 있다.

영상 처리 장치가 특정 위치에 계속적으로 머무르는 경우, 영상 처리 장치는 동일한 영역을 촬상할 수 있고, 동일한 영역에 대한 촬상은 불필요한 프레임을 생성시킬 수 있다. 예를 들어, 영상 처리 장치가 A지점(800)에서 정지하여 2초를 머무른 경우, 2초간 동일한 객체에 대한 촬상을 수행한 프레임이 생성될 수 있다.

사용자 제공 영상을 생성하기 위해서는A 지점(800)에서 촬상된 프레임 중 불필요한 프레임에 대한 제거가 필요하다.

서비스 서버는 A 지점(800)에서 촬상되어 생성된 프레임 중 사용자 제공 영상을 생성하기 위해 필요한 프레임을 제외한 나머지 프레임을 제거할 수 있다.

예를 들어, A 지점(800)에서 2초간 120개의 프레임이 촬상된 경우, 120개의 프레임 중 30개의 프레임을 제외한 나머지 90개의 프레임은 서비스 서버에 의해 불필요한 프레임으로 판단되어 제거될 수 있다.

도 9는 본 발명의 실시예에 따른 사용자 제공 영상 생성 방법을 나타낸 개념도이다.

도 9에서는 하나의 경로 영상(예를 들어, 하나의 전방향 영상)에 대한 영상 후처리를 통해 경로에 대한 사용자 제공 영상을 생성하기 위한 방법이 개시된다.

도 9를 참조하면, 스트리트 뷰 서비스 서버는 사용자의 경로를 분석하여 경로 영상에 대한 후 처리를 수행할 수 있다.

스트리트 뷰 서비스 서버는 영상 처리 장치에 의해 촬상된 경로 영상에 대한 분석을 수행할 수 있다. 제1 경로 상에서 영상 처리 장치가 움직이는 상황이 가정될 수 있다. 영상 처리 장치는 웨어러블 장치이고, 사용자에 의해 착용될 수 있다. 영상 처리 장치가 제1 경로 상에서 제1 경로의 중심에서 이동하지 않고 제1 경로의 중심에서 벋어나서 이동하면서 경로 영상을 생성할 수 있다.

따라서, 스트리트 뷰 서비스를 제공받는 사용자에게 경로 중심(900)에서 촬상된 것과 같은 경로 중심 영상을 제공하기 위한 경로 영상에 대한 후처리가 필요하다. 경로 중심 영상은 스트리트 뷰 서비스를 제공받는 사용자에게 일정한 이동 방향(또는 이동 경로)을 기준으로 한 사용자 제공 영상(또는 스트리트 뷰 영상)을 제공할 수 있다.

즉, 영상 처리 장치가 제1 경로 상에서 경로 중심(900)을 이동하지 않은 경우에도 스트리트 뷰 서비스 서버는 촬상된 경로 영상에 대한 영상 후처리를 기반으로 경로 중심 영상을 생성할 수 있다. 스트리트 뷰 서비스 서버는 스트리트 뷰 서비스를 제공시 경로 중심 영상을 사용자에게 제공하고, 사용자 인터페이스(이동)은 경로 중심 영상에 위치하여 사용자 신호를 입력받을 수 있다.

경로 영상에 대한 영상 후처리를 기반으로 경로 중심 영상을 생성하기 위해 스트리트 뷰 서비스 서버는 경로 영상 중 기준 경로 영상을 결정할 수 있다. 기준 경로 영상은 경로 중심을 기준으로 한 임계 범위 내에서 촬상된 영상으로서 경로 중심 영상을 생성하기 위한 기준으로 활용되는 영상일 수 있다. 경로 영상 중 기준 경로 영상을 제외한 경로 영상은 참조 경로 영상이라는 용어로 표현될 수 있다. 스트리트 뷰 서비스 서버는 기준 경로 영상을 기준으로 경로 중심 영상을 생성하되, 참조 경로 영상을 참조할 수 있다.

스트리트 뷰 서비스 서버는 경로 영상에 포함된 경로에 대한 정보를 기반으로 경로 중심을 설정할 수 있다. 경로 영상 내에 사용자가 지나가는 길에 대한 영상 정보가 포함될 수 있고, 스트리트 뷰 서비스 서버는 길에 대한 영상 정보를 기준으로 경로 중심(900)을 설정할 수 있다. 사용자가 지나가는 경로가 5m 폭의 길인 경우, 폭 중앙을 기준으로 한 임계 거리의 영역이 경로 중심(900)으로 설정될 수 있다. 즉, 스트리트 뷰 서비스 서버는 경로 영상 내에서 사용자가 지나가는 것이 가능한 경로의 중심을 판단하고 경로의 중심을 기준으로 임계 거리 영역까지를 경로 중심(900)으로 설정할 수 있다.

스트리트 뷰 서비스 서버는 경로 중심(900)을 결정하기 위해 학습을 수행할 수 있다. 스트리트 뷰 서비스 서버는 다양한 경로 및 다양한 경로의 중심점에 대한 정보를 포함하는 정보를 수신하여 기계 학습을 통해 경로 중심(900)에 대한 판단 기준을 획득할 수 있다.

스트리트 뷰 서비스 서버는 경로 중심(900)에서 촬상된 경로 영상은 기준 경로 영상으로 결정하고, 경로 중심을 벋어나 촬상된 경로 영상은 참조 경로 영상으로 결정할 수 있다. 스트리트 뷰 서비스는 기준 경로 영상이 촬상된 위치에서는 기준 경로 영상을 기반으로 사용자 제공 영상을 생성할 수 있다. 반대로, 스트리트 뷰 서비스는 참조 경로 영상이 촬상된 위치에서는 기준 경로 영상 및 참조 경로 영상을 기반으로 사용자 제공 영상을 생성할 수 있다.

경로 중심에서 경로 영상의 촬상 여부를 고려하여 제1 경로는 적어도 하나의 하위 경로로 분할될 수 있다. 제1 경로는 기준 경로 영상이 촬상된 기준 하위 경로와 참조 경로 영상이 촬상된 참조 하위 경로로 구분될 수 있다. 제1 경로는 기준 하위 경로1(910), 참조 하위 경로1(915), 기준 하위 경로2(920), 참조 하위 경로2(925), 기준 하위 경로3(930)과 같은 하위 경로로 분할될 수 있다. 기준 하위 경로1(910) 상에서 기준 경로 영상1이 촬상되고, 기준 하위 경로2(920) 상에서 기준 경로 영상2가 촬상되고, 기준 하위 경로3(930) 상에서 기준 경로 영상3이 촬상될 수 있다. 참조 하위 경로1(915) 상에서 참조 경로 영상1이 촬상되고, 참조 하위 경로2(925) 상에서 기준 경로 영상2가 촬상될 수 있다.

기준 하위 경로 및 참조 하위 경로를 기반으로 사용자 제공 영상을 생성하기 위한 구체적인 방법이 개시된다.

도 10은 본 발명의 실시예에 따른 사용자 제공 영상 생성 방법을 나타낸 개념도이다.

도 10에서는 하나의 경로 영상(예를 들어, 하나의 전방향 영상)에 대한 영상 후처리를 통해 경로에 대한 사용자 제공 영상을 생성하기 위한 방법이 개시된다.

도 10을 참조하면, 기준 하위 경로(예를 들어, 기준 하위 경로1, 기준 하위 경로2 및 기준 하위 경로3)(1000)에서는 기준 경로 영상(예를 들어, 기준 경로 영상1, 기준 경로 영상2 및 기준 경로 영상3)(1010)을 기반으로 사용자 제공 영상(1020)이 생성될 수 있다. 기준 경로 영상(1010)은 경로 중심에서 촬상된 영상이므로 불필요한 프레임을 제거하여 사용자 제공 영상(1020)을 생성할 수 있다. 불필요한 프레임의 제거는 기준 경로 영상(1010) 및 참조 경로 영상(1040)의 결정 전에 수행될 수도 있다.

참조 하위 경로(예를 들어, 참조 하위 경로1 및 참조 하위 경로2)(1030)에서는 참조 경로 영상(예를 들어, 참조 경로 영상1 및 참조 경로 영상2)(1040) 및/또는 인접한 위치의 기준 경로 영상(예를 들어, 기준 경로 영상1, 기준 경로 영상2 및 기준 경로 영상3)(1010)을 기반으로 사용자 제공 영상(1020)이 생성될 수 있다.

참조 하위 경로1에서 촬상된 참조 경로 영상1에 대한 영상 후처리 없이 사용자 제공 영상을 생성하는 경우, 사용자에게 경로 중심을 기준으로 한 영상을 제공할 수 없다. 따라서, 참조 경로 영상1 및 참조 경로 영상1에 인접하여 촬상된 기준 경로 영상1 및/또는 기준 경로 영상2에 대한 조합을 통해 참조 하위 경로1에 대한 사용자 제공 영상(1020)이 생성될 수 있다.

참조 하위 경로1 상에서 참조 경로 영상1 및 기준 경로 영상1 및/또는 기준 경로 영상2에 대한 조합을 기반으로 경로 정보(1060)와 경로 주변 정보(1070)를 생성하고, 경로 정보(1060)와 경로 주변 정보(1070)를 합쳐서 사용자 제공 영상(1020)이 생성될 수 있다. 경로 정보(1060)는 경로에 대한 영상 정보일 수 있고, 경로 주변 정보(1070)는 경로를 기준으로 한 경로 주변에 대한 영상 정보일 수 있다. 스트리트 뷰 서비스 서버는 경로에 대한 기계 학습을 기반으로 수신한 경로 영상 상에서 경로에 해당하는 부분을 결정할 수 있고, 경로 부분에 해당하는 영상을 추출하여 경로 정보(1060)로서 결정할 수 있다. 또한, 스트리트 뷰 서비스 서버는 경로를 제외한 부분을 경로 주변 정보(1070)로서 결정할 수 있다. 경로 정보(1060)는 경로 이미지 및 경로 이미지가 생성된 위치 정보를 포함할 수 있다. 경로 주변 정보(1070)는 경로 주변 이미지 및 경로 주변 이미지가 생성된 위치 정보를 포함할 수 있다.

구체적으로, 참조 하위 경로1의 경로 정보는 경로 이미지1, 경로 이미지2 및 경로 이미지3 중 적어도 하나의 경로 이미지 기반으로 결정될 수 있다. 경로 이미지1은 기준 하위 경로1과 참조 하위 경로1이 만나는 지점에서 촬상된 기준 경로 영상1에 포함되는 참조 하위 경로1의 경로에 대한 이미지 정보를 포함할 수 있다. 경로 이미지2는 참조 경로 영상1에 포함되는 참조 하위 경로1의 경로에 대한 이미지 정보를 포함할 수 있다. 경로 이미지3는 참조 하위 경로1과 기준 하위 경로2가 만나는 지점에서 촬상된 기준 경로 영상2에 포함되는 참조 하위 경로1의 경로에 대한 이미지 정보를 포함할 수 있다.

스트리트 뷰 서비스 서버는 경로 이미지1, 경로 이미지2 및 경로 이미지3 중 적어도 하나의 이미지를 기반으로 보간/예측 절차를 통해 참조 하위 경로1 상의 경로 정보를 결정할 수 있다. 경로 이미지가 경로 중심에서 좌 또는 우로 치우친 이미지인 경우, 영상 보간/예측을 통해 영상 처리 장치가 경로 중심에 위치한 경우를 가정하여 보간/예측된 경로 이미지를 생성하여 경로 정보(1060)로서 생성할 수 있다. 예를 들어, 영상 처리 장치가 경로 중심에서 좌측으로 이동하여 참조 경로 영상을 생성한 경우, 경로 중심에 위치하였을 경우, 영상 처리 장치의 촬상 범위를 예측하여 참조 경로 영상을 보간할 수 있다. 영상 처리 장치는 전방향 영상을 촬상할 수 있고, 스트리트 뷰 서비스 서버는 전방향 영상의 촬상 중심 지점이 경로 중심으로 이동된 경우, 경로에 해당하는 부분의 영상 변화를 예측하여 영상을 보간하여 경로 정보(1060)를 생성할 수 있다. 영상 변화는 촬상 위치별 촬상되는 경로 이미지의 변화일 수 있다.

또한, 참조 하위 경로1의 경로 주변 정보(1070)는 경로 주변 이미지1, 경로 주변 이미지2 및 경로 주변 이미지3 중 적어도 하나의 경로 주변 이미지 기반으로 결정될 수 있다. 경로 주변 이미지1은 기준 하위 경로1과 참조 하위 경로1이 만나는 지점에서 촬상된 기준 경로 영상1에 포함되는 참조 하위 경로1의 경로 주변에 대한 이미지 정보를 포함할 수 있다. 경로 이미지2는 참조 경로 영상1에 포함되는 참조 하위 경로1의 경로 주변에 대한 이미지 정보를 포함할 수 있다. 경로 이미지3은 참조 하위 경로1과 기준 하위 경로2가 만나는 지점에서 촬상된 기준 경로 영상2에 포함되는 참조 하위 경로1의 경로 주변에 대한 이미지 정보를 포함할 수 있다.

스트리트 뷰 서비스 서버는 경로 주변 이미지1, 경로 주변 이미지2 및 경로 주변 이미지3 중 적어도 하나의 이미지를 기반으로 보간/예측 절차를 통해 참조 하위 경로1 상의 경로 주변 정보(1070)를 결정할 수 있다. 경로 주변 이미지가 경로 중심에서 좌 또는 우로 치우친 이미지인 경우, 영상 보간/예측을 통해 영상 처리 장치가 경로 중심에 위치한 경우를 가정하여 보간/예측된 경로 주변 이미지를 생성하여 경로 주변 정보(1070)로서 생성할 수 있다. 예를 들어, 영상 처리 장치가 경로 중심에서 좌측으로 이동하여 참조 경로 영상을 생성한 경우, 경로 중심에 위치하였을 경우, 영상 처리 장치의 촬상 범위를 예측하여 참조 경로 영상을 보간할 수 있다. 영상 처리 장치는 전방향 영상을 촬상할 수 있고, 스트리트 뷰 서비스 서버는 전방향 영상의 촬상 중심 지점이 경로 중심으로 이동된 경우, 경로 주변에 해당하는 부분의 영상 변화를 예측하여 영상을 보간하여 경로 주변 정보를 생성할 수 있다. 영상 변화는 촬상 위치별 촬상되는 경로 주변 이미지의 변화일 수 있다.

즉, 스트리트 뷰 서비스 서버는 경로 정보(1060)와 경로 주변 정보(1070)를 별도로 생성하고, 위치 정보를 기반으로 경로 정보(1060) 및 경로 주변 정보(1070)를 매칭하여 참조 하위 경로 상에서도 경로 중심을 기준으로 한 사용자 제공 영상을 제공할 수 있다.

도 11은 본 발명의 실시예에 따른 사용자 제공 영상 생성 방법을 나타낸 개념도이다.

도 11에서는 복수의 경로 영상(예를 들어, 복수의 전방향 영상)에 대한 영상 후처리를 통해 경로에 대한 사용자 제공 영상을 생성하기 위한 방법이 개시된다.

도 11을 참조하면, 스트리트 뷰 서비스 서버는 동일한 경로에 대한 복수의 경로 영상(1120)을 수신하고, 복수의 경로 영상(1120)에 대한 영상 후처리를 통해 사용자 제공 영상을 생성할 수 있다.

스트리트 뷰 서비스 서버는 복수의 경로 영상(1120) 중 사용자 제공 영상을 생성하기 위한 적어도 하나의 선택 경로 영상(1140)을 결정할 수 있다.

스트리트 뷰 서비스 서버는 경로 중심을 결정하고, 경로 중심에서 임계 거리 이상 떨어지거나, 사용자 제공 영상을 생성하기 어려운 영상(예를 들어, 사용자의 굽히는 동작에 의해 임계 높이 이하로 촬상된 영상)을 제외하여 선택 경로 영상(1140)을 결정할 수 있다.

스트리트 뷰 서비스 서버는 선택 경로 영상(1140)을 기반으로 사용자 제공 영상(1160)을 생성할 수 있다. 사용자 제공 영상은 다양한 방법을 기반으로 생성될 수 있다.

사용자 제공 영상(1160)은 복수의 선택 경로 영상(1140)의 조합으로 생성될 수 있다.

예를 들어, 경로가 복수의 하위 경로로 분할되고, 복수의 하위 경로 각각에 대해 복수의 최적의 선택 경로 영상(1140) 각각이 결정될 수 있다. 복수의 최적의 선택 경로 영상(1140) 각각은 결합되어 사용자 제공 영상(1160)으로 생성될 수 있다. 이때 복수의 최적의 선택 경로 영상(1140) 각각은 유사한 촬상 환경(촬영 시간, 촬영시 날씨, 광도 등) 상에서 촬상된 영상일 수 있다.

또 다른 방법으로 스트리트 뷰 서비스 서버는 복수의 선택 경로 영상(1140)을 기반으로 경로 정보와 경로 주변 정보를 생성하고, 위치 정보를 기반으로 경로 정보와 경로 주변 정보를 결합하여 사용자 제공 영상(1160)을 생성할 수 있다.

도 10에서 전술한 바와 같이 스트리트 뷰 서비스 서버는 복수의 선택 경로 영상(1140)에서 경로에 해당하는 영상 부분을 추출하여 위치별로 경로 정보를 생성할 수 있다. 또한, 스트리트 뷰 서비스 서버는 복수의 선택 경로 영상(1140)에서 경로 주변에 해당하는 영상 부분을 추출하여 위치별로 경로 주변 정보를 생성할 수 있다.

즉, 스트리트 뷰 서비스 서버는 복수의 선택 경로 영상(1140)을 기반으로 경로 정보와 경로 주변 정보를 별도로 생성하고, 위치 정보를 기반으로 경로 정보 및 경로 주변 정보를 매칭하여 참조 하위 경로 상에서도 경로 중심을 기준으로 한 사용자 제공 영상(1160)을 제공할 수 있다.

스트리트 뷰 서비스 서버는 특정 경로에 대한 경로 영상 정보를 영상 처리 장치로부터 계속적으로 수신할 수 있고, 수신한 경로 영상 정보를 기반으로 사용자 제공 영상을 계속적으로 업데이트할 수 있다.

도 12는 본 발명의 실시예에 따른 사용자 제공 영상 생성 방법을 나타낸 개념도이다.

도 12에서는 복수의 경로 영상(예를 들어, 복수의 전방향 영상)에 대한 영상 후처리를 통해 경로에 대한 사용자 제공 영상을 생성하기 위한 방법이 개시된다.

도 12를 참조하면, 스트리트 뷰 서비스를 통해 시간에 따른 스트리트 뷰 영상을 제공하기 위한 방법이 개시된다.

스트리트 뷰 서비스 서버는 시간대(또는 촬상 환경) 별로 선택 경로 영상(1200)을 조합하여 사용자 제공 영상(1220)을 제공할 수 있다. 예를 들어, 오전에 촬상된 선택 경로 영상을 조합하여 해당 경로의 오전 스트리트 뷰를 사용자 제공 영상(1220)으로서 제공하고, 오후에 촬상된 선택 경로 영상을 조합하여 오후 스트리트 뷰를 사용자 제공 영상(1220)으로서 제공하고, 밤에 촬상된 선택 경로 영상을 조합하여 밤 스트리트 뷰를 사용자 제공 영상(1220)으로서 제공할 수 있다.

사용자는 현재 시간에 따라 현재 시간에 맞는 스트리트 뷰를 사용자 제공 영상(1220)으로서 제공받을 수도 있고, 사용자의 별도의 시점 선택에 따라 시점에 따른 스트리트 뷰를 제공받을 수도 있다.

스트리트 뷰 서비스 서버는 촬상 환경(촬상 시점, 촬상 시점의 날씨 등) 별로 선택 경로 영상을 조합하여 시점별 스트리트 뷰를 생성하여 사용자 제공 영상(1220)으로 제공할 수 있다.

도 13은 본 발명의 실시예에 따른 스트리트 뷰 서비스 방법을 나타낸 개념도이다.

도 13에서는 스트리트 뷰 서비스 서버가 제어 정보를 생성하고, 경로 별로 스트리트 뷰 서비스를 제공하기 위한 방법이 개시된다.

기존의 경로에 대한 정보를 포함하는 지도 정보에 위치에 따른 사용자 제공 영상이 매칭될 수 있고, 스트리트 뷰 서비스 서버는 사용자 장치로부터 지도 정보를 기반으로 특정 위치에 대한 스트리트 뷰 제공 요청을 수신하고, 스트리트 뷰 제공 요청에 따른 사용자 제공 영상(또는 스트리트 뷰 영상)을 사용자 장치로 제공할 수 있다.

스트리트 뷰 서비스 서버는 제어 정보를 제공할 수 있고, 사용자 장치는 제어 정보를 기반으로 사용자 인터페이스(이동)(1300)을 출력하고, 사용자 인터페이스(이동)(1300) 상으로 입력되는 사용자 신호에 따라 사용자 제공 영상을 제공할 수 있다. 구체적으로 이동 방향(남/북)을 가지는 경로일 경우, 사용자 인터페이스(이동)(1300)은 하나의 이동 방향(남/북) 중 어떠한 이동 방향으로 이동할지를 입력받기 위한 사용자 인터페이스일 수 있다.

또한, 사용자 인터페이스(이동)(1300)은 촬상된 영역을 고려하여 생성될 수 있다. 경로 중 가능한 이동 방향(동/서/남/북)이고, 사용자 제공 영상이 동/서/남에 대해서만 제공되는 경우, 북쪽 이동 방향을 제외한 나머지 동/서/남 방향으로 이동 가능하게 하는 사용자 인터페이스(이동)(1300)이 제공될 수 있다.

스트리트 뷰 서비스 서버는 이동 가능한 분기점을 판단하고, 분기점에서 이동 가능한 경로에 대하여 경로별 사용자 제공 영상의 존재 여부를 판단하여 사용자 인터페이스(이동)(1300)을 생성할 수 있다.

이하, 도 14 내지 도 16은 도 1 내지 도 13에서 개시된 영상 처리 장치에 대한 하나의 예시이다. 본 발명의 실시예에 따른 스트리트 뷰 서비스는 다른 다양한 영상 처리 장치에 의해 수행될 수도 있고, 이러한 실시예 또한 본 발명의 권리 범위에 포함된다.

도 14는 본 발명의 실시예에 따른 전방향 영상 처리 장치를 나타낸 개념도이다.

도 14에서는 전방향 영상 처리 장치의 구조가 개시된다.

도 14를 참조하면, 전방향 영상 처리 장치(1400)는 웨어러블 구조로 사용자의 목에 걸 수 있는 목걸이와 유사한 형상일 수 있다. 전방향 영상 처리 장치(1400)는 도 14에서와 같이 일면의 개방된 목걸이의 형상일 수도 있고, 일면이 개방되지 않은 목걸이의 형상일 수도 있다. 이하, 본 발명의 실시예에서는 전방향 영상 처리 장치(1400)가 일면이 개방된 U자 형상을 가지는 것으로 가정한다. 이러한 U자 형상의 전방향 영상 처리 장치(1400)는 사용자의 목에 웨어러블 장치(wearable device) 형태로 걸려 전방향 영상을 촬영할 수 있다.

본 발명의 실시예에서는 설명의 편의상 전방향 영상 처리 장치(1400)가 목걸이 형태(또는 일면이 개방된 목걸이 형태, U자 형태)로서 사용자의 목에 걸리는 경우가 가정된다. 하지만, 전방향 영상 처리 장치(1400)는 단순히 사용자의 목에 거는 형태가 아닐 수도 있다. 예를 들어, 전방향 영상 처리 장치(1400)는 걸거나/부착 가능한 다양한 형태로 사용자의 다른 신체 부위 또는 외부 물체(또는 객체)/장치/구조물 등에 설치되어 전방향 영상을 획득할 수도 있다.

사용자는 웨어러블 장치로서 구현된 전방향 영상 처리 장치(1400)를 목에 걸고 양손이 자유로운 상태에서 전방향 영상의 생성하기 위한 복수의 영상을 획득할 수 있다.

전방향 영상 처리 장치(1400)는 복수개의 영상 촬상부를 포함할 수 있다. 복수개의 영상 촬상부 각각은 전방향 영상 처리 장치에 특정 간격(또는 미리 설정된 간격)으로 위치하여 화각/촬상선에 따른 영상을 개별적으로 촬상할 수 있다. 복수개의 영상 촬상부 각각의 위치는 전방향 영상 처리 장치(1400)에서 고정적일 수도 있으나, 복수개의 영상 촬상부 각각은 이동 가능하고, 복수개의 영상 촬상부 각각의 위치는 변할 수도 있다.

예를 들어, 전방향 영상 처리 장치(1400)는 3개의 영상 촬상부를 포함할 수 있고, 3개의 영상 촬상부는 일정한 화각(field of view)(예를 들어, 120도~180도)으로 전방향 영상을 촬상할 수 있다. 3개의 영상 촬상부는 영상 촬상부1(1410), 영상 촬상부2(1420), 영상 촬상부3(1430)일 수 있다.

이하, 설명의 편의상 3개의 영상 촬상부가 전방향 영상 처리 장치(1400)에 포함된 구조가 개시된다. 하지만, 3개가 아닌 복 수개(예를 들어, 2, 4, 5, 6개 등)의 영상 촬상부가 전방향 영상 처리 장치(1400)에 포함되어, 전방향 영상을 촬상할 수도 있고, 이러한 형태도 본 발명의 권리 범위에 포함된다.

영상 촬상부1(1410), 영상 촬상부2(1420) 및 영상 촬상부3(1430)은 화각에 따라 영상을 촬상할 수 있다. 동일한 시간 자원 상에서 영상 촬상부1(1410)에 의해 영상1이 생성되고, 영상 촬상부2(1420)에 의해 영상2가 생성되고, 영상 촬상부3(1430)에 의해 영상3이 생성될 수 있다. 영상 촬상부1(1410), 영상 촬상부2(1420), 영상 촬상부3(1430) 각각의 화각은 120도 이상일 수 있고, 영상1, 영상2 및 영상3에서는 중첩된 촬상 영역이 존재할 수 있다. 이후, 전방향 영상 처리 장치(1400)에 의해 동일한 시간 자원 상에서 촬상된 영상1 및 영상2 및 영상3을 스티칭/보정하여 전방향 영상이 생성될 수 있다. 복수의 영상에 대한 스티칭 및/또는 보정 절차는 전방향 영상 처리 장치 자체에서 수행될 수도 있고, 전방향 영상 처리 장치(1400)와 통신 가능한 사용자 장치(스마트 폰)을 기반으로 수행될 수도 있다. 즉, 생성된 복수 영상에 대한 추가적인 영상 처리 절차들은 전방향 영상 처리 장치(1400) 및/또는 다른 영상 처리 장치(스마트폰, PC(personal computer) 등)에 의해 수행될 수도 있다.

이하, 전방향 영상 처리 장치의 구체적인 특징 및 전방향 영상 생성 방법이 구체적으로 개시된다.

도 15는 본 발명의 실시예에 따른 전방향 영상 처리 장치에 위치한 복수의 영상 촬상부의 특성을 나타낸 개념도이다.

도 15에서는 U자형의 전방향 영상 처리 장치에 위치한 복수개의 영상 촬상부의 특징이 개시된다. 도 15에서 개시되는 영상 촬상부의 위치는 예시적인 것이다. 복수의 영상 촬상부 각각은 전방향 영상의 생성을 위한 복수의 영상을 촬상하기 위해 전방향 영상 처리 장치 상의 다양한 위치에 위치할 수 있다.

도 15의 상단에서는 전방향 영상 처리 장치의 후면부가 개시된다.

전방향 영상 처리 장치에 포함된 영상 촬상부1(1510) 및 영상 촬상부2(1520)는 전방향 영상 처리 장치에서 곡률이 존재하는 휘어진 부분에 위치할 수 있다. 구체적으로 사용자가 웨어러블 장치로서 전방향 영상 처리 장치를 목에 거는 경우, 목의 뒷부분과 접촉되는 휘어진 영역에 영상 촬상부1(1510) 및 영상 촬상부2(1520)가 위치할 수 있다. 예를 들어, U자형의 전방향 영상 처리 장치의 최대 곡률 지점(예를 들어, U자형의 중간 부분)을 기준으로 영상 촬상부1(1510) 및 영상 촬상부2(1520)가 일정 거리 상에 위치할 수 있다.

영상 촬상부1(1510)은 사용자의 시선(line of sight) 방향을 기준으로 후면 좌측 사각 영역을 포함하는 영역을 촬상할 수 있다. 영상 촬상부2(1520)는 사용자의 시선을 기준으로 후면 우측 사각 영역을 포함하는 영역을 촬상할 수 있다. 구체적으로 영상 촬상부1(1510)은 제1 화각을 가지고, 제1 화각에 해당하는 영역에 대한 촬상을 수행할 수 있다. 영상 촬상부2(1520)는 제2 화각을 가지고, 제2 화각에 해당하는 영역에 대한 촬상을 수행할 수 있다. 예를 들어, 제1 화각 및 제2 화각은 120~180도일 수 있다.

영상 촬상부1(1510) 및 영상 촬상부2(1520)에 의한 촬상이 수행될 경우, 제1 화각과 제2 화각에 의해 중첩되는 제1 중첩 영역(1515)이 발생할 수 있다. 이후 중첩 영역을 고려한 스티칭을 기반으로 전방향 영상이 생성할 수 있다.

도 15의 하단에서는 전방향 영상 처리 장치의 전면부가 개시된다.

전방향 영상 처리 장치의 전면부에는 영상 촬상부3(1530)이 위치할 수 있다. 구체적으로 영상 촬상부3(1530)은 전방향 영상 처리 장치의 말단부(U자형의 끝(말단) 부분)에 위치할 수 있다. 사용자가 전방향 영상 처리 장치를 웨어러블 장치로서 목에 거는 경우, U자형의 전방향 영상 처리 장치의 말단 부분은 사용자의 전면 방향(사용자의 시선이 바라보는 방향)에 위치할 수 있다. 전방향 영상 처리 장치는 제1 말단부와 제2 말단부를 포함하고, 영상 촬상부3(1530)은 제1 말단부와 제2 말단부 중 하나의 말단부에 위치할 수 있다.

영상 촬상부3(1530)은 사용자의 시선의 방향과 동일한 방향으로 촬상을 수행하여 사용자의 시선에 해당하는 영역에 대한 촬상을 수행할 수 있다.

구체적으로 영상 촬상부3(1530)은 제3 화각을 가지고, 제3 화각에 해당하는 영역에 대한 촬상을 수행할 수 있다. 예를 들어, 제3 화각은 120도~180도일 수 있다. 영상 촬상부3(1530)에 의한 촬상이 수행될 경우, 영상 촬상부1(1510)의 제1 화각과 영상 촬상부3(1530)의 제3 화각에 의한 제2 중첩 영역(1525)이 발생할 수 있다. 영상 촬상부3(1530)에 의한 촬상이 수행될 경우, 영상 촬상부2(1520)의 제2 화각과 영상 촬상부3(1530)의 제3 화각에 의한 제3 중첩 영역(1535)이 발생할 수 있다.

목에 거는 웨어러블 장치의 구조상 목에 전방향 영상 처리 장치가 걸리는 경우, 영상 촬상부1(1510), 영상 촬상부2(1520)는 지면을 기준으로 영상 촬상부3(1530)보다 상대적으로 높은 곳에 위치할 수 있다. 또한, 영상 촬상부3(1530)은 한쪽 말단부에만 위치하게 된다.

기존의 전방향 영상 처리 장치에서는 동일한 높이에 위치한 복수개의 영상 촬상부가 일정한 각도를 가지고 구현되는데 반하여 본 발명의 실시예에 따른 전방향 영상 처리 장치는 복수의 영상 촬상부 간의 각도도 다르고 위치한 높이도 서로 다를 수 있다. 따라서, 복수의 영상 촬상부 각각에 의해 생성된 복수의 영상에 대한 제1 중첩 영역(1515), 제2 중첩 영역(1525) 및 제3 중첩 영역(1535)의 크기/형태가 서로 다를 수 있다.

이후, 제1 중첩 영역(1515)/제2 중첩 영역(1525)/제3 중첩 영역(1535)을 고려한 영상 촬상부1(1510), 영상 촬상부2(1520) 및 영상 촬상부3(1530) 각각에 의해 생성된 영상1, 영상2 및 영상 3에 대한 영상 처리 절차(스티칭/보정 등)을 기반으로 전방향 영상이 생성될 수 있다.

제1 화각, 제2 화각, 제3 화각의 크기는 동일하게 설정될 수도 있지만, 서로 다르게 설정될 수도 있고 이러한 실시예 또한 본 발명의 권리 범위에 포함된다.

도 16은 본 발명의 실시예에 따른 복수의 영상 촬상부의 촬상선을 나타낸 개념도이다.

도 16에서는 전방향 영상 처리 장치에 설치된 복수의 영상 촬상부 각각의 촬상선이 개시된다. 지면을 X축과 Z축이 이루는 XZ 평면과 평행하다고 가정하는 경우, 촬상선은 X축/Y축/Z축으로 표현되는 공간 상에서 전방향 영상 처리 장치에 포함된 복수의 영상 촬상부 각각의 렌즈의 중앙을 수직으로 관통하는 선으로 정의될 수 있다.

기존의 전방향 영상 처리 장치는 동일한 높이에 복수의 영상 촬상부를 일정한 각도(예를 들어, 120도)로 구현될 수 있다. 이러한 경우, 기존의 전방향 영상 처리 장치에 포함된 복수의 영상 촬상부의 복수의 촬상선은 지면(또는 XZ 평면)에 평행하고 복수의 촬상선 간에 일정한 각도(예를 들어, 120도)를 가지는 복수의 선일 수 있다.

본 발명의 실시예에 따른 전방향 영상 처리 장치는 전술한 바와 같이 복수의 영상 촬상부의 높이(또는 복수의 영상 촬상부의 구현된 위치) 및 복수의 영상 촬상부 간의 각도(또는 촬상선 간에 이루는 각도)가 촬상시에 서로 다를 수 있다. 따라서, 본 발명의 실시예에 따른 전방향 영상 처리 장치의 촬상선의 특성은 기존의 전방향 영상 처리 장치의 촬상선의 특성과는 차이가 있다.

도 16에서 표현되는 복수의 영상 촬상부 각각의 촬상선은 웨어러블 디바이스의 특성으로 인한 복수의 영상 촬상부 각각의 촬상선 간의 특성(예를 들어, 높이, 각도)의 차이를 보여주기 위한 예시일 수 있다. 또한, 도 16에서 표현되는 촬상선은 전방향 영상 처리 장치를 착용한 사용자에 의한 움직임이 없거나 전방향 영상 처리 장치가 특정 상태에서 고정된 경우의 촬상선일 수 있다.

도 16의 상단은 영상 촬상부1(1610) 및 영상 촬상부2(1620)의 촬상선을 개시한다.

영상 촬상부1(1610) 및 영상 촬상부2(1620)는 영상 촬상부3(1630)보다 상대적으로 높은 위치에 구현될 수 있다. 전방향 영상 처리 장치를 착용한 사용자의 서있는 방향이 Y축 방향이라고 가정하는 경우, 목에 거는 웨어러블 디바이스의 구조상 전방향 영상 처리 장치에서 영상 촬상부1(1610) 및 영상 촬상부2(1620)가 위치한 곡률을 가지는 부분(U자에서 곡선/중앙 부분)이 상대적으로 올라가고 영상 촬상부3(1630)이 위치한 다리 부분(U자에서 말단 부분)이 상대적으로 아래로 내려갈 수 있다.

예를 들어, 영상 촬상부1(1610)의 촬상선1(1615)은 XZ 평면과 평행하되, Y축의 좌표 a에서 X축과 제1 각도1, Y축과 제2 각도, Z축과 제3 각도를 가질 수 있다.

영상 촬상부2(1620)의 촬상선2(1625)는 XZ 평면과 평행하되, Y축의 지점 a에서 X축과 제4 각도, Y축과 제5 각도, Z축과 제6 각도를 가질 수 있다.

도 16의 하단을 참조하면, 영상 촬상부3(1630)의 촬상선3(1635)은 XZ 평면과 평행하고, Y축의 좌표 b에서 X축과 제7 각도, Y축과 제8 각도, Z축과 제9 각도를 가질 수 있다. b는 a보다 작은 값일 수 있다. 영상 촬상부3(1630)의 촬상선3(1635)은 XZ 평면과 평행하고 사용자의 시선과 동일하게 전면(예를 들어, XY 평면과 수직한 방향)을 바라보도록 구현될 수 있다.

즉, 촬상선1(1615) 및 촬상선2(1625)는 Y 축을 기준으로 동일한 높이를 가지고, 촬상선3(1635)은 Y 축을 기준으로 촬상선1 및 촬상선2보다 상대적으로 낮은 위치에 위치할 수 있다. 도 13에서 개시된 촬상선1(1615), 촬상선2(1625) 및 촬상선3(1635)은 서로 다른 특성을 가지는 촬상선에 대한 하나의 예시이고, 다른 다양한 촬상선이 정의되고 전방향 영상이 촬상될 수 있다.

도 17은 본 발명의 실시예에 따른 복수의 영상 촬상부의 촬상선을 나타낸 개념도이다.

도 17에서는 도 16과 다른 복수의 영상 촬상부의 촬상선이 개시된다. 마찬가지로 도 17에서도 지면이 X축과 Z축이 이루는 XZ 평면과 평행하다고 가정한다.

도 17의 상단은 영상 촬상부1(1710) 및 영상 촬상부2(1720)의 촬상선을 개시한다.

영상 촬상부1(1710) 및 영상 촬상부2(1720)는 영상 촬상부3(1730)보다 상대적으로 높은 위치에 구현될 수 있다. 마찬가지로, 사용자가 서있는 방향이 Y축 방향이라고 가정하는 경우, 목에 거는 웨어러블 디바이스의 구조상 전방향 영상 처리 장치는 영상 촬상부1(1710) 및 영상 촬상부2(1720)가 위치한 곡률을 가지는 부분(U자에서 곡선 부분)이 상대적으로 올라가고 영상 촬상부3(1730)이 위치한 다리 부분(U자에서 말단 부분)이 상대적으로 아래로 내려간 형태로 영상을 촬상할 수 있다.

예를 들어, 영상 촬상부1(1710)의 촬상선1(1715)은 XZ 평면과 평행하되, Y 축의 좌표 a에서 X축과 제1 각도1, Y축과 제2 각도, Z축과 제3 각도를 가질 수 있다.

영상 촬상부2(1720)의 촬상선2(1715)는 XZ 평면과 평행하되, Y 축의 좌표 a에서 X축과 제4 각도, Y축과 제5 각도, Z축과 제6 각도를 가질 수 있다.

도 17의 하단은 영상 촬상부3(1730)의 촬상선을 개시한다.

영상 촬상부3(1730)의 촬상선3(1735)는 XZ 평면과 평행하지 않을 수 있고, Y 축의 좌표 b를 시작 지점으로 하여 X축과 제7 각도, Y축과 제8 각도, Z축과 제9 각도를 가질 수 있다.

영상 촬상부3(1730)은 전방향 영상 처리 장치의 말단부에 위치하기 때문에 촬상선은 XZ 평면과 평행하지 않고, XZ 평면과 일정한 각도(예를 들어, 0~30도)를 가질 수 있다.

즉, 촬상선1(1715) 및 촬상선2(1725)는 Y 축을 기준으로 동일한 높이를 가지고, 촬상선3(1735)은 Y 축을 기준으로 촬상선1(1715) 및 촬상선2(1725) 보다 상대적으로 낮은 위치에 위치할 수 있다. 또한, 촬상선 1(1715) 및 촬상선2(1725)는 XZ 평면과 평행하나, 촬상선3(1735)은 XZ 평면과 평행하지 않을 수 있다.

본 발명의 다른 실시예로, 예를 들어, 영상 촬상부1의 촬상선1은 XZ 평면과 제1' 각도를 이루고 Y 축의 좌표 a를 시작 지점으로 하여 X축과 제1 각도1, Y축과 제2 각도, Z축과 제3 각도를 가질 수 있다. 또한, 영상 촬상부2의 촬상선2는 XZ 평면과 제1' 각도를 이루고 Y 축의 좌표 a를 시작 지점으로 하여 X축과 제4 각도, Y축과 제5 각도, Z축과 제6 각도를 가질 수 있다. 영상 촬상부3의 촬상선3는 XZ 평면과 제2' 각도를 이루고 Y 축의 좌표 b를 시작 지점으로 하여 X축과 제7 각도, Y축과 제8 각도, Z축과 제9 각도를 가질 수 있다.

본 발명의 또 다른 실시예로, 예를 들어, 영상 촬상부1의 촬상선1은 XZ 평면과 제1' 각도를 이루고 Y 축의 좌표 a를 시작 지점으로 하여 X축과 제1 각도1, Y축과 제2 각도, Z축과 제3 각도를 가질 수 있다. 또한, 영상 촬상부2의 촬상선2는 XZ 평면과 제2' 각도를 이루고 Y 축의 좌표 a를 시작 지점으로 하여 X축과 제4 각도, Y축과 제5 각도, Z축과 제6 각도를 가질 수 있다. 영상 촬상부3의 촬상선3는 XZ 평면과 제3' 각도를 이루고 Y 축의 좌표 b를 시작 지점으로 하여 X축과 제7 각도, Y축과 제8 각도, Z축과 제9 각도를 가질 수도 있다.

즉, 복수의 영상 촬상부 각각의 촬상선이 기존의 동일한 Y 축 지점에서 지면과 동일한 각도를 가지는 영상 처리 장치와 다르게 본 발명의 실시예에 따른 전방향 영상 처리 장치는 복수의 영상 촬상부 각각의 촬상선이 서로 다른 Y 축 지점에서 위치하고, 지면(또는 XZ 평면)과 서로 다른 각도를 가질 수 있다.

이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.

이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항과 한정된 실시예 및 도면에 의하여 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위하여 제공된 것일 뿐, 본 발명이 상기 실시예에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정과 변경을 꾀할 수 있다.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (1)

1. 스트리트 뷰 서비스 방법은,
   스트리트 뷰 서비스 서버가 제1 영상 처리 장치로부터 제1 경로에 대한 제1 경로 영상을 수신하는 단계;
   상기 스트리트 뷰 서비스 서버가 상기 제1 경로 영상을 기반으로 상기 제1 경로에 대한 스트리트 뷰 서비스를 위한 제1 사용자 제공 정보를 생성하는 단계; 및
   상기 스트리트 뷰 서비스 서버가 사용자 장치로 상기 제1 사용자 제공 정보를 전송하는 단계를 포함하는 것을 특징으로 하는 방법.

Images