KR100926231B1 - 360도 동영상 이미지 기반 공간정보 구축 시스템 및 그구축 방법 - Google Patents

360도 동영상 이미지 기반 공간정보 구축 시스템 및 그구축 방법 Download PDF

Info

Publication number
KR100926231B1
KR100926231B1 KR1020070140880A KR20070140880A KR100926231B1 KR 100926231 B1 KR100926231 B1 KR 100926231B1 KR 1020070140880 A KR1020070140880 A KR 1020070140880A KR 20070140880 A KR20070140880 A KR 20070140880A KR 100926231 B1 KR100926231 B1 KR 100926231B1
Authority
KR
South Korea
Prior art keywords
frame
video
segment
user
spatial information
Prior art date
Application number
KR1020070140880A
Other languages
English (en)
Other versions
KR20090072688A (ko
Inventor
김병재
김남규
이용기
Original Assignee
주식회사 케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티 filed Critical 주식회사 케이티
Priority to KR1020070140880A priority Critical patent/KR100926231B1/ko
Publication of KR20090072688A publication Critical patent/KR20090072688A/ko
Application granted granted Critical
Publication of KR100926231B1 publication Critical patent/KR100926231B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/04Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968Systems involving transmission of navigation instructions to the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Studio Devices (AREA)
  • Instructional Devices (AREA)

Abstract

본 발명은 360도 동영상 이미지 기반 공간정보 구축 시스템 및 그 구축 방법을 개시한다.
본 발명의 동영상 이미지 기반 공간정보 구축 시스템은 각 프레임별로 GPS 좌표 데이터를 갖는 동영상 정보를 획득하는 데이터 취득부; 및 상기 GPS 좌표 데이터를 이용하여 사용자가 요구한 위치의 동영상 정보를 제공하는 디스플레이부를 포함하며, 360도 동영상 카메라로 촬영된 동영상 정보를 이용하여 실 세계 기반의 공간정보를 구축 및 활용함으로써 사용자가 가상공간 상에서도 실 세계 기반의 네비게이션이 가능하도록 해준다.

Description

360도 동영상 이미지 기반 공간정보 구축 시스템 및 그 구축 방법{Spatial information construction system and method using spherical video images}
본 발명은 3차원 공간정보를 구축하기 위한 시스템 및 방법에 관한 것으로서, 보다 상세하게는 360도 동영상 카메라로 촬영된 360도 구형(spherical) 영상 정보를 활용하여 실 세계 기반의 3차원 공간정보를 구축하는 시스템 및 방법에 관한 것이다.
인터넷 분야가 새로운 산업분야로 부각되고 이에 따른 각종 서비스와 비즈니스가 활성화되고 있는 시점에서 멀티미디어의 기능과 효과들이 놀라운 성장세를 보이고 있다. 이러한 인터넷 분야에서 최근 주목을 받고 있는 것들 중 하나가 3차원 지리 정보 서비스이다. 즉, 항공사진촬영, 정밀 측량 등 GIS(Geographic Information System) 기술을 활용하여 구축된 공간정보를 이용하여 인터넷 상에서 3차원 지도를 제공하고 이를 기반으로 길 찾기, 지역정보 검색 등을 수행하는 새로운 형태의 서비스가 최근 주목받고 있다.
아울러 3차원 지도에 부가하여 주요 도로의 사진 이미지를 파노라마 형태로 연결하여 제공해주는 서비스도 등장하고 있다. 그러나, 이러한 지리 정보 서비스 구현 방법은 복수개의 카메라로 촬영된 영상 정보들을 합성시켜 구현한 것으로 비용이 많이 소요되며 제작 기간이 길어지는 문제가 있었다.
또한, 종래의 360도 영상 서비스는 지도정보와 연동된 특정 지점에서의 360도 영상만을 제공해 줄 뿐 사용자의 위치 변화에 따라 능동적으로 그 변화된 위치에서의 360도 영상을 실시간으로 제공해주지는 못하고 있다.
본 발명은 360도 동영상 카메라로 촬영된 실 세계(real world) 기반 360도 구형(spherical) 영상 정보를 활용하여 사용자의 위치 변화에 따라 능동적으로 그 변화된 위치에서의 360도 영상을 실시간으로 제공해줄 수 있는 실 세계 기반의 가상의 3차원 공간정보를 구축하고자 한다.
본 발명의 동영상 이미지 기반 공간정보 구축 시스템은 각 프레임별로 GPS 좌표 데이터를 갖는 동영상 정보를 획득하는 데이터 취득부; 및 상기 GPS 좌표 데이터를 이용하여 사용자가 요구한 위치의 동영상 정보를 제공하는 디스플레이부를 포함한다.
본 발명의 동영상 이미지 기반 공간정보 구축 방법은 각 프레임별로 GPS 좌표 데이터를 갖는 동영상 정보를 획득하는 동영상 획득단계; 및 상기 GPS 좌표 데이터를 이용하여 사용자가 요구한 위치의 동영상 정보를 제공하는 디스플레이단계를 포함한다.
본 발명은 360도 동영상 카메라를 이용하여 촬영된 동영상 정보를 이용하여 실 세계 기반의 공간정보를 구축 및 활용함으로써 사용자가 가상공간 상에서도 실 세계 기반의 네비게이션이 가능하도록 해준다.
이하, 첨부된 도면들을 참조하여 본 발명의 바람직한 실시예를 보다 상세하게 설명한다.
도 1은 본 발명에 따른 360도 동영상 이미지 기반 공간정보 구축 시스템의 구성을 나타내는 구성도이다.
본 발명의 공간정보 구축 시스템은 데이터 취득부(10), 균일화부(20), 분할부(30), 디스플레이부(40) 및 DB(50)를 구비한다.
데이터 취득부(10)는 각 촬영경로 별로 360도 동영상 카메라(1)를 이용하여 360도 이미지로 구성된 동영상을 취득하고 이와 함께 GPS 수신기(2)를 이용하여 360도 동영상의 각 프레임에 대한 GPS 좌표 데이터를 취득한다. 도 2a는 현재 상용되고 있는 360도 동영상 카메라들 중 본 발명을 위해 사용된 카메라의 모습을 나타내는 도면이며, 도 2b는 도 2a의 카메라로 촬영된 360도 구형 영상을 평면적으로 나타낸 모습을 보여주는 도면이다. 도 2a와 같은 360도 동영상 카메라는 단일 카메라에 복수개(예컨대, 6개)의 렌즈들이 구비되어 한번 촬영으로 도 2b와 같이 주변 환경에 대한 360도 영상 정보를 획득한 후 이를 결합시켜 3차원 정지영상 및 동영상을 획득할 수 있도록 해준다. 본 실시예에서는 3차원 동영상을 획득하기 위한 수단으로서 도 2a와 같은 360도 동영상 카메라를 사용하고 있으나 이에 한정되지는 않는다. 또한, 본 발명은 360도 동영상 자체를 얻는 것이 목적이 아니라 획득된 360도 동영상을 활용하여 공간정보를 구축하는 것을 목적으로 하므로, 이하에서는 360도 영상 자체를 획득하는 방법에 대해서는 구체적으로 언급하지 않는다. 데이터 취득부(10)는 360도 동영상 카메라(1)를 통해 획득된 360도 동영상의 각 프레임에 대한 GPS 좌표 데이터를 GPS 수신기(2)를 통해 취득한 후 이를 도 3에서와 같이 360도 동영상의 해당 프레임과 매칭시켜 각 촬영경로 별로 DB(50)에 저장한다. 도 1에서는 데이터 취득부(10)가 360도 동영상 카메라(1) 및 GPS 수신기(2)와 분리된 별개의 구성으로 표시되어 있으나, 데이터 취득부(10)가 360도 동영상 카메라(1)와 GPS 수신기(2)를 모두 포함할 수 있다.
균일화부(20)는 데이터 취득부(10)에서 취득된 360도 동영상을 그 촬영 거리를 기준으로 균일화시킨다. 도로 주변에 대한 360도 동영상을 얻기 위해서는 도 4에서와 같이 차량에 360도 동영상 카메라(1)를 장착한 후 도로를 주행하면서 주행된 도로의 주변 환경을 촬영하게 된다. 그런데, 카메라(1)는 일정 시간 간격으로 주변 환경을 연속적으로 촬영하게 되지만 실제 차량의 이동 속도는 촬영시점의 도로 상황에 따라 달라지게 된다. 예컨대, 카메라가 장착된 차량이 도로를 주행시 도 5a에서와 같이 동일한 촬영경로 상에서도 구간별로 해당 구간의 교통 상황에 따라 차량의 이동 속도가 달라질 수 있으며 동일한 구간이라도 촬영 시간에 따라 차량의 이동 속도가 달라질 수 있다. 그러한 경우, 동일한 촬영경로 상에서 그 위치에 따라 또는 촬영경로에 따라 촬영 거리는 동일하지만 동영상의 크기(프레임의 수)가 달라진다. 따라서, 균일화부(20)는 동영상의 크기를 거리를 기준으로 균일하게 해주기 위해 데이터 취득부(10)에서 취득된 360도 동영상 프레임들을 도 5b와 같이 일정 비율(예컨대 1 m 마다 1 프레임)로 추출하여 균일화된 360도 동영상을 생성한다. 이때, 동영상 프레임 추출을 위한 동영상 프레임들 간의 거리 정보는 각 프레임별로 저장된 GPS 좌표 데이터를 이용할 수 있다.
분할부(30)는 균일화부(20)에 의해 균일화된 동영상을 도 6과 같이 도로의 분기점 또는 기 설정된 기준거리에 따라 분할하여 세그먼트화한다. 이때, 각 분기점에 대한 정보는 운용자가 분기점에 대한 좌표 정보를 미리 입력해 놓을 수 있으며, 서로 다른 촬영경로들에서 서로 중복되는 구간은 어느 한 촬영경로(예컨대, 번호가 빠른 촬영경로)의 동영상만을 세그먼트화하여 저장하고 해당 구간에 대한 다른 촬영경로의 동영상은 삭제된다. 분할부(30)는 세그먼트들 간의 연결 부분에 대한 부드러운 화면 처리를 위해 세그먼트의 분할 지점에서 이웃하는 세그먼트와 일정 영역이 중첩되도록 동영상을 분할하며, 각 세그먼트의 동영상에서 중첩되는 프레임들에는 도 7과 같이 중첩영역 ID에 대한 정보가 함께 저장된다. 또한, 분할부(30)는 특정 세그먼트에서의 진행 경로가 도 7과 같이 굽은 경우에는 해당 세그먼트에서 굽은 영역의 각 프레임에 대한 중심방위정보(사용자가 해당 도로를 실제 주행시 바라보게 되는 방향에 대한 정보)를 함께 저장한다. 또한, 분할된 각 세그먼트들은 도 8에서와 같이 해당 세그먼트의 동영상 파일 이름(StreeMovieFile), GPS 좌표 파일 이름(GPSFile), 해당 세그먼트의 시작점과 끝점의 좌표 데이터(StartX, StartY, EndX, EndY), 및 시작점과 끝점에 대한 중첩영역 ID(StartOverlap, EndOverlap)가 매칭되어 데이터베이스 형태로 저장된다. 이때, 시작점 좌표와 끝점 좌표는 각각 해당 세그먼트의 동영상을 구성하는 첫 번째 프레임과 마지막 프레임의 좌표 정보와 일치하게 된다.
디스플레이부(40)는 사용자의 요구에 따라 사용자의 위치(사용자가 지정한 위치)에 대응되는 동영상 세그먼트들을 DB(50)에서 호출하여 360도 영상을 화면에 표시해준다.
DB(50)는 본 발명에 따른 360도 동영상을 활용한 공간정보를 저장한다.
도 9는 본 발명에 따른 360도 동영상 이미지 기반 공간정보 구축 방법을 설명하기 위한 순서도이다.
먼저 운용자는 도 4와 같이 360도 동영상 카메라(1)와 GPS 수신기(2)를 차량과 같은 이동 가능한 수단에 장착한 후 도로를 주행하면서 360도 동영상 카메라(1)로 도로의 주변 모습을 촬영하여 동영상(또는 정지영상) 파일을 취득하고 촬영된 동영상의 각 프레임에 대한 GPS 좌표 데이터를 GPS 수신기(2)로 취득한다(단계 910).
데이터 취득부(10)는 도 3과 같이 GPS 수신기(2)로 취득된 GPS 좌표 데이터를 동영상의 각 프레임과 매칭시킨 GPS 좌표 데이터 파일을 촬영된 동영상 파일과 함께 촬영경로 별로 DB(50)에 저장한다. 도 3에서 #1은 촬영경로 1을, #2는 촬영경로 2를 각각 나타낸다.
원하는 도로들에 대한 동영상 및 GPS 좌표 데이터의 취득이 완료되면, 균일화부(20)는 각 촬영경로 별로 동영상의 균일화를 수행한다(단계 920).
단계 910에서 촬영된 동영상은 동일한 촬영경로에서도 각 촬영구간에 따라 동일한 거리에 대해 촬영된 동영상의 크기가 서로 다를 수 있다. 예컨대, 도 5에서와 같이 촬영경로 1을 따라 차량이 진행하는 경우, 도로의 교통상황에 따라 어느 촬영구간에서는 2km 거리를 시속 15km로 진행하는 반면에 어느 촬영구간에서는 5km 거리를 시속 10km로 진행할 수 있다. 그러나 카메라(1)는 일정 주기로 동영상을 촬영하기 때문에 동일한 물리적인 거리에 대해 촬영된 동영상의 프레임수가 서로 다르게 된다. 즉, 거리를 기준으로 볼 때 어느 구간에서는 동영상의 크기가 불필요하게 커지게 된다.
따라서, 균일화부(20)는 단계 910에서 획득된 동영상에서 예컨대 도 5b와 같이 1m 간격으로 1 프레임을 추출하여 균일화된 동영상을 생성한 후 이를 분할부(30)로 전송한다. 이때, 동영상 프레임 추출을 위한 동영상 프레임들 간의 거리 정보는 각 프레임의 GPS 좌표 데이터를 이용할 수 있다.
그리고, 인터넷 기반에서 본 발명에 따른 공간정보를 원활하게 제공하기 위해서는 동영상을 적절한 크기로 분할할 필요가 있다.
따라서 균일화가 완료되면, 분할부(30)는 각 촬영경로의 동영상들을 도 6과 같이 도로의 분기점 또는 기 설정된 일정 거리(기준거리)에 따라 분할하여 세그먼트화한다(단계 930).
동영상 분할시, 분할부(30)는 세그먼트들 간의 연결 부분에 대한 부드러운 화면 처리를 위해 세그먼트의 분할 지점에서 이웃하는 세그먼트들과 일정 영역이 중첩되도록 동영상을 분할한다. 이때, 각 세그먼트의 동영상에서 중첩되는 프레임 들에는 도 7과 같이 중첩영역 ID에 대한 정보가 매칭되어 DB(50)에 저장된다.
그리고, 분할부(30)는 서로 다른 촬영경로들에서 서로 중복되는 구간은 어느 한 촬영경로의 세그먼트만을 취하고 해당 구간에 대한 다른 촬영경로의 해당 세그먼트는 무시한다. 즉, 도 6에서 세그먼트 #2, #5는 촬영경로 1과 촬영경로 2가 중복되는 구간으로 이 구간에 대한 세그먼트는 촬영경로 1의 세그먼트만을 사용하고 촬영경로 2에 대한 해당 세그먼트는 무시(삭제)한다.
다음에, 분할부(30)는 세그먼트 및 세그먼트의 프레임에 부가정보를 추가한다(단계 940).
예컨대, 촬영경로가 도 7과 같이 도로를 따라 촬영이 진행될 때 촬영의 진행 방향도 도로의 굽어있는 방향에 따라 매번 변화하게 된다. 따라서, 분할부(30)는 각 프레임에 중심방위에 대한 정보(사용자가 해당 도로를 실제 주행시 바라보게 되는 방향에 대한 정보)를 추가한다. 도 7에서 중심방위는 정북 방향을 0도로 설정하고 사용자가 도로를 따라 진행시 바라보는 방향의 각도를 0도 ∼ 360도까지의 범위로 표시되고 있다.
단계 930 및 단계 940이 완료된 각 동영상 세그먼트들은 도 8과 같이 도로 및 세그먼트 구성 상황에 대하여 해당 세그먼트의 동영상 파일 이름(StreeMovieFile), GPS 좌표 파일 이름(GPSFile), 해당 세그먼트의 시작점과 끝점의 좌표 데이터(StartX, StartY, EndX, EndY), 및 시작점과 끝점에 대한 중첩영역 ID(StartOverlap, EndOverlap)가 매칭되어 DB(50)에 저장된다. 이때, 시작점 좌표와 끝점 좌표는 각각 해당 세그먼트를 구성하는 첫 번째 프레임과 마지막 프레 임의 좌표 정보와 일치하게 된다.
상술한 바와 같이 영상기반의 공간정보가 구축되면, 디스플레이부(40)는 사용자의 요구에 따라 사용자가 원하는 위치의 공간정보(사용자가 원하는 위치가 포함된 동영상 세그먼트)를 사용자의 단말기(미도시)로 전송하여 사용자 단말기의 화면에 표시되도록 해준다(단계 950).
이를 위해서는 구축된 영상기반의 공간정보를 활용하여 컴퓨터상에 가상공간을 구성하고 사용자가 자유로이 다닐 수 있도록 하기 위한 가시화 알고리즘이 필요하다.
도 10은 영상기반 공간정보에 적용할 수 있는 사용자 인터페이스의 한 예를 보여주고 도면이다.
동영상을 구성하는 하나의 프레임이 해당 촬영 지점에서의 완전한 360도 영상 정보를 모두 보유하고 있으므로 사용자 시점의 좌우회전, 상하회전, 줌 레벨 조정과 같은 사항은 현재 보여지는 프레임 내에서 처리가 가능하다.
사용자 위치 이동은 현재의 사용자가 가상공간상에 위치하고 있는 위치정보를 새로운 위치정보로 변환함을 의미하며, 이때 디스플레이부(40)는 사용자의 키보드 또는 마우스 조작에 따라 새로운 위치에 해당하는 프레임으로 현재 프레임을 변경시켜준다. 사용자 위치 이동은 전진 또는 후진의 값을 가질 수 있다.
사용자 시점의 좌우 회전은 d_usr 변수를 이용하며 0도(정북방향)에서 360도까지의 값을 가질 수 있다.
사용자 시점의 상하 회전은 -90도(바닥)에서 90도(하늘)까지의 값을 가질 수 있으며, 0도는 정면을 의미한다.
줌 레벨 조정은 현재 위치에서 영상 정보를 확대하여 보여주는 것을 의미한다.
도 11은 영상기반 공간정보에서 최초의 사용자 위치를 결정하는 처리 흐름을 보여주고 도면이다.
사용자의 임의의 위치가 좌표 P(X, Y) 형태로 주어지면, 디스플레이부(40)는 먼저 P의 X 값인 P.X가 startX'와 endX' 값 사이에 위치하고 P의 Y 값인 P.Y가 startY'와 endY' 값 사이에 위치하는 모든 세그먼트들을 DB(50)에서 조회한다. 이때, startX', startY', endX', endY'는 세그먼트의 시작점과 끝점의 GPS 좌표 데이터인 (startX, startY), (endX, endY)에 대해 도로의 폭만큼 확장한 값으로, 상술한 도 8에서와 같이 DB(50)에는 각 세그먼트의 시작 좌표와 끝 좌표가 저장되어 있으므로 이 정보를 촬영된 도로의 폭을 감안하여 보정하는 형태로 새로운 startX', startY', endX', endY' 값을 결정할 수 있다.
이때, 하나 이상의 세그먼트들이 조회되면, 디스플레이부(40)는 각 세그먼트를 이루는 여러 프레임들 중에서 P(X, Y)와 가장 인접한 촬영 당시의 기준 GPS 좌표값을 가지는 프레임이 존재하는 세그먼트를 현재 세그먼트(cur_seg)로 지정하고, 그 프레임(P(X, Y)와 가장 인접한 촬영 당시의 기준 GPS 좌표값을 가지는 프레임)을 현재 프레임으로 한다.
그리고, 현재 프레임의 기준 GPS 좌표가 최초의 사용자 위치(p_usr)가 된다.
도 12 및 도 13은 사용자 위치 이동에 대한 처리 방법을 보여주는 도면으로, 도 12는 현재 프레임이 중첩영역에 속하지 않는 경우에 대한 것이며 도 13은 현재 프레임이 중첩영역에 속하는 경우에 대한 것이다.
먼저 현재 사용자의 위치 정보(p_usr), 현재 화면에 출력되고 있는 프레임 정보(cur_frame), 현재 화면에 출력되고 있는 세그먼트(cur_segment), 현재 사용자가 향하고 있는 방향(d_usr), 전진 또는 후진으로 표시되는 움직임 방향(movedir)이 사용자에 의해 입력된다.
디스플레이부(40)는 먼저 현재 프레임이 중첩 영역에 속하는지 그렇지 않은지 여부를 판단한다.
만약 도 12에서와 같이 현재 프레임이 중첩 영역에 속하지 않은 경우, 디스플레이부(40)는 DB(50)에서 먼저 현재 프레임의 바로 이전 프레임(pre_frame)과 바로 이후 프레임(next_frame)을 찾고 사용자에 의한 움직임 방향(movedir)에 따라 이전 프레임과 이후 프레임 중에서 현재 프레임을 기준으로 움직임 방향과의 각도가 작은 프레임을 새로운 현재 프레임으로 결정하여 화면에 표시한다.
그러나, 도 13에서와 같이 현재 프레임이 중첩 영역에 속하는 경우, 디스플레이부(40)는 이전 프레임과 이후 프레임을 찾아낸 후 현재 세그먼트와 중첩하는 세그먼트를 구성하는 여러 프레임들 중에서 현재 프레임과 가장 인접한 GPS 기준 좌표를 가지는 프레임을 해당 세그먼트의 인접 프레임(near_frame)으로 설정한다. 그리고 디스플레이부(40)는 그 인접 프레임의 바로 이전 프레임(npre_frame)과 바로 이후 프레임(nnext_frame)을 찾아낸다. 디스플레이부(40)는 상술한 과정을 중첩하는 다른 모든 세그먼트들에 대해서도 동일하게 수행하여 중첩하는 각 세그먼트 들 마다 인접 프레임, 인접 이전 프레임, 인접 이후 프레임을 찾아낸다.
다음에 디스플레이부(40)는 사용자가 요구한 움직임 방향(movement)에 따라 중첩한 세그먼트들의 인접 프레임, 인접 이전 프레임, 인접 이후 프레임들 및 현재 세그먼트의 이전 프레임, 이후 프레임 중에서 현재 프레임을 기준으로 보았을 때 움직임 방향과의 각도가 제일 작은 프레임을 새로운 현재 프레임으로 결정한다.
이때, 만약 새로운 현재 프레임이 이전 현재 프레임과 다른 세그먼트에 존재한다면 현재 세그먼트 정보를 새로운 현재 프레임에 맞게 조정해준다.
위와 같은 처리 과정을 통해 디스플레이부(40)는 사용자의 자유로운 움직임을 구현할 수 있게 된다.
도 1은 본 발명에 따른 360도 동영상 이미지 기반 공간정보 구축 시스템의 구성을 나타내는 구성도.
도 2는 현재 상용되고 있는 360도 동영상 카메라 및 그 카메라로 촬영된 360도 구형 영상을 평면적으로 나타낸 모습을 보여주는 도면.
도 3은 촬영경로 별로 촬영된 동영상의 프레임과 GPS 좌표 데이터를 매칭시켜 저장한 모습을 보여주는 도면.
도 4는 360도 동영상 카메라와 GPS 수신기를 차량에 장착한 모습을 보여주는 도면.
도 5는 동영상을 균일화하는 모습을 보여주는 도면.
도 6은 동영상을 분할하는 모습을 보여주는 도면.
도 7은 도로가 굽어있는 부분의 각 프레임에 대한 중심방위에 대한 정보가 부가로 저장되는 모습을 보여주는 도면.
도 8은 분할된 세그먼트들에 대해 중첩영역에 대한 정보가 부가로 저장되는 모습을 보여주는 도면.
도 9는 본 발명에 따른 360도 동영상 이미지 기반 공간정보 구축 방법을 설명하기 위한 순서도.
도 10은 영상기반 공간정보에 적용할 수 있는 사용자 인터페이스의 한 예를 보여주고 도면.
도 11은 영상기반 공간정보에서 최초의 사용자 위치를 결정하는 처리 흐름을 보여주고 도면.
도 12는 현재 프레임이 중첩영역에 속하지 않는 경우 사용자 위치 이동에 대한 처리 방법을 보여주는 도면.
도 13은 현재 프레임이 중첩영역에 속하는 경우 사용자 위치 이동에 대한 처리 방법을 보여주는 도면.

Claims (24)

  1. 삭제
  2. 각 프레임별로 GPS 좌표 데이터를 갖는 동영상 정보를 획득하는 데이터 취득부; 및
    상기 GPS 좌표 데이터를 이용하여 사용자가 요구한 위치의 동영상 정보를 제공하는 디스플레이부를 포함하며,
    상기 데이터 취득부는 동영상 카메라를 통해 획득된 360도 동영상의 각 프레임에 대한 GPS 좌표 데이터를 GPS 수신기를 통해 취득한 후 이를 동영상의 해당 프레임과 매칭시켜 저장하는 것을 특징으로 하는
    동영상 이미지 기반 공간정보 구축 시스템.
  3. 제 2항에 있어서,
    상기 데이터 취득부에서 획득된 상기 360도 동영상을 촬영 거리를 기준으로 균일화시키는 균일화부; 및
    상기 균일화부에 의해 균일화된 동영상을 분할하여 세그먼트화하는 분할부를 더 포함하는 것을 특징으로 하는 동영상 이미지 기반 공간정보 구축 시스템.
  4. 제 3항에 있어서, 상기 균일화부는
    상기 360도 동영상에서 일정 거리 마다 일정 수의 프레임을 추출하여 균일화 된 동영상을 생성하는 것을 특징으로 하는 동영상 이미지 기반 공간정보 구축 시스템.
  5. 제 3항에 있어서, 상기 분할부는
    도로의 분기점 또는 기 설정된 기준거리에 따라 상기 균일화된 동영상을 분할하는 것을 특징으로 하는 동영상 이미지 기반 공간정보 구축 시스템.
  6. 제 5항에 있어서, 상기 분할부는
    서로 다른 촬영경로들에서 서로 중복되는 구간은 어느 한 촬영경로의 동영상만을 세그먼트화하여 저장하는 것을 특징으로 하는 동영상 이미지 기반 공간정보 구축 시스템.
  7. 제 5항에 있어서, 상기 분할부는
    세그먼트들 간의 연결 부분에 대한 부드러운 화면 처리를 위해 세그먼트의 분할 지점에서 이웃하는 세그먼트와 일정 영역이 중첩되도록 상기 동영상을 분할하는 것을 특징으로 하는 동영상 이미지 기반 공간정보 구축 시스템.
  8. 제 7항에 있어서, 상기 분할부는
    상기 세그먼트에서 중첩되는 영역의 프레임들에 대해서는 중첩영역 ID 정보를 더 저장하는 것을 특징으로 하는 동영상 이미지 기반 공간정보 구축 시스템.
  9. 제 7항에 있어서, 상기 분할부는
    각 프레임에 대한 중심방위정보를 더 저장하는 것을 특징으로 하는 동영상 이미지 기반 공간정보 구축 시스템.
  10. 제 3항에 있어서, 상기 디스플레이부는
    사용자의 요구에 따라 사용자가 지정한 위치에 대응되는 세그먼트를 찾아낸 후 해당 세그먼트에서 사용자가 지정한 위치의 GPS 좌표에 대응되는 동영상 프레임을 사용자 단말기에 표시해주는 것을 특징으로 하는 동영상 이미지 기반 공간정보 구축 시스템.
  11. 제 10항에 있어서, 상기 디스플레이부는
    사용자가 지정한 위치의 좌표와 가장 근접한 좌표값을 갖는 프레임을 포함한 세그먼트를 찾아낸 후 해당 세그먼트에서 상기 가장 근접한 좌표값을 갖는 프레임을 현재 프레임으로 결정하여 화면에 표시해주는 것을 특징으로 하는 동영상 이미지 기반 공간정보 구축 시스템.
  12. 제 11항에 있어서, 상기 디스플레이부는
    상기 현재 프레임이 세그먼트들의 중첩 영역에 속하지 않은 경우, 해당 세그먼트에서 상기 현재 프레임의 바로 이전 프레임과 바로 이후 프레임을 찾고, 사용 자에 의한 움직임 방향에 따라 상기 이전 프레임과 상기 이후 프레임 중에서 상기 현재 프레임을 기준으로 상기 움직임 방향과의 각도가 작은 프레임을 새로운 현재 프레임으로 결정하여 화면에 표시해주는 것을 특징으로 하는 동영상 이미지 기반 공간정보 구축 시스템.
  13. 제 11항에 있어서, 상기 디스플레이부는
    상기 현재 프레임이 중첩 영역에 속하는 경우, 해당 세그먼트와 중첩하는 각 세그먼트들에 대해 각 세그먼트를 구성하는 여러 프레임들 중에서 상기 현재 프레임과 가장 인접한 GPS 좌표를 가지는 프레임들을 상기 해당 세그먼트의 인접 프레임들로 설정한 후 각 인접 프레임들의 바로 이전 프레임과 바로 이후 프레임을 찾은 후, 찾아낸 인접 프레임, 인접 이전 프레임, 인접 이후 프레임들 및 현재 세그먼트의 이전 프레임, 이후 프레임 중에서 사용자의 의한 움직임 방향에 따라 상기 현재 프레임을 기준으로 상기 움직임 방향과의 각도가 제일 작은 프레임을 새로운 현재 프레임으로 결정하여 화면에 표시하는 것을 특징으로 하는 동영상 이미지 기반 공간정보 구축 시스템.
  14. 삭제
  15. 각 프레임별로 GPS 좌표 데이터를 갖는 동영상 정보를 획득하는 동영상 획득단계; 및
    상기 GPS 좌표 데이터를 이용하여 사용자가 요구한 위치의 동영상 정보를 디스플레이하는 디스플레이단계를 포함하며,
    상기 동영상 획득단계는 동영상 카메라를 통해 획득된 360도 동영상의 각 프레임에 대한 GPS 좌표 데이터를 GPS 수신기를 통해 취득한 후 이를 동영상의 해당 프레임과 매칭시켜 저장하는 것을 특징으로 하는
    동영상 이미지 기반 공간정보 구축 방법.
  16. 제 15항에 있어서,
    상기 동영상 획득단계에서 획득된 상기 360도 동영상을 촬영 거리를 기준으로 균일화시키는 균일화단계: 및
    상기 균일화된 동영상을 분할하여 세그먼트화하는 분할단계를 더 포함하는 것을 특징으로 하는 동영상 이미지 기반 공간정보 구축 방법.
  17. 제 16항에 있어서, 상기 균일화단계는
    상기 동영상에서 일정 거리 마다 일정 수의 프레임을 추출하여 균일화된 동영상을 생성하는 것을 특징으로 하는 동영상 이미지 기반 공간정보 구축 방법.
  18. 제 16항에 있어서, 상기 분할단계는
    도로의 분기점 또는 기 설정된 기준거리에 따라 상기 균일화된 동영상을 분할하는 것을 특징으로 하는 동영상 이미지 기반 공간정보 구축 방법.
  19. 제 18항에 있어서, 상기 분할단계는
    서로 다른 촬영경로들에서 서로 중복되는 구간은 어느 한 촬영경로의 동영상만을 세그먼트화하는 것을 특징으로 하는 동영상 이미지 기반 공간정보 구축 방법.
  20. 제 18항에 있어서, 상기 분할단계는
    세그먼트들 간의 연결 부분에 대한 부드러운 화면 처리를 위해 세그먼트의 분할 지점에서 이웃하는 세그먼트와 일정 영역이 중첩되도록 상기 동영상을 분할하는 것을 특징으로 하는 동영상 이미지 기반 공간정보 구축 방법.
  21. 제 16항에 있어서, 상기 디스플레이단계는
    사용자의 요구에 따라 사용자가 지정한 위치에 대응되는 세그먼트를 조회하여 해당 세그먼트에서 사용자가 지정한 위치의 GPS 좌표에 대응되는 동영상 프레임을 사용자 단말기에 표시해주는 것을 특징으로 하는 동영상 이미지 기반 공간정보 구축 방법.
  22. 제 21항에 있어서, 상기 디스플레이단계는
    사용자가 지정한 위치의 좌표와 가장 근접한 좌표값을 갖는 프레임을 포함한 세그먼트를 찾아낸 후 해당 세그먼트에서 상기 가장 근접한 좌표값을 갖는 프레임을 현재 프레임으로 결정하여 화면에 표시해주는 것을 특징으로 하는 동영상 이미지 기반 공간정보 구축 방법.
  23. 제 22항에 있어서, 상기 디스플레이단계는
    상기 현재 프레임이 세그먼트들의 중첩 영역에 속하지 않은 경우, 해당 세그먼트에서 상기 현재 프레임의 바로 이전 프레임과 바로 이후 프레임을 찾고, 사용자에 의한 움직임 방향에 따라 상기 이전 프레임과 상기 이후 프레임 중에서 상기 현재 프레임을 기준으로 상기 움직임 방향과의 각도가 작은 프레임을 새로운 현재 프레임으로 결정하여 화면에 표시해주는 것을 특징으로 하는 동영상 이미지 기반 공간정보 구축 방법.
  24. 제 22항에 있어서, 상기 디스플레이단계는
    상기 현재 프레임이 중첩 영역에 속하는 경우, 해당 세그먼트와 중첩하는 각 세그먼트들에 대해 각 세그먼트를 구성하는 여러 프레임들 중에서 상기 현재 프레임과 가장 인접한 GPS 좌표를 가지는 프레임들을 상기 해당 세그먼트의 인접 프레임들로 설정한 후 각 인접 프레임들의 바로 이전 프레임과 바로 이후 프레임을 찾은 후, 찾아낸 인접 프레임, 인접 이전 프레임, 인접 이후 프레임들 및 현재 세그먼트의 이전 프레임, 이후 프레임 중에서 사용자의 의한 움직임 방향에 따라 상기 현재 프레임을 기준으로 상기 움직임 방향과의 각도가 제일 작은 프레임을 새로운 현재 프레임으로 결정하여 화면에 표시하는 것을 특징으로 하는 동영상 이미지 기반 공간정보 구축 방법.
KR1020070140880A 2007-12-28 2007-12-28 360도 동영상 이미지 기반 공간정보 구축 시스템 및 그구축 방법 KR100926231B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070140880A KR100926231B1 (ko) 2007-12-28 2007-12-28 360도 동영상 이미지 기반 공간정보 구축 시스템 및 그구축 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070140880A KR100926231B1 (ko) 2007-12-28 2007-12-28 360도 동영상 이미지 기반 공간정보 구축 시스템 및 그구축 방법

Publications (2)

Publication Number Publication Date
KR20090072688A KR20090072688A (ko) 2009-07-02
KR100926231B1 true KR100926231B1 (ko) 2009-11-09

Family

ID=41329883

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070140880A KR100926231B1 (ko) 2007-12-28 2007-12-28 360도 동영상 이미지 기반 공간정보 구축 시스템 및 그구축 방법

Country Status (1)

Country Link
KR (1) KR100926231B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10529050B2 (en) 2016-09-27 2020-01-07 Hanwha Techwin Co., Ltd Method and apparatus for processing wide angle image

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101652753B1 (ko) 2015-09-11 2016-09-01 주식회사 마이다스아이티 3차원 파노라마 가상현실 이미지 제공방법 및 이를 이용한 제공시스템
KR102499349B1 (ko) * 2016-03-21 2023-02-14 삼성전자주식회사 전방위 영상을 제공하는 전자 장치 및 방법
KR102022421B1 (ko) * 2017-12-08 2019-09-18 주식회사 이누씨 Vr 영상 스트리밍 방법 및 장치
KR102248382B1 (ko) * 2019-11-13 2021-05-04 한국로봇융합연구원 가변형 농업용 로봇의 주행 제어방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001050756A (ja) 1999-08-04 2001-02-23 Matsushita Electric Ind Co Ltd 地図情報記録再生方法及びその装置
KR20030056109A (ko) * 2001-12-27 2003-07-04 한국전자통신연구원 동영상 및 위치 정보의 동기 처리 방법 및 장치, 그리고이를 이용한 지리 정보 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001050756A (ja) 1999-08-04 2001-02-23 Matsushita Electric Ind Co Ltd 地図情報記録再生方法及びその装置
KR20030056109A (ko) * 2001-12-27 2003-07-04 한국전자통신연구원 동영상 및 위치 정보의 동기 처리 방법 및 장치, 그리고이를 이용한 지리 정보 시스템

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10529050B2 (en) 2016-09-27 2020-01-07 Hanwha Techwin Co., Ltd Method and apparatus for processing wide angle image

Also Published As

Publication number Publication date
KR20090072688A (ko) 2009-07-02

Similar Documents

Publication Publication Date Title
US10165179B2 (en) Method, system, and computer program product for gamifying the process of obtaining panoramic images
US9723203B1 (en) Method, system, and computer program product for providing a target user interface for capturing panoramic images
EP2005748B1 (en) Virtual observer
TWI457854B (zh) 根據相關元資料之數位影像的捕捉與顯示
US20130318078A1 (en) System and Method for Producing Multi-Angle Views of an Object-of-Interest from Images in an Image Dataset
US20110211040A1 (en) System and method for creating interactive panoramic walk-through applications
KR100926231B1 (ko) 360도 동영상 이미지 기반 공간정보 구축 시스템 및 그구축 방법
JP2009217524A (ja) 都市景観の3次元動画生成および閲覧システム
KR20180130504A (ko) 정보 처리 장치, 정보 처리 방법, 프로그램
CN104301769A (zh) 呈现图像的方法、终端设备和服务器
JP6110780B2 (ja) 付加情報表示システム
JP2004265396A (ja) 映像生成システム及び映像生成方法
JP2005122315A (ja) 3dcg合成装置
CN111818265B (zh) 基于增强现实模型的交互方法、装置、电子设备及介质
KR20090132317A (ko) 동영상 기반 부가정보 제공 방법 및 시스템
CN110036411A (zh) 生成电子三维漫游环境的装置和方法
KR101484314B1 (ko) 동영상 기반 공간정보 구축 시스템 및 방법
TWI453373B (zh) A method and preview system for previewing video files
WO2019000427A1 (zh) 一种图像处理方法、装置及电子设备
KR101934799B1 (ko) 파노라마 영상을 이용하여 새로운 컨텐츠를 생성하는 방법 및 시스템
US10609343B2 (en) Area display system
JP2004012717A (ja) 画像の表示方法
KR20170139202A (ko) 파노라마 영상을 이용하여 새로운 컨텐츠를 생성하는 방법 및 시스템
JP6351663B2 (ja) 全天球映像撮影装置、全天球映像撮影システム、全天球映像撮影プログラム、それを記録した記録媒体、及び全天球映像撮影方法
JP2021179800A (ja) 情報処理装置、情報処理方法、及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121101

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20131101

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20171101

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20181031

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20190903

Year of fee payment: 11