KR101009683B1 - Panoramic movie making system - Google Patents

Panoramic movie making system Download PDF

Info

Publication number
KR101009683B1
KR101009683B1 KR1020090047119A KR20090047119A KR101009683B1 KR 101009683 B1 KR101009683 B1 KR 101009683B1 KR 1020090047119 A KR1020090047119 A KR 1020090047119A KR 20090047119 A KR20090047119 A KR 20090047119A KR 101009683 B1 KR101009683 B1 KR 101009683B1
Authority
KR
South Korea
Prior art keywords
moving object
synchronization signal
camera
gps
panoramic
Prior art date
Application number
KR1020090047119A
Other languages
Korean (ko)
Other versions
KR20100128620A (en
Inventor
이형
조현구
권찬오
Original Assignee
주식회사 지토피아
대전보건대학 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 지토피아, 대전보건대학 산학협력단 filed Critical 주식회사 지토피아
Priority to KR1020090047119A priority Critical patent/KR101009683B1/en
Publication of KR20100128620A publication Critical patent/KR20100128620A/en
Application granted granted Critical
Publication of KR101009683B1 publication Critical patent/KR101009683B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13—Receivers
    • G01S19/14—Receivers specially adapted for specific applications
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images

Abstract

본 발명의 일실시예에 따른 파노라믹 동영상 생성 시스템은, 이동체에 탑재되는 하나 이상의 카메라를 포함하고, 상기 하나 이상의 카메라를 통해 동기신호에 대응하는 하나 이상의 정지영상을 획득하는 이미지 획득 장치; 상기 이동체에 탑재되고 상기 동기신호에 대응하여 상기 정지 영상이 획득되는 상기 이동체의 각 위치에 대응하는 하나 이상의 이동체 위치좌표를 수신하는 하나 이상의 GPS 장치; 선정된(predetermined) 발생 주기마다 상기 하나 이상의 카메라 및 상기 GPS 장치로 동기신호를 전송하는 동기신호 장치; 및 상기 발생 주기마다 상기 하나 이상의 카메라를 통해 촬영된 상기 하나 이상의 정지영상을 통해 파노라믹 동영상을 생성하고, 상기 하나 이상의 이동체 위치좌표를 통해 상기 이동체의 이동경로정보를 생성하며, 상기 이동경로정보를 상기 파노라믹 동영상에 임베디드하는 컴퓨팅 장치를 포함한다. According to one or more exemplary embodiments, a system for generating a panoramic video includes: an image acquisition device including one or more cameras mounted on a moving object, and obtaining one or more still images corresponding to a synchronization signal through the one or more cameras; At least one GPS device mounted on the moving object and receiving at least one moving object position coordinate corresponding to each position of the moving object from which the still image is obtained in response to the synchronization signal; A synchronization signal device for transmitting a synchronization signal to the at least one camera and the GPS device at a predetermined generation period; And generating a panoramic video through the one or more still images captured by the one or more cameras at each occurrence period, generating movement path information of the moving object through the one or more moving object position coordinates, and moving path information. It includes a computing device embedded in the panoramic video.

파노라믹 이미지, 파노라마 영상, 동기화, 동기신호, 지오태깅, 지피에스 수신기 Panoramic Image, Panorama Image, Sync, Sync Signal, Geotagging, GPS Receiver

Description

파노라믹 동영상 생성 시스템{PANORAMIC MOVIE MAKING SYSTEM}Panoramic video generation system {PANORAMIC MOVIE MAKING SYSTEM}

본 발명은 파노라믹 동영상 생성 시스템에 관한 것으로, 더욱 상세하게는 선정된 발생 주기마다 하나 이상의 카메라 및 하나 이상의 GPS 장치로 동기신호를 전송하는 동기신호 장치, 상기 동기신호에 대응하는 하나 이상의 정지영상을 획득하는 이미지 획득장치, 및 상기 동기신호에 대응하여 상기 정지영상이 획득되는 이동체의 각 위치에 대한 하나 이상의 이동체 위치좌표를 수신하는 하나 이상의 GPS 장치를 통해 시간차에 따른 동기화 오류를 제거하여 상기 하나 이상의 카메라로부터 획득한 상기 하나 이상의 정지영상을 하나의 파노라믹 동영상으로 조합하는 경우 이웃하는 정지영상 간의 오버랩 영역에서 나타나는 왜곡 현상을 최소화하고, 상기 하나 이상의 GPS 장치가 수신한 상기 하나 이상의 이동체 위치좌표를 통해 보다 정확한 이동경로정보를 생성하며, 상기 파노라믹 동영상에 상기 이동경로정보가 임베디드된 지오태깅 파노라믹 동영상을 생성하는 파노라믹 동영상 생성 시스템에 관한 것이다.The present invention relates to a panoramic video generation system, and more particularly, to a synchronization signal device for transmitting a synchronization signal to at least one camera and at least one GPS device at a predetermined generation period, and at least one still image corresponding to the synchronization signal. An image acquisition device for acquiring a signal, and one or more GPS devices for receiving one or more moving object position coordinates for each position of the moving object for which the still image is obtained in response to the synchronization signal; When combining the one or more still images obtained from the at least one camera into one panoramic video, the distortion occurring in the overlap region between neighboring still images is minimized, and the one or more moving object position coordinates received by the at least one GPS device. More accurate route information Generation, and relates to the panoramic Nora in a dynamic video wherein the moving route information embedded geotag panorama wave for generating a dynamic video mixer video production system.

인터넷 사용자의 확산과 영상처리 및 편집기술의 발달은 인터넷 사용자들의 고급정보에 대한 자연스러운 욕구 증대와 함께 파노라믹(panoramic) 및 다시 점(multi-view) 영상 기술의 발전을 가져왔다. 다시점 영상 기술이란, 종래의 2차원 영상들이 제공하는 시점의 한계를 벋어나 사용자들에게 보다 다양한 시점의 영상을 즐길 수 있도록 하는 기술을 의미한다.The proliferation of Internet users and the development of image processing and editing techniques have led to the development of panoramic and multi-view imaging technologies along with an increased natural desire for high-level information of Internet users. The multi-view image technology refers to a technology that overcomes the limitations of viewpoints provided by conventional 2D images and enables users to enjoy images of various views.

다시점 영상의 일 예인 파노라믹(panoramic) 영상은 우주 및 항공 사진학, 컴퓨터 비전, 영상처리, 컴퓨터 그래픽스 등과 같은 다양한 분야에서 매우 흥미로운 연구대상으로 자리잡고 있으며, 파노라믹 영상 생성 기술은 항공 사진의 해석, 영상변화 감지, 비디오 압축, 비디오 인덱싱, 카메라 해상도, 카메라 시야 확대, 및 간단한 영상편집에 이르기까지 매우 다양한 분야에서 응용되고 있다.An example of multiview imagery, panoramic imaging, has become a very interesting research subject in various fields such as space and aerial photography, computer vision, image processing, computer graphics, and so on. It has been applied to a wide variety of fields such as analysis, image change detection, video compression, video indexing, camera resolution, camera field of view, and simple image editing.

예를 들어, 파노라믹 영상은 경기장에서의 축구선수들의 모습을 표현하는데 있어서 적합하다. 종래의 중계 방송은 경기장 전체의 모습을 하나의 화면으로 보여주는 경우 축구선수들의 모습은 상대적으로 아주 작게 나타날 뿐만 아니라, 경기장의 한쪽 방향으로 긴 형태로 인해 경기장 이외의 모습을 많이 포함하게 되어 경기장 전체의 모습을 보여주는 대신에 경기장 일부의 모습을 시청자들에게 제공한다. 하지만, 파노라믹 영상을 이용하는 경우 여러 대의 카메라로 촬영된 경기장 일부의 모습들을 서로 이어 붙임으로써 경기장 전체의 모습을 시청자들에게 한번에 보여줄 수 있게 된다. For example, panoramic images are suitable for representing the appearance of soccer players on the playing field. Conventional broadcasting shows that the appearance of the entire stadium in one screen is not only relatively small, but also includes a lot of non-stadium appearance due to the long shape of the stadium. Instead of showing them, they provide viewers with parts of the stadium. However, in the case of using panoramic video, the entire stadium can be shown to viewers by attaching the parts of the stadium captured by multiple cameras to each other.

파노라믹 영상 생성 기술은 이미지 획득장치를 통해 장면과 같은 피사체에 대해 획득한 일련의 정지영상들을 조합하여 파노라믹 영상을 생성하는 기술을 의미한다. 즉, 파노라믹 영상은 사용자가 단일 방향만이 아니라 주위의 모든 방향을 볼 수 있도록 하기 위해 합성된 영상을 의미한다. 파노라믹 영상은 사용자 주위의 전방위 장면에 대한 넓은 시야를 제공한다. 또한, 파노라믹 영상은 사용자에게 사실감뿐만 아니라 보다 높은 몰입감을 제공한다는 면에서 큰 의미를 갖는다. 이와 같은 다양한 장점 때문에 파노라믹 영상 생성 기술은 현재 상업적으로도 많이 사용되고 있다.The panoramic image generation technology refers to a technique of generating a panoramic image by combining a series of still images acquired for a subject such as a scene through an image acquisition device. That is, the panoramic image refers to an image synthesized in order to allow the user to see not only a single direction but all the surroundings. The panoramic image provides a wide field of view of the omni-directional scene around the user. In addition, the panoramic image has a great meaning in providing not only realism but also higher immersion to the user. Due to such various advantages, panoramic image generation technology is now widely used commercially.

두 대 이상의 카메라를 통해 촬영된 각각의 정지영상들을 하나의 파노라믹 영상으로 이어 붙이는 경우 서로 인접한 정지영상들 간에 발생하는 오버랩 영역에 대한 적절한 처리작업이 수행되어야 한다. 오버랩 영역은 움직이지 않는 대상체 및 움직이는 대상체를 포함할 수 있다. 움직이지 않는 대상체를 포함하는 오버랩 영역을 서로 이어 붙이는 경우 카메라 배율의 차이로 인해 오버랩 영역을 매끄럽게 조합할 수 없는 문제점이 있다. In the case where the still images photographed by two or more cameras are pasted into one panoramic image, an appropriate processing operation for the overlap region occurring between adjacent still images should be performed. The overlap region may include a non-moving object and a moving object. When the overlap areas including the non-moving objects are connected to each other, the overlap areas cannot be smoothly combined due to the difference in the camera magnification.

또한, 움직이는 대상체를 포함하는 오버랩 영역을 서로 이어 붙이는 경우 정지영상을 촬영하는 시간의 차이로 인해 오버랩 영역에서 움직이는 대상체가 서로 다르게 나타날 수 있다. 즉, 파노라믹 영상을 생성하기 위하여 사용되는 모든 카메라의 촬영시간이 정확하게 일치하는 경우에만 움직이는 대상체를 포함하는 오버랩 영역을 매끄럽게 조합할 수 있다. 특히, 축구 경기에서처럼 선수들이 끊임없이 이동하는 경우에는 이러한 문제점의 발생 빈도가 아주 높고, 이로 인해 선수들의 모습은 심각하게 왜곡될 수 있다.In addition, when the overlap regions including the moving objects are connected to each other, the moving objects may appear differently in the overlap region due to a difference in time for photographing still images. That is, the overlap area including the moving object may be smoothly combined only when the shooting times of all the cameras used to generate the panoramic image are exactly the same. In particular, when players constantly move, such as in a soccer game, the frequency of occurrence of such a problem is very high, which may seriously distort the players.

도 1은 종래기술에 따른 파노라믹 영상처리 시스템을 도시한 도면이다. 도 1에 도시된 바와 같이, 카메라A 및 카메라B는 서로 이웃한 카메라로서, 카메라A 및 카메라B에 의해서 촬영되는 영역 중에는 오버랩 되는 영역(1)이 있다. 오버랩 되 는 영역(1)은 경계선(2)에 의해서 두 개의 영역으로 나누어진다. 경계선(2)은 두 개의 영상을 조합하여 하나의 파노라믹 영상으로 편집하는 경우 기준선으로 작용한다. 즉, 경계선(2)의 왼쪽에 놓이게 되는 오버랩 영역은 카메라A에 의해서 촬영된 영상이고 경계선(2)의 오른쪽에 놓이게 되는 오버랩 영역은 카메라B에 의해서 촬영된 영상이다. 예를 들어, 선수(P)가 운동장의 좌측방향(3)을 향해 경계선(2)을 가로질러 이동하는 경우 카메라A 및 카메라B에 의해서 촬영된 영상에서 나타나는 선수(P)의 모습은 각각의 카메라(카메라A 및 카메라B)가 영상을 촬영한 시간(tA=T, tB=T+δT)의 차이(δT)에 의해서 서로 다르게 주어진다. 즉, 선수(P)의 모습은 각각의 카메라에 의해서 촬영된 영상에서 서로 다르게 나타난다. 따라서, 경계선(2)을 기준으로 두 개의 영상을 서로 이어 붙이는 경우, 경계선(2)의 왼쪽에 놓이게 되는 선수(P)의 일부 모습은 카메라A에 의해서 촬영된 모습이고 경계선(2)의 오른쪽에 놓이게 되는 선수(P)의 일부 모습은 카메라B에 의해서 촬영된 모습이다. 이와 같이, 선수(P)가 경계선(2)을 가로질러 이동하는 경우 선수(P)의 모습이 심하게 왜곡되는 문제점이 있다.1 is a view showing a panoramic image processing system according to the prior art. As shown in FIG. 1, cameras A and B are neighboring cameras, and there is an overlapping area 1 in the areas photographed by the cameras A and B. FIG. The overlapping area 1 is divided into two areas by the boundary line 2. The boundary line 2 serves as a reference line when the two images are combined and edited into one panoramic image. That is, the overlap region lying on the left side of the boundary line 2 is the image photographed by the camera A, and the overlap region lying on the right side of the boundary line 2 is the image photographed by the camera B. For example, if the player P moves across the boundary line 2 toward the left direction 3 of the playground, the appearance of the player P appearing in the images taken by the cameras A and B is the respective camera. (Camera A and Camera B) are given differently by the difference δT of the time (t A = T, t B = T + δT) at which the image was taken. In other words, the appearance of the player (P) is different from the image taken by each camera. Therefore, when the two images are joined to each other based on the boundary line 2, some of the players P lying on the left side of the boundary line 2 are taken by the camera A and the right side of the boundary line 2. Part of the player (P) to be placed is taken by the camera B. As such, when the player P moves across the boundary line 2, the appearance of the player P is severely distorted.

이와 같은 종래 기술의 문제점을 해결하기 위한 지피에스(GPS: global positioning system) 신호로부터 검출된 지피에스 시각을 동기신호를 발생하는 기준시각으로 하여 두 대 이상의 카메라의 촬영시간을 서로 일치시키는 파노라마 영상처리 시스템이 있다. 상기 파노라마 영상처리 시스템은 오버랩 영역에서 움직이는 대상체의 모습을 동일한 시점에 포착함으로써 획득된 영상들을 하나의 파노라마 영상으로 편집하는 경우 오버랩 영역에서 움직이는 대상체의 왜곡을 최소화할 수 있다. 하지만, 상기 파노라마 영상처리 시스템의 경우 동기신호의 발생주기를 조절하는 컴퓨터와 동기신호를 발생하는 지피에스 수신기 간의 누적 시간차로 인해 동기화에 오류가 발생하는 문제점이 있다. 따라서, 독립적인 동기신호 발생장치로부터 발생된 동기신호에 따라 카메라 및 지피에스 수신기를 동기화하는 파노라믹 영상 생성 시스템의 개발이 요구되고 있다. In order to solve the problems of the prior art, a panoramic image processing system for matching the shooting times of two or more cameras with a GPS time detected from a global positioning system (GPS) signal as a reference time for generating a synchronization signal is provided. have. The panorama image processing system may minimize distortion of the moving object in the overlap area when the captured images are edited into a panoramic image by capturing the image of the moving object in the overlap area at the same time. However, in the panoramic image processing system, there is a problem in that synchronization occurs due to a cumulative time difference between a computer controlling a generation period of a synchronization signal and a GPS receiver generating a synchronization signal. Accordingly, there is a demand for the development of a panoramic image generation system for synchronizing a camera and a GPS receiver according to a synchronization signal generated from an independent synchronization signal generator.

또한, 사진이 촬영된 위치정보를 사진에 대한 교환이미지파일형식(EXIF: EXchangeable Image Format) 규격의 메타정보에 기록하는 지오태깅을 활용하여 파노라믹 영상에 파노라믹 영상을 위한 정지영상들이 촬영된 위치정보를 임베디드하는 기술의 개발이 요구되고 있다.In addition, by using geotagging that records the location information where the picture was taken in the meta information of EXIF (EXchangeable Image Format) standard, still images for the panoramic picture are captured in the panoramic picture. There is a need for developing a technology for embedding the location information.

본 발명은 상기와 같은 종래 기술을 개선하기 위해 안출된 것으로서, 선정된 발생 주기마다 하나 이상의 카메라 및 하나 이상의 GPS 장치로 동기신호를 전송하는 동기신호 장치, 상기 동기신호에 대응하는 하나 이상의 정지영상을 획득하는 이미지 획득장치, 및 상기 동기신호에 대응하여 상기 정지영상이 획득되는 이동체의 각 위치에 대한 하나 이상의 이동체 위치좌표를 수신하는 하나 이상의 GPS 장치를 통해 시간차에 따른 동기화 오류를 제거하여 상기 하나 이상의 카메라로부터 획득한 상기 하나 이상의 정지영상을 하나의 파노라믹 동영상으로 조합하는 경우 이웃하는 정지영상 간의 오버랩 영역에서 나타나는 왜곡 현상을 최소화할 수 있고, 상기 하나 이상의 GPS 장치가 수신한 상기 하나 이상의 이동체 위치좌표를 통해 보다 정확한 이동경로정보를 생성하며, 상기 파노라믹 동영상에 상기 이동경로정보가 임베디드된 지오태깅 파노라믹 동영상을 생성할 수 있도록 하는 파노라믹 동영상 생성 시스템을 제공하는 것을 목적으로 한다.The present invention has been made to improve the prior art as described above, the synchronization signal device for transmitting a synchronization signal to at least one camera and at least one GPS device at a predetermined generation cycle, at least one still image corresponding to the synchronization signal The at least one GPS device that receives the at least one moving object position coordinate for each position of the moving object from which the still image is obtained in response to the synchronization signal, and removes a synchronization error according to a time difference. When combining the one or more still images acquired from the camera into one panoramic video, distortion of the overlapping region between neighboring still images may be minimized, and the one or more moving object positions received by the one or more GPS devices may be minimized. More accurate route information through coordinates The present invention aims to provide a panoramic video generation system for generating a geotagging panoramic video in which the movement path information is embedded in the panoramic video.

상기의 목적을 이루고 종래기술의 문제점을 해결하기 위하여, 본 발명의 일실시예에 따른 파노라믹 동영상 생성 시스템은, 이동체에 탑재되는 하나 이상의 카메라를 포함하고, 상기 하나 이상의 카메라를 통해 동기신호에 대응하는 하나 이상의 정지영상을 획득하는 이미지 획득 장치; 상기 이동체에 탑재되고 상기 동기신호에 대응하여 상기 정지 영상이 획득되는 상기 이동체의 각 위치에 대응하는 하나 이상의 이동체 위치좌표를 수신하는 하나 이상의 GPS 장치; 선정된(predetermined) 발생 주기마다 상기 하나 이상의 카메라 및 상기 GPS 장치로 동기신호를 전송하는 동기신호 장치; 및 상기 발생 주기마다 상기 하나 이상의 카메라를 통해 촬영된 상기 하나 이상의 정지영상을 통해 파노라믹 동영상을 생성하고, 상기 하나 이상의 이동체 위치좌표를 통해 상기 이동체의 이동경로정보를 생성하며, 상기 이동경로정보를 상기 파노라믹 동영상에 임베디드하는 컴퓨팅 장치를 포함한다. In order to achieve the above object and to solve the problems of the prior art, the panoramic video generation system according to an embodiment of the present invention, including at least one camera mounted on the moving body, through the at least one camera to the synchronization signal An image acquisition device for acquiring one or more corresponding still images; At least one GPS device mounted on the moving object and receiving at least one moving object position coordinate corresponding to each position of the moving object from which the still image is obtained in response to the synchronization signal; A synchronization signal device for transmitting a synchronization signal to the at least one camera and the GPS device at a predetermined generation period; And generating a panoramic video through the one or more still images captured by the one or more cameras at each occurrence period, generating movement path information of the moving object through the one or more moving object position coordinates, and moving path information. It includes a computing device embedded in the panoramic video.

본 발명의 파노라믹 동영상 생성 시스템에 따르면, 시간차에 따른 동기화 오류를 제거하여 하나 이상의 정지영상을 하나의 파노라믹 동영상으로 조합하는 경우 이웃하는 정지영상 간의 오버랩 영역에서 나타나는 왜곡 현상을 최소화할 수 있는 효과를 얻을 수 있다. 또한, 하나 이상의 GPS 장치가 수신한 하나 이상의 이동체 위치좌표에 후처리 상대측위기법을 적용하여 보다 정확한 이동경로정보를 생성할 수 있는 효과를 얻을 수 있다. 또한, 상기 파노라믹 동영상에 상기 이동경로정보가 임베디드된 지오태깅 파노라믹 동영상을 생성할 수 있는 효과를 얻을 수 있다.According to the panoramic video generation system of the present invention, when combining one or more still images into one panoramic video by eliminating synchronization errors due to time differences, distortions occurring in overlap regions between neighboring still images can be minimized. You can get the effect. In addition, by applying the post-processing relative positioning technique to one or more moving object position coordinates received by one or more GPS devices, it is possible to obtain more accurate movement route information. In addition, it is possible to obtain an effect of generating a geotagging panoramic video in which the movement path information is embedded in the panoramic video.

이하에서는 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 2는 본 발명의 일실시예에 따른 파노라믹 동영상 생성 시스템에 대한 전체 구성을 도시한 도면이다.2 is a diagram showing the overall configuration of a panoramic video generating system according to an embodiment of the present invention.

도 2에 도시된 바와 같이, 본 발명의 일실시예에 따른 파노라믹 동영상 생성 시스템(100)은, 이미지 획득장치(110), 하나 이상의 GPS 장치(120), 동기신호 장 치(130), 및 컴퓨팅 장치(140)를 포함한다.As shown in FIG. 2, the panoramic video generation system 100 according to an embodiment of the present invention includes an image acquisition device 110, one or more GPS devices 120, a synchronization signal device 130, And computing device 140.

파노라믹 동영상 생성 시스템(100)은 수평 지지대를 차량 등과 같은 이동체에 부착하도록 지지 결합하고 수평을 유지하는 상기 수평 지지대에 수평 고정판을 설치하여 구현될 수 있다. 두 대 이상의 카메라 및 하나 이상의 GPS 장치는 상기 수평 고정판에 같은 원주상 또는 원주의 각 등분점에 연속 배열 설치될 수 있다. 따라서, 상기 두 대 이상의 카메라는 상기 이동체의 이동시 등 어떠한 조건에서도 전방위의 전경 사진을 한번에 촬영할 수 있도록 구현될 수 있다. The panoramic video generation system 100 may be implemented by installing a horizontal fixing plate on the horizontal support which supports and maintains the horizontal support to attach the horizontal support to a moving object such as a vehicle. Two or more cameras and one or more GPS devices may be arranged in series on the same circumference or at each equal point of the circumference on the horizontal fixing plate. Therefore, the two or more cameras may be implemented to take a picture of the foreground in all directions at any time, such as when moving the moving object.

이미지 획득장치(110)는 두 대 이상의 카메라를 포함한다. 예를 들어, 이미지 획득장치(110)가 두 대의 카메라(제A 카메라 및 제B 카메라)를 포함하는 경우 상기 제B 카메라는 상기 제A 카메라와 하단부의 일측이 인접하고, 상기 인접하는 상기 하단부로부터 상기 제A 카메라의 상단부 및 상기 제B 카메라의 상단부로의 연장선이 소정의 각도를 유지하도록 설치될 수 있다. 상기 제A 카메라 및 상기 제B 카메라는 180도 이상의 화각을 갖는 어안렌즈를 포함하여 상기 제A 카메라 및 상기 제B 카메라로부터 획득된 정지 영상들을 조합하는 경우 360도의 시야 범위를 갖는 파노라믹 동영상을 생성할 수 있도록 구현될 수 있다.The image acquisition device 110 includes two or more cameras. For example, when the image capturing apparatus 110 includes two cameras (the A camera and the B camera), the B camera is adjacent to one side of the lower end of the A camera and from the adjacent lower end. An extension line to an upper end of the A camera and an upper end of the B camera may be installed to maintain a predetermined angle. The camera A and the camera B include a fisheye lens having an angle of view of 180 degrees or more, and when combining still images obtained from the camera A and the camera B, a panoramic video having a 360-degree field of view is obtained. Can be implemented to generate.

또한, 이미지 획득장치(110)는 상기 수평 고정판 일측에 이웃하게 배치되어 설치되는 두 대의 카메라(제C 카메라 및 제D 카메라)를 포함하고, 상기 제C 카메라 및 상기 제D 카메라는 제C 카메라 렌즈 및 제D 카메라 렌즈의 영상입사선이 평행하도록 상호 대칭적으로 배치되어 수평면 상에 180도의 시야 범위를 갖는 파노라믹 동영상을 생성할 수 있도록 구현될 수 있다. 상기 파노라믹 동영상의 시야 범위는 당업자의 판단에 따라 다양하게 구현될 수 있다. 다만, 본 명세서에서는 설명의 편의를 위하여, 이미지 획득장치(110)가 6대의 카메라를 포함하는 경우를 예로 들어 설명한다.In addition, the image capturing apparatus 110 includes two cameras (C camera and D camera) disposed adjacent to one side of the horizontal fixing plate, and the C camera and the D camera are the C camera lens. And an image incident line of the D-th camera lens may be symmetrically arranged to be parallel to each other to generate a panoramic video having a viewing range of 180 degrees on a horizontal plane. The viewing range of the panoramic video may be variously implemented according to the judgment of those skilled in the art. However, in the present specification, for convenience of description, the case where the image acquisition apparatus 110 includes six cameras will be described as an example.

본 발명의 일실시예에 따른 이미지 획득장치(110)는 제1 카메라(111), 제2 카메라(112), 제3 카메라(113), 제4 카메라(114), 제5 카메라(115), 및 제6 카메라(116)를 포함한다. 상술한 바와 같이, 제1 카메라(111) 내지 제6 카메라(116)는 상기 수평 고정판에 같은 원주상 또는 원주의 각 등분점에 연속 배열 설치될 수 있다. 예를 들어, 제1 카메라(111) 내지 제6 카메라(116)는 원주를 동일한 길이의 원호로 여섯 등분하는 각각의 등분점에 각각 연속 배열 설치되고 60도 이상의 화각을 갖는 렌즈를 포함하여 제1 카메라(111) 내지 제6 카메라(116)로부터 획득된 정지 영상들을 조합하는 경우 360도의 시야 범위를 갖는 파노라믹 동영상을 생성할 수 있도록 구현될 수 있다.Image obtaining apparatus 110 according to an embodiment of the present invention is the first camera 111, the second camera 112, the third camera 113, the fourth camera 114, the fifth camera 115, And a sixth camera 116. As described above, the first camera 111 to the sixth camera 116 may be continuously arranged in the same columnar or angular equilateral points on the horizontal fixing plate. For example, the first camera 111 to the sixth camera 116 may include a lens having a field of view of 60 degrees or more and continuously installed at each equal point that divides the circumference into six equal arcs. When combining the still images obtained from the cameras 111 to 6th camera 116 may be implemented to generate a panoramic video having a 360-degree field of view.

본 발명의 일실시예에 따른 파노라믹 동영상 생성 시스템(100)은 하나 이상의 GPS 장치(120)를 포함한다. 예를 들어, 파노라믹 동영상 생성 시스템(100)은 제1 GPS 장치(121), 제2 GPS 장치(122), 및 제3 GPS 장치(123)를 포함할 수 있다. 동기신호 장치(130)는 선정된 발생 주기마다 상기 두 대 이상의 카메라 및 하나 이상의 GPS 장치(120)로 동기신호를 전송한다. 상기 두 대 이상의 카메라는 상기 동기신호에 대응하여 두 개 이상의 정지영상을 획득하고, 하나 이상의 GPS 장치(120)는 상기 동기신호에 대응하여 상기 정지영상이 획득되는 상기 이동체의 각 위치에 대응하는 하나 이상의 이동체 위치좌표를 수신한다. 동기신호 장치(130)는 동기신 호의 발생 주기가 1/N초인 경우 제1 동기신호 내지 제N 동기신호를 1초 동안 이미지 획득장치(110) 및 하나 이상의 GPS 장치(120)로 전송한다. The panoramic video generating system 100 according to an embodiment of the present invention includes one or more GPS devices 120. For example, the panoramic video generation system 100 may include a first GPS device 121, a second GPS device 122, and a third GPS device 123. The synchronization signal device 130 transmits a synchronization signal to the two or more cameras and the one or more GPS devices 120 at predetermined generation periods. The two or more cameras acquire two or more still images in response to the synchronization signal, and the one or more GPS devices 120 correspond to each position of the moving object from which the still image is obtained in response to the synchronization signal. The above moving object position coordinates are received. When the generation period of the synchronization signal is 1 / N seconds, the synchronization signal device 130 transmits the first to Nth synchronization signals to the image acquisition device 110 and the one or more GPS devices 120 for 1 second.

예를 들어, 도 2에 도시된 바와 같이, 이미지 획득장치(110)가 제1 카메라(111) 내지 제6 카메라(116)를 포함하고 하나 이상의 GPS 장치(120)가 제1 GPS 장치(121) 내지 제3 GPS 장치(123)를 포함하며 상기 발생 주기가 1/30초인 경우, 동기신호 장치(130)는 1초 동안 제1 카메라(111) 내지 제6 카메라(116) 및 제1 GPS 장치(121) 내지 제3 GPS 장치(123) 각각으로 제1 동기신호 내지 제30 동기신호를 전송할 수 있다. For example, as shown in FIG. 2, the image acquisition device 110 includes a first camera 111 to a sixth camera 116 and one or more GPS devices 120 include the first GPS device 121. And the third GPS device 123 and the generation period is 1/30 seconds, the synchronization signal device 130 is the first camera 111 to sixth camera 116 and the first GPS device ( The first to thirtieth synchronization signals may be transmitted to each of the 121 to third GPS devices 123.

즉, 이미지 획득장치(110)가 제1 카메라(111) 내지 제6 카메라(116)를 포함하고 하나 이상의 GPS 장치(120)가 제1 GPS 장치(121) 내지 제3 GPS 장치(123)를 포함하며 상기 발생 주기가 1/30초인 경우, 동기신호 장치(130)는 이미지 획득장치(110)로 총 180번의 동기신호를 전송하고, 하나 이상의 GPS 장치(120)로 총 90번의 동기신호를 전송하도록 구현될 수 있다.That is, the image acquisition device 110 includes the first camera 111 to the sixth camera 116 and one or more GPS devices 120 includes the first GPS device 121 to the third GPS device 123. When the generation period is 1/30 second, the synchronization signal device 130 transmits a total of 180 synchronization signals to the image acquisition device 110 and transmits a total of 90 synchronization signals to the one or more GPS devices 120. Can be implemented.

따라서, 제1 카메라(111) 내지 제6 카메라(116)는 상기 제1 동기신호 내지 상기 제30 동기신호 각각에 대응하는 30장의 정지영상을 각각 촬영하여 총 180장의 정지영상을 획득할 수 있다. 또한, 제1 GPS 장치(121) 내지 제3 GPS 장치(123)는 상기 제1 동기신호 내지 상기 제30 동기신호 각각에 대응하여 상기 정지영상이 획득되는 상기 이동체의 각 위치에 대응하는 90개의 이동체 위치좌표를 수신할 수 있다. 즉, 파노라믹 동영상 생성 시스템(100)은 1/30초마다 제1 카메라(111) 내지 제6 카메라(116)로부터 총 6장의 정지영상 및 제1 GPS 장치(121) 내지 제3 GPS 장 치(123)로부터 총 3개의 이동체 위치좌표를 획득할 수 있다.Accordingly, the first camera 111 to the sixth camera 116 may obtain a total of 180 still images by capturing 30 still images corresponding to each of the first to 30th synchronization signals. Also, the first GPS device 121 to the third GPS device 123 may include ninety moving objects corresponding to respective positions of the moving object from which the still image is obtained, corresponding to each of the first to thirtieth synchronization signals. Position coordinates can be received. That is, the panoramic video generation system 100 generates a total of six still images and the first GPS device 121 to the third GPS device from the first camera 111 to the sixth camera 116 every 1/30 second. A total of three moving object coordinates can be obtained from 123.

또한, 이미지 획득장치(110)가 제1 카메라(111) 내지 제6 카메라(116)를 포함하고 하나 이상의 GPS 장치(120)가 제1 GPS 장치(121) 내지 제3 GPS 장치(123)를 포함하며 상기 발생 주기가 1/25초인 경우, 동기신호 장치(130)는 1초 동안 제1 카메라(111) 내지 제6 카메라(116) 및 제1 GPS 장치(121) 내지 제3 GPS 장치(123) 각각으로 제1 동기신호 내지 제25 동기신호를 전송할 수 있다. In addition, the image obtaining apparatus 110 includes the first camera 111 to the sixth camera 116 and one or more GPS devices 120 includes the first GPS device 121 to the third GPS device 123. If the generation period is 1/25 seconds, the synchronization signal device 130 is the first camera 111 to the sixth camera 116 and the first GPS device 121 to the third GPS device 123 for 1 second. Each of the first to 25th sync signals may be transmitted.

즉, 이미지 획득장치(110)가 제1 카메라(111) 내지 제6 카메라(116)를 포함하고 하나 이상의 GPS 장치(120)가 제1 GPS 장치(121) 내지 제3 GPS 장치(123)를 포함하며 상기 발생 주기가 1/25초인 경우, 동기신호 장치(130)는 이미지 획득장치(110)로 총 150번의 동기신호를 전송하고, 하나 이상의 GPS 장치(120)로 총 75번의 동기신호를 전송하도록 구현될 수 있다. 즉, 파노라믹 동영상 생성 시스템(100)은 1/25초마다 제1 카메라(111) 내지 제6 카메라(116)로부터 총 6장의 정지영상 및 제1 GPS 장치(121) 내지 제3 GPS 장치(123)로부터 총 3개의 이동체 위치좌표를 획득할 수 있다.That is, the image acquisition device 110 includes the first camera 111 to the sixth camera 116 and one or more GPS devices 120 includes the first GPS device 121 to the third GPS device 123. When the generation period is 1/25 second, the synchronization signal device 130 transmits a total of 150 synchronization signals to the image acquisition device 110 and transmits a total of 75 synchronization signals to one or more GPS devices 120. Can be implemented. That is, the panoramic video generation system 100 may generate a total of six still images from the first camera 111 to the sixth camera 116 and the first GPS device 121 to the third GPS device every 1/25 seconds. A total of three moving object coordinates can be obtained from 123).

컴퓨팅 장치(140)는 상기 발생 주기마다 상기 두 대 이상의 카메라를 통해 촬영된 상기 두 개 이상의 정지영상을 통해 파노라믹 동영상을 생성하고, 상기 하나 이상의 이동체 위치좌표를 통해 상기 이동체의 이동경로정보를 생성하며, 상기 이동경로정보를 상기 파노라믹 동영상에 임베디드(embedded)한다. The computing device 140 generates a panoramic video through the two or more still images captured by the two or more cameras at each occurrence period, and provides the movement path information of the moving object through the one or more moving object position coordinates. And the movement path information is embedded in the panoramic video.

컴퓨팅 장치(140)는 제K 동기신호에 대응하여 상기 두 대 이상의 카메라로부터 획득된 상기 정지 영상들을 조합하여 제K 파노라믹 정지 영상을 생성하고, 상기 제K 파노라믹 정지 영상의 생성단계를 반복 수행하여 상기 제1 동기신호에 대한 제1 파노라믹 정지 영상 내지 상기 제N 동기신호에 대한 제N 파노라믹 정지 영상을 생성하며, 상기 제1 파노라믹 정지 영상 내지 상기 제N 파노라믹 정지 영상을 조합하여 상기 제1 파노라믹 정지 영상 내지 상기 제N 파노라믹 정지 영상에 대한 파노라믹 동영상을 생성한다. The computing device 140 generates a K-th panoramic still image by combining the still images acquired from the two or more cameras in response to the K-th synchronization signal, and generates the K-th panoramic still image. Repeatedly generating a first panoramic still image for the first synchronous signal to an Nth panoramic still image for the Nth synchronous signal, and generating the first panoramic still image to the Nth panoramic The mixed still images are combined to generate a panoramic video of the first to Nth panoramic still images.

예를 들어, 도 2를 참조하면, 컴퓨팅 장치(140)는 동기신호의 발생 주기가 1/30초인 경우 제1 동기신호에 대응하여 1/30초에 제1 카메라(111) 내지 제6 카메라(116)로부터 획득된 총 6장의 정지영상들을 조합하여 제1 파노라믹 정지영상을 생성할 수 있다. 또한, 컴퓨팅 장치(140)는 동기신호의 발생 주기가 1/30초인 경우 제2 동기신호에 대응하여 2/30초에 제1 카메라(111) 내지 제6 카메라(116)로부터 획득된 총 6장의 정지영상들을 조합하여 제2 파노라믹 정지영상을 생성할 수 있다. 또한, 컴퓨팅 장치(140)는 동기신호의 발생 주기가 1/30초인 경우 제30 동기신호에 대응하여 1초에 제1 카메라(111) 내지 제6 카메라(116)로부터 획득된 총 6장의 정지영상들을 조합하여 제30 파노라믹 정지영상을 생성할 수 있다. For example, referring to FIG. 2, when the generation period of the synchronization signal is 1/30 second, the computing device 140 may correspond to the first camera 111 to the sixth camera in 1/30 second in response to the first synchronization signal. A first panoramic still image may be generated by combining a total of six still images obtained from 116. In addition, when the generation period of the synchronization signal is 1/30 second, the computing device 140 acquires a total of six images acquired from the first camera 111 to the sixth camera 116 in 2/30 seconds in response to the second synchronization signal. The second panoramic still image may be generated by combining the still images. In addition, when the generation period of the synchronization signal is 1/30 second, the computing device 140 may acquire a total of six still images acquired from the first camera 111 to the sixth camera 116 in one second in response to the thirty second synchronization signal. The 30th panoramic still image may be generated by combining the two images.

즉, 컴퓨팅 장치(140)는 상술한 바와 같이, 파노라믹 정지영상의 생성단계를 반복 수행하여 제1 동기신호에 대한 제1 파노라믹 정지영상 내지 제30 동기신호에 대한 제30 파노라믹 정지영상을 생성할 수 있고, 상기 제1 파노라믹 정지영상 내지 상기 제30 파노라믹 정지영상을 조합하여 상기 제1 파노라믹 정지영상 내지 상기 제30 파노라믹 정지영상에 대한 파노라믹 동영상을 생성할 수 있다. That is, as described above, the computing device 140 repeats the generation of the panoramic still image to repeat the generating of the first panoramic still image with respect to the first synchronization signal to the thirtieth panoramic signal with respect to the thirtieth synchronization signal. A still image may be generated, and the first and second panoramic still images may be combined to combine the first and third panoramic still images. You can create a video.

상기 제K 동기신호에 대응하여 상기 두 대 이상의 카메라로부터 획득된 상기 정지영상들은 이웃하는 정지영상 간의 오버랩(overlap) 영역을 포함한다. 예를 들어, 도 2를 참조하면, 제1 동기신호에 대응하여 제1 카메라(111) 내지 제6 카메라(116)로부터 획득된 총 6장의 정지영상들은 제1 카메라(111)로부터 촬영된 정지영상 및 제2 카메라(112)로부터 촬영된 정지영상 간의 오버랩 영역을 포함할 수 있다. The still images acquired from the two or more cameras in response to the K-th synchronization signal include an overlap region between neighboring still images. For example, referring to FIG. 2, a total of six still images acquired from the first camera 111 to the sixth camera 116 in response to the first synchronization signal are still images captured from the first camera 111. And an overlap region between still images captured by the second camera 112.

또한, 상기 정지영상들은 제2 카메라(112)로부터 촬영된 정지영상 및 제3 카메라(113)로부터 촬영된 정지영상 간의 오버랩 영역을 포함할 수 있다. 또한, 상기 정지영상들은 제3 카메라(113)로부터 촬영된 정지영상 및 제4 카메라(114)로부터 촬영된 정지영상 간의 오버랩 영역을 포함할 수 있다. 또한, 상기 정지영상들은 제4 카메라(114)로부터 촬영된 정지영상 및 제5 카메라(115)로부터 촬영된 정지영상 간의 오버랩 영역을 포함할 수 있다. In addition, the still images may include an overlap region between the still image captured by the second camera 112 and the still image captured by the third camera 113. In addition, the still images may include an overlap region between the still image photographed from the third camera 113 and the still image photographed from the fourth camera 114. In addition, the still images may include an overlap region between the still image photographed from the fourth camera 114 and the still image photographed from the fifth camera 115.

또한, 상기 정지영상들은 제5 카메라(115)로부터 촬영된 정지영상 및 제6 카메라(116)로부터 촬영된 정지영상 간의 오버랩 영역을 포함할 수 있다. 또한, 상기 정지영상들은 제6 카메라(116)로부터 촬영된 정지영상 및 제1 카메라(111)로부터 촬영된 정지영상 간의 오버랩 영역을 포함할 수 있다.In addition, the still images may include an overlap region between the still image photographed from the fifth camera 115 and the still image photographed from the sixth camera 116. In addition, the still images may include an overlap region between the still image photographed from the sixth camera 116 and the still image photographed from the first camera 111.

컴퓨팅 장치(140)는 상기 제K 동기신호에 대응하여 하나 이상의 GPS 장치(120)가 수신한 상기 하나 이상의 이동체 위치좌표 및 하나 이상의 GPS 장치(120)에 대한 기선 벡터를 통해 상기 제K 동기신호에 대한 제K 이동경로를 생성하고, 상기 제K 이동경로의 생성단계를 반복 수행하여 제1 동기신호에 대한 제1 이동경로 내지 제N 동기신호에 대한 제N 이동경로를 생성하며, 상기 제1 이동경로 내 지 상기 제N 이동경로를 결합하여 상기 제1 동기신호 내지 상기 제N 동기신호에 대한 상기 이동체의 이동경로정보를 생성한다. The computing device 140 may correspond to the K-th sync signal through the one or more moving object coordinates received by the one or more GPS devices 120 and the baseline vector for the one or more GPS devices 120 in response to the K-th sync signal. Generating a K-th moving path for the first synchronization signal and generating an N-th moving path for the N-th synchronization signal by repeatedly generating the K-th moving path; Combining paths to the N-th moving path to generate moving path information of the moving object with respect to the first to N-th synchronization signals.

예를 들어, 도 2를 참조하면, 컴퓨팅 장치(140)는 동기신호의 발생 주기가 1/30초인 경우 제1 동기신호에 대응하여 1/30초에 제1 GPS 장치(121) 내지 제3 GPS 장치(123)로부터 수신한 총 3개의 이동체 위치좌표 및 제1 GPS 장치(121) 내지 제3 GPS 장치(123)에 대해 산출된 3개의 기선벡터를 통해 상기 제1 동기신호에 대한 제1 이동경로를 생성할 수 있다. 또한, 컴퓨팅 장치(140)는 동기신호의 발생 주기가 1/30초인 경우 제2 동기신호에 대응하여 2/30초에 제1 GPS 장치(121) 내지 제3 GPS 장치(123)로부터 수신한 총 3개의 이동체 위치좌표 및 제1 GPS 장치(121) 내지 제3 GPS 장치(123)에 대해 산출된 3개의 기선벡터를 통해 상기 제2 동기신호에 대한 제2 이동경로를 생성할 수 있다. For example, referring to FIG. 2, when the generation period of the synchronization signal is 1/30 second, the computing device 140 may correspond to the first GPS device 121 to the third GPS at 1/30 second in response to the first synchronization signal. First moving path for the first synchronization signal through a total of three moving object coordinates received from the device 123 and three baseline vectors calculated for the first to third GPS devices 121 to 123. Can be generated. In addition, when the generation period of the synchronization signal is 1/30 second, the computing device 140 receives the total received from the first GPS device 121 to the third GPS device 123 in 2/30 seconds in response to the second synchronization signal. A second moving path for the second synchronization signal may be generated through three moving object position coordinates and three baseline vectors calculated for the first GPS device 121 to the third GPS device 123.

또한, 컴퓨팅 장치(140)는 동기신호의 발생 주기가 1/30초인 경우 제30 동기신호에 대응하여 1초에 제1 GPS 장치(121) 내지 제3 GPS 장치(123)로부터 수신한 총 3개의 이동체 위치좌표 및 제1 GPS 장치(121) 내지 제3 GPS 장치(123)에 대해 산출된 3개의 기선벡터를 통해 상기 제30 동기신호에 대한 제30 이동경로를 생성할 수 있다. 즉, 컴퓨팅 장치(140)는 상술한 바와 같이, 이동경로의 생성단계를 반복 수행하여 제1 동기신호에 대한 제1 이동경로 내지 제30 동기신호에 대한 제30 이동경로를 생성할 수 있고, 상기 제1 이동경로 내지 상기 제30 이동경로를 결합하여 상기 제1 동기신호 내지 상기 제30 동기신호에 대한 1초 동안 상기 이동체의 이동경로정보를 생성할 수 있다. In addition, when the generation period of the synchronization signal is 1/30 second, the computing device 140 receives a total of three received from the first GPS device 121 to the third GPS device 123 in one second in response to the thirty second synchronization signal. A thirtieth movement path with respect to the thirtieth synchronization signal may be generated through the moving object position coordinates and three baseline vectors calculated for the first GPS device 121 to the third GPS device 123. That is, as described above, the computing device 140 may repeatedly generate the movement path to generate the first to 30th synchronization paths for the first synchronization signal and the 30th movement path for the 30th synchronization signal. The movement path information of the moving object may be generated by combining the first movement path to the thirtieth movement paths for one second with respect to the first synchronization signal to the thirtieth synchronization signal.

컴퓨팅 장치(140)는 상술한 바와 같이, 하나 이상의 GPS 장치(120)에 대한 기선 벡터를 산출하고, 하나 이상의 GPS 장치(120)로부터 수신한 상기 하나 이상의 이동체 위치좌표 및 상기 산출된 상기 기선 벡터를 이용하는 후처리 상대측위기법을 통해 상기 이동체에 대한 상기 이동경로정보를 생성한다. 즉, 하나 이상의 GPS 장치(120)에 대해 산출된 상기 기선 벡터들은 지구 중심을 원점으로 하고 지구와 함께 회전하는 좌표계인 WGS-84 좌표계 상에서의 벡터들이며, 상기 기선 벡터들은 항법을 위하여 정의되는 좌표계인 지역적 수준 좌표계로 변환될 수 있다. As described above, the computing device 140 calculates a baseline vector for one or more GPS devices 120, and calculates the one or more moving object position coordinates and the calculated baseline vectors received from the one or more GPS devices 120. The moving path information for the moving object is generated through the post-processing relative positioning technique. That is, the baseline vectors calculated for one or more GPS devices 120 are vectors on a WGS-84 coordinate system, which is a coordinate system that rotates with the earth as the origin of the earth center, and the baseline vectors are coordinate systems defined for navigation. Can be converted to a local level coordinate system.

따라서, 컴퓨팅 장치(140)는 상기 WGS-84 좌표계 및 상기 지역적 수준 좌표계 간의 회전행렬을 구할 수 있다. 즉, 컴퓨팅 장치(140)는 동체 좌표계에서 측정된 기선 벡터와 항법 좌표계에서 측정된 기선 벡터로부터 상기 회전행렬을 구하고, 하나 이상의 GPS 장치(120)로부터 수신한 상기 하나 이상의 이동체 위치좌표를 상기 회전행렬에 적용하여 상기 이동체에 대한 상기 이동경로정보를 생성할 수 있다. 컴퓨팅 장치(140)는 지오태깅을 통해 상기 파노라믹 동영상에 상기 이동경로정보가 임베디드된 지오태깅 파노라믹 동영상을 생성할 수 있다. 또한, 컴퓨팅 장치(140)는 상기 이동경로정보뿐만 아니라 하나 이상의 GPS 장치(120)로부터 수신한 상기 이동체의 위도, 경도, 방위, 고도 등과 같은 위치정보 또는 상기 정지영상이 획득된 시각정보 중 어느 하나 이상을 포함하는 메타정보를 상기 파노라믹 동영상에 임베디드하여 상기 메타정보가 임베디드된 지오태깅(geo tagging) 파노라믹 동영상을 생성할 수 있다. Accordingly, computing device 140 may obtain a rotation matrix between the WGS-84 coordinate system and the local level coordinate system. That is, the computing device 140 obtains the rotation matrix from the baseline vector measured in the fuselage coordinate system and the baseline vector measured in the navigation coordinate system, and calculates the rotation matrix from the one or more moving object position coordinates received from one or more GPS devices 120. The moving path information for the moving object may be generated by applying to. The computing device 140 may generate a geotagging panoramic video in which the movement path information is embedded in the panoramic video through geotagging. In addition, the computing device 140 may be one of not only the movement route information but also position information such as latitude, longitude, azimuth, and altitude of the moving object received from at least one GPS device 120 or visual information from which the still image is obtained. The meta information including the above may be embedded in the panoramic video to generate a geo tagging panoramic video in which the meta information is embedded.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.As described above, the present invention has been described by way of limited embodiments and drawings, but the present invention is not limited to the above-described embodiments, which can be variously modified and modified by those skilled in the art. Modifications are possible. Accordingly, the spirit of the present invention should be understood only by the claims set forth below, and all equivalent or equivalent modifications thereof will belong to the scope of the present invention.

도 1은 종래기술에 따른 파노라믹 영상처리 시스템에 대한 전체 구성을 도시한 도면.1 is a view showing the overall configuration for a panoramic image processing system according to the prior art.

도 2는 본 발명의 일실시예에 따른 파노라믹 동영상 생성 시스템에 대한 전체 구성을 도시한 도면.2 is a view showing the overall configuration for a panoramic video generating system according to an embodiment of the present invention.

<도면의 주요 부분에 대한 부호의 설명><Explanation of symbols for the main parts of the drawings>

100: 파노라믹 동영상 생성 시스템 100: Panoramic video generation system

110: 이미지 획득장치 110: image acquisition device

120: 하나 이상의 GPS 장치120: one or more GPS devices

130: 동기신호 장치 130: synchronization signal device

140: 컴퓨팅 장치140: computing device

Claims (7)

이동체에 탑재되는 두 대 이상의 카메라를 포함하고, 상기 두 대 이상의 카메라를 통해 동기신호에 대응하는 두 개 이상의 정지영상을 획득하는 이미지 획득 장치;An image acquisition device including two or more cameras mounted on a moving object, and obtaining two or more still images corresponding to a synchronization signal through the two or more cameras; 상기 이동체에 탑재되고 상기 동기신호에 대응하여 상기 정지 영상이 획득되는 상기 이동체의 각 위치에 대응하는 하나 이상의 이동체 위치좌표를 수신하는 하나 이상의 GPS 장치;At least one GPS device mounted on the moving object and receiving at least one moving object position coordinate corresponding to each position of the moving object from which the still image is obtained in response to the synchronization signal; 선정된(predetermined) 발생 주기마다 상기 두 대 이상의 카메라 및 상기 GPS 장치로 동기신호를 전송하는 동기신호 장치; 및A synchronization signal device which transmits a synchronization signal to the two or more cameras and the GPS device at a predetermined generation period; And 상기 발생 주기마다 상기 두 대 이상의 카메라를 통해 촬영된 상기 두 개 이상의 정지영상을 통해 파노라믹 동영상을 생성하고, 상기 하나 이상의 이동체 위치좌표를 통해 상기 이동체의 이동경로정보를 생성하며, 상기 이동경로정보를 상기 파노라믹 동영상에 임베디드하는 컴퓨팅 장치Generating a panoramic video through the two or more still images photographed by the two or more cameras at each occurrence period, generating movement path information of the moving object through the one or more moving object position coordinates, and the moving path Computing device embedding information in the panoramic video 를 포함하되,Including, 상기 발생 주기가 1/N초인 경우 상기 동기신호 장치는 제1 동기신호 내지 제N 동기신호를 1초 동안 상기 이미지 획득장치 및 상기 GPS 장치로 전송하고,When the generation period is 1 / N seconds, the sync signal device transmits a first sync signal to the N-th sync signal to the image acquisition device and the GPS device for 1 second, 상기 컴퓨팅 장치는 제K 동기신호에 대응하여 상기 하나 이상의 GPS 장치가 수신한 상기 하나 이상의 이동체 위치좌표 및 상기 하나 이상의 GPS 장치에 대한 기선 벡터를 통해 상기 제K 동기신호에 대한 제K 이동경로를 생성하고, 상기 제K 이동경로의 생성단계를 반복 수행하여 제1 동기신호에 대한 제1 이동경로 내지 제N 동기신호에 대한 제N 이동경로를 생성하며, 상기 제1 이동경로 내지 상기 제N 이동경로를 결합하여 상기 제1 동기신호 내지 상기 제N 동기신호에 대한 상기 이동체의 이동경로정보를 생성하며,The computing device generates a K-th movement path for the K-th synchronization signal through the one or more moving object coordinates received by the one or more GPS devices and a baseline vector for the one or more GPS devices in response to the K-th synchronization signal. And repeatedly generating the K-th movement path to generate an N-th movement path for the first to Nth synchronization signals for the first synchronization signal, and generating the N-th movement path for the first to Nth movement signals. Combines to generate movement path information of the moving object with respect to the first to Nth synchronization signals; 상기 이동체는 차량으로 구현되고, 상기 하나 이상의 GPS 장치는 상기 이동체가 진행하는 방향정보와 상기 이동체가 회전하는 자세정보를 계산하는데 이용되는 것을 특징으로 하는 파노라믹 동영상 생성 시스템.The moving object is implemented as a vehicle, wherein the at least one GPS device is used to calculate the direction information of the moving object and the attitude information of the moving object is a panoramic video generation system, characterized in that. 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete
KR1020090047119A 2009-05-28 2009-05-28 Panoramic movie making system KR101009683B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090047119A KR101009683B1 (en) 2009-05-28 2009-05-28 Panoramic movie making system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090047119A KR101009683B1 (en) 2009-05-28 2009-05-28 Panoramic movie making system

Publications (2)

Publication Number Publication Date
KR20100128620A KR20100128620A (en) 2010-12-08
KR101009683B1 true KR101009683B1 (en) 2011-01-19

Family

ID=43505476

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090047119A KR101009683B1 (en) 2009-05-28 2009-05-28 Panoramic movie making system

Country Status (1)

Country Link
KR (1) KR101009683B1 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101316148B1 (en) * 2012-05-30 2013-10-08 고려대학교 산학협력단 Method and apparatus for processing image in vehicle
KR101642735B1 (en) * 2016-04-14 2016-07-26 삼아항업(주) Image acquisition method for generating panorama image
US20190199921A1 (en) * 2016-08-29 2019-06-27 Lg Electronics Inc. Method for transmitting 360-degree video, method for receiving 360-degree video, 360-degree video transmitting device, and 360-degree video receiving device

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040064966A (en) * 2003-01-13 2004-07-21 정보통신연구진흥원 Panorama image processing system and method taken a photograph by cameras synchronized on GPS time
KR100868355B1 (en) * 2006-11-16 2008-11-12 삼성전자주식회사 A mobile communication terminal for providing substitute images for video call and a method thereof

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040064966A (en) * 2003-01-13 2004-07-21 정보통신연구진흥원 Panorama image processing system and method taken a photograph by cameras synchronized on GPS time
KR100868355B1 (en) * 2006-11-16 2008-11-12 삼성전자주식회사 A mobile communication terminal for providing substitute images for video call and a method thereof

Also Published As

Publication number Publication date
KR20100128620A (en) 2010-12-08

Similar Documents

Publication Publication Date Title
US10574888B2 (en) Digital 3D/360 degree camera system
CN107925753B (en) Method and system for 3D image capture with dynamic camera
US9445081B1 (en) Method and system of 3D image capture with dynamic cameras
US20120013711A1 (en) Method and system for creating three-dimensional viewable video from a single video stream
US20180184073A1 (en) Systems and Methods For Recording Stereo Pairs From Independent Camera Platforms
CN104025151A (en) Method and electronic device for creating a combined image
JP2015173424A (en) Video distribution system and video display device
US20180184063A1 (en) Systems and Methods For Assembling Time Lapse Movies From Consecutive Scene Sweeps
US20180295335A1 (en) Stereographic Imaging System Employing A Wide Field, Low Resolution Camera And A Narrow Field, High Resolution Camera
JP2016048856A (en) Image display system, image display device, image display method, and program
JP6374754B2 (en) Image composition apparatus and program thereof
CN102831816B (en) Device for providing real-time scene graph
US10084966B2 (en) Methods and apparatus for synchronizing multiple lens shutters using GPS pulse per second signaling
KR101009683B1 (en) Panoramic movie making system
US8717418B1 (en) Real time 3D imaging for remote surveillance
Wilburn High-performance imaging using arrays of inexpensive cameras
WO2018118751A1 (en) Stereoscopic imaging systems and methods
US20180174270A1 (en) Systems and Methods For Mapping Object Sizes and Positions Onto A Cylindrical Panorama Using A Pivoting Stereoscopic Camera
JP6563300B2 (en) Free viewpoint image data generating apparatus and free viewpoint image data reproducing apparatus
Chandaria et al. Realtime camera tracking in the MATRIS project
KR101342248B1 (en) Mounting device of camera for photographing panorama image
JPH1198342A (en) Method and device for displaying panorama picture
JP2019024206A (en) Image display system, image display device, image display method, and program
KR20230098394A (en) Apparatus and method for providing video service for monitoring distant scene
JPH11234563A (en) Studio equipment and television camera

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140108

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150114

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20151229

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180115

Year of fee payment: 8

LAPS Lapse due to unpaid annual fee