KR102578058B1 - Method and device for generating street view image - Google Patents
Method and device for generating street view image Download PDFInfo
- Publication number
- KR102578058B1 KR102578058B1 KR1020230085517A KR20230085517A KR102578058B1 KR 102578058 B1 KR102578058 B1 KR 102578058B1 KR 1020230085517 A KR1020230085517 A KR 1020230085517A KR 20230085517 A KR20230085517 A KR 20230085517A KR 102578058 B1 KR102578058 B1 KR 102578058B1
- Authority
- KR
- South Korea
- Prior art keywords
- frames
- view image
- street view
- videos
- shooting time
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/04—Synchronising
- H04N5/06—Generation of synchronising signals
- H04N5/067—Arrangements or circuits at the transmitter end
- H04N5/073—Arrangements or circuits at the transmitter end for mutually locking plural sources of synchronising signals, e.g. studios or relay stations
- H04N5/0733—Arrangements or circuits at the transmitter end for mutually locking plural sources of synchronising signals, e.g. studios or relay stations for distributing synchronisation pulses to different TV cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
- H04N5/915—Television signal processing therefor for field- or frame-skip recording or reproducing
- H04N5/9155—Television signal processing therefor for field- or frame-skip recording or reproducing with sound multiplexing
Abstract
일 실시 예에 따른 거리뷰 영상 생성 장치에 의해 수행되는 거리뷰 영상을 생성하는 방법은, 복수의 촬영 장치들이 차량의 주변을 촬영한 복수의 동영상들을 획득하는 단계; 상기 복수의 동영상들 각각에 포함된 복수의 프레임들 중에서 참조음을 포함하는 제1 프레임들을 선택하는 단계; 및 상기 제1 프레임들 각각의 촬영 시간에 기초하여, 상기 거리뷰 영상을 생성하는 단계를 포함할 수 있다.A method of generating a street view image performed by a street view image generating apparatus according to an embodiment includes obtaining a plurality of videos captured by a plurality of photographing devices around a vehicle; selecting first frames including reference sounds from a plurality of frames included in each of the plurality of videos; and generating the street view image based on the shooting time of each of the first frames.
Description
본 발명은 거리뷰 영상을 생성하는 방법 및 장치에 관한 것이다.The present invention relates to a method and device for generating street view images.
전자 지도는 종래의 종이지도를 컴퓨터 등에서 이용할 수 있도록 디지털 정보로 표현한 것을 의미하는데, 종이지도보다 훨씬 많은 정보를 나타낼 수 있다는 장점을 가진다.An electronic map refers to a conventional paper map expressed as digital information so that it can be used on a computer, etc., and has the advantage of being able to display much more information than a paper map.
정보화 기술이 발달하면서 갖가지 지리정보를 데이터베이스화한 지리정보 시스템(GIS)이 널리 이용되고 있는데, 전자지도에 지리정보 시스템을 적용하면 위도, 경도, 주소 등의 위치정보를 손쉽게 검색할 수 있기에 전자 지도의 서비스 영역이 점점 확대되고 있다.As information technology develops, the Geographic Information System (GIS), which databases all kinds of geographical information, is being widely used. By applying the Geographic Information System to electronic maps, location information such as latitude, longitude, and address can be easily searched, making it possible to easily search for location information such as latitude, longitude, and address. The service area is gradually expanding.
이러한 전자 지도의 서비스 영역의 하나로서, 전자 지도는 기호화된 지도 정보 외에도 온라인 지도라는 특성을 이용한 거리뷰 기능을 제공할 수 있다. 거리뷰 기능이란 특정 지점을 실제로 촬영한 사진을 획득한 후, 사용자가 전자 지도 상에서 특정 지점에 대한 거리뷰 사진을 요청할 때, 촬영된 사진을 제공하는 기능을 말한다. 종이 지도와 달리 실제 공간의 사진 데이터를 제공할 수 있다는 측면에서, 거리뷰 기능은 기호화된 지도에 현실 세계를 반영하여 사용자에게 보다 실제적이고 객관적인 정보를 제공할 수 있다는 효과가 존재한다.As one of the service areas of such electronic maps, in addition to symbolic map information, electronic maps can provide a street view function using the characteristics of an online map. The street view function refers to a function that obtains a photo of a specific point and then provides the captured photo when the user requests a street view photo of a specific point on an electronic map. Unlike paper maps, in that it can provide photo data of real space, the street view function has the effect of providing more realistic and objective information to users by reflecting the real world on a symbolic map.
한편, 일반적으로 거리뷰 기능을 제공하기 위해, 거리뷰 공급 업체는 차량을 타고 특정 공간의 스틸 사진을 촬영하거나, 동영상을 촬영한다. 다만, DSLR과 같은 카메라는 촬영 간격이 넓어 차량을 고속으로 주행 시에 촬영이 불가능하며, 동영상용 카메라는 촬영 간격은 짧지만 촬영된 위치를 정확히 파악하기 어렵다는 문제가 있다.Meanwhile, to provide street view functionality, street view providers generally take still photos or videos of a specific space in a vehicle. However, cameras such as DSLR have a wide shooting interval, making it impossible to shoot while driving a vehicle at high speed, and video cameras have a short shooting interval, but there is a problem in that it is difficult to accurately determine the location of the shot.
본 발명이 해결하고자 하는 과제는, 복수의 촬영 장치들이 촬영한 복수의 동영상들에 포함된 복수의 프레임들 중에서 비프음이 입력된 프레임들의 촬영 시간에 기초하여 거리뷰 영상을 생성하는 방법을 제공하는 것이다.The problem to be solved by the present invention is to provide a method of generating a street view image based on the shooting time of frames in which beep sounds are input among a plurality of frames included in a plurality of videos captured by a plurality of photographing devices. will be.
다만, 본 발명이 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.However, the problems to be solved by the present invention are not limited to those mentioned above, and other problems to be solved that are not mentioned can be clearly understood by those skilled in the art to which the present invention pertains from the description below. will be.
일 실시 예에 따른 거리뷰 영상 생성 장치에 의해 수행되는 거리뷰 영상을 생성하는 방법은, 복수의 촬영 장치들이 차량의 주변을 촬영한 복수의 동영상들을 획득하는 단계; 상기 복수의 동영상들 각각에 포함된 복수의 프레임들 중에서 참조음을 포함하는 제1 프레임들을 선택하는 단계; 및 상기 제1 프레임들 각각의 촬영 시간에 기초하여, 상기 거리뷰 영상을 생성하는 단계를 포함할 수 있다.A method of generating a street view image performed by a street view image generating apparatus according to an embodiment includes obtaining a plurality of videos captured by a plurality of photographing devices around a vehicle; selecting first frames including reference sounds from a plurality of frames included in each of the plurality of videos; and generating the street view image based on the shooting time of each of the first frames.
상기 프레임들을 선택하는 단계는, 상기 복수의 프레임들의 음성 입력을 분석하는 단계; 및 상기 복수의 프레임들 중에서 상기 음성 입력에 참조음이 포함된 프레임들을 선택하는 단계를 포함할 수 있다.Selecting the frames may include analyzing voice input of the plurality of frames; and selecting frames in which a reference sound is included in the voice input from among the plurality of frames.
상기 참조음은 비프음(beep)을 포함할 수 있다.The reference sound may include a beep.
상기 참조음은 소정의 이동거리 간격 또는 소정의 시간 간격으로 상기 복수의 동영상들에 입력된 것일 수 있다.The reference sound may be input to the plurality of videos at predetermined moving distance intervals or predetermined time intervals.
상기 거리뷰 영상을 생성하는 단계는, 상기 제1 프레임들 중에서 촬영 시간이 동일하거나 상기 촬영 시간이 기 설정된 제1 오차 범위 내에 있는 제2 프레임들을 선택하는 단계; 및 상기 제2 프레임들을 결합하여 상기 거리뷰 영상을 생성하는 단계를 포함할 수 있다.Generating the street view image may include selecting second frames from among the first frames having the same shooting time or having the shooting time within a preset first error range; and generating the street view image by combining the second frames.
상기 거리뷰 영상을 생성하는 단계는, 상기 제2 프레임들의 촬영 시간을, 소정의 위치 자세 측정 장치에 의해 측정된 복수의 측정 정보의 측정 시간과 비교하는 단계; 및 상기 복수의 측정 정보 중에서 상기 측정 시간이 상기 촬영 시간과 동일하거나 상기 촬영 시간으로부터 기 설정된 제2 오차 범위 내에 있는 측정 정보를 상기 거리뷰 영상에 추가하는 단계를 더 포함할 수 있다.Generating the street view image may include comparing shooting times of the second frames with measurement times of a plurality of measurement information measured by a predetermined position and attitude measurement device; And among the plurality of measurement information, it may further include adding measurement information whose measurement time is the same as the shooting time or within a second preset error range from the shooting time to the street view image.
상기 복수의 측정 정보 각각은 상기 위치 자세 측정 장치의 위치 및 자세 중에서 적어도 하나를 포함할 수 있다.Each of the plurality of measurement information may include at least one of the position and posture of the position and posture measuring device.
상기 복수의 동영상들을 획득하는 단계에서, 상기 복수의 촬영 장치들로부터, 상기 복수의 동영상들을 획득하거나, 상기 복수의 촬영 장치들이 촬영한 동영상을 관리하는 소정의 동영상 관리 장치로부터 상기 복수의 동영상들을 획득할 수 있다.In the step of acquiring the plurality of videos, the plurality of videos are acquired from the plurality of photographing devices, or the plurality of videos are acquired from a predetermined video management device that manages the videos captured by the plurality of photographing devices. can do.
다른 실시예에 따른 거리뷰 영상 생성 장치는, 거리뷰 영상 생성 프로그램이 저장된 메모리; 및 상기 메모리를 제어하는 프로세서를 포함하고, 상기 프로세서는, 상기 거리뷰 영상 생성 프로그램을 실행하여, 복수의 촬영 장치들이 차량의 주변을 촬영한 복수의 동영상들을 획득하고, 상기 복수의 동영상들 각각에 포함된 복수의 프레임들 중에서 참조음을 포함하는 제1 프레임들을 선택하고, 상기 제1 프레임들 각각의 촬영 시간에 기초하여, 상기 거리뷰 영상을 생성할 수 있다.A street view image generating device according to another embodiment includes a memory storing a street view image generating program; and a processor that controls the memory, wherein the processor executes the street view image generation program to obtain a plurality of videos captured by a plurality of photographing devices around the vehicle, and to each of the plurality of videos. First frames including reference sounds may be selected from a plurality of included frames, and the street view image may be generated based on the shooting time of each of the first frames.
본 발명의 실시예에 의하면, 차량의 여러 방향을 촬영한 동영상들을 결합하여 거리뷰 영상을 생성할 때, 비프음을 이용하여 거리뷰 영상을 생성함으로써, 동영상들 내에서 촬영 위치가 동일한 프레임을 정확히 구분하여 거리뷰 영상을 생성할 수 있다.According to an embodiment of the present invention, when creating a street view image by combining videos taken from various directions of a vehicle, a beep sound is used to generate the street view image, thereby accurately selecting frames with the same shooting location within the videos. You can create a street view image separately.
또한, 본 발명의 실시예에 의하면, 차량의 여러 방향을 촬영한 동영상들을 결합하여 거리뷰 영상을 생성할 때, 비프음을 이용하여 거리뷰 영상을 생성함으로써, 촬영 간격이 짧은 동영상에 대해서도 촬영 위치를 일치시켜 거리뷰 영상을 생성할 수 있다.In addition, according to an embodiment of the present invention, when creating a street view image by combining videos taken from various directions of the vehicle, the street view image is generated using a beep sound, so that the shooting location can be used even for videos with a short shooting interval. You can create a street view image by matching.
또한, 본 발명의 실시예에 의하면, 거리뷰 영상에, 위치 자세 측정 장치에서 측정한 위치 및 자세 중에서 측정 시간이 거리뷰 영상의 촬영 시간과 동일하거나 기 설정된 오차 범위 내에 있는 위치 및 자세를 추가함으로써, 촬영 간격이 짧은 동영상을 이용하여 생성된 거리뷰 영상의 위치 및 자세를 보다 정확하게 설정할 수 있다.In addition, according to an embodiment of the present invention, among the positions and postures measured by the position and posture measuring device, positions and postures whose measurement time is the same as the shooting time of the street view image or within a preset error range are added to the street view image. , the position and posture of the street view image generated by using a video with a short shooting interval can be set more accurately.
도 1은 일 실시예에 따른 거리뷰 영상 생성 시스템을 나타내는 블록도이다.
도 2는 일 실시예에 따른 거리뷰 영상 생성 장치를 나타내는 블록도이다.
도 3은 일 실시예에 따른 거리뷰 영상 생성 프로그램의 기능을 개념적으로 나타내는 블록도이다.
도 4는 일 실시예에 따른 거리뷰 영상 생성 프로그램을 이용하여 거리뷰 영상을 생성하는 일 예시이다.
도 5는 일 실시예에 따른 거리뷰 영상 생성 프로그램이 비프음을 이용하여 복수의 동영상들로부터 거리뷰 영상을 생성하는 방법을 나타내는 흐름도이다.Figure 1 is a block diagram showing a street view image generation system according to an embodiment.
Figure 2 is a block diagram showing an apparatus for generating a street view image according to an embodiment.
Figure 3 is a block diagram conceptually illustrating the function of a street view image generation program according to an embodiment.
Figure 4 is an example of generating a street view image using a street view image generation program according to an embodiment.
Figure 5 is a flowchart illustrating a method in which a street view image generating program according to an embodiment generates a street view image from a plurality of videos using a beep sound.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.The advantages and features of the present invention and methods for achieving them will become clear by referring to the embodiments described in detail below along with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below and may be implemented in various different forms. The present embodiments are merely provided to ensure that the disclosure of the present invention is complete and to provide common knowledge in the technical field to which the present invention pertains. It is provided to fully inform those who have the scope of the invention, and the present invention is only defined by the scope of the claims.
본 발명의 실시 예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시 예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.In describing embodiments of the present invention, if it is determined that a detailed description of a known function or configuration may unnecessarily obscure the gist of the present invention, the detailed description will be omitted. The terms described below are terms defined in consideration of functions in embodiments of the present invention, and may vary depending on the intention or custom of the user or operator. Therefore, the definition should be made based on the contents throughout this specification.
도 1은 일 실시예에 따른 거리뷰 영상 생성 시스템을 나타내는 블록도이고, 도 2는 일 실시예에 따른 거리뷰 영상 생성 장치를 나타내는 블록도이다.FIG. 1 is a block diagram showing a street view image generating system according to an embodiment, and FIG. 2 is a block diagram showing a street view image generating device according to an embodiment.
도 1을 참조하면, 거리뷰 영상 생성 시스템(100)은 복수의 촬영 장치들(110), 위치 자세 측정 장치(120), 참조음 출력 장치(130) 및 거리뷰 영상 생성 장치(140)를 포함할 수 있다.Referring to FIG. 1, the street view image generating system 100 includes a plurality of photographing devices 110, a position and attitude measuring device 120, a reference sound output device 130, and a street view image generating device 140. can do.
복수의 촬영 장치들(110)은 차량의 주변을 촬영하여 동영상을 생성할 수 있다.The plurality of photographing devices 110 may capture the surroundings of the vehicle and generate a video.
실시예에 따라, 복수의 촬영 장치들(110)은 동영상을 촬영하는 속도(예컨대, 초당 프레임 수(fps))가 동일할 수 있으나, 그렇지 않을 수도 있다.Depending on the embodiment, the plurality of photographing devices 110 may have the same video recording speed (eg, frames per second (fps)), but this may not be the case.
촬영 장치(110-n, n은 자연수)가 촬영한 동영상은 복수의 프레임들을 포함할 수 있다. 예컨대, 동영상이 24 fps(frames per second)로 촬영된 경우, 동영상은 (24장 * 촬영 시간(s)) 만큼의 프레임들을 포함할 수 있다.A video captured by the photographing device 110-n (n is a natural number) may include a plurality of frames. For example, if a video is shot at 24 fps (frames per second), the video may include as many frames as (24 * shooting time (s)).
위치 자세 측정 장치(120)는 위치 자세 측정 장치(120) 또는 차량의 위치 및 자세(pose) 중에서 적어도 하나를 측정할 수 있다. 실시예에 따라, 상기 자세는 roll, pitch 및 heading(yaw)을 포함할 수 있다.The position and posture measuring device 120 may measure at least one of the position and posture measuring device 120 or the position and pose of the vehicle. Depending on the embodiment, the posture may include roll, pitch, and heading (yaw).
참조음 출력 장치(130)는 비프음(beep)을 출력할 수 있다.The reference sound output device 130 may output a beep sound.
실시예에 따라, 참조음 출력 장치(130)는 복수의 비프음들을 출력할 수 있다.Depending on the embodiment, the reference sound output device 130 may output a plurality of beep sounds.
또한, 실시예에 따라, 참조음 출력 장치(130)는 기 설정된 기준 간격(예컨대, 시간 간격, 이동거리 간격 등)에 따라 비프음을 출력할 수 있다. 예컨대, 참조음 출력 장치(130)는 소정의 이동거리 측정 방법(예컨대, 차량의 바퀴 회전 수 측정, 내비게이션 프로그램 상 이동거리 계산 등)을 이용하여 이동거리를 산출하거나, 내장된 또는 외부의 시간 측정 프로그램을 이용하여 시간을 측정할 수 있다.Additionally, depending on the embodiment, the reference sound output device 130 may output a beep sound according to a preset reference interval (eg, time interval, movement distance interval, etc.). For example, the reference sound output device 130 calculates the moving distance using a predetermined moving distance measurement method (e.g., measuring the number of vehicle wheel rotations, calculating the moving distance in a navigation program, etc.), or uses built-in or external time measurement. You can measure time using a program.
실시예에 따라, 복수의 촬영 장치들(110)은 소정의 입력 장치(예컨대, 마이크)를 포함할 수 있다. 따라서, 소정의 입력 장치를 통해, 복수의 촬영 장치들(110)이 촬영한 동영상에 참조음 출력 장치(130)가 출력하는 비프음이 입력될 수 있다.Depending on the embodiment, the plurality of photographing devices 110 may include a predetermined input device (eg, a microphone). Accordingly, the beep sound output by the reference sound output device 130 can be input to the video captured by the plurality of photographing devices 110 through a predetermined input device.
본 명세서에서는 설명의 편의를 위해, 참조음 출력 장치(130)가 비프음을 출력하는 것으로 설명하지만, 이에 한정되지 않는다. 즉, 실시예에 따라, 참조음 출력 장치(130)는 비프음 이외에 복수의 촬영 장치들(110)이 촬영한 복수의 동영상들 내 프레임을 정합시키는데 이용가능한 다른 소리를 출력할 수도 있다.In this specification, for convenience of explanation, the reference sound output device 130 is described as outputting a beep sound, but it is not limited thereto. That is, depending on the embodiment, the reference sound output device 130 may output other sounds that can be used to match frames within a plurality of videos captured by the plurality of photographing devices 110 in addition to the beep sound.
거리뷰 영상 생성 장치(140)는 복수의 촬영 장치들(110) 각각이 촬영한 동영상을 이용하여 거리뷰 영상을 생성할 수 있다.The street view image generating device 140 may generate a street view image using videos captured by each of the plurality of photographing devices 110.
이를 위해, 거리뷰 영상 생성 장치(140)는 프로세서(141), 수신기(142) 및 메모리(143)를 포함할 수 있다.To this end, the street view image generating device 140 may include a processor 141, a receiver 142, and a memory 143.
도 2를 더 참조하면, 프로세서(141)는 거리뷰 영상 생성 장치 생성 장치(100)의 동작을 전반적으로 제어할 수 있다.Referring further to FIG. 2, the processor 141 may generally control the operation of the street view image generating device 100.
프로세서(141)는, 수신기(142)를 이용하여, 복수의 촬영 장치들(110)이 촬영한 복수의 동영상들을 수신할 수 있다.The processor 141 may receive a plurality of videos captured by a plurality of photographing devices 110 using the receiver 142.
본 명세서에서는 설명의 편의를 위해, 거리뷰 영상 생성 장치(100)가 복수의 동영상들을 수신하는 것으로 설명하지만, 이에 한정되지 않는다. 즉, 실시예에 따라, 거리뷰 영상 생성 장치(100)는 수신기(142)에 더하여 또는 수신기(142) 대신에 입력기(미도시)를 포함하고, 입력기(미도시)를 이용하여 복수의 동영상들을 입력 받을 수도 있다. 따라서, 실시예에 따라, 거리뷰 영상 생성 장치(100)가 복수의 동영상들을 획득하는 것으로 통칭할 수도 있다.In this specification, for convenience of explanation, the street view image generating device 100 is described as receiving a plurality of videos, but the present invention is not limited thereto. That is, depending on the embodiment, the street view image generating device 100 includes an input device (not shown) in addition to or instead of the receiver 142, and generates a plurality of videos using the input device (not shown). You can also receive input. Therefore, depending on the embodiment, the street view image generating device 100 may be collectively referred to as acquiring a plurality of videos.
메모리(143)는 거리뷰 영상 생성 프로그램(200) 및 거리뷰 영상 생성 프로그램(200)의 실행에 필요한 정보를 저장할 수 있다.The memory 143 may store the street view image generation program 200 and information necessary for execution of the street view image generation program 200.
본 명세서에서 거리뷰 영상 생성 프로그램(200)은 차량의 주변을 촬영한 복수의 동영상들을 획득하고, 획득한 복수의 동영상들 각각에 포함되는 복수의 프레임들 중에서 비프음이 입력된 프레임들을 선택하고, 프레임의 촬영 시간을 이용하여 선택한 프레임들로부터 거리뷰 영상을 생성하도록 프로그램된 명령어들을 포함하는 소프트웨어를 의미할 수 있다.In this specification, the street view image generation program 200 acquires a plurality of videos captured around the vehicle, selects frames in which a beep sound is input from a plurality of frames included in each of the obtained plurality of videos, It may refer to software that includes commands programmed to generate a street view image from selected frames using the shooting time of the frame.
프로세서(141)는 거리뷰 영상 생성 프로그램(200)을 실행하기 위하여 메모리(143)에서 거리뷰 영상 생성 프로그램(200) 및 거리뷰 영상 생성 프로그램(200)의 실행에 필요한 정보를 로드할 수 있다.The processor 141 may load the street view image generation program 200 and information necessary for execution of the street view image generation program 200 from the memory 143 in order to execute the street view image generation program 200.
프로세서(141)는, 거리뷰 영상 생성 프로그램(200)을 실행하여, 차량의 주변을 촬영한 복수의 동영상들을 획득하고, 획득한 복수의 동영상들 각각에 포함되는 복수의 프레임들 중에서 비프음이 입력된 프레임들을 선택하고, 프레임의 촬영 시간을 이용하여 선택한 프레임들로부터 거리뷰 영상을 생성할 수 있다.The processor 141 executes the street view image generation program 200 to acquire a plurality of videos captured around the vehicle, and inputs a beep sound from a plurality of frames included in each of the obtained plurality of videos. You can select the frames and create a street view image from the selected frames using the shooting time of the frame.
거리뷰 영상 생성 프로그램(200)의 기능 및/또는 동작에 대하여는 도 3을 통해 상세하게 살펴보기로 한다.The functions and/or operations of the street view image creation program 200 will be examined in detail with reference to FIG. 3.
도 3은 일 실시예에 따른 거리뷰 영상 생성 프로그램의 기능을 개념적으로 나타내는 블록도이다.Figure 3 is a block diagram conceptually illustrating the function of a street view image generation program according to an embodiment.
도 2 및 도 3을 참조하면, 거리뷰 영상 생성 프로그램(200)은 동영상 획득부(210), 프레임 선택부(220) 및 거리뷰 영상 생성부(230)를 포함할 수 있다.Referring to FIGS. 2 and 3 , the street view image generation program 200 may include a video acquisition unit 210, a frame selection unit 220, and a street view image generation unit 230.
도 2에 도시된 동영상 획득부(210), 프레임 선택부(220) 및 거리뷰 영상 생성부(230)는 거리뷰 영상 생성 프로그램(200)의 기능을 쉽게 설명하기 위하여 거리뷰 영상 생성 프로그램(200)의 기능을 개념적으로 나눈 것으로서, 이에 한정되지 않는다. 실시예들에 따라, 동영상 획득부(210), 프레임 선택부(220) 및 거리뷰 영상 생성부(230) 각각의 기능은 병합/분리 가능하며, 하나의 프로그램에 포함된 일련의 명령어들로 구현될 수 있다.The video acquisition unit 210, frame selection unit 220, and street view image creation unit 230 shown in FIG. 2 are used to easily explain the functions of the street view image creation program 200. ) is a conceptual division of the function, and is not limited to this. Depending on the embodiment, the functions of the video acquisition unit 210, frame selection unit 220, and street view image generation unit 230 can be merged/separated and implemented as a series of commands included in one program. It can be.
동영상 획득부(210)는 복수의 촬영 장치들(110)이 차량의 주변을 촬영한 복수의 동영상들을 획득할 수 있다.The video acquisition unit 210 may acquire a plurality of videos captured by a plurality of photographing devices 110 around the vehicle.
보다 자세하게는, 동영상 획득부(210)는 복수의 촬영 장치들(110) 각각이 촬영한 복수의 동영상들을 획득할 수 있다. 예컨대, 복수의 촬영 장치들(110)이 차량의 전후 좌우를 촬영하는 4개의 촬영 장치들을 포함하는 경우, 동영상 획득부(210)는 동일한 시간에 촬영된 4개의 동영상을 획득할 수 있다.More specifically, the video acquisition unit 210 may acquire a plurality of videos captured by each of the plurality of photographing devices 110. For example, when the plurality of photographing devices 110 includes four photographing devices that photograph the front, rear, left, and right sides of a vehicle, the video acquisition unit 210 may acquire four videos captured at the same time.
실시예에 따라, 동영상 획득부(210)는 복수의 촬영 장치들(110)로부터 복수의 동영상들을 획득할 수 있다.Depending on the embodiment, the video acquisition unit 210 may acquire a plurality of videos from a plurality of photographing devices 110.
또는, 실시예에 따라, 동영상 획득부(210)는 복수의 촬영 장치들(110)이 촬영한 동영상을 관리하는 소정의 장치(미도시)로부터 복수의 동영상들을 획득할 수도 있다.Alternatively, depending on the embodiment, the video acquisition unit 210 may acquire a plurality of videos from a device (not shown) that manages videos captured by the plurality of photographing devices 110.
프레임 선택부(220)는 복수의 동영상들 각각에 포함된 프레임들 중에서 비프음을 포함하는 프레임들을 선택할 수 있다.The frame selection unit 220 may select frames containing a beep sound from among the frames included in each of the plurality of videos.
보다 자세하게는, 복수의 촬영 장치들(110)이 차량의 주변에 대한 동영상을 촬영할 때, 참조음 출력 장치(130)가 비프음을 출력하는 경우, 출력된 비프음이 동영상에 음성으로서 입력될 수 있다. 따라서, 프레임 선택부(220)는 복수의 동영상들 각각에 포함된 프레임들의 음성 입력(음성 출력)을 분석하여, 복수의 동영상들 각각에 포함된 프레임들 중에서 비프음이 입력된 프레임을 선택할 수 있다.More specifically, when a plurality of photographing devices 110 capture a video of the surroundings of a vehicle, when the reference sound output device 130 outputs a beep sound, the output beep sound can be input as a voice into the video. there is. Accordingly, the frame selection unit 220 may analyze the audio input (audio output) of the frames included in each of the plurality of videos and select the frame in which the beep sound is input from among the frames included in each of the plurality of videos. .
비프음은 소리의 주파수 및 크기가 일정하여 감지가 쉬울 뿐만 아니라, 짧은 시간동안 출력될 수 있어 하나의 프레임과 같이 작은 개수의 연속된 프레임에 입력될 수 있다.The beep sound is not only easy to detect because the frequency and volume of the sound are constant, but it can also be output for a short period of time, so it can be input as a small number of consecutive frames, such as one frame.
실시예에 따라, 참조음 출력 장치(130)가 복수의 비프음들을 출력하는 경우, 하나의 동영상에 포함된 프레임들 중에서 복수의 프레임들에 비프음이 입력될 수 있다. 이때, 프레임 선택부(220)는 하나의 동영상에 포함된 프레임들 중에서 비프음이 입력된 복수의 프레임들을 선택할 수 있다.Depending on the embodiment, when the reference sound output device 130 outputs a plurality of beep sounds, the beep sound may be input to a plurality of frames among the frames included in one video. At this time, the frame selection unit 220 may select a plurality of frames in which a beep sound is input from among the frames included in one video.
또한, 실시예에 따라, 참조음 출력 장치(130)가 소정의 이동거리(위치) 간격 또는 시간 간격으로 비프음을 출력하는 경우, 하나의 동영상에 포함된 프레임들 중에서 소정의 이동거리 간격 또는 시간 간격으로 생성된 복수의 프레임들에 비프음이 입력될 수 있다. 이때, 프레임 선택부(220)는 하나의 동영상에 포함된 프레임들 중에서 소정의 이동거리 간격 또는 시간 간격으로 비프음이 입력된 복수의 프레임들을 선택할 수 있다.In addition, depending on the embodiment, when the reference sound output device 130 outputs a beep sound at a predetermined movement distance (position) interval or time interval, a predetermined movement distance interval or time is selected among the frames included in one video. A beep sound may be input to a plurality of frames generated at intervals. At this time, the frame selection unit 220 may select a plurality of frames in which beep sounds are input at predetermined movement distance intervals or time intervals from among the frames included in one video.
참조음 출력 장치(130)가 비프음을 연속적으로 출력하는 시간이 동영상 내 프레임 간 간격보다 짧은 경우, 비프음은 연속된 둘 이상의 프레임이 아닌 하나의 프레임에 입력될 수 있다. 이와 같은 경우, 프레임 선택부(220)가 선택한 프레임의 개수는 참조음 출력 장치(130)가 비프음을 출력한 횟수와 동일할 수 있다.If the time for the reference sound output device 130 to continuously output the beep sound is shorter than the interval between frames in the video, the beep sound may be input in one frame rather than two or more consecutive frames. In this case, the number of frames selected by the frame selection unit 220 may be equal to the number of times the reference sound output device 130 outputs the beep sound.
거리뷰 영상 생성부(230)는 프레임의 촬영 시간에 기초하여 거리뷰 영상을 생성할 수 있다.The street view image generator 230 may generate a street view image based on the shooting time of the frame.
보다 자세하게는, 거리뷰 영상 생성부(230)는 프레임의 촬영 시간을 이용하여 선택된 프레임들로부터 거리뷰 영상을 생성할 수 있다.More specifically, the street view image generator 230 may generate a street view image from selected frames using the shooting time of the frame.
실시예에 따라, 거리뷰 영상 생성부(230)는 프레임 선택부(220)가 선택한 프레임들 중에서 촬영 시간이 동일하거나 촬영 시간이 기 설정된 오차 범위 내에 있는 프레임들을 결합하여 거리뷰 영상을 생성할 수 있다.Depending on the embodiment, the street view image generator 230 may generate a street view image by combining frames selected by the frame selection unit 220 that have the same shooting time or that have a shooting time within a preset error range. there is.
예컨대, 복수의 촬영 장치들(110)이 4개의 촬영 장치들을 포함하는 경우, 프레임 선택부(220)는 4개의 촬영 장치들이 생성한 4개의 동영상들에서 촬영 시간이 동일하거나 촬영 시간이 기 설정된 오차 범위 내에 있는 4개의 프레임들을 선택하고, 거리뷰 영상 생성부(230)는, 4개의 프레임들을 결합하여, 해당 위치, 시간에서의 거리뷰 영상을 생성할 수 있다.For example, when the plurality of photographing devices 110 includes four photographing devices, the frame selection unit 220 selects the four videos generated by the four photographing devices if the shooting time is the same or the shooting time has a preset error. Four frames within the range may be selected, and the street view image generator 230 may combine the four frames to generate a street view image at the corresponding location and time.
실시예에 따라, 거리뷰 영상 생성부(230)는 거리뷰 영상을 생성할 때, 위치 자세 측정 장치(120)에서 측정한 위치 및/또는 자세를 거리뷰 영상에 추가할 수 있다.Depending on the embodiment, when generating a street view image, the street view image generator 230 may add the position and/or posture measured by the position and posture measurement device 120 to the street view image.
보다 자세하게는, 거리뷰 영상 생성부(230)는 거리뷰 영상의 촬영 시간을 위치 자세 측정 장치(120)에서 측정한 위치 및/또는 자세의 측정 시간과 비교하고, 측정 시간이 촬영 시간과 동일하거나 촬영 시간으로부터 기 설정된 오차 범위 내에 있는 위치 및/또는 자세를 거리뷰 영상의 위치 및/또는 자세로 설정할 수 있다.More specifically, the street view image generator 230 compares the shooting time of the street view image with the measurement time of the position and/or posture measured by the position and attitude measurement device 120, and the measurement time is the same as the shooting time or A position and/or posture within a preset error range from the shooting time can be set as the position and/or posture of the street view image.
도 4는 일 실시예에 따른 거리뷰 영상 생성 프로그램을 이용하여 거리뷰 영상을 생성하는 일 예시이다.Figure 4 is an example of generating a street view image using a street view image generation program according to an embodiment.
도 1 내지 도 4를 참조하면, 복수의 측정 장치들(110)은 제1 측정 장치(110-1), 제2 측정 장치(110-2), 제3 측정 장치(110-3) 및 제4 측정 장치(110-4)를 포함할 수 있다.1 to 4, the plurality of measuring devices 110 include a first measuring device 110-1, a second measuring device 110-2, a third measuring device 110-3, and a fourth measuring device 110-1. It may include a measuring device 110-4.
이때, 제1 측정 장치(110-1)는 프레임 1-1, 프레임 1-2, 프레임 1-3, 프레임 1-4 및 프레임 1-5를 포함하는 제1 동영상(V1)을 생성하고, 제2 측정 장치(110-2)는 프레임 2-1, 프레임 2-2, 프레임 2-3, 프레임 2-4 및 프레임 2-5를 포함하는 제2 동영상(V2)을 생성하고, 제3 측정 장치(110-3)는 프레임 3-1, 프레임 3-2, 프레임 3-3, 프레임 3-4 및 프레임 3-5를 포함하는 제3 동영상(V3)을 생성하고, 제4 측정 장치(110-4)는 프레임 4-1, 프레임 4-2, 프레임 4-3, 프레임 4-4 및 프레임 4-5를 포함하는 제4 동영상(V4)을 생성할 수 있다.At this time, the first measurement device 110-1 generates a first video (V1) including frame 1-1, frame 1-2, frame 1-3, frame 1-4, and frame 1-5, and 2 The measurement device 110-2 generates a second video (V2) including frame 2-1, frame 2-2, frame 2-3, frame 2-4, and frame 2-5, and a third measurement device (110-3) generates a third video (V3) including frame 3-1, frame 3-2, frame 3-3, frame 3-4, and frame 3-5, and a fourth measuring device (110- 4) can generate a fourth video (V4) including frame 4-1, frame 4-2, frame 4-3, frame 4-4, and frame 4-5.
제1 동영상(V1)에 포함된 프레임들 중에서 프레임 1-1, 프레임 1-3 및 프레임 1-5에 비프음이 입력되고, 제2 동영상(V2)에 포함된 프레임들 중에서 프레임 2-1, 프레임 2-3 및 프레임 2-5에 비프음이 입력되고, 제3 동영상(V3)에 포함된 프레임들 중에서 프레임 3-1, 프레임 3-3 및 프레임 3-5에 비프음이 입력되고, 제4 동영상(V4)에 포함된 프레임들 중에서 프레임 4-1, 프레임 4-3 및 프레임 4-5에 비프음이 입력됨에 따라, 프레임 선택부(220)는 제1 동영상(V1)에 포함된 프레임들 중에서 프레임 1-1, 프레임 1-3 및 프레임 1-5을 선택하고, 제2 동영상(V2)에 포함된 프레임들 중에서 프레임 2-1, 프레임 2-3 및 프레임 2-5을 선택하고, 제3 동영상(V3)에 포함된 프레임들 중에서 프레임 3-1, 프레임 3-3 및 프레임 3-5을 선택하고, 제4 동영상(V4)에 포함된 프레임들 중에서 프레임 4-1, 프레임 4-3 및 프레임 4-5을 선택할 수 있다.Among the frames included in the first video (V1), beep sounds are input to frames 1-1, 1-3, and 1-5, and among the frames included in the second video (V2), frames 2-1, A beep sound is input to frames 2-3 and frames 2-5, and among the frames included in the third video (V3), a beep sound is input to frames 3-1, frames 3-3, and frames 3-5, and the 4 As the beep sound is input to frames 4-1, 4-3, and 4-5 among the frames included in the video (V4), the frame selection unit 220 selects the frames included in the first video (V1) Select frame 1-1, frame 1-3, and frame 1-5 among them, and select frame 2-1, frame 2-3, and frame 2-5 among the frames included in the second video (V2), Frame 3-1, Frame 3-3, and Frame 3-5 are selected among the frames included in the third video (V3), and Frame 4-1 and Frame 4- are selected among the frames included in the fourth video (V4). 3 and frames 4-5 can be selected.
이후, 프레임 1-1의 촬영 시간, 프레임 2-1의 촬영 시간, 프레임 3-1의 촬영 시간 및 프레임 4-1의 촬영 시간이 동일하거나 기 설정된 오차 범위 내에 있으므로, 거리뷰 영상 생성부(230)는 프레임 1-1, 프레임 2-1, 프레임 3-1 및 프레임 4-1을 결합하여 제1 거리뷰 영상(SV1)을 생성할 수 있다. 또한, 거리뷰 영상 생성부(230)는 위치 자세 측정 장치(120)에서 측정한 위치 및/또는 자세 중에서 측정 시간이 프레임 1-1, 프레임 2-1, 프레임 3-1 및 프레임 4-1의 촬영 시간과 동일하거나 기 설정된 오차 범위 내에 있는 위치 1 및 자세 1을 제1 거리뷰 영상(SV1)의 위치 및 자세로 설정할 수 있다.Thereafter, since the shooting time of frame 1-1, the shooting time of frame 2-1, the shooting time of frame 3-1, and the shooting time of frame 4-1 are the same or within a preset error range, the street view image generator 230 ) may generate the first street view image SV1 by combining frame 1-1, frame 2-1, frame 3-1, and frame 4-1. In addition, the street view image generator 230 determines that the measurement time is Frame 1-1, Frame 2-1, Frame 3-1, and Frame 4-1 among the positions and/or postures measured by the position and posture measurement device 120. Position 1 and posture 1 that are the same as the shooting time or within a preset error range can be set as the position and posture of the first street view image SV1.
이와 동일하게, 프레임 1-3의 촬영 시간, 프레임 2-3의 촬영 시간, 프레임 3-3의 촬영 시간 및 프레임 4-3의 촬영 시간이 동일하거나 기 설정된 오차 범위 내에 있으므로, 거리뷰 영상 생성부(230)는 프레임 1-3, 프레임 2-3, 프레임 3-3 및 프레임 4-3을 결합하여 제2 거리뷰 영상(SV2)을 생성하고, 위치 3 및 자세 3을 제2 거리뷰 영상(SV2)의 위치 및 자세로 설정할 수 있다.Likewise, since the shooting time of frame 1-3, the shooting time of frame 2-3, the shooting time of frame 3-3, and the shooting time of frame 4-3 are the same or within a preset error range, the street view image generator 230 combines frames 1-3, frames 2-3, frames 3-3, and frames 4-3 to generate a second street view image (SV2), and generates position 3 and posture 3 as the second street view image (SV2). It can be set to the position and posture of SV2).
이와 동일하게, 프레임 1-5의 촬영 시간, 프레임 2-5의 촬영 시간, 프레임 3-5의 촬영 시간 및 프레임 4-5의 촬영 시간이 동일하거나 기 설정된 오차 범위 내에 있으므로, 거리뷰 영상 생성부(230)는 프레임 1-5, 프레임 2-5, 프레임 3-5 및 프레임 4-5을 결합하여 제3 거리뷰 영상(SV3)을 생성하고, 위치 5 및 자세 5를 제3 거리뷰 영상(SV3)의 위치 및 자세로 설정할 수 있다.Likewise, since the shooting time of frames 1-5, the shooting time of frames 2-5, the shooting time of frames 3-5, and the shooting times of frames 4-5 are the same or within a preset error range, the street view image generator 230 combines frames 1-5, frames 2-5, frames 3-5, and frames 4-5 to generate a third street view image (SV3), and generates position 5 and posture 5 as a third street view image (SV3). It can be set to the position and posture of SV3).
실시예에 따라, 거리뷰 영상 생성부(230)는 제1 거리뷰 영상(SV1), 제2 거리뷰 영상(SV2) 및 제3 거리뷰 영상(SV3)을 이용하여 통합된 거리뷰 영상을 생성할 수 있다.Depending on the embodiment, the street view image generator 230 generates an integrated street view image using the first street view image (SV1), the second street view image (SV2), and the third street view image (SV3). can do.
도 5는 일 실시예에 따른 거리뷰 영상 생성 프로그램이 비프음을 이용하여 복수의 동영상들로부터 거리뷰 영상을 생성하는 방법을 나타내는 흐름도이다.Figure 5 is a flowchart illustrating a method in which a street view image generating program according to an embodiment generates a street view image from a plurality of videos using a beep sound.
도 3 및 도 5를 참조하면, 동영상 획득부(210)는 복수의 촬영 장치들(110)이 차량의 주변을 촬영한 복수의 동영상들을 획득할 수 있다(S500).Referring to FIGS. 3 and 5 , the video acquisition unit 210 may acquire a plurality of videos captured by a plurality of photographing devices 110 around the vehicle (S500).
프레임 선택부(220)는 복수의 동영상들 각각에 포함된 프레임들 중에서 비프음을 포함하는 프레임들을 선택할 수 있다(S510).The frame selection unit 220 may select frames containing a beep sound from among the frames included in each of the plurality of videos (S510).
거리뷰 영상 생성부(230)는 프레임의 촬영 시간에 기초하여 거리뷰 영상을 생성할 수 있다(S520).The street view image generator 230 may generate a street view image based on the shooting time of the frame (S520).
본 발명의 실시예에 의하면, 차량의 여러 방향을 촬영한 동영상들을 결합하여 거리뷰 영상을 생성할 때, 비프음을 이용하여 거리뷰 영상을 생성함으로써, 동영상들 내에서 촬영 위치가 동일한 프레임을 정확히 구분하여 거리뷰 영상을 생성할 수 있다.According to an embodiment of the present invention, when creating a street view image by combining videos taken from various directions of a vehicle, a beep sound is used to generate the street view image, thereby accurately selecting frames with the same shooting location within the videos. You can create a street view image separately.
또한, 본 발명의 실시예에 의하면, 차량의 여러 방향을 촬영한 동영상들을 결합하여 거리뷰 영상을 생성할 때, 비프음을 이용하여 거리뷰 영상을 생성함으로써, 촬영 간격이 짧은 동영상에 대해서도 촬영 위치를 일치시켜 거리뷰 영상을 생성할 수 있다.In addition, according to an embodiment of the present invention, when creating a street view image by combining videos taken from various directions of the vehicle, the street view image is generated using a beep sound, so that the shooting location can be used even for videos with a short shooting interval. You can create a street view image by matching.
또한, 본 발명의 실시예에 의하면, 거리뷰 영상에, 위치 자세 측정 장치에서 측정한 위치 및 자세 중에서 측정 시간이 거리뷰 영상의 촬영 시간과 동일하거나 기 설정된 오차 범위 내에 있는 위치 및 자세를 추가함으로써, 촬영 간격이 짧은 동영상을 이용하여 생성된 거리뷰 영상의 위치 및 자세를 보다 정확하게 설정할 수 있다.In addition, according to an embodiment of the present invention, among the positions and postures measured by the position and posture measuring device, positions and postures whose measurement time is the same as the shooting time of the street view image or within a preset error range are added to the street view image. , the position and posture of the street view image generated by using a video with a short shooting interval can be set more accurately.
본 발명에 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 인코딩 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 인코딩 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방법으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.Combinations of each block of the block diagram and each step of the flow diagram attached to the present invention may be performed by computer program instructions. Since these computer program instructions can be mounted on the encoding processor of a general-purpose computer, special-purpose computer, or other programmable data processing equipment, the instructions performed through the encoding processor of the computer or other programmable data processing equipment are included in each block or block of the block diagram. Each step of the flowchart creates a means to perform the functions described. These computer program instructions may also be stored in computer-usable or computer-readable memory that can be directed to a computer or other programmable data processing equipment to implement a function in a particular way, so that the computer-usable or computer-readable memory The instructions stored in can also produce manufactured items containing instruction means that perform the functions described in each block of the block diagram or each step of the flow diagram. Computer program instructions can also be mounted on a computer or other programmable data processing equipment, so that a series of operational steps are performed on the computer or other programmable data processing equipment to create a process that is executed by the computer, thereby generating a process that is executed by the computer or other programmable data processing equipment. Instructions that perform processing equipment may also provide steps for executing functions described in each block of the block diagram and each step of the flow diagram.
또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시 예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.Additionally, each block or each step may represent a module, segment, or portion of code that includes one or more executable instructions for executing specified logical function(s). Additionally, it should be noted that in some alternative embodiments it is possible for the functions mentioned in blocks or steps to occur out of order. For example, two blocks or steps shown in succession may in fact be performed substantially simultaneously, or the blocks or steps may sometimes be performed in reverse order depending on the corresponding function.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 품질에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely an illustrative explanation of the technical idea of the present invention, and those skilled in the art will be able to make various modifications and variations without departing from the essential quality of the present invention. Accordingly, the embodiments disclosed in the present invention are not intended to limit the technical idea of the present invention, but rather to explain it, and the scope of the technical idea of the present invention is not limited by these embodiments. The scope of protection of the present invention shall be interpreted in accordance with the claims below, and all technical ideas within the scope equivalent thereto shall be construed as being included in the scope of rights of the present invention.
100: 거리뷰 영상 생성 장치
200: 거리뷰 영상 생성 프로그램
210: 동영상 획득부
220: 프레임 선택부
230: 거리뷰 영상 생성부100: Street view image generating device
200: Street view image creation program
210: Video acquisition unit
220: Frame selection unit
230: Street view image generation unit
Claims (11)
복수의 촬영 장치들을 이용하여, 차량의 주변을 촬영한 복수의 동영상들을 획득하는 단계;
상기 복수의 동영상들 각각에 포함된 복수의 프레임들 중에서 참조음을 포함하는 제1 프레임들을 선택하는 단계; 및
상기 제1 프레임들 각각의 촬영 시간에 기초하여, 상기 거리뷰 영상을 생성하는 단계를 포함하고,
상기 제1 프레임들을 선택하는 단계는,
상기 복수의 프레임들의 음성 입력을 분석하는 단계; 및
상기 복수의 프레임들 중에서 상기 음성 입력에 참조음이 포함된 상기 제1 프레임들을 선택하는 단계를 포함하고,
상기 거리뷰 영상을 생성하는 단계는,
상기 제1 프레임들 중에서 촬영 시간이 동일하거나 상기 촬영 시간이 기 설정된 제1 오차 범위 내에 있는 제2 프레임들을 선택하는 단계;
상기 제2 프레임들을 결합하여 상기 거리뷰 영상을 생성하는 단계;
상기 제2 프레임들의 촬영 시간을, 소정의 위치 자세 측정 장치에 의해 측정된 복수의 측정 정보의 측정 시간과 비교하는 단계; 및
촬영 간격이 짧은 동영상을 이용하여 생성된 상기 거리뷰 영상의 위치 및 자세를 보다 정확하게 설정하도록, 상기 복수의 측정 정보 중에서 상기 측정 시간이 상기 촬영 시간과 동일하거나 상기 촬영 시간으로부터 기 설정된 제2 오차 범위 내에 있는 측정 정보를 상기 거리뷰 영상에 추가하는 단계를 포함하고,
상기 참조음은 소정의 이동거리 간격 또는 소정의 시간 간격으로 상기 복수의 동영상들에 입력되는 비프음이고,
상기 복수의 측정 정보 각각은 상기 위치 자세 측정 장치의 위치 및 자세 중에서 적어도 하나를 포함하는
거리뷰 영상을 생성하는 방법.In a method of generating a street view image performed by a street view image generating device,
Obtaining a plurality of videos captured around the vehicle using a plurality of photographing devices;
selecting first frames including reference sounds from a plurality of frames included in each of the plurality of videos; and
Generating the street view image based on the shooting time of each of the first frames,
The step of selecting the first frames is,
Analyzing voice input of the plurality of frames; and
A step of selecting the first frames including a reference sound in the voice input from among the plurality of frames,
The step of generating the street view image is,
Selecting second frames from among the first frames having the same shooting time or having the shooting time within a first preset error range;
generating the street view image by combining the second frames;
Comparing the shooting times of the second frames with the measurement times of a plurality of measurement information measured by a predetermined position and attitude measuring device; and
To more accurately set the position and posture of the street view image generated using a video with a short shooting interval, the measurement time among the plurality of measurement information is the same as the shooting time or a second error range preset from the shooting time A step of adding measurement information contained within to the street view image,
The reference sound is a beep sound input to the plurality of videos at predetermined moving distance intervals or predetermined time intervals,
Each of the plurality of measurement information includes at least one of the position and posture of the position and posture measuring device.
How to create a street view image.
상기 복수의 동영상들을 획득하는 단계에서,
상기 복수의 촬영 장치들로부터, 상기 복수의 동영상들을 획득하거나,
상기 복수의 촬영 장치들이 촬영한 동영상을 관리하는 소정의 동영상 관리 장치로부터 상기 복수의 동영상들을 획득하는
거리뷰 영상을 생성하는 방법.According to claim 1,
In the step of acquiring the plurality of videos,
Obtaining the plurality of videos from the plurality of photographing devices, or
Obtaining the plurality of videos from a predetermined video management device that manages the videos captured by the plurality of photographing devices.
How to create a street view image.
상기 메모리를 제어하는 프로세서를 포함하고,
상기 프로세서는, 상기 거리뷰 영상 생성 프로그램을 실행하여,
복수의 촬영 장치들을 이용하여, 차량의 주변을 촬영한 복수의 동영상들을 획득하고,
상기 복수의 동영상들 각각에 포함된 복수의 프레임들 중에서 참조음을 포함하는 제1 프레임들을 선택하고,
상기 제1 프레임들 각각의 촬영 시간에 기초하여, 상기 거리뷰 영상을 생성하고,
상기 프로세서는, 상기 제1 프레임들을 선택할 때,
상기 복수의 프레임들의 음성 입력을 분석하고,
상기 복수의 프레임들 중에서 상기 음성 입력에 참조음이 포함된 상기 제1 프레임들을 선택하고,
상기 프로세서는, 상기 거리뷰 영상을 생성할 때,
상기 제1 프레임들 중에서 촬영 시간이 동일하거나 상기 촬영 시간이 기 설정된 제1 오차 범위 내에 있는 제2 프레임들을 선택하고,
상기 제2 프레임들을 결합하여 상기 거리뷰 영상을 생성하고,
상기 제2 프레임들의 촬영 시간을, 소정의 위치 자세 측정 장치에 의해 측정된 복수의 측정 정보의 측정 시간과 비교하고,
촬영 간격이 짧은 동영상을 이용하여 생성된 상기 거리뷰 영상의 위치 및 자세를 보다 정확하게 설정하도록, 상기 복수의 측정 정보 중에서 상기 측정 시간이 상기 촬영 시간과 동일하거나 상기 촬영 시간으로부터 기 설정된 제2 오차 범위 내에 있는 측정 정보를 상기 거리뷰 영상에 추가하고,
상기 참조음은 소정의 이동거리 간격 또는 소정의 시간 간격으로 상기 복수의 동영상들에 입력되는 비프음이고,
상기 복수의 측정 정보 각각은 상기 위치 자세 측정 장치의 위치 및 자세 중에서 적어도 하나를 포함하는
거리뷰 영상 생성 장치.A memory where a street view image creation program is stored; and
Including a processor that controls the memory,
The processor executes the street view image generation program,
Using a plurality of photographing devices, obtain a plurality of videos taken around the vehicle,
Selecting first frames including reference sounds from a plurality of frames included in each of the plurality of videos,
Generate the street view image based on the shooting time of each of the first frames,
When selecting the first frames, the processor:
Analyze voice input of the plurality of frames,
Selecting the first frames including reference sounds in the voice input from among the plurality of frames,
When the processor generates the street view image,
Selecting second frames among the first frames that have the same shooting time or whose shooting time is within a preset first error range,
Combining the second frames to generate the street view image,
Comparing the shooting times of the second frames with the measurement times of a plurality of measurement information measured by a predetermined position and attitude measurement device,
To more accurately set the position and posture of the street view image generated using a video with a short shooting interval, the measurement time among the plurality of measurement information is the same as the shooting time or a second error range preset from the shooting time Add the measurement information within to the street view image,
The reference sound is a beep sound input to the plurality of videos at predetermined moving distance intervals or predetermined time intervals,
Each of the plurality of measurement information includes at least one of the position and posture of the position and posture measuring device.
Street view image generating device.
상기 컴퓨터 프로그램은,
제1 항 및 제8 항 중 어느 한 항에 따른 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하는
컴퓨터 판독 가능한 기록매체.A computer-readable recording medium storing a computer program,
The computer program is,
Comprising instructions for causing a processor to perform the method according to any one of claims 1 and 8.
A computer-readable recording medium.
상기 컴퓨터 프로그램은, 프로세서에 의해 실행되면,
제1 항 및 제8 항 중 어느 한 항에 따른 방법을 상기 프로세서가 수행하도록 하기 위한 명령어를 포함하는
컴퓨터 판독 가능한 기록매체에 저장되어 있는 컴퓨터 프로그램.A computer program stored on a computer-readable recording medium,
When the computer program is executed by a processor,
Comprising instructions for causing the processor to perform the method according to any one of claims 1 and 8.
A computer program stored on a computer-readable recording medium.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230085517A KR102578058B1 (en) | 2023-07-03 | 2023-07-03 | Method and device for generating street view image |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230085517A KR102578058B1 (en) | 2023-07-03 | 2023-07-03 | Method and device for generating street view image |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102578058B1 true KR102578058B1 (en) | 2023-09-12 |
Family
ID=88019607
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230085517A KR102578058B1 (en) | 2023-07-03 | 2023-07-03 | Method and device for generating street view image |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102578058B1 (en) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130022078A (en) * | 2011-08-24 | 2013-03-06 | 권광석 | Mobile mapping system and control method |
| KR20190071303A (en) * | 2017-12-14 | 2019-06-24 | 주식회사 엘지유플러스 | System and method for transmitting a plurality of video image |
| KR102475332B1 (en) * | 2022-05-12 | 2022-12-08 | 주식회사 유오케이 | Method for collect road information using multiple camera and computer program recorded on record-medium for executing method therefor |
-
2023
- 2023-07-03 KR KR1020230085517A patent/KR102578058B1/en active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130022078A (en) * | 2011-08-24 | 2013-03-06 | 권광석 | Mobile mapping system and control method |
| KR20190071303A (en) * | 2017-12-14 | 2019-06-24 | 주식회사 엘지유플러스 | System and method for transmitting a plurality of video image |
| KR102475332B1 (en) * | 2022-05-12 | 2022-12-08 | 주식회사 유오케이 | Method for collect road information using multiple camera and computer program recorded on record-medium for executing method therefor |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11381758B2 (en) | System and method for acquiring virtual and augmented reality scenes by a user | |
| CN111586360B (en) | Unmanned aerial vehicle projection method, device, equipment and storage medium | |
| CN108335353B (en) | Three-dimensional reconstruction method, device and system of dynamic scene, server and medium | |
| KR101509415B1 (en) | Position searching method and apparatus based on electronic map | |
| US9756260B1 (en) | Synthetic camera lenses | |
| JP2018151696A (en) | Free viewpoint movement display apparatus | |
| US20140192055A1 (en) | Method and apparatus for displaying video on 3d map | |
| CN110361005B (en) | Positioning method, positioning device, readable storage medium and electronic equipment | |
| CN110660103B (en) | Unmanned vehicle positioning method and device | |
| JP6110780B2 (en) | Additional information display system | |
| JP2019045991A (en) | Generation device, generation method and program | |
| JP2020160944A (en) | Inspection work support device, inspection work support method, and inspection work support program | |
| CN112487979A (en) | Target detection method, model training method, device, electronic device and medium | |
| KR20230015446A (en) | Model creation method, image perspective determination method, apparatus, equipment and media | |
| CN104915948B (en) | The system and method for selecting two-dimentional interest region for use scope sensor | |
| KR102578058B1 (en) | Method and device for generating street view image | |
| JP2016103248A (en) | Image providing system and image providing method | |
| CN113034582A (en) | Pose optimization device and method, electronic device and computer readable storage medium | |
| CN110930437B (en) | Target tracking method and device | |
| CN112257638A (en) | Image comparison method, system, equipment and computer readable storage medium | |
| JP2005141655A (en) | Three-dimensional modeling apparatus and three-dimensional modeling method | |
| CN110196638B (en) | Mobile terminal augmented reality method and system based on target detection and space projection | |
| CN110418059B (en) | Image processing method and device applied to electronic equipment, electronic equipment and medium | |
| CN114007056A (en) | Method and device for generating three-dimensional panoramic image | |
| GB2533360A (en) | Method, apparatus and computer program product for processing multi-camera media content |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |