KR20190083901A - Method and apparatus for time synchronization of videos from an array of cameras - Google Patents

Method and apparatus for time synchronization of videos from an array of cameras Download PDF

Info

Publication number
KR20190083901A
KR20190083901A KR1020180001900A KR20180001900A KR20190083901A KR 20190083901 A KR20190083901 A KR 20190083901A KR 1020180001900 A KR1020180001900 A KR 1020180001900A KR 20180001900 A KR20180001900 A KR 20180001900A KR 20190083901 A KR20190083901 A KR 20190083901A
Authority
KR
South Korea
Prior art keywords
image
images
frame image
frame
cameras
Prior art date
Application number
KR1020180001900A
Other languages
Korean (ko)
Inventor
정재숙
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020180001900A priority Critical patent/KR20190083901A/en
Publication of KR20190083901A publication Critical patent/KR20190083901A/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping

Abstract

According to the present invention, provided are a time synchronization method of an image taken by a plurality of cameras and a device thereof. The device determines a reference frame image in point-of-view image taken by one camera and finds the same frame image as the reference frame image in point-of-view images taken by other cameras. The device adjusts the found frame number so that the found frame images and the reference frame image have the same frame number. The present invention automatically performs time synchronization based on the result of analysis.

Description

다수의 카메라에서 촬영된 영상의 시간 동기화 방법 및 장치{Method and apparatus for time synchronization of videos from an array of cameras}BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a time synchronization method and apparatus for an image captured by a plurality of cameras,

본 발명은 영상의 시간 동기화에 관한 것으로, 더욱 상세하게 말하자면, 다수의 카메라에서 촬영된 영상의 시간 동기화 방법 및 장치에 관한 것이다. BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to time synchronization of an image, and more particularly, to a time synchronization method and apparatus of an image captured by a plurality of cameras.

다시점 영상(multi-view video)을 만들기 위해서는 보통 여러 대의 카메라를 1열로 인접하게 배치하여 피사체를 촬영한다. 여러 대의 카메라에서 촬영된 영상으로 다시점 영상을 만들기 위해서는 시간동기화 이외에도 색보정, 영상정렬, 깊이맵 추출, 중간영상 계산 등 전처리가 요구된다. 영상의 질을 보장하면서, 카메라간 간격이 좁으면서도 큰 시차를 가진 다시점 영상을 만들기 위하여 많은 수의 카메라를 사용한다. 이러한 이유로 다시점 영상 제작은 많은 데이터와 그 데이터 처리가 필요한데, 이 때문에 많은 시간과 노력이 들어 다시점 영상 콘텐츠의 제작단가가 높다. 많은 시간과 노력이 드는 처리들을 자동화하면 자연히 제작단가는 낮아진다. To create a multi-view video, usually several cameras are arranged adjacent to each other in one row to shoot a subject. In addition to time synchronization, preprocessing such as color correction, image alignment, depth map extraction, and intermediate image calculation is required to generate multi-view images from images captured by multiple cameras. A large number of cameras are used to ensure multi-view images with a large time difference while ensuring the quality of the images. For this reason, multi-view video production requires a lot of data and its data processing. Therefore, the manufacturing cost of multi-view video contents is high because of a lot of time and efforts. Automating processes that take a lot of time and effort naturally lowers the production team.

다시점 영상을 위해 여러 대의 영상 카메라들을 한번에 정밀하게 동일한 시각에 제어하는 것은 매우 어렵다. 이를 위하여 소리를 이용한 시간 동기화 방법이 사용된다. 그러나 모든 카메라에 대해 동일한 음이 같은 시각에 최고값을 가지지 않기 때문에, 카메라 개수가 늘어나면 소리를 이용한 시간 동기화가 잘 이루어지지 않으며, 실외 촬영의 경우에는 더욱 시간 동기화가 이루어지지 않는다. It is very difficult to precisely control several video cameras at the same time at the same time for multi-view video. For this, a time synchronization method using sound is used. However, since the same sound for all cameras does not have the highest value at the same time, when the number of cameras is increased, time synchronization using sound is not performed well and time synchronization is not performed in the case of outdoor shooting.

영상 카메라들의 시간 동기화가 안되었거나 시간 동기화의 결과가 좋지 않으면, 결국, 사람이 수작업으로 각 시점 영상들에 대하여 또는 동기화되지 않은 영상들에 대하여 시간 동기화를 해야 한다. 이 경우, 먼저 움직임이 커서 육안으로 확인이 수월한 장면이 포함된 영상을 선택하여 기준으로 삼는다. 이후, 기준 영상과 같은 영상을 다른 시점의 프레임 영상들에서 찾아, 모든 시점에 대하여 같은 장면 영상들이 같은 프레임 번호를 가지도록 하는 방법으로 시간 동기화를 한다. If the time synchronization of the video cameras is not performed or if the result of the time synchronization is not good, the person has to manually synchronize the time synchronization with respect to each view image or the unsynchronized images. In this case, an image including a scene whose motion is large and easy to be visually recognized is selected as a reference first. Then, the same image as the reference image is searched in the frame images at the different viewpoints, and the time synchronization is performed by making the same scene images have the same frame number at every viewpoint.

그러나 이러한 시간 동기화 작업은 사람이 수작업으로 진행함에 따라, 시간이 많이 소요되고 작업 과정이 지루하며, 특히 사용자의 주의를 요구한다. However, this time synchronization operation is time-consuming and tedious as a person proceeds by hand, and in particular requires the user's attention.

본 발명이 해결하고자 하는 과제는, 다시점 영상을 위해 여러 대의 카메라로부터 획득되는 영상을 분석하고, 분석 결과를 기반으로 시간 동기화를 자동으로 수행하는 방법 및 장치를 제공하는 것이다. SUMMARY OF THE INVENTION It is an object of the present invention to provide a method and apparatus for automatically analyzing images obtained from a plurality of cameras for multi-view images and automatically performing time synchronization based on the analysis results.

본 발명의 실시 예에 따른 방법은, 다수의 카메라에서 촬영된 영상들의 시간 동기화 방법으로서, 장치가, 하나의 카메라에 의해 촬영된 시점 영상에서 기준 프레임 영상을 결정하는 단계; 상기 장치가, 나머지 카메라에 의해 촬영된 시점 영상들에서 상기 기준 프레임 영상과 동일한 프레임 영상을 찾는 단계; 및 상기 장치가, 상기 찾아진 프레임 영상들과 상기 기준 프레임 영상이 동일한 프레임 번호를 가지도록, 상기 찾아진 프레임 번호를 조정하는 단계를 포함한다. A method according to an embodiment of the present invention is a method for time synchronization of images photographed by a plurality of cameras, the method comprising: determining a reference frame image from a viewpoint image photographed by one camera; The apparatus comprising: a step of searching for a frame image identical to the reference frame image in viewpoint images photographed by a remaining camera; And adjusting the searched frame number so that the apparatus has the same frame number as the found frame images and the reference frame image.

본 발명의 실시 예에 따르면, 다수의 카메라에서 촬영된 영상을 자동으로 분석하여 동일한 시각의 장면의 시점 영상들을 동기화할 수 있다. 이에 따라 오류도 적고, 각 프레임의 시간정보가 없어도 시간동기화가 가능하다.According to an embodiment of the present invention, images captured by a plurality of cameras can be automatically analyzed to synchronize view images of a scene at the same time. Accordingly, there is little error and time synchronization is possible even if there is no time information of each frame.

또한, 주어진 프레임의 다시점 영상을 분석하여 시간동기화가 되지 않은 영상을 가려 보여줄 수 있다. Also, by analyzing the multi-view image of a given frame, it is possible to visually display images that are not synchronized with time.

도 1은 본 발명의 실시 예에 따른 카메라 어레이를 나타낸 예시도이다.
도 2는 본 발명의 실시 예에 따른 영상의 시간 동기화 방법의 흐름도이다.
도 3은 본 발명의 실시 예에 따른 기준 프레임 영상을 결정하는 과정의 흐름도이다.
도 4는 본 발명의 실시 예에 따른 다른 시점 영상들에서 기준 프레임 영상과 동일한 프레임 영상을 찾는 과정을 나타낸 흐름도이다.
도 5는 본 발명의 실시 예에 따른 영상 시간 동기화 장치의 구조도이다.
도 6은 본 발명의 다른 실시 예에 따른 영상 시간 동기화 장치의 구조도이다. 1 is an exemplary view illustrating a camera array according to an embodiment of the present invention.
2 is a flowchart of a method of time synchronization of an image according to an embodiment of the present invention.
3 is a flowchart illustrating a process of determining a reference frame image according to an exemplary embodiment of the present invention.
4 is a flowchart illustrating a process of finding a frame image identical to a reference frame image in other view images according to an embodiment of the present invention.
5 is a structural diagram of a video time synchronization apparatus according to an embodiment of the present invention.
FIG. 6 is a structural diagram of a video time synchronization apparatus according to another embodiment of the present invention.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. In order to clearly illustrate the present invention, parts not related to the description are omitted, and similar parts are denoted by like reference characters throughout the specification.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. Throughout the specification, when an element is referred to as "comprising ", it means that it can include other elements as well, without excluding other elements unless specifically stated otherwise.

이하, 도면을 참조하여 본 발명의 실시 예에 따른 다수의 카메라에서 촬영된 영상의 시간 동기화 방법 및 장치에 대하여 설명한다. Hereinafter, a method and apparatus for time synchronization of images photographed by a plurality of cameras according to an embodiment of the present invention will be described with reference to the drawings.

도 1은 본 발명의 실시 예에 따른 카메라 어레이를 나타낸 예시도이다. 1 is an exemplary view illustrating a camera array according to an embodiment of the present invention.

본 발명의 실시 예에서는 다시점 영상(multi-view video)을 만들기 위해서 여러 대의 카메라를 사용한다. 예를 들어, 첨부한 도 1에서와 같이, 여러 대의 카메라들을 1열로 인접하게 배치하여 카메라 어레이를 구성하고, 카메라 어레이를 이용하여 피사체를 촬영한다.In the embodiment of the present invention, several cameras are used to create a multi-view video. For example, as shown in FIG. 1, a plurality of cameras are disposed adjacent to each other in a row to form a camera array, and a subject is photographed using a camera array.

카메라 어레이는 도 1과 같이 1열로 배치된 형태의 다수의 카메라를 포함할 수 있으며, 또는, 바둑판처럼 일정한 간격으로 2차원으로 배열된 다수의 카메라를 포함할 수 있다. 2차원으로 배열된 카메라들로 이루어지는 카메라 어레이는 도 1의 카메라 어레이의 위에 동일한 카메라 어레이를 열을 맞추어 쌓인 형태로 이루어질 수 있다. 1열로 배치된 형태의 다수의 카메라를 포함하는 카메라 어레이를 설명의 편의상 "1차원 카메라 어레이"라고 명명할 수 있고, 2차원으로 배열된 카메라들로 이루어지는 카메라 어레이를 설명의 편의상 "2차원 카메라 어레이"라고 명명할 수 있다. The camera array may include a plurality of cameras arranged in one line as shown in FIG. 1, or may include a plurality of cameras arranged two-dimensionally at regular intervals such as a checkerboard. The camera array formed of two-dimensionally arranged cameras may be stacked on the camera array of FIG. 1 by stacking the same camera array. A camera array including a plurality of cameras arranged in one line may be referred to as a " one-dimensional camera array "for convenience of explanation, and a camera array composed of cameras arranged in two dimensions may be referred to as" ".

본 발명의 실시 예에서는 1차원 카메라 어레이 또는 2차원 카메라 어레이를 이용하여 다시점 영상을 생성할 수 있으나, 본 발명은 이러한 형태의 카메라 어레이를 사용하는 것에 한정되는 것은 아니다. In the embodiment of the present invention, a multi-view image can be generated using a one-dimensional camera array or a two-dimensional camera array, but the present invention is not limited to the use of such a camera array.

본 발명의 실시 예에서는 1열로 또는 수개의 열로 인접하게 배치된 다수의 카메라에서 촬영된 영상들을 분석하여 시간 동기화를 수행한다. In the embodiment of the present invention, time synchronization is performed by analyzing images photographed by a plurality of cameras disposed adjacent to each other in one column or several columns.

도 2는 본 발명의 실시 예에 따른 영상의 시간 동기화 방법의 흐름도이다. 2 is a flowchart of a method of time synchronization of an image according to an embodiment of the present invention.

먼저, 다수의 카메라를 이용하여 피사체를 촬영한다(S100). 각각의 카메라에서 각각의 시점에서 촬영된 동일 장면(scene)의 영상들이 획득될 수 있다. 각각의 카메라에서 촬영된 영상을 시점 영상이라고도 명명할 수 있다. First, a subject is photographed using a plurality of cameras (S100). Images of the same scene photographed at each viewpoint in each camera can be obtained. An image captured by each camera can also be referred to as a view image.

촬영된 영상들에서 가장 짧은 길이를 가진 시점의 영상을 획득한다(S110). 즉, 임의 카메라에서 촬영된 영상들 중에서 가장 짧은 길이를 가지는 영상(예를 들어, 임의 카메라에서 촬영된 동영상들 중에서 동영상 길이가 가장 짧은 동영상)을 획득한다. 동영상은 복수 프레임 영상들로 이루어진다. 이하에서, "영상"은 동영상을 나타낼 수 있으며, 프레임 영상은 동영상을 구성하는 프레임별 영상일 수 있다. An image at a time point having the shortest length in the photographed images is obtained (S110). That is, an image having the shortest length among the images photographed by the arbitrary camera (for example, a moving image having the shortest moving image among the videos photographed by the arbitrary camera) is obtained. The moving picture is composed of plural frame images. Hereinafter, the "image" may represent a moving image, and the frame image may be a frame-by-frame image constituting a moving image.

가장 짧은 길이를 가진 시점의 영상에서 기준 프레임 영상을 결정한다(S120).The reference frame image is determined from the image having the shortest length (S120).

이와 같이, 임의 시점 영상에서 기준 프레임 영상이 결정된 다음에, 도 2에서와 같이, 다른 시점의 영상들에서 기준 프레임 영상과 동일한 프레임 영상을 찾는다(S130). After the reference frame image is determined in the random view image, the same frame image as the reference frame image is searched in the images at the different view points, as shown in FIG. 2 (S130).

이와 같이, 다른 시점의 영상들에서 기준 프레임 영상과 동일한 프레임 영상을 찾은 다음에, 도 2에서와 같이, 기준 프레임 영상의 프레임 번호와 다른 시점 영상들에 대해 찾아진 프레임 영상의 프레임 번호가 동일하도록, 시점 영상의 프레임 번호를 조정한다(S140). 이때, 찾아진 프레임 영상들의 프레임 번호를 저장하고, 모든 시점 영상들에서 찾은 기준 프레임 영상과 동일한 프레임 영상들의 프레임 번호들 중에서 가장 작은 프레임 번호를 선택한다. 찾아진 모든 영상의 프레임 영상들의 번호가 가장 작은 프레임 번호를 가지도록 하고, 이를 기준으로 각 시점 영상의 프레임 영상들의 번호를 다시 조정할 수 있다. 2, the frame number of the reference frame image and the frame number of the frame image searched for the different view images are equal to each other , And adjusts the frame number of the view image (S140). At this time, the frame number of the found frame images is stored, and the smallest frame number among the frame numbers of the same frame images as the reference frame image found in all view images is selected. The number of the frame images of all the detected images may have the smallest frame number, and the number of the frame images of each view image may be adjusted based on the number of the frame images.

도 3은 본 발명의 실시 예에 따른 기준 프레임 영상을 결정하는 과정의 흐름도이다. 3 is a flowchart illustrating a process of determining a reference frame image according to an exemplary embodiment of the present invention.

가장 짧은 길이를 가진 시점의 영상을 구성하는 프레임 영상들 중에서, 프레임 영상 사이의 차이가 가장 큰 프레임 영상 한 쌍을 찾고, 해당 쌍의 첫번째 프레임 영상을 기준 프레임 영상으로 한다. Among the frame images constituting the image having the shortest length, a pair of frame images having the largest difference between frame images is found, and the first frame image of the pair is used as the reference frame image.

이를 위해, 소정 크기(예를 들어, n×m)의 윈도우를 사용하고, 윈도우 안에 들어가는 픽셀들에 대한 평균 디스크립터(descriptor) 값들의 차이를 사용한다. 윈도우 크기는 가변 가능하며, 디스크립터는 영상분석에 사용되는 임의 디스크립터일 수 있다. To do this, we use a window of a predetermined size (e.g., n x m) and use the difference in average descriptor values for the pixels in the window. The window size may be variable and the descriptor may be an arbitrary descriptor used for image analysis.

첨부한 도 3에서와 같이, 각 프레임 영상에서 n×m 크기의 윈도우를 일정한 영역에서 움직이면서 해당 영역에 포함되는 각 픽셀의 디스크립터 값들을 계산하여 그 합 및 평균을 구한다(S121, S122). 이러한 평균을 윈도우의 평균 디스크립터 값이라고 명명할 수 있다. 윈도우가 이동된 위치별로 평균 디스크립터값이 획득된다. As shown in FIG. 3, in each frame image, a window of size n × m is moved in a predetermined area, and descriptor values of each pixel included in the corresponding area are calculated, and sum and average thereof are obtained (S121, S122). This average can be called the window's average descriptor value. The average descriptor value is obtained for each location where the window is moved.

프레임 영상 순서대로 인접한 두 개의 프레임 영상들에 대해 평균 디스크립터 값의 차이를 확인하는 과정을 수행한다(S123). A process of checking the difference between the average descriptor values of two adjacent frame images in the frame image sequence is performed (S123).

한 쌍의 인접한 두 개의 프레임 영상에서 윈도우의 평균 디스크립터 값의 차이를 구한다. 가장 큰 차이를 가지는 윈도우를 찾고, 해당 윈도우의 위치와, 해당 윈도우의 평균 디스크립터 값, 그리고 차이 값을 저장한다(S124). 이때, 평균 디스크립터 값의 차이가 가장 큰 설정 개수(예를 들어, 2-3개)의 윈도우를 찾을 수 있으며, 찾아진 해당 윈도우의 위치와 각 윈도우의 평균 디스크립터 값, 그 차이값을 저장할 수 있다. 한 쌍의 프레임 영상에 대해 찾아진, 평균 디스크립터 값의 차이가 가장 큰 설정 개수의 윈도우들의 차이값들의 평균값을 구하고, 구해진 평균값을 해당 쌍의 프레임 영상에 대한 차이값으로 사용할 수 있다. The difference between the average descriptor value of the window in a pair of adjacent two frame images is obtained. Finds the window having the greatest difference, stores the position of the corresponding window, the average descriptor value of the window, and the difference value (S124). At this time, it is possible to find a window having a set number of the largest difference between the average descriptor values (for example, two or three), store the location of the window searched, the average descriptor value of each window, . An average value of the difference values of the windows having the largest difference between the average descriptor values found for the pair of frame images can be obtained and the obtained average value can be used as a difference value for the pair of frame images.

모든 프레임에 대하여 한 쌍의 프레임 영상별로 구해진 차이값들을 비교하여, 차이값이 가장 큰 설정 개수의 프레임 영상 쌍들을 추출한다(S125). 차이값이 가장 큰 설정 개수의 프레임 영상 쌍들 중에서 하나의 프레임 영상 쌍을 선택한다. 여기서, 차이값이 가장 큰 프레임 영상 쌍이 선택될 수 있으며, 또는 차이값이 가장 큰 설정 개수의 프레임 영상 쌍들 중에서 사용자에 의해 임의 프레임 영상 쌍이 선택될 수도 있다. The difference values obtained for each pair of frame images for all the frames are compared, and the set number of frame image pairs having the largest difference value is extracted (S125). One frame image pair is selected from the set number of frame image pairs having the largest difference value. Here, the frame image pair having the largest difference value may be selected, or a random frame image pair may be selected by the user among the set number of frame image pairs having the largest difference value.

선택된 프레임 영상 쌍에서, 첫번째 프레임 영상을 기준 프레임 영상으로 결정한다(S126). 그러나 이에 한정되지 않고, 두번째 프레임 영상이 선택될 수도 있다. In the selected frame image pair, the first frame image is determined as the reference frame image (S126). However, the present invention is not limited to this, and a second frame image may be selected.

도 4는 본 발명의 실시 예에 따른 다른 시점 영상들에서 기준 프레임 영상과 동일한 프레임 영상을 찾는 과정을 나타낸 흐름도이다. 4 is a flowchart illustrating a process of finding a frame image identical to a reference frame image in other view images according to an embodiment of the present invention.

기준 프레임 영상이 결정된 시점 영상을 제외한 다른 시점 영상들 각각에 대하여 기준 프레임 영상과 동일한 프레임 영상을 찾는다. A frame image identical to the reference frame image is searched for each of the view images other than the view image in which the reference frame image is determined.

기준 프레임 영상의 픽셀별 디스크립터 값을 임의 다른 시점 영상을 구성하는 하나의 프레임 영상의 픽셀별 디스크립터 값과 비교하여 그 차이값을 구하고, 구해진 차이값을 저장한다(S131). 여기서, 하나의 프레임 영상별로 구해진 픽섹별 디스크립터 값의 차이값들의 평균값이 해당 프레임 영상에 대한 차이값으로 사용될 수 있다. The descriptor value for each pixel of the reference frame image is compared with the descriptor value for each pixel of one frame image constituting any other view image to obtain the difference value, and the obtained difference value is stored (S131). Here, an average value of difference values of the picked-up descriptors of each frame image may be used as a difference value for the corresponding frame image.

기준 프레임 영상을 토대로, 하나의 시점 영상을 구성하는 모든 프레임 영상에 대하여 차이값을 구한 다음에(S132), 그 중 가장 작은 차이값을 가지는 프레임 영상을 선택한다(S133). 선택된 프레임 영상이 기준 프레임 영상과 동일한 장면을 촬영한 영상 즉, 동일한 시간에 촬영된 프레임 영상이다. Based on the reference frame image, a difference value is obtained for all frame images constituting one view image (S132), and a frame image having the smallest difference value is selected (S133). The selected frame image is an image of the same frame as the reference frame image, that is, a frame image photographed at the same time.

이러한 과정을 모든 시점의 영상들에 대하여 수행하여, 각 시점 영상에 대해 기준 프레임 영상과 동일한 시간에 촬영된 프레임 영상들을 찾는다. This process is performed on images at all viewpoints, and frame images captured at the same time as the reference frame image are searched for each viewpoint image.

이러한 본 발명의 실시 예에 따르면, 다수의 카메라에서 촬영된 시점 영상들에서 임의 시점 영상에서 기준 프레임 영상을 선택하고, 선택된 기준 프레임 영상과 동일한 프레임 영상을 나머지 시점의 영상들에서 찾고, 기준 프레임과 찾아진 프레임 영상들이 동일한 프레임 번호를 가지도록 함으로써, 다수의 카메라에서 촬영된 시점 영상들의 시간동기화가 이루어진다. According to the embodiment of the present invention, a reference frame image is selected from a viewpoint image from viewpoint images taken by a plurality of cameras, a frame image identical to the selected reference frame image is searched from images at the remaining viewpoints, The time synchronization of the viewpoint images captured by a plurality of cameras is performed by causing the found frame images to have the same frame number.

도 5는 본 발명의 실시 예에 따른 영상 시간 동기화 장치의 구조도이다. 5 is a structural diagram of a video time synchronization apparatus according to an embodiment of the present invention.

첨부한 도 5에 본 발명의 실시 예에 따른 영상 시간 동기화 장치(10)는, 입력부(10), 기준 프레임 영상 계산부(20), 각 시점별 동일 프레임 계산부(30), 각 시점 프레임 번호 설정부(40), 결과 영상 출력부(50), 그리고 저장부(60)를 포함한다. 5, the apparatus 10 includes an input unit 10, a reference frame image calculation unit 20, an identical frame calculation unit 30 for each viewpoint, A setting unit 40, a result image output unit 50, and a storage unit 60.

입력부(10)는 영상을 입력받도록 구성되며, 특히, 복수의 카메라로부터 촬영된 복수의 시점 영상들을 입력받도록 구성된다. The input unit 10 is configured to receive an image, and is configured to receive a plurality of viewpoint images photographed from a plurality of cameras.

기준 프레임 영상 계산부(20)는 입력부(10)로부터 제공되는 영상들 중에서 가장 짧은 길이를 가진 시점의 영상을 획득하고, 가장 짧은 길이를 가진 시점의 영상에서 기준 프레임 영상을 결정하도록 구성된다. The reference frame image calculation unit 20 is configured to acquire an image at a time point having the shortest length among images provided from the input unit 10 and to determine a reference frame image at an image having a shortest length.

각 시점별 동일 프레임 계산부(30)는 기준 프레임 영상 계산부(20)로부터 제공되는 임의 시점 영상의 기준 프레임 영상을 토대로, 다른 시점의 영상들에서 기준 프레임 영상과 동일한 프레임 영상을 찾도록 구성된다. The same frame calculation unit 30 for each viewpoint is configured to find a frame image identical to the reference frame image in images at different viewpoints, based on the reference frame image of the arbitrary viewpoint image provided from the reference frame image calculation unit 20 .

각 시점 프레임 번호 설정부(40)는 기준 프레임 영상의 프레임 번호와 다른 시점 영상들에 대해 찾아진 프레임 영상의 프레임 번호가 동일하도록, 시점 영상의 프레임 번호를 조정하도록 구성된다. Each viewpoint frame number setting unit 40 is configured to adjust the frame number of the viewpoint image so that the frame number of the reference frame image is the same as the frame number of the frame image found for other viewpoint images.

결과 영상 출력부(50)는 프레임 번호 조정 처리에 따라 새로운 프레임 번호로 설정된 결과 영상을 출력하도록 구성된다. The resultant video output unit 50 is configured to output a resultant image set to a new frame number in accordance with the frame number adjustment process.

저장부(60)는 입력부(10), 기준 프레임 영상 계산부(20), 각 시점별 동일 프레임 계산부(30), 각 시점 프레임 번호 설정부(40), 결과 영상 출력부(50) 등에서 처리되는 데이터(예, 영상, 프레임 번호 등)를 저장하도록 구성된다. The storage unit 60 stores the processed image data in the input unit 10, the reference frame image calculation unit 20, the same frame calculation unit 30, the respective view frame number setting unit 40, the result image output unit 50, (E.g., image, frame number, etc.).

도 6은 본 발명의 다른 실시 예에 따른 영상 시간 동기화 장치의 구조도이다6 is a block diagram of a video time synchronization apparatus according to another embodiment of the present invention

첨부한 도 6에 도시되어 있듯이, 본 발명의 다른 실시 예에 따른 영상 시간 동기화 장치(100)는, 프로세서(110), 메모리(120) 및 입출력부(130)를 포함한다. 프로세서(110)는 위의 도 2 내지 도 4를 토대로 설명한 방법들을 구현하도록 구성될 수 있다. 6, an apparatus 100 for synchronizing a picture according to another embodiment of the present invention includes a processor 110, a memory 120, and an input / output unit 130. The processor 110 may be configured to implement the methods described above based on Figs. 2-4.

메모리(120)는 프로세서(110)와 연결되고 프로세서(110)의 동작과 관련한 다양한 정보를 저장한다. 메모리(120)는 프로세서(110)에서 수행하기 위한 동작을 위한 명령어(instructions)를 저장하고 있거나 저장 장치(도시하지 않음)로부터 명령어를 로드하여 일시 저장할 수 있다. 메모리(120)는 도 5의 저장부(60)의 기능을 수행하도록 구성될 수 있다. The memory 120 is coupled to the processor 110 and stores various information related to the operation of the processor 110. [ The memory 120 stores instructions for an operation to be performed by the processor 110 or may temporarily store an instruction loaded from a storage device (not shown). The memory 120 may be configured to perform the functions of the storage 60 of FIG.

프로세서(110)는 메모리(120)에 저장되어 있거나 로드된 명령어를 실행할 수 있다. 프로세서(110)와 메모리(120)는 버스(도시하지 않음)를 통해 서로 연결되어 있으며, 버스에는 입출력 인터페이스(도시하지 않음)도 연결되어 있을 수 있다. 예를 들어, 프로세서(110)는 도 5의 기준 프레임 영상 계산부(20), 각 시점별 동일 프레임 계산부(30), 각 시점 프레임 번호 설정부(40)의 기능을 수행하도록 구성될 수 있다. The processor 110 may execute instructions that are stored or loaded into the memory 120. The processor 110 and the memory 120 are connected to each other via a bus (not shown), and an input / output interface (not shown) may be connected to the bus. For example, the processor 110 may be configured to perform the functions of the reference frame image calculation unit 20, the identical frame calculation unit 30, and the view frame number setting unit 40 of FIG. 5 .

입출력부(130)는 프로세서(110)의 처리 결과를 출력하거나, 인터페이스를 통해 입력되는 데이터(예를 들어, 동영상)를 입력받아 프로세서(110)로 제공하도록 구성된다. 예를 들어, 입출력부(130)는 도 5의 입력부(10) 및 결과 영상 출력부(50)의 기능을 수행하도록 구성될 수 있다. The input / output unit 130 is configured to output the processing result of the processor 110 or to receive data (for example, moving image) input through the interface and to provide the data to the processor 110. For example, the input / output unit 130 may be configured to perform the functions of the input unit 10 and the resultant image output unit 50 of FIG.

본 발명의 실시 예는 이상에서 설명한 장치 및/또는 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하기 위한 프로그램, 그 프로그램이 기록된 기록 매체 등을 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다.The embodiments of the present invention are not limited to the above-described apparatuses and / or methods, but may be implemented through a program for realizing functions corresponding to the configuration of the embodiment of the present invention, a recording medium on which the program is recorded And such an embodiment can be easily implemented by those skilled in the art from the description of the embodiments described above.

이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, It belongs to the scope of right.

Claims (1)

다수의 카메라에서 촬영된 영상들의 시간 동기화 방법으로서,
장치가, 하나의 카메라에 의해 촬영된 시점 영상에서 기준 프레임 영상을 결정하는 단계;
상기 장치가, 나머지 카메라에 의해 촬영된 시점 영상들에서 상기 기준 프레임 영상과 동일한 프레임 영상을 찾는 단계; 및
상기 장치가, 상기 찾아진 프레임 영상들과 상기 기준 프레임 영상이 동일한 프레임 번호를 가지도록, 상기 찾아진 프레임 번호를 조정하는 단계
를 포함하는, 시간 동기화 방법.CLAIMS 1. A method of time synchronization of images photographed by a plurality of cameras,
The apparatus comprising: a reference frame image determining unit that determines a reference frame image from a viewpoint image taken by one camera;
The apparatus comprising: a step of searching for a frame image identical to the reference frame image in viewpoint images photographed by a remaining camera; And
The apparatus comprising the steps of: adjusting the found frame number so that the found frame images and the reference frame image have the same frame number;
/ RTI >
KR1020180001900A 2018-01-05 2018-01-05 Method and apparatus for time synchronization of videos from an array of cameras KR20190083901A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180001900A KR20190083901A (en) 2018-01-05 2018-01-05 Method and apparatus for time synchronization of videos from an array of cameras

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180001900A KR20190083901A (en) 2018-01-05 2018-01-05 Method and apparatus for time synchronization of videos from an array of cameras

Publications (1)

Publication Number Publication Date
KR20190083901A true KR20190083901A (en) 2019-07-15

Family

ID=67257789

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180001900A KR20190083901A (en) 2018-01-05 2018-01-05 Method and apparatus for time synchronization of videos from an array of cameras

Country Status (1)

Country Link
KR (1) KR20190083901A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210102671A (en) 2020-02-12 2021-08-20 주식회사 케이티 Server, method and computer program for providing videogrammetry video
CN116668602A (en) * 2023-06-27 2023-08-29 小米汽车科技有限公司 Camera image synchronization method, device, vehicle and storage medium

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210102671A (en) 2020-02-12 2021-08-20 주식회사 케이티 Server, method and computer program for providing videogrammetry video
CN116668602A (en) * 2023-06-27 2023-08-29 小米汽车科技有限公司 Camera image synchronization method, device, vehicle and storage medium
CN116668602B (en) * 2023-06-27 2024-03-19 小米汽车科技有限公司 Camera image synchronization method, device, vehicle and storage medium

Similar Documents

Publication Publication Date Title
US11375173B2 (en) Auto-alignment of image sensors in a multi-camera system
US10055816B2 (en) Target-less auto-alignment of image sensors in a multi-camera system
US10897609B2 (en) Systems and methods for multiscopic noise reduction and high-dynamic range
KR102281184B1 (en) Method and apparatus for calibrating image
WO2016101892A1 (en) Computational multi-camera adjustment for smooth view switching and zooming
CN106233722B (en) The automatic alignment of imaging sensor in multicamera system
KR20100104591A (en) Method for fabricating a panorama
KR20110071854A (en) Apparatus and method for correcting color of 3d image in 3d image system
CN109285122B (en) Method and equipment for processing image
KR20190083901A (en) Method and apparatus for time synchronization of videos from an array of cameras
WO2019201355A1 (en) Light field system occlusion removal
JP2017050819A (en) Generation device for panoramic image data, generation method and program
JP2017021430A (en) Panoramic video data processing device, processing method, and program
JP2017143351A (en) Calibration device, method and program of camera
US20110267434A1 (en) Camera device, arrangement and system
US20130135524A1 (en) Method for searching small moving object in dynamic image
KR20200097543A (en) Augmented Reality-based performance video viewing system and performance image providing method using it
JP2013192152A (en) Imaging apparatus, imaging system, and image processing method
JP4249188B2 (en) Stereoscopic image cut-out position calculating device, program thereof, stereoscopic image cutout device, and program thereof
JPH11355806A (en) Method and device for three-dimensional image display by stereoscopic image photographing