KR102367165B1 - 촬영시각 동기화 방법 및 장치 - Google Patents
촬영시각 동기화 방법 및 장치 Download PDFInfo
- Publication number
- KR102367165B1 KR102367165B1 KR1020200066447A KR20200066447A KR102367165B1 KR 102367165 B1 KR102367165 B1 KR 102367165B1 KR 1020200066447 A KR1020200066447 A KR 1020200066447A KR 20200066447 A KR20200066447 A KR 20200066447A KR 102367165 B1 KR102367165 B1 KR 102367165B1
- Authority
- KR
- South Korea
- Prior art keywords
- time
- image
- images
- visual information
- frame number
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/04—Synchronising
-
- H04N5/23232—
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
Abstract
본 발명은,촬영 중 임의의 시각에 작동 가능하고, 동일한 스톱워치를 촬영하지 않고도 촬영된 동영상들의 촬영시각들을 정확하게 동기화 시킬 수 있는 방법 및 장치를 제공하고자 하는 것으로서,복수의 촬영부를 사용하여 영상을 각각 촬영하고,촬영된 각 영상 사이의 동기를 맞추는 촬영시각 동기화 방법으로서,복수의 시각정보 표시부 중에서 상기 촬영부가 촬영할 수 있는 시각정보 표시부의 시각정보를 각각 촬영하고,계속하여 영상을 촬영하고,상기 복수의 영상에 있어서영상의 프레임 속도를 동일하게 하고,상기 복수의 영상의 각각에 대하여, 각 영상이 포함하고 있는 시각정보를 인식하여 촬영시각을 알아내고,상기 시각정보를 포함하고 있는 영상의 프레임 번호를 추출함으로써 시각정보-프레임 번호로 구성되는 데이터 쌍을 생성하고,상기 데이터 쌍 중에서 추정되는 통계적 허용범위를 벗어나는 데이터 이상치를 제거하고,상기 데이터 이상치가 제거된 상기 데이터 쌍에 의거하여 각 영상의 시각정보-프레임 번호의 함수를 추정하고,상기 복수의 영상의 각각에 대하여, 상기 함수에 의거하여 동일한 시각에 속하는 프레임 번호의 차이를 구하고,상기 차이를 각 영상의 프레임 번호에 보상(補償)함으로써촬영시각을 동기화 하는 것을 특징으로 촬영시각 동기화 방법 및 그 장치를 제공한다.
Description
본 발명은, 촬영된 복수의 영상에 대하여 촬영시각을 동기화 시키는 촬영시각 동기화 방법 및 장치에 관한 것으로서, 특히 촬영영상에 포함되어 있고 각각의 촬영시각을 나타내는 영상의 분석을 통해 복수의 촬영영상을 시간상으로 동기화하는 방법 및 장치에 관한 것이다.
방송사 등에서는 현장에서 다수의 카메라들을 이용하여 촬영한 정지영상이나 동영상들을 편집하여 하나의 방송본 영상을 만드는 작업을 수행한다. 이러한 편집을 하기 위해서는 다수의 촬영영상들을 동일한 시점에서 상호 비교하는 것이 필수적으로, 다수의 촬영영상들의 시간을 동기화 하는 것이 매우 중요하다.
종래에는, 예를 들어 특허문헌1은 카메라를 GPS 시간과 같은 표준시간으로 동기화 시켜 다수의 카메라들의 동작시간을 동일하게 일치시키는 것을 개시하고 있지만, GPS 위성신호를 수신하여 각 카메라의 영상들을 GPS 시간으로 동기화시켜야 하기 때문에, GPS 수신장치가 내장된 특수한 카메라만을 사용해야 한다.
한편, 특허문헌2는 복수의 일반적인 카메라에 의해 촬영된 동영상들의 촬영시각을 정확하게 동기화시킬 수 있는 영상분석을 통한 촬영시각동기화 방법 및 장치를 제공하고 있지만, 각 카메라들이 작업 촬영 시작 이전에 작동되고 공통의 유일한 스톱워치를 촬영해야만 한다.
상기 특허문헌2의 발명은, 작업 촬영 시작 전에 작동되고 있는 오직 하나의 동일한 스톱워치를 촬영해야 하는 제약사항은 다양한 장소와 불특정시간에 촬영을 해야 하는 방송촬영에는 적용하기 힘든 기술이다. 즉, 촬영장소가 넓거나 카메라와 스톱워치 사이에 장애물이 있거나 하면, 하나밖에 없는 스톱워치의 촬영이 불가능하거나, 또는 고정된 카메라를 이동시켜 스톱워치를 촬영하고 나서 원래의 자리로 이동하여 촬영을 계속하거나 하는 불편이 있다. 또한 경우에 따라서는 복수의 원격지에서 촬영한 영상을 사용하는 경우에는 특허문헌2의 발명은 동일한 스톱워치의 촬영이 물리적으로 불가능하게 되어 산업계에 적용하는 것이 불가능한 기술이다.
따라서, 촬영 중 수시로 복수의 카메라에 동기화된 시각을 제공하고 복수의 카메라가 동일한 스톱워치를 촬영하지 않은 경우에도 시각들을 정확하게 동기화 시킬 수 있는 방법 및 장치가 요구된다.
종래에는, 예를 들어 특허문헌1은 카메라를 GPS 시간과 같은 표준시간으로 동기화 시켜 다수의 카메라들의 동작시간을 동일하게 일치시키는 것을 개시하고 있지만, GPS 위성신호를 수신하여 각 카메라의 영상들을 GPS 시간으로 동기화시켜야 하기 때문에, GPS 수신장치가 내장된 특수한 카메라만을 사용해야 한다.
한편, 특허문헌2는 복수의 일반적인 카메라에 의해 촬영된 동영상들의 촬영시각을 정확하게 동기화시킬 수 있는 영상분석을 통한 촬영시각동기화 방법 및 장치를 제공하고 있지만, 각 카메라들이 작업 촬영 시작 이전에 작동되고 공통의 유일한 스톱워치를 촬영해야만 한다.
상기 특허문헌2의 발명은, 작업 촬영 시작 전에 작동되고 있는 오직 하나의 동일한 스톱워치를 촬영해야 하는 제약사항은 다양한 장소와 불특정시간에 촬영을 해야 하는 방송촬영에는 적용하기 힘든 기술이다. 즉, 촬영장소가 넓거나 카메라와 스톱워치 사이에 장애물이 있거나 하면, 하나밖에 없는 스톱워치의 촬영이 불가능하거나, 또는 고정된 카메라를 이동시켜 스톱워치를 촬영하고 나서 원래의 자리로 이동하여 촬영을 계속하거나 하는 불편이 있다. 또한 경우에 따라서는 복수의 원격지에서 촬영한 영상을 사용하는 경우에는 특허문헌2의 발명은 동일한 스톱워치의 촬영이 물리적으로 불가능하게 되어 산업계에 적용하는 것이 불가능한 기술이다.
따라서, 촬영 중 수시로 복수의 카메라에 동기화된 시각을 제공하고 복수의 카메라가 동일한 스톱워치를 촬영하지 않은 경우에도 시각들을 정확하게 동기화 시킬 수 있는 방법 및 장치가 요구된다.
따라서 본 발명은 상기의 과제를 해결하기 위한 것으로서, 촬영 중 임의의 시각에 작동 가능하고, 동일한 스톱워치를 촬영하지 않고도 촬영된 동영상들의 촬영시각들을 정확하게 동기화 시킬 수 있는 방법 및 장치를 제공하고자 하는 것이다.
이와 같은 기술적 과제를 달성하기 위해, 본 발명은, 복수의 촬영부를 사용하여 영상을 각각 촬영하고, 촬영된 각 영상 사이의 동기를 맞추는 촬영시각 동기화 방법을 제공하는데,
복수의 시각정보 표시부 중에서 상기 촬영부가 촬영할 수 있는 시각정보 표시부의 시각정보를 각각 촬영하고, 계속하여 영상을 촬영하고,
상기 복수의 영상에 있어서영상의 프레임 속도를 동일하게 하고,
상기 복수의 영상의 각각에 대하여, 각 영상이 포함하고 있는 시각정보를 인식하여 촬영시각을 알아내고, 상기 시각정보를 포함하고 있는 영상의 프레임 번호를 추출함으로써 시각정보-프레임 번호로 구성되는 데이터 쌍을 생성하고,
상기 데이터 쌍 중에서 추정되는 통계적 허용범위를 벗어나는 데이터 이상치(data outlier)를 제거하고,
상기 데이터 이상치가 제거된 상기 데이터 쌍에 의거하여 각 영상의 시각정보-프레임 번호의 함수를 추정하고,
상기 복수의 영상의 각각에 대하여, 상기 함수에 의거하여 동일한 시각에 속하는 프레임 번호의 차이를 구하고,
상기 차이를 각 영상의 프레임 번호에 보상(補償)함으로써
촬영시각을 동기화 하는 것을 특징으로 한다.
또한, 영상의 프레임 속도를 동일하게 하는 것은, 기준보다 빠른 경우에는 영상 중에서 일부 프레임을 제거하고, 기준보다 느린 경우에는 영상중에서 일부 프레임을 더미로 전후에 삽입한다.
또한 본 발명은,
각각 시각정보를 표시하는 복수의 시각정보 표시부와,
상기 시각정보를 포함하는 영상을 각각 촬영하는 복수의 촬영부와,
촬영된 복수의 영상을 동기화 시키는 동기화부로
구성되는 동기화 장치로서,
상기 동기화부는,
상기 복수의 영상에 있어서영상의 프레임 속도를 동일하게 하고,
상기 복수의 영상의 각각에 대하여, 각 영상이 포함하고 있는 시각정보를 인식하여 촬영시각을 알아내고, 상기 시각정보를 포함하고 있는 영상의 프레임 번호를 추출함으로써 시각정보-프레임 번호로 구성되는 데이터 쌍을 생성하고,
상기 데이터 쌍 중에서 추정되는 통계적 허용범위를 벗어나는 데이터 이상치를 제거하고,
상기 데이터 이상치가 제거된 상기 데이터 쌍에 의거하여 각 영상의 시각정보-프레임 번호의 함수를 추정하고,
상기 복수의 영상의 각각에 대하여, 상기 함수에 의거하여 동일한 시각에 속하는 프레임 번호의 차이를 구하고,
상기 차이를 각 영상의 프레임 번호에 보상함으로써 촬영시각을 동기화 하는 것을 특징으로 촬영시각 동기화 장치를 제공한다.
복수의 시각정보 표시부 중에서 상기 촬영부가 촬영할 수 있는 시각정보 표시부의 시각정보를 각각 촬영하고, 계속하여 영상을 촬영하고,
상기 복수의 영상에 있어서영상의 프레임 속도를 동일하게 하고,
상기 복수의 영상의 각각에 대하여, 각 영상이 포함하고 있는 시각정보를 인식하여 촬영시각을 알아내고, 상기 시각정보를 포함하고 있는 영상의 프레임 번호를 추출함으로써 시각정보-프레임 번호로 구성되는 데이터 쌍을 생성하고,
상기 데이터 쌍 중에서 추정되는 통계적 허용범위를 벗어나는 데이터 이상치(data outlier)를 제거하고,
상기 데이터 이상치가 제거된 상기 데이터 쌍에 의거하여 각 영상의 시각정보-프레임 번호의 함수를 추정하고,
상기 복수의 영상의 각각에 대하여, 상기 함수에 의거하여 동일한 시각에 속하는 프레임 번호의 차이를 구하고,
상기 차이를 각 영상의 프레임 번호에 보상(補償)함으로써
촬영시각을 동기화 하는 것을 특징으로 한다.
또한, 영상의 프레임 속도를 동일하게 하는 것은, 기준보다 빠른 경우에는 영상 중에서 일부 프레임을 제거하고, 기준보다 느린 경우에는 영상중에서 일부 프레임을 더미로 전후에 삽입한다.
또한 본 발명은,
각각 시각정보를 표시하는 복수의 시각정보 표시부와,
상기 시각정보를 포함하는 영상을 각각 촬영하는 복수의 촬영부와,
촬영된 복수의 영상을 동기화 시키는 동기화부로
구성되는 동기화 장치로서,
상기 동기화부는,
상기 복수의 영상에 있어서영상의 프레임 속도를 동일하게 하고,
상기 복수의 영상의 각각에 대하여, 각 영상이 포함하고 있는 시각정보를 인식하여 촬영시각을 알아내고, 상기 시각정보를 포함하고 있는 영상의 프레임 번호를 추출함으로써 시각정보-프레임 번호로 구성되는 데이터 쌍을 생성하고,
상기 데이터 쌍 중에서 추정되는 통계적 허용범위를 벗어나는 데이터 이상치를 제거하고,
상기 데이터 이상치가 제거된 상기 데이터 쌍에 의거하여 각 영상의 시각정보-프레임 번호의 함수를 추정하고,
상기 복수의 영상의 각각에 대하여, 상기 함수에 의거하여 동일한 시각에 속하는 프레임 번호의 차이를 구하고,
상기 차이를 각 영상의 프레임 번호에 보상함으로써 촬영시각을 동기화 하는 것을 특징으로 촬영시각 동기화 장치를 제공한다.
본 발명의 동기화 방법 및 장치에 의하면, 복수의 일반적인 카메라에 의해 촬영된 동영상들의 촬영시각을 정확하게 동기화 시킬 수 있다.
도1은, 본 발명의 장치의 개요를 설명하는 도면이다.
도2는, 각 촬영자가 소지하고 있는 스마트 단말에서 시각을 나타내는 어플리케이션을 실행하여 표시한 상태를 나타내는 도면이다.
도3은, 본 발명 1실시예의 동기화부(130)의 동기화 과정을 나타내는 것으로서 영상분석을 통한 촬영시간 동기화 순서도이다.
도4는, 프레임-시간 추정함수를 이용한 프레임수 차이 계산방법을 나타내는 도면이다.
도5는,프레임-시간 함수추정방법을 나타내는 도면이다.
도2는, 각 촬영자가 소지하고 있는 스마트 단말에서 시각을 나타내는 어플리케이션을 실행하여 표시한 상태를 나타내는 도면이다.
도3은, 본 발명 1실시예의 동기화부(130)의 동기화 과정을 나타내는 것으로서 영상분석을 통한 촬영시간 동기화 순서도이다.
도4는, 프레임-시간 추정함수를 이용한 프레임수 차이 계산방법을 나타내는 도면이다.
도5는,프레임-시간 함수추정방법을 나타내는 도면이다.
다음에, 본 발명의 사상을 구현하는 바람직한 실시예를 구체적으로 설명함으로써 본 발명을 설명하고자 한다. 하기에 설명하는 실시예를 본 발명의 구체적인 예로서, 본 발명을 제한하는 것은 아니고, 본 발명은 첨부된 청구된 범위에 의하여 해석되어야 한다.
우선 첨부된 도1에 의거하여 본 발명의 장치의 개요를 설명한다.
본 발명의 동기화 장치(100)는, 시각정보표시부(110), 촬영부(120) 및 동기화부(130)로 구성된다. 이하, 각 부에 대하여 설명한다.
시각정보표시부(110)
시각정보표시부(110)는 현재의 시각을 나타내는 장치로서, 시각정보를 나타내고 그를 촬영하여 인식할 수 있는 것이라면 제한이 없다. 예를 들어 촬영부(120)를 조작하는 카메라맨 등의 촬영자가 소지하고 있는 손목시계도 좋고, 벽에 걸려있는 벽시계도 무방하다. 그러나 최근에는 무선 인터넷과 휴대폰 등의 스마트 단말의 발달과 보급에 의하여, 촬영자가 소지하고 있는 스마트 단말(휴대 전화기)을 채용하는 것이 정확성 등에 있어서 바람직하다. 그러나 인터넷을 사용할 수 없는 환경이라면 손목시계 등이 유용하게 사용될 수 있다.
여기에서 스마트 단말이라 함은, 휴대 전화기는 물론 패드,노트북 등 시각정보를 표시할 수 있는 모든 기기를 포함한다.
따라서 본 실시예에서는 각 촬영자가 소지하고 있는 스마트 단말(#1, #2, …, #n)이 시각정보표시부(110)를 구성하는 것으로 하고 설명한다.
각 촬영자는 스마트 단말(시각정보 표시부(110))에 설치된 어플리케이션을 실행하여 시각동기서버와 시각동기신호를 주고받아 동기화된 시각정보를 스마트 단말의 화면에 표시한다. 하나의 구체적인 예를 도2에 나타나 있다. 도2는 각 촬영자가 소지하고 있는 스마트 단말에서 시각을 나타내는 어플리케이션을 실행하여 표시한 상태를 나타내는 도면이다. 도2에서는 현재의 시각이 2020년 3월24일 08시47분 39초26을 나타내고 있다.
한편, 스마트 단말에서 실행되는 시각에 관한 어플리케이션은 다음의 기능을 포함하고 있는 것이 바람직하다.
어플리케이션이 설치되어 있는 모든 단말은 시각동기서버와 유/무선으로 연결되어 시각동기신호를 주고받아 시각동기서버와 동기하여 시각정보를 표시한다.
동기화된 시각정보는 연월일, 시분초, 밀리초 등을 포함하고 있으며, 단말 스크린의 최대 주사율(refresh rate)과 동일 또는 그이상의 주기로 갱신된다.
시각정보가 표출되는 화면은 도2와 같이 “년-월-일-시-분-초-밀리초”로 구성할 수 있다.
촬영부(120)
촬영부(120)는 카메라 등 촬영장비로 구성되는 것으로서, 원하는 연속된 또는 간헐적인 동영상 및 정지영상을 촬영함은 물론, 시각정보가 표출되어 있는 스마트 단말 등으로 구성되는 상기 시각정보 표시부(110)의 화면에 표시되어 있는 시각정보를 촬영된 영상에 최소 한번은 포함되도록 촬영하는 장치이다.
상기 촬영부(120)는, 본 실시예에서는 통상의 촬영장비(도1에서는 촬영장비#1, …, 촬영장비N)로 구성되나, 경우에 따라서는 통상의 카메라, 또는 카메라 기능이 내장된 스마트 단말을 사용할 수 있다.
여기에서 촬영자가 휴대하는 스마트 단말을촬영부(120)로 사용하는 경우에는, 촬영자 본인의 손목시계를 시각정보 표시부(110)로 사용할 수 있고, 또한 보조자 등 촬영자 주위에 있는 사람의 시계 혹은 스마트 단말을 시각정보 표시부(110)로 사용할 수 있다.
또한 경우에 따라서는 촬영자 자신의 스마트 단말을 시각정보 표시부(110)와 촬영부(120)로 겸용하는 경우도 상정할 수 있다. 이러한 경우에는, 자신의 스마트 단말에서 우선 시각정보표시의 어플리케이션을 실행하여 스마트 단말에 시각정보를 표시하고, 이를 화면 캡쳐하여 시각정보를 나타내는 화상으로 사용하고, 스마트 단말로 촬영되는 화상에 시각정보를 나타내는 화상을 포함하도록 하면 좋다.
이와 같이 본 발명의 촬영부(120)는, 시각정보가 표시되어 있는 스마트 단말의 화면이 최소 한번은 포함되도록 촬영되고, 또한 계속하여 촬영장비를 이용하여 연속된 동영상을 촬영하는 장치이다.
동기화부(130)
상기 촬영부(120)로부터의 시각정보 등의 영상을 분석하여 복수의 촬영영상의 시각을 동기화하는 장치이다. 이러한 촬영부는 시판되는 CPU 또는 특별용도의 CPU에 메모리나 입출력 장치 등을 부가한 것으로서, 본 방법에 관한 프로그램을 첨가함으로써 구성된다.
이하에서는, 이상과 같이 구성된 본 발명의 동기화 장치(100)의 기능에 대하여, 상기 동기화부(130)의 구체적인 구성을 동기화 순서도 등에 의거하여 설명하면서 설명한다.
도3은, 상기 동기화부(130)의 동기화 과정을 나타내는 순서도이다.
단계 S100에서, 촬영영상들의 프레임 속도를 동일한 값으로 동기화 한다. 촬영된 영상은, 방송용 촬영 카메라, 카메라 내장 스마트 단말 등 촬영부(120)의 기기 종류에 따라 서로 다른 프레임 속도를 가질 수 있는데, 동기화를 위해서는 프레임 차를 계산하여야 하고, 프레임 차를 계산하기 위해서는 모든 촬영영상의 프레임 속도가 동일해야 한다. 따라서, 촬영부(110)의 종류에 따라 서로 다른 프레임 속도를 하나의 속도에 맞추어 프레임을 부가 또는 삭제함으로써 전체 영상의 프레임 속도를 동일하게 할 수 있다. 즉, 속도가 어떤 기준보다 빠른 경우에는 영상중에서 일부 프레임을 제거하고, 느린 경우에는 영상중의 프레임을 더미로 전후에 삽입하여 이루어질 수 있다.
단계 S102에서, 시각정보를 취득하고, 그 시각정보가 포함되어 있는 영상이 속하는 프레임의 번호를 추출한다. 촬영부(120)로부터의 영상을 동기화부(130)가 수신하면, 수신된 영상 속에서 시각정보를 추출한다. 이것은 영상에 대한 인식 및 그 분석을 통하여 촬영된 영상으로부터 시각정보를 추출하는 것이다. 본 실시예에서와 같이 스마트 단말에 표시되는 시각정보를 인식하여 그를 숫자로 저장하며, 시각정보 표시부(110)이 스마트 단말이 아닌 일반 시계인 경우에는 그 화상을 인식하여 숫자로 변환한다. 또한 동시에 해당 시각정보가 속해있는 프레임의 번호를 추출한다.
구체적으로는, 수신된 촬영영상을 복호화하여 매 프레임 마다 인식기술을 통하여 시각정보를 추출한다. 추출된 시각정보를 협정세계시(UTC: Coordinated Universal Time)를 기준으로 하여 밀리초로 변환하고, 해당 시각정보가 추출된 프레임의 프레임 번호와 쌍(2-tuple)을 만들어서 저장한다. 이때 프레임 번호는 복호된 프레임이 재생되는 상대적인 순서를 뜻한다.
예를 들어, 도5에서와 같이, 프레임 번호(n)가 가로축이고 시각정보(t)가 세로축인 좌표에서, 시각정보-프레임 번호의 쌍은 하나의 점
으로 표시될 수 있다.
이러한 시각정보 및 당해 프레임 번호를 추출하는 작업은 각 촬영부(120)로부터의 영상 모두에 대하여 실시함으로써, 각 촬영부(120)의 시각정보-프레임 번호의 쌍을 구하여 좌표에 표시한다.
단계 S104에서, 시각정보와 프레임번호간의 관계에 대하여 선형분석을 실시한다. 시각정보-프레임 번호에 대한 함수 추정의 정확도를 높이기 위해, 데이터 이상치(data outlier, data 異常値)를 탐지하고 제거하는 단계를 포함할 수 있다. 도5에 표시되어 있는 점
들 중에서 격자 무늬의 점은, 영상분석을 통한 시각정보 획득과정에서 오류가 발생하여 통계적 허용범위를 벗어난 값을 갖는 데이터로서, 주로 시각정보에 대한 촬영오류 혹은 당해 시각정보에 대한 인식오류, 혹은 양자의 결합으로부터 오는 것으로 생각된다. 이러한 점들이 다음 단계인 시각정보-프레임 번호에 대한 함수 추정단계에 포함될 경우에, 시각정보 동기화의 정확도를 낮추는 문제를 발생시킬 수 있다. 따라서, 도5의 격자 무늬의 점 같은 데이터를 제거할 수 있는 데이터 이상치 탐지기술을 적용한다.
단계 S106에서, 상기에서 취득한 시각정보와 프레임번호의 데이터를 이용하여 시각정보-프레임 번호의 함수를 추정한다. 촬영부(120)에서 얻은 시각정보와 해당 프레임 번호의 쌍이 위치한 1차원 시각정보-프레임번호의 함수
를 추정하는 단계이다. 1차원함수를 추정하기 위해, 일반적인 다항식 계수 추정방법(polynomial curve fitting)을 사용할 수 있다. 이렇게 얻은 함수가 도5에서 실선으로 나타내는 것으로서, 이 함수 
의 기울기는 단위 프레임당 증가하는 시간을 나타내는 값이 된다. 따라서 동일한 시각정보를 동일한 프레임레이트로 촬영하였다면 같은 값을 가져야 한다. 또한 함수
의 Y-절편(함수와 세로축이 만나는 지점)은 해당 영상을 촬영하기 시작한 UTC 시각을 나타낸다.
단계 S108에서, 도출된 선형 추정 그래프들을 이용하여 선형 추정 그래프들의 프레임 차이를 계산한다. 촬영영상들을 시간 동기화 한다는 것은 동일한 UTC 시각에 촬영된 프레임을 찾아, 해당 프레임이 편집기의 같은 타임라인(time line)에 위치하도록 정렬하는 것을 의미한다. 이에, 도4와 같이, 상기 시각정보-프레임 번호 함수들(
, M은 촬영영상의 갯수)에 기반하여 동일한 시각정보값(T)에 대응하는 프레임 번호(
)들을 계산하고, 계산된 프레임 번호들의 상대적인 프레임 차이값을 계산하는 단계를 포함한다. 이 때, 계산된 프레임 차이값은 동일한 편집기의 타임라인에 같은 UTC 시각에 촬영된 프레임을 놓이게 하기 위해, 각 촬영영상별로 보상되어야 하는 값을 의미한다. 한예로서, 프레임 차이값은 도4의 시각정보-프레임 번호의 함수 
과 
를 이용하여 아래와 같은 수식으로 구할 수도 있다.
단계 S110에서, 상기의 프레임의 차이에 의거하여 복수의 동영상들의 촬영시각들을 동기화 한다. 상기 시각정보-프레임 번호의 함수들 중에서 Y-절편이 가장 작은 함수는 가장 일찍 해당 영상을 촬영한 것을 의미하므로, 상기 시각정보-프레임 번호의 함수를 기준으로 프레임 차이를 구하여 촬영시각을 동기화할 수 있다.
이와 같이 본 발명은, 복수의 스톱워치, 즉 실시예에서는 각 스마트 단말로부터 시각정보를 촬영하고, 또한 필요한 영상을 촬영한다.
그런 후에, 촬영영상으로부터 시각정보를 추출하고, 그와 함께 시각정보를 포함하는 프레임의 번호를 같이 데이터 쌍으로 추출하여 저장한다.
상기 데이터 쌍 중에서, 인식오류 등에 의하여 통계적 추정범위를 벗어나는 데이터 쌍을 촬영이나 인식의 오류라고 생각하고 제거한다.
상기 시각정보-프레임 번호의 쌍의 데이터 쌍에 의거하여 프레임-프레임 번호의 함수를 추정한다.
상기 함수에 의거하여 프레임 차이를 계산하고, 이에 의거하여 각 촬영영상에 대한 동기화를 실시한다.
우선 첨부된 도1에 의거하여 본 발명의 장치의 개요를 설명한다.
본 발명의 동기화 장치(100)는, 시각정보표시부(110), 촬영부(120) 및 동기화부(130)로 구성된다. 이하, 각 부에 대하여 설명한다.
시각정보표시부(110)
시각정보표시부(110)는 현재의 시각을 나타내는 장치로서, 시각정보를 나타내고 그를 촬영하여 인식할 수 있는 것이라면 제한이 없다. 예를 들어 촬영부(120)를 조작하는 카메라맨 등의 촬영자가 소지하고 있는 손목시계도 좋고, 벽에 걸려있는 벽시계도 무방하다. 그러나 최근에는 무선 인터넷과 휴대폰 등의 스마트 단말의 발달과 보급에 의하여, 촬영자가 소지하고 있는 스마트 단말(휴대 전화기)을 채용하는 것이 정확성 등에 있어서 바람직하다. 그러나 인터넷을 사용할 수 없는 환경이라면 손목시계 등이 유용하게 사용될 수 있다.
여기에서 스마트 단말이라 함은, 휴대 전화기는 물론 패드,노트북 등 시각정보를 표시할 수 있는 모든 기기를 포함한다.
따라서 본 실시예에서는 각 촬영자가 소지하고 있는 스마트 단말(#1, #2, …, #n)이 시각정보표시부(110)를 구성하는 것으로 하고 설명한다.
각 촬영자는 스마트 단말(시각정보 표시부(110))에 설치된 어플리케이션을 실행하여 시각동기서버와 시각동기신호를 주고받아 동기화된 시각정보를 스마트 단말의 화면에 표시한다. 하나의 구체적인 예를 도2에 나타나 있다. 도2는 각 촬영자가 소지하고 있는 스마트 단말에서 시각을 나타내는 어플리케이션을 실행하여 표시한 상태를 나타내는 도면이다. 도2에서는 현재의 시각이 2020년 3월24일 08시47분 39초26을 나타내고 있다.
한편, 스마트 단말에서 실행되는 시각에 관한 어플리케이션은 다음의 기능을 포함하고 있는 것이 바람직하다.
어플리케이션이 설치되어 있는 모든 단말은 시각동기서버와 유/무선으로 연결되어 시각동기신호를 주고받아 시각동기서버와 동기하여 시각정보를 표시한다.
동기화된 시각정보는 연월일, 시분초, 밀리초 등을 포함하고 있으며, 단말 스크린의 최대 주사율(refresh rate)과 동일 또는 그이상의 주기로 갱신된다.
시각정보가 표출되는 화면은 도2와 같이 “년-월-일-시-분-초-밀리초”로 구성할 수 있다.
촬영부(120)
촬영부(120)는 카메라 등 촬영장비로 구성되는 것으로서, 원하는 연속된 또는 간헐적인 동영상 및 정지영상을 촬영함은 물론, 시각정보가 표출되어 있는 스마트 단말 등으로 구성되는 상기 시각정보 표시부(110)의 화면에 표시되어 있는 시각정보를 촬영된 영상에 최소 한번은 포함되도록 촬영하는 장치이다.
상기 촬영부(120)는, 본 실시예에서는 통상의 촬영장비(도1에서는 촬영장비#1, …, 촬영장비N)로 구성되나, 경우에 따라서는 통상의 카메라, 또는 카메라 기능이 내장된 스마트 단말을 사용할 수 있다.
여기에서 촬영자가 휴대하는 스마트 단말을촬영부(120)로 사용하는 경우에는, 촬영자 본인의 손목시계를 시각정보 표시부(110)로 사용할 수 있고, 또한 보조자 등 촬영자 주위에 있는 사람의 시계 혹은 스마트 단말을 시각정보 표시부(110)로 사용할 수 있다.
또한 경우에 따라서는 촬영자 자신의 스마트 단말을 시각정보 표시부(110)와 촬영부(120)로 겸용하는 경우도 상정할 수 있다. 이러한 경우에는, 자신의 스마트 단말에서 우선 시각정보표시의 어플리케이션을 실행하여 스마트 단말에 시각정보를 표시하고, 이를 화면 캡쳐하여 시각정보를 나타내는 화상으로 사용하고, 스마트 단말로 촬영되는 화상에 시각정보를 나타내는 화상을 포함하도록 하면 좋다.
이와 같이 본 발명의 촬영부(120)는, 시각정보가 표시되어 있는 스마트 단말의 화면이 최소 한번은 포함되도록 촬영되고, 또한 계속하여 촬영장비를 이용하여 연속된 동영상을 촬영하는 장치이다.
동기화부(130)
상기 촬영부(120)로부터의 시각정보 등의 영상을 분석하여 복수의 촬영영상의 시각을 동기화하는 장치이다. 이러한 촬영부는 시판되는 CPU 또는 특별용도의 CPU에 메모리나 입출력 장치 등을 부가한 것으로서, 본 방법에 관한 프로그램을 첨가함으로써 구성된다.
이하에서는, 이상과 같이 구성된 본 발명의 동기화 장치(100)의 기능에 대하여, 상기 동기화부(130)의 구체적인 구성을 동기화 순서도 등에 의거하여 설명하면서 설명한다.
도3은, 상기 동기화부(130)의 동기화 과정을 나타내는 순서도이다.
단계 S100에서, 촬영영상들의 프레임 속도를 동일한 값으로 동기화 한다. 촬영된 영상은, 방송용 촬영 카메라, 카메라 내장 스마트 단말 등 촬영부(120)의 기기 종류에 따라 서로 다른 프레임 속도를 가질 수 있는데, 동기화를 위해서는 프레임 차를 계산하여야 하고, 프레임 차를 계산하기 위해서는 모든 촬영영상의 프레임 속도가 동일해야 한다. 따라서, 촬영부(110)의 종류에 따라 서로 다른 프레임 속도를 하나의 속도에 맞추어 프레임을 부가 또는 삭제함으로써 전체 영상의 프레임 속도를 동일하게 할 수 있다. 즉, 속도가 어떤 기준보다 빠른 경우에는 영상중에서 일부 프레임을 제거하고, 느린 경우에는 영상중의 프레임을 더미로 전후에 삽입하여 이루어질 수 있다.
단계 S102에서, 시각정보를 취득하고, 그 시각정보가 포함되어 있는 영상이 속하는 프레임의 번호를 추출한다. 촬영부(120)로부터의 영상을 동기화부(130)가 수신하면, 수신된 영상 속에서 시각정보를 추출한다. 이것은 영상에 대한 인식 및 그 분석을 통하여 촬영된 영상으로부터 시각정보를 추출하는 것이다. 본 실시예에서와 같이 스마트 단말에 표시되는 시각정보를 인식하여 그를 숫자로 저장하며, 시각정보 표시부(110)이 스마트 단말이 아닌 일반 시계인 경우에는 그 화상을 인식하여 숫자로 변환한다. 또한 동시에 해당 시각정보가 속해있는 프레임의 번호를 추출한다.
구체적으로는, 수신된 촬영영상을 복호화하여 매 프레임 마다 인식기술을 통하여 시각정보를 추출한다. 추출된 시각정보를 협정세계시(UTC: Coordinated Universal Time)를 기준으로 하여 밀리초로 변환하고, 해당 시각정보가 추출된 프레임의 프레임 번호와 쌍(2-tuple)을 만들어서 저장한다. 이때 프레임 번호는 복호된 프레임이 재생되는 상대적인 순서를 뜻한다.
예를 들어, 도5에서와 같이, 프레임 번호(n)가 가로축이고 시각정보(t)가 세로축인 좌표에서, 시각정보-프레임 번호의 쌍은 하나의 점
이러한 시각정보 및 당해 프레임 번호를 추출하는 작업은 각 촬영부(120)로부터의 영상 모두에 대하여 실시함으로써, 각 촬영부(120)의 시각정보-프레임 번호의 쌍을 구하여 좌표에 표시한다.
단계 S104에서, 시각정보와 프레임번호간의 관계에 대하여 선형분석을 실시한다. 시각정보-프레임 번호에 대한 함수 추정의 정확도를 높이기 위해, 데이터 이상치(data outlier, data 異常値)를 탐지하고 제거하는 단계를 포함할 수 있다. 도5에 표시되어 있는 점
단계 S106에서, 상기에서 취득한 시각정보와 프레임번호의 데이터를 이용하여 시각정보-프레임 번호의 함수를 추정한다. 촬영부(120)에서 얻은 시각정보와 해당 프레임 번호의 쌍이 위치한 1차원 시각정보-프레임번호의 함수
단계 S108에서, 도출된 선형 추정 그래프들을 이용하여 선형 추정 그래프들의 프레임 차이를 계산한다. 촬영영상들을 시간 동기화 한다는 것은 동일한 UTC 시각에 촬영된 프레임을 찾아, 해당 프레임이 편집기의 같은 타임라인(time line)에 위치하도록 정렬하는 것을 의미한다. 이에, 도4와 같이, 상기 시각정보-프레임 번호 함수들(
단계 S110에서, 상기의 프레임의 차이에 의거하여 복수의 동영상들의 촬영시각들을 동기화 한다. 상기 시각정보-프레임 번호의 함수들 중에서 Y-절편이 가장 작은 함수는 가장 일찍 해당 영상을 촬영한 것을 의미하므로, 상기 시각정보-프레임 번호의 함수를 기준으로 프레임 차이를 구하여 촬영시각을 동기화할 수 있다.
이와 같이 본 발명은, 복수의 스톱워치, 즉 실시예에서는 각 스마트 단말로부터 시각정보를 촬영하고, 또한 필요한 영상을 촬영한다.
그런 후에, 촬영영상으로부터 시각정보를 추출하고, 그와 함께 시각정보를 포함하는 프레임의 번호를 같이 데이터 쌍으로 추출하여 저장한다.
상기 데이터 쌍 중에서, 인식오류 등에 의하여 통계적 추정범위를 벗어나는 데이터 쌍을 촬영이나 인식의 오류라고 생각하고 제거한다.
상기 시각정보-프레임 번호의 쌍의 데이터 쌍에 의거하여 프레임-프레임 번호의 함수를 추정한다.
상기 함수에 의거하여 프레임 차이를 계산하고, 이에 의거하여 각 촬영영상에 대한 동기화를 실시한다.
100 : 동기화장치
110 : 시각정보표시부
120 : 촬영부
130 : 동기화부
110 : 시각정보표시부
120 : 촬영부
130 : 동기화부
Claims (4)
- 복수의 촬영부를 사용하여 영상을 각각 촬영하고, 촬영된 각 영상 사이의 동기를 맞추는 촬영시각 동기화 방법으로서,
복수의 시각정보 표시부 중에서 상기 촬영부가 촬영할 수 있는 시각정보 표시부의 시각정보를 각각 촬영하고, 계속하여 영상을 촬영하고,
상기 복수의 영상에 있어서 영상의 프레임 속도를 동일하게 하고,
상기 복수의 영상의 각각에 대하여, 각 영상이 포함하고 있는 시각정보를 인식하여 촬영시각을 알아내고, 상기 시각정보를 포함하고 있는 영상의 프레임 번호를 추출함으로써 시각정보-프레임 번호로 구성되는 데이터 쌍을 생성하고,
상기 데이터 쌍 중에서 추정되는 통계적 허용범위를 벗어나는 데이터 이상치(data outlier)를 제거하고,
상기 데이터 이상치가 제거된 상기 데이터 쌍에 의거하여 각 영상의 시각정보-프레임 번호의 함수를 추정하고,
상기 복수의 영상의 각각에 대하여, 상기 함수에 의거하여 동일한 시각에 속하는 프레임 번호의 차이를 구하고,
상기 차이를 각 영상의 프레임 번호에 보상(補償)함으로써
촬영시각을 동기화 하는 것을 특징으로 촬영시각 동기화 방법. - 제1항에 있어서,
영상의 프레임 속도를 동일하게 하는 것은,
기준보다 빠른 경우에는 영상 중에서 일부 프레임을 제거하고, 기준보다 느린 경우에는 영상중에서 일부 프레임을 더미로 전후에 삽입하는 것을 특징으로 하는 촬영시각 동기화 방법. - 각각 시각정보를 표시하는 복수의 시각정보 표시부와,
상기 시각정보를 포함하는 영상을 각각 촬영하는 복수의 촬영부와,
촬영된 복수의 영상을 동기화 시키는 동기화부로
구성되는 동기화 장치로서,
상기 동기화부는,
상기 복수의 영상에 있어서 영상의 프레임 속도를 동일하게 하고,
상기 복수의 영상의 각각에 대하여, 각 영상이 포함하고 있는 시각정보를 인식하여 촬영시각을 알아내고, 상기 시각정보를 포함하고 있는 영상의 프레임 번호를 추출함으로써 시각정보-프레임 번호로 구성되는 데이터 쌍을 생성하고,
상기 데이터 쌍 중에서 추정되는 통계적 허용범위를 벗어나는 데이터 이상치를 제거하고,
상기 데이터 이상치가 제거된 상기 데이터 쌍에 의거하여 각 영상의 시각정보-프레임 번호의 함수를 추정하고,
상기 복수의 영상의 각각에 대하여, 상기 함수에 의거하여 동일한 시각에 속하는 프레임 번호의 차이를 구하고,
상기 차이를 각 영상의 프레임 번호에 보상함으로써
촬영시각을 동기화 하는 것을 특징으로 촬영시각 동기화 장치. - 제3항에 있어서,
상기 시각정보 표시부는 휴대 전화기인 것을 특징으로 하는 촬영시각 동기화 장치.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200066447A KR102367165B1 (ko) | 2020-06-02 | 2020-06-02 | 촬영시각 동기화 방법 및 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200066447A KR102367165B1 (ko) | 2020-06-02 | 2020-06-02 | 촬영시각 동기화 방법 및 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210149419A KR20210149419A (ko) | 2021-12-09 |
| KR102367165B1 true KR102367165B1 (ko) | 2022-02-23 |
Family
ID=78866350
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200066447A KR102367165B1 (ko) | 2020-06-02 | 2020-06-02 | 촬영시각 동기화 방법 및 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102367165B1 (ko) |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102040940B1 (ko) * | 2013-09-04 | 2019-11-05 | 한화테크윈 주식회사 | 시간 동기화 장치 및 방법 |
| KR20150129406A (ko) | 2014-05-12 | 2015-11-20 | 한국전자통신연구원 | 카메라 장치를 이용한 촬영 방법 |
| JP6943949B2 (ja) * | 2016-08-19 | 2021-10-06 | スノー コーポレーション | コンピュータプログラム、動画処理方法及び記録媒体 |
| KR101840039B1 (ko) | 2016-09-05 | 2018-03-20 | 인천대학교 산학협력단 | 영상 분석을 통한 동영상 촬영 시간 동기화 방법 및 장치 |
-
2020
- 2020-06-02 KR KR1020200066447A patent/KR102367165B1/ko active IP Right Grant
Also Published As
| Publication number | Publication date |
|---|---|
| KR20210149419A (ko) | 2021-12-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8587672B2 (en) | Real-time visible-talent tracking system | |
| US8913140B2 (en) | Rolling shutter reduction based on motion sensors | |
| US8786716B2 (en) | Rolling shutter reduction based on motion sensors | |
| US20150222815A1 (en) | Aligning videos representing different viewpoints | |
| US20160337718A1 (en) | Automated video production from a plurality of electronic devices | |
| WO2008118604A1 (en) | Automatic detection, removal, replacement and tagging of flash frames in a video | |
| US8554017B2 (en) | Imaging apparatus, data processing method, and program | |
| US8179789B2 (en) | System and method for timestamps for media stream data | |
| JP2008269411A (ja) | 画像キーワード編集システム、画像キーワード提供サーバおよび画像キーワード編集装置 | |
| KR102367165B1 (ko) | 촬영시각 동기화 방법 및 장치 | |
| US11017817B2 (en) | Image processing apparatus, image processing method, camera apparatus, remote control apparatus, and camera system | |
| JP6606526B2 (ja) | 同期制御装置及び同期制御方法 | |
| JP2014229929A (ja) | 撮像装置、撮像装置の制御方法及びシステム | |
| WO2007110822A1 (en) | Method and apparatus for synchronising recording of multiple cameras | |
| CN110769146A (zh) | 拍摄方法及电子设备 | |
| CN113301254A (zh) | 视频录制方法、处理方法、装置、终端及存储介质 | |
| WO2016117480A1 (ja) | テレコミュニケーションシステム | |
| KR20180027016A (ko) | 영상 분석을 통한 동영상 촬영 시간 동기화 방법 및 장치 | |
| US8824854B2 (en) | Method and arrangement for transferring multimedia data | |
| KR20150027645A (ko) | 시간 동기화 장치 및 방법 | |
| JP2008228014A (ja) | 映像会議システム、会議映像処理方法、プログラム及び記録媒体 | |
| JP6146108B2 (ja) | 情報処理装置、画像表示システム、画像表示方法及びプログラム | |
| JP2014229930A (ja) | 撮像装置、撮像装置の制御方法及びシステム | |
| JP6089865B2 (ja) | 情報処理装置、情報処理装置における表示方法及びプログラム | |
| JP6128770B2 (ja) | ログ生成装置、方法及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |