KR20160038957A - 4d 데이터 생성 방법 및 시스템 - Google Patents

4d 데이터 생성 방법 및 시스템 Download PDF

Info

Publication number
KR20160038957A
KR20160038957A KR1020140131005A KR20140131005A KR20160038957A KR 20160038957 A KR20160038957 A KR 20160038957A KR 1020140131005 A KR1020140131005 A KR 1020140131005A KR 20140131005 A KR20140131005 A KR 20140131005A KR 20160038957 A KR20160038957 A KR 20160038957A
Authority
KR
South Korea
Prior art keywords
data
unit
information
unit time
image
Prior art date
Application number
KR1020140131005A
Other languages
English (en)
Inventor
전휴완
장영철
이문종
Original Assignee
(주)메쏘드소프트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)메쏘드소프트 filed Critical (주)메쏘드소프트
Priority to KR1020140131005A priority Critical patent/KR20160038957A/ko
Publication of KR20160038957A publication Critical patent/KR20160038957A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

본 발명은 4D 데이터 생성 방법 및 시스템에 관한 것이다. 본 발명의 일 실시예에 따른 4D 데이터 생성 방법은, 촬영이 진행되는 동안, 촬영되는 영상으로부터 미리 설정된 단위 시간 간격으로 복수의 영상 프레임을 획득하는 단계와, 상기 촬영이 진행되는 동안, 측정되는 적어도 하나의 센서 값으로부터 상기 단위 시간 간격으로 복수의 센서 데이터를 획득하는 단계와, 상기 단위 시간 간격으로 획득되는 상기 복수의 영상 프레임 및 상기 복수의 센서 데이터로부터 상기 단위 시간 간격으로 복수의 단위 데이터를 생성하는 단계와, 상기 복수의 단위 데이터를 조합하여 4D 데이터를 생성하는 단계를 포함하는 것을 특징으로 한다.

Description

4D 데이터 생성 방법 및 시스템{Method and system for generating 4-dimensional data}
본 발명은 4D 데이터 생성 방법 및 시스템에 관한 것으로, 보다 상세하게는 보다 간단한 방법으로 보다 정확하고 현실감 있는 가상 현실을 구현할 수 있도록 4D 데이터를 생성할 수 있는 4D 데이터 생성 방법 및 시스템에 관한 것이다.
4D 영상(4-Dimensional)(4차원 영상 또는 4D 입체 영상)이란 사람이 눈으로 보는 3D 영상(3차원 영상 또는 3D 입체 영상)에 영상 내 물리적 효과를 실제로 표현해 주는 영상으로서, 3D 영상을 관람하는 사람에게 현실감을 극대화하여 제공할 수 있다. 즉, 3D 영상이 점과 선, 면에 공간감을 추가한 것이라면, 4D 영상 기술은 여기에 보는 사람의 가상 체험을 추가한 기술이라고 볼 수 있다.
4D 영상의 가상 체험 기술이 가장 잘 반영된 환경으로 4D 영화를 상영하는 4D 극장을 예로 들 수 있으며, 3D 영화를 관람할 때에 물, 바람, 향기, 진동(동적 움직임) 등 30 여가지의 물리적 효과를 제공하여 영화 관람자의 가상 체험을 도와 준다.
이러한 4D 영상을 제작하기 위해서는 3D 영상과 진동(동적 움직임) 등 물리적 효과를 결합한 4D 데이터(4-Dimensional data)를 생성해야 하는데, 3D 영상과 같은 영상 컨텐츠의 개발은 활발히 이루어지는 반면, 물리적 효과를 정확하고 효과적으로 제어하는 기술은 상대적으로 미비한 실정이다.
일반적으로 4D 데이터를 생성할 때에는 3D 영상과 물리적 효과를 별도로 제작하며, 미리 제작된 3D 영상에 물리적 효과가 동기화되도록 별도의 데이터를 프로그래밍하여 입력하는 방법을 사용하고 있으므로, 물리적 효과를 제어하는 데이터를 3D 영상에 정확하게 동기화시키기에 어려움이 있고 물리적 효과를 제어하는 데이터를 입력하는 방법에 따라 소요되는 시간이 많고 복잡하다는 문제점이 있다.
따라서, 보다 간단한 방법으로 보다 정확하고 현실감 있는 가상 현실을 구현할 수 있도록 4D 데이터를 생성할 수 있는 4D 데이터 생성 방법 및 시스템이 요구된다.
본 발명은 상기한 문제점을 개선하기 위해 고안된 것으로, 본 발명이 해결하고자 하는 과제는, 영상 촬영부가 영상을 촬영하는 동안 단위 시간 간격으로 획득된 복수의 영상 프레임, 복수의 센서 데이터 및 복수의 사운드 데이터를 이용하여 단위 시간 간격으로 단위 데이터를 생성한 후 4D 데이터를 생성함으로써, 보다 간단한 방법으로 보다 정확하고 현실감 있는 가상 현실을 구현할 수 있도록 4D 데이터를 생성할 수 있는 4D 데이터 생성 방법 및 시스템을 제공하는 것이다.
본 발명의 기술적 과제는 이상에서 언급한 것들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제는 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 달성하기 위하여, 본 발명의 제1 실시예에 따른 4D 데이터 생성 방법은, 촬영이 진행되는 동안, 촬영되는 영상으로부터 미리 설정된 단위 시간 간격으로 복수의 영상 프레임을 획득하는 단계와, 상기 촬영이 진행되는 동안, 측정되는 적어도 하나의 센서 값으로부터 상기 단위 시간 간격으로 복수의 센서 데이터를 획득하는 단계와, 상기 단위 시간 간격으로 획득되는 상기 복수의 영상 프레임 및 상기 복수의 센서 데이터로부터 상기 단위 시간 간격으로 복수의 단위 데이터를 생성하는 단계와, 상기 복수의 단위 데이터를 조합하여 4D 데이터를 생성하는 단계를 포함하는 것을 특징으로 한다.
이 때, 상기 복수의 센서 데이터는 상기 촬영이 진행되는 동안 상기 단위 시간 간격으로 획득되는 위치 정보, 방위 정보, 속도 정보 및 가속도 정보를 포함하는 것을 특징으로 한다.
또한, 상기 단위 시간 간격으로 획득되는 상기 속도 정보는 해당하는 단위 시간에 인접하는 두 개의 위치 정보를 이용하여 산출되고, 상기 단위 시간 간격으로 획득되는 상기 가속도 정보는 인접하는 세 개의 위치 정보를 시용하여 산출되는 것을 특징으로 한다.
또한, 상기 센서 데이터는 기울기 정보(경사 정보), 풍향 정보, 풍속 정보, 온도 정보, 습도 정보, 밝기 정보 중 적어도 어느 하나를 더 포함하는 것을 특징으로 한다.
또한, 상기 복수의 센서 데이터는 상기 복수의 영상 프레임의 헤더(Header)에 기록되는 것을 특징으로 한다.
한편, 본 발명의 제2 실시예에 따른 4D 데이터 생성 방법은, 상기 촬영이 진행되는 동안, 녹음되는 음향으로부터 상기 단위 시간 간격으로 복수의 사운드 데이터를 획득하는 단계를 더 포함하고, 상기 복수의 단위 데이터는 상기 단위 시간 간격으로 획득되는 상기 복수의 영상 프레임, 상기 복수의 사운드 데이터 및 상기 복수의 센서 데이터로부터 생성되는 것을 특징으로 한다.
또한, 상기 복수의 센서 데이터 및 상기 복수의 사운드 데이터 중 적어도 하나는 상기 복수의 영상 프레임의 헤더(Header)에 기록되는 것을 특징으로 한다.
한편, 본 발명의 제3 실시예에 따른 4D 데이터 생성 방법은, 촬영된 영상 및 상기 영상이 촬영되는 동안 측정된 적어도 하나의 센서 값을 입력 받는 단계와, 상기 영상으로부터 미리 설정된 단위 시간 간격으로 복수의 영상 프레임을 획득하는 단계와, 상기 적어도 하나의 센서 값으로부터 상기 단위 시간 간격으로 복수의 센서 데이터를 획득하는 단계와, 상기 단위 시간 간격으로 획득된 상기 복수의 영상 프레임 및 상기 복수의 센서 데이터로부터 상기 단위 시간 간격으로 복수의 단위 데이터를 생성하는 단계와, 상기 복수의 단위 데이터를 조합하여 4D 데이터를 생성하는 단계를 포함하는 것을 특징으로 한다.
또한, 상기 복수의 센서 데이터는 상기 촬영이 진행되는 동안 상기 단위 시간 간격으로 획득되는 위치 정보, 방위 정보, 속도 정보 및 가속도 정보를 포함하는 것을 특징으로 한다.
또한, 상기 단위 시간 간격으로 획득되는 상기 속도 정보는 해당하는 단위 시간에 인접하는 두 개의 위치 정보를 이용하여 산출되고, 상기 단위 시간 간격으로 획득되는 상기 가속도 정보는 인접하는 세 개의 위치 정보를 시용하여 산출되는 것을 특징으로 한다.
또한, 상기 센서 데이터는 기울기 정보(경사 정보), 풍향 정보, 풍속 정보, 온도 정보, 습도 정보, 밝기 정보 중 적어도 어느 하나를 더 포함하는 것을 특징으로 한다.
또한, 상기 복수의 센서 데이터는 상기 복수의 영상 프레임의 헤더(Header)에 기록되는 것을 특징으로 한다.
한편, 본 발명의 제4 실시예에 따른 4D 데이터 생성 방법은, 상기 영상이 촬영되는 동안 녹음된 음향을 입력 받는 단계와, 상기 음향으로부터 상기 단위 시간 간격으로 복수의 사운드 데이터를 획득하는 단계를 더 포함하고, 상기 복수의 단위 데이터는 상기 단위 시간 간격으로 획득된 상기 복수의 영상 프레임, 상기 복수의 사운드 데이터 및 상기 복수의 센서 데이터로부터 생성되는 것을 특징으로 한다.
또한, 상기 복수의 센서 데이터 및 상기 복수의 사운드 데이터 중 적어도 하나는 상기 복수의 영상 프레임의 헤더(Header)에 기록되는 것을 특징으로 한다.
한편, 본 발명의 제1 실시예에 따른 4D 데이터 생성 시스템은, 영상을 촬영하는 영상 촬영부와, 상기 영상 촬영부에서 상기 촬영이 진행되는 동안 적어도 하나의 센서 값을 측정하는 센서부 및 상기 영상 촬영부로부터 촬영되는 영상으로부터 미리 설정된 단위 시간 간격으로 복수의 영상 프레임을 획득하고, 상기 센서부로부터 측정되는 적어도 하나의 센서 값으로부터 상기 단위 시간 간격으로 복수의 센서 데이터를 획득한 후, 상기 단위 시간 간격으로 획득되는 상기 복수의 영상 프레임 및 상기 복수의 센서 데이터로부터 상기 단위 시간 간격으로 생성된 복수의 단위 데이터를 조합하여 4D 데이터를 생성하는 제어부를 포함하는 것을 특징으로 한다.
또한, 상기 복수의 센서 데이터는 상기 촬영이 진행되는 동안 상기 단위 시간 간격으로 획득되는 위치 정보, 방위 정보, 속도 정보 및 가속도 정보를 포함하는 것을 특징으로 한다.
또한, 상기 단위 시간 간격으로 획득되는 상기 속도 정보는 해당하는 단위 시간에 인접하는 두 개의 위치 정보를 이용하여 산출되고, 상기 단위 시간 간격으로 획득되는 상기 가속도 정보는 인접하는 세 개의 위치 정보를 시용하여 산출되는 것을 특징으로 한다.
또한, 상기 센서 데이터는 기울기 정보(경사 정보), 풍향 정보, 풍속 정보, 온도 정보, 습도 정보, 밝기 정보 중 적어도 어느 하나를 더 포함하는 것을 특징으로 한다.
또한, 상기 복수의 센서 데이터는 상기 복수의 영상 프레임의 헤더(Header)에 기록되는 것을 특징으로 한다.
한편, 본 발명의 제2 실시예에 따른 4D 데이터 생성 시스템은, 상기 영상 촬영부에서 상기 촬영이 진행되는 동안 음향을 녹음하는 음향 녹음부를 더 포함하고,
또한, 상기 제어부는 상기 음향 녹음부로부터 녹음되는 음향으로부터 상기 단위 시간 간격으로 복수의 사운드 데이터를 획득하고, 상기 단위 시간 간격으로 획득되는 상기 복수의 영상 프레임, 상기 복수의 사운드 데이터 및 상기 복수의 센서 데이터로부터 상기 단위 시간 간격으로 상기 복수의 단위 데이터를 생성하는 것을 특징으로 한다.
또한, 상기 복수의 센서 데이터 및 상기 복수의 사운드 데이터 중 적어도 하나는 상기 복수의 영상 프레임의 헤더(Header)에 기록되는 것을 특징으로 한다.
한편, 본 발명의 제3 실시예에 따른 4D 데이터 생성 시스템은, 촬영된 영상 및 상기 영상이 촬영되는 동안 측정된 적어도 하나의 센서 값을 입력 받는 입력부 및 상기 영상으로부터 미리 설정된 단위 시간 간격으로 복수의 영상 프레임을 획득하고, 상기 적어도 하나의 센서 값으로부터 상기 단위 시간 간격으로 복수의 센서 데이터를 획득한 후, 상기 단위 시간 간격으로 획득된 상기 복수의 영상 프레임 및 상기 복수의 센서 데이터로부터 상기 단위 시간 간격으로 생성된 복수의 단위 데이터를 조합하여 4D 데이터를 생성하는 제어부를 포함하는 것을 특징으로 한다.
또한, 상기 복수의 센서 데이터는 상기 촬영이 진행되는 동안 상기 단위 시간 간격으로 획득되는 위치 정보, 방위 정보, 속도 정보 및 가속도 정보를 포함하는 것을 특징으로 한다.
또한, 상기 단위 시간 간격으로 획득되는 상기 속도 정보는 해당하는 단위 시간에 인접하는 두 개의 위치 정보를 이용하여 산출되고, 상기 단위 시간 간격으로 획득되는 상기 가속도 정보는 인접하는 세 개의 위치 정보를 시용하여 산출되는 것을 특징으로 한다.
또한, 상기 센서 데이터는 기울기 정보(경사 정보), 풍향 정보, 풍속 정보, 온도 정보, 습도 정보, 밝기 정보 중 적어도 어느 하나를 더 포함하는 것을 특징으로 한다.
또한, 상기 복수의 센서 데이터는 상기 복수의 영상 프레임의 헤더(Header)에 기록되는 것을 특징으로 한다.
한편, 본 발명의 제4 실시예에 따른 4D 데이터 생성 시스템은, 상기 입력부는 상기 영상이 촬영되는 동안 녹음된 음향을 입력 받고, 상기 제어부는 상기 음향으로부터 상기 단위 시간 간격으로 복수의 사운드 데이터를 획득하고, 상기 단위 시간 간격으로 획득되는 상기 복수의 영상 프레임, 상기 복수의 사운드 데이터 및 상기 복수의 센서 데이터로부터 상기 단위 시간 간격으로 상기 복수의 단위 데이터를 생성하는 것을 특징으로 한다.
또한, 상기 복수의 센서 데이터 및 상기 복수의 사운드 데이터 중 적어도 하나는 상기 복수의 영상 프레임의 헤더(Header)에 기록되는 것을 특징으로 한다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명의 실시예들에 따른 4D 데이터 생성 방법 및 시스템에 따르면, 영상 촬영부가 영상을 촬영하는 동안 단위 시간 간격으로 획득된 복수의 영상 프레임, 복수의 센서 데이터 및 복수의 사운드 데이터를 이용하여 단위 시간 간격으로 단위 데이터를 생성한 후 4D 데이터를 생성함으로써, 보다 간단한 방법으로 보다 정확하고 현실감 있는 가상 현실을 구현할 수 있도록 4D 데이터를 생성할 수 있다.
또한, 본 발명의 실시예들에 따른 4D 데이터 생성 방법 및 시스템에 따르면, 기존에 촬영된 영상, 기존에 획득된 적어도 하나의 센서 값 및 기존에 획득된 음향으로부터 단위 시간 간격으로 획득된 복수의 영상 프레임, 복수의 센서 데이터, 복수의 사운드 데이터를 이용하여 단위 시간 간격으로 단위 데이터를 생성한 후 4D 데이터를 생성함으로써, 보다 간단한 방법으로 보다 정확하고 현실감 있는 가상 현실을 구현할 수 있도록 4D 데이터를 생성할 수 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 제1 실시예에 따른 4D 데이터 생성 시스템의 구성을 개략적으로 나타내는 블록도이다.
도 2는 본 발명의 제1 실시예에 따른 4D 데이터 생성 시스템의 일 예를 나타내는 사시도이다.
도 3은 본 발명의 제1 실시예에 따른 4D 데이터 생성 시스템에서 4D 데이터를 생성하는 과정을 나타내는 순서도이다.
도 4는 본 발명의 제1 실시예에 따른 4D 데이터 생성 시스템의 제어부에서 복수의 영상 프레임을 획득하는 예를 나타내는 도면이다.
도 5는 본 발명의 제1 실시예에 따른 4D 데이터 생성 시스템의 제어부에서 복수의 센서 데이터를 획득하는 예를 나타내는 도면이다.
도 6a 및 도 6b는 본 발명의 제1 실시예에 따른 4D 데이터 생성 시스템의 제어부에서 복수의 단위 데이터 및 4D 데이터를 생성하는 예를 나타내는 도면이다.
도 7a 및 도 7b는 본 발명의 제1 실시예에 따른 4D 데이터 생성 시스템의 제어부에서 생성된 복수의 단위 데이터 및 4D 데이터의 구조를 나타내는 도면이다.
도 8은 본 발명의 제2 실시예에 따른 4D 데이터 생성 시스템의 구성을 개략적으로 나타내는 블록도이다.
도 9는 본 발명의 제2 실시예에 따른 4D 데이터 생성 시스템의 일 예를 나타내는 사시도이다.
도 10은 본 발명의 제2 실시예에 따른 4D 데이터 생성 시스템에서 4D 데이터를 생성하는 과정을 나타내는 순서도이다.
도 11은 본 발명의 제2 실시예에 따른 4D 데이터 생성 시스템의 제어부에서 복수의 단위 데이터 및 4D 데이터를 생성하는 예를 나타내는 도면이다.
도 12는 본 발명의 제2 실시예에 따른 4D 데이터 생성 시스템의 제어부에서 생성된 복수의 단위 데이터 및 4D 데이터의 구조를 나타내는 도면이다.
도 13은 본 발명의 제3 실시예에 따른 4D 데이터 생성 시스템의 구성을 개략적으로 나타내는 블록도이다.
도 14는 본 발명의 제3 실시예에 따른 4D 데이터 생성 시스템에서 4D 데이터를 생성하는 과정을 나타내는 순서도이다.
도 15는 본 발명의 제3 실시예에 따른 4D 데이터 생성 시스템의 제어부에서 입력 받은 영상으로부터 복수의 영상 프레임을 획득하는 예를 나타내는 도면이다.
도 16은 본 발명의 제4 실시예에 따른 4D 데이터 생성 시스템의 구성을 개략적으로 나타내는 블록도이다.
도 17는 본 발명의 제3 실시예에 따른 4D 데이터 생성 시스템에서 4D 데이터를 생성하는 과정을 나타내는 순서도이다.
이하, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있을 정도로 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명하면 다음과 같다.
실시예를 설명함에 있어서 본 발명이 속하는 기술 분야에 익히 알려져 있고 본 발명과 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다. 이는 불필요한 설명을 생략함으로써 본 발명의 요지를 흐리지 않고 더욱 명확히 전달하기 위함이다.
마찬가지 이유로 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 개략적으로 도시되었다. 또한, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다. 각 도면에서 동일한 또는 대응하는 구성요소에는 동일한 참조 번호를 부여하였다.
이하, 본 발명의 실시예들에 의하여 4D 데이터 생성 시스템 및 방법을 설명하기 위한 도면들을 참고하여 본 발명에 대해 설명하도록 한다.
먼저, 도 1 내지 도 7b를 참조하여, 본 발명의 제1 실시예에 따른 4D 데이터 생성 시스템(100) 및 방법에 대해서 설명하기로 한다.
도 1은 본 발명의 제1 실시예에 따른 4D 데이터 생성 시스템의 구성을 개략적으로 나타내는 블록도이고, 도 2는 본 발명의 제1 실시예에 따른 4D 데이터 생성 시스템의 일 예를 나타내는 사시도이다.
도 1에 도시된 바와 같이, 본 발명의 제1 실시예에 따른 4D 데이터 생성 시스템(100)은, 영상 촬영부(110), 센서부(120) 및 제어부(130)를 포함하여 구성될 수 있다. 본 발명의 제1 실시예에 따른 4D 데이터 생성 시스템(100)은 실제 이동하는 이동체(10)에 구비된 영상 촬영부(110)와 센서부(120)를 통해 입력 받은 영상 및 적어도 하나의 센서 값을 이용하여 가상 현실을 체험하기 위한 4D 데이터를 생성할 수 있다.
먼저, 영상 촬영부(110)는 영상을 촬영하며, 외부 영상을 촬영하여 아날로그 형태의 영상 신호를 출력하고, 이러한 아날로그 형태의 영상 신호로부터 디지털 형태의 영상 데이터를 생성할 수 있다. 이러한 영상 촬영부(110)는 CMOS(Complementary Metal-Oxide Semiconductor) 카메라 또는 CCD(Charge-coupled Device) 카메라를 사용할 수 있다.
센서부(120)는 영상 촬영부(110)에서 촬영이 진행되는 동안 적어도 하나의 센서 값을 측정할 수 있다. 센서 값은 영상 촬영부(110)에서 촬영이 진행될 때에 실제 이동하는 이동체(10)의 주변 상황에 따라 실시간으로 측정되어 입력되는 값으로, 추후 생성된 4D 데이터를 이용하여 가상 현실을 구현할 때에 필요하며, 이동체(10)의 위치, 방위(방향), 속도, 가속도 등을 예로 들 수 있다.
도 1에 도시된 바와 같이, 센서부(120)는 다양한 종류의 센서 값을 측정하기 위한 복수의 센서(제1 센서 S1, 제2 센서 S2, ..., 제m 센서 Sm)로 이루어질 수 있다. 이러한 센서부(120)는 GPS(Global Positioning System) 센서, 자이로 센서(Gyro sensor), 가속도 센서(Acceleration sensor), 중력 센서(Gravity sensor, G-Sensor), 고도 센서(Altitude sensor), 조도 센서(Illumination sensor), 방위 센서(Direction sensor), 풍향 센서(Wind direction sensor), 풍속 센서(Wind velocity sensor), 온도 센서(Temperature sensor), 습도 센서(Humidity sensor) 중 적어도 하나 이상을 포함하도록 구성될 수 있다. 각각의 센서에서 측정하는 센서 값 및 동작 방법 등에 대해서는 잘 알려져 있으므로, 자세한 설명은 생략하기로 한다.
제어부(130)는 4D 데이터 생성 시스템(100)을 구성하는 영상 촬영부(110) 및 센서부(120)의 동작을 제어하고, 영상 촬영부(110) 및 센서부(120)로부터 다양한 정보를 전달 받아 처리할 수 있다.
먼저, 제어부(130)는 영상 촬영부(110)로부터 촬영되는 영상으로부터 미리 설정된 단위 시간 간격으로 복수의 영상 프레임(Image Frame)을 획득할 수 있다. 즉, 제어부(130)는 영상 촬영부(110)로부터 출력되는 디지털 형태의 영상 데이터를 인코딩하여 복수의 영상 프레임을 획득할 수 있다. 여기서 영상 프레임이란 영상을 이루는 기본 단위로서 한 장의 스틸 이미지를 의미한다. 디지털 형태의 영상 데이터를 인코딩하여 영상 프레임을 생성하는 방법에 대해서는 잘 알려져 있으므로, 본 발명에서 자세한 설명은 생략하기로 한다.
또한, 제어부(130)는 센서부(120)로부터 측정되는 적어도 하나의 센서 값으로부터 단위 시간 간격으로 복수의 센서 데이터를 획득할 수 있다. 제어부(130)에서 획득되는 복수의 센서 데이터는 촬영이 진행되는 동안 단위 시간 간격으로 획득되는 위치 정보, 방위 정보, 속도 정보, 가속도 정보, 기울기 정보(경사 정보), 풍향 정보, 풍속 정보, 온도 정보, 습도 정보, 밝기 정보 등을 포함할 수 있다. 후술하겠지만, 이러한 복수의 센서 데이터는 복수의 영상 프레임의 헤더(Header)에 기록될 수 있다.
마지막으로, 제어부(130)는 단위 시간 간격으로 획득되는 복수의 영상 프레임 및 복수의 센서 데이터로부터 단위 시간 간격으로 복수의 단위 데이터를 생성하고, 복수의 단위 데이터를 조합하여 4D 데이터를 생성할 수 있다. 제어부(130)가 영상 촬영부(110)로부터 복수의 영상 프레임을 획득하는 방법, 센서부(120)로부터 복수의 센서 데이터를 획득하는 방법, 복수의 단위 데이터를 생성하는 방법, 4D 데이터를 생성하는 방법은 도 2 내지 도 7b를 참조하여 자세히 후술하기로 한다.
한편, 도 2에서는 본 발명의 제1 실시예에 따른 4D 데이터 생성 시스템(100)을 실제 구현한 예로서, 이동체(10)의 예로 자전거를 도시하고 있다. 도 2에 도시된 바와 같이, 카메라인 영상 촬영부(110)는 실제 이동하는 이동체(10)인 자전거의 전면에 설치되는 것이 바람직하나, 필요에 따라 다양한 방향으로 자전거의 측면, 후면 등에 복수의 카메라가 설치될 수도 있다. 마찬가지로, 도 2에서는 센서부(120)가 자전거의 전면에 설치된 예를 도시하고 있으나, 필요에 따라 자전거의 다른 위치에 설치될 수도 있다. 예를 들어, 사용자의 실제 위치에 가까운 자전거의 안장에 설치될 수도 있다.
한편, 비록 도시되지는 않았으나, 본 발명의 제1 실시예에 따른 4D 데이터 생성 시스템(100)은 4D 데이터 생성 시스템(100)의 동작에 필요한 프로그램, 제어부(130)에서 처리한 각종 데이터를 저장하는 저장부를 더 포함할 수 있다. 이러한 저장부는 제어부(130)에서 처리하는 각종 데이터를 임시 저장하는 제1 메모리와, 제어부(130)에서 처리된 각종 데이터를 최종 저장하는 제2 메모리로 구성될 수 있다. 제1 메모리는 램(RAM)과 같은 휘발성 메모리를 사용하고, 제2 메모리는 SD 카드(Secure Digital Card)와 같은 비휘발성 메모리를 사용할 수 있으나, 이에 한정되지 않으며, 정보의 입출력 및 저장이 가능한 다양한 저장 매체를 사용할 수도 있다. 또한, 이러한 저장부는 4D 데이터 생성 시스템(100)의 내부에 장착된 상태이나, 필요에 따라 4D 데이터 생성 시스템(100)의 외부로 분리될 수도 있다.
또한, 비록 도시되지는 않았으나, 본 발명의 제1 실시예에 따른 4D 데이터 생성 시스템(100)은 영상 촬영부(110)에서 촬영되는 영상이나 제어부(130)에서 처리된 4D 데이터는 물론, 4D 데이터 생성 시스템(100)의 동작에 따른 각종 정보를 사용자에게 표시하는 디스플레이부를 더 포함할 수도 있다. 이러한 디스플레이부로는 LCD(Liquid Crystal Display)는 물론 입력 기능이 구현된 터치 스크린(Touch screen) 등을 사용할 수 있으며, 이에 한정되지 않는다.
또한, 비록 도시되지는 않았으나, 본 발명의 제1 실시예에 따른 4D 데이터 생성 시스템(100)은 제어부(130)에서 처리된 4D 데이터 등 각종 데이터를 외부의 원격 서버로 전송하거나, 외부의 원격 서버로부터 4D 데이터 생성 시스템(100)에 필요한 제어 명령 등 각종 정보를 수신하는 통신부를 더 포함할 수도 있다.
이상, 본 실시예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.
상기와 같이 구성되는 본 발명의 제1 실시예에 따른 4D 데이터 생성 시스템(100)의 4D 데이터 생성 방법을 설명하면 다음과 같다.
도 3은 본 발명의 제1 실시예에 따른 4D 데이터 생성 시스템에서 4D 데이터를 생성하는 과정을 나타내는 순서도이다.
먼저, 도 3에 도시된 바와 같이, 영상 촬영부(110)는 촬영 시간을 초기화한 후(t = 0), 외부 영상에 대한 촬영을 시작할 수 있다(S210). 그리고, 제어부(130)는 영상 촬영부(110)에서 촬영이 진행되는 동안, 영상 촬영부(110)에서 촬영되는 영상으로부터 미리 설정된 단위 시간 간격으로 복수의 영상 프레임 F1 내지 Fn을 획득할 수 있다(S220). 여기서 단위 시간 간격 Δt는 영상 촬영부(110)에서 촬영을 시작하기 전에 미리 설정될 수 있으며, 영상 촬영부(110)의 프레임 레이트(Frame rate) 또는 초당 프레임 수(Frames per second, fps)를 고려하여 정해질 수 있다. 예를 들어, 영상 촬영부(110)에서 촬영하는 영상을 120 fps로 설정하는 경우, 단위 시간 간격 Δt는 0.5 sec이다. 또 다른 예로, 영상 전체 촬영 시간이 T sec 이고, 원하는 영상 프레임의 개수가 n인 경우에는, 단위 시간 간격 Δt는 T/n sec이다.
도 4는 본 발명의 제1 실시예에 따른 4D 데이터 생성 시스템의 제어부에서 복수의 영상 프레임을 획득하는 예를 나타내는 도면이다.
도 4에서는 영상 촬영부(110)에서 촬영되는 영상으로부터 n 개의 영상 프레임 F1 내지 Fn을 획득하는 예를 도시하고 있다. 상술한 바와 같이, 영상 전체 촬영 시간이 T sec 이고, 원하는 영상 프레임의 개수가 n인 경우에는, 단위 시간 간격 Δt는 T/n sec이며, 제1 영상 프레임 F1은 영상 촬영부(110)가 촬영을 시작한 후 t = Δt 인 시점에서의 스틸 이미지를 의미하고, 제2 영상 프레임 F2는 t = Δt × 2 인 시점에서의 스틸 이미지를 의미하며, 제n 영상 프레임 Fn은 t = Δt × n = T 인 시점에서의 스틸 이미지를 의미한다.
다시 도 3을 참조하면, 제어부(130)는 영상 촬영부(110)에서 촬영이 진행되는 동안, 센서부(120)에서 측정되는 적어도 하나의 센서 값으로부터 단위 시간 간격으로 복수의 센서 데이터 S1 내지 Sn을 획득할 수 있다(S230). 즉, 센서부(120)는 영상 촬영부(110)에서 촬영되는 영상으로부터 단위 시간 간격으로 복수의 영상 프레임을 획득할 때에, 이와 동시에 센서부(120)에서 측정되는 적어도 하나의 센서 값으로부터 복수의 센서 데이터 S1 내지 Sn을 획득할 수 있다.
도 5는 본 발명의 제1 실시예에 따른 4D 데이터 생성 시스템의 제어부에서 복수의 센서 데이터를 획득하는 예를 나타내는 도면이다.
도 5에서는 센서부(120)가 4 개의 센서인 GPS 센서(S1), 방위 센서(S2), 고도 센서(S3), 중력 센서(S4)로 이루어진 예를 도시하고 있다. 도 5에 도시된 바와 같이, 제어부(130)는 GPS 센서(S1), 방위 센서(S2), 고도 센서(S3), 중력 센서(S4) 각각으로부터 측정되는 적어도 하나의 센서 값을 통해 시간 정보, 위치 정보, 속도 정보, 가속도 정보, 방위 정보, 고도 정보, 경사 정보, 기울기 정보, 충격 정보 등을 포함하는 센서 데이터를 획득할 수 있다.
보다 자세하게는, 영상 촬영부(110)가 촬영을 시작한 후 t = Δt 인 시점에서, 제어부(130)는 영상 촬영부(110)로부터 제1 영상 프레임 F1을 획득하고, 이와 동시에, 센서부(120)로부터 t = Δt 에서의 시간 정보, 위치 정보, 속도 정보, 가속도 정보, 방위 정보, 고도 정보, 경사 정보, 기울기 정보, 충격 정보 등을 포함하는 제1 센서 데이터 S1을 획득할 수 있다. 이와 동일한 방법으로, 제어부(130)는 영상 촬영부(110)가 영상을 촬영하는 동안, 단위 시간 간격 Δt으로 제2 영상 프레임 F2와 제2 센서 데이터 S2, 제3 영상 프레임 F3와 제3 센서 데이터 S3, ... , 제n 영상 프레임 Fn과 제n 센서 데이터 Sn을 동시에 획득할 수 있다.
한편, 제어부(130)는 센서부(120)에서 측정되는 센서 값 자체를 직접 센서 데이터로 획득할 수도 있으나, 센서부(120)에서 측정되는 센서 값들을 조합하여 산출한 후 센서 데이터로 획득할 수도 있다.
특히, 본 발명의 제1 실시예에 따른 4D 데이터 생성 시스템(100)의 경우, 보다 현실감 있는 가상 현실을 구현하기 위해서, 복수의 센서 데이터는 촬영이 진행되는 동안 단위 시간 간격으로 획득되는 위치 정보, 방위 정보, 속도 정보 및 가속도 정보를 필수적으로 포함하는데, 여기서 속도 정보 및 가속도 정보는 GPS 센서(S1)로부터 직접 획득할 수도 있으나 다른 센서 값들을 이용하여 산출할 수도 있다. 이는 GPS 센서(S1)로부터 직접 획득되는 속도 정보 및 가속도 정보는 가상 현실을 구현하기 위해 중요한 인자이나 GPS 센서(S1) 자체의 오차 때문에 부정확할 수 있기 때문이다.
바람직하게는, 제어부(130)에서 단위 시간 간격으로 획득되는 속도 정보는 해당하는 단위 시간에 인접하는 두 개의 위치 정보를 이용하여 산출될 수 있다. 예를 들어, 영상 촬영부(110)가 촬영을 시작한 후 t = Δt × 4 인 시점에서의 제4 센서 데이터 S4에 포함된 속도 정보는 t = Δt × 3 인 시점에서의 제3 센서 데이터 S3에 포함된 위치 정보와, t = Δt × 4 인 시점에서의 제4 센서 데이터 S4에 포함된 위치 정보를 이용하여 산출할 수 있다. 또는, 영상 촬영부(110)가 촬영을 시작한 후 t = Δt × 4 인 시점에서의 제4 센서 데이터 S4에 포함된 속도 정보는 t = Δt × 4 인 시점에서의 제4 센서 데이터 S4에 포함된 위치 정보와, t = Δt × 5 인 시점에서의 제5 센서 데이터 S5에 포함된 위치 정보를 이용하여 산출할 수도 있다.
비슷한 방법으로, 제어부(130)에서 단위 시간 간격으로 획득되는 가속도 정보는 인접하는 세 개의 위치 정보를 시용하여 산출될 수 있다. 예를 들어, 제4 센서 데이터 S4에 포함된 가속도 정보는 제2 센서 데이터 S3에 포함된 위치 정보, 제3 센서 데이터 S3에 포함된 위치 정보 및 제4 센서 데이터 S4에 포함된 위치 정보를 이용하여 산출하거나, 제3 센서 데이터 S3에 포함된 위치 정보, 제4 센서 데이터 S4에 포함된 위치 정보 및 제5 센서 데이터 S5에 포함된 위치 정보를 이용하여 산출하거나, 제4 센서 데이터 S4에 포함된 위치 정보, 제5 센서 데이터 S5에 포함된 위치 정보 및 제6 센서 데이터 S6에 포함된 위치 정보를 이용하여 산출할 수 있다.
이와 같이, 제어부(130)에서 단위 시간 간격으로 획득되는 속도 정보를 인접하는 두 개의 위치 정보를 이용하여 산출하고, 가속도 정보를 인접하는 세 개의 위치 정보를 시용하여 산출함으로써, 보다 현실감 있는 가상 현실을 구현할 수 있다.
한편, 복수의 센서 데이터는 각각 기울기 정보(경사 정보), 풍향 정보, 풍속 정보, 온도 정보, 습도 정보, 밝기 정보 중 적어도 어느 하나를 더 포함할 수도 있다. 이러한 기울기 정보(경사 정보), 풍향 정보, 풍속 정보, 온도 정보, 습도 정보, 밝기 정보는 각각 중력 센서, 풍향 센서, 풍속 센서, 온도 센서, 습도 센서, 조도 센서로부터 획득될 수 있다.
한편, 단계 S220에서 복수의 영상 프레임을 획득하는 과정과, 단계 S230에서 복수의 센서 데이터를 획득하는 과정은 순서가 서로 바뀔 수도 있고, 실질적으로 동일한 시간에 수행될 수도 있다.
다시 도 3을 참조하면, 제어부(130)는, 영상 촬영부(110)로부터 복수의 영상 프레임 F1 내지 Fn을 획득하고(S220), 센서부(120)에서 복수의 센서 데이터 S1 내지 Sn을 획득한 후(S230), 단위 시간 간격으로 획득되는 복수의 영상 프레임 F1 내지 Fn 및 복수의 센서 데이터 S1 내지 Sn으로부터 단위 시간 간격으로 복수의 단위 데이터 E1 내지 En을 생성할 수 있다(S240). 그리고, 제어부(130)는 복수의 단위 데이터 E1 내지 En을 조합하여 4D 데이터를 생성할 수 있다(S260). 이 때, 제어부(130)에서 단위 시간 간격으로 생성되는 복수의 단위 데이터는 영상 촬영부(110)에서 영상을 촬영하는 동안 실시간으로 생성할 수도 있고, 촬영을 마친 후 일괄적으로 생성할 수도 있다.
도 6a 및 도 6b는 본 발명의 제1 실시예에 따른 4D 데이터 생성 시스템의 제어부에서 복수의 단위 데이터 및 4D 데이터를 생성하는 예를 나타내는 도면이다.
일 예로, 도 6a에 도시된 바와 같이, 영상 촬영부(110)가 영상을 촬영하는 동안, 제어부(130)는 단위 시간 간격 Δt으로 복수의 영상 프레임 F1 내지 Fn과 복수의 센서 데이터 S1 내지 Sn을 획득하는 것과 동시에 복수의 단위 데이터 E1 내지 En을 생성할 수 있다.
즉, 영상 촬영부(110)가 촬영을 시작한 후 t = Δt 인 시점에서, 제어부(130)는 영상 촬영부(110)와 센서부(120)로부터 제1 영상 프레임 F1과 제1 센서 데이터 S1을 획득하자 마자 바로 이들을 이용하여 제1 단위 데이터 E1을 생성할 수 있다. 이와 동일한 방법으로, 제어부(130)는 영상 촬영부(110)가 영상을 촬영하는 동안, 단위 시간 간격 Δt으로 제2 영상 프레임 F2, 제2 센서 데이터 S2, 제2 단위 데이터 E2, ... , 제n 영상 프레임 Fn, 제n 센서 데이터 Sn, 제n 단위 데이터를 동시에 획득하고 생성할 수 있다.
마지막으로, 제어부(130)는 영상 촬영부(110)가 영상 촬영을 마친 후, 복수의 단위 데이터 E1 내지 En을 조합하여 4D 데이터를 생성할 수 있다.
다른 예로, 도 6b에 도시된 바와 같이, 영상 촬영부(110)가 영상을 촬영하는 동안, 제어부(130)는 단위 시간 간격 Δt으로 복수의 영상 프레임 F1 내지 Fn과 복수의 센서 데이터 S1 내지 Sn을 먼저 획득한 후, 영상 촬영부(110)가 영상 촬영을 마친 후 제어부(130)가 복수의 단위 데이터 E1 내지 En을 생성할 수 있다.
즉, 영상 촬영부(110)가 촬영을 시작한 후, 제어부(130)는 영상 촬영부(110)가 영상을 촬영하는 동안, 단위 시간 간격 Δt으로 제1 영상 프레임 F1과 제1 센서 데이터 S1, ... , 제n 영상 프레임 Fn과 제n 센서 데이터 Sn을 동시에 획득할 수 있다. 다음으로, 제어부(130)는 영상 촬영부(110)가 영상 촬영을 마친 후, 제1 영상 프레임 F1과 제1 센서 데이터 S1을 이용하여 제1 단위 데이터 E1을 생성하고, 이와 동일한 방법으로 순차적으로 제n 영상 프레임 Fn과 제n 센서 데이터 Sn을 이용하여 제n 단위 데이터 En까지 생성할 수 있다. 마지막으로, 복수의 단위 데이터 E1 내지 En을 조합하여 4D 데이터를 생성할 수 있다.
한편, 본 발명의 제1 실시예에 따른 4D 데이터 생성 시스템(100)의 경우, 제어부(130)가 복수의 단위 데이터를 생성할 때에, 복수의 센서 데이터는 복수의 영상 프레임의 헤더(Header)에 기록될 수 있다.
도 7a 및 도 7b는 본 발명의 제1 실시예에 따른 4D 데이터 생성 시스템의 제어부에서 생성된 복수의 단위 데이터 및 4D 데이터의 구조를 나타내는 도면이다.
도 7a에서는 단위 데이터 E1 내지 En을 구성하는 영상 프레임 F1 내지 Fn과 센서 데이터 S1 내지 Sn이 각각 별도로 저장되는 예를 도시하고 있다. 예를 들어, 제1 단위 데이터 E1을 구성하는 제1 영상 프레임 F1과 제1 센서 데이터 S1은 제1 단위 데이터 E1 내에서 각각 별도로 저장될 수 있다.
이와 반대로, 도 7b에서는 단위 데이터 E1 내지 En을 구성하는 영상 프레임 F1 내지 Fn과 센서 데이터 S1 내지 Sn 중 센서 데이터 S1 내지 Sn이 별도로 저장되는 것이 아니라, 영상 프레임 F1 내지 Fn의 헤더에 기록되어 저장되는 예를 도시하고 있다. 예를 들어, 제1 단위 데이터 E1을 구성하는 제1 센서 데이터 S1은 제1 영상 프레임 F1의 헤더에 저장될 수 있다. 바람직하게는, 복수의 센서 데이터는 영상 프레임의 EXIF(Exchangeable image file format) 정보로 저장될 수 있으나, 이에 한정되지는 않는다.
이하, 도 8 내지 도 12를 참조하여, 본 발명의 제2 실시예에 따른 4D 데이터 생성 시스템(100) 및 방법에 대해서 설명하기로 한다. 설명의 편의상, 도 1 내지 도 7b에 도시된 제1 실시예의 구성요소와 동일한 구성요소에 대한 설명은 생략하며, 이하 차이점을 위주로 설명한다.
도 8은 본 발명의 제2 실시예에 따른 4D 데이터 생성 시스템의 구성을 개략적으로 나타내는 블록도이고, 도 9는 본 발명의 제2 실시예에 따른 4D 데이터 생성 시스템의 일 예를 나타내는 사시도이다.
도 1에 도시된 본 발명의 제1 실시예에 따른 4D 데이터 생성 시스템(100)과는 달리, 도 8에 도시된 본 발명의 제2 실시예에 따른 4D 데이터 생성 시스템(100)은 음향 녹음부(140)를 더 포함할 수 있다.
음향 녹음부(140)는 영상 촬영부(110)에서 촬영이 진행되는 동안 외부의 음향을 입력 받아 녹음할 수 있다. 이 때, 제어부(130)는 음향 녹음부(140)로부터 녹음되는 음향으로부터 단위 시간 간격으로 복수의 사운드 데이터를 획득할 수 있다. 그리고, 제어부(130)는 단위 시간 간격으로 획득되는 복수의 영상 프레임, 복수의 사운드 데이터 및 복수의 센서 데이터로부터 단위 시간 간격으로 복수의 단위 데이터를 생성할 수 있다.
한편, 도 9에서는 본 발명의 제2 실시예에 따른 4D 데이터 생성 시스템(100)을 실제 구현한 예로서, 도 2에 도시된 제1 실시예와는 달리, 음향을 녹음하는 마이크로폰(Microphone)과 같은 음향 녹음부(140)를 더 포함하는 예를 도시하고 있다. 도 9에 도시된 바와 같이, 음향 녹음부(140)는 실제 이동하는 이동체(10)인 자전거의 전면에 설치되는 것이 바람직하나, 필요에 따라 다양한 방향으로 자전거의 측면, 후면 등에 복수의 마이크로폰이 설치될 수도 있다.
상기와 같이 구성되는 본 발명의 제2 실시예에 따른 4D 데이터 생성 시스템(100)의 4D 데이터 생성 방법을 설명하면 다음과 같다.
도 10은 본 발명의 제2 실시예에 따른 4D 데이터 생성 시스템에서 4D 데이터를 생성하는 과정을 나타내는 순서도이고, 도 11은 본 발명의 제2 실시예에 따른 4D 데이터 생성 시스템의 제어부에서 복수의 단위 데이터 및 4D 데이터를 생성하는 예를 나타내는 도면이며, 도 12는 본 발명의 제2 실시예에 따른 4D 데이터 생성 시스템의 제어부에서 생성된 복수의 단위 데이터 및 4D 데이터의 구조를 나타내는 도면이다.
도 10에 도시된 바와 같이, 영상 촬영부(110)는 촬영 시간을 초기화한 후(t = 0), 외부 영상에 대한 촬영을 시작할 수 있다(S210). 그리고, 영상 촬영부(110)에서 촬영이 진행되는 동안, 제어부(130)는 영상 촬영부(110)에서 촬영되는 영상으로부터 미리 설정된 단위 시간 간격으로 복수의 영상 프레임 F1 내지 Fn을 획득하고(S220), 이와 동시에 센서부(120)에서 측정되는 적어도 하나의 센서 값으로부터 단위 시간 간격으로 복수의 센서 데이터 S1 내지 Sn을 획득할 수 있다(S230).
그리고, 제어부(130)는 복수의 영상 프레임 F1 내지 Fn과 복수의 센서 데이터 S1 내지 Sn을 획득할 때에 동시에 녹음되는 음향으로부터 단위 시간 간격으로 복수의 사운드 데이터 A1 내지 An을 획득할 수 있다(S235).
마지막으로, 제어부(130)는, 복수의 영상 프레임 F1 내지 Fn, 복수의 센서 데이터 S1 내지 Sn 및 복수의 사운드 데이터 A1 내지 An을 획득한 후(단계 S220 내지 S235), 단위 시간 간격으로 획득되는 복수의 영상 프레임 F1 내지 Fn, 복수의 센서 데이터 S1 내지 Sn 및 복수의 사운드 데이터 A1 내지 An으로부터 단위 시간 간격으로 복수의 단위 데이터 E1 내지 En을 생성하고(S245). 그리고, 제어부(130)는 복수의 단위 데이터를 조합하여 4D 데이터를 생성할 수 있다(S260).
도 11에서는 영상 촬영부(110)가 영상을 촬영하는 동안, 제어부(130)가 단위 시간 간격 Δt으로 복수의 영상 프레임 F1 내지 Fn, 복수의 센서 데이터 S1 내지 Sn 및 복수의 사운드 데이터 A1 내지 An을 획득하는 것과 동시에 복수의 단위 데이터를 생성하는 예를 도시하고 있다. 그러나, 이는 예시적인 것으로서, 영상 촬영부(110)가 영상을 촬영하는 동안, 제어부(130)는 단위 시간 간격 Δt으로 복수의 영상 프레임 F1 내지 Fn, 복수의 센서 데이터 S1 내지 Sn 및 복수의 사운드 데이터 A1 내지 An을 먼저 획득한 후, 영상 촬영부(110)가 영상 촬영을 마친 후에 제어부(130)가 복수의 단위 데이터 E1 내지 En을 생성할 수 있다.
한편, 제어부(130)에서 획득되는 복수의 센서 데이터 S1 내지 Sn 및 복수의 사운드 데이터 A1 내지 An 중 적어도 하나는 복수의 영상 프레임 F1 내지 Fn의 헤더(Header)에 기록될 수 있다. 도 12에서는 제어부(130)에서 획득되는 복수의 센서 데이터 S1 내지 Sn이 복수의 영상 프레임 F1 내지 Fn의 헤더에 기록된 예를 도시하고 있으나, 이에 한정되지 않는다.
이하, 도 13 내지 도 15를 참조하여, 본 발명의 제3 실시예에 따른 4D 데이터 생성 시스템(300) 및 방법에 대해서 설명하기로 한다. 설명의 편의상, 도 1 내지 도 12에 도시된 제1 실시예 및 제2 실시예의 구성요소와 동일한 구성요소에 대한 설명은 생략하며, 이하 차이점을 위주로 설명한다.
도 13은 본 발명의 제3 실시예에 따른 4D 데이터 생성 시스템의 구성을 개략적으로 나타내는 블록도이다.
도 1에 도시된 본 발명의 제1 실시예에 따른 4D 데이터 생성 시스템(300) 및 도 8에 도시된 본 발명의 제2 실시예에 따른 4D 데이터 생성 시스템(300)과는 달리, 도 13에 도시된 본 발명의 제3 실시예에 따른 4D 데이터 생성 시스템(300)은 영상 촬영부(110)와 센서부(120) 대신 입력부(310)를 포함할 수 있다.
입력부(310)는 촬영된 영상 및 영상이 촬영되는 동안 측정된 적어도 하나의 센서 값을 입력 받을 수 있다. 즉, 입력부(310)는 기존에 미리 촬영되거나 측정되어 내부 또는 외부에 저장된 영상 및 적어도 하나의 센서 값을 입력 받을 수 있다. 입력부(310)가 입력 받는 기존에 촬영된 영상 및 기존에 측정된 적어도 하나의 센서 값은 본 발명의 제1 실시예에 따른 4D 데이터 생성 시스템(300)을 통해 저장된 영상 및 센서 값은 물론, 별도의 다른 시스템에서 저장된 영상 및 센서 값도 가능하다.
이 때, 제어부(320)는 입력된 영상으로부터 미리 설정된 단위 시간 간격으로 복수의 영상 프레임을 획득하고, 입력된 적어도 하나의 센서 값으로부터 단위 시간 간격으로 복수의 센서 데이터를 획득한 후, 단위 시간 간격으로 획득된 복수의 영상 프레임 및 복수의 센서 데이터로부터 단위 시간 간격으로 생성된 복수의 단위 데이터를 조합하여 4D 데이터를 생성할 수 있다.
도 14는 본 발명의 제3 실시예에 따른 4D 데이터 생성 시스템에서 4D 데이터를 생성하는 과정을 나타내는 순서도이다.
도 14에 도시된 바와 같이, 입력부(310)는 촬영된 영상 및 영상이 촬영되는 동안 측정된 적어도 하나의 센서 값을 입력 받을 수 있다(S410). 그리고, 제어부(320)는 입력 받은 영상으로부터 미리 설정된 단위 시간 간격 Δt으로 복수의 영상 프레임 F1 내지 Fn을 획득하고(S420), 입력 받은 적어도 하나의 센서 값으로부터 단위 시간 간격 Δt으로 복수의 센서 데이터 S1 내지 Sn을 획득할 수 있다(S430).
도 15는 본 발명의 제3 실시예에 따른 4D 데이터 생성 시스템의 제어부에서 입력 받은 영상으로부터 복수의 영상 프레임을 획득하는 예를 나타내는 도면이다.
도 15에 도시된 바와 같이, 입력부(310)는 외부의 영상 저장 장치나, 서버 또는 데이터베이스로부터 기존에 생성되어 저장된 영상을 입력 받고, 제어부(320)는 입력 받은 영상으로부터 단위 시간 간격 Δt으로 복수의 영상 프레임 F1 내지 Fn을 획득할 수 있다. 이 때, 제1 영상 프레임 F1은 입력 받은 전체 영상에서 t = Δt 인 시점에서의 스틸 이미지를 의미하고, 제2 영상 프레임 F2는 t = Δt × 2 인 시점에서의 스틸 이미지를 의미하며, 제n 영상 프레임 Fn은 t = Δt × n = T 인 시점에서의 스틸 이미지를 의미한다.
다시 도 14를 참조하면, 제어부(320)는, 단위 시간 간격 Δt으로 복수의 영상 프레임 F1 내지 Fn과 복수의 센서 데이터 S1 내지 Sn을 획득한 후(S420, S430), 단위 시간 간격 Δt으로 획득된 복수의 영상 프레임 F1 내지 Fn 및 복수의 센서 데이터 S1 내지 Sn으로부터 단위 시간 간격으로 복수의 단위 데이터 E1 내지 En을 생성한 후(S440), 복수의 단위 데이터를 조합하여 4D 데이터를 생성할 수 있다(S450).
이하, 도 16 및 도 17을 참조하여, 본 발명의 제4 실시예에 따른 4D 데이터 생성 시스템(300) 및 방법에 대해서 설명하기로 한다. 설명의 편의상, 도 1 내지 도 15에 도시된 제1 실시예, 제2 실시예 및 제3 실시예의 구성요소와 동일한 구성요소에 대한 설명은 생략하며, 이하 차이점을 위주로 설명한다.
도 16은 본 발명의 제4 실시예에 따른 4D 데이터 생성 시스템의 구성을 개략적으로 나타내는 블록도이고, 도 17는 본 발명의 제3 실시예에 따른 4D 데이터 생성 시스템에서 4D 데이터를 생성하는 과정을 나타내는 순서도이다.
도 13에 도시된 본 발명의 제3 실시예에 따른 4D 데이터 생성 시스템(300)과는 달리, 도 16에 도시된 본 발명의 제4 실시예에 따른 4D 데이터 생성 시스템(300)의 입력부(310)는 기존에 저장된 영상과 적어도 하나의 센서 값 이외에 영상이 촬영되는 동안 녹음된 음향을 입력 받을 수 있다.
도 17에 도시된 바와 같이, 입력부(310)는 촬영된 영상, 영상이 촬영되는 동안 측정된 적어도 하나의 센서 값 및 을 영상이 촬영되는 동안 녹음된 음향을 입력 받을 수 있다(S410). 그리고, 제어부(320)는 입력 받은 영상으로부터 미리 설정된 단위 시간 간격 Δt으로 복수의 영상 프레임 F1 내지 Fn을 획득하고(S420), 입력 받은 적어도 하나의 센서 값으로부터 단위 시간 간격 Δt으로 복수의 센서 데이터 S1 내지 Sn을 획득한 후(S430), 입력 받은 음향으로부터 단위 시간 간격 Δt으로 복수의 사운드 데이터 A1 내지 An을 획득할 수 있다(S435).
그리고, 제어부(320)는, 단위 시간 간격 Δt으로 획득된 복수의 영상 프레임 F1 내지 Fn, 복수의 센서 데이터 S1 내지 Sn 및 복수의 사운드 데이터 A1 내지 An으로부터 단위 시간 간격으로 복수의 단위 데이터 E1 내지 En을 생성한 후(S445), 복수의 단위 데이터를 조합하여 4D 데이터를 생성할 수 있다(S450).
상술한 바와 같이, 본 발명의 실시예들에 따른 4D 데이터 생성 방법 및 시스템의 경우, 영상 촬영부가 영상을 촬영하는 동안 단위 시간 간격으로 획득된 복수의 영상 프레임, 복수의 센서 데이터 및 복수의 사운드 데이터를 이용하여 단위 시간 간격으로 단위 데이터를 생성한 후 4D 데이터를 생성함으로써, 보다 간단한 방법으로 보다 정확하고 현실감 있는 가상 현실을 구현할 수 있도록 4D 데이터를 생성할 수 있다. 또한, 기존에 촬영된 영상, 기존에 획득된 적어도 하나의 센서 값 및 기존에 획득된 음향으로부터 단위 시간 간격으로 획득된 복수의 영상 프레임, 복수의 센서 데이터, 복수의 사운드 데이터를 이용하여 단위 시간 간격으로 단위 데이터를 생성한 후 4D 데이터를 생성함으로써, 보다 간단한 방법으로 보다 정확하고 현실감 있는 가상 현실을 구현할 수 있도록 4D 데이터를 생성할 수 있다.
한편, 본 명세서와 도면에는 본 발명의 바람직한 실시예에 대하여 개시하였으며, 비록 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예 외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.
<도면의 주요 부분에 대한 부호의 설명>
10: 이동체
100: 4D 데이터 생성 시스템
110: 영상 촬영부 120: 센서부
130: 제어부 140: 음향 녹음부
100: 4D 데이터 생성 시스템
310: 입력부 320: 제어부

Claims (28)

  1. 촬영이 진행되는 동안, 촬영되는 영상으로부터 미리 설정된 단위 시간 간격으로 복수의 영상 프레임을 획득하는 단계;
    상기 촬영이 진행되는 동안, 측정되는 적어도 하나의 센서 값으로부터 상기 단위 시간 간격으로 복수의 센서 데이터를 획득하는 단계;
    상기 단위 시간 간격으로 획득되는 상기 복수의 영상 프레임 및 상기 복수의 센서 데이터로부터 상기 단위 시간 간격으로 복수의 단위 데이터를 생성하는 단계; 및
    상기 복수의 단위 데이터를 조합하여 4D 데이터를 생성하는 단계를 포함하는 것을 특징으로 하는 4D 데이터 생성 방법.
  2. 제 1 항에 있어서,
    상기 복수의 센서 데이터는 상기 촬영이 진행되는 동안 상기 단위 시간 간격으로 획득되는 위치 정보, 방위 정보, 속도 정보 및 가속도 정보를 포함하는 것을 특징으로 하는 4D 데이터 생성 방법.
  3. 제 2 항에 있어서,
    상기 단위 시간 간격으로 획득되는 상기 속도 정보는 해당하는 단위 시간에 인접하는 두 개의 위치 정보를 이용하여 산출되고, 상기 단위 시간 간격으로 획득되는 상기 가속도 정보는 인접하는 세 개의 위치 정보를 시용하여 산출되는 것을 특징으로 하는 4D 데이터 생성 방법.
  4. 제 2 항에 있어서,
    상기 센서 데이터는 기울기 정보(경사 정보), 풍향 정보, 풍속 정보, 온도 정보, 습도 정보, 밝기 정보 중 적어도 어느 하나를 더 포함하는 것을 특징으로 하는 4D 데이터 생성 방법.
  5. 제 1 항에 있어서,
    상기 복수의 센서 데이터는 상기 복수의 영상 프레임의 헤더(Header)에 기록되는 것을 특징으로 하는 4D 데이터 생성 방법.
  6. 제 1 항에 있어서,
    상기 촬영이 진행되는 동안, 녹음되는 음향으로부터 상기 단위 시간 간격으로 복수의 사운드 데이터를 획득하는 단계를 더 포함하고,
    상기 복수의 단위 데이터는 상기 단위 시간 간격으로 획득되는 상기 복수의 영상 프레임, 상기 복수의 사운드 데이터 및 상기 복수의 센서 데이터로부터 생성되는 것을 특징으로 하는 4D 데이터 생성 방법.
  7. 제 6 항에 있어서,
    상기 복수의 센서 데이터 및 상기 복수의 사운드 데이터 중 적어도 하나는 상기 복수의 영상 프레임의 헤더(Header)에 기록되는 것을 특징으로 하는 4D 데이터 생성 방법.
  8. 촬영된 영상 및 상기 영상이 촬영되는 동안 측정된 적어도 하나의 센서 값을 입력 받는 단계;
    상기 영상으로부터 미리 설정된 단위 시간 간격으로 복수의 영상 프레임을 획득하는 단계;
    상기 적어도 하나의 센서 값으로부터 상기 단위 시간 간격으로 복수의 센서 데이터를 획득하는 단계;
    상기 단위 시간 간격으로 획득된 상기 복수의 영상 프레임 및 상기 복수의 센서 데이터로부터 상기 단위 시간 간격으로 복수의 단위 데이터를 생성하는 단계; 및
    상기 복수의 단위 데이터를 조합하여 4D 데이터를 생성하는 단계를 포함하는 것을 특징으로 하는 4D 데이터 생성 방법.
  9. 제 8 항에 있어서,
    상기 복수의 센서 데이터는 상기 촬영이 진행되는 동안 상기 단위 시간 간격으로 획득되는 위치 정보, 방위 정보, 속도 정보 및 가속도 정보를 포함하는 것을 특징으로 하는 4D 데이터 생성 방법.
  10. 제 9 항에 있어서,
    상기 단위 시간 간격으로 획득되는 상기 속도 정보는 해당하는 단위 시간에 인접하는 두 개의 위치 정보를 이용하여 산출되고, 상기 단위 시간 간격으로 획득되는 상기 가속도 정보는 인접하는 세 개의 위치 정보를 시용하여 산출되는 것을 특징으로 하는 4D 데이터 생성 방법.
  11. 제 9 항에 있어서,
    상기 센서 데이터는 기울기 정보(경사 정보), 풍향 정보, 풍속 정보, 온도 정보, 습도 정보, 밝기 정보 중 적어도 어느 하나를 더 포함하는 것을 특징으로 하는 4D 데이터 생성 방법.
  12. 제 8 항에 있어서,
    상기 복수의 센서 데이터는 상기 복수의 영상 프레임의 헤더(Header)에 기록되는 것을 특징으로 하는 4D 데이터 생성 방법.
  13. 제 8 항에 있어서,
    상기 영상이 촬영되는 동안 녹음된 음향을 입력 받는 단계; 및
    상기 음향으로부터 상기 단위 시간 간격으로 복수의 사운드 데이터를 획득하는 단계를 더 포함하고,
    상기 복수의 단위 데이터는 상기 단위 시간 간격으로 획득된 상기 복수의 영상 프레임, 상기 복수의 사운드 데이터 및 상기 복수의 센서 데이터로부터 생성되는 것을 특징으로 하는 4D 데이터 생성 방법.
  14. 제 13 항에 있어서,
    상기 복수의 센서 데이터 및 상기 복수의 사운드 데이터 중 적어도 하나는 상기 복수의 영상 프레임의 헤더(Header)에 기록되는 것을 특징으로 하는 4D 데이터 생성 방법.
  15. 영상을 촬영하는 영상 촬영부,
    상기 영상 촬영부에서 상기 촬영이 진행되는 동안 적어도 하나의 센서 값을 측정하는 센서부; 및
    상기 영상 촬영부로부터 촬영되는 영상으로부터 미리 설정된 단위 시간 간격으로 복수의 영상 프레임을 획득하고, 상기 센서부로부터 측정되는 적어도 하나의 센서 값으로부터 상기 단위 시간 간격으로 복수의 센서 데이터를 획득한 후, 상기 단위 시간 간격으로 획득되는 상기 복수의 영상 프레임 및 상기 복수의 센서 데이터로부터 상기 단위 시간 간격으로 생성된 복수의 단위 데이터를 조합하여 4D 데이터를 생성하는 제어부를 포함하는 것을 특징으로 하는 4D 데이터 생성 시스템.
  16. 제 15 항에 있어서,
    상기 복수의 센서 데이터는 상기 촬영이 진행되는 동안 상기 단위 시간 간격으로 획득되는 위치 정보, 방위 정보, 속도 정보 및 가속도 정보를 포함하는 것을 특징으로 하는 4D 데이터 생성 시스템.
  17. 제 16 항에 있어서,
    상기 단위 시간 간격으로 획득되는 상기 속도 정보는 해당하는 단위 시간에 인접하는 두 개의 위치 정보를 이용하여 산출되고, 상기 단위 시간 간격으로 획득되는 상기 가속도 정보는 인접하는 세 개의 위치 정보를 시용하여 산출되는 것을 특징으로 하는 4D 데이터 생성 시스템.
  18. 제 16 항에 있어서,
    상기 센서 데이터는 기울기 정보(경사 정보), 풍향 정보, 풍속 정보, 온도 정보, 습도 정보, 밝기 정보 중 적어도 어느 하나를 더 포함하는 것을 특징으로 하는 4D 데이터 생성 시스템.
  19. 제 15 항에 있어서,
    상기 복수의 센서 데이터는 상기 복수의 영상 프레임의 헤더(Header)에 기록되는 것을 특징으로 하는 4D 데이터 생성 시스템.
  20. 제 15 항에 있어서,
    상기 영상 촬영부에서 상기 촬영이 진행되는 동안 음향을 녹음하는 음향 녹음부를 더 포함하고,
    상기 제어부는 상기 음향 녹음부로부터 녹음되는 음향으로부터 상기 단위 시간 간격으로 복수의 사운드 데이터를 획득하고, 상기 단위 시간 간격으로 획득되는 상기 복수의 영상 프레임, 상기 복수의 사운드 데이터 및 상기 복수의 센서 데이터로부터 상기 단위 시간 간격으로 상기 복수의 단위 데이터를 생성하는 것을 특징으로 하는 4D 데이터 생성 시스템.
  21. 제 20 항에 있어서,
    상기 복수의 센서 데이터 및 상기 복수의 사운드 데이터 중 적어도 하나는 상기 복수의 영상 프레임의 헤더(Header)에 기록되는 것을 특징으로 하는 4D 데이터 생성 시스템.
  22. 촬영된 영상 및 상기 영상이 촬영되는 동안 측정된 적어도 하나의 센서 값을 입력 받는 입력부; 및
    상기 영상으로부터 미리 설정된 단위 시간 간격으로 복수의 영상 프레임을 획득하고, 상기 적어도 하나의 센서 값으로부터 상기 단위 시간 간격으로 복수의 센서 데이터를 획득한 후, 상기 단위 시간 간격으로 획득된 상기 복수의 영상 프레임 및 상기 복수의 센서 데이터로부터 상기 단위 시간 간격으로 생성된 복수의 단위 데이터를 조합하여 4D 데이터를 생성하는 제어부를 포함하는 것을 특징으로 하는 4D 데이터 생성 시스템.
  23. 제 22 항에 있어서,
    상기 복수의 센서 데이터는 상기 촬영이 진행되는 동안 상기 단위 시간 간격으로 획득되는 위치 정보, 방위 정보, 속도 정보 및 가속도 정보를 포함하는 것을 특징으로 하는 4D 데이터 생성 시스템.
  24. 제 23 항에 있어서,
    상기 단위 시간 간격으로 획득되는 상기 속도 정보는 해당하는 단위 시간에 인접하는 두 개의 위치 정보를 이용하여 산출되고, 상기 단위 시간 간격으로 획득되는 상기 가속도 정보는 인접하는 세 개의 위치 정보를 시용하여 산출되는 것을 특징으로 하는 4D 데이터 생성 시스템.
  25. 제 23 항에 있어서,
    상기 센서 데이터는 기울기 정보(경사 정보), 풍향 정보, 풍속 정보, 온도 정보, 습도 정보, 밝기 정보 중 적어도 어느 하나를 더 포함하는 것을 특징으로 하는 4D 데이터 생성 시스템.
  26. 제 22 항에 있어서,
    상기 복수의 센서 데이터는 상기 복수의 영상 프레임의 헤더(Header)에 기록되는 것을 특징으로 하는 4D 데이터 생성 시스템.
  27. 제 22 항에 있어서,
    상기 입력부는 상기 영상이 촬영되는 동안 녹음된 음향을 입력 받고,
    상기 제어부는 상기 음향으로부터 상기 단위 시간 간격으로 복수의 사운드 데이터를 획득하고, 상기 단위 시간 간격으로 획득되는 상기 복수의 영상 프레임, 상기 복수의 사운드 데이터 및 상기 복수의 센서 데이터로부터 상기 단위 시간 간격으로 상기 복수의 단위 데이터를 생성하는 것을 특징으로 하는 4D 데이터 생성 시스템.
  28. 제 27 항에 있어서,
    상기 복수의 센서 데이터 및 상기 복수의 사운드 데이터 중 적어도 하나는 상기 복수의 영상 프레임의 헤더(Header)에 기록되는 것을 특징으로 하는 4D 데이터 생성 시스템.
KR1020140131005A 2014-09-30 2014-09-30 4d 데이터 생성 방법 및 시스템 KR20160038957A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140131005A KR20160038957A (ko) 2014-09-30 2014-09-30 4d 데이터 생성 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140131005A KR20160038957A (ko) 2014-09-30 2014-09-30 4d 데이터 생성 방법 및 시스템

Publications (1)

Publication Number Publication Date
KR20160038957A true KR20160038957A (ko) 2016-04-08

Family

ID=55907824

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140131005A KR20160038957A (ko) 2014-09-30 2014-09-30 4d 데이터 생성 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR20160038957A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200005128A (ko) * 2018-07-05 2020-01-15 주식회사 코아칩스 영상 동기화 방법 및 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200005128A (ko) * 2018-07-05 2020-01-15 주식회사 코아칩스 영상 동기화 방법 및 장치

Similar Documents

Publication Publication Date Title
JP7026214B2 (ja) ヘッドマウントディスプレイ追跡システム
JP6961612B2 (ja) 三次元モデル配信方法及び三次元モデル配信装置
US20150271469A1 (en) Image synchronization method for cameras and electronic apparatus with cameras
KR100956855B1 (ko) 복수개의 카메라를 이용한 고속촬영장치
JP6012342B2 (ja) 再生装置、再生装置の制御方法
CN105794197A (zh) 能够生成全景文件的便携式设备
CN104883557A (zh) 实时全息投影方法、装置及系统
JP2014057247A (ja) 撮像装置及び撮像処理方法並びにプログラム
US20150304629A1 (en) System and method for stereophotogrammetry
WO2017200847A1 (en) Intelligent interface for interchangeable sensors
JP2010252046A (ja) 撮像装置
CN103139475A (zh) 摄像装置
US10244220B2 (en) Multi-camera time slice system and method of generating integrated subject, foreground and background time slice images
CN106303495A (zh) 全景立体图像的合成方法、装置及其移动终端
JP2000305207A (ja) 電子スチルカメラ
JP2019110434A (ja) 画像処理装置、画像処理システムおよびプログラム
US20160127617A1 (en) System for tracking the position of the shooting camera for shooting video films
KR20160038957A (ko) 4d 데이터 생성 방법 및 시스템
JP4995805B2 (ja) 映像重畳装置、映像重畳方法、プログラムおよび記録媒体
TW201702806A (zh) 電子裝置及其多媒體控制方法
KR101654009B1 (ko) 4d 데이터 재생 방법 및 시스템
EP2940989A1 (en) Method and apparatus for generating composite image in electronic device
JP2010130403A (ja) 映像制御装置およびそれを備えた撮像装置、表示装置
JP6787072B2 (ja) 画像処理装置、解析システム、画像処理方法及びプログラム
WO2019176150A1 (ja) 位置推定装置、位置推定方法及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20140930

PA0201 Request for examination
N231 Notification of change of applicant
PN2301 Change of applicant

Patent event date: 20141217

Comment text: Notification of Change of Applicant

Patent event code: PN23011R01D

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20150731

Patent event code: PE09021S01D

PG1501 Laying open of application
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20160628

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20150731

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I