KR101774391B1

KR101774391B1 - 자이로 센서를 활용한 모션 효과 인코딩 방법

Info

Publication number: KR101774391B1
Application number: KR1020160094545A
Authority: KR
Inventors: 장용석
Original assignee: (주)다울디엔에스
Priority date: 2016-07-26
Filing date: 2016-07-26
Publication date: 2017-09-05

Abstract

본 발명은 Virtual Reality 카메라에 자이로 센서를 내장하여 상호 연동시킨 다음 VR 카메라로 촬영함과 동시에 VR카메라의 움직임을 자이로 센서가 검출하여 저장하고, 모션 인코딩 시 VR 카메라가 촬영한 영상데이터와 자이로 센서가 검출한 모션데이터를 상호 취합하여 보다 완벽한 모션 인코딩이 이루어지도록 제공하는 것에 관한 것으로, VR(Virtual Reality) 카메라에 자이로 센서를 내장하여 상호 연동시킨 다음 VR 카메라를 소지한 상태로 촬영하는 영상 획득단계(S10);와, 카메라에 내장된 자이로 센서를 통해 모션(Motion) 데이터를 추출하는 모션데이터 추출단계(S20);와, 추출된 모션데이터를 MPEG-V 표준을 기반으로 한 모션 메타데이터(Metadate)로 변환하는 모션데이터 변환단계(S30);와, 영상데이터와 모션 메타데이터를 디바이스로 전송하여 저장되는 모션메타데이터 저장단계(S40);를 포함하여 구성된다.

Description

자이로 센서를 활용한 모션 효과 인코딩 방법{Motion effect encoding method using Gyro seonsor}

본 발명은 Virtual Reality 카메라(이하 'VR 카메라'로 통칭한다.)로 촬영함과 동시에 모션 인코딩을 제작하는 방법에 관한 것으로, 더욱 상세하게는 VR 카메라에 자이로 센서를 내장하여 상호 연동시킨 다음 VR 카메라로 촬영함과 동시에 자이로 센서가 카메라의 움직임에 대한 모션 궤적을 검출하여 저장하고, 모션 인코딩 시 VR 카메라가 촬영한 영상데이터와 자이로 센서가 검출한 모션데이터를 상호 취합하여보다 완벽한 모션 인코딩이 이루어지도록 제공하기 위한 자이로 센서를 활용한 모션 효과 인코딩 방법에 관한 것이다.

통상적으로 가상현실 영상물을 제작하기 위해서는 VR 카메라로 입체 영상을 촬영한다.

예컨대, 대한민국공개특허 제10-2013-0097772호 "입체 영상 촬영 방법 및 이를 지원하는 장치"가 게재되어 있다. 위 종래 장치는 일반 카메라 모듈에 탈착 가능한 입체영상촬영 보조장치에 관한 것으로, 위 카메라 모듈 전면의 좌측 및 우측 영상이 각각 투사되도록 소정 간격 이격된 좌측 촬영구 및 우측 촬영구가 형성된 하우징과, 위 하우징 내벽의 일측에 구비되어 위 좌측 영상을 반사시키는 좌측 반사경, 타측에 구비되어 우측 영상을 반사시키는 우측 반사경, 그리고 좌측 반사경으로부터 전달된 좌측 및 우측 영상을 교번적으로 카메라 모듈에 전달하는 광 전달부로 구성되는 기술이다.

위의 종래 기술을 포함한 일반적인 VR 카메라를 사용하여 촬영한 3D 영상데이터는 개발자에 의해 위 영상데이터와 호환하는 편집 프로그램을 이용하여 최소 3축 내지 6축으로 구분 촬영된 3D 영상데이터를 인코딩한 뒤 해당 영상물을 특수 출력장치로 전송하여 체험하는 방법으로 이루어진다.

하지만, 실제 현존하는 동영상 촬영장비로는 대상물의 모션을 정확하게 재현할 수 없으며, 수동으로 입력되는 모션 효과들은 실제 촬영 당시의 모션을 정확하게 재현하는데에 한계가 있다. 이에 따라 영상에서 재현되는 모션은 실제 모션과 어느 정도 차이점이 존재하며 영상의 체험자들은 이를 감수하고 체험하는 문제점이 발생한다.

위와 같은 이유로 가상현실 영상물의 모션 인코딩을 쉽고 간편하게 제작할 수 있게 제공함은 물론, 영상데이터에 모션 효과를 정확하게 재현할 수 있는 인코딩 기술이 매우 시급한 실정이다.

대한민국 공개특허공보 제10-2013-0097772호 "입체 영상 촬영 방법 및 이를 지원하는 장치"

본 발명은 위의 제반 문제점을 보다 적극적으로 해소하기 위하여 창출된 것으로, VR 카메라로 촬영한 입체 영상물에 모션 효과를 정확하게 재현할 수 있는 방법을 제공하는 것은 물론, 쉽고 간편한 인코딩 기술을 제공하고자 하는 것이 해결 과제이다.

또한, 입체영상물을 MPEG-V 기반의 표준 규격으로 인코딩하는 것을 또 다른 해결 과제로 한다.

위의 해결 과제를 달성하기 위하여 본 발명에서 제안하는 자이로 센서를 활용한 가상현실 영상의 인코딩 방법은 다음과 같다.

VR(Virtual Reality) 카메라에 자이로 센서를 내장하여 상호 연동시킨 다음 VR 카메라를 소지한 상태로 촬영하는 영상 획득단계(S10);와, 카메라에 내장된 자이로 센서를 통해 모션(Motion) 데이터를 추출하는 모션데이터 추출단계(S20);와, 추출된 모션데이터를 MPEG-V 표준을 기반으로 한 모션 메타데이터(Metadate)로 변환하는 모션데이터 변환단계(S30);와, 영상데이터와 모션 메타데이터를 디바이스로 전송하여 저장되는 모션메타데이터 저장단계(S40);를 포함하여 구성되는 것에 특징이 있다.

또한, 위 모션데이터 추출단계(S20)는 VR 카메라가 촬영함과 동시에 자이로 센서가 VR 카메라의 움직임에 대한 모션궤적을 검출하고, 검출된 궤적에 따른 궤적 측정값(Trajectory Data)과 진동 측정값(Vibration Data)을 각각 추출하는 것에 특징이 있다.

더불어, 위 모션데이터 변환단계(S30)는 카메라 모션의 궤적 값을 계산하여 MPEG-V 표준을 기반으로한 6축 모션의 동작 값으로 변환시키는 것에 특징이 있다.

상술한 바와 같은 구성으로 이루어지는 본 발명에 의하면, 비 전문가도 가상현실 영상물을 손쉽게 제작할 수 있는 효과가 있다.

또한, 자이로 센서를 통하여 가상현실 영상물과 모션 효과의 동기화를 견고하게하고, 촬영한 영상에 대한 움직임을 더욱 매끄럽게 재현할 수 있는 효과가 있다.

또한, 스마트폰과 같은 이동식 단말기에 MPEG-V 기반의 플랫폼 애플리케이션(가상현실 영상물 인코딩 애플리케이션)을 제공하여 장소에 구애받지 않고 가상현실 영상물을 제작할 수 있는 효과가 있다.

또한, 4D 리얼 부스(가상현실 영상물을 재생할 수 있는 출력장치 및 모션 재현 장치)를 특별 장소에 배치하여 제작한 가상현실 영상물을 실시간으로 체험할 수 있는 효과가 있다.

도 1은 본 발명의 바람직한 실시 예에 의하여 구성되는 자이로 센서를 활용한 가상현실 영상의 모션 효과 인코딩 방법에 대한 플로우 차트.
도 2는 본 발명이 제안하는 자이로 센서를 활용한 가상현실 영상물 제작 단계를 순차적으로 나열한 플로우 차트.

이하, 첨부도면을 참고하여 본 발명의 구성 및 이로 인한 작용, 효과에 대해 일괄적으로 기술하기로 한다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예를 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예에 한정되는 것이 아니라, 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예는 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 그리고, 명세서 전문에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다.

본 발명은 Virtual Reality 카메라(이하 'VR 카메라'로 통칭한다.)로 촬영과 동시에 모션 인코딩을 제작하는 방법에 관한 것이다.

무엇보다, VR 카메라에 자이로 센서를 내장하여 상호 연동시킨 다음 VR 카메라가 객체의 움직임을 촬영함과 동시에 자이로 센서가 카메라의 움직임에 대한 궤적을 검출하여 저장하고, 모션 인코딩 시 VR 카메라가 촬영한 영상데이터와 자이로 센서가 검출한 모션데이터를 상호 취합하여 보다 완벽한 모션 인코딩이 이루어지도록 제공하기 위한 자이로 센서를 활용한 모션 효과 인코딩 방법에 관한 것임을 주지한다.

본 발명을 설명하기에 앞서, VR 카메라만 이용하여 촬영한 영상을 인코딩할 때에는 실제 촬영 당시의 모션 움직임을 정확하게 재현하기에는 다소 기술적인 문제점이 있었으며, 현재의 기술을 바탕으로 제공되는 모션 영상을 체험할 경우 다소 실제와 차이점이 존재하여 영상물의 완성도가 매우 떨어지는 문제점이 있었다.

하지만, 본 발명이 제안하는 방법인 자이로 센서가 결합된 VR 카메라로 획득한 영상물은 영상데이터는 물론, 카메라의 움직임에 대한 각속도를 검출함으로써, 대상물의 정확한 모션데이터를 추가 획득할 수 있고, 이로부터 영상물의 모션 효과를 보다 완벽하게 재현할 수 있으며, 해당 모션 측정값을 토대로 촬영된 영상데이터와 모션데이터를 보다 견고하게 스티칭하여 영상물의 가상현실에 대한 품질을 상승시킬 수 있다.

도 1은 본 발명이 제안하는 자이로 센서를 활용하여 가상현실 영상을 인코딩하는 작업 과정을 순차적으로 나타낸 플로우 차트이다.

도 1에 도시된 플로우 차트와 같이 본 발명의 자이로 센서를 활용한 모션 효과 인코딩 방법은 크게 카메라로 대상물을 촬영하는 영상물 획득단계(S10);와, 자이로센서가 카메라의 움직임에 대한 모션데이터를 추출하는 모션데이터 추출단계(S20);와, 추출된 영상데이터와 모션데이터를 MPEG-V 국제표준 규격으로 변환하는 모션데이터 변환단계(S30);와, 영상데이터와 모션 메타데이터를 디바이스로 전송하여 저장하는 모션메타데이터 저장단계(S40);로 구성된다.

더욱 상세하게 설명하자면, 본 발명의 궁극적인 특이성은 VR(Virtual Reality) 카메라에 자이로 센서를 내장하여 상호 연동시킨다는 점이다.

위 영상 획득단계(S10)는 사용자가 자이로 센서가 내장된 VR 카메라를 소지한 상태로 촬영하여 영상물을 획득함은 물론, 자이로 센서의 센싱에 의해 VR 카메라의 움직임에 대한 모션데이터까지 획득할 수 있다. 예컨대 VR 카메라를 소지한 상태로 촬영한 방법은 본 발명의 설명을 위한 일 실시 예에 관한 것일 뿐 다양한 방식의 촬영장비를 동원할 수 있음은 당연하다 할 것이다.

위 모션데이터 추출단계(S20)는 VR 카메라가 촬영할 때, VR 카메라에 내장된 자이로 센서가 카메라의 움직임에 대한 궤적을 검출하고, 검출된 궤적에 따른 궤적 측정값(Trajectory Data)과 진동 측정값(Vibration Data)등의 모션데이터들을 추출하는 단계를 말한다.

위 모션데이터 변환단계(S30)는 자이로 센서가 감지한 모션데이터를 디바이스로 재현될 수 있는 포멧으로 변환하는데, 위 포맷은 MPEG-V를 기반으로 하는 6축의 모션 재현 디바이스와 호환 가능하게 변환된다. 다시 말해, 전송되는 모션데이터에 대한 측정정보를 토대로 모션에 대한 궤적 값을 계산하여 정확히 6축 모션의 동작 값으로 변환되며, 특히 데이터의 포맷을 MPEG-V의 국제 표준 규격에 해당하는 모션메타데이터(Motion MataDate)로 변환되는 것이 특징이다.

위 모션메타데이터 저장단계(S40)는 VR 카메라로 촬영한 영상데이터와, 6축 모션의 동작 값으로 변환된 모션데이터를 카메라에 내장된 저장장치에 저장하는 단계이다. 더불어, 위 모션데이터 변환단계(S30)에서 언급하였듯이, 모든 데이터는 MPEG-V의 국제 표준 규격에 해당하는 모션메타데이터(Motion Metadate)로 변환되어 저장한다.

이하, 기술될 내용은 도 2를 참고하며, 자이로 센서가 내장된 VR 카메라를 이용하여 가상현실 영상물을 제작하고, 이를 활용하는 바람직한 실시 방법에 대해 기술하도록 하겠다.

먼저, 사용자가 자이로 센서가 내장된 카메라로 움직이면서 주변 환경을 촬영한 다음, MPEG-V 기반의 플랫폼이 설치된 디바이스에 영상물을 전송한다. MPEG-V 기반의 플랫폼으로 전송된 영상물은 카메라로부터 촬영된 영상데이터와 자이로 센서로부터 획득한 모션데이터로 구분되고, 모션데이터는 다시 Trajectory Data와 Vibration Data로 구분된다.

Trajectory Data와 Vibration Data로 구분된 모션데이터는 각 데이터 별로 모션의 궤적 값을 계산하여 6축 모션의 동작 값으로 변환되며, 촬영된 영상데이터와 결합하여 MPEG-V 모션메타데이터로 저장된다.

위와 같이 본 발명은, 손쉽게 가상현실 영상물을 제작할 수 있음은 물론, 현재 제공되는 모션 인코딩 기술을 뛰어넘어 가성현실에서의 움직임을 보다 완벽하게 재현할 수 있는 효과가 있다.

이상에서 설명한 본 발명은, 도면에 도시된 일실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 명확히 하여야 할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술적 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

S10. 영상 획득단계 S20. 모션데이터 추출단계
S30. 모션데이터 변환단계 S40. 모션메타데이터 저장단계

Claims

자이로 센서가 내장된 VR 카메라로 촬영하는 영상 획득단계(S10);와, VR 카메라를 통해 촬영된 영상에서 자이로 센서가 감지한 모션 정보를 분리하는 모션데이터 추출단계(S20);와, 추출된 모션 데이터를 MPEG-V 표준 기반으로 변환하는 모션데이터 변환단계(S30);와, 영상과 모션 데이터를 각각 디바이스로 전송하여 저장하는 모션데이터 저장단계(S40);를 순차 진행하여 3D모션 데이터를 영상에 인코딩하는 방법에 있어서,
위 영상 획득단계(S10)는 자이로 센서가 촬영하고자 하는 대상물의 이동반경을 따라 카메라의 움직임에 대한 각속도를 검출하고,
위 모션데이터 추출단계(S20)는 촬영된 영상에서 검출된 각속도를 통해 궤적과 진동을 감지하는 모션 감지단계(S21)와, 감지된 모션에서 궤적과 진동 움직임을 추출하는 모션 추출단계(S22)와, 추출된 모션에서 궤적과 진동의 측정값을 계산하는 모션 측정단계(S23)와, 위 모션 감지, 추출, 측정단계(S21, S22, S23)로부터 영상 데이터에서 모션데이터를 분리하는 데이터 분리단계(S24)를 포함하고,
위 모션데이터 변환단계(S30)는 추출된 모션데이터와 궤적 및 진동 값의 정보를 통해 6축 모션의 동작 값으로 변환하는 동작값 변환단계(S31)와, 변환된 모션 데이터를 MPEG-V 표준 기반의 포멧으로 변환하는 모션데이터 포멧 변환단계(S32)와, 모션 측정값 추출단계에서 분리된 영상데이터를 MPEG-V 표준 기반의 포멧으로 변환하는 영상데이터 포멧 변환단계(S33)로 구성되고,
위 모션데이터 저장단계(S40)는 영상데이터와 모션데이터를 스티칭하면서 가상현실 재생 어플리케이션이 설치된 디바이스 또는 4D 리얼부스의 저장공간으로 전송하여 MPEG-V 표준 기반으로 제작된 입체 영상물을 실시간으로 체험할 수 있도록 제공하는 것에 특징이 있는 자이로 센서를 활용한 모션 효과 인코딩 방법.
삭제
삭제