KR20150121001A - 햅틱 액추에이터 제어 파라미터들을 갖고 있는 시청각 콘텐츠의 아이템을 재생하기 위한 방법과 그 방법을 구현하는 장치 - Google Patents

Abstract

본 개시는 카메라를 이용하여 촬영된 비디오 콘텐츠의 아이템을 재생하기 위한 방법에 관한 것이다. 시퀀스들로 구성된 비디오 콘텐츠의 아이템은 촬영시 카메라에 적용되는 명령에 의해 개발 및 향상된다. 재생하기 위해서, 비디오 콘텐츠는 시퀀스들로 분할된다. 카메라에 적용되는 명령은 각 시퀀스마다 추출되고 이러한 시퀀스와 관련된 적어도 하나의 햅틱 액추에이터 제어 파라미터를 계산할 수 있게 한다. 비디오 콘텐츠의 시퀀스의 재생시, 그와 같이 계산된 적어도 하나의 제어 파라미터는 적어도 하나의 햅틱 액추에이터를 제어한다. 이러한 방식으로, 관객은 재생 중에 비디오 문서의 그의 지각을 향상할 수 있게 하는 자극을 지각한다. 바람직하게는, 상기 향상된 콘텐츠를 재생할 수 있는 플레이어는 카메라에 적용된 명령들로부터 시퀀스들의 세트에 대한 시네마토그래픽 효과를 결정한다. 이어서, 이러한 효과와 연관된 햅틱 메타포가 이러한 시퀀스들의 세트에 적용된다.

Description

햅틱 액추에이터 제어 파라미터들을 갖고 있는 시청각 콘텐츠의 아이템을 재생하기 위한 방법과 그 방법을 구현하는 장치{METHOD FOR REPRODUCING AN ITEM OF AUDIOVISUAL CONTENT HAVING HAPTIC ACTUATOR CONTROL PARAMETERS AND DEVICE IMPLEMENTING THE METHOD}

본 발명의 분야는 시청각 콘텐츠의 아이템의 재생 동안 햅틱 렌더링들의 생성에 관한 것이다. 보다 상세하게, 본 발명은 시청각 콘텐츠가 관객의 신체 상의 움직임들을 생성하는 액추에이터들을 제어할 수 있게 하는 신호들을 포함하는 경우에 관한 것이다.

요즈음에, 영사 기술들은 시청각 콘텐츠와 관객의 경험을 풍부하게 할 수 있게 한다. 3D의 출현은, 점점 현실적이고 인상적이게 되는 영화에서 관객에게 실제적 몰입(real immersion)을 제공한다. 최근에, 관객의 시각에 의해서만 제공된 것들과는 다른 감각들을 관객에게 주기 위해 관객이 앉은 시트에 장비의 아이템들이 추가되었다. 따라서, 시트들은 이제 여러 자유도에 따라 움직여서 관객이 시각적인 그리고 어쩌면 오디오 콘텐츠와 관련된 움직임을 경험하도록 유도한다. 예를 들어, 롤러 코스터 자동차의 전방에서의 영화 촬영의 경우, 하강(descent)이 시네마 스크린에 재현될 때, 관객의 시트가 약간 앞으로 기울어진다. 또 다른 예는 지진 장면의 재생 동안 영화관 시트들을 좌우로 심하게 진동시키는 것으로 구성된다.

햅틱 증강형 시청각 콘텐츠는 관객이 문서의 재생 동안 움직이게 하는 액추에이터들을 제어할 수 있게 한다. 이런 방식으로, 관객은 시각과 청각뿐 아니라 터치에 의해서도 콘텐츠를 인식한다. 따라서, 문서의 재생시 관객의 몰입은 더 크고 관객이 느끼는 인상은 이벤트를 더 강렬하게 경험하는 것이다.

대부분의 시간, 햅틱 증강들은 이미 만들어진 영화에 추가된다. 오퍼레이터는 영화를 보고, 지각(perception)이 그의 사람에 대해 실행된 움직임에 의해 관객을 위해 향상되는 시퀀스를 결정한다. 오퍼레이터는 수동으로 움직임의 타입(변위, 진동, 고동침, 전율 등)을 결정하고 이러한 시퀀스 동안 특정한 액추에이터들의 활성화를 프로그램한다. 햅틱 파라미터들은 특정한 매체에서 비디오 및 어쩌면 오디오 신호들에 추가된다. 재생 동안, 햅틱 파라미터들이 판독되고 자극들을 관객에게 적용하는 것을 담당하는 액추에이터들에 전송된다. 이러한 자극들은 모든 종류의 감각들을 생성할 수 있다: 행복, 불안, 자신감, 왜소, 현기증, 기타 등등.

현재, 이러한 햅틱 파라미터들은 비디오 또는 시청각 콘텐츠를 보고 있는 오퍼레이터에 의해 수동으로 계산된다. 따라서, 햅틱 액추에이터 제어 파라미터들의 생성과 새로운 비디오 콘텐츠의 증강을 자동화하는 것을 가능하게 하는 새로운 기술에 대한 실질적인 필요성이 존재한다.

본 개시는 카메라를 이용하여 촬영한 비디오 콘텐츠의 아이템을 재생하기 위한 방법의 형태로, 종래의 모든 단점이 없는 새로운 솔루션을 제안한다.

이 방법은 시퀀스 또는 시퀀스들과 관련된 적어도 하나의 햅틱 액추에이터에 대한 적어도 하나의 제어 파라미터를 계산하기 위해서 하나 이상의 시퀀스들의 촬영 동안 카메라에 적용된 명령들을 처리하는 단계와, 적어도 하나의 시퀀스의 재생 동안 계산된 적어도 하나의 제어 파라미터를 이용하여 적어도 하나의 햅틱 액추에이터를 제어하는 단계를 포함한다.

이런 방식으로, 비디오 콘텐츠는 비디오 콘텐츠의 시퀀스 또는 다양한 시퀀스들의 촬영 동안 카메라에 적용된 명령들로부터 계산된 햅틱 액추에이터 제어 파라미터들에 의해 자동적으로 향상된다.

제1 실시 형태에 따르면, 카메라에 적용된 명령들의 수치들은 햅틱 액추에이터들을 제어하는 수치들을 생성한다. 이런 방식으로, 액추에이터들의 동작은 동시에 재생되는 비디오 콘텐츠에 완벽하게 적응된다.

또 다른 실시 형태에 따르면, 시네마토그래픽 효과(cinematographic effect)가 카메라에 적용된 명령들로부터 결정되고, 햅틱 액추에이터 제어 파라미터는 그렇게 결정된 시네마토그래픽 효과로부터 계산된다. 이런 방식으로, 관객에 대한 액추에이터들의 동작은 영화-제작자가 비디오 콘텐츠에서 제공하기를 원한 시네마토그래픽 효과에 잘 적응된다.

또 다른 실시 형태에 따르면, 비디오 콘텐츠와 카메라에 적용된 제어 값들은 시퀀스 중에 비디오 콘텐츠를 재생하고 햅틱 액추에이터들을 제어하기 위한 장치에 전송되며, 햅틱 액추에이터 제어 파라미터들을 계산하기 위한 처리 단계들은 상기 장치에 의해 실행된다. 이런 방식으로, 액추에이터들에 대한 제어 파라미터들은 콘텐츠의 재생에 사용된 설비에 잘 적응된다.

또 다른 실시 형태에 따르면, 비디오 콘텐츠와 햅틱 액추에이터 제어 파라미터들은 비디오 콘텐츠를 재생하고 햅틱 액추에이터들을 제어하기 위한 장치로 전송된다. 이런 방식으로, 액추에이터 제어 파라미터들은 영화-제작자에 의해 한 번만 계산된다.

또 다른 실시 형태에 따르면, 복수의 그룹의 햅틱 액추에이터 제어 파라미터들은 콘텐츠의 각각의 시퀀스와 관련되어 있으며, 각각의 그룹의 파라미터들은 비디오 콘텐츠를 재생하고 특별한 햅틱 액추에이터들을 제어하기 위한 장치와 관련되어 있다. 이런 방식으로, 콘텐츠의 재생에 사용된 설비는 이용 가능한 햅틱 액추에이터들에 따라 제어 파라미터들을 선택한다.

또 다른 실시 형태에 따르면, 시퀀스의 지속 시간은 비디오 콘텐츠의 이미지를 재생하기 위한 지속 시간의 배수이다. 이런 방식으로, 햅틱 제어 파라미터가 계산되는 콘텐츠의 시간 분할은 더 간단하다.

또 다른 실시 형태에 따르면, 액추에이터들은 그 수가 3개이며, 2개의 액추에이터들은 관객에 의해, 각각의 손에 하나씩, 파지되도록 의도되고, 1개의 액추에이터는 상기 관객의 머리를 지지하도록 의도된다. 이런 방식으로, 햅틱 피드백을 가진 비디오를 재생하기 위한 설비는 설치하는 것이 쉽고 상대적으로 값이 싸다.

또 다른 실시 형태에 따르면, 시네마토그래픽 효과가 시퀀스 동안 검출되지 않으면, 이러한 시퀀스와 관련된 햅틱 액추에이터 제어 파라미터들은 이러한 시퀀스의 촬영 동안 카메라에 적용된 제어 값들로부터 계산된다. 이런 방식으로, 관객은 검출 가능한 시네마토그래픽 효과들이 없는 경우에도 햅틱 감각들을 검출한다.

제1 하드웨어 양태에 따르면, 본 개시는 또한 카메라를 사용하여 촬영된 비디오 콘텐츠의 아이템의 적어도 하나의 시퀀스를 재생하기 위한 장치와 관련되고, 상기 장치는 적어도 하나의 시퀀스와 관련된 적어도 하나의 햅틱 액추에이터에 대한 적어도 하나의 제어 파라미터를 계산하기 위해 적어도 하나의 시퀀스의 촬영 동안 카메라에 적용된 명령들을 처리하도록 구성되고 그리고 적어도 하나의 시퀀스의 재생 동안 계산된 적어도 하나의 제어 파라미터를 이용하여 적어도 하나의 햅틱 액추에이터를 제어하도록 구성된 적어도 하나의 프로세서를 포함한다.

특별한 실시 형태에 따르면, 적어도 하나의 프로세서는 카메라에 적용된 명령들로부터 시네마토그래픽 효과를 결정하도록 더 구성되고, 적어도 하나의 햅틱 액추에이터에 대한 제어 파라미터가 상기 결정된 시네마토그래픽 효과로부터 계산된다.

바람직하게는, 적어도 하나의 프로세서는 3개의 햅틱 액추에이터들을 제어하도록 구성되는데, 2개의 액추에이터들은 관객에 의해, 각각의 손에 하나씩, 파지되도록 의도되고, 1개의 액추에이터는 상기 관객의 머리를 지지하도록 의도된다.

또 다른 양태에 따르면, 본 개시는 또한 컴퓨터 프로그램으로서, 이 프로그램이 프로세서에 의해 실행될 때, 상기 설명된 비디오 콘텐츠를 재생하기 위한 방법을 구현하기 위한 명령어들을 포함하는 컴퓨터 프로그램에 관한 것이다.

본 개시의 다른 특성들과 장점들은, 단순한 비-제한적 예로서 제공되고 여기에서 첨부된 도면을 참조하면, 특별한 실시 형태의 다음의 설명을 읽으면 분명히 더 드러날 것이다:
도 1은 본 발명의 특별한 실시 형태에 따른 방법을 구현하기 위한 단계들의 예시적 흐름도를 도시한다.
도 2는 비디오 콘텐츠를 재생하고 햅틱 액추에이터들을 제어하기 위한 예시적 장치의 다이어그램을 도시한다.
도 3a 및 3b는 관객에 의해 점유 및 점유되지 않은 그리고 햅틱 액추에이터들이 장착된 시트의 예를 도시한다.
도 4a 및 4b는 액추에이터들과, 이용 가능한 상이한 자유도의 다이어그램을 도시한다.
도 5는 본 발명의 특별한 실시 형태에 따른 액추에이터들이 장착된 시트에 관객이 앉아 있는 다이어그램을 도시한다.
도 6은 카메라와, 촬영 동안 카메라에 적용될 수 있는 움직임들의 예를 나타낸 다이어그램을 도시한다.
도 7은 카메라가 회전을 수행하는 시퀀스 동안 햅틱 액추에이터의 움직임을 도시한다.
도 8은 본 발명의 특별한 실시 형태에 따른 햅틱 액추에이터들을 제어하도록 구성된 장치를 도시한다.

5.1 일반 원리

본 개시의 일반 원리는 카메라를 사용하여 촬영된 비디오 콘텐츠의 아이템을 재생하기 위한 방법에 있다. 하나 이상의 시퀀스로 구성된 비디오 콘텐츠의 아이템은 촬영 시에 카메라에 적용된 명령들에 의해 개발되고 향상된다. 카메라에 적용된 명령들은 각각의 시퀀스마다 추출되고, 이 시퀀스와 관련된 하나 이상의 햅틱 액추에이터들에 대한 적어도 하나의 제어 파라미터를 계산할 수 있게 한다. 예를 들어, 런던에서의 비주얼 미디어 제작에 관한 회의(Conference on Visual Media Production, CVMP) 동안 2006년 2월에 Thomas G A에 의해 발간된 "Sports Real-Time Camera Pose Estimation for Augmenting Scenes" 제하의 논문에서 설명된 바와 같이, 카메라에 적용된 명령들이 비디오 시퀀스 또는 시퀀스들로부터 추출될 수 없을 때, 이러한 명령들은 비디오 시퀀스 또는 시퀀스들로부터 추정된다. 비디오 콘텐츠의 시퀀스의 재생 시에, 이와 같이 계산된 적어도 하나의 제어 파라미터는 적어도 하나의 햅틱 액추에이터를 제어한다. 이런 방식으로, 관객은 재생 동안 비디오 문서를 관객이 지각하는 것을 향상시킬 수 있게 하는 자극들을 지각한다.

바람직하게는, 향상된 콘텐츠를 재생하는 것이 가능한 플레이어는 카메라에 적용된 명령들로부터 시퀀스들의 세트에 대한 시네마토그래픽 효과를 결정한다. 그리고 나서, 이러한 효과와 관련된 햅틱 메타포(haptic metaphor)는 이러한 시퀀스들의 세트에 적용된다.

5.2 실시 형태의 일반적인 설명

도 1은 한 실시 형태에 따른 방법을 구현하기 위한 단계들의 예시적 흐름도를 도시한다.

처음에, 1.1 단계에서, 비디오 또는 시청각 콘텐츠의 아이템이 촬영된다. 촬영 전반에 걸쳐 카메라에 적용된 명령들이 기록되고, 주어진 이미지들의 시퀀스에 적용된 명령들의 각 그룹은 이러한 시퀀스와 관련된다. 비디오 데이터, 카메라 명령들 및 어쩌면 오디오 데이터로 구성된 콘텐츠는 그것이 재생된 위치로 전송된다(1.2 단계). 1.3 단계에서, 사용자는 콘텐츠의 재생을 시작한다. 재생 동안 그리고 각각의 시퀀스마다, 카메라에 적용된 명령들은 이러한 시퀀스와 관련된 적어도 하나의 햅틱 액추에이터 제어 파라미터를 계산하기 위해서 처리된다(1.4 단계). 부수적으로, 비디오 콘텐츠의 시퀀스가 재생되고(1.5), 그와 같이 계산된 적어도 하나의 제어 파라미터는 이러한 연관된 시퀀스의 재생 동안 적어도 하나의 햅틱 액추에이터를 제어한다(1.6).

1.7 단계에서, 문서의 끝이 테스트된다. 재생될 다른 시퀀스들이 남아 있으면, 프로그램은 1.4 단계로 루프된다.

도 2는 비디오 콘텐츠를 재생하고 햅틱 액추에이터들을 제어하기 위한 장치의 다이어그램을 도시한다. 이러한 장치는 일반적으로, 예를 들어 영화관과 같은, 그러한 콘텐츠 재생 전용 룸에 설치되지만, 본 개시는 또한 햅틱 액추에이터들을 제어하도록 의도된 파라미터들에 의해 향상된 시청각 콘텐츠를 수신하는 가정 설비의 경우를 커버한다. 양호한 실시 형태에 따르면, 그러한 장치는 다음을 포함한다:

향상된 시청각 콘텐츠 플레이어(1); 이러한 플레이어는 DVD 또는 블루-레이 디스크들을 재생할 수 있거나, 또는 그러한 콘텐츠가 다운로드되어 있는 하드 디스크를 포함함,

평면-스크린, 또는 스크린 위에 이미지들을 투사하는 비디오 프로젝터일 수 있는 재생 스크린(2),

적어도 하나의 사운드 재생 수단(3), 일반적으로 룸의 여러 곳에 분산된 라우드스피커들,

스크린(2)에 대향 배치된 적어도 하나의 햅틱 시트(4), 이러한 시트는 2개의 핸드 액추에이터(5)들과 1개의 헤드 액추에이터(6)를 포함함.

플레이어(1)는 비디오 콘텐츠의 데이터를 처리하고, 재생 스크린(2), 스피커(3)들 및 햅틱 시트(4)들의 세트에 전송될 신호들을 계산한다. 데이터의 전송은 이러한 다양한 구성 요소들을 연결하는 케이블들에 의해 또는 전파들에 의해 행해질 수 있다. 본 개시에 따른 햅틱 렌더링은, 콘텐츠의 촬영 동안 카메라에 적용된 명령들을, 햅틱 액추에이터들을 제어하기 위한 제어 파라미터들로 변환하는 것으로 구성된다. 액추에이터들은 관객의 신체의 일부로의 움직임을 야기하여, 촉각을 생성한다. 관객이 보고 들은 것에 의해 제공된 콘텐츠의 지각은, 관객이 그의 신체를 통해 느끼는 것에 의해 향상된다.

도 8은 하나 이상의 비디오 시퀀스들의 재생을 위해 그리고 도 2의 햅틱 장치 또는 장치들의 제어를 위해 구성된 장치(8)의 하드웨어 실시 형태를 도식으로 도시한다. 장치(8)는 예를 들어, 개인용 컴퓨터, 랩톱, 셋톱 박스, 또는 디스플레이 장치에 내장되거나 내장되지 않을 수 있는 이미지 처리 모듈에 상응한다.

장치(8)는, 클럭 신호를 또한 전송하는 어드레스 및 데이터 버스(85)에 의해 서로 접속된 다음과 같은 구성 요소들을 포함한다:

마이크로프로세서(81)(또는 CPU);

예를 들어, 운영 체계 타입의 프로그램(820)을 포함하는 ROM(판독 전용 메모리) 타입의 비휘발성 메모리(82);

랜덤 액세스 메모리(RAM)(83);

예를 들어, 키보드, 마우스, 웹캠과 같은 하나 이상의 I/O(입/출력) 장치(84); 및

전원(86).

메모리(83)의 설명에서 사용된 단어 "레지스터"는 언급된 메모리들 각각마다 낮은 용량(일부 2진 데이터)의 메모리 존은 물론, 큰 용량(전체 프로그램 또는 계산되거나 표시될 데이터를 나타내는 데이터의 전부 또는 일부를 저장할 수 있는)의 메모리 존도 지정한다는 점에 유의한다.

스위치를 켜면, 마이크로프로세서(81)는 RAM(83)에 포함된 프로그램의 명령어들을 로드하여 실행한다.

랜덤 액세스 메모리(83)는 다음을 특히 포함한다:

레지스터(330)에서, 장치(8)의 스위치를 켜는 것을 담당하는 마이크로프로세서(81)의 운영 프로그램;

비디오 시퀀스 또는 시퀀스들의 재생 동안 계산된 햅틱 액추에이터 또는 액추에이터에 대한 제어 파라미터(831).

본 개시에 특유하고 하기에 설명된 방법의 단계들을 구현하는 알고리즘들은 RAM(83)에 저장된다. 변형에 따르면, 장치(8)는 GRAM(그래픽 랜덤 액세스 메모리)과 관련된 하나 이상의 GPU(그래픽 처리 유닛)들을 포함하는 그래픽 카드를 포함하고, 이 경우에 액추에이터 또는 액추에이터들에 대한 제어 파라미터들이 GRAM에 저장된다. 다른 변형에 따르면, 전원(86)은 장치(8)의 외부에 있다.

도 3a 및 3b는 양호한 실시 형태에 따른 햅틱 시트(4)를 나타낸다. 이러한 시트는 시트부와 등받이를 포함한다. 핸드 액추에이터(5)는 관객이 쉽게 그들을 파지할 수 있는 위치에서 시트부의 각 측에 위치한다. "헤드" 액추에이터(6)로 불리는 제3 액추에이터는 머리 받침대의 위치에 위치한다. 헤드 액추에이터(6)는 관객이 그의 머리를 두고 있는 우묵한 부분(hollow)에 초승달의 모양의 쿠션을 포함한다. 시트(4)에 대한 액추에이터들 각각의 위치는, 관객 각자의 신장과 형태(morphology)에 적응되게 조정가능하다. 도 3b는 각각의 손에 액추에이터(5)의 노브를 갖고 있고 관객의 머리를 제3 액추에이터(6)의 쿠션에 두고 있는, 앉아 있는 관객을 도시한다. 도 3a 및 3b는 단지 예로서 언급한 것이고; 액추에이터들은 팔걸이들, 또는 관객이 그의 발을 두는 플레이트들, 또는 관객의 신체의 일부와 접한 임의의 다른 구성 요소를 움직이게 한다.

각각의 햅틱 액추에이터(5 및 6)는 3개의 자유도를 갖는다. 도 4a, 4b 및 4c는 핸드 액추에이터들과, 이용 가능한 상이한 자유도들의 다이어그램을 도시한다. 도 4a에 도시된 액추에이터는 상단을 향해 테이퍼링되는 바디(body)(7)와, 상기 바디의 상단으로부터 돌출하는 수직 샤프트(8)를 포함한다. 수직 샤프트(8)의 상단에는 관객이 파지하게 되어 있는 노브(9)가 있다. 액추에이터는 X, Y 및 Z에 의해 표준 방식으로 표시된 3개의 상호 직각 방향들로 수직 샤프트(8)를 움직이기 위한 수단들을 포함한다. 관객의 위치로부터, 샤프트(8)는 Z 축의 방향으로 이동함으로써 앞뒤로 움직일 수 있고, X 축의 방향으로 이동함으로써 좌우로 움직일 수 있으며, Y 축의 방향으로는 위아래로 움직일 수 있다. 도 4b는 방향 X, Y 및 Z로의 수직 샤프트(8)의 3개의 가능한 변위들을 도시한다. 도 4c는 샤프트(8)와 그것의 노브(9)가 3개의 방향으로 이동하는 예시적 변위를 도시한다. 즉, G_A는 노브의 초기 위치이고 G_A'는 노브의 최종 위치이고; 노브의 변위는 벡터 G_A G_A'에 의해 표시된다. 도 5는 관객이 헤드 액추에이터(6)에 기대어 그의 머리를 위치시키고 2개의 핸드 액추에이터(5)들을 잡고 있는 다이어그램을 도시한다. 프로토타입에서, 헤드 액추에이터들과 핸드 액추에이터들은 구현의 증진된 용이성을 위해 동일한 타입으로 되어 있지만, 움직임에 따른 신체의 부분에 적응되는 특정한 액추에이터들을 이용하는 것이 가능하다.

카메라에 적용된 명령들로부터, 적어도 하나의 햅틱 액추에이터 제어 파라미터를 계산하는 방식이 2개의 변형을 이용하여 이제 상술될 것이다.

5.3 전송된 제어 값들을 이용한 파라미터들의 계산

도 6은 카메라(10)와, 촬영과 비디오 문서의 생성 동안 그 카메라에 적용 가능한 명령들의 옵션들의 다이어그램을 도시한다. 용어 "카메라"는 애니메이션 이미지들을 캡처하기 위한 임의의 장치를 지정하는데, 이러한 캡처 장치는, 예를 들어 이동 전화와 같은, 또 다른 용도로 의도된 장치에 통합될 수 있다. 카메라(10)는 3개의 방향 X, Y 및 Z를 규정하는 직교 좌표계에 위치한다. 도시된 예에 따르면, 카메라는 다음과 같은 7개의 명령들에 의해 제어될 수 있다:

- X 축을 따르는 변위 x(왼쪽으로 또는 오른쪽으로)

- Y 축을 따르는 변위 y(앞쪽으로 또는 뒤쪽으로)

- Z 축을 따르는 변위 z(위쪽으로 또는 아래쪽으로)

- Y 축에 대한 회전각 θ(카메라의 방향)

- X 축에 대한 회전각 φ(카메라의 방향)

- Z 축에 대한 회전각 ψ(카메라의 방향)

- 카메라에 대한 줌 γ 명령.

카메라(10)에 적용된 명령들은 촬영 동안 계속 기록되고 결정된 지속 시간의 시퀀스와 관련된다. 이러한 명령들은 오퍼레이터가 카메라에 수동으로 적용하는 변위들과 회전들을 측정하는 (자이로스코프들과 같은) 변위 센서들로부터의 측정들일 수 있다. 이러한 결정된 지속 시간은 예를 들어, 이미지를 재생하기 위한 시간에 해당한다. 초당 24개의 이미지로 재생된 비디오 콘텐츠의 아이템에 대해서는, 샘플링 시간은 41.66 밀리초이다. 순간 t에서 취해진 각각의 이미지는 카메라에 적용된 제어 값들의 그룹 C(t)과 관련된다:

C(t) = [x_c(t), y_c(t), z_c(t), φ_c(t), θ_c(t), ψ_c(t), γ_c(t)]

카메라에 대한 명령 그룹과 관련된 시퀀스들에 대해 다른 지속 시간을 이용하는 것이 가능하다. 이러한 지속 시간은 적절하게는 비디오 콘텐츠의 이미지를 재생하기 위한 시간의 배수이다. 예를 들어, 지속 시간이 10개의 이미지들을 재생하기 위한 시간(즉, 416.6 밀리초)에 해당하면, 연관된 그룹은 이러한 10개의 이미지들의 촬영 동안 카메라에 적용된 전체 변위와 전체 회전각을 포함한다. 제어 값들의 각각의 그룹 C(t)는 콘텐츠의 시퀀스의 이미지들의 세트와 관련된다. 재생의 목적으로 전송되는 비디오 콘텐츠는 특히, 카메라의 제어 값들의 일련의 그룹들과 관련된 시청각 데이터를 포함한다.

그렇게 향상된 비디오 문서는 재생 위치로 임의의 수단에 의해 전송되고, 그 예가 도 2에 도시된다. 전송은 매체(DVD, 블루-레이, 영화 필름, 기타 등등)를 이용하거나 통신 네트워크를 통한 다운로드를 이용하여 행해진다.

재생 시에, 플레이어(1)는 카메라에 적용된 제어 값들의 그룹 C(t)과 관련된 시퀀스들로 시청각 콘텐츠를 나누며; 시퀀스는 단일 이미지를 포함할 수 있다. 그리고 나서, 플레이어(1)는 이러한 시퀀스와 관련된 적어도 하나의 햅틱 액추에이터 제어 파라미터를 계산한다. 양호한 실시 형태에 따르면, 플레이어는 3개의 자유도를 각각 갖고 있는 3개의 액추에이터를 제어한다. 언제든지, 액추에이터는 액추에이터의 베이스에 대하여 노브의 공간에서의 위치를 표현하는 벡터에 의해 표시될 수 있다. 즉, 주어진 순간 t에서의 노브(9)의 센터의 점 G_A과 다음 순간 t+1에서의 점 G_A'이 주어지면, 주어진 순간에서의 액추에이터 A를 제어하기 위한 명령은 다음과 같은 식을 이용하는 벡터

의 좌표들을 계산하는 것으로 구성된다:

여기서,

벡터

는 이동, 회전, 및 이미지의 줌을 각각 나타낸다.

벡터 는 다음의 식에 의해 정의될 수 있다:

상기 방정식에서 나타날 수 있는 것처럼, 벡터

는 순간 t에서 비디오 콘텐츠의 촬영 동안 카메라에 적용된 3개의 값들 x_c, y_c 및 z_c에 좌우된다. 벡터

는 주어진 순간 t에서 카메라의 3개의 가능한 회전 θ_c, φ_c 및 ψ_c에 좌우되고, 줌 γ_c는 주어진 순간 t에서 순방향(줌 인)으로 또는 역방향(줌 아웃)으로의 이동 F에 해당한다. Rx, Ry 및 Rz는 카메라의 x, y 및 z축들에 대하여 3D 행렬이고, I₃은 R³의 항등 행렬이다.

상기 방정식들은 단지 예로서 주어지며; 이들은 촬영 동안 카메라에 의해 만들어진 움직임에 따라 액추에이터의 움직임을 규정한다. 함수 R를 설명하는 방정식은, 카메라의 회전을 액추에이터의 수직 샤프트에 적용된 이동으로 변형한다는 점에서 특별하다. 이러한 변환은 공간에서의 액추에이터의 위치에 링크된다. 움직임은 각각의 액추에이터마다 다르다.

도 7은 카메라는 회전을 수행하는 시퀀스 동안 햅틱 액추에이터의 움직임을 도시한다. 본 도면에서, 다이어그램은 도 6의 평면도이다(단지 하나의 액추에이터, 오른쪽 하나가 도시된다). 즉, G는 사용자 위에 위치한 점, 예를 들어 사용자의 몸통의 중앙이다. 위치 G'_A는 점 G에 대하여 점 G_A의 회전에 의해 결정된다. 그 다음, 벡터

를 계산하는 것이 가능하다.

예를 들어, 카메라가 Y 축에 대하여 회전 움직임 θ을 수행하면, C에 대한 방정식은 다음과 같이 된다: C(t) = [0, 0, 0, 0, θ(t), 0, 0].

벡터 계산은 다음과 같다:

그 원리는 벡터

을 위한 선행 방정식들에서 모든 회전들에 대하여 일반화된다.

값 k, m 및 s는 각각의 수직 샤프트(8)에 대해 계산된 위치가 액추에이터 내에 그의 작업 공간을 남기지 않는 것을 보장하는 감소 인자들이다.

예를 들어, 카메라가 z = 2m에 수치적으로 일치하는 순방향으로의 2 미터의 움직임을 만든다고 가정하며; 방정식 C는 그리고 나서 다음의 값들을 갖는다.

C(t) = [0, 0, 2, 0, 0, 0, 0 ]

프로토타입에서, 수직 샤프트의 작업 공간은 10cm(0.1m) 입방체에 의해 표시된다. 액추에이터는 축을 따라 -0.05 내지 +0.05 m에서 움직일 수 있다. 그러므로, 카메라 움직임은 0.05 m의 액추에이터의 전방의 변위를 야기한다. 이러한 예에서, Kz = 0.025이고 벡터

의 방정식은 다음과 같다:

이러한 예에서 벡터

와

는 0이고; 햅틱 움직임은 단지 이동에 해당한다.

결정된 기간 동안 동일한 제어 값이 카메라에 적용되면, 이러한 기간은 카메라의 움직임의 최대 진폭이 인자 k를 계산하는데 사용되는 동안 완전한 시퀀스를 구성한다.

다른 인자들 m 및 s는 동일한 방식으로 계산된다.

벡터 T, R 및 F는 각각의 액추에이터의 3개의 자유도를 제어할 수 있게 한다. 예를 들어, 카메라가 오른쪽으로 회전을 수행하면, 오른쪽 액추에이터가 전방으로 움직이며, 왼쪽 액추에이터가 뒤로 움직이고 헤드 액추에이터는 약간 오른쪽으로 선회한다.

플레이어(1)는, 스크린(2)에 비디오 신호들을 전송하고 스피커(3)들에 오디오 신호들을 전송하는 동안, 액추에이터 제어 파라미터들을 계산하고, 실시간으로 이들을 전송한다. 신호(비디오, 오디오 및 햅틱 제어 파라미터들)들의 세트는, 액추에이터들에 의해 생성된 움직임들이 상기 연관된 시퀀스의 이미지들과 사운드들에 해당하도록 동시에 전송된다.

5.4 시네마토그래픽 효과들을 결정하는 것에 의한 파라미터들의 연산

본 개시의 변형 실시 형태는 이러한 시퀀스 동안 그리고 이러한 효과에 해당하는 제어 파라미터들을 다양한 햅틱 액추에이터들에의 적용 시에 시네마토그래픽 효과를 결정하기 위해서 시퀀스 또는 시퀀스 그룹 동안 카메라에 적용된 명령들을 분석하는 것으로 구성된다.

촬영 동안 카메라에 적용된 명령들을 분석함으로써 검출될 수 있는 시네마토그래픽 효과들의 리스트의 예가 여기에 있다:

● "아크 샷".

이러한 효과는, 장면에서 이러한 등장인물들을 강조하기 위해 등장인물들의 주위를 회전하는 것으로 구성된다. 햅틱 메타포는 관객이 집중하고 있는 인상을 주기 위해서 2개의 핸드 액추에이터들의 노브들을 서로를 향해 움직이는 것으로 구성된다.

● "크레인 샷".

이러한 효과는 카메라를 장면 위로 올리는 동안 (밖으로 추적하는 크레인 샷을 위해) 카메라를 뒤로 움직이는 것으로 이루어지고; 이러한 효과는 뒤로 움직이고 촬영된 대상 위로 날아오르는 느낌을 주기 위해 종종 영화의 끝에서 이용된다. 햅틱 메타포는 관객이 날아오르게 할 수 있게 하는 날개 운동을 모의 실험하기 위해 액추에이터들에 작은 틸팅 운동(tilting movements)들을 적용하는 것으로 구성된다.

● "더치 앵글(약간 왼쪽으로 기울여진 이미지)".

이러한 효과는 비정상적 방식으로 등장인물을 보고 그를 혼란스럽게 보이게 하기 위해 약간 왼쪽으로 카메라를 기울이는 동안 장면을 촬영하는 것으로 구성된다. 햅틱 메타포는 관객을 불안정하게 하고 그에게 불안정한 느낌을 주기 위해서 교대로 왼쪽으로부터 오른쪽으로 핸드 액추에이터들의 노브들을 흔드는 것으로 구성된다.

● "트레블링 샷".

이러한 효과는 풍경을 보여주거나 움직이는 등장인물을 따르기 위해서, 측면 변위를 수행하는 것으로 구성된다. 햅틱 메타포는, 크랩와이즈 전진(crabwise advance)을 흉내내는, 즉 신속하게 오른쪽 손을 멀리 이동시킨 다음, 신속하게 왼쪽 손을 멀리 이동시키면서 원래 위치로 오른쪽 손을 천천히 되돌리고, 그런 다음, 신속하게 오른쪽 손을 멀리 이동시키면서 왼쪽 손을 천천히 뒤로 이동시키고, 등으로 이루어진다.

● "틸트 샷".

이러한 효과는 위쪽 또는 아래쪽 어느 한쪽으로부터 등장인물을 촬영하는 것으로 구성된다. 틸트-다운 샷은 왜화 효과(dwarfing effect)를 야기한다. 이는, 다른 것들 중에서, 등장인물의 관점을 나타내기 위해 또는 샷에서 상세하게 주제를 복원하기 위해, 이용될 수 있다. 틸트-업 샷은 샷에서 주제의 중요성을 증가시키고 관객에게 왜소한 인상을 주는데 사용될 수 있다. 주제에 따르면, 틸트-업 샷은 "자연적" 관점과 관련될 수 있다: 에펠탑이 틸트-업 샷들을 이용하여 촬영되면, 인간적 척도 관점(human-scale point of view)이 채택된다. 햅틱 메타포는 3개의 액추에이터를 아래쪽으로 옮기고, 손들과 머리가 앞쪽으로 경사지는 것으로 구성된다.

● "버티고 샷".

이러한 효과는 소위, 알프레드 히치콕의 영화 "현기증"에 사용된 것과 같은 효과이다. 이러한 효과는 관객에게 현기증의 느낌을 주는 것으로 구성된다. 카메라는 주밍 아웃하는 동안 전방으로 움직이고, 이미지의 중심에서 촬영된 대상은 그것을 둘러싼 것과 달리 거의 외양을 바꾸지 않는다. 햅틱 메타포는 장면이 개방되는 이상한 느낌을 관객에게 별도로 주는 노브들의 움직임으로 이루어진다.

● "줌".

이러한 효과는 표준 줌-인 샷이다. 햅틱 메타포는 2개의 핸드 액추에이터의 노브들을 교대로 전방으로 이동시킴으로써 워킹을 모방하는 것으로 구성된다.

비디오 콘텐츠의 각각의 시퀀스마다, 플레이어는 최대 하나의 시네마토그래픽 효과를 검출한다. 동일한 효과가 몇몇 연속적인 시퀀스들에 존재하면, 이러한 시퀀스들은 한 셋트에서 함께 그룹으로 만들어지고, 플레이어는 이러한 시퀀스들의 세트의 재생 동안, 이러한 시네마토그래픽 효과와 관련된 햅틱 메타포에 해당하는 액추에이터 제어 파라미터를 전송한다.

개선점에 따라, 시네마토그래픽 효과가 시퀀스 동안 검출되지 않으면, 프로그램은 제1 변형들에서 설명된 방정식들을 적용하고, 이러한 시퀀스의 촬영 동안 카메라에 적용된 명령들을 직접적으로 사용함으로써 이러한 시퀀스와 관련된 햅틱 액추에이터 제어 파라미터들을 계산한다.

개선점에 따라, 플레이어(1)는 관객을 위한 시네마토그래픽 효과의 진폭을 검출하고, 진폭으로 햅틱 메타포를 생성하는 파라미터들의 값을 가중하고, 움직임이 주기적이면, 움직임의 빈도가 관객에 적용된다.

시네마토그래픽 효과의 진폭은 촬영 동안 카메라를 조절하기 위해 적용된 제어 값들로부터 추론될 수 있다. 예를 들어, 다음에 상당하는 틸트-업 효과(X 축에 대한 회전 θ)를 갖는다:

C(t) = [0, 0, 0, θ(t), 0, 0, 0]

틸트-업 앵글은 시네마토그래픽 효과의 진폭을 결정하고, 이러한 진폭은 햅틱 렌더링 명령에 대한 계수가 된다. 효과 C1은

인 경우 효과 C2보다 더 크게 된다.

그 다음, 이러한 정보는 시네마토그래픽 효과의 파워를 변조하는데 사용될 수 있다.

또 다른 예에 따르면, 다음과 같은 명령은 틸트-업의 햅틱 렌더링, 즉 벡터를 결정하기 위해서 관련되어 있다:

(회전각이 Y 축을 따라 액추에이터 A를 움직인다),

이 경우에, C1을 위한 햅틱 효과는 자동적으로 C2를 위한 것보다 더 클 것이다.

이전에 설명된 2개의 변형에 적용된 개선점에 따르면, 콘텐츠 제공자는 미리 액추에이터 제어 파라미터들을 계산하고, 이들을 비디오 콘텐츠의 시퀀스들과 연관시킨다. 이런 방식으로, 계산은 단지 1회만 수행되고, 콘텐츠를 재생하는 것을 담당하는 플레이어(1)들은 이러한 처리를 수행할 필요가 없다. 콘텐츠 제공자가 재생 동안 이용된 액추에이터들의 특성들과 관객들에 대한 그들의 위치들을 알면 이러한 개선점이 이용될 수 있다. 향상된 콘텐츠의 아이템의 재생 전용 룸들이 상이한 액추에이터 모델들을 갖고 있다면, 비디오 문서는 액추에이터 제어 파라미터들의 상이한 세트들을 포함할 수 있고, 플레이어는 재생 동안 의도된 것을 검색한다.

본 개시가 특별히 예시된 실시 형태들에 관하여 기술되었지만, 본 개시는 이러한 실시 형태들에 제한되는 것이 아니라, 단지 첨부된 청구항들에 의해서만 제한된다. 이전에 설명된 실시 형태들에 대한 변화들 또는 수정들이 본 개시의 틀을 벗어나지 않고, 전문적인 사람들에 의해 기여될 수 있다는 것이 주목되어야 한다.

이전에 설명된 실시 형태들은 예를 들어, 방법 또는 프로세스, 장치, 소프트웨어 프로그램, 데이터 스트림 또는 신호 내에서 구현된다. 설명된 내삽법을 구현하는 디바이스 또는 장치는 프로그램가능 또는 프로그램 가능하지 않은, 예를 들어 하드웨어 구성 요소들의 형태로, (바람직하게는, GPU 타입의 그러나 또한 변형에 따른 CPU 또는 ARM 타입의) 하나 이상의 프로세서들의 형태로 되어 있다. 설명된 방법들은 예를 들어, 컴퓨터, 마이크로프로세서, 집적 회로 또는 프로그램가능 소프트웨어 장치를 포함하는, 일반적으로 처리 장치들을 지칭하는, 적어도 하나의 프로세서를 포함하는 장치에서 구현된다. 프로세서들은 또한, 예를 들어 컴퓨터들, 모바일 또는 셀룰러 전화들, 스마트폰들, 휴대용/개인용 디지털 단말기들(PDAs), 디지털 태블릿 또는 사용자 간 정보 통신을 가능하게 하는 임의의 다른 장치와 같은, 통신 장치들을 포함한다.

이전에 설명된 각종 처리의 실시 형태들과 다양한 특성들은, 각종 장비나 애플리케이션에서, 예를 들면 특히 데이터의 부호화, 데이터의 복호화, 뷰 또는 이미지의 생성, 텍스처 처리, 및 텍스처를 나타내는 이미지 또는 정보 및/또는 깊이를 나타내는 정보의 임의의 다른 처리와 연관된 장비 또는 애플리케이션의 아이템에서, 구현될 수 있다.

그와 같은 장비의 아이템의 예로는, 인코더, 디코더, 디코더로부터의 출력을 처리하는 포스트-프로세서, 인코더에 입력을 제공하는 프리프로세서, 비디오 코더, 비디오 디코더, 비디오 코덱, 웹 서버, 셋톱 박스, 랩톱, 개인용 컴퓨터, 모바일 폰, PDA, 디지털 캐블릿 및 기타 다른 통신 장치가 있다. 장비의 아이템은 모바일이거나 또는 이동 차량에 탑재되어 있을 수 있다.

또한, 설명된 방법들은 하나 이상의 프로세서들에 의해 실행된 명령어들의 형태로 구현될 수 있고, 그와 같은 명령어들은 예를 들어, 집적 회로, 하드 디스크, 광 디스크(CD 또는 DVD), 랜덤 액세스 메모리(RAM) 또는 비휘발성 메모리(ROM)와 같은 임의의 저장 장치와 같은, 프로세서 또는 컴퓨터에 의해 판독될 수 있는 매체에 저장될 수 있다. 명령어들은 예를 들어, 프로세서-판독가능 매체에 저장된 애플리케이션 프로그램을 형성한다. 명령어들은 예를 들어, 하드웨어, 펌웨어 또는 소프트웨어의 형태를 취한다.

Claims (14)

1. 카메라(10)를 이용하여 촬영된 비디오 콘텐츠의 적어도 하나의 시퀀스를 재생하는 방법으로서,
   상기 적어도 하나의 시퀀스의 촬영 동안 상기 카메라에 적용된 적어도 하나의 명령으로부터 상기 적어도 하나의 시퀀스와 관련된 적어도 하나의 햅틱 액추에이터(5, 6)의 적어도 하나의 제어 파라미터를 계산하는 단계, 및
   상기 적어도 하나의 시퀀스의 재생(1.5) 동안, 상기 적어도 하나의 계산된 제어 파라미터를 이용하여 상기 적어도 하나의 햅틱 액추에이터(5, 6)를 제어(1.6)하는 단계를 포함하는 것을 특징으로 하는 방법.
2. 제1항에 있어서, 상기 카메라에 적용된 상기 적어도 하나의 명령은 상기 카메라와 관련된 적어도 하나의 움직임 센서를 사용하여 측정되는, 방법.
3. 제1항 또는 제2항에 있어서, 상기 적어도 하나의 명령은 명령그룹에 속하고, 상기 명령 그룹은,
   상기 카메라에 의해 촬영된 장면과 관련된 좌표계의 적어도 하나의 축을 따르는 변위를 위한 명령;
   상기 카메라에 의해 촬영된 장면과 관련된 좌표계의 적어도 하나의 축에 대한 회전을 위한 명령; 및
   상기 카메라를 위한 줌 명령을 포함하는, 방법.
4. 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 카메라에 적용된 상기 명령들의 수치들은 상기 적어도 하나의 햅틱 액추에이터(5, 6)를 제어하는 수치들을 생성하는, 방법.
5. 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 카메라(10)에 적용된 상기 명령들로부터 시네마토그래픽 효과를 결정하는 단계를 더 포함하고, 상기 적어도 하나의 햅틱 액추에이터(5, 6)의 상기 제어 파라미터들이 상기 결정된 시네마토그래픽 효과로부터 계산되는, 방법.
6. 제1항 내지 제5항 중 어느 한 항에 있어서, 상기 비디오 콘텐츠와 상기 적어도 하나의 시퀀스 동안 상기 카메라(10)에 적용된 상기 제어 값들을 비디오 콘텐츠를 재생하기 위한 장치에 전송하고 상기 적어도 하나의 햅틱 액추에이터를 제어하는 단계를 더 포함하고, 상기 적어도 하나의 햅틱 액추에이터에 대한 상기 제어 파라미터들을 계산하기 위한 처리의 단계는 상기 장치에 의해 실행되는, 방법.
7. 제1항 내지 제5항 중 어느 한 항에 있어서, 상기 비디오 콘텐츠와 상기 적어도 하나의 햅틱 액추에이터에 대한 상기 제어 파라미터들을 비디오 콘텐츠를 재생하기 위한 장치에 전송하고 상기 적어도 하나의 햅틱 액추에이터를 제어하는 단계를 더 포함하는, 방법.
8. 제7항에 있어서, 상기 적어도 하나의 햅틱 액추에이터에 대한 복수의 그룹의 제어 파라미터들이 상기 적어도 하나의 시퀀스와 관련되어 있고, 상기 각 그룹의 파라미터들이 비디오 콘텐츠를 재생하고 특별한 햅틱 액추에이터들을 제어하기 위한 장치와 관련되어 있는, 방법.
9. 제1항 내지 제8항 중 어느 한 항에 있어서, 상기 액추에이터들의 수가 3개이고, 2개의 액추에이터들은 관객에 의해, 각각의 손에 하나씩, 파지되도록 의도되고, 1개의 액추에이터는 상기 관객의 머리를 지지하도록 의도되는, 방법.
10. 제5항에 종속하는 상기 청구항들 중 어느 한 항에 있어서, 시네마토그래픽 효과가 시퀀스 동안 검출되지 않으면, 상기 적어도 하나의 시퀀스와 관련된 상기 적어도 하나의 햅틱 액추에이터에 대한 상기 제어 파라미터들이 상기 적어도 하나의 시퀀스의 촬영 동안 상기 카메라에 적용된 상기 제어 값들로부터 계산되는, 방법.
11. 카메라(10)를 이용하여 촬영된 비디오 콘텐츠의 적어도 하나의 시퀀스를 재생하기 위해 구성된 장치(1)로서, 상기 장치는 적어도 하나의 프로세서를 포함하고, 상기 프로세서는,
    상기 적어도 하나의 시퀀스의 촬영 동안 상기 카메라에 적용된 적어도 하나의 명령으로부터 상기 적어도 하나의 시퀀스와 관련된 적어도 하나의 햅틱 액추에이터에 대한 적어도 하나의 제어 파라미터를 계산하고,
    상기 적어도 하나의 시퀀스의 재생 동안 계산된 상기 적어도 하나의 제어 파라미터를 이용하여 상기 적어도 하나의 햅틱 액추에이터를 제어하도록 구성되는 것을 특징으로 하는 장치.
12. 제11항에 있어서, 상기 적어도 하나의 프로세서는 상기 카메라(10)에 적용된 명령들로부터 시네마토그래픽 효과를 결정하도록 더 구성되고, 상기 적어도 하나의 햅틱 액추에이터에 대한 상기 제어 파라미터가 상기 결정된 시네마토그래픽 효과로부터 계산되는, 장치.
13. 제11항 또는 제12항에 있어서, 상기 적어도 하나의 프로세서는 3개의 햅틱 액추에이터들을 제어하도록 구성되고, 2개의 액추에이터들은 관객에 의해, 각각의 손에 하나씩, 파지되도록 의도되고, 1개의 액추에이터는 상기 관객의 머리를 지지하도록 의도되는, 장치.
14. 컴퓨터 프로그램 제품으로서, 프로그램이 프로세서에 의해 실행될 때, 제1항 내지 제10항 중 어느 한 항에 따른 방법을 구현하기 위한 명령어들을 포함하는, 컴퓨터 프로그램 제품.

Images