KR102176598B1

KR102176598B1 - 비디오 데이터를 위한 궤적 데이터 생성 방법

Info

Publication number: KR102176598B1
Application number: KR1020167027343A
Authority: KR
Inventors: 올라 쏘른; 파-안데르스 아론손
Original assignee: 소니 가부시키가이샤
Priority date: 2014-03-20
Filing date: 2014-03-20
Publication date: 2020-11-09
Also published as: EP3120218B1; US20170109587A1; WO2015140598A1; KR20160136336A; JP6265299B2; CN106104418A; JP2017510922A; EP3120218A1; US9760779B2; CN106104418B

Abstract

본 발명은 비디오 데이터를 위한 궤적 데이터 생성 방법에 관한 것이다. 상기 방법에 따르면, 이동하는 시각 이미지들을 보는 뷰어(10)의 안구(11)의 안구 이동이 캡쳐 디바이스(14)로 캡쳐된다. 궤적 데이터(32)는 안구 이동에 기반하여 처리 디바이스(15)로 자동으로 결정되고, 상기 궤적 데이터(32)는 상기 이동하는 시각 이미지들을 포함하는 비디오 데이터에 자동으로 할당된다.

Description

비디오 데이터를 위한 궤적 데이터 생성 방법{GENERATING TRAJECTORY DATA FOR VIDEO DATA}

본 발명은 비디오 데이터를 위한 궤적 데이터(trajectory data) 생성 방법에 관한 것이다. 특히, 본 발명은 시선 추적(gaze tracking)에 기반하여 궤적 데이터를 생성함으로써, 이미지 처리(image processing)에서의 계산 수고(computational effort)를 피할 수 있는 궤적 데이터 생성 방법에 관한 것이다. 게다가, 본 발명은 상기 방법을 수행하는 사용자 장비(예를 들어, 모바일 전화)에 관한 것이다.

많은 애플리케이션들(applications)에서, 비디오 정보 내 객체(object)의 이동(movement), 소위 객체의 궤적을 결정(determine)하는 것은 유용하거나 필요할 수 있다. 예를 들어, 비디오의 가장 일반적인 시간-기반 재생 조절에 대한 대안으로서 직접적인 객체 조작(manipulation)은, 사용자가 비디오 내 네비게이션(navigation)을 위하여 비디오 내에서 객체의 이동을 직접적으로 조절하는데 사용될 수 있다. 예를 들어, 사용자는 객체의 모션(motion) 궤적을 따라 객체를 추적할 수 있고, 그 추적 이동(track movement)의 속도는 재생 속도를 결정한다. 이러한 직접적인 객체 기반 재생 조절은 사용자를 위해 여러 가지 결과물들을 가질 수 있는데, 예를 들어 사용자는 장면(scene) 내 이동들에 대해 직접적인 조절을 할 수 있고, 관심 객체(object of interest)가 이동하지 않는 비디오 중 상당 부분들을 사용자로 하여금 스킵할 수 있도록 해준다. 이와 같은 직접적인 객체 조작을 실현하기 위해서는, 객체가 비디오의 서로 다른 프레임들 내에서 어디에 배치되거나 위치되는지를 알 필요가 있다. 예를 들어, 소위 옵틱 플로우 알고리즘(optic flow algorithm)과 같이, 많은 다양한 객체 추적 알고리즘들이 존재한다. 게다가, 예를 들어 모션 예측, 컬러 매칭(color matching), 형상 매칭(form matching) 등을 사용하여, 객체가 가림(occlusion)이 존재하는 곳에서 어디에 배치되는지를 산출하거나 추측하기 위해 많은 알고리즘들이 존재한다. 그러나 비디오 데이터의 이미지 처리에 기반한 객체 추적 알고리즘들은 상당한 양의 처리 전력을 요구하거나 많은 처리 시간을 요구할 수 있다. 게다가, 상술한 직접적인 객체 조작과 관련하여 만족스런 사용자 경험을 방해할 수 있는 기술적 문제점들이 존재할 수 있다. 예를 들어, 이러한 문제점들 중 하나는 객체 및 객체의 모션 경로가 때때로 다른 객체들에 의해 가려지는 경우이다.

예를 들어, 사용자가 축구 경기의 비디오를 시청할 때, 사용자는 직접적인 객체 조작을 사용하여 비디오 내에서 네비게이션하기를 원할 수 있으며, 이에 따라 어떤 선수나 공을 해당 모션 궤적을 따라 추적할 수 있다. 예를 들어, 비디오는, 달리면서 공을 드리블하는 특정 축구 선수와, 그 공을 잡으려는 여러 다른 축구 선수들을 보여줄 수 있다. 이 경우에, 다른 축구 선수들은 특정 축구 선수와 공을 부분적으로 가릴 수 있어서, 특정 축구 선수와 공의 위치를 높은 신뢰도로 자동 산출하는 것을 어렵게 한다. 그 결과 특정 축구 선수 및/또는 공의 경로가 여러 작은 경로들로 잘리거나, 경로 추적을 어느 순간 놓칠 수 있다. 또 다른 문제는 관련 없는 서로 다른 두 경로가 부정확한 객체 추적으로 인해 잘못 합쳐질 수 있다는 점이다. 또 다른 문제는 많은 객체 경로들이 존재할 때 유발될 수 있다. 예를 들어, 비디오는 다수의 마라톤 선수들을 포함하고, 사용자는 특정 선수를 직접적으로 조작, 예를 들어 비디오 데이터가 재생되는 터치 감지식(touch-sensitive) 디스플레이를 사용하여 선수의 얼굴을 추적함으로써 비디오 재생을 조절하기를 원한다. 그러나 비디오 내에는 많은 이동이 있고, 많은 선수들이 있다. 레졸루션(resolution) 및 선수들까지의 거리는 각 선수의 경로 결정을 위하여 얼굴 인식 알고리즘(face recognition algorithm)의 사용을 어렵게 할 수 있다.

따라서, 비디오 데이터 내 모션 궤적을 결정하기 위한 개선된 방법이 필요하다.

본 발명에 따르면, 이러한 목적은 청구항 1에 정의된 비디오 데이터를 위한 궤적 데이터 생성 방법 및 청구항 10에 정의된 사용자 장비에 의해 달성된다. 종속항들은 본 발명의 바람직하고 유리한 실시예들을 정의한다.

본 발명의 일 양상에 따르면, 비디오 데이터를 위한 궤적 데이터 생성 방법이 제공된다. 상기 방법에 따르면, 이동하는 시각 이미지(moving visual image)들을 보는 뷰어(viwer)의 안구(eye)의 안구 이동(eye movement)이 캡쳐 디바이스(capturing device)로 캡쳐된다. 캡쳐 디바이스는 이동하는 시각 이미지들이 뷰어가 볼 수 있도록 디스플레이되는 디스플레이 디바이스에 인접 배치되는 예를 들어 카메라를 포함할 수 있다. 상기 안구 이동에 기반하여, 궤적 데이터가, 상기 캡쳐 디바이스로 캡쳐된 안구 이동의 이미지들을 평가하는 처리 디바이스(processing device)로 자동으로 결정된다. 처리 디바이스는 궤적 데이터를 상기 이동하는 시각 이미지들을 포함하는 비디오 데이터에 자동으로 할당(assign)한다. 구체적으로, 상기 궤적 데이터는 상기 비디오 데이터의 메타 데이터(metadata)에 자동으로 할당될 수 있다. 상기 궤적 데이터는 예를 들어 시간에 따른 다수의 위치 정보를 포함할 수 있고, 각 위치 정보는 상기 이동하는 시각 이미지들에 의해 나타나는 이동하는 객체의 위치와 관련될 수 있다. 즉, 뷰어의 안구 이동 또는 뷰어의 시선은 궤적 데이터를 결정하기 위해 분석된다. 상기 궤적 데이터는 메타 데이터로 레코딩(recording)되며, 뷰어가 비디오 데이터를 보는 중에 관심 있는 객체들 및 경로들을 찾는 데에 사용될 수 있다.

인간은 예를 들어 객체 가림(object occlusion)을 포함하는 복잡한 상황들에서도 객체들을 따라갈 때 놀라운 정확도를 갖는다. 따라서, 비디오 데이터에 나타나는 객체들의 경로를 안구 이동으로부터 높은 정확도로 도출(derive)해낼 수 있다.

원칙적으로, 인간에 의해 수행되는 두 종류의 구별되는 안구 이동들이 있다. 첫 번째 종류는 단속성(saccade)이라 불리는 것으로서, 안구는 한 지점에서 다른 지점까지 작은 점프로 이동하고 각 지점에서 정지한다. 점프하는 중에, 안구는 기본적으로 블라인드(blind) 상태이며, 비록 이것을 경험하지는 않더라도, 놓친 프레임들이나 이미지들은 뇌를 상응하는 중간(intermediate) 프레임들이나 이미지들로 만든다. 그러고 나서 안구가 어떤 위치에 정지하면, 새로운 프레임들이나 이미지들을 받아들인다. 다른 종류의 안구 이동은 원활 추종(smooth pursuit)이라 불리는 것으로서, 안구는 모션 중인 객체를 따라 원활하고 계속적인(continuous) 궤적으로 이동한다. 궤적 데이터 생성에 안구 이동을 사용함으로써, 비디오 데이터의 이미지 처리에 기반한 객체 추적 알고리즘의 사용을 피할 수 있다. 원활 추종은 자발적으로 유발(trigger)될 수는 없기 때문에, 뷰어가 따라갈 객체를 갖거나, 그 이동 경로의 일부가 가려질 수 있는 객체를 뷰어가 따라가고 있을 것이 요구된다. 따라서, 예를 들어 원활 추종이 감지되면, 시선 경로는 가림 처리(occlusion handling)가 되는 객체를 잠재적으로 추적할 수 있으므로, 비디오 데이터 내에서 이동하는 객체의 궤적 데이터를 정확하게 묘사(describe)해낼 수 있다. 결과적으로, 계산상 많은 비용이 드는 객체 추적 알고리즘을 수행할 필요가 없다. 이것은 특히 고화질 비디오의 관점에서 유리할 수 있다.

일 실시예에 따르면, 비디오 데이터의 재생 중에 사용자에 의해 가이딩(guiding)되는 포인팅 디바이스(pointing device)의 적어도 제1 위치 정보 및 제2 위치 정보가 결정된다. 각 위치 정보는 이동하는 시각 이미지들 내 해당 위치(corresponding position)를 나타낸다. 상기 결정된 제1 및 제2 위치 정보는 궤적 데이터의 다수의 위치 정보와 비교된다. 비디오 데이터를 재생하는 애플리케이션의 파라미터는 상기 비교에 기반하여 조절된다. 예를 들어, 비디오 데이터를 재생하는 재생 속도는 상기 비교에 기반하여 조정(adapt)될 수 있다. 즉, 비디오 데이터를 시청하는 사용자는 비디오 재생 중에 예를 들어 손가락 또는 다른 포인팅 디바이스로 터치 감지식 디스플레이 상의 경로를 특정(specify)할 수 있다. 적어도 제1 및 제2 위치를 포함하는 상기 특정된 경로는 비디오 데이터와 함께 메타 데이터로 저장된 궤적 데이터와 비교된다. 상기 특정된 경로와 매칭되는 궤적 데이터가 발견되면, 상기 궤적을 따라 터치 감지식 디스플레이를 터치하는 사용자에 의해 비디오 재생 또는 비디오 데이터를 재생하는 애플리케이션의 다른 기능이 조절될 수 있다.

다른 실시예에 따르면, 사용자에 의해 가이딩되는 포인팅 디바이스의 적어도 제1 위치 정보 및 제2 위치 정보가 비디오 데이터의 재생 중에 결정된다. 각 위치 정보는 이동하는 시각 이미지들 내 해당 위치를 나타낸다. 상기 결정된 적어도 제1 및 제2 위치 정보는 궤적 데이터의 다수의 위치 정보와 비교된다. 상기 비교에 기반하여, 이동하는 시각 이미지들 내 객체가 결정된다. 어떤 객체를 가리키는 사용자로부터 결정된 적어도 제1 및 제2 위치 정보는, 예를 들어 상기 객체가 비디오 데이터의 다음 이미지들에서 만들게 될 경로의 작은 부분(small part)을 포함할 수 있다. 상기 객체의 경로의 이러한 작은 부분을, 비디오 데이터를 보는 다른 사용자들의 안구 이동들에 기반하여 메타 데이터로서 미리(previously) 저장된 궤적 데이터와 비교함으로써, 상기 객체의 궤적이 결정될 수 있다. 이러한 정보는 이동하는 시각 이미지들 내에서 객체를 식별하는데 사용될 수 있다. 따라서, 상술한 방법은 종래의 이미지 기반 객체 감지 알고리즘(image-based object detection algorithm)과 결합하여 사용될 수 있고, 식별될 객체의 궤적을 제공함으로써 종래의 이미지 기반 객체 감지를 서포트(support)할 수 있다. 이것은 특히 식별될 객체가 이의 외관(look)을 변화시키는 경우에 도움이 될 수 있다. 예를 들어, 이동하는 객체가 날아가는 새라고 하자. 비디오 데이터에 할당된 궤적 데이터는 비디오를 보는 뷰어의 안구 이동에 기반한다. 인간에게 있어서, 날개가 퍼덕이고 새의 외관이 갑자기 변하더라도 새를 따라가는 것은 쉬운 일이다. 그러나 이미지 기반 추적 알고리즘은 이동하는 객체의 변화하는 외관 때문에 문제에 부딪칠 수 있다. 이미지 기반 추적 알고리즘을 안구 이동에 기반한 궤적 데이터와 결합함으로써, 보다 신뢰성 있는 객체 추적이 이루어질 수 있다.

다른 실시예에 따르면, 이동하는 시각 이미지들 내 객체의 위치는, 이동하는 시각 이미지들의 종래의 이미지 처리에 의해 결정될 수 있다. 객체의 위치는 궤적 데이터의 다수의 위치 정보와 비교되고, 객체의 궤적은 상기 비교에 기반하여 결정된다. 그러므로 이동하는 시각 이미지들 내에 있는 객체의 이동을 결정하기 위하여 종래의 이미지 처리는 안구 이동에 기반한 궤적 데이터와 결합될 수 있다. 종래의 이미지 처리는 객체 및 상기 객체의 이동 시작점(starting point)을 결정하기 위해 사용된다. 그러고 나서 상기 시작점에 기반하여 상기 궤적 데이터가 상기 결정된 객체의 궤적을 딜리버리(delivery)할 수 있다.

다른 실시예에 따르면, 다수의 안구 이동들이 결정되고, 상기 다수의 안구 이동들 각각에 대해 상기 안구 이동이 원활 추종 안구 이동인지 단속적 안구 이동인지가 결정된다. 안구 이동이 단속적 안구 이동인 경우, 각 단속적 안구 이동에 대해, 해당(corresponding) 단속적 안구 이동의 정지 위치에 위치하는 객체가 결정되고, 상기 다수의 단속적 안구 이동들 및 상기 정지 위치에 있는 관련된(related) 객체들에 기반하여 궤적 데이터가 결정된다. 그러므로 뷰어가 비디오 데이터를 보는 중에 관심없던 배경 정보는 관심 객체들과 쉽게 구별될 수 있다. 따라서, 상기 단속적 안구 이동들의 정지 위치에 있는 관심 객체들만이 그 관심 객체들의 궤적 데이터를 결정하기 위해 더 처리될 수 있다. 안구 이동이 원활 추종 안구 이동인 경우, 궤적 데이터는 상기 원활 추종 안구 이동의 계속적인 이동의 궤적 데이터에 기반하여 직접적으로 결정될 수 있다.

다른 실시예에 따르면, 이동하는 시각 이미지들을 생성하기 위하여 어떤 환경(environment) 내 장면이 제1 캡쳐 디바이스로 캡쳐된다. 이동하는 시각 이미지들은 캡쳐 중에 디스플레이 디바이스 상에 디스플레이되며, 이동하는 시각 이미지들을 보는 뷰어의 안구의 안구 이동은 상기 디스플레이 디바이스에 인접 배치된 제2 캡쳐 디바이스로 캡쳐된다. 비디오 데이터는 상기 캡쳐된 이동하는 시각 이미지들에 기반하여 생성되고, 궤적 데이터는 상기 안구 이동에 기반하여 결정되어 상기 비디오 데이터에 할당된다. 즉, 비디오 데이터를 레코딩하는 중에 미리 궤적 데이터가 자동 결정되어 비디오 데이터에 할당될 수 있다. 예를 들어, 비디오 카메라 또는 카메라를 포함하는 모바일 폰의 사용자가 예를 들어 축구 게임과 같은 장면을 캡쳐할 때, 상기 장면을 레코딩하는 중에 사용자는 비디오 카메라 또는 모바일 폰의 디스플레이 상의 장면을 시청할 수 있다. 사용자의 안구 이동들을 감지하고 캡쳐하도록 디스플레이 디바이스에 인접 배치된 제2 캡쳐 디바이스는 안구 이동들을 캡쳐하기 위해 사용되며, 상기 안구 이동들에 기반하여 궤적 데이터가 직접적으로 도출되어 비디오 데이터와 함께 저장될 수 있다.

다른 실시예에 따르면, 상기 레코딩된 비디오 데이터의 이동하는 시각 이미지들은 디스플레이 디바이스 상에 디스플레이되고, 뷰어의 안구의 안구 이동은 뷰어가 상기 시각 이미지들을 보는 동안 디스플레이 디바이스에 인접 배치된 캡쳐 디바이스로 캡쳐된다. 이 경우, 이미 레코딩된 비디오 데이터가 디스플레이 디바이스 상에서 재생되고, 뷰어는 그 비디오를 시청한다. 비디오 시청 중에, 캡쳐 디바이스는 뷰어의 각 안구 이동을 캡쳐하고, 안구 이동들에 기반하여 궤적 데이터가 도출되어 메타 데이터로서 시각 데이터에 할당될 수 있다. 따라서, 더 많은 뷰어들이 비디오 데이터를 볼수록, 궤적 데이터의 양이 증가될 수 있다.

본 발명의 또 다른 양상에 따르면, 사용자 장비가 제공된다. 사용자 장비는 이동하는 시각 이미지들을 디스플레이하는 디스플레이 디바이스 및 상기 디스플레이 디바이스 상에서 이동하는 시각 이미지들을 보는 뷰어의 안구의 안구 이동을 캡쳐하는 캡쳐 디바이스를 포함한다. 바람직하게는, 캡쳐 디바이스는 디스플레이 디바이스에 인접 배치된다. 사용자 장비는 디스플레이 디바이스 및 캡쳐 디바이스에 연결된(coupled) 처리 디바이스를 더 포함한다. 처리 디바이스는 캡쳐된 안구 이동에 기반하여 궤적 데이터를 결정하고, 상기 궤적 데이터를 비디오 데이터에 할당한다. 비디오 데이터는, 예를 들어 메타 데이터로서, 이동하는 시각 이미지들 및 할당된 궤적 데이터를 포함한다. 따라서, 사용자 장비는 상술한 방법을 수행하도록 구성될 수 있으며, 또한 상술한 이점들을 포함할 수 있다. 게다가, 사용자 장비는 예를 들어 모바일 디바이스, 특히 예를 들어 노트북 컴퓨터, 태블릿 컴퓨터, 비디오 카메라, 모바일 전화 또는 모바일 미디어 플레이어를 포함할 수 있다.

비록 상기 요약에 기재된 특정한 특징들 및 다음의 상세한 설명이 본 발명의 특정한 실시예들 및 양상들과 결부되어 기재되더라도, 명확하게 달리 언급이 없는 한 실시예들 및 양상들은 서로 결합될 수 있음에 유의해야 한다.

이제, 본 발명은 첨부한 도면들을 참고하여 더욱 상세히 설명될 것이다.
도 1은 본 발명의 일 실시예에 따른 사용자 장비와 결부된 사용자를 개략적으로 나타낸다.
도 2는 본 발명의 일 실시예에 따른 비디오 데이터를 위한 궤적 데이터 생성 방법의 방법 단계들을 나타낸다.
도 3은 이동 객체의 궤적 데이터를 개략적으로 나타낸다.
도 4는 본 발명의 추가 실시예에 따른 방법의 방법 단계들을 나타낸다.
도 5는 본 발명의 일 실시예에 따라 결정된 궤적 데이터에 기반하여 비디오 데이터의 재생을 조절하는 사용자를 개략적으로 나타낸다.

이하에서, 본 발명의 모범적인 실시예들이 더욱 상세히 설명될 것이다. 여기서 설명되는 다양한 모범적인 실시예들의 특징들은 구체적으로 달리 언급이 없는 한 서로 결합될 수 있다. 다양한 도면들에서 동일한 참조 부호들은 유사하거나 동일한 컴포넌트들을 가리킨다. 도면들에 나타낸 컴포넌트들 간 또는 디바이스들 간 연결(coupling)은 구체적으로 달리 언급이 없는 한 직접적이거나 간접적인 것일 수 있다.

도 1은 예를 들어 모바일 전화, 태블릿 PC 또는 모바일 미디어 플레이어와 같은 사용자 장비(12)를 바라보는 사용자(10)를 개략적으로 나타낸다. 사용자 장비(12)는 예를 들어 사용자 장비(12) 내에 저장된 비디오 데이터, 또는 예를 들어 무선 통신을 통해 서버로부터 수신되는 비디오 데이터의 이동하는 시각 이미지들을 디스플레이하는 디스플레이(13)를 포함한다. 게다가, 사용자 장비(12)는 디스플레이(13) 상에서 이동하는 시각 이미지들을 보는 사용자(10)의 안구(11)의 안구 이동을 캡쳐하는 캡쳐 디바이스(14)를 포함한다. 캡쳐 디바이스(14)는 디스플레이 디바이스(13)에 인접 배치되며, 사용자(10)가 디스플레이(13)를 바라볼 때 사용자(10) 및 특히 사용자(10)의 안구들(11)을 캡쳐할 수 있도록 하는 예를 들어 디지털 카메라를 포함한다. 상기 카메라(14)는 예를 들어 모바일 전화에서 화상 전화 통화를 위한 경우와 같이, 다른 이유들로 사용자 장비(12)에 제공될 수 있다. 게다가, 사용자 장비(12)는 디스플레이(13) 및 카메라(14)에 연결되는, 예를 들어 마이크로 프로세서와 같은 처리 디바이스(15)를 포함한다. 처리 디바이스(15)는, 도 2와 결부되어 이하 기술되는 방법 단계들을 수행하도록 조정(adapt)될 수 있다.

도 2는 처리 디바이스(15)에 의해 수행되는 방법 단계들 21-24를 포함하는 방법(20)을 나타낸다. 단계 21에서, 처리 디바이스(15)는 예를 들어 미리 레코딩된(recorded) 비디오 데이터, 또는 사용자 장비(12)의 후방, 즉 캡쳐 디바이스(14)와 디스플레이(13)가 배치된 쪽의 반대쪽에 있는 추가적인 캡쳐 디바이스가 구비된 사용자 장비(12)에 의해 현재 캡쳐되는 비디오 데이터의 이동하는 시각 이미지들을 디스플레이한다. 디스플레이(13) 상에서 디스플레이되는 이동하는 시각 이미지들은, 예를 들어 도 3에 나타낸 바와 같이 구름 낀 하늘을 날아가는 비행기(31)에 대한 장면을 포함할 수 있다. 도 3에서 비행기(31)가 나타내는 루트(32)를 따라 다음 위치(further position)로 날아가는 비행기(31)의 이동하는 시각 이미지들을 디스플레이하는 중에, 사용자(10)의 안구(11)의 안구 이동이 단계 22에서 카메라(14)로 캡쳐된다. 단계 23에서, 상기 캡쳐된 안구 이동에 기반하여 궤적 데이터가 결정된다. 상기 결정된 궤적 데이터는 비행기(31)가 이동해 온 루트(32)에 대응된다. 단계 24에서, 상기 결정된 궤적 데이터는 비디오 데이터에 할당되며, 상기 이동하는 시각 이미지들과 함께 저장된다. 따라서, 비행기(31)의 궤적 데이터는 상기 이동하는 시각 이미지들의 이미지 처리를 수행하지 않고도 결정될 수 있다.

상술한 바와 같이, 안구 이동들에는 두 종류의 안구 이동인 단속성 안구 이동과 원활 추종 안구 이동이 있다. 비행기(31)가 루트(32)를 따라 이동하고 있고 하늘에 구름이 없을 때, 사용자(10)는 하늘을 가로지르는 비행기(31)를 원활 추종 안구 이동으로 따라갈 수 있다. 상기 안구 이동으로부터 결정되는 스캔 경로(scan path)는, 예를 들어 Bezier 방법과 같은 종래 방법을 사용하여 원활(smooth)할 수 있다. 상기 이동하는 객체(비행기(31))의 궤적 데이터는 상기 안구 이동으로부터 직접적으로 결정될 수 있으며, 이하에서 상세히 기술되는 바와 같이 예를 들어 비디오를 조작하는데 사용될 수 있다. 그러나 도 3에 나타낸 구름 낀 하늘의 경우에, 비행기(31)는 구름(34)에 의해 그 경로가 가려질 수 있다. 그럼에도 불구하고 사용자(10)는 하늘을 가로지르는 비행기(31)를 따라갈 수 있다. 비행기가 구름(34)을 통과할 때, 사용자(10)의 안구들(11)은 탄도적 단속성 운동(ballistic saccade)을 통해 따라가, 비행기가 나타나게 될 위치로 안구들을 이동시킬 수 있다. 대안으로서, 안구들은 원활 추종을 수행하여 구름(34)을 통과하는 비행기(31)를 가상으로 따라갈 수 있다. 첫 번째 경우(단속성 이동)에, 비행기(31)가 구름(34)에 의해 가려질 때까지의 제1 경로와, 비행기(31)가 구름(34)을 통과해서 다시 나타난 이후의 제2 경로는 동일한 경로(32)를 따르기 때문에 단일의(single) 궤적을 형성하도록 연결될 수 있다. 두 번째 경우(원활 추종)에, 궤적 데이터는 원활 추종 안구 이동으로부터 직접적으로 결정될 수 있다.

상술한 바와 같이, 비디오 데이터를 바라볼 때 사용자의 시선 경로로부터 결정되는 궤적 데이터는 비디오 데이터와 함께 메타 데이터로 레코딩되며, 사용자(10)의 관점에서 가장 관심있는 객체들 및 경로들을 찾는데 사용될 수 있다. 따라서, 이동하는 시각 이미지들을 처리하는데 기반을 둔 객체 추적 알고리즘의 사용은 철저히 배제될 수 있다. 그러나 객체 추적 알고리즘이 실행되더라도, 상술한 바와 같이 결정되는 궤적 데이터는 객체 추적 알고리즘과 같은 복잡성을 감소시키므로 계산 요구(computational requirements)를 감소시킬 수 있다. 게다가, 객체 추적 알고리즘으로부터의 정보를 상기 궤적 메타 데이터와 결합함으로써 객체 추적 정확도가 증가될 수 있다. 이것은 예를 들어 이동하는 객체가 날개를 퍼덕이는 새인 경우처럼 그 형상을 변화시키는 경우에 도움이 될 수 있다.

상술한 바와 같이 결정되는 궤적 메타 데이터는, 이동하는 시각 이미지들을 디스플레이하고 있는 애플리케이션을 조절하는데 사용될 수 있다. 예를 들어, 이동하는 시각 이미지들이 비디오 재생 애플리케이션에 의해 재생되고 있는 레코딩된 비디오 데이터의 이미지들인 경우에, 비디오 데이터 내에서의 네비게이션은 상기 궤적 데이터에 기반하여 이루어질 수 있다. 비디오 데이터 내에서의 네비게이션은, 예를 들어 비디오 데이터를 통해 재생 속도 변경, 점프 또는 스킵과 같이 비디오 데이터를 통한 시간적 네비게이션(temporal navigation)을 포함할 수 있다.

비디오 재생 조절은 도 4 및 도 5와 결부되어 보다 상세히 기술될 것이다. 도 4는 방법 단계들 41-45를 포함하는 방법(40)을 나타낸다. 도 2와 결부하여 상술한 방법(20)이 비디오 데이터 상에서 수행되는 것이라면, 이제 비디오 데이터는 사전에 상기 비디오 데이터를 시청한 사용자들의 안구 이동들에 기반한 궤적 데이터를 나타내는 추가적인 메타 데이터를 포함한다. 도 5에 나타낸 바와 같이, 두 대의 비행기들(31, 51)의 두 궤적들(32, 52)은 비디오 데이터를 시청한 사용자들의 안구 이동들에 기반하여 결정되었으며, 상기 궤적들은 비디오 데이터 내에 메타 데이터로서 저장되어 있다. 이제, 단계 41에서, 상기 비디오 데이터의 이동하는 시각 이미지들은 디스플레이(13) 상에서 재생된다. 뷰어가 예를 들어 손가락(53)으로 디스플레이(13)를 터치하는 위치를 처리 디바이스(15)가 결정할 수 있도록, 디스플레이(13)는 터치 감지식 표면을 포함할 수 있다(단계 42). 처리 디바이스(15)는 손가락(53)의 터치 위치를 궤적(32 및 52)과 비교한다. 각 궤적 데이터는 시간에 따른 다수의 위치 정보를 포함할 수 있다. 도 5에 나타낸 예시에서, 처리 디바이스(15)는 손가락(53)의 터치 위치가 궤적 데이터(32)에 매칭되는지를 결정한다(단계 43). 따라서, 단계 44 및 45에서, 비디오 데이터의 재생은 궤적(32)을 따라서 추가로 감지되는 터치 위치들에 따라 조절될 수 있다. 예를 들어, 손가락(53)을 이동하지 않는 한, 비디오 데이터 재생은 스톨(stall)된다. 손가락(53)이 궤적(32)을 따라 이동되면 비디오 데이터의 재생이 수행될 수 있어, 비행기(31)는 그 이동하는 손가락(53)과 함께 이를 따라가게 된다. 손가락(53)이 궤적(32)을 따라 뒤쪽 방향으로 이동되면, 비디오 데이터의 재생은 역방향으로 수행될 수 있다.

재생 조절 대신에, 비디오 데이터에 할당된 궤적 데이터는, 예를 들어 안구 이동을 모니터링함으로써 사전에 또는 실시간으로 리트리브(retrieve)될 수 있는 궤적 데이터를 제공하는 증강 현실(augmented reality) 비디오 데이터를 포함하는 게임 애플리케이션과 같이, 다른 애플리케이션들에 사용될 수 있다.

게다가, 비디오 데이터 대신에, 궤적 데이터는 게임이나 사용자 인터페이스의 레코딩에 할당될 수 있다. 이 경우, 예를 들어 손가락을 디스플레이를 따라 이동시키는 것과 같은 직접적인 조작이, 게임이나 사용자 인터페이스 내에서의 이동을 조절하는데 사용될 수 있다. 기술적으로 레코딩은 게임 내에 저장되는 공간적인 위치들을 포함할 수 있고, 손가락을 이동시키는 것은 게임이나 사용자 인터페이스의 그래픽(graphics)이 어떻게 이동해야 하는지에 대한 입력에 해당한다.

안구 이동에 기반하여 궤적 데이터를 생성하는 상술한 방법은 많은 개별 이동 객체들을 포함하는 비디오 데이터에 유용하게 사용될 수도 있다. 예를 들어, 비디오 데이터는 길을 따라 달리는 다수의 마라톤 선수들을 보여줄 수 있다. 각 마라톤 선수에 대한 객체 추적은 시간 소모적이고 계산상 많은 비용이 소요될 수 있다. 비디오 데이터를 바라보는 사용자는 단지 한 명 또는 아주 소수의 선수들만 따라갈 것이므로, 사용자가 가장 관심있는 객체들의 궤적 데이터가 안구 이동에 기반하여 적은 노력으로 결정될 수 있다. 안구 이동에 기반한 궤적 데이터는 사용자가 가장 관심있어 하는 객체들 및 경로들만 분석하기 때문에 필요한 작업을 상당히 감소시킬 수 있도록 한다. 어떤 경로(또는, 객체)에 대한 관심은 경로(또는, 객체)의 원활 추종에 의해 나타나거나, 단속성 운동을 사용하여 경로(또는, 객체)와 다른 객체들 사이를 전환함으로써 나타날 수 있다. 게다가, 감소된 경로들의 수는 예를 들어 재생 조절 동안 상호작용(interaction)을 완화시킬 수 있는데, 이는 무리(crowd) 중 각 객체나 선수에 대한 수십 개의 중첩 경로(overlapping path)들이 비디오 데이터에 할당되는 것을 회피하기 때문이다. 게다가, 사용자 시선은 그 순간에 어떤 객체나 경로가 가장 관심있는지를 드러낼 것이기 때문에, 예를 들어 재생을 조절하는 동안 이러한 정보를 사용하여 그 다음의 다른 객체들 간 매끄러운(seamless) 전환(switching)이 가능하며, 이는 보다 원활한(smoother) 사용자 인터페이스가 실현되도록 한다.

Claims

캡쳐 디바이스(14)로, 이동하는 시각 이미지들을 보는 뷰어(10)의 안구(11)의 안구 이동을 캡쳐(22)하는 단계;
처리 디바이스(15)로, 상기 안구 이동에 기반하여 궤적 데이터(32)를 자동으로 결정(23)하는 단계;
상기 처리 디바이스(15)로, 상기 이동하는 시각 이미지들을 포함하는 비디오 데이터에 상기 궤적 데이터(32)를 자동으로 할당(24)하는 단계;
상기 처리 디바이스(15)로, 상기 비디오 데이터의 재생 중에 사용자에 의해 가이딩되는 포인팅 디바이스(53)의 적어도 제1 위치 정보 및 제2 위치 정보를 결정하는 단계―각각의 상기 위치 정보는 상기 이동하는 시각 이미지들 내 해당 위치를 나타냄―;
상기 처리 디바이스(15)로, 상기 결정된 적어도 제1 위치 정보 및 제2 위치 정보를 상기 궤적 데이터(32)의 다수의 위치 정보와 비교하는 단계; 및
상기 처리 디바이스(15)로, 상기 결정된 적어도 제1 위치 정보 및 제2 위치 정보와, 상기 궤적 데이터(32)의 다수의 위치 정보와의 비교에 기반하여 상기 비디오 데이터를 재생하는 애플리케이션의 파라미터를 조절하는 단계;를 포함하는 비디오 데이터를 위한 궤적 데이터 생성 방법.
제1항에 있어서,
상기 궤적 데이터(32)는 시간에 따른 다수의 위치 정보를 포함하고, 각각의 상기 위치 정보는 상기 이동하는 시각 이미지들에 의해 나타나는 이동 객체(31)의 위치에 관련된 것을 특징으로 하는 비디오 데이터를 위한 궤적 데이터 생성 방법.
삭제
제1항에 있어서,
상기 파라미터를 조절하는 단계는,
상기 결정된 적어도 제1 위치 정보 및 제2 위치 정보와, 상기 궤적 데이터(32)의 다수의 위치 정보와의 비교에 기반하여 상기 비디오 데이터를 재생하는 재생 속도를 조정하는 단계;를 포함하는 비디오 데이터를 위한 궤적 데이터 생성 방법.
제1항에 있어서,
상기 결정된 적어도 제1 위치 정보 및 제2 위치 정보와, 상기 궤적 데이터(32)의 다수의 위치 정보와의 비교에 기반하여 상기 이동하는 시각 이미지들 내 객체(31)를 결정하는 단계;를 더 포함하는 비디오 데이터를 위한 궤적 데이터 생성 방법.
제1항에 있어서,
상기 이동하는 시각 이미지들을 처리하여 상기 이동하는 시각 이미지들 내 객체(31)의 위치를 결정하는 단계;
상기 객체(31)의 위치를 상기 궤적 데이터(32)의 다수의 위치 정보와 비교하는 단계; 및
상기 객체(31)의 위치와, 상기 궤적 데이터(32)의 다수의 위치 정보와의 비교에 기반하여 상기 객체(31)의 궤적을 결정하는 단계;를 더 포함하는 비디오 데이터를 위한 궤적 데이터 생성 방법.
제1항에 있어서,
상기 안구 이동을 결정하는 단계는,
다수의 안구 이동들을 결정하는 단계;
상기 다수의 안구 이동들 각각에 대해, 상기 안구 이동이 원활 추종(smooth pursuit) 안구 이동인지, 단속성(saccade) 안구 이동인지를 결정하는 단계; 및
상기 안구 이동이 단속성 안구 이동인 경우:
각 단속성 안구 이동에 대해, 해당 단속성 안구 이동의 정지 위치에 위치한 객체(31)를 결정하는 단계; 및
상기 다수의 단속성 안구 이동들 및 상기 정지 위치들에 있는 관련된(related) 객체들(31)에 기반하여 상기 궤적 데이터를 결정하는 단계;를 포함하고,
상기 안구 이동이 원활 추종 안구 이동인 경우:
상기 원활 추종 안구 이동의 계속적인 이동의 궤적 데이터에 기반하여 상기 궤적 데이터를 결정하는 단계;를 포함하는 비디오 데이터를 위한 궤적 데이터 생성 방법.
제1항에 있어서,
상기 안구 이동을 캡쳐하는 단계는;
제1 캡쳐 디바이스로, 상기 이동하는 시각 이미지들을 생성하기 위하여 환경 내 장면을 캡쳐하는 단계;
상기 캡쳐 중, 디스플레이 디바이스(13) 상에 상기 이동하는 시각 이미지들을 디스플레이하는 단계;
상기 디스플레이 디바이스(13)에 인접 배치된 제2 캡쳐 디바이스(14)로, 상기 이동하는 시각 이미지들을 보는 뷰어(10)의 안구(11)의 안구 이동을 캡쳐하는 단계; 및
상기 캡쳐된 이동하는 시각 이미지들에 기반하여 상기 비디오 데이터를 생성하는 단계;를 포함하는 비디오 데이터를 위한 궤적 데이터 생성 방법.
제1항에 있어서,
상기 안구 이동을 캡쳐하는 단계는,
레코딩된 비디오 데이터의 상기 이동하는 시각 이미지들을 디스플레이 디바이스(13) 상에 디스플레이하는 단계; 및
상기 디스플레이 디바이스(13)에 인접 배치된 캡쳐 디바이스(14)로, 상기 이동하는 시각 이미지들을 보는 뷰어(10)의 안구(11)의 안구 이동을 캡쳐하는 단계;를 포함하는 비디오 데이터를 위한 궤적 데이터 생성 방법.
이동하는 시각 이미지들을 디스플레이하는 디스플레이 디바이스(13);
상기 디스플레이 디바이스(13) 상에 상기 이동하는 시각 이미지들을 보는 뷰어(10)의 안구(11)의 안구 이동을 캡쳐하는 캡쳐 디바이스(14); 및
상기 캡쳐된 안구 이동에 기반하여 궤적 데이터(32)를 결정하고, 상기 이동하는 시각 이미지들을 포함하는 비디오 데이터에 상기 궤적 데이터(32)를 할당하도록 구성된 처리 디바이스(15);를 포함하며,
상기 처리 디바이스(15)는, 상기 비디오 데이터의 재생 중에 사용자에 의해 가이딩되는 포인팅 디바이스(53)의 적어도 제1 위치 정보 및 제2 위치 정보를 결정하고―각각의 상기 위치 정보는 상기 이동하는 시각 이미지들 내 해당 위치를 나타냄―, 상기 결정된 적어도 제1 위치 정보 및 제2 위치 정보를 상기 궤적 데이터(32)의 다수의 위치 정보와 비교하며, 상기 결정된 적어도 제1 위치 정보 및 제2 위치 정보와, 상기 궤적 데이터(32)의 다수의 위치 정보와의 비교에 기반하여 상기 비디오 데이터를 재생하는 애플리케이션의 파라미터를 조절하도록 추가로 구성된 사용자 장비.
제10항에 있어서,
상기 사용자 장비는 노트북 컴퓨터, 태블릿 컴퓨터, 비디오 카메라, 모바일 전화 및 모바일 미디어 플레이어를 포함하는 그룹 중 적어도 하나 이상을 포함하는 모바일 디바이스를 포함하는 사용자 장비.
삭제