KR20100076974A

KR20100076974A - 정보 제시 장치 및 정보 제시 방법

Info

Publication number: KR20100076974A
Application number: KR1020107008350A
Authority: KR
Inventors: 데쯔지로 곤도; 가즈따까 우찌다
Original assignee: 소니 주식회사
Priority date: 2007-11-02
Filing date: 2008-10-27
Publication date: 2010-07-06
Also published as: CN101828390A; EP2204992A4; EP2204992A1; JP5115150B2; TW200929160A; TWI420501B; ATE550758T1; WO2009057562A1; US20100209074A1; US8805173B2; CN101828390B; EP2204992B1; JP2009117986A

Abstract

쉬운 방법으로 유저에게 제공하는 정보량을 상황에 맞게 조정한다. 이를 위해 본 발명에 있어서는 재생 속도가 변환된 영상에 소정량의 지연을 가하여 복수의 표시부 중 제1 표시부(2A) 이외의 표시부(2B 내지 2E)에 출력하는 지연부(70A 내지 70D)와, 부여된 변수에 기초하여 입력 영상의 재생 속도를 변환하여 제1 표시부(2A) 및 지연부(70A 내지 70D)에 출력하는 재생 속도 변환부(60)를 구비했다. 그리고 유저의 시선의 위치를 검출하는 시선 검출부에 의해 검출된 시선의 위치가 제1 표시부(20A)의 화면 상에 있는지의 여부를 판정하여 판정 결과를 출력하는 시선 위치 판정부(40)와, 시선 위치 판정부(40)에 의한 판정 결과에 따라 재생 속도를 결정하여, 재생 속도에 따른 변수를 재생 속도 변환부(60)에 출력하는 재생 속도 결정부(50)를 구비하였다.

Description

정보 제시 장치 및 정보 제시 방법{INFORMATION PRESENTATION DEVICE AND INFORMATION PRESENTATION METHOD}

본 발명은, 예를 들어 복수의 표시 장치를 이용하여 정보를 제시하기에 적합한 정보 제시 장치 및 정보 제시 방법에 관한 것이다.

종래, 표시 장치 등에 의해 재생 중인 영상 등으로부터 정보를 효율적으로 취득하고자 하는 경우, 빨리감기에 의한 재생 등이 행해진다. 빨리감기에 의해 재생함으로써 단위 시간 내에 취득 가능한 정보량을 늘릴 수 있다. 그런데 빨리감기에 의해 재생한 것을 시청하는 경우에는 유저(시청자)가 필요한 정보를 빠뜨리는 경우도 많다.

정보를 빠뜨려 버린 경우에는 재생 위치를 되감는 조작을 하면 되지만, 빠뜨릴 때마다 조작을 행할 필요가 있어 번거롭다는 문제가 있었다. 또한, 이러한 조작은, 오히려 정보의 취득 효율을 낮추어 버리게 되기 쉽다.

이로 인해, 재생하는 영상에 있어서, 움직임이 적은 장면에서는 재생 속도를 낮추고, 움직임이 많은 장면에서는 재생 속도를 높이는 식으로 영상의 특징에 따라 재생 속도를 자동으로 조정하는 것도 행해지고 있다.

일본 특허 공개 평10-243351호 공보에는 동화상과 음성을 포함하는 영상 내의 영상 특징을 검출하여 이 영상 특징에 따라 자동으로 재생 속도를 조정하면서 영상을 재생하는 것에 대하여 개시되어 있다.

그런데 움직임이 많은 장면에서도 영상의 재생 속도를 높여 재생하려는 유저도 존재한다. 즉, 유저가 영상의 재생 속도를 낮추거나 높이거나 하려는 장면은 유저 각각의 상태나 유저의 능력, 기호에 따라 다른 것이라고 할 수 있다.

즉, 유저의 상태나 유저의 능력, 기호에 맞게 정보 제공의 양을 최적화할 수 있으면, 유저는 재생 영상 내에서 효율적인 필요한 정보를 취득할 수 있게 된다고 생각된다. 그러나 유저의 상태나 능력이나 기호에 맞게 정보 제공의 양을 최적화하기 위해서는, 우선 유저의 상태나 능력을 계측할 필요가 있고, 이러한 데이터의 계측에는 뇌파계나 심전도, NIRS(Near-Infrared Spectroscopy) 등의 대규모의 장치를 사용할 필요가 있다. 즉 비용이 늘어나기 때문에 정보 제시 시스템의 실현이 어려운 경우가 많았다.

이러한 장치를 사용하지 않고, 유저의 상태나 능력, 기호 등의 내부 상태를 취득하기 위해서는, 이들의 정보를 유저에게 자기 신고시킨다는 방법도 생각할 수 있다. 그러나 키 입력 등의 번잡한 조작을 유저에게 행하게 하면 유저에게 가해지는 부담은 증대되어, 그것이 오히려 유저의 효율적인 정보 취득을 방해할 것으로 예상된다.

본 발명은 이러한 점을 감안하여 이루어진 것이며, 쉬운 방법으로 유저에게 제공하는 정보량을 적절하게 조정하는 것을 목적으로 한다.

본 발명은, 재생 속도가 변환된 영상에 소장량의 지연을 가하여, 복수의 표시부 중 제1 표시부 이외의 표시부에 출력하는 지연부와, 부여된 변수에 기초하여 입력 영상의 재생 속도를 변환하여, 제1 표시부 및 지연부에 출력하는 재생 속도 변환부를 구비했다. 그리고 유저의 시선의 위치를 검출하는 시선 검출부에 의해 검출된 시선의 위치가, 제1 표시부의 화면 상에 있는지의 여부를 판정하여 판정 결과를 출력하는 시선 위치 판정부와, 시선 위치 판정부에 의한 판정 결과에 따라 재생 속도를 결정하여, 재생 속도에 따른 변수를 재생 속도 변환부에 출력하는 재생 속도 결정부를 구비한 것이다.

이와 같이 함으로써, 제1 표시부에 표시된 정보를 유저가 빠뜨려, 영상에 지연이 가해지는 다른 표시부로 시선을 옮겼을 때에 그 시선의 위치 정보가 시선 위치 판정부로부터 재생 속도 결정부에 출력된다. 그리고 재생 속도 결정부에서는 시선 위치 판정부로부터 출력된 판정 결과에 따라 재생 속도가 결정되고, 결정된 재생 속도에 따른 변수가 재생 속도 결정부로부터 재생 속도 변환부에 출력된다.

본 발명에 의하면, 유저의 시선의 위치 정보에 기초하여 재생 속도가 조정되기 때문에, 유저에게 제공되는 정보량이 적절하게 조정된다.

도 1은 본 발명의 제1 실시 형태에 의한 시스템의 구성예를 도시하는 설명도이다.
도 2는 본 발명의 제1 실시 형태에 의한 시스템의 내부 구성예를 도시하는 블록도이다.
도 3은 본 발명의 제1 실시 형태에 의한 정보 빠뜨림 검출부의 처리예를 나타내는 흐름도이다.
도 4는 본 발명의 제1 실시 형태에 의한 정보 빠뜨림 검출부의 다른 처리예를 나타내는 흐름도이다.
도 5는 본 발명의 제1 실시 형태에 의한 재생 속도 결정부의 처리예를 나타내는 흐름도이다.
도 6은 본 발명의 제1 실시 형태에 의한 재생 속도 변환부의 처리예를 도시하는 설명도이며, (a)는 입력 프레임을 나타내고, (b)는 출력 프레임을 나타낸다.
도 7은 본 발명의 제1 실시 형태에 의한 재생 속도 변환부의 다른 처리예를 도시하는 설명도이며, (a)는 입력 프레임을 나타내고, (b)는 출력 프레임을 나타낸다.
도 8은 본 발명의 제1 실시 형태에 의한 정보의 많은 프레임을 남기는 경우의 처리예를 나타내는 흐름도이다.
도 9는 본 발명의 제1 실시 형태에 의한 재생 속도 변환부의 다른 처리예를 도시하는 설명도이며, (a)는 입력 프레임을 나타내고, (b)는 출력 프레임을 나타낸다.
도 10은 본 발명의 제1 실시 형태의 다른 형태에 의한 시스템의 구성예를 도시하는 설명도이다.
도 11은 본 발명의 제1 실시 형태의 다른 형태에 의한 유저의 동작의 예를 도시하는 모식도이다.
도 12는 본 발명의 제1 실시 형태의 다른 형태에 의한 정보 빠뜨림 검출부의 처리예를 나타내는 흐름도이다.
도 13은 본 발명의 제1 실시 형태의 다른 형태에 의한 재생 속도의 변환 처리와 유저의 동작의 관련의 예를 도시하는 모식도이다.
도 14는 본 발명의 제2 실시 형태에 의한 시스템의 내부 구성예를 도시하는 블록도이다.
도 15는 본 발명의 제2 실시 형태에 의한 재생 속도·재생 위치 결정부의 처리예를 나타내는 흐름도이다.
도 16은 본 발명의 제2 실시 형태에 의한 정보 재제시의 처리예를 도시하는 설명도이다.
도 17은 본 발명의 다른 형태에 의한 표시 장치의 구성예를 도시하는 설명도이다.

이하, 본 발명의 제1 실시 형태를, 첨부 도면을 참조하여 설명한다. 본 실시 형태에 있어서의 시스템의 구성예를 도 1의 (a)에 도시하고 있다. 도 1의 (a)에 도시된 시스템은 화상이나 영상 등을, 예를 들어 2배속 등의 재생 속도로 재생하는 재생 장치(1)와, 재생 영상을 표시하는 표시 장치(2A), 표시 장치(2B), 표시 장치(2C), 표시 장치(2D), 표시 장치(2E)와, 유저(U)의 시선(L1)의 위치를 유저(U)의 눈의 위치에 의해 검출하는 시선 검출 장치(3)로 구성된다. 표시 장치(2A 내지 2E) 및 시선 검출 장치(3)는 케이블(4)에 의해 재생 장치(1)와 접속되어 있다. 또한, 본 예에서는 표시 장치를 5대 사용한 경우에 적용하고 있지만, 대수는 이것에 한정되는 것은 아니다.

도 1의 (b)에는 도 1의 (a)에 도시된 표시 장치(2A 내지 2E) 및 그것을 보고 있는 유저(U)를 측면의 방향으로부터 본 경우의 도면을 도시하고 있다. 표시 장치(2A 내지 2E)는, 예를 들어 액정 패널 등으로 구성되어 있으며, 도 1의 (b)에 도시된 바와 같이 깊이 방향 및 수직 방향의 배치 위치가 서로 현격해지도록 배치되어 있으며, 유저(U)로부터는 세로로 일렬로 배치되어 있는 것처럼 보이게 된다. 깊이 방향의 가장 전방측이면서 수직 방향의 가장 하측에는 표시 장치(2A)를 배치하고 있다.

그리고 표시 장치(2A)의 배치 위치에 대하여 깊이 방향의 내측 및 수직 방향의 상측에는 표시 장치(2B)를 배치하고 있다. 이후, 깊이 방향에 있어서는 내측의 방향, 수직 방향에 있어서는 상측의 방향으로 조금씩 위치를 어긋나게 하면서 표시 장치(2C, 2D, 2E)를 배치하고 있다. 즉, 유저(U)에 있어서 가장 전방측에 배치되어 있는 것은 표시 장치(2A)가 되고, 가장 내측에 배치되어 있는 것은 표시 장치(2E)가 된다. 또한, 도 1의 (a) 및 (b)에 있어서는 표시 장치(2A 내지 2E)를 유지하는 구조체의 도시를 생략하고 있지만, 구조체로서는 표시부를 탑재하는 계단 형상의 대나 각 표시부를 지지하는 지주 등을 사용하는 것으로 한다.

표시 장치(2A 내지 2E)에는, 후술하는 재생 장치(1) 내의 축적부(30)로부터 판독한 동일한 소재의 영상이 표시되지만, 재생 장치(1)에는 도시하지 않은 지연부를 설치하고 있고, 표시 장치(2A 내지 2E)에 표시되는 영상은 표시 장치의 배치 위치가 내측으로 됨에 따라 조금씩 지연되도록 되어 있다. 따라서, 유저(U)에게는 영상이 표시 장치의 전방측으로부터 내측으로 이동하고 있다는 착각이 초래된다.

시선 검출 장치(3)는 유저(U)의 시선(L1)의 위치를 검출하는 장치이며, 예를 들어 유저(U)와 대면하는 위치 등, 유저(U)의 시선(L1)을 검출하기 쉬운 위치에 배치되어 있다. 또한, 본 예에 있어서는 시선 검출 장치(3)로서 거치형의 장치를 사용하도록 했지만, 유저(U)에게 착용시키는 타입의 시청 검출용의 안경을 사용하도록 해도 좋다. 혹은, 먼 곳에 설치한 감시 카메라에 의해 유저(U)의 시선(L1)의 위치를 검출시키도록 하여도 된다.

유저(U)는, 통상은 표시 장치(2A)에 표시된 영상을 시청하고 있지만, 정보를 빠뜨린 경우에는 빠뜨린 정보를 따라가기 위해, 표시 장치(2A)에 표시된 영상보다 지연된 영상을 나타내고 있는 표시 장치에 시선을 옮기게 된다. 즉 이러한 경우, 유저(U)의 시선(L1)은 표시 장치(2A)로부터 내측의 방향으로 이동하게 된다. 시선 검출 장치(3)는 이러한 경우에 있어서의 유저(U)의 시선(L1)의 움직임 또는 시선(L1)의 위치를 검출하여 검출 결과를 재생 장치(1)에 송출한다.

이어서, 시스템의 내부 구성예에 대하여 도 2에 도시하는 블록도를 참조하여 설명한다. 재생 장치(1)에는 영상 입력부(10)와, 부호화·복호 처리부(20)와, 축적부(30)와, 시선 위치 판정부로서의 정보 빠뜨림 검출부(40)와, 재생 속도 결정부(50)와, 재생 속도 변환부(60)와, 지연부(70A, 70B, 70C, 70D)가 포함된다. 도 2에 있어서, 축적부(30)에 기록되는 기록 영상은 파선으로 나타내고 있으며, 표시 장치 상에 재생되는 재생 영상은 일점쇄선으로, 데이터는 실선으로 나타내고 있다.

영상 입력부(10)는 입력 단자 등을 통하여 재생 장치(1) 내에 영상 신호를 도입하여 신호 레벨의 변환 처리를 행한다. 부호화·복호 처리부(20)는 영상 입력부(10)로부터 입력된 영상 신호를 부호화하여, 기록 영상으로서 축적부(30)에 출력하는 처리를 행한다. 또는, 축적부(30)에 축적된 압축 영상 데이터를 복호하여, 재생 영상으로서 재생 속도 변환부(60)에 출력하는 처리를 행한다. 부호화 레이트는 영상 입력부(10)로부터 입력된 영상의 프레임 레이트와 동일한 레이트를 사용하는 것으로 하고, 복호는 후술하는 재생 속도 결정부(50)로부터 송신되는 재생 속도(Vk)(단위 : 배속)에 기초하여 행하도록 되어 있다. 재생 속도(Vk)는 재생 속도 결정부(50)에 의해 생성되어 재생 속도 변환부(60)에 전송된다. 그리고 재생 속도 변환부(60)에 있어서, 현재의(그 시점에서의) 재생 속도(V)를 재생 속도 결정부(50)로부터 출력된 재생 속도(Vk)로 변환하는 처리가 행해진다. 축적부(30)는 예를 들어 HDD(Hard Disc Drive)로 구성되어 있으며, 부호화·복호 처리부(20)에 의해 부호화된 영상을 축적한다.

정보 빠뜨림 검출부(40)는 시선 검출 장치(3)로부터 입력되는 검출 결과에 기초하여, 유저(U)의 시선 위치와 표시 장치(2A 내지 2E)의 배치 위치를 대응시켜 유저(U)의 시선(L1)이 표시 장치(2A) 이외의 위치에 있다고 판단한 경우에는 유저에 의한 정보의 빠뜨림이 발생하고 있다고 판정하여, 검출 결과를 재생 속도 결정부(50)에 송신한다. 유저(U)의 시선(L1)이 표시 장치(2A)에 주시된 상태라고 판단한 경우에는 유저(U)에 의한 정보의 빠뜨림은 없다는 판단 결과를 재생 속도 결정부(50)에 송신한다.

재생 속도 결정부(50)는 현재의 재생 속도(V)를 빠르게 하기 위한 변수(Pinc)와, 현재의 재생 속도(V)를 느리게 하기 위한 변수(Pdec)를 갖고 있으며, 정보 빠뜨림 검출부(40)로부터 송신된 검출 결과에 따라, 변수(Pinc)와 변수(Pdec) 중 무엇을 적용할지를 결정한다. 변수(Pinc)로서는 예를 들어 1.5, 변수(Pdec)로서는 예를 들어 0.5 등의 수치를 사용하는 것으로 한다. 재생 속도 결정부(50)는 어느 한쪽의 변수를 현재의 재생 속도(V)에 승산함으로써 재생 속도(Vk)를 산출한다. Pinc의 값은 1보다 큰 값이면 어느 쪽의 값이든 상관없고, Pdec의 값은 0보다 크고 1보다 작은 값이면 어느 쪽의 값이든 상관없다. 그리고 산출된 재생 속도(Vk)를 재생 속도 변환부(60)에 출력한다. 정보 빠뜨림 검출부(40) 및 재생 속도 결정부(50)의 처리의 상세에 대해서는 후술한다.

재생 속도 변환부(60)는 영상 처리부(61)와 음성 처리부(62)로 구성된다. 영상 처리부(61)는 부호화·복호 처리부(20)로부터 출력된 영상의 재생 속도(V)가 재생 속도 결정부(50)로부터 입력되는 재생 속도(Vk)로 되도록 재생 속도를 변환하는 처리를 행한다. 그리고 재생 속도가 변환된 영상을 표시 장치(2A)에 공급함과 함께 지연부(70A)와, 지연부(70B)와, 지연부(70C)와, 지연부(70D)에 공급한다. 음성 처리부(62)는 음성 신호 중 무음 부분이나 음성적인 특징이 연속되는 부분은 삭제하거나 하는 방법으로, 피치를 바꾸지 않고 재생 속도를 변환하는 처리를 행한다. 음성의 재생 속도 변환의 구체적인 처리에 대해서는 일례로서 일본 특허 공개 제2000-99097호 공보에 기재가 있다. 재생 속도 변환부(60)(영상 처리부(61))의 처리의 상세에 대해서는 후술한다.

지연부(70A)는, 재생 속도 변환부(60)로부터 출력된 영상에 D초의 지연량을 가하여, 표시 장치(2B)와 지연부(70B)에 송출한다. D초란, 예를 들어 2초 등이며, 표시 장치(2)의 대수나 유저의 정보 취득 능력이나 기호에 따라 임의의 값을 설정 가능한 것으로 한다. 지연부(70B)는 지연부(70A)로부터 전송된 영상에 D초의 지연을 더 가하여, 표시 장치(2C)와 지연부(70C)에 출력한다. 지연부(70C)는 지연부(70B)로부터 전송된 영상에 D초의 지연을 더 가하여, 표시 장치(2D)와 지연부(70D)에 출력한다. 지연부(70D)는 지연부(70C)로부터 전송된 영상에 D초의 지연을 더 가하여, 표시 장치(2E)에 출력한다. 즉 표시 장치(2E)에는 표시 장치(2A)에 표시된 영상보다 4D초 지연된 영상이 표시된다.

이어서 도 3의 흐름도를 참조하여, 정보 빠뜨림 검출부(40)의 처리예에 대하여 설명한다. 정보 빠뜨림 검출부(40)는 우선 시선 검출 장치(3)로부터 입력되는 시선 위치 정보에 기초하여, 유저(U)의 시선이 가장 전방측의 화면, 즉 표시 장치(2A) 상에 있는지의 여부의 판단을 행한다(스텝 S1). 유저(U)의 시선(L1)이 표시 장치(2A) 상에 있다고 판단한 경우에는 유저(U)에 의한 정보의 빠뜨림이 발생하지 않은 것으로 간주하고(스텝 S2), 「빠뜨림 없음」으로서 검출 결과를 출력한다(스텝 S4). 유저(U)의 시선이 표시 장치(2A) 상에 없다고 판단한 경우에는 유저(U)에 의한 정보의 빠뜨림이 있던 것으로 간주하고(스텝 S3), 「빠뜨림 있음」으로서 검출 결과를 출력한다.

또한, 도 3에 도시된 예에서는 유저(U)의 시선(L1)의 위치가 가장 전방측의 표시 장치(2A) 상에 있는지의 여부를 기준으로 유저(U)에 의한 정보의 빠뜨림의 유무를 판단하도록 했지만, 그 밖의 기준을 사용하여 판단하도록 해도 좋다. 예를 들어, 시선(L1)의 위치 정보와 함께, 시선(L1)의 움직임의 정보도 고려하도록 해도 좋다. 도 4에 그 경우의 처리예에 대하여 도시하고 있다.

도 4에 있어서, 정보 빠뜨림 검출부(40)는 우선 유저(U)의 시선(L1)이 가장 전방측, 즉 표시 장치(2A)의 배치 위치로부터 내측으로 한창 이동하고 있는지의 여부의 판단을 행한다(스텝 S11). 유저(U)의 시선(L1)이 내측으로 이동하고 있다고 판단한 경우에는 유저(U)에 의한 정보의 빠뜨림이 있었다고 간주하고, 「빠뜨림 있음」으로 판단하여(스텝 S12), 검출 결과(판단 결과)를 출력한다(스텝 S13). 유저(U)의 시선(L1)이 표시 장치(2A)의 배치 위치로부터 내측으로 이동하고 있지 않다고 판단한 경우에는 이어서 유저(U)의 시선(L1)은 가장 내측의 화면, 즉 표시 장치(2E) 상에 있는지의 여부의 판단을 행한다(스텝 S14).

유저(U)의 시선(L1)이 표시 장치(2E) 상에 있다고 판단한 경우에는 유저(U)에 의한 정보의 빠뜨림이 있었다고 간주하고(스텝 S12), 「빠뜨림 있음」으로서 검출 결과를 출력한다(스텝 S13). 유저(U)의 시선(L1)이 표시 장치(2E) 위에는 없다고 판단한 경우에는 유저(U)에 의한 정보의 빠뜨림이 발생하고 있지 않다고 간주하고(스텝 S15), 「빠뜨림 없음」으로 검출 결과를 출력한다(스텝 S13).

이어서, 도 5의 흐름도를 참조하여, 재생 속도 결정부(50)의 처리예에 대하여 설명한다. 재생 속도 결정부(50)는 우선 정보 빠뜨림 검출부(40)로부터 송신된 검출 결과에 기초하여, 유저(U)에 의한 정보의 빠뜨림이 있는지의 여부를 판단한다(스텝 S21). 정보 빠뜨림 검출부(40)로부터 송신된 검출 결과가, 「빠뜨림 있음」인 경우에는 그 시점에서의 재생 속도(V)에 변수(Pdec)를 승산하여 재생 속도(Vk)를 산출한다(스텝 S22). Pdec이 0.5이며, 그 시점에서의 재생 속도(V)가 1배속인 경우에는 재생 속도(Vk)는 0.5(Pdec)×1(V)=0.5배속으로 된다. 즉, 유저(U)에 의한 정보의 빠뜨림이 있었다고 판단된 경우에는 재생 속도를 느리게 하는 처리가 행해진다. 또한, 재생 속도(V)가 1배속인 경우는 축적부(30)에 기록된 영상의 프레임 레이트를 유지한 채 재생을 행하고 있는 경우를 말한다.

정보 빠뜨림 검출부(40)로부터 송신된 검출 결과가 「빠뜨림 없음」인 경우에는 그 시점에서의 재생 속도(V)에 변수(Pinc)를 승산하여 재생 속도(Vk)를 산출한다(스텝 S23). Pinc가 1.5이며, 재생 속도(V)가 1배속인 경우에는 재생 속도(Vk)는 1.5×1=1.5배속으로 된다. 그리고 스텝 S22 또는 스텝 S23에서 산출된 재생 속도(Vk)는 부호화·복호 처리부(20)와 재생 속도 변환부(60)에 출력된다(스텝 S24). 즉, 유저(U)에 의한 정보의 빠뜨림은 없었다고 판단된 경우에는 유저(U)의 정보 취득에 아직 여유가 있다고 판단하여 재생 속도를 빠르게 하는 처리가 행해진다.

재생 속도(Vk)는, 재생 속도 변환부(60)에 있어서는 재생 속도 변환이 되는 곳의 값으로 된다. 재생 속도 변환부(60)에서는, 그 시점에서의 재생 속도(V)를 재생 속도(Vk)로 변환하는 처리, 즉 재생 속도(Vk)를 새로운 재생 속도(V)로 하는 처리가 행해진다. 따라서, 재생 속도(V)는 재생 속도(Vk)에 기초할 때마다 변경된다. 예를 들어 재생 속도(V)가 1.5배인 경우이며, 스텝 S21의 판단에 의해 정보의 빠뜨림이 있었다고 판단된 경우에는 스텝 S22에서 0.5(Pdec)×1.5(재생 속도(V))의 계산이 행해져, 재생 속도(Vk)는 0.75로 된다. 그리고 재생 속도 변환부(60)에 의한 재생 속도 변환 처리에 의해 재생 속도(Vk)=재생 속도(V)=0.75배속으로 된다.

이어서, 도 6을 참조하여, 재생 속도 변환부(60)의 처리예에 대하여 설명한다. 도 6의 (a)에는 재생 속도 변환부(60)에 입력되는 프레임을, 시계열로 좌측부터 순서대로 배열한 상태를 나타내고 있으며, 도 6의 (b)에는 재생 속도 변환부(60)로부터 출력되는 각 프레임을 동일하게 시계열로 좌측부터 순서대로 배열한 상태를 나타내고 있다. 도 6에서는 각각의 프레임에 f1 내지 fn(n은 자연수)의 프레임 번호를 부여하고 있다.

재생 속도 변환부(60)에 입력되는 프레임 수는, 재생 속도(Vk)×블록 사이즈(B)로 구해진다. 블록 사이즈(B)는 재생 속도 변환부(60)의 루틴이 실시되는 시간의 간격(T)에 축적부(30)에 축적된 영상의 프레임 레이트(fr)를 승산함으로써 산출된다. 예를 들어 재생 속도 변환부(60)의 루틴이 실시되는 시간의 간격(T)이 1초이며, 축적부(30)에 축적된 영상의 프레임 레이트(fr)가 30fps인 경우에는 블록 사이즈(B)는 1(T)×30(B)=30(프레임)으로 된다. 그리고 재생 속도(Vk)가 3인 경우에는 재생 속도 변환부(60)에 입력되는 프레임 수는 30×3=90(프레임)으로 된다.

재생 속도 변환부(60)에 입력되는 프레임 수란, 즉 부호화·복호 처리부(20)가 축적부(30)로부터 추출한 프레임 수이다. 부호화·복호 처리부(20)는 재생 속도 결정부(50)로부터 입력된 재생 속도(Vk)와, 축적부(30)에 기록된 영상의 프레임 레이트(fr)와, 재생 속도 변환부(60)의 루틴이 실시되는 시간의 간격(T)을 기초로, 축적부(30)로부터 추출하는 프레임 수를 산출한다. 그리고 산출된 프레임 수만큼 축적부(30)로부터 프레임을 추출하여 재생 속도 변환부(60)에 출력한다.

도 6의 (a)에는 재생 속도 변환부(60)에 90프레임의 영상이 입력된 예를 나타내고 있다. 재생 속도 변환부(60)에서는 취득된 프레임을 블록 사이즈(B) 이내에 들어가도록, 일정한 샘플링 간격으로 프레임을 씨닝함으로써 재생 속도의 변환을 행한다. 예를 들어 블록 사이즈(B)가 30인 경우에는 취득된 90프레임을 3프레임 단위로 씨닝하여, 30프레임으로 하는 처리를 행한다. 도 6의 (b)에는 30프레임으로 씨닝된 후의 프레임을 나타내고 있으며, 씨닝된 30프레임이 부호화·복호 처리부(20)로부터 입력된 프레임 내의 프레임 번호(f1, f4, f7, f10, …, f88)로 구성되어 있는 것을 나타내고 있다. 도 6에 도시된 예에 있어서는, 이러한 처리를 행함으로써 재생 속도를 3배로 하고 있다. 이 방법은 복잡한 구성을 사용하지 않고 실현 가능하기 때문에, 이 방법을 사용함으로써 하드웨어의 규모를 억제할 수 있게 된다.

또한, 도 6에 도시된 예에서는 부호화·복호 처리부(20)로부터 입력된 프레임을 일정한 샘플링 간격으로 씨닝함으로써 재생 속도의 변환을 행하는 경우를 나타냈지만, 프레임 레이트 자체를 변환함으로써 재생 속도를 변환하도록 해도 좋다. 예를 들어, 도 7의 (a)에 나타낸 90프레임의 프레임 레이트를 30fps로부터 90fps로 변환함으로써 도 7의 (b)에 도시된 바와 같이 90fps의 프레임 레이트의 영상을 90프레임분 출력하도록 해도 좋다. 이렇게 처리함으로써 입력된 프레임 모두 출력되게 되기 때문에 출력 영상에 있어서의 껌벅거림이 적어져, 고품질의 영상을 얻을 수 있다.

혹은, 부호화·복호 처리부(20)로부터 입력된 프레임 중 정보량이 많은 프레임만을 추출하여 재생용의 프레임으로 함으로써 속도 변환을 행하도록 해도 좋다. 이 경우의 처리예를 도 8의 흐름도에 나타내고 있다. 도 8에 도시된 처리는 1초 간격으로 행해지는 것으로 한다(즉, T=1). 우선, 부호화·복호 처리부(20)에 의해 재생 속도(Vk)×블록 사이즈(B)분의 프레임이 축적부(30)로부터 취득되고(스텝 S31), 이어서 프레임 번호(fx(x는 1부터 n 사이의 소정의 수를 나타낸다))의 프레임에 있어서, 주목 화소와 그 인접 화소의 화소값의 차를 산출한 후, 인접 화소와의 화소값의 차가 임계값(Th) 이상으로 되는 화소의 총수(Si)를 산출한다(스텝 S32). 즉, 부호화·복호 처리부(20)로부터 입력된 모든 프레임에 있어서, 상술한 화소의 총수(Si)가 산출된다.

스텝 S31에서는, 예를 들어 재생 속도(Vk)가 1.5, 블록 사이즈가 30인 경우에는 1.5×30=45프레임이 취득된다. 따라서, 스텝 S32에서 처리되는 프레임 번호는 f1 내지 f45로 된다. 스텝 S32에서 사용하는 임계값(Th)으로서는, 예를 들어 50 등의 수치를 설정하는 것으로 한다.

스텝 S32의 처리는, 스텝 S31에서 취득된 모든 프레임에 대하여 행해지는 것이며, 스텝 S33에서는 취득된 모든 프레임의 처리가 완료되었는지의 여부의 판단을 행한다. 모든 프레임에 있어서 처리가 완료되었다고 판단된 경우에는 이어서 인접 화소와의 화소값의 차가 임계값(Th) 이상으로 되는 화소의 총수(Si)가 큰 프레임을 블록 사이즈만큼 추출하여 프레임 번호순으로 출력하는 처리를 행한다(스텝 S34).

도 9에 이러한 처리를 행한 경우의 예를 도시하고 있다. 도 9의 (a)에는 재생 속도 변환부(60)에 입력된 45프레임을 프레임 번호가 적은 순서대로 좌측으로 배열한 상태를 나타내고 있다. 이 45프레임 내에서 인접 화소와의 화소값의 차가 임계값(Th) 이상으로 되는 화소의 총수인 Si가 큰 프레임을 블록 사이즈인 30프레임만큼 추출하여, 프레임 번호순으로 배열한 상태를 도 9의 (b)에 도시하고 있다. 도 9의 (b)에는 재생 속도 변환부(60)로부터 출력되는 30프레임이, 프레임 번호(f2, f3, f5, f7, f9, f10, …, f25)로 구성되어 있는 것을 나타내고 있다. 즉, 도 8 및 도 9에 도시된 방법에 의하면, 정보량이 많은 프레임만을 추출함으로써, 재생 속도를 빠르게 할(도 8, 도 9의 예에서는 1.5배) 수 있다. 또한, 이러한 처리에 의하면, 입력 프레임 중 자막 등의 문자 정보가 많이 포함될 가능성이 높은 프레임을 남길 수 있기 때문에, 속도 변환 처리에 의해 유저가 필요로 하는 정보를 삭제해 버리는 경우가 없게 된다. 이에 의해, 유저(U)는 효율적으로 정보를 취득할 수 있게 된다.

이상 설명한 본 실시 형태의 구성 및 처리에 의하면, 유저(U)의 시선(L1)의 위치 정보나 시선(L1)의 시간 방향의 천이 정보를 기초로, 유저(U)에 의한 정보의 빠뜨림의 유무가 판단되어, 빠뜨림이 있었다고 판단된 경우에는 재생 속도를 느리게 하는 처리가 행해진다. 이에 의해 유저(U)는, 정보를 빠뜨린 경우에도 빠뜨린 정보를 내측에 배치된 표시 장치의 화면 상에서 여유를 갖고 확인할 수 있게 된다.

또한, 빠뜨림은 발생하고 있지 않다고 판단된 경우에는 유저(U)의 정보 취득에 아직 여유가 있다고 판단되어 재생 속도가 빨라지기 때문에, 유저(U)는 더 효율적으로 정보를 취득할 수 있게 된다.

또한, 유저(U)에 의한 정보의 빠뜨림의 유무가 자동으로 판단되기 때문에, 유저(U)가 그 내부 상태를 자기 신고할 필요가 없게 된다. 따라서, 유저(U)에게 부담이 되는 일이 없어져, 유저(U)는 정보 취득에 집중할 수 있게 된다.

또한, 표시 장치(2A 내지 2E)에 재제시하는 정보는 영상이 아니어도 좋고, 정지 화상이나 자막 등의 문자 정보뿐이어도 좋은 것으로 한다.

또한, 상술한 실시 형태에서는 표시 장치(2A) 상에 유저(U)의 시선(L1)이 있는 경우에는 영상의 재생 속도를 높이는 구성으로 되어 있지만, 표시 장치(2A) 상에 유저(U)의 시선(L1)이 있는 동안에는 재생 속도의 변경을 행하지 않는 구성으로 해도 좋다.

또한, 상술한 실시 형태에서는 표시 장치(2A 내지 2E)를 세로 방향(깊이 방향)으로 배열한 경우를 예로 들었지만, 가로 방향으로 배열해도 좋다. 이 경우의 시스템 구성예를 도 10에 도시하고 있다. 도 10에 있어서, 도 1과 대응하는 부분에는 동일한 부호를 부여하고 있다. 도 10의 우측 단부에는 표시 장치(2A)를 배치하고 있으며, 표시 장치(2A)의 좌측 옆에는 소정의 간격을 두고 표시 장치(2B)를 배치하고 있다. 이하 마찬가지로, 표시 장치(2B)의 좌측 옆에는 표시 장치(2C)를, 표시 장치(2C)의 좌측 옆에는 표시 장치(2D)를, 표시 장치(2D)의 좌측 옆에는 표시 장치(2E)를 배치하고 있다.

이 시스템의 내부 구성에 대해서는, 도 2에 도시된 구성과 동일하게 되어 있다. 즉, 표시 장치(2A)는 재생 속도 변환부(60)와 직접 접속되어 있는 것에 대해, 표시 장치(2B 내지 2E)에는 각각 지연부(70A 내지 70D)를 접속하고 있다. 이로 인해, 표시 장치(2A)에는 지연이 가해지고 있지 않은 영상이 표시되고, 표시 장치(2B)에는 표시 장치(2A)에 표시되는 영상보다 2D초 지연된 영상이 표시되고, 가장 좌측 단부에 배치된 표시 장치(2E)에는 표시 장치(2A)에 표시되는 영상보다 4D초 지연된 영상이 표시된다. 이 때문에 유저(U)에게는 각 표시 장치(2)에 표시되는 영상이 우측으로부터 좌측으로, 즉 표시 장치(2A)측으로부터 표시 장치(2E)측으로 이동하고 있다는 착각이 초래된다.

도 10에 도시된 시스템에 있어서, 유저(U)는 중앙에 배치된 표시 장치(2C)(제2 표시부)를 시청하고 있는 상태에서 자막 등의 정보를 빠뜨려 버린 경우에는 빠뜨린 정보를 다시 확인하기 위해, 표시 장치(2C)보다 시간적으로 지연된 영상을 표시하고 있는 표시 장치(2D) 또는 표시 장치(2E)에 시선을 이동시키게 된다. 즉, 정보를 빠뜨린 경우에는 시선을 좌측 방향으로 이동시키게 된다. 또한, 유저(U)는 표시 장치(2C)에 표시되어 있는 영상의 미래의 영상을 보려는 경우에는 표시 장치(2C)에 앞으로 표시될 영상을 이미 표시한 표시 장치(2B)나 표시 장치(2A)로 시선을 이동시키게 된다. 즉 정보의 빠뜨림이 없어, 정보의 취득에 아직 여유가 있는 경우에는 시선을 우측 방향으로 이동시키게 된다. 도 11에는, 이 경우의 유저(U)의 동작의 모식도를 나타내고 있다. 유저(U)는, 도 11에 도시된 바와 같이 빠뜨린 영상을 다시 확인하려는 경우에는 시선을 좌측 방향(화살표(A1)의 방향)으로 옮기고, 시간적으로 앞으로의 영상을 보려는 경우에는 시선을 우측 방향(화살표(A2)의 방향)으로 옮기게 된다.

도 10에 도시된 예에서는, 유저(U)의 시선이 중앙의 표시 장치(2C) 상에 있는 경우에는 재생 속도의 변환을 행하지 않고, 시선이 우측으로 이동한 경우에는 재생 속도를 높이고, 시선이 좌측으로 이동했을 때에는 재생 속도를 느리게 하는 처리를 행하도록 하고 있다. 이 경우의 정보 빠뜨림 검출부(40)(도 2 참조)의 처리의 예에 대해, 도 12를 참조하여 설명한다. 정보 빠뜨림 검출부(40)는 우선 시선 검출 장치(3)로부터 송신된 정보에 기초하여, 유저(U)의 시선이 중앙의 표시 장치(2C)의 화면에 있는지의 여부의 판단을 행한다(스텝 S41). 유저(U)의 시선(L1)이 중앙의 화면(표시 장치(2C)의 화면)에 있다고 판단한 경우에는 아무것도 행하지 않고 처리를 종료한다.

유저(U)의 시선(L1)이 중앙의 화면에 없다고 판단한 경우에는 이어서 유저(U)의 시선(L1)이 표시 장치(2C)의 좌측에 배치된 표시 장치의 화면에 있는지의 여부의 판단을 행한다(스텝 S42). 유저(U)의 시선(L1)이 좌측의 화면에 있다고 판단한 경우에는 유저(U)에 의한 정보의 빠뜨림이 발생했다고 판단하여(스텝 S43), 「빠뜨림 있음」이라는 검출 결과를 재생 속도 결정부(50)(도 1 참조)에 송신한다(스텝 S44).

스텝 S42에 있어서, 유저(U)의 시선(L1)이 좌측의 화면에는 없다고 판단한 경우에는 이어서 유저(U)의 시선(L1)이 우측의 화면에 있는지의 여부의 판단을 행한다(스텝 S45). 유저(U)의 시선(L1)이 우측의 화면에 없다고 판단한 경우에는 처리를 종료하고, 유저(U)의 시선(L1)이 우측의 화면에 있다고 판단한 경우에는 유저(U)에 의한 정보의 빠뜨림은 발생하고 있지 않다고 판단하고(스텝 S46), 「빠뜨림 없음」이라는 검출 결과를 재생 속도 결정부(50)에 출력한다(스텝 S44).

재생 속도 결정부(50)는 도 5의 흐름도에 기재된 처리를 행하는 것이며, 정보 빠뜨림 검출부(40)로부터 송신된 검출 결과가 「빠뜨림 있음」인 경우에는 그 시점에서의 재생 속도(V)에 변수(Pdec)를 승산하여 재생 속도(Vk)를 산출하고(스텝 S22), 산출된 재생 속도(Vk)를 부호화·복호 처리부(20)와 재생 속도 변환부(60)에 출력한다(스텝 S24). 정보 빠뜨림 검출부(40)로부터 송신된 검출 결과가 「빠뜨림 없음」인 경우에는 그 시점에서의 재생 속도(V)에 변수(Pinc)를 승산하여 재생 속도(Vk)를 산출하고(스텝 S23), 산출된 재생 속도(Vk)를 부호화·복호 처리부(20)와 재생 속도 변환부(60)에 출력한다(스텝 S24).

전술한 바와 같이, 변수(Pinc)는 재생 속도(V)를 빠르게 하기 위한 변수이며, 변수(Pdec)는 재생 속도(V)를 느리게 하기 위한 변수이다. 그리고 재생 속도 변환부(60)에서, 그 시점에서의 재생 속도(V)는 변수(Pinc) 또는 변수(Pdec)가 승산된 재생 속도(Vk)로 변환된다. 즉, 유저(U)의 시선(L1)이 중앙보다 우측에 배치된 표시 장치 상에 있는 경우에는 정보의 빠뜨림이 발생하고 있지 않다고 판단하여 영상의 재생 속도를 빠르게 하는 처리가 행해진다. 또한, 유저(U)의 시선(L1)이 중앙보다 좌측에 배치된 표시 장치 상에 있는 경우에는 정보의 빠뜨림이 발생하고 있다고 판단하여 영상의 재생 속도를 느리게 하는 처리가 행해진다.

이러한 처리가 행해짐으로써, 예를 들어 유저(U)가 시선(L1)을 우측의 표시 장치로 이동시킨 경우에는 재생 속도(V)가 빨라지지만, 빨라진 재생 속도가 유저(U)에 있어서 최적이면, 유저(U)는 중앙에 배치된 표시 장치(2C) 상에서 영상을 시청하게 된다. 유저(U)의 시선(L1)이 표시 장치(2C) 상에 있는 동안은 재생 속도는 변경되지 않기 때문에 유저(U)는 표시 장치(2C) 상에 표시된 영상을 계속 시청함으로써 원하는 재생 속도를 유지할 수 있다.

또한, 유저(U)는 재생 속도가 빨라진 것에 의해 정보를 빠뜨려 버린 경우에는 빠뜨린 정보를 따라가 시선(L1)을 우측으로부터 좌측으로 이동시키게 된다. 그리고 시선(L1)이 중앙보다 좌측의 표시 장치 상으로 이동한 경우에는 재생 속도(V)는 느려진다. 이러한 시선의 이동이 반복됨으로써 중앙에 배치된 표시 장치(2C) 상에서 유저(U)에 있어서의 최적의 재생 속도에 의한 표시가 행해지게 된다. 즉, 도 13에 도시된 바와 같이 유저(U)의 시선이 좌측(화살표(A1)의 방향)으로 옮겨진 경우에는 영상의 재생 속도를 낮추고, 유저(U)의 시선이 우측(화살표(A2)의 방향)으로 옮겨진 경우에는 영상의 재생 속도를 빠르게 하는 처리를 행함으로써, 유저(U)의 시선(L1)이 저절로 중앙에 배치된 표시 장치(2C) 상에 모이게 된다. 즉, 유저(U)의 정보 취득 능력이나 사용 상황, 기호에 따라 정보 제시량이 적절하게 조정된다.

또한, 도 10에 도시된 예에서는 지연이 가해지고 있지 않은 영상을 표시하는 표시 장치(2A)를 가장 우측에 배치하는 경우를 예로 들었지만, 표시 장치(2A)를 좌측 단부에 배치하고, 배치 위치가 우측으로 진행됨에 따라 각 표시 장치 상에 표시되는 영상이 지연되어 가는 형태에 적용해도 좋다.

이어서, 본 발명의 제2 실시 형태에 대해, 도 14 내지 도 16을 참조하여 설명한다. 본 실시 형태에 있어서는, 유저(U)에 의한 정보의 빠뜨림이 있었다고 판단한 경우에 유저(U)가 빠뜨린 정보를 유저(U)에 대하여 가장 전방측에 배치한 표시 장치(2A) 상에 재제시하는 처리를 행한다. 표시 장치(2A 내지 2E)의 배치는, 도 1에 도시된 배치인 것으로 한다.

도 14는 본 실시 형태에 있어서의 시스템의 구성예를 도시하는 블록도이다. 도 14에 있어서, 도 2에 대응하는 부분에는 동일한 부호를 부여하고 있다. 도 14에 도시된 시스템은 재생 장치(1')와, 재생 영상을 표시하는 표시 장치(2A), 표시 장치(2B), 표시 장치(2C), 표시 장치(2D), 표시 장치(2E)와, 유저(U)의 시선(L1)의 위치를 검출하는 시선 검출 장치(3)로 구성된다.

우선 재생 장치(1′)의 구성으로부터 설명하면 재생 장치(1′)에는 영상 입력부(10)와, 부호화·복호 처리부(20)와, 축적부(30)와, 정보 빠뜨림 검출부(40)와, 재생 속도·재생 위치 결정부(80)와, 재생 속도 변환부(60)와, 지연부(70A, 70B, 70C, 70D)가 포함된다. 영상 입력부(10), 부호화·복호 처리부(20), 축적부(30), 정보 빠뜨림 검출부(40), 재생 속도 변환부(60), 지연부(70A 내지 70D)의 각 부의 구성에 대해서는 제1 실시 형태에 있어서의 구성과 동일하기 때문에 설명을 생략한다. 재생 속도·재생 위치 결정부(80)에는 재제시 정보 기억부로서의 재제시 큐(81)와, 재생 위치 기억부로서의 메모리(82)를 접속하고 있다.

재생 속도·재생 위치 결정부(80)는 변수(Pinc)와 변수(Pdec)를 갖고 있으며, 정보 빠뜨림 검출부(40)로부터 송신된 검출 결과에 따라 변수(Pinc)와 변수(Pdec) 중 무엇을 적용할지를 결정한다. 여기까지는 제1 실시 형태에서 설명한 재생 속도 결정부(50)와 마찬가지의 처리가 이루어진다. 정보 빠뜨림 검출부(40)에서는 제1 실시 형태에서 설명한 바와 같이 유저(U)의 시선(L1)이 표시 장치(2A) 상에 없는 경우나, 표시 장치(2A)보다 내측으로 이동하고 있는 경우, 가장 내측에 배치한 표시 장치(2E) 상에 있는 경우에 유저(U)에 의한 정보의 빠뜨림이 있었다고 판단한다.

재생 속도·재생 위치 결정부(80)는 정보 빠뜨림 검출부(40)로부터 송신된 검출 결과가 유저(U)에 의한 정보의 빠뜨림이 있는 것을 나타내는 것인 경우에는 표시 장치(2E)에 의해 표시 중인 영상의 프레임 번호(재생 위치 정보)를 재제시 큐(81)에 기억시킴과 함께, 재생 위치 정보를 부호화·복호 처리부(20)에 송신한다. 재제시 큐(81)는 FIFO(First In First Out)형의 메모리 등으로 구성되어 있다. 또한 본 예에서는 가장 내측에 배치한 표시 장치(2E)에 의해 표시 중인 프레임의 프레임 번호를 재제시 큐(81)에 기억시키도록 했지만, 시선(L1)이 위치하고 있는 표시 장치에 의해 표시 중인 프레임을 기억시키도록 하여도 된다.

재생 속도·재생 위치 결정부(80)는 재제시 큐(81)에 재생 위치 정보가 축적되어 있는지의 여부를 소정의 간격으로 확인하도록 되어 있으며, 재제시 큐(81)에 재생 위치 정보가 있는 경우에는 재생 위치 정보로서 기억된 프레임 번호를, 부호화·복호 처리부(20)에 전달하도록 되어 있다. 표시 장치(2A) 상에 유저(U)가 빠뜨린 정보가 한창 재제시되고 있으며 재제시 큐(81)에 재생 위치 정보가 축적되어 있는 경우에는 그 시점에서 표시 장치(2E) 상에 표시되어 있는 프레임의 프레임 번호를 메모리(82)에 기억시키는 처리를 행한다.

부호화·복호 처리부(20)에서는 재생 속도·재생 위치 결정부(80)로부터 보내진 프레임 번호에 대응하는 프레임을 축적부(30)로부터 판독하여 재생 속도 변환부(60)에 출력한다. 그리고 재생 속도 변환부(60)에서는 입력된 프레임을 소정의 재생 속도로 변환하여 표시 장치(2A)에 출력하는 처리를 행한다. 이와 같이 구성함으로써 유저(U)가 빠뜨린 정보가 유저(U)에게 가장 가까운 위치에 있는 표시 장치(2A) 상에 재제시된다. 유저(U)에 의한 정보 빠뜨림이 발생하고 있지 않은 경우에는 축적부(30)에 축적되어 있는 미제시의 영상이 표시 장치(2A 내지 2E)에 출력된다. 또한, 표시 장치(2A)에 재제시하는 정보는 영상이 아니어도 좋고, 자막 등의 문자 정보뿐이어도 좋은 것으로 한다.

이어서, 재생 속도·재생 위치 결정부(80)의 처리의 상세에 대해, 도 15의 흐름도를 참조하여 설명한다. 우선, 정보 빠뜨림 검출부(40)로부터 보내진 검출 결과에 있어서, 유저(U)에 의한 정보의 빠뜨림이 있었는지의 여부의 판단을 행한다(스텝 S51). 정보의 빠뜨림이 있었다고 판단한 경우에는 재제시 큐(81)에 현재의 표시 위치(표시 장치(2E)에 의해 표시 중인 프레임의 프레임 번호)를 추가함과 함께(스텝 S52), 현재의 재생 속도(V)에 변수(Pdec)를 승산한 것을 새로운 재생 속도(Vk)로 하는 처리를 행한다(스텝 S53).

스텝 S41에서 정보의 빠뜨림은 없었다고 판단된 경우에는 현재의 재생 속도(V)에 변수(Pinc)를 승산한 것을 새로운 재생 속도(Vk)로 하는 처리를 행한다(스텝 S54). 그리고 이어서, 표시 장치(2A)에 있어서 유저(U)가 빠뜨린 정보가 한창 재제시되고 있는지의 여부의 판단을 행한다(스텝 S55). 재제시 중이 아니라고 판단한 경우에는 재제시 큐(81)에 재생 위치 정보가 축적되어 있는지의 판단을 행하여(스텝 S56), 축적되어 있지 않은 경우에는 처리를 종료한다.

표시 장치(2A)에 있어서, 유저(U)가 빠뜨린 정보가 한창 재제시되고 있으며, 재제시 큐(81)에 재생 위치 정보가 축적되어 있는 경우에는 표시 장치(2E)에 의해 표시 중인 프레임을 현재의 재생 위치로서 메모리(82)에 보존한다(스텝 S57). 그리고 재제시 큐(81)에 축적되어 있는 재생 위치 정보를 현재의 재생 위치 정보로서 부호화·복호 처리부(20)에 출력한다(스텝 S58).

스텝 S55에서 빠뜨림 정보의 재제시 중이 아니라고 판단된 경우에는 재제시 큐(81)에 재생 위치 정보가 축적되어 있는지의 여부의 판단을 행한다(스텝 S59). 재제시 큐(81)에 재생 위치 정보가 축적되어 있다고 판단한 경우에는 스텝 S58로 진행하여 재제시 큐(81)에 축적되어 있는 재생 위치 정보를 현재의 재생 위치 정보로서 부호화·복호 처리부(20)에 출력하는 처리를 행한다. 스텝 S59에서 재제시 큐(81)에 재생 위치 정보가 축적되어 있지 않다고 판단된 경우에는 메모리(82)에 기억되어 있는 재생 위치 정보를 판독하여 부호화·복호 처리부(20)에 출력하는 처리를 행한다(스텝 S60).

이러한 처리를 행함으로써 유저(U)가 빠뜨린 정보가 표시 장치(2A) 상에 재제시됨과 함께 정보 재제시 중에 있어서도 영상의 재생 위치 정보가 메모리(82)에 기억된다. 그리고 정보 재제시 처리 종료 후에 메모리(82)에 기억된 재생 위치 정보에 대응하는 영상이 판독되게 되기 때문에 표시 장치(2A) 상에는 재제시 전에 표시되어 있던 영상의 다음이 표시된다.

도 16에는 정보 재제시 처리에 대하여 설명한 도면을 도시하고 있다. 도 16의 (a)에 도시된 바와 같이 유저(U)가 표시 장치(2A)에 표시된 자막 등의 중요 정보를 빠뜨린 경우에는 유저(U)의 시선(L1)은 자막을 따라가 내측의 방향으로 이동하게 된다(도 16의 (b) 참조). 즉, 시선(L1)이 표시 장치(2A) 상에 없게 된다. 따라서, 시선 검출 장치(3)로부터의 검출 결과를 받은 정보 빠뜨림 검출부(40)는 유저(U)에 의한 정보의 빠뜨림이 있었다고 판단한다. 판단 결과는 재생 속도·재생 위치 결정부(80)에 출력되고, 그 시점에서 표시 장치(2E)에 표시되어 있던 프레임의 프레임 번호가 재제시 큐(81)에 추가됨과 함께 재생 속도(V)에 변수(Pdec)가 승산되어 새로운 재생 속도(Vk)가 산출된다. 재제시 큐(81)에 기억시키는 프레임 번호와, 재생 속도(Vk)는 부호화·복호 처리부(20)와 재생 속도 변환부(60)에도 출력된다.

부호화·복호 처리부(20)에서는 재생 속도·재생 위치 결정부(80)로부터 출력된 프레임 번호에 대응하는 프레임을 축적부(30)로부터 판독하는 처리가 행해진다. 축적부(30)로부터 판독된 프레임은 재생 속도 변환부(60)에 입력되고, 재생 속도 변환부(60)에 의해 재생 속도가 Vk로 변환된다. 그리고 재생 속도가 Vk로 변환된 영상은 표시 장치(2A)에 출력된다. 즉, 표시 장치(2A) 상에 유저(U)가 빠뜨린 자막 등의 정보가 재제시된다(도 16의 (c) 참조).

이상 설명한 본 실시 형태의 구성 및 처리에 의하면, 유저(U)의 시선(L1)이 표시 장치(2A) 상에 없는 경우에 유저(U)에 의한 정보의 빠뜨림이 발생하고 있다고 간주되어, 그때에 유저(U)가 보고 있던 영상이 표시 장치(2A) 상에 재제시된다. 이로 인해, 유저(U)에 의한 정보의 빠뜨림을 확실하게 방지할 수 있게 된다.

또한, 여기까지 설명한 실시 형태에서는, 표시 장치(2)를 복수대 사용한 구성을 예로 들어 설명했지만, 1대의 표시 장치(2)의 화면을 복수의 영역으로 분할하고, 분할된 각 영역에 대하여 영상을 출력하도록 해도 좋다. 도 17의 (a)에는 표시 장치(2)의 화면을 세로 방향으로 5개로 분할한 경우의 예를 나타내고 있으며, 도 17의 (b)에는 표시 장치(2)의 화면을 가로 방향으로 5개로 분할한 경우의 예를 나타내고 있다. 이러한 표시 장치(2)를 사용함으로써 상술한 실시 형태에 있어서의 효과와 마찬가지의 효과를 얻을 수 있다.

1 : 재생 장치
2, 2A 내지 2E : 표시 장치
3 : 시선 검출 장치
4 : 케이블
10 : 영상 입력부
20 : 부호화·복호 처리부
30 : 축적부
40 : 정보 빠뜨림 검출부
50 : 재생 속도 결정부
60 : 재생 속도 변환부
61 : 영상 처리부
62 : 음성 처리부
70A 내지 70D : 지연부
80 : 재생 속도·재생 위치 결정부
81 : 재제시 큐
82 : 메모리
A1, A2 : 화살표
B : 블록 사이즈
L1 : 시선
Pdec, Pinc : 변수
Si : 총수
T, Th : 간격
U : 유저
V, Vk : 재생 속도
f1, f2, fx : 프레임 번호
fr : 프레임 레이트

Claims

정보 제시 장치로서,
재생 속도가 변환된 영상에 소정량의 지연을 가하여, 복수의 표시부 중 제1 표시부 이외의 표시부에 출력하는 지연부와,
부여된 변수에 기초하여 입력 영상의 재생 속도를 변환하여, 상기 제1 표시부 및 상기 지연부에 출력하는 재생 속도 변환부와,
유저의 시선의 위치를 검출하는 시선 검출부에 의해 검출된 시선의 위치가, 상기 복수의 표시부 중 제2 표시부의 화면 상에 있는지의 여부를 판정하여 판정 결과를 출력하는 시선 위치 판정부와,
상기 시선 위치 판정부에 의한 판정 결과에 따라 상기 재생 속도를 결정하여, 상기 재생 속도에 따른 변수를 상기 재생 속도 변환부에 출력하는 재생 속도 결정부를 구비한, 정보 제시 장치.
제1항에 있어서, 상기 제1 표시부와 상기 제2 표시부는 동일한, 정보 제시 장치.
제2항에 있어서, 상기 재생 속도 결정부는, 상기 시선 검출부에 의해 검출된 시선의 위치가 상기 제1 표시부의 화면 상에 있다고 판단한 경우에는 상기 재생 속도를 빠르게 하는 변수를 상기 재생 속도 변환부에 출력하고, 상기 시선 검출부에 의해 검출된 시선의 위치가 상기 제1 표시부의 화면 상에 없다고 판단한 경우에는 상기 재생 속도를 느리게 하는 변수를 상기 재생 속도 변환부에 출력하는, 정보 제시 장치.
제1항에 있어서, 상기 복수의 표시부는 상기 제1 표시부를 선두로 하여 소정의 간격을 두고 순차적으로 배치되는, 정보 제시 장치.
제4항에 있어서, 상기 지연부가 상기 영상에 가하는 지연의 양은 상기 복수의 표시부의 배치 순서에 따라 설정되는, 정보 제시 장치.
제4항에 있어서, 상기 복수의 표시부는 상기 제1 표시부를 선두로 하여 상기 제1 표시부와의 깊이 방향의 거리가 서서히 이격되도록 소정의 간격을 두고 배치되는, 정보 제시 장치.
제6항에 있어서, 상기 시선 위치 판정부는, 상기 시선이 상기 제1 표시부의 위치로부터 깊이 방향으로 이동하고 있는 것을 검출한 경우 또는 상기 시선이 상기 복수의 표시부 중 깊이 방향으로 가장 내측의 위치에 배치된 표시부의 화면 상에 있다고 판단한 경우에, 상기 재생 속도를 느리게 하는 변수를 상기 재생 속도 변환부에 출력하는, 정보 제시 장치.
제2항에 있어서, 상기 재생 속도 결정부는, 상기 시선 검출부에 의해 검출된 시선의 위치가 상기 제1 표시부의 화면 상에 있다고 판단한 경우에는 상기 재생 속도 변환부에 변수를 출력하지 않는, 정보 제시 장치.
제4항에 있어서, 상기 재생 속도 결정부는, 상기 시선 검출부에 의해 검출된 시선의 위치가, 상기 제2 표시부의 화면 상에 없고, 또한 상기 시선의 위치가 상기 제1 표시부가 배치된 방향으로 배치된 표시부의 화면 상에 있다고 판단한 경우에는 상기 재생 속도를 빠르게 하는 변수를 상기 재생 속도 변환부에 출력하고, 상기 시선 검출부에 의해 검출된 시선의 위치가, 상기 제2 표시부의 화면 상에 없고, 또한 상기 시선의 위치가 상기 제1 표시부가 배치된 방향 이외의 방향으로 배치된 표시부의 화면 상에 있다고 판단한 경우에는 상기 재생 속도를 느리게 하는 변수를 상기 재생 속도 변환부에 출력하는, 정보 제시 장치.
제9항에 있어서, 상기 재생 속도 결정부는, 상기 시선 검출부에 의해 검출된 시선의 위치가 상기 제2 표시부의 화면 상에 있다고 판단한 경우에는 상기 재생 속도 변환부에 변수를 출력하지 않는, 정보 제시 장치.
제1항에 있어서,
상기 영상을 축적하는 축적부와,
상기 입력 영상을 부호화하여 상기 축적부에 출력하는 처리 및 상기 축적부에 축적된 영상의 복호를 행하여 출력하는 처리를 행하는 부호화·복호 처리부를 구비하고,
상기 재생 속도 결정부는, 상기 시선 검출부에 의해 검출된 시선의 위치가 상기 제1 표시부의 화면 상에 없다고 판단한 경우에는 판정을 행한 시점에서 상기 복수의 표시부 중 소정의 표시부에 표시되어 있던 영상의 프레임 번호 및 상기 재생 속도를 느리게 하는 변수를 상기 부호화·복호 처리부 및 상기 재생 속도 변환부에 출력하고,
상기 부호화·복호 처리부는, 상기 재생 속도 결정부로부터 출력된 프레임 번호에 대응하는 프레임을 상기 축적부로부터 판독하여 상기 재생 속도 변환부에 출력하고,
상기 재생 속도 변환부는, 상기 부호화·복호 처리부로부터 출력된 프레임의 재생 속도를, 상기 재생 속도 결정부로부터 출력된 상기 재생 속도를 느리게 하는 변수에 기초하여 변환하여 상기 제1 표시부에 출력하는, 정보 제시 장치.
제11항에 있어서, 상기 소정의 표시부는 상기 제1 표시부와의 거리가 가장 이격된 위치에 배치된 표시부인, 정보 제시 장치.
제11항에 있어서, 상기 소정의 표시부는 상기 시선 검출부가 검출한 시선의 위치에 배치되어 있는 상기 제1 표시부 이외의 표시부인, 정보 제시 장치.
제11항에 있어서,
상기 재생 속도 결정부가 출력하는 상기 프레임 번호를 기억하는 재제시 정보 기억부와,
상기 재제시 정보 기억부에 상기 프레임 번호가 기억되어 있는 경우에, 상기 소정의 표시부에 표시되어 있던 영상의 프레임 번호를 저장하는 재생 위치 기억부를 구비하고,
상기 재생 속도 결정부는, 상기 제1 표시부 상에 상기 재생 속도 결정부로부터 출력된 프레임 번호에 대응하는 프레임이 표시되어 있지 않은 경우이며, 또한 상기 재제시 정보 기억부에 상기 프레임 번호가 기억되어 있는 경우에는 상기 소정의 표시부에 표시되어 있는 영상의 프레임 번호를 상기 재생 위치 기억부에 출력함과 함께, 상기 재제시 정보 기억부에 기억되어 있는 프레임 번호를 판독하여 상기 부호화·복호 처리부에 출력하는, 정보 제시 장치.
제14항에 있어서, 상기 재생 속도 결정부는, 상기 재생 속도 결정부로부터 출력된 프레임 번호에 대응하는 프레임이 상기 제1 표시부 상에 표시되어 있는 경우이며, 또한 상기 재제시 정보 기억부에 상기 프레임 번호가 기억되어 있지 않은 경우에는 상기 재생 위치 기억부에 기억되어 있는 상기 프레임 번호를 판독하여 상기 부호화·복호 처리부에 출력하는, 정보 제시 장치.
제1항에 있어서, 상기 재생 속도 변환부는 상기 입력 영상을 구성하는 프레임을 소정의 간격으로 씨닝함으로써 상기 재생 속도의 변환을 행하는, 정보 제시 장치.
제1항에 있어서, 상기 재생 속도 변환부는 상기 입력 영상의 프레임 레이트를 바꿈으로써 상기 재생 속도의 변환을 행하는, 정보 제시 장치.
제1항에 있어서, 상기 재생 속도 변환부는, 상기 입력 영상의 각 프레임에 있어서의 인접 화소와의 화소값의 차가 소정의 값 이상으로 되는 화소의 총수를 산출하고, 상기 산출된 총수가 큰 프레임부터 순서대로 소정수의 프레임을 출력함으로써 상기 재생 속도의 변환을 행하는, 정보 제시 장치.
제1항에 있어서, 상기 표시부는 하나의 화면을 복수의 영역으로 분할한 경우의 분할된 각각의 영역인, 정보 제시 장치.
정보 제시 방법으로서,
재생 속도가 변환된 영상을 복수의 표시부 중 제1 표시부에 표시하는 수순과,
입력 영상에 소정의 프레임 주기 단위의 지연을 가하여 상기 제1 표시부 이외의 상기 표시부에 출력하는 수순과,
유저의 시선의 위치를 검출하여 검출 결과를 출력하는 수순과,
상기 검출된 시선의 위치가 상기 제1 표시부의 화면 상에 있는지의 여부를 판정하여 판정 결과를 출력하는 수순과,
상기 판정 결과에 따라 상기 재생 속도를 결정하여 상기 재생 속도에 따른 변수를 출력하는 수순과,
상기 출력된 변수에 따라 상기 영상의 재생 속도를 변환하는 수순을 구비한, 정보 제시 방법.