KR102592594B1 - 재생 장치와 재생 방법 및 정보 생성 장치와 정보 생성 방법 - Google Patents

재생 장치와 재생 방법 및 정보 생성 장치와 정보 생성 방법 Download PDF

Info

Publication number
KR102592594B1
KR102592594B1 KR1020187032840A KR20187032840A KR102592594B1 KR 102592594 B1 KR102592594 B1 KR 102592594B1 KR 1020187032840 A KR1020187032840 A KR 1020187032840A KR 20187032840 A KR20187032840 A KR 20187032840A KR 102592594 B1 KR102592594 B1 KR 102592594B1
Authority
KR
South Korea
Prior art keywords
playback
importance
area
image
information
Prior art date
Application number
KR1020187032840A
Other languages
English (en)
Other versions
KR20190008858A (ko
Inventor
고우지 오가와
히로후미 시마다
유타 무라타
마사코 고무라
Original Assignee
소니그룹주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니그룹주식회사 filed Critical 소니그룹주식회사
Publication of KR20190008858A publication Critical patent/KR20190008858A/ko
Application granted granted Critical
Publication of KR102592594B1 publication Critical patent/KR102592594B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/005—Reproducing at a different information rate from the information rate of recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/00007—Time or data compression or expansion
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/93—Regeneration of the television signal or of selected parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/00007—Time or data compression or expansion
    • G11B2020/00072—Time or data compression or expansion the compressed signal including a video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Marketing (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurosurgery (AREA)
  • Processing Or Creating Images (AREA)
  • Television Signal Processing For Recording (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

주목 위치 검출부(34)는, 동화상 데이터의 재생 화상에 대한 유저의 주목 위치를 검출한다. 동화상 데이터에는, 재생 화상을 가상적으로 분할한 가상 분할 영역의 위치와 가상 분할 영역의 중요도를 나타내는 화상 관련 정보가 관련지어져 있으며, 재생 제어부(37)는, 주목 위치 검출부(34)에 의해 검출한 주목 위치에 대응하는 가상 분할 영역의 중요도를 판별하여, 판별된 중요도에 따라서 동화상 데이터의 재생 동작을 제어하여, 예를 들어 중요도가 낮아지는 데 수반하여, 재생 동작에 있어서 씨닝하는 화상을 많이 설정하여 재생 속도를 빠르게 한다. 유저는, 주목 위치를 이동하는 것만으로 재생 동작을 제어하는 것이 가능하게 되어, 최적의 재생 동작을 용이하게 행할 수 있다.

Description

재생 장치와 재생 방법 및 정보 생성 장치와 정보 생성 방법
이 기술은, 재생 장치와 재생 방법 및 정보 생성 장치와 정보 생성 방법에 관한 것으로, 최적의 재생 제어를 행할 수 있도록 한다.
종래, 동화상 데이터의 재생 장치에서는, 재생 속도를 통상 속도보다 고속으로 한 재생 동작(빨리 감기 동작, 서치 동작)이 가능하게 되어 있다. 이러한 재생 동작에서는, 예를 들어 재생 속도에 따라서 프레임을 씨닝하여, 일부의 프레임만을 재생하는 것이 행해지고 있다. 또한, 특허문헌 1에서는, 원하는 씬의 재생을 용이하게 하기 위해서, 씬 마크를 복수의 그룹으로 그룹화하여 관리하여, 유저 간에서 혼동되는 일이 없는 씬 마크 구비가 가능하게 되어 있다.
일본 특허공개 제2010-074617호 공보
그런데, 동화상 데이터의 재생에 있어서, 유저가 원하는 재생 동작을 행하기 위해서는, 예를 들어 재생 장치나 리모트 컨트롤 장치의 조작부로부터 재생 동작을 전환하는 조작 버튼 등을 선택하여 조작하는 동작을, 재생 동작의 전환마다 반복할 필요가 있다. 이로 인해, 용이하게 최적의 재생 동작을 행하게 할 수 없다. 또한, 헤드부에 장착된 표시부에서 재생 화상을 표시하는 장치, 예를 들어 헤드 마운트 디스플레이 장치 등에서는, 재생 장치나 리모트 컨트롤 장치의 조작부를 시인하는 것이 곤란하다. 따라서, 원하는 재생 동작을 행하게 하기 위해 표시부의 착탈 등이 필요해져서 원하는 재생 동작으로의 전환이 더욱 번잡해진다.
그래서, 이 기술에서는 최적의 재생 동작을 용이하게 행할 수 있는 재생 장치와 재생 방법 및 정보 생성 장치와 정보 생성 방법을 제공하는 것을 목적으로 한다.
이 기술의 제1 측면은,
동화상 데이터의 재생 화상에 대한 유저의 주목 위치를 검출하는 주목 위치 검출부와,
상기 재생 화상을 가상적으로 분할한 가상 분할 영역의 위치와 중요도를 나타내는 상기 동화상 데이터에 관련지어진 화상 관련 정보에 기초하여, 상기 주목 위치 검출부에 의해 검출한 주목 위치에 대응하는 상기 가상 분할 영역의 중요도를 판별하여, 판별된 중요도에 따라서 상기 동화상 데이터의 재생 동작을 제어하는 재생 제어부
를 구비하는 재생 장치에 있다.
이 기술에 있어서, 주목 위치 검출부는, 동화상 데이터의 재생 화상을 보는 유저의 예를 들어 헤드부의 방향 또는 시선 방향을 검출하는 센서를 이용하여 구성되어 있으며, 센서의 검출 결과에 기초하여 재생 화상에 대한 헤드부의 방향 또는 시선 방향의 위치를 주목 위치로서 검출한다. 동화상 데이터에는, 재생 화상을 가상적으로 분할한 가상 분할 영역의 위치와 중요도를 나타내는 화상 관련 정보가 관련지어져 있으며, 재생 제어부는, 화상 관련 정보와 주목 위치 검출부의 검출 결과에 기초하여, 검출한 주목 위치에 대응하는 가상 분할 영역의 중요도에 따라서 동화상 데이터의 재생 동작을 제어한다. 예를 들어, 재생 제어부는, 재생 화상의 시간 정보를 이용하여 다음의 재생 화상을, 주목 위치에 대응하는 가상 분할 영역의 중요도에 따라서 설정하고, 중요도가 낮아지는 데 수반하여 재생 동작에 있어서 씨닝하는 화상이 많아지도록 설정한다. 또한, 동화상 데이터는 부호화된 정보이며, 재생 제어부는, 중요도에 따라서 동화상 데이터의 디코드 처리를 제어한다.
또한, 재생 제어부는, 중요도가 낮은 가상 분할 영역에 대응하는 화상 표시 영역에 정보 표시 영역을 형성한다. 화상 관련 정보에 가상 분할 영역에 포함되는 피사체에 관한 영역 피사체 정보가 포함되어 있는 경우, 재생 제어부는, 주목 위치 검출부에 의해 검출한 주목 위치에 대응하는 가상 분할 영역에 포함되는 피사체를 나타내는 영역 피사체 정보를 표시한다. 또한, 화상 관련 정보에 있어서 재생 화상의 시간 정보를 이용하여 시간마다 가상 분할 영역의 위치와 중요도와 가상 분할 영역에 포함되는 피사체에 관한 영역 피사체 정보를 나타내고 있는 경우, 재생 제어부는, 화상 관련 정보에 기초하여 시간과 피사체와 가상 분할 영역을 관련지어서 표시부에 표시하고, 시간과 가상 분할 영역에 대한 유저 선택 결과에 따라서 동화상 데이터의 재생 동작을 제어한다. 또한, 재생 제어부는, 영역 피사체 정보에 기초하여 원하는 피사체가 포함되는 가상 분할 영역을 판별하여, 판별 결과에 기초하여 동화상 데이터의 재생 동작을 제어해도 된다. 또한, 재생 제어부는, 원하는 피사체가 포함되는 가상 분할 영역과 주목 위치에 대응하는 가상 분할 영역이 상이한 경우, 원하는 피사체가 포함되는 가상 분할 영역의 위치를 제시한다.
또한, 재생 제어부는, 동화상 데이터의 재생 동작 이력을 화상 관련 정보와 함께 표시부에 표시해도 되고, 동화상 데이터의 재생 동작 이력을 재이용 가능하게 기억하여, 재생 동작 이력에 기초하여 동화상 데이터를 재생하는 경우, 재생 화상에서는 주목 위치에 대응하는 가상 분할 영역을 소정 위치로 해도 된다.
이 기술의 제2 측면은,
동화상 데이터의 재생 화상에 대한 유저의 주목 위치를 주목 위치 검출부에 의해 검출하는 것과,
상기 재생 화상을 가상적으로 분할한 가상 분할 영역의 위치와 상기 가상 분할 영역의 중요도를 나타내는 상기 동화상 데이터에 관련지어진 화상 관련 정보에 기초하여, 상기 주목 위치 검출부에 의해 검출한 주목 위치에 대응하는 상기 가상 분할 영역의 중요도를 판별하여, 판별된 중요도에 따라서 상기 동화상 데이터의 재생 동작을 재생 제어부에 의해 제어하는 것
을 포함하는 재생 방법에 있다.
이 기술의 제3 측면은,
동화상 데이터의 화상을 가상적으로 분할한 가상 분할 영역마다 중요도를 설정하여, 상기 화상에서의 상기 가상 분할 영역의 위치와 중요도를 나타내는 화상 관련 정보를, 상기 동화상 데이터에 관련지어 생성하는 화상 관련 정보 생성부
를 구비하는 정보 생성 장치에 있다.
이 기술에 있어서는, 화상 관련 정보 생성부는, 동화상 데이터의 화상을 가상적으로 분할한 가상 분할 영역마다 중요도를 설정한다. 중요도는, 시간마다의 가상 분할 영역에 대해서 설정된 화상 처리의 처리 결과에 기초하거나, 또는 시간마다의 가상 분할 영역에 대해서 설정된 복수의 화상 처리의 처리 결과에 기초하여 설정한다. 화상 관련 정보 생성부는, 동화상 데이터의 화상에서의 가상 분할 영역의 위치와 중요도의 관계를, 화상에 부여되어 있는 시간 정보를 이용하여 시간마다 나타내는 화상 관련 정보를 동화상 데이터에 관련지어 생성한다. 또한, 화상 관련 정보 생성부는, 화상 관련 정보에, 가상 분할 영역에 포함되는 피사체에 관한 영역 피사체 정보를 포함하도록 해도 된다. 화상의 가상적 분할은, 화상을 사용하여 특정 영역 인식 처리를 행하고, 인식 처리 결과에 기초하여 행하도록 해도 된다.
이 기술의 제4 측면은
동화상 데이터의 화상을 가상적으로 분할한 가상 분할 영역마다 중요도를 설정하여, 상기 화상에서의 상기 가상 분할 영역의 위치와 중요도를 나타내는 화상 관련 정보를, 상기 동화상 데이터에 관련지어서 화상 관련 정보 생성부에 의해 생성하는 것
을 포함하는 정보 생성 방법에 있다.
이 기술에 의하면, 동화상 데이터의 재생 화상에 대한 유저의 주목 위치가 주목 위치 검출부에 의해 검출된다. 또한, 재생 화상을 가상적으로 분할한 가상 분할 영역의 위치와 중요도를 나타내는 동화상 데이터에 관련지어진 화상 관련 정보에 기초하여, 주목 위치 검출부에 의해 검출한 주목 위치에 대응하는 가상 분할 영역의 중요도를 판별하여, 판별된 중요도에 따라서 동화상 데이터의 재생 동작이 재생 제어부에 의해 제어된다. 이로 인해, 유저는, 주목 위치를 이동하는 것만으로 재생 동작을 제어하는 것이 가능하게 되어, 최적의 재생 동작을 용이하게 행할 수 있다. 또한, 본 명세서에 기재된 효과는 어디까지나 예시이며 한정되는 것이 아니라, 또한 부가적인 효과가 있어도 된다.
도 1은, 화상 처리 시스템의 구성을 나타내는 도면이다.
도 2는, 정보 생성 장치의 구성을 예시한 도면이다.
도 3은, 분할 영역 구성 정보를 예시한 도면이다.
도 4는, 분할 영역 정의 1에 대응하는 분할 영역 정의 정보를 예시한 도면이다.
도 5는, 분할 영역 정의 1에 대응하는 가상 분할 상황을 예시한 도면이다.
도 6은, 분할 영역 정의 2에 대응하는 분할 영역 정의 정보를 예시한 도면이다.
도 7은, 분할 영역 정의 2에 대응하는 가상 분할 상황을 예시한 도면이다.
도 8은, 중요도 정의 정보를 예시한 도면이다.
도 9는, 다른 중요도 정의 정보를 예시한 도면이다.
도 10은, 중요도 환산 정보를 예시한 도면이다.
도 11은, 영역 중요도 정보를 예시한 도면이다.
도 12는, 정보 생성 장치의 동작을 예시한 흐름도이다.
도 13은, 정보 생성 장치의 다른 구성을 예시한 도면이다.
도 14는, 중요도 분할 영역 정의 정보를 예시한 도면이다.
도 15는, 정보 생성 장치의 다른 동작을 예시한 흐름도이다.
도 16은, 정보 생성 장치의 다른 동작을 설명하기 위한 도면이다.
도 17은, 재생 장치의 구성을 예시한 도면이다.
도 18은, 동작 설정 정보를 예시한 도면이다.
도 19는, 재생 장치의 동작을 예시한 흐름도이다.
도 20은, 중요도에 따른 키 프레임 화상 데이터의 취득 동작을 예시한 흐름도이다.
도 21은, 주목 위치에 대응하는 가상 분할 영역의 중요도와 화상 데이터가 취득되는 키 프레임의 관계를 예시한 도면이다.
도 22는, 중요도에 따른 키 프레임 화상 데이터의 취득 동작을 예시한 도면이다.
도 23은, 동화상 데이터가 나타내는 화상의 일부만을 표시하는 경우를 설명하기 위한 도면이다.
도 24는, GUI 화상을 예시한 도면이다.
도 25는, 화상 관련 정보에 대해서 재생 동작 이력을 중첩하여 표시한 경우를 예시한 도면이다.
이하, 본 기술을 실시하기 위한 형태에 대하여 설명한다. 또한, 설명은 이하의 순서로 행한다.
1. 화상 처리 시스템에 대하여
2. 정보 생성 장치의 구성과 동작
3. 정보 생성 장치의 다른 구성과 동작
4. 재생 장치의 구성과 동작
5. 재생 장치의 다른 동작
<1. 화상 처리 시스템에 대하여>
도 1은, 화상 처리 시스템의 구성을 나타내고 있다. 화상 처리 시스템(10)의 정보 생성 장치(20)는, 동화상 데이터에 관련짓는 화상 관련 정보를 생성한다. 화상 관련 정보는, 영역 중요도 정보를 갖고 있다. 영역 중요도 정보는, 재생되는 화상을 가상적으로 분할한 가상 분할 영역마다의 위치와 중요도를 나타내고 있다. 또한, 화상 관련 정보는, 가상 분할 영역에 포함되는 피사체를 나타내는 영역 피사체 정보를 가져도 된다. 또한, 관련짓는다라 함은, 동화상 데이터의 재생 시에 화상 관련 정보를 이용 가능하면 되며, 동화상 데이터의 파일에 화상 관련 정보를 포함하는 것, 동화상 데이터의 파일과 화상 관련 정보의 파일을 동일 기록 매체에 기록하는 것, 또는 동화상 데이터의 예를 들어 부속 정보로 나타내어진 화상 관련 정보의 제공원으로부터 통신로를 통해 화상 관련 정보를 취득 가능한 것 등을 나타내고 있다.
재생 장치(30)는, 동화상 데이터에 관련지어져 있는 화상 관련 정보에 기초하여 재생 동작을 제어하여, 예를 들어 통상 속도와 다른 속도로 재생을 행하는 특수 재생 동작 시에, 재생 화상에 대한 유저의 주목 위치에 대응하는 가상 분할 영역의 중요도에 따라서 재생 속도를 제어함으로써, 최적의 재생 동작을 용이하게 행할 수 있도록 한다.
이하, 정보 생성 장치(20)의 구성과 동작에 대하여 설명을 행하고, 동화상 데이터에 관련지어지는 화상 관련 정보가 어떤 정보인지를 명확하게 하여, 그 후, 화상 관련 정보를 이용하여 동화상 데이터의 재생을 행하는 재생 장치(30)의 구성과 동작에 대하여 설명한다.
<2. 정보 생성 장치의 구성과 동작>
도 2는, 정보 생성 장치의 구성을 예시하고 있다. 정보 생성 장치(20)는, 분할 영역 설정부(21), 분할 영역 정보 기억부(22), 중요도 설정 제어부(23), 화상 관련 정보 생성부(25)를 갖고 있다.
분할 영역 설정부(21)는, 동화상 데이터의 화상마다 가상 분할 영역을 설정하여, 가상 분할 영역의 설정 상태를 나타내는 분할 영역 정보를 생성하여 분할 영역 정보 기억부(22)에 기억시킨다. 분할 영역 설정부(21)는, 분할 영역 정보로서, 예를 들어 화상 관련 정보 제공자의 분할 지시 조작에 따라서 화상을 가상적으로 분할하여, 분할 결과에 기초하여 분할 영역 구성 정보와 분할 영역 정의 정보를 생성한다. 분할 영역 구성 정보는, 동화상 데이터의 화상마다 설정된 가상 분할 영역의 정의를 나타내는 정보이다. 또한, 분할 영역 정의 정보는, 분할 영역 구성 정보로 나타내어진 정의가 어떠한 가상 분할 상황인지를 나타내는 정보이다.
분할 영역 설정부(21)는, 분할 영역 구성 정보로서, 예를 들어 동화상 데이터의 화상마다 부여되어 있는 타임 코드를 이용하여, 시간마다 분할 영역 정의 ID를 나타낸 정보를 생성한다. 도 3은, 분할 영역 구성 정보를 예시하고 있다. 분할 영역 구성 정보는, 타임 코드가 「00:00:00:00 내지 00:09:59:59」의 기간인 경우, 분할 영역 정의 ID로서 「분할 영역 정의 1」을 사용하는 것을 나타내고 있다. 또한, 타임 코드가 「00:10:00:00 내지 END」의 기간인 경우, 분할 영역 정의 ID로서 「분할 영역 정의 2」를 사용하는 것을 나타내고 있다.
분할 영역 설정부(21)는, 분할 영역 구성 정보로서, 예를 들어 분할 영역 ID와 분할 영역 ID로 나타내어진 가상 분할 영역의 화상 상의 위치를 나타내는 영역 좌표를 나타낸 정보를 생성한다. 도 4는, 분할 영역 정의 1에 대응하는 분할 영역 정의 정보를 예시하고 있으며, 도 5는, 분할 영역 정의 1에 대응하는 가상 분할 상황을 예시하고 있다. 분할 영역 정의 1은, 4개의 가상 분할 영역이 설치되어, 4개의 가상 분할 영역에 대해서 분할 영역 ID로서 「A 내지 D」가 설정되어 있음을 나타내고 있다. 또한, 분할 영역 ID가 예를 들어 「A」인 가상 분할 영역은, 영역 좌표 「(0, 0)(0, 2160)(960, 2160)(960, 0)」으로 둘러싸인 영역임이 나타내어져 있다. 마찬가지로, 분할 영역 정의 정보는, 분할 영역 ID가 「B 내지 D」인 가상 분할 영역에 대해서도 영역 좌표를 나타내고 있다.
도 6은, 분할 영역 정의 2에 대응하는 분할 영역 정의 정보를 예시하고 있으며, 도 7은, 분할 영역 정의 2에 대응하는 가상 분할 상황을 예시하고 있다. 분할 영역 정의 2에서는, 화면 중앙에 가상 분할 영역이 설치되어 있으며, 이 가상 분할 영역에 대해서 분할 영역 ID로서 「A」가 설정되어 있음을 나타내고 있다. 또한, 분할 영역 ID가 「A」인 가상 분할 영역은, 영역 좌표 「(960, 500)(960, 1660)(2880, 1660)(2880, 500)」으로 둘러싸인 영역임이 나타내어져 있다. 또한, 분할 영역 ID가 설정되지 않은 영역은, 후술하는 바와 같이 「기타」에 해당하는 가상 분할 영역으로 되어 있다.
분할 영역 정보 기억부(22)는, 분할 영역 설정부(21)에 의해 생성된 분할 영역 정보를 기억한다. 또한, 분할 영역 정보 기억부(22)는, 기억하고 있는 분할 영역 정보를 중요도 설정 제어부(23)와 화상 관련 정보 생성부(25)로 출력한다.
중요도 설정 제어부(23)는, 분할 영역 정보로 나타내어진 가상 분할 영역에 대한 중요도 판정 룰과, 중요도 판정 룰을 사용한 판정 결과에 따라서 할당되는 중요도를 나타내는 중요도 정의 정보를 생성한다. 중요도 설정 제어부(23)는, 가상 분할 영역에 대해서 할당 가능한 중요도를 정의한다. 중요도 설정 제어부(23)는, 중요도로서 복수의 레벨, 예를 들어 「1(저 레벨), 2(중간 레벨), 3(고 레벨)」등의 레벨을 정의한다. 또한, 중요도 설정 제어부(23)는, 정의되어 있는 중요도의 어느 레벨을 가상 분할 영역에 대해서 할당할지 판정하기 위한 중요도 판정 룰을 설정한다. 중요도 판정 룰은, 가상 분할 영역의 동화상 데이터를 이용하여 행하는 화상 처리이며, 화상 처리 결과에 따라서 중요도의 할당이 후술하는 화상 관련 정보 생성부(25)에서 행해진다. 화상 처리로서는, 예를 들어 이동 동체가 가상 분할 영역에 포함되어 있는지 판별하기 위해서 프레임 차분을 산출한다. 또한, 화상 처리로서, 미리 설정한 특정 형상의 템플릿 화상(예를 들어 템플릿 얼굴 화상)이 가상 분할 영역에 포함되어 있는지 판별하는 템플릿 매칭을 행한다. 또한, 중요도의 정의나 중요도 판정 룰은 미리 설정되어 있어도 되며, 화상 관련 정보 제공자가 중요도의 정의나 중요도 판정 룰을 설정할 수 있도록 해도 된다. 또한, 재생 동작에 따라서 중요도의 정의나 판정 룰 등을 선택할 수 있도록 해도 된다.
또한, 중요도 설정 제어부(23)는, 복수의 중요도 판정 룰에 기초하여 중요도의 할당을 행하는 경우, 각 중요도 판정 룰에 대해서 예를 들어 포인트를 설정하고, 각 중요도 판정 룰의 포인트 합계값으로부터 중요도를 할당할 수 있도록 해도 된다.
도 8은, 중요도 정의 정보를 예시하고 있다. 중요도 정의 정보에서는, 대상과 중요도 판정 룰과 중요도가 도시되어 있다. 대상은 분할 영역 정보로 나타내어지고 있는 화상마다의 가상 분할 영역이며, 중요도 판정 룰은 가상 분할 영역의 화상을 사용하여 행해지는 화상 처리를 나타내고 있다. 또한, 중요도는 중요도 판정 룰을 충족한 경우에 가상 분할 영역에 할당되는 중요도를 나타내고 있다. 예를 들어, 타임 코드가 「00:00:00:00 내지 00:09:59:59」의 기간에서, 분할 영역 ID가 「A 내지 D」의 가상 분할 영역에 대해서는, 프레임 간 차분이 산출되어, 차분량이 임계값 이상인 가상 분할 영역에는 중요도 「2」를 할당하도록 한다. 또한, 타임 코드가 「00:10:00:00 내지 END」의 기간에서, 분할 영역 ID가 「A」인 가상 분할 영역에 대해서는, 얼굴 검지에 의해 인물이 검출되어 있는지 판별되어, 인물이 검출 되어 있는 경우, 가상 분할 영역에 중요도 「3」을 할당하도록 한다. 또한, 도시하지 않았지만, 중요도 판정 룰이 충족되지 않은 경우에는 중요도 「1」을 할당하도록 한다.
도 9는, 다른 중요도 정의 정보를 예시하고 있다. 중요도 정의 정보에서는, 대상과 복수의 중요도 판정 룰과 포인트가 도시되어 있다. 대상은 분할 영역 정보로 나타내어지고 있는 화상마다의 가상 분할 영역이며, 중요도 판정 룰은 가상 분할 영역의 화상을 사용하여 행해지는 화상 처리를 나타내고 있다. 또한, 포인트는 중요도 판정 룰을 충족한 경우에 획득되는 포인트 수를 나타내고 있다. 예를 들어, 타임 코드가 「00:00:00:00 내지 00:09:59:59」의 기간에서, 분할 영역 ID가 「A 내지 D」의 가상 분할 영역에 대해서, 프레임 간 차분이 산출되어, 차분량이 임계값 이상인 가상 분할 영역에서는 포인트 「2pt」를 획득시킨다. 또한, 타임 코드가 「00:00:00:00 내지 00:09:59:59」의 기간에서, 분할 영역 ID가 「A 내지 D」의 가상 분할 영역에 대해서, 얼굴 검지에 의해 인물이 검출되어 있는지 판별되어, 인물이 검출된 가상 분할 영역에서는 포인트 「3pt」를 획득시킨다.
타임 코드가 「00:10:00:00 내지 END」의 기간에서, 분할 영역 ID가 「A」인 가상 분할 영역에 대해서, 얼굴 검지에 의해 인물이 검출되어 있는지 판별되어, 인물이 검출되어 있는 경우, 가상 분할 영역에서는 포인트 「2pt」를 획득시킨다. 또한, 타임 코드가 「00:10:00:00 내지 END」의 기간에서, 분할 영역 ID가 「A」인 가상 분할 영역에 대해서, 템플릿 매칭에 의해 차량이 검출되어 있는지 판별된다. 여기서, 차량이 검출되어 있는 경우, 가상 분할 영역에서는 포인트 「1pt」를 획득시킨다. 또한, 중요도 판정 룰이 충족되지 않은 경우에는 포인트를 획득할 수 없도록 한다.
또한, 획득한 포인트에 기초하여 중요도의 할당을 행하는 경우, 중요도 정의 정보에는 중요도 환산 정보를 설정한다. 도 10은, 중요도 환산 정보를 예시하고 있다. 중요도 환산 정보는, 가상 분할 영역마다의 포인트 합계값에 따라서 할당되는 중요도가 도시되어 있다. 예를 들어 포인트 합계값이 「1pt 이하」인 가상 분할 영역에 대해서는, 중요도 「1」의 할당이 행해지도록 한다. 또한, 포인트 합계값이 「2 내지 4pt」인 가상 분할 영역에 대해서는 중요도 「2」의 할당, 포인트 합계값이 「5pt 이상」인 가상 분할 영역에 대해서는 중요도 「3」의 할당이 행해지도록 한다.
이와 같이, 중요도 설정 제어부(23)는, 분할 영역 정보 기억부(22)로부터 취득한 분할 영역 정보로 나타내어지고 있는 화상마다의 가상 분할 영역에 대해서 중요도 판정 룰과 할당 가능한 중요도를 나타내는 중요도 정의 정보를 생성하여 화상 관련 정보 생성부(25)로 출력한다.
화상 관련 정보 생성부(25)는, 분할 영역 정보 기억부(22)에 기억되어 있는 분할 영역 정보와 중요도 설정 제어부(23)에 의해 생성된 중요도 정의 정보에 기초하여, 동화상 데이터의 화상마다, 가상 분할 영역에 대해서 중요도 판정 룰로 나타내어진 화상 처리를 행한다. 또한, 화상 관련 정보 생성부(25)는, 중요도 판정 룰로 나타내어진 화상 처리의 처리 결과에 따라서 중요도의 할당을 행하고, 분할 영역 정보로 나타내어진 가상 분할 영역마다의 중요도를 나타내는 영역 중요도 정보를 생성한다. 도 11은, 영역 중요도 정보를 예시하고 있다. 예를 들어, 타임 코드가 「00:00:00:00 내지 00:09:59:59」의 기간에서, 분할 영역 ID가 「A」 「D」인 가상 분할 영역에 대해서는 중요도 「1」, 분할 영역 ID가 「B」 「C」인 가상 분할 영역에 대해서는 중요도 「2」가 할당되어 있다. 또한, 타임 코드가 「00:10:00:00 내지 END」의 기간에서, 분할 영역 ID가 「A」인 가상 분할 영역에 대해서는 중요도 「3」이 할당되어 있다. 또한, 「기타」의 영역은, 분할 영역 정의 정보에 의해 정의되어 있지 않은 가상 분할 영역이며 중요도 「1」이 할당되어 있다.
화상 관련 정보 생성부(25)는, 분할 영역 정보와 영역 중요도 정보를 나타내는 화상 관련 정보를 동화상 데이터에 관련지어 출력한다. 또한, 화상 관련 정보 생성부(25)는, 화상마다의 가상 분할 영역에 대해서 피사체 인식 등을 행하고, 가상 분할 영역에 포함되는 피사체에 관한 정보를 나타내는 영역 피사체 정보를 생성해도 된다. 또한, 화상 관련 정보 생성부(25)는, 화상 관련 정보 제공자가 피사체에 관한 정보를 입력할 수 있도록 해도 된다. 화상 관련 정보 생성부(25)는, 생성한 영역 피사체 정보를 화상 관련 정보에 포함해서 출력한다.
도 12는, 정보 생성 장치의 동작을 예시한 흐름도이다. 스텝 ST1에서 정보 생성 장치는 분할 영역 정보를 생성한다. 정보 생성 장치(20)의 분할 영역 설정부(21)는, 화상마다의 가상 분할 영역의 설정 상태를 나타내는 분할 영역 정보를 생성하여 스텝 ST2로 진행한다.
스텝 ST2에서 정보 생성 장치는 중요도 정의 정보를 생성한다. 정보 생성 장치(20)의 중요도 설정 제어부(23)는, 가상 분할 영역에 대한 중요도 판정 룰과 판정 결과에 따라서 할당되는 중요도를 나타내는 중요도 정의 정보를 생성하여 스텝 ST3으로 진행한다.
스텝 ST3에서 정보 생성 장치는 화상 관련 정보를 생성한다. 정보 생성 장치(20)의 화상 관련 정보 생성부(25)는, 스텝 ST2에서 생성된 중요도 정의 정보로 나타내어지고 있는 중요도 판정 룰에 기초하여 동화상 데이터의 화상 처리를 행하고, 처리 결과에 따라서 중요도를 가상 분할 영역에 할당한다. 또한, 화상 관련 정보 생성부(25)는, 스텝 ST1에서 생성된 분할 영역 정보와 분할 영역 정보로 나타내어진 가상 분할 영역에 할당한 중요도를 나타내는 화상 관련 정보를 생성하여, 동화상 데이터에 관련지어 출력한다.
이와 같이, 정보 생성 장치는, 화상마다의 가상 분할 영역의 설정 상황과 가상 분할 영역의 중요도를 나타내는 화상 관련 정보를 화상 관련 정보 제공자의 설정 조작 및 동화상 데이터에 기초하여 생성하여, 동화상 데이터에 관련지어 출력한다. 또한, 화상 관련 정보에 포함되는 영역 중요도 정보는, 분할 영역 구성 정보와 분할 영역 정의 정보로 구성된 분할 영역 정보와 중요도 설정 정보로 구성되는 경우로 한정되지 않는다. 예를 들어 분할 영역 구성 정보와 분할 영역 정의 정보와 중요도 설정 정보로 나타내어지는 정보를 하나로 통합하여 구성되어 있어도 된다.
<3. 정보 생성 장치의 다른 구성과 동작>
다음으로, 정보 생성 장치의 다른 구성과 동작으로서, 가상 분할 영역의 설정을 자동적으로 행할 수 있는 정보 생성 장치에 대하여 설명한다.
도 13은, 정보 생성 장치의 다른 구성을 예시하고 있다. 정보 생성 장치(20a)는, 중요도 분할 영역 설정 제어부(24), 화상 관련 정보 생성부(25a)를 갖고 있다.
중요도 분할 영역 설정 제어부(24)는, 중요도 분할 영역 정의 정보를 설정한다. 중요도 분할 영역 정의 정보는, 영역 분할을 행하기 위한 영역 판정 룰과 영역 분할에 의해 가상적으로 분할된 가상 분할 영역에 대해서 할당되는 중요도를 나타내고 있다. 영역 판정 룰은, 화상 처리 예를 들어 패턴 매칭 등에 의해 인식되는 특정 영역을 나타내는 정보이다. 중요도는, 예를 들어 1(저), 2(중), 3(고) 등의 레벨을 나타내고 있다. 또한, 중량도 분할 영역 정의 정보는, 미리 정보 생성 장치에 설정되어도 되고, 화상 관련 정보 제공자가 중량도 분할 영역 정의의 변경이나 추가를 행할 수 있도록 해도 된다.
도 14는, 중요도 분할 영역 정의 정보를 예시하고 있다. 중요도 분할 영역 정의 정보에서는, 대상과 영역 판별 룰과 중요도가 도시되어 있다. 대상은 화상의 시간을 나타내고 있으며, 영역 판정 룰은 동화상 데이터에 기초하는 화상을 사용하여 행해지는 화상 처리를 나타내고 있다. 또한, 중요도는 영역 판정 룰을 충족하는 가상 분할 영역에 할당되는 중요도를 나타내고 있다. 예를 들어, 타임 코드가 「00:00:00:00 내지 00:09:59:59」의 기간에 대해서는, 특정 영역의 인식 처리로서, 패턴 A에 적합한 영역의 검출과 패턴 B에 적합한 영역의 검출이 행해진다. 여기서, 패턴 A에 적합한 영역은 가상 분할 영역 「A」로서 중요도 「2」, 패턴 B에 적합한 영역은 가상 분할 영역 「B」로서 중요도 「1」의 할당이 행해지도록 한다. 또한, 타임 코드가 「00:10:00:00 내지 END」의 기간에 대해서는, 특정 영역의 인식 처리로서 패턴 C에 적합한 영역의 검출이 행해지고, 패턴 C에 적합한 영역은 가상 분할 영역 「C」로서 중요도 「3」의 할당이 행해지도록 한다. 또한, 도시하지 않았지만, 중요도 분할 영역 판별 룰이 충족되지 않은 영역에 대해서는 중요도 「1」의 할당을 행하도록 한다.
화상 관련 정보 생성부(25a)는, 중요도 분할 영역 설정 제어부(24)에 의해 생성된 중요도 분할 영역 정의 정보에 기초하여, 동화상 데이터의 화상마다 영역 판정 룰로 나타내어진 특정 영역의 인식 처리를 행한다. 또한, 화상 관련 정보 생성부(25a)는, 특정 영역의 인식 처리 결과에 따라서 영역 분할을 행하고, 가상 분할 영역에 대해서 중요도를 할당한다. 또한, 화상 관련 정보 생성부(25a)는, 특정 영역의 인식 처리 결과에 따른 영역 분할에 기초하여 분할 영역 정보와 분할 영역 정보로 나타내어진 가상 분할 영역의 중요도를 나타내는 영역 중요도 정보를 생성하여 화상 관련 정보로서 동화상 데이터에 관련지어 출력한다. 또한, 화상 관련 정보 생성부(25a)는, 화상마다의 가상 분할 영역에 대해서 피사체 인식 등을 행하고, 가상 분할 영역에 포함되는 피사체에 관한 정보를 나타내는 영역 피사체 정보를 생성해도 된다. 또한, 화상 관련 정보 생성부(25a)는, 화상 관련 정보 제공자가 피사체에 관한 정보를 입력할 수 있도록 해도 된다. 화상 관련 정보 생성부(25a)는, 생성된 영역 피사체 정보를 화상 관련 정보에 포함해 출력한다.
도 15는, 정보 생성 장치의 다른 동작을 예시한 흐름도이다. 또한, 도 16은, 정보 생성 장치의 다른 동작을 설명하기 위한 도면이다.
스텝 ST11에서 정보 생성 장치는 중요도 분할 영역 정의 정보를 설정한다. 정보 생성 장치(20)의 중요도 분할 영역 설정 제어부(24)는, 영역 분할을 행하기 위한 영역 판정 룰과 영역 분할에 의해 가상적으로 분할된 가상 분할 영역에 대해서 할당되는 중요도를 나타내는 중요도 분할 영역 정의 정보를 설정하여 스텝 ST12로 진행한다.
도 16에서는, 중요도 분할 영역 정의 정보에 의해, 패턴 A에 적합한 가상 분할 영역은 중요도 「2」, 패턴 B에 적합한 가상 분할 영역은 중요도 「1」, 패턴 C에 적합한 가상 분할 영역은 중요도 「3」을 할당하는 것이 도시되어 있다.
스텝 ST12에서 정보 생성 장치는 화상 관련 정보를 생성한다. 정보 생성 장치(20)의 화상 관련 정보 생성부(25a)는, 스텝 ST11에서 생성된 중요도 분할 영역 정의 정보로 나타내어지고 있는 영역 판정 룰에 기초하여 동화상 데이터의 화상 처리를 행한다. 또한, 화상 관련 정보 생성부(25a)는, 화상 처리 결과에 기초하여 영역 분할과 영역 분할에 의해 가상적으로 분할된 가상 분할 영역에 대해서 중요도의 할당을 행한다. 또한, 화상 관련 정보 생성부(25a)는, 화상 처리의 처리 결과에 따른 영역 분할에 기초하여 분할 영역 정보와 분할 영역 정보로 나타내어진 가상 분할 영역의 중요도를 나타내는 영역 중요도 정보를 생성하여 화상 관련 정보로 서 동화상 데이터에 관련지어 출력한다.
도 16에 있어서, 타임 코드 「HH':MM':SS':FF'」의 입력 화상에서의 좌표 (x1, y1), (x2, y2), (x3, y3)으로 둘러싸인 영역 GPA가, 패턴 A에 적합한 영역인 경우, 영역 GPA를 예를 들어 분할 영역 ID 「A」의 가상 분할 영역으로서, 패턴 A에 적합한 영역이기 때문에 중요도 「2」를 할당한다. 따라서, 화상 관련 정보 생성부(25a)에 의해 생성되는 화상 관련 정보에서는, 타임 코드 「HH':MM':SS':FF'」에 있어서, 분할 영역 ID 「A」의 영역이 좌표 (x1, y1), (x2, y2), (x3, y3)으로 둘러싸인 영역이며, 중요도 「2」인 것이 도시된다.
이와 같은 처리를 정보 생성 장치에 의해 행함으로써, 중요도 분할 영역 정의 정보에 기초하여, 영역 분할과 가상 분할 영역에 대한 중요도의 할당을 자동적으로 행할 수 있게 된다.
또한, 정보 생성 장치[20(20a)]는, 동화상 데이터가 예를 들어 복수의 촬상 장치에 의해 촬상된 화상을 연결시켜 생성된 광화각의 합성 화상인 경우, 각 촬상 장치의 촬상 범위를 가상 분할 영역으로 해도 된다. 이 경우, 각 촬상 장치의 촬영 범위와 합성 화상에서의 화상 영역을 대응지을 수 있기 때문에, 각 촬상 화상을 합성하기 전에, 각 가상 분할 영역에 대해서 중요도의 할당을 행하고, 합성 처리에 따라서 분할 영역 정보를 생성하는 것도 가능하다.
<4. 재생 장치의 구성과 동작>
다음으로, 동화상 데이터를 재생하는 재생 장치의 구성과 동작에 대하여 설명한다. 도 1에 도시한 재생 장치(30)는, 동화상 데이터를 이용하여 통상 속도와 상이한 속도로 재생하는 특수 재생을 행하는 경우, 동화상 데이터에 관련지어져 있는 화상 관련 정보에 기초하여 재생 동작을 제어한다. 또한, 이하의 설명에서는, 동화상 데이터가 부호화 데이터인 경우를 예시하고 있다.
도 17은, 재생 장치의 구성을 예시하고 있다. 재생 장치(30)는, 정보 취득부(31), 정보 기억부(32), 유저 인터페이스부(33), 주목 위치 검출부(34), 재생 위치 관리부(35), 동작 설정 정보 기억부(36), 재생 제어부(37), 디코드 처리부(38), 정보 표시 처리부(39), 표시부(40)를 갖고 있다. 또한, 표시부(40)는, 재생 장치와 별개로 구성되어도 된다.
정보 취득부(31)는, 동화상 데이터 및 동화상 데이터에 관련지어져 있는 화상 관련 정보를 취득한다. 정보 취득부(31)는, 재생 제어부(37)로부터의 지시에 기초하여 통신로를 통해 외부 기기로부터 동화상 데이터와 화상 관련 정보를 취득한다. 또한, 정보 취득부(31)는, 재생 제어부(37)로부터의 지시에 기초하여 기록 매체로부터 동화상 데이터와 화상 관련 정보를 취득해도 된다. 정보 취득부(31)는, 취득한 동화상 데이터 및 화상 관련 정보를 정보 기억부(32)에 기억시킨다.
정보 기억부(32)는, 정보 취득부(31)에 의해 취득된 동화상 데이터 및 화상 관련 정보를 기억한다. 정보 기억부(32)에 기억되어 있는 동화상 데이터와 화상 관련 정보는, 재생 제어부(37)에 의해 판독된다.
유저 인터페이스부(33)는, 재생 장치를 이용하는 유저의 조작을 접수하여 유저 조작에 따른 조작 신호를 재생 제어부(37)로 출력한다.
주목 위치 검출부(34)는, 가속도 센서나 자이로 센서 등의 헤드 트래킹 센서가 설치되어 있으며, 유저의 헤드부 움직임을 검출하여, 재생 화상에 대한 헤드부 방향의 위치를 유저의 주목 위치라고 판별한다. 또한, 주목 위치 검출부(34)는, 안구를 촬상하는 촬상부를 설치하여, 촬상부에 의해 취득된 화상으로부터 검출한 눈(동공)의 움직임에 기초하여 유저의 시선 방향을 검출하여, 재생 화상에 대한 시선 방향의 위치를 유저의 주목 위치라고 판별해도 된다. 주목 위치 검출부(34)는, 판별한 주목 위치를 나타내는 주목 위치 검출 결과를 재생 제어부(37)로 출력한다.
재생 위치 관리부(35)는, 디코드 처리부(38)에 의해 디코드 처리하는 동화상 데이터의 프레임 번호 또는 타임 코드를 재생 위치 정보로서 기억한다. 또한, 부호화 데이터가 쌍방향 예측 부호화 화상을 포함하는 경우, 프레임 화상의 디코드 순서와 표시 순서가 상이하다. 이로 인해, 재생 위치 관리부(35)는, 표시순의 화상을 사용하여 후술하는 바와 같이 주목 위치를 검출하여, 검출된 주목 위치에 대응하는 가상 분할 영역의 중요도에 따라서 키 프레임의 화상 데이터를 취득할 수 있도록, 재생 위치 정보에 표시 타임 코드를 부가해도 된다. 재생 위치 관리부(35)에 기억되어 있는 재생 위치 정보는, 재생 제어부(37)에 의해 판독된다.
동작 설정 정보 기억부(36)는, 특수 재생 동작 시에 있어서, 화상 관련 정보로 나타내어진 중요도에 따른 동작을 행하기 위한 정보를 포함하는 동작 설정 정보를 기억한다. 동작 설정 정보는, 미리 동작 설정 정보 기억부(36)에 기억되어 있어도 되며, 유저가 유저 인터페이스부(33)를 조작하여 동작 설정 정보의 입력이나 변경 등을 행할 수 있도록 해도 된다. 동작 설정 정보 기억부(36)에 기억되어 있는 동작 설정 정보는, 재생 제어부(37)에 의해 판독된다.
도 18은, 동작 설정 정보를 예시하고 있다. 예를 들어 특수 재생 동작이 빨리 감기인 경우, 동작 설정 정보에서는, 중요도에 따른 키 프레임 재생 간격이 설정되어 있다. 또한, 키 프레임은, 동화상 데이터가 부호화 데이터인 경우, 상이한 시간의 프레임 화상을 사용하지 않고 디코드 처리가 가능하도록 인트라 화상의 프레임으로 되어 있다. 또한, 동작 설정 정보는, 도시하지 않았지만, 재생 후보인 키 프레임을 특정하기 위한 타임 코드 정보나 프레임 번호에 관한 정보 등을 이용해도 된다.
키 프레임 재생 간격은, 예를 들어 중요도가 「1」인 경우, 키 프레임에 대해서 프레임 간격 「THL」에서 재생하도록 설정되어 있다. 또한, 중요도가 「2」인 경우의 프레임 간격 「THM (<THL)」, 중요도가 「3」인 경우의 프레임 간격 「THS(<THM)」에서 재생하도록 설정되어 있다.
재생 제어부(37)는, 유저 인터페이스부(33)로부터의 조작 신호에 기초하여, 재생 장치에서 유저 조작에 따른 동작이 행해지도록 각 부를 제어한다. 또한, 재생 제어부(37)는, 화상 관련 정보에 기초하여 주목 위치 검출부(34)에 의해 검출한 주목 위치에 대응하는 가상 분할 영역의 중요도를 판별하여, 판별된 중요도에 따라서 동화상 데이터의 재생 동작을 제어한다. 재생 제어부(37)는, 예를 들어 특수 재생 동작을 행하는 경우, 화상 관련 정보와 주목 위치 검출 결과 및 동작 설정 정보 등에 기초하여, 유저의 주목 위치에 대응한 가상 분할 영역의 중요도에 따라서 정보 기억부(32)로부터의 동화상 데이터의 판독을 제어한다. 재생 제어부(37)는, 판독한 동화상 데이터를 디코드 처리부(38)로 출력한다. 또한, 재생 제어부(37)는, 재생 동작의 제어로서 디코드 처리부의 동작을 제어해도 된다.
디코드 처리부(38)는, 재생 제어부(37)에 의해 판독된 동화상 데이터의 디코드 처리를 행한다. 또한, 디코드 처리부(38)는, 동화상 데이터의 디코드 처리를 행함으로써 얻어진 화상 데이터를 정보 표시 처리부(39)로 출력한다. 또한, 디코드 처리부(38)는, 재생 제어부(37)로부터의 지시에 따라서 디코드 처리를 전환해도 된다.
정보 표시 처리부(39)는, 메뉴 화상이나 GUI(Graphical User Interface) 화상, 광고 화상, 동화상 데이터에 관련된 보충 정보 등의 표시 데이터를 생성하여, 디코드 처리부(38)로부터 공급된 화상 데이터와 함께 표시부(40)로 출력한다. 정보 표시 처리부(39)는, 동화상 데이터를 디코드하여 얻어진 재생 화상에 대해서 메뉴나 GUI 등의 화상을 중첩하여 출력 데이터를 생성하여 표시부(40)로 출력해도 된다. 또한, 정보 표시 처리부(39)는, 재생 화상과는 상이한 영역에 메뉴나 GUI 등의 화상을 표시하는 출력 데이터를 생성하여 표시부(40)로 출력해도 된다. 또한, 정보 표시 처리부(39)는, 중요도가 낮은 가상 분할 영역에 정보 표시 영역을 설치하여, 정보 표시 영역에서 다양한 정보를 표시한 출력 데이터를 생성하여 표시부(40)로 출력해도 된다. 표시부(40)는, 정보 표시 처리부(39)로부터의 출력 데이터에 기초하여 동화상 데이터의 재생 화상이나 동화상 데이터에 관련된 보충 정보, 메뉴나 GUI 등의 화상을 표시한다.
도 19는 재생 장치의 동작을 예시한 흐름도이다. 재생 장치(30)에서는, 동화상 데이터가 정보 기억부(32)에 기억되어 있다. 또한, 재생 장치(30)에서는, 특수 재생 동작 시에 있어서 화상 관련 정보로 나타내어진 중요도에 따른 동작을 행하기 위한 정보를 포함하는 동작 설정 정보가 동작 설정 정보 기억부(36)에 기억되어 있다.
스텝 ST21에서 재생 장치는 동작 설정 정보를 취득한다. 재생 장치(30)의 재생 제어부(37)는, 동작 설정 정보 기억부(36)로부터 동작 설정 정보를 취득하여 재생 동작의 설정을 행하여 스텝 ST22로 진행한다.
스텝 ST22에서 재생 장치는 재생하는 동화상 데이터를 결정한다. 재생 장치(30)의 재생 제어부(37)는, 재생 가능한 동화상 데이터의 리스트를 예를 들어 표시부(40)에 표시시킨다. 또한, 재생 제어부(37)는, 유저 인터페이스부(33)로부터의 조작 신호에 기초하여, 표시부(40)에 표시되어 있는 리스트로부터 유저가 지정한 동화상 데이터를 판별하여, 판별된 동화상 데이터를 재생하는 동화상 데이터에 설정한다. 또한, 재생 제어부(37)는, 키 프레임 경과 수 KFS를 「KFS=1」로 설정하여 스텝 ST23으로 진행한다.
또한, 재생 가능한 동화상 데이터는, 정보 기억부(32)에 기억되어 있는 동화상 데이터로 한정되지 않는다. 예를 들어 통신로를 통해 동화상 데이터를 제공하는 제공처의 정보(예를 들어 URL(Uniform Resource Locator) 등)가 명확한 경우에는, 제공처로부터 취득 가능한 동화상 데이터를 포함해도 된다. 또한, 재생하는 동화상 데이터로서, 제공처로부터 취득 가능한 동화상 데이터가 선택된 경우, 재생 제어부(37)는, 정보 취득부(31)를 제어하여 제공처로부터 재생하는 동화상 데이터를 취득하여 정보 기억부(32)에 기억시킨다.
스텝 ST23에서 재생 장치는 화상 관련 정보를 취득한다. 재생 장치(30)의 재생 제어부(37)는, 재생하는 동화상 데이터에 관련지어진 화상 관련 정보가 정보 기억부(32)에 기억되어 있지 않는 경우, 정보 취득부(31)를 제어하여 동화상 데이터에 관련지어진 화상 관련 정보를 취득한다. 정보 취득부(31)는 취득한 화상 관련 정보를 정보 기억부(32)에 기억시켜 스텝 ST24로 진행한다.
스텝 ST24에서 재생 장치는 빨리 감기 조작이 행해졌는지 판별한다. 재생 장치(30)의 재생 제어부(37)는, 유저 인터페이스부(33)로부터의 조작 신호에 기초하여, 빨리 감기 조작이 행해지지 않았다고 판별된 경우에 스텝 ST25로 진행하고, 빨리 감기 조작이 행해졌다고 판별된 경우에 스텝 ST26으로 진행한다.
스텝 ST25에서 재생 장치는 동화상 데이터를 취득한다. 재생 장치(30)의 재생 제어부(37)는, 재생 위치 관리부(35)에 기억되어 있는 재생 위치 정보로 나타내어진 프레임에 대해서 다음 프레임의 화상을 표시할 수 있도록 동화상 데이터를 취득한다. 또한, 재생 제어부(37)는, 취득한 동화상 데이터를 디코드 처리부(38)로 출력해서 스텝 ST30으로 진행한다.
스텝 ST26에서 재생 장치는 주목 위치 검출 결과를 취득한다. 재생 장치(30)의 재생 제어부(37)는, 주목 위치 검출부(34)로부터 주목 위치 검출 결과를 취득해서 스텝 ST27로 진행한다. 또한, 주목 위치의 검출은, 빨리 감기 조작이 행해진 경우에 행해도 되고, 빨리 감기 조작에 괸계없이 항상 행해도 된다. 예를 들어, 후술하는 바와 같이, 전천구를 촬상하여 얻어진 화상으로부터 일부의 영역 화상을 헤드 마운트 디스플레이 등의 표시부에 표시하여, 헤드부의 방향에 따라서 표시하는 화상의 영역을 이동시키는 것이 행해지고 있다. 이 경우, 빨리 감기의 유무에 관계없이 주목 위치를 검출하여, 주목 위치의 방향 화상이 표시된다. 따라서, 재생 장치는, 주목 위치의 검출을 항상 행하고 있는 경우, 빨리 감기 조작이 행해졌을 때의 주목 위치 검출 결과를 취득한다.
스텝 ST27에서 재생 장치는 중요도를 취득한다. 재생 장치(30)의 재생 제어부(37)는, 화상 관련 정보에 기초하여 주목 위치의 검출을 행한 화상의 영역 중요도 정보로부터 주목 위치 검출 결과가 나타내는 주목 위치에 대응하는 가상 분할 영역의 중요도를 취득하여 스텝 ST28로 진행한다.
스텝 ST28에서 재생 장치는 중요도에 따른 키 프레임 화상 데이터의 취득 제어를 행한다. 재생 장치(30)의 재생 제어부(37)는, 도 20에 도시한 흐름도의 동작을 행하고, 중요도에 따른 키 프레임 화상 데이터를 취득한다.
스텝 ST281에서 재생 제어부는 취득한 중요도가 「3」인지 판별한다. 재생 제어부(37)는, 취득한 중요도가 「3」이라고 판별된 경우에 스텝 ST282로 진행하고, 중요도가 「3」이 아니라고 판별된 경우에 스텝 ST283으로 진행한다.
스텝 ST282에서 재생 제어부는 키 프레임 경과 수 KFS가 프레임 간격 「THS」이상인지 판별한다. 재생 제어부(37)는, 키 프레임 경과 수 KFS가 프레임 간격 「THS」 이상이라고 판별된 경우에 스텝 ST286으로 진행하고, 프레임 간격 「THS」 미만이라고 판별된 경우에 스텝 ST288로 진행한다.
스텝 ST281로부터 스텝 ST283으로 진행하면, 재생 제어부는 취득한 중요도가 「2」인지 판별한다. 재생 제어부(37)는, 취득한 중요도가 「2」라고 판별된 경우에 스텝 ST284로 진행하고, 중요도가 「2」가 아니라고 판별된 경우에 스텝 ST285로 진행한다.
스텝 ST284에서 재생 제어부는 키 프레임 경과 수 KFS가 키 프레임 재생 간격 「THM」이상인지 판별한다. 재생 제어부(37)는, 키 프레임 경과 수 KFS가 프레임 간격 「THM」 이상이라고 판별된 경우에 스텝 ST286으로 진행하고, 프레임 간격 「THM」 미만이라고 판별된 경우에 스텝 ST288로 진행한다.
스텝 ST283으로부터 스텝 ST285로 진행되면, 재생 제어부는 키 프레임 경과 수 KFS가 프레임 간격 「THL」인지 판별한다. 재생 제어부(37)는, 키 프레임 경과 수 KFS가 프레임 간격 「THL」과 동등하다고 판별된 경우에 스텝 ST286으로 진행하고, 프레임 간격 「THL」과 상이하다고 판별된 경우에 스텝 ST288로 진행한다.
스텝 ST286에서 재생 제어부는 다음 키 프레임 화상 데이터를 취득한다. 재생 제어부(37)는, 중요도에 따른 키 프레임 재생 간격인 다음의 키 프레임 화상 데이터를 정보 기억부(32)로부터 취득하여 스텝 ST287로 진행한다.
스텝 ST287에서 재생 제어부는 키 프레임 경과 수 KFS를 「KFS=1」로 하여 도 19의 스텝 ST289로 진행한다.
스텝 ST288에서 재생 제어부는 키 프레임 경과 수 KFS를 「KFS=KFS+1」로 갱신하여 스텝 ST289로 진행한다.
스텝 ST289에서 재생 제어부는 재생 위치 정보를 갱신한다. 재생 제어부(37)는, 스텝 ST28의 처리를 행할 때마다, 데이터 판독의 후보로 되는 키 프레임의 위치가 시간 방향으로 갱신되는 점에서, 갱신된 키 프레임의 위치에 따른 재생 위치 정보를 재생 위치 관리부(35)에 기억시켜 도 19의 스텝 ST29로 진행한다.
도 21은, 주목 위치에 대응하는 가상 분할 영역의 중요도와 화상 데이터가 취득되는 키 프레임의 관계를 예시하고 있다. 또한, 도 21에서는 「THL=3, THM=2, THS=1」인 경우이다. 중요도가 「3」인 경우, 키 프레임 경과 수 KFS가 「KSF=1」일 때 키 프레임 화상 데이터가 취득된다. 즉, 재생 장치에서는, 키 프레임 KF1 내지 KF10의 데이터가 순서대로 취득된다. 또한, 중요도가 「2」인 경우, 키 프레임 경과 수 KFS가 「KSF=2」일 때 키 프레임 화상 데이터가 취득된다. 즉, 재생 장치에서는, 키 프레임 화상 데이터를 1 키 프레임 간격으로 취득하는 처리가 행해지며, 예를 들어 키 프레임 KF1, KF3, KF5, KF7, KF9의 데이터가 순서대로 취득된다. 또한, 중요도가 「1」인 경우, 키 프레임 경과 수 KFS가 「KSF=3」일 때 키 프레임 화상 데이터가 취득된다. 즉, 재생 장치에서는, 키 프레임 화상 데이터를 2 키 프레임 간격으로 취득하는 처리가 행해지며, 예를 들어 키 프레임 KF1, KF4, KF7, KF10의 데이터가 순서대로 취득된다.
도 22는, 중요도에 따른 키 프레임 화상 데이터의 취득 동작을 예시하고 있다. 도 22의 (a)는, 영역 「A」 「B」 「C」에서의 프레임마다의 중요도를 시간순으로 나타내고 있다. 또한, 도 22의 (a)는, 키 프레임 경과 수 KFS와 디코드 완료 프레임 번호를 나타내고 있다. 도 22의 (b)는, 키 프레임 테이블이며 키 프레임의 프레임 번호를 나타내고 있다. 또한, 키 프레임 테이블은, 도 22의 (c)와 같이 키 프레임의 타임 코드를 나타내도 된다.
재생 장치에서는, 예를 들어 프레임 번호 「15」의 재생 시에 빨리 감기 조작이 행해졌다고 하자. 이 경우, 재생 장치는, 주목 위치가 영역 「A」이면, 영역 「A」의 중요도는 「1」이기 때문에, 키 프레임 테이블에 기초하여 프레임 번호 「30」, 「60」인 키 프레임을 씨닝하여, 프레임 번호 「90」의 키 프레임 화상 데이터를 취득한다.
또한, 재생 장치는, 주목 위치가 「B」의 영역이면, 「B」의 영역의 중요도는 「2」이기 때문에, 프레임 번호 「30」인 키 프레임을 씨닝하여 프레임 번호 「60」의 키 프레임 화상 데이터를 취득한다. 또한, 재생 장치는, 프레임 번호 「30」이고 주목 위치가 「C」의 영역인 경우, 「C」의 영역의 중요도가 「3」이기 때문에, 시간 경과 방향에 가장 가까운 키 프레임인 프레임 번호 「30」의 키 프레임 화상 데이터를 취득한다.
또한, 재생 장치는, 키 프레임의 위치의 갱신에 따라서 재생 위치 정보를 갱신하여, 키 프레임 경과 수 KFS가 예를 들어 「KFS=2」일 때는 프레임 번호 「30」, KFS=3」일 때는 프레임 번호 「60」을 재생 위치 정보로서 기억한다. 이와 같이 재생 위치 정보를 갱신함으로써, 다음의 키 프레임 화상 데이터가 취득되기 전에 빨리 감기 조작이 종료하여도 재생 위치를 진행시킬 수 있다. 예를 들어 프레임 번호 「90」의 키 프레임 화상 데이터가 취득되기 전에 빨리 감기 조작이 종료했을 때, 프레임 번호 「15」보다도 시간이 진행하고 있는 프레임 번호 「30」 또는 프레임 번호 「60」의 다음 프레임으로부터 통상 속도로 재생 동작을 개시할 수 있다.
스텝 ST29에서 재생 장치는 키 프레임 화상 데이터를 취득하였는지 판별한다. 재생 장치(30)의 재생 제어부(37)는, 스텝 ST28에서 키 프레임 화상 데이터를 취득한 경우에 취득한 데이터를 디코드 처리부(38)로 출력한다. 또한, 재생 제어부(37)는, 디코드 처리부(38)에 의해 처리하는 데이터의 재생 위치 정보를 재생 위치 관리부(35)에 기억시켜 스텝 ST30으로 진행한다. 예를 들어 도 22의 (a)에 도시한 바와 같이, 프레임 번호 「15」의 재생 시에 빨리 감기 조작이 행해졌을 때의 주목 위치가 「A」의 영역인 경우, 취득한 데이터의 프레임 번호 「90」을 재생 위치 정보로서 재생 위치 관리부(35)에 기억시킨다. 또한, 재생 제어부(37)는, 키 프레임 화상 데이터를 취득하지 않은 경우에 스텝 ST24로 되돌아간다.
스텝 ST30에서 재생 장치는 디코드 처리를 행한다. 재생 장치(30)의 디코드 처리부(38)는, 스텝 ST25에서 취득된 동화상 데이터 또는 스텝 ST28에서 취득된 키 프레임 화상 데이터의 디코드 처리를 행하고, 재생 화상의 1 프레임의 화상 데이터를 출력하여 스텝 ST31로 진행한다.
스텝 ST31에서 재생 장치는 재생 종료인지 판별한다. 재생 장치(30)의 재생 제어부(37)는, 유저 인터페이스부(33)에 의해 재생 종료 조작이 행해졌거나, 또는 동화상 데이터의 재생이 마지막까지 행해졌는지 판별한다. 재생 제어부(37)는, 재생 종료 조작 및 동화상 데이터의 재생이 마지막까지 행해지지 않았다고 판별된 경우에 스텝 ST24로 되돌아가고, 재생 종료 조작이 행해졌다고 판별된 경우 또는 동화상 데이터의 재생이 마지막까지 행해졌다고 판별된 경우에 재생 동작을 종료한다.
이와 같은 처리를 행하면, 예를 들어 빨리 감기 조작이 행해진 경우, 유저가 주목하고 있는 가상 분할 영역의 중요도에 따라서 빨리 감기 속도를 변경할 수 있다. 이로 인해, 동화상 데이터가 나타내는 화상의 일부만을 표시하는 경우, 예를 들어 도 23에 도시한 바와 같이, 전천구를 촬상하여 얻어진 화상 GP에 대해서 헤드 마운트 디스플레이 등의 표시부에서의 표시 사이즈가 작고, 헤드부를 방향에 따라서 표시 영역 DS를 이동시키는 경우, 리모트 컨트롤 장치 등에 의해 빨리 감기 속도의 전환 조작을 행하지 않고도, 중요도가 낮은 가상 분할 영역에 헤드부의 방향을 이동시킴으로써, 헤드부의 방향에 대응한 표시 영역의 화상을 빠른 속도로 재생할 수 있다. 또한, 중요도가 높은 영역으로 헤드부의 방향을 이동시킴으로써, 헤드부의 방향에 대응한 표시 영역의 화상을 중요도가 낮은 영역으로 헤드부를 향하게 한 경우보다도 늦은 속도로 재생할 수 있다.
또한, 시선 방향을 검출하는 경우, 중요도가 낮은 영역으로 시선을 이동시킴으로써 빨리 감기 속도를 높게 하여, 중요도가 높은 영역으로 시선을 이동시킴으로써, 시선이 중요도가 낮은 영역인 경우에 비하여 빨리 감기 속도를 늦게 할 수 있다.
또한, 동화상 데이터의 화상 표시는, 일부만을 표시부에 표시하는 경우에 한하정되지 않고, 화상 전체를 표시부에 표시하는 경우여도 된다. 또한, 각 중요도의 프레임 간격은, 미리 설정되어 있어도 되며, 유저가 설정 또는 변경할 수 있도록 해도 된다. 또한, 재생 후보인 키 프레임의 간격을 변경 가능하게 하면, 각 중요도에 따른 재생 속도를 통합해서 변경할 수 있다. 또한, 키 프레임의 재생을 역시간 방향으로 하면, 되감기 동작의 속도를 주목 위치의 중요도에 따라서 변경할 수 있다.
이와 같이, 재생 장치에서는, 동화상 데이터에 관련지어진 화상 관련 정보에 기초하여, 주목 위치에 대응하는 가상 분할 영역의 중요도에 따라서 재생 동작이 제어되므로, 헤드부의 방향이나 시선 방향을 이동시킴으로써 최적의 재생 동작을 용이하게 행할 수 있게 된다.
<5. 재생 장치의 다른 동작>
다음으로, 재생 장치의 다른 동작에 대하여 설명한다. 재생 장치는, 주목 위치에 대응하는 가상 분할 영역의 중요도에 따라서 디코드 처리를 제어해도 된다. 예를 들어 중요도가 높은 영역에 대해서는 디코드 처리를 행하고, 중요도가 낮은 경우에는 부분적인 디코드 처리를 행하며, 중요도가 낮은 경우는 디코드 처리를 행하지 않도록 해도 된다. 재생 장치는, 중요도에 따라서 디코드 처리를 제어함으로써, 효율적으로 디코드 처리를 행할 수 있다.
부분적인 디코드 처리에서는, 일부의 영역에 대하여 디코드 처리를 행하도록 해도 되고, 디코드 처리의 간략화에 의해 저해상도의 재생 화상을 생성하도록 해도 된다. 예를 들어 JPEG2000 등의 부호화 방식에서는, 화상을 타일 분할하여 타일 마다의 부호화 처리가 행해지고 있다. 또한, 타일마다의 부호화 처리에서는 웨이브릿 변환에 의해 서브 밴드 분할이 행해지고 있다. 따라서, 재생 장치는, 예를 들어 주목 위치를 기준으로 하여 타일의 선택을 행하고, 선택한 타일에 대하여 디코드 처리를 행한다. 또한, 일부의 서브 밴드를 선택하여 사용함으로써 디코드 처리를 간략화한다. 이러한 부분적인 디코드 처리를 행함으로써, 재생 장치에서는, 디코드 처리에 요하는 부하를 경감시킬 수 있다.
또한, 재생 장치에서 사용하는 화상 관련 정보는, 화상마다 가상 분할 영역에 대해서 할당된 중요도가 도시되어 있다. 따라서, 재생 제어부는, 중요도가 낮은 가상 분할 영역에 정보 표시 영역을 설치하여 다양한 정보, 예를 들어 동화상 데이터에 관한 보충 정보나, 메뉴, GUI, 광고 등의 화상을 동화상 데이터의 화상에 겹쳐서 표시하면, 중요도가 높은 화상이 숨겨지게 되는 것을 방지할 수 있다. 또한, 중요도가 높은 가상 분할 영역에 정보 표시 영역을 형성하도록 하면, 정보 표시 영역으로 표시되는 정보에 대한 주목도를 높게 하는 것이 가능하게 되어, 예를 들어 효과적으로 광고 등을 행할 수 있게 된다.
또한, 화상 관련 정보에 영역 피사체 정보가 포함되어 있는 경우, 재생 제어부는, 시간과 가상 분할 영역 및 가상 분할 영역에 포함되는 영역 피사체 정보를 테이블화한 도 24와 같은 GUI 화상을 표시해도 된다. 또한, 재생 제어부는, 표시된 시간과 가상 분할 영역에 대한 유저 선택 결과에 따라서 동화상 데이터의 재생 동작을 제어해도 된다. 예를 들어, 재생 제어부는, 유저가 선택한 시간 및 가상 분할 영역의 화상을 소정 위치(예를 들어 정면 위치)로서 동화상 데이터를 재생한다. 이러한 재생 동작을 행하도록 하면, 유저가 원하는 시간으로부터 유저가 원하는 피사체를 소정 위치로서 재생 동작을 행할 수 있게 된다. 또한, 유저의 주목 위치와 선택한 가상 분할 영역의 위치가 상이한 경우, 주목 위치에 대한 선택한 가상 분할 영역의 위치 제시를 행하도록 해도 된다. 예를 들어, 재생 제어부는, 선택한 가상 분할 영역이 위치하는 방향을 나타내는 화살표 등의 내비게이트 표시를 설정하도록 한다. 이러한 내비게이트 표시를 설정함으로써, 유저는 내비게이트 표시에 기초하여 주목 위치를 이동시킴으로써, 선택한 가상 분할 영역의 화상을 볼 수 있다.
또한, 화상 관련 정보에 영역 피사체 정보가 포함되어 있는 경우, 재생 제어부는, 주목 위치 검출부에 의해 검출한 주목 위치에 대응하는 가상 분할 영역을 판별하여, 판별된 가상 분할 영역에 포함되는 피사체를 나타내는 상기 영역 피사체 정보를 표시해도 된다. 예를 들어, 도 24에 도시한 바와 같이 영역 피사체 정보가 포함되어 있는 경우, 타임 코드 「00:30:00:00」의 화상 재생 시에서의 유저의 주목 위치가 분할 영역 ID 「B」의 가상 분할 영역인 경우, 「배우 C」에 관한 정보를 표시한다. 또한, 영역 피사체 정보는, 동화상 데이터에 기초하는 재생 화상에 중첩시켜 표시해도 되고, 재생 화상과는 상이한 표시 영역에 표시해도 된다.
또한, 재생 제어부는, 영역 피사체 정보에 기초하여 원하는 피사체가 포함되는 가상 분할 영역을 판별하여, 판별 결과에 기초하여 동화상 데이터의 재생 동작을 제어해도 된다. 예를 들어 재생 제어부는, 유저가 선택한 피사체를 포함하는 가상 분할 영역을 선택하고, 선택한 가상 분할 영역에 할당된 중요도에 따라서 특수 재생 동작의 재생 속도를 설정한다. 이 경우, 재생 장치는, 유저가 선택한 피사체를 포함하는 가상 분할 영역의 표시 화상을 소정 위치로서 동화상 데이터를 재생해도 된다. 또한, 재생 장치는, 유저의 주목 위치와 선택한 가상 분할 영역의 위치가 상이한 경우, 상술한 바와 같이 주목 위치에 대한 선택한 가상 분할 영역의 위치 제시를 행하도록 해도 된다. 이러한 재생 동작을 행하도록 하면, 유저가 선택한 피사체를 특수 재생 시에 표시할 수 있게 된다. 또한, 유저가 선택한 피사체를 포함하는 가상 분할 영역의 중요도에 따라서 특수 재생 동작 시의 재생 속도를 제어할 수 있다.
또한, 재생 장치는, 재생 동작 시에서의 유저의 주목 위치에 대응하는 가상 분할 영역의 시간 추이와 동작의 이력을 재생 동작 이력으로서 기억하여, 화상 관련 정보와 함께 재생 동작 이력을 표시한다. 이와 같이, 화상 관련 정보와 함께 재생 동작 이력을 표시하면, 예를 들어 유저가 어떤 피사체에 주목하여 재생을 행하였는지 용이하게 판별할 수 있다. 도 25는, 화상 관련 정보에 대해서 재생 동작 이력을 중첩하여 표시한 경우를 예시하고 있다. 유저는, 분할 영역 ID가 「C」인 가상 분할 영역을 주목 위치로서 재생 동작을 시간 t1 내지 시간 t4까지 행하고 있다. 그 후, 유저는, 분할 영역 ID가 「E」인 가상 분할 영역을 주목 위치로서 빨리 감기 동작을 행하고, 시간 t6에서 분할 영역 ID가 「A」인 가상 분할 영역을 주목 위치로서 통상 속도의 재생 동작을 행하고 있다. 또한, 유저는, 시간 t10에서 분할 영역 ID가 「C」인 가상 분할 영역을 주목 위치로서 재생 동작을 종료하고 있다. 또한, 시간 t7에서는 일시 정지 조작이 행해지고 있다. 이와 같이, 화상 관련 정보와 함께 재생 동작 이력을 표시하면, 도 25의 경우에서는, 유저가 「배우 B」의 화상이 표시되도록 재생 동작을 행하고 있는 것이 명확해진다.
또한, 재생 장치는, 재생 동작 이력을 재이용 가능하게 기억함으로써, 과거의 재생 동작을 재현할 수 있다. 또한, 재생 동작 이력을 이용하여 과거의 재생 동작을 재현하는 경우, 주목 위치에 대응하는 가상 분할 영역의 화상이 소정 위치에 표시시키도록 제어하면, 원하는 피사체가 소정 위치로 되도록 재생 동작에서의 표시 위치를 제어할 수 있다. 예를 들어 도 25에 도시한 재생 동작 이력을 사용한 경우, 「배우 B」를 포함하는 가상 분할 영역의 화상이 정면 위치가 되도록 재생 동작을 행할 수 있다.
명세서 중에 있어서 설명한 일련의 처리는 하드웨어 또는 소프트웨어, 혹은 양자의 복합 구성에 의해 실행하는 것이 가능하다. 소프트웨어에 의한 처리를 실행하는 경우에는, 처리 시퀀스를 기록한 프로그램을, 전용의 하드웨어에 내장된 컴퓨터 내의 메모리에 인스톨하여 실행시킨다. 또는, 각종 처리가 실행 가능한 범용 컴퓨터에 프로그램을 인스톨하여 실행시키는 것이 가능하다.
예를 들어, 프로그램은 기록 매체로서의 하드디스크나 SSD(Solid State Drive), ROM(Read Only Memory)에 미리 기록해 둘 수 있다. 또는, 프로그램은 플렉시블 디스크, CD-ROM(Compact Disc Read Only Memory), MO(Magneto optical) 디스크, DVD(Digital Versatile Disc), BD(Blu-Ray Disc(등록상표)), 자기디스크, 반도체 메모리 카드 등의 리무버블 기록 매체에, 일시적 또는 영속적으로 저장(기록)해 둘 수 있다. 이러한 리무버블 기록 매체는, 소위 패키지 소프트웨어로서 제공할 수 있다.
또한, 프로그램은, 리무버블 기록 매체로부터 컴퓨터에 인스톨하는 것 외에, 다운로드 사이트로부터 LAN(Local Area Network)이나 인터넷 등의 네트워크를 통하여, 컴퓨터에 무선 또는 유선으로 전송해도 된다. 컴퓨터에서는, 그렇게 해서 전송되어 오는 프로그램을 수신하고, 내장된 하드디스크 등의 기록 매체에 인스톨할 수 있다.
또한, 본 명세서에 기재한 효과는 어디까지나 예시이며 한정되는 것은 아니며, 기재되어 있지 않은 부가적인 효과가 있을 수 있다. 또한, 본 기술은, 상술한 기술의 실시 형태로 한정하여 해석되어서는 안 된다. 이 기술의 실시 형태는, 예시라고 하는 형태로 본 기술을 개시하고 있으며, 본 기술의 요지를 일탈하지 않는 범위에서 당업자가 실시 형태의 수정이나 대용을 이룰 수 있는 것은 자명하다. 즉, 본 기술의 요지를 판단하기 위해서는, 청구범위를 참작해야만 한다.
또한, 본 기술의 재생 장치는 이하와 같은 구성도 취할 수 있다.
(1) 동화상 데이터의 재생 화상에 대한 유저의 주목 위치를 검출하는 주목 위치 검출부와,
상기 재생 화상을 가상적으로 분할한 가상 분할 영역의 위치와 중요도를 나타내는 상기 동화상 데이터에 관련지어진 화상 관련 정보에 기초하여, 상기 주목 위치 검출부에 의해 검출한 주목 위치에 대응하는 상기 가상 분할 영역의 중요도를 판별하여, 판별된 중요도에 따라서 상기 동화상 데이터의 재생 동작을 제어하는 재생 제어부
를 구비하는 재생 장치.
(2) 상기 화상 관련 정보는, 상기 재생 화상의 시간 정보를 이용하여 시간마다 상기 가상 분할 영역의 위치와 중요도를 나타내고 있으며,
상기 재생 제어부는, 상기 시간 정보를 이용하여 다음의 재생 화상을 상기 판별한 중요도에 따라서 설정하는, (1)에 기재된 재생 장치.
(3) 상기 재생 제어부는, 상기 중요도가 낮아지는 데 수반하여 상기 재생 동작에 있어서 씨닝하는 화상이 많아지도록 상기 다음의 재생 화상을 설정하는, (2)에 기재된 재생 장치.
(4) 상기 동화상 데이터는 부호화 데이터이며,
상기 재생 제어부는, 상기 중요도에 따라서 상기 동화상 데이터의 디코드 처리를 제어하는, (1)에 기재된 재생 장치.
(5) 상기 재생 제어부는, 상기 중요도가 낮은 가상 분할 영역에 대응하는 화상 표시 영역에 정보 표시 영역을 형성하는, (1) 내지 (4) 중 어느 하나에 기재된 재생 장치.
(6) 상기 화상 관련 정보는, 상기 재생 화상의 시간 정보를 이용하여 시간마다 상기 가상 분할 영역의 위치와 중요도와 상기 가상 분할 영역에 포함되는 피사체에 관한 영역 피사체 정보를 나타내고 있으며,
상기 재생 제어부는, 상기 화상 관련 정보에 기초하여 시간과 피사체와 가상 분할 영역을 관련지어 표시부에 표시하여, 상기 시간과 가상 분할 영역에 대한 유저 선택 결과에 따라서 상기 동화상 데이터의 재생 동작을 제어하는, (1) 내지 (5) 중 어느 하나에 기재된 재생 장치.
(7) 상기 화상 관련 정보는 상기 가상 분할 영역에 포함되는 피사체에 관한 영역 피사체 정보를 포함하고,
상기 재생 제어부는, 상기 주목 위치 검출부에 의해 검출한 주목 위치에 대응하는 상기 가상 분할 영역을 판별하여, 판별된 상기 가상 분할 영역에 포함되는 피사체를 나타내는 상기 영역 피사체 정보를 표시하는, (1) 내지 (6) 중 어느 하나에 기재된 재생 장치.
(8) 상기 화상 관련 정보는 상기 가상 분할 영역에 포함되는 피사체에 관한 영역 피사체 정보를 포함하고,
상기 재생 제어부는, 상기 영역 피사체 정보에 기초하여 원하는 피사체가 포함되는 상기 가상 분할 영역을 판별하여, 판별 결과에 기초하여 상기 동화상 데이터의 재생 동작을 제어하는, (1) 내지 (6) 중 어느 하나에 기재된 재생 장치.
(9) 상기 재생 제어부는, 상기 원하는 피사체가 포함되는 가상 분할 영역과 상기 주목 위치에 대응하는 가상 분할 영역이 상이한 경우, 상기 원하는 피사체가 포함되는 가상 분할 영역의 위치를 제시하는, (8)에 기재된 재생 장치.
(10) 상기 재생 제어부는, 상기 동화상 데이터의 재생 동작 이력을 상기 화상 관련 정보와 함께 표시부에 표시시키는, (1) 내지 (9) 중 어느 하나에 기재된 재생 장치.
(11) 상기 재생 제어부는, 상기 동화상 데이터의 재생 동작 이력을 재이용 가능하게 기억하여, 상기 재생 동작 이력에 기초하여 상기 동화상 데이터를 재생하는 경우, 상기 재생 화상에서는 상기 주목 위치에 대응하는 가상 분할 영역을 소정 위치로 하는, (1) 내지 (10) 중 어느 하나에 기재된 재생 장치.
(12) 상기 주목 위치 검출부는, 상기 재생 화상을 보는 유저의 헤드부의 방향 또는 시선 방향을 검출하는 센서를 구비하고 있으며, 상기 센서의 검출 결과에 기초하여 판별한 상기 재생 화상에 대한 상기 헤드부의 방향 또는 상기 시선 방향의 위치를 상기 주목 위치로 하는, (1) 내지 (11) 중 어느 하나에 기재된 재생 장치.
또한, 본 기술의 정보 생성 장치는 이하와 같은 구성도 취할 수 있다.
(1) 동화상 데이터의 화상을 가상적으로 분할한 가상 분할 영역마다 중요도를 설정하여, 상기 화상에서의 상기 가상 분할 영역의 위치와 중요도를 나타내는 화상 관련 정보를, 상기 동화상 데이터에 관련지어 생성하는 화상 관련 정보 생성부
를 구비하는 정보 생성 장치.
(2) 상기 화상 관련 정보 생성부는, 상기 화상에 부가되어 있는 시간 정보를 이용하여, 시간마다 상기 가상 분할 영역의 위치와 중요도를 나타내도록 상기 화상 관련 정보를 생성하는, (1)에 기재된 정보 생성 장치.
(3) 상기 화상 관련 정보 생성부는, 상기 가상 분할 영역에 대해서 설정된 화상 처리의 처리 결과에 기초하여 중요도를 설정하는, (2)에 기재된 정보 생성 장치.
(4) 상기 화상 관련 정보 생성부는, 가상 분할 영역에 대해서 상기 화상 처리가 복수 설정되어 있으며, 상기 복수의 화상 처리의 처리 결과에 기초하여 중요도를 설정하는, (3)에 기재된 정보 생성 장치.
(5) 상기 화상 관련 정보 생성부는, 상기 가상 분할 영역에 포함되는 피사체에 관한 영역 피사체 정보를 상기 화상 관련 정보에 포함하는, (1) 내지 (4) 중 어느 하나에 기재된 정보 생성 장치.
(6) 상기 화상 관련 정보 생성부는, 상기 화상을 사용하여 특정 영역 인식 처리를 행하고, 인식 처리 결과에 기초하여 상기 화상을 가상적으로 분할하는, (1) 내지 (5) 중 어느 하나에 기재된 정보 생성 장치.
이 기술의 재생 장치와 재생 방법 및 정보 생성 장치와 정보 생성 방법에 의하면, 동화상 데이터의 재생 화상에 대한 유저의 주목 위치가 주목 위치 검출부에 의해 검출된다. 또한, 재생 화상을 가상적으로 분할한 가상 분할 영역의 위치와 중요도를 나타내는 동화상 데이터에 관련지어진 화상 관련 정보에 기초하여, 주목 위치 검출부에 의해 검출한 주목 위치에 대응하는 가상 분할 영역의 중요도를 판별하여, 판별된 중요도에 따라서 동화상 데이터의 재생 동작이 재생 제어부에 의해 제어된다. 이로 인해, 유저는, 주목 위치를 이동하는 것만으로 재생 동작을 제어하는 것이 가능하게 되어, 최적의 재생 동작을 용이하게 행할 수 있다. 따라서, 헤드부에 장착된 표시부에 재생 화상을 표시하는 재생 장치나 광화각의 동화상을 재생하는 재생 장치 등에 적합하다.
10: 화상 처리 시스템
20, 20a: 정보 생성 장치
21: 분할 영역 설정부
22: 분할 영역 정보 기억부
23: 중요도 설정 제어부
24: 중요도 분할 영역 설정 제어부
25, 25a: 화상 관련 정보 생성부
30: 재생 장치
31: 정보 취득부
32: 정보 기억부
33: 유저 인터페이스부
34: 주목 위치 검출부
35: 재생 위치 관리부
36: 동작 설정 정보 기억부
37: 재생 제어부
38: 디코드 처리부
39: 정보 표시 처리부
40: 표시부

Claims (20)

  1. 동화상 데이터의 재생 화상에 대한 유저의 주목 위치를 검출하는 주목 위치 검출부와,
    상기 재생 화상을 가상적으로 분할한 가상 분할 영역의 위치와 중요도를 나타내는 상기 동화상 데이터에 관련지어진 화상 관련 정보에 기초하여, 상기 주목 위치 검출부에 의해 검출한 주목 위치에 대응하는 상기 가상 분할 영역의 중요도를 판별하여, 판별된 중요도에 따라서 상기 동화상 데이터의 재생 동작을 제어하는 재생 제어부
    를 구비하는 재생 장치.
  2. 제1항에 있어서,
    상기 화상 관련 정보는, 상기 재생 화상의 시간 정보를 이용하여 시간마다 상기 가상 분할 영역의 위치와 중요도를 나타내고 있으며,
    상기 재생 제어부는, 상기 시간 정보를 이용하여 다음의 재생 화상을 상기 판별된 중요도에 따라서 설정하는, 재생 장치.
  3. 제2항에 있어서,
    상기 재생 제어부는, 상기 중요도가 낮아지는 데 수반하여 상기 재생 동작에 있어서 씨닝하는 화상이 많아지도록 상기 다음의 재생 화상을 설정하는, 재생 장치.
  4. 제1항에 있어서,
    상기 동화상 데이터는 부호화 데이터이며,
    상기 재생 제어부는, 상기 중요도에 따라서 상기 동화상 데이터의 디코드 처리를 제어하는, 재생 장치.
  5. 제1항에 있어서,
    상기 재생 제어부는, 상기 중요도가 낮은 가상 분할 영역에 대응하는 화상 표시 영역에 정보 표시 영역을 형성하는, 재생 장치.
  6. 제1항에 있어서,
    상기 화상 관련 정보는, 상기 재생 화상의 시간 정보를 이용하여 시간마다 상기 가상 분할 영역의 위치와 중요도와 상기 가상 분할 영역에 포함되는 피사체에 관한 영역 피사체 정보를 나타내고 있으며,
    상기 재생 제어부는, 상기 화상 관련 정보에 기초하여 시간과 피사체와 가상 분할 영역을 관련지어 표시부에 표시하여, 상기 시간과 가상 분할 영역에 대한 유저 선택 결과에 따라서 상기 동화상 데이터의 재생 동작을 제어하는, 재생 장치.
  7. 제1항에 있어서,
    상기 화상 관련 정보는 상기 가상 분할 영역에 포함되는 피사체에 관한 영역 피사체 정보를 포함하고,
    상기 재생 제어부는, 상기 주목 위치 검출부에 의해 검출한 주목 위치에 대응하는 상기 가상 분할 영역을 판별하여, 판별된 상기 가상 분할 영역에 포함되는 피사체를 나타내는 상기 영역 피사체 정보를 표시하는, 재생 장치.
  8. 제1항에 있어서,
    상기 화상 관련 정보는 상기 가상 분할 영역에 포함되는 피사체에 관한 영역 피사체 정보를 포함하고,
    상기 재생 제어부는, 상기 영역 피사체 정보에 기초하여 원하는 피사체가 포함되는 상기 가상 분할 영역을 판별하여, 판별 결과에 기초하여 상기 동화상 데이터의 재생 동작을 제어하는, 재생 장치.
  9. 제8항에 있어서,
    상기 재생 제어부는, 상기 원하는 피사체가 포함되는 가상 분할 영역과 상기 주목 위치에 대응하는 가상 분할 영역이 상이한 경우, 상기 원하는 피사체가 포함되는 가상 분할 영역의 위치를 제시하는, 재생 장치.
  10. 제1항에 있어서,
    상기 재생 제어부는, 상기 동화상 데이터의 재생 동작 이력을 상기 화상 관련 정보와 함께 표시부에 표시시키는, 재생 장치.
  11. 제1항에 있어서,
    상기 재생 제어부는, 상기 동화상 데이터의 재생 동작 이력을 재이용 가능하게 기억하며, 상기 재생 동작 이력에 기초하여 상기 동화상 데이터를 재생하는 경우, 상기 재생 화상에서는 상기 주목 위치에 대응하는 가상 분할 영역을 소정 위치로 하는, 재생 장치.
  12. 제1항에 있어서,
    상기 주목 위치 검출부는, 상기 재생 화상을 보는 유저의 헤드부 방향 또는 시선 방향을 검출하는 센서를 구비하고 있으며, 상기 센서의 검출 결과에 기초하여 판별한 상기 재생 화상에 대한 상기 헤드부의 방향 또는 상기 시선 방향의 위치를 상기 주목 위치로 하는, 재생 장치.
  13. 동화상 데이터의 재생 화상에 대한 유저의 주목 위치를 주목 위치 검출부에 의해 검출하는 것과,
    상기 재생 화상을 가상적으로 분할한 가상 분할 영역의 위치와 상기 가상 분할 영역의 중요도를 나타내는 상기 동화상 데이터에 관련지어진 화상 관련 정보에 기초하여, 상기 주목 위치 검출부에 의해 검출한 주목 위치에 대응하는 상기 가상 분할 영역의 중요도를 판별하여, 판별된 중요도에 따라서 상기 동화상 데이터의 재생 동작을 재생 제어부에 의해 제어하는 것을 포함하는, 재생 방법.
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
KR1020187032840A 2016-05-24 2017-02-24 재생 장치와 재생 방법 및 정보 생성 장치와 정보 생성 방법 KR102592594B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016103314 2016-05-24
JPJP-P-2016-103314 2016-05-24
PCT/JP2017/007062 WO2017203768A1 (ja) 2016-05-24 2017-02-24 再生装置と再生方法および情報生成装置と情報生成方法

Publications (2)

Publication Number Publication Date
KR20190008858A KR20190008858A (ko) 2019-01-25
KR102592594B1 true KR102592594B1 (ko) 2023-10-24

Family

ID=60412873

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187032840A KR102592594B1 (ko) 2016-05-24 2017-02-24 재생 장치와 재생 방법 및 정보 생성 장치와 정보 생성 방법

Country Status (6)

Country Link
US (1) US10930317B2 (ko)
JP (1) JP6882634B2 (ko)
KR (1) KR102592594B1 (ko)
CN (1) CN109155836B (ko)
DE (1) DE112017002665T5 (ko)
WO (1) WO2017203768A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10810773B2 (en) * 2017-06-14 2020-10-20 Dell Products, L.P. Headset display control based upon a user's pupil state
JP7140527B2 (ja) * 2018-03-30 2022-09-21 キヤノン株式会社 電子機器及びその制御方法
JP2020036261A (ja) * 2018-08-31 2020-03-05 シャープ株式会社 情報処理システムおよび操作履歴の確認方法
JP7330708B2 (ja) * 2019-01-28 2023-08-22 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110091107A1 (en) * 2009-10-20 2011-04-21 Canon Kabushiki Kaisha Image processing apparatus and control method for the same
US20110137753A1 (en) * 2009-12-03 2011-06-09 Armin Moehrle Automated process for segmenting and classifying video objects and auctioning rights to interactive sharable video objects

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5115151B2 (ja) * 2007-11-02 2013-01-09 ソニー株式会社 情報提示装置及び情報提示方法
JP5142828B2 (ja) * 2008-05-29 2013-02-13 キヤノン株式会社 送信装置、送信方法及びプログラム
JP2010074617A (ja) 2008-09-19 2010-04-02 Toshiba Corp 映像記録再生装置
JP2011039797A (ja) * 2009-08-11 2011-02-24 Sony Ericsson Mobile Communications Ab タイトル自動付加装置、タイトル自動付加方法、タイトル自動付加プログラム、及び携帯端末装置
JP2011223097A (ja) * 2010-04-05 2011-11-04 Sony Corp 画像処理装置、画像処理方法及び画像処理プログラム
EP2695049A1 (en) * 2011-05-10 2014-02-12 NDS Limited Adaptive presentation of content
JP2013125191A (ja) 2011-12-15 2013-06-24 Canon Inc 映像表示装置、映像表示方法及びプログラム
US20130170559A1 (en) * 2011-12-28 2013-07-04 Rovi Technologies Corporation Systems and methods for region of interest video processing
JP2014050018A (ja) * 2012-09-03 2014-03-17 Ricoh Co Ltd 情報処理装置、ビデオ会議システム及びプログラム
WO2014057618A1 (ja) * 2012-10-09 2014-04-17 パナソニック株式会社 ３次元表示装置、３次元画像処理装置および３次元表示方法
WO2015127464A1 (en) * 2014-02-24 2015-08-27 H. Lee Moffitt Cancer Center And Research Institute, Inc. Methods and systems for performing segmentation and registration of images using neutrosophic similarity scores
JP2016046642A (ja) * 2014-08-21 2016-04-04 キヤノン株式会社 情報処理システム、情報処理方法及びプログラム
CN105578258B (zh) 2015-12-11 2019-05-24 浙江大华技术股份有限公司 一种视频预处理和视频回放的方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110091107A1 (en) * 2009-10-20 2011-04-21 Canon Kabushiki Kaisha Image processing apparatus and control method for the same
US20110137753A1 (en) * 2009-12-03 2011-06-09 Armin Moehrle Automated process for segmenting and classifying video objects and auctioning rights to interactive sharable video objects

Also Published As

Publication number Publication date
JPWO2017203768A1 (ja) 2019-03-22
US10930317B2 (en) 2021-02-23
KR20190008858A (ko) 2019-01-25
JP6882634B2 (ja) 2021-06-02
WO2017203768A1 (ja) 2017-11-30
CN109155836A (zh) 2019-01-04
DE112017002665T5 (de) 2019-03-14
US20190139574A1 (en) 2019-05-09
CN109155836B (zh) 2021-11-05

Similar Documents

Publication Publication Date Title
KR102592594B1 (ko) 재생 장치와 재생 방법 및 정보 생성 장치와 정보 생성 방법
US10536661B2 (en) Tracking object of interest in an omnidirectional video
US20230402067A1 (en) Integration of audio into a multi-view interactive digital media representation
US20210392278A1 (en) System for automatic video reframing
CN111684393A (zh) 在虚拟、增强或混合现实环境中生成和显示3d视频的方法和系统
US20070115256A1 (en) Apparatus, medium, and method processing multimedia comments for moving images
KR20160013984A (ko) 비디오 편집을 위한 터치 최적화 디자인
US8412027B2 (en) Display controlling apparatus for playing back moving image and control method for the same
JP2018113616A (ja) 情報処理装置、情報処理方法、およびプログラム
CN105830092A (zh) 用于数字合成及/或检索的系统、方法及设备
US11245887B2 (en) Electronic device and operation method therefor
EP2816564A1 (en) Method and apparatus for smart video rendering
JP2019033430A (ja) 動画再生装置およびその制御方法、並びにプログラム
US11341096B2 (en) Presenting and editing recent content in a window during an execution of a content application
WO2018070092A1 (ja) 情報提供装置と情報提供方法および情報再生装置と情報再生方法
JP2014209707A (ja) 映像再生装置および映像再生方法
KR101613777B1 (ko) 라이브 댄스 클래스 및 라이브 뮤직 룸을 위한 서비스 시스템 및 서비스 방법
US20180350404A1 (en) Video splitter
KR101837282B1 (ko) 파노라마 영상의 자동 시야각 제어 방법 및 그 시스템
KR102487976B1 (ko) 전자 장치 및 그 동작방법
KR102592516B1 (ko) 모빌리티 단말 기반의 gis 영상 관제 시스템 및 이의 영상 제공 방법
KR101613778B1 (ko) 라이브 뮤직비디오를 위한 서비스 시스템 및 서비스 방법
KR101759297B1 (ko) 동영상 처리 장치, 및 방법
KR101722681B1 (ko) 동영상 처리 장치, 및 방법
JP2017069596A (ja) 画像処理装置及び方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant