KR20090066234A - 신호 처리 장치, 신호 처리 방법, 프로그램 및 매체 - Google Patents

신호 처리 장치, 신호 처리 방법, 프로그램 및 매체 Download PDF

Info

Publication number
KR20090066234A
KR20090066234A KR1020080128358A KR20080128358A KR20090066234A KR 20090066234 A KR20090066234 A KR 20090066234A KR 1020080128358 A KR1020080128358 A KR 1020080128358A KR 20080128358 A KR20080128358 A KR 20080128358A KR 20090066234 A KR20090066234 A KR 20090066234A
Authority
KR
South Korea
Prior art keywords
content
viewing
unit
time
listening
Prior art date
Application number
KR1020080128358A
Other languages
English (en)
Inventor
데쯔지로 곤도
요시노리 와따나베
Original Assignee
소니 가부시끼 가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 가부시끼 가이샤 filed Critical 소니 가부시끼 가이샤
Publication of KR20090066234A publication Critical patent/KR20090066234A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/147—Scene change detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • User Interface Of Digital Computer (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

영상 콘텐츠 또는 음성 콘텐츠의 유저에 의한 시청 또는 청취가 적절한 상태에서 행할 수 있도록 한다. 스트림 데이터에 의한 콘텐츠를 수신 또는 축적하는 콘텐츠 취득부(11)와, 그 콘텐츠 취득부(11)에서 취득한 콘텐츠의 소정의 특징량을 추출하는 특징량 추출부(13)와, 콘텐츠 취득부(11)에서 취득한 콘텐츠의 시청 시간 또는 청취 시간을 검출하는 검출부(17)를 구비한다. 그리고 또한, 특징량 추출부(13)에서 추출된 특징량의 추출 상태와, 시청 시간 또는 청취 시간에 의해 결정되는 콘텐츠에 관한 시청 상황 또는 청취 상황의 정보를 산출하고, 그 산출한 콘텐츠에 관한 시청 상황 또는 청취 상황의 정보를 출력하는 처리부(17)를 구비한다.
콘텐츠 취득부, 특징량 추출부, 검출부, 화상 재생 장치, 정보 기록부

Description

신호 처리 장치, 신호 처리 방법, 프로그램 및 매체{SIGNAL PROCESSOR, SIGNAL PROCESSING METHOD, PROGRAM, AND RECORDING MEDIUM}
본 발명은, 예를 들면 화상 표시 장치에 스트림 데이터에 의한 콘텐츠를 표시시킬 때의 제어에 적용하기에 바람직한 신호 처리 장치 및 신호 처리 방법, 및 그 처리 방법을 적용한 프로그램과 그 프로그램을 저장한 매체에 관한 것이다.
예를 들면, 텔레비전 방송에서 방송되는 프로그램 등의 영상 콘텐츠에는, 문자에 의한 텔롭(telop)이 영상에 중첩되고, 그 영상 프로그램을 시청할 때에는, 그 텔롭에서 내용의 안내가 행해지는 경우가 많이 있다. 예를 들면, 뉴스 프로그램에서는, 영상에 의해 소개되는 내용을 화면 아래에 중첩되는 텔롭으로 간단히 설명하는 경우가 있다. 또한, 뉴스 프로그램 이외의 영상 프로그램에서도, 문자에 의한 텔롭 등으로, 영상의 안내 등을 표시하는 경우가 많이 행해지고 있다.
한편, 이와 같은 영상 프로그램을 시청할 때에는, 예를 들면 그 영상 프로그램이 1시간의 프로그램이면, 1시간을 들여 시청하게 된다. 이것보다도 시청하는 시간을 단축하고자 하는 경우에는, 시청하는 유저가 리모트 컨트롤 장치 등을 조작하여, 앞으로 감기 재생 등을 행하여, 적절히 앞으로 감기하여 시청하게 된다.
여기서, 전술한 문자 등에 의한 텔롭에 의해 안내가 행해지는 영상 프로그램인 경우에는, 유저에 따라서는, 텔롭으로서 표시된 내용을 확인하면, 다음의 내용이 표시되는 개소까지 앞으로 감고자 하는 경우가 있다. 반대로, 유저에 따라서는, 텔롭을 판독할 뿐만 아니라, 표시되는 영상을 앞으로 감지 않고 보고자 하는 경우도 있다. 또한, 텔롭을 유저에게 확인시키는 경우라도, 그 텔롭을 판독할 때에 필요한 시간이나 개인차가 있어, 텔롭의 적정한 표시 시간의 선정은 어렵다고 하는 문제가 있었다.
특허 문헌 1에는, 영상 신호의 기록을 행할 때에, 그 내용의 개요를 파악할 수 있는 서치 화상을 생성할 때에, 텔롭의 존재를 검출하고, 그 텔롭의 존재를 나타내는 신호를 기록하여, 서치를 하기 쉽도록 하는 기술에 대한 기재가 있다.
[특허 문헌 1] 일본 특허 공개 제2007-184962호 공보
전술한 바와 같이, 영상 콘텐츠를 표시시킬 때에는, 최적의 표시 시간의 선정이 어렵다고 하는 문제가 있었다. 특히 텔롭이 표시되어, 단시간에 내용을 파악할 수 있는 영상이 포함되는 경우에는, 용장한 표시로 되게 되는 경우가 있었다. 또한, 여기까지의 설명에서는 영상을 표시시키는 경우의 문제에 대해서 설명하였지만, 음성을 청취하는 경우에서도, 청취할 때의 재생 속도의 적절한 선정이 어렵다고 하는 문제가 있었다.
본 발명은 이들 점을 감안하여 이루어진 것으로, 영상 콘텐츠 또는 음성 콘 텐츠의 유저에 의한 시청 또는 청취가 적절한 상태에서 행할 수 있도록 하는 것을 목적으로 한다.
본 발명은, 스트림 데이터에 의한 콘텐츠를 수신 또는 축적하는 콘텐츠 취득부와, 그 콘텐츠 취득부에서 취득한 콘텐츠의 소정의 특징량을 추출하는 특징량 추출부와, 콘텐츠 취득부에서 취득한 콘텐츠의 시청 시간 또는 청취 시간을 검출하는 검출부를 구비한다. 그리고 또한, 특징량 추출부에서 추출된 특징량의 추출 상태와, 시청 시간 또는 청취 시간에 의해 결정되는 콘텐츠에 관한 시청 상황 또는 청취 상황의 정보를 산출하고, 그 산출한 콘텐츠에 관한 시청 상황 또는 청취 상황의 정보를 출력하는 처리부를 구비한다.
본 발명에 따르면, 콘텐츠에 관한 시청 상황 또는 청취 상황의 정보가 출력되고, 그 출력되는 정보를 사용하여, 영상 콘텐츠의 시청 상황, 혹은 음성 콘텐츠의 청취 상황의 상세를 알 수 있다.
본 발명에 따르면, 유저에 의한 콘텐츠에 관한 시청 상황 또는 청취 상황의 정보가 작성되어 출력되고, 그 출력되는 정보를 이용하여, 영상 콘텐츠의 시청 상황, 혹은 음성 콘텐츠의 청취 상황의 상세를 알게 된다. 따라서, 그 정보를 이용하여, 영상 콘텐츠의 재생 상태의 제어 등이 가능하게 되어, 영상 콘텐츠 또는 음성 콘텐츠의 유저에 의한 시청 또는 청취가 적절한 재생 상태에서 행할 수 있게 된다.
이하, 본 발명의 일 실시 형태를, 첨부 도면을 참조하여 설명한다.
우선 도 2를 참조하여 전체 구성의 개요를 설명하면, 본 실시 형태에서는 화상 재생 장치(10)와 디스플레이 장치(20)가 접속하고 있고, 화상 재생 장치(10)에서 재생한 영상 콘텐츠에 의한 화상이, 디스플레이 장치(20)에 표시된다. 화상 재생 장치(10)는 리모트 컨트롤 신호 수신부(18a)를 구비하고, 리모트 컨트롤 장치(30)의 발신부(31)로부터 발신되는 리모트 컨트롤 신호를 수신한다. 이 리모트 컨트롤 장치(30)에는, 조작부로서의 키(32)가 배치되어 있고, 키(32)를 시청자인 유저 m이 조작함으로써, 영상 콘텐츠의 재생 개시, 앞으로 감기, 정지 등의 각종 조작이 가능하다.
다음으로, 화상 재생 장치(10)의 내부 구성예에 대해, 도 1을 참조하여 설명한다.
화상 재생 장치(10)는 정보 기록부(11)를 구비하고, 수신부(19)에서 수신한 영상 콘텐츠를 기록하여 재생할 수 있다. 여기서의 영상 콘텐츠란, 스트림 데이터(구체적으로는 동화상의 영상 신호 및 음성 신호)로 구성되는 콘텐츠이다. 영상 콘텐츠 정보 기록부(11)로서는, 예를 들면 하드 디스크 드라이브 장치 등의 대용량 기억 장치가 사용된다. 수신부(19)는 영상 콘텐츠를 수신하는 것이다. 예를 들면, 방송 신호를 수신하는 튜너나, 인터넷 등을 경유하여 영상 콘텐츠를 수신하는 수신 장치 등으로 구성된다.
정보 기록부(11)에 기록된 영상 콘텐츠는 화상 재생부(12)에 읽어내어져, 화 상 재생부(12)에서 재생용의 영상 데이터를 생성시켜, 디스플레이 장치(20)에 공급한다. 디스플레이 장치(20)에서는, 공급되는 영상 데이터에 의한 영상을 표시시킨다. 또한, 도시는 하지 않지만, 영상 데이터에 부가된 음성 데이터가 있는 경우에는, 그 음성 데이터도 화상 재생부(12)에서 정보 기록부(11)로부터 읽어내어, 디스플레이 장치(20)에 공급하여, 디스플레이 장치(20)가 구비하는 스피커로부터 출력시킨다.
화상 재생부(12)에서의 재생 처리는 커맨드 취득부(18)로부터의 명령에 기초하여 행해진다. 커맨드 취득부(18)에는 리모트 컨트롤 신호 수신부(18a)에서 수신한 리모트 컨트롤 신호가 공급된다. 리모트 컨트롤 신호 수신부(18a)는 별체의 리모트 컨트롤 장치로부터 공급되는 리모트 컨트롤 신호를 수신한다. 리모트 컨트롤 장치는 디스플레이 장치(20)에 표시되는 화상(및 음성)을 시청하는 유저 m이 조작하는 것이다.
리모트 컨트롤 장치로부터의 리모트 컨트롤 신호는, 예를 들면 적외선 신호나 무선 신호로서 전송된다. 리모트 컨트롤 신호에 의한 명령으로서는, 예를 들면 영상 콘텐츠의 재생 개시, 일시 정지, 정지의 지시, 재생 중의 영상 콘텐츠의 앞으로 감기, 스킵 등의 재생 상태나 재생 개소의 지시 등이 있다. 이들 명령을 리모트 컨트롤 신호 수신부(18a)에서 수신하고, 커맨드 취득부(18)로부터 화상 재생부(12)에 보냄으로써, 화상 재생부(12)에서 재생하여 디스플레이 장치(20)에 보내는 영상 데이터가, 대응한 상태로 변화한다. 또한, 커맨드 취득부(18)로부터의 명령은, 후술하는 시청 소요 시간 계측부(15)에도 공급한다.
그리고 본 예의 화상 재생 장치(10)는 화상 재생부(12)에서의 재생 상태를 해석하는 기능을 구비한다.
즉, 화상 재생부(12)에서 재생한 화상을, 화상 해석부(13)에 보냄과 함께, 동일 화상 정보 단위 검출부(14)에서, 동일 내용의 화상이 계속되는 것을 검출시킨다. 화상 해석부(13)에서의 해석으로서는, 예를 들면 화상에 중첩된 문자 등에 의한 텔롭이 존재하는 경우에, 그 텔롭의 문자수를 카운트한다. 또한, 화상의 공간 차분을 취득하여, 문자수와 공간 차분의 값을, 해석 결과로서 출력한다.
동일 화상 정보 단위 검출부(14)에서의 동일 내용의 화상의 검출이란, 동일한 내용의 화상이 계속되어 있는 경우의 검출이다. 즉 동일 화상 정보 단위 검출부(14)는, 동일한 내용의 씬이 계속되어 있는지의 검출을 행하는 씬 판별부로서 기능한다. 이 동일 화상의 검출 처리는, 예를 들면 직전의 프레임의 화상과 현재의 프레임의 화상의 각 화소 단위에서의 차분을 계산하여, 판정한다. 이들 화상 해석부(13) 및 동일 화상 정보 단위 검출부(14)에서의 구체적인 처리예에 대해서는 후술한다.
이들 화상 해석부(13)에서의 해석 결과와, 동일 화상 정보 단위 검출부(14)의 검출 결과는, 시청 소요 시간 계측부(15)와 시청 소요 시간 추정부(17)에 보낸다. 시청 소요 시간 계측부(15)에서는 커맨드 취득부(18)로부터의 명령에 대해서도 공급되고, 각각의 결과와 명령의 발생 상태로부터, 시청 소요 시간을 산출한다. 시청 소요 시간의 구체적인 산출 처리예에 대해서는 후술한다.
산출된 시청 소요 시간에 대해서는, 메모리 등으로 구성되는 테이블 유지 부(16)에 유지시킨다.
시청 소요 시간 추정부(17)에서는 테이블 유지부(16)에 유지된 시청 소요 시간의 정보와, 화상 해석부(13) 및 동일 화상 정보 단위 검출부(14)로부터 공급되는 정보에 기초하여, 화상 재생부(12)에서 재생시키는 영상의 시청 소요 시간을 추정하고, 그 추정 결과를 화상 재생부(12)에 보낸다. 시청 소요 시간의 추정 처리의 상세에 대해서는 후술한다.
화상 재생부(12)에 추정 결과가 공급되면, 화상 재생부(12)에서 재생시키고 있는 화상의 재생 상태의 제어를 대응한 상태로 한다. 이 재생 제어 상태에 대해서도 후술하지만, 예를 들면 시청 소요 시간의 추정 결과로, 현재 재생 중의 화상을 시청시키기에 충분한 시간 재생시킨다고 판단한 경우에는, 재생을 다음으로 진행시키는 처리를 행한다.
다음으로, 본 실시 형태의 화상 재생 장치(10)에서, 정보 기록부(11)에 기록된 영상 콘텐츠를 재생할 때의 처리 동작에 대해서, 도 3 이후의 플로우차트를 참조하여 설명한다.
우선, 도 3을 참조하여 전체 처리 상태에 대해서 설명하면, 화상 재생 장치(10)의 커맨드 취득부(18)로부터 커맨드의 입력이 있는지의 여부를 판단하고(스텝 S11), 커맨드의 입력이 없다고 판단한 경우에는, 화상 재생부(12)에서 재생 중의 영상 콘텐츠의 화상 내용의 판정을 행한다. 즉, 동일 정보 프레임이 계속되는 경우의 판정(스텝 S12)과, 화상 내용의 해석(스텝 S13)을 행하고, 또한 테이블 보존부(16)로부터 테이블의 데이터를 읽어내고(스텝 S14), 1단위의 화상의 제시 시간 을 결정한다(스텝 S15). 그리고, 그 결정한 시간, 정보를 제시하도록 화상 재생부(12)에서의 재생 타이밍을 제어한다. 그 재생 타이밍 제어를 행하면, 다음의 정보 단위의 처리로 진행하고(스텝 S17), 스텝 S11의 판단으로 되돌아간다.
또한, 스텝 S11에서 유저 조작에 기초한 커맨드 입력이 있다고 판단한 경우에는, 커맨드의 해석을 행한다(스텝 S18). 여기서, 해석한 커맨드가 영상 콘텐츠의 재생을 정지시키는 종료 커맨드인 경우에는, 여기서의 처리를 종료한다(스텝 S23). 그리고, 종료 커맨드 이외의 커맨드인 경우에는, 동일 정보 프레임이 계속되는 경우의 판정(스텝 S19)과, 화상 내용의 해석(스텝 S20)을 행하고, 1단위의 정보의 제시 시간을 측정한다(스텝 S21). 제시 시간이 측정되면, 그 측정된 제시 시간의 정보를 테이블 유지부(16)에 유지시켜, 테이블의 기억 정보를 갱신시킨다(스텝 S22).
다음으로, 동일 화상 정보 단위 검출부(14)에서의 동일 정보 프레임이 계속되는 경우의 검출(판정) 처리예를, 도 4의 플로우차트를 참조하여 설명한다.
동일 정보 프레임이 계속되는 경우의 판정 처리가 개시되면, 동일 정보 프레임 카운터를 0으로 리세트하고(스텝 S31), 차분 카운터에 대해서도 0으로 리세트한다(스텝 S32). 그리고, 원인으로 되는 화상(비교원의 화상)과, 현재의 화상과의 휘도의 차분값을, 각각의 화소 단위로 계산하고(스텝 S33), 계산된 차분값이 임계값 이상인지의 여부를 판단한다(스텝 S34). 여기서, 차분값이 임계값 이상이라고 판단한 경우에, 차분 카운터의 카운트값을 +1 한다(스텝 S35). 차분값이 임계값이상이 아닌 경우에는, 차분 카운터의 값은 그대로이다. 그리고, 1프레임 내의 모든 화소에 대해서 판단한 것인지의 여부를 판정하고(스텝 S36), 모든 화소를 판단하고 있지 않은 경우에는, 평가하는 화소 위치를 변화시켜(스텝 S37), 스텝 S33의 화상 차분값의 계산으로 되돌아간다.
그리고, 스텝 S36에서 1프레임 내의 모든 화소에 대한 평가가 종료되었다고 판단한 경우에는, 차분 카운터의 값이 임계값 이하인지의 여부를 판단한다(스텝 S38). 여기서 임계값 이하라고 판단한 경우에는, 동일 정보 프레임 카운터의 카운트값을 +1하여(스텝 S39), 다음의 영상 프레임의 처리로 진행하고(스텝 S40), 다음의 영상 프레임에 대해서, 스텝 S32로부터 처리가 행해진다.
또한, 스텝 S38에서, 차분 카운터의 값이 임계값 이하가 아닌 경우(즉 임계값과 동등하거나 임계값을 초과한 경우)에, 동일 정보 프레임 카운터의 현재의 값을 출력시켜(스텝 S41), 현재의 판정 처리를 종료한다. 그리고, 영상 콘텐츠의 재생이 계속되는 한은, 스텝 S31로부터의 처리가 다시 실행된다.
또한, 이 도 4의 플로우차트에서의 동일 정보 프레임인 경우의 판별은, 영상 콘텐츠를 재생 중에 아무것도 유저가 조작을 하지 않는 경우에는, 그 영상 콘텐츠의 영상에서 동일 정보 프레임이 연속되는 시간이 검출되게 되지만, 유저 조작에서 재생 개소를 진행시키는 등의 지시가 있으면, 그 조작이 행해질 때까지의 동일 정보 프레임이 연속되는 시간(즉 디스플레이 장치(20)에 실제로 표시되는 영상에서, 동일 정보 프레임이 연속되는 시간)이 검출되게 된다.
다음으로, 화상 분석부(13)에서의 처리 동작을, 도 5의 플로우차트를 참조하여 설명한다.
우선, 1프레임의 재생 화상 내에 텔롭이 존재하는 경우에, 1프레임의 화상 내의 텔롭의 문자수를 카운트한다(스텝 S51). 또한, 화상의 공간 차분을 계산한다(스텝 S52). 이 공간 차분의 계산 처리는, 동일 화상 정보 단위 검출부(14)에서의 화상 차분값의 계산 처리와 동일하다.
그리고, 얻어진 1프레임 내의 텔롭수와 화상의 공간 차분값을 출력한다(스텝 S53).
다음으로, 시청 소요 시간 추정부(17)에서의 시청 소요 시간의 추정 처리예를, 도 6의 플로우차트에 나타낸다.
시청 소요 시간의 추정 처리로서는, 우선 화상 분석부(13)로부터 해석 결과의 데이터를 수취한다(스텝 S61). 해석 결과를 수취하면, 그 해석 결과의 벡터와의 최단 거리의 테이블의 데이터를 읽어낸다(스텝 S62). 그리고, 그 테이블의 데이터에 의해 나타내어진 시청 소요 시간을, 시청 소요 시간의 추정 결과로서 출력한다(스텝 S63).
이 출력되는 시청 소요 시간의 추정 결과는 화상 재생부(12)에 공급하여, 영상 프로그램의 재생 제어에 사용한다. 예를 들면, 시청 소요 시간 추정부(17)에서의 시청 소요 시간의 추정 결과로, 1개의 정지 화상으로 간주할 수 있는 화상을 연속하여 시청한 시간이, 시청 소요 시간의 추정 결과로 나타내어지는 시간으로 되었을 때, 다음 단위의 영상의 재생에 재생 위치를 진행하는 처리를 행한다.
도 7은, 테이블 유지부(16)에 유지되는 테이블의 예를 나타낸 것이다. 이 예에서는, 화상 내의 텔롭의 문자수와, 그 문자수의 경우의 화소 차분의 평균값과, 그 경우의 화상을 시청하는 소요 시간의 평균 시간(초)을 나타내고 있다.
도 7에 도시한 바와 같이, 1화면 내에 표시되는 문자수가 증가함에 따라서, 소요 시간도 늘어나게 된다.
이 도 7에 도시한 테이블이 준비되면, 도 4의 플로우차트에서 설명한 바와 같이, 이후, 정지 화상에 가까운 동일 정보의 영상이 연속되어 표시되는 상태로 되면, 이 테이블 내의 조건에 일치하는 시청 소요 시간이 읽어내어지고, 그 시청 소요 시간이 현재 표시된 화상의 추정 시청 시간으로 되고, 그 시간이 경과되면, 다음 단위의 영상의 표시로 진행한다. 따라서, 화상 내에 주로 문자에 의한 텔롭이 표시되어, 동일 정보의 화상이 표시 중이라고 판단된 경우에는, 과거에 동일한 문자수의 동일 정보가 표시되었을 때의 시청 소요 시간에 기초하여, 표시가 변화하게 되어, 필요 이상으로 긴 시간 동일 화상이 표시되는 일이 없어진다.
또한, 도 3의 플로우차트의 처리에서는, 1화면 내의 문자수와, 동일 내용의 화상(동일 씬)이 계속되는 시간의 평균의 2개를 특징량으로 하여, 제시 시간을 산출하도록 하였지만, 적어도 어느 한쪽만을 테이블화하여, 참조하도록 하여도 된다. 그 밖의 요인도 판단하도록 하여도 된다.
또한, 도 7의 예에서는, 재생시키는 영상 프로그램의 장르에 대해서는 고려하지 않고, 소요 시간을 산출하도록 하였지만, 예를 들면 도 8에 도시한 바와 같이, 영상 프로그램의 장르마다 나누어, 텔롭 문자수와 화소 차분 평균값과, 각각에서의 평균의 시청 소요 시간(초)을 테이블화하여, 기억하도록 하여도 된다. 그리고, 재생 시에는, 재생하는 영상 프로그램의 장르와 일치하는 장르의 테이블의 데 이터를 읽어내고, 그 읽어낸 데이터에 기초하여 시청 소요 시간을 설정하도록 하여도 된다.
도 8의 예에서는, 뉴스 프로그램, 정보 프로그램, 스포츠 프로그램의 3개의 장르로 나누고 있다. 장르를 모르는 영상 콘텐츠에 대해서는, 장르 불명의 분류를 설정하여, 장르가 불분명한 영상 콘텐츠를 재생할 때에 참조하도록 하여도 된다.
또한 도 7의 예에서는, 본 실시 형태의 화상 재생 장치(10)를 조작하는 유저가 1인라고 추정하여, 리모트 컨트롤 장치(30)에 의해 조작된 정보를 모두 동일한 테이블에 집계시키도록 하였지만, 복수의 유저가 1대의 화상 재생 장치(10)를 공용하여 사용하는 경우에는, 각각의 유저를 어떠한 조작이나 기구에 의해 검출하고, 그 검출된 각각의 유저마다 개별의 테이블을 갖도록 하여, 재생 시에는 시청하고 있는 유저에 대응한 테이블의 정보를 사용하도록 하여도 된다.
이와 같이 함으로써, 보다 정확한 화상 재생 시간의 설정이 가능하게 된다.
또한, 여기까지 설명한 예에서는, 유저가 리모트 컨트롤 장치를 조작하여 재생 조작을 행한 것에 기초하여, 텔롭의 문자수에 대응한 시청 소요 시간을 판단하도록 하였지만, 그 밖의 처리에서 유저의 시청 소요 시간을 산출하도록 하여도 된다.
예를 들면, 도 9에 도시한 바와 같이, 디스플레이 장치(20')의 화면(21) 상 등에, 카메라부(22)를 설치하여, 디스플레이 장치(20')의 앞에 있는 시청자 m의 얼굴을 카메라부(22)에 의해 촬영하고, 그 카메라부(22)에 의해 촬영된 화상으로부터, 시청자 m의 시선 e를 화상 재생 장치(10) 내에서 판단시킨다.
그리고, 시선 e의 변화로부터 시청자 m이 텔롭으로서 표시된 문자를 판독하는 시간을 추정한다. 문자를 판독하는 시간을 추정하면, 그 추정된 시간을, 그 때에 표시되어 있었던 문자수에서의 시청 소요 시간으로서 테이블화한다. 그리고, 영상 콘텐츠의 재생 시에는, 그 테이블화된 시청 소요 시간을 읽어내어, 대응한 시간마다 다음 단위의 화상으로 변화시키는 재생 처리를 행한다.
이와 같이, 유저에 의한 조작 입력 이외의 처리에 의해서도, 화상 재생 시간의 추정이 가능하다.
또한, 도 1에 도시한 구성에서는, 화상 재생 장치와 디스플레이 장치를 별체의 장치로서 구성하였지만, 예를 들면 텔레비전 수상기로서 구성된 기기 내에, 화상 재생 장치를 내장시켜, 1개의 장치로 시청 시간의 추정부터 표시까지의 처리를 행하도록 하여도 된다.
혹은, 도 1에 도시한 바와 같이 화상 재생 장치와 디스플레이 장치를 별체로 구성시킨 경우에는, 화상 재생 장치(화상 처리 장치)에서는 추정된 시청 시간의 정보만을 출력시키고, 그 출력시킨 시청 시간의 정보를 디스플레이 장치측에 보내어, 표시 시간의 설정 처리 등은 디스플레이 장치측에서 행하도록 하여도 된다.
또한, 여기까지 설명한 실시 형태에서는, 영상 프로그램의 재생 처리에 대해서 설명하였지만, 음성 프로그램을 재생할 때에도, 그 음성의 내용에 따라서 동일 내용의 음성이 계속되는 경우에는, 테이블화된 청취 시간에 따라서, 재생 위치를 진행시키는 처리를 행하도록 하여도 된다.
또한 여기까지 설명한 실시 형태에서는, 도 1에 도시한 장치 구성의 화상 재 생 장치에 적용한 예로 하였지만, 예를 들면 본 발명의 처리를 프로그램화하여, 그 프로그램을 퍼스널 컴퓨터 장치 등의 정보 처리 장치에 실장하여, 도 1에 도시한 화상 재생 장치와 마찬가지의 동작을 행하는 화상 처리 장치가 얻어지도록 하여도 된다. 이 경우, 본 발명의 처리를 행하는 프로그램을 각종 매체에 기억(기록)시켜, 그 매체를 유저에게 제공하도록 하여도 된다.
도 1은 본 발명의 일 실시 형태에 따른 전체 구성예를 나타내는 블록도.
도 2는 본 발명의 일 실시 형태에 따른 시스템 구성예를 나타내는 설명도.
도 3은 본 발명의 일 실시 형태에 따른 처리 전체를 나타내는 플로우차트.
도 4는 본 발명의 일 실시 형태에 따른 동일 정보 프레임 판정 처리예를 나타내는 플로우차트.
도 5는 본 발명의 일 실시 형태에 따른 화상 분석 처리예를 나타내는 플로우차트.
도 6은 본 발명의 일 실시 형태에 따른 시청 소요 시간 추정 처리예를 나타내는 플로우차트.
도 7은 본 발명의 일 실시 형태에 따른 테이블의 예를 나타내는 설명도.
도 8은 본 발명의 다른 실시 형태에 따른 테이블의 예(장르 구분의 예)를 나타내는 설명도.
도 9는 본 발명의 또 다른 실시 형태에 따른 시스템 구성예를 나타내는 설명도.
<도면의 주요 부분에 대한 부호의 설명>
10 : 화상 재생 장치
11 : 정보 기록부
12 : 화상 재생부
13 : 화상 분석부
14 : 동일 화상 정보 단위 검출부
15 : 시청 소요 시간 계측부
16 : 테이블 유지부
17 : 시청 소요 시간 추정부
18 : 커맨드 취득부
18a : 리모트 컨트롤 신호 수신부
19 : 수신부
20, 20' : 디스플레이 장치
21 : 화면
22 : 카메라부
30 : 리모트 컨트롤 장치
31 : 송신부
32 : 키

Claims (9)

  1. 스트림 데이터에 의한 콘텐츠를 수신 또는 축적하는 콘텐츠 취득부와,
    상기 콘텐츠 취득부에서 취득한 콘텐츠의 소정의 특징량을 추출하는 특징량 추출부와,
    상기 콘텐츠 취득부에서 취득한 콘텐츠의 시청 시간 또는 청취 시간을 검출하는 검출부와,
    상기 특징량 추출부에서 추출된 특징량의 추출 상태와, 상기 시청 시간 또는 청취 시간에 의해 결정되는 콘텐츠에 관한 시청 상황 또는 청취 상황의 정보를 산출하고, 그 산출한 콘텐츠에 관한 시청 상황 또는 청취 상황의 정보를 출력하는 처리부
    를 구비하는 것을 특징으로 하는 신호 처리 장치.
  2. 제1항에 있어서,
    상기 콘텐츠 취득부가 취득한 콘텐츠는, 동화상에 의한 스트림 데이터이며, 상기 콘텐츠 취득부가 취득한 콘텐츠의 씬의 변화를 판별하는 씬 변화 판별부를 구비하고,
    상기 특징량 추출부가 추출하는 특징량은, 상기 씬 변화 판별부가 판별한 씬마다의 특징량인 것을 특징으로 하는 신호 처리 장치.
  3. 제2항에 있어서,
    시청자 또는 청취자가 콘텐츠의 재생에 관한 조작을 행하는 입력부를 구비하고,
    상기 입력부에서의 조작 상황에 기초하여, 상기 시청 시간 또는 청취 시간을 검출하는 검출부에서 검출을 행하는 것을 특징으로 하는 신호 처리 장치.
  4. 제2항에 있어서,
    상기 특징량 추출부에서 추출하는 특징량은, 상기 콘텐츠의 데이터에 의한 화상 내의 문자수와, 화상의 변화의 평균 중의 적어도 1개를 요소로 한 특징량인 것을 특징으로 하는 신호 처리 장치.
  5. 제1항에 있어서,
    상기 처리부는, 상기 콘텐츠의 장르마다 특징량을 산출하여, 콘텐츠에 관한 시청 상황 또는 청취 상황의 정보를 출력하는 것을 특징으로 하는 신호 처리 장치.
  6. 제2항에 있어서,
    상기 처리부가 출력하는 콘텐츠에 관한 시청 상황의 정보에 기초하여, 콘텐츠를 표시시킬 때의 씬의 변화 시간을 대응한 시간으로 설정하는 표시부를 구비한 것을 특징으로 하는 신호 처리 장치.
  7. 취득 또는 축적된 스트림 데이터에 의한 콘텐츠의 소정의 특징량을 추출하고,
    상기 콘텐츠의 시청 시간 또는 청취 시간을 검출하고,
    상기 추출된 특징량의 추출 상태와, 상기 검출된 시청 시간 또는 청취 시간으로부터, 콘텐츠에 관한 시청 상황 또는 청취 상황의 정보를 산출하고,
    상기 산출한 콘텐츠에 관한 시청 상황 또는 청취 상황의 정보를 출력하는
    것을 특징으로 하는 신호 처리 방법.
  8. 정보 처리 장치에 실장하여 신호 처리를 실행하는 프로그램으로서,
    취득 또는 축적된 스트림 데이터에 의한 콘텐츠의 소정의 특징량을 추출하는 추출 처리와,
    상기 콘텐츠의 시청 시간 또는 청취 시간을 검출하는 검출 처리와,
    상기 추출 처리에서 추출된 특징량의 추출 상태와, 상기 검출 처리에서 검출된 시청 시간 또는 청취 시간으로부터, 콘텐츠에 관한 시청 상황 또는 청취 상황의 정보를 산출하는 산출 처리와,
    상기 산출 처리에서 산출한 콘텐츠에 관한 시청 상황 또는 청취 상황의 정보를 출력하는 출력 처리
    를 실행하는 것을 특징으로 하는 프로그램.
  9. 제8항의 프로그램을 저장한 매체.
KR1020080128358A 2007-12-18 2008-12-17 신호 처리 장치, 신호 처리 방법, 프로그램 및 매체 KR20090066234A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2007326354A JP5444611B2 (ja) 2007-12-18 2007-12-18 信号処理装置、信号処理方法及びプログラム
JPJP-P-2007-326354 2007-12-18

Publications (1)

Publication Number Publication Date
KR20090066234A true KR20090066234A (ko) 2009-06-23

Family

ID=40328868

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080128358A KR20090066234A (ko) 2007-12-18 2008-12-17 신호 처리 장치, 신호 처리 방법, 프로그램 및 매체

Country Status (5)

Country Link
US (1) US20090153735A1 (ko)
EP (1) EP2076030A3 (ko)
JP (1) JP5444611B2 (ko)
KR (1) KR20090066234A (ko)
CN (1) CN101466013B (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011239141A (ja) * 2010-05-10 2011-11-24 Sony Corp 情報処理方法、情報処理装置、情景メタデータ抽出装置、欠損補完情報生成装置及びプログラム
US9953899B2 (en) 2015-09-30 2018-04-24 Microfabrica Inc. Micro heat transfer arrays, micro cold plates, and thermal management systems for cooling semiconductor devices, and methods for using and making such arrays, plates, and systems
JP6986943B2 (ja) * 2017-12-05 2021-12-22 ヤフー株式会社 コンテンツ評価装置、コンテンツ配信システム、コンテンツ評価方法、およびプログラム
US10956746B1 (en) * 2018-12-27 2021-03-23 Facebook, Inc. Systems and methods for automated video classification
US10922548B1 (en) 2018-12-27 2021-02-16 Facebook, Inc. Systems and methods for automated video classification
US11017237B1 (en) 2018-12-27 2021-05-25 Facebook, Inc. Systems and methods for automated video classification
US11138440B1 (en) 2018-12-27 2021-10-05 Facebook, Inc. Systems and methods for automated video classification

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6271892B1 (en) * 1994-06-02 2001-08-07 Lucent Technologies Inc. Method and apparatus for compressing a sequence of information-bearing frames having at least two media
JPH08322046A (ja) * 1995-03-20 1996-12-03 Sony Corp データ符号化／復号化方法および装置、および符号化データ記録媒体
KR100212134B1 (ko) * 1996-05-03 1999-08-02 윤종용 시청자 선택형 자막표시의 소프트 스크롤 방법
CN1367612A (zh) * 2000-06-30 2002-09-04 株式会社东芝 特殊再生控制信息记录方法,产生装置及方法,图象再生装置
JP4843872B2 (ja) * 2001-07-03 2011-12-21 船井電機株式会社 テレビジョン受信装置
JP4430882B2 (ja) * 2003-03-19 2010-03-10 富士通株式会社 複合メディアコンテンツの変換装置及び変換方法並びに複合メディアコンテンツ変換プログラム
JP4235490B2 (ja) * 2003-06-04 2009-03-11 パイオニア株式会社 音楽番組内容メニュー作成装置及び方法
US20050078221A1 (en) * 2003-09-26 2005-04-14 Koji Kobayashi Apparatus for generating video contents with balloon captions, apparatus for transmitting the same, apparatus for playing back the same, system for providing the same, and data structure and recording medium used therein
CN1728779A (zh) * 2004-07-27 2006-02-01 上海乐金广电电子有限公司 特技播放时的子画面显示方法
JP4296145B2 (ja) * 2004-11-08 2009-07-15 株式会社東芝 再生装置及びその方法
CN1777252A (zh) * 2004-11-16 2006-05-24 上海乐金广电电子有限公司 字幕数据的显示方法
JP4613867B2 (ja) * 2005-05-26 2011-01-19 ソニー株式会社 コンテンツ処理装置及びコンテンツ処理方法、並びにコンピュータ・プログラム
JP2007027880A (ja) * 2005-07-12 2007-02-01 Canon Inc デジタル放送蓄積・再生方法
JP2007066409A (ja) * 2005-08-31 2007-03-15 Sony Corp 記録再生装置および記録再生方法
JP2007326354A (ja) 2006-06-06 2007-12-20 Hatsuo Sato 射出成形金型に於ける位置決めリング兼用の高強度固定側補強部材。
JP4858214B2 (ja) 2007-02-19 2012-01-18 ソニー株式会社 映像信号記録再生装置及び映像信号記録再生方法

Also Published As

Publication number Publication date
EP2076030A3 (en) 2010-12-08
CN101466013A (zh) 2009-06-24
JP2009152683A (ja) 2009-07-09
EP2076030A2 (en) 2009-07-01
CN101466013B (zh) 2011-01-26
US20090153735A1 (en) 2009-06-18
JP5444611B2 (ja) 2014-03-19

Similar Documents

Publication Publication Date Title
KR101001172B1 (ko) 유사 비디오 콘텐츠 호핑을 위한 방법 및 장치
KR20090066234A (ko) 신호 처리 장치, 신호 처리 방법, 프로그램 및 매체
US7730505B2 (en) Stream reproducing device
US20060110128A1 (en) Image-keyed index for video program stored in personal video recorder
US20070092220A1 (en) System for reproducing video
KR20160071372A (ko) 비디오 프로그램들을 동시에 디스플레이 및 감독하기 위한 방법 및 장치
JP2007318431A (ja) 表示制御システムおよび表示制御方法
US20040019899A1 (en) Method of and system for signal detection
JP2014064179A (ja) 視聴状況調査システム及び方法、視聴状況調査処理プログラム、視聴状況計算装置
US8456525B2 (en) Digital display device for a DVR system that receives a movement image and a method for using such
KR101869905B1 (ko) 영상 재생 방법 및 장치
US20050232598A1 (en) Method, apparatus, and program for extracting thumbnail picture
US8934756B2 (en) Reproducing apparatus and control method thereof
KR100852526B1 (ko) 영상표시기기의 저장 영상 제어장치 및 방법
KR20150028478A (ko) 비디오 성능 측정 장치 및 비디오 성능 측정 방법
KR20110132066A (ko) 영상표시기기의 영상 검색 장치 및 방법
JP2009135754A (ja) ダイジェスト作成装置及び方法
EP3136394A1 (en) A method for selecting a language for a playback of video, corresponding apparatus and non-transitory program storage device
CN105992065B (zh) 随选视讯社交互动方法和系统
KR20140129494A (ko) 숫자정보를 이용한 멀티미디어 컨텐츠 탐색방법 및 장치
KR19980039427A (ko) 비디오 카세트 레코더의 재생 횟수 표시 방법
JPH118824A (ja) 番組編集送出システム
KR20080067809A (ko) 영상 탐색 방법 및 장치
JP2005033641A (ja) 自動番組検出装置

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid