KR101327298B1 - 동화상 처리 장치, 섬네일 화상 생성 프로그램을 저장한 매체 및 섬네일 화상 생성 방법 - Google Patents

동화상 처리 장치, 섬네일 화상 생성 프로그램을 저장한 매체 및 섬네일 화상 생성 방법 Download PDF

Info

Publication number
KR101327298B1
KR101327298B1 KR1020127002673A KR20127002673A KR101327298B1 KR 101327298 B1 KR101327298 B1 KR 101327298B1 KR 1020127002673 A KR1020127002673 A KR 1020127002673A KR 20127002673 A KR20127002673 A KR 20127002673A KR 101327298 B1 KR101327298 B1 KR 101327298B1
Authority
KR
South Korea
Prior art keywords
thumbnail image
image data
data
program
thumbnail
Prior art date
Application number
KR1020127002673A
Other languages
English (en)
Other versions
KR20120029479A (ko
Inventor
다카시 데라사키
Original Assignee
후지쯔 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후지쯔 가부시끼가이샤 filed Critical 후지쯔 가부시끼가이샤
Publication of KR20120029479A publication Critical patent/KR20120029479A/ko
Application granted granted Critical
Publication of KR101327298B1 publication Critical patent/KR101327298B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G11B2020/10537—Audio or video recording

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Television Signal Processing For Recording (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

프로그램의 내용을 용이하게 파악할 수 있는 섬네일 화상을 작성한다. 섬네일 화상 생성 수단(1b)은, 동화상 데이터 기억 수단(1d)에 기억되어 있는 동화상 데이터를 취득하고, 취득한 동화상 데이터로부터 판정 데이터 취득 수단(1a)에 의해 취득된 판정 데이터에 의거하여 섬네일 화상을 추출하고, 추출한 섬네일 화상을 나타내는 섬네일 화상 데이터를 생성하고, 생성한 섬네일 화상 데이터를 섬네일 화상 데이터 기억 수단(1e)에 기억시킨다. 섬네일 화상 출력 수단(1c)은, 섬네일 화상 데이터 기억 수단(1e)에 기억되어 있는 섬네일 화상 데이터를 출력한다. 판정 데이터 취득 수단(1a)은, 동화상 데이터가 방송된 방송 프로그램의 방송 시간 중에 있어서의 방송 프로그램의 시청자의 고조의 추이를 판정하는 판정 데이터를 취득한다.

Description

동화상 처리 장치, 섬네일 화상 생성 프로그램을 저장한 매체 및 섬네일 화상 생성 방법{DYNAMIC IMAGE PROCESSING DEVICE, MEDIUM FOR STORING THUMBNAIL IMAGE GENERATION PROGRAM AND METHOD FOR GENERATING THUMBNAIL IMAGE}
본 발명은 섬네일 화상을 생성하는 동화상 처리 장치, 섬네일 화상 생성 프로그램을 저장한 매체 및 섬네일 화상 생성 방법에 관한 것이다.
종래, 기록 매체에 텔레비전 프로그램 등의 동화상의 데이터를 기록하고, 기록된 그 데이터를 판독하여 동화상을 재생하는 동화상 처리 장치 등에 대해서, 녹화한 프로그램 등의 동화상의 내용을, 동화상 처리 장치의 유저가 용이하게 확인 할 수 있도록, 동화상에 의거하여 작성된 정지 화상 등의 섬네일 화상을 유저에게 제시하는 기술이 알려져 있다(예를 들면, 특허문헌 1 내지 4 참조).
또한, 유사한 화상을 검색하기 위해 화상끼리의 특징량을 산출하여 비교하는 기술이 알려져 있다(예를 들면, 특허문헌 5 참조).
일본국 특개2006-339718호 공보 일본국 특개2007-281945호 공보 일본국 특개2003-32581호 공보 국제공개 제2008／081514호 팸플릿 일본국 특개2004-341940호 공보
그러나, 동화상에 의거하여 자동적으로 작성된 섬네일 화상이, 반드시 프로그램의 내용을 적절히 나타내고 있다고는 할 수 없다는 문제점이 있다. 예를 들면, 특허문헌 4에 기재된 기술과 같이 CM(Commercial Message)을 기준으로 하는 등, 동화상의 미리 정해진 개소로부터 섬네일 화상을 추출하는 방법이 생각되지만, 실제의 동화상의 콘텐츠의 내용과는 무관계하게 추출되어버릴 가능성도 있다. 이와 같이, 프로그램의 내용을 유저가 파악할 수 있도록 자동적으로 섬네일 화상을 작성하는 것은 곤란했다.
본 건은 이와 같은 점을 감안하여 이루어진 것이며, 유저가 프로그램의 내용을 용이하게 파악할 수 있는 섬네일 화상을 작성하는 동화상 처리 장치, 섬네일 화상 생성 프로그램 및 섬네일 화상 생성 방법을 제공하는 것을 목적으로 한다.
상기 과제를 해결하기 위해, 개시된 동화상 처리 장치, 섬네일 화상 생성 프로그램 및 섬네일 화상 생성 방법이 제공된다. 개시된 동화상 처리 장치, 섬네일 화상 생성 프로그램 및 섬네일 화상 생성 방법에서는, 동화상 데이터 기억 수단은, 동화상 데이터를 기억한다. 섬네일 화상 데이터 기억 수단은, 동화상 데이터의 섬네일 화상을 나타내는 섬네일 화상 데이터를 기억한다. 판정 데이터 취득 수단은, 동화상 데이터가 방송된 방송 프로그램의 방송 시간 중의 방송 프로그램의 시청자의 고조(enthusiasm)의 추이를 판정하는 판정 데이터를 취득한다. 섬네일 화상 생성 수단은, 동화상 데이터 기억 수단에 기억되어 있는 동화상 데이터를 취득하고, 취득한 동화상 데이터로부터 판정 데이터 취득 수단에 의해 취득된 판정 데이터에 의거하여 섬네일 화상을 추출하고, 추출한 섬네일 화상을 나타내는 섬네일 화상 데이터를 생성하고, 생성한 섬네일 화상 데이터를 섬네일 화상 데이터 기억 수단에 기억시킨다. 섬네일 화상 출력 수단은, 섬네일 화상 데이터 기억 수단에 기억되어 있는 섬네일 화상 데이터를 출력한다.
개시된 동화상 처리 장치, 섬네일 화상 생성 프로그램 및 섬네일 화상 생성 방법에 의하면, 동화상의 내용을 적절히 표현한 섬네일 화상을 작성함으로써, 유저에 대하여 동화상의 내용을 용이하게 상기시킬 수 있고, 유저가 동화상을 시청할지의 여부의 판단을 지원하는 것이 가능해진다.
본 발명의 상기 및 다른 목적, 특징 및 이점은 본 발명의 예로서 바람직한 실시형태를 나타내는 첨부의 도면과 관련된 이하의 설명에 의해 분명해질 것이다.
도 1은 제1 실시형태를 나타내는 도면.
도 2는 제2 실시형태의 동화상 처리 장치의 하드웨어 구성을 나타내는 도면.
도 3은 제2 실시형태의 동화상 처리 장치의 구성을 나타내는 블록도.
도 4는 제2 실시형태의 섬네일 화상 생성 처리의 절차를 나타내는 플로우 차트.
도 5는 제2 실시형태의 연속 프로그램 화상 추출 처리의 절차를 나타내는 플로우 차트.
도 6은 제2 실시형태의 공통 구간 추출 처리의 절차를 나타내는 플로우 차트.
도 7은 제2 실시형태의 공통 구간 추출 처리에 있어서의 화상 특징량의 산출을 나타내는 도면.
도 8은 제2 실시형태의 버스트업 신(bust-up scean) 추출 처리의 절차를 나타내는 플로우 차트.
도 9는 제2 실시형태의 섬네일 화상 표시 화면을 나타내는 도면.
도 10은 제3 실시형태의 동화상 처리 장치의 구성을 나타내는 블록도.
도 11은 제3 실시형태의 섬네일 화상 생성 처리의 절차를 나타내는 플로우 차트.
도 12는 제3 실시형태의 섬네일 화상 생성 처리의 절차를 나타내는 플로우 차트.
도 13은 제4 실시형태의 동화상 처리 장치의 구성을 나타내는 블록도.
도 14는 제4 실시형태의 섬네일 화상 생성 처리의 절차를 나타내는 플로우 차트.
도 15는 제4 실시형태의 섬네일 화상 생성 처리의 절차를 나타내는 플로우 차트.
도 16은 제4 실시형태의 섬네일 화상 생성 처리의 절차를 나타내는 플로우 차트.
이하, 실시형태에 대해서, 도면을 참조하여 설명한다.
[제1 실시형태]
도 1은 제1 실시형태를 나타내는 도면이다. 도 1에 나타내는 동화상 처리 장치(1)는, 동화상의 섬네일 화상을 생성한다. 동화상 처리 장치(1)는, 판정 데이터 취득 수단(1a), 섬네일 화상 생성 수단(1b), 섬네일 화상 출력 수단(1c), 동화상 데이터 기억 수단(1d), 섬네일 화상 데이터 기억 수단(1e)을 갖는다.
섬네일 화상 생성 수단(1b)은, 동화상 데이터 기억 수단(1d)에 기억되어 있는 동화상 데이터를 취득한다. 이 동화상 데이터는, 예를 들면, 아날로그 방송, 디지털 방송, 인터넷 방송에서 방송된 텔레비전 프로그램의 동화상 데이터를, 음성 데이터와 함께 녹화한 것이다. 또한, 동화상 데이터는, 동화상을 단독으로 녹화해도 된다.
판정 데이터 취득 수단(1a)은, 동화상 데이터가 방송된 방송 프로그램의 방송 시간 중의 방송 프로그램의 시청자의 고조의 추이를 판정하는 판정 데이터를 취득한다. 여기에서, 시청자의 고조는, 동화상의 시청자의 동화상에 대한 흥미나 관심의 높아짐을 나타낸다. 판정 데이터는, 동화상을 시청한 시청자의 고조의 추이에 의해 시청자의 고조가 높은 시점의 동화상을 특정하기 위해 이용된다.
판정 데이터 취득 수단(1a)은, 예를 들면, 도시하지 않은 전기 통신 회선 또는 안테나를 통해 외부의 서버 또는 방송국 등으로부터, 리얼 타임, 또는 섬네일 화상의 생성에 필요한 시점에서 판정 데이터를 취득한다. 판정 데이터에 의해, 방송 프로그램의 시청자의 방송 시간 중의 고조의 추이로부터, 시청자가 고조된 시점을 특정하는 것이 가능해진다.
다음으로, 섬네일 화상 생성 수단(1b)은, 취득한 동화상 데이터로부터 판정 데이터 취득 수단(1a)에 의해 취득된 판정 데이터에 의거하여 섬네일 화상을 추출한다. 이 섬네일 화상은, 동화상 데이터로부터, 판정 데이터에 의거하여 동화상 데이터의 내용을 적확하게 나타내고 있는 화상이 자동적으로 추출된다. 이에 따라, 판정 데이터로부터 특정된 시청자가 고조된 시점의 동화상으로부터 섬네일 화상을 추출하는 것이 가능해진다.
다음으로, 섬네일 화상 생성 수단(1b)은, 추출한 섬네일 화상을 나타내는 섬네일 화상 데이터를 생성하고, 생성한 섬네일 화상 데이터를 섬네일 화상 데이터 기억 수단(1e)에 기억시킨다.
섬네일 화상 출력 수단(1c)은, 섬네일 화상 데이터 기억 수단(1e)에 기억되어 있는 섬네일 화상 데이터를 출력한다. 이 섬네일 화상 데이터의 출력에 의거하여, 유저에 대하여 섬네일 화상이, 예를 들면 동화상 처리 장치(1)에 접속되어 있는 모니터(도시 생략) 등에 표시된다. 유저는, 모니터에 표시된 섬네일 화상을 봄으로써, 동화상의 내용을 파악할 수 있고, 또한 이 동화상을 시청할지의 여부의 판단을 할 수 있다.
동화상 데이터 기억 수단(1d)은 동화상 데이터를 기억한다. 또한, 동화상 데이터는, 기록 매체에 보존되어 있는 것을 판독하여 취득해도 된다.
섬네일 화상 데이터 기억 수단(1e)은, 동화상 데이터의 섬네일 화상을 나타내는 섬네일 화상 데이터를 기억한다.
이에 따라, 동화상의 내용을 적절히 표현한 섬네일 화상을 작성함으로써, 유저에 대하여 동화상의 내용을 용이하게 상기시킬 수 있고, 유저가 그 동화상을 시청할지의 여부의 판단을 지원하는 것이 가능해진다.
[제2 실시형태]
다음으로, 제2 실시형태에 대해서 설명한다.
도 2는 제2 실시형태의 동화상 처리 장치의 하드웨어 구성을 나타내는 도면이다. 도 2에 나타내는 동화상 처리 장치(100)는, CPU(Central Processing Unit)(101)에 의해 장치 전체가 제어되어 있다. CPU(101)에는, 버스(109)를 통해 RAM(Random Access Memory)(102), 하드 디스크 드라이브(HDD:Hard Disk Drive)(103), 그래픽 처리 장치(104), 입출력 인터페이스(105), 통신 인터페이스(106), CD(Compact Disc)／DVD(Digital Versatile Disc) 드라이브(107), 텔레비전 수신부(108)가 접속되어 있다.
RAM(102)에는, CPU(101)에 실행시키는 OS(Operating System)의 프로그램이나 애플리케이션 소프트웨어의 프로그램(애플리케이션 프로그램) 중 적어도 일부가 일시적으로 기억된다. 또한, RAM(102)에는, CPU(101)에 의한 처리에 필요한 각종 데이터가 기억된다. HDD(103)에는, OS나 애플리케이션 프로그램이 기억된다.
그래픽 처리 장치(104)에는, 모니터(11)가 접속되어 있다. 그래픽 처리 장치(104)는, CPU(101)로부터의 명령에 따라, 화상을 모니터(11)의 화면에 표시시킨다.
입출력 인터페이스(105)에는, 키보드(12), 마우스(13), 스피커(14)가 접속되어 있다. 입출력 인터페이스(105)는, 키보드(12)나 마우스(13)로부터 보내져 오는 신호를, 버스(109)를 통해 CPU(101)에 송신함과 함께, 버스(109)를 통해 CPU(101)의 제어에 의거하는 음성 신호를 스피커(14)에 출력한다.
통신 인터페이스(106)는, 인터넷(30), LAN(Local Area Network)(도시 생략)이나 케이블 텔레비전(도시 생략) 등의 통신 회선에 접속 가능하다. 통신 인터페이스(106)는, 통신 회선을 통해, 다른 컴퓨터(도시 생략)나 네트워크 드라이브(도시 생략) 등의 외부 기기와의 사이에서 데이터의 송수신을 행할 수 있다. 또한, 통신 인터페이스(106)에 의해, 통신 회선을 통하여 배신(配信)되는 인터넷 텔레비전 프로그램의 동화상 데이터가 취득된다.
CD／DVD 드라이브(107)는, CD나 DVD 등의 광자기 디스크에 액세스하여 프로그램의 동화상을 제공하는 동화상 데이터나 동화상 데이터에 의거하여 작성된 섬네일 화상 데이터를 읽고 쓰기하는 장치이다.
텔레비전 수신부(108)는, 튜너, 복조기 등을 갖고, 접속되어 있는 안테나(20)로 수신한 디지털 텔레비전 방송 또는 아날로그 텔레비전 방송의 방송 전파를 취입(capture)하여 텔레비전 프로그램의 동화상 데이터를 취득한다.
또한, 본 실시형태에서는, 프로그램의 동화상을 기록하여 재생하는 동화상 처리 장치(100)에 대해서 설명했지만, 동화상 처리 장치(100)는 일례이며, 휴대 전화나 PDA(Personal Digital Assistant)를 비롯하는 소형 단말 장치, 퍼스널 컴퓨터나 정보 처리 시스템의 단말 장치와 같은 정보 처리 장치 등과 같이, 각종 동화상 데이터를 시청 가능한 장치에 적용할 수 있다.
이상과 같은 하드웨어 구성에 의해, 본 실시형태의 처리 기능을 실현할 수 있다.
도 3은 제2 실시형태의 동화상 처리 장치의 구성을 나타내는 블록도이다. 도 3에 나타내는 동화상 처리 장치(100)는, 판정 데이터 취득부(111), 섬네일 화상 생성부(112), 섬네일 화상 출력부(113), 화상 특징량 산출부(114), 입력 접수부(115), 프로그램 데이터 취득부(121), 프로그램 데이터 제공부(122), 섬네일 화상 데이터 기억부(150), 프로그램 데이터 기억부(160)를 갖는다. 또한, 섬네일 화상 출력부(113)에는, 모니터(11)가 접속되어 있다. 또한, 프로그램 데이터 취득부(121)에는, 안테나(20), 인터넷(30)이 접속되어 있다. 또한, 프로그램 데이터 제공부(122)에는, 모니터(11), 스피커(14)가 접속되어 있다.
판정 데이터 취득부(111)는, 인터넷(30)을 통해, 동화상 데이터가 방송된 방송 프로그램의 방송 시간 중에서의 방송 프로그램의 시청자의 고조의 추이를 판정하는 판정 데이터로서, 방송된 텔레비전 프로그램의 방송 시간 중의 각 시각과 방송된 텔레비전 프로그램의 시청률과의 관계를 나타내는 시청률 데이터를 취득한다. 여기에서, 시청자의 고조는, 동화상의 시청자의 동화상에 대한 흥미나 관심의 높아짐을 나타낸다. 시청률 데이터는, 동화상을 시청한 시청자의 고조의 추이에 의해 시청자의 고조가 높은 시점의 동화상을 특정하기 위해 이용된다.
여기에서는, 이 시청률 데이터는, 예를 들면 텔레비전 방송국, 시청률 조사 회사, 동화상 처리 장치(100)의 제조·판매원 등의 Web 사이트로부터 제공되는 것으로 한다. 시청률 데이터에 의해, 방송 프로그램의 시청자의 방송 시간 중의 고조의 추이로부터, 시청자가 고조된 시점을 특정하는 것이 가능해진다. 이 시청률 데이터는 판정 데이터로서 기능한다.
섬네일 화상 생성부(112)는, 프로그램 데이터 기억부(160)에 기억되어 있는 프로그램 데이터에 포함되어 있는 동화상 데이터를 취득한다. 프로그램 데이터는, 안테나(20)를 통해 수신하는 지상파, 위성 방송 또는 위성 통신 방송에 의한 아날로그 방송 또는 디지털 방송, 인터넷(30)을 통해 수신하는 인터넷 방송에서 방송된 텔레비전 프로그램의 동화상 데이터 및 음성 데이터를 포함하고 있다. 또한, 프로그램 데이터는, 음성 데이터가 없는 상태에서 동화상만을 단독으로 녹화해도 된다.
다음으로, 섬네일 화상 생성부(112)는, 취득한 동화상 데이터로부터 판정 데이터 취득부(111)에 의해 취득된 시청률 데이터에 의거하여 섬네일 화상을 추출한다. 섬네일 화상 생성부(112)는, 시청률 데이터에 의거하여 시청률이 높은 시각을 특정하고, 특정한 시각을 동화상의 시청자가 고조된 시점이라고 판단한다. 이와 같이 하여, 시청률 데이터로부터 특정된 시청자가 고조된 시점의 동화상으로부터 섬네일 화상을 추출하는 것이 가능해진다.
이때 섬네일 화상 생성부(112)는, 동화상 데이터의 이전의 방송회의 동화상 데이터가 프로그램 데이터 기억부(160)에 기억되어 있을 경우에는, 화상 특징량 산출부(114)에 의해 산출된 화상 특징량에 의거하여 이전의 방송회의 동화상 데이터와 영상이 동일 또는 유사한 공통 구간을 추출하고, 추출한 공통 구간의 동화상 데이터로부터 인물의 버스트업을 포함하는 버스트업 화상을 추출하고, 추출한 버스트업 화상을 섬네일 화상으로 하여 섬네일 화상 데이터를 생성한다.
또한, 섬네일 화상 생성부(112)는, 취득한 동화상 데이터로부터 시청률 데이터에 의거하여 시청률이 최고를 나타낸 시각의 화상인 최고 시청률 화상을 추출하고, 추출한 최고 시청률 화상을 섬네일 화상으로 하여 섬네일 화상 데이터를 생성한다.
또한, 섬네일 화상 생성부(112)는, 취득한 동화상 데이터로부터 시청률 데이터에 의거하여 시청률이 급상승한 시각의 화상인 시청률 급상승 화상을 추출하고, 추출한 시청률 급상승 화상을 섬네일 화상으로 하여 섬네일 화상 데이터를 생성해도 된다. 여기에서, 시청률의 급상승이란, 예를 들면, 단위 시간당 소정의 기울기 이상으로 시청률이 상승한 것으로 한다.
다음으로, 섬네일 화상 생성부(112)는, 생성한 섬네일 화상 데이터를 섬네일 화상 데이터 기억부(150)에 기억시킨다.
섬네일 화상 출력부(113)는, 섬네일 화상 데이터 기억부(150)에 기억되어 있는 섬네일 화상 데이터를 출력한다. 이 섬네일 화상 데이터의 출력에 의거하여, 유저에 대하여 섬네일 화상이, 동화상 처리 장치(100)에 접속되어 있는 모니터(11)에 표시된다. 유저는, 모니터(11)에 표시된 섬네일 화상을 봄으로써 동화상의 내용을 파악할 수 있고, 또한 이 동화상을 시청할지의 여부의 판단을 할 수 있다.
화상 특징량 산출부(114)는, 동화상 데이터의 프레임의 화상과 이전의 방송회의 동화상 데이터의 프레임의 화상의 화상 특징량을 산출한다.
입력 접수부(115)는, 유저에 의한 시청하는 프로그램의 동화상의 선택의 입력을 접수한다. 유저는, 선택하는 프로그램을 입력할 경우에 입력 접수부(115)로서, 예를 들면 키보드(12)(도 2에서 상술), 마우스(13)(도 2에서 상술), 누름 버튼(도시 생략), 터치 패널(도시 생략) 등을 이용할 수 있다.
이때 유저는, 입력 접수부(115)를 조작하여, 시청 가능한 프로그램에 대해서 섬네일 화상의 제공을 받을 수 있다. 이때, 동화상 처리 장치(100)에 의해, 섬네일 화상이 모니터(11)에 표시된다.
프로그램 데이터 취득부(121)는, 유저에게 제공 가능한 텔레비전 프로그램의 프로그램 데이터(동화상 데이터 및 음성 데이터)를 취득하고, 취득한 프로그램 데이터를 프로그램 데이터 기억부(160)에 기억시킨다. 도 2에서 상술한 통신 인터페이스(106), CD／DVD 드라이브(107), 텔레비전 수신부(108)는, 프로그램 데이터 취득부(121)로서 기능한다.
프로그램 데이터 제공부(122)는, 입력 접수부(115)에 의해 접수된 유저가 선택한 프로그램 데이터를 제공한다. 프로그램 데이터 제공부(122)는, 프로그램 데이터 기억부(160)에 의해 기억되어 있는 콘텐츠의 데이터를 출력한다. 이에 따라, 유저는, 섬네일 화상을 확인한 프로그램을 시청할 수 있다.
이 프로그램 데이터 제공부(122)는, 동화상 처리 장치(100)에 접속된 모니터(11)나 스피커(14)에, 콘텐츠의 내용을 신호로서 출력하고, 이들 장치를 통해 유저에게 시청시킨다. 그러나, 이에 한하지 않고, 동화상 처리 장치(100)가 표시 수단(도시 생략)이나 음성 출력 수단(도시 생략)을 갖는 것으로서, 이들 수단에 의해 콘텐츠의 내용을 직접 출력하여 유저에게 시청시켜도 된다.
섬네일 화상 데이터 기억부(150)는, 동화상 데이터의 섬네일 화상을 나타내는 섬네일 화상 데이터를 기억한다.
프로그램 데이터 기억부(160)는, 프로그램 데이터 취득부(121)에 의해 취득된, 과거에 방송된 텔레비전 프로그램의 프로그램 데이터를 기억한다. 또한, 프로그램 데이터는, 상기의 방송의 수신 외에, DVD나 CD-ROM 등의 기록 매체에 보존되어 있는 것을 판독하여 취득해도 된다.
프로그램 데이터 기억부(160)는, 예를 들면 도 2에서 상술한 HDD(103) 등의 대용량 기억 장치를 갖고, 이에 프로그램 데이터를 기억해도 된다. 또한, 프로그램 데이터 기억부(160)는, 동화상 처리 장치(100)에 접속된 네트워크 드라이브(도시 생략) 등의 외부의 기억 장치나 도 2에서 상술한 CD／DVD 드라이브(107)와 같은 리무버블 디스크(Removable Disk) 등의 모든 종류의 기억 장치에 기억해도 된다.
또한, 본 실시형태에서는, 프로그램 데이터에 포함되어 있는 CM 이외의 부분으로부터 섬네일 화상이 추출되도록 해도 된다. 또한, 본 실시형태는, 섬네일 화상의 추출의 대상으로부터 CM을 미리 제외해도 된다.
다음으로, 본 실시형태에서 실행되는 처리에 대해서 설명한다.
도 4는 제2 실시형태의 섬네일 화상 생성 처리의 절차를 나타내는 플로우 차트이다. 도 4에 나타내는 섬네일 화상 생성 처리는, 동화상 처리 장치(100)(도 2에서 상술)가, 텔레비전 프로그램의 동화상 데이터에 의거하여 그 텔레비전 프로그램의 섬네일 화상을 생성하는 처리이다. 섬네일 화상 생성 처리는, 예를 들면, 텔레비전 프로그램의 기억시(녹화시) 등에 실행된다.
[스텝 S11] 섬네일 화상 생성부(112)(도 3에서 상술)는, 섬네일 화상 생성 처리에 의해 섬네일 화상을 생성하는 프로그램이, 연속 프로그램이며, 또한 이전의 방송회의 동화상 데이터가 프로그램 데이터 기억부(160)에 기억되어 있는지의 여부를 판정한다. 이전의 방송회의 동화상 데이터가 기억되어 있으면, 처리는 스텝 S12로 진행된다. 한편, 이전의 방송회의 동화상 데이터가 기억되어 있지 않으면, 처리는 스텝 S14로 진행된다.
[스텝 S12] 섬네일 화상 생성부(112)는, 스텝 S11에서 이전의 방송회의 동화상 데이터가 기억되어 있다고 판정된 프로그램의 동화상 데이터에 대해서, 연속 프로그램 화상 추출 처리(도 5에서 후술)를 실행한다.
[스텝 S13] 섬네일 화상 생성부(112)는, 스텝 S12의 연속 프로그램 화상 추출 처리에서 버스트업 신의 화상이 추출되었는지의 여부를 판정한다. 버스트업 신의 화상이 추출되어 있으면, 처리는 스텝 S16으로 진행된다. 한편, 버스트업 신의 화상이 추출되어 있지 않으면, 처리는 스텝 S14로 진행된다.
[스텝 S14] 판정 데이터 취득부(111)(도 3에서 상술)는, 인터넷(30)(도 2에서 상술)을 통해 그 프로그램의 시청률의 추이를 나타내는 시청률 데이터를 취득한다.
[스텝 S15] 섬네일 화상 생성부(112)는, 스텝 S14에서 취득한 시청률 데이터 에 의거하여, 프로그램의 동화상 데이터로부터 프로그램의 방영중에서 순간 시청률이 최대값을 나타내고 있는 시각의 화상을 최고 시청률 화상으로서 추출한다.
[스텝 S16] 섬네일 화상 생성부(112)는, 스텝 S13 또는 스텝 S15에서 추출한 텔레비전 프로그램의 화상을, 그 프로그램의 섬네일 화상으로 설정하고, 섬네일 화상 데이터를 섬네일 화상 데이터 기억부(150)(도 3에서 상술)에 기억시킨다. 그 후, 처리는 종료한다.
또한, 본 실시형태에서는, 동화상이 연속 프로그램일 경우에는 공통 구간으로부터 버스트업 신의 섬네일 화상의 추출이 행해진다. 즉, 시청률 데이터에 의거하는 섬네일 화상의 추출보다, 공통 구간으로부터의 섬네일 화상의 추출 및 버스트업 신의 섬네일 화상의 추출이 우선하여 행해진다. 그러나, 이에 한하지 않고, 시청률 데이터에 의거하는 섬네일 화상의 추출을 다른 추출 방법보다 우선하여 행해도 된다. 또한, 버스트업 신의 섬네일 화상의 추출은, 공통 구간 이외로부터 추출해도 된다.
도 5는 제2 실시형태의 연속 프로그램 화상 추출 처리의 절차를 나타내는 플로우 차트이다. 도 5에 나타내는 연속 프로그램 화상 추출 처리는, 동화상 처리 장치(100)(도 2에서 상술)가 연속 프로그램으로서 이전의 방송회의 동화상 데이터가 기억되어 있는 프로그램의 공통 구간을 추출하고, 버스트업 신의 화상을 추출하는 처리이다. 연속 프로그램 화상 추출 처리는, 섬네일 화상 생성 처리(도 4에서 상술)의 호출에 의해 실행이 개시된다.
[스텝 S21] 섬네일 화상 생성부(112)(도 3에서 상술)는, 섬네일 화상을 생성하는 프로그램의 동화상 데이터 및 이전의 방송회의 프로그램의 동화상 데이터에 대해서 공통 구간 추출 처리(도 6에서 후술)를 실행한다.
[스텝 S22] 섬네일 화상 생성부(112)는, 스텝 S21에서 추출한 공통 구간에 대해서 버스트업 신 추출 처리(도 8에서 후술)를 실행한다.
[스텝 S23] 섬네일 화상 생성부(112)는, 스텝 S22에서 공통 구간으로부터 버스트업 신이 판정되었는지의 여부를 판정한다. 버스트업 신이 판정되어 있으면, 처리는 스텝 S24로 진행된다. 한편, 버스트업 신이 판정되어 있지 않으면, 처리는 복귀한다.
[스텝 S24] 섬네일 화상 생성부(112)는, 스텝 S22에서 판정된 버스트업 신의 화상을 추출한다. 그 후, 처리는 복귀한다.
또한, 본 실시형태에서는, 섬네일 화상으로서 버스트업 화상을 추출할 경우에, 공통 구간으로부터 추출하지만, 이에 한하지 않고, 공통 구간의 추출을 행하지 않고, 버스트업 화상을 동화상 전체로부터 추출해도 된다.
도 6은 제2 실시형태의 공통 구간 추출 처리의 절차를 나타내는 플로우 차트이다. 도 6에 나타내는 공통 구간 추출 처리는, 동화상 처리 장치(100)(도 2에서 상술)가, 섬네일 화상을 작성하는 프로그램의 동화상 데이터 및 기억되어 있는 이전의 방송회의 프로그램의 동화상 데이터로부터 공통 구간을 추출하는 처리이다. 공통 구간 추출 처리는, 연속 프로그램 화상 추출 처리(도 5에서 상술)의 호출에 의해 실행이 개시된다.
여기에서, 공통 구간 추출 처리에서는, 섬네일 화상을 생성하는 프로그램의 동화상 데이터에 대해서, 프레임마다 화상 특징량이 산출되고, 이전의 방송회의 프로그램의 동화상의 프레임의 화상 특징량과 비교되는 처리가 반복된다.
[스텝 S31] 화상 특징량 산출부(114)(도 3에서 상술)는, 프로그램 데이터 기억부(160)(도 3에서 상술)로부터 섬네일 화상을 생성하는 프로그램의 동화상 데이터를 취득하고, 취득한 동화상 데이터로부터 프레임을 추출하여 화상 특징량을 산출한다. 또한, 화상 특징량이 산출되는 프레임은, 동화상 데이터의 선두로부터 개시한다. 그리고, 이 스텝 S31이 반복될 때마다 순차적으로, 다음 프레임, 즉 소정의 시간이 경과한 후의 프레임의 화상 특징량이 산출된다.
[스텝 S32] 섬네일 화상 생성부(112)(도 3에서 상술)는, 섬네일 화상을 생성하는 프로그램의 동화상 데이터에 있어서의 스텝 S31에서 산출한 프레임의 화상 특징량과 이전의 방송회의 프로그램의 동화상 데이터의 각 프레임의 화상 특징량을 비교하여, 이전의 동화상 데이터에 화상 특징량이 동일한 프레임이 있는지의 여부를 판정한다. 화상 특징량이 동일한 프레임이 있으면, 처리는 스텝 S33으로 진행된다. 한편, 화상 특징량이 동일한 프레임이 없으면, 처리는 스텝 S36으로 진행된다. 또한, 화상 특징량의 비교에 있어서, 화상 특징량끼리 완전히 일치하고 있지 않아도, 소정의 범위 내에서 근사해 있으면 동일하다고 판정해도 된다.
[스텝 S33] 화상 특징량 산출부(114)는, 프로그램 데이터 기억부(160)로부터 섬네일 화상을 생성하는 프로그램의 동화상 데이터를 취득하고, 취득한 동화상 데이터로부터 스텝 S31에서 취득한 프레임의 다음 프레임, 즉 소정의 시간이 경과한 후의 프레임을 추출하여 화상 특징량을 산출한다.
[스텝 S34] 섬네일 화상 생성부(112)는, 스텝 S33에서 산출한 화상 특징량이, 스텝 S32에서 비교한 이전의 방송회의 동화상 데이터의 프레임의 다음 프레임의 화상 특징량과 동일한지의 여부를 판정한다. 화상 특징량이 동일하면, 처리는 스텝 S35로 진행된다. 한편, 화상 특징량이 동일하지 않으면, 처리는 스텝 S36으로 진행된다.
[스텝 S35] 섬네일 화상 생성부(112)는, 스텝 S31에서 추출한 프레임을 공통 구간이라고 판정한다.
[스텝 S36] 섬네일 화상 생성부(112)는, 스텝 S31에서 추출한 프레임을 공통 구간이 아니라고 판정한다.
[스텝 S37] 섬네일 화상 생성부(112)는, 섬네일 화상을 생성하는 프로그램의 동화상의 모든 프레임에 대해서 공통 구간인지의 여부의 판정이 종료되었는지의 여부를 판정한다. 모든 프레임에 대해서 판정이 종료되어 있지 않으면, 처리는 스텝 S31로 진행되고, 다음 프레임에 대해서 처리가 반복된다. 한편, 모든 프레임에 대해서 판정이 종료되어 있으면, 처리는 복귀한다.
여기에서, 도 6에 나타낸 공통 구간 추출 처리에 있어서의 화상 특징량의 산출에 대해서 설명한다.
도 7은 제2 실시형태의 공통 구간 추출 처리에 있어서의 화상 특징량의 산출을 나타내는 도면이다. 도 7의 (A)는, 동화상 데이터로부터 추출한 프레임의 화상인 프레임 화상 A 및 프레임 화상 A로부터 산출한 화상 특징량의 일례인 색 히스토그램 A를 나타내는 도면이다. 도 7의 (B)는, 프레임 화상 A와 상이한 프레임의 화상인 프레임 화상 B 및 프레임 화상 B로부터 산출한 화상 특징량의 일례인 색 히스토그램 B를 나타내는 도면이다.
본 실시형태의 공통 구간 추출 처리에서는, 동화상끼리의 공통 구간을 추출하기 위해, 동화상에 포함되어 있는 프레임끼리가 동일한지의 여부를 비교한다. 이 프레임끼리의 비교는, 프레임의 화상의 특징을 나타내는 화상 특징량끼리를 비교함으로써 행해진다. 화상 특징량으로서는, 예를 들면, 색 히스토그램을 적용할 수 있다.
색 히스토그램은, 예를 들면 RGB(적, 녹, 청) 등으로 표현되는 색 공간에 대해서, 적당한 범위로 구분하여 만들어진 색 공간의 각 부분 공간 내에 속하는 화소의 개수를 카운트하고, 카운트에 의해 취득한 값을 벡터 형식으로 표현한 것이다.
본 실시형태에서는, 이와 같이 하여 산출한 화상 특징량끼리를 비교함으로써, 프레임이 동일한지의 여부를 판정하여, 동화상끼리의 공통 구간을 추출한다.
예를 들면, 도 7의 (A)에 나타내는 프레임 화상 A 및 도 7의 (B)에 나타내는 프레임 화상 B의 화상 특징량끼리를 비교함으로써, 프레임 화상 A 및 프레임 화상 B가 동일한지의 여부를 판정하는 것으로 한다. 이 경우, 도 7의 (A)에 나타내는 바와 같이, 프레임 화상 A의 각 도트의 색의 출현 빈도를 카운트하여, 프레임 화상 A의 화상 특징량인 색 히스토그램 A를 작성한다. 다음으로, 마찬가지로, 도 7의 (B)에 나타내는 바와 같이, 프레임 화상 B에 대해서 프레임 화상 B의 화상 특징량인 색 히스토그램 B를 작성한다. 그리고, 색 히스토그램 A 및 색 히스토그램 B를 비교함으로써, 프레임 화상 A 및 프레임 화상 B가 동일한지의 여부를 판정한다.
도 8은 제2 실시형태의 버스트업 신 추출 처리의 절차를 나타내는 플로우 차트이다. 도 8에 나타내는 버스트업 신 추출 처리는, 동화상 처리 장치(100)(도 2에서 상술)가, 소정의 범위의 동화상으로부터 인물의 버스트업이 찍혀 있는 버스트업 신을 판정하는 처리이다. 버스트업 신 추출 처리는, 연속 프로그램 화상 추출 처리(도 5에서 상술)의 호출에 의해 실행이 개시된다.
[스텝 S41] 섬네일 화상 생성부(112)(도 3에서 상술)는, 소정의 범위의 동화상 데이터로부터 프레임을 추출하여 얼굴 인식을 행한다. 또한, 얼굴 인식이 행해지는 프레임은, 소정의 범위의 동화상 데이터의 선두로부터 개시한다. 즉, 도 5에서 상술한 연속 프로그램 화상 추출 처리에 의해 호출되었을 경우에는, 도 6에서 상술한 공통 구간 추출 처리에 의해 추출된 공통 구간에 대해서 선두의 프레임으로부터 순서대로 얼굴 인식이 행해진다. 또한, 도 11, 도 12 또는 도 14에서 후술하는 섬네일 화상 생성 처리에 의해 호출되었을 경우에는, 섬네일 화상을 생성하는 동화상에 대해서 선두의 프레임으로부터 순서대로 얼굴 인식이 행해진다. 그리고, 이 스텝 S41이 반복될 때마다 순차적으로, 다음 프레임, 즉 소정의 시간이 경과한 후의 프레임에 대해서 얼굴 인식이 행해진다.
[스텝 S42] 섬네일 화상 생성부(112)는, 스텝 S41에서 행해진 얼굴 인식의 결과, 프레임의 화상으로부터 인물의 얼굴이 인식되었는지의 여부를 판정한다. 얼굴이 인식되면, 처리는 스텝 S43으로 진행된다. 한편, 얼굴이 인식되지 않으면, 처리는 스텝 S44로 진행된다.
[스텝 S43] 섬네일 화상 생성부(112)는, 스텝 S41에서 얼굴 인식을 행한 프레임에 있어서 인식된 얼굴의 표시 위치 및 크기가, 소정의 범위 내인지의 여부를 판정한다. 얼굴의 표시 위치 및 크기가 소정의 범위 내이면, 처리는 스텝 S45로 진행된다. 한편, 얼굴의 표시 위치 및 크기가 소정의 범위 내가 아니면, 처리는 스텝 S44로 진행된다. 여기에서, 얼굴의 표시 위치 및 크기가 소정의 범위 내인지의 여부의 판단 기준으로서, 예를 들면, 얼굴의 중심 좌표가 화면의 상반분에 위치하고 있으며, 또한 얼굴의 장경(長徑)이 화면의 세로 방향의 길이의 1／3 이상일 경우 등, 버스트업 신이면 해당하고, 버스트업 신이 아니면 해당하지 않는 조건을 임의로 설정할 수 있다.
[스텝 S44] 섬네일 화상 생성부(112)는, 스텝 S41에서 얼굴 인식을 행한 프레임에 대해서 버스트업 신이 아니라고 판정한다.
[스텝 S45] 섬네일 화상 생성부(112)는, 스텝 S41에서 얼굴 인식을 행한 프레임에 대해서 버스트업 신이라고 판정한다. 그 후, 처리는 복귀한다.
[스텝 S46] 섬네일 화상 생성부(112)는, 소정의 범위의 동화상 데이터의 모든 프레임에 대해서 판정이 종료되었는지의 여부를 판정한다. 모든 프레임에 대해서 판정이 종료되어 있지 않으면, 처리는 스텝 S41로 진행된다. 한편, 모든 프레임에 대해서 판정이 종료되어 있으면, 처리는 복귀한다.
다음으로, 본 실시형태로 표시되는 표시 화면에 대해서 설명한다.
도 9는 제2 실시형태의 섬네일 화상 표시 화면을 나타내는 도면이다. 도 9에 나타내는 섬네일 화상 표시 화면(180)은, 동화상 처리 장치(100)와 접속된 모니터(11)에 표시되는 화면이며, 동화상 처리 장치(100)에 의해 생성된 섬네일 화상을 표시하는 섬네일 화상 표시 화면의 일례이다.
섬네일 화상 표시 화면(180)에는, 섬네일 화상이 표시되는 부분인 섬네일 화상 표시부(181), 조작함으로써 섬네일 화상이 표시되어 있는 프로그램을 재생시키는 재생 버튼(182), 조작함으로써 섬네일 화상 표시 화면(180)의 표시를 중지하는 되돌아감 버튼(183), 섬네일 화상이 표시되어 있는 프로그램의 타이틀이나 녹화일 등을 나타내는 부가 정보를 표시하는 부가 정보 표시부(184), 조작함으로써 다음의 프로그램의 섬네일 화상을 표시시키는 다음 프로그램 버튼(185)이 설치되어 있다.
이 섬네일 화상 표시 화면(180)에 의해, 유저는, 프로그램의 섬네일 화상을 봄으로써, 프로그램의 내용을 용이하게 확인할 수 있고, 상상하거나 상기할 수 있다. 또한, 유저는, 섬네일 화상 표시 화면(180)에 있어서 조작함으로써, 섬네일 화상을 확인한 프로그램에 대해서, 재생하는 조작을 행하거나, 섬네일 화상의 표시를 중지하거나, 다른 프로그램의 섬네일 화상을 표시시키거나 할 수 있다.
또한, 시청률 데이터에 의거하는 섬네일 화상의 추출, 공통 구간으로부터의 섬네일 화상의 추출, 버스트업 신으로부터의 섬네일 화상의 추출에 대해서는, 각각의 추출 방법을 단독으로 이용해도 되고, 이들 중의 일부의 추출 방법을 조합하여 이용해도 된다. 또한, 다른 섬네일 화상의 추출 방법과 조합하여 이용해도 된다. 또한, 추출 방법의 조합에 대해서는, 상기의 조합에 한하지 않고, 적절히 변경할 수 있다.
이상과 같이, 제2 실시형태에 의하면, 프로그램의 내용을 보다 적절히 표현한 섬네일 화상을 작성함으로써, 유저에 대하여 프로그램의 내용을 용이하게 상기시킬 수 있고, 유저가 프로그램의 동화상을 시청할지의 여부의 판단을 지원하는 것이 가능해진다.
또한, 버스트업 화상을 섬네일 화상에 이용함으로써, 프로그램의 등장 인물을 확실히 표시하는 것이 가능해져, 유저에 의한 프로그램의 내용의 파악을 용이하게 할 수 있다.
또한, 프로그램 중의 이전의 방송회의 공통 부분으로부터 섬네일 화상을 추출함으로써, 유저에 대하여 섬네일 화상의 프로그램이 연속 프로그램인 것을 용이하게 파악시킬 수 있다.
또한, 프로그램의 시청률에 의거하여 섬네일 화상을 추출함으로써, 프로그램의 방송중에서의 각 신에 의한 시청자의 고조를 섬네일 화상의 추출에 반영시킬 수 있다.
또한, 최고 시청률이었던 시각이나 시청률이 급상승한 시각의 화상을 섬네일 화상으로서 추출함으로써, 프로그램 중에서 시청자가 가장 고조되었다고 생각되는 신을 섬네일 화상으로 할 수 있으므로, 시청자에 대하여 프로그램의 내용을 파악시키기 쉽다. 또한, 프로그램 내에서 인상 깊은 신일 가능성이 높으므로, 유저에게 프로그램의 내용을 용이하게 상기시킬 수 있다.
[제3 실시형태]
다음으로, 제3 실시형태에 대해서 설명한다. 상기의 제2 실시형태와의 상이점을 중심으로 설명하고, 마찬가지의 사항에 대해서는 동일한 부호를 이용함과 함께 설명을 생략한다.
제3 실시형태는, 프로그램의 방송중에, 그 프로그램에 관한 게시판에 대한 투고(投稿)가 기입되는 속도가 최대인 시간대의 화상을 섬네일 화상으로서 추출하는 기능을 갖는 점에서, 제2 실시형태와 상이하다.
도 10은 제3 실시형태의 동화상 처리 장치의 구성을 나타내는 블록도이다. 도 10에 나타내는 동화상 처리 장치(200)는, 판정 데이터 취득부(211), 섬네일 화상 생성부(212), 섬네일 화상 출력부(113), 화상 특징량 산출부(114), 입력 접수부(115), 프로그램 데이터 취득부(121), 프로그램 데이터 제공부(122), 섬네일 화상 데이터 기억부(150), 프로그램 데이터 기억부(160)를 갖는다. 또한, 섬네일 화상 출력부(113)에는, 제2 실시형태와 마찬가지로, 모니터(11)가 접속되어 있다. 또한, 프로그램 데이터 취득부(121)에는, 제2 실시형태와 마찬가지로, 안테나(20), 인터넷(30)이 접속되어 있다. 또한, 프로그램 데이터 제공부(122)에는, 제2 실시형태와 마찬가지로, 모니터(11), 스피커(14)가 접속되어 있다.
판정 데이터 취득부(211)는, 인터넷(30)을 통해, 동화상 데이터가 방송된 방송 프로그램의 방송 시간 중에서의 방송 프로그램의 시청자의 고조의 추이를 판정하는 판정 데이터로서, 방송 프로그램의 방송 시간 중의 각 시각과 방송 프로그램에 관한 게시판에 대한 시청자의 투고의 기입 속도의 관계를 나타내는 기입 속도 데이터를 취득한다. 여기에서, 시청자의 고조는, 동화상의 시청자의 동화상에 대한 흥미나 관심의 높아짐을 나타낸다. 기입 속도 데이터는, 동화상을 시청한 시청자의 고조의 추이에 의해 시청자의 고조가 높은 시점의 동화상을 특정하기 위해 이용된다.
여기에서는, 이 기입 속도 데이터의 측정의 대상이 되는 게시판은, 예를 들면 텔레비전 방송국, 동화상 처리 장치(200)의 제조·판매원 등의 Web 사이트로부터 제공되는 것으로 한다. 기입 속도 데이터에 의해, 방송 프로그램의 시청자의 방송 시간 중의 고조의 추이로부터, 시청자가 고조된 시점을 특정하는 것이 가능해진다. 이 기입 속도 데이터는 판정 데이터로서 기능한다.
또한, 기입 속도 데이터는, 프로그램에 대한 시청자의 반응이 투고되는 것이며, 또한, 기입 속도가 취득 가능하면, 방송국 등의 동화상 제공자 이외의 제삼자에 의해 제공되는 것이어도 된다. 또한, 프로그램에 대한 시청자에 의한 투고를 접수하는 것이 가능한 Web 사이트이면 반드시 게시판에 한하지 않고, 예를 들면 블로그(Blog, Weblog)의 코멘트란 등이어도 된다.
또한, 예를 들면 게시판에 대한 일정 시간 내의 투고 건수를 나타내도록 기입 속도 데이터를 설정해도 된다. 또한, 게시판에 대하여 일정 시간 내에 투고된 내용을 나타내는 데이터량을 나타내도록 기입 속도 데이터를 설정해도 된다.
또한, 기입 속도 데이터는, 게시판의 내용을 나타내는 데이터나 게시판의 갱신의 유무를 나타내는 데이터 등을 기입 속도 데이터로 해도 된다. 이 경우, 판정 데이터 취득부(211)는, 이 기입 속도 데이터를 인터넷(30)을 통해 게시판으로부터 취득하고, 취득한 기입 속도 데이터가 나타내는 게시판의 갱신의 유무에 의거하여, 판정 데이터 취득부(211)가 방송중의 각 시각에 있어서의 기입의 속도를 산출해도 된다.
섬네일 화상 생성부(212)는, 프로그램 데이터 기억부(160)에 기억되어 있는 프로그램 데이터에 포함되어 있는 동화상 데이터를 취득한다.
다음으로, 섬네일 화상 생성부(212)는, 취득한 동화상 데이터로부터 판정 데이터 취득부(211)에 의해 취득된 기입 속도 데이터에 의거하여 섬네일 화상을 추출한다. 섬네일 화상 생성부(212)는, 기입 속도 데이터에 의거하여 게시판에 대한 시청자의 기입의 속도가 빠른 시각을 특정하고, 특정한 시각을 동화상의 시청자가 고조된 시점이라고 판단한다. 이와 같이 하여, 기입 속도 데이터로부터 특정된 시청자가 고조된 시점의 동화상으로부터 섬네일 화상을 추출하는 것이 가능해진다.
이때 섬네일 화상 생성부(212)는, 동화상 데이터의 이전의 방송회의 동화상 데이터가 프로그램 데이터 기억부(160)에 기억되어 있을 경우에는, 화상 특징량 산출부(114)에 의해 산출된 화상 특징량에 의거하여 이전의 방송회의 동화상 데이터와 영상이 동일 또는 유사한 공통 구간을 추출하고, 추출한 공통 구간의 동화상 데이터로부터 인물의 버스트업을 포함하는 버스트업 화상을 추출하며, 추출한 버스트업 화상을 섬네일 화상으로 하여 섬네일 화상 데이터를 생성한다.
또한, 섬네일 화상 생성부(212)는, 취득한 동화상 데이터로부터 기입 속도 데이터에 의거하여 기입 속도가 소정의 속도 이상인 시간대의 화상인 고속 기입 화상을 추출하고, 추출한 고속 기입 화상을 섬네일 화상으로 하여 섬네일 화상 데이터를 생성한다.
다음으로, 섬네일 화상 생성부(212)는, 생성한 섬네일 화상 데이터를 섬네일 화상 데이터 기억부(150)에 기억시킨다.
섬네일 화상 출력부(113)는, 제2 실시형태와 마찬가지로, 섬네일 화상 데이터 기억부(150)에 기억되어 있는 섬네일 화상 데이터를 출력한다.
화상 특징량 산출부(114)는, 제2 실시형태와 마찬가지로, 동화상 데이터의 프레임의 화상과 이전의 방송회의 동화상 데이터의 프레임의 화상의 화상 특징량을 산출한다.
입력 접수부(115)는, 제2 실시형태와 마찬가지로, 유저에 의한 시청하는 프로그램의 동화상의 선택의 입력을 접수한다.
프로그램 데이터 취득부(121)는, 제2 실시형태와 마찬가지로, 유저에게 제공 가능한 텔레비전 프로그램의 프로그램 데이터를 취득하고, 취득한 프로그램 데이터를 프로그램 데이터 기억부(160)에 기억시킨다.
프로그램 데이터 제공부(122)는, 제2 실시형태와 마찬가지로, 입력 접수부(115)에 의해 접수된 유저가 선택한 프로그램 데이터를 제공한다.
섬네일 화상 데이터 기억부(150)는, 제2 실시형태와 마찬가지로, 동화상 데이터의 섬네일 화상을 나타내는 섬네일 화상 데이터를 기억한다.
프로그램 데이터 기억부(160)는, 제2 실시형태와 마찬가지로, 프로그램 데이터 취득부(121)에 의해 취득된, 과거에 방송된 텔레비전 프로그램의 프로그램 데이터를 기억한다.
도 11 및 도 12는 제3 실시형태의 섬네일 화상 생성 처리의 절차를 나타내는 플로우 차트이다. 도 11 및 도 12에 나타내는 섬네일 화상 생성 처리는, 동화상 처리 장치(200)(도 10에서 상술)가, 텔레비전 프로그램의 동화상 데이터에 의거하여 그 텔레비전 프로그램의 섬네일 화상을 생성하는 처리이다. 섬네일 화상 생성 처리는, 예를 들면, 텔레비전 프로그램의 기억시(녹화시) 등에 실행된다.
[스텝 S51] 섬네일 화상 생성부(212)(도 10에서 상술)는, 섬네일 화상 생성 처리에 의해 섬네일 화상을 생성하는 프로그램이, 연속 프로그램이며, 또한 이전의 방송회의 동화상 데이터가 프로그램 데이터 기억부(160)에 기억되어 있는지의 여부를 판정한다. 이전의 방송회의 동화상 데이터가 기억되어 있으면, 처리는 스텝 S52로 진행된다. 한편, 이전의 방송회의 동화상 데이터가 기억되어 있지 않으면, 처리는 스텝 S54로 진행된다.
[스텝 S52] 섬네일 화상 생성부(212)는, 스텝 S51에서 이전의 방송회의 동화상 데이터가 기억되어 있다고 판정된 프로그램의 동화상 데이터에 대해서, 제2 실시형태의 섬네일 화상 생성부(112)와 마찬가지로, 연속 프로그램 화상 추출 처리(도 5에서 상술)를 실행한다.
[스텝 S53] 섬네일 화상 생성부(212)는, 스텝 S52의 연속 프로그램 화상 추출 처리에서 버스트업 신의 화상이 추출되었는지의 여부를 판정한다. 버스트업 신의 화상이 추출되어 있으면, 처리는 스텝 S57로 진행된다. 한편, 버스트업 신의 화상이 추출되어 있지 않으면, 처리는 스텝 S54로 진행된다.
[스텝 S54] 판정 데이터 취득부(211)(도 10에서 상술)는, 섬네일 화상이 생성되는 프로그램의 공식 홈페이지 등에 있어서, 그 프로그램에 대한 게시판이 설치되어 있는지의 여부를 판정한다. 게시판이 설치되어 있으면, 처리는 스텝 S55로 진행된다. 한편, 게시판이 설치되어 있지 않으면, 처리는 스텝 S61(도 12)로 진행된다.
[스텝 S55] 판정 데이터 취득부(211)는, 인터넷(30)(도 10에서 상술)을 통해 그 프로그램의 게시판의 기입 속도의 추이를 나타내는 기입 속도 데이터를 취득하고, 취득한 기입 속도 데이터에 의거하여, 게시판의 기입 속도가 최대인 시간대를 소정의 시간 간격(예를 들면 10초 간격)으로 특정한다.
[스텝 S56] 섬네일 화상 생성부(212)는, 스텝 S55에서 특정한 게시판의 기입 속도가 최대인 시간대로부터 소정의 시간(예를 들면, 10초) 더 거슬러 올라간 시각의 화상을 고속 기입 화상으로서 추출한다. 여기에서, 고속 기입 화상을 기입 속도가 최대인 시간대로부터 소정의 시간 더 거슬러 올라간 시각의 화상으로서 추출하는 것은, 시청자가 프로그램의 각 신을 시청하고, 이에 대한 투고가 기입되며, 게시판의 관리 서버 등이 접수할 때까지 어느 정도의 타임래그(time lag)가 생긴다고 생각되기 때문이다. 이 때문에, 이 소정의 시간은 반드시 10초에는 한하지 않고, 임의의 시간을 설정할 수 있다.
[스텝 S57] 섬네일 화상 생성부(212)는, 스텝 S52 또는 스텝 S56에서 추출한 텔레비전 프로그램의 화상을, 그 프로그램의 섬네일 화상으로 설정하고, 섬네일 화상 데이터를 섬네일 화상 데이터 기억부(150)(도 10에서 상술)에 기억시킨다. 그 후, 처리는 종료한다.
[스텝 S61] 섬네일 화상 생성부(212)는, 섬네일 화상을 생성하는 프로그램의 동화상의 소정 시각의 화상(동화상의 개시로부터 소정 시간 경과 후의 화상. 예를 들면, 개시로부터 60초 경과 후의 화상)을 추출한다. 그 후, 처리는 스텝 S57(도 11)로 진행된다.
또한, 본 실시형태에서는, 동화상이 연속 프로그램일 경우에는 공통 구간으로부터 버스트업 신의 섬네일 화상의 추출이 행해진다. 즉, 기입 속도 데이터에 의거하는 섬네일 화상의 추출보다, 공통 구간으로부터의 섬네일 화상의 추출 및 버스트업 신의 섬네일 화상의 추출이 우선하여 행해진다. 그러나, 이에 한하지 않고, 기입 속도 데이터에 의거하는 섬네일 화상의 추출을 다른 추출 방법보다 우선하여 행해도 된다. 또한, 버스트업 신의 섬네일 화상의 추출은, 공통 구간 이외로부터 추출해도 된다.
또한, 기입 속도 데이터에 의거하는 섬네일 화상의 추출, 공통 구간으로부터의 섬네일 화상의 추출, 버스트업 신으로부터의 섬네일 화상의 추출에 대해서는, 각각의 추출 방법을 단독으로 이용해도 되고, 이들 중의 일부의 추출 방법을 조합하여 이용해도 된다. 또한, 다른 섬네일 화상의 추출 방법과 조합하여 이용해도 된다. 또한, 추출 방법의 조합에 대해서는, 상기의 조합에 한하지 않고, 적절히 변경할 수 있다.
이상과 같이, 제3 실시형태에 의하면, 프로그램의 방송중에 있어서의 프로그램에 대한 시청자로부터의 기입 속도에 의거하여 섬네일 화상을 추출함으로써, 프로그램의 방송중에 있어서의 각 신에 따른 시청자의 고조를 섬네일 화상의 추출에 반영시킬 수 있다.
또한, 기입 속도가 소정의 속도 이상이었던 시간대의 화상을 섬네일 화상으로서 추출함으로써, 프로그램 중에서 시청자가 고조되었다고 생각되는 신을 섬네일 화상으로 할 수 있으므로, 시청자에 대하여 프로그램의 내용을 파악시키기 쉽다. 또한, 프로그램 내에서 인상 깊은 신일 가능성이 높으므로, 유저에게 프로그램의 내용을 용이하게 상기시킬 수 있다.
[제4 실시형태]
다음으로, 제4 실시형태에 대해서 설명한다. 상기의 제2 실시형태와의 상이점을 중심으로 설명하고, 마찬가지인 사항에 대해서는 동일한 부호를 이용함과 함께 설명을 생략한다.
제4 실시형태는, 섬네일 화상의 추출의 기준으로서 시청률 데이터 및 기입 속도 데이터를 함께 이용하는 점에서, 제2 실시형태와 상이하다.
도 13은 제4 실시형태의 동화상 처리 장치의 구성을 나타내는 블록도이다. 도 13에 나타내는 동화상 처리 장치(300)는, 판정 데이터 취득부(311), 섬네일 화상 생성부(312), 섬네일 화상 출력부(113), 화상 특징량 산출부(114), 입력 접수부(115), 프로그램 데이터 취득부(121), 프로그램 데이터 제공부(122), 섬네일 화상 데이터 기억부(150), 프로그램 데이터 기억부(160)를 갖는다. 또한, 섬네일 화상 출력부(113)에는, 제2 실시형태와 마찬가지로, 모니터(11)가 접속되어 있다. 또한, 프로그램 데이터 취득부(121)에는, 제2 실시형태와 마찬가지로, 안테나(20), 인터넷(30)이 접속되어 있다. 또한, 프로그램 데이터 제공부(122)에는, 제2 실시형태와 마찬가지로, 모니터(11), 스피커(14)가 접속되어 있다.
판정 데이터 취득부(311)는, 인터넷(30)을 통해, 판정 데이터로서, 시청률 데이터 및 기입 속도 데이터를 취득한다.
섬네일 화상 생성부(312)는, 프로그램 데이터 기억부(160)에 기억되어 있는 프로그램 데이터에 포함되어 있는 동화상 데이터를 취득한다.
다음으로, 섬네일 화상 생성부(312)는, 취득한 동화상 데이터로부터 판정 데이터 취득부(311)에 의해 취득된 시청률 데이터 또는 기입 속도 데이터에 의거하여 섬네일 화상을 추출한다. 이에 따라, 시청률 데이터 또는 기입 속도 데이터로부터 특정된 시청자가 고조된 시점의 동화상으로부터 섬네일 화상을 추출하는 것이 가능해진다.
이때 섬네일 화상 생성부(312)는, 동화상 데이터의 이전의 방송회의 동화상 데이터가 프로그램 데이터 기억부(160)에 기억되어 있을 경우에는, 화상 특징량 산출부(114)에 의해 산출된 화상 특징량에 의거하여 이전의 방송회의 동화상 데이터와 영상이 동일 또는 유사한 공통 구간을 추출하고, 추출한 공통 구간의 동화상 데이터로부터 인물의 버스트업을 포함하는 버스트업 화상을 추출하며, 추출한 버스트업 화상을 섬네일 화상으로 하여 섬네일 화상 데이터를 생성한다.
또한, 섬네일 화상 생성부(312)는, 동화상 데이터의 이전의 방송회의 동화상 데이터가 프로그램 데이터 기억부(160)에 기억되어 있지 않을 경우에는, 취득한 동화상 데이터의 개시에서 종료까지의 사이의 전체로부터 인물의 버스트업을 포함하는 버스트업 화상을 추출하고, 추출한 버스트업 화상을 섬네일 화상으로 하여 섬네일 화상 데이터를 생성한다.
또한, 섬네일 화상 생성부(312)는, 시청률 데이터에 의거하여, 시청률이 소정의 임계값 이상일 경우에는, 취득한 동화상 데이터로부터 최고 시청률 화상을 추출하고, 추출한 최고 시청률 화상을 섬네일 화상으로 하여 섬네일 화상 데이터를 생성한다. 섬네일 화상 생성부(312)는, 시청률 데이터에 의거하여 시청률이 높은 시각을 특정하고, 특정한 시각을 동화상의 시청자가 고조된 시점이라고 판단한다. 이와 같이 하여, 시청률 데이터로부터 특정된 시청자가 고조된 시점의 동화상으로부터 섬네일 화상을 추출하는 것이 가능해진다.
또한, 섬네일 화상 생성부(312)는, 취득한 동화상 데이터로부터 시청률 데이터에 의거하여 시청률 급상승 화상을 추출하고, 추출한 시청률 급상승 화상을 섬네일 화상으로 하여 섬네일 화상 데이터를 생성해도 된다.
또한, 섬네일 화상 생성부(312)는, 취득한 동화상 데이터로부터 기입 속도 데이터에 의거하여 고속 기입 화상을 추출하고, 추출한 고속 기입 화상을 섬네일 화상으로 하여 섬네일 화상 데이터를 생성한다. 섬네일 화상 생성부(312)는, 기입 속도 데이터에 의거하여 게시판에 대한 시청자의 기입의 속도가 빠른 시각을 특정하고, 특정한 시각을 동화상의 시청자가 고조된 시점이라고 판단한다. 이와 같이 하여, 기입 속도 데이터로부터 특정된 시청자가 고조된 시점의 동화상으로부터 섬네일 화상을 추출하는 것이 가능해진다.
다음으로, 섬네일 화상 생성부(312)는, 생성한 섬네일 화상 데이터를 섬네일 화상 데이터 기억부(150)에 기억시킨다.
섬네일 화상 출력부(113)는, 제2 실시형태와 마찬가지로, 섬네일 화상 데이터 기억부(150)에 기억되어 있는 섬네일 화상 데이터를 출력한다.
화상 특징량 산출부(114)는, 제2 실시형태와 마찬가지로, 동화상 데이터의 프레임의 화상과 이전의 방송회의 동화상 데이터의 프레임의 화상의 화상 특징량을 산출한다.
입력 접수부(115)는, 제2 실시형태와 마찬가지로, 유저에 의한 시청하는 프로그램의 동화상의 선택의 입력을 접수한다.
프로그램 데이터 취득부(121)는, 제2 실시형태와 마찬가지로, 유저에게 제공 가능한 텔레비전 프로그램의 프로그램 데이터를 취득하고, 취득한 프로그램 데이터를 프로그램 데이터 기억부(160)에 기억시킨다.
프로그램 데이터 제공부(122)는, 제2 실시형태와 마찬가지로, 입력 접수부(115)에 의해 접수된 유저가 선택한 프로그램 데이터를 제공한다.
섬네일 화상 데이터 기억부(150)는, 제2 실시형태와 마찬가지로, 동화상 데이터의 섬네일 화상을 나타내는 섬네일 화상 데이터를 기억한다.
프로그램 데이터 기억부(160)는, 제2 실시형태와 마찬가지로, 프로그램 데이터 취득부(121)에 의해 취득된, 과거에 방송된 텔레비전 프로그램의 프로그램 데이터를 기억한다.
도 14 내지 도 16은 제4 실시형태의 섬네일 화상 생성 처리의 절차를 나타내는 플로우 차트이다. 도 14 내지 도 16에 나타내는 섬네일 화상 생성 처리는, 동화상 처리 장치(300)(도 13에서 상술)가, 텔레비전 프로그램의 동화상 데이터에 의거하여 그 텔레비전 프로그램의 섬네일 화상을 생성하는 처리이다. 섬네일 화상 생성 처리는, 예를 들면, 텔레비전 프로그램의 기억시(녹화시) 등에 실행된다.
[스텝 S71] 판정 데이터 취득부(311)(도 13에서 상술)는, 인터넷(30)(도 13에서 상술)을 통해 그 프로그램의 시청률의 추이를 나타내는 시청률 데이터를 취득한다.
[스텝 S72] 섬네일 화상 생성부(312)(도 13에서 상술)는, 스텝 S71에서 취득한 시청률 데이터에 의거하여, 그 프로그램의 순간 시청률의 최대값은 소정의 임계값 이상인지의 여부를 판정한다. 소정의 임계값 이상이면, 처리는 스텝 S73으로 진행된다. 한편, 소정의 임계값 미만이면, 처리는 스텝 S81(도 15)로 진행된다.
[스텝 S73] 섬네일 화상 생성부(312)는, 스텝 S71에서 취득한 시청률 데이터 에 의거하여, 프로그램의 동화상 데이터로부터 프로그램의 방영중에 있어서 순간 시청률이 최대값을 나타내고 있는 시각의 화상을 최고 시청률 화상으로서 추출한다.
[스텝 S74] 섬네일 화상 생성부(312)는, 스텝 S73, 스텝 S84(도 15), 스텝 S85(도 15), 스텝 S94(도 16) 또는 스텝 S95(도 16)에서 추출한 텔레비전 프로그램의 화상을, 그 프로그램의 섬네일 화상으로 설정하고, 섬네일 화상 데이터를 섬네일 화상 데이터 기억부(150)(도 13에서 상술)에 기억시킨다. 그 후, 처리는 종료한다.
[스텝 S81] 섬네일 화상 생성부(312)는, 섬네일 화상 생성 처리에 의해 섬네일 화상을 생성하는 프로그램이, 연속 프로그램이며, 또한 이전의 방송회의 동화상 데이터가 프로그램 데이터 기억부(160)에 기억되어 있는지의 여부를 판정한다. 이전의 방송회의 동화상 데이터가 기억되어 있으면, 처리는 스텝 S85로 진행된다. 한편, 이전의 방송회의 동화상 데이터가 기억되어 있지 않으면, 처리는 스텝 S82로 진행된다.
[스텝 S82] 섬네일 화상 생성부(312)는, 섬네일 화상을 생성하는 프로그램의 동화상 데이터의 전체에 대해서 버스트업 신 추출 처리(도 8에서 상술)를 실행한다.
[스텝 S83] 섬네일 화상 생성부(312)는, 스텝 S82에서 프로그램의 동화상 데이터의 전체로부터 버스트업 신이 판정되었는지의 여부를 판정한다. 버스트업 신이 판정되어 있으면, 처리는 스텝 S84로 진행된다. 한편, 버스트업 신이 판정되어 있지 않으면, 처리는 스텝 S91(도 16)로 진행된다.
[스텝 S84] 섬네일 화상 생성부(312)는, 스텝 S83에서 판정된 버스트업 신의 화상을 추출한다. 그 후, 처리는 스텝 S91로 진행된다.
[스텝 S85] 섬네일 화상 생성부(312)는, 스텝 S81에서 이전의 방송회의 동화상 데이터가 기억되어 있다고 판정된 프로그램의 동화상 데이터에 대해서, 연속 프로그램 화상 추출 처리(도 5에서 상술)를 실행한다. 그 후, 처리는 스텝 S91로 진행된다.
[스텝 S91] 섬네일 화상 생성부(312)는, 스텝 S82에서 스텝 S84(모두 도 15)까지의 처리, 또는 스텝 S85(도 15)의 연속 프로그램 화상 추출 처리에서 버스트업 신의 화상이 추출되었는지의 여부를 판정한다. 버스트업 신의 화상이 추출되어 있으면, 처리는 스텝 S74(도 14)로 진행된다. 한편, 버스트업 신의 화상이 추출되어 있지 않으면, 처리는 스텝 S92로 진행된다.
[스텝 S92] 판정 데이터 취득부(311)는, 섬네일 화상이 생성되는 프로그램의 공식 홈페이지 등에 있어서, 그 프로그램에 대한 게시판이 설치되어 있는지의 여부를 판정한다. 게시판이 설치되어 있으면, 처리는 스텝 S93으로 진행된다. 한편, 게시판이 설치되어 있지 않으면, 처리는 스텝 S95로 진행된다.
[스텝 S93] 판정 데이터 취득부(311)는, 인터넷(30)을 통해 그 프로그램의 게시판의 기입 속도의 추이를 나타내는 기입 속도 데이터를 취득하고, 취득한 기입 속도 데이터에 의거하여, 게시판의 기입 속도가 최대인 시간대를 소정의 시간 간격(예를 들면, 10초 간격)으로 특정한다.
[스텝 S94] 섬네일 화상 생성부(312)는, 스텝 S93에서 특정한 게시판의 기입 속도가 최대인 시간대로부터 소정의 시간(예를 들면, 10초) 더 거슬러 올라간 시각의 화상을 고속 기입 화상으로서 추출한다. 그 후, 처리는 스텝 S74로 진행된다.
[스텝 S95] 섬네일 화상 생성부(312)는, 섬네일 화상을 생성하는 프로그램의 동화상의 소정 시각(예를 들면, 개시로부터 60초 경과 후)의 화상을 추출한다. 그 후, 처리는 스텝 S74로 진행된다.
또한, 본 실시형태에서는, 동화상의 시청률의 최대값이 임계값 이상일 경우에는, 시청률 데이터에 의거하여 순간 시청률이 최대인 시각의 화상이 섬네일 화상으로서 추출된다. 즉, 기입 속도 데이터에 의거하는 섬네일 화상의 추출 및 버스트업 신의 섬네일 화상의 추출보다, 시청률 데이터에 의거하는 섬네일 화상의 추출이 우선하여 행해진다. 그러나, 이에 한하지 않고, 기입 속도 데이터에 의거하는 섬네일 화상의 추출을 다른 추출 방법보다 우선하여 행해도 되고, 버스트업 신의 섬네일 화상의 추출을 다른 추출 방법보다 우선하여 행해도 되며, 공통 구간으로부터의 섬네일 화상의 추출을 다른 추출 방법보다 우선하여 행해도 된다.
또한, 시청률 데이터에 의거하는 섬네일 화상의 추출, 기입 속도 데이터에 의거하는 섬네일 화상의 추출, 공통 구간으로부터의 섬네일 화상의 추출, 버스트업 신으로부터의 섬네일 화상의 추출에 대해서는, 각각의 추출 방법을 단독으로 이용해도 되고, 이들 중의 일부의 추출 방법을 조합하여 이용해도 된다. 또한, 다른 섬네일 화상의 추출 방법과 조합하여 이용해도 된다. 또한, 추출 방법의 조합 및 우선의 판정 기준에 대해서는, 상기의 조합에 한하지 않고, 적절히 변경할 수 있다.
이상과 같이, 제4 실시형태에 의하면, 시청률의 최대값이 임계값 이상일 경우에 프로그램의 시청률에 의거하여 섬네일 화상을 추출함으로써, 섬네일 화상의 추출에 시청자의 고조의 유무를 반영시킬 수 있다.
또한, 상기의 처리 기능은, 컴퓨터에 의해 실현할 수 있다. 그 경우, 동화상 처리 장치(100, 200, 300)가 가져야 할 기능의 처리 내용을 기술한 프로그램이 제공된다. 그 프로그램을 컴퓨터에서 실행함으로써, 상기 처리 기능이 컴퓨터 상에서 실현된다.
처리 내용을 기술한 프로그램은, 컴퓨터에서 판독 가능한 기록 매체에 기록해 둘 수 있다. 컴퓨터에서 판독 가능한 기록 매체에는, 자기 기록 장치, 광디스크, 광자기 기록 매체, 반도체 메모리 등이 있다. 자기 기록 장치에는, HDD, 플렉시블 디스크(FD), 자기 테이프(MT) 등이 있다. 광디스크에는, DVD, DVD-RAM, CD-ROM(Read Only Memory), CD-R(Recordable)／RW(ReWritable) 등이 있다. 광자기 기록 매체에는, MO(Magneto - Optical disk) 등이 있다.
상기 프로그램을 유통시킬 경우에는, 예를 들면, 그 프로그램이 기록된 DVD, CD-ROM 등의 가반형 기록 매체가 판매된다. 또한, 프로그램을 서버 컴퓨터에 기억해 두고, 네트워크를 통하여, 서버 컴퓨터로부터 다른 컴퓨터로 그 프로그램을 전송할 수도 있다.
상기 프로그램을 실행하는 컴퓨터는, 예를 들면, 가반형 기록 매체에 기록된 프로그램 또는 서버 컴퓨터로부터 전송된 프로그램을, 자기(自己)의 기억 장치에 기억한다. 그리고, 컴퓨터는, 자기의 기억 장치로부터 프로그램을 판독하고, 프로그램에 따른 처리를 실행한다. 또한, 컴퓨터는, 가반형 기록 매체로부터 직접 프로그램을 판독하고, 그 프로그램에 따른 처리를 실행할 수도 있다. 또한, 컴퓨터는, 서버 컴퓨터로부터 프로그램이 전송될 때마다, 축차, 수취한 프로그램에 따른 처리를 실행할 수도 있다.
이상, 개시된 동화상 처리 장치, 섬네일 화상 생성 프로그램 및 섬네일 화상 생성 방법을, 도시의 실시형태에 의거하여 설명했지만, 상기에 대해서는 단순히 본 발명의 원리를 나타내는 것이다. 개시된 기술은, 다수의 변형, 변경이 당업자에게 있어서 가능하며, 상기에 나타내고, 설명한 정확한 구성 및 응용예에 한정되는 것이 아니라, 각 부의 구성은 마찬가지의 기능을 갖는 임의의 구성의 것으로 치환할 수 있다. 또한, 개시된 기술에 다른 임의의 구성물이나 공정이 부가되어도 된다. 또한, 개시된 기술은 상술한 실시형태 중 임의의 2 이상의 구성을 조합한 것이어도 된다. 또한, 개시된 기술에 대응하는 모든 변형예 및 균등물은, 첨부의 청구항 및 그 균등물에 의한 본 발명의 범위로 간주된다.
1 : 동화상 처리 장치
1a : 판정 데이터 취득 수단
1b : 섬네일 화상 생성 수단
1c : 섬네일 화상 출력 수단
1d : 동화상 데이터 기억 수단
1e : 섬네일 화상 데이터 기억 수단

Claims (12)

  1. 동화상 데이터를 기억하는 동화상 데이터 기억 수단과,
    상기 동화상 데이터의 섬네일(thumbnail) 화상을 나타내는 섬네일 화상 데이터를 기억하는 섬네일 화상 데이터 기억 수단과,
    전기 통신 회선 또는 안테나를 통하여 외부로부터, 상기 동화상 데이터가 방송된 방송 프로그램의 방송 시간 중의 각 시각과, 상기 방송 프로그램의 시청률의 관계를 나타내고, 시청자의 고조(enthusiasm)의 추이의 판정에 이용하는 판정 데이터를 취득하는 판정 데이터 취득 수단과,
    상기 동화상 데이터 기억 수단에 기억되어 있는 상기 동화상 데이터를 취득하고, 취득한 상기 동화상 데이터로부터 상기 판정 데이터 취득 수단에 의해 취득된 상기 판정 데이터에 의거하여, 상기 시청률이 최고를 나타낸 시각의 화상인 최고 시청률 화상을 추출하고, 추출한 상기 최고 시청률 화상을 상기 섬네일 화상으로서 상기 섬네일 화상 데이터를 생성하고, 생성한 상기 섬네일 화상 데이터를 상기 섬네일 화상 데이터 기억 수단에 기억시키는 섬네일 화상 생성 수단과,
    상기 섬네일 화상 데이터 기억 수단에 기억되어 있는 상기 섬네일 화상 데이터를 출력하는 섬네일 화상 출력 수단을 갖는 것을 특징으로 하는 동화상 처리 장치.
  2. 동화상 데이터를 기억하는 동화상 데이터 기억 수단과,
    상기 동화상 데이터의 섬네일(thumbnail) 화상을 나타내는 섬네일 화상 데이터를 기억하는 섬네일 화상 데이터 기억 수단과,
    전기 통신 회선 또는 안테나를 통하여 외부로부터, 상기 동화상 데이터가 방송된 방송 프로그램의 방송 시간 중의 각 시각과, 상기 방송 프로그램의 시청률의 관계를 나타내고, 시청자의 고조(enthusiasm)의 추이의 판정에 이용하는 판정 데이터를 취득하는 판정 데이터 취득 수단과,
    상기 동화상 데이터 기억 수단에 기억되어 있는 상기 동화상 데이터를 취득하고, 취득한 상기 동화상 데이터로부터 상기 판정 데이터 취득 수단에 의해 취득된 상기 판정 데이터에 의거하여, 상기 시청률이 급상승한 시각의 화상인 시청률 급상승 화상을 추출하고, 추출한 상기 시청률 급상승 화상을 상기 섬네일 화상으로서 상기 섬네일 화상 데이터를 생성하고, 생성한 상기 섬네일 화상 데이터를 상기 섬네일 화상 데이터 기억 수단에 기억시키는 섬네일 화상 생성 수단과,
    상기 섬네일 화상 데이터 기억 수단에 기억되어 있는 상기 섬네일 화상 데이터를 출력하는 섬네일 화상 출력 수단을 갖는 것을 특징으로 하는 동화상 처리 장치.
  3. 제1항에 있어서,
    상기 섬네일 화상 생성 수단은, 상기 동화상 데이터 기억 수단에 기억되어 있는 상기 동화상 데이터를 취득하고, 상기 판정 데이터 취득 수단에 의해 취득된 상기 판정 데이터에 의거하여, 상기 시청률이 소정의 임계값 이상일 경우에는, 취득한 상기 동화상 데이터로부터 상기 최고 시청률 화상을 추출하고, 추출한 상기 최고 시청률 화상을 상기 섬네일 화상으로서 상기 섬네일 화상 데이터를 생성하고, 생성한 상기 섬네일 화상 데이터를 상기 섬네일 화상 데이터 기억 수단에 기억시키는 것을 특징으로 하는 동화상 처리 장치.
  4. 동화상 데이터를 기억하는 동화상 데이터 기억 수단과,
    상기 동화상 데이터의 섬네일(thumbnail) 화상을 나타내는 섬네일 화상 데이터를 기억하는 섬네일 화상 데이터 기억 수단과,
    상기 동화상 데이터가 방송된 방송 프로그램의 방송 시간 중의 상기 방송 프로그램의 시청자의 고조(enthusiasm)의 추이를 판정하는 판정 데이터를 취득하는 판정 데이터 취득 수단과,
    상기 동화상 데이터 기억 수단에 기억되어 있는 상기 동화상 데이터를 취득하고, 취득한 상기 동화상 데이터로부터 상기 판정 데이터 취득 수단에 의해 취득된 상기 판정 데이터에 의거하여 상기 섬네일 화상을 추출하고, 추출한 상기 섬네일 화상을 나타내는 상기 섬네일 화상 데이터를 생성하고, 생성한 상기 섬네일 화상 데이터를 상기 섬네일 화상 데이터 기억 수단에 기억시키는 섬네일 화상 생성 수단과,
    상기 섬네일 화상 데이터 기억 수단에 기억되어 있는 상기 섬네일 화상 데이터를 출력하는 섬네일 화상 출력 수단을 가지며,
    상기 판정 데이터 취득 수단은, 상기 방송 프로그램의 상기 방송 시간 중의 각 시각과 상기 방송 프로그램에 관한 시청자의 투고(投稿)의 기입 속도의 관계를 나타내는 상기 판정 데이터를 취득하는 것을 특징으로 하는 동화상 처리 장치.
  5. 컴퓨터를,
    동화상 데이터를 기억하는 동화상 데이터 기억 수단과,
    상기 동화상 데이터의 섬네일(thumbnail) 화상을 나타내는 섬네일 화상 데이터를 기억하는 섬네일 화상 데이터 기억 수단과,
    전기 통신 회선 또는 안테나를 통하여 외부로부터, 상기 동화상 데이터가 방송된 방송 프로그램의 방송 시간 중의 각 시각과, 상기 방송 프로그램의 시청률의 관계를 나타내고, 시청자의 고조(enthusiasm)의 추이의 판정에 이용하는 판정 데이터를 취득하는 판정 데이터 취득 수단과,
    상기 동화상 데이터 기억 수단에 기억되어 있는 상기 동화상 데이터를 취득하고, 취득한 상기 동화상 데이터로부터 상기 판정 데이터 취득 수단에 의해 취득된 상기 판정 데이터에 의거하여, 상기 시청률이 최고를 나타낸 시각의 화상인 최고 시청률 화상을 추출하고, 추출한 상기 최고 시청률 화상을 상기 섬네일 화상으로서 상기 섬네일 화상 데이터를 생성하고, 생성한 상기 섬네일 화상 데이터를 상기 섬네일 화상 데이터 기억 수단에 기억시키는 섬네일 화상 생성 수단과,
    상기 섬네일 화상 데이터 기억 수단에 기억되어 있는 상기 섬네일 화상 데이터를 출력하는 섬네일 화상 출력 수단으로서 기능시키는 것을 특징으로 하는 섬네일 화상 생성 프로그램을 저장한 매체.
  6. 컴퓨터가,
    동화상 데이터가 방송된 방송 프로그램의 방송 시간 중의 상기 방송 프로그램의 시청자의 고조의 추이를 판정하는 판정 데이터를 취득하고,
    동화상 데이터 기억 수단에 기억되어 있는 상기 동화상 데이터를 취득하고, 취득한 상기 동화상 데이터로부터 취득한 상기 판정 데이터에 의거하여 시청률이 최고를 나타낸 시각의 화상인 최고 시청률 화상을 추출하고, 추출한 상기 최고 시청률 화상을 섬네일 화상으로서 섬네일 화상 데이터를 생성하고, 생성한 상기 섬네일 화상 데이터를 섬네일 화상 데이터 기억 수단에 기억시키고,
    상기 섬네일 화상 데이터 기억 수단에 기억되어 있는 상기 섬네일 화상 데이터를 출력하는 것을 특징으로 하는 섬네일 화상 생성 방법.
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
KR1020127002673A 2009-08-20 2009-08-20 동화상 처리 장치, 섬네일 화상 생성 프로그램을 저장한 매체 및 섬네일 화상 생성 방법 KR101327298B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2009/064537 WO2011021289A1 (ja) 2009-08-20 2009-08-20 動画像処理装置、サムネイル画像生成プログラムおよびサムネイル画像生成方法

Publications (2)

Publication Number Publication Date
KR20120029479A KR20120029479A (ko) 2012-03-26
KR101327298B1 true KR101327298B1 (ko) 2013-11-20

Family

ID=43606752

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127002673A KR101327298B1 (ko) 2009-08-20 2009-08-20 동화상 처리 장치, 섬네일 화상 생성 프로그램을 저장한 매체 및 섬네일 화상 생성 방법

Country Status (4)

Country Link
US (1) US8798437B2 (ko)
JP (1) JP5338911B2 (ko)
KR (1) KR101327298B1 (ko)
WO (1) WO2011021289A1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140068433A1 (en) * 2012-08-30 2014-03-06 Suresh Chitturi Rating media fragments and use of rated media fragments
US9591050B1 (en) * 2013-02-28 2017-03-07 Google Inc. Image recommendations for thumbnails for online media items based on user activity
US9762950B1 (en) * 2013-09-17 2017-09-12 Amazon Technologies, Inc. Automatic generation of network pages from extracted media content
JP2015114865A (ja) * 2013-12-12 2015-06-22 ソニー株式会社 情報処理装置、中継コンピュータ、情報処理システム、および情報処理プログラム
KR102340196B1 (ko) * 2014-10-16 2021-12-16 삼성전자주식회사 동영상 처리 장치 및 방법
US9418296B1 (en) * 2015-03-17 2016-08-16 Netflix, Inc. Detecting segments of a video program
US9967467B2 (en) * 2015-05-29 2018-05-08 Oath Inc. Image capture with display context
JP7005203B2 (ja) * 2017-07-24 2022-01-21 キヤノン株式会社 画像表示装置および画像表示装置の制御方法、プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003163902A (ja) 2001-11-28 2003-06-06 Konami Computer Entertainment Yokyo Inc 動画像表示システム
JP2005151085A (ja) 2003-11-14 2005-06-09 Victor Co Of Japan Ltd 録画番組一覧用サムネイル画像の作成方法、及び映像信号記録再生装置
JP2007074207A (ja) * 2005-09-06 2007-03-22 Sony Corp 情報処理装置および方法、並びにプログラム
JP2009049510A (ja) 2007-08-14 2009-03-05 Nippon Hoso Kyokai <Nhk> 静止画抽出装置及び静止画抽出プログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3934780B2 (ja) * 1998-03-18 2007-06-20 株式会社東芝 放送番組管理装置、放送番組管理方法、及び放送番組管理処理プログラムを記録した記録媒体
JP2003032581A (ja) 2001-07-11 2003-01-31 Pioneer Electronic Corp 画像記録再生装置、及びそのためのコンピュータプログラム
JP4374902B2 (ja) 2003-05-16 2009-12-02 富士通株式会社 類似画像検索装置、類似画像検索方法、および類似画像検索プログラム
JP2006339718A (ja) 2005-05-31 2006-12-14 Funai Electric Co Ltd 動画像処理装置
JP4982065B2 (ja) * 2005-09-26 2012-07-25 株式会社東芝 映像コンテンツ表示システム、映像コンテンツ表示方法及びそのプログラム
JP2007281945A (ja) 2006-04-07 2007-10-25 Sony Corp 通信システム、表示制御装置、表示制御方法、およびプログラム
JP2008103784A (ja) * 2006-10-17 2008-05-01 Hitachi Ltd 映像記録装置
WO2008081514A1 (ja) 2006-12-27 2008-07-10 Fujitsu Limited 抽出画像データ生成装置、情報機器、抽出画像データ生成方法、および抽出画像データ生成プログラム
JPWO2009001683A1 (ja) * 2007-06-28 2010-08-26 シャープ株式会社 表示装置及び表示方法
US20090060468A1 (en) * 2007-08-31 2009-03-05 United Video Properties, Inc. Systems and methods for recording popular media in an interactive media delivery system
JP5121367B2 (ja) 2007-09-25 2013-01-16 株式会社東芝 映像を出力する装置、方法およびシステム
US20090238543A1 (en) * 2008-03-20 2009-09-24 Microsoft Corporation Local Recording of Previously Aired Programming

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003163902A (ja) 2001-11-28 2003-06-06 Konami Computer Entertainment Yokyo Inc 動画像表示システム
JP2005151085A (ja) 2003-11-14 2005-06-09 Victor Co Of Japan Ltd 録画番組一覧用サムネイル画像の作成方法、及び映像信号記録再生装置
JP2007074207A (ja) * 2005-09-06 2007-03-22 Sony Corp 情報処理装置および方法、並びにプログラム
JP2009049510A (ja) 2007-08-14 2009-03-05 Nippon Hoso Kyokai <Nhk> 静止画抽出装置及び静止画抽出プログラム

Also Published As

Publication number Publication date
US20120121235A1 (en) 2012-05-17
WO2011021289A1 (ja) 2011-02-24
JP5338911B2 (ja) 2013-11-13
KR20120029479A (ko) 2012-03-26
US8798437B2 (en) 2014-08-05
JPWO2011021289A1 (ja) 2013-01-17

Similar Documents

Publication Publication Date Title
KR101327298B1 (ko) 동화상 처리 장치, 섬네일 화상 생성 프로그램을 저장한 매체 및 섬네일 화상 생성 방법
JP6266109B2 (ja) 動画画面の処理方法及び装置
TWI571868B (zh) 用於定序內容之方法及裝置
US7830570B2 (en) Device and method for edition of moving picture data
JP5173337B2 (ja) 要約コンテンツ生成装置およびコンピュータプログラム
KR101628237B1 (ko) 하이라이트 영상 구성 방법 및 장치
JP2019017119A (ja) コマーシャルの自動プレイバック・システム
WO2009087907A1 (ja) 表示生成装置、表示生成方法、プログラム、およびコンテンツダウンロードシステム
US8373723B2 (en) Method and apparatus to provide plot data of contents
KR20110081262A (ko) 레코딩된 프로그램의 시청한 부분의 삭제
CN101197984A (zh) 图像处理设备、图像处理方法、以及程序
JP6150320B2 (ja) 情報処理装置、情報処理方法、およびプログラム
CN102208205A (zh) 动画再现装置
KR20090074864A (ko) 디스플레이장치 및 광고 스킵 방법
US9538119B2 (en) Method of capturing moving picture and apparatus for reproducing moving picture
KR20060102639A (ko) 동영상 재생 시스템 및 방법
EP3547698A1 (en) Method and device for determining inter-cut time bucket in audio/video
JP4235041B2 (ja) テレビジョン方式による視覚化及びナビゲーションインターフェース
KR20090050374A (ko) 저장 매체를 이용한 컨텐츠의 연속 재생 방법 및 이를 위한장치
JP2009239322A (ja) 映像再生装置、映像再生方法および映像再生プログラム
CN101785308A (zh) 信号输出装置、信号输出方法以及信号输出程序
KR20090119052A (ko) 녹화ㆍ재생방법 및 녹화기
JP6129085B2 (ja) 放送受信装置、番組内容確認用データ作成処理装置、及び番組録画装置
KR102155915B1 (ko) 동영상 녹음 장치 및 방법
JP2011151605A (ja) 画像作成装置、画像作成方法、及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161019

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171018

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20181018

Year of fee payment: 6