KR101181588B1 - 화상 처리 장치, 화상 처리 방법, 화상 처리 시스템 및 기록 매체 - Google Patents

화상 처리 장치, 화상 처리 방법, 화상 처리 시스템 및 기록 매체 Download PDF

Info

Publication number
KR101181588B1
KR101181588B1 KR1020110004747A KR20110004747A KR101181588B1 KR 101181588 B1 KR101181588 B1 KR 101181588B1 KR 1020110004747 A KR1020110004747 A KR 1020110004747A KR 20110004747 A KR20110004747 A KR 20110004747A KR 101181588 B1 KR101181588 B1 KR 101181588B1
Authority
KR
South Korea
Prior art keywords
scene
moving picture
time
attention
interest
Prior art date
Application number
KR1020110004747A
Other languages
English (en)
Other versions
KR20110103843A (ko
Inventor
토모요시 아이자와
Original Assignee
오므론 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 오므론 가부시키가이샤 filed Critical 오므론 가부시키가이샤
Publication of KR20110103843A publication Critical patent/KR20110103843A/ko
Application granted granted Critical
Publication of KR101181588B1 publication Critical patent/KR101181588B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B19/00—Driving, starting, stopping record carriers not specifically of filamentary or web form, or of supports therefor; Control thereof; Control of operating function ; Driving both disc and head
    • G11B19/02—Control of operating function, e.g. switching from recording to reproducing
    • G11B19/022—Control panels
    • G11B19/025—'Virtual' control panels, e.g. Graphical User Interface [GUI]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/02—Detecting movement of traffic to be counted or controlled using treadles built into the road
    • E—FIXED CONSTRUCTIONS
    • E01—CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
    • E01F—ADDITIONAL WORK, SUCH AS EQUIPPING ROADS OR THE CONSTRUCTION OF PLATFORMS, HELICOPTER LANDING STAGES, SIGNS, SNOW FENCES, OR THE LIKE
    • E01F11/00—Road engineering aspects of Embedding pads or other sensitive devices in paving or other road surfaces, e.g. traffic detectors, vehicle-operated pressure-sensitive actuators, devices for monitoring atmospheric or road conditions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/065—Traffic control systems for road vehicles by counting the vehicles in a section of the road or in a parking area, i.e. comparing incoming count with outgoing count
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/781—Television signal recording using magnetic recording on disks or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/85—Television signal recording using optical recording on discs or drums

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Architecture (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

[과제]
화상 처리 장치로부터 휴대 단말에 전송하는 동화의 데이터량을 저감시킴과 함께, 당해 동화에서, 주목 장면의 전후의 관계를 손상시키지 않도록 한다.
[해결 수단]
DVD 레코더(1)에 입력된, 유저가 관심이 있는 사항을 나타내는 주목 정보로부터 추출된 주목 특징량을, 동화를 구성하는 음성 또는 프레임으로부터 검지하는 키워드 검지부(25)와, 동화에서의, 주목 특징량이 검지된 기준 시점을 적어도 포함하는 시간대를, 주목 장면으로서 특정하는 주목 장면 특정부(23)와, 동화중, 주목 장면 특정부(23)가 특정한 주목 장면 이외의 시간대의 화질을 저감하여, 동화의 저화질 동화를 생성하는 화질 저감부(22)를 구비한다.

Description

화상 처리 장치, 화상 처리 방법, 화상 처리 시스템 및 기록 매체{IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, IMAGE PROCESSING SYSTEM AND RECORDING MEDIUM}
본 발명은, 자체장치(自藏置)에 축적된 동화 데이터를 휴대 단말에 전송하는 화상 처리 장치, 화상 처리 방법, 화상 처리 시스템, 제어 프로그램 및 기록 매체에 관한 것이다.
근래, 레코더 등의 동화상 기록 장치의 기억 용량이 급속하게 증대하고 있고, 유저는, 텔레비전 방송프로그램(영상 콘텐츠) 등의 동화 데이터를 대량으로 녹화하는 것이 가능하게 되고 있다. 그러나, 레코더에 텔레비전 프로그램을 대량으로 녹화한 것이지만, 유저는, 재택시에 시청 시간을 확보할 수 없는 경우, 녹화한 프로그램을 시청하고 싶어도 시청할 수가 없는 문제가 생기고 있다.
이 문제의 해결 방법으로서, 레코더 등의 동화상 기록 장치에서 녹화한 동화 데이터를, 휴대 전화 등의 동화 데이터가 재생 가능한 휴대 시청 단말에 전송하는 기술이 개발되어 있다. 예를 들면, 특허 문헌 1에는, 방송국이나 통신국으로부터 배신된 동화상을 부호화하여 축적하고, 축적한 동화상을 휴대 시청 단말에 전송하는 동화상 시청 제어 장치가 개시되어 있다. 이와 같은 종래 기술에 의해, 유저는, 동화상 기록 장치를 이용 가능한 재택시에 한하지 않고, 외출시 등에 휴대 시청 단말 상에서 동화상 기록 장치가 축적한 동화상을 열람할 수 있다.
그러나, 휴대 시청 단말은, 레코더나 PC 등과 비교하여, 일반적으로, 기억 용량이 매우 작기 때문에, 동화상 기록 장치로부터 전송 가능한 동화상의 데이터량에는 제한이 있다. 즉, 동화상 기록 장치에 축적된 동화 데이터 전부를 휴대 시청 단말에 격납할 수 없는 경우가 있다.
또한, 동화상 기록 장치로부터 휴대 시청 단말에 전송하는 동화 데이터의 데이터량이 많을수록, 전송 시간도 증대한다. 그 때문에, 유저가 휴대 시청 단말 상에서 시청하고 싶은 영상 콘텐츠가 증가할수록, 휴대 시청 단말 상에서 시청하기 위한 준비에 시간이 걸리고, 편리성이 나빠진다.
또한, 유저는, 영상 콘텐츠 중에서, 관심이 있는 특정한 장면을 시청하고 싶은 경우, 휴대 시청 단말을 조작하고, 빈번하게 빨리 보냄 재생이나 되감기 재생을 행하여 특정한 장면을 찾을 필요가 있다. 휴대 시청 단말 상에서 시청하는 경우, 유저에게 충분한 시간이 없는 경우가 많기 때문에, 유저가 관심이 있는 특정한 장면을 곧바로 재생할 수가 없는 것은 불편하다. 또한, 빈번하게 휴대 시청 단말을 조작하면, 그만큼 배터리 소비가 증대하기 때문에, 휴대 시청 단말에서의 조작은, 극력 적게 하는 것이 바람직하다.
그래서, 이들의 문제의 해결 방법으로서, 각 영상 콘텐츠의 동화 데이터로부터, 유저가 관심이 있는 특정한 장면(주목 장면)의 동화 데이터를 추출하고, 추출한 동화 데이터만을 휴대 시청 단말에 송신하는 기술이 개발되어 있다. 예를 들면, 특허 문헌 2에는, 미리 유저의 관심이 높은 장면을 찾기 위한 조건을 기억하고, 기억한 조건에 의거하여, 축적된 동화상을 해석하여 유저의 관심이 높은 장면(주목 장면)을 특정하고, 특정한 주목 장면에 관한 정보(선택 정보)를 휴대 시청 단말에 통지하는 동화상 축적 장치가 개시되어 있다. 휴대 시청 단말은, 통지된 선택 정보를 이용하여, 동화상 축적 장치로부터, 주목 장면의 동화 데이터만을 수신할 수 있다.
그 때문에, 동화상 축적 장치로부터 휴대 시청 단말에 전송하는 데이터량을 적게 할 수 있다.
특허 문헌 1 : 일본 특개2005-277869호 공보(2005년 10월 6일 공개) 특허 문헌 2 : 일본 특개2004-173120호 공보(2004년 6월 17일 공개)
비특허 문헌 1: 오부 정민(奧富 正敏) 외 저, 「디지털 화상 처리」 CG-ARTS협회 출판, 2007년 3월 1일(제2판2쇄), P.208 내지 210, 12-2절 「특징점 검출」
그러나, 상술한 바와 같은 종래 기술에서는, 휴대 시청 단말은, 주목 장면의 동화 데이터만을 수신하기 때문에, 유저는, 휴대 시청 단말 상에서는, 주목 장면의 전후의 동화상을 시청할 수가 없다는 문제가 있다. 그 때문에, 유저는, 주목 장면에 이르기까지의 경위나 주목 장면 후의 전개 등, 주목 장면의 전후의 관계를 알 수가 없다.
본 발명은, 상기한 문제점을 감안하여 이루어진 것이고, 상기 목적은, 자체장치로부터 휴대 단말 등에 전송하는 동화의 데이터량을 저감시킴과 함께, 당해 동화에서, 주목 장면의 전후의 관계를 손상시키지 않도록 하는 화상 처리 장치, 화상 처리 방법, 화상 처리 시스템, 제어 프로그램 및 기록 매체를 실현하는 것에 있다.
본 발명에 관한 화상 처리 장치는, 상기 과제를 해결하기 위해, 자체장치에 입력된, 유저가 관심이 있는 사항을 나타내는 주목 정보로부터 추출된 주목 특징량과 일치하는 특징량을 포함하는, 동화를 구성하는 음성 또는 프레임을 검지하는 주목 정보 검지 수단과, 상기 동화의 재생 시간축 상에서, 상기 주목 정보 검지 수단이 검지한 음성 또는 프레임의 시각인 기준 시점을 포함하는 시간대를, 주목 장면으로서 특정하는 주목 장면 특정 수단과, 상기 동화 중, 상기 주목 장면 특정 수단이 특정한 주목 장면 이외의 시간대의 화질을 저하시켜서, 상기 동화의 저화질 동화를 생성하는 저화질 동화 생성 수단을 구비하는 것을 특징으로 하고 있다.
본 발명에 관한 화상 처리 방법은, 상기 과제를 해결하기 위해, 유저가 관심이 있는 사항을 나타내는 주목 정보로부터 추출된 주목 특징량과 일치하는 특징량을 포함하는, 동화를 구성하는 음성 또는 프레임을 검지하는 주목 정보 검지 스텝과, 상기 동화의 재생 시간축상에서, 상기 주목 정보 검지 스텝에서 검지된 음성 또는 프레임의 시각인 기준 시점을 포함하는 시간대를, 주목 장면으로서 특정하는 주목 장면 특정 스텝과, 상기 동화중, 상기 주목 장면 특정 스텝에서 특정된 주목 장면 이외의 시간대의 화질을 저하시켜서, 상기 동화의 저화질 동화를 생성하는 저화질 동화 생성 스텝을 포함하는 것을 특징으로 하고 있다.
상기한 구성에 의하면, 상기 주목 정보 검지 수단은, 자체장치에 입력된 주목 정보로부터 추출된 주목 특징량과 일치하는 특징량을 포함하는, 상기 동화를 구성하는 음성 또는 프레임을 검지한다. 상기 주목 특징량은, 유저가 관심이 있는 사항을 나타내는 주목 정보로부터 추출된 특징량이기 때문에, 상기 주목 특징량과 일치하는 특징량을 포함하는 음성 또는 프레임은, 유저가 가장 관심을 기울이고, 시청하고 싶다고 소망하고 있는 장면의 일부라고 생각된다. 그래서, 상기 주목 장면 특정 수단이, 상기 동화의 재생 시간축 상에서, 상기 주목 정보 검지 수단이 검지한 음성 또는 프레임의 시각인 기준 시점을 포함하는 시간대를, 주목 장면으로서 특정한다. 그리고, 상기 저화질 동화 생성 수단이, 상기 주목 장면 이외의 시간대의 화질을 저하시켜서, 상기 동화의 저화질 동화를 생성한다.
그 때문에, 생성된 저화질 동화에서는, 유저가 주목하는 것일 주목 장면의 화질을 유지하면서, 상기 주목 장면 이외의 시간대의 화질만이 저화질로 되어 있다. 즉, 생성된 저화질 동화는, 유저가 주목하는 주목 화면에 관해서는 원래의 화질을 유지하고, 주목 장면의 전후의 정보를 포함하면서, 게다가, 원래의 동화와 비교하여 전체의 데이터량이 적은 동화이다. 따라서, 생성된 저화질 동화를 다른 장치에의 전송용에 이용할 수 있고, 이 경우, 전송 시간을 저감시킬 수 있음과 함께, 유저는, 다른 장치상에서 주목 장면의 전후의 장면도 시청할 수 있다는 효과를 이룬다.
또한, 본 발명에 관한 화상 처리 장치는, 상기 주목 장면 특정 수단은, 상기 주목 특징량이 검지된 시점을 기준 시점으로 하여, 상기 기준 시점보다 소정의 시간 전의 시점부터, 상기 기준 시점보다 소정의 시간 후의 시점까지의 시간대를 주목 장면으로서 특정하는 것이 바람직하다.
상기한 구성에 의하면, 상기 소정의 시간을 적절히 설정함에 의해, 유저가 관심이 있는 장면을 주목 장면으로서 특정할 수 있다. 또한, 상기 소정의 시간은, 유저가 임의로 설정하여도 좋고, 미리 장치 고유한 값이 설정되어 있어도 좋다.
또한, 본 발명에 관한 화상 처리 장치는, 상기 주목 정보 검지 수단은, 자체장치에 입력된, 유저가 관심이 없는 장면에 관련되는 정보를 나타내는 비주목 정보로부터 추출된 비주목 특징량과 일치하는 특징량을 포함하는, 동화를 구성하는 음성 또는 프레임을 검지하고, 상기 주목 장면 특정 수단은, 상기 주목 정보 검지 수단이 검지한, 상기 비주목 특징량을 포함하는 음성 또는 프레임의 시각으로서, 당해 시각중 상기 기준 시점보다 후의 시각을, 주목 장면의 종료 시점으로 하는 것이 바람직하다.
상기한 구성에 의하면, 유저가 관심이 없는 장면에 관련되는 정보를 나타내는 비주목 정보로부터 추출된 비주목 특징량이 검지된 시점을 주목 장면의 종료 시점으로 한다. 즉, 유저의 관심이 있는 사항이 투영되어 있는 장면부터 유저의 관심이 없는 장면으로 전환된 시점에서 주목 장면이 종료된다. 그 때문에, 유저의 관심이 있는 사항이 투영되어 있는 시간대를 효율적으로, 또한 자동적으로, 주목 장면으로서 특정할 수 있다.
또한, 본 발명에 관한 화상 처리 장치는, 상기 동화에서 프레임 사이의 화상의 변화량이 소정 이상이 되는 장면 전환 시점을 검출하는 장면 전환 시점 검출 수단을 구비하고, 상기 주목 장면 특정 수단은, 상기 주목 장면의 시간대의 시작 시점 및 종료 시점의 적어도 어느 한쪽을, 상기 장면 전환 시점 검출 수단이 검출한 장면 전환 시점부터 선택하는 것이 바람직하다.
상기한 구성에 의하면, 상기 주목 장면 특정 수단은, 상기 주목 장면의 시간대의 시작 시점 및 종료 시점의 적어도 어느 한쪽을, 상기 동화에서 프레임 사이의 화상의 변화량이 소정 이상이 되는 장면 전환 시점부터 선택한다. 상기 동화에서의, 상기 장면 전환 시점의 전후의 내용이 크게 변하고 있는 것이 예상된다. 그 때문에, 상기 장면 전환 시점을 주목 장면의 시간대의 시작 시점 및 종료 시점의 어느 하나로 설정함에 의해, 유저의 관심이 있는 사항이 투영되어 있는 시간대를 효율적으로, 또한 자동적으로, 주목 장면으로서 특정할 수 있다.
또한, 본 발명에 관한 화상 처리 장치는, 상기 주목 장면 특정 수단은, 상기 장면 전환 시점 검출 수단이 검출한 복수의 장면 전환 시점 중, 상기 기준 시점의 직전의 장면 전환 시점, 및, 상기 기준 시점의 직후의 장면 전환 시점을, 각각, 상기 주목 장면의 시간대의 시작 시점 및 종료 시점으로서 선택하는 것이 바람직하다.
상기한 구성에 의하면, 상기 주목 장면 특정 수단은, 상기 기준 시점의 직전의 장면 전환 시점, 및, 상기 기준 시점의 직후의 장면 전환 시점을, 주목 장면의 시간대의 시작 시점 및 종료 시점으로서 선택한다. 그 때문에, 유저의 관심이 있는 사항이 투영되어 있는 시점의 직전 및 직후에 크게 내용이 변한 시점을 주목 장면의 시간대의 시작 시점 및 종료 시점으로서 선택한다. 따라서, 유저의 관심이 있는 사항이 투영되어 있는 시간대를 효율적으로, 또한 자동적으로, 주목 장면으로서 특정할 수 있다.
또한, 본 발명에 관한 화상 처리 장치는, 상기 주목 장면 특정 수단은, 상기 주목 장면의 시간대가 소정 시간 이상이 되도록, 상기 시간대의 시작 시점 및 종료 시점을, 상기 복수의 장면 전환 시점부터 각각 선택하는 것이 바람직하다.
상기한 구성에 의하면, 상기 주목 장면 특정 수단은, 상기 주목 장면의 시간대가 소정 시간 이상이 되도록, 상기 시간대의 시작 시점 및 종료 시점을, 상기 복수의 장면 전환 시점부터 각각 선택한다. 예를 들면, 유저의 관심이 있는 사항이, 서로 다른, 복수의 연속한 장면인 경우라도, 상기 소정 시간을 적절히 설정함에 의해, 유저의 관심이 있는 사항이 투영된 시점의 전후의 소정 시간 이내의 장면이 포함되도록, 주목 장면을 설정할 수 있다.
또한, 본 발명에 관한 화상 처리 장치는, 상기 주목 정보는, 텍스트 데이터, 화상 데이터 및 음성 데이터 중, 적어도 어느 하나를 포함하는 것이 바람직하다.
또한, 본 발명에 관한 화상 처리 장치는, 상기 저화질 동화 생성 수단은, 상기 동화중, 상기 주목 장면 특정 수단이 특정한 주목 장면 이외의 시간대의 해상도를 낮게 하는 것이 바람직하다.
또한, 본 발명에 관한 화상 처리 장치는, 상기 저화질 동화 생성 수단은, 상기 동화중, 상기 주목 장면 특정 수단이 특정한 주목 장면 이외의 시간대의 동화 압축률을 높게 하는 것이 바람직하다.
또한, 본 발명에 관한 화상 처리 장치는, 상기 저화질 동화 생성 수단은, 상기 동화중, 상기 주목 장면 특정 수단이 특정한 주목 장면 이외의 시간대의 프레임 레이트를 낮게 하는 것이 바람직하다.
또한, 본 발명에 관한 화상 처리 장치는, 상기 저화질 동화 생성 수단은, 소정의 프레임의 화상과, 당해 소정의 프레임 전의 프레임의 화상을 비교하여, 프레임 사이의 화상의 변화량이 소정의 임계치 미만인 상기 소정의 프레임을 솎아내어, 프레임 레이트를 낮게 하는 것이 바람직하다.
또한, 본 발명에 관한 화상 처리 시스템은, 상기 화상 처리 장치와, 동화를 재생 가능한 휴대 단말을 포함하는 화상 처리 시스템으로서, 상기 화상 처리 장치는, 생성한 상기 저화질 동화를 상기 휴대 단말에 전송하는 것이 바람직하다.
또한, 본 발명에 관한 화상 처리 시스템은, 상기 화상 처리 장치는, 상기 동화에서의 상기 주목 장면의 시간대를 나타내는 정보를 상기 휴대 단말에 전송하는 것이 바람직하다.
상기한 구성에 의하면, 상기 화상 처리 장치는, 상기 동화에서의 상기 주목 장면의 시간대를 나타내는 정보를 상기 휴대 단말에 전송한다. 그 때문에, 휴대 단말은, 수신한 저화질 동화에서의 주목 장면의 시간대의 시작 시점 및 종료 시점을 명확하게 알 수 있다. 따라서, 유저가 휴대 단말 상에서 저화질 동화를 재생하는 경우, 빈번하게 빨리 보냄 재생이나 되감기 재생을 행하면서 주목 장면을 찾을 필요가 없고, 간단한 조작으로 주목 장면만을 시청할 수 있다. 또한, 유저의 조작량이 저감되기 때문에, 휴대 단말에서 소비되는 전력도 저감할 수 있다.
또한, 본 발명에 관한 화상 처리 방법은, 상기 저화질 동화 생성 스텝에서 생성된 저화질 동화를 휴대 단말에 전송하는 전송 스텝을 또한 포함하는 것이 바람직하다.
또한, 상기 화상 처리 장치는, 컴퓨터에 의해 실현하여도 좋고, 이 경우에는, 컴퓨터를 상기 화상 처리 장치의 각 수단으로서 동작시킴에 의해, 상기 화상 처리 장치를 컴퓨터에 실현시키는 제어 프로그램, 및 그것을 기록한 컴퓨터 판독 가능한 기록 매체도 본 발명의 범주에 들어간다.
이상과 같이, 본 발명에 관한 화상 처리 장치는, 자체장치에 입력된, 유저가 관심이 있는 사항을 나타내는 주목 정보로부터 추출된 주목 특징량을, 동화를 구성하는 음성 또는 프레임으로부터 검지하는 주목 정보 검지 수단과, 상기 동화에서의, 상기 주목 특징량이 검지된 기준 시점을 적어도 포함하는 시간대를, 주목 장면으로서 특정하는 주목 장면 특정 수단과, 상기 동화 중, 상기 주목 장면 특정 수단이 특정한 주목 장면 이외의 시간대의 화질을 저감하여, 상기 동화의 저화질 동화를 생성하는 저화질 동화 생성 수단을 구비하고 있는 구성이다.
또한, 본 발명에 관한 화상 처리 방법은, 자체장치에 입력된, 유저가 관심이 있는 사항을 나타내는 주목 정보로부터 추출된 주목 특징량을, 동화를 구성하는 음성 또는 프레임으로부터 검지하는 주목 정보 검지 스텝과, 상기 동화에서의, 상기 주목 특징량이 검지된 기준 시점을 적어도 포함하는 시간대를, 주목 장면으로서 특정하는 주목 장면 특정 스텝과, 상기 동화중, 상기 주목 장면 특정 스텝에서 특정된 주목 장면 이외의 시간대의 화질을 저감하여, 상기 동화의 저화질 동화를 생성하는 저화질 동화 생성 스텝을 포함한다.
따라서 생성된 저화질 동화를 휴대 단말 등의 다른 장치에 전송한 경우, 전송 시간을 저감시킬 수 있음과 함께, 유저는, 다른 장치상에서 주목 장면의 전후의 장면을 시청할 수 있다는 효과를 이룬다.
도 1은 본 발명의 실시 형태를 나타내는 것으로, DVD 레코더의 주요부 구성을 도시하는 블록도.
도 2는 본 발명의 화상 처리 시스템의 개요를 도시하는 도면.
도 3은 문자 정보 기억부에 기억되어 있는 문자 정보의 한 예를 도시하는 도면.
도 4는 기준 프레임 기억부에 기억되어 있는 기준 프레임에 관한 정보의 한 예를 도시하는 도면.
도 5는 주목 장면 기억부에 기억되어 있는 주목 장면에 관한 정보(주목 장면 리스트)의 한 예를 도시하는 도면.
도 6은 본 발명의 실시 형태를 나타내는 것으로, 휴대 전화기의 주요부 구성을 도시하는 블록도.
도 7은 DVD 레코더가 행하는 처리의 한 예를 도시하는 플로우 차트.
도 8은 본 발명의 DVD 레코더, 표시 장치(텔레비전), 및, 조작부(리모트 콘트롤)의 외관과, 유저가 목적하는 키워드(문자열)를 입력하는 양상을 설명하는 도면.
도 9는 검지 완료 문자의 영역에 대해, 다음의 문자를 검색하기 위한 검색 대상 영역의 한 예를 도시하는 도면.
도 10은 주목 장면의 시간대와 주목 장면 이외의 시간대의 한 예를 도시하는 도면.
≪실시 형태 1≫
본 발명의 실시 형태에 관해, 도면에 의거하여 설명하면 이하와 같다. 우선, 본 실시 형태의 화상 처리 시스템(3)의 개요에 관해, 도 2에 의거하여 설명한다.
[화상 처리 시스템(3)의 개요]
도 2는, 화상 처리 시스템(3)의 개요를 도시하는 도면이다. 도 2에 도시하는 바와 같이, 화상 처리 시스템(3)은, 화상 처리 장치(1) 및 휴대 단말(2)을 포함한다. 화상 처리 장치(1)와 휴대 단말(2)은, 유선 또는 무선의 통신 수단으로 접속되어 있고, 동화 데이터 등을 송수신할 수 있다. 예를 들면, 화상 처리 장치(1) 및 휴대 단말(2)이, 무선 LAN을 이용하여 데이터를 송수신하거나, USB 케이블 등으로 접속되어 있거나 하여도 좋다. 또한, SD 카드 등의 메모리 카드 등을 이용하여, 화상 처리 장치(1)와 휴대 단말(2) 사이에서 데이터를 교환하여도 좋다. 본 실시 형태에서는, 화상 처리 장치(1)가, 동화를 녹화하거나, 녹화한 동화를 재생하여 표시하거나 하는 DVD 레코더(1)이고, 휴대 단말(2)이, 동화를 재생 가능한 휴대 전화기(2)인 경우를 예로 하여 설명한다.
또한, 본 발명의 화상 처리 장치(1)는, DVD 레코더로 한정되지 않고, 화상을 처리하는 것이 가능한 화상 처리 장치라면 무엇이라도 좋다. 예를 들면, 이것으로 한정되지 않지만, DVD 플레이어, 디지털 비디오 레코더/플레이어, 블루레이 디스크 레코더/플레이어, 디지털 비디오 카메라, 디지털 카메라, 디지털 텔레비전, 퍼스널 컴퓨터, 휴대 전화, 프린터, 스캐너 등, 정지화 및/또는 동화를 처리하는 각종 화상 처리 장치를 적용하는 것이 가능하다. 또한, 본 발명의 휴대 단말(2)은, 휴대 전화기로 한정되지 않고, 동화를 재생하는 것이 가능하고, 휴대 가능한 휴대 단말이라면 무엇이라도 좋다. 예를 들면, 이것으로 한정되지 않지만, 디지털 비디오 카메라, 디지털 카메라, PDA(Personal Digital Assistant), 노트 퍼스널 컴퓨터, 휴대 게임기 등, 동화 재생 기능을 갖는 각종 휴대 단말을 적용하는 것이 가능하다.
또한, 도 2에 도시하는 바와 같이, 화상 처리 시스템(3)은, 화상 처리 장치(1)의 조작성 향상을 위해, 키워드 입력 화면 등을 표시하는 표시 장치(12)를 포함하고 있어도 좋다. 화상 처리 장치(1)와 표시 장치(12)는, 유선 또는 무선의 통신 수단으로 접속되어 있고, 동화 데이터 등을 송수신한다. 본 실시 형태에서는, 표시 장치(12)가, 동화나 메뉴 화면을 표시한 디지털 텔레비전인 경우를 예로 하여 설명한다.
구체적으로는, 표시 장치(12)는, 화상 처리 장치(1)가 처리하는 화상을 표시하거나, 유저가 화상 처리 장치(1)를 조작하기 위한 조작 화면을 GUI(Graphical User Interface) 화면으로서 표시하거나 하는 것이다.
또한, 본 발명의 표시 장치(12)는, 디지털 텔레비전으로 한정되지 않고, 화상을 표시하는 것이 가능한 표시 장치라면 무엇이라도 좋다. 예를 들면, 이것으로 한정되지 않지만, LCD(액정 디스플레이), 유기 EL 디스플레이, 플라즈마 디스플레이 등, 화상을 표시하는 각종 표시 장치를 적용하는 것이 가능하다.
또한, 화상 처리 시스템(3)이 표시 장치(12)를 포함하는 경우, 도 2에 도시하는 바와 같이, 화상 처리 장치(1)와 표시 장치(12)가 별개의 장치라도 좋지만, 이것으로 한정하는 것이 아니다. 예를 들면, 화상 처리 장치(1)가 표시부를 구비하여, 표시 장치(12)의 기능을 구비하고 있어도 좋다.
[DVD 레코더(1)의 구성]
다음에, 화상 처리 장치(1)인 DVD 레코더(1)의 구성에 관해, 도 1에 의거하여 설명한다. 도 1은, 본 발명의 실시 형태에서의 DVD 레코더(1)의 주요부 구성을 도시하는 블록도이다.
도 1에 도시하는 바와 같이, 본 실시 형태의 DVD 레코더(1)는, 제어부(10), 기억부(11), 조작부(13), 일시 기억부(14), 통신부(16), 및, 이들의 각 부분에서 데이터의 송수신을 행하기 위한 공통의 신호선으로서의 버스(15)를 구비하는 구성으로 되어 있다.
조작부(13)는, 유저가 DVD 레코더(1)에 지시 신호를 입력하고, 조작하기 위한 것이다.
DVD 레코더(1)는, 버스(15)를 통하여 직접 데이터 송수신을 행하는 것이 가능한 조작부(13)를 구비하고 있어도 좋지만, 이와 같은 구성으로 한정되지 않는다.
본 실시 형태에서는, 조작부(13)는, 한 예로서, 상기 디지털 텔레비전 및 당해 DVD 레코더(1)에 공통의 리모트 콘트롤로서 실현되어 있어도 좋다. 조작부(13)에 마련된 버튼(십자키, 결정키, 문자 입력키 등)에 대응하는 신호는, 상기 버튼이 눌러진 때에, 적외선 신호로서 조작부(13)의 발광부로부터 출력되고, DVD 레코더(1) 또는 상기 디지털 텔레비전의 본체에 마련된 수광부를 통하여 DVD 레코더(1) 또는 디지털 텔레비전에 입력된다. DVD 레코더(1)의 수광부(도시 생략)를 통하여 수신된 신호는, 버스(15)를 통하여 제어부(10)에 공급되고, 제어부(10)가 상기 신호에 응한 동작을 행한다.
통신부(16)는, 무선 통신 수단 또는 유선 통신 수단에 의해, 휴대 전화기(2)나 표시 장치(12) 등의 다른 장치와 통신을 행하고, 데이터의 교환을 행하는 것이다. 예를 들면, 통신부(16)가 안테나 및 튜너의 기능을 구비하고, 텔레비전 등의 전파를 수신하여도 좋다. 또한, 예를 들면, 통신부(16)가 외부 인터페이스로서 기능하여, 표시 장치(12)와 HDMI(High Definition Multimedia Interface) 케이블 등으로 접속되어 있어도 좋다. 또한, 예를 들면, 통신부(16)가 외부 인터페이스로서 기능하여, 통신부(16)와 접속하고 있는 PC, 메모리 카드, 플래시 메모리 등으로부터 동화 데이터를 수신하여도 좋고, 통신부(16)와 접속하고 있는 PC, 메모리 카드, 플래시 메모리 등에 대해 동화 데이터를 출력하여도 좋다.
제어부(10)는, 기억부(11)로부터 일시 기억부(14)에 판독된 프로그램을 실행함에 의해, 각종의 연산을 행함과 함께, DVD 레코더(1)가 구비하는 각 부분을, 버스(15)를 통하여 통괄적으로 제어하는 것이다.
본 실시 형태에서는, 제어부(10)는, 기능 블록으로서, 동화 녹화부(20), 동화 재생부(21), 화질 저감부(저화질 동화 생성 수단)(22), 주목 장면 특정부(주목 장면 특정 수단)(23), 키워드 해석부(24), 키워드 검지부(주목 정보 검지 수단)(25), 정지화 생성부(26), 특징량 추출부(27), 및, 장면 전환 시점 검출부(장면 전환 시점 검출 수단)(29)를 구비하는 구성이다. 이들의 제어부(10)의 각 기능 블록(20 내지 27)은, CPU(central processing unit)가, ROM(read only memory) 등으로 실현된 기억 장치에 기억되어 있는 프로그램을 RAM(Random Access Memory) 등으로 실현된 일시 기억부(14)에 판독하여 실행함으로써 실현할 수 있다.
동화 녹화부(20)는, 통신부(16)가 수신한 동화를 동화 기억부(30)에 기억하는 것이다.
동화 재생부(21)는, 동화 기억부(30)에 기억되어 있는 동화를 판독하여, 외부 출력용의 처리를 시행하고, 동화를 재생하는 것이다. 동화를 재생·표시하는 취지의 지시가 입력된 경우, 동화 재생부(25)가 처리한 동화는, 일단 화상 메모리(14a)에 격납되고, 프레임마다, 도시하지 않은 표시 제어부의 제어하에, 통신부(16)를 통하여 표시 장치(12)에 출력된다.
화질 저감부(22)는, 동화 기억부(30)에 기억되어 있는 동화를 판독하고, 주목 장면 특정부(23)가 특정한 주목 장면의 화질을 상대적으로 높게 하고, 주목 장면 이외의 장면의 화질을 상대적으로 낮게 하는 것이다. 구체적으로는, 화질 저감부(22)는, 주목 장면에 관해서는 화상 데이터의 해상도를 상대적으로 높게 하고, 주목 장면 이외의 장면에 관해서는 화상 데이터의 해상도를 상대적으로 낮게 하여도 좋다. 또한, 화질 저감부(22)는, 주목 장면에 관해서는 동화 압축률을 상대적으로 낮게 하고, 주목 장면 이외의 장면에 관해서는 동화 압축률을 상대적으로 높게 하여도 좋다. 또한, 화질 저감부(22)는, 주목 장면에 관해서는 프레임 레이트를 상대적으로 높게 하고, 주목 장면 이외의 장면에 관해서는 프레임 레이트를 상대적으로 낮게 하여도 좋다. 화질 저감부(22)는, 소정의 프레임의 화상과, 당해 소정의 프레임의 전후의 프레임의 화상을 비교하여, 프레임 사이의 화상의 변화량이, 소정의 임계치 미만인 상기 소정의 프레임을 솎아냄에 의해, 프레임 레이트를 낮게 하여도 좋다.
주목 장면 특정부(23)는, 상기 동화의 재생 시간축 상에서, 키워드 검지부(25)가 검지한 음성 또는 프레임의 시각인 기준 시점을 포함하는 시간대를, 주목 장면으로서 특정한다. 또한, 주목 장면 특정부(23)는, 기준 시점보다 소정의 시간 전의 시점부터, 기준 시점보다 소정의 시간 후의 시점까지의 시간대를 주목 장면으로서 특정하여도 좋다. 또한, 주목 장면 특정부(23)는, 키워드 검지부(25)가 검지한 기준 프레임의 시각 후로서, 상기 비주목 특징량이 검지된 시점을, 주목 장면의 종료 시점으로 하여도 좋다. 또한, 주목 장면 특정부(23)는, 주목 장면의 시간대의 시작 시점 및 종료 시점의 적어도 어느 한쪽을, 장면 전환 시점 검출부(29)가 검출한 장면 전환 시점부터 선택하여도 좋다. 또한, 주목 장면 특정부(23)는, 장면 전환 시점 검출부(29)가 검출한 복수의 장면 전환 시점 중, 기준 시점의 직전의 장면 전환 시점, 및, 기준 시점의 직후의 장면 전환 시점을, 각각, 주목 장면의 시간대의 시작 시점 및 종료 시점으로서 선택하여도 좋다. 또한, 주목 장면 특정부(23)는, 주목 장면의 시간대가 소정 시간 이상이 되도록, 주목 장면의 시간대의 시작 시점 및 종료 시점을, 장면 전환 시점 검출부(29)가 검출한 복수의 장면 전환 시점부터 각각 선택하여도 좋다.
또한, 주목 장면 특정부(23)는, 기준 프레임 기록부(28)를 구비하고 있어도 좋다.
키워드 해석부(24)는, 자체장치에 입력된, 유저가 관심이 있는 사항을 나타내는 주목 정보로부터 주목 특징량을 추출한다. 또한, 키워드 해석부(24)는, 자체장치에 입력된, 유저가 관심이 없는 장면에 관련되는 정보를 나타내는 비주목 정보로부터 비주목 특징량을 추출한다. 여기서, 주목 정보 및 비주목 정보란, 텍스트 데이터, 화상 데이터 및 음성 데이터 중, 적어도 하나를 포함하는 데이터이다. 본 실시 형태에서는, 주목 정보 및 비주목 정보로서, 키워드(문자열, 즉, 텍스트 데이터)인 경우를 예로 하여 설명한다.
주목 정보 및 비주목 정보가 텍스트 데이터인 경우, 키워드 해석부(24)는, 자체장치에 입력된 키워드의 문자 코드와 같은 문자 코드를, 문자 정보 기억부(31)에 격납되어 있는 문자 정보에 포함되는 문자 코드로부터 검색하고, 키워드의 문자 코드와 일치하는, 문자 정보에 포함되는 문자 코드에 대응지어져 있는 특징량을, 자체장치에 입력된 키워드의 특징량으로서 추출한다.
또한, 주목 정보 및 비주목 정보가 화상 데이터인 경우, 키워드 해석부(24)는, 비특허 문헌 1에 기재된 기술 등을 이용하여, 자체장치에 입력된 화상 데이터의 특징량을 추출한다. 또한, 주목 정보 및 비주목 정보가 음성 데이터인 경우, 키워드 해석부(24)는, 음성 데이터로부터 텍스트 데이터로 변환하여, 텍스트 데이터로부터, 상기한 바와 마찬가지로, 텍스트 데이터의 특징량을 추출한다.
키워드 검지부(25)는, 키워드 해석부(24)가 추출한 주목 특징량과 일치하는 특징량을 포함하는, 동화를 구성하는 음성 또는 프레임을 검지한다. 또한, 키워드 검지부(25)는, 키워드 해석부(24)가 추출한 비주목 특징량과 일치하는 특징량을 포함하는, 동화를 구성하는 음성 또는 프레임을 검지한다. 본 실시 형태에서는, 키워드 검지부(25)는, 주목 특징량 및 비주목 특징량을, 동화를 구성하는 프레임인 정지화로부터 검지한다.
또한, 키워드 검지부(25)가 주목 특징량(비주목 특징량)과 일치하는 특징량을 포함하는, 동화를 구성하는 음성을 검지하는 경우, 우선, 도시하지 않은 음성 데이터 추출부가 동화 기억부(30)에 격납되어 있는 동화로부터 음성 데이터를 추출한다. 그리고, 특징량 추출부(27)가 음성 데이터로부터 특징량으로서 텍스트 데이터를 추출한다. 한편, 키워드 해석부(24)도, 주목 정보 및 비주목 정보로부터 특징량으로서, 텍스트 데이터를 추출한다. 그리고, 키워드 검지부(25)는, 동화로부터 추출한 음성 데이터로부터 추출한 텍스트 데이터에 주목 정보 및 비주목 정보의 특징량인 텍스트 데이터가 포함되어 있는지의 여부를 검지한다.
정지화 생성부(26)는, 동화 기억부(30)에 격납되어 있는 동화의 각 프레임으로부터, 키워드 검지 처리가 실행되는 대상이 되는 프레임을 추출하고, 처리 대상의 정지화를 생성하는 것이다. 정지화 생성부(26)는, 동화에 포함되는 모든 프레임을 각각 정지화로 하여도 좋지만, 본 실시 형태에서는, 소정 초(秒) 간격, 또는, 소정 프레임 간격으로, 처리 대상이 되는 정지화를 뽑아내는 처리를 실행한다.
특징량 추출부(27)는, 정지화 생성부(26)가 생성한 정지화로부터, 비특허 문헌 1에 기재된 기술 등을 이용하여, 키워드 검지 처리에 사용하는 특징량을 추출하는 것이다. 본 발명의 DVD 레코더(1)가 이용하는 특징량은, 키워드 검지부(25)가, 동화를 구성하는 음성 또는 프레임에, 자체장치에 입력된 텍스트 데이터, 화상 데이터 또는 음성 데이터 등의 주목 정보(비주목 정보)가 포함되는지의 여부를 검지할 수 있는 것이면 무엇이라도 좋다.
기준 프레임 기록부(28)는, 주목 장면 특정부(23)가 특정한 기준 프레임에 관한 정보를 기준 프레임 기억부(32)에 격납하는 것이다. 구체적으로는, 기준 프레임 기록부(28)는, 기준 프레임에 관한 정보로서, 기준 프레임 ID, 기준 프레임을 검출할 때에 사용한 키워드, 기준 프레임의 시각(시점), 및, 기준 프레임의 화상(섬네일)을 기준 프레임 기억부(32)에 격납한다.
장면 전환 시점 검출부(29)는, 동화에서 프레임 사이의 화상의 변화량이 소정 이상이 되는 장면 전환 시점을 검출하는 것이다. 구체적으로는, 장면 전환 시점 검출부(29)는, 프레임의 화상과, 당해 프레임의 전후의 프레임의 화상을 비교하고, 당해 프레임의 화상의 변화량(2개의 화상의 차분 등)을 산출하고, 산출한 화상의 변화량이 소정의 임계치(장면 전환 임계치)를 초과하는지의 여부를 판정한다. 그리고, 장면 전환 시점 검출부(29)가 산출한 화상의 변화량이 소정의 임계치를 초과한다고 판정한 프레임의 시각(시점)을 장면 전환 시점으로서 검출한다.
기억부(11)는, 제어부(10)가 실행하는 제어 프로그램 및 OS 프로그램, 및, 제어부(10)가, DVD 레코더(1)가 가지는 각종 기능(예를 들면, 주목 장면 특정 처리, 화질 저감 처리 등)을 실행할 때에 판독하는 각종의 고정 데이터를 기억하는 것이다. 본 실시 형태에서는, 기억부(11)에는, 예를 들면, 동화 기억부(30), 문자 정보 기억부(31), 기준 프레임 기억부(32), 주목 장면 기억부(33), 및, 저화질 동화 기억부(34)가 포함되어 있고, 각종의 고정 데이터를 기억한다. 기억부(11)는, 예를 들면, 내용의 재기록이 가능한 불휘발성 메모리인, EPROM(Erasable Programmable ROM), EEPROM(Electrically EPROM), 플래시 메모리 등으로 실현된다. 또한, 내용의 재기록이 불필요한 정보를 기억하는 기억부로서는, 상술한 바와 같이, 기억부(11)와는 별개의, 도시하지 않은, 판독 전용의 반도체 메모리인 ROM 등으로 실현되어도 좋다.
동화 기억부(30)는, 동화 녹화부(20)가 녹화한 동화를 기억하는 것이다.
문자 정보 기억부(31)는, 키워드 검지부(25)가 키워드 검지 처리를 실행할 때에 이용하는 문자의 정보를 기억하는 것이고, 문자 데이터베이스로서 기능한다. 도 3은, 문자 정보 기억부(31)에 기억되어 있는 문자 정보의 한 예를 도시하는 도면이다. 도 3에 도시하는 바와 같이, 문자 정보 기억부(31)에는, 문자마다 문자를 일의적으로 식별하기 위한 문자 코드, 및, 상기 문자의 특징량이 기억되어 있다.
기준 프레임 기억부(32)는, 기준 프레임에 관한 정보(기준 프레임 리스트)를 기억하는 것이다. 기준 프레임 리스트에는, 「동화 ID」, 「기준 프레임 ID」, 「키워드」, 「시각(t_detect)」, 및, 「섬네일」의 항목이 있다. 기준 프레임 리스트에는, 적어도, 「시각(t_detect)」의 항목이 포함되어 있으면 좋다. 「동화 ID란」, 동화를 일의적으로 식별하는 식별 정보이다. 「기준 프레임 ID」는, 주목 장면 특정부(23)가 특정한 기준 프레임을 일의적으로 식별하는 식별 정보이다. 「키워드」는, 대응 지어져 있는 기준 프레임을 검지할 때에 사용한 키워드이고, 당해 키워드의 문자열이 격납되어 있다. 「시각(t_detect)」은, 대응 지어져 있는 기준 프레임의 시각(기준 시점)이고 동화상의 기준 시점의 시각이 격납되어 있다. 「섬네일」은, 대응 지어져 있는 기준 프레임의 화상이고, 상기 화상의 파일명이 격납되어 있다.
주목 장면 기억부(33)는, 주목 장면 특정부(23)가 특정한 주목 장면에 관한 정보(주목 장면 리스트)를 기억하는 것이다. 주목 장면 리스트에는, 「동화 ID」, 「주목 장면 ID」, 「키워드」, 「시작 시각」, 「종료 시각」, 및, 「섬네일」의 항목이 있다. 주목 장면 리스트에는, 적어도, 「시작 시각」 및 「종료 시각」의 항목이 포함되어 있으면 좋다. 「동화 ID」란, 동화를 일의적으로 식별하는 식별 정보이다. 「주목 장면 ID」는, 주목 장면 특정부(23)가 특정한 주목 장면을 일의적으로 식별하는 식별 정보이다. 「키워드」는, 대응 지어져 있는 주목 장면을 특정할 때에 기준으로 한 기준 프레임을 검지할 때에 사용한 키워드이고, 당해 키워드의 문자열이 격납되어 있다. 「시작 시각」은, 주목 장면의 시간대의 시작 시점을 나타내는 것이고, 시작 시점의 동화상의 시각이 격납되어 있다. 「종료 시각」은, 주목 장면의 시간대의 종료 시점을 나타내는 것이고, 종료 시점의 동화상의 시각이 격납되어 있다. 「섬네일」은 대응 지어져 있는 주목 장면을 특정할 때에 기준으로 한 기준 프레임의 화상이고, 상기 화상의 파일명이 격납되어 있다. 또한, 「섬네일」로서, 기준 프레임의 화상이 아니라, 주목 장면의 시간대에 포함되는 프레임의 화상이라면, 무엇이라도 좋다. 예를 들면, 주목 장면의 시간대의 시작 시점 또는 종료 시점의 프레임의 화상이라도 좋다.
저화질 동화 기억부(34)는, 화질 저감부(22)가 작성한 저화질 동화를 기억하는 것이다.
일시 기억부(14)는, DVD 레코더(1)가 실행하는 각종 처리의 과정에서, 연산에 사용하는 데이터 및 연산 결과 등을 일시적으로 기억하는 이른바 워킹 메모리이고, RAM(Random Access Memory) 등으로 실현된다. 보다 구체적으로는, 정지화 생성부(26)는, 화상 처리를 실행할 때, 처리 대상이 되는 화상을, 일시 기억부(14)의 동화상 처리 메모리(14a)에 전개하고, 이에 의해, 특징량 추출부(27)가 화상에 관해 화소 단위로 상세한 해석을 할 수가 있다. 또한, 유저에 의해 입력된 키워드에 의거하여 키워드 해석부(24)가 키워드의 특징량을 추출할 때, 입력된 상기 키워드는, 일시 기억부(14)의 키워드 보존부(14b)에 일시적으로 격납된다.
[휴대 전화기(2)의 구성]
다음에, 휴대 단말(2)인 휴대 전화기(2)의 구성에 관해, 도 6에 의거하여 설명한다. 도 6은, 본 발명의 실시 형태에서의 휴대 전화기(2)의 주요부 구성을 도시하는 블록도이다.
도 6에 도시하는 바와 같이, 본 실시 형태의 휴대 전화기(2)는, 제어부(40), 기억부(41), 표시부(42), 조작부(43), 일시 기억부(44), 통신부(46), 및 이들의 각 부분에서 데이터의 송수신을 행하기 위한 공통의 신호선으로서의 버스(45)를 구비하는 구성으로 되어 있다.
표시부(42)는, 휴대 전화기(2)가 처리하는 화상을 표시하거나, 유저가 휴대 전화기(2)를 조작하기 위한 조작 화면을 GUI(Graphical User Interface) 화면으로서 표시하거나 한 것이다. 표시부(42)는, 예를 들면, LCD(액정 디스플레이), 유기 EL 디스플레이 등의 표시 장치로 구성된다.
조작부(43)는, 유저가 휴대 전화기(2)에 지시 신호를 입력하고, 조작하기 위한 것이다. 본 실시 형태에서는, 조작부(43)는, 예를 들면, 십자키, 텐키, 기능키 등으로 구성된다.
통신부(46)는, 무선 통신 수단 또는 유선 통신 수단에 의해, 화상 처리 장치(1) 등의 다른 장치와 통신을 행하고, 데이터의 교환을 행하는 것이다.
제어부(40)는, 기억부(41)로부터 일시 기억부(44)에 판독된 프로그램을 실행함에 의해, 각종의 연산을 행함과 함께, 휴대 전화기(2)가 구비하는 각 부분을, 버스(45)를 통하여 통괄적으로 제어하는 것이다.
본 실시 형태에서는, 제어부(40)는, 기능 블록으로서, 동화 수신부(51) 및 동화 재생부(52)를 구비하는 구성이다. 이들의 제어부(10)의 각 기능 블록(51, 52)은, CPU가, ROM 등으로 실현된 기억 장치에 기억되어 있는 프로그램을 RAM 등으로 실현된 일시 기억부(44)에 판독하여 실행함으로써 실현할 수 있다.
동화 수신부(51)는, DVD 레코더(1)로부터 전송된 저화질 동화를, 통신부(46)를 통하여 수신하고, 수신한 저화질 동화를 동화 기억부(61)에 격납하는 것이다. 또한, DVD 레코더(1)로부터 저화질 동화와 함께, 주목 장면 리스트가 전송된 경우, 동화 수신부(51)는, 통신부(46)를 통하여 저화질 동화 및 주목 장면 리스트를 수신하고, 수신한 저화질 동화를 동화 기억부(61)에 격납하고, 수신한 주목 장면 리스트를 주목 장면 기억부(62)에 격납한다.
동화 재생부(52)는, 동화 기억부(61)에 격납되어 있는 동화 또는 저화질 동화를 재생하는 것이다. 또한, 동화 재생부(52)는, 저화질 동화를 재생할 때에, 주목 장면 기억부(62)에 격납되어 있는 주목 장면 리스트를 참조하여, 저화질 동화 중에서, 주목 장면의 시간대를 특정할 수 있다.
기억부(41)는, 제어부(40)가 실행하는 제어 프로그램 및 OS 프로그램, 및, 제어부(40)가, 휴대 전화기(2)가 가지는 각종 기능(예를 들면, 동화 재생 처리 등)을 실행할 때에 판독하는 각종의 고정 데이터를 기억하는 것이다. 본 실시 형태에서는, 기억부(41)에는, 예를 들면, 동화 기억부(61) 및 주목 장면 기억부(62)가 포함되어 있고, 각종의 고정 데이터를 기억한다. 기억부(41)는, 예를 들면, 내용의 재기록이 가능한 불휘발성 메모리인, EPROM, EEPROM, 플래시 메모리 등으로 실현된다. 또한, 내용의 재기록이 불필요한 정보를 기억하는 기억부로서는, 상술한 바와 같이, 기억부(41)와는 별개의, 도시하지 않은, 판독 전용의 반도체 메모리인 ROM 등으로 실현되어도 좋다.
동화 기억부(61)는, 동화 또는 DVD 레코더(1)로부터 전송된 저화질 동화를 기억하는 것이다.
주목 장면 기억부(62)는, DVD 레코더(1)로부터 전송된 주목 장면 리스트를 기억하는 것이다. 주목 장면 기억부(62)에 격납되어 있는 주목 장면 리스트의 데이터 구조는, 도 5에 도시하는, DVD 레코더(1)의 주목 장면 기억부(33)에 격납되어 있는 주목 장면 리스트와 마찬가지이다.
일시 기억부(44)는, 휴대 전화기(2)가 실행하는 각종 처리의 과정에서, 연산에 사용하는 데이터 및 연산 결과 등을 일시적으로 기억하는 이른바 워킹 메모리이고, RAM 등으로 실현된다. 보다 구체적으로는, 동화 재생부(52)는, 동화의 재생을 실행할 때, 처리 대상이 되는 동화를, 일시 기억부(14)의 동화상 처리 메모리(14a)에 전개하고, 이에 의해, 동화 재생부(52)는, 주목 장면 기억부(62)로부터 주목 장면 리스트를 판독하고, 스무스하게 주목 장면의 시간대를 특정할 수 있다.
[DVD 레코더(1)의 처리]
다음에, DVD 레코더(1)의 주목 장면 특정 처리 및 화질 저감 처리에 관해 도 7에 의거하여 설명한다. 도 7은, DVD 레코더(1)가 행하는 처리의 한 예를 도시하는 플로우 차트이다.
우선, 키워드 해석부(24)는, 유저로부터 조작부(13)를 통하여, 키워드가 입력되는 것을 기다린다(S101). 조작부(13)를 통하여 유저가 키워드를 입력하면(S101에서 YES), 키워드 해석부(24)는, 문자 정보 기억부(31)를 참조하여, 입력된 키워드(주목 정보)의 특징량(주목 특징량)을 추출한다(S102).
다음에, 제어부(10)는, 타이머를 0에 세트(초기화)하고(S103), 동화 녹화부(20)는, 통신부(16)을 통하여 수신한 동화의 녹화를 시작함과 함께, 타이머의 카운트를 시작한다(S104).
동화의 녹화가 시작되면, 정지화 생성부(26)는, 타이머의 시각(t)이 시각 t0가 되는 것을 기다린다(S105). 타이머의 시각(t)이 시각 t0가 되면(S105에서 YES), 정지화 생성부(26)는, 동화 녹화부(20)가 녹화한 동화가 기억되어 있는 동화 기억부(30)로부터, 시각 t0에서의 동화의 프레임을 판독하고, 판독한 동화 프레임의 정지화를 생성한다(S106). 특징량 추출부(27)는, 정지화 생성부(26)가 생성한 정지화의 특징량을 추출한다(S107).
그리고, 키워드 검지부(25)는, 특징량 추출부(27)가 추출한 특징량과, 키워드 해석부(24)가 추출한 특징량을 비교하여, 정지화 생성부(26)가 생성한 정지화에, 입력된 키워드가 포함되는지의 여부를 검지한다(S108). 키워드 검지부(25)가 키워드를 검지하면(S109에서 YES), 주목 장면 특정부(23)는, 키워드가 검지된 정지화인 프레임을 기준 프레임으로 하고, 기준 프레임의 시각(t)을 t_detect(기준 시점)로 한다. 그리고, 기준 프레임 기록부(28)가, 기준 프레임의 정지화과, 기준 프레임의 시각과, 검지에 사용한 키워드를 기준 프레임 ID에 대응 지어서, 기준 프레임 기억부(32)에 기록한다(S110).
S109에서, 키워드를 검지할 수가 없는 경우(S109에서 NO), 또는, S110에서, 기준 프레임 기억부(32)가 기준 프레임의 시각(t)을 기록한 후, 시각이 진행하는 것을 기다리고(S111), 동화 녹화부(20)가 녹화를 종료하지 않으면(S112에서 NO), 시각이 2×t0이 되는 것을 기다린다(S105). 시각이 2×t0이 되면(S105에서 YES), 정지화 생성부(26)가 시각 2×t0의 동화 프레임을 동화 기억부(30)로부터 판독하고, 정지화를 생성한다(S106). 이 후, 시각 t0일 때와 마찬가지로, 특징량을 추출하고, 키워드가 포함되는지의 여부를 검지하고, 키워드를 검지할 수 있으면, 시각 2×t0의 동화 프레임을 기준 프레임으로 하고, 상기 시각(t)을 t_detect로서 기억한다.
즉, 정지화 생성부(26)는, 일정한 시간 간격 t0로 동화 기억부(30)로부터 동화 프레임을 판독하고 정지화를 생성한다. 여기서, 정지화 생성부(26)가 일정한 시간 간격으로 판독하는 동화 프레임을 검지 대상 프레임이라고 칭한다. 그리고, 키워드 검지부(25)는, 키워드가 포함되는지의 여부를 검지하고, 키워드를 검지할 수 있으면, 주목 장면 특정부(23)가 현재의 시각(k×t0(k=1, 2, …, n))의 검지 대상 프레임을 기준 프레임으로서 기억한다. 이 일련의 처리(S105 내지 S111)를 동화 녹화부(20)가 녹화를 종료할 때까지 행한다..
동화 녹화부(20)가 동화의 녹화를 종료하면(S112에서 YES), 주목 장면 특정부(23)는, 기준 프레임의 시각 t_detect(기준 시점)보다 소정의 시간 t1 전의 시각을 t_start로 하고, 기준 프레임의 시각 t_detect보다 소정의 시간 t2 후의 시각을 t_end로 하고, 시각 t_start부터 시각 t_end의 기간에 포함되는 프레임을 주목 장면으로서 특정한다(S113). 주목 장면 특정부(23)는, 특정한 주목 장면의 시작 시각, 종료 시각, 주목 장면의 섬네일, 및, 주목 장면을 특정하기 위해 사용한 키워드를, 주목 장면 ID에 대응지어서 주목 장면 기억부(33)에 격납한다.
그리고, 화질 저감부(22)는, 주목 장면의 시작 시각(시작 시점) 및 종료 시각(종료 시점)을 참조하여, 동화 기억부(30)에 녹화되어 있는 동화를 주목 장면과 주목 장면 이외의 장면으로 나누고, 주목 장면 이외의 장면을 저화질로 하여, 당해 동화로부터 저화질 동화를 생성하여 저화질 동화 기억부(34)에 격납한다(S114).
제어부(10)는, 화질 저감부(22)가 생성한 저화질 동화를 통신부(16)를 통하여 휴대 전화기(2)에 송신한다(S115).
즉, 동화 중에서, 주목 장면 이외의 장면을, 주목 장면에 대해 상대적으로 화질을 낮게 한 저화질 동화를 생성함에 의해, DVD 레코더(1)로부터 휴대 전화기(2)에 전송하는 데이터량을 저감하면서, 유저가 관심이 있는 장면(주목 장면)의 전후의 장면을 포함하는 동화를 전송할 수 있다. 그 때문에, DVD 레코더(1)로부터 휴대 전화기(2)에의 전송 시간을 단축할 수 있다. 그와 함께, 유저가 휴대 전화기(2)에서 재생할 때에, 주목 장면의 전후의 관계를 시청할 수 있다.
또한, 제어부(10)는, 화질 저감부(22)가 생성한 저화질 동화를 통신부(16)를 통하여 휴대 전화기(2)에 송신함과 함께, 주목 장면 기억부(33)에 격납되어 있는 주목 장면 리스트도 휴대 전화기(2)에 송신하여도 좋다.
이 경우, 휴대 전화기(2)는, 수신한 주목 장면 리스트에 포함되는 시작 시각 및 종료 시각을 참조함에 의해, 수신한 저화질 동화 중에서 어느 위치에 주목 장면이 있는지를 특정할 수 있다. 즉, 휴대 전화기(2)가, 특정한 주목 장면의 위치 정보를 유저에게 통지함에 의해, 유저는, 주목 장면을 간단한 조작으로 즉시 재생할 수 있다. 환언하면, 유저가 주목 장면만을 시청하고 싶은 경우, 빈번하게 빨리 보냄 재생이나 되감기 재생을 행하면서 주목 장면을 찾을 필요가 없어지기 때문에, 휴대 전화기(2)의 배터리 소비를 억제할 수 있다.
또한, 본 실시 형태에서는, 동화를 녹화할 때에, S105 내지 S111의 처리를 행하였지만 이것으로 한정하는 것이 아니다. 예를 들면, 동화 재생부(21)가 동화 기억부(30)에 격납되어 있는, 또는, 통신부(16)가 수신한 동화를 재생할 때에, 타이머의 시각(t)을 0에 세트하고, 동화의 재생을 시작함과 함께, 타이머의 카운트를 시작하여도 좋다. 즉, 이 경우, 동화의 재생이 종료할 때까지, S105 내지 S111의 처리를 행한다.. 또한, 그 밖의 예로서, 도시하지 않은 동화 판독부가 동화 기억부(30)에 격납되어 있는, 또는, 통신부(16)가 수신한 동화를 판독할 때에, 타이머의 시각(t)을 0에 세트하고, 동화의 판독을 시작함과 함께, 타이머의 카운트를 시작하여도 좋다. 즉, 이 경우, 동화의 판독이 종료될 때까지, S105 내지 S111의 처리를 행한다..
또한, 정지화 생성부(26)는, 일정한 시간 간격(t0)마다 동화 프레임을 판독하여 정지화를 생성하고 있지만, 이것으로 한정하는 것이 아니고, 동화 중의 모든 동화 프레임을 판독하여, 정지화를 생성하여도 좋다.
또한, 본 발명에서, 유저로부터 미리 지정되는, 주목 장면을 특정하기 위한 조건으로서, 상기에서 예시한 키워드 등의 문자열로 한정하는 것이 아니다. 예를 들면, 인물의 얼굴 화상이나 오브젝트의 화상, 음성 등이라도 좋다.
<실시예>
다음에, 구체적인 사례로서, 야구 중계의 방송프로그램에서, 유저가 「鈴木(스즈키)」선수에 관심이 있고, 키워드(주목 정보)로서 「鈴木(스즈키)」가 설정되어 있는 경우의 DVD 레코더(1)의 처리를 도 3 내지 5, 7 내지 10에 의거하여 설명한다. 본 실시예에서는, 「鈴木(스즈키)」선수가 등장하는 장면이 주목 장면으로서 특정되는 것이 바람직하다. 야구 중계의 방송프로그램에서는, 일반적으로, 「鈴木(스즈키)」선수의 타석의 장면에서, 「鈴木(스즈키)」라는 문자열을 포함하는 텔롭(슈퍼)이 표시된다. 이것을 이용하여, 동화 중으로부터 「鈴木(스즈키)」라는 문자열이 포함되는지의 여부를 검지함으로써, 주목 장면의 시간대를 자동적으로 특정할 수 있다. 또한, 검지 대상 프레임의 시간 간격(t0)을 1초간으로 하여 이하에서는 설명한다.
S101에서, 유저가 조작부(13)를 통하여 키워드를 입력하는 조작을 도 8에 의거하여 설명한다. 도 8은, 본 발명의 DVD 레코더(1), 표시 장치(12)(텔레비전), 및, 조작부(13)(리모트 콘트롤)의 외관과, 유저가 목적하는 키워드(문자열)를 입력하는 양상을 설명하는 도면이다. 도 8에 도시하는 예에서는, DVD 레코더(1)는, 유저가 키워드를 입력하기 위한 키워드 입력 화면을 표시 장치(12)에 출력하고, 표시시킨다. 도 8에 도시하는 예에서는, 표시 장치(12)는, 유저가 지정하는 키워드를, 조작부(13)를 조작하여 입력할 수 있는 GUI 화면을 표시한다.
유저는, 조작부(13)를 조작함에 의해, 처리 대상의 동화로부터 찾고 싶은 문자열을 DVD 레코더(1)에 대해 입력할 수 있다. 도 8은, 목적하는 문자열로서, 키워드 「鈴木(스즈키)」가 입력된 예를 도시하고 있다.
키워드 해석부(24)는, 키워드가 입력되어, 예를 들면, 조작부(13)의 결정 버튼 등이 눌러지면, 입력된 키워드(예를 들면, 「鈴木(스즈키)」)를 취득하여, 일시 기억부(14)의 키워드 보존부(14b)에 격납한다.
다음에, S102에서, 키워드 해석부(24)는, 취득한 키워드 「鈴木(스즈키)」의 각 문자 코드를, 도 3에 도시하는 문자 정보 기억부(31)에 기억되어 있는 문자 정보 중에서 검색하고, 일치하는 문자 코드에 대응하는 특징량을 각각 추출한다. 도 3에 도시하는 예에서는, 키워드 「鈴」의 문자 코드가 「A123456」일 때에, 문자 코드 「A123456」에 대응 지어져 있는 특징량 「鈴」을, 키워드 「鈴」의 특징량으로서 추출한다. 또한, 키워드 「木」의 문자 코드가 「A234567」일 때에, 문자 코드 「A234567」에 대응 지어져 있는 특징량 「木」을, 키워드 「木」의 특징량으로서 추출한다.
동화의 녹화를 시작하고, 1초마다 동화 프레임을 판독하고, 판독한 각 검지 대상 프레임에 키워드 「鈴木(스즈키)」가 포함되는지의 여부를 검지한다. 본 실시예에서는, 키워드 검지부(25)가, 도 4에 도시하는 바와 같이, 녹화를 시작하고 나서 15분 15초와 32분 45초일 때에 키워드 「鈴木(스즈키)」를 검지한 것으로 한다. 이때, 키워드 검지부(25)가 행하는 키워드 문자열 검지 처리의 한 예를 도 9에 의거하여 설명한다.
키워드 문자열 검지 처리에서는, 예를 들면, 키워드의 문자열의 1문자째부터 순번대로 정지화에 포함되는지의 여부를 조사하여도 좋다. 이 경우, 우선, 1문자째의 문자인 「鈴」의 특징량이, 검지 대상 프레임으로부터 생성한 정지화로부터 추출한 특징량 중에 존재하는지를 대조하여 간다. 「鈴」의 특징량이 존재하고 있는 경우, 1문자째의 문자 「鈴」의 특징량을 검지한 화상 영역의 부근(예를 들면, 우측 및 하측)의 소정의 화상 영역을 검색 영역으로 하여, 2문자째의 문자인 「木」의 특징량이, 당해 검색 영역의 화상으로부터 추출한 특징량 중에 존재하는지를 대조한다. 이와 같이, 키워드에 포함되는 문자열 전부에 관해 검지하는 경우, 당해 검지 대상 프레임을 기준 프레임으로서 특정하고, 기준 프레임의 시각(t)을 t_detect로서 기억한다.
여기서, 1문자째의 문자 「鈴」의 특징량을 검지한 화상 영역의 부근의 소정의 화상 영역(검색 영역)으로서는, 예를 들면, 도 9에 도시하는 바와 같이, 검지한 문자 「鈴」의 문자 사이즈(h×h)의 3배인 3h×3h의 영역을 검색 영역(도 9에 도시하는 파선 테두리 내 망점(網點) 영역)으로 하여도 좋다.
동화의 녹화를 종료 후, 주목 장면 특정부(23)는, 도 10에 도시하는 바와 같이, 기준 프레임의 시각 t_detect보다 시간 t1 전의 시각 t_start부터, 기준 프레임의 시각 t_detect보다 시간 t2 후의 시각 t_end까지를 주목 장면의 시간대로서 특정한다. 주목 장면 특정부(23)는, 도 5에 도시하는 바와 같은, 주목 장면에 관한 정보를 주목 장면 기억부(33)에 격납한다.
도 5에 도시하는 바와 같이, 본 실시예에서는, 시간 t1을 「3분」으로 하고, 시간 t2를 「2분」으로 하고 있지만, 이것은 어디까지나 한 예이다. 또한, 시간 t1의 설정 방법은 다양하고, 예를 들면, 시간 t1 및 t2가, 디폴트로 장치 고유한 값으로서 설정되어 있어도 좋고, 유저가 임의로 시간 t1 및 t2를 설정할 수 있도록 하여도 좋다.
또한, 본 실시예에서의 키워드(제 1의 키워드: 주목 정보) 「鈴木(스즈키)」와 다른 제 2의 키워드 및 제 3의 키워드(비주목 정보)를 설정하여도 좋다. 이 경우, 키워드 검지부(25)는, 기준 프레임보다 전의 검지 대상 프레임에 관해, 기준 프레임부터 시간을 소급하여 순번대로 검지 대상 프레임을 추출하고, 추출한 검지 대상 프레임에 제 2의 키워드(비주목 정보)의 특징량(비주목 특징량)이 포함되는지의 여부를 검출한다. 키워드 검지부(25)가 제 2의 키워드의 특징량(비주목 특징량)을 검지한 경우, 주목 장면 특정부(23)는, 당해 검지 대상 프레임을 주목 장면 시작 프레임으로서 설정하고, 주목 장면 시작 프레임의 시각을 주목 장면의 시작 시각 t_start로 한다. 또한, 키워드 검지부(25)는, 기준 프레임보다 후의 검지 대상 프레임에 관해, 기준 프레임부터 시간의 순번대로 검지 대상 프레임을 추출하고, 추출한 검지 대상 프레임에 제 3의 키워드(비주목 정보)의 특징량(비주목 특징량)이 포함되는지의 여부를 검지한다. 키워드 검지부(25)가 제 3의 키워드의 특징량(비주목 특징량)을 검지한 경우, 주목 장면 특정부(23)는, 당해 검지 대상 프레임을 주목 장면 종료 프레임으로서 설정하고, 주목 장면 종료 프레임의 시각을 주목 장면의 종료 시각 t_end로 한다.
즉, 제 2의 키워드를, 주목 장면 시작 프레임을 검지하기 위한 정보로서 설정하고, 제 3의 키워드를, 주목 장면 종료 프레임을 검지하기 위한 정보로서 설정하면 좋다. 환언하면, 제 1의 키워드는, 유저가 관심이 있는 사항을 나타내는 주목 정보이고, 제 2 및 제 3의 키워드는, 유저가 관심이 없는 장면에 관련되는 정보를 나타내는 비주목 정보이다. 또한, 키워드 해석부(24)가, 제 2 또는 제 3의 키워드로부터 추출한 특징량을 비주목 특징량이라고 칭한다.
예를 들면, 본 실시예의 경우에 있어서, 鈴木(스즈키)선수 전의 타자 및 후의 타자가 기지(旣知)인 경우, 제 2의 키워드로서 전의 타자명을 설정하고, 제 3의 키워드로서 후의 타자명을 설정하면 좋다. 또한, 鈴木(스즈키)선수 전의 타자 및 후의 타자가 불명인 경우라도, 일반적으로 선수를 소개하기 위한 텔롭 등은, 동화의 화상에서 텔롭의 위치가 고정되어 있는 일이 많기 때문에, 「鈴木(스즈키)」를 검지하는 기준 프레임의 전후의 프레임에서, 화상 상의 鈴木(스즈키)를 검지하는 영역에, 鈴木(스즈키) 이외의 다른 문자열을 검지한 프레임을, 주목 장면 시작 프레임 또는 주목 장면 종료 프레임으로 하여도 좋다. 그 밖에도, 제 2 및 제 3의 키워드로서, CM에 들어가기 전에 표시되기 쉬운 문자열 「CM」, 「제공」 등, 또는, 방송프로그램의 스폰서인 회사명이나 브랜드명 등을 설정함에 의해, 주목 장면을 CM을 이용하여 단락을 지울 수 있다. 또한, 텔레비전 방송프로그램 등의 경우, 동화 데이터에 포함되는 메타 데이터를 이용하여 주목 장면을 특정하여도 좋다.
또한, 주목 장면의 기간의 다른 설정 방법으로서, 주목 장면 특정부(23)는, 기준 프레임의 전후의 검지 대상 프레임으로서, 화상의 변화량이 큰 검지 대상 프레임의 시각(장면 전환 시점)을 주목 장면의 시작 시각 t_start 또는 종료 시각 t_end로 하여도 좋다. 구체적으로는, 장면 전환 시점 검출부(29)는, 기준 프레임보다 전(기준 시점보다 전)의 검지 대상 프레임에 관해, 기준 프레임으로부터 시간을 소급하여 순번대로 검지 대상 프레임을 추출하고, 추출한 검지 대상 프레임의 화상과, 당해 검지 대상 프레임의 전후의 프레임의 화상을 비교하여, 프레임 사이의 화상의 변화량(화상의 특징량의 변화량)이, 소정의 임계치를 초과하는 경우, 당해 검지 대상 프레임의 시각(시점)을 장면 전환 시점으로서 검출한다. 그리고, 주목 장면 특정부(23)는, 기준 시점보다 전에 장면 전환 시점 검출부(29)가 검출한 장면 전환 시점을 시작 시각 t_start로 한다. 또한, 장면 전환 시점 검출부(29)는, 기준 프레임보다 후(기준 시점보다 후)의 검지 대상 프레임에 관해, 기준 프레임으로부터 시간의 순번대로 검지 대상 프레임을 추출하고, 추출한 검지 대상 프레임의 화상과, 당해 검지 대상 프레임의 전후의 프레임의 화상을 비교하여, 프레임 사이의 화상의 변화량(화상의 특징량의 변화량)이, 소정의 임계치를 초과하는 경우, 당해 검지 대상 프레임의 시각(시점)을 장면 전환 시점으로서 검출한다. 그리고, 주목 장면 특정부(23)는, 기준 시점보다 후에 장면 전환 시점 검출부(29)가 검출한 장면 전환 시점을 종료 시각 t_end로 한다.
또한, 이 주목 장면의 시간대(기간)의 설정 방법(장면 전환 시점의 선택 방법)에서, 장면 전환 시점 검출부(29)가 장면 전환 시점을 복수 검출한 경우, 주목 장면 특정부(23)는, 주목 장면의 시간대의 시작 시점 또는 종료 시점의 적어도 어느 한쪽을, 장면 전환 시점 검출부(29)가 검출한 복수의 장면 전환 시점 중에서, 선택하여도 좋다. 또한, 주목 장면 특정부(23)는, 복수의 장면 전환 시점 중에서, 시작 시점(또는 종료 시점)을 선택할 때에, 기준 시점의 직전(또는 직후)의 장면 전환 시점을 선택하여도 좋다. 또한, 주목 장면 특정부(23)는, 복수의 장면 전환 시점 중에서, 시작 시점(또는 종료 시점)을 선택할 때에, 기준 시점부터 복수 시점째의 장면 전환 시점을 시작 시점(또는 종료 시점)으로서 선택하여도 좋다. 또한, 주목 장면 특정부(23)는, 복수의 장면 전환 시점 중에서, 시작 시점 및 종료 시점을 선택할 때에, 주목 장면의 시간대가 소정 시간 이상이 되도록, 시작 시점 및 종료 시점을 복수의 장면 전환 시점 중에서 선택하여도 좋다.
또한, 장면 전환 시점 검출부(29)는, 기준 시점의 전후의 검지 대상 프레임에 관해, 기준 시점부터 순번대로 검지 대상 프레임을 추출하고 있지만, 추출하는 순번은 이것으로 한정하는 것은 아니다. 장면 전환 시점 검출부(29)는, 예를 들면, 검지 대상 프레임을, 동화의 시간축의 순서로 추출하여도 좋다. 또한, 장면 전환 시점 검출부(29)는, 상기 소정의 임계치를 일정한 값으로 하여, 프레임 사이의 화상의 변화량(화상의 특징량의 변화량)이, 소정의 임계치를 초과하는 경우, 당해 검지 대상 프레임의 시각(시점)을 장면 전환 시점으로서 검출하고 있지만, 이것으로 한하는 것이 아니다. 예를 들면, 장면 전환 시점 검출부(29)는, 추출하는 검지 대상 프레임의 시각이 기준 프레임의 시각(기준 시점)부터 떨어짐에 따라, 당해 검지 대상 프레임에서의 프레임 사이의 화상의 변화량(화상의 특징량의 변화량)을 판정하는 상기 소정의 임계치를 변화시켜서도 좋다. 즉, 장면 전환 시점 검출부(29)는, 추출한 검지 대상 프레임의 시각이 기준 프레임의 시각부터 떨어짐에 따라, 상기 소정의 임계치를 서서히 작게 하여도 좋다.
화질 저감부(22)는, 주목 장면 특정부(23)가 특정한 주목 장면 이외의 장면의 화질을 저화질로 하는 것이다. 주목 장면 이외의 화질을 저하시킴에 의해, 결과적으로, 주목 장면은 주목 장면 이외에 비하여 고화질이 된다. 본 실시예에서는, 동화가 60분인 경우, 시작 0분 0초부터 12분 15초까지, 17분 15초부터 29분 45초까지, 34분 45초부터 60분 0초까지를 저화질로 한다. 12분 15초부터 17분 15초, 29분 45초부터 34분 45초까지는 원래의 화질을 유지한다.
또한, 화질 저감부(22)가, 주목 장면 이외의 장면을 저화질로 하는 구체적인 방식으로서는, 예를 들면 다음과 같은 것이 생각된다. 1번째의 예로서, 주목 장면에 관해서는 화상 데이터의 해상도를 상대적으로 높게 하고, 주목 장면 이외의 장면에 관해서는 화상 데이터의 해상도를 상대적으로 낮게 한다. 또한, 2번째의 예로서, 주목 장면에 관해서는 동화 압축률을 상대적으로 낮게 하고, 주목 장면 이외의 장면에 관해서는 동화 압축률을 상대적으로 높게 한다. 또한, 3번째의 예로서, 주목 장면에 관해서는 프레임 레이트를 상대적으로 높게 하고, 주목 장면 이외의 장면에 관해서는 프레임 레이트를 상대적으로 낮게 한다. 3번째의 예에서, 프레임 레이트를 낮게 할 때에, 프레임을 솎아내는 방법으로서, 소정의 프레임의 화상과, 당해 소정의 프레임의 전후의 프레임의 화상을 비교하여, 프레임 사이의 화상의 변화량(화상의 특징량의 변화량)이, 소정의 임계치 미만인 상기 소정의 프레임을 솎아내는 수법을 이용하여도 좋다. 여기서, 소정의 프레임의 화상과, 당해 소정의 프레임의 전후의 프레임의 화상을 비교하여, 프레임 사이의 화상의 변화량을 산출하고 있지만, 이것으로 한정하는 것은 아니다. 예를 들면, 소정의 프레임의 화상과, 당해 소정의 프레임의 전의 프레임의 화상을 비교하여도 좋고, 소정의 프레임의 화상과, 당해 소정의 프레임의 후의 프레임의 화상을 비교하여도 좋다.
여기서, 예를 들면, 종래의 기술에 있어서, 동화 데이터의 내용이 야구 중계의 방송프로그램이고, 유저가 특히 주목하는 선수의 타석의 장면만을 휴대 시청 단말에 전송하도록 한 경우, 휴대 시청 단말에는, 주목 장면 이외의 그 밖의 장면의 동화 데이터가 전송되지 않기 때문에, 유저는, 휴대 시청 단말 상에서 주목 장면 이외의 장면을 시청할 수가 없다. 그 때문에, 유저는, 주목한 선수의 타석의 전후의 시합 전개를 알 수가 없어서, 휴대 시청 단말에 전송된 동화의 시청 가치가 반감하여 버린다.
한편, 본 발명에서는, 상술한 바와 같이, DVD 레코더(1)의 화질 저감부(22)가 주목 장면 이외의 시간대의 화질을 저감하여, 저화질 동화를 생성한다. 그 때문에, 생성된 저화질 동화에서는, 유저가 주목하는 것일 주목 장면의 화질을 유지하면서, 상기 주목 장면 이외의 시간대의 화질만이 저화질로 되어 있다. 즉, 생성된 저화질 동화는, 유저가 주목하는 주목 화면에 관해서는 원래의 화질을 유지하고, 주목 장면의 전후의 정보를 포함하면서, 게다가, 원래의 동화와 비교하여 전체의 데이터량이 적은 동화이다. 따라서, 생성된 저화질 동화를 다른 장치에의 전송용에 이용할 수 있고, 이 경우, 전송 시간을 저감시킬 수 있음과 함께, 유저는, 다른 장치상에서 주목 장면의 전후의 장면도 시청할 수 있다.
본 발명은 상술한 실시 형태로 한정되는 것이 아니고, 청구항에 나타낸 범위에서 여러 가지의 변경이 가능하다. 즉, 청구항에 나타낸 범위에서 적절히 변경한 기술적 수단을 조합시켜서 얻어지는 실시 형태에 대해서도 본 발명의 기술적 범위에 포함된다.
최후로, 화상 처리 장치(1)의 각 블록, 특히 화질 저감부(22), 주목 장면 특정부(23), 키워드 해석부(24), 키워드 검지부(25), 정지화 생성부(26) 및 특징량 추출부(27)는, 하드웨어 로직에 의해 구성하여도 좋고, 다음과 같이 CPU를 이용하여 소프트웨어에 의해 실현하여도 좋다.
즉, 화상 처리 장치(1)는, 각 기능을 실현하는 제어 프로그램의 명령을 실행하는 CPU(central processing unit), 상기 프로그램을 격납한 ROM(read only memory), 상기 프로그램을 전개하는 RAM(random access memory), 상기 프로그램 및 각종 데이터를 격납하는 메모리 등의 기억 장치(기록 매체) 등을 구비하고 있다. 그리고, 본 발명의 목적은, 상술한 기능을 실현하는 소프트웨어인 화상 처리 장치(1)의 제어 프로그램의 프로그램 코드(실행 형식 프로그램, 중간 코드 프로그램, 소스 프로그램)를 컴퓨터에서 판독 가능하게 기록한 기록 매체를, 상기 화상 처리 장치(1)에 공급하고, 상기 컴퓨터(또는 CPU나 MPU)가 기록 매체에 기록되어 있는 프로그램 코드를 판독하여 실행함에 의해서도 달성 가능하다.
상기 기록 매체로서는, 예를 들면, 자기 테이프나 카세트 테이프 등의 테이프계, 플로피(등록상표) 디스크/하드 디스크 등의 자기 디스크나 CD-ROM/MO/MD/DVD/CD-R 등의 광디스크를 포함하는 디스크계, IC 카드(메모리 카드를 포함한다)/광카드 등의 카드계, 또는 마스크 ROM/EPROM/EEPROM/ 플래시 ROM 등의 반도체 메모리계 등을 이용할 수 있다.
또한, 화상 처리 장치(1)를 통신 네트워크와 접속 가능하게 구성하고, 상기 프로그램 코드를 통신 네트워크를 통하여 공급하여도 좋다. 이 통신 네트워크로서는, 특별히 한정되지 않고, 예를 들면, 인터넷, 인트라넷, 엑스트라넷, LAN, ISDN, VAN, CATV 통신망, 가상 전용망(virtual private network), 전화 회선망, 이동체 통신망, 위성 통신망 등이 이용 가능하다. 또한, 통신 네트워크를 구성하는 전송 매체로서는, 특별히 한정되지 않고, 예를 들면, IEEE1394, USB, 전력선 반송, 케이블 TV 회선, 전화선, ADSL 회선 등의 유선이라도, IrDA나 리모트 콘트롤과 같은 적외선, Bluetooth(등록상표), 802. 11무선, HDR, 휴대 전화망, 위성 회선, 지상파 디지털망 등의 무선이라도 이용 가능하다. 또한, 본 발명은, 상기 프로그램 코드가 전자적인 전송으로 구현화된, 반송파에 매입된 컴퓨터 데이터 신호의 형태라도 실현될 수 있다.
[산업상의 이용 가능성]
본 발명은, DVD 레코더/플레이어, 디지털 비디오 레코더/플레이어, 블루레이 디스크 레코더/플레이어, 디지털 비디오 카메라, 디지털 카메라, 디지털 텔레비전, 퍼스널 컴퓨터, 휴대 전화, 프린터, 스캐너 등, 정지화 및/또는 동화를 처리하는 각종 화상 처리 장치에 적용하는 것이 가능하다.
1 : 화상 처리 장치
2 : 휴대 단말
3 : 화상 처리 시스템
10 : 제어부
22 : 화질 저감부(저화질 동화 생성 수단)
23 : 주목 장면 특정부(주목 장면 특정 수단)
25 : 키워드 검지부(주목 정보 검지 수단)
29 : 장면 전환 시점 검출부(장면 전환 시점 검출 수단)

Claims (16)

  1. 자체장치에 입력된, 유저가 관심이 있는 사항을 나타내는 주목 정보로부터 추출된 주목 특징량과 일치하는 특징량을 포함하는, 동화를 구성하는 음성 또는 프레임을 검지하는 주목 정보 검지 수단과,
    상기 동화의 재생 시간축 상에서, 상기 주목 정보 검지 수단이 검지한, 주목 특징량을 포함하는 음성 또는 프레임의 시각인 기준 시점을 포함하는 시간대를, 주목 장면으로서 특정하는 주목 장면 특정 수단과,
    상기 동화중, 상기 주목 장면 특정 수단이 특정한 주목 장면 이외의 시간대의 화질을 저하시켜서, 상기 동화의 저화질 동화를 생성하는 저화질 동화 생성 수단을 구비하는 것을 특징으로 하는 화상 처리 장치.
  2. 제 1항에 있어서,
    상기 주목 장면 특정 수단은, 상기 기준 시점보다 소정의 시간 전의 시점부터, 상기 기준 시점보다 소정의 시간 후의 시점까지의 시간대를 주목 장면으로서 특정하는 것을 특징으로 하는 화상 처리 장치.
  3. 제 1항 또는 제 2항에 있어서,
    상기 주목 정보 검지 수단은, 자체장치에 입력된, 유저가 관심이 없는 장면에 관련되는 정보를 나타내는 비주목 정보로부터 추출된 비주목 특징량과 일치하는 특징량을 포함하는, 동화를 구성하는 음성 또는 프레임을 검지하고,
    상기 주목 장면 특정 수단은, 상기 주목 정보 검지 수단이 검지한, 상기 비주목 특징량을 포함하는 음성 또는 프레임의 시각으로서, 당해 시각 중 상기 기준 시점보다 후의 시각을, 주목 장면의 종료 시점으로 하는 것을 특징으로 하는 화상 처리 장치.
  4. 제 1항 또는 제 2항에 있어서,
    상기 동화에서 프레임 사이의 화상의 변화량이 소정 이상이 되는 장면 전환 시점을 검출하는 장면 전환 시점 검출 수단을 구비하고,
    상기 주목 장면 특정 수단은, 상기 주목 장면의 시간대의 시작 시점 및 종료 시점의 적어도 어느 한쪽을, 상기 장면 전환 시점 검출 수단이 검출한 장면 전환 시점부터 선택하는 것을 특징으로 하는 화상 처리 장치.
  5. 제 4항에 있어서,
    상기 주목 장면 특정 수단은, 상기 장면 전환 시점 검출 수단이 검출한 복수의 장면 전환 시점 중, 상기 기준 시점의 직전의 장면 전환 시점, 및, 상기 기준 시점의 직후의 장면 전환 시점을, 각각, 상기 주목 장면의 시간대의 시작 시점 및 종료 시점으로서 선택하는 것을 특징으로 하는 화상 처리 장치.
  6. 제 4항에 있어서,
    상기 주목 장면 특정 수단은, 상기 주목 장면의 시간대가 소정 시간 이상이 되도록, 상기 시간대의 시작 시점 및 종료 시점을, 복수의 장면 전환 시점부터 각각 선택하는 것을 특징으로 하는 화상 처리 장치.
  7. 제 1항 또는 제 2항에 있어서,
    상기 주목 정보는, 텍스트 데이터, 화상 데이터 및 음성 데이터 중, 적어도 어느 하나를 포함하는 것을 특징으로 하는 화상 처리 장치.
  8. 제 1항 또는 제 2항에 있어서,
    상기 저화질 동화 생성 수단은, 상기 동화중, 상기 주목 장면 특정 수단이 특정한 주목 장면 이외의 시간대의 해상도를 낮게 하는 것을 특징으로 하는 화상 처리 장치.
  9. 제 1항 또는 제 2항에 있어서,
    상기 저화질 동화 생성 수단은, 상기 동화 중, 상기 주목 장면 특정 수단이 특정한 주목 장면 이외의 시간대의 동화 압축률을 높게 하는 것을 특징으로 하는 화상 처리 장치.
  10. 제 1항 또는 제 2항에 있어서,
    상기 저화질 동화 생성 수단은, 상기 동화중, 상기 주목 장면 특정 수단이 특정한 주목 장면 이외의 시간대의 프레임 레이트를 낮게 하는 것을 특징으로 하는 화상 처리 장치.
  11. 제 10항에 있어서,
    상기 저화질 동화 생성 수단은, 소정의 프레임의 화상과, 당해 소정의 프레임 전의 프레임의 화상을 비교하여, 프레임 사이의 화상의 변화량이 소정의 임계치 미만인 상기 소정의 프레임을 솎아내어, 프레임 레이트를 낮게 하는 것을 특징으로 하는 화상 처리 장치.
  12. 제 1항 또는 제 2항에 기재된 화상 처리 장치와,
    동화를 재생 가능한 휴대 단말을 포함하는 화상 처리 시스템으로서,
    상기 화상 처리 장치는, 생성한 상기 저화질 동화를 상기 휴대 단말에 전송하는 것을 특징으로 하는 화상 처리 시스템.
  13. 제 12항에 있어서,
    상기 화상 처리 장치는, 상기 동화에서의 상기 주목 장면의 시간대를 나타내는 정보를 상기 휴대 단말에 전송하는 것을 특징으로 하는 화상 처리 시스템.
  14. 유저가 관심이 있는 사항을 나타내는 주목 정보로부터 추출된 주목 특징량과 일치하는 특징량을 포함하는, 동화를 구성하는 음성 또는 프레임을 검지하는 주목 정보 검지 스텝과,
    상기 동화의 재생 시간축 상에서, 상기 주목 정보 검지 스텝에서 검지된 음성 또는 프레임의 시각인 기준 시점을 포함하는 시간대를, 주목 장면으로서 특정하는 주목 장면 특정 스텝과,
    상기 동화중, 상기 주목 장면 특정 스텝에서 특정된 주목 장면 이외의 시간대의 화질을 저하시켜서, 상기 동화의 저화질 동화를 생성하는 저화질 동화 생성 스텝을 포함하는 것을 특징으로 하는 화상 처리 방법.
  15. 제 14항에 있어서,
    상기 저화질 동화 생성 스텝에서 생성된 저화질 동화를 휴대 단말에 전송하는 전송 스텝을 또한 포함하는 것을 특징으로 하는 화상 처리 방법.
  16. 제 14항 또는 제 15항에 기재된 각 스텝을, 컴퓨터에 실행시키기 위한 제어 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.
KR1020110004747A 2010-03-15 2011-01-18 화상 처리 장치, 화상 처리 방법, 화상 처리 시스템 및 기록 매체 KR101181588B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010058551A JP5515890B2 (ja) 2010-03-15 2010-03-15 画像処理装置、画像処理方法、画像処理システム、制御プログラムおよび記録媒体
JPJP-P-2010-058551 2010-03-15

Publications (2)

Publication Number Publication Date
KR20110103843A KR20110103843A (ko) 2011-09-21
KR101181588B1 true KR101181588B1 (ko) 2012-09-10

Family

ID=44560054

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110004747A KR101181588B1 (ko) 2010-03-15 2011-01-18 화상 처리 장치, 화상 처리 방법, 화상 처리 시스템 및 기록 매체

Country Status (4)

Country Link
US (1) US20110222832A1 (ko)
JP (1) JP5515890B2 (ko)
KR (1) KR101181588B1 (ko)
CN (1) CN102194493A (ko)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9906838B2 (en) 2010-07-12 2018-02-27 Time Warner Cable Enterprises Llc Apparatus and methods for content delivery and message exchange across multiple content delivery networks
US9055027B2 (en) * 2012-02-13 2015-06-09 Lenovo (Beijing) Co., Ltd. Transmission method and electronic device
JP6164445B2 (ja) * 2012-11-12 2017-07-19 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． チャプタ設定装置
JP5942822B2 (ja) * 2012-11-30 2016-06-29 富士通株式会社 交差点検出方法および交差点検出システム
JP2014165530A (ja) * 2013-02-21 2014-09-08 Olympus Corp 画像処理システム
US9987743B2 (en) 2014-03-13 2018-06-05 Brain Corporation Trainable modular robotic apparatus and methods
US9533413B2 (en) 2014-03-13 2017-01-03 Brain Corporation Trainable modular robotic apparatus and methods
JP6355392B2 (ja) * 2014-04-02 2018-07-11 キヤノン株式会社 記録装置およびその制御方法、並びに記憶媒体
US20170244937A1 (en) * 2014-06-03 2017-08-24 Gopro, Inc. Apparatus and methods for aerial video acquisition
KR102310241B1 (ko) 2015-04-29 2021-10-08 삼성전자주식회사 소스 디바이스, 그의 제어 방법, 싱크 디바이스 및 그의 화질 개선 처리 방법
US9840003B2 (en) 2015-06-24 2017-12-12 Brain Corporation Apparatus and methods for safe navigation of robotic devices
JP6542445B1 (ja) * 2018-07-31 2019-07-10 株式会社 情報システムエンジニアリング 情報提供システム及び情報提供方法
JP6607589B1 (ja) 2019-03-29 2019-11-20 株式会社 情報システムエンジニアリング 情報提供システム及び情報提供方法
JP6651189B1 (ja) 2019-03-29 2020-02-19 株式会社 情報システムエンジニアリング 機械学習用のデータ構造、学習方法及び情報提供システム
JP6607590B1 (ja) 2019-03-29 2019-11-20 株式会社 情報システムエンジニアリング 情報提供システム及び情報提供方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100828166B1 (ko) 2007-06-12 2008-05-08 고려대학교 산학협력단 동영상의 음성 인식과 자막 인식을 통한 메타데이터 추출방법, 메타데이터를 이용한 동영상 탐색 방법 및 이를기록한 기록매체

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07170292A (ja) * 1993-12-15 1995-07-04 Sony Corp 送信装置
JP4198786B2 (ja) * 1998-06-30 2008-12-17 株式会社東芝 情報フィルタリングシステム、情報フィルタリング装置、映像機器および情報フィルタリング方法
JP4643068B2 (ja) * 2001-07-23 2011-03-02 株式会社東芝 コンテンツ配信システム
JP4426743B2 (ja) * 2001-09-13 2010-03-03 パイオニア株式会社 映像情報要約装置、映像情報要約方法および映像情報要約処理プログラム
JP2004173120A (ja) * 2002-11-22 2004-06-17 Toshiba Corp 動画像蓄積装置、動画像配信システム
JP4066454B2 (ja) * 2003-03-05 2008-03-26 日本電気株式会社 オーサリング機能付き信号処理装置及びオーサリングを含む信号処理方法
JP3923932B2 (ja) * 2003-09-26 2007-06-06 株式会社東芝 映像要約装置、映像要約方法及びプログラム
US20070120980A1 (en) * 2005-10-31 2007-05-31 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Preservation/degradation of video/audio aspects of a data stream
JP4687404B2 (ja) * 2005-11-10 2011-05-25 ソニー株式会社 画像信号処理装置、撮像装置、および画像信号処理方法
JPWO2007080921A1 (ja) * 2006-01-13 2009-06-11 日本電気株式会社 情報記録システム、情報記録装置、情報記録方法及び情報収集プログラム
JP5174329B2 (ja) * 2006-05-23 2013-04-03 株式会社日立製作所 画像処理装置及び画像表示装置
JP4925938B2 (ja) * 2007-06-20 2012-05-09 株式会社日立製作所 ダイジェスト映像情報作成方法、ダイジェスト映像情報作成プログラム、および、映像装置
JP2009016934A (ja) * 2007-06-29 2009-01-22 Toshiba Corp 映像再生装置
CN102037490A (zh) * 2008-09-25 2011-04-27 电子地图有限公司 用于使图像模糊的方法和布置
US9077949B2 (en) * 2008-11-07 2015-07-07 National University Corporation Hokkaido University Content search device and program that computes correlations among different features
US20100150245A1 (en) * 2008-12-15 2010-06-17 Sony Ericsson Mobile Communications Ab Multimedia Stream Selection
JP5326910B2 (ja) * 2009-01-20 2013-10-30 ソニー株式会社 情報処理装置、情報処理方法およびプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100828166B1 (ko) 2007-06-12 2008-05-08 고려대학교 산학협력단 동영상의 음성 인식과 자막 인식을 통한 메타데이터 추출방법, 메타데이터를 이용한 동영상 탐색 방법 및 이를기록한 기록매체

Also Published As

Publication number Publication date
CN102194493A (zh) 2011-09-21
US20110222832A1 (en) 2011-09-15
JP5515890B2 (ja) 2014-06-11
KR20110103843A (ko) 2011-09-21
JP2011193300A (ja) 2011-09-29

Similar Documents

Publication Publication Date Title
KR101181588B1 (ko) 화상 처리 장치, 화상 처리 방법, 화상 처리 시스템 및 기록 매체
US7228061B2 (en) Image display system, image reproducing apparatus, digital television apparatus, image display method, and storage medium for controlling image display based on additional information read from multiple image recording apparatuses
JP4202316B2 (ja) 黒フィールド検出システムおよび方法
US8453169B2 (en) Video output device and video output method
US7757172B2 (en) Electronic equipment and method for displaying images
JP6270309B2 (ja) 表示制御装置、記録制御装置および表示制御方法
JP2008211777A (ja) 映像提示においてコマーシャルに索引を付けるシステムおよび方法
KR20120105346A (ko) 오브젝트 정보 검색 방법 및 그를 이용한 영상 표시 장치
JPWO2006025284A1 (ja) ストリーム再生装置
US20070092220A1 (en) System for reproducing video
JP2010154415A (ja) 映像関連情報提示装置、映像関連情報提示システムおよび映像関連情報提示装置の制御プログラム
US20230401030A1 (en) Selecting options by uttered speech
US8578417B2 (en) Information processing device and editing method
JP4500431B2 (ja) 画像表示装置、画像表示方法および記憶媒体
US8655142B2 (en) Apparatus and method for display recording
JP4507254B2 (ja) 情報管理装置および方法、並びにプログラム
US8850323B2 (en) Electronic device, content reproduction method, and program therefor
US8195028B2 (en) Method for identifying a document recorded by a display, selection of key images and an associated receptor
JP2012080258A (ja) 録画予約支援システム、録画予約支援装置及びそれを備えた録画装置、テレビジョン受信装置
JP2011076551A (ja) 電子機器、アクセス制御方法及びプログラム
JP4426622B2 (ja) データ中継装置
JP2011151605A (ja) 画像作成装置、画像作成方法、及びプログラム
JP2012253465A (ja) 記録再生装置及び記録再生方法
JP2011078028A (ja) 電子機器、メタデータ生成方法及びプログラム
JP2014107677A (ja) 電子機器、電子機器の制御方法、電子機器の制御プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150730

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160818

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170823

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180816

Year of fee payment: 7