JP5521436B2 - 動画像記録装置、動画像記録方法およびプログラム - Google Patents

動画像記録装置、動画像記録方法およびプログラム Download PDF

Info

Publication number
JP5521436B2
JP5521436B2 JP2009190104A JP2009190104A JP5521436B2 JP 5521436 B2 JP5521436 B2 JP 5521436B2 JP 2009190104 A JP2009190104 A JP 2009190104A JP 2009190104 A JP2009190104 A JP 2009190104A JP 5521436 B2 JP5521436 B2 JP 5521436B2
Authority
JP
Japan
Prior art keywords
moving image
data
feature amount
image data
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009190104A
Other languages
English (en)
Other versions
JP2011044796A (ja
Inventor
透 岡崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2009190104A priority Critical patent/JP5521436B2/ja
Priority to US12/804,369 priority patent/US8532465B2/en
Priority to CN2010102542849A priority patent/CN101998097A/zh
Publication of JP2011044796A publication Critical patent/JP2011044796A/ja
Application granted granted Critical
Publication of JP5521436B2 publication Critical patent/JP5521436B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223Cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4335Housekeeping operations, e.g. prioritizing content for deletion because of storage space restrictions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/414Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/775Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television receiver
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/78Television signal recording using magnetic recording
    • H04N5/781Television signal recording using magnetic recording on disks or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/84Television signal recording using optical recording
    • H04N5/85Television signal recording using optical recording on discs or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/907Television signal recording using static stores, e.g. storage tubes or semiconductor memories
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、動画像記録装置、動画像記録方法およびプログラムに関する。
近年、いわゆるキーワード録画機能と呼ばれる、ユーザにより予め登録されたキーワードに応じた条件を満たす番組放送を自動的に記録する機能を有する記録装置が知られるようになった。しかしながら、このような機能を有する記録装置は、例えば、番組が再放送された場合、再放送された番組を重複して記録してしまうという問題があった。
そこで、以下に示す特許文献1では、コマーシャル放送から本編放送に切り替わった後の所定時間分の本編放送に関する音声データをテキストデータに変換し、得られたテキストデータに基づいて番組放送の重複を判断するという技術が開示されている。
特開2007−324855号公報
しかしながら、特許文献1に記載の技術では、音声データをテキストデータに変換する際に、いわゆる音声認識技術という負荷の大きな処理を行う必要があり、記録装置に音声認識技術を実施する回路やプログラム等を付加しなくてはならないという問題があった。そのため、音声認識技術という記録装置本来の機能とは異なる機能を実装することで、コストの増加が生じてしまうこととなる。
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、コストの増加を抑制しつつ、重複して記録されたコンテンツを正確に検索することが可能な、動画像記録装置、動画像記録方法およびプログラムを提供することにある。
上記課題を解決するために、本発明のある観点によれば、動画像データを特徴づける特徴量に関する複数種類の特徴量データを、前記動画像データから抽出する特徴量抽出部と、前記特徴量抽出部により抽出された複数種類の前記特徴量データと、前記動画像データとが互いに関連付けられて記録される記憶部と、前記複数種類の特徴量データに基づいて、前記記憶部に格納されている複数の前記動画像データの中から互いに重複する動画像データである重複コンテンツを検索する重複コンテンツ検索部と、を備え、前記特徴量抽出部は、前記動画像データに含まれる音声データを一定時間ごとにサンプリングした音量情報を、音声データに関する特徴量データとして抽出するとともに、前記動画像データに対応する動画像において字幕が表示された時刻に関する字幕情報を、画像データに関する特徴量データとして抽出する、動画像記録装置が提供される。
前記重複コンテンツ検索部は、前記記憶部に前記重複コンテンツが存在する場合、前記動画像データが重複しなくなるまで、前記記憶部の中から該当する前記動画像データを削除することが好ましい。
前記重複コンテンツ検索部は、任意の2つの前記動画像データに関連付けられた前記特徴量データ間の類似の度合いを算出し、前記類似の度合いが所定の閾値以上であった場合、前記重複コンテンツが存在すると判断してもよい。
前記重複コンテンツ検索部は、前記特徴量データのうち少なくとも一部の時間区間に対応するものを利用し、前記類似の度合いを算出してもよい。
前記特徴量抽出部は、前記動画像データに対応する動画像においてコマーシャルが検出された時刻に関するコマーシャル区間情報を、前記特徴量データとして更に抽出し、前記重複コンテンツ検索部は、抽出された1または2以上の特徴量データの中から、前記コマーシャルが検出された時刻を除いて、前記類似の度合いを算出してもよい。
前記特徴量抽出部は、前記動画像データに対応する動画像においてシーンチェンジの発生した時刻に関するシーンチェンジ情報を、前記特徴量データとして更に抽出してもよい。
前記特徴量抽出部は、前記動画像データに対応する動画像において所定の割合以上の肌色部分が検出された時刻に関する肌色検出情報を、前記特徴量データとして更に抽出してもよい。
前記動画像記録装置は、当該動画像記録装置の外部に設けられた情報処理装置との間で前記特徴量データの送受信を行う特徴量データ送受信部を更に備え、前記重複コンテンツ検索部は、前記情報処理装置から取得した前記特徴量データを更に利用して、前記重複コンテンツの検索を行ってもよい。
また、上記課題を解決するために、本発明の別の観点によれば、動画像データを特徴づける特徴量に関する複数種類の特徴量データを、前記動画像データから抽出するステップと、抽出された前記複数種類の特徴量データと前記動画像データとを互いに関連付けて記憶部に記録するステップと、前記複数種類の特徴量データに基づいて、前記記憶部に格納されている複数の前記動画像データの中から互いに重複する動画像データである重複コンテンツを検索するステップと、を含み、前記特徴量データを抽出するステップでは、前記動画像データに含まれる音声データを一定時間ごとにサンプリングした音量情報を、音声データに関する特徴量データとして抽出するとともに、前記動画像データに対応する動画像において字幕が表示された時刻に関する字幕情報を、画像データに関する特徴量データとして抽出する、動画像記録方法が提供される。
また、上記課題を解決するために、本発明の更に別の観点によれば、コンピュータに、動画像データを特徴づける特徴量に関する複数種類の特徴量データを、前記動画像データから抽出する特徴量抽出機能と、前記特徴量抽出機能により抽出された複数種類の前記特徴量データと、前記動画像データとを互いに関連付けて記録する動画像データ記録機能と、前記複数種類の特徴量データに基づいて、記録されている複数の前記動画像データの中から互いに重複する動画像データである重複コンテンツを検索する重複コンテンツ検索機能と、を実現させ、前記特徴量抽出機能は、前記動画像データに含まれる音声データを一定時間ごとにサンプリングした音量情報を、音声データに関する特徴量データとして抽出するとともに、前記動画像データに対応する動画像において字幕が表示された時刻に関する字幕情報を、画像データに関する特徴量データとして抽出する、プログラムが提供される。
以上説明したように本発明によれば、コストの増加を抑制しつつ、重複して記録されたコンテンツを正確に検索することが可能である。
本発明の第1の実施形態に係る動画像配信システムを説明するための説明図である。 同実施形態に係る動画像記録装置の構成を説明するためのブロック図である。 同実施形態に係る特徴量抽出部の構成を説明するためのブロック図である。 特徴量データについて説明するための説明図である。 同実施形態に係る重複コンテンツ検索部の構成を説明するためのブロック図である。 特徴量データについて説明するための説明図である。 同実施形態に係る動画像記録方法について説明するための流れ図である。 同実施形態に係る動画像記録方法について説明するための流れ図である。 同実施形態に係る動画像記録装置の第1変形例について説明するためのブロック図である。 同変形例に係る動画像記録装置について説明するための説明図である。 本発明の実施形態に係る動画像記録装置のハードウェア構成を説明するためのブロック図である。
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は、以下の順序で行うものとする。
(1)目的
(2)第1の実施形態
(2−1)動画像配信システムについて
(2−2)動画像記録装置の構成について
(2−3)動画像記録方法について
(2−4)第1変形例
(3)本発明の実施形態に係る動画像記録装置のハードウェア構成について
(4)まとめ
(目的)
まず、本発明の実施形態に係る動画像記録装置および動画像記録方法について説明するに先立ち、本発明が目的とするところについて、詳細に説明する。
近年、動画像データをデジタルデータとして取り扱う装置が、放送局などの情報配信、及び一般家庭における情報受信の双方において普及しつつある。その際、効率の高い情報の伝送および蓄積を目的として、動画像情報特有の冗長性を利用し、離散コサイン変換等の直行変換と動き補償とにより圧縮するMPEG(Moving Picture Experts Group)等の方式が用いられている。
特に、MPEG2(ISO/IEC13818−2)は、汎用動画像符号化方式として定義されている。この方式は、飛び越し走査画像および順次走査画像の双方、ならびに、標準解像度画像および高精細画像を網羅する標準であり、プロフェッショナル用途およびコンシューマー用途の広範なアプリケーションに、現在広く用いられている。
MPEG2圧縮方式を用いることにより、高い圧縮率と良好な画質の双方の実現が可能である。例えば、720×480画素を持つ標準解像度の飛び越し走査画像であれば、4〜8Mbpsの符号量(ビットレート)を割り当てることが可能である。また、1920×1088画素を持つ高解像度の飛び越し走査画像であれば、18〜22Mbpsの符号量を割り当てることが可能である。
MPEG2は、主として放送用に適合する高画質符号化を対象としていたが、MPEG1より低い符号量(ビットレート)、つまり、より高い圧縮率の符号化方式には対応していなかった。携帯端末の普及により、今後そのような符号化方式のニーズは高まると思われ、これに対応してMPEG4符号化方式の標準化が行われた。画像符号化方式に関しては、1998年12月に、ISO/IEC14496−2として、その規格が国際標準に承認された。
MPEG方式に続いて、さらなる高圧縮率を実現するJVT(Joint Video Team)と呼ばれる符号化方式や、VC−1と呼ばれる符号化方式が提案されている。これらの各圧縮方式においては、共通して、動き補償および離散コサイン変換(DCT)やアダマール変換などの直交変換、ならびに、これらによって得られた各係数の量子化が行われ、高い圧縮率を実現する。
現在、地上デジタル放送や、BS/CSデジタル放送において用いられている動画像符号化方式は、主にMPEG方式である。また、動画像データを受信してハードディスクや記録可能なDVD/BDなどのディスク媒体に記録する動画像記録装置(レコーダー)は、受信した動画像符号化信号をそのままの形式で記録する。また、動画像記録装置は、受信した動画像データを、ユーザの利用スタイルにあわせてMPEG方式、JVT方式、VC−1方式のいずれかに再符号化し、画質を犠牲にしてもやや圧縮率をあげてから、記録することも可能である。
これらの動画像記録装置の中には、EPG(Electronic Program Guide)などの電子番組表の記載情報を利用し、ユーザの好きなタレントや、ユーザの好きなジャンルやキーワードを登録する機能が付加されているものがある。これらの動画像記録装置では、登録されたタレント出演している番組や、登録されたジャンルの番組や、登録されたキーワードを含む番組等を、自動的に録画する。また、これらの動画像記録装置の中には、ユーザが実際に予約録画を行った番組の電子番組表情報からユーザの好みを推定し、類似したタイプの番組を自動録画する機能がついているものもある。
こういった機能を有する動画像記録装置は、いちいち予約録画を設定しなくても、ユーザが気に入りそうな番組をどんどん録画するため、ユーザの利便性を飛躍的に向上させることができる。その反面、放っておくと内蔵ハードディスクドライブなどの記憶装置の容量がすぐに飽和してしまうという問題がある。その結果、ユーザは、記録されている番組全てについて、不要な番組の選定および消去作業に追われることになる。中には、既に録画されている番組の再放送分までもが記録されている場合もあり、しかもそれが毎週放送されるレギュラー番組のような形式のものであった場合、電子番組表情報からではどの回の再放送分かが直ぐにはわからない。そのため、ユーザは、内容を少しだけ見て確かめ、重複しているものであれば消去するという作業を行うことになり、無駄な時間を費やすこととなる。
そのため、動画像記録装置の機能として、重複している番組を自動的に探し出し、ユーザに報告するというものがあれば、ユーザの作業の負担を軽減することができ、望ましい。しかし、この機能の実現には、以下で説明するように、いくつかの課題が存在する。
まず、電子番組表の番組情報から重複しているものを探そうとした場合、上述の通り、一定期間毎に放送されるレギュラー番組において、検索がうまくいかなくなる可能性が大きい。このような番組はタイトルが毎回同一であるため、内容の異なるものであっても、全てが重複しているとみなされてしまう場合がある。また、ケーブルテレビ会社等と契約しているユーザの場合、セットトップボックス(STB)経由で外部入力端子を使って動画像記録装置に映像信号を入力し、番組を記録するケースもある。このような場合には、そもそも電子番組表の番組情報が利用できない。
また、実際に動画像記録装置に記録されている動画像信号を元に、重複している番組を探そうとした場合、重複している番組の検索にかかる処理量が問題となる。放送された符号化動画像信号を動画像記録装置に記録する際には、そのまま記録する場合もあれば、別の記録方式や別のビットレートへ再符号化して記録する場合もある。また、例えば、特定の放送局の地上波放送で放送された番組の再放送を、同一の放送局の衛星放送で放送する等という場合であれば、そもそも画枠サイズからして異なるため、放送される圧縮された動画像信号が全く違うものとなってしまう。そのため、記録された符号化動画像信号そのものを比べる方式では、重複したものを探し出すことは不可能である。かといって、記録された符号化動画像信号を全て復号し、復号された動画像信号同士で比較を行うのは、処理量が膨大になってしまう上、復号された巨大なサイズの動画像信号を一時的ではあっても格納する箇所を確保するという別の問題も発生し、現実的でない。
また、対象の番組が民放で放送されたものであった場合、番組の合間などに放送されるコマーシャル(以下、CMと略記する。)が問題になる。初回の放送と再放送とでは、番組の合間に放送されるCMが異なっている場合が多いため、内容が同一の番組の比較をしても、CM部分の相違が比較結果に影響し、異なる番組として判定されてしまう可能性があるためである。
本発明は、かかる事情に鑑みてなされたものである。本発明は、動画像記録装置に既に実装されている特徴量抽出機能等を用い、コストの増加を抑えつつ、実質的に同一の重複した番組を探し出すことが可能な動画像記録装置を提供することを目的とする。検出した重複する番組に関する情報をユーザへ通知し、重複する番組(以下、重複コンテンツとも称する。)の消去を行うことで、効率良く記憶装置を利用することが可能となる。
(第1の実施形態)
<動画像配信システムについて>
まず、図1を参照しながら、本発明の第1の実施形態に係る動画像配信システムの概要について、詳細に説明する。図1は、本実施形態に係る動画像配信システムを説明するための説明図である。
本実施形態に係る動画像配信システム1は、例えば図1に示したように、画像入力装置3、符号化装置5、動画像記録装置10、動画像再生装置20および画像表示装置30を含む。なお、図1において、動画像記録装置10、動画像再生装置20および画像表示装置30は、1つずつしか図示されていないが、これらの装置は、動画像配信システム1内に複数台ずつ設けられていてもよい。また、同様に、図1において、画像入力装置3および符号化装置5は、1つずつしか図示されていないが、これらの装置は、動画像配信システム1内に複数台ずつ設けられていてもよい。
画像入力装置3は、動画像(以下、コンテンツとも称する。)を配信する配信者が有する装置である。この画像入力装置3は、入力された動画像をデジタル信号化し、出力する。出力された動画像に対応するデータは、符号化装置5に入力される。
符号化装置5は、デジタル信号化された動画像データに対して、離散コサイン変換やアダマール変換等の直交変換と、動き補償技術とを用いて圧縮し、フレーム画像データ(ビットストリーム)を生成する。その後、符号化装置5は、生成したフレーム画像データを変調し、後述する伝送媒体7を介して配信する。
なお、画像入力装置10から出力されたデータを符号化しなくとも良い場合には、画像入力装置10から出力されたデータを、符号化されていない動画像データとして、伝送媒体7を介して配信してもよい。
ここで、上述の伝送媒体7として、例えば、衛星放送波、ケーブルテレビ網、電話回線網、携帯電話回線網などを挙げることができる。また、上述の伝送媒体7は、光ディスク、磁気ディスクおよび半導体メモリ等の記録媒体であってもよい。
動画像記録装置10は、伝送媒体7を介して配信された動画像データを記録する装置である。動画像記録装置10に動画像データが記録されることで、ユーザは、動画像データに対応する動画像(番組等のコンテンツ)が配信されたタイミングではなく、ユーザが動画像を視聴したいと考えた任意のタイミングで、記録された動画像を視聴することができる。この動画像記録装置10については、以下で改めて詳細に説明する。
動画像再生装置20は、配信された動画像データを復調した後に、符号化時における直行変換の逆変換および動き補償によって符号化されたデータを伸張し、フレーム画像データを生成する。その後、動画像再生装置20は、生成したフレーム画像データを再生し、後述する画像表示装置30に表示する。
画像表示装置30は、動画像再生装置20によって再生されたフレーム画像データを、当該画像表示装置30が備える表示部に表示する装置である。フレーム画像データに対応する動画像が表示部に表示されることで、ユーザは、伝送媒体7を介して配信された動画像コンテンツを視聴することができる。
なお、図1において、動画像記録装置10、動画像再生装置20および画像表示装置30がそれぞれ別の装置として設けられる場合について説明したが、本発明の実施形態は、図1に示した場合に限定されるわけではない。すなわち、動画像記録装置10が、動画像再生装置20の機能を更に備えていてもよく、動画像記録装置10が、動画像再生装置20および画像表示装置30の機能を更に備えていてもよい。また、画像表示装置30が動画像再生装置20の機能を更に備えていてもよい。
以上、本実施形態に係る動画像配信システム1の構成について説明した。以下では、この動画像配信システム1が備える動画像記録装置10について、詳細に説明する。
<動画像記録装置の構成について>
続いて、図2〜図6を参照しながら、本実施形態に係る動画像記録装置10の構成について、詳細に説明する。図2は、本実施形態に係る動画像記録装置の構成について説明するためのブロック図である。図3は、本実施形態に係る特徴量抽出部の構成について説明するためのブロック図である。図4は、特徴量データについて説明するための説明図である。図5は、本実施形態に係る重複コンテンツ検索部の構成について説明するためのブロック図である。図6は、特徴量データについて説明するための説明図である。
本実施形態に係る動画像記録装置10は、例えば図2に示したように、動画像データ取得部101、特徴量抽出部103、動画像データ再符号化部105、動画像データ記録部107、記憶部109および重複コンテンツ検索部111を主に備える。
動画像データ取得部101は、例えば、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、通信装置等により実現される。動画像データ取得部101は、配信された動画像データ(より詳細には、変調および符号化された動画像データ)を、伝送媒体7を介して取得する。動画像データ取得部101は、取得した動画像データを、一旦、RAMや後述する記憶部109等の記憶装置に格納してもよい。
動画像データ取得部101は、取得した動画像データを、後述する特徴量抽出部103に伝送する。また、ユーザにより動画像データの再符号化を行う操作が入力された場合には、動画像データ取得部101は、取得した動画像データを、後述する動画像データ再符号化部105に伝送する。また、上述のような再符号化を行う操作が入力されなかった場合には、動画像データ取得部101は、取得した動画像データを、後述する動画像データ記録部107に伝送する。
特徴量抽出部103は、例えば、CPU、ROM、RAM等により実現される。特徴量抽出部103は、動画像データ取得部101から伝送された動画像データに基づいて、動画像データに対応する動画像の特徴を表す特徴量に関するデータを、動画像データ毎(すなわち、配信された番組毎)に抽出する。より詳細には、特徴量抽出部103は、伝送された動画像データを必要に応じて復号したうえで、動画像の特徴を表す特徴量(動画像の映像に関する特徴量および動画像の音声に関する特徴量)を抽出する。
この特徴量抽出部103は、例えば図3に示したように、音量情報抽出部121と、字幕情報抽出部123と、シーンチェンジ情報抽出部125と、肌色検出情報抽出部127と、CM区間情報抽出部129と、更に備える。
これらの各処理部は、単独で動作したり、互いに連携して動作したりすることで、動画像の特徴を表す特徴量に関するデータ(以下、特徴量データと称する。)を抽出する。
音量情報抽出部121は、例えば、CPU、ROM、RAM等により実現される。音量情報抽出部121は、動画像データに含まれる音声データに基づいて、動画像データの音量に関する情報(すなわち、動画像の盛り上がりに関する情報)を抽出する。より詳細には、音量情報抽出部121は、動画像データ(音声データ)のグローバルゲイン等を参照して、動画像データの音量情報を抽出する。すなわち、この音量情報は、動画像データに含まれる音声データを、一定時間毎にサンプリングした情報であるといえる。
ある番組(コンテンツ)において、番組の内容が盛り上がっている部分では、その部分で出力される音量も大きくなっていると推測される。そのため、動画像データに含まれる音声データの音量がどうなっているかを解析することで、番組の盛り上がり具合の経時変化を知ることができる。この音量情報は、抽出された音声データの音量を示す値そのものであってもよく、音量をいくつかのレベルに分類する際のレベルを表す数値であってもよい。
字幕情報抽出部123は、例えば、CPU、ROM、RAM等により実現される。字幕情報抽出部123は、伝送された動画像データに含まれる字幕に関するデータ(以下、字幕データと略記する。)を参照して、番組中に字幕が存在するか否か、および、字幕が存在する場合における字幕が表示された時刻を抽出し、字幕情報とする。この字幕情報は、動画像の各時刻において、字幕が存在するか否かの2値情報として表される。
シーンチェンジ情報抽出部125は、例えば、CPU、ROM、RAM等により実現される。シーンチェンジ情報抽出部125は、伝送された動画像データに含まれる2つのフレーム画像に着目し、シーンチェンジが生じているか否かを判断し、シーンチェンジ情報とする。より詳細には、シーンチェンジ情報抽出部125は、現在着目しているフレーム画像と、このフレーム画像の直前に位置するフレーム画像と、の差分を算出し、算出した差分が所定の閾値以上であるか否かを判断する。算出した差分が所定の閾値以上であった場合には、シーンチェンジ情報抽出部125は、大きな画面の変化が生じた(すなわち、シーンチェンジがあった)と判断する。また、算出した差分が所定の閾値未満であった場合には、シーンチェンジ情報抽出部125は、大きな画面の変化は生じなかった(すなわち、シーンチェンジがなかった)と判断する。このシーンチェンジ情報は、動画像の各時刻において、シーンチェンジが生じたか否かの2値情報として表される。
肌色検出情報抽出部127は、例えば、CPU、ROM、RAM等により実現される。肌色検出情報抽出部127は、伝送された動画像データに基づいて、所定の割合以上の肌色部分が検出された時刻に関する肌色検出情報を抽出する。より詳細には、肌色検出情報抽出部127は、動画像データに含まれる各画像を構成する画素の画素値に着目し、着目した画素が肌色として表示される画素であるか否かを判断する。肌色検出情報抽出部127は、着目している画像について、肌色として表示される部分が所定の割合以上であった場合に、肌色部分を検出したと判断する。この肌色検出情報は、動画像の各時刻において、所定の割合以上の肌色部分が存在したか否かの2値情報として表される。
CM区間情報抽出部129は、例えば、CPU、ROM、RAM等により実現される。CM区間情報抽出部129は、伝送された動画像データに基づいて、動画像データのうちCMに該当する区間を表した情報(以下、CM区間情報と称する。)を抽出する。CMに該当する区間(CM区間)は、例えば、以下のようにして特定することが可能である。
例えば、CM区間情報抽出部129は、音量情報抽出部121が抽出した音量情報を参照して、音量が所定の閾値以下となっており、無音と判断することができる時刻を特定する。また、CM区間情報抽出部129は、シーンチェンジ情報抽出部125が抽出したシーンチェンジ情報を参照して、シーンチェンジが生じている時刻を特定する。番組の本編からCMへと移行する際、および、CMから番組の本編へと復帰する際には、無音状態となり、かつ、シーンチェンジが生じるものと推測される。従って、CM区間情報抽出部129は、無音状態であり、かつ、シーンチェンジが生じているフレームを、本編からCMへと移行したフレームまたはCMから本編へと移行したフレームの候補とすることができる。CMは、ある決まった時間(例えば、30秒等)放送される場合が多いため、候補とされた2つのフレーム間の時間が、これらの決まった時間に類似している場合に、候補とされた2つのフレームに挟まれた区間がCM区間であると特定することが可能である。
このようにして抽出されたCM区間情報は、動画像の各時刻において、CM区間であるか否かの2値情報として表される。
このようにして抽出された特徴量データの一例を、図4に示す。各特徴量データは、例えば図4に示したように、動画像データの先頭(すなわち録画開始時刻)を基準とした相対的な時刻と関連付けられて表されるデータである。このような特徴量データは、動画像データ(すなわち、配信されたコンテンツ)が互いに異なるもの(すなわち、異なるコンテンツ同士)であれば、全体として異なるものとなると考えられる。そのため、後述するように、かかる特徴量データを比較することで、重複コンテンツであるか否かを容易に判断することが可能となる。
このような特徴量データは、動画像記録装置10に記録される動画像データ毎に抽出される。特徴量データは、符号化された動画像データよりもデータサイズがはるかに小さいため、後述する記憶部109の容量を圧迫することはない。
以上説明したような特徴量の抽出処理が実施されることにより、動画像データを特徴づける特徴量データが抽出される。本実施形態に係る特徴量抽出部103は、図3に示したような各処理部により抽出された特徴量データを、後述する動画像データ記録部107に伝送する。
ここで、上述のような特徴量を抽出する処理部は、以下で詳細に説明するような重複コンテンツの検索処理用に特別に設けられたものである必要はなく、動画像記録装置に他の用途で予め設けられている処理部を利用することが可能である。また、本実施形態に係る特徴量抽出部103は、動画像記録装置に実装されている特徴量の抽出処理部の種類に応じて特徴量を抽出してもよく、上述のような特徴量の全てを抽出しなくともよい。そのため、本実施形態に係る動画像記録装置10では、かかる特徴量の抽出処理部を実装する際のコストは、抑制されることとなる。なお、特徴量抽出部103は、好ましくは、映像に関する特徴量(例えば、字幕情報)と音声に関する特徴量(例えば、音量情報)とを少なくとも抽出することが好ましい。
なお、本実施形態に係る特徴量抽出部103が備える各処理部で実施される特徴量の抽出処理は、先に説明した方法に限定されるわけではなく、他の任意の方法を利用することが可能である。また、本実施形態に係る特徴量抽出部103は、先に説明した特徴量以外の特徴量を抽出してもよい。
以上、本実施形態に係る特徴量抽出部103の構成について、詳細に説明した。以下では、再び図2に戻って、本実施形態に係る動画像記録装置10が備える動画像データ再符号化部105について詳細に説明する。
動画像データ再符号化部105は、例えば、CPU、ROM、RAM等により実現される。動画像データ再符号化部105は、動画像データ取得部101より動画像データが伝送されると、伝送された動画像データ(符号化された動画像データ)の復号(デコード)を行う。また、動画像データ再符号化部105は、復号して得られた動画像データを、ユーザにより指定された記録レートに基づいて、再符号化(再エンコード)する。
動画像データ再符号化部105は、再符号化処理によって得られた、符号化された動画像データを、後述する動画像データ記録部107に伝送する。
動画像データ記録部107は、例えば、CPU、ROM、RAM等により実現される。動画像データ記録部107は、動画像データ取得部101または動画像データ再符号化部105から伝送された動画像データに対して、特徴量抽出部103から伝送された特徴量データを関連付けて、後述する記憶部109に記録する。動画像データ記録部107は、動画像データおよび特徴量データを、後述する記憶部109の同一の格納領域に記録してもよく、動画像データおよび特徴量データの関連付けを維持したまま、これらのデータを異なる格納領域に別個に格納してもよい。この際、動画像データ記録部107は、記録した動画像データおよび特徴量データに、記憶部109への記録を行った時刻に関する時刻情報を更に関連付けてもよい。
また、動画像データ記録部107は、記録を行う動画像データに対して、EPG等から取得したジャンルや出演者等に関するメタデータを更に関連付けてもよい。
このように、本実施形態に係る動画像記録装置10では、伝送媒体7から取得した動画像データを、ユーザの指定した記録レートにて記録することができる。最も高画質で記録するモードがユーザにより選択された場合、動画像データは、そのままの形式で番組ごとの動画像データとして後述する記憶部109に記録される。この場合、記憶部109の格納領域の消費量も最大となるが、再圧縮による劣化なしで記録することが可能となるため、配信された動画像データの品質を維持することができる。
また、ユーザが最高画質以外のモードを選択した場合、動画像データは、動画像データ再符号化部105により、ユーザの指定した記録レートによる再符号化が行われる。再符号化された動画像データは、番組ごとの動画像データとして後述する記憶部109に記録される。かかる再符号化データは、画質の面では直接記録の場合(最高画質による記録の場合)と比べて劣るものの、配信された動画像データの符号化方式よりも効率的な符号化方式を用いることも可能となる。そのため、かかる再符号化処理により、ハードディスクドライブなどの記憶部109の容量をより効率的に利用可能となる。
記憶部109は、本実施形態に係る動画像記録装置10が備える記憶装置の一例である。記憶部109には、動画像データおよび当該動画像データに対応する特徴量データが格納される。また、記憶部109には、本実施形態に係る動画像記録装置10が、何らかの処理を行う際に保存する必要が生じた様々なパラメータや処理の途中経過等、または、各種のデータベース等が、適宜記録される。この記憶部109は、動画像データ取得部101、特徴量抽出部103、動画像データ再符号化部105、動画像データ記録部107および重複コンテンツ検索部111等が、自由に読み書きを行うことが可能である。
重複コンテンツ検索部111は、例えば、CPU、ROM、RAM等により実現される。重複コンテンツ検索部111は、記憶部109に格納されている特徴量データに基づいて、記憶部109に格納されている複数の動画像データの中から、互いに重複する動画像データである重複コンテンツを検索する。この重複コンテンツ検索部111は、例えば図5に示したように、特徴量データ取得部131と、除外区間検出部133と、特徴量データ補正部135と、類似データ検出部137と、重複コンテンツ消去部139と、を更に備える。
特徴量データ取得部131は、例えば、CPU、ROM、RAM等により実現される。特徴量データ取得部131は、記憶部109に格納されている特徴量データを全て取得して、後述する除外区間検出部133および特徴量データ補正部135に伝送する。
除外区間検出部133は、例えば、CPU、ROM、RAM等により実現される。除外区間検出部133は、特徴量データ取得部131から特徴量データが伝送されると、伝送された特徴量データにCM区間情報が含まれているか否かを判断する。
特徴量データにCM区間情報が含まれていない場合には、除外区間検出部133は、除外すべき区間は検出されなかった旨を、後述する特徴量データ補正部135に伝送する。
他方、特徴量データにCM区間情報が含まれていた場合には、除外区間検出部133は、CM区間情報を参照して、CM区間となっている時刻を特定する。ここで、CM区間情報を参照した結果、動画像にCMが含まれていないと判定された場合(CM区間情報に、CM区間が存在する旨を表すデータが記載されていなかった場合)が生じうる。この場合には、除外区間検出部133は、除外すべき区間は検出されなかった旨を、後述する特徴量データ補正部135に伝送する。
また、CM区間情報を参照した結果、CM区間情報にCM区間を表すデータが記載されていた場合には、該当するCM区間の時刻に関する情報を、後述する特徴量データ補正部135に伝送する。
特徴量データ補正部135は、例えば、CPU、ROM、RAM等により実現される。特徴量データ補正部135は、除外区間検出部133から、CM区間となっている時刻が伝送されると、着目している特徴量データの全てから、CM区間となっている時刻の特徴量データを破棄し、特徴量データに付加されている経過時間情報を補正する。
例えば図6上側に示したように、記憶部109から取得した特徴量データにCM区間情報が含まれており、除外区間検出部133から、CM区間となっている時刻が特徴量データ補正部135に伝送された場合を考える。図6上側に示したCM区間情報には、4箇所のCM区間が存在している。そこで、特徴量データ補正部135は、音量情報、字幕情報、シーンチェンジ情報および肌色検出情報から、CM区間に相当する部分(図中の斜線で示した部分)を破棄する。その結果、図6下側に示したような、CM区間に相当する部分が除去された、新たな特徴量データが生成されることとなる。この際、CM区間に相当する部分が除去された各特徴量データでは、経過時間情報が不連続になる部分が生じることとなる。そのため、特徴量データ補正部135は、図6下側に示した新たな特徴量データについて、経過時刻情報を、録画開始時刻を基準とする新たな時刻情報に補正する。
本編の内容が同一のコンテンツ(例えば、初めて放送された番組と、その番組の再放送等)であっても、そのコンテンツに含まれるCMが異なっているという場合も生じうる。この場合に、放送されたCMが異なるために、本来同一であるコンテンツが異なるものとして判定される場合も生じうる。そのため、本実施形態に係る重複コンテンツ検索部111は、上述の説明のように、誤判定の要因となりうるCM区間を特徴量データから破棄することで、より正確な重複コンテンツの検索を行うことが可能となる。
特徴量データ補正部135は、CM区間に相当する部分が破棄され、新たな経過時刻情報が付加された特徴量データを、後述する類似データ検出部137に伝送する。
他方、特徴量データ補正部135は、除外区間検出部133から、動画像にCMが含まれていない、または、動画像データに除外すべき区間が存在しない旨の通知を受けた場合、上述のような特徴量データの補正は行わない。特徴量データ補正部135は、特徴量データ取得部131から伝送された特徴量データを、そのまま後述する類似データ検出部137に伝送する。
類似データ検出部137は、例えば、CPU、ROM、RAM等により実現される。類似データ検出部137は、特徴量データ補正部135から伝送された全ての特徴量データに基づき類似度の算出を行い、類似している動画像データの検出を行う。より詳細には、類似データ検出部137は、伝送された全ての特徴量データの中から、着目する1つの特徴量データを選択し、選択した特徴量データと他の特徴量データとの類似度を全て算出する。ここで、類似データ検出部137は、特徴量データ補正部135から伝送された特徴量データに含まれる全ての特徴量を利用して、類似度を算出する。
なお、算出する類似度は、2つの特徴量データ間の類似の度合いを評価できるものであればよい。かかる類似度の例として、相互相関値、差分絶対値和や差分二乗和等の差分和を挙げることができる。
類似データ検出部137は、算出した類似度が所定の閾値以上である場合(相互相関値の場合)、または、所定の閾値以下である場合(差分和の場合)に、2つの特徴量は類似していると判断する。類似データ検出部137は、特徴量データに含まれる複数種類の特徴量を利用して、2つの特徴量データが類似しているか否かを総合的に判断する。例えば、類似データ検出部137は、複数種類の特徴量のうち、例えば所定の個数以上の特徴量が互いに類似している場合に、2つの特徴量データが類似していると判断してもよい。
類似データ検出部137は、かかる処理を全ての特徴量データに対して行うことで、記憶部109に記録されている動画像データの中に重複するものが存在するか否かを検出することができる。
なお、先に説明したように、特徴量データは、動画像データ自体と比べデータサイズが極めて小さいため、上述のような比較演算に要する演算時間も少なくてすむ。そのため、動画像データそのものを利用して比較演算を行う場合に比べ、演算に要する負荷を軽減することが可能となる。
類似データ検出部137は、内容がほぼ同一と推測される動画像データ(すなわち、重複コンテンツ)を検出すると、検出した重複コンテンツに関する情報を、後述する重複コンテンツ消去部139に伝送する。また、類似データ検出部137は、重複コンテンツが検出されなかった場合には、重複コンテンツの検索処理を終了する。
重複コンテンツ消去部139は、例えば、CPU、ROM、RAM等により実現される。重複コンテンツ消去部139は、類似データ検出部137から、重複コンテンツに関する情報が伝送されると、重複が生じている動画像データを、重複しなくなるまで記憶部109の中から消去する。例えば、動画像データAと動画像データBとが重複コンテンツである場合、重複コンテンツ消去部139は、動画像データAまたは動画像データBのいずれかを消去して、記憶部109内に記録されている動画像データに重複が生じないようにする。
ここで、重複コンテンツ消去部139は、重複コンテンツの消去処理を行うに先立ち、ユーザに対して、「番組Aと番組Nは同一内容の可能性が高いです。どちらかを消去しますか?」といったメッセージを出力し、ユーザに注意を喚起してもよい。
なお、重複コンテンツ消去部139は、重複コンテンツを消去する際に、ユーザから指定されたコンテンツ(すなわち、動画像データ)を消去してもよく、重複コンテンツの中から消去するものを自動的に選択してもよい。重複コンテンツ消去部139が消去するコンテンツを自動的に選択する場合には、より新しいコンテンツを残すように消去処理を行ってもよく、より古いコンテンツを残すように消去処理を行ってもよい。
かかる処理を行うことで、本実施形態に係る動画像記録装置10は、ユーザに負担をかけることなく、録画済みの番組の整理を行うことが可能となる。
以上説明したように、本実施形態に係る動画像記録装置10は、録画された番組の動画像データとは別に、ごく小さいデータサイズの各番組の特徴量データをハードディスクドライブ等の記憶装置に記録し、その特徴量データを用いて重複した番組を検索する。これにより、本実施形態に係る動画像記録装置10では、ユーザが重複した番組か否かを再生して確認する手間が不要となり、ユーザの利便性をより向上させることができる。また、符号化された動画像データから特徴量データを抽出する部分については、動画像記録装置に実装されている特徴量の抽出処理機能をそのまま流用できるため、追加で必要となるコストを抑制することができる。
なお、本実施形態に係る動画像記録装置10は、上述の処理部に加えて、記憶部109に記録されている動画像データを、動画像記録装置10が相互に通信することが可能な動画像再生装置20に伝送する動画像データ伝送部(図示せず。)を更に備えてもよい。また、本実施形態に係る記憶部109に記録されている動画像データは、動画像記録装置10が相互に通信することが可能な動画像再生装置20により参照されてもよい。
以上、本実施形態に係る動画像記録装置10の機能の一例を示した。上記の各構成要素は、汎用的な部材や回路を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。また、各構成要素の機能を、CPU等が全て行ってもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用する構成を変更することが可能である。
なお、上述のような本実施形態に係る動画像記録装置の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。
<動画像記録方法について>
続いて、図7および図8を参照しながら、本実施形態に係る動画像記録方法について、詳細に説明する。図7および図8は、本実施形態に係る動画像記録方法について説明するための流れ図である。
まず、図7を参照しながら、本実施形態に係る動画像記録方法の全体的な流れについて、詳細に説明する。
まず、動画像記録装置10の動画像データ取得部101は、伝送媒体7を介して動画像データを取得する。動画像データ取得部101は、取得した動画像データを、特徴量抽出部103に伝送する。
特徴量抽出部103は、動画像データ取得部101から伝送された動画像データについて、音量情報、字幕情報、シーンチェンジ情報、肌色検出情報およびCM区間情報といった特徴量に関する特徴量データを抽出する(ステップS101)。特徴量データの抽出が終了すると、特徴量抽出部103は、抽出した特徴量データを、動画像データ記録部107に伝送する。
次に、動画像データ記録部107は、特徴量抽出部103から伝送された特徴量データを、動画像データ取得部101または動画像データ再符号化部105のいずれかから伝送された動画像データと関連付けて、記憶部109に記録する(ステップS103)。
続いて、重複コンテンツ検索部111は、記憶部109に記録されている全ての特徴量データを取得して、特徴量データに基づく重複コンテンツの検索を行う(ステップS105)。これにより、重複コンテンツ検索部111は、記憶部109内に重複コンテンツが存在するか否かの判断(ステップS107)を行うことが可能となる。なお、重複コンテンツの検索処理の流れについては、以下で改めて詳細に説明する。
記憶部109内に重複コンテンツが存在しないという判断結果が得られた場合、重複コンテンツ検索部111は、重複コンテンツの検索処理を終了する。
他方、記憶部109内に重複コンテンツが存在するという判断結果が得られた場合、重複コンテンツ検索部111(より詳細には、重複コンテンツ消去部139)は、重複している動画像データを記憶部109から消去する(ステップS109)。
これにより、本実施形態に係る動画像記録方法では、動画像データが重複して記憶部109に記録されることを防止することができる。
続いて、図8を参照しながら、重複コンテンツの検索処理の流れについて、詳細に説明する。
まず、重複コンテンツ検索部111の特徴量データ取得部131は、記憶部109に記録されている動画像データに関連付けられている特徴量データを、全て取得する(ステップS121)。特徴量データ取得部131は、取得した全ての特徴量データを、除外区間検出部133および特徴量データ補正部135に伝送する。
続いて、除外区間検出部133は、伝送された特徴量データを参照して、複数種類の特徴量に関する情報が記載された特徴量データの中に、CM区間に相当する部分が存在するか否かを判断する(ステップS123)。
特徴量データの中にCM区間に相当する部分が存在しない場合には、除外区間検出部133は、CM区間に相当する部分が存在しない旨を特徴量データ補正部135に通知する。特徴量データ補正部135は、CM区間に相当する部分が存在しない旨が通知されると、特徴量データ取得部131から伝送された特徴量データを、そのまま類似データ検出部137に伝送する。類似データ検出部137は、伝送された特徴量データに基づいて、後述するステップS129を実施する。
他方、特徴量データの中にCM区間に相当する部分が存在する場合には、除外区間検出部133は、CM区間に相当する部分が存在する旨を特徴量データ補正部135に通知する。特徴量データ補正部135は、CM区間に相当する部分が存在する旨が通知されると、特徴量データに含まれる複数種類の特徴量それぞれについて、CM区間に相当する部分を削除する(ステップS125)。引き続き、特徴量データ補正部135は、CM区間に相当する部分を削除した結果生じる経過時間が不連続になった部分を修正するために、経過時刻情報を、特徴量データの先頭を基準とする新たな時刻情報に補正する(ステップS127)。その後、特徴量データ補正部135は、補正後の特徴量データを、類似データ検出部137に伝送する。
類似データ検出部137は、特徴量データ補正部135から伝送された特徴量データを用いて、特徴量データ間の類似度を算出し(ステップS129)、算出した類似度が所定の閾値以上であるか否かを判断する(ステップS131)。類似データ検出部137は、いくつかの特徴量について算出した類似度が所定の閾値以上である場合に、重複コンテンツが存在すると判断する(ステップS133)。また、類似データ検出部137は、いくつかの特徴量について算出した類似度が所定の閾値未満である場合に、重複コンテンツが存在しないと判断する(ステップS135)。
これにより、本実施形態に係る重複コンテンツ検索部では、重複コンテンツが存在しているか否かを容易に判断することができる。
<第1変形例について>
続いて、図9および図10を参照しながら、本実施形態に係る動画像記録装置10の第1変形例について、詳細に説明する。図9は、本実施形態に係る動画像記録装置10の第1変形例の構成を説明するためのブロック図である。図10は、本変形例に係る動画像記録装置10について説明するための説明図である。
本変形例に係る動画像記録装置10は、図9に例示したように、動画像データ取得部101、特徴量抽出部103、動画像データ再符号化部105、動画像データ記録部107、記憶部109、特徴量データ送受信部151および重複コンテンツ検索部153を主に備える。
ここで、本変形例に係る動画像データ取得部101、特徴量抽出部103、動画像データ再符号化部105、動画像データ記録部107および記憶部109は、第1の実施形態に係る動画像記録装置10が備える各処理部と同様の構成を有し、同様の効果を奏する。従って、以下では、これらの処理部に関する詳細な説明は省略する。
特徴量データ送受信部151は、例えば、CPU、ROM、RAM、通信装置等により実現される。特徴量データ送受信部151は、記憶部109に記録されている特徴量データを取得して他の動画像記録装置10に送信したり、他の動画像記録装置10から送信された特徴量データを受信したりする。特徴量データ送受信部151は、他の動画像記録装置10から送信された特徴量データを受信した場合には、受信した特徴量データを、後述する重複コンテンツ検索部153に伝送する。
重複コンテンツ検索部153は、例えば、CPU、ROM、RAM、通信装置等により実現される。本変形例に係る重複コンテンツ検索部153は、記憶部109に記録されている特徴量データだけでなく、他の動画像記録装置10に記録されている特徴量データを用いて重複コンテンツの検索を行う以外は、第1の実施形態に係る重複コンテンツ検索部111と同様の機能を有し、同様の効果を奏するものである。以下、本変形例に係る重複コンテンツ検索部153について、簡単に説明する。
重複コンテンツ検索部153(より詳細には、特徴量データ取得部)は、重複コンテンツの検索を開始する際に、記憶部109に記録されている全ての特徴量データを取得する。更に、重複コンテンツ検索部153は、相互に通信することが可能な他の動画像記録装置10に対して、記録されている全ての特徴量データを送信するように要請する。重複コンテンツ検索部153は、特徴量データ送受信部151から、他の動画像記録装置10の特徴量データが伝送されると、記憶部109から取得した特徴量データとあわせて、重複コンテンツの検索処理を行う。
検索の結果、録画が終了した番組と内容がほぼ同一と思われる番組が、他の動画像記録装置に既に記録されている場合には、重複コンテンツ検索部153は、いずれかの装置に記録されている動画像データを消去して、動画像データに重複が生じないようにする。
ここで、重複コンテンツ検索部153は、重複コンテンツの消去処理を行うに先立ち、ユーザに対して、「レコーダBに記録されている番組Aと、本機に記録されている番組Nは同一内容の可能性が高いです。どちらかを消去しますか?」といったメッセージを出力し、ユーザに注意を喚起してもよい。
例えば、家庭に2台以上の動画像記録装置10が存在する際に、たいていの場合、1つの番組は、どちらかの動画像記録装置10に記録されていれば十分である。従って、複数の動画像記録装置10をネットワークで接続し、ごく小さいデータサイズの各番組の特徴量データをやりとりすることで、複数台の動画像記録装置10にわたって、重複した番組を検索することが可能となる。これにより、本変形例に係る動画像記録装置10では、記憶装置の更なる効率的な利用が可能となり、ユーザの利便性をより向上させることができる。
以下、図10を参照しながら、2台の動画像記録装置10間で特徴量データの送受信を行い、重複コンテンツの検索を行う場合について、具体的に説明する。なお、図10において、動画像記録装置10が備える処理部のうち一部のみを抜き出して図示している。
例えば、動画像記録装置10Aにおいて、ある番組に対応する動画像データの録画が終了した場合を考える。この際、動画像記録装置10Aの重複コンテンツ検索部153は、動画像記録装置10Bに対して、当該動画像記録装置10Bが保持している特徴量データの送信を要請する。
動画像記録装置10Bの特徴量データ送受信部151は、特徴量データの送信要請を受けて、記憶部109から特徴量データを取得し、動画像記録装置10Aに対して送信する。
動画像記録装置10Aの特徴量データ送受信部151は、動画像記録装置10Bから送信された特徴量データを受信すると、重複コンテンツ検索部153に伝送する。動画像記録装置10Aの重複コンテンツ検索部153は、自身で保持している特徴量データと、動画像記録装置10Bで保持している特徴量データとに基づいて、重複コンテンツの検索処理を開始する。
重複コンテンツの検索処理の結果、動画像記録装置10Aおよび動画像記録装置10Bで重複しているコンテンツが見つかり、動画像記録装置10Bに記録されている動画像データを消去する場合も生じうる。この場合、動画像記録装置10Aの重複コンテンツ検索部153は、動画像記録装置10Bに対して動画像データの消去を要請する。要請を受けた動画像記録装置10Bの重複コンテンツ検索部153は、指定された動画像データを、自身の記憶部109の中から消去する。
このような処理を行うことで、複数台の動画像記録装置10にわたって、重複した番組を検索することが可能となる。
以上、本変形例に係る動画像記録装置10の機能の一例を示した。上記の各構成要素は、汎用的な部材や回路を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。また、各構成要素の機能を、CPU等が全て行ってもよい。従って、本変形例を実施する時々の技術レベルに応じて、適宜、利用する構成を変更することが可能である。
なお、上述のような本変形例に係る動画像記録装置の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。
(ハードウェア構成について)
次に、図11を参照しながら、本発明の実施形態に係る動画像記録装置10のハードウェア構成について、詳細に説明する。図11は、本発明の実施形態に係る動画像記録装置10のハードウェア構成を説明するためのブロック図である。
動画像記録装置10は、主に、CPU901と、ROM903と、RAM905と、を備える。また、動画像記録装置10は、更に、ホストバス907と、ブリッジ909と、外部バス911と、インターフェース913と、入力装置915と、出力装置917と、ストレージ装置919と、ドライブ921と、接続ポート923と、通信装置925とを備える。
CPU901は、演算処理装置および制御装置として機能し、ROM903、RAM905、ストレージ装置919、またはリムーバブル記録媒体927に記録された各種プログラムに従って、動画像記録装置10内の動作全般またはその一部を制御する。ROM903は、CPU901が使用するプログラムや演算パラメータ等を記憶する。RAM905は、CPU901の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一次記憶する。これらはCPUバス等の内部バスにより構成されるホストバス907により相互に接続されている。
ホストバス907は、ブリッジ909を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス911に接続されている。
入力装置915は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなどユーザが操作する操作手段である。また、入力装置915は、例えば、赤外線やその他の電波を利用したリモートコントロール手段(いわゆる、リモコン)であってもよいし、動画像記録装置10の操作に対応した携帯電話やPDA等の外部接続機器929であってもよい。さらに、入力装置915は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、CPU901に出力する入力制御回路などから構成されている。動画像記録装置10のユーザは、この入力装置915を操作することにより、動画像記録装置10に対して各種のデータを入力したり処理動作を指示したりすることができる。
出力装置917は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。このような装置として、CRTディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ELディスプレイ装置およびランプなどの表示装置や、スピーカおよびヘッドホンなどの音声出力装置や、プリンタ装置、携帯電話、ファクシミリなどがある。出力装置917は、例えば、動画像記録装置10が行った各種処理により得られた結果を出力する。具体的には、表示装置は、動画像記録装置10が行った各種処理により得られた結果を、テキストまたはイメージで表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して出力する。
ストレージ装置919は、動画像記録装置10の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置919は、例えば、HDD(Hard Disk Drive)等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイス等により構成される。このストレージ装置919は、CPU901が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。
ドライブ921は、記録媒体用リーダライタであり、動画像記録装置10に内蔵、あるいは外付けされる。ドライブ921は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体927に記録されている情報を読み出して、RAM905に出力する。また、ドライブ921は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体927に記録を書き込むことも可能である。リムーバブル記録媒体927は、例えば、DVDメディア、HD−DVDメディア、Blu−rayメディア等である。また、リムーバブル記録媒体927は、コンパクトフラッシュ(登録商標)(CompactFlash:CF)、フラッシュメモリ、または、SDメモリカード(Secure Digital memory card)等であってもよい。また、リムーバブル記録媒体927は、例えば、非接触型ICチップを搭載したICカード(Integrated Circuit card)または電子機器等であってもよい。
接続ポート923は、機器を動画像記録装置10に直接接続するためのポートである。接続ポート923の一例として、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)ポート等がある。接続ポート923の別の例として、RS−232Cポート、光オーディオ端子、HDMI(High−Definition Multimedia Interface)ポート等がある。この接続ポート923に外部接続機器929を接続することで、動画像記録装置10は、外部接続機器929から直接各種のデータを取得したり、外部接続機器929に各種のデータを提供したりする。
通信装置925は、例えば、通信網931に接続するための通信デバイス等で構成された通信インターフェースである。通信装置925は、例えば、有線または無線LAN(Local Area Network)、Bluetooth(登録商標)、またはWUSB(Wireless USB)用の通信カード等である。また、通信装置925は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、または、各種通信用のモデム等であってもよい。この通信装置925は、例えば、インターネットや他の通信機器との間で、例えばTCP/IP等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置925に接続される通信網931は、有線または無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内LAN、赤外線通信、ラジオ波通信または衛星通信等であってもよい。
以上、本発明の実施形態に係る動画像記録装置10の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
(まとめ)
以上説明したように、本発明の実施形態は、符号化された動画像データを取得して、ハードディスクドライブ等の記憶装置に記録する動画像記録装置に関するものである。本発明の実施形態に係る動画像記録装置は、動画像データを取得して記録する際、その動画像を特徴付ける特徴量を動画像データより抽出し、動画像データと共に記憶装置に記録する。また、本発明の実施形態に係る動画像記録装置は、記録されている特徴量データを用いて比較演算を行い、内容が同一である重複した動画像データを検索する。これにより、本発明に係る動画像記録装置は、少ない演算量で効率的に動画像データの重複を検出することができ、それをユーザに提示して重複分の削除を促すことで、ユーザに負担もかけず、効率的に記憶装置を利用することが可能となる。
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
例えば、上記実施形態では、特徴量抽出部103により抽出された特徴量データが記憶部109に格納される場合について説明したが、本発明は、かかる例に限定されない。例えば、特徴量データは、記憶部109に記録されず、重複コンテンツ検索部111が重複コンテンツの検索を行う毎に、特徴量抽出部103により特徴量データが抽出されてもよい。
10 動画像記録装置
101 動画像データ取得部
103 特徴量抽出部
105 動画像データ再符号化部
107 動画像データ記録部
109 記憶部
111,153 重複コンテンツ検索部
121 音量情報抽出部
123 字幕情報抽出部
125 シーンチェンジ情報抽出部
127 肌色検出情報抽出部
129 CM区間情報抽出部
131 特徴量データ取得部
133 除外区間検出部
135 特徴量データ補正部
137 類似データ検出部
139 重複コンテンツ消去部
151 特徴量データ送受信部

Claims (10)

  1. 動画像データを特徴づける特徴量に関する複数種類の特徴量データを、前記動画像データから抽出する特徴量抽出部と、
    前記特徴量抽出部により抽出された複数種類の前記特徴量データと、前記動画像データとが互いに関連付けられて記録される記憶部と、
    前記複数種類の特徴量データに基づいて、前記記憶部に格納されている複数の前記動画像データの中から互いに重複する動画像データである重複コンテンツを検索する重複コンテンツ検索部と、
    を備え、
    前記特徴量抽出部は、前記動画像データに含まれる音声データを一定時間ごとにサンプリングした音量情報を、音声データに関する特徴量データとして抽出するとともに、前記動画像データに対応する動画像において字幕が表示された時刻に関する字幕情報を、画像データに関する特徴量データとして抽出する、動画像記録装置。
  2. 前記重複コンテンツ検索部は、前記記憶部に前記重複コンテンツが存在する場合、前記動画像データが重複しなくなるまで、前記記憶部の中から該当する前記動画像データを削除する、請求項1に記載の動画像記録装置。
  3. 前記重複コンテンツ検索部は、任意の2つの前記動画像データに関連付けられた前記特徴量データ間の類似の度合いを算出し、前記類似の度合いが所定の閾値以上であった場合、前記重複コンテンツが存在すると判断する、請求項2に記載の動画像記録装置。
  4. 前記重複コンテンツ検索部は、前記特徴量データのうち少なくとも一部の時間区間に対応するものを利用し、前記類似の度合いを算出する、請求項に記載の動画像記録装置。
  5. 前記特徴量抽出部は、前記動画像データに対応する動画像においてコマーシャルが検出された時刻に関するコマーシャル区間情報を、前記特徴量データとして更に抽出し、
    前記重複コンテンツ検索部は、抽出された1または2以上の特徴量データの中から、前記コマーシャルが検出された時刻を除いて、前記類似の度合いを算出する、請求項4に記載の動画像記録装置。
  6. 前記特徴量抽出部は、前記動画像データに対応する動画像においてシーンチェンジの発生した時刻に関するシーンチェンジ情報を、前記特徴量データとして更に抽出する、請求項1に記載の動画像記録装置。
  7. 前記特徴量抽出部は、前記動画像データに対応する動画像において所定の割合以上の肌色部分が検出された時刻に関する肌色検出情報を、前記特徴量データとして更に抽出する、請求項1に記載の動画像記録装置。
  8. 前記動画像記録装置は、当該動画像記録装置の外部に設けられた情報処理装置との間で前記特徴量データの送受信を行う特徴量データ送受信部を更に備え、
    前記重複コンテンツ検索部は、前記情報処理装置から取得した前記特徴量データを更に利用して、前記重複コンテンツの検索を行う、請求項1に記載の動画像記録装置。
  9. 動画像データを特徴づける特徴量に関する複数種類の特徴量データを、前記動画像データから抽出するステップと、
    抽出された前記複数種類の特徴量データと前記動画像データとを互いに関連付けて記憶部に記録するステップと、
    前記複数種類の特徴量データに基づいて、前記記憶部に格納されている複数の前記動画像データの中から互いに重複する動画像データである重複コンテンツを検索するステップと、
    を含み、
    前記特徴量データを抽出するステップでは、前記動画像データに含まれる音声データを一定時間ごとにサンプリングした音量情報を、音声データに関する特徴量データとして抽出するとともに、前記動画像データに対応する動画像において字幕が表示された時刻に関する字幕情報を、画像データに関する特徴量データとして抽出する、動画像記録方法。
  10. コンピュータに、
    動画像データを特徴づける特徴量に関する複数種類の特徴量データを、前記動画像データから抽出する特徴量抽出機能と、
    前記特徴量抽出機能により抽出された複数種類の前記特徴量データと、前記動画像データとを互いに関連付けて記録する動画像データ記録機能と、
    前記複数種類の特徴量データに基づいて、記録されている複数の前記動画像データの中から互いに重複する動画像データである重複コンテンツを検索する重複コンテンツ検索機能と、
    を実現させ、
    前記特徴量抽出機能は、前記動画像データに含まれる音声データを一定時間ごとにサンプリングした音量情報を、音声データに関する特徴量データとして抽出するとともに、前記動画像データに対応する動画像において字幕が表示された時刻に関する字幕情報を、画像データに関する特徴量データとして抽出する、プログラム。
JP2009190104A 2009-08-19 2009-08-19 動画像記録装置、動画像記録方法およびプログラム Expired - Fee Related JP5521436B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2009190104A JP5521436B2 (ja) 2009-08-19 2009-08-19 動画像記録装置、動画像記録方法およびプログラム
US12/804,369 US8532465B2 (en) 2009-08-19 2010-07-20 Moving image recording apparatus, moving image recording method and program
CN2010102542849A CN101998097A (zh) 2009-08-19 2010-08-12 运动图像记录设备、运动图像记录方法以及程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009190104A JP5521436B2 (ja) 2009-08-19 2009-08-19 動画像記録装置、動画像記録方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2011044796A JP2011044796A (ja) 2011-03-03
JP5521436B2 true JP5521436B2 (ja) 2014-06-11

Family

ID=43605450

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009190104A Expired - Fee Related JP5521436B2 (ja) 2009-08-19 2009-08-19 動画像記録装置、動画像記録方法およびプログラム

Country Status (3)

Country Link
US (1) US8532465B2 (ja)
JP (1) JP5521436B2 (ja)
CN (1) CN101998097A (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7433350B2 (en) 2003-12-24 2008-10-07 At&T Intellectual Property Ii, L.P. Methods and apparatus for directory enabled network services
CN103377473B (zh) * 2012-04-19 2017-10-24 深圳市世纪光速信息技术有限公司 一种图像排重方法和装置
JP5954064B2 (ja) * 2012-09-10 2016-07-20 日本電気株式会社 映像データ処理装置、映像処理システム、映像処理方法、及びプログラム
US10825481B2 (en) 2018-05-16 2020-11-03 At&T Intellectual Property I, L.P. Video curation service for personal streaming

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3738631B2 (ja) * 1999-09-27 2006-01-25 三菱電機株式会社 画像検索システムおよび画像検索方法
CA2396565A1 (en) * 2000-01-12 2001-07-19 Jupiter Media Metrix, Inc. System and method for estimating prevalence of digital content on the world-wide-web
JP3863775B2 (ja) * 2001-12-25 2006-12-27 株式会社九州エレクトロニクスシステム 画像情報圧縮方法及び画像情報圧縮装置並びに画像情報圧縮プログラム
US8270753B2 (en) * 2005-06-14 2012-09-18 Nikon Corporation Image processing device, computer program product, and image processing method to restore signals in a saturated area
JP2007066409A (ja) * 2005-08-31 2007-03-15 Sony Corp 記録再生装置および記録再生方法
JP4525558B2 (ja) * 2005-11-08 2010-08-18 ソニー株式会社 情報処理装置、撮像装置、および情報処理方法、並びにコンピュータ・プログラム
JP2007324855A (ja) * 2006-05-31 2007-12-13 Funai Electric Co Ltd 記録装置
JP2008113147A (ja) * 2006-10-30 2008-05-15 Matsushita Electric Ind Co Ltd コンテンツ受信装置並びに録画装置、再生装置及び受信装置
US20080288509A1 (en) * 2007-05-16 2008-11-20 Google Inc. Duplicate content search
JP2009017048A (ja) * 2007-07-02 2009-01-22 Sony Corp 録画制御装置及び録画システム
CN101377847B (zh) * 2007-08-29 2010-06-02 中国科学院自动化研究所 一种文档图像的配准及特征点选取方法
JP4535118B2 (ja) * 2007-11-13 2010-09-01 ブラザー工業株式会社 通信装置及び通信先情報管理プログラム
US20100121844A1 (en) * 2008-11-07 2010-05-13 Yahoo! Inc. Image relevance by identifying experts

Also Published As

Publication number Publication date
CN101998097A (zh) 2011-03-30
US8532465B2 (en) 2013-09-10
US20110044663A1 (en) 2011-02-24
JP2011044796A (ja) 2011-03-03

Similar Documents

Publication Publication Date Title
US7433576B2 (en) Video data recording/reproducing apparatus and video data management method for use in the same
JP4350736B2 (ja) 放送録画装置と携帯用コンテンツ再生装置との間の放送コンテンツ同期化方法及びその装置
JP4707713B2 (ja) 映像記録装置及びシーンチェンジ抽出方法
US7512321B2 (en) Video recording/playback system and method for generating video data capable of providing information for substituting an advertisement thereby
US20130167189A1 (en) Determination of receiving live versus time-shifted media content at a communication device
JP5515890B2 (ja) 画像処理装置、画像処理方法、画像処理システム、制御プログラムおよび記録媒体
US8340494B2 (en) Image converter, image reproducer, image conversion/reproduction system, and recording medium
EP1526725A1 (en) Image processing apparatus, image data managing method, and information recording medium
US20120257872A1 (en) Information processing apparatus, information processing method, and program
JP2005519499A (ja) キー音声/映像セグメントを検出するためのトランスクリプト情報の使用
JP5521436B2 (ja) 動画像記録装置、動画像記録方法およびプログラム
JP5003641B2 (ja) 記録再生装置
US20050122430A1 (en) Image storing/replaying apparatus and method therefor
JP2002330390A (ja) 録画装置
US20080145023A1 (en) Video recording
KR100978995B1 (ko) 정보 기록 처리 장치, 정보 재생 처리 장치, 및 방법, 및 기록 매체
US20130101271A1 (en) Video processing apparatus and method
EP1720349A2 (en) Digital broadcast recorder and method for recording title using the same
JP4514618B2 (ja) デジタル放送受信装置
KR100696831B1 (ko) 영상 녹화 시스템의 예약 녹화 방법
JP2006270793A (ja) ダイジェスト録画システム
JP2009117923A (ja) 画像処理装置、画像処理方法及びプログラム
JP4893801B2 (ja) 記録装置及び記録方法
KR20080042534A (ko) 멀티미디어 데이터 제공 장치와 이를 이용한 디지털멀티미디어 시스템 및 그 동작 방법
JP2006115405A (ja) 広告信号検出装置及び記録再生装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120813

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131008

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131015

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140107

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140224

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140311

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140324

LAPS Cancellation because of no payment of annual fees