JP4491040B1 - 映像処理装置および映像処理方法 - Google Patents

映像処理装置および映像処理方法 Download PDF

Info

Publication number
JP4491040B1
JP4491040B1 JP2009085882A JP2009085882A JP4491040B1 JP 4491040 B1 JP4491040 B1 JP 4491040B1 JP 2009085882 A JP2009085882 A JP 2009085882A JP 2009085882 A JP2009085882 A JP 2009085882A JP 4491040 B1 JP4491040 B1 JP 4491040B1
Authority
JP
Japan
Prior art keywords
data
digital broadcast
video
video processing
broadcast
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009085882A
Other languages
English (en)
Other versions
JP2010239435A (ja
Inventor
順 佐藤
純 大橋
恵古 渡邊
夏樹 野瀬
健太郎 永濱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2009085882A priority Critical patent/JP4491040B1/ja
Priority to EP10150534A priority patent/EP2237553B1/en
Priority to AT10150534T priority patent/ATE557528T1/de
Application granted granted Critical
Publication of JP4491040B1 publication Critical patent/JP4491040B1/ja
Publication of JP2010239435A publication Critical patent/JP2010239435A/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43074Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on the same device, e.g. of EPG data or interactive icon with a TV program
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368Multiplexing of audio and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341Demultiplexing of audio and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439Processing of audio elementary streams
    • H04N21/4394Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/488Data services, e.g. news ticker
    • H04N21/4884Data services, e.g. news ticker for displaying subtitles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/46Receiver circuitry for the reception of television signals according to analogue transmission standards for receiving on more than one standard at will

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

【課題】12セグメントのデジタル放送を録画して移動体端末機器に最適なデータ容量に変換し、かつ移動体端末機器の小さな画面でも判読可能な字幕を付することができる映像処理装置および映像処理方法を提供する。
【解決手段】12セグメントのデジタル放送と1セグメントのデジタル放送とが映像処理アプリケーション202によってサイマル放送であると判別された場合、12セグメントのデジタル放送に含まれる映像データおよび音声データを当該映像データおよび音声データよりもデータ容量の小さな動画データとする変換を行い、変換された動画データに1セグメントのデジタル放送に含まれる字幕データを多重化し、制御部202aによってHDD111に記憶する。
【選択図】 図2

Description

本発明は、デジタル放送を変換する映像処理装置に係り、特に、サイマル放送受信時に、移動体端末向け放送の字幕情報を利用して多重化を行うことができる映像処理装置および映像処理方法に関する。
地上デジタル放送では、12セグメントのデジタル放送と、1セグメントのデジタル放送とが行われている。12セグメントのデジタル放送とは、家庭用テレビジョン向けにハイビジョン番組を送出するものであり、1セグメントのデジタル放送とは、携帯電話等の移動端末向けに簡易動画を送出するものである。12セグメントのデジタル放送と、1セグメントのデジタル放送の所要な受信電力が異なるため、電波状態に応じて受信するデジタル放送を感度の良い放送に切り替える技術が開示されている。
しかしながら、デジタル放送受信機を操作中である場合に12セグメントデジタル放送と1セグメントデジタル放送の切替を行ってしまうと、操作内容が無効になってしまうという問題があった。また、必ずしも12セグメントデジタル放送と1セグメントデジタル放送とが同時刻に同じ内容が放送されるサイマル放送とは限らないので、切替が不要な場合もあった。
特許文献1に開示されている技術では、テレビジョン受像機が操作中であるか否か、またはサイマル放送であるか否かを判別して、12セグメントデジタル放送と1セグメントデジタル放送の切替を行うことができる。
特開2007−251480号公報
上述のように、携帯電話等の移動端末向けに簡易動画を送出するものであり、12セグメントのデジタル放送に比べて映像品質は劣るものである。そこで、12セグメントデジタル放送と1セグメントデジタル放送とがサイマル放送されている場合には、12セグメントのデジタル放送における映像音声を移動端末向けにトランスコードし、1セグメントのデジタル放送よりも高品質な映像音声を視聴することが望まれている。
更に、12セグメントのデジタル放送の映像音声のトランスコードに加えて、字幕情報もトランスコードする必要ある。しかし、12セグメントのデジタル放送における字幕情報からトランスコードした場合、移動端末向けの字幕の仕様に合致せず、判読が不可能になってしまうことがあった。
そこで、本発明は、12セグメントのデジタル放送を1セグメントのデジタル放送よりも高画質な映像データに変換し、かつ移動体端末機器の小さな画面でも判読可能な字幕を付することができる映像処理装置および映像処理方法を提供することを目的とする。
上記目的を達成するために、本願発明の一態様によれば、第1の映像データ、第1の音声データおよび第1の字幕データを備えた第1のデジタル放送と、前記第1のデジタル放送よりデータ容量の小さい、第2の映像データ、第2の音声データおよび第2の字幕データを備えた第2のデジタル放送とを受信する受信機と、前記受信機によって受信された前記第1のデジタル放送と第2のデジタル放送とがサイマル放送であるか否かを判別する判別部と、前記判別部によって前記第1のデジタル放送と第2のデジタル放送とがサイマル放送であると判別された場合、前記第1および第2のデジタル放送から前記第1および第2の字幕データをそれぞれ分離し、前記第1の字幕データが分離された前記第1のデジタル放送である前記第1の映像データおよび第1の音声データを前記第1の映像データおよび第1の音声データよりもデータ容量の小さな動画データとする変換を行い、前記動画データに前記第2の字幕データを多重化する処理を行う変換部と、を具備することを特徴とする映像処理装置が提供される。
また、本発明の一態様によれば、第1の映像データ、第1の音声データおよび第1の字幕データを備えた第1のデジタル放送と、前記第1のデジタル放送よりデータ容量の小さい、第2の映像データ、第2の音声データおよび第2の字幕データを備えた第2のデジタル放送とを受信する受信機を備えた映像処理装置で用いられる映像処理方法であって、前記受信機によって受信された前記第1のデジタル放送と第2のデジタル放送とがサイマル放送であるか否かを判別し、前記第1のデジタル放送と第2のデジタル放送とがサイマル放送であると判別された場合、前記第1および第2のデジタル放送から前記第1および第2の字幕データをそれぞれ分離し、前記第1の字幕データが分離された前記第1のデジタル放送である前記第1の映像データおよび第1の音声データを前記第1の映像データおよび第1の音声データよりもデータ容量の小さな動画データとする変換を行い、前記動画データに前記第2の字幕データを多重化する処理を行うことを特徴とする映像処理方法が提供される。
本発明は、12セグメントのデジタル放送を1セグメントのデジタル放送よりも高画質な映像データに変換し、かつ移動体端末機器の小さな画面でも判読可能な字幕を付することができる。
本発明の一実施形態に係る映像処理装置の斜視の外観を示す図。 本発明の一実施形態に係る映像処理装置の構成の概略を示すブロック図。 本発明の一実施形態に係る映像処理装置で用いられる映像処理アプリケーションプログラムの機能構成を示すブロック図。 本発明の一実施形態に係る映像処理装置で用いられる映像処理アプリケーションプログラムを中心とした構成を示すブロック図。 本発明の一実施形態に係る映像処理装置で用いられる映像処理アプリケーションプログラムにおける映像処理の手順を示したフローチャート。 本発明の一実施形態に係る映像処理装置で用いられる映像処理アプリケーションプログラムにおける映像処理の手順を示したフローチャート。 本発明の一実施形態に係る映像処理装置におけるサイマル放送の判別および各デジタル放送のずれを検出する方法を模式的に示した図。
以下、本発明の一実施形態について図面を参照しながら説明する。
まず、図1を参照して、本発明の一実施形態に係る映像処理装置の構成を説明する。本実施形態の映像処理装置は、例えば、ノートブック型のパーソナルコンピュータ10として実現されている。なお、本実施形態では、ノートブック型のパーソナルコンピュータ10として説明しているが、これに限定されるものではない。例えば、HDD(DVD)レコーダや、録画機能を内蔵したテレビジョン装置等、デジタル放送(12セグメントのデジタル放送および1セグメントのデジタル放送)を受信可能な機器であればよい。
このパーソナルコンピュータ10は、オペレーティングシステム(OS)上で動作する映像処理アプリケーションプログラム(以下、映像処理アプリケーションとも称する)を備えている。この映像処理アプリケーションプログラムは、受信された12セグメントのデジタル放送(第1のデジタル放送)と1セグメントのデジタル放送(第2のデジタル放送)とがサイマル放送であるか否かを判別する。また、12セグメントのデジタル放送と1セグメントのデジタル放送とがサイマル放送であると判別された場合は、12セグメントのデジタル放送から第1の字幕データを分離し、第1の字幕データが分離された12セグメントのデジタル放送である第1の映像データおよび第1の音声データを当該第1の映像データおよび第1の音声データよりもデータ容量の小さな動画データ(例えば、移動体端末機器向けフォーマット)とする変換を行い、変換された動画データに1セグメントのデジタル放送から分離した第2の字幕データを多重化する処理を行う。
また、映像処理アプリケーションプログラムは、12セグメントのデジタル放送および1セグメントのデジタル放送に含まれている番組情報によってサイマル放送であるか否かを判別する。なお、番組情報は、EPG情報、音声データおよび映像データのいずれか1つ以上である。また、映像処理アプリケーションプログラムは、番組情報、音声データ及び映像データによって12セグメントのデジタル放送および1セグメントのデジタル放送のずれ情報を検出する。ずれ情報とは即ち、サイマル放送中の12セグメントのデジタル放送と1セグメントのデジタル放送との放送時間のずれを示す情報である。検出されたずれ情報に基づいて動画データと1セグメントのデジタル放送に含まれる第2の字幕データとの同期を行うことで、動画データと第2の字幕データとを多重化する処理を行う。なお、多重化された動画データは、1セグメントのデジタル放送のデータ容量よりも大きいものとする。
このため、移動体端末機器等で1セグメントのデジタル放送よりも良質な画質と、1セグメントのデジタル放送の移動体端末機器に最適された字幕とが多重化された動画データを閲覧することができる。
図1はコンピュータ10のディスプレイユニットを開いた状態における斜視図である。
本コンピュータ10は、コンピュータ本体(筐体)11と、ディスプレイユニット12とから構成されている。ディスプレイユニット12には、TFT−LCD(Thin Film Transistor Liquid Crystal Display)17から構成される表示装置が組み込まれている。
ディスプレイユニット12は、コンピュータ本体11に対し、コンピュータ本体11の上面が露出される開放位置とコンピュータ本体11の上面を覆う閉塞位置との間をヒンジ部21を介して回動(開閉)自在に取り付けられている。コンピュータ本体11は薄い箱形の筐体を有しており、その上面にはキーボード13、本コンピュータ10をパワーオン/パワーオフするためのパワーボタン14、入力操作パネル15、タッチパッド16、メモリカードスロット110、およびスピーカ18A,18Bなどが配置されている。
入力操作パネル15は、押されたボタンに対応するイベントを入力する入力装置であり、複数の機能をそれぞれ起動するための複数のボタンを備えている。
次に、図2を参照して、本コンピュータ10のシステム構成について説明する。図2は、コンピュータ10の構成の概略を示すブロック図である。
本コンピュータ10は、図2に示されているように、CPU(判別部、変換部)101、ノースブリッジ102、主メモリ103、サウスブリッジ104、グラフィクスプロセッシングユニット(GPU)105、ビデオメモリ(VRAM)105A、サウンドコントローラ106、BIOS−ROM109、メモリカードスロット110、ハードディスクドライブ(HDD)111、DVDドライブ112、IEEE 1394コントローラ115、エンベデッドコントローラ/キーボードコントローラIC(EC/KBC)116、LCD17、TVチューナ117、アンテナ19およびEEPROM118等を備えている。
CPU101は本コンピュータ10の動作を制御するプロセッサであり、ハードディスクドライブ(HDD)111から主メモリ103にロードされる、オペレーティングシステム(OS)201、および映像処理アプリケーションプログラム(判別部、変換部)202のような各種アプリケーションプログラムを実行する。映像処理アプリケーションプログラム202は、受信された12セグメントのデジタル放送と1セグメントのデジタル放送とがサイマル放送であると判別された場合、12セグメントのデジタル放送から第1の字幕データを分離し、第1の字幕データが分離された12セグメントのデジタル放送である第1の映像データおよび第1の音声データを当該第1の映像データおよび第1の音声データよりもデータ容量の小さな動画データとする変換を行い、変換された動画データに第2の字幕データを多重化する処理を行うことができるソフトウェアである。なお、多重化された動画データは、1セグメントのデジタル放送のデータ容量よりも大きいものとする。
ノースブリッジ102はCPU101のローカルバスとサウスブリッジ104との間を接続するブリッジデバイスである。ノースブリッジ102には、主メモリ103をアクセス制御するメモリコントローラも内蔵されている。また、ノースブリッジ102は、PCI EXPRESS規格のシリアルバスなどを介してGPU105との通信を実行する機能も有している。
GPU105は、本コンピュータ10のディスプレイモニタとして使用されるLCD17を制御する表示コントローラである。このGPU105によって生成される表示信号は近距離無線通信を用いてディスプレイユニット12のLCD17に送られる。
サウスブリッジ104は、LPC(Low Pin Count)バス上の各デバイス、およびPCI(Peripheral Component Interconnect)バス上の各デバイスを制御する。また、サウスブリッジ104は、ハードディスクドライブ(HDD)111およびDVDドライブ112を制御するためのIDE(Integrated Drive Electronics)コントローラを内蔵している。さらに、サウスブリッジ104は、サウンドコントローラ106との通信を実行する機能も有している。
サウンドコントローラ106は音源デバイスであり、再生対象のオーディオデータをスピーカ18A,18Bに出力する。
エンベデッドコントローラ/キーボードコントローラIC(EC/KBC)116は、電力管理のためのエンベデッドコントローラと、キーボード(KB)13およびタッチパッド16を制御するためのキーボードコントローラとが集積された1チップマイクロコンピュータである。このエンベデッドコントローラ/キーボードコントローラIC(EC/KBC)116は、ユーザによるパワーボタン14の操作に応じて本コンピュータ10をパワーオン/パワーオフする機能を有している。
メモリカードスロット110は、SDカード等のメモリカードを装着することができる。このメモリカードに、映像処理アプリケーション202によって変換された例えば移動体端末機器用の動画データを記憶することができる。移動体端末機器では、このメモリカードを挿入することで、メモリカードに記憶された動画データを再生することができる。
TVチューナ117は、アンテナ19を介してデジタル放送(12セグメントのデジタル放送および1セグメントのデジタル放送等)を受信するチューナーユニットである。受信したデジタル放送は、例えば映像処理アプリケーション202等によって映像処理(エンコード処理、変換処理等)が行われ、HDD111等に録画(記憶)される。また、TVチューナ117自体にハードウエアエンコード機能を備えていてもよい。
次に、図3は、映像処理アプリケーションプログラム202の機能構成を示したブロック図である。
映像処理アプリケーションプログラム202は、制御部202a、判別部202b、変換部202c、記憶部202dを備えている。制御部202aは、判別部202bおよび変換部202cを制御する。判別部202bは、12セグメントのデジタル放送と1セグメントのデジタル放送とがサイマル放送であるか否かを判別する。サイマル放送であるか否かの判別方法には、デジタル放送に含まれている番組情報を用いる。番組情報は、EPG情報、音声データおよび映像データのいずれか1つ以上であるが、望ましくは、EPG情報を必須情報とする。このEPG情報に加えて、音声データおよび映像データのいずれか1つ以上をさらに取得することで判別の精度を上げることができる。変換部202cは、第1の映像データおよび第1の音声データを当該第1の映像データおよび第1の音声データよりもデータ容量の小さな動画データとする変換を行い、変換された動画データに第2の字幕データを多重化し、HDD111やメモリカードスロット110等に記憶する処理を行う。記憶部202dは、変換前および変換後の動画データを一時的に記憶したり、番組情報を一時的に記憶するための記憶領域である。
次に図4は、映像処理アプリケーションプログラム202を中心とした構成を示したブロック図である。
映像処理アプリケーションプログラム202は、放送波分離部300、地デジ受信部301、ワンセグ受信部302、分離部303、304、番組比較部305、ビデオ記憶領域306、313、オーディオ記憶領域307、312、字幕記憶領域308、311、その他(情報記憶領域)309、310、ビデオトランスコーダ314、オーディオトランスコーダ315、字幕トランスコーダ316、同期制御部317、多重部318、記憶部202dを備えている。
放送波分離部300は、アンテナ19を介してTVチューナ117が受信したデジタル放送(12セグメントのデジタル放送:地デジおよび1セグメントのデジタル放送:ワンセグ)を、12セグメントのデジタル放送:地上デジタル放送と、1セグメントのデジタル放送:ワンセグ放送とに分離する。地デジ受信部301は、放送波分離部300にて分離された12セグメントのデジタル放送(地デジ)を受信する。ワンセグ受信部302は、放送波分離部300にて分離された1セグメントのデジタル放送(ワンセグ)を受信する。分離部303は、12セグメントのデジタル放送(地デジ)に含まれる映像データ(ビデオデータ:第1の映像データ)、音声データ(オーディオデータ:第1の音声データ)、字幕データ(第1の字幕データ)、および番組情報を分離する。分離部304は、1セグメントのデジタル放送(ワンセグ)に含まれる映像データ(ビデオデータ:第2の映像データ)、音声データ(オーディオデータ:第2の音声データ)、字幕データ(第2の字幕データ)、および番組情報を分離する。番組比較部305は、分離部303、304によって分離された各種データに基づいて、12セグメントのデジタル放送と1セグメントのデジタル放送とがサイマル放送(内容が同一の放送)かどうかの判別を行う。また番組比較部305は、12セグメントのデジタル放送と1セグメントのデジタル放送とのずれ情報を検出する。ビデオ記憶領域306は、12セグメントのデジタル放送のビデオデータ(映像データ)を記憶する記憶領域である。ビデオ記憶領域313は、1セグメントのデジタル放送のビデオデータ(映像データ)を記憶する記憶領域である。オーディオ記憶領域307は、12セグメントのデジタル放送のオーディオデータ(音声データ)を記憶する記憶領域である。オーディオ記憶領域312は、1セグメントのデジタル放送のオーディオデータ(音声データ)を記憶する記憶領域である。字幕記憶領域308は、12セグメントのデジタル放送の字幕データを記憶する記憶領域である。字幕記憶領域311は、1セグメントのデジタル放送の字幕データを記憶する記憶領域である。その他(情報記憶領域)309は、12セグメントのデジタル放送に含まれるEPG(Electronic Program Guide)情報等のデータを記憶する記憶領域である。その他(情報記憶領域)310は、1セグメントのデジタル放送に含まれるEPG(Electronic Program Guide)情報等のデータを記憶する記憶領域である。
また、ビデオトランスコーダ314は、12セグメントのデジタル放送のビデオデータ(映像データ)を当該ビデオデータより容量の小さいビデオデータ(動画データ)に変換(トランスコード)する。ビデオトランスコーダ314は、様々な容量のビデオデータに変換可能である。例えば、当該ビデオデータより容量の小さいビデオデータ(動画データ)で、かつ1セグメントのデジタル放送のビデオデータ(映像データ)よりも容量が大きい(画質が良い)ビデオデータに変換する。オーディオトランスコーダ315は、12セグメントのデジタル放送のオーディオデータ(音声データ)を当該オーディオデータより容量の小さいオーディオデータ(音声データ)に変換(トランスコード)する。オーディオトランスコーダ315は、様々な容量のオーディオデータに変換可能である。例えば、当該オーディオデータより容量の小さいオーディオデータ(音声データ)で、かつ1セグメントのデジタル放送のオーディオデータ(音声データ)よりも容量が大きい(音質が良い)オーディオデータに変換する。字幕トランスコーダ316は、12セグメントのデジタル放送の字幕データを変換する。しかし、必ずしも移動体端末機器500の小さな画面で判読可能な字幕データに変換できるわけではないので、トランスコードした12セグメントのデジタル放送の字幕データは積極的に利用しないものとする。同期制御部317は、番組比較部305から12セグメントのデジタル放送と1セグメントのデジタル放送とのずれの情報を受信し、受信したずれの情報に基づいて、変換後のビデオデータと1セグメントのデジタル放送から分離した字幕データとの同期を行う(後述)。多重部318は、同期制御部317により同期された変換後のビデオデータと1セグメントのデジタル放送から分離した字幕データとの多重化を行い、変換後のビデオデータに1セグメントのデジタル放送から分離した字幕データを組み込む処理を行う。さらに番組比較部305において、12セグメントのデジタル放送と1セグメントのデジタル放送のサイマル放送の判別に音声データや映像データを用いて、サイマル放送かどうかの判別だけでなく、放送時刻のずれを識別した結果をもとに、同期制御部317は、12セグメントのデジタル放送の映像・音声と、1セグメントのデジタル放送の字幕情報を多重化する場合に同期を取る。
変換後のビデオデータに1セグメントのデジタル放送から分離した字幕データを組み込む処理がされた動画データは、記憶部202dに一時的に記憶される。その後、HDD111に記憶される。HDD111に記憶された動画データは、例えば、メモリカードスロット110を介してメモリカード110aに記憶され、移動体端末機器500等で再生可能となる。このため、12セグメントのデジタル放送を移動体端末機器向けに変換して記録する場合、移動体端末機器向けに最適化された字幕情報(第2の字幕データ)を用いることで、ユーザにとって読みやすい字幕情報が構成できる。
次に、本実施の形態における映像処理の手順を説明する。図5および図6は、映像アプリケーションプログラム202における映像処理の手順を示すフローチャートである。
CPU101は、HDD111等に記憶された映像処理アプリケーションプログラム202を起動して主メモリ103にロードし、実行する。
CPU101は、アンテナ19を介してTVチューナ117によりデジタル放送(12セグメントのデジタル放送および1セグメントのデジタル放送)の受信を開始する(ステップS101)。次に、CPU101は、受信したデジタル放送(12セグメントのデジタル放送および1セグメントのデジタル放送)がサイマル放送か否かを判別する(ステップS102)。ステップS102で、CPU101によって、受信したデジタル放送(12セグメントのデジタル放送および1セグメントのデジタル放送)がサイマル放送であると判別された場合(ステップS102のYES)、12セグメントのデジタル放送から字幕データを残して分離し、分離した映像データおよび音声データを、例えば移動体端末機器500で再生可能な動画フォーマット(MPEG(Moving Picture Experts Group)4等)に変換する。同時に、受信した1セグメントのデジタル放送から字幕データを分離する(ステップS103)。なお、上述した移動体端末機器500で再生可能な動画フォーマットは、例えば1セグメントのデジタル放送(ワンセグ放送)よりもデータ容量の大きい(画質の良い)ビデオデータに変換するものとする。
CPU101は、変換したMPEG4等の動画データと1セグメントのデジタル放送から字幕データとを多重化する処理を行う(ステップS104)。多重化の処理を行う場合、12セグメントのデジタル放送と1セグメントのデジタル放送との放送時間のずれを検出して、検出されたずれに基づいて同期処理を行う。
ずれを検出する方法について、図7を用いて説明する。図7は、サイマル放送の判別および各デジタル放送のずれを検出する方法を模式的に示した図である。例えば図7に示されるように、地デジ放送(12セグメントのデジタル放送)の音声波形を正規化し、音声波形のパワーをグラフ化する。同様に、ワンセグ放送(1セグメントのデジタル放送)の音声波形を正規化し、音声波形のパワーをグラフ化する。この場合、例えば10ms単位時間で比較すると、両方の波形は一致し、地デジ放送(12セグメントのデジタル放送)の音声波形が10ms進んでいることがわかる。すなわち、まず、地デジ放送およびワンセグの音声パワーを求める(音声パワーは、単位時間当たり(たとえば10ms)の音声サンプル値の二乗を足しこんだものとなる)。それぞれの音声パワーは例えば30秒分程度保持しておく(リングバッファー形式でよい)。
例えば、ワンセグの音声パワーの任意の箇所の1秒分に関して、地デジ放送の音声パワーと一致するか検出する。例えば、パワーを求めた単位時間(上述した例では10ms)ずつずらして例えば、最大前後5秒程度マッチングさせる。多少の誤差は許容するようにする(値そのものが大切なのではなく、音声パワーの値の遷移傾向が重要である)。例えば1分ごとに、これらの処理を繰り返すようにする。
そして、一致する箇所を検出した場合は、例えば音声にてサイマル放送であることを確認できた場合は、一致した区間同士の時間差が放送時刻のずれを示すものである。一方、一致する箇所を検出できなかった場合は、音声にてサイマル放送であることは確認できなかったので、放送時間のずれも検出できない。なお、後述するが、サイマル放送の判別には、図7で示されるように、各デジタル放送の音声データ同士を比較するようにしてもよいし、後述する映像データやEPG情報を比較するようにしてもよい。
次に、ステップS104で、CPU101によって、変換したMPEG4等の動画データと1セグメントのデジタル放送から字幕データとを多重化する処理を行った後に、HDD111等に録画(記憶)する処理を行う(ステップS105)。その後に引き続き録画処理を行わずに、録画処理を終了する場合(ステップS106のYES)は、終了し、引き続き録画処理を行う場合は、ステップS102に遷移する。
一方、ステップS102で、CPU101によって、サイマル放送でないと判別された場合(ステップS102のNO)、12セグメントのデジタル放送の映像データ、音声データおよび字幕データのすべてを移動体端末機器500等で再生可能なMPEG4等のフォーマットに変換する(ステップS107)。
次に、上述したステップS102で行われるサイマル放送か否かの判別方法について、図6を参照して説明する。
まず、映像処理アプリケーション202を主メモリ103にロードしたCPU101は、TVチューナ117によりデジタル放送(12セグメントのデジタル放送および1セグメントのデジタル放送)を受信し、同時に各デジタル放送(12セグメントのデジタル放送および1セグメントのデジタル放送)に含まれるEPG情報を受信する(ステップS201)。CPU101は、受信した各EPG情報が互いに一致するか否かを判別する(ステップS202)。ステップS202で、CPU101によって受信した各EPG情報が互いに一致すると判別された場合(ステップS202のYES)、受信した各デジタル放送(12セグメントのデジタル放送および1セグメントのデジタル放送)は、サイマル放送であると判別される(ステップS207)。一方、ステップS202で、CPU101によって受信した各EPG情報が互いに一致しないと判別された場合(ステップS202のNO)、CPU101は、各デジタル放送(12セグメントのデジタル放送および1セグメントのデジタル放送)の映像データを取得する(ステップS203)。次に、取得した各デジタル放送(12セグメントのデジタル放送および1セグメントのデジタル放送)の映像データが互いに一致するか否かを判別する(ステップS204)。ステップS204で、CPU101によって、映像データが互いに一致すると判別された場合(ステップS204のYES)、受信した各デジタル放送(12セグメントのデジタル放送および1セグメントのデジタル放送)は、サイマル放送であると判別される(ステップS207)。一方、ステップS204で、CPU101によって、映像データが互いに一致しないと判別された場合(ステップS204のNO)、CPU101は、各デジタル放送(12セグメントのデジタル放送および1セグメントのデジタル放送)の音声データを取得する(ステップS205)。次に、取得した各デジタル放送(12セグメントのデジタル放送および1セグメントのデジタル放送)の音声データが互いに一致するか否かを判別する(ステップS206)。ステップS206で、CPU101によって、音声データが互いに一致すると判別された場合(ステップS206のYES)、受信した各デジタル放送(12セグメントのデジタル放送および1セグメントのデジタル放送)は、サイマル放送であると判別される(ステップS207)。一方、ステップS206で、CPU101によって、音声データが互いに一致しないと判別された場合(ステップS206のNO)、各デジタル放送(12セグメントのデジタル放送および1セグメントのデジタル放送)は、サイマル放送でないと判別される(ステップS208)。
なお、図7に示されるように、各デジタル放送(12セグメントのデジタル放送および1セグメントのデジタル放送)は、サイマル放送であっても同一の放送時刻で放送されていない場合があるため、例えば、10msや20msの単位で比較し、20ms程度までは誤差の範囲と見なせるものである(以上の処理を「処理A」と称する)。また、上述した「処理A」をステップS207を行う直前に実施するようにしてもよい。
さらに、図6に示されるように、上述した処理のうち、映像データの一致を判別する処理(ステップS203、ステップS204)と、音声データの一致を判別する処理(ステップS205、ステップS206)とを入れ替えるようにしてもよい。また、EPG情報の一致を判別する処理(ステップS202)を、上述した映像データの一致を判別する処理または音声データの一致を判別する処理と入れ替えるようにしてもよい。
以上、上述した実施形態によれば、12セグメントのデジタル放送を1セグメントのデジタル放送よりも高画質な映像データに変換し、かつ移動体端末機器の小さな画面でも判読可能な字幕を付することができる。また、サイマル放送の判別にEPG情報の比較に加えて、音声データや映像データの比較を行うことにより、判別の精度を向上させることができる。さらに、サイマル放送の判別に音声データを用いることで、番組途中に編成が変更になった場合にも追従することができる。
また、本実施形態の12セグメントのデジタル放送は地上デジタル放送に限らず、衛星放送やケーブルテレビや通信伝送路を介した有線放送でもよい。
また、本実施形態の映像処理装置はコンピュータ10によって実現するのみならず、例えば、PDA(Personal Data Assistance)のような様々なコンシューマ映像処理装置によって実現することもできる。さらに、映像処理アプリケーション202の機能は、DSP(Digital Signal Processor)、マイクロコンピュータのようなハードウェアによっても実現可能である。
また、本発明は、前記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、前記実施形態に開示されている複数の構成要素の適宜な組み合わせにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に構成要素を適宜組み合わせてもよい。
10…映像処理装置(コンピュータ)、17…LCD、11…本体、12…ディスプレイユニット、19…アンテナ、101…CPU、105…GPU、109…BIOS−ROM、110…メモリカードスロット、110a…メモリカード、111…HDD、112…DVD、117…TVチューナ、202…映像処理アプリケーションプログラム、202a…制御部、202b…判別部、202c…変換部、202d…記憶部、300…放送波分離部、301…地デジ受信部、302…ワンセグ受信部、303、304…分離部、305…番組比較部、318…多重部、500…移動体端末機器

Claims (10)

  1. 第1の映像データ、第1の音声データおよび第1の字幕データを備えた第1のデジタル放送と、前記第1のデジタル放送よりデータ容量の小さい、第2の映像データ、第2の音声データおよび第2の字幕データを備えた第2のデジタル放送とを受信する受信機と、
    前記受信機によって受信された前記第1のデジタル放送と第2のデジタル放送とがサイマル放送であるか否かを判別する判別部と、
    前記判別部によって前記第1のデジタル放送と第2のデジタル放送とがサイマル放送であると判別された場合、前記第1および第2のデジタル放送から前記第1および第2の字幕データをそれぞれ分離し、前記第1の字幕データが分離された前記第1のデジタル放送である前記第1の映像データおよび第1の音声データを前記第1の映像データおよび第1の音声データよりもデータ容量の小さな動画データとする変換を行い、前記動画データに前記第2の字幕データを多重化する処理を行う変換部と、を具備することを特徴とする映像処理装置。
  2. 前記判別部は、前記第1のデジタル放送および第2のデジタル放送に含まれている番組情報によってサイマル放送であるか否かを判別することを特徴とする請求項1に記載の映像処理装置。
  3. 前記番組情報は、EPG情報、音声情報および映像情報のいずれか1つ以上であることを特徴とする請求項2に記載の映像処理装置。
  4. 前記変換部は、前記番組情報によって前記第1のデジタル放送および第2のデジタル放送の放送時刻のずれ情報を検出し、検出されたずれ情報に基づいて前記動画データと第2の字幕データとの同期を行うことで、前記動画データと前記第2の字幕データとを多重化する処理を行うことを特徴とする請求項1に記載の映像処理装置。
  5. 前記動画データは、前記第2のデジタル放送のデータ容量よりも容量が大きいことを特徴とする請求項1に記載の映像処理装置。
  6. 第1の映像データ、第1の音声データおよび第1の字幕データを備えた第1のデジタル放送と、前記第1のデジタル放送よりデータ容量の小さい、第2の映像データ、第2の音声データおよび第2の字幕データを備えた第2のデジタル放送とを受信する受信機を備えた映像処理装置で用いられる映像処理方法であって、
    前記受信機によって受信された前記第1のデジタル放送と第2のデジタル放送とがサイマル放送であるか否かを判別し、
    前記第1のデジタル放送と第2のデジタル放送とがサイマル放送であると判別された場合、前記第1および第2のデジタル放送から前記第1および第2の字幕データをそれぞれ分離し、前記第1の字幕データが分離された前記第1のデジタル放送である前記第1の映像データおよび第1の音声データを前記第1の映像データおよび第1の音声データよりもデータ容量の小さな動画データとする変換を行い、前記動画データに前記第2の字幕データを多重化する処理を行うことを特徴とする映像処理方法。
  7. 前記第1のデジタル放送および第2のデジタル放送に含まれている番組情報によってサイマル放送であるか否かを判別することを特徴とする請求項6に記載の映像処理方法。
  8. 前記番組情報は、EPG情報、音声情報および映像情報のいずれか1つ以上であることを特徴とする請求項7に記載の映像処理方法。
  9. 前記番組情報によって前記第1のデジタル放送および第2のデジタル放送の放送時刻のずれ情報を検出し、検出されたずれ情報に基づいて前記動画データと第2の字幕データとの同期を行うことで、前記動画データと前記第2の字幕データとを多重化する処理を行うことを特徴とする請求項6に記載の映像処理方法。
  10. 前記動画データは、前記第2のデジタル放送のデータ容量よりも容量が大きいことを特徴とする請求項6に記載の映像処理方法。
JP2009085882A 2009-03-31 2009-03-31 映像処理装置および映像処理方法 Expired - Fee Related JP4491040B1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2009085882A JP4491040B1 (ja) 2009-03-31 2009-03-31 映像処理装置および映像処理方法
EP10150534A EP2237553B1 (en) 2009-03-31 2010-01-12 Video processing apparatus and video processing method
AT10150534T ATE557528T1 (de) 2009-03-31 2010-01-12 Videoverarbeitungsvorrichtung und videoverarbeitungsverfahren

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009085882A JP4491040B1 (ja) 2009-03-31 2009-03-31 映像処理装置および映像処理方法

Publications (2)

Publication Number Publication Date
JP4491040B1 true JP4491040B1 (ja) 2010-06-30
JP2010239435A JP2010239435A (ja) 2010-10-21

Family

ID=42127875

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009085882A Expired - Fee Related JP4491040B1 (ja) 2009-03-31 2009-03-31 映像処理装置および映像処理方法

Country Status (3)

Country Link
EP (1) EP2237553B1 (ja)
JP (1) JP4491040B1 (ja)
AT (1) ATE557528T1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012169993A (ja) * 2011-02-16 2012-09-06 Nippon Telegr & Teleph Corp <Ntt> コンテンツ同期装置、コンテンツ同期方法及びコンテンツ同期プログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008053991A (ja) * 2006-08-24 2008-03-06 Matsushita Electric Ind Co Ltd デジタル放送受信装置
JP2008252661A (ja) * 2007-03-30 2008-10-16 Toshiba Corp 番組録画装置および番組録画方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5852612A (en) * 1995-03-16 1998-12-22 Bell Atlantic Network Services, Inc. Terminal for receiving simulcast digital video programs
US6556251B1 (en) * 2000-01-05 2003-04-29 Zenith Electronics Corporation Apparatus and method for receiving and combining digital broadcast data with an analog composite signal
US20060176374A1 (en) * 2005-02-07 2006-08-10 Robert Oklejas System and method for providing hybrid audio/video system
US8448212B2 (en) * 2005-12-02 2013-05-21 Nokia Corporation Combined receiver for DVB-H and DVB-T transmission
JP4882437B2 (ja) 2006-03-15 2012-02-22 パナソニック株式会社 デジタル放送受信機
US20080092164A1 (en) * 2006-09-27 2008-04-17 Anjana Agarwal Providing a supplemental content service for communication networks
JP4497194B2 (ja) * 2007-11-12 2010-07-07 株式会社カシオ日立モバイルコミュニケーションズ 携帯端末装置及びプログラム
JP4739388B2 (ja) * 2008-10-22 2011-08-03 シャープ株式会社 記録再生装置、携帯端末装置、記録再生システム、及び記録再生方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008053991A (ja) * 2006-08-24 2008-03-06 Matsushita Electric Ind Co Ltd デジタル放送受信装置
JP2008252661A (ja) * 2007-03-30 2008-10-16 Toshiba Corp 番組録画装置および番組録画方法

Also Published As

Publication number Publication date
EP2237553B1 (en) 2012-05-09
EP2237553A1 (en) 2010-10-06
ATE557528T1 (de) 2012-05-15
JP2010239435A (ja) 2010-10-21

Similar Documents

Publication Publication Date Title
US8773360B2 (en) Display device, two-way communication system and display information using method
JP4928737B2 (ja) 電子機器および放送方式判定方法
US8599314B2 (en) Display device, program, and storage medium
JP2009111777A (ja) デジタル放送受信装置
KR100800000B1 (ko) 외부영상기기의 조건에 맞추어 데이터 포맷을 변환시키는영상디스플레이장치 및 그 제어방법
US20130061279A1 (en) Digital broadcast reception device and digital broadcast reception method
US20070232226A1 (en) Digital Broadcast Reception Device
US8891015B2 (en) Electronic apparatus and display control method
US8385431B2 (en) Moving picture data decoding device
JP4491040B1 (ja) 映像処理装置および映像処理方法
JP5330557B2 (ja) 電子機器、電子機器の制御方法、電子機器の制御プログラム
US20070064153A1 (en) Information processing apparatus capable of receiving broadcast program data, and method of controlling power savings which is applied to the apparatus
JP4320745B2 (ja) デジタル放送受信装置
KR100846284B1 (ko) 휴대용 단말기의 방송 정보 공유 방법
JP2008252661A (ja) 番組録画装置および番組録画方法
JP2008160749A (ja) テレビジョン受信装置および字幕表示方法
US20060119736A1 (en) Information processing apparatus
JP4309870B2 (ja) ディジタル放送受信装置
JP5082562B2 (ja) デジタル放送受信方法及び装置
KR20140090278A (ko) 복수의 튜너를 내장한 휴대형 디지털 방송수신 장치와 연동하는 방송재생장치, 이를 이용한 스마트 기기에서의 디지털 방송 수신 방법, 및 디지털 방송 수신시스템
JP5354667B2 (ja) 放送受信記録装置、及び、プログラム
JP2013223129A (ja) デジタル放送受信装置及びプログラム
JP5590018B2 (ja) 動画データ復号装置、情報機器、動画データ復号方法、動画データ復号プログラム
KR20100035533A (ko) 방송 수신 장치
JP2018074533A (ja) デジタル放送受信処理装置およびデジタル放送信号処理方法

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100309

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100402

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130409

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130409

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140409

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees