JP5019306B2 - 映像処理装置及びコンピュータプログラム - Google Patents

映像処理装置及びコンピュータプログラム Download PDF

Info

Publication number
JP5019306B2
JP5019306B2 JP2005360295A JP2005360295A JP5019306B2 JP 5019306 B2 JP5019306 B2 JP 5019306B2 JP 2005360295 A JP2005360295 A JP 2005360295A JP 2005360295 A JP2005360295 A JP 2005360295A JP 5019306 B2 JP5019306 B2 JP 5019306B2
Authority
JP
Japan
Prior art keywords
buffer
picture
unit
decoding
recording
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005360295A
Other languages
English (en)
Other versions
JP2007166276A (ja
Inventor
峰樹 田岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority to JP2005360295A priority Critical patent/JP5019306B2/ja
Priority to KR1020060061924A priority patent/KR100813980B1/ko
Publication of JP2007166276A publication Critical patent/JP2007166276A/ja
Application granted granted Critical
Publication of JP5019306B2 publication Critical patent/JP5019306B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/005Reproducing at a different information rate from the information rate of recording
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/10527Audio or video recording; Data buffering arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/114Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/10527Audio or video recording; Data buffering arrangements
    • G11B2020/1062Data buffering arrangements, e.g. recording or playback buffers
    • G11B2020/1075Data buffering arrangements, e.g. recording or playback buffers the usage of the buffer being restricted to a specific kind of data
    • G11B2020/10787Data buffering arrangements, e.g. recording or playback buffers the usage of the buffer being restricted to a specific kind of data parameters, e.g. for decoding or encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Description

本発明は,映像処理にかかり,特に,特殊再生可能な映像処理装置及びコンピュータプログラムに関する。
近年,情報技術の発達に伴い,ディジタル化された映像データを,大容量・低価格化している半導体メモリ,DVD(Digital Versatile Disc),またはハードディスクドライブ(HDD)などに記録することが可能になっている。
上記DVDなどの記録媒体には,映像信号がディジタル信号処理され,MPEG(Moving Pictures Experts Gruop)方式等の動画像圧縮符号化により,1又は2フレーム以上のピクチャを含んだ映像ストリームに符号化され,その映像ストリームが記録されている。
上記MPEG方式の動画像圧縮符号化が行われた映像ストリームには,1又は2フレーム以上のピクチャから構成されるピクチャ群(以下,GOP)が存在する。
また,上記ピクチャの種類には,Iピクチャ,Pピクチャ,またはBピクチャが存在する。Iピクチャは,フレーム内符号化ピクチャであり単独で復号することができる。Pピクチャは,順方向予測符号化ピクチャであり,復号するためには過去のピクチャが必要となる。Bピクチャは,双方向予測符号化ピクチャであり,復号のためには過去及び未来のピクチャが必要となる。
かかるMPEG方式などの動画像圧縮符号では,Iピクチャ,Pピクチャ,またはBピクチャなどのように,符号化するピクチャの順番と,復号し出力するピクチャの順番とが異なるため,高速再生や巻き戻し再生などの特殊再生を行う際には,上記ピクチャのなかから適宜再生する対象とするピクチャを選択する必要がある。
また,図8(a)に示すように,例えば,標準速再生(通常再生)など1〜2倍速程度の再生では,Iピクチャ,Bピクチャ,およびPピクチャ全てが復号する対象となるが,図8(b)に示すように,2〜3倍速程度の高速再生では,IピクチャとPピクチャが復号する対象となり,図8(c)に示す3倍速を超える高速再生では,Iピクチャのみが復号する対象となる。なお,図8は,再生対象の映像ストリームの概略的な構成を示す説明図である。
上記MPEG方式などの動画像圧縮符号化では,Iピクチャ又はBピクチャなどピクチャ毎の符号量が大きく異なるため,映像処理装置内の記録媒体から映像ストリームを読み出す読出側と映像ストリームを復号するデコーダ側との間にバッファが備わるのが一般的である。
上記デコード側での復号処理のスピードと,上記読出側での読み出し処理のスピードとが短期的に相違するためバッファを設けるが,読出側が出力する映像ストリームと,デコーダ側が復号する映像ストリームの時間的な位置が大きく異なってしまう。
このため,例えば,図9に示すように,標準速再生(通常再生)からIピクチャのみを選択する高速再生等の特殊再生に再生モードを変更(又は,移行)した場合,即ち,デコーダ側で2番目のGOP内のIピクチャ(「I2」)を復号した後に高速再生モードに変更した場合,記録媒体から映像ストリームを読出し,バッファに出力する読出側では,すでに1番目〜7番目のGOP内に存在するIピクチャ(「I1」〜「I7」)を,バッファ内に出力している。
一方で,上記とは別に,読出側で読み出した映像ストリームのうちIピクチャだけを記憶する早送り画像メモリと,Iピクチャや,BピクチャなどGOP全体を記憶する通常画像メモリとを備え,高速再生では通常画像メモリからIピクチャを読み出し,通常再生では早送り画像メモリからGOP全体を読み出すことが可能な再生装置が存在している(例えば,特許文献1,参照。)。
特開平8−331514号公報
しかしながら,図9では,再生モードが変更したため,上記読出側は,通常再生用の映像ストリームとして出力した最後のIピクチャ(「I7」)を含んだGOPに続いて,高速再生用の映像ストリームとして8番目のIピクチャ(「I8」)を出力するが,一方のデコーダ側は,再生モードが変更したタイミング以降は,バッファ上のデータが消去(フラッシュ)され,“I2”ピクチャ以降の通常再生用の映像ストリームを復号せず,“I8”ピクチャ以降の高速再生用の映像ストリームを復号するため,通常再生時の最終画像から時間的に離れたピクチャが画面上に表示されてしまう。特に,Iピクチャのみを選択する高速再生の場合,最終画像から大きく離れたピクチャが画面上に表示されてしまう,という問題があった。
また,通常再生用の画像メモリと早送り再生用の画像メモリとを備えた再生装置の場合,上記再生装置が通常再生又は早送り再生を行うためには,少なくとも2つの画像メモリが必要となるため,画像メモリの記憶容量の増大,又は,再生装置の回路規模が大きくなるなどの問題があった。
本発明は,上記問題点に鑑みてなされたものであり,本発明の目的は,簡易に通常再生又は特殊再生に切替えることが可能な,新規かつ改良された映像処理装置及びコンピュータプログラムを提供することである。
上記課題を解決するため、本発明の第1の観点によれば、映像処理装置が提供される。上記映像処理装置は、1又は2フレーム以上のピクチャから少なくとも構成される映像ストリームを記録媒体から読み出し、その映像ストリームをバッファに出力する記録媒体読出部と上記記録媒体読出部が出力したピクチャのバッファ上における記録位置を特定することが可能な記録バッファアドレスを上記バッファに通知する記録先通知部と上記バッファにより出力されたピクチャを復号する復号部とバッファ上に記録されたピクチャのうち、バッファが取り出して上記復号部に出力するピクチャを指定するため、バッファ上におけるピクチャの取出位置を特定することが可能な取出バッファアドレスを上記バッファに通知する取出先通知部と利用者からの再生モードの変更を受付け、上記再生モードの変更を知らせる再生モード変更信号を生成する変更信号生成部とを備え、上記取出先通知部は、上記変更信号生成部から再生モード変更信号を受けたタイミングと近傍するタイミングで上記記録先通知部から受け取った記録バッファアドレスをモード変更バッファアドレスとして保持し上記復号部は,取出先通知部により上記モード変更バッファアドレスが保持されてから上記取出先通知部により取出バッファアドレスとモード変更バッファアドレスとが一致していると確認されるまで、上記バッファから受け取るピクチャのうちフレーム内符号化ピクチャを復号することを特徴としている。
なお,上記取出先通知部がモード変更バッファアドレスを保持した後,上記取出バッファアドレスと上記モード変更バッファアドレスとが一致しているか否かを判定する判定部を映像再生装置が備えてもよい。
上記モード変更バッファアドレスと復号部が受け取る取出バッファアドレスとが一致するまでは,復号部は上記フレーム内符号化ピクチャ以外は復号せずに,次の取出バッファアドレスの通知を待つようにしても良い。
上記ピクチャは,1又は2フレーム以上がグループ化されたピクチャ群に含まれるように構成してもよい。
上記復号部は,上記取出先通知部により取出バッファアドレスとモード変更バッファアドレスとが同じであると確認されるまで,バッファから受け取るピクチャのうちフレーム内符号化ピクチャ及び順方向予測符号化ピクチャを復号するようにしてもよい。
上記記録バッファアドレス及び取出バッファアドレスは,昇順又は降順になるように生成されるようにしてもよい。
上記課題を解決するために、本発明の別の観点によれば、コンピュータをして、映像処理装置として機能させるコンピュータプログラムが提供される。上記コンピュータプログラムは、1又は2フレーム以上のピクチャから少なくとも構成される映像ストリームを記録媒体から読み出し、その映像ストリームをバッファに出力する記録媒体読出手段と上記記録媒体読出手段が出力したピクチャのバッファ上における記録位置を特定することが可能な記録バッファアドレスをバッファに通知する記録先通知手段と上記バッファにより出力されたピクチャを復号する復号手段と上記バッファ上に記録されたピクチャのうち、バッファが取り出して上記復号手段に出力するピクチャを指定するため、バッファ上におけるピクチャの取出位置を特定することが可能な取出バッファアドレスをバッファに通知する取出先通知手段と利用者からの再生モードの変更を受付け、上記再生モードの変更を知らせる再生モード変更信号を生成する変更信号生成手段として機能させて、上記取出先通知手段は、上記変更信号生成手段から上記再生モード変更信号を受けたタイミングと近傍するタイミングで記録先通知手段から受け取った記録バッファアドレスをモード変更バッファアドレスとして保持し上記復号手段は、上記取出先通知手段により上記モード変更バッファアドレスが保持されてから取出先通知手段により上記取出バッファアドレスと上記モード変更バッファアドレスとが一致していると確認されるまで、上記バッファから受け取るピクチャのうちフレーム内符号化ピクチャを復号することを特徴としている。
以上説明したように,本発明によれば,映像処理装置は,簡易に高速再生の再生速度を切替えることができる。
以下,本発明の好適な実施の形態について,添付図面を参照しながら詳細に説明する。なお,以下の説明及び添付図面において,略同一の機能及び構成を有する構成要素については,同一符号を付することにより,重複説明を省略する。
(映像再生装置について)
まず,図1を参照しながら,本実施の形態にかかる映像再生装置(映像処理装置)101について説明する。なお,図1は,本実施の形態にかかる映像再生装置の概略的な構成の一例を示すブロック図である。
映像再生装置101は,記録媒体131に記録された映像データを復号し,ディスプレイ装置等の出力装置(出力デバイス)に出力する再生機能とを備えた装置である。なお,本実施の形態にかかる映像再生装置101は,かかる再生機能に限定されず,例えば,映像再生装置101は,上記再生機能と,入力する映像信号を映像データに符号化し,記録媒体131に記録する記録機能などとを備えた装置でもよい。
また,本実施の形態にかかる映像再生装置101は,例えば,CCD等からなる撮像手段を備え,その撮像手段により送出される映像信号を入力し,記録媒体131に記録するなどの場合でもよい。
映像再生装置101が上記撮像手段を備える場合,映像再生装置101は,映像再生装置101自ら被写体等を撮像した映像データを記録媒体に映像再生装置101自ら記録する,または,記録媒体に記録された映像データを映像再生装置101自ら再生する,いわゆる記録/再生可能な一体型映像処理装置といえる。
図1に示すように,本実施の形態にかかる映像再生装置101は,再生モード変更や再生開始などの利用者からの指示を受け付ける指示受付部111と,コントローラ113と,メディアインタフェース(読出側)と,メディアデコーダ(デコーダ側)とを備えている。
上記読出側は,記録媒体131から映像ストリームを読み出してバッファ127に記録する機能を実現するために必要な各部から構成されたユニットであり,上記デコーダ側は,バッファ127に記録された映像ストリームを取り出して,復号する機能を実現するために必要な各部から構成されたユニットである。詳細は後述する。
なお,上記記録媒体131には,画像信号のシーケンスが並び替えられて(リオーダリング),1又は2フレーム以上のピクチャから構成されるGOP(Group Of Picture,又は,ピクチャ群)に符号化された映像ストリームが記録されている。したがって,映像ストリームには,1又は2個以上のGOPが含まれている。また,映像ストリームは,動画像,音声,またはEPGや低解像度映像等を含むメタ情報のうち少なくとも一つから構成されるものとする。
また,本実施の形態にかかる記録媒体131は,例えば,MPEG方式等で符号化された映像ストリームを記憶可能であれば,CD−ROM又はDVDなどの光ディスク,ハードディスクドライブ等の磁気ディスクを例示することができるが,かかる例に限定されない。
上記指示受付部111は,利用者から例えば再生開始の指示,再生終了の指示,再生モード変更(通常再生から高速再生(3倍速,10倍速など),通常再生から高速巻き戻し再生など)の指示等を受けることが可能な1又は2以上からなるボタン(再生開始ボタン,再生終了ボタン,または再生モード変更ボタンなど)であるが,かかる例に限定されず,指示受付部111は,上記利用者から各種の指示を受けることが可能であれば,トラックボール,トラックパッド,スタイラスペン,ダイアルログ,またはジョイスティックなどのポインティングデバイスまたはキーボードなどの場合であってもよい。
なお,本実施の形態にかかる高速再生または高速巻き戻し再生とは,特殊再生の一つであって,例えば,標準速再生における再生速度を基準として,3倍速,4倍速,…,10倍速などの高速で再生または巻き戻し再生を行う場合を示すが,かかる例に限定されない。詳細は後程述べる。
また,指示受付部111は,利用者から指示を受付けると,その指示内容を示す再生モード変更信号等の指示信号をコントローラ113に伝達する。コントローラ113は,かかる指示信号を基に,再生モード変更処理等を上記読出側又は上記デコーダ側の各部を制御し,実行させる。
コントローラ113は,映像再生装置101の指示受付部111,読出側に含まれる各部,およびデコーダ側に含まれる各部の処理を制御する。コントローラ113は,例えば,再生モードを高速再生(3倍速,10倍速など)から通常再生への変更(再生モード変更信号)を読出側及びデコーダ側に指示する。
上記読出側は,書込カウンタ部(又は,記録先通知部)120と,読出コントローラ121と,アドレス保持部(又は,取出先通知部)122と,記録媒体読出部123と,バッファ127とを備えている。
上記書込カウンタ部120は,例えば,映像ストリームに構成されるピクチャ又はGOPごとに記録バッファアドレスを生成する。なお,書込カウンタ部120は,上記ピクチャ又はGOPの記録バッファアドレスが重複しないように,例えば,昇順又は降順となるようにバッファアドレスを生成する。
上記記録バッファアドレスは,例えば,映像ストリームに構成されるピクチャなどをバッファ127上の指定する位置に記録するための,バッファ127における記録先(記録位置)を特定可能な番地(アドレス)等に該当するが,かかる例に限定されない。
また,本実施の形態にかかる記録バッファアドレスは,バッファ127上に記録されるピクチャの記録位置を識別可能であれば,かかるアドレスに限定されず,例えば,書込カウンタ部120は,記録バッファアドレスの代わりに1,2,3,…のような番号などを生成する場合でもよい。
バッファ127は,上記書込カウンタ部120からの記録バッファアドレスに従って,記録媒体読出部123で読み出された映像ストリームに構成されたピクチャを指定された位置に記録する。
上記バッファ127は,所定大きさの記憶領域を有する記憶手段である。上記バッファ127は,映像ストリームを記憶したり,映像ストリームを削除(フラッシュ)したりすることができる。
なお,本実施の形態にかかるバッファ127は,例えば,SDRAM,DRAM等のメモリを例示することができるが,かかる例に限定されない。
上記読出コントローラ121は,上記コントローラ113からの指示に従って,映像再生装置101の読出側に備わる書込カウンタ部120と,読出コントローラ121と,アドレス保持部122と,記録媒体読出部123との動作を制御する。
また,読出コントローラ121は,指示受付部111からコントローラ113を介して再生モードを変更する指示信号を受け付けると,アドレス保持部122に対し書込カウンタ部120にて生成された記録バッファアドレスを保持するよう指示する。
アドレス保持部122は,例えば,読出コントローラ121から指示されたタイミングとほぼ同じタイミングに書込カウンタ部120により生成された記録バッファアドレスをモード変更バッファアドレスとして保持するが,かかる例に限定されず,例えば,アドレス保持部122は,読出コントローラ121から指示されたタイミングと前後するタイミングで書込カウンタ部120により生成された記録バッファアドレスをモード変更バッファアドレスとして保持しても良い。例えば,アドレス保持部122は,読出コントローラ121から指示されたタイミングで生成された記録バッファアドレスよりも,1又は2以上前後して生成された記録バッファアドレスを保持しても良い。
また,上記映像再生装置101のデコーダ側には,判定部124と,読出カウンタ部(又は,取出先通知部)125と,復号コントローラ126と,復号部128とが備わっている。
上記復号コントローラ126は,上記コントローラ113からの指示に従って,デコーダ側に備わる判定部124と,読出カウンタ部125と,復号コントローラ126と,バッファ127と,復号部128との動作を制御する。
また,復号コントローラ126は,コントローラ113から再生モードが変更した旨の指示信号を受け取ると,復号部128に対し変更後の再生速度に応じた所定のピクチャ(例えばIピクチャ)のみを復号するよう指示するとともに,判定部124に対しアドレス保持部122で保持されたモード変更バッファアドレスと読出カウンタ部125から順次送られてくる取出バッファアドレスとを比較させる。
上記読出カウンタ部125は,バッファ127が取り出すピクチャの位置を示す取出バッファアドレスを順にバッファ127に通知するとともに,判定部124に対しても上記取出先の取出バッファアドレスを送信する。
上記取出バッファアドレスは,バッファ127が取り出して復号部128に出力するピクチャを指定するため,即ち復号部128が入力するピクチャを指定するため,バッファ127上においてピクチャを取り出す位置を特定可能な番地(アドレスなど)に該当する。
判定部124は,復号コントローラ126から指示があると,アドレス保持部122に記憶されたモード変更バッファアドレスと,読出カウンタ部125から順に通知される取出バッファアドレスとを比較する。
上記モード変更バッファアドレスと順次更新される取出バッファアドレスとを比較し,双方が一致したと判定部124が確認した場合,判定部124は,復号コントローラ126に対し,一致した旨の信号を送信する。
上記復号部128は,読出カウンタ部125からの取出バッファアドレスに従って,上記バッファ127に記憶された映像ストリームに構成されるピクチャを当該バッファ127から受け取り,復号する。
なお,図1には図示されていないが,映像再生装置101は,さらに復号部128から出力される映像信号を出力可能なディスプレイ装置を備えてもよい。例えば,復号部128から出力される映像信号をディスプレイ装置は画面に表示することができる。なお,ディスプレイ装置は,例えば,液晶ディスプレイなどを例示することができ,静止画像,動画像,もしくは音声又はそれらの任意の組合せなどを出力することが可能である。
次に,GOPについて説明すると,GOPは,MPEG方式などに従って符号化された1又は2フレーム以上のピクチャ(画像データ)の集まりである。なお,GOPは,一般的に,例えば,1GOPに10フレーム〜15フレームのピクチャから構成されるが,かかる例に限定されず,例えば,1GOPに60フレーム以上のピクチャを含む場合などでもよい。
また,上記ピクチャには,Iピクチャ(Intraピクチャ,又は,フレーム内符号化ピクチャ)と,Pピクチャ(Predictiveピクチャ,又は,フレーム間順方向予測符号化ピクチャ)と,Bピクチャ(Bidirectionally predictive符号化ピクチャ,又は,双方向予測符号化ピクチャ)と3つのタイプのピクチャが存在する。なお,本実施の形態にかかるピクチャは,符号化後の画像データに構成される各フレームの画像又はデータをいうが,かかる例に限定されない。
上記Iピクチャは,前のフレームとの相関関係を利用しない独立したピクチャであり,上記Pピクチャは,前のフレームとの相関関係を利用するピクチャであり,上記Bピクチャは,前後両方のフレームとの相関関係を利用するピクチャである。
一般的に,Bピクチャを使わずにIピクチャとPピクチャのみを使う場合よりも,BピクチャをIピクチャ若しくはPピクチャではさむことで使う場合の方が,同一ビットレートでの画質は良い。
(再生モード変更処理の動作について)
次に,本実施の形態にかかる映像処理装置101による再生モード変更処理について説明する。
まず,映像処理装置101による標準速再生(通常再生)が開始すると,映像処理装置101内のメディアインタフェース(読み出し側)では,図2(a)に示すように,記録媒体131から記録媒体読出部123により映像ストリームが読み出され,映像ストリームに構成される複数のピクチャがバッファ127に出力される。
なお,図2は,本実施の形態にかかる映像処理装置による再生モード変更処理の概略を示す説明図である。図2に示す“I1”,“I2”などのピクチャタイプとともに表示される番号は説明の便宜上付している。また,図2の矢印は再生方向を示している。
図2(a)に示すように,より具体的には,バッファ127には,I1ピクチャ,Bピクチャ,Bピクチャ,Pピクチャ,…,のように複数のピクチャが書込カウンタ部120により生成された記録バッファアドレスに従って順に記録されていく。
次に,バッファ127に出力された映像ストリームは,読出カウンタ部125からの取出バッファアドレスに従って復号部128に出力され,復号され,映像信号として出力される。上記復号部128から出力される映像信号は,例えば,画面上に表示される。
より具体的には,図2(b)に示すように,復号部128は,読出カウンタ部125からの取出バッファアドレスに従ってバッファ127が出力したI1ピクチャを,まず復号し,次に,Bピクチャを復号し,以降,図2(b)の矢印方向に従って順に,バッファ127から取得したピクチャを復号していく。なお,図2(b)での再生モードは,例えば,通常再生の状態であり,復号部128はピクチャタイプ問わず全ピクチャについて復号する。
図2に示すように,記録媒体読出部123により読み出された映像ストリームをバッファ127に記録する方が,短期的には,復号部128によりバッファ127に記録されたピクチャを復号するよりも速いため,図2(b)の右端のBピクチャを復号する時点では,既に図2(a)ではI2ピクチャ,I3ピクチャなどの複数のピクチャが既にバッファ127に記録されている。
図2(b)に示す右端のBピクチャを復号部128が復号した後,次に,図3(b)に示すように,その次のBピクチャを復号部128が復号した時点で,例えば,指示受付部111により利用者から再生モードの変更が受け付けられたとする。例えば,指示受付部111は,通常再生から10倍速などの高速再生に再生モードを変更する指示を受け付けた場合を例に挙げられるが,かかる例に限定されない。
なお,上記指示受付部111により再生モードの変更が受け付けられた時点では,図3(a)に示すように,既にバッファ127上には,I2ピクチャ,I3ピクチャ,Bピクチャなどの複数のピクチャが記憶されているのが分かる。
上記指示受付部111が高速再生の再生モードを受け付けると,コントローラ113から読出コントローラ121に上記再生モード変更の指示信号が送信される(図3の高速再生への移行指示)。すると,アドレス保持部122は,再生モード変更の指示信号を受けた時点に近い又は同じタイミングで書込カウンタ部120により生成される記録バッファアドレスをモード変更バッファアドレスとして記憶する(図3のバッファアドレスを記憶)。
より具体的には,アドレス保持部122は,図3に示すように,例えば,高速再生用に読み出された先頭のI8ピクチャ直前のピクチャ,即ち通常再生用に記録媒体131から読み出された最後のピクチャの記録バッファアドレスをモード変更バッファアドレスとして記憶するが,かかる例に限定されない。
次に,復号部128は,読出カウンタ部125が通知する取出バッファアドレスに従ってバッファ127が取り出して出力したピクチャを受け取る。即ち,図3に続き,図4に示すように,復号部128は,Bピクチャの次のI2ピクチャをバッファ127から受け取る。
図4に示すように,上記コントローラ113から復号コントローラ126を介して,上記再生モードを高速再生に変更する指示信号を復号部128が受信すると,取出バッファアドレスがモード変更バッファアドレスと一致するまで,復号部128は,例えば,バッファ127から出力されてくるピクチャのうち,Iピクチャだけを復号するが,かかる例に限定されない。
次に,復号部128は,バッファ127から送信されたI2ピクチャがIピクチャであることを確認する。なお,Iピクチャであることの確認として,復号部128は,例えば,取り出したピクチャがIピクチャである旨の情報(ピクチャタイプが“I”)などを検出することにより,確認するが,かかる例に限定されない。
復号部128は,取り出したI2ピクチャがIピクチャであることを確認すると,そのI2ピクチャを復号する。なお,Iピクチャでない場合,復号部128は,例えば,ピクチャを復号せずに次にバッファ127からピクチャが送られてくるまで待機するが,かかる例に限定されない。
次に,復号部128は,読出カウンタ部125が通知した取出バッファアドレスに従ってバッファ127が取り出して出力したピクチャを受け取る。即ち,図4に示すI2ピクチャの次のBピクチャを復号部128は,バッファ127から受け取る。
復号部128は,取り出したBピクチャがIピクチャではないことを確認するとともに,そのBピクチャを復号せずに,次のピクチャがバッファ127から出力されるまで待機する。以降の処理でも同様に,高速再生(10倍速など)の再生モードである間,復号部128は,受け取ったピクチャのピクチャタイプがIピクチャである場合に限り,復号し,それ以外の場合,復号部128は,復号しない。
なお,本実施の形態にかかる復号部128は,10倍速などの高速再生の再生モードでは,Iピクチャのみを復号する場合を例に挙げて説明したが,かかる例に限定されない。例えば,復号部128は,3倍速等の高速再生の再生モードでは,IピクチャとPピクチャのみを復号の対象としてもよく,映像再生装置101の処理能力等に応じて,高速再生の再生速度に対応する復号対象のピクチャタイプを任意に変更することができる。
また,復号部128による復号と並行して,判定部124は,ピクチャ単位に復号部128がバッファ127から受け取ったピクチャの取出バッファアドレスと,アドレス保持部122が記憶するモード変更バッファアドレスとを比較する。
判定部124は,上記比較した結果,双方のアドレスが一致していると判断すると,復号コントローラ126に一致した旨を示す信号を送信する。復号コントローラ126は,判定部124から一致した旨の上記信号を受信すると,復号部128に対し,次にバッファ127から送られてくるピクチャ以降の各ピクチャについては,ピクチャタイプを問わず復号するよう指示する。
より具体的には,図5(b)に示すように,復号部128は,例えば,I8ピクチャの直前のピクチャまで,バッファ127から各ピクチャを取り出しても,Iピクチャのみ復号し,それ以外は復号せずに読み飛ばすが,そのI8ピクチャの直前のピクチャを復号すると,判定部124から復号コントローラ126を介して復号部128にバッファアドレスが一致した旨の信号が送信されるため,復号部128は,I8ピクチャ以降のピクチャについては,各ピクチャを復号する。
したがって,取出バッファアドレスがモード変更バッファアドレスと一致した以降では,復号部128は,バッファ127から出力されるピクチャについて,ピクチャタイプを確認せずに全てのピクチャを復号する。
図5に示すように,I8ピクチャ以降の各ピクチャは,記録媒体読出部123により10倍速などの高速再生用として読み取られ,バッファ127に記憶される全てのピクチャがIピクチャ(図5のI8,I9,I10,…)であるため,復号部128は,ピクチャタイプを確認しなくても,高速再生で復号する対象のIピクチャ全てを適切に復号することができる。
以上のように,通常再生から高速再生に再生モードが変更した場合であっても,バッファ127に記録された通常再生用のピクチャ(Iピクチャ,Bピクチャなど)を一旦全て消去せずに,利用者が再生モードを指示した時点から迅速に高速再生することができる。
図6に示すように,通常再生の間,I(Iピクチャ),P&B(Pピクチャ及びBピクチャ),I,P&B,I,P&B,I,P&Bの順に,復号部128は各ピクチャを復号するのが分かる。
なお,図6に示すP&Bは,1又は2以上のPピクチャとBピクチャが各々連続しているピクチャ群,又は,1又は2以上のPピクチャとBピクチャが交互に存在するピクチャ群などを例示することができるが,かかる例に限定されない。
上記復号部128が復号している間に,バッファ127上には,図6(a)に示すように,記録媒体読出部123が読み出した,I,P&B,I,P&B,I,P&B,I,P&B,I,P&B,I,P&B,I,P&B,I,P&Bのピクチャ群が,既に記憶されている。
上記バッファ127上に書き込まれたピクチャ群のうち,図6(a)に示す左端からI,P&B,I,P&B,I,P&B,I,P&Bまでが通常再生モードで復号され,それ以降の残りの通常再生モードで既に記憶されたI,P&B,I,P&B,I,P&B,I,P&Bについては,高速再生モードに切り替わった後,上述したように,Iピクチャのみが画面上の再生画像として復号される(図6(a)から図6(b)に向けて図示される矢印,参照)。
さらに,上述したように取出バッファアドレスとモード変更バッファアドレスが一致すると(図6(b),参照),図6(a)の通常再生でバッファ127に書き込まれた最後のP&B以降のピクチャは,高速再生モードに切り替わった後に,記録媒体読出部123により高速再生用として記録媒体131から読み出されるピクチャであるため,バッファ127上には全てIピクチャが記憶される。
したがって,復号部128は,図6(a)の通常再生でバッファ127に書き込まれた最後のP&Bの直前のIピクチャを復号すると,次のピクチャ以降はピクチャタイプ問わず各ピクチャを復号せよと復号コントローラ126から指示があるため,復号部128はバッファ127から出力された各ピクチャ(Iピクチャ)を各々復号する(図6(a)から図6(b)に向けて図示される矢印,参照)。
なお,図6に示すように,高速再生モードでは,記録媒体読出部123はIピクチャのみをバッファ127に書込み,復号部128は,バッファ127上のそれらのIピクチャを復号する場合を例に挙げて説明したが,かかる例に限定されず,例えば,3倍速などの高速再生モードでは,記録媒体読出部123はIピクチャとPピクチャを読み出してバッファ127に記憶し,復号部128は,バッファ127上の上記IピクチャとPピクチャを復号する場合などでも実施可能である。
さらに,図2〜図6に示す再生モード変更処理では,通常再生から高速再生(例えば,再生速度がIピクチャのみを復号対象とした10倍速)に変更する場合を例に挙げて説明したが,かかる例に限定されず,例えば,高速再生(例えば,再生速度がIピクチャとPピクチャを復号対象とする3倍速)から高速再生(例えば,再生速度がIピクチャのみを復号対象とした10倍速)に変更する場合などでもほぼ同様に実施することができる。
次に,図2〜図6と,図7を参照しながら,本実施の形態にかかる映像再生装置による再生処理について説明する。図7は,本実施の形態にかかる映像再生装置による再生処理の概略を示すフローチャートである。
まず,ユーザが通常再生を選択すると,映像処理装置101による標準速再生(通常再生)を開始する。図7に示すように,記録媒体読出部123は,記録媒体131から映像ストリームを読み出して,バッファ127に出力する(S701)。
バッファ127は,読出カウンタ部125からの取出バッファアドレスに従って,バッファ127上に記憶されたIピクチャ,Pピクチャ,Bピクチャの各ピクチャを読み出して(S703),復号部128に出力する。
さらに,復号部128は,通常再生モードの間では,Iピクチャ,Pピクチャ,Bピクチャを復号の対象として,ステップS703でバッファ127から取得したピクチャを復号する(S705)。
次に,通常再生モードから10倍速などの高速再生モードに変更する指示を指示受付部111を介してコントローラ113が受け取ると,アドレス保持部122は,その変更指示があったタイミングに生成された記録バッファアドレスをモード変更バッファアドレスとして記憶し,記録媒体読出部123は,上記変更指示以降,記録媒体131からIピクチャのみを読み出してバッファ127に出力する(S707)。
なお,上記アドレス保持部122は,コントローラ113又は読出コントローラ121から指示があったタイミングの前後に書込カウンタ部120により生成された記録バッファアドレスを記憶しても良い。
次に,バッファ127は,通常再生モードと同様に,引き続き読出カウンタ125からの取出バッファアドレスに従って,バッファ127上に記録された各ピクチャを読み出して,復号部128に出力する(S709)。
復号部128はバッファ127から映像ストリームに構成されるピクチャを取得すると(S709),判定部124によって上記取出バッファアドレスと上記モード変更バッファアドレスとの一致が確認されるまで(S711),復号部128は,ステップS709で取り出したピクチャのうちIピクチャのみ復号する(S713)。
上記アドレスが一致するまで(S711),上記ステップS709とステップS713が繰り返し実行され,判定部124が取出バッファアドレスと上記モード変更バッファアドレスとの一致を確認すると(S711),復号部128は,上記ステップS713におけるIピクチャのみを復号する処理を終了する(S715)。
上記ステップS715以降の再生処理では,高速再生モードの下,引き続き記録媒体読出部123により記録媒体131からIピクチャのみ読み出され(S717),バッファ127は,読出カウンタ部125からの取出バッファアドレスに従って,バッファ127上に記憶された上記Iピクチャ各々を順に読出し(S719),復号部128は,バッファ127により出力されたピクチャ(Iピクチャ)全てを順に復号すれば(S721),画面上には,映像が10倍速等の再生速度で再生される。
なお,図7に示す映像再生装置101による再生処理では,通常再生からIピクチャのみを復号の対象とする高速再生(例えば,10倍速)に変更する場合の再生処理を例に挙げて説明したが,かかる例に限定されず,例えば,3倍速の高速再生から10倍速の高速再生に変更する場合の再生処理などでも,ほぼ同様に実施可能である。
以上で,本実施の形態にかかる映像再生装置101についての説明を終了するが,かかる映像再生装置101により以下に示すような優れた効果が存在する。
(1)再生モードが変更した後の再生処理でも,バッファ127上に記憶されたピクチャを一旦消去せずに,復号部128は継続してピクチャを復号することができるため,ユーザからの変更指示に対する応答性を高めることができる。
(2)再生モードが変更されても,バッファ127によるピクチャの消去処理が発生せず引き続き復号部128による復号処理が継続するため,画面上に表示する映像を継ぎ目なくシームレスに復号し出力することができる。
(3)映像再生装置101内にIピクチャのみを記憶するバッファなどを別途備えなくともバッファ127単体で再生モードを切り替えて映像を再生することができるため,バッファを別途に備えるためのスペースを省けて映像再生装置101の構成が大型になるのを防げる。
なお,上述した一連の処理は,専用のハードウェアにより行うこともできるし,ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には,そのソフトウェアを構成するプログラムが,汎用のコンピュータやマイクロコンピュータ等の情報処理装置にインストールされ,上記情報処理装置を映像再生装置101として機能させる。
上記プログラムは,上記コンピュータ等の情報処理装置に内蔵されている記録媒体としてのハードディスクドライブやROMなどに予め記録しておくことができる。
あるいはまた,プログラムは,ハードディスクドライブに限らず,フレキシブルディスク,CD−ROM(Compact Disc Read Only Memory),MO(Magneto Optical)ディスク,DVD(Digital Versatile Disc),磁気ディスク,半導体メモリなどのリムーバブル記録媒体に,一時的あるいは永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体は,いわゆるパッケージソフトウエアとして提供することができる。
なお,プログラムは,上述したようなリムーバブル記録媒体からコンピュータにインストールする他,ダウンロードサイトから,ディジタル衛星放送用の人工衛星を介して,コンピュータに無線で転送したり,LAN(Local Area Network),インターネットといったネットワークを介して,コンピュータに有線で転送し,コンピュータでは,そのようにして転送されてくるプログラムを受信し,内蔵するハードディスクにインストールすることができる。
ここで,本明細書において,コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは,必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく,並列的あるいは個別に実行される処理(例えば,並列処理あるいはオブジェクトによる処理)も含むものである。
また,プログラムは,1のコンピュータにより処理されるものであっても良いし,複数のコンピュータによって分散処理されるものであっても良い。
以上,添付図面を参照しながら本発明の好適な実施形態について説明したが,本発明はかかる例に限定されない。当業者であれば,特許請求の範囲に記載された技術的思想の範疇内において各種の変更例または修正例を想定し得ることは明らかであり,それらについても当然に本発明の技術的範囲に属するものと了解される。
上記実施形態においては,コントローラ113,書込カウンタ部120,読出コントローラ121,アドレス保持部122,記録媒体読出部123,読出カウンタ部125,判定部124,復号コントローラ126,および復号部128はハードウェアからなる場合を例にあげて説明したが,本発明はかかる例に限定されない。例えば,上記コントローラ113,書込カウンタ部120,読出コントローラ121,アドレス保持部122,記録媒体読出部123,読出カウンタ部125,判定部124,復号コントローラ126,または復号部128のうち少なくとも一つは,1又は2以上のモジュールまたはコンポーネントなどから構成されるプログラムの場合であってもよい。
本発明は,特殊再生可能な映像処理装置及びコンピュータプログラムなどに適用可能である。
本実施の形態にかかる映像再生装置の概略的な構成の一例を示すブロック図である。 本実施の形態にかかる映像処理装置による再生モード変更処理の概略を示す説明図である。 本実施の形態にかかる映像処理装置による再生モード変更処理の概略を示す説明図である。 本実施の形態にかかる映像処理装置による再生モード変更処理の概略を示す説明図である。 本実施の形態にかかる映像処理装置による再生モード変更処理の概略を示す説明図である。 本実施の形態にかかる映像処理装置による再生モード変更処理の概略を示す説明図である。 本実施の形態にかかる映像再生装置による再生処理の概略を示すフローチャートである。 再生対象の映像ストリームの概略的な構成を示す説明図である。 従来にかかる再生モード変更処理の概略を示す説明図である。
符号の説明
101 映像再生装置
111 指示受付部
113 コントローラ
120 書込カウンタ部
121 読出コントローラ
122 アドレス保持部
123 記録媒体読出部
124 判定部
125 読出カウンタ部
126 復号コントローラ
127 バッファ
128 復号部
131 記録媒体

Claims (4)

  1. 映像処理装置であって
    1又は2フレーム以上のピクチャから少なくとも構成される映像ストリームを記録媒体から読み出し、その映像ストリームをバッファに出力する記録媒体読出部と
    前記記録媒体読出部が出力した前記ピクチャの前記バッファ上における記録位置を特定することが可能な記録バッファアドレスを前記バッファに通知する記録先通知部と
    前記バッファにより出力されたピクチャを復号する復号部と
    前記バッファ上に記録されたピクチャのうち、前記バッファが取り出して前記復号部に出力するピクチャを指定するため、前記バッファ上におけるピクチャの取出位置を特定することが可能な取出バッファアドレスを前記バッファに通知する取出先通知部と
    利用者からの再生モードの変更を受付け、前記再生モードの変更を知らせる再生モード変更信号を生成する変更信号生成部と
    を備え、
    前記取出先通知部は、前記変更信号生成部から前記再生モード変更信号を受けたタイミングと近傍するタイミングで前記記録先通知部から受け取った記録バッファアドレスをモード変更バッファアドレスとして保持し
    前記復号部は,前記取出バッファアドレスと前記モード変更バッファアドレスとが一致するまで、前記バッファから受け取るピクチャのうちフレーム内符号化ピクチャを復号することを特徴とする映像処理装置。
  2. 前記ピクチャは、1又は2フレーム以上がグループ化されたピクチャ群に含まれることを特徴とする請求項1に記載の映像処理装置。
  3. 前記復号部は,前記取出先通知部により前記取出バッファアドレスと前記モード変更バッファアドレスとが同じであると確認されるまで、前記バッファから受け取るピクチャのうちフレーム内符号化ピクチャ及び順方向予測符号化ピクチャを復号することを特徴とする請求項1又は2に記載の映像処理装置。
  4. コンピュータをして、映像処理装置として機能させるコンピュータプログラムであって
    1又は2フレーム以上のピクチャから少なくとも構成される映像ストリームを記録媒体から読み出し、その映像ストリームをバッファに出力する記録媒体読出手段と
    前記記録媒体読出手段が出力した前記ピクチャの前記バッファ上における記録位置を特定することが可能な記録バッファアドレスを前記バッファに通知する記録先通知手段と
    前記バッファにより出力されたピクチャを復号する復号手段と
    前記バッファ上に記録されたピクチャのうち、前記バッファが取り出して前記復号手段に出力するピクチャを指定するため、前記バッファ上におけるピクチャの取出位置を特定することが可能な取出バッファアドレスを前記バッファに通知する取出先通知手段と
    利用者からの再生モードの変更を受付け、前記再生モードの変更を知らせる再生モード変更信号を生成する変更信号生成手段と
    として機能させて、
    前記取出先通知手段は、前記変更信号生成手段から前記再生モード変更信号を受けたタイミングと近傍するタイミングで前記記録先通知手段から受け取った記録バッファアドレスをモード変更バッファアドレスとして保持し
    前記復号手段は,前記取出バッファアドレスと前記モード変更バッファアドレスとが一致するまで、前記バッファから受け取るピクチャのうちフレーム内符号化ピクチャを復号することを特徴とするコンピュータプログラム。
JP2005360295A 2005-12-14 2005-12-14 映像処理装置及びコンピュータプログラム Expired - Fee Related JP5019306B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2005360295A JP5019306B2 (ja) 2005-12-14 2005-12-14 映像処理装置及びコンピュータプログラム
KR1020060061924A KR100813980B1 (ko) 2005-12-14 2006-07-03 영상 처리 장치 및 방법, 그리고 상기 영상 처리 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005360295A JP5019306B2 (ja) 2005-12-14 2005-12-14 映像処理装置及びコンピュータプログラム

Publications (2)

Publication Number Publication Date
JP2007166276A JP2007166276A (ja) 2007-06-28
JP5019306B2 true JP5019306B2 (ja) 2012-09-05

Family

ID=38248662

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005360295A Expired - Fee Related JP5019306B2 (ja) 2005-12-14 2005-12-14 映像処理装置及びコンピュータプログラム

Country Status (2)

Country Link
JP (1) JP5019306B2 (ja)
KR (1) KR100813980B1 (ja)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3173950B2 (ja) * 1994-06-13 2001-06-04 株式会社日立製作所 ディスク再生装置
JPH09213004A (ja) * 1996-02-02 1997-08-15 Sony Corp データ記録再生装置
JP2000261764A (ja) 1999-03-08 2000-09-22 Sanyo Electric Co Ltd 映像信号再生装置
JP2001111966A (ja) 1999-10-05 2001-04-20 Nippon Columbia Co Ltd ディスク再生装置
JP2003087749A (ja) * 2001-09-06 2003-03-20 Sony Corp 画像データ再生装置および画像データ再生方法
JP2005192008A (ja) 2003-12-26 2005-07-14 Toshiba Corp 映像再生装置及び特殊再生方法

Also Published As

Publication number Publication date
KR20070063402A (ko) 2007-06-19
JP2007166276A (ja) 2007-06-28
KR100813980B1 (ko) 2008-03-17

Similar Documents

Publication Publication Date Title
CN1140879A (zh) 在反转重放操作中重放编码数据的重放方法和装置
JP2007036495A (ja) 再生装置、圧縮装置、記録装置及び再生方法
JP2000083215A (ja) 再生方法及び再生装置
JP5019306B2 (ja) 映像処理装置及びコンピュータプログラム
KR100883119B1 (ko) 동영상 파일 목록 편집 방법
JP4805206B2 (ja) 映像データ録画再生装置、システム及び方法
JP5110791B2 (ja) 映像処理装置及びコンピュータプログラム
JP2006236504A (ja) 情報記録再生方法
JP4991143B2 (ja) 映像処理装置およびコンピュータプログラム
JP5264526B2 (ja) 画像送信装置、画像送信方法及びプログラム
JP4312083B2 (ja) 記録再生装置及びavデータの特徴映像作成方法
JP2007049651A (ja) 画像処理装置、及び制御方法
JP3129092B2 (ja) 符号化データ編集装置
JP4350585B2 (ja) 再生装置
JPH07336640A (ja) ディスク再生装置
JP4250547B2 (ja) 再生装置
JP2004220638A (ja) 映像記録再生装置
JP2006339995A (ja) 再生装置、再生方法、再生プログラム、及び記憶媒体
JP2006344285A (ja) 記録再生装置及び記録再生方法
JP5984546B2 (ja) 画像処理装置、画像処理方法及び記憶媒体
JP4199780B2 (ja) 光ディスク再生装置、および再生方法
JP3126029U (ja) 光ディスク記録再生装置
JP2010103795A (ja) 画像記録装置
JP2006129338A (ja) 映像記録再生装置及び記録媒体
JP2006065904A (ja) ハードディスクレコーダ

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081215

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20090515

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20090706

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20090707

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120124

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120424

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120522

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120605

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5019306

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150622

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees