JP4692889B2 - 映像監視装置 - Google Patents

映像監視装置 Download PDF

Info

Publication number
JP4692889B2
JP4692889B2 JP2006018715A JP2006018715A JP4692889B2 JP 4692889 B2 JP4692889 B2 JP 4692889B2 JP 2006018715 A JP2006018715 A JP 2006018715A JP 2006018715 A JP2006018715 A JP 2006018715A JP 4692889 B2 JP4692889 B2 JP 4692889B2
Authority
JP
Japan
Prior art keywords
video
image
block
additional information
monitoring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006018715A
Other languages
English (en)
Other versions
JP2007201866A (ja
Inventor
龍治 白川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Victor Company of Japan Ltd
Original Assignee
Victor Company of Japan Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Victor Company of Japan Ltd filed Critical Victor Company of Japan Ltd
Priority to JP2006018715A priority Critical patent/JP4692889B2/ja
Publication of JP2007201866A publication Critical patent/JP2007201866A/ja
Application granted granted Critical
Publication of JP4692889B2 publication Critical patent/JP4692889B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、映像監視装置に係り、特に監視映像に付加情報を視認良好なようにスーパインポーズして表示装置に表示する映像監視装置に関するものである。
複数の監視カメラでそれぞれ撮像された監視映像を、例えば一台の監視用モニタに順次切換えて表示したり、画面分割して同時に表示したりして監視者が映像を監視する映像監視システムが多く利用されている。この映像監視システムにおいては、監視用モニタに表示される各映像がどの監視場所の映像であるか、さらに各映像が記録再生装置に記録されている映像データである場合において、その映像は何時撮影されたものであるかを監視者に提示するために、各映像毎に監視カメラの設置場所や撮影日時等の文字・日時情報をスーパインポーズして表示することも行われている。
このような映像監視システムにおいて、監視カメラの設置場所の明るさが変化すると、撮像映像とこれにスーパインポーズされる文字・日時情報とのコントラストも変化し、コントラストが低下すると文字・日時情報の視認性が低下してしまう。このような問題を解決するために、背景画像の明るさが変化した場合に画面全体の1フレームあたりの輝度平均値を算出し、その輝度平均値に基づきスーパインポーズする文字情報の輝度レベルを調整する技術が知られている(例えば、特許文献1を参照)。
特開2000−78470号公報
上述した映像監視システムにおいて、例えば明るさが大きく異なる4箇所の監視場所にそれぞれ一台の監視カメラを設置して一台の監視用モニタに撮像映像を表示してその監視映像を監視する映像監視システムを想定した場合、例えば4種類の画面を切換えて各監視映像を表示させる場合においては、特許文献1に記載された改善技術は適用できる。しかしながら、4箇所の監視映像を4画面分割処理によって一画面に同時に表示させる場合においては、特許文献1に記載の画面全体の1フレームあたりの輝度平均値を算出する方法では適切な効果が期待できないという課題を有していた。
そこで、本発明は上記事情に鑑みてなされたものであり、その目的は、各別の場所に設置された複数の監視カメラからそれぞれ供給された映像信号による各画像を一画像に分割割付して文字・日時情報等をスーパインポーズした場合に、各監視場所の明るさが各別に変化したとしても、スーパインポーズされる情報の視認性を良好に保つことができる映像監視装置を提供することである。
上記の課題を解決するために、本発明は以下の装置を提供するものである。
1)複数の監視カメラ(101−1〜101−n)からそれぞれ供給された映像信号による各画像を、一画像に分割割付する(201)とともにこの割付けられた各画像の所定領域を格子状のブロックに分割するブロック分割手段(209)と、
前記ブロック毎に輝度レベル平均値を算出する輝度平均値算出手段(209)と、
前記算出された各輝度レベル平均値と予め設定された輝度レベル閾値とをそれぞれ比較する輝度レベル比較手段(209)と、
前記各比較結果に基づき、前記所定領域においてスーパインポーズされる前記付加情報の輝度レベルを前記ブロック毎に変更する輝度レベル変更手段(210,205)と、
前記輝度レベル変更手段で前記ブロック毎に輝度レベルが変更された前記付加情報を前記各画像の所定領域にスーパインポーズ(205)し、このスーパインポーズされた画像を出力する出力手段(206)と
を備えたことを特徴とする映像監視装置(102)
2)複数の監視カメラ(101−1〜101−n)からそれぞれ供給された映像信号による各画像を、一画像に分割割付する(201)とともにこの割付けられた各画像の所定領域を格子状のブロックに分割するブロック分割手段(209)と、
前記ブロック毎に輝度レベル平均値を算出する輝度平均値算出手段(209)と、
前記算出された各輝度レベル平均値と予め設定された輝度レベル閾値とをそれぞれ比較する輝度レベル比較手段(209)と、
前記各比較結果に基づき、前記所定領域の色を前記ブロック毎に変更する色変更手段(210,205)と、
前記色変更手段で前記ブロック毎に色が変更された前記所定領域に前記付加情報をスーパインポーズ(205)し、このスーパインポーズされた画像を出力する出力手段(206)と
を備えたことを特徴とする映像監視装置(102)
本発明によれば、各別の場所に設置された複数の監視カメラからそれぞれ供給された映像信号による各画像を一画像に分割割付して付加情報をスーパインポーズした場合に、各監視場所の明るさが各別に変化したとしても、付加情報がスーパインポーズされる各画像の所定領域のみの輝度レベルを詳細に判定することにより、スーパインポーズする付加情報の輝度レベルや色を変更して視認性を良好に保つことができる。
以下、本発明を実施するための最良の形態について、図面を参照して説明する。まず、本発明の一実施形態としての映像監視装置が適用された監視カメラシステムの全体構成を図1に示す。同図において、監視カメラシステム1は、n台(nは2以上の整数)の監視カメラ101−1〜101−nと、映像監視装置102と、表示装置103とを備えている。
監視カメラ101−1〜101−nは、それぞれビデオカメラであり、撮像映像を映像信号として出力する機能を有する。本実施形態においては、出力される映像信号はアナログ映像信号である。
映像監視装置102は、監視カメラシステム1の制御装置としての機能を有するものである。特に、監視カメラ101−1〜101−nからそれぞれ供給される映像信号をデジタル変換処理の後符号化処理して内蔵のハードディスクに記録するとともに復号処理したり、又はハードディスクから読み出された符号化データを復号処理したりする。そして、後述する所定の付加情報のキャラクタデータを復号映像にスーパインポーズして、画面選択や画面分割の制御に基づいて映像出力を行う機能を有する。そして、表示装置103は、映像監視装置102から供給された映像信号(付加情報がスーパインポーズされた監視映像)をモニタに画像表示する。
次に、映像監視装置102の内部構成について、図2の概略機能ブロック図に基づき説明する。同図において、入力信号処理部201は、監視カメラ101−1〜101−nから入来する最大n個の映像信号を、後述する制御部208の制御に基づき選択してデジタル信号に変換したり、n個の映像信号それぞれをデジタル信号に変換して一画面に分割割付することにより分割画面(例えば、4分割画面や16分割画面)を生成したりする機能を有する。
符号化部202は、入力信号処理部201から供給されるデジタル信号を符号化する機能を有する。これにおいて、符号化処理についてはJPEG方式やMPEG方式等の公知の符号化方式が適用できるが、本実施形態においてはJPEG方式によるものとする。
記録部203は、符号化部202から制御部208を介して供給される符号化データや後述する付加情報管理部207から制御部208を介して供給される付加情報を記録する機能を有し、ハードディスクやメモリ等の記録媒体が適用できる。本実施形態においては、記録媒体としてハードディスクを用いる。また、記録部203に記録された符号化データや付加情報は制御部208によって読出制御が可能である。
復号部204は、入力信号処理部201から符号化部202と制御部208とを介して供給された符号化データや、記録部203から読み出されて制御部208を介して供給された符号化データを復号する機能を有する。いずれの符号化データを復号するかについては、制御部208の制御による。復号方式は、符号化部202の符号化方式に対応して復号可能な方式であり、本実施形態においてはJPEG方式である。
付加情報合成部205は、復号部204で復号された復号映像信号が供給されるとともに、付加情報管理部207で管理されている付加情報が制御部208を介して供給されてキャラクタデータを生成し、前記供給された復号映像信号にキャラクタデータをスーパインポーズする機能を有する。そして、付加情報合成部205は、付加情報に基づくキャラクタデータの輝度レベルやキャラクタデータが合成される部分の色を変化させる機能や、復号映像信号との合成機能を有している。
信号出力部206は、キャラクタデータがスーパインポーズされた復号映像信号を出力する機能を有し、その出力フォーマットは、表示装置103の入力フォーマットに合わせて、例えばアナログ又はデジタルによる、NTSC信号方式、RGB信号方式、色差信号方式が適用できる。
付加情報管理部207は、監視カメラ101−1〜101−nの設置場所を示す情報や撮影日時情報を監視カメラ101−1〜101−n毎に記憶管理する機能を有する。監視カメラシステム1の利用者(監視者)は、これら監視カメラの設置場所に関する情報を予め付加情報管理部207に具備されたメモリ(不図示)に設定しておくことができる。また、付加情報管理部207には、撮像日時情報を取得するための計時部(不図示)が具備されている。
輝度レベル検出部209は、制御部208の制御に基づき、復号部204から供給された復号映像信号の一画面を複数の格子状のブロック(例えば、8×8画素や16×16画素単位のブロック)に分割し、ブロック毎に輝度レベルの平均値を算出して予め設定された輝度レベル閾値と比較し、その比較結果を出力する機能を有する。これにおいて、輝度レベル検出部209は、一画面全体を構成する全ブロックについて比較結果を出力してもよいし、予め設定された領域に対応するブロック(このブロック部分には付加情報に基づくキャラクタデータがスーパインポーズされる。)のみの比較結果を出力するようにしてもよい。
付加情報合成制御部210は、輝度レベル検出部209から供給されたブロックの比較結果に基づき、付加情報合成部205でスーパインポーズするキャラクタデータの輝度レベルやキャラクタデータが合成される部分に関するブロックの色を変化させるための合成制御信号を出力する機能を有する。
そして、制御部208は、上述のごとく映像監視装置102を構成する各部を制御する機能を有している。
次に、監視カメラシステム1の動作を説明する。本実施形態の動作説明においては、4台の監視カメラ101−1〜101−4を接続した例について説明する。この例において、監視カメラ101−1〜101−4は、野外駐車場付近と、日常的に日当たりの悪い裏通り付近と、事務所の室内と、地下倉庫室とにそれぞれ設置されているものとする。このように、監視カメラ101−1〜101−4が設置されている監視場所はその日当たりや照明によって明るさが一様でない。
<4画面分割モード>
まず、監視カメラ101−1〜101−4から映像監視装置102に供給される4つの映像信号について、映像監視装置102が4画面分割して表示装置103に表示する例について説明する。まず、監視カメラ101−1〜101−4、映像監視装置102、及び表示装置103が通電状態にされ、監視カメラ101−1〜101−4から各映像信号が映像監視装置102に供給され始めると、入力信号処理部201は、制御部208から4画面分割制御信号が供給されることによって4つの映像信号をそれぞれA/D変換処理した後、一画面分のフレームメモリ(不図示)上に4画面分割して映像データをマッピングする。この映像データのマッピング処理は公知の技術により実現可能であるため、その詳細については説明を省略する。
入力信号処理部201から出力された映像データ(4分割マッピングされた映像データ)は、符号化部202でJPEG方式によってデータ圧縮される。そして、データ圧縮された符号化データは、制御部208の制御に基づきファイルデータとして記録部203に記録される。その際、付加情報管理部207で管理されている4つの監視場所の名称を示した情報と計時部から取得される日時情報と(これらを総じて付加情報と称する)が符号化データに多重化されて、又は関連付けられて記録部203に記録される。
一方、符号化データ及び付加情報が記録部203に記録されるのとは別に、符号化データは復号部204に供給されてJPEG方式でデータ伸長された後、復号映像データとして付加情報合成部205及び輝度レベル検出部209に供給される。
輝度レベル検出部209は、供給された復号映像データの一画面を前述した複数のブロックに分割し、ブロック毎に輝度レベルの平均値を算出して予め設定されている輝度レベル閾値と比較し、その比較結果を付加情報合成制御部210に供給する。これにおいて、輝度レベル検出部209は、一画面全体を構成する全ブロックについて比較結果を出力してもよいが、後にキャラクタデータがスーパインポーズされるデータ領域に該当するブロックのみの比較結果を出力するのが好適である。
また、付加情報合成部205では、復号部204から供給された復号映像データに、付加情報管理部207から制御部208を介して供給された付加情報に基づき内蔵するキャラクタジェネレータ(不図示)から生成されるキャラクタデータをスーパインポーズする。その際、付加情報合成制御部210から、スーパインポーズする際のキャラクタデータの輝度レベルやキャラクタデータが合成される部分に該当するブロックの色をブロック毎に変化させるための合成制御信号が付加情報合成部205に供給され、付加情報合成部205では、この合成制御信号に基づいてキャラクタデータの輝度レベルの変換、又はキャラクタデータ合成ブロックの色の変換をブロック毎に行ってスーパインポーズを行う。
輝度レベルの変換処理は、例えば夜間や倉庫内等監視映像の輝度レベルが低い場合は、キャラクタデータの輝度レベルを高く変換してスーパインポーズする。また、逆光の場所に監視カメラが設置された昼間の場合等、監視映像の輝度レベルが高い場合は、キャラクタデータの輝度レベルを低く変換してスーパインポーズする。
また、色の変換処理は、ブロックの輝度レベルが高い場合は、比較的暗い色に変換し、また、ブロックの輝度レベルが低い場合は、比較的明るい色に変換してスーパインポーズする。
そして、信号出力部206は、付加情報合成部205から供給されたスーパインポーズされた映像データを表示装置103に表示可能なフォーマットに変換して出力し、表示装置103に表示する。
上述した説明は、入力信号処理部201に入来した映像信号を略リアルタイムに符号化及び復号し、付加情報に基づくキャラクタデータをスーパインポーズして表示する処理動作に関するものであるが、既に記録部203に記録されている符号化データ及び付加情報を読み出して復号映像データを取得し、スーパインポーズ処理を経て表示装置103に表示させる動作についても同様の処理を実行する。
図3に、4画面分割モードにおける表示装置103の表示例を示す。同図に示すように、監視カメラ101−1〜101−4でそれぞれ撮像された監視映像が4分割画面として表示装置103に表示される。これにおいて、同図左上の子画面は監視カメラ101−1で撮像された野外駐車場付近の監視映像、同図右上の子画面は日常的に日当たりの悪い裏通り付近の監視映像、同図左下の子画面は事務所の室内の監視映像、そして同図右下の子画面は地下倉庫室の監視映像に対応している。そして、同図左上及び右上の2つの子画面は、キャラクタデータの輝度レベルを変化させて表示した例であり、同図左下及び右下の2つの子画面は、キャラクタデータが合成される領域に対応したブロックの色を変更した例である。この例のように、画面分割モードにおいては、子画面毎に輝度レベル及び色のいずれかを変更するように制御することができる。もちろん、子画面毎に輝度レベル及び色の両方を変更するように制御してもよい。
<一画面選択モード>
次に、監視カメラ101−1〜101−4から映像監視装置102に供給される4つの映像信号について、映像監視装置102が一画面を選択して表示装置103に表示する例について説明する。まず、監視カメラ101−1〜101−4、映像監視装置102、及び表示装置103が通電状態にされ、監視カメラ101−1〜101−4から各映像信号が映像監視装置102に供給され始めると、入力信号処理部201は、制御部208から画面選択制御信号が供給されることによって4つの映像信号から一の映像信号を選択して、その選択された映像信号についてA/D変換処理を行ってフレームメモリ(不図示)に映像データを記憶する。それ以降の処理は、前述した4画面分割モードと同様であるため、その説明を省略する。
以上詳述したように、本実施形態によれば、各別の場所に設置された監視カメラ101−1〜101−nからそれぞれ供給された映像信号による各画像を一画像に分割割付して付加情報に基づくキャラクタデータをスーパインポーズする場合に、各監視場所の明るさが各別に変化したとしても、キャラクタデータがスーパインポーズされる各画像の所定領域のみ又は全体に渡って輝度レベルを詳細に判定することにより、キャラクタデータの輝度レベルや色を変更して視認性を良好に保つことができる。
また、監視カメラ101−1〜101−nからそれぞれ供給された映像信号による各画像を任意に切換えて表示させる場合においても同様の効果を奏することができる。
なお、本実施形態においては、監視カメラ101−1〜101−nはアナログ映像信号を出力するビデオカメラとし、これらアナログ映像信号を直接映像監視装置102に接続する形態としたが、本発明の技術的思想はこの実施形態に限らず、例えば複数の監視カメラをそれぞれネットワークカメラで構成してネットワークを介して映像監視装置に接続するようにしてもよい。これにおいて、監視カメラで撮像された映像は、当該監視カメラ内でJPEGデータ等の符号化データに変換して映像監視装置に供給する形態にするのが好ましい。
本発明の一実施形態としての映像監視装置が適用された監視カメラシステムの全体構成を示した図である。 本発明の一実施形態としての映像監視装置の概略機能ブロック図を示したものである。 本発明の一実施形態としての映像監視装置の4画面分割モードにおける表示装置の表示例を示した図である。
符号の説明
1 監視カメラシステム
101−1〜101−n 監視カメラ
102 映像監視装置
103 表示装置
201 入力信号処理部
202 符号化部
203 記録部
204 復号部
205 付加情報合成部
206 信号出力部
207 付加情報管理部
208 制御部
209 輝度レベル検出部
210 付加情報合成制御部

Claims (2)

  1. 複数の監視カメラからそれぞれ供給された映像信号による各画像を、一画像に分割割付するとともにこの割付けられた各画像の所定領域を格子状のブロックに分割するブロック分割手段と、
    前記ブロック毎に輝度レベル平均値を算出する輝度平均値算出手段と、
    前記算出された各輝度レベル平均値と予め設定された輝度レベル閾値とをそれぞれ比較する輝度レベル比較手段と、
    前記各比較結果に基づき、前記所定領域においてスーパインポーズされる前記付加情報の輝度レベルを前記ブロック毎に変更する輝度レベル変更手段と、
    前記輝度レベル変更手段で前記ブロック毎に輝度レベルが変更された前記付加情報を前記各画像の所定領域にスーパインポーズし、このスーパインポーズされた画像を出力する出力手段と
    を備えたことを特徴とする映像監視装置。
  2. 複数の監視カメラからそれぞれ供給された映像信号による各画像を、一画像に分割割付するとともにこの割付けられた各画像の所定領域を格子状のブロックに分割するブロック分割手段と、
    前記ブロック毎に輝度レベル平均値を算出する輝度平均値算出手段と、
    前記算出された各輝度レベル平均値と予め設定された輝度レベル閾値とをそれぞれ比較する輝度レベル比較手段と、
    前記各比較結果に基づき、前記所定領域の色を前記ブロック毎に変更する色変更手段と、
    前記色変更手段で前記ブロック毎に色が変更された前記所定領域に前記付加情報をスーパインポーズし、このスーパインポーズされた画像を出力する出力手段と
    を備えたことを特徴とする映像監視装置。
JP2006018715A 2006-01-27 2006-01-27 映像監視装置 Expired - Fee Related JP4692889B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006018715A JP4692889B2 (ja) 2006-01-27 2006-01-27 映像監視装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006018715A JP4692889B2 (ja) 2006-01-27 2006-01-27 映像監視装置

Publications (2)

Publication Number Publication Date
JP2007201866A JP2007201866A (ja) 2007-08-09
JP4692889B2 true JP4692889B2 (ja) 2011-06-01

Family

ID=38455996

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006018715A Expired - Fee Related JP4692889B2 (ja) 2006-01-27 2006-01-27 映像監視装置

Country Status (1)

Country Link
JP (1) JP4692889B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107613351A (zh) * 2017-09-27 2018-01-19 惠州Tcl移动通信有限公司 一种视频区域亮度控制方法、移动终端及存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5221397B2 (ja) * 2009-01-06 2013-06-26 日本無線株式会社 インポーズ文字の色自動選択装置
JP6253307B2 (ja) * 2013-08-21 2017-12-27 キヤノン株式会社 撮像装置、外部装置、撮像システム、撮像装置の制御方法、外部装置の制御方法、撮像システムの制御方法、及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0998391A (ja) * 1995-09-29 1997-04-08 Matsushita Electric Ind Co Ltd 文字多重放送用テレビジョン受像機
JPH10247135A (ja) * 1997-03-05 1998-09-14 Hitachi Ltd メッセージ表示装置および表示方法
JP2001309368A (ja) * 2000-04-26 2001-11-02 Matsushita Electric Ind Co Ltd 監視用デジタル画像記録再生装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0998391A (ja) * 1995-09-29 1997-04-08 Matsushita Electric Ind Co Ltd 文字多重放送用テレビジョン受像機
JPH10247135A (ja) * 1997-03-05 1998-09-14 Hitachi Ltd メッセージ表示装置および表示方法
JP2001309368A (ja) * 2000-04-26 2001-11-02 Matsushita Electric Ind Co Ltd 監視用デジタル画像記録再生装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107613351A (zh) * 2017-09-27 2018-01-19 惠州Tcl移动通信有限公司 一种视频区域亮度控制方法、移动终端及存储介质
CN107613351B (zh) * 2017-09-27 2021-03-23 惠州Tcl移动通信有限公司 一种视频区域亮度控制方法、移动终端及存储介质

Also Published As

Publication number Publication date
JP2007201866A (ja) 2007-08-09

Similar Documents

Publication Publication Date Title
JP5566133B2 (ja) フレームレート変換処理装置
US8373772B2 (en) Imaging apparatus for capturing a main image and a sub image
JP4130737B2 (ja) ダイナミックレンジが改善されたビデオカメラ、記憶システム及び記憶方法
WO2015198554A1 (ja) 変換方法および変換装置
JP4458925B2 (ja) 映像処理装置
US8004542B2 (en) Video composition apparatus, video composition method and video composition program
KR102031602B1 (ko) 화상표시장치, 화상출력 장치 및 그것들의 제어 방법
US20060238826A1 (en) Image transmitting apparatus and image transmitting system
CN110798631A (zh) 摄像设备和信息处理设备及其控制方法以及记录介质
US20090080787A1 (en) Image Compression and Expansion Technique
US8120675B2 (en) Moving image recording/playback device
JP4692889B2 (ja) 映像監視装置
JP2007228099A (ja) 撮像装置
US8068144B2 (en) Image recording and reproducing apparatus
KR101035489B1 (ko) 다중 카메라를 이용하는 차량용 블랙박스 장치
KR100763624B1 (ko) 고해상도 화면 분할장치
CN100534136C (zh) 摄像装置
JP4857297B2 (ja) 映像処理装置
US7389004B2 (en) Image processing apparatus
KR100927554B1 (ko) 주야간 영상 합성에 기반한 야간 영상 감시 시스템 및 방법
JP2004193970A (ja) 画像データ処理装置
KR20020037640A (ko) 복수의 영상을 처리하는 카메라
JP2003153079A (ja) 画像処理装置と画像処理方法
KR101062009B1 (ko) 여러 종류의 영상을 pip로 출력 가능한 dvr장치
JPH1023274A (ja) 画像信号の送信装置および受信再生装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080630

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100913

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101029

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101220

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110128

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110210

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140304

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4692889

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140304

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140304

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees