JP4658454B2 - Network camera - Google Patents

Network camera Download PDF

Info

Publication number
JP4658454B2
JP4658454B2 JP2003040860A JP2003040860A JP4658454B2 JP 4658454 B2 JP4658454 B2 JP 4658454B2 JP 2003040860 A JP2003040860 A JP 2003040860A JP 2003040860 A JP2003040860 A JP 2003040860A JP 4658454 B2 JP4658454 B2 JP 4658454B2
Authority
JP
Japan
Prior art keywords
image data
image
network
priority
processing means
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003040860A
Other languages
Japanese (ja)
Other versions
JP2004253963A (en
Inventor
昌治 沢村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yokogawa Electric Corp
Original Assignee
Yokogawa Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yokogawa Electric Corp filed Critical Yokogawa Electric Corp
Priority to JP2003040860A priority Critical patent/JP4658454B2/en
Publication of JP2004253963A publication Critical patent/JP2004253963A/en
Application granted granted Critical
Publication of JP4658454B2 publication Critical patent/JP4658454B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【0001】
本発明は、ネットワーク上に複数台のネットワークカメラ、モニタ装置及び画像記録装置を分散配置したネットワーク・カメラ・システムに用いられるネットワークカメラに関し、特に優先制御を行い複数種類の画質の画像の提供が可能なネットワークカメラに関する。
【0002】
【従来の技術】
従来のネットワーク上に複数台のネットワークカメラ、モニタ装置及び画像記録装置を分散配置したネットワーク・カメラ・システムに関連する先行技術文献としては次のようなものがある。
【0003】
【特許文献1】
特開平10−164553号公報
【特許文献2】
特開平10−164554号公報
【特許文献3】
特開平11−196379号公報
【特許文献4】
特開2001−045098号公報
【特許文献5】
特開2002−158995号公報
【0004】
図8は従来のネットワーク上に複数台のネットワークカメラ、モニタ装置及び画像記録装置を分散配置したネットワーク・カメラ・システムである。図8において1,2,3及び4は画像を撮影すると共にネットワーク上にデジタル化された画像データを配信する機能を有するネットワークカメラ、5は画像記録装置、6,7及び8はモニタ装置、100はLAN(Local Area Network),WAN(Wide Area Network)或いはインターネット等の汎用のネットワークである。
【0005】
ネットワークカメラ1,2,3及び4はそれぞれネットワーク100に接続され、画像記録装置5もまたネットワーク100に接続される。そして、モニタ装置6,7及び8もネットワーク100に接続される。また、ネットワークカメラ1〜4、画像記録装置5及びモニタ装置6〜8はネットワーク100上に分散配置される。
【0006】
ここで、図8に示す従来例の動作を図9及び図10を用いて説明する。図9は画像記録装置5やモニタ装置6〜8からの画像要求を説明する説明図、図10は画像要求を受けたネットワークカメラ4からの画像データの送信状態を説明する説明図である。
【0007】
ネットワークカメラ1,2,3及び4はそれぞれ被撮影物体の画像を撮影してJPEG(静止画像を1/10〜1/100に圧縮する技術、JPEG:Joint Photographic Coding Experts Group)等のアルゴリズムでデジタル化した画像データをネットワーク100上に配信する。
【0008】
画像記録装置5やモニタ装置6〜8は画像データを配信するネットワークカメラ1〜4に対して画像データの要求をネットワーク100経由で行い必要とする画像データを取得し、取得した画像データを適宜記録したりモニタ装置の表示手段上に表示させる。
【0009】
例えば、図9中”RQ01”、”RQ02”、”RQ03”及び”RQ04”に示すようにモニタ装置6,7,8及び画像記録装置5からの画像要求がネットワーク経由でネットワークカメラ4にあった場合、図10中”GD11”、”GD12”、”GD13”及び”GD14”に示すようにモニタ装置6,7,8及び画像記録装置5に対して画像データを配信する。
【0010】
この結果、ネットワーク100上に分散配置されたネットワークカメラ1〜4から必要な画像データを、同じくネットワーク100上に分散配置された画像記録装置5及びモニタ装置6〜8が取得して記録、表示等を行うことにより、ネットワーク・カメラ・システムを構築することが可能になる。
【0011】
【発明が解決しようとする課題】
しかし、図8に示す従来例では、ネットワークカメラの有する画像データの配信機能の処理能力は有限であるため、画像要求をしているモニタ装置等の台数や要求される画像データの情報量が前記配信機能の処理能力を超過した場合には当該ネットワークカメラは応答不能になってしまうと言った問題点があった。
【0012】
このような問題点を回避するためには前記情報量等が配信機能の処理能力を超過しないように接続可能なモニタ装置等の台数を予め制限する必要性があり、ネットワーク・カメラ・システムの特徴であるどこから誰でも画像データを得ることができると言ったメリットを発揮できなくなってしまう。
【0013】
また、一般に、モニタ装置や画像記録装置等の個々の装置における画像データに対する画質等の要求内容は異なるものである。
【0014】
例えば、画像記録装置は高解像度で鮮明な画像が必要であり、モニタ装置では画質よりも高速のフレームレートが必要となり、画像データの要求時に両者の要求が同時にあった場合、デジタル化処理において競合が発生してネットワークカメラ全体の処理能力を著しく低下させてしまう恐れがあると言った問題点があった。
【0015】
すなわち、モニタ装置や画像記録装置等の個々の装置における画像データに対する画質、解像度等の異なる要求品質に対して効率良く対応することができないと言った問題点があった。
【0016】
また、モニタ装置や画像記録装置等の個々の装置に対する優先度の区別はなされていないので、画像記録装置等の重要度の高い装置であっても必要な画像データの取得が保証されるものではないと言った問題点があった。
従って本発明が解決しようとする課題は、効率良く複数の要求品質に対応可能で画像データの取得保証が可能なネットワークカメラを実現することにある。
【0017】
【課題を解決するための手段】
このような課題を達成するために、本発明のうち請求項1記載の発明は、
画像を撮影すると共にネットワーク上にデジタル化された画像データを配信する機能を有するネットワークカメラにおいて、
画像を撮影するカメラと、
このカメラが撮影した画像を予め設定された要求品質でデジタル化する複数のチャネルを有し、これら複数のチャネルを時分割動作させて複数の要求品質の画像データを生成すると共に画像要求元の要求品質に適合する画像データを出力するデジタル化処理手段と、 前記ネットワークとの間で画像要求元からの画像要求の受信や画像データの送信を行う通信手段と、
前記デジタル化処理手段から出力される前記画像データを優先度の高い画像要求元に対して優先的に送信させる画像データ送信処理手段と
を備え
前記画像データ送信処理手段が、
前記デジタル化処理手段から出力される前記画像データを取得して前記画像要求元の前記優先度に基づき各クラスキューに振り分ける振り分け手段と、
前記各クラスキューの優先度に応じて頻度を変化させながら前記各クラスキューから画像データを取得して送信データの待ち行列の末尾に追加する送信管理手段とから構成されることにより、効率良く複数の要求品質に対応可能で画像データの取得保証が可能になる。
【0019】
請求項2記載の発明は、
請求項1記載の発明であるネットワークカメラにおいて、
前記デジタル化処理手段が、
前記カメラのビデオ信号の周期に同期し、時分割で各々のチャネルに予め設定されている要求品質でデジタル化処理を行い、デジタル化処理済の画像データを当該チャネルのバッファに格納することにより、効率良く複数の要求品質に対応可能で画像データの取得保証が可能になる。
【0020】
請求項3記載の発明は、
請求項2記載の発明であるネットワークカメラにおいて、
前記デジタル化処理手段が、
前記画像要求元から画像要求を受信した場合には、受信した画像要求で指定されているチャネルの前記バッファから画像データを読み出し前記画像データ送信処理手段に出力することにより、効率良く複数の要求品質に対応可能で画像データの取得保証が可能になる。
【0022】
請求項記載の発明は、
請求項1〜3のいずれかに記載の発明であるネットワークカメラにおいて、
前記送信管理手段が、
優先度の高い前記クラスキューからの画像データの取得頻度を優先度の低い前記クラスキューからの画像データの取得頻度よりも高くすることにより、効率良く複数の要求品質に対応可能で画像データの取得保証が可能になる。
【0023】
請求項記載の発明は、
請求項1〜4のいずれかに記載の発明であるネットワークカメラにおいて、
前記画像要求元のIPアドレスに対して前記優先度を付与することにより、効率良く複数の要求品質に対応可能で画像データの取得保証が可能になる。
【0024】
請求項記載の発明は、
請求項1〜5のいずれかに記載の発明であるネットワークカメラにおいて、
前記画像要求の通信データ内に前記優先度を示す情報を付加することにより、画像要求(通信データ内の優先度を示す情報)毎に優先度を動的に変化させることが可能になる。
【0025】
請求項記載の発明は、
請求項1〜6のいずれかに記載の発明であるネットワークカメラにおいて、
前記画像要求の通信データ内に前記要求品質を示す情報を付加することにより、画像要求(通信データ内の要求品質を示す情報)毎に要求品質を動的に変化させることが可能になる。
【0026】
請求項記載の発明は、
請求項1〜7のいずれかに記載の発明であるネットワークカメラにおいて、
ネットワーク上に複数台のネットワークカメラ、モニタ装置及び画像記録装置を分散配置したネットワーク・カメラ・システムに適用したことにより、効率良く複数の要求品質に対応可能で画像データの取得保証が可能になる。
【0027】
【発明の実施の形態】
以下本発明を図面を用いて詳細に説明する。図1は本発明に係るネットワーク・カメラ・システムに用いられるネットワークカメラの一実施例を示す構成ブロック図である。
【0028】
図1において9は画像を撮影するカメラ、10は複数の処理チャネルを有し撮影した画像をJPEG等のアルゴリズムでデジタル化するデジタル化処理手段、11は画像データ送信処理手段、12はネットワークインターフェースである通信手段,101はLAN,WAN或いはインターネット等の汎用のネットワークである。また、9,10,11及び12はネットワークカメラ50を構成している。
【0029】
カメラ9の出力はデジタル化処理手段10に接続され、デジタル化処理手段10の入出力は画像データ送信処理手段11に接続され、画像データ送信処理手段11の出力は通信手段12に接続される。
【0030】
通信手段12の入出力はネットワーク101に相互に接続され、通信手段12の出力は直接デジタル化処理手段10に接続される。
【0031】
ここで、図1に示す実施例の動作を図2、図3、図4、図5、図6及び図7を用いて詳細に説明する。
【0032】
図2は2チャネルで時分割動作するデジタル化処理手段10の動作を説明するフロー図、図3は2チャネルで時分割動作するデジタル化処理手段10の動作を説明するタイミング図、図4は画像要求の受信時のデジタル化処理手段10の動作を説明するフロー図、図5は画像データ送信処理手段11の詳細を説明する説明図、図6は振り分け手段の動作を説明するフロー図、図7は送信管理手段の動作を説明するフロー図である。
【0033】
デジタル化処理手段10の2つのチャネル、”チャネル1”及び”チャネル2”には予め画質、解像度等の個々の要求品質が通信手段12を介して設定されている。
【0034】
例えば、”チャネル1”には高画質且つ高解像度の要求品質が、”チャネル2”には低画質且つ低解像度の要求品質が予め設定されているものとする。
【0035】
図2中”S001”においてデジタル化処理手段10はカメラ9のビデオ信号の周期であるか否かを判断し、もし、ビデオ信号の周期に同期していれば、図2中”S002”においてデジタル化処理手段10は”チャネル1”の処理のタイミングであるか否かを判断する。
【0036】
もし、図2中”S002”において”チャネル1”の処理のタイミングであると判断された場合には、図2中”S003”においてデジタル化処理手段10は”チャネル1”に予め設定されている要求品質でデジタル化処理を行い、図2中”S004”においてデジタル化処理済の画像データを”チャネル1”のバッファに格納する。
【0037】
例えば、図3中”DP21”、”DP23”及び”DP25”に示すように時分割で”チャネル1”に予め設定されている高画質且つ高解像度の要求品質でデジタル化処理を行い、デジタル化処理済の画像データを”チャネル1”のバッファに格納する。
【0038】
もし、図2中”S002”のおいて”チャネル1”の処理のタイミングではない判断された場合には、図2中”S005”においてデジタル化処理手段10は”チャネル2”に予め設定されている要求品質でデジタル化処理を行い、図2中”S006”においてデジタル化処理済の画像データを”チャネル2”のバッファに格納する。
【0039】
例えば、図3中”DP22”、”DP24”及び”DP26”に示すように時分割で”チャネル2”に予め設定されている低画質且つ低解像度の要求品質でデジタル化処理を行い、デジタル化処理済の画像データを”チャネル2”のバッファに格納する。
【0040】
このような状態でデジタル化処理手段10が通信手段12から画像要求元の画像要求を受信した場合の動作を説明する。
【0041】
図4中”S101”においてデジタル化処理手段10は画像要求元から画像要求を受信するまで待機し、もし、画像要求を受信した場合には、図4中”S102”においてデジタル化処理手段10は画像要求元の要求品質に基づき、言い換えれば、受信した画像要求で指定されているチャネルのバッファから画像データを読み出し画像データ送信処理手段11に出力する。
【0042】
例えば、通信手段12を介して取得した画像要求元の要求品質が高画質且つ高分解能であれば、言い換えれば、受信した画像要求で指定されているチャネルが”チャネル1”であれば、デジタル化処理手段10は”チャネル1”のバッファから画像データを出力する。
【0043】
また、例えば、画像要求元の要求品質が低画質且つ低分解能であれば、言い換えれば、受信した画像要求で指定されているチャネルが”チャネル2”であれば、デジタル化処理手段10は”チャネル2”のバッファから画像データを出力する。
【0044】
一方、画像データ送信処理手段11は図5に示すように、デジタル化処理手段10から出力される画像データを取得して優先度に基づき各クラスキューに振り分ける振り分け手段13と、各クラスキューから画像データを取得して送信データの待ち行列の末尾に追加する送信管理手段14とから構成される。
【0045】
図6中”S201”において振り分け手段13はデジタル化処理手段10から画像データが出力されたか否かを判断する。
【0046】
もし、図6中”S201”においてデジタル化処理手段10から画像データが出力された場合には、図6中”S202”において振り分け手段13は画像要求元の優先度に基づき複数のクラスキューに画像データを振り分ける。
【0047】
ここで、各クラスキューには予め画像要求元の重要度に応じて優先度が設定されており、例えば、図5中”CQ31”に示すクラスキューが最優先の優先度を有し、図5中”CQ32”に示すクラスキューから図5中”CQ33”に示すクラスキューに向かって順次優先度が下がって行く(図5中”CQ33”に示すクラスキューは最も低い優先度となる)ものとする。
【0048】
また、具体的には、通信手段12で取得する画像要求元のIP(Internet Protocol)アドレスに対して優先度を付与しておくことにより、振り分け手段13が図5中”DD31”に示すように当該IPアドレスに基づきクラスキューに画像データを振り分けることになる。
【0049】
一方、図7中”S301”において送信管理手段14は高優先度のクラスキューの監視時間であるか否かを判断し、もし、高優先度のクラスキューの監視時間であると判断した場合には図7中”S302”において送信管理手段14は高優先度のクラスキューから画像データを取得し、図7中”S303”において取得した画像データを送信データの待ち行列の末尾に追加する。
【0050】
また、もし、高優先度のクラスキューの監視時間ではないと判断した場合には図7中”S304”において送信管理手段14は低優先度のクラスキューの監視時間であるか否かを判断する。
【0051】
図7中”S304”において送信管理手段14は低優先度のクラスキューの監視時間ではないと判断した場合には図7中”S301”に示すステップに戻る。
【0052】
もし、図7中”S304”において送信管理手段14は低優先度のクラスキューの監視時間であると判断した場合には図7中”S305”において送信管理手段14は低優先度のクラスキューから画像データを取得し、図7中”S303”において取得した画像データを送信データの待ち行列の末尾に追加する。
【0053】
すなわち、図5中”DS31”に示すように送信管理手段14は各クラスキューの優先度に応じて頻度を変化させながら、各クラスキューから画像データを取得して図5中”SD31”に示す送信データの待ち行列の末尾に追加して行く。
【0054】
但し、高優先度のクラスキューの監視時間は低優先度のクラスキューの監視時間よりも短い、言い換えれば、高優先度のクラスキューを監視する頻度の方が低優先度のクラスキューを監視する頻度よりも高くなる。
【0055】
また、通信手段12は送信データの待ち行列の先頭のデータを取得して、順次ネットワーク101を介して画像要求元に対して送信する。
【0056】
このため、高優先度のクラスキューに保持されている送信データの方が他と比較して優先的に送信されることになり、結果として高優先度の画像要求元からの次回の画像要求も他と比較して速く届くことになる。
【0057】
逆に、低優先度の画像要求元からの次回の画像は遅延され、システム全体としての負荷配分は最適に調整されることになる。
【0058】
また、画像記録装置等の重要度の高い装置は最高の優先度にしておくことにより、常に優先的に画像データの送信がなされることになり、必要な画像データの取得が保証されることになる。
【0059】
この結果、デジタル化処理手段10で複数チャネルを時分割に動作させ予め設定された複数の要求品質の画像データを生成し、優先度の高い画像要求元に対して優先的に画像データを送信することにより、効率良く複数の要求品質に対応可能で画像データの取得保証が可能になる。
【0060】
なお、図2及び図3の説明に際しては説明の簡単のためにデジタル化処理手段10に2つのチャネルを設けて時分割で動作させることを例示しているが、勿論、3チャネル以上の複数のチャネルを設けて時分割で動作させても構わない。この場合には、より複数の要求品質に対して効率良く対応することが可能になる。
【0061】
また、デジタル化処理手段10に設けられるチャネル自体に優先度を付与しても構わない。さらに、優先度を付与したチャネル、付与していないチャネルを混在させても構わない。
【0062】
また、図1に示す実施例ではデジタル化処理手段10を1つの処理手段によって構成しているが、複数の処理手段を設けて並列処理しても構わない。この場合には、デジタル化処理の速度をより高速にすることが可能になる。
【0063】
また、図1に示す実施例では通信手段12にネットワーク101との間で画像要求の受信や画像データの送信を行わせているが、複数の通信手段を設けて受信と送信とを分離しても構わない。
【0064】
また、図4〜図6の説明に際しては、通信手段12で取得する画像要求元のIPアドレスに対して優先度を付与する旨例示しているが、画像要求の通信データ内に優先度を示す情報を付加しても構わない。
【0065】
この場合には、画像要求元のIPアドレスに対する優先度が固定されることなく、画像要求(通信データ内の優先度を示す情報)毎に優先度を動的に変化させることが可能になる。
【0066】
また、図2及び図3の説明に際しては、デジタル化処理手段10に設けられたチャネルに対して予め複数の要求品質を設定しているが、画像要求の通信データ内に要求品質を示す情報を付加しても構わない。
【0067】
この場合には、デジタル化処理手段10に設けられたチャネル毎に要求品質が固定されることなく、画像要求(通信データ内の要求品質を示す情報)毎に要求品質を動的に変化させることが可能になる。
【0068】
また、図1に示す実施例ではカメラ9をネットワークカメラ50と一体型として例示しているが、勿論、カメラ9とデジタル化処理手段10、画像データ送信処理手段11及び通信手段12とを分離しても構わない。
【0069】
【発明の効果】
以上説明したことから明らかなように、本発明によれば次のような効果がある。
請求項1,2,3,4,5及び請求項8の発明によれば、デジタル化処理手段で複数チャネルを時分割に動作させ予め設定された複数の要求品質の画像データを生成し、優先度の高い画像要求元に対して優先的に画像データを送信することにより、効率良く複数の要求品質に対応可能で画像データの取得保証が可能になる。
【0070】
また、請求項の発明によれば、画像要求の通信データ内に優先度を示す情報を付加することにより、画像要求元のIPアドレスに対する優先度が固定されることなく、画像要求(通信データ内の優先度を示す情報)毎に優先度を動的に変化させることが可能になる。
【0071】
また、請求項の発明によれば、画像要求の通信データ内に要求品質を示す情報を付加することにより、デジタル化処理手段に設けられたチャネル毎に要求品質が固定されることなく、画像要求(通信データ内の要求品質を示す情報)毎に要求品質を動的に変化させることが可能になる。
【図面の簡単な説明】
【図1】本発明に係るネットワーク・カメラ・システムに用いられるネットワークカメラの一実施例を示す構成ブロック図である。
【図2】2チャネルで時分割動作するデジタル化処理手段の動作を説明するフロー図である。
【図3】2チャネルで時分割動作するデジタル化処理手段の動作を説明するタイミング図である。
【図4】画像要求の受信時のデジタル化処理手段の動作を説明するフロー図である。
【図5】画像データ送信処理手段の詳細を説明する説明図である。
【図6】振り分け手段の動作を説明するフロー図である。
【図7】送信管理手段の動作を説明するフロー図である。
【図8】従来のネットワーク上に複数台のネットワークカメラ、モニタ装置及び画像記録装置を分散配置したネットワーク・カメラ・システムである。
【図9】画像記録装置やモニタ装置からの画像要求を説明する説明図である。
【図10】画像要求を受けたネットワークカメラからの画像データの送信状態を説明する説明図である。
【符号の説明】
1,2,3,4 ネットワークカメラ
5 画像記録装置
6,7,8 モニタ装置
9 カメラ
10 デジタル化処理手段
11 画像データ送信処理手段
12 通信手段
13 振り分け手段
14 送信管理手段
50 ネットワークカメラ
100,101 ネットワーク
[0001]
The present invention relates to a network camera used in a network camera system in which a plurality of network cameras, a monitor device, and an image recording device are distributed on a network. In particular, priority control can be performed to provide images of multiple types of image quality. Related to network cameras.
[0002]
[Prior art]
Prior art documents related to a network camera system in which a plurality of network cameras, a monitor device, and an image recording device are distributed on a conventional network include the following.
[0003]
[Patent Document 1]
Japanese Patent Laid-Open No. 10-164553 [Patent Document 2]
Japanese Patent Laid-Open No. 10-164554 [Patent Document 3]
JP 11-196379 A [Patent Document 4]
JP 2001-045098 A [Patent Document 5]
Japanese Patent Laid-Open No. 2002-158995
FIG. 8 shows a network camera system in which a plurality of network cameras, monitor devices and image recording devices are distributed on a conventional network. In FIG. 8, reference numerals 1, 2, 3 and 4 denote network cameras having a function of taking images and distributing digitized image data on the network, 5 is an image recording device, 6, 7 and 8 are monitor devices, and 100. Is a general-purpose network such as a LAN (Local Area Network), a WAN (Wide Area Network), or the Internet.
[0005]
The network cameras 1, 2, 3, and 4 are each connected to the network 100, and the image recording device 5 is also connected to the network 100. Monitor devices 6, 7 and 8 are also connected to the network 100. The network cameras 1 to 4, the image recording device 5, and the monitor devices 6 to 8 are distributed on the network 100.
[0006]
Here, the operation of the conventional example shown in FIG. 8 will be described with reference to FIGS. FIG. 9 is an explanatory diagram for explaining an image request from the image recording device 5 and the monitor devices 6 to 8, and FIG. 10 is an explanatory diagram for explaining a transmission state of image data from the network camera 4 that has received the image request.
[0007]
Each of the network cameras 1, 2, 3 and 4 takes an image of an object to be photographed and digitally uses an algorithm such as JPEG (JPEG: Joint Photographic Coding Experts Group). The converted image data is distributed on the network 100.
[0008]
The image recording device 5 and the monitor devices 6 to 8 request the image data to the network cameras 1 to 4 that distribute the image data via the network 100 to acquire the necessary image data, and appropriately record the acquired image data. Or displayed on the display means of the monitor device.
[0009]
For example, as shown in “RQ01”, “RQ02”, “RQ03”, and “RQ04” in FIG. 9, there are image requests from the monitor devices 6, 7, 8 and the image recording device 5 to the network camera 4 via the network. In this case, the image data is distributed to the monitor devices 6, 7, 8 and the image recording device 5 as indicated by "GD11", "GD12", "GD13" and "GD14" in FIG.
[0010]
As a result, necessary image data is obtained from the network cameras 1 to 4 distributed on the network 100 by the image recording device 5 and the monitor devices 6 to 8 that are also distributed on the network 100, and recorded, displayed, and the like. By doing this, it becomes possible to construct a network camera system.
[0011]
[Problems to be solved by the invention]
However, in the conventional example shown in FIG. 8, since the processing capability of the image data distribution function of the network camera is limited, the number of monitor devices requesting the image and the amount of information of the requested image data are When the processing capability of the distribution function is exceeded, there is a problem that the network camera becomes unresponsive.
[0012]
In order to avoid such problems, it is necessary to limit the number of monitor devices that can be connected in advance so that the amount of information does not exceed the processing capability of the distribution function. Features of the network camera system This means that anyone can get the image data from anywhere.
[0013]
In general, the required contents such as image quality for image data in individual apparatuses such as a monitor apparatus and an image recording apparatus are different.
[0014]
For example, an image recording device requires a high-resolution and clear image, a monitor device requires a frame rate that is faster than the image quality, and if both requests are made simultaneously when requesting image data, competing in digitization processing Has occurred, and there is a problem that the processing capability of the entire network camera may be significantly reduced.
[0015]
That is, there is a problem that it is impossible to efficiently cope with different required qualities such as image quality and resolution for image data in individual devices such as a monitor device and an image recording device.
[0016]
In addition, since priority is not distinguished for individual devices such as a monitor device and an image recording device, even a highly important device such as an image recording device cannot guarantee acquisition of necessary image data. There was a problem that said.
Therefore, the problem to be solved by the present invention is to realize a network camera that can efficiently cope with a plurality of required qualities and can guarantee acquisition of image data.
[0017]
[Means for Solving the Problems]
In order to achieve such a problem, the invention according to claim 1 of the present invention is:
In a network camera having a function of taking an image and distributing digitized image data on the network,
A camera for taking images,
It has multiple channels that digitize the images taken by this camera with preset required quality, and these multiple channels are operated in a time-sharing manner to generate multiple required quality image data and the request of the image requester Digitizing processing means for outputting image data suitable for quality; and communication means for receiving an image request from an image request source and transmitting image data with the network;
Image data transmission processing means for preferentially transmitting the image data output from the digitization processing means to an image request source having a high priority ,
The image data transmission processing means is
A distribution unit that acquires the image data output from the digitization processing unit and distributes the image data to each class queue based on the priority of the image request source;
A plurality of transmission management means for acquiring image data from each class queue and adding it to the end of a queue of transmission data while changing the frequency according to the priority of each class queue; Image data acquisition can be guaranteed.
[0019]
The invention according to claim 2
In the network camera of the invention according to claim 1 ,
The digitization processing means comprises:
Synchronizing with the period of the video signal of the camera, performing digitization processing with the required quality preset in each channel in time division, and storing the digitized image data in the buffer of the channel, It is possible to efficiently cope with a plurality of required qualities and to ensure acquisition of image data.
[0020]
The invention described in claim 3
In the network camera of the invention according to claim 2 ,
The digitization processing means comprises:
When an image request is received from the image request source, the image data is read from the buffer of the channel specified by the received image request and output to the image data transmission processing means, thereby efficiently obtaining a plurality of required qualities. And acquisition of image data can be guaranteed.
[0022]
The invention according to claim 4
In the network camera which is the invention according to any one of claims 1 to 3 ,
The transmission management means is
By making the acquisition frequency of image data from the high-priority class queue higher than the acquisition frequency of image data from the low-priority class queue, it is possible to efficiently handle multiple required qualities and acquire image data Guarantees are possible.
[0023]
The invention according to claim 5
In the network camera which is the invention according to any one of claims 1 to 4 ,
By assigning the priority to the IP address of the image request source, it is possible to efficiently cope with a plurality of required qualities and to ensure acquisition of image data.
[0024]
The invention described in claim 6
In the network camera which is the invention according to any one of claims 1 to 5 ,
By adding information indicating the priority in the communication data of the image request, the priority can be dynamically changed for each image request (information indicating the priority in the communication data).
[0025]
The invention described in claim 7
In the network camera which is the invention according to any one of claims 1 to 6 ,
By adding the information indicating the required quality in the communication data of the image request, it is possible to dynamically change the required quality for each image request (information indicating the required quality in the communication data).
[0026]
The invention described in claim 8
In the network camera which is the invention according to any one of claims 1 to 7 ,
By applying to a network camera system in which a plurality of network cameras, monitor devices and image recording devices are distributed on the network, it is possible to efficiently cope with a plurality of required qualities and to ensure acquisition of image data.
[0027]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, the present invention will be described in detail with reference to the drawings. FIG. 1 is a block diagram showing the configuration of an embodiment of a network camera used in the network camera system according to the present invention.
[0028]
In FIG. 1, 9 is a camera that captures an image, 10 is a digital processing means that has a plurality of processing channels and digitizes the captured image using an algorithm such as JPEG, 11 is an image data transmission processing means, and 12 is a network interface. A certain communication means 101 is a general-purpose network such as a LAN, WAN, or the Internet. 9, 10, 11 and 12 constitute a network camera 50.
[0029]
The output of the camera 9 is connected to the digitization processing means 10, the input / output of the digitization processing means 10 is connected to the image data transmission processing means 11, and the output of the image data transmission processing means 11 is connected to the communication means 12.
[0030]
The input / output of the communication unit 12 is connected to the network 101 and the output of the communication unit 12 is directly connected to the digitization processing unit 10.
[0031]
Here, the operation of the embodiment shown in FIG. 1 will be described in detail with reference to FIGS. 2, 3, 4, 5, 6, and 7. FIG.
[0032]
FIG. 2 is a flowchart for explaining the operation of the digitization processing means 10 that operates in a time-sharing manner with two channels, FIG. 3 is a timing chart for explaining the operation of the digitizing processing means 10 that performs a time-sharing operation with two channels, and FIG. FIG. 5 is an explanatory diagram for explaining the details of the image data transmission processing means 11, FIG. 6 is a flowchart for explaining the operation of the distribution means, and FIG. FIG. 6 is a flowchart for explaining the operation of the transmission management means.
[0033]
Individual required qualities such as image quality and resolution are set in advance through the communication unit 12 in the two channels of the digitization processing unit 10, “channel 1” and “channel 2”.
[0034]
For example, it is assumed that the required quality of high image quality and high resolution is preset for “channel 1”, and the required quality of low image quality and low resolution is preset for “channel 2”.
[0035]
In “S001” in FIG. 2, the digitization processing means 10 determines whether or not it is the cycle of the video signal of the camera 9, and if it is synchronized with the cycle of the video signal, it is digitalized in “S002” in FIG. The processing unit 10 determines whether or not it is the processing timing of “channel 1”.
[0036]
If it is determined in “S002” in FIG. 2 that the processing timing of “channel 1” is reached, the digitization processing means 10 is preset to “channel 1” in “S003” in FIG. Digitization processing is performed with the required quality, and the image data that has been digitized in “S004” in FIG. 2 is stored in the buffer of “channel 1”.
[0037]
For example, as shown in “DP21”, “DP23” and “DP25” in FIG. 3, digitization processing is performed with the required quality of high image quality and high resolution preset in “Channel 1” in time division. The processed image data is stored in the “channel 1” buffer.
[0038]
If it is determined in “S002” in FIG. 2 that it is not the timing of the processing of “channel 1”, the digitization processing means 10 is preset to “channel 2” in “S005” in FIG. Digitization processing is performed with the required quality, and the image data that has been digitized in “S006” in FIG. 2 is stored in the buffer of “channel 2”.
[0039]
For example, as shown in “DP22”, “DP24” and “DP26” in FIG. 3, digitization is performed with the required quality of low image quality and low resolution preset in “Channel 2” in time division. The processed image data is stored in the “channel 2” buffer.
[0040]
An operation when the digitization processing unit 10 receives an image request of the image request source from the communication unit 12 in such a state will be described.
[0041]
In “S101” in FIG. 4, the digitization processing means 10 stands by until an image request is received from the image request source. If an image request is received, the digitization processing means 10 in “S102” in FIG. Based on the required quality of the image request source, in other words, the image data is read from the buffer of the channel specified by the received image request and output to the image data transmission processing means 11.
[0042]
For example, if the requested quality of the image request source acquired via the communication means 12 is high image quality and high resolution, in other words, if the channel specified in the received image request is “channel 1”, digitization is performed. The processing means 10 outputs the image data from the “channel 1” buffer.
[0043]
Also, for example, if the requested quality of the image request source is low image quality and low resolution, in other words, if the channel specified in the received image request is “channel 2”, the digitization processing means 10 is “channel” Image data is output from the 2 ″ buffer.
[0044]
On the other hand, as shown in FIG. 5, the image data transmission processing unit 11 acquires the image data output from the digitization processing unit 10 and distributes the image data to each class queue based on the priority, and the image data from each class queue. It comprises transmission management means 14 for acquiring data and adding it to the end of the queue of transmission data.
[0045]
In “S201” in FIG. 6, the distribution unit 13 determines whether image data is output from the digitization processing unit 10.
[0046]
If image data is output from the digitization processing means 10 in “S201” in FIG. 6, the distribution means 13 in “S202” in FIG. 6 displays images in a plurality of class queues based on the priority of the image request source. Sort data.
[0047]
Here, priorities are set in advance for each class queue in accordance with the importance of the image request source. For example, the class queue indicated by “CQ31” in FIG. 5 has the highest priority. The priority decreases sequentially from the class queue indicated by “CQ32” in FIG. 5 toward the class queue indicated by “CQ33” in FIG. 5 (the class queue indicated by “CQ33” in FIG. 5 has the lowest priority). To do.
[0048]
More specifically, by assigning a priority to the IP (Internet Protocol) address of the image request source acquired by the communication unit 12, the distribution unit 13 indicates "DD31" in FIG. Image data is distributed to the class queue based on the IP address.
[0049]
On the other hand, in “S301” in FIG. 7, the transmission management means 14 determines whether or not it is the monitoring time of the high priority class queue, and if it is determined that it is the monitoring time of the high priority class queue. In “S302” in FIG. 7, the transmission management unit 14 acquires image data from the high priority class queue, and adds the acquired image data in “S303” in FIG. 7 to the end of the transmission data queue.
[0050]
If it is determined that it is not the high-priority class queue monitoring time, the transmission management means 14 determines whether or not it is the low-priority class queue monitoring time in “S304” in FIG. .
[0051]
If "S304" in FIG. 7 determines that the transmission management means 14 is not in the low priority class queue monitoring time, the process returns to the step shown in "S301" in FIG.
[0052]
If “S304” in FIG. 7 determines that the transmission management means 14 is the monitoring time of the low priority class queue, the transmission management means 14 starts from the low priority class queue in “S305” in FIG. Image data is acquired, and the image data acquired in “S303” in FIG. 7 is added to the end of the transmission data queue.
[0053]
That is, as shown by “DS31” in FIG. 5, the transmission management means 14 obtains image data from each class queue while changing the frequency according to the priority of each class queue, and shows it by “SD31” in FIG. Append to the end of the queue of transmitted data.
[0054]
However, the monitoring time of the high priority class queue is shorter than the monitoring time of the low priority class queue. In other words, the frequency of monitoring the high priority class queue is monitored for the low priority class queue. Higher than the frequency.
[0055]
Further, the communication unit 12 acquires the head data of the transmission data queue and sequentially transmits the data to the image request source via the network 101.
[0056]
For this reason, the transmission data held in the high priority class queue is preferentially transmitted compared to the other, and as a result, the next image request from the high priority image request source is also made. It will arrive faster than others.
[0057]
Conversely, the next image from the low priority image request source is delayed, and the load distribution of the entire system is optimally adjusted.
[0058]
Also, by setting the highest priority for a highly important device such as an image recording device, image data is always transmitted preferentially, and acquisition of necessary image data is guaranteed. Become.
[0059]
As a result, the digitization processing unit 10 operates a plurality of channels in a time-sharing manner to generate a plurality of preset required quality image data, and preferentially transmits the image data to a high-priority image request source. As a result, it is possible to efficiently cope with a plurality of required qualities and to ensure acquisition of image data.
[0060]
In the description of FIGS. 2 and 3, for simplification of explanation, two channels are provided in the digitization processing means 10 to be operated in a time-sharing manner. A channel may be provided to operate in a time division manner. In this case, it becomes possible to efficiently cope with a plurality of required qualities.
[0061]
Also, priority may be given to the channel itself provided in the digitization processing means 10. Furthermore, a channel to which priority is given and a channel to which priority is not given may be mixed.
[0062]
In the embodiment shown in FIG. 1, the digitization processing means 10 is constituted by a single processing means, but a plurality of processing means may be provided for parallel processing. In this case, the digitization processing speed can be further increased.
[0063]
In the embodiment shown in FIG. 1, the communication unit 12 receives an image request and transmits image data to and from the network 101. However, a plurality of communication units are provided to separate reception and transmission. It doesn't matter.
[0064]
In the description of FIGS. 4 to 6, the priority is given to the IP address of the image request source acquired by the communication unit 12, but the priority is indicated in the communication data of the image request. Information may be added.
[0065]
In this case, the priority for the IP address of the image request source is not fixed, and the priority can be dynamically changed for each image request (information indicating the priority in the communication data).
[0066]
In the description of FIGS. 2 and 3, a plurality of required qualities are set in advance for the channel provided in the digitization processing means 10, but information indicating the required qualities is included in the communication data of the image request. You may add.
[0067]
In this case, the required quality is dynamically changed for each image request (information indicating the required quality in the communication data) without fixing the required quality for each channel provided in the digitization processing means 10. Is possible.
[0068]
In the embodiment shown in FIG. 1, the camera 9 is illustrated as an integral unit with the network camera 50. Of course, the camera 9 and the digitization processing means 10, the image data transmission processing means 11, and the communication means 12 are separated. It doesn't matter.
[0069]
【The invention's effect】
As is apparent from the above description, the present invention has the following effects.
According to the first, second, third, fourth, fifth, and eighth aspects of the present invention, the digitization processing unit operates a plurality of channels in a time-division manner to generate image data having a plurality of preset required qualities. By preferentially transmitting image data to a high image request source, a plurality of required qualities can be efficiently handled and acquisition of image data can be guaranteed.
[0070]
According to the invention of claim 6 , by adding information indicating the priority in the communication data of the image request, the priority for the IP address of the image request source is not fixed, and the image request (communication data It is possible to change the priority dynamically for each information).
[0071]
According to the invention of claim 7 , by adding information indicating the required quality in the communication data of the image request, the required quality is not fixed for each channel provided in the digitization processing means. It is possible to dynamically change the required quality for each request (information indicating the required quality in the communication data).
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of an embodiment of a network camera used in a network camera system according to the present invention.
FIG. 2 is a flowchart for explaining the operation of digitization processing means that performs time-division operation on two channels.
FIG. 3 is a timing chart for explaining the operation of digitization processing means that performs time-division operation on two channels.
FIG. 4 is a flowchart for explaining the operation of digitization processing means when an image request is received.
FIG. 5 is an explanatory diagram illustrating details of an image data transmission processing unit.
FIG. 6 is a flowchart for explaining the operation of the sorting means.
FIG. 7 is a flowchart for explaining the operation of the transmission management means.
FIG. 8 is a network camera system in which a plurality of network cameras, a monitor device, and an image recording device are distributed on a conventional network.
FIG. 9 is an explanatory diagram for explaining an image request from an image recording device or a monitor device.
FIG. 10 is an explanatory diagram illustrating a transmission state of image data from a network camera that has received an image request.
[Explanation of symbols]
1, 2, 3, 4 Network camera 5 Image recording device 6, 7, 8 Monitor device 9 Camera 10 Digitization processing means 11 Image data transmission processing means 12 Communication means 13 Distribution means 14 Transmission management means 50 Network cameras 100, 101 Network

Claims (8)

画像を撮影すると共にネットワーク上にデジタル化された画像データを配信する機能を有するネットワークカメラにおいて、
画像を撮影するカメラと、
このカメラが撮影した画像を予め設定された要求品質でデジタル化する複数のチャネルを有し、これら複数のチャネルを時分割動作させて複数の要求品質の画像データを生成すると共に画像要求元の要求品質に適合する画像データを出力するデジタル化処理手段と、 前記ネットワークとの間で画像要求元からの画像要求の受信や画像データの送信を行う通信手段と、
前記デジタル化処理手段から出力される前記画像データを優先度の高い画像要求元に対して優先的に送信させる画像データ送信処理手段と
を備え
前記画像データ送信処理手段が、
前記デジタル化処理手段から出力される前記画像データを取得して前記画像要求元の前記優先度に基づき各クラスキューに振り分ける振り分け手段と、
前記各クラスキューの優先度に応じて頻度を変化させながら前記各クラスキューから画像データを取得して送信データの待ち行列の末尾に追加する送信管理手段とから構成されることを特徴とするネットワークカメラ。
In a network camera having a function of taking an image and distributing digitized image data on the network,
A camera for taking images,
It has multiple channels that digitize the images taken by this camera with preset required quality, and these multiple channels are operated in a time-sharing manner to generate multiple required quality image data and the request of the image requester Digitizing processing means for outputting image data suitable for quality; and communication means for receiving an image request from an image request source and transmitting image data with the network;
Image data transmission processing means for preferentially transmitting the image data output from the digitization processing means to an image request source having a high priority ,
The image data transmission processing means is
A distribution unit that acquires the image data output from the digitization processing unit and distributes the image data to each class queue based on the priority of the image request source;
And a transmission management unit configured to acquire image data from each class queue and add it to the end of a queue of transmission data while changing the frequency according to the priority of each class queue. camera.
前記デジタル化処理手段が、
前記カメラのビデオ信号の周期に同期し、時分割で各々のチャネルに予め設定されている要求品質でデジタル化処理を行い、デジタル化処理済の画像データを当該チャネルのバッファに格納することを特徴とする
請求項1記載のネットワークカメラ。
The digitization processing means comprises:
In synchronization with the video signal cycle of the camera, digitization processing is performed in a required quality preset for each channel in a time division manner, and digitized image data is stored in a buffer of the channel. The network camera according to claim 1.
前記デジタル化処理手段が、
前記画像要求元から画像要求を受信した場合には、受信した画像要求で指定されているチャネルの前記バッファから画像データを読み出し前記画像データ送信処理手段に出力することを特徴とする
請求項2記載のネットワークカメラ。
The digitization processing means comprises:
The image data is read out from the buffer of the channel specified by the received image request and output to the image data transmission processing means when an image request is received from the image request source. Network cameras.
前記送信管理手段が、The transmission management means is
優先度の高い前記クラスキューからの画像データの取得頻度を優先度の低い前記クラスキューからの画像データの取得頻度よりも高くすることを特徴とするThe acquisition frequency of image data from the class queue having a high priority is set higher than the acquisition frequency of image data from the class queue having a low priority.
請求項1〜3のいずれかに記載のネットワークカメラ。The network camera according to claim 1.
前記画像要求元のIPアドレスに対して前記優先度を付与することを特徴とするThe priority is assigned to the IP address of the image request source
請求項1〜4のいずれかに記載のネットワークカメラ。The network camera according to claim 1.
記画像要求の通信データ内に前記優先度を示す情報を付加することを特徴とする
請求項1〜5のいずれかに記載のネットワークカメラ。
Characterized by adding information indicating the priority in the communication data prior Symbol image request
The network camera according to claim 1.
前記画像要求の通信データ内に前記要求品質を示す情報を付加することを特徴とするInformation indicating the required quality is added to the communication data for the image request.
請求項1〜6のいずれかに記載のネットワークカメラ。The network camera according to claim 1.
ネットワーク上に複数台のネットワークカメラ、モニタ装置及び画像記録装置を分散配置したネットワーク・カメラ・システムに適用したことを特徴とするThe present invention is applied to a network camera system in which a plurality of network cameras, monitor devices, and image recording devices are distributed on a network.
請求項1〜7のいずれかに記載のネットワークカメラ。The network camera according to claim 1.
JP2003040860A 2003-02-19 2003-02-19 Network camera Expired - Fee Related JP4658454B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003040860A JP4658454B2 (en) 2003-02-19 2003-02-19 Network camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003040860A JP4658454B2 (en) 2003-02-19 2003-02-19 Network camera

Publications (2)

Publication Number Publication Date
JP2004253963A JP2004253963A (en) 2004-09-09
JP4658454B2 true JP4658454B2 (en) 2011-03-23

Family

ID=33024594

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003040860A Expired - Fee Related JP4658454B2 (en) 2003-02-19 2003-02-19 Network camera

Country Status (1)

Country Link
JP (1) JP4658454B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006238017A (en) * 2005-02-24 2006-09-07 Hitachi Ltd Remote monitoring system and monitoring controller

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001094954A (en) * 1999-09-17 2001-04-06 Fujitsu Ltd Image distribution system and method therefor
JP2003023619A (en) * 2001-07-09 2003-01-24 Matsushita Electric Ind Co Ltd Image server and image server system
JP2003046999A (en) * 2001-07-30 2003-02-14 Toshiba Corp Image monitoring system, monitored image distributing method therefor and camera therefor using network

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001094954A (en) * 1999-09-17 2001-04-06 Fujitsu Ltd Image distribution system and method therefor
JP2003023619A (en) * 2001-07-09 2003-01-24 Matsushita Electric Ind Co Ltd Image server and image server system
JP2003046999A (en) * 2001-07-30 2003-02-14 Toshiba Corp Image monitoring system, monitored image distributing method therefor and camera therefor using network

Also Published As

Publication number Publication date
JP2004253963A (en) 2004-09-09

Similar Documents

Publication Publication Date Title
EP3609178B1 (en) Video playing method, device and system
TWI595786B (en) Timestamp-based audio and video processing method and system thereof
JP6242089B2 (en) Transmission device, transmission method, and program
EP1696396A2 (en) Image pickup apparatus and image distributing method
JP4341405B2 (en) Camera server and image delivery method
JP3867671B2 (en) Data transmission apparatus and data transmission method
CN108696505A (en) Video distribution apparatus, video reception apparatus, method of video distribution and recording medium
JP2015138990A (en) Receiver, transmitter and communication system
JP4658454B2 (en) Network camera
JP2006238017A (en) Remote monitoring system and monitoring controller
JP2020113922A (en) Video distribution device, video distribution method, and program
JP2007281973A (en) Video data transmitting apparatus, video data transmitting method and program
US10237582B2 (en) Video stream processing method and video stream device thereof
JP2005260302A (en) Moving image information transmission method and apparatus
KR100623710B1 (en) Method of processing a plurality of moving picture contents by sharing a hardware resource
US8427577B2 (en) Method for converting between interlaced video and progressive video during transmission via a network
JP5506362B2 (en) Transmission device and transmission method
JP6519304B2 (en) Data distribution device
JP7327953B2 (en) Video distribution device, video distribution method and program
KR101212947B1 (en) Apparatus for transmitting data
JP2003219397A (en) Video distribution server and video distribution system
JP2000341668A (en) Animation distribution system
JP2017212544A (en) Controller, control method and program
JP4268650B2 (en) Image data transmission system
JP6658504B2 (en) Imaging device, imaging method, and imaging system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050720

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071214

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080828

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080922

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20081106

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20081212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101119

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101224

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140107

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4658454

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees