JP5534978B2 - 撮像装置およびその制御方法 - Google Patents

撮像装置およびその制御方法 Download PDF

Info

Publication number
JP5534978B2
JP5534978B2 JP2010148009A JP2010148009A JP5534978B2 JP 5534978 B2 JP5534978 B2 JP 5534978B2 JP 2010148009 A JP2010148009 A JP 2010148009A JP 2010148009 A JP2010148009 A JP 2010148009A JP 5534978 B2 JP5534978 B2 JP 5534978B2
Authority
JP
Japan
Prior art keywords
imaging
unit
visible light
light
period
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010148009A
Other languages
English (en)
Other versions
JP2012015637A (ja
Inventor
剛 黒木
優和 真継
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2010148009A priority Critical patent/JP5534978B2/ja
Publication of JP2012015637A publication Critical patent/JP2012015637A/ja
Application granted granted Critical
Publication of JP5534978B2 publication Critical patent/JP5534978B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Studio Devices (AREA)

Description

本発明は、撮像装置およびその制御方法に関するものである。
デジタルカメラや監視カメラの普及により、人々が生活上でカメラを使用したり、撮影されたりする機会が増加している。このようなカメラについて、被写体となりうる者に対して、撮像装置に関連した情報、例えば撮影中であるということを表す情報を示すことが一般的である。このようなカメラの例として、撮影中であることを示すランプを備えたビデオカメラや、撮影を行うとシャッター音が発生させるカメラ付き携帯電話等がある。
また、特許文献1に開示されている携帯端末は、発光素子を備え、撮影ボタンが押されたときに発光素子を点灯または点滅させることで、撮影ボタンが押されたことを報知する。
さらに、撮影中であるということを示す以外にも、より詳細な情報を被写体となりうる者に伝えたい場合がある。例えば、監視カメラを設置した際に、そのカメラを誰が設置したか等の情報である。
こうした用途のため、従来から、監視カメラやデジタルカメラ等の撮像装置に、発信部を備えたものが提案されている。例えば、特許文献2に開示されている撮像告知システムでは、撮像装置が撮像範囲に存在する受信装置に対して、指向性の電波で、撮像装置が撮影状態である情報と撮像装置を特定できる情報とを送信する。
特許第4069681号公報 特許第3888143号公報
しかしながら、撮影中であることを示すランプを備えたビデオカメラでは、撮影時に常時ランプが点灯もしくは点滅する。したがって、ランプの光を遠くまで届かせようとすると、ランプの光自体が映像に映り込んでしまうという問題がある。
また、特許文献1に開示されている携帯端末では、撮影ボタンの押下という単純な情報しか報知することができない。
また、特許文献2に開示されている撮像告知システムでは、撮像装置に関連する情報を受信するために受信装置が必要であるため、受信装置を所有しない者はその情報を受け取ることができない。
したがって、撮像装置が発光素子と発信部との両方を備えていれば、受信装置を所有しない者には単純な情報を伝えることができ、受信装置を所有する者にはより詳細な情報を伝えることが可能となる。しかしながら、情報伝達のために二つの機構を備える複雑な構成となるために、部品のコストや電力消費量等が増えてしまうという問題がある。
本発明は、上述したような問題点に鑑みてなされたものであって、撮影を行うときに映像を妨げることなく、簡単な構成で撮像装置に関連した情報を発信できるようにすることを目的とする。また、受信装置を所有する者には、より詳細な情報を発信できるようにすることを目的とする。
本発明の撮像装置は、被写体像を撮像素子に露光させる撮像手段と、発光部に視光を発光させ発信手段と、光学系を通して前記撮像素子に露光される光と前記発光部から前記光学系を通って発光される可視光とを分割する分割手段と、前記撮像手段により露光させる期間と前記発信手段により可視光を発光させる期間とが重ならないように前記撮像手段および前記発信手段を制御する制御手段と、を有することを特徴とする。
本発明によれば、撮影を行うときに映像を妨げることなく、簡単な構成で撮像装置に関連する情報を発信することができる。また、受信装置を所有する者には、より詳細な情報を発信することができる。
第1の実施形態に係る撮像装置の構成を示すブロック図である。 第1の実施形態に係る撮像装置の外観を示す図である。 第1の実施形態に係る撮像装置の動作を示すタイミングチャートである。 第2の実施形態に係る撮像装置の構成を示すブロック図である。 第2の実施形態に係る撮像装置の外観を示す図である。 第2の実施形態に係る撮像装置の動作を示すタイミングチャートである。 第3の実施形態に係る撮像装置の構成を示すブロック図である。 第4の実施形態に係る撮像装置の構成を示すブロック図である。 第4の実施形態に係る撮像装置の外観および内部構成を示す図である。
以下、本発明に係る実施形態について図面を参照して説明する。
(第1の実施形態)
本実施形態では、部屋の天井に撮像装置としての監視カメラが配置されている場合に、その動作状態を赤色LEDで周囲に知らせるシステムを例に挙げて説明する。
図1は、本実施形態に係る監視カメラの構成を示す図である。
監視カメラ10は、撮像部101と、発信部102と、制御部103と、記録部104とを含んで構成されている。
撮像部101は、内部にレンズ群によって構成される光学系と、シャッターと、被写体像を結像させるCCD等の撮像素子と、撮像素子に蓄積された電荷から映像信号を生成する映像処理部とを含んで構成されている。
撮像部101は、外界を撮影して映像信号を生成し制御部103に送信する。
発信部102は、可視光を発光する赤色LEDと、制御部103からの制御信号を、赤色LEDを制御する電圧に変換するD/A変換部とを含んで構成されている。発信部102は、制御部103からの制御信号を受け、赤色LEDを発光させる。なお、発信部102は赤色LEDに限られず、他の発光部であってもよい。
制御部103は、各種演算と監視カメラ10全体との制御を行う。また、制御部103は撮像部101および発信部102の制御を行い、撮像部101の映像信号を記録部104に送信する。
記録部104は、例えばハードディスク等であって、制御部103から送信された映像信号が記録する。
上述したように構成される監視カメラ10は、撮像部101で撮影した外界の映像信号を記録部104に記録することができる。また、監視カメラ10は、撮影中に発信部102が赤色LEDを点灯させて、外部に撮影していることを示すことができる。
図2は、監視カメラ10の動作を説明するための図である。図2に示すように、部屋の天井にはドーム型の監視カメラ10が取り付けられている。また、図2に示すように、監視カメラ10に備えられた赤色LED11が点灯している。したがって、監視カメラ10の周囲にいる者は、監視カメラ10の存在を認識できると共に監視カメラ10が撮影していることを認識することができる。
次に、本実施形態の監視カメラ10は、赤色LED11が発光したときに赤色LED11の発光が映像に映り込まないように、制御部103は、撮像部101および発信部102を制御している。以下、制御部103の制御について図3のタイミングチャートを参照して説明する。図3では、横軸が時間の経過を示し、黒枠がそれぞれ上から順に「露光」、「読み出し」、「LED発光」の各過程がその時間帯で行われることを示している。「露光」とは、撮像部101において撮像素子が受光を行い、電荷を蓄積する過程のことをいう。また、「読み出し」とは、撮像部101が撮像素子に蓄積された電荷から映像信号を生成する映像処理を行う過程のことをいう。また、「LED発光」とは、赤色LEDが点灯している過程のこという。
図3に示すように、制御部103は映像を記録する単位となる1フレーム内において、露光が行われる時間を避けて赤色LEDを点灯させるように、撮像部101および発信部102を制御する。すなわち、制御部103は、露光する期間と、赤色LEDの点灯する期間とが重ならないように撮像部101および発信部102を制御する。より具体的に説明すると、制御部103は、撮像部101に露光を行うように指示し、露光が終了してから、発信部102に赤色LEDを発光させるように指示する。
なお、制御部103は発信部102に赤色LEDを発光させるように指示するときに、撮像部101に読み出しを行うように指示し、赤色LEDの点灯する期間と読み出し期間との少なくとも一部が重なるように制御している。また、制御部103は、次の1フレームにおける露光が始める前に赤色LEDの発光を終わるように、発信部102に指示している。
このように、本実施形態によれば、監視カメラ10が赤色LEDを点灯させることで周囲にいる者に現在の撮影状態を認識させることができる。また、監視カメラ10は、撮像部101が露光するタイミングを避けて、赤色LEDの発光を行うために、撮影される映像に赤色LEDの光やその反射光が映り込まないようにすることができる。また、監視カメラ10は、赤色LEDを発光させるときに撮像素子の読み出しを行うので、全体の処理時間を短縮させることができる。
すなわち、本実施形態によれば、撮像装置が撮影する映像を妨げることなく、単純な構成で受信装置を所有しない者に撮像装置の現在の撮影状態を認識させることができる。
なお、本実施形態では、赤色LEDを点灯させることで監視カメラ10が撮影中であることを示す場合について説明したがこの場合に限られない。すなわち、赤色LED等の発光部の点滅状態や色を変更することで、より多くの状態、例えば電源は入っているものの撮影は行わない休止状態であることや、警戒レベルを高めて動作していること等の撮影状態を識別できるようにしてもよい。
(第2の実施形態)
本実施形態では、第1の実施形態のシステムに、受信装置を所有する者が監視カメラから監視カメラに関連する詳細情報を受信可能な構成を加えたシステムについて説明する。なお、本実施形態の監視カメラに関連する詳細情報とは、ここでは監視カメラに関連する情報が掲載されたウェブサイトのアドレス情報(URL情報)である。
図4は、本実施形態に係る監視カメラの構成を示す図である。なお、第1の実施形態と同一の構成は、同一符号を付してその説明は省略する。
監視カメラ20は、撮像部101と、発信部102と、制御部103と、記録部104と、符号化部105を含んで構成されている。
符号化部105は、監視カメラ20に関連する情報としてのURL情報をデジタルデータに符号化し、制御部103に送信する。
制御部103は、受信したURL情報を発信部102に発信させるように指示することで、発信部102がURL情報を外部に発信する。したがって、受信装置を所有する者は、受信装置を介してURL情報を取得することができる。
図5は、監視カメラ20の動作を説明するための図である。図5では、監視カメラ20に備えられた赤色LED21が点灯している。また、受信装置23は、監視カメラ20から発信されたURL情報24を、内蔵する受信部により受信し、画面上に表示している。
次に、本実施形態の監視カメラ20は、監視カメラに関連する情報を発信する動作について図6に示すタイミングチャートを参照して説明する。図6では、図3に示すタイミングチャートに加えて、「データ発信」の過程が加えられている。「データ発信」とは、発信部102の赤色LEDが、符号化部105により符号化されたデジタルデータを発信することをいう。このデジタルデータの発信は、可視光通信の要領で行われ、可視光通信コンソーシアムの策定した可視光通信標準規格に従って行われる。同規格では通信速度4Mbpsでの通信が可能であるため、対応した受信装置を用いることで、図6に示す「データ発信」の黒枠のような短い期間でも詳細な情報を発信することができる。
図6に示すように、制御部103は、映像を記録する単位となる1フレーム内において、露光が行われる時間を避けて、赤色LEDを点灯させると共にデータ発信をするように制御する。すなわち、制御部103は、露光する期間と、赤色LEDの点灯する期間およびデータ発信する期間とが重ならないように撮像部101および発信部102を制御する。より具体的に説明すると、制御部103は、撮像部101に露光を行うように指示し、露光が終了してから、発信部102に赤色LEDを発光させるように指示する。さらに、制御部103は、赤色LEDを発光させてから、データ発信をするように発信部102に指示する。
なお、発信部102に赤色LEDを発光させるように指示するときに、撮像部101に読み出しを行うように指示し、赤色LEDの点灯する期間と読み出し期間との少なくとも一部が重なるように制御する。また、制御部103は、次の1フレームにおける露光が始める前にデータ発信が終わるように、発信部102に指示する。
このような処理により、監視カメラ20は、監視カメラに関連する情報であるURL情報を発信でき、受信装置23はその情報を受信できる。なお、データ発信時においては、赤色LEDが高速で点灯および消灯を繰り返すが、赤色LEDを視認する者にはその点滅が視覚されることはなく、点灯が続いているものとして視覚される。
このように、本実施形態によれば、撮像装置が撮影する映像を妨げることなく、受信装置を所有する者に、より詳細な情報を発信することができる。
なお、本実施形態では、監視カメラに関連する情報としてURL情報を例にして説明したがこの場合に限られない。例えば監視カメラを設置した事業者の情報が含まれていてもよい。また、部屋のどこに設置されているのかという情報、何時から何時まで動作しているのかという情報、何の目的のために設置されているのかという各種の監視カメラに関連した情報等が含まれていてもよい。
なお、符号化部105は、これらの情報を表したテキストデータをデジタルデータに符号化する。このとき、符号化部105が各種の圧縮を行い、受信装置23が伸長するように構成してもよい。
また、詳細情報の発信に可視光通信標準規格に従った可視光通信方式を用いた場合について説明したが、発信方式はこれに限られず、例えばMITで開発されたBokode方式を用いてもよい。なお、Bokode方式を用いる場合、受信装置もBokode方式に対応した受信装置にする必要がある。
また、図6に示すLED発光を省略してもよく、この場合、監視カメラ20の周囲にいる者はデータ発信によって赤色LEDが点灯している状態を視認することで、撮像装置が撮影していることに認識することができる。
(第3の実施形態)
本実施形態では、第2の実施形態のシステムに映像解析部を加えたシステムについて説明する。
図7は、本実施形態に係る監視カメラの構成を示す図である。なお、第2の実施形態と同一の構成は、同一符号を付してその説明は省略する。
監視カメラ30は、撮像部101と、発信部102と、制御部103と、記録部104と、符号化部105と、映像解析部106とを含んで構成されている。
映像解析部106は、撮像部101から映像信号を受信し、その解析を行う。解析結果はテキストデータに変換され、符号化部105に送信される。符号化部105は、解析結果を表すテキストデータを、デジタルデータに符号化し、制御部103に送信する。制御部103は受信した解析結果を発信部102に発信させるように指示することで、発信部102が解析結果を発信する。したがって、受信装置を所有する者は、受信装置を介して監視カメラ30による映像の解析結果を取得することができる。なお、符号化部105が符号化するときに、各種の圧縮を行ってよい。この場合、受信装置が圧縮された解析結果を伸長するように構成する。また、制御部103は、解析結果を記録部104に保存してもよい。
本実施形態では、映像解析部106を加えることで、監視カメラ30が次のような動作を行うことが可能になる。
例えば、映像解析部106が映像の中に人物が何人いるのかを検出し、発信部102がその人数を詳細情報として発信することができる。また、映像解析部106が予め顔を登録している人物が映像に含まれているかを検出し、人物が含まれている場合に発信部102がその情報を発信することができる。発信部102では、第2の実施形態と同様に赤色LEDが可視光通信等を用いて発信することができる。
また、監視カメラ30は、無線操作信号受信部を備えていてもよい。この場合、例えば、無線操作信号受信部が監視カメラ30の管理者が所有するリモートコントローラから無線操作信号を受信することができ、発信部102が記録部104に記録された映像を解析してそのレポートを発信する等の動作が可能になる。
このように、本実施形態によれば、撮像装置が撮影する映像を妨げることなく、受信装置を所有する者に、撮像装置が映像を解析した結果を発信することができる。これにより、例えば監視カメラ30の設置されている部屋にやってきた警備員が過去の状況をレポートとして監視カメラ30から受け取ったり、探している物が監視カメラ30の設置されている部屋にあるかどうか等を確認したりすることができる。
(第4の実施形態)
本実施形態では、第1の実施形態の撮像装置の構成を小型化し、光分割部を加えた人体装着型の撮像装置(以下、人体装着型カメラという)について説明する。
図8は、本実施形態に係る人体装着型カメラの構成を示す図である。
人体装着型カメラ40は、撮像部101と、発信部102と、制御部103と、記録部104と、光分割部107とを含んで構成されている。
光分割部107は、光の経路を二つに分割するブロックであり、例えばビームスプリッタやマイクロミラーアレイデバイスから構成される。
図9を参照して本実施形態に係る人体装着型カメラの外観および光分割部の構成について説明する。
図9(a)に示す人体装着型カメラ40は、カメラ本体41の中心に、撮像部101の撮像素子に被写体像を結像するため、および発信部102の赤色LEDから外部に可視光を発光するための光学系42を備えている。また、カメラ本体41内には、撮像部101の撮像素子に入射する光と発信部102から発光する光とを分割する光分割部を備えている。具体的に図9(b)を参照して説明すると、人体装着型カメラ40は、光学系42と撮像部101との間、光学系42と発信部102との間に、光分割部107が配置されている。光分割部107は、入射された一部の光を反射し、他の一部の光を透過させるようにして、光を分割させる機能を有している。図9(b)に示す態様では、光分割部107は、光学系42を通って撮像部101に向かう光を透過させ、発信部102からの光を反射させて光学系42から外部に発光させている。また、図9(b)に示すように、光分割部107から光学系42との間において、発信部102から発光させる光と撮像部101に向かう光との光軸を一致させている。このように構成することで、撮像部101の光学系と発信部102の光学系とを共通させて用いることができる。したがって、光学系42は、外部から視認した場合に撮像部101と発信部102とを兼ねる撮像部兼発信部として機能させることができる。
本実施形態では、共通の光学系42を介して、撮像部101が撮影を行い、また発信部102の赤色LEDが発光する。したがって、赤色LEDの発光を遮ってしまうと、撮像部101の光学系も遮られてしまうこととなり、結果として撮影を行うことができなくなってしまう。すなわち、本実施形態の人体装着型カメラ40によれば、盗撮や隠し撮りを防ぐことができる。
なお、図9(b)に示す撮像部101と発信部102との位置を入れ替えても同様の効果を奏することができる。
上述した第1の実施形態では、図3に示すように赤色LEDを発光させて撮影状態を認識させる構成について説明した。また、第2の実施形態では、図6に示すように赤色LEDを発光させて撮影状態を認識させると共に赤色LEDを点滅させてデータ発信を行う構成について説明した。しかしながら、この場合のみに限られず、撮像装置は、赤色LEDを発光させて撮影状態を認識させる構成および赤色LEDを点滅させてデータ発信を行う構成のうち少なくとも何れか一方を備えることができる。
10、20:30:監視カメラ 40:人体装着型カメラ 101:撮像部 102:発信部 103:制御部 104:記録部 105:符号化部 106:映像解析部 107:光分割部

Claims (6)

  1. 被写体像を撮像素子に露光させる撮像手段と、
    発光部に視光を発光させ発信手段と、
    光学系を通して前記撮像素子に露光される光と前記発光部から前記光学系を通って発光される可視光とを分割する分割手段と、
    前記撮像手段により露光させる期間と前記発信手段により可視光を発光させる期間とが重ならないように前記撮像手段および前記発信手段を制御する制御手段と、を有することを特徴とする撮像装置。
  2. 前記発信手段は、前記可視光の発光に基づいて、前記撮像装置に関連した情報を外部に発信し、
    前記撮像装置に関連した情報は、前記可視光を視認することにより識別する前記撮像装置の現在の動作状態を示す情報および前記可視光に含まれ受信装置により受信可能な情報のうち少なくとも何れか一方であることを特徴とする請求項1に記載の撮像装置。
  3. 前記撮像装置に関連した情報を符号化する符号化手段を更に有し、
    前記発信手段は、前記可視光の発光に基づいて、前記符号化手段により符号化された情報を外部に発信することを特徴とする請求項に記載の撮像装置。
  4. 前記撮像手段により露光された映像を解析する映像解析手段と、
    前記映像解析手段による解析結果を符号化する符号化手段とを更に有し、
    前記発信手段は、前記可視光の発光に基づいて、前記符号化手段により符号化された解析結果を前記撮像装置に関連した情報として外部に発信することを特徴とする請求項に記載の撮像装置。
  5. 前記撮像手段により露光された映像を読み出す読み出し手段を更に有し、
    前記制御手段は、前記読み出し手段により映像を読み出す期間と前記発信手段により可視光を発光させる期間との少なくとも一部が重なるように前記読み出し手段および前記発信手段を制御することを特徴とする請求項1ないしの何れか1項に記載の撮像装置。
  6. 被写体像を撮像素子に露光させる撮像手段と、
    発光部に視光を発光させ発信手段と、
    光学系を通して前記撮像素子に露光される光と前記発光部から前記光学系を通って発光
    される可視光とを分割する分割手段と、を有する撮像装置の制御方法であって、
    前記撮像手段により露光させる期間と前記発信手段により可視光を発光させる期間とが重ならないように前記撮像手段および前記発信手段を制御することを特徴とする撮像装置の制御方法。
JP2010148009A 2010-06-29 2010-06-29 撮像装置およびその制御方法 Expired - Fee Related JP5534978B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010148009A JP5534978B2 (ja) 2010-06-29 2010-06-29 撮像装置およびその制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010148009A JP5534978B2 (ja) 2010-06-29 2010-06-29 撮像装置およびその制御方法

Publications (2)

Publication Number Publication Date
JP2012015637A JP2012015637A (ja) 2012-01-19
JP5534978B2 true JP5534978B2 (ja) 2014-07-02

Family

ID=45601589

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010148009A Expired - Fee Related JP5534978B2 (ja) 2010-06-29 2010-06-29 撮像装置およびその制御方法

Country Status (1)

Country Link
JP (1) JP5534978B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6065640B2 (ja) * 2013-02-21 2017-01-25 ブラザー工業株式会社 コンピュータプログラムおよび制御装置
JP6269365B2 (ja) * 2014-07-18 2018-01-31 富士通株式会社 端末装置、撮影制御方法および撮影制御プログラム

Also Published As

Publication number Publication date
JP2012015637A (ja) 2012-01-19

Similar Documents

Publication Publication Date Title
US20110122252A1 (en) Digital image processing apparatus and photographing method of digital image processing apparatus
US7986299B2 (en) Remote control apparatus, remote control system and device-specific information display method
CN101076996A (zh) 图像捕获设备和方法
JP2006270263A (ja) 撮影システム
JP2009200621A (ja) 画像送受信機能付き撮像装置
KR20200016559A (ko) 복수의 구간 영상들을 포함하는 동영상 데이터를 생성하는 전자 장치 및 방법
JP5534978B2 (ja) 撮像装置およびその制御方法
KR101616469B1 (ko) 긴급구조용 휴대단말기 및 이를 이용한 구조 방법
JP2012124574A (ja) ネットワークカメラシステムおよびこれに利用する映像情報時刻同期方法
JP4687542B2 (ja) 撮像装置、撮像方法及びプログラム
JP2008245231A (ja) モバイル可視光通信装置
JP2006246383A (ja) デジタルカメラ及び撮影システム
JP2011035543A (ja) 撮像装置、端末装置及び撮像システム、並びに撮像装置の情報処理方法
JP4797582B2 (ja) セキュリティシステム
JP2006174010A (ja) 撮像装置
CN114339140A (zh) 一种可交互监控装置、视频传输方法及装置
JP2004153674A (ja) カメラ装置
JP6655895B2 (ja) 撮像装置およびその制御方法、プログラムならびにシステム
JP5137665B2 (ja) ディジタルカメラ装置及びディジタルカメラシステム
JP2010028274A (ja) 撮影装置および無線通信設定方法
JP2013251617A (ja) カメラ
JP2006165610A (ja) 携帯画像撮影送信装置
JP6031874B2 (ja) 撮像システム
JP2007074417A (ja) カメラ制御システム
JP2006279793A (ja) カメラ用クレードル及び撮影システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130701

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140303

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140325

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140422

R151 Written notification of patent or utility model registration

Ref document number: 5534978

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees