JP4978125B2 - 通信制御装置、及び、通信制御方法 - Google Patents

通信制御装置、及び、通信制御方法 Download PDF

Info

Publication number
JP4978125B2
JP4978125B2 JP2006249068A JP2006249068A JP4978125B2 JP 4978125 B2 JP4978125 B2 JP 4978125B2 JP 2006249068 A JP2006249068 A JP 2006249068A JP 2006249068 A JP2006249068 A JP 2006249068A JP 4978125 B2 JP4978125 B2 JP 4978125B2
Authority
JP
Japan
Prior art keywords
information
user terminal
camera
communication control
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2006249068A
Other languages
English (en)
Other versions
JP2008072431A (ja
Inventor
一寛 相津
充 加治
陽介 多鹿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2006249068A priority Critical patent/JP4978125B2/ja
Publication of JP2008072431A publication Critical patent/JP2008072431A/ja
Application granted granted Critical
Publication of JP4978125B2 publication Critical patent/JP4978125B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、情報通信機器の通信制御装置及び通信制御方法に関するものである。
小型カメラ技術の進歩に従い、施設内や街角の様子を映像にて把握するための画像監視の技術の進歩が著しい。また、ネットワーク技術の進歩に伴い、カメラが取得した画像を遠隔の相手に転送し閲覧することも可能になってきている。インターネットなどの広域ネットワークの利用により、どこにあるカメラでも、そのネットワークアドレスさえ把握できれば、その映像を取得し閲覧することが出来るようになってきた。事務所や自宅など限られた場所にいながら任意の場所のライブ映像を取得できるメリットがある反面、それらのカメラに撮影された人の肖像権の問題など、プライバシ保護の側面から、誰でもが自由に任意のカメラの映像を取得することが問題視されてきている。
一方、無線技術やセンシング技術の進歩に伴い、人の個体識別の技術も発展している。カメラを用いた顔画像認識や、RFIDなどのアクティブ、パッシブ型タグを用いた個体認識技術により、それらのリーダを、施設内や街角に配備することで、任意の場所でユーザの位置を把握することが可能になってきている。これらの技術を、上記カメラと組み合わせると、例えば、タグリーダにて検知されたユーザを撮影可能なカメラを特定することが容易に可能となる。
しかし、任意の人が対象となるサービスにおいて、ユーザの位置からカメラを特定しその人の様子を映像にて管理し、その映像を任意のユーザに提供することはプライバシ上問題があるため、これらを回避する技術の構築が急務となってきている。
利用者間の関係により、相手の存在や通信相手機器のアドレスを特定する技術としては、一般にはIP電話やIM(Instant Messaging)などで用いられるプレゼンス機能を用いる技術が存在する。しかし、これらは、通信相手の機器情報を共有するといった目的では有効である。個人機器のようにユーザと機器とが1対1に固定的に関係付けられている場合には有効であるが、機器に対して複数のユーザが共有されるような場合には、ログイン情報などユーザが明示的に示したIDが必要となる。また、相手機器をカメラとした場合、カメラへのログイン情報が無いため、カメラに写った人を特定することをできず、利用者はカメラを選択しているに過ぎない。
上記に対し、センサにより生成されたユーザのプレゼンス情報を利用して、ユーザの手動選択なく相手の利用機器を特定する技術も検討が行われてきた。ユーザの行動をカメラで記録するシステムとして、特許文献1「位置に基づくユーザの行動の記録のための方法とシステム」がある。携帯用装置を持ったユーザをカメラによりその行動を監視するシステムであるが、収集した情報を記録することが主眼であり、それを用いて映像情報を提供することについては言及されていない。
また、特許文献2「ID情報を送受信する通信端末」では、特定の人を示すID情報と、人の存在や動きを検知するセンサの情報を組み合わせて通知することを特徴とするが、該情報の送信先については特に言及されていない。
また、特許文献3「在席管理システム」では、所在データベースがアンテナユニットから使用者の位置情報を受信し記憶、公開することでプレゼンス情報を他の人に閲覧可能としているが、プレゼンス情報を誰にでも公開できてしまうため、セキュリティ上問題がある。
同様に、特許文献4「情報通信端末及びプレゼンス情報共有制御プログラム」では、センサにより生成されたプレゼンス情報を共有し、プライバシロジックにより選択された情報のみを含むプレゼンス情報を生成することを特徴とする。しかし、プレゼンス情報の提供者と閲覧者との関係によるプレゼンス情報の配布先制御、開示制御に関することや、認可された配布先及びそれ以外からプレゼンス情報提供者に対するアクセス制御に関しては特に言及されておらず、プライバシ保護の観点からは不十分である。
本発明では、これらの課題を解決し、センサにより検知された人に関連付けられた相手にのみにプレゼンス情報を提供することや、プレゼンス情報の有効期間に基づき、プレゼンス情報提供者に対し認可された配布先からのアクセスのみを受け付ける制御を行うことで、より高度なプライバシ保護を実現するものである。
特表2004−537111号公報 特開2004−235941号公報 特開2005−182138号公報 特開2005−202789号公報
ネットワークアクセス可能なカメラにより、誰でもが自由に任意のカメラの映像を取得することはプライバシ保護の関係上問題であった。同様に、人センサなどのセンシング技術とカメラを組み合わせることで、ユーザが把握したい対象がどの撮影エリアに存在しているかが分かるが、その情報を任意のユーザに提供することは、同様にプライバシ保護の関係上問題であった。
前記従来の構成では、センサにより生成されたユーザのプレゼンス情報を利用して、ユーザの手動選択なく相手の利用機器を特定する技術も検討が行われてきたが、プレゼンス情報自体へのアクセス制御や、映像機器へのアクセス制御を用いて、プライバシを保護するという観点の課題を有していた。
本願発明は、上記問題を解決するためになされたもので、その目的は、事前に関係付けられ登録された信頼関係のあるユーザ間でのみ、ネットワークアクセス可能なカメラにより、対象となるユーザが検知されている間のみカメラの映像を提供することである。
前記の課題を解決するために、本願発明による通信制御装置は、カメラからの映像情報を受信するカメラ情報収容手段と、センサから、前記センサで検知されている監視対象を特定するための特定情報を受信するセンサ情報収容手段と、カメラからの映像情報をユーザ端末に転送する映像転送手段と、前記センサと前記カメラとを対応付けて管理する第1の管理手段と、各ユーザ端末を特定する特定情報と各ユーザの監視対象を特定する特定情報とを対応付けて管理する第2の管理手段と、ユーザ端末から前記映像情報を取得するための接続要求を受信したときに、前記映像転送手段に対して当該ユーザ端末への前記映像情報の転送制御を行う処理手段と、を備える。
そして、前記接続要求には、当該接続要求を送信したユーザ端末を特定する特定情報が含まれ、前記処理手段は、ユーザ端末から前記接続要求を受信したときに、前記センサ情報収容手段で受信される特定情報に基づいて当該ユーザ端末と前記センサで検知されている監視対象とが前記第2の管理手段で対応づけられているか否かを判断し、対応づけられている場合は前記映像情報を前記ユーザ端末に転送し、対応づけられていない場合は前記映像情報の転送を停止する。
また、上記通信制御装置の通信制御方法を提供する本願発明による通信制御装置について説明する。
人センサを収容する手段は、人を検知した情報を受信し、人・機器情報登録する手段に転送する機能を有する。カメラを収容する手段は、接続されたカメラからの映像情報を受信し、映像転送処理する手段に転送する機能を有する。カメラアドレス管理する手段は、接続されたカメラのカメラアドレスを管理すると共に該当カメラを制御する機能を有する。呼接続処理する手段は、ユーザ端末からの発呼要求を処理する機能を有する。映像転送処理する手段は、カメラからの映像情報を、ユーザ端末に転送する機能を有する。人・機器情報登録する手段は、人を検知した情報を本装置に接続されるカメラのカメラアドレスとペアで保存し、人・機器関係連結する手段に転送する機能を有する。人・機器関係連結する手段は、ユーザ端末を利用する人と、検知される人の関係を事前に登録し、人を検知した情報とカメラアドレスのペアと、ユーザ端末にログインするユーザ情報に基づき、ユーザ端末に対象ユーザの映像把握可能なカメラのカメラアドレスを通知する機能や、ユーザ端末からの映像獲得の発呼要求があった場合に、その要求を受け付けるか否かの判断を行う機能を有する。
上記構成により、1.撮影される人とそれを見る人の関係を管理し、それをカメラとユーザ端末の関係に変換し、該当ユーザ機器にのみカメラのアクセス情報(0ABJ番号、FQDNなど)を通知することと、2.ユーザ端末から映像接続要求を受けた場合、その機器が認可可能かどうかを、上記と同じメカニズムで検査することを実現する。
本発明の通信制御装置、および通信制御方法によれば、カメラに撮影されたユーザに事前に関連づけられたユーザにのみプレゼンス情報を配信することや、前記配信を受けたユーザからのみ、カメラへの接続を受け付けることにより、ユーザカメラに対する自由なアクセスを防止しプライバシの保護を実現することが出来る。また、カメラに撮影されるユーザの情報をセンサで収集することや、ユーザ端末の利用情報を収集し統合管理するにより、ユーザに対し、機器制御の情報の明示的入力を避け、利便性の向上を実現することが出来る。
以下本発明の実施の形態について、図面を参照しながら説明する。
(実施の形態1)
請求項1記載の本願発明に関わる実施の形態1を、図面に従って説明する。
図1は、本発明の一実施の形態に関わる通信制御装置100の構成図、および関連する装置群の説明図である。
通信制御装置100には、イーサネット(登録商標)などのネットワークもしくはIEEE1394、USBなどのケーブル接続にて、人センサ200、および、カメラ300の両方または片方が1つ以上接続される。それらがネットワークケーブルで接続される場合、通信制御装置100と、人センサ200、および、カメラ300との間の通信は、例えばIPプロトコルにより実現される。例えば、人センサ200の情報は、ユーザIDを含んだIPパケットのデータとして通信制御装置500に転送される。同様に、カメラ300の映像データは、映像情報を含んだIPパケットのデータとして、通信制御装置500に転送される。
人センサ200は、人を検知するセンサであり、人を個体認識する機能を持ち、人(ユーザ)のIDを出力する機能を持つ。例えば、顔認識可能なカメラ装置、指紋認証装置、RFIDなどアクティブ型、パッシブ型無線装置により人が保有するタグのIDをユーザIDとして出力する機能を持つ装置がそれらに相当する。コンピュータに対しユーザがログインした場合のログイン情報をユーザのIDとして出力できる場合にはこれに相当する。
カメラ300は、静止画、動画の映像を、通信制御装置100に入力するためのものである。人センサ200がカメラ装置を用いる場合、両装置は兼用される場合もある。
ユーザ端末400は、ネットワークを介して、通信制御装置100に接続されたカメラ装置300の動画、静止画を閲覧するためのビューア装置である。また、ユーザがユーザ端末400にログインした場合、ユーザIDを示すログイン情報は、ユーザ端末400のネットワークアドレスと共に、人・機器関係連結部500へ送信する機能を持つ。ここで、ユーザIDを示すログイン情報は、端末へユーザが明示的に行う場合もあるが、指紋や虹彩などの個人認識装置により自動的に収集され生成される場合もある。逆に、カメラ装置300が撮影する画像を得るために、通信制御装置100にネットワークアクセスするためのアドレスは、ユーザ端末400の画面から入力する機能も搭載する場合もあるが、基本的には、通信制御装置100からの配信により獲得する。
ユーザ端末400が映像を得るためには、カメラアドレスをネットワークアドレスとして指定することで通信制御装置100にネットワーク接続する。ここで、カメラアドレスは、インターネットの場合ではIPv4もしくはIPv6のインターネットアドレス、IP電話、もしくはTV電話の場合は、電話番号などが該当する。カメラアドレスは、人・機器関係連結部110から動的に通知される。
人センサ収容部101は、人センサ200から少なくともユーザID、及び必要に応じて人センサ自体の情報を受信し、その情報を、該通信制御装置100に接続されるカメラ300の少なくともカメラアドレスと組み合わせた形で、人・機器情報登録部106に記憶する。
カメラ収容部102は、カメラ300から映像情報を取得するために必要に応じて制御を行うと共に、取得した映像を映像転送処理部105へ転送する。映像転送が可能な状態のときには、自身のカメラアドレスは、カメラアドレス管理部103にて管理される。
カメラアドレス管理部103は、現在稼動中、または、制御に基づき稼動可能なカメラ300に対するカメラアドレスを管理、蓄積する。そして、その情報を人・機器情報登録部106に通知する。
人・機器情報登録部106は、少なくとも、人センサ収容部101が受信したユーザID、および、現在稼動中、または、制御に基づき稼動可能なカメラ300に対するカメラアドレス、および必要に応じてカメラ300、人センサ200、および、通信制御装置100に関する情報を組み合わせた情報として保管し、定期的に、もしくは、変更が発生する度に、その情報を、人・機器関係連結部110に通知する。例えば、人センサ収容部101から情報を得た場合、それが新規のユーザIDであれば、少なくともユーザを新規発見したことに相当する情報と組み合わせた情報を人・機器関係連結部110に通知する。その後、一定時間内もしくは事前に決定したルールに基づき、同ユーザIDの入力が人センサ収容部101から無いと判断した場合、ユーザIDに加え、少なくともユーザが離脱したことに相当する情報と組み合わせた情報を人・機器関係連結部110に通知する。
人・機器関係連結部110は、ユーザ端末400にログインしているユーザに対し、ログインユーザに関係あるユーザが人センサ収容部101にて検知されている通信制御装置100に接続されたカメラ300のカメラアドレスを送付する機能、もしくは、ユーザ端末からの要求に応じ該当情報を獲得する機能を持つ。少なくとも事前に、ユーザ端末400を利用するユーザのIDリスト、および、それらのユーザIDそれぞれと人センサ200が検知するユーザの関係を示す情報を蓄積しておく。そして、少なくとも、ユーザ端末400を利用しているユーザIDを、ネットワークを通して獲得し記憶すると共に、人センサ200にて検知されたユーザIDおよび該通信制御装置100に接続されたカメラ装置300のカメラアドレスを記憶する。
図2に、人・機器関係連結部110における、ユーザ端末400を利用するユーザのIDリスト、および、それらのユーザIDそれぞれと人センサ200が検知するユーザの関係を示す情報の蓄積例を示す。例えば、ユーザ端末400を利用するユーザを親とし、人センサ200が検知するユーザをその親に対する子供とすると、人・機器関係連結部110では、事前にその親子関係を蓄積しておくことがその具体例である。以後、説明にはこの関係を利用して説明する。図2の例では、親ユーザID=10の親に属する子供のIDがA、B、Cであることを示している。また、親ユーザIDが20、および21の親に属する子供のIDがD、Eであることを示している。これは親ユーザIDが20と21が、父親と母親の場合のように、子供に対して同様に関係付けられている複数の親ユーザIDの例である。
また、図3に、人・機器関係連結部110が、人センサ200が検知したユーザのID、およびその人センサが収容される通信制御装置に接続されるカメラ300のカメラアドレスを、通信制御装置100から受信し記憶する例を示す。例えば、通信制御装置100は、通信制御装置100に接続された人センサ200にて子IDがAである人が検知された場合、通信制御装置100は、少なくとも、その子IDと、通信制御装置100が接続するカメラ300のカメラアドレス(000−111−2222)を送信する。人・機器関係連結部110はそれを受信し、記憶する。通信制御装置100に複数のカメラが接続されている場合には、少なくともそれらのカメラアドレスのリストを送信する。図3の2行目の例に記載した、子IDがDの場合がそれに相当する。同様に、人・機器情報登録部106からユーザが離脱したことを受信すると、該当ユーザの記述を削除する。図3の例では、もし人・機器情報登録部106にて、子IDがAである人が離脱したと判断された場合、その由が人・機器関係連結部110に通知され、表示から子IDがAである行の記述が削除される。
さらに、あるユーザがユーザ端末400にログインすると、ログインユーザのIDが人・機器関係連結部110に送信され、記憶される。人・機器関係連結部110は、上記情報を受信すると、図2および図3の結果を合成し、図4のような、ユーザ端末400の利用ユーザIDに対応するカメラアドレスのリストを生成し記憶する。例えば、図2では、親ユーザID=10に対しては、子IDがA、B、Cが登録されていることを示している。図3から、子IDがAであるユーザが、カメラアドレス000−111−2222にて検知されていることを示している。これらの情報を組み合わせると、図4のように、親ユーザID=10に関連された子供が、カメラアドレス000−111−2222にて検知されていること示すことが出来る。
例えば、ユーザ端末400を利用するユーザ情報の登録が人・機器関係連結部110に実施されている間、人・機器情報である、検知した人の情報とカメラアドレスのペアの情報が新規作成、変更、消去されるごとに、ユーザ端末400に対し、少なくとも対象ユーザを撮影するカメラのカメラアドレスを通知することがその例である。同様に、子IDの離脱の通知を受けた場合、ユーザ端末400に該当ユーザの離脱を通知すると共に、映像セッションを切断するために、必要に応じて、呼接続処理部104に対し、映像切断要求を送る。
呼接続処理部104は、ユーザ端末400から、カメラアドレスを用いて発呼された呼接続要求を受けると、呼接続要求時に含まれる、少なくともユーザ端末自身のネットワークアドレスを元に、人・機器関係連結部110に対し、該呼接続要求の可否判断の要求を行うか、もしくは、それに必要な情報の獲得要求を行う。人・機器関係連結部110では、少なくとも図4の情報を元に、発呼ユーザが通信制御装置100に接続されたカメラ300にアクセス可能かどうかの判断を行うか、それらの情報を返信する。受付可と判断された場合、呼接続処理部104は、該呼接続を受け付けると共に、映像転送処理部105に対し、指定された宛先に対し映像を転送するように指示を行う。
例えば、呼接続処理がSIP(Session Initiation Protocol) にて行われる場合、ユーザ端末からのINVITE要求に対し、発端末のIPアドレス、電話番号などを取得し、それを人・機器関係連結部110に通知し可否判断する。受付可能な場合、呼接続処理部104は、呼接続を受け付けると共に、映像転送処理部105に対し、指定されたアドレスとポートに対し、映像を転送する。映像は、例えば、MPEG2、MPEG4の動画を、RTPなどのストリーム転送プロトコルに載せて転送する。
上記映像転送の終了は、少なくとも以下の2種類にて行われる。1つは、ユーザ端末400にて映像終了手続きが実施された場合である。その場合は、呼接続処理部104は、ユーザ端末400からの要求にて映像転送を終了させる。もう1つは、人センサ200から得られる情報にて人・機器情報登録部106が該当ユーザの離脱を検知した場合である。その場合は、人・機器関係連結部110が、映像セッションを切断するために、必要に応じて、呼接続処理部104に対し、映像切断要求を送り、映像転送を終了させる。
上記のように、該当ユーザが人センサの検知エリアからの離脱検知した後は、カメラ300のカメラアドレスを把握した装置が、呼接続処理部104に対し呼接続要求を行ったとしても、人・機器関係連結部110に発呼ユーザが登録されていないため、人・機器関係連結部110は呼受付不可と判断する。同様に、もし、カメラ300のカメラアドレスを何らか別の手段にて把握したユーザ端末400、もしくは他の装置が、呼接続処理部104に対し呼接続要求を行った場合、人・機器関係連結部110に発呼ユーザが登録されていないため、人・機器関係連結部110は呼受付不可と判断する。
映像転送処理部105は、カメラ300からの映像信号を受信し、呼接続処理部104からの指示に従い、ユーザ端末400に映像を転送する機能を持つ。必要に応じて、カメラ300から受信した映像信号(例えば、符号化方法、画像サイズ、フレームレート)の変換、映像信号のヘッダの変換、などの変換処理を施した上で、ユーザ端末400に転送する場合もある。
図5に、本願発明の通信制御装置100、および、1台の人センサ200、および、1台のカメラ300の設置例を示す。1台の人センサ200、および、1台のカメラ300が、道端のポールなどの上に配備され、有線もしくは無線接続にて、通信制御装置100に接続されている例である。
同様に、図6に、本願発明の通信制御装置100、および、2台の人センサ200、および、2台のカメラ300の設置例を示す。人センサやカメラの台数を増やすことにより、人の検知エリアの拡大、撮影エリアの拡大を目的とする。図5と同様に、例えば、1台の人センサ200、および、1台のカメラ300が、それぞれ道端のポールなどの上に配備され、すべての人センサ200やカメラ300は、有線もしくは無線接続にて、通信制御装置100に接続されている例である。
(実施の形態2)
請求項2記載の本願発明に関わる実施の形態2を、図面に従って説明する。
図7は、本発明の一実施の形態に関わる通信制御装置、および関連する装置群の説明図である。
ネットワークに対し、少なくとも、ユーザが映像を視聴するためのユーザ端末400、および、制御装置である、通信制御装置500、人・機器関係連結装置510が接続される。
通信制御装置500は、実施の形態1で説明した通信制御装置100から、人・機器関係連結部110を除いたものに相当する。そのため、呼接続処理部104、および、人・機器情報登録部106には、ネットワークアクセス可能なネットワークインタフェースを具備する。通信制御装置500は通信制御装置100と同様に、人センサ200およびカメラ300の両方または片方を1つ以上具備する。
人・機器関係連結装置510は、実施の形態1で説明した通信制御装置100の1手段である人・機器関係連結部110、および、ネットワークアクセス可能なネットワークインタフェースから構成される装置である。人・機器関係連結装置510は、システムに少なくとも1台配備される。
図8に、通信制御装置500および人・機器関係連結装置510の構成を説明する。
通信制御装置100では、呼接続処理部104、および、人・機器情報登録部106と、人・機器関係連結部110間の情報は、装置内で交換されていた。本実施の形態では、通信制御装置500に呼接続処理部104、および、人・機器情報登録部106が具備され、また、人・機器関係連結装置510に人・機器関係連結部110が具備される。それらの間の情報伝達は、ネットワーク上でのデータ交換にて実施される。しかし、その論理フローは、実施の形態1の説明と同じである。
ここで、人・機器関係連結装置510の特徴は、ネットワーク上に配備され複数の通信制御装置500から共通利用されることである。そのため、管理する情報には、通信制御装置500単位で付与されるエリアIDを追加して管理する。エリアIDとは、ネットワーク内で通信制御装置500を一意に識別するためのIDである。実施の形態1における図2〜図4の例を、人・機器関係連結装置510における情報管理例に対応させると、図9〜図11になる。
図9に人・機器関係連結部110における、ユーザ端末400を利用するユーザのIDリスト、および、それらのユーザIDそれぞれと人センサ200が検知するユーザの関係を示す情報の蓄積例を示す。これは図2の説明と同じである。
次に、図10に、人・機器関係連結部110が、人センサ200が検知したユーザのID、およびその人センサが収容される通信制御装置に接続されるカメラ300のカメラアドレスを、通信制御装置500から受信し記憶する例を示す。例えば、通信制御装置500に接続された人センサ200にて子IDがAである人が検知された場合、通信制御装置500は、自身のエリアID(=1)と共に、その子IDと、通信制御装置100が接続するカメラ300のカメラアドレス(000−111−2222)を送信する。人・機器関係連結部110はそれを受信し、記憶する。通信制御装置500に複数のカメラが接続されている場合には、そのカメラアドレスのリストを送信する。図3の2行目の例である子IDの場合がそれに相当する。
あるユーザがユーザ端末400にログインすると、ログインユーザのIDが人・機器関係連結部110に送信され、記憶される。人・機器関係連結部110は、上記情報を受信すると、図9および図11の結果を合成し、図11のような、ユーザ端末400の利用ユーザIDに対応する、少なくともエリアID、カメラアドレスのリストを生成し記憶する。例えば、図9で、親ユーザID=10に対しては、子IDがA、B、Cが対応している。図10から、子IDがAであるユーザが、エリアIDが1で、カメラアドレス000−111−2222にて検知されていることを示している。これらの情報を組み合わせると、親ユーザID=10に関連された子供が、カメラアドレス000−111−2222にて検知されていることを図11の例で示している。同様に、DとEが、エリアIDが1と2それぞれにて検知されている場合には、同じ親ユーザIDに対し、複数のエリアのそれぞれ接続されたカメラアドレスが示される。
(実施の形態3)
請求項1、2記載の本願発明に関わる実施の形態において、人センサ200、および、または、カメラ300の一方、または両方を、通信制御装置100または通信制御装置500に内蔵する例を示す。
図12は、実施の形態2における通信制御装置500と、人センサ200、および、カメラ300との接続関係を示す。これらの装置間は、シリアルケーブル、VGAケーブル、または、イーサネット(登録商標)などのネットワークケーブルで接続される。ネットワークケーブルで接続される場合、通信制御装置500と、人センサ200、および、カメラ300との間の通信は、例えばIPプロトコルにより実現される。例えば、人センサ200の情報は、ユーザIDを含んだIPパケットのデータとして通信制御装置500に転送される。同様に、カメラ300の映像データは、映像情報を含んだIPパケットのデータとして、通信制御装置500に転送される。
図13では、人センサ200の機能が通信制御装置500に内蔵された場合の装置例を示す。人センサ内蔵通信制御装置501は、1つ以上の人センサ201を内蔵する。
同様に、図14では、カメラ300の機能が通信制御装置500に内蔵された場合の装置例を示す。カメラ内蔵通信制御装置502は、1つ以上のカメラ301を内蔵する。
図15では、人センサ内蔵通信制御装置501の配備例を示す。人センサ内蔵通信制御装置501は人検知機能を内蔵するので、本体にて人検知を行う。撮影は、外部接続されたカメラ300を1つ以上用いて行う。図9の例では、人センサ内蔵通信制御装置501にカメラが2つ接続された例を示す。この場合、それぞれのカメラで撮影するエリアを両方カバーするように人検知エリアを設定するために、人センサ内蔵通信制御装置501の人センサを調整する。
図16では、カメラ内蔵通信制御装置502の配備例を示す。カメラ内蔵通信制御装置502は撮影機能を内蔵するので、本体にて撮影を行う。人検知は、外部接続された人センサ200を1つ以上用いて行う。図16の例ではカメラ内蔵通信制御装置502に人センサ200が2つ接続された例を示す。この場合、撮影エリアをカバー出来るように、複数の人検知エリアを設定する。
(実施の形態4)
請求項1、2記載の本願発明に関わる実施の形態において、人センサ200やカメラ300が接続された通信制御装置100または通信制御装置500を複数配備した例を、図17に示す。
エリアID=Aには、人検知エリアAと撮影エリアAが対応する。同様に、エリアID=Bには、人検知エリアBと撮影エリアBが対応する。ここで、通信制御装置500に相当するエリアAに配備される装置を511、エリアBに配備される装置を512とする。同様に、人センサ200に相当するものがそれぞれ、211、212、カメラ300に相当するものが、それぞれ311、312とする。
ユーザ端末を利用するユーザ(親ユーザ)と、人センサ200により検知されるユーザ(子)のIDの関係を事前登録した例を用いて説明する。図18に示すでは、人・機器関係連結部110に対し、1人の親ユーザ10に対し、3人の子ID(A、B、C)が事前に関連付けられているものとする。
まず親ユーザID=10がユーザ端末400にログインすると、ユーザ端末400のネットワークアドレスと共に、少なくとも親ユーザのIDである10が人・機器関係連結部110に通知される。その通知を受けると、人・機器関係連結部110は、親ユーザ10向けの管理テーブルの枠組みを作成する。
図18は、ユーザ間の関係定義である。人・機器関係連結部110に登録されている。
図19は、エリア単位における、検知されたユーザ(子)のIDと、その人センサに関連づけられたカメラアドレスの関係を記憶する例である。
図20は、図19の結果から、子IDを親IDにマッピングし直した結果であり、ユーザ端末400にログインしているユーザ(親)に関連づけられたユーザ(子)の存在状況、およびそれに関連づけられたカメラアドレスを示すものである。ここで、子ID=Aのユーザが、人検知エリアAで検知された場合、少なくともエリアID=Aの情報と、そこに接続されるカメラ311のカメラアドレスが、人・機器関係連結部110に通知される。図19はそれにより作成されるテーブルの例である。図19の変更結果、図18の内容を用いて図20に示すように、親ユーザIDあたりのカメラアドレスのテーブルを作成、または変更する。ここで、情報に差分が発生するごとに、または定期的に、この内容をユーザ端末400に通知する。
前記において、ユーザ端末400では、最初に少なくとも子ID=Aの発見通知を受信し、それに対応するカメラアドレス(000−111−2222)を受信する。映像の受信が望まれる場合には、そのカメラアドレスを元に、通信制御装置511に対しコネクション要求を発行する。通信制御装置511では、コネクション接続要求元のユーザID(=10)を元に、それを人・機器関係連結装置510中の人・機器関係連結部110に問い合わせる。少なくとも図20に記載されている情報の全部または一部を用い、問い合わせ元の通信制御装置511のエリアIDと比較し、一致していることを判断後、コネクション要求を受付、映像転送処理部105に対し、映像転送を指示する。逆に、図20に記載されていないユーザIDからの接続要求、および、通信制御装置511が存在するエリアIDが違う場合には、コネクション要求を受け付けない。これらの一連の処理により、子ID=Aの親(=親ユーザID=10)が利用するユーザ端末にのみ接続のためのカメラアドレスを配布することで、任意のユーザにアクセス不可とする制限をかけることが出来る。また、コネクション要求時に再度通信制御装置511が人・機器関係連結部110に問い合わせることで、その時点でユーザ間の関係に変更がないか、人センサで検知された状態に変化が無いかを再度確認した上で、適切なユーザ端末のみのコネクションを許可する2重のアクセス制限を施すことが出来る。これらにより、より安全性の高い映像提供を実現することができる。
次に、子ID=Aのユーザが、人検知エリアAで検知された状態のまま、子ID=Bのユーザが、人検知エリアAで検知された場合の例を示す。子ID=Aと同じエリアで検知されているため、図19に対し、子IDを追加する処理が実施される。図21は、それにより作成されるテーブルの例である。ここで、子ID=AとBは同じ親ユーザID=10に関連づけられているため、親ユーザID単位の関係からは、図20に対応するテーブルは変更されない。その様子を図22に示す。
別のケースとして、図19、図20の状態で、子ID=Aが、エリアID=Bに移動した場合の例を示す。この場合、子ID=Aは一旦エリアID=Aから抜けるため、その情報が、図19から削除される。そしてその情報がユーザ端末400に通知される。この時点で、親ユーザID=10が利用するユーザ端末400は、エリアID=Aとの関係が消滅する。そのため、人・機器関係連結部110は、通信制御装置511中の映像転送処理部105に対し映像転送を中止する命令を発行することもある。
その後、図23に示すように、新しいエリアID=Bにてエントリされ、図18の登録情報を元に、子ID=Aが、親ユーザID=10にマッピングされ管理される(図24)。その結果は同様に、ユーザ端末400に通知される。その時点で新たに、ユーザ端末400では、エリアBに対する子ID=Aの発見通知を受信し、それに対応するカメラアドレス(000−111−2223)を受信する。映像を受信したい場合には、そのアドレスを元に、通信制御装置512に対しコネクション要求を発行する。
ユーザ端末400が上記一連の操作を自動的に行った場合、子IDがエリアを渡って移動すると、カメラへのアクセスも順次切り替えて実施され、その結果、人の位置に応じて次々とカメラを切り替えながら映像を見ることが可能となる。
ここで、ユーザ端末400は、事前にエリアID=Aのカメラアドレス(000−111−2222)を記憶することは可能であるが、この時点で、そのアドレスを持って、通信制御装置511に対しコネクション要求を発行したとしても、図24に示すエントリにエリアAの記載がないため、要求が却下されることになる。これにより、今、現在関連があるユーザが検知されていないカメラに対するアクセス権を動的に抹消することで、プライバシ侵害の少ない、安全なカメラ利用を促進することができる。
(実施の形態5)
請求項3記載の本願発明に関わる実施の形態を、図面に従って説明する。図中の各装置は、実施例2で説明した装置と同じである。
図25に、本提案方法のシーケンスを示す。
人を検知した情報を受信するステップ(1)は、人センサ200から検知されたユーザIDを通信制御装置500に取り込むステップである。
人を検知した情報を接続されるカメラのカメラアドレスとペアで管理するステップ(2)は、接続されているカメラ300のカメラアドレスと、ステップ(1)で得られたユーザIDを合わせて管理するステップである。
検知した人の情報とカメラアドレスを組み合わせてサーバに広告するステップ(3)は、ステップ(2)の結果を、人・機器関係連結装置510に通知するステップである。
ユーザ端末を利用する人と、検知される人の関係を事前に登録するステップ(4)は、図2に示したように、ユーザ端末400の利用ユーザIDと、人センサ200で検知されるユーザIDとの関連を、人・機器関係連結装置510に登録しておくステップである。これは、システムの稼動前に事前に静的設定する場合と、システムの動作中に、動的に変更する場合がある。
ユーザ端末から、広告に対する受信登録を行うステップ(5)は、ユーザ端末400にユーザがログインする場合などユーザ端末400がユーザIDを認識した場合に、その情報を人・機器関係連結装置510に通知するステップである。
ステップ(1)の結果、少なくとも人を検知した情報とカメラアドレスの情報をユーザ端末に通知するステップ(6)は、少なくとも図4、図11などの図中の各行の情報を、そのユーザIDが一致するユーザ端末400に通知するステップである。
ステップ(6)の情報に基づき、ユーザ端末からの映像獲得の発呼要求を行うステップ(7)は、ステップ(6)で得たカメラアドレスの情報を用いて映像獲得のためのコネクション構築要求を実施するステップである。
着呼を受けてサーバに対しステップ(6)と同様の広告に対する受信登録を行うステップ(8)は、ステップ(7)を受けて、コネクション構築に必要な情報としてステップ(6)と同様の情報を得るために、人・機器関係連結装置510にリクエスト通知するステップである。
着呼側で少なくとも人を検知した情報とカメラアドレスの情報を受信するステップ(9)は、ステップ(6)と同様に、ユーザ端末400の利用ユーザIDを鍵に、少なくとも図4、図11などの図中の各行の情報の通知を受け通信制御装置が受信するステップである。
それを用いてステップ(7)の呼接続要求を受け付けるか否かの判断を行うステップ(10)は、ステップ(9)で得られた情報を元に、通信制御装置に接続されるカメラの映像を接続要求のあったユーザ端末400に接続するか否かの判断を行うステップである。
本発明にかかる通信制御装置、および、通信制御方法は、プライバシを保護した上でカメラ映像へのアクセスを有するため、その映像の視聴を親にのみ限定することと共に、自分の子供が撮影されているカメラへのアクセス権が他の親に付与されないことを担保することにより、学校内、通学路など公共空間での子供の登下校を見守るシステム、マンションなどの施設内での安全監視システムなどに用いる映像装置として有用である。またセキュリティ機器等の用途にも応用できる。
本発明の実施の形態1における通信制御装置の構成図 人・機器関係連結部110における、ユーザ端末400を利用するユーザのIDリスト、および、それらと人センサ200が検知するユーザの関係を示す情報の記録例を示す図 実施例1における、人・機器関係連結部110が、人センサ200が検知したユーザのID、およびカメラ300のカメラアドレスを、通信制御装置100から受信し記憶する例を示す図 ユーザ端末400の利用ユーザIDに対応するカメラアドレスのリスト例を示す図 本発明の実施の形態1における通信制御装置の配備例を示す図 本発明の実施の形態1における複数のカメラや人センサを備えた通信制御装置の配備例を示す図 本発明の実施の形態2における通信制御装置および関連装置の関係図 本発明の実施の形態2における通信制御装置の構成図 ユーザのIDリスト、および、それらと人センサ200が検知するユーザの関係を示す情報の記録例を示す図 ユーザのID、およびカメラ300のカメラアドレスを、通信制御装置500から受信し記憶する例を示す図 ユーザ端末400の利用ユーザIDに対応するカメラアドレスのリスト例を示す図 本発明の実施の形態2における通信制御装置とカメラ、人センサの接続図 本発明の実施の形態2における通信制御装置に人センサを内蔵した場合の構成図 本発明の実施の形態2における通信制御装置にカメラを内蔵した場合の構成図 図13で示した本発明の実施例2における通信制御装置例の配備例を示す図 図14で示した本発明の実施例2における通信制御装置例の配備例を示す図 本発明の実施の形態2における通信制御装置を複数配備した場合の例を示す図 ユーザ間の関係定義例を示す図 エリア単位の、検知されたユーザと、その人センサに関連づけられたカメラアドレスの関係例を示す図 ユーザ端末400にログインしているユーザに関連づけられたユーザの存在状況、カメラアドレス例を示す図 子ID=Bのユーザが追加された場合の、検知されたユーザと、その人センサに関連づけられたカメラアドレスの関係例を示す図 子ID=Bのユーザが追加された場合の図20に対応するテーブル例を示す図 子ID=Aが、エリアID=Bに移動した場合の、検知されたユーザと、その人センサに関連づけられたカメラアドレスの関係例を示す図 子ID=Aが、エリアID=Bに移動した場合の、検知されたユーザと、その人センサに関連づけられたカメラアドレスの関係例を示す図 本発明の実施例3における通信制御方法のシーケンスを示す図
符号の説明
100 通信制御装置
101 人センサ
102 カメラ収容部
103 カメラアドレス管理部
104 呼接続処理部
105 映像転送処理部
106 人・機器情報登録部
107 人・機器情報入出力部
110 人・機器関係連結部
200 人センサ
201 通信制御装置501に内蔵される人センサ
211 人センサ200
212 人センサ200
300 カメラ
301 通信制御装置502に内蔵されるカメラ
311 カメラ300
312 カメラ300
400 ユーザ端末
500 通信制御装置
510 人・機器関係連結装置
501 人センサ内蔵通信制御装置
502 カメラ内蔵通信制御装置
511 通信制御装置500
512 通信制御装置500

Claims (8)

  1. カメラからの映像情報を受信すカメラ情報収容手段と、
    センサから、前記センサで検知されている監視対象を特定するための特定情報を受信すセンサ情報収容手段と、
    カメラからの映像情報ユーザ端末に転送する映像転送手段と、
    前記センサと前記カメラとを対応付けて管理する第1の管理手段と、
    各ユーザ端末を特定する特定情報と各ユーザの監視対象を特定する特定情報とを対応付けて管理する第2の管理手段と、
    ユーザ端末から前記映像情報を取得するための接続要求を受信したときに、前記映像転送手段に対して当該ユーザ端末への前記映像情報の転送制御を行う処理手段と、を備え、
    前記接続要求には、当該接続要求を送信したユーザ端末を特定する特定情報が含まれ、
    前記処理手段は、ユーザ端末から前記接続要求を受信したときに、前記センサ情報収容手段で受信される特定情報に基づいて当該ユーザ端末と前記センサで検知されている監視対象とが前記第2の管理手段で対応づけられているか否かを判断し、対応づけられている場合は前記映像情報を前記ユーザ端末に転送し、対応づけられていない場合は前記映像情報の転送を停止する
    通信制御装置。
  2. 前記第2の管理手段は、さらに、前記センサ情報収容手段で受信された監視対象の特定情報と、前記センサで検知されている監視対象を撮像しているカメラのネットワークアドレスとを対応付けて管理し、
    前記処理手段は、ユーザ端末から前記接続要求を受信したときに、前記接続要求に含まれるユーザ端末の特定情報と、前記監視対象の特定情報とが前記第2の管理手段で対応づけられているか否かを判断し、対応づけられている場合は当該特定情報に対応する前記ネットワークアドレスの映像情報を前記ユーザ端末に転送し、対応づけられていない場合は前記ユーザ端末への前記映像情報の転送を停止する
    請求項1に記載の通信制御装置。
  3. 前記第2の管理手段は、さらに、各ユーザ端末の特定情報と、各ユーザの監視対象を撮像しているカメラのネットワークアドレスとを対応付けて管理し、
    前記処理手段は、前記ユーザ端末から前記接続要求を受信したときに、当該接続要求に含まれるユーザ端末の特定情報が前記第2の管理手段で管理されている場合は、当該特定情報に対応するネットワークアドレスの映像情報を前記ユーザ端末に転送し、当該取得要求に含まれる特定情報が前記第2の管理手段で管理されていない場合は前記ユーザ端末への前記映像情報の転送を停止する、
    請求項1または請求項2に記載の通信制御装置。
  4. 前記転送手段がユーザ端末に当該ユーザ端末の監視対象の映像情報を転送し始めてから、前記センサ情報収容手段が前記センサから当該監視対象の特定情報を所定の期間受信しなかった場合、前記第2の管理手段は当該監視対象に関する管理情報を削除し、
    前記処理手段は、前記第2の管理手段から前記所定の監視対象に関する管理情報が削除されたことに応じて、前記転送手段に対して当該ユーザ端末への映像情報の転送を停止させる
    請求項1乃至請求項3のいずれか1項に記載の通信制御装置。
  5. カメラで撮像されている監視対象の映像情報をユーザ端末に送信する通信制御装置の通信制御方法であって、
    前記監視対象は前記カメラに対応して設けられるセンサで検知され、
    前記通信制御装置は、
    前記センサと前記カメラとを対応付けて管理する第1の管理手段と、
    各ユーザ端末を特定する特定情報と各ユーザの監視対象を特定する特定情報とを対応付けて管理する第2の管理手段と、を備え、
    前記通信制御装置は、
    前記カメラからの映像情報を受信し、
    前記センサから、前記センサで検知されている監視対象を特定するための特定情報を受信し、
    ユーザ端末から前記映像情報を取得するための接続要求を受信したときに前記映像情報の転送を制御し、
    前記接続要求には、当該接続要求を送信したユーザ端末を特定する特定情報が含まれ、
    前記通信制御装置は、
    ユーザ端末から前記接続要求を受信したときに、前記センサ情報収容手段で受信される特定情報に基づいて当該ユーザ端末と前記センサで検知されている監視対象とが前記第2の管理手段で対応づけられているか否かを判断し、対応づけられている場合は前記センサに対応するカメラからの映像情報を前記ユーザ端末に転送し、対応づけられていない場合は前記映像情報の転送を停止する
    通信制御方法。
  6. 監視対象を検知するセンサと、前記監視対象を撮像するカメラと、前記センサで検知されている監視対象の映像情報をユーザ端末に送信する通信制御装置と、を含む通信制御システムであって、
    前記通信制御装置は、
    前記カメラからの映像情報を受信するカメラ情報収容手段と、
    前記センサから、前記センサで検知されている監視対象を特定するための特定情報を受信するセンサ情報収容手段と、
    前記カメラからの映像情報をユーザ端末に転送する映像転送手段と、
    前記センサと前記カメラとを対応付けて管理する第1の管理手段と、
    各ユーザ端末を特定する特定情報と各ユーザの監視対象を特定する特定情報とを対応付けて管理する第2の管理手段と、
    ユーザ端末から前記映像情報を取得するための接続要求を受信したときに、前記映像転送手段に対して当該ユーザ端末への前記映像情報の転送制御を行う処理手段と、を備え、
    前記接続要求には、当該接続要求を送信したユーザ端末を特定する特定情報が含まれ、
    前記処理手段は、ユーザ端末から前記接続要求を受信したときに、前記センサ情報収容手段で受信される特定情報に基づいて当該ユーザ端末と前記センサで検知されている監視対象とが前記第2の管理手段で対応づけられているか否かを判断し、対応づけられている場合は前記映像情報を前記ユーザ端末に転送し、対応づけられていない場合は前記映像情報の転送を停止する
    通信制御システム。
  7. 前記通信制御システムでは、一のセンサに対して複数のカメラが設けられており、
    前記一のセンサの検知エリアが前記複数のカメラのそれぞれの撮影エリアを含む
    請求項6に記載の通信制御システム。
  8. 前記通信制御システムでは、一のカメラに対して複数のセンサが設けられており、
    前記複数のセンサによる検知エリアが前記一のカメラの撮影エリアを含む
    請求項6に記載の通信制御システム。
JP2006249068A 2006-09-14 2006-09-14 通信制御装置、及び、通信制御方法 Active JP4978125B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006249068A JP4978125B2 (ja) 2006-09-14 2006-09-14 通信制御装置、及び、通信制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006249068A JP4978125B2 (ja) 2006-09-14 2006-09-14 通信制御装置、及び、通信制御方法

Publications (2)

Publication Number Publication Date
JP2008072431A JP2008072431A (ja) 2008-03-27
JP4978125B2 true JP4978125B2 (ja) 2012-07-18

Family

ID=39293623

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006249068A Active JP4978125B2 (ja) 2006-09-14 2006-09-14 通信制御装置、及び、通信制御方法

Country Status (1)

Country Link
JP (1) JP4978125B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5998514B2 (ja) * 2012-02-22 2016-09-28 セイコーエプソン株式会社 撮像装置管理システム、撮像制御装置、コントロール装置およびロボット
CN109257613A (zh) * 2018-08-14 2019-01-22 北京京东尚科信息技术有限公司 用于处理信息的方法和装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002175579A (ja) * 2000-12-05 2002-06-21 Canon Inc 託児所監視システム及び方法
JP3979902B2 (ja) * 2001-08-30 2007-09-19 株式会社日立国際電気 監視映像配信システムおよび監視映像配信方法

Also Published As

Publication number Publication date
JP2008072431A (ja) 2008-03-27

Similar Documents

Publication Publication Date Title
USRE47842E1 (en) System and method of identifying networked device for establishing a P2P connection
JP2006048174A (ja) ホームセキュリティシステム
KR101460112B1 (ko) 동영상 출력이 가능한 감시 카메라 및 이 감시 카메라를 포함하는 동영상 송수신 시스템
KR20100028500A (ko) 홈 네트워크 내에서의 취합된 사용자 프레즌스 관리 방법 및 장치
US20030067543A1 (en) Camera server system
JP5606637B2 (ja) 映像監視システム
JP4978125B2 (ja) 通信制御装置、及び、通信制御方法
JP4268361B2 (ja) 画像配信システム
US8379092B2 (en) System and method for providing application service using image data
JP2004064276A (ja) 遠隔監視システム
US20090013382A1 (en) Security system, terminal, information delivering method, program and recording medium
JP2022118276A (ja) 集合住宅用インターホンシステム
JP2004320513A (ja) 情報管理システムおよびプログラム
WO2004032085A1 (ja) 監視システム及び中継装置
JP4553221B2 (ja) 監視通報方法およびシステムならびに監視通報プログラムを記録したコンピュータ読み取り可能な情報記録媒体
KR100612023B1 (ko) 데이터 통신을 제공하는 네트워크 카메라 및 이를 이용한데이터 통신 방법
JP2003060672A (ja) 画像伝送装置
KR101344062B1 (ko) 인터넷 및 모바일 메신저를 이용한 ip 카메라 접속 시스템 및 방법
JP2018198074A (ja) 通信装置、その制御方法、およびプログラム
KR101458365B1 (ko) 영상기기 보이스 알람 시스템 및 그 운용방법
JP4066782B2 (ja) 構内通信システムにおけるアドレス設定方法
JP5296839B2 (ja) 地域監視システム
JP2005117194A (ja) 監視情報提供システム、監視装置における監視情報提供方法およびその方法をコンピュータに実行させる監視情報提供プログラム
KR102318598B1 (ko) 영상 전달 시스템 및 그 제어방법
JP4953293B2 (ja) テレビドアホン装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090710

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20090817

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110527

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110621

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110805

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120321

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120403

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150427

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4978125

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151