JP6515688B2 - Gateway device - Google Patents
Gateway device Download PDFInfo
- Publication number
- JP6515688B2 JP6515688B2 JP2015114907A JP2015114907A JP6515688B2 JP 6515688 B2 JP6515688 B2 JP 6515688B2 JP 2015114907 A JP2015114907 A JP 2015114907A JP 2015114907 A JP2015114907 A JP 2015114907A JP 6515688 B2 JP6515688 B2 JP 6515688B2
- Authority
- JP
- Japan
- Prior art keywords
- home
- gateway
- unit
- monitoring
- home network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000011664 signaling Effects 0.000 claims description 88
- 238000012544 monitoring process Methods 0.000 claims description 70
- 230000006854 communication Effects 0.000 claims description 37
- 238000004891 communication Methods 0.000 claims description 37
- 238000010586 diagram Methods 0.000 description 18
- 230000006870 function Effects 0.000 description 18
- 230000004044 response Effects 0.000 description 17
- 238000012545 processing Methods 0.000 description 12
- 230000005540 biological transmission Effects 0.000 description 11
- 238000000034 method Methods 0.000 description 11
- 230000000694 effects Effects 0.000 description 10
- 238000012790 confirmation Methods 0.000 description 5
- 230000001413 cellular effect Effects 0.000 description 2
- 230000007175 bidirectional communication Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Description
この発明は、ゲートウェイ装置、ゲートウェイ装置を含むネットワークシステムに関するものである。 The present invention relates to a gateway device and a network system including the gateway device.
従来よりホームネットワーク内に接続される装置などをホームネットワーク外から操作できるシステムが考えられている。従来技術(特許文献1)においては、ホームネットワーク外の携帯電話から、ホームネットワーク内に接続される装置を制御する方法が開示されている。 Conventionally, there has been conceived a system capable of operating an apparatus or the like connected in the home network from outside the home network. In the prior art (Patent Document 1), there is disclosed a method of controlling a device connected in a home network from a mobile phone outside the home network.
ホームネットワーク内に接続される装置をホームネットワーク外から操作できる従来技術(特許文献1)のシステムでは、ホームネットワーク内に接続される装置の情報を携帯電話ゲートウェイやインターネットサービスプロバイダのWEBゲートウェイに登録する必要がある。これに伴って、ホームネットワーク内での装置の追加に柔軟に対応できないという問題がある。この発明は、上記のような問題を解消するゲートウェイ装置、ネットワークシステムを得ることを目的としている。 In the system of the prior art (patent document 1) which can operate the device connected in the home network from outside the home network, the information of the device connected in the home network is registered in the mobile telephone gateway or the WEB gateway of the Internet service provider. There is a need. Along with this, there is a problem that it is not possible to flexibly cope with the addition of a device in the home network. An object of the present invention is to obtain a gateway apparatus and a network system which solve the above problems.
この発明は上述のような課題を解消するためになされたもので、本発明によればゲートウェイ装置は、インターネットに接続するWAN接続部と、ホームネットワークに接続するLAN接続部と、インターネットに接続される装置とホームネットワークに接続される装置とが1対1通信に必要な情報を送受信するシグナリング部と、前記ホームネットワークに接続される電話の着信を監視し、前記監視結果に基づき前記ホームネットワークに接続される監視カメラに対する制御内容を決定する機能監視部と、前記機能監視部が決定した前記制御内容に従って、前記監視カメラを制御する制御部とを具備し、前記制御内容は、前記監視カメラが撮像した監視データの記録の開始であることを特徴とする。
The present invention has been made to solve the problems as described above, and according to the present invention, the gateway device is connected to the WAN connection unit connecting to the Internet, the LAN connection unit connecting to the home network, and the Internet And a device connected to the home network transmit and receive information necessary for one-to-one communication, and monitoring the arrival of a telephone connected to the home network, and based on the monitoring result, the home network a functional monitoring unit for determining the control content for the connected the surveillance camera, according to the control content which the functional monitoring unit is determined, and a control unit for controlling the surveillance camera, the control content, the surveillance camera It is characterized in that it is the start of recording of captured monitoring data .
以上のように、この発明によれば、ホームネットワーク内に接続される装置をホームネットワーク外から操作できるシステムにて、追加するホームネットワーク内に接続される装置のシグナリング情報を、ゲートウェイ装置101のシグナリング部207へ新たに登録すればよい。ホームネットワークのユーザは、ホームネットワーク103に接続されているゲートウェイ装置101へのアクセスでホームネットワーク内に接続される装置の追加が可能となる。
As described above, according to the present invention, in a system capable of operating a device connected in the home network from outside the home network, signaling information of the device connected in the home network to be added is signaled by the
本発明に係るゲートウェイ装置、ゲートウェイ装置を含むネットワークシステムの実施の形態について、図面を参照して説明する。以下の各図において、同一符号は、同一または相当の構成を示す。なお、本発明は以下に示す各実施の形態に限定されるものではない。 DETAILED DESCRIPTION Embodiments of a gateway apparatus and a network system including the gateway apparatus according to the present invention will be described with reference to the drawings. In the following drawings, the same reference numerals indicate the same or corresponding configurations. The present invention is not limited to the embodiments shown below.
実施の形態1.
図1は、この発明を実施するための実施の形態1におけるゲートウェイ装置を含むネットワークシステムの全体構成図である。
FIG. 1 is an overall configuration diagram of a network system including a gateway device according to a first embodiment of the present invention.
ゲートウェイ装置101は、インターネット102とホームネットワーク103とに接続される。ホームネットワークは、ローカルネットワークと称されることもある。インターネット102とホームネットワーク103との橋渡しをするゲートウェイ装置は、ホームゲートウェイと称されることもある。
The
ホームネットワーク103には、様々な装置が接続されることが考えられる。図1では一例について説明する。ホームネットワーク103に接続される装置の種類や数などは、図1に示すものに限らない。パソコン104は、ホームネットワーク103に接続している。WEBカメラ105は周囲を撮像し、パソコン104に例えばUSB(UNIVERSAL SERIAL BUS)で接続され、取得した映像データや音声データをパソコン104へ送信する。STB106(SET TOP BOX)は、ホームネットワーク103に接続している。STB106はインターネット102、ゲートウェイ装置101を経由して映像サービスとして映像データや音声データを受信する。テレビ107はSTB106と接続され、STB106から受信した映像データや音声データを再生する。IP(INTERNET PROTOCOL)電話108は、ホームネットワーク103に接続している。IP電話108はインターネット102、ゲートウェイ装置101を経由して映像データや音声データを送受信し、受信したデータを再生する。
Various devices may be connected to the
ゲートウェイ装置101には、様々な装置が接続されることが考えられる。図1では一例について説明する。ゲートウェイ装置101に接続される装置の種類や数などは、図1に示すものに限らない。HDD109(HARD DISK DRIVE)は、ゲートウェイ装置101に例えばUSBで接続され、ゲートウェイ装置101からデータの書き込み、読み出しが実行される。WEBカメラ110は、周囲を撮像し、ゲートウェイ装置101に例えば無線で接続され、取得した映像データや音声データをゲートウェイ装置101に送信する。WEBカメラ111は、周囲を撮像し、ゲートウェイ装置101に例えばUSBで接続され、取得した映像データや音声データをゲートウェイ装置101に送信する。クライアント112は、インターネット102を経由してゲートウェイ装置101と通信を行う。
Various devices may be connected to the
図2は、この発明を実施するための実施の形態1におけるゲートウェイ装置101の構成図である。
FIG. 2 is a block diagram of the
WAN(WIDE AREA NETWORK)接続部201は、インターネット102に接続し、LAN(LOCAL AREA NETWORK)接続部202は、ホームネットワーク103に接続し、無線接続部203は、無線を用いて接続する装置(例えば図1のWEBカメラ110)に接続する。USB接続部204は、USBを用いて接続する装置(例えば図1の、HDD109、WEBカメラ111)に接続し、記録部205は、メモリ206あるいは接続されている外部の記憶装置(例えば図1のHDD109)へのデータの書き込み、メモリ206あるいは接続されている外部の記憶装置からのデータの読み出しを行う。
A WAN (WIDE AREA NETWORK)
シグナリング部207は、接続先確認部208、セッション部209、シグナリング情報保存部210を有する。シグナリング部207は、ホームネットワーク内に接続される装置と、該装置をホームネットワーク外より操作したい装置との間でピアツーピア(PEER TO PEER:P2P)通信の経路を確立し、装置間で互いに通信できる状態とするために必要な情報(以降「シグナリング情報」と称する)を交換するメッセージの送受信を行う。P2P通信とは、1対1通信とも称される。シグナリング情報の交換が終了し、装置間でデータを双方向に送受信することができる単位をセッションと称し、装置間でデータを双方向に送受信可能な状態にすることをセッションを張ると称する。ホームネットワーク内に接続される装置の具体例としては、図1のパソコン104、WEBカメラ105、STB106、テレビ107、IP電話108、WEBカメラ110、WEBカメラ111などがある。ホームネットワークに接続される装置を以降「ホーム内装置」と称する。ホーム内装置をホームネットワーク外から操作したい装置の具体例としては、図1のクライアント112などがある。ホーム内装置をホームネットワーク外から操作したい装置を以降「ホーム外装置」と称する。ホーム外装置はインターネットに接続される装置である。つまりシグナリング部207は、ホーム内装置とホーム外装置との間でP2P通信の経路を確立し、装置間で互いに通信できる状態とするためにシグナリング情報を交換するメッセージの送受信を行う。
The
接続先確認部208は、ホーム内装置と、ホーム外装置とのセッションを張るためのメッセージの送受信を実施するか否か判断する。セッション部209は、シグナリング情報を交換するメッセージの送受信を行い、ホーム内装置と、ホーム外装置とのセッションを張る。シグナリング情報保存部210は、ホーム内装置のシグナリング情報を記憶する。シグナリング情報は、メモリ206、あるいはゲートウェイ装置101へ接続されている外部の記憶装置(例えば図1のHDD109)に記憶されてもよい。シグナリング情報は、ユーザの設定、あるいはユーザの設定に基づき登録される。ホームネットワークのユーザは、シグナリング情報を入力部211より登録する。入力部211は、ユーザインタフェースを持った入力装置である。また、ホームネットワークのユーザは、シグナリング情報をゲートウェイ装置101に接続されたユーザインタフェースを持った機器、例えば図1のパソコン104、テレビ107から登録してもよい。シグナリング情報の具体例としては、IPアドレス、ポート番号、通信に使うプロトコル、通信に使う帯域などがある。
The connection
図3は、この発明を実施するための実施の形態1におけるシグナリング情報のデータ構造の一例を示す図である。データ構造は図3に示したものに限らない。ホーム内装置の別を識別する識別情報と、IPアドレス303、ポート番号304、通信プロトコル305、使用帯域幅306などとが対応付けられて記憶される。ホーム内装置の識別情報は、図3の例示であるホームネットワークに接続されるホーム内装置に割当てられた番号301、装置名302、また装置IDなどであってもよい。
FIG. 3 is a diagram showing an example of a data structure of signaling information in
SIP(SESSION INITIATION PROTOCOL)部212は、P2P通信をする装置間でSIPによるセッションを確立する。または別のホーム内装置から受信した音声データをIP電話107に送信する。
A SIP (SESSION INITIATION PROTOCOL)
次に動作について説明する。図4は、この発明を実施するための実施の形態1におけるネットワークシステムのシーケンス図である。 Next, the operation will be described. FIG. 4 is a sequence diagram of a network system in the first embodiment for implementing the present invention.
ステップST401にて、ホームネットワークのユーザは、ホーム外装置へゲートウェイ装置101のIPアドレスとホーム内装置の識別情報を登録する。操作したいホーム内装置と、該装置が接続されているゲートウェイ装置101と、ホーム外装置とのユーザは、同一であることが一般的である。よってホーム外装置へゲートウェイ装置101のIPアドレス、ホーム内装置の識別情報を予め登録することは可能である。ステップST402にて、ホームネットワークのユーザは、ゲートウェイ装置101へホーム内装置のシグナリング情報を登録する。
At step ST401, the user of the home network registers the IP address of the
ステップST403にて、ホーム外装置は、自装置の情報(自装置のシグナリング情報)、操作したいホーム内装置(P2P通信したい装置)の識別情報を含む接続要求を、操作したいホーム内装置が接続されているゲートウェイ装置101に対して送信する。ホーム外装置の情報を以降「第一のクライアントシグナリング情報」と称する。第一のクライアントシグナリング情報の具体例としては、ホーム外装置のIPアドレス、ポート番号などがある。また合わせてP2P通信確立後のデータ情報を送信してもよい。データ情報の具体例としては、送信するデータの通信プロトコルや暗号化方式とその鍵の情報などがある。
In step ST403, the out-of-home apparatus is connected to the in-home apparatus that wants to operate the connection request including the information of the own apparatus (signaling information of the own apparatus) and the identification information of the in-home apparatus (the apparatus that wants P2P communication) to operate. It transmits to the
ステップST404にて、ゲートウェイ装置101のシグナリング部207の接続先確認部208は、ホーム内装置と、ホーム外装置とのセッションを張るためのメッセージの送受信を実施するか否か判断する。具体的には、ステップST403にて受信した接続要求に含まれるホーム内装置の識別情報が、シグナリング情報保存部210にシグナリング情報として記憶されているか否か確認する。シグナリング情報として記憶されていればメッセージの送受信を実施し、記憶されていなければメッセージの送受信を実施しない。記憶されていなければ接続先不明と判断する。メッセージの送受信を実施しない場合、ステップST405へ移行する。メッセージの送受信を実施する場合、ステップST407へ移行する。
In step ST404, the connection
ステップST405にて、ゲートウェイ装置101のシグナリング部207のセッション部209は、ホーム外装置に対してエラーメッセージを送信する。ステップST406にて、ゲートウェイ装置101のシグナリング部207は、ステップST403にて受信した接続要求を破棄し、処理を終了する。
In step ST405,
ステップST407にて、ゲートウェイ装置101のシグナリング部207のセッション部209は、ステップST403にて受信した接続要求をホーム内装置に転送する。ステップST408にて、接続要求を受信したホーム内装置は、接続要求に対する接続許可の可否を自動もしくはユーザ操作により判断し、接続許可の場合はST409に移行する。接続を許可しない場合の説明は省略する。
At step ST407, the
ステップST409にて、ホーム内装置は、ステップST407にて受信した接続要求に含まれる第一のクライアントシグナリング情報を保存する。ステップST410にて、ホーム内装置は、ステップST407にて受信した接続要求に対する応答信号を送信する。応答信号にホーム内装置のシグナリング情報を含めても良い。ホーム内装置のシグナリング情報は、IPアドレス、ポート番号などがある。ステップST411にて、ゲートウェイ装置101のシグナリング部207のセッション部209は、ホーム外装置へ応答信号を送信する。応答信号には、ホーム内装置のシグナリング情報を含める。シグナリング情報は、シグナリング情報保存部210に記憶されているシグナリング情報に基づいても良いし、ステップST410にて受信した応答信号に含まれた情報に基いても良い。ステップST412にて、ホーム外装置は、ステップST411にて受信した応答信号に含まれるホーム内装置のシグナリング情報を保存する。
In step ST409, the in-home apparatus stores the first client signaling information included in the connection request received in step ST407. In step ST410, the in-home apparatus transmits a response signal to the connection request received in step ST407. The response signal may include in-home device signaling information. The signaling information of the home device includes an IP address, a port number, and the like. In step ST411,
上記で、ホーム外装置とホーム内装置とのP2P通信の経路を確立し、装置間で互いに通信できる状態とするために必要なシグナリング情報を交換するメッセージの送受信が完了し、装置間でデータを双方向に送受信することができる。ステップST413にて、ホーム外装置と、ホーム内装置とのセッションを確立する。 In the above, the path of P2P communication between the out-home device and the in-home device is established, and transmission and reception of messages for exchanging signaling information necessary for enabling mutual communication between the devices are completed, and data is exchanged between the devices It can be sent and received in both directions. In step ST413, a session is established between the out-home apparatus and the in-home apparatus.
続いて、確立したセッションを終了する場合の動作について簡単に説明する。ステップST414にて、ホーム外装置は、ホーム内装置へ終話通知を送信する。ステップST415にて、ホーム内装置は、ステップST409にて保存した第一のクライアントシグナリング情報を破棄する。ステップST416にて、ホーム内装置は、ステップST414にて受信した終話通知に対する応答信号を送信する。ステップST417にて、ホーム外装置は、ステップST412にて保存したホーム内装置のシグナリング情報を破棄する。 Subsequently, the operation in the case of terminating the established session will be briefly described. In step ST414, the out-of-home apparatus transmits a close notification to the in-home apparatus. In step ST415, the in-home apparatus discards the first client signaling information stored in step ST409. In step ST416, the in-home apparatus transmits a response signal to the close notification received in step ST414. In step ST417, the out-of-home apparatus discards the signaling information of the in-home apparatus stored in step ST412.
本実施の形態では、以下の効果を得ることができる。従来技術では、ホーム内装置の追加は、携帯電話ゲートウェイやインターネットサービスプロバイダのWEBゲートウェイへホーム内装置のシグナリング情報の追加を実施する必要があった。本実施の形態では、ゲートウェイ装置101にシグナリング部207を備えることで、ホーム内装置の追加の場合、追加するホーム内装置のシグナリング情報を、ゲートウェイ装置101のシグナリング部207へ新たに登録すればよい。つまり、ゲートウェイ装置101にシグナリング部207を備えることで、ホームネットワークのユーザは、ホームネットワーク103に接続されているゲートウェイ装置101へのアクセスでホーム内装置の追加が可能となり、ユーザ操作性が向上する。またホーム内装置のシグナリング情報がインターネット102のサービスを用いることなく、ホームネットワーク103内に保存されるので、セキュリティー性の高いシステムの構築が可能となる効果がある。
In the present embodiment, the following effects can be obtained. In the prior art, the addition of the in-home device had to implement the addition of the in-home device signaling information to the cellular gateway or the Internet service provider's WEB gateway. In this embodiment, by providing the
また従来技術では、ホーム外装置が、接続するホーム内装置を変更する場合、例えばパソコン104の操作後、STB106の操作を行いたい場合など、ホーム外装置とパソコン104とのセッションを終了し、再度外部の携帯電話ゲートウェイやインターネットサービスプロバイダのWEBゲートウェイにアクセスしてセッションを確立し直す必要があった。携帯電話ゲートウェイやインターネットサービスプロバイダのWEBゲートウェイへの接続は、インターネット102上のサービスを利用することとなり、いつ、誰が、誰と通話を行ったかという情報や、通信内容を第三者に取得される可能性がある。ゲートウェイ装置101にシグナリング部207を備えることで、インターネット102上のサービスを利用することなくP2P通信の相手の変更を実現でき、よりセキュリティー性の高いシステムの構築が可能となる効果がある。
In the prior art, when the out-of-home device changes the in-home device to be connected, for example, when it is desired to operate the
また従来より、ゲートウェイ装置101は、インターネット102とホームネットワーク103とに接続される装置である。ゲートウェイ装置101にシグナリング部207を備えることで、ホームネットワーク内に接続される装置などをホームネットワーク外から操作できるシステムのホーム内装置のシグナリング情報を用いる機能をゲートウェイ装置101で実現することが可能となる。ホームネットワーク内に接続される装置などをホームネットワーク外から操作できるシステム用に、別途装置やネットワークを構築する必要がないとの効果を得ることができる。
Also, conventionally, the
実施の形態2.
ゲートウェイ装置を含むネットワークシステムの全体構成図は、実施の形態1と同様である。実施の形態1と同様の機能を有する部分の説明は省略する。図5は、この発明を実施するための実施の形態2におけるゲートウェイ装置101の構成図である。図5は、図2と類似している。異なる部分を中心に説明する。
Second Embodiment
The entire configuration diagram of the network system including the gateway device is the same as that of the first embodiment. The description of the parts having the same functions as in the first embodiment will be omitted. FIG. 5 is a block diagram of the
シグナリング部207は、接続先確認部208、WAN側セッション部501、LAN側セッション部502、シグナリング情報保存部210を有する。シグナリング部207は、ホーム外装置とゲートウェイ装置101との間でピアツーピア通信の経路を確立し、シグナリング情報を交換するメッセージの送受信を行う。また、ゲートウェイ装置101とホーム内装置との間でピアツーピア通信の経路を確立し、シグナリング情報を交換するメッセージの送受信を行う。WAN側セッション部501は、シグナリング情報を交換するメッセージの送受信を行い、ホーム外装置とゲートウェイ装置101のセッションを張る。
LAN側セッション部502は、シグナリング情報を交換するメッセージの送受信を行い、ゲートウェイ装置101とホーム内装置のセッションを張る。
The
The LAN-
WEBRTC(WEB REAL−TIME COMMUNICATION)部503は、映像データや音声データの双方向通信を可能とし、ブラウザ上でリアルタイムコミュニケーション(リアルタイム通信)を実現する方法であるWebRTC規格に準拠した処理を実施する。WEBRTC規格は、W3C(WORLD WIDE CONSORTIUM)にて標準化がすすめられている。VPN(VIRTUAL PRIVATE NETWORK)部504は、ゲートウェイ装置1とホーム外装置との間でP2P通信を開始する際に、仮想的にプライベートネットワーク接続とする。
A WEBRTC (WEB REAL-TIME COMMUNICATION)
次に動作について説明する。図6は、この発明を実施するための実施の形態2におけるネットワークシステムのシーケンス図である。図6は、図4と類似している。異なる部分を中心に説明する。 Next, the operation will be described. FIG. 6 is a sequence diagram of a network system in the second embodiment for implementing the present invention. FIG. 6 is similar to FIG. The explanation will focus on the different parts.
ステップST401にて、ホームネットワークのユーザは、ホーム外装置へゲートウェイ装置101のIPアドレスとホーム内装置の識別情報を登録する。操作したいホーム内装置と、該装置が接続されているゲートウェイ装置101と、ホーム外装置とのユーザは、同一であることが一般的である。よってホーム外装置へゲートウェイ装置101のIPアドレス、ホーム内装置の識別情報を予め登録することは可能である。ステップST402にて、ホームネットワークのユーザは、ゲートウェイ装置101へホーム内装置のシグナリング情報を登録する。
At step ST401, the user of the home network registers the IP address of the
ステップST403にて、ホーム外装置は、自装置の情報、操作したいホーム内装置(P2P通信したい装置)の識別情報を含む接続要求を、操作したいホーム内装置が接続されているゲートウェイ装置101に対して送信する。ホーム外装置の情報を以降「第一のクライアントシグナリング情報」と称する。第一のクライアントシグナリング情報の具体例としては、ホーム外装置のIPアドレス、ポート番号などがある。また合わせてP2P通信確立後のデータ情報を送信してもよい。データ情報の具体例としては、送信するデータの通信プロトコルや暗号化方式とその鍵の情報などがある。
In step ST403, the out-of-home apparatus transmits a connection request including information on the own apparatus and identification information on the in-home apparatus (the apparatus that wants to perform P2P communication) to the
ステップST404にて、ゲートウェイ装置101のシグナリング部207の接続先確認部208は、ホーム内装置と、ホーム外装置とのセッションを張るためのメッセージの送受信を実施するか否か判断する。具体的には、ステップST403にて受信した接続要求に含まれるホーム内装置の識別情報が、シグナリング情報保存部210にシグナリング情報として記憶されているか否か確認する。シグナリング情報として記憶されていればメッセージの送受信を実施し、記憶されていなければメッセージの送受信を実施しない。記憶されていなければ接続先不明と判断する。メッセージの送受信を実施しない場合、ステップST405へ移行する。メッセージの送受信を実施する場合、ステップST601へ移行する。ステップST405にて、ゲートウェイ装置101のシグナリング部207のWAN側セッション部501は、ホーム外装置に対してエラーメッセージを送信する。ステップST406にて、ゲートウェイ装置101のシグナリング部207は、ステップST403にて受信した接続要求を破棄し、処理を終了する。
In step ST404, the connection
ステップST601にて、ゲートウェイ装置101のシグナリング部207のWAN側セッション部501は、WEBRTC部503へステップST403にて受信した接続要求を送信する。ステップST602にて、WEBRTC部503は、ステップST601にて受信した接続要求に含まれる第一のクライアントシグナリング情報を保存する。ステップST603にて、WEBRTC部503は、ステップST601にて受信した接続要求に対する応答信号をゲートウェイ装置101のシグナリング部207のWAN側セッション部501へ送信する。応答信号にWEBRTC部503の情報を含めても良い。WEBRTC部503の情報は、ゲートウェイ装置101のIPアドレス、ポート番号などがある。ステップST604にて、ゲートウェイ装置101のシグナリング部207のWAN側セッション部501は、ホーム外装置へステップST603にて受信した応答信号を送信する。応答信号には、ゲートウェイ装置101のシグナリング情報を含める。ゲートウェイ装置101のシグナリング情報は、シグナリング情報保存部210に記憶し、記憶情報に基づいても良いし、ステップST603にて受信した応答信号に含まれた情報に基づいても良い。ステップST605にて、ホーム外装置は、ステップST604にて受信した応答信号に含まれるゲートウェイ装置101のシグナリング情報を保存する。
In step ST601, the WAN-
上記で、ホーム外装置とゲートウェイ装置101とのP2P通信の経路を確立し、装置間で互いに通信できる状態とするために必要なシグナリング情報を交換するメッセージの送受信が完了し、装置間でデータを双方向に送受信することができる。ステップST606にて、ホーム外装置と、ゲートウェイ装置101との第一のセッションを確立する。さらに具体的には、ホーム外装置とゲートウェイ装置101のWEBRTC部503とのP2P通信の経路を確立し、装置間で互いに通信できる状態とするために必要なシグナリング情報を交換するメッセージの送受信が完了し、装置間でデータを双方向に送受信することができる。ステップST606にて、ホーム外装置と、ゲートウェイ装置101のWEBRTC部503との第一のセッションを確立する。第一のセッションは、VPN部504を用いたVPN接続としてもよい。
In the above, the path of P2P communication between the device outside the home and the
ステップST607にて、ゲートウェイ装置101のシグナリング部207の接続先確認部208は、ステップST403にて受信した接続要求に含まれるホーム内装置の識別情報に基づいて、シグナリング情報保存部210に記憶されているシグナリング情報から、ホーム外装置が接続を要求するホーム内装置のアドレス情報(例えば図3のIPアドレス303、ポート番号304など)を抽出する。
In step ST607, connection
ステップST608にて、ゲートウェイ装置101のシグナリング部207のLAN側セッション部502は、ステップST607にて抽出したホーム内装置のアドレス情報を用いて、該ホーム内装置へ、ステップST403にて受信した接続要求を送信する。接続要求には、ゲートウェイ装置101の情報(WEBRTC部503の情報であってもよい)を含める。ゲートウェイ装置101の情報、WEBRTC部503の情報の具定例としては、ゲートウェイ装置101のIPアドレス、ポート番号などがある。
In step ST608, the LAN
ステップST408にて、接続要求を受信したホーム内装置は、接続要求に対する接続許可の可否を自動もしくはユーザ操作により判断し、接続許可の場合はST609に移行する。接続を許可しない場合の説明は省略する。ステップST609にて、ホーム内装置は、ステップST608にて受信した接続要求に含まれるゲートウェイ装置のシグナリング情報を保存する。ステップST610にて、ホーム内装置は、ステップST608にて受信した接続要求に対する応答信号をゲートウェイ装置101のシグナリング部207のLAN側セッション部502へ送信する。応答信号にホーム内装置のシグナリング情報を含めても良い。ホーム内装置のシグナリング情報は、IPアドレス、ポート番号などがある。ステップST611にて、ゲートウェイ装置101のシグナリング部207のLAN側セッション部501は、WEBRTC部503へステップST610にて受信した応答信号を送信する。ステップST612にて、WEBRTC部503は、ステップST610にて受信した応答信号に含まれるホーム内装置のシグナリング情報を保存する。
The in-home apparatus having received the connection request in step ST408 determines whether or not connection permission for the connection request is permitted automatically or by user operation, and in the case of connection permission, proceeds to ST609. The description of the case where the connection is not permitted is omitted. In step ST609, the in-home apparatus stores the signaling information of the gateway apparatus included in the connection request received in step ST608. In step ST610, the in-home apparatus transmits a response signal to the connection request received in step ST608 to the LAN
上記で、ホーム内装置とゲートウェイ装置101とのP2P通信の経路を確立し、装置間で互いに通信できる状態とするために必要なシグナリング情報を交換するメッセージの送受信が完了し、装置間でデータを双方向に送受信することができる。ステップST613にて、ホーム内装置と、ゲートウェイ装置101との第二セッションを確立する。さらに具体的には、ホーム内装置とゲートウェイ装置101のWEBRTC部503とのP2P通信の経路を確立し、装置間で互いに通信できる状態とするために必要なシグナリング情報を交換するメッセージの送受信が完了し、装置間でデータを双方向に送受信することができる。ステップST613にて、ホーム内装置と、ゲートウェイ装置101のWEBRTC部503との第二セッションを確立する。ステップST606の第一セッションと、ステップST613の第二セッションとを用いて、ホーム外装置とホーム内装置との仮想的なP2P通信(仮想P2P)、の経路を確立する。
As described above, a path for P2P communication between the in-home device and the
本実施の形態では、実施の形態1の効果に加え、以下の効果を得ることができる。ゲートウェイ装置101のWEBRTC部503を備えることで、ホーム外装置が、接続するホーム内装置を変更する場合、例えばパソコン104の操作後、STB106の操作を行いたい場合などであってもホーム外装置と、ゲートウェイ装置101との第一のセッションを終了することなく、ホーム内装置と、ゲートウェイ装置101との第二セッションのみを変更すればよいことになる。つまり、ホーム外装置の接続を許可するか否かなどの改めての判断を不要とすることができ、制御処理遅延を防ぐ効果を得ることができる。また、第一のセッションをVPN接続とした場合、接続するホーム内装置を変更の場合に、ホーム外装置と、ゲートウェイ装置101とのVPN接続を切断する必要がないため、セキュリティー性の高いシステムの構築が可能となる効果がある。
In the present embodiment, in addition to the effects of the first embodiment, the following effects can be obtained. When the out-of-home device changes the in-home device to be connected by including the
また、ゲートウェイ装置101のWEBRTC部503を備えることで、ゲートウェイ装置101にてWEBRTCを終端する。これにより、WEBRTC機能を有していないホーム内装置であっても、ホーム外装置がWEBRTC機能を有していれば、ホーム外装置からはWEBRTCを用いた接続が可能となる。ホーム内装置の仕様によらず、WEBRTCを用いた接続とできるため、ユーザに便利なシステムの構築が可能となる効果がある。
Further, by providing the
実施の形態3.
図7は、この発明を実施するための実施の形態3におけるゲートウェイ装置を含むネットワークシステムの全体構成図である。図7は、図1と類似している。異なる部分を中心に説明する。ホームネットワーク103に監視カメラシステムを接続する。監視カメラシステムの具体例としては、屋内に設置された監視カメラ701、屋外に設置された監視カメラ702、監視カメラ701や監視カメラ702で撮像した監視データ(映像データや音声データ)を記憶するレコーダ703、監視カメラ701や監視カメラ702の制御を実施する操作パソコン704などがある。また操作パソコン704は、レコーダ703に記憶された監視データを検索し、再生してもよい。監視カメラは、一般的にWEBカメラよりも高画質であり映像データの容量も大きくなる。また、監視カメラはPTZ(パン・チルト・ズーム)の操作が可能な装置も多い。また、撮像した監視データは、ホームネットワーク103経由、ゲートウェイ装置101経由でHDD109へ保存してもよい。図7では、監視カメラシステムを構成する装置同志は直接接続されているが、ホームネットワーク103経由で接続されてもよい。
Third Embodiment
FIG. 7 is an overall configuration diagram of a network system including a gateway device in the third embodiment for implementing the present invention. FIG. 7 is similar to FIG. The explanation will focus on the different parts. A surveillance camera system is connected to the
実施の形態3と実施の形態1、実施の形態3と実施の形態2は、組み合わせわせて用いることができる。組み合わせることで、ホーム外装置は、監視カメラシステムを構成する装置を操作することができる。さらに具体的には、ホーム外装置は、屋内に設置された監視カメラ701、屋外に設置された監視カメラ702、レコーダ703、操作パソコン704などを操作することができる。以降、実施の形態3では、実施の形態2と組み合わせた場合を中心に説明する。
図8は、この発明を実施するための実施の形態3におけるゲートウェイ装置101の構成図である。図8は、図5と類似している。異なる部分を中心に説明する。機能監視部801はゲートウェイ装置101に接続中のホーム内装置の状態やゲートウェイ装置101の負荷状況、具体例としてはCPU(CENTRAL PROCESSING UNIT)(図示省略)使用率やメモリ206使用率などを監視し、監視結果に基づき、ゲートウェイ装置101に接続中の装置に対する制御内容を決定する。ゲートウェイ装置101に接続中の装置の具体例としては、図7のパソコン104、STB106、IP電話108、HDD109、WEBカメラ110、WEBカメラ111などがある。監視結果に基づく制御内容は、メモリ206、あるいはゲートウェイ装置101へ接続されている外部の記憶装置(例えば図1のHDD109)に記憶される。以降、監視結果に基づく制御内容の記憶データを制御テーブルと称する。制御テーブルは、ユーザの設定、あるいはユーザの設定に基づき登録される。ホームネットワークのユーザは、制御テーブルを入力部211より登録する。また、ホームネットワークのユーザは、制御テーブルをゲートウェイ装置101に接続されたユーザインタフェースを持った機器、例えば図1のパソコン104、テレビ107から登録してもよい。
FIG. 8 is a block diagram of the
ホーム内装置制御部802は、機能監視部801が決定した制御内容に従って、ホーム内装置を制御する。あるいは、ホーム内装置制御部802は、例えば実施の形態2を用いてホーム外装置がゲートウェイ装置101へ要求したホーム内装置に対する制御内容に従って、ホーム内装置を制御する。以降、制御内容に従って制御されるホーム内装置を監視カメラ701や監視カメラ702として説明する。その場合、ホーム内装置制御部802は、監視カメラ制御部と称してもよい。制御内容の具体例としては、解像度、ビットレート、フレームレート、画像サイズなどの調整、またPTZ制御、監視データの配信先制御などである。
The in-home
図9は、この発明を実施するための実施の形態3における制御テーブルのデータ構造の一例を示す図である。データ構造は図9に示したものに限らない。ゲートウェイ装置101に接続中の装置の状態やゲートウェイ装置101のCPU使用率やメモリ206使用率などの監視結果901と対応付けてホーム内装置の制御内容902が記憶される。
FIG. 9 is a diagram showing an example of a data structure of a control table according to
監視結果901の具体例としては、監視対象であるホーム内装置の別を識別する識別情報である装置名903(装置IDなどであってもよい)、IPアドレス904と制御内容902の制御を実施、あるいは開始する監視対象の状態905を記憶する。番号906は、制御テーブルの番号、シリアル番号である。 As a specific example of the monitoring result 901, control of the device name 903 (which may be a device ID or the like) which is identification information for identifying another home device to be monitored, and control of the IP address 904 and the control content 902 Or, the state 905 of the monitoring target to be started is stored. A number 906 is a control table number, a serial number.
制御内容902の具体例としては、番号1では、ゲートウェイ装置101のCPUの使用率が高くなるため、監視カメラから配信される監視データのサイズを小さくするようにカメラの設定を変更することでCPUの監視データに対する処理負荷を軽減し、ゲートウェイ装置101に接続されるIP電話などを快適に行うことができるようにする。状態905の具体例としては、CPUの使用率が予め決められた閾値(図9では70%)以上、あるいは閾値を超える場合、CPUの使用率が高いと判断し、制御内容902を実行する。監視カメラの映像はWEBカメラに対して高画質でデータのサイズが大きく、監視カメラの映像を処理する際に大きなCPU負荷を伴うため、監視カメラから配信される監視データのサイズを小さくすることは有用である。配信される監視データのサイズを小さくする制御の具体例としては、番号1の制御内容2のフレームレートを低くする、制御内容Nの画像サイズを小さくする、図示はしていないが解像度を下げる、ビットレートを低くするなどがある。番号1では、ゲートウェイ装置101のCPUの使用率が高くなるため、ゲートウェイ装置101にて監視データを記録することを停止し、CPUの使用率を低くする。
As a specific example of the control content 902, since the usage rate of the CPU of the
番号3では、ゲートウェイ装置101に接続されたHDD109の使用率が高くなるため、ゲートウェイ装置101経由でのHDD109への監視データの記憶を停止し、監視データを別の記憶装置へ記憶する。これにより、HDD109の使用率の上昇を止めることができるとともに監視データの記憶の欠落を防止することができる。具体例としては、監視カメラ701、監視カメラ702からの監視データの配信先をレコーダ703へ切り替える。
Since the usage rate of the
番号Nでは、IP電話108の着信を契機として、サービスの一種として、ゲートウェイ装置101にて監視データを記録することを開始する。一方、ゲートウェイ装置101のCPU使用率を抑制するために、監視カメラから配信される監視データのサイズを小さくするようにカメラの設定を変更することでCPUの監視データに対する処理負荷を軽減し、ゲートウェイ装置101に接続されるIP電話などを快適に行うことができるようにする。
At the number N, triggered by the arrival of the
次に動作について説明する。図10は、この発明を実施するための実施の形態3におけるゲートウェイ装置101の処理フロー図である。ステップST1000にて、ゲートウェイ装置101のユーザは、制御テーブルを登録する。ユーザは、ホームネットワークで実現する機能にてどの機能を優先したいかなど優先順位を考慮して監視結果、制御内容を登録する。図9の番号Nの例では、IP電話の着信で、監視カメラのフレームレートを低く設定することなどが登録されているので、IP電話の機能を監視カメラの機能より優先するよう設定している。
Next, the operation will be described. FIG. 10 is a process flow diagram of the
ステップST1001にてゲートウェイ装置101の機能監視部801は、メモリ206に記憶されている制御テーブルを参照し、必要なゲートウェイ装置101に接続中の装置の状態やゲートウェイ装置101のCPU使用率やメモリ206使用率などの監視を実施して各値を取得し、制御テーブル内に登録された閾値と比較を行う。ステップST1001は、予め決められた周期で実施しても良い。ステップST1002にてゲートウェイ装置101の機能監視部801は、ST1001における比較結果が、制御を実施あるいは開始する監視対象の状態を満たすか、すなわち閾値外か否かを判断する。具体例としては、図9の状態905を満たしているか否かを判断する。取得した値が閾値を超えており、制御を実施あるいは開始する監視対象の状態を満たしたと判断した場合、ステップST1003へ移行する。満たしていない場合、ステップST1001へ戻る。監視結果が、制御を実施あるいは開始する監視対象の状態は、メモリ206に記憶されている制御テーブルを参照することで把握する。ステップST1003にて、ゲートウェイ装置101の機能監視部801は、該当の制御をホーム内装置制御部801へ指示する。制御内容は、メモリ206に記憶されている制御テーブルを参照することで把握する。そして、ST1003にて制御が実施された後、再びST1001に戻り、監視を続ける。
In step ST1001, the
本実施の形態では、以下の効果を得ることができる。ゲートウェイ装置は、多くのホーム内装置をホームネットワーク経由や直接接続することができる。よって、ゲートウェイ装置の処理負荷が高くなり、ユーザが優先したい機能などの快適に使用できない状況も考えられる。本実施の形態により、ユーザは、ホームネットワークで実現する機能にてどの機能を優先したいかなど優先順位を考慮して監視結果、制御内容を登録することができるので、ホームネットワークで実現する機能について、ユーザの優先順位に基づき実施することができる。上記効果は、ホームネットワークに監視カメラを接続させる場合、特に顕著である。監視カメラは、WEBカメラよりも高画質であり映像データの容量も大きくなる。監視カメラの映像はWEBカメラに対して高画質でデータのサイズが大きく、監視カメラの映像を処理する際にゲートウェイ装置のCPUに大きな処理負荷が発生するからである。 In the present embodiment, the following effects can be obtained. The gateway device can connect many in-home devices via the home network or directly. Therefore, the processing load of the gateway apparatus becomes high, and a situation where it can not be used comfortably, such as a function that the user wants to prioritize can be considered. According to the present embodiment, since the user can register the monitoring result and control content in consideration of the priority, such as which function is desired to be prioritized by the function realized in the home network, the function realized in the home network , Can be implemented based on the user's priority. The above effect is particularly remarkable when connecting a monitoring camera to a home network. The surveillance camera has a higher image quality than the WEB camera, and the volume of video data is also larger. This is because the video of the surveillance camera has a high image quality and a large data size with respect to the WEB camera, and a large processing load is generated on the CPU of the gateway device when processing the video of the surveillance camera.
また、ゲートウェイ装置101にホーム内装置制御部802(監視カメラ制御部)を備えることで、以下の効果を得ることができる。実施の形態3と実施の形態2を組み合わせて用いる場合、ホーム内装置とP2P通信を行っているのはゲートウェイ装置101である。よってゲートウェイ装置101がホーム内装置制御部802を備えていることによって、ホーム外装置が監視カメラを制御可能な特殊なアプリケーションを用いることなくホーム内装置(監視カメラ)を操作することが可能となるという効果がある。
Further, by providing the
101 ゲートウェイ装置、102 インターネット、103 ホームネットワーク、201 WAN接続部、202 LAN接続部、207 シグナリング部、503 WEBRTC部、801 機能監視部、802 ホーム内装置制御部。
DESCRIPTION OF
Claims (2)
ホームネットワークに接続するLAN接続部と、
前記インターネットに接続される装置と前記ホームネットワークに接続される装置とが1対1通信に必要な情報を送受信するシグナリング部と、
前記ホームネットワークに接続される電話の着信を監視し、前記監視結果に基づき前記ホームネットワークに接続される監視カメラに対する制御内容を決定する機能監視部と、
前記機能監視部が決定した前記制御内容に従って、前記監視カメラを制御する制御部と
を備え、
前記制御内容は、前記監視カメラが撮像した監視データの記録の開始であること
を特徴とするゲートウェイ装置。 WAN connection to connect to the Internet,
LAN connection to connect to home network,
A signaling unit for transmitting / receiving information necessary for one-to-one communication between the device connected to the Internet and the device connected to the home network;
A function monitoring unit that monitors an incoming call of a telephone connected to the home network, and determines a control content for a monitoring camera connected to the home network based on the monitoring result;
A control unit that controls the monitoring camera according to the control content determined by the function monitoring unit ;
The control content is a start of recording of monitoring data captured by the monitoring camera
A gateway device characterized by
ホームネットワークに接続するLAN接続部と、
前記インターネットに接続される装置と自装置とが1対1通信にて必要な情報を送受信し、自装置と前記ホームネットワークに接続される装置とが通信にて必要な情報を送受信するシグナリング部と、
前記ホームネットワークに接続される電話の着信を監視し、前記監視結果に基づき前記ホームネットワークに接続される監視カメラに対する制御内容を決定する機能監視部と、
前記機能監視部が決定した前記制御内容に従って、前記監視カメラを制御する制御部と
を備え、
前記制御内容は、前記監視カメラが撮像した監視データの記録の開始であること
を特徴とするゲートウェイ装置。 WAN connection to connect to the Internet,
LAN connection to connect to home network,
A device for transmitting / receiving necessary information in one-to-one communication between the device connected to the Internet and the own device, and a signaling unit for transmitting / receiving information necessary for communication between the own device and the device connected to the home network ,
A function monitoring unit that monitors an incoming call of a telephone connected to the home network, and determines a control content for a monitoring camera connected to the home network based on the monitoring result;
A control unit that controls the monitoring camera according to the control content determined by the function monitoring unit ;
The control content is a start of recording of monitoring data captured by the monitoring camera
A gateway device characterized by
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015114907A JP6515688B2 (en) | 2015-06-05 | 2015-06-05 | Gateway device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015114907A JP6515688B2 (en) | 2015-06-05 | 2015-06-05 | Gateway device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017005368A JP2017005368A (en) | 2017-01-05 |
JP6515688B2 true JP6515688B2 (en) | 2019-05-22 |
Family
ID=57754564
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015114907A Active JP6515688B2 (en) | 2015-06-05 | 2015-06-05 | Gateway device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6515688B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6988545B2 (en) * | 2018-02-19 | 2022-01-05 | 大日本印刷株式会社 | Network communication system |
JP6433612B1 (en) * | 2018-03-20 | 2018-12-05 | 株式会社テンフィートライト | Intercom system |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3925237B2 (en) * | 2002-02-25 | 2007-06-06 | 松下電器産業株式会社 | Remote control system and its processing side distributed control system and remote control method |
JP2009271651A (en) * | 2008-05-02 | 2009-11-19 | Fujitsu Ltd | Sip session control system to home local terminal such as household electric apparatus |
JP5025694B2 (en) * | 2008-07-28 | 2012-09-12 | 株式会社デジックス | Network camera system |
JP2010041274A (en) * | 2008-08-04 | 2010-02-18 | Panasonic Corp | Camera system, recorder, and hub |
JP5191878B2 (en) * | 2008-12-25 | 2013-05-08 | Kddi株式会社 | Content transfer method and system for transmitting content from terminal in home network to wide area network |
JP5735228B2 (en) * | 2010-07-27 | 2015-06-17 | シャープ株式会社 | Content distribution system, home gateway, mobile terminal |
JP6212306B2 (en) * | 2013-07-04 | 2017-10-11 | 株式会社日立製作所 | Device management apparatus and device management system |
JP5703454B1 (en) * | 2014-04-15 | 2015-04-22 | パナソニックIpマネジメント株式会社 | Surveillance camera system |
-
2015
- 2015-06-05 JP JP2015114907A patent/JP6515688B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017005368A (en) | 2017-01-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5101852B2 (en) | Connection control system, connection control method, and data relay device | |
JP6119481B2 (en) | Function execution device | |
US7933261B2 (en) | Communication method, communication system, communication device, and program using multiple communication modes | |
JP4774921B2 (en) | File display method and system | |
JP5982402B2 (en) | Call method and apparatus using home network | |
WO2014154108A1 (en) | Media stream transfer method and user equipment | |
KR20120007433A (en) | Apparatus and method for configuring video telephony between computer engineering devices | |
JP2015146561A (en) | Network electronic apparatus, control method thereof, and program | |
US20090063697A1 (en) | File transfer system and method for same | |
JP6515688B2 (en) | Gateway device | |
JP2010154086A (en) | Communication controller, communication control method of the communication controller, control program, and recording medium | |
WO2016042764A1 (en) | Connection method, connection system, portable terminal, and program | |
JP4863514B2 (en) | Wide area / narrow area network connection switching method, mobile terminal and program | |
US9226223B2 (en) | Network connection system of network electronic device and method allowing a terminal device to access an electronic device connected behind a router without a NAT loopback function | |
JP4056486B2 (en) | Communication system and connection method thereof | |
JP2010114721A (en) | Content transmitting method and system for transmitting content from terminal in home network to wide area network | |
JP5108728B2 (en) | Communication system and communication method | |
US9986145B2 (en) | Communication apparatus, control method of communication apparatus, and recording medium | |
JP6610721B2 (en) | Storage device and program | |
US8964196B2 (en) | System for connecting to next generation networks | |
JP6369094B2 (en) | Information sharing system | |
JP5044477B2 (en) | Additional call type QoS control network system and method | |
EP3404892B1 (en) | Method of transferring audiovisual data and corresponding device | |
JP4301202B2 (en) | SIP proxy server | |
JP4548227B2 (en) | Remote operation method of recording apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171227 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181017 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181030 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181205 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190205 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190227 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190319 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190401 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6515688 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |