JP5909126B2 - Monitoring system and monitoring method - Google Patents
Monitoring system and monitoring method Download PDFInfo
- Publication number
- JP5909126B2 JP5909126B2 JP2012072701A JP2012072701A JP5909126B2 JP 5909126 B2 JP5909126 B2 JP 5909126B2 JP 2012072701 A JP2012072701 A JP 2012072701A JP 2012072701 A JP2012072701 A JP 2012072701A JP 5909126 B2 JP5909126 B2 JP 5909126B2
- Authority
- JP
- Japan
- Prior art keywords
- terminal device
- unit
- image
- monitoring
- person
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Processing Or Creating Images (AREA)
- Alarm Systems (AREA)
Description
本発明は、監視システム、及び監視方法に関する。 The present invention relates to a monitoring system and a monitoring method.
近年、高齢化が進み、親世帯が生活している地域から遠く離れた地域で生活している子世帯が、親の安否を確認できる監視システムに対する需要が拡大している。このような要求に対しては、電話や電子メールなどを用いて連絡を取ることなどが考えられるが、頻繁に連絡を取る場合、子世帯及び親世帯の双方に負担を強いることになってしまう。
これに対して、特許文献１には、親世帯などの監視対象者（被見守り者）が生活する宅内に設置されている家電製品の操作又は動作を検出し、サーバ装置を介して提供する技術が記載されている。家電製品の操作又は動作から監視対象者の行動を推測して、安否を確認しようとするものである。
In recent years, with the aging of the population, the demand for a monitoring system in which a child household living in a region far from the region where the parent household lives can confirm the safety of the parent is increasing. For such requests, it may be possible to contact them by telephone or e-mail, but if they are contacted frequently, both the child and parent households will be burdened. .
On the other hand, Patent Document 1 discloses a technique for detecting an operation or action of a home appliance installed in a house where a monitoring target person (a watched person) such as a parent household lives and providing it via a server device. Is described. It is intended to confirm the safety by inferring the behavior of the monitoring subject from the operation or operation of the home appliance.
しかしながら、特許文献１に記載されている技術では、監視対象者が使用する家電製品の状態を提供するものであり、提供される情報から監視対象者の状態を推測することが監視者（監視対象者の子や孫、見守り者）に求められる。そのため、監視対象者がどのような状態にあるか直感的に把握しにくいという問題がある。また、特許文献１に記載されている技術では、家電製品の状態を提供するサーバ装置にアクセスする必要があり、頻繁に確認するためには煩雑であるという問題がある。 However, in the technique described in Patent Literature 1, the state of the home appliance used by the monitoring target person is provided, and it is possible to estimate the monitoring target person's state from the provided information. (Children, grandchildren, and watchers). Therefore, there is a problem that it is difficult to intuitively understand the state of the monitoring target person. Moreover, in the technique described in Patent Document 1, it is necessary to access a server device that provides the state of home appliances, and there is a problem that it is complicated to check frequently.
本発明は、上記問題を解決すべくなされたもので、その目的は、監視対象者（被見守り者）の状態を容易に把握することができる監視システム、及び監視方法を提供することにある。 The present invention has been made to solve the above problems, and an object of the present invention is to provide a monitoring system and a monitoring method capable of easily grasping the state of a monitoring target person (watched person).
上記問題を解決するために、本発明は、監視対象者の居住空間に位置する第１の端末装置と、監視者が目視する第２の端末装置とを具備する監視システムであって、前記第１の端末装置は、前記居住空間を撮像する撮像部と、前記撮像部が撮像した画像に基づいて前記監視対象者の態様を判定する態様判定部とを備え、前記第２の端末装置は、前記態様判定部の判定結果に対応する画像を生成する画像生成部と、前記画像生成部が生成した画像を表示する表示部とを備えることを特徴とする監視システムである。 In order to solve the above problem, the present invention is a monitoring system including a first terminal device located in a living space of a monitoring subject and a second terminal device visually observed by the monitoring person. 1 terminal apparatus is provided with the imaging part which images the said living space, and the aspect determination part which determines the aspect of the said monitoring subject based on the image which the said imaging part imaged, The said 2nd terminal device is A monitoring system comprising: an image generation unit that generates an image corresponding to a determination result of the aspect determination unit; and a display unit that displays an image generated by the image generation unit.
また、本発明は、上記に記載の発明において、前記態様判定部は、前記画像の差分の大きさに基づいて、前記監視対象者の活動量を前記態様として判定することを特徴とする。 In the invention described above, the aspect determination unit may determine the amount of activity of the monitoring target person as the aspect based on the difference between the images.
また、本発明は、上記に記載の発明において、前記態様判定部は、前記画像の差分が生じた時間間隔に基づいて、前記監視対象者の活動量を前記態様として判定することを特徴とする。 In the invention described above, the aspect determination unit may determine the amount of activity of the monitoring target person as the aspect based on a time interval in which the difference between the images occurs. .
また、本発明は、上記に記載の発明において、前記第２の端末装置は、更に、操作を受け付ける入力部と、前記入力部が受け付けた操作に応じた送信データを前記第１の端末装置に送信する通信部とを備え、前記第１の端末装置は、更に、前記第２の端末装置から受信した送信データに基づいた画像又は音声を出力する出力部を更に備えることを特徴とする。 In the invention described above, the second terminal device further includes an input unit that receives an operation, and transmission data corresponding to the operation received by the input unit. And a communication unit for transmitting, wherein the first terminal device further includes an output unit for outputting an image or sound based on the transmission data received from the second terminal device.
上記問題を解決するために、本発明は、監視対象者の居住空間に設置される第１の端末装置と、監視者が操作する第２の端末装置とを具備する監視システムにおける監視方法であって、前記第１の端末装置が前記居住空間を撮像する撮像ステップと、前記撮像ステップにおいて撮像した画像に基づいて前記監視対象者の態様を判定する態様判定ステップと、前記態様判定ステップにおける判定結果に対応する画像を生成する画像生成ステップと、前記画像生成ステップにおいて生成した画像を前記第２の端末装置に表示する表示ステップとを有することを特徴とする監視方法である。 In order to solve the above problem, the present invention is a monitoring method in a monitoring system including a first terminal device installed in a living space of a monitoring target person and a second terminal device operated by the monitoring person. Then, the imaging step in which the first terminal device images the living space, the mode determination step for determining the mode of the person to be monitored based on the image captured in the imaging step, and the determination result in the mode determination step And a display step of displaying the image generated in the image generation step on the second terminal device.
この発明によれば、撮像された画像に基づいて検出した監視対象者の態様に対応する画像を第２の端末装置に表示させる。これにより、監視者は、画像を視認することで監視対象者の態様を容易に把握することができる。 According to this invention, the image corresponding to the monitoring subject's aspect detected based on the captured image is displayed on the second terminal device. Thereby, the supervisor can grasp | ascertain the aspect of a monitoring subject easily by visually recognizing an image.
以下、図面を参照して、本発明の実施形態における監視システム、及び監視方法を説明する。
図１は、本実施形態における監視システムとしての通信システム１の構成を示す概略ブロック図である。同図に示すように、通信システム１は、第１の端末装置１０と、第２の端末装置２０と、第１の端末装置１０と第２の端末装置２０とを接続するネットワーク３０とを具備している。
第１の端末装置１０は、例えば、高齢の親（監視対象者、被見守り者）が生活する宅内の居間に位置し（又は設置され）、被見守り者の態様を検出する。また、第１の端末装置１０は、検出した態様を示す態様情報を第２の端末装置２０にネットワーク３０を介して送信する。
第２の端末装置２０は、例えば、子世帯が生活する宅内に設置され、第１の端末装置１０から受信した態様情報を出力して、被見守り者の態様を子世帯の子や孫（監視者、見守り者）に通知する。
Hereinafter, a monitoring system and a monitoring method according to an embodiment of the present invention will be described with reference to the drawings.
FIG. 1 is a schematic block diagram showing a configuration of a communication system 1 as a monitoring system in the present embodiment. As shown in FIG. 1, the communication system 1 includes a first terminal device 10, a second terminal device 20, and a network 30 that connects the first terminal device 10 and the second terminal device 20. doing.
For example, the first terminal device 10 is located (or installed) in a living room where an elderly parent (a monitoring target person or a watched person) lives, and detects the mode of the watched person. In addition, the first terminal device 10 transmits mode information indicating the detected mode to the second terminal device 20 via the network 30.
For example, the second terminal device 20 is installed in a house where a child household lives, outputs the mode information received from the first terminal device 10, and sets the watched person's mode as a child or grandchild of the child household (monitoring). Notification to the person who is watching.
第１の端末装置１０は、制御部１１、撮像部１２、通信部１３、及び出力部１４を備えている。制御部１１は、差分算出部１１１、態様判定部１１２、及びデータ復元部１１３を有している。
撮像部１２は、設置された居住空間内を撮像し、撮像して得られた画像データを差分算出部１１１に出力する。例えば、撮像部１２は画角が広い光学系を備え、居室内の広い範囲を撮像できるようにする。また、撮像部１２は、予め定められた時間間隔ごとに撮像して画像データを出力してもよいし、連続して撮像した動画データを差分算出部１１１に出力するようにしてもよい。
通信部１３は、ネットワーク３０を介して、制御部１１から入力される各情報を第２の端末装置２０に送信し、第２の端末装置２０から受信する各情報を制御部１１に出力する。
出力部１４は、例えば、表示装置（液晶ディスプレイ）や、スピーカなどであり、制御部１１からの情報を出力する。
The first terminal device 10 includes a control unit 11, an imaging unit 12, a communication unit 13, and an output unit 14. The control unit 11 includes a difference calculation unit 111, an aspect determination unit 112, and a data restoration unit 113.
The imaging unit 12 images the installed living space, and outputs image data obtained by imaging to the difference calculation unit 111. For example, the imaging unit 12 includes an optical system with a wide angle of view so that a wide range in a living room can be captured. In addition, the imaging unit 12 may output images at predetermined time intervals and output image data, or may output continuously captured moving image data to the difference calculation unit 111.
The communication unit 13 transmits each piece of information input from the control unit 11 to the second terminal device 20 via the network 30 and outputs each piece of information received from the second terminal device 20 to the control unit 11.
The output unit 14 is, for example, a display device (liquid crystal display) or a speaker, and outputs information from the control unit 11.
差分算出部１１１は、撮像部１２から入力される画像データ又は動画データにおいて、予め定められた時間間隔において生じている変化を検出する。差分算出部１１１は、検出した変化を示す変化情報を態様判定部１１２に出力する。すなわち、差分算出部１１１は、撮像部１２が撮像した画像から、被見守り者の活動量を検出していることになる。
態様判定部１１２は、差分算出部１１１から入力される変化情報に基づいて、被見守り者の行動の大きさや頻度を判定し、判定結果を示す態様情報を通信部１３に出力する。
例えば、態様判定部１１２は、被見守り者の態様を３段階で判定し、「ほとんど動いていない」、「ある程度の動きが検出される」、「頻繁に動きが検出される」のいずれかを示す態様情報を出力する。「ほとんど動いていない」は、一例として、被見守り者が座って本を読んでいたり、テレビを見ていたり、寝ていたりする状態を示す。「ある程度の動きが検出される」は、一例として、被見守り者の動きが検出される状態を示す。「頻繁に動きが検出される」は、一例として、被見守り者が居室内を頻繁に移動している状態（掃除をしている場合など）を示す。具体的には、態様判定部１１２は、画像内の２割以上の領域が１０秒間隔ごとに変化している状態が連続する場合に「頻繁に動きが検出される」と判定し、画像内の２割以上の領域が１０秒間隔ごとに変化している状態が連続的にではないが検出される場合に「ある程度の動きが検出される」と判定し、画像内の２割以上の領域が検出されない場合に「ほとんど動いていない」と判定するようにしてもよい。すなわち、態様判定部１１２は、画像において変化（差分）が生じている時間間隔に基づいて、被見守り者の活動量を判定している。
The difference calculation unit 111 detects a change occurring in a predetermined time interval in the image data or moving image data input from the imaging unit 12. The difference calculation unit 111 outputs change information indicating the detected change to the aspect determination unit 112. That is, the difference calculation unit 111 detects the amount of activity of the watched person from the image captured by the imaging unit 12.
Based on the change information input from the difference calculation unit 111, the mode determination unit 112 determines the magnitude and frequency of the behavior of the watched person, and outputs mode information indicating the determination result to the communication unit 13.
For example, the mode determination unit 112 determines the mode of the watched person in three stages, and selects one of “almost no movement”, “a certain amount of motion is detected”, and “a frequent motion is detected”. The mode information shown is output. “Mostly not moving” indicates, for example, a state in which a watcher sits down reading a book, watching television, or sleeping. “A certain amount of movement is detected” indicates, for example, a state in which the movement of the watched person is detected. “Frequently detected movement” indicates, for example, a state in which the watched person frequently moves in the room (for example, cleaning). Specifically, the mode determination unit 112 determines that “movement is frequently detected” when a state where 20% or more of the region in the image changes every 10 seconds continues, It is determined that “a certain amount of motion is detected” when a state in which 20% or more of the area changes every 10 seconds is detected continuously, but more than 20% of the area in the image When no is detected, it may be determined that “almost no movement”. That is, the aspect determination unit 112 determines the amount of activity of the watched person based on the time interval in which a change (difference) occurs in the image.
データ復元部１１３は、通信部１３を介して、第２の端末装置２０から受信した情報を復元し、復元した情報を出力部１４から出力させる。具体的には、データ復元部１１３は、文字情報からなるメッセージを出力部１４（ディスプレイ）に表示させたり、音声情報を出力部１４（スピーカ）から出力させたりする。 The data restoration unit 113 restores the information received from the second terminal device 20 via the communication unit 13 and causes the output unit 14 to output the restored information. Specifically, the data restoration unit 113 displays a message composed of character information on the output unit 14 (display), and outputs voice information from the output unit 14 (speaker).
第２の端末装置２０は、制御部２１、通信部２２、画像記憶部２３、表示部２４、及び入力部２５を備えている。制御部２１は、画像生成部２１１、及びデータ生成部２１２を有している。
通信部２２は、ネットワーク３０を介して、制御部２１から入力される各情報を第１の端末装置１０に送信し、第１の端末装置１０から受信する各情報を制御部２１に出力する。
画像記憶部２３は、態様判定部１１２による判定結果に応じた画像データを予め記憶している。本実施形態では、「ほとんど動いていない」、「ある程度の動きが検出される」、「頻繁に動きが検出される」それぞれに対応する画像データであって、判定結果を示すキャラクタの画像データが記憶されている。
表示部２４は、例えば、液晶ディスプレイなどであり、制御部２１から入力される画像データを表示する。
入力部２５は、例えば、ボタンや、タッチパネル、キーボード、マイクなどであり、第２の端末装置２０を利用する利用者（見守り者）の操作に応じた情報を入力する。
The second terminal device 20 includes a control unit 21, a communication unit 22, an image storage unit 23, a display unit 24, and an input unit 25. The control unit 21 includes an image generation unit 211 and a data generation unit 212.
The communication unit 22 transmits each piece of information input from the control unit 21 to the first terminal device 10 via the network 30, and outputs each piece of information received from the first terminal device 10 to the control unit 21.
The image storage unit 23 stores image data corresponding to the determination result by the aspect determination unit 112 in advance. In this embodiment, image data corresponding to each of “almost no movement”, “a certain amount of movement is detected”, and “frequent movement is detected”, and character image data indicating a determination result is It is remembered.
The display unit 24 is, for example, a liquid crystal display, and displays image data input from the control unit 21.
The input unit 25 is, for example, a button, a touch panel, a keyboard, a microphone, or the like, and inputs information according to an operation of a user (watcher) who uses the second terminal device 20.
画像生成部２１１は、通信部２２を介して、第１の端末装置１０から受信した態様情報に対応する画像データを画像記憶部２３から読み出し、読み出した画像データを表示部２４に出力する。画像生成部２１１は、表示部２４に画像データを表示させることにより、被見守り者の態様を見守り者に知らせる。
データ生成部２１２は、入力部２５が入力した情報から送信データを生成し、生成した送信データを通信部２２に出力する。例えば、データ生成部２１２は、ボタンが押下されたことを示す情報や、タッチパネルを介して表示部２４に表示されているキャラクタに対する操作（タップやフリック、スワイプなど）を示す情報、キーボードから入力されたテキストを示す情報、マイクから入力される音声を示す情報などに対して、デジタル化や、情報量の圧縮、暗号化などを行うことにより送信データを生成する。
The image generation unit 211 reads image data corresponding to the mode information received from the first terminal device 10 via the communication unit 22 from the image storage unit 23 and outputs the read image data to the display unit 24. The image generation unit 211 displays the image data on the display unit 24 to notify the watcher of the mode of the watched person.
The data generation unit 212 generates transmission data from the information input by the input unit 25 and outputs the generated transmission data to the communication unit 22. For example, the data generation unit 212 is input from the keyboard, information indicating that the button has been pressed, information indicating an operation (tap, flick, swipe, etc.) on the character displayed on the display unit 24 via the touch panel. The transmission data is generated by digitizing, compressing the amount of information, encrypting the information indicating the text and the information indicating the voice input from the microphone.
図２は、本実施形態における通信システム１の第１の通信処理（監視処理）を示すフローチャートである。
第１の端末装置１０において、通信が開始されると、撮像部１２は居室内を撮像し、撮像により得られた画像データを差分算出部１１１に出力する（ステップＳ１０１）。
差分算出部１１１は、撮像部１２が撮像した画像データから居室内における変化を検出して、変化情報を態様判定部１１２に出力する（ステップＳ１０２）。
態様判定部１１２は、変化情報に基づいて、居室内における被見守り者の態様を判定し、判定結果を示す態様情報を通信部１３に出力する（ステップＳ１０３）。
通信部１３は、ネットワーク３０を介して、態様情報を第２の端末装置２０に送信する（ステップＳ１０４）。
第２の端末装置２０において、通信部１３は、第１の端末装置１０から態様情報を受信し、受信した態様情報を画像生成部２１１に出力する（ステップＳ１０５）。
画像生成部２１１は、入力された態様情報に対応する画像データを画像記憶部２３から読み出すことにより、態様情報に対応する画像を生成する（ステップＳ１０６）。
画像生成部２１１は、読み出した画像データを表示部２４に出力して、生成した画像を表示部２４に表示させる（ステップＳ１０７）。
FIG. 2 is a flowchart showing a first communication process (monitoring process) of the communication system 1 in the present embodiment.
In the first terminal device 10, when communication is started, the imaging unit 12 images a room and outputs image data obtained by the imaging to the difference calculation unit 111 (step S <b> 101).
The difference calculation unit 111 detects a change in the room from the image data captured by the imaging unit 12, and outputs the change information to the aspect determination unit 112 (step S102).
The mode determination unit 112 determines the mode of the watched person in the living room based on the change information, and outputs mode information indicating the determination result to the communication unit 13 (step S103).
The communication unit 13 transmits the mode information to the second terminal device 20 via the network 30 (step S104).
In the second terminal device 20, the communication unit 13 receives the mode information from the first terminal device 10, and outputs the received mode information to the image generation unit 211 (step S105).
The image generation unit 211 reads out image data corresponding to the inputted aspect information from the image storage unit 23, thereby generating an image corresponding to the aspect information (step S106).
The image generation unit 211 outputs the read image data to the display unit 24 and causes the display unit 24 to display the generated image (step S107).
図３は、本実施形態における第２の端末装置２０に表示される画像の一例を示す図である。図３（Ａ）は、「ある程度の動きが検出される」状態に対応する画像であり、被見守り者が起きている状態をキャラクタによって表している。図３（Ｂ）は、「ほとんど動いていない」状態に対応する画像であり、被見守り者がほとんど動いていない状態をキャラクタが寝ていることにより表している。図３（Ｃ）は、「頻繁に動きが検出される」状態に対応する画像であり、被見守り者が動き回っていることをキャラクタが歩いていることにより表している。 FIG. 3 is a diagram illustrating an example of an image displayed on the second terminal device 20 in the present embodiment. FIG. 3A is an image corresponding to a state in which “a certain amount of movement is detected”, and represents a state in which a watched person is awakened. FIG. 3B is an image corresponding to the state of “almost not moving”, and represents a state where the watched person is hardly moving by sleeping the character. FIG. 3C is an image corresponding to a state where “motion is frequently detected”, and shows that the watcher is moving around by the character walking.
上述の第１の通信処理により、通信システム１は、被見守り者が生活する居室内における変化を第１の端末装置１０が検出し、検出した変化に対応する画像を第２の端末装置２０に表示させる。これにより、通信システム１を用いることにより、見守り者（子世帯における子や孫など）は、第２の端末装置２０に備えられている表示部２４を目視することで、被見守り者（高齢の親）の状態を容易に把握することができる。
また、第２の端末装置２０に表示される画像は、第１の端末装置１０が撮像した画像を直接用いずに、被見守り者の態様を表したキャラクタの画像であるので、被見守り者のプライバシーを保ちつつ、状態の把握をすることができる。
Through the first communication process described above, the communication system 1 causes the first terminal device 10 to detect a change in the room where the watched person lives, and displays an image corresponding to the detected change on the second terminal device 20. Display. Thereby, by using the communication system 1, a watcher (such as a child or a grandchild in a child household) visually observes the display unit 24 provided in the second terminal device 20, thereby The parent's state can be easily grasped.
In addition, the image displayed on the second terminal device 20 is an image of a character representing the form of the watched person without directly using the image captured by the first terminal device 10, so The state can be grasped while maintaining privacy.
図４は、本実施形態における通信システム１の第２の通信処理を示すフローチャートである。
見守り者（子や孫）が第２の端末装置２０に表示された画像を見て、被見守り者（高齢の親）とのコミュニケーションを行うために第２の端末装置２０に備えられている入力部２５を操作すると、入力部２５は操作に応じた情報を入力する（ステップＳ２０１）。見守り者が行う操作としては、例えば、ボタンを押下したり、キーボードを操作してメッセージを入力したり、マイクに向かって話したりする。
データ生成部２１２は、入力部２５に入力された情報から送信データを生成して、通信部２２に出力する（ステップＳ２０２）。
通信部２２は、ネットワーク３０を介して、入力された送信データを第１の端末装置１０に送信する（ステップＳ２０３）。
第１の端末装置１０において、通信部１３は、第２の端末装置２０から送信データを受信すると、受信した送信データをデータ復元部１１３に出力する（ステップＳ２０４）。
データ復元部１１３は、入力された送信データに対して、復号化や、圧縮された情報量の復元などを行うことにより、見守り者が入力した情報を復元する（ステップＳ２０５）。
データ復元部１１３は、復元した情報を出力部１４から出力させる（ステップＳ２０６）。
FIG. 4 is a flowchart showing a second communication process of the communication system 1 in the present embodiment.
An input provided in the second terminal device 20 for the watcher (child or grandchild) to see the image displayed on the second terminal device 20 and to communicate with the watched person (old parent) When the unit 25 is operated, the input unit 25 inputs information corresponding to the operation (step S201). The operations performed by the watcher are, for example, pressing a button, operating a keyboard to input a message, or talking to a microphone.
The data generation unit 212 generates transmission data from the information input to the input unit 25 and outputs it to the communication unit 22 (step S202).
The communication unit 22 transmits the input transmission data to the first terminal device 10 via the network 30 (step S203).
In the first terminal device 10, when the communication unit 13 receives the transmission data from the second terminal device 20, the communication unit 13 outputs the received transmission data to the data restoration unit 113 (step S204).
The data restoration unit 113 restores the information input by the watcher by performing decoding, restoration of the compressed amount of information, and the like on the input transmission data (step S205).
The data restoration unit 113 outputs the restored information from the output unit 14 (step S206).
上述の第１の通信処理により、通信システム１は、被見守り者と見守り者との間のゆるやかなコミュニケーションを提供することができ、見守り者は、被見守り者の状態に応じて、メッセージを送ったり、声を掛けたりすることができる。
例えば、「頻繁に動きが検出される」状態の画像が第２の端末装置２０に表示されている場合に「おばあちゃん、無理しないでね。」などの文字によるメッセージ又は音声情報を第１の端末装置１０に送ったり、通常であれば「ある程度の動きが検出される」時間帯に「ほとんど動いていない」状態の画像が第２の端末装置２０に表示されている場合に「おばあちゃん、大丈夫？」などの文字によるメッセージ又は音声情報を第１の端末装置１０に送信することにより、声を掛けたりするコミュニケーションを図ることができる。
Through the first communication process described above, the communication system 1 can provide gentle communication between the watcher and the watcher, and the watcher sends a message according to the watcher's state. Or call out.
For example, when an image in a state of “frequently detected motion” is displayed on the second terminal device 20, a message or voice information such as “Grandma, please do not overdo it” is sent to the first terminal. When an image in a state of “almost not moving” is displayed on the second terminal device 20 in a time zone in which it is sent to the device 10 or “normally a certain amount of motion is detected” normally, “Grandma, are you okay? By transmitting a message or audio information using characters such as “” to the first terminal device 10, communication such as calling out can be achieved.
なお、上述の実施形態において、被見守り者の居室に設置されている第１の端末装置１０と、見守り者が利用する第２の端末装置２０とが異なる構成を有する場合について説明した。しかし、これに限ることなく、被見守り者の居室に設置される端末装置と、見守り者が利用する端末装置とが同じ構成を有していてもよい。この場合、被見守り者と見守り者との双方が相手の態様を把握することができると共に、双方向のコミュニケーションを容易に図ることができる。また、この場合、端末装置は、撮像部１２、出力部１４、入力部２５、制御部、通信部１３（２２）、及び画像記憶部２３を備えることになる。また、制御部は、差分算出部１１１、態様判定部１１２、データ復元部１１３、画像生成部２１１、及びデータ生成部２１２を有することになる。 In the above-described embodiment, a case has been described in which the first terminal device 10 installed in the watched person's room and the second terminal device 20 used by the watcher have different configurations. However, the present invention is not limited thereto, and the terminal device installed in the watched person's room and the terminal device used by the watcher may have the same configuration. In this case, both the watched person and the watcher can grasp the other party's mode and can easily facilitate bidirectional communication. In this case, the terminal device includes the imaging unit 12, the output unit 14, the input unit 25, the control unit, the communication unit 13 (22), and the image storage unit 23. In addition, the control unit includes a difference calculation unit 111, an aspect determination unit 112, a data restoration unit 113, an image generation unit 211, and a data generation unit 212.
また、上述の実施形態において、第２の端末装置２０で表示する画像を生成するための判定を、第１の端末装置１０における態様判定部１１２が行う構成について説明した。しかし、これに限ることなく、態様判定部１１２を第１の端末装置１０に設けずに、差分算出部１１１が出力する変化情報を第２の端末装置２０に送信し、第２の端末装置２０において、変化情報を受信する間隔に応じて画像生成部２１１が画像データを読み出して、表示部２４に表示させるようにしてもよい。
例えば、画像生成部２１１は、変化情報を受信してから第１の期間が経過するまで図３（Ｃ）の画像を表示し、第１の期間が経過した後に第２の期間が経過するまで図３（Ａ）の画像を表示し、第２の期間が経過した後に図３（Ｂ）の画像を表示する。すなわち、変化情報を受信してから所定の期間（第２の期間）内に新たな変化情報が受信されない場合、第２の端末装置２０の表示部２４に図３（Ｂ）の画像が表示されることになる。このように、差分算出部１１１から変化情報が出力される頻度に応じて、第２の端末装置２０に表示する画像を変化させるようにしてもよい。これにより、第１の端末装置１０を簡易な構成にして、第１の端末装置１０のコストを下げることができる。
Moreover, in the above-mentioned embodiment, the structure which the determination for producing | generating the image displayed on the 2nd terminal device 20 performed by the aspect determination part 112 in the 1st terminal device 10 was demonstrated. However, the present invention is not limited to this, and the change information output from the difference calculation unit 111 is transmitted to the second terminal device 20 without providing the aspect determination unit 112 in the first terminal device 10, and the second terminal device 20. In this case, the image generation unit 211 may read out the image data and display it on the display unit 24 according to the interval at which the change information is received.
For example, the image generation unit 211 displays the image of FIG. 3C from when the change information is received until the first period elapses, and until the second period elapses after the first period elapses. The image of FIG. 3A is displayed, and the image of FIG. 3B is displayed after the second period has elapsed. That is, when new change information is not received within a predetermined period (second period) after receiving change information, the image of FIG. 3B is displayed on the display unit 24 of the second terminal device 20. Will be. As described above, the image displayed on the second terminal device 20 may be changed according to the frequency at which the change information is output from the difference calculation unit 111. Thereby, the 1st terminal device 10 can be made into a simple structure, and the cost of the 1st terminal device 10 can be reduced.
また、上述の第２の通信処理において、第１の端末装置１０は、第２の端末装置２０から受信した送信データを出力する構成について説明した。しかし、これに限ることなく、見守り者（子や孫）の音声情報を予め記憶している記憶部を第１の端末装置１０に設け、第２の端末装置２０において入力部２５を構成するボタンが押下された場合に、ボタンが押下されたことを示す情報を第２の端末装置２０から第１の端末装置１０に送信し、データ復元部１１３が前述の記憶部に記憶されている音声情報を出力部１４に出力して、音声を発するようにしてもよい。これにより、複雑な操作を行わずとも、声掛けを容易に行うことができる。
また、第２の端末装置２０におけるボタンの押下に替えて、タッチパネルの操作することにより、第１の端末装置１０から音声情報が出力されるようにしてもよい。また、タッチパネルの操作（タップや、フリック、スワイプ）に応じて出力される音声情報を変えるようにしてもよい。また、第２の端末装置２０においてボタンが押下された場合に、第１の端末装置１０に定型文、例えば「電話で連絡を下さい。」などを表示するようにしてもよい。
In the second communication process described above, the first terminal device 10 has been described with respect to the configuration for outputting the transmission data received from the second terminal device 20. However, the present invention is not limited to this, and a button that constitutes the input unit 25 in the second terminal device 20 is provided in the first terminal device 10 with a storage unit that stores voice information of the watcher (child or grandchild) in advance. When the button is pressed, information indicating that the button has been pressed is transmitted from the second terminal device 20 to the first terminal device 10, and the data restoration unit 113 stores the voice information stored in the storage unit described above. May be output to the output unit 14 to emit sound. Thereby, it is possible to easily perform a voice call without performing a complicated operation.
Further, instead of pressing a button in the second terminal device 20, voice information may be output from the first terminal device 10 by operating a touch panel. Also, the audio information that is output may be changed according to the operation of the touch panel (tap, flick, swipe). In addition, when a button is pressed on the second terminal device 20, a fixed sentence such as “Please contact me by phone” may be displayed on the first terminal device 10.
また、上述の実施形態において、第２の端末装置２０は、第１の端末装置１０から受信した態様情報に応じた画像を出力する構成について説明した。しかし、これに限ることなく、画像生成部２１１において生成した画像データを、予め登録しておいた他の端末装置に転送するようにしてもよい。この場合、画像生成部２１１は、生成した画像データを通信部２２に出力する。通信部２２は、予め登録されている他の端末装置宛に、入力された画像データを送信する。これにより、見守り者が所有している携帯情報端末、例えば携帯電話やスマートフォンに、被見守り者の態様を示す画像を表示することができ、常に被見守り者の態様を把握することができる。 In the above-described embodiment, the configuration in which the second terminal apparatus 20 outputs an image according to the mode information received from the first terminal apparatus 10 has been described. However, the present invention is not limited to this, and the image data generated by the image generation unit 211 may be transferred to another terminal device registered in advance. In this case, the image generation unit 211 outputs the generated image data to the communication unit 22. The communication unit 22 transmits the input image data to another terminal device registered in advance. Thereby, the image which shows the mode of a watched person can be displayed on the portable information terminal which a watcher owns, for example, a mobile telephone and a smart phone, and the mode of a watched person can always be grasped | ascertained.
また、上述の実施形態において、態様判定部１１２が態様情報を暗号化し、画像生成部２１１が復号して態様情報を得るようにしてもよい。これにより、被見守り者のプライバシーを保つことができる。
また、上述の実施形態において、被見守り者の態様を３段階で表す場合について説明したが、これに限ることなく、２段階や４段階以上の判定を行い、判定結果に応じた画像を第２の端末装置２０に表示するようにしてもよい。なお、２段階の判定を行う場合、必ずしも活動量を検出する必要はなく、態様判定部１１２は活動の有無を検出するようにしてもよい。
In the above-described embodiment, the mode determination unit 112 may encrypt the mode information, and the image generation unit 211 may decrypt the mode information to obtain the mode information. Thereby, a watcher's privacy can be maintained.
In the above-described embodiment, the case where the mode of the watched person is expressed in three stages has been described. However, the present invention is not limited to this, and two or four or more stages are determined, and an image corresponding to the determination result is displayed in the second stage. May be displayed on the terminal device 20. Note that when performing the two-stage determination, it is not always necessary to detect the amount of activity, and the mode determination unit 112 may detect the presence or absence of activity.
また、上述の実施形態において、第１の端末装置１０と第２の端末装置２０とは、直接通信（Peer to Peer：Ｐ２Ｐ）を行う構成を説明したが、ネットワーク３０に接続されたサーバ装置を介して、通信するようにしてもよい。
また、上述の実施形態において、第１の端末装置１０が差分算出部１１１及び態様判定部１１２を有する構成を説明したが、ネットワーク３０に接続されたサーバ装置において差分算出部１１１及び態様判定部１１２が行う処理を行うようにしてもよい。また、画像生成部２１１が行う処理を前述のサーバ装置において行うようにしてもよい。これにより、第１の端末装置１０及び第２の端末装置２０を簡易な構成にして、第１の端末装置１０及び第２の端末装置２０のコストを下げることができる。また、前述のサーバ装置にて、画像に対する差分算出や、態様の判定のアルゴリズムを更新することが容易になり、より精度の高い態様の判定を行うことができ、態様の把握の精度を高めることができる。
Further, in the above-described embodiment, the configuration in which the first terminal device 10 and the second terminal device 20 perform direct communication (Peer to Peer: P2P) has been described, but the server device connected to the network 30 is It is also possible to communicate with each other.
In the above-described embodiment, the configuration in which the first terminal device 10 includes the difference calculation unit 111 and the mode determination unit 112 has been described. However, the difference calculation unit 111 and the mode determination unit 112 in the server device connected to the network 30 have been described. You may make it perform the process which performs. Further, the processing performed by the image generation unit 211 may be performed in the server device described above. Thereby, the 1st terminal device 10 and the 2nd terminal device 20 can be made into a simple structure, and the cost of the 1st terminal device 10 and the 2nd terminal device 20 can be lowered | hung. Further, it becomes easy to update the difference calculation for the image and the algorithm for determining the mode in the server device described above, and it is possible to perform the determination of the mode with higher accuracy and to increase the accuracy of grasping the mode. Can do.
また、第１の端末装置１０及び第２の端末装置２０は、ネットワーク３０に対して有線又は無線のいずれを用いて接続されていてもよい。また、ネットワーク３０は、公衆回線網であってもよいし、インターネットであってもよいし、携帯電話網であってもよいし、それらを組み合わせたものであってもよい。
また、上述の実施形態にいて、第１の端末装置１０は、被見守り者が生活する居室に配置される場合について説明した。しかし、これに限ることなく、被見守り者が居る場所であれば室内以外に第１の端末装置１０を配置するようにしてもよい。
Further, the first terminal device 10 and the second terminal device 20 may be connected to the network 30 using either wired or wireless. The network 30 may be a public network, the Internet, a mobile phone network, or a combination thereof.
Moreover, in the above-mentioned embodiment, the 1st terminal device 10 demonstrated the case where it was arrange | positioned in the living room where a watched person lives. However, the present invention is not limited to this, and the first terminal device 10 may be arranged outside the room as long as the watched person is present.
なお、本発明における第１の端末装置１０及び第２の端末装置２０の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより第１の通信処理、第２の通信処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。更に「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。 A program for realizing the functions of the first terminal device 10 and the second terminal device 20 in the present invention is recorded on a computer-readable recording medium, and the program recorded on the recording medium is stored in a computer system. The first communication process and the second communication process may be performed by reading and executing. Here, the “computer system” includes an OS and hardware such as peripheral devices. The “computer system” includes a WWW system having a homepage providing environment (or display environment). The “computer-readable recording medium” refers to a storage device such as a flexible medium, a magneto-optical disk, a portable medium such as a ROM and a CD-ROM, and a hard disk incorporated in a computer system. Further, the “computer-readable recording medium” refers to a volatile memory (RAM) in a computer system that becomes a server or a client when a program is transmitted via a network such as the Internet or a communication line such as a telephone line. In addition, those holding programs for a certain period of time are also included.
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。更に、前述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。 The program may be transmitted from a computer system storing the program in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium. Here, the “transmission medium” for transmitting the program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line. The program may be for realizing a part of the functions described above. Furthermore, what can implement | achieve the function mentioned above in combination with the program already recorded on the computer system, and what is called a difference file (difference program) may be sufficient.
１…通信システム（監視システム）
１０…第１の端末装置
２０…第２の端末装置
３０…ネットワーク
１１，２１…制御部
１２…撮像部
１３，２２…通信部
１４…出力部
２３…画像記憶部
２４…表示部
２５…入力部
１１１…差分算出部
１１２…態様判定部
１１３…データ復元部
２１１…画像生成部
２１２…データ生成部
1. Communication system (monitoring system)
DESCRIPTION OF SYMBOLS 10 ... 1st terminal device 20 ... 2nd terminal device 30 ... Network 11, 21 ... Control part 12 ... Imaging part 13, 22 ... Communication part 14 ... Output part 23 ... Image memory | storage part 24 ... Display part 25 ... Input part DESCRIPTION OF SYMBOLS 111 ... Difference calculation part 112 ... Mode determination part 113 ... Data restoration part 211 ... Image generation part 212 ... Data generation part
Claims (5)
前記第１の端末装置は、
前記居住空間を撮像する撮像部と、
前記撮像部が撮像した画像に基づいて前記監視対象者の態様を判定する態様判定部と
を備え、
前記第２の端末装置は、
前記態様判定部の判定結果に対応する画像を生成する画像生成部と、
前記画像生成部が生成した画像を表示する表示部と
を備え、
前記態様判定部は、
前記撮像部が撮像した画像において変化の有無を所定の周期で検出し、検出された変化の頻度に基づいて前記監視対象者の活動量を少なくとも３段階で判定し、判定結果を前記態様とする、
ことを特徴とする監視システム。 A monitoring system comprising a first terminal device located in a living space of a monitoring subject and a second terminal device viewed by the monitoring person,
The first terminal device is:
An imaging unit that images the living space;
A mode determination unit that determines a mode of the person to be monitored based on an image captured by the imaging unit;
The second terminal device is:
An image generation unit that generates an image corresponding to the determination result of the aspect determination unit;
A display unit for displaying an image generated by the image generation unit,
The aspect determination unit
Wherein the presence or absence of a change in the image by the imaging unit has imaging detected with a predetermined period, determined in at least three stages activity amount before Symbol person to be monitored based on the frequency of the detected change, said determination result aspects To
A monitoring system characterized by that.
前記態様判定部は、
前記画像の差分の大きさに基づいて、前記監視対象者の活動量を判定する
ことを特徴とする監視システム。 The monitoring system according to claim 1,
The aspect determination unit
The amount of activity of the monitoring subject is determined based on the size of the difference between the images.
前記態様判定部は、
前記画像の差分が生じた時間間隔に基づいて、前記監視対象者の活動量を判定する
ことを特徴とする監視システム。 The monitoring system according to claim 1 or 2, wherein
The aspect determination unit
The amount of activity of the monitoring subject is determined based on a time interval in which the difference between the images occurs.
前記第２の端末装置は、更に、
操作を受け付ける入力部と、
前記入力部が受け付けた操作に応じた送信データを前記第１の端末装置に送信する通信部と
を備え、
前記第１の端末装置は、更に、
前記第２の端末装置から受信した送信データに基づいた画像又は音声を出力する出力部
を更に備える
ことを特徴とする監視システム。 The monitoring system according to any one of claims 1 to 3, wherein
The second terminal device further includes:
An input unit for accepting operations;
A communication unit that transmits transmission data corresponding to the operation received by the input unit to the first terminal device,
The first terminal device further includes:
A monitoring system, further comprising: an output unit that outputs an image or sound based on transmission data received from the second terminal device.
前記第１の端末装置が前記居住空間を撮像する撮像ステップと、
前記撮像ステップにおいて撮像した画像に基づいて前記監視対象者の態様を判定する態様判定ステップと、
前記態様判定ステップにおける判定結果に対応する画像を生成する画像生成ステップと、
前記画像生成ステップにおいて生成した画像を前記第２の端末装置に表示する表示ステップと
を有し、
前記態様判定ステップでは、
前記撮像ステップで撮像された画像において変化の有無を所定の周期で検出し、検出された変化の頻度に基づいて前記監視対象者の活動量を少なくとも３段階で判定し、判定結果を前記態様とする、
ことを特徴とする監視方法。 A monitoring method in a monitoring system comprising a first terminal device installed in a living space of a monitoring target person and a second terminal device operated by the monitoring person,
An imaging step in which the first terminal device images the living space;
A mode determination step of determining a mode of the monitoring subject based on the image captured in the imaging step;
An image generation step for generating an image corresponding to the determination result in the aspect determination step;
A display step of displaying the image generated in the image generation step on the second terminal device,
In the aspect determining step,
Wherein the presence or absence of a change in the image captured by the imaging step to detect a predetermined period, determined in at least three stages activity amount before Symbol person to be monitored based on the frequency of the detected change, said determination result aspects And
A monitoring method characterized by that.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012072701A JP5909126B2 (en) | 2012-03-28 | 2012-03-28 | Monitoring system and monitoring method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012072701A JP5909126B2 (en) | 2012-03-28 | 2012-03-28 | Monitoring system and monitoring method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013206012A JP2013206012A (en) | 2013-10-07 |
| JP5909126B2 true JP5909126B2 (en) | 2016-04-26 |
Family
ID=49525048
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012072701A Expired - Fee Related JP5909126B2 (en) | 2012-03-28 | 2012-03-28 | Monitoring system and monitoring method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5909126B2 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017141629A1 (en) * | 2016-02-15 | 2017-08-24 | コニカミノルタ株式会社 | Terminal device, display method for terminal device, sensor device, and person-to-be-monitored monitoring system |
| JP6917294B2 (en) * | 2017-12-20 | 2021-08-11 | 東京瓦斯株式会社 | Watching system |
| JP7193801B2 (en) * | 2019-02-04 | 2022-12-21 | 株式会社コンピューター総合研究所 | Monitoring device and monitoring system |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000000216A (en) * | 1998-06-12 | 2000-01-07 | Toshiba Eng Co Ltd | Behavior monitoring device and behavior monitoring and supporting system |
| JP3314043B2 (en) * | 1998-09-29 | 2002-08-12 | 松下電器産業株式会社 | Motion detection circuit and noise reduction device |
| JP3427349B2 (en) * | 1999-10-13 | 2003-07-14 | コクヨ株式会社 | panel |
| JP2002342856A (en) * | 2001-05-16 | 2002-11-29 | Noritz Corp | Human body detecting device |
| JP2004049309A (en) * | 2002-07-16 | 2004-02-19 | National Trust:Kk | Monitoring system for person to be nursed or cared |
| JP4397766B2 (en) * | 2004-09-13 | 2010-01-13 | 株式会社リコー | Imaging device |
| JP2008052626A (en) * | 2006-08-28 | 2008-03-06 | Matsushita Electric Works Ltd | Bathroom abnormality detection system |
| JP3994416B1 (en) * | 2006-12-06 | 2007-10-17 | システム・プロダクト株式会社 | Abnormality detection device, program, and abnormality detection method |
| JP5069091B2 (en) * | 2007-12-12 | 2012-11-07 | 三菱電機株式会社 | Surveillance camera and surveillance camera system |
| JP5262098B2 (en) * | 2007-12-12 | 2013-08-14 | セイコーエプソン株式会社 | Display system and image display device |
-
2012
- 2012-03-28 JP JP2012072701A patent/JP5909126B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2013206012A (en) | 2013-10-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9794402B2 (en) | Updating device behavior based on user behavior | |
| CN113037926B (en) | Communication system, information communication method, and storage medium | |
| EP3264774B1 (en) | Live broadcasting method and device for live broadcasting | |
| CN112956220B (en) | Fall detection-Audio cycling | |
| US11605274B2 (en) | Fall detection—audio looping | |
| JP5909126B2 (en) | Monitoring system and monitoring method | |
| CN109804407B (en) | Care maintenance system and server | |
| TW201537446A (en) | Electronic apparatus and messaging method | |
| JP5283197B2 (en) | Safety confirmation device and safety confirmation method | |
| TWI521825B (en) | Wisdom home control server | |
| TWI595407B (en) | Electronic apparatus and display switching method | |
| Chen et al. | Touch-driven interaction via an NFC-enabled smartphone | |
| KR102360182B1 (en) | Device and method for performing data communication with slave device | |
| JP6605774B1 (en) | Information processing system, information processing apparatus, information processing method, and computer program | |
| JP4777163B2 (en) | Switch circuit and headset device | |
| WO2017124803A1 (en) | Operation application switching method and apparatus | |
| JP2018085623A (en) | Communication device, method, and program | |
| JP2013247612A (en) | Sensor information conversion apparatus and program | |
| KR101886675B1 (en) | Method and apparatus for notifying event of communication terminal in electronic device | |
| JP2020154845A (en) | Watching system and server device | |
| WO2019007302A1 (en) | Method and device for triggering emergency operation, and mobile terminal | |
| JP2020154848A (en) | Watching system and server device | |
| JP2013038569A (en) | Portable user terminal, message transmission method, and message transmission program | |
| JPWO2019021357A1 (en) | Voice message communication device | |
| JP2010270977A (en) | Hot water supply remote control device and hot water supply device having the same |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140925 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150721 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150728 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150904 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20151013 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160112 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20160120 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160322 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160325 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5909126 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |