JP6094027B2 - Electronics - Google Patents

Electronics Download PDF

Info

Publication number
JP6094027B2
JP6094027B2 JP2011278283A JP2011278283A JP6094027B2 JP 6094027 B2 JP6094027 B2 JP 6094027B2 JP 2011278283 A JP2011278283 A JP 2011278283A JP 2011278283 A JP2011278283 A JP 2011278283A JP 6094027 B2 JP6094027 B2 JP 6094027B2
Authority
JP
Japan
Prior art keywords
unit
detection
cpu
detection unit
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011278283A
Other languages
Japanese (ja)
Other versions
JP2013131824A (en
Inventor
研吾 水井
研吾 水井
寿 田井
寿 田井
隆文 豊田
隆文 豊田
繭子 伊藤
繭子 伊藤
有紀 木ノ内
有紀 木ノ内
政一 関口
政一 関口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2011278283A priority Critical patent/JP6094027B2/en
Priority to PCT/JP2012/006343 priority patent/WO2013094091A1/en
Priority to CN201280040382.XA priority patent/CN103765860B/en
Publication of JP2013131824A publication Critical patent/JP2013131824A/en
Priority to US14/301,983 priority patent/US9741241B2/en
Application granted granted Critical
Publication of JP6094027B2 publication Critical patent/JP6094027B2/en
Priority to US15/655,341 priority patent/US10290207B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Exposure Control For Cameras (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)
  • Studio Devices (AREA)

Description

本発明は、電子機器に関する。   The present invention relates to an electronic device.

従来より、携帯通信装置を用いて、現在位置が危険区域かどうかを判断して、移動経路を案内することにより防犯を行なうことが提案されている(例えば、特許文献1)。
[先行技術文献]
[特許文献]
[特許文献1]特開2011−155522号公報
Conventionally, it has been proposed to use a mobile communication device to determine whether or not the current position is a dangerous area, and to perform crime prevention by guiding a moving route (for example, Patent Document 1).
[Prior art documents]
[Patent Literature]
[Patent Document 1] JP 2011-155522 A

しかしながら、危険区域は、時間や状況などにより変化するものであり、従来の携帯通信装置を利用した防犯システムは使い勝手の良いものではなかった。   However, the danger zone changes depending on time and circumstances, and a conventional crime prevention system using a portable communication device is not easy to use.

本発明の一態様においては、電子機器は、明るさを検出する第1検出部と、音を検出する第2検出部と、第1検出部および第2検出部の検出結果に応じて、人の検出を行うための情報を検出する第3検出部と、を備える。   In one aspect of the present invention, an electronic device is a first detection unit that detects brightness, a second detection unit that detects sound, and a detection result of the first detection unit and the second detection unit. And a third detector for detecting information for performing detection.

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。   It should be noted that the above summary of the invention does not enumerate all the necessary features of the present invention. In addition, a sub-combination of these feature groups can also be an invention.

一実施形態にかかるシステム5の利用環境の一例を示す。An example of the use environment of the system 5 concerning one Embodiment is shown. スマートフォン10、カメラ部100、ミュージックプレーヤ200の機能ブロックの一例を模式的に示す。An example of the functional block of the smart phone 10, the camera part 100, and the music player 200 is shown typically. システム5において実行される処理を示すフローの一例を示す。An example of the flow which shows the process performed in the system 5 is shown. ステップS304で実行されるフローの一例を示す。An example of the flow executed in step S304 is shown. ステップS310で実行されるフローの一例を示す。An example of the flow executed in step S310 is shown.

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。   Hereinafter, the present invention will be described through embodiments of the invention, but the following embodiments do not limit the invention according to the claims. In addition, not all the combinations of features described in the embodiments are essential for the solving means of the invention.

図1は、一実施形態にかかるシステム5の利用環境の一例を示す。システム5は、スマートフォン10、カメラ部100、ミュージックプレーヤ200、および、GPS衛星7を備える。システム5において、スマートフォン10は鞄の中に設けられ、カメラ部100およびミュージックプレーヤ200は鞄に取り付けられる。A部は、ユーザ6の背後から見た様子を示す。スマートフォン10は、カメラ部100と無線により通信する。また、スマートフォン10は、カメラ部100とは異なるミュージックプレーヤ200と無線により通信する。具体的には、スマートフォン10は、カメラ部100およびミュージックプレーヤ200を無線で制御する。カメラ部100は、カメラ部100が有する各種センサの検出結果を、無線によりスマートフォン10へ通知する。   FIG. 1 shows an example of a usage environment of a system 5 according to an embodiment. The system 5 includes a smartphone 10, a camera unit 100, a music player 200, and a GPS satellite 7. In the system 5, the smartphone 10 is provided in a bag, and the camera unit 100 and the music player 200 are attached to the bag. A part shows a state seen from behind user 6. The smartphone 10 communicates with the camera unit 100 wirelessly. The smartphone 10 communicates with a music player 200 different from the camera unit 100 by radio. Specifically, the smartphone 10 controls the camera unit 100 and the music player 200 wirelessly. The camera unit 100 notifies the smartphone 10 of detection results of various sensors included in the camera unit 100 by radio.

スマートフォン10は、GPS衛星7から発信されるGPS信号を受信して、受信したGSP信号から緯度情報および経度情報を算出することにより、ユーザ6の現在位置を検出する。また、スマートフォン10は、内部の時計機能で現在時刻を検出する。スマートフォン10は、現在位置に基づきユーザ6が路上にいると判断され、かつ、現在時刻にもとづき夜間であると判断された場合に、カメラ部100を起動状態にして、周囲環境の検出を開始する。具体的には、周囲の明るさおよび周囲の音を、カメラ部100に検出させる。   The smartphone 10 detects the current position of the user 6 by receiving a GPS signal transmitted from the GPS satellite 7 and calculating latitude information and longitude information from the received GSP signal. The smartphone 10 detects the current time with an internal clock function. When it is determined that the user 6 is on the road based on the current position, and the smartphone 10 is determined to be night based on the current time, the smartphone 10 activates the camera unit 100 and starts detecting the surrounding environment. . Specifically, the camera unit 100 detects ambient brightness and ambient sounds.

スマートフォン10は、カメラ部100で検出された明るさが予め定められた明るさ以下であり、かつ、カメラ部100で検出された音の音量が予め定められた音量より小さいと判断した場合に、カメラ部100に赤外線等で接近者を検出させる。スマートフォン10は、カメラ部100における検出結果に基づいて接近者の有無を判断し、接近者が存在すると判断した場合に、カメラ部100に撮像を指示する。スマートフォン10は、カメラ部100により撮像された画像から人物を検出する。例えば、スマートフォン10は、画像から見知らぬ人物や要注意人物が検出された場合に、スマートフォン10が有するバイブレーション機能によりユーザ6に通知する。また、スマートフォン10は、ミュージックプレーヤ200から出力される音量を下げることにより、ユーザ6に通知する。   When the smartphone 10 determines that the brightness detected by the camera unit 100 is equal to or lower than a predetermined brightness and the volume of the sound detected by the camera unit 100 is smaller than the predetermined volume, The camera unit 100 is caused to detect an approaching person by infrared rays or the like. The smartphone 10 determines the presence or absence of an approaching person based on the detection result in the camera unit 100, and instructs the camera unit 100 to perform imaging when it is determined that an approaching person exists. The smartphone 10 detects a person from the image captured by the camera unit 100. For example, the smartphone 10 notifies the user 6 by the vibration function of the smartphone 10 when an unknown person or a person who needs attention is detected from the image. Further, the smartphone 10 notifies the user 6 by lowering the volume output from the music player 200.

システム5によれば、位置および時刻に基づいて、カメラ部100における検出動作を制御することができる。このため、例えば夜間に危険になるような場所にユーザ6がいる場合には、夜間になるとカメラ部100に検出動作を開始させることができる。また、システム5によれば、例えば暗く静かな環境になった場合に、人検出用の情報をカメラ部100で検出することができる。このように、システム5によれば、時間や状況等により危険性が変化する区域でも、適切なタイミングで周囲のセンシングを開始できる。このため、ユーザにとって使い勝手の良い防犯システムを提供できる。   According to the system 5, the detection operation in the camera unit 100 can be controlled based on the position and time. For this reason, for example, when the user 6 is in a dangerous place at night, the camera unit 100 can start the detection operation at night. In addition, according to the system 5, for example, information for human detection can be detected by the camera unit 100 in a dark and quiet environment. As described above, according to the system 5, it is possible to start sensing of surroundings at an appropriate timing even in an area where the risk changes depending on time, situation, or the like. For this reason, a user-friendly crime prevention system can be provided.

図2は、スマートフォン10、カメラ部100、ミュージックプレーヤ200の機能ブロックの一例を模式的に示す。ここでは、システム5にかかる機能ブロックについて、その機能および動作を示す。   FIG. 2 schematically illustrates an example of functional blocks of the smartphone 10, the camera unit 100, and the music player 200. Here, the functions and operations of the functional blocks according to the system 5 are shown.

まず、スマートフォン10の機能構成について説明する。スマートフォン10は、CPU20、時計30、GPS信号検出部40、顔検出部50、メモリ60、振動部70、速度計80、および、通信部90を有する。   First, the functional configuration of the smartphone 10 will be described. The smartphone 10 includes a CPU 20, a clock 30, a GPS signal detection unit 40, a face detection unit 50, a memory 60, a vibration unit 70, a speedometer 80, and a communication unit 90.

時計30は、日時を計測して、計測した日時を示す日時データをCPU20に出力する。時計30は、時間を検出する時間検出部の一例である。GPS信号検出部40は、GPS衛星7から発信されるGPS信号を検出して、検出したGPS信号を示すGPSデータをCPU20に出力する。CPU20は、GPS信号検出部40が検出したGSPデータに基づいて、緯度情報および経度情報を算出する。GPS信号検出部40は、位置を検出する位置検出部の一例である。   The clock 30 measures the date and time and outputs date and time data indicating the measured date and time to the CPU 20. The clock 30 is an example of a time detection unit that detects time. The GPS signal detection unit 40 detects a GPS signal transmitted from the GPS satellite 7 and outputs GPS data indicating the detected GPS signal to the CPU 20. The CPU 20 calculates latitude information and longitude information based on the GSP data detected by the GPS signal detection unit 40. The GPS signal detection unit 40 is an example of a position detection unit that detects a position.

顔検出部50は、画像データから顔を認識する。具体的には、顔検出部50は、カメラ部100で撮像された画像データから顔を認識する。例えば、顔検出部50は、カメラ部100で撮像された画像データから見知らぬ人物や要注意人物の顔を検出する。顔検出部50は、顔の検出結果を示す顔検出データを、CPU20に出力する。   The face detection unit 50 recognizes a face from the image data. Specifically, the face detection unit 50 recognizes a face from image data captured by the camera unit 100. For example, the face detection unit 50 detects the face of an unknown person or a person who needs attention from the image data captured by the camera unit 100. The face detection unit 50 outputs face detection data indicating a face detection result to the CPU 20.

速度計80は、ユーザ6の移動速度を検出する。例えば、速度計80は、加速度センサを含み、加速度センサで検出された加速度情報に基づいて、ユーザ6の歩行速度を検出してよい。例えば、速度計80は、ユーザ6が歩行しているときに生じる振動を検出して、振動に基づいて単位時間あたりの歩数を検出する。単位時間あたりの歩数を、ユーザ6の歩行速度の指標値として適用できる。速度計80は、検出した移動速度を示す速度データを、CPU20に出力する。速度計80は、ユーザ6の歩行速度を検出する速度検出部の一例である。CPU20は、ユーザ6の歩行速度を取得する速度取得部として機能する。なお、CPU20は、GPS信号検出部40で検出されたGPS情報に基づく現在位置の時間変化に基づいて、ユーザ6の移動速度を検出してもよい。このように、ユーザ6の移動速度を検出するのは、ユーザ6の通常の歩行速度(平均歩行速度)を検出するためと、検出した通常の歩行速度(平均歩行速度)に対してユーザ6の現在の歩行速度が速いか遅いかを検出するためである。ユーザ6が疲労していたり、ミュージックプレーヤ200の音楽に集中して歩行速度が通常よりも遅い場合は、周囲に対して油断しているような状態であり犯罪に巻き込まれやすいからである。   The speedometer 80 detects the moving speed of the user 6. For example, the speedometer 80 may include an acceleration sensor, and may detect the walking speed of the user 6 based on acceleration information detected by the acceleration sensor. For example, the speedometer 80 detects vibrations that occur when the user 6 is walking, and detects the number of steps per unit time based on the vibrations. The number of steps per unit time can be applied as an index value of the walking speed of the user 6. The speedometer 80 outputs speed data indicating the detected moving speed to the CPU 20. The speedometer 80 is an example of a speed detection unit that detects the walking speed of the user 6. The CPU 20 functions as a speed acquisition unit that acquires the walking speed of the user 6. Note that the CPU 20 may detect the moving speed of the user 6 based on the time change of the current position based on the GPS information detected by the GPS signal detection unit 40. As described above, the movement speed of the user 6 is detected in order to detect the normal walking speed (average walking speed) of the user 6 and to the detected normal walking speed (average walking speed). This is to detect whether the current walking speed is fast or slow. This is because if the user 6 is tired or concentrates on the music of the music player 200 and the walking speed is slower than usual, the user 6 is in a state of being alert to the surroundings and easily involved in a crime.

振動部70は、ユーザ6に危険を通知するために振動する。振動部70は、CPU20に制御に従って振動する。駆動部の一例としての振動部70は、CPU20に制御に従って振動する振動部を含んでよい。振動部としては、振動モータ等を例示することができる。CPU20は、時計30、GPS信号検出部40、顔検出部50や、カメラ部100が有する各センサ等、複数の検出部の検出結果に応じて、振動部70を振動させる。このように、振動部70は、複数の検出部の検出結果に応じて振動する。振動部70は、複数の検出部の検出結果に応じて駆動する駆動部の一例である。   The vibration unit 70 vibrates to notify the user 6 of the danger. The vibration unit 70 vibrates according to the control of the CPU 20. The vibration unit 70 as an example of the drive unit may include a vibration unit that vibrates in accordance with the control of the CPU 20. An example of the vibration unit is a vibration motor. The CPU 20 vibrates the vibration unit 70 according to the detection results of a plurality of detection units such as the clock 30, the GPS signal detection unit 40, the face detection unit 50, and each sensor included in the camera unit 100. Thus, the vibration unit 70 vibrates according to the detection results of the plurality of detection units. The vibration unit 70 is an example of a drive unit that is driven according to detection results of a plurality of detection units.

通信部90は、カメラ部100と通信する。また、通信部90は、カメラ部100とは異なるミュージックプレーヤ200と通信する。通信部90は、CPU20で生成された送信データを変調して無線信号で外部に送出する。また、通信部90は、受信した無線信号を復調して受信データを生成し、CPU20へ出力する。このように、通信部90は、GPS信号検出部40および時計30とは分離して設けられるカメラ部100と通信することができる。   The communication unit 90 communicates with the camera unit 100. The communication unit 90 communicates with a music player 200 different from the camera unit 100. The communication unit 90 modulates the transmission data generated by the CPU 20 and sends it out to the outside as a radio signal. In addition, the communication unit 90 demodulates the received radio signal to generate reception data, and outputs the reception data to the CPU 20. As described above, the communication unit 90 can communicate with the camera unit 100 that is provided separately from the GPS signal detection unit 40 and the timepiece 30.

CPU20は、スマートフォン10の全体の制御を司り、ユーザ6に危険を通知するための制御を行う。CPU20は、GPS信号検出部40および時計30の検出結果に応じて、通信部90を介してカメラ部100が有する少なくとも1つのセンサに検出を指示する指示部として機能する。例えば、CPU20は、時計30、GPS信号検出部40、顔検出部50、速度計80等の各種のセンサで検出されたデータに基づいて制御を行う。具体的には、CPU20は、日時データ、GPSデータ、顔検出データ、速度データ等に基づいて、カメラ部100、ミュージックプレーヤ200を制御するための送信データを生成する。また、CPU20は、通信部90で受信した受信データに基づいて、顔検出部50、振動部70を制御する。   The CPU 20 controls the entire smartphone 10 and performs control for notifying the user 6 of the danger. The CPU 20 functions as an instruction unit that instructs detection to at least one sensor of the camera unit 100 via the communication unit 90 according to the detection results of the GPS signal detection unit 40 and the timepiece 30. For example, the CPU 20 performs control based on data detected by various sensors such as a clock 30, a GPS signal detection unit 40, a face detection unit 50, and a speedometer 80. Specifically, the CPU 20 generates transmission data for controlling the camera unit 100 and the music player 200 based on date / time data, GPS data, face detection data, speed data, and the like. Further, the CPU 20 controls the face detection unit 50 and the vibration unit 70 based on the reception data received by the communication unit 90.

メモリ60は、不揮発性のメモリ(例えばフラッシュメモリ)であり、スマートフォン10の各部が動作するのに必要なデータを記憶する。例えば、メモリ60は、CPU20が動作させるオペレーティングシステム等のプログラム、各種パラメータ等を記憶する。また、メモリ60は、地図情報を記憶する。例えば、メモリ60は、緯度経度情報等の位置に対応づけて、当該位置に存在する建物、道路等の構造物の種別情報を含む地図情報を記憶する。地図情報には、道路における道幅に関するデータが含まれていてよい。また、メモリ60は、顔検出部50における顔認識に用いられる顔情報のデータを記憶する。この場合、メモリ60が記憶する顔データは、知り合いの顔と要注意人物との顔とに分けて記憶するようにしてもよい。これは後述するように、CPU20は、背後から接近する人物が知り合いか、要注意人物か、見知らぬ人物かに分けてユーザ6への通知を行なうためである。顔検出部50は、メモリ60に記憶された顔情報のデータと、カメラ部100で撮像された画像データとを比較することにより、顔を認識する。   The memory 60 is a non-volatile memory (for example, a flash memory), and stores data necessary for each unit of the smartphone 10 to operate. For example, the memory 60 stores programs such as an operating system that the CPU 20 operates, various parameters, and the like. The memory 60 stores map information. For example, the memory 60 stores map information including type information of structures such as buildings and roads existing at the position in association with positions such as latitude and longitude information. The map information may include data related to the road width on the road. Further, the memory 60 stores face information data used for face recognition in the face detection unit 50. In this case, the face data stored in the memory 60 may be stored separately for the face of an acquaintance and the face of a person who needs attention. This is because, as will be described later, the CPU 20 notifies the user 6 according to whether the person approaching from behind is an acquaintance, a person who needs attention, or an unknown person. The face detection unit 50 recognizes the face by comparing the face information data stored in the memory 60 with the image data captured by the camera unit 100.

また、メモリ60は、時計30、GPS信号検出部40、顔検出部50、速度計80により検出された各種の検出データを記憶する。また、メモリ60は、通信部90から送信される送信データ、通信部90で受信した受信データを記憶する。   The memory 60 stores various detection data detected by the clock 30, the GPS signal detection unit 40, the face detection unit 50, and the speedometer 80. The memory 60 also stores transmission data transmitted from the communication unit 90 and reception data received by the communication unit 90.

次に、カメラ部100の機能構成について説明する。カメラ部100は、スマートフォン10とは分離して設けられ、スマートフォン10と通信を行うセンサユニットとして機能する。カメラ部100は、カメラ120、赤外線センサ130、LED140、照度計150、マイク160、および、通信部110を有する。本実施形態においては、カメラ部100は図1に示してあるように、ユーザ6の背後に設けられているので、カメラ120、赤外線センサ130、照度計150、マイク160はユーザ6の背後の情報を取得するセンサとして機能する。カメラ120、赤外線センサ130、LED140、照度計150、マイク160をセンサと総称する場合がある。なお、カメラ部100をスマートフォン10と着脱可能なように、カメラ部100にスマートフォン10と機械的および電気的に係合する係合部を設けてもよい。カメラ部100をスマートフォン10に係合させた場合には、カメラ部100をスマートフォン10の撮影部として使用すればよい。また、スマートフォン10と、カメラ部100とを一体にしてもよく、スマートフォン10をユーザ6の背後に取り付けるようにしてもよく、この場合は通信部90、110を省略してもよい。   Next, the functional configuration of the camera unit 100 will be described. The camera unit 100 is provided separately from the smartphone 10 and functions as a sensor unit that communicates with the smartphone 10. The camera unit 100 includes a camera 120, an infrared sensor 130, an LED 140, an illuminance meter 150, a microphone 160, and a communication unit 110. In the present embodiment, as shown in FIG. 1, the camera unit 100 is provided behind the user 6, so the camera 120, the infrared sensor 130, the illuminance meter 150, and the microphone 160 are information behind the user 6. It functions as a sensor that acquires The camera 120, the infrared sensor 130, the LED 140, the illuminance meter 150, and the microphone 160 may be collectively referred to as a sensor. Note that an engagement portion that mechanically and electrically engages the smartphone 10 may be provided in the camera portion 100 so that the camera portion 100 can be attached to and detached from the smartphone 10. When the camera unit 100 is engaged with the smartphone 10, the camera unit 100 may be used as a photographing unit of the smartphone 10. In addition, the smartphone 10 and the camera unit 100 may be integrated, or the smartphone 10 may be attached to the back of the user 6. In this case, the communication units 90 and 110 may be omitted.

通信部110は、外部機器との間で通信する。具体的には、通信部110は、通信部90から送信されたデータを受信する。通信部110は、受信した無線信号を復調して受信データを生成する。通信部110は、受信データに基づいて、カメラ部100が備えるセンサを制御する信号を出力する。例えば、各センサは、検出動作を開始すべき旨の信号を受け取った場合に、検出動作を開始する。また、LED140は、発光を開始すべき旨の信号を受け取った場合に、発光を開始する。   The communication unit 110 communicates with an external device. Specifically, the communication unit 110 receives data transmitted from the communication unit 90. The communication unit 110 demodulates the received radio signal and generates reception data. Communication unit 110 outputs a signal for controlling a sensor included in camera unit 100 based on the received data. For example, each sensor starts a detection operation when it receives a signal to start the detection operation. Further, the LED 140 starts light emission when receiving a signal indicating that light emission should be started.

照度計150は、照度を検出する物理量センサである。照度計150は、明るさを検出する検出部の一例である。照度計150により、ユーザ6がいる場所の明るさを検出することができる。マイク160は、周囲の音を検出する物理量センサであり、検出した音を示すデータを通信部110に出力する。マイク160は、音を検出する検出部の一例である。マイク160により、ユーザ6がいる場所の音を検出することができる。   The illuminometer 150 is a physical quantity sensor that detects illuminance. The illuminometer 150 is an example of a detection unit that detects brightness. The illuminometer 150 can detect the brightness of the place where the user 6 is. The microphone 160 is a physical quantity sensor that detects ambient sounds, and outputs data indicating the detected sounds to the communication unit 110. The microphone 160 is an example of a detection unit that detects sound. The microphone 160 can detect the sound where the user 6 is.

通信部110は、カメラ部100が有する各センサから取得したデータ等を含む送信データを変調して、無線信号で外部に送出する。例えば、通信部110は、カメラ部100宛に、送信データを無線信号で送出する。   The communication unit 110 modulates transmission data including data acquired from each sensor included in the camera unit 100 and transmits the modulated data to the outside using a radio signal. For example, the communication unit 110 transmits transmission data to the camera unit 100 as a wireless signal.

赤外線センサ130は、人の接近を検出するための情報を検出する検出部の一例である。赤外線センサ130は、赤外線を検出して、赤外線の強度を示すデータを通信部110へ出力する。赤外線センサ130としては焦電センサを適用できる。また、赤外線センサ130は、2次元の赤外線センサであってよい。検出方式としては、アクティブ方式およびパッシブ方式のいずれの方式も適用できる。赤外線センサ130は、照度計150およびマイク160の検出結果に応じて検出を行う。   The infrared sensor 130 is an example of a detection unit that detects information for detecting the approach of a person. The infrared sensor 130 detects infrared rays and outputs data indicating the intensity of the infrared rays to the communication unit 110. A pyroelectric sensor can be applied as the infrared sensor 130. The infrared sensor 130 may be a two-dimensional infrared sensor. As a detection method, either an active method or a passive method can be applied. Infrared sensor 130 performs detection according to the detection results of illuminance meter 150 and microphone 160.

カメラ120は、被写体を撮像して画像データを生成する。カメラ120は、生成した画像データを通信部110へ出力する。カメラ120は撮像部の一例である。カメラ120は、高感度カメラであってよい。また、カメラ120は、赤外線カメラであってもよい。カメラ120は、照度計150およびマイク160の検出結果に応じて検出を行う。カメラ120は、人の検出を行うための情報を検出する検出部の一例である。カメラ120は、赤外線センサ130の検出によって人の接近が検出された場合に、撮像を行う。   The camera 120 captures a subject and generates image data. The camera 120 outputs the generated image data to the communication unit 110. The camera 120 is an example of an imaging unit. The camera 120 may be a high sensitivity camera. The camera 120 may be an infrared camera. The camera 120 performs detection according to the detection results of the illuminance meter 150 and the microphone 160. The camera 120 is an example of a detection unit that detects information for detecting a person. The camera 120 captures an image when the approach of a person is detected by the detection of the infrared sensor 130.

LED140は、通信部110から受け取った信号に基づいて動作する。LED140に供給される信号としては、発光強度を示す信号、発光色を示す信号、発光強度および色の少なくとも一方の時間変化を示す信号等を例示することができる。LED140は、出力部の一例である。出力部としては、LED140等の発光部の他、音声等を出力する音声出力部を例示することができる。LED140は、赤外線センサ130の検出によって人の接近が検出された場合に発光する。   The LED 140 operates based on a signal received from the communication unit 110. Examples of the signal supplied to the LED 140 include a signal indicating emission intensity, a signal indicating emission color, a signal indicating temporal change of at least one of the emission intensity and color, and the like. The LED 140 is an example of an output unit. As an output part, the audio | voice output part which outputs an audio | voice etc. other than light emission parts, such as LED140, can be illustrated. The LED 140 emits light when the approach of a person is detected by the detection of the infrared sensor 130.

上述のように本実施形態のカメラ部100(センサユニット)は、メモリを有していない。これは、カメラ部100(センサユニット)を落としたり、盗まれたたりした場合でもユーザ6の個人情報を流出させないためである。なお、カメラ部100(センサユニット)にメモリを設ける場合(例えばバッファメモリを設ける場合)でも、通信部110によりデータを送信した場合や、所定時間経過後(例えば数時間)にメモリのデータを削除するようにしたり、カメラ部100の不図示のケーシングが開かれたことに応じてメモリのデータを削除するようにすればよい。また、カメラ部100(センサユニット)に表示部を設けないことにより、メモリに記憶されたデータが表示できないようにしてもよい。   As described above, the camera unit 100 (sensor unit) of the present embodiment does not have a memory. This is because the personal information of the user 6 is not leaked even when the camera unit 100 (sensor unit) is dropped or stolen. Even when a memory is provided in the camera unit 100 (sensor unit) (for example, when a buffer memory is provided), the data in the memory is deleted when data is transmitted by the communication unit 110 or after a predetermined time has elapsed (for example, several hours). The data in the memory may be deleted when the casing (not shown) of the camera unit 100 is opened. Further, by not providing a display unit in the camera unit 100 (sensor unit), the data stored in the memory may not be displayed.

CPU20、カメラ部100との通信に応じて、ミュージックプレーヤ200の制御を指示する。具体的には、CPU20は、カメラ部100から通信により取得したカメラ部100の各センサの出力に応じて、ミュージックプレーヤ200の制御を指示する。   Control of the music player 200 is instructed according to communication with the CPU 20 and the camera unit 100. Specifically, the CPU 20 instructs the control of the music player 200 according to the output of each sensor of the camera unit 100 acquired from the camera unit 100 by communication.

ミュージックプレーヤ200の機能構成について説明する。ミュージックプレーヤ200は、CPU220、音量制御部230、および、通信部210を有する。   A functional configuration of the music player 200 will be described. The music player 200 includes a CPU 220, a volume control unit 230, and a communication unit 210.

通信部210は、スマートフォン10と通信する。音量制御部230は、CPU220の制御により、ミュージックプレーヤ200から出力される音量を制御する。具体的には、音量制御部230は、ミュージックプレーヤ200から出力される音量を低下させる。音量制御部230は、ミュージックプレーヤ200からの音の出力を、予め定められた期間にわたって一時的に停止させてよい。   The communication unit 210 communicates with the smartphone 10. The volume control unit 230 controls the volume output from the music player 200 under the control of the CPU 220. Specifically, the volume control unit 230 reduces the volume output from the music player 200. The volume controller 230 may temporarily stop the output of the sound from the music player 200 over a predetermined period.

具体的には、通信部210は、通信部90から送信されたデータを受信する。通信部210は、受信した無線信号を復調して受信データを生成し、CPU220に出力する。CPU220は、受信データに基づいて、音量制御部230を制御する。例えば、CPU220は、音量を制御する信号を、音量制御部230に出力する。また、CPU220は、スマートフォン10宛の送信データを、通信部210に出力する。通信部210は、受け取った送信データを変調して、無線信号で外部に送出する。スマートフォン10宛の送信データとしては、現在の音量情報等を例示することができる。   Specifically, the communication unit 210 receives data transmitted from the communication unit 90. The communication unit 210 demodulates the received radio signal to generate reception data, and outputs it to the CPU 220. CPU 220 controls volume control unit 230 based on the received data. For example, the CPU 220 outputs a signal for controlling the volume to the volume control unit 230. In addition, the CPU 220 outputs transmission data addressed to the smartphone 10 to the communication unit 210. The communication unit 210 modulates the received transmission data and sends it to the outside as a radio signal. Examples of transmission data addressed to the smartphone 10 include current volume information.

通信部90、通信部110、通信部210における無線通信に適用できる無線通信には、Bluetooth(登録商標)等の近距離無線通信規格等、種々の無線通信規格に準拠した無線通信を適用できる。   For wireless communication applicable to wireless communication in the communication unit 90, the communication unit 110, and the communication unit 210, wireless communication based on various wireless communication standards such as short-range wireless communication standards such as Bluetooth (registered trademark) can be applied.

図3は、システム5において実行される処理を示すフローの一例を示す。ステップS302において、スマートフォン10のCPU20は、時計30から日時データを取得するとともに、GPS信号検出部40からGPSデータを取得して、現在の時間および位置の状況を確認する。具体的には、CPU20は、日時データから現在時刻を特定する。また、CPU20は、GPSデータから現在位置を特定する。また、CPU20は、メモリ60に記憶されている地図情報を取得する。地図情報には、道幅情報等の道情報が含まれる。CPU20は、地図情報および現在位置に基づいて、現在位置における構造物の種別を特定する。また、CPU20は、現在位置が道路上にある場合、地図情報に基づいて、現在位置における道幅を特定してよい。   FIG. 3 shows an example of a flow showing processing executed in the system 5. In step S <b> 302, the CPU 20 of the smartphone 10 acquires date / time data from the clock 30 and also acquires GPS data from the GPS signal detection unit 40 to confirm the current time and position status. Specifically, the CPU 20 specifies the current time from the date / time data. Further, the CPU 20 specifies the current position from the GPS data. In addition, the CPU 20 acquires map information stored in the memory 60. The map information includes road information such as road width information. The CPU 20 specifies the type of the structure at the current position based on the map information and the current position. Further, when the current position is on the road, the CPU 20 may specify the width of the road at the current position based on the map information.

ステップS304において、CPU20は、カメラ部100の起動を行うか否かを判断する。例えば、CPU20は、現在時刻および現在位置に基づいて、カメラ部100の起動を行うか否かを判断する。本処理の詳細については、図4に関連して説明する。   In step S <b> 304, the CPU 20 determines whether to activate the camera unit 100. For example, the CPU 20 determines whether to activate the camera unit 100 based on the current time and the current position. Details of this processing will be described with reference to FIG.

ステップS304の判断においてカメラ部100の起動を行うと判断された場合、照度計150およびマイク160をONさせて、照度計150およびマイク160による検出を開始させる(ステップS306)。具体的には、CPU20は、照度計150およびマイク160をONする旨の送信データを、カメラ部100宛に、通信部90に無線通信で送信させる。   If it is determined in step S304 that the camera unit 100 is to be activated, the illuminance meter 150 and the microphone 160 are turned on to start detection by the illuminance meter 150 and the microphone 160 (step S306). Specifically, the CPU 20 causes the communication unit 90 to transmit transmission data for turning on the illuminance meter 150 and the microphone 160 to the camera unit 100 by wireless communication.

続いて、ステップS308において、CPU20は、周囲状況を確認する。具体的には、CPU20は、照度計150で検出された照度を示すデータと、マイク160で検出された音を示すデータとを、無線通信でカメラ部100から取得する。   Subsequently, in step S308, the CPU 20 checks the surrounding situation. Specifically, the CPU 20 acquires data indicating the illuminance detected by the illuminance meter 150 and data indicating the sound detected by the microphone 160 from the camera unit 100 by wireless communication.

ステップS310において、CPU20は、接近物の検出を実行するか否かを判断する。具体的には、CPU20は、ステップS308における確認結果に基づいて、接近物の検出を実行するか否かを判断する。本処理の詳細については、図5に関連して説明する。   In step S310, the CPU 20 determines whether to detect an approaching object. Specifically, the CPU 20 determines whether to perform detection of an approaching object based on the confirmation result in step S308. Details of this processing will be described with reference to FIG.

ステップS310の判断においてユーザ6の背後からの接近物の検出を実行すると判断された場合、カメラ部100は、赤外線センサ130をONして、赤外線センサ130による接近物の検出を開始する(ステップS312)。具体的には、CPU20は、赤外線センサ130をONする旨の送信データを、カメラ部100宛に、通信部90に無線通信で送信させる。赤外線センサ130は、照度計150およびマイク160の検出結果に応じて、検出を開始する。   When it is determined in step S310 that the approaching object from the back of the user 6 is to be detected, the camera unit 100 turns on the infrared sensor 130 and starts detecting the approaching object by the infrared sensor 130 (step S312). ). Specifically, the CPU 20 causes the communication unit 90 to transmit transmission data for turning on the infrared sensor 130 to the camera unit 100 by wireless communication. Infrared sensor 130 starts detection according to the detection results of illuminometer 150 and microphone 160.

続いて、ステップS314において、CPU20は、接近物の有無を判断する。例えば、CPU20は、無線通信でカメラ部100から取得た赤外線センサ130の検出データに基づいて、接近物の有無を判断する。例えば、CPU20は、赤外線センサ130による検出データの時間変化に基づいて、接近物の有無を判断する。例えば、CPU20は、赤外線強度の時間変化に基づいて、接近物の有無を判断する。CPU20は、赤外線強度が時間的に増加する場合に、接近物が存在すると判断する。また、赤外線センサ130が2次元の赤外線センサである場合、CPU20は、2次元の赤外線の輝度情報の時間変化に基づいて、接近物の有無を判断する。例えば、赤外画像から抽出されたオブジェクトの大きさの時間変化に基づいて、接近物の有無を判断する。より具体的には、予め定められた形状のオブジェクトの大きさが時間的に増加する場合に、接近物が存在すると判断する。   Subsequently, in step S314, the CPU 20 determines whether there is an approaching object. For example, the CPU 20 determines the presence or absence of an approaching object based on detection data of the infrared sensor 130 acquired from the camera unit 100 by wireless communication. For example, the CPU 20 determines the presence or absence of an approaching object based on the time change of detection data from the infrared sensor 130. For example, the CPU 20 determines the presence or absence of an approaching object based on the time change of the infrared intensity. The CPU 20 determines that an approaching object exists when the infrared intensity increases with time. Further, when the infrared sensor 130 is a two-dimensional infrared sensor, the CPU 20 determines the presence or absence of an approaching object based on the temporal change of the two-dimensional infrared luminance information. For example, the presence / absence of an approaching object is determined based on the temporal change in the size of the object extracted from the infrared image. More specifically, it is determined that an approaching object exists when the size of an object having a predetermined shape increases with time.

ステップS314の判断において接近物があると判断された場合、カメラ部100は、撮像を開始する(ステップS316)。具体的には、CPU20は、カメラ120に撮像を開始させる旨の送信データを、カメラ部100宛に、通信部90に無線通信で送信させる。このように、CPU20は、赤外線センサ130の検出結果に応じて、照度計150、マイク160および赤外線センサ130とは異なる検出部であるカメラ120に、検出を指示する。   When it is determined in step S314 that there is an approaching object, the camera unit 100 starts imaging (step S316). Specifically, the CPU 20 causes the communication unit 90 to transmit transmission data for instructing the camera 120 to start imaging to the camera unit 100 by wireless communication. As described above, the CPU 20 instructs the camera 120, which is a detection unit different from the illuminance meter 150, the microphone 160, and the infrared sensor 130, according to the detection result of the infrared sensor 130.

続いて、カメラ部100は、LED140を点灯する(ステップS318)。具体的には、CPU20は、LED140を点灯させる旨の送信データを、カメラ部100宛に、通信部90に無線通信で送信させる。CPU20は、LED140が発光できる最大発光強度の50%の発光強度で、LED140に発光させてよい。CPU20は、LED140に発光させる発光強度を示す情報を含む送信データを送信させてよい。また、CPU20は、LED140に発光させる発光パターンを指示する送信データを、カメラ部100宛に送信させてよい。このように、CPU20は、時計30、顔検出部50、照度計150、マイク160、赤外線センサ130、カメラ120等のセンサの検出結果に応じて、LED140に出力を指示することができる。特に、赤外線センサ130により接近物が検出された場合等、赤外線センサ130の検出結果に応じてLED140を発光させる。このため、周囲の状況に応じて適切なタイミングでLED140を点灯させることにより、ユーザ6が背後に接近者に気がついていることを、接近者へ知らせることができる。また、CPU20は、カメラ部100による撮像を行なうときにLED140を点灯させることにより、盗撮ではないことを周囲に報知可能となる。   Subsequently, the camera unit 100 turns on the LED 140 (step S318). Specifically, the CPU 20 causes the communication unit 90 to transmit the transmission data for lighting the LED 140 to the camera unit 100 by wireless communication. The CPU 20 may cause the LED 140 to emit light with a light emission intensity of 50% of the maximum light emission intensity that the LED 140 can emit. CPU20 may transmit the transmission data containing the information which shows the emitted light intensity which LED140 is made to light-emit. Further, the CPU 20 may transmit transmission data for instructing the light emission pattern to be emitted by the LED 140 to the camera unit 100. Thus, the CPU 20 can instruct the LED 140 to output in accordance with detection results of sensors such as the clock 30, the face detection unit 50, the illuminance meter 150, the microphone 160, the infrared sensor 130, and the camera 120. In particular, when an approaching object is detected by the infrared sensor 130, the LED 140 is caused to emit light according to the detection result of the infrared sensor 130. For this reason, it is possible to notify the approaching person that the user 6 is aware of the approaching person behind by turning on the LED 140 at an appropriate timing according to the surrounding situation. Further, the CPU 20 can notify the surroundings that it is not a sneak shot by turning on the LED 140 when taking an image with the camera unit 100.

続いて、ステップS320において、ユーザ6への通知を実行するか否かを判断する。具体的には、CPU20は、カメラ120で撮像することにより得られた画像データを、無線通信でカメラ部100から取得し、取得した画像データに基づいて、メモリ60に顔のデータが記憶されていない見知らぬ人物である場合や、メモリ60に要注意人物として登録されている人物の場合にユーザ6への通知を行なうと判断する。   Subsequently, in step S320, it is determined whether to notify the user 6 or not. Specifically, the CPU 20 acquires image data obtained by imaging with the camera 120 from the camera unit 100 by wireless communication, and the face data is stored in the memory 60 based on the acquired image data. It is determined that the user 6 is notified when the person is not a stranger or is a person who is registered as a person requiring attention in the memory 60.

S320の判断においてユーザ6へ通知する判断された場合、ユーザへ通知し(ステップS322)、本処理を終了する。例えば、ステップS322において、CPU20は、振動部70を振動させる。また、CPU20は、ミュージックプレーヤ200の音量を下げることにより、ユーザ6へ通知する。具体的には、CPU20は、音量を下げる旨の送信データを、ミュージックプレーヤ200宛に、通信部90に無線通信で送信させる。CPU20は、ミュージックプレーヤ200から出力されている現在の音量が予め定められた音量以上であることを条件として、ミュージックプレーヤ200の音量を低下させてもよい。また、CPU20は、ミュージックプレーヤ200が有する外部スピーカから外部へむけて音を出力させてもよい。   If it is determined to notify the user 6 in the determination of S320, the user is notified (step S322), and this process is terminated. For example, in step S322, the CPU 20 vibrates the vibration unit 70. Further, the CPU 20 notifies the user 6 by lowering the volume of the music player 200. Specifically, the CPU 20 causes the communication unit 90 to transmit transmission data for decreasing the volume to the music player 200 by wireless communication. The CPU 20 may decrease the volume of the music player 200 on condition that the current volume output from the music player 200 is equal to or higher than a predetermined volume. Further, the CPU 20 may output sound from an external speaker of the music player 200 to the outside.

ステップS320の判断においてユーザ6への通知を実行しないと判断された場合、S302に処理を移行する。また、本フローのステップS310の判断において接近物の検出を実行しないと判断された場合も、ステップS302に処理を移行する。また、本フローのステップS314の判断において接近物がないと判断された場合も、ステップS302に処理を移行する。また、本フローのステップS304の判断においてカメラ部100の起動を行わないと判断された場合、カメラ部100に設けられたカメラ120、赤外線センサ130、照度計150、マイク160をOFFにし(ステップS324)、ステップS302に処理を進める。   If it is determined in step S320 that notification to the user 6 is not to be executed, the process proceeds to S302. Also, if it is determined in step S310 of this flow that the approaching object is not detected, the process proceeds to step S302. If it is determined in step S314 of this flow that there is no approaching object, the process proceeds to step S302. If it is determined in step S304 in this flow that the camera unit 100 is not activated, the camera 120, the infrared sensor 130, the illuminance meter 150, and the microphone 160 provided in the camera unit 100 are turned off (step S324). ), The process proceeds to step S302.

図4は、ステップS304で実行されるフローの一例を示す。ステップS302に続いて、CPU20は、現在時刻に基づいて、夜間であるか否かを判断する(ステップS402)。例えば、CPU20は、現在時刻が19時以降である場合に、夜間であると判断する。また、CPU20は、現在時刻が6時以前である場合に、夜間であると判断する。このように、CPU20は、現在時刻が、夜間の時間帯として予め定められた時間帯に属する場合に、夜間であると判断する。   FIG. 4 shows an example of the flow executed in step S304. Following step S302, the CPU 20 determines whether it is nighttime based on the current time (step S402). For example, the CPU 20 determines that it is nighttime when the current time is after 19:00. Further, the CPU 20 determines that it is nighttime when the current time is before 6 o'clock. In this way, the CPU 20 determines that it is night when the current time belongs to a time zone that is predetermined as a night time zone.

ステップS402で夜間であると判断された場合、現在位置が建物内部であるか否かを判断する(ステップS404)。具体的には、CPU20は、現在位置と、メモリ60に記憶された地図情報とに基づいて、現在位置が建物内であるか否かを判断する。ステップS404で建物内でないと判断された場合は、ステップS306に進む。ステップS404で建物内と判断された場合は、ステップS324に進む。ステップS402で夜間でないと判断された場合も、ステップS324に進む。   If it is determined in step S402 that it is nighttime, it is determined whether or not the current position is inside the building (step S404). Specifically, the CPU 20 determines whether or not the current position is in a building based on the current position and map information stored in the memory 60. If it is determined in step S404 that it is not in the building, the process proceeds to step S306. If it is determined in step S404 that it is in the building, the process proceeds to step S324. If it is determined in step S402 that it is not nighttime, the process proceeds to step S324.

このように、CPU20は、夜間であり、かつ、ユーザ6が建物外にいると判断した場合に、カメラ部100の起動を行うと判断する。このため、時間や場所の情報を利用して、適切なタイミングでカメラ部100を起動して、照度計150およびマイク160に検出を開始させることができる。このように、CPU20は、位置の検出結果および時刻の検出結果に応じて、通信部90を介してカメラ部100が有する照度計150およびマイク160に検出を指示する。   As described above, the CPU 20 determines that the camera unit 100 is to be activated when it is determined that it is nighttime and the user 6 is outside the building. For this reason, using the time and place information, the camera unit 100 can be activated at an appropriate timing to cause the illuminometer 150 and the microphone 160 to start detection. As described above, the CPU 20 instructs the illuminometer 150 and the microphone 160 included in the camera unit 100 to perform detection via the communication unit 90 in accordance with the position detection result and the time detection result.

なお、ステップS404において、建物内であるか否かの判断に加えて、CPU20は、現在位置における道幅が予め定められた値(例えば数メートル)以上であるか否かを判断してよい。現在位置における道幅が予め定められた値以上でないと判断された場合に、ステップS306に処理を進めてよい。現在位置における道幅が予め定められた値より小さいと判断された場合に、ステップS306に処理を進めてよい。このように、CPU20は、道幅に関するデータに基づいて照度計150に検出を指示することができる。また、CPU20は、道幅に関するデータに基づいてマイク160に検出を指示することができる。これは、引ったくりなどの犯罪が広い道から細い道へ曲がった際に発生することが多いためである。このため、CPU20は、GPS信号検出部40の検出結果と、メモリ60に記憶されている道幅のデータとから、ユーザ6が相対的に広い道から細い道に移動したときにステップS306の処理を進めてもよい。この場合、CPU20は、ユーザ6の歩行速度が通常の歩行速度(平均歩行速度)程度以下である場合にステップS6の処理を進め、ユーザ6の歩行速度が通常の歩行速度(平均歩行速度)よりも速い場合にはステップS306の処理を行わないようにしてもよい。   In step S404, in addition to determining whether or not the vehicle is inside the building, the CPU 20 may determine whether or not the road width at the current position is greater than or equal to a predetermined value (for example, several meters). If it is determined that the road width at the current position is not equal to or greater than a predetermined value, the process may proceed to step S306. When it is determined that the road width at the current position is smaller than a predetermined value, the process may proceed to step S306. In this way, the CPU 20 can instruct the illuminometer 150 to detect based on the road width data. In addition, the CPU 20 can instruct the microphone 160 to perform detection based on the road width data. This is because crimes such as snatching often occur when turning from a wide road to a narrow road. Therefore, the CPU 20 performs the process of step S306 when the user 6 moves from a relatively wide road to a narrow road from the detection result of the GPS signal detection unit 40 and the road width data stored in the memory 60. You may proceed. In this case, when the walking speed of the user 6 is equal to or lower than the normal walking speed (average walking speed), the CPU 20 proceeds with the process of step S6, and the walking speed of the user 6 is higher than the normal walking speed (average walking speed). If it is too fast, the process of step S306 may not be performed.

また、CPU20は、ユーザ6が細い道から広い道に移動したときや、ユーザ6の歩行速度が通常の歩行速度(平均歩行速度)よりも15%程度速いときに図3のフローチャートを終了させるようにしてもよい。   Further, the CPU 20 ends the flowchart of FIG. 3 when the user 6 moves from a narrow road to a wide road or when the walking speed of the user 6 is about 15% faster than the normal walking speed (average walking speed). It may be.

図5は、ステップS310で実行されるフローの一例を示す。ステップS308に続いて、CPU20は、照度計150で検出された照度が予め定められた照度の基準値以下であるか否かを判断する(ステップS502)。ステップS502で照度の基準値以下と判断された場合、ステップS504において、マイク160で検出された音量が予め定められた基準値以下であるか否かを判断する(ステップS504)。ステップS504の判断において検出された音量が予め定められた基準値以下であると判断された場合、ステップS312に進む。   FIG. 5 shows an example of the flow executed in step S310. Subsequent to step S308, the CPU 20 determines whether or not the illuminance detected by the illuminometer 150 is equal to or less than a predetermined illuminance reference value (step S502). If it is determined in step S502 that the illuminance is not more than the reference value, it is determined in step S504 whether the volume detected by the microphone 160 is not more than a predetermined reference value (step S504). If it is determined in step S504 that the detected volume is equal to or lower than a predetermined reference value, the process proceeds to step S312.

また、ステップS504の判断において、検出された音量が予め定められた基準値を超えると判断された場合、ステップS302に進む。ステップS502の判断において、検出された照度が予め定められた照度の基準値を超えると判断された場合も、ステップS302に進む。   If it is determined in step S504 that the detected volume exceeds a predetermined reference value, the process proceeds to step S302. If it is determined in step S502 that the detected illuminance exceeds the predetermined illuminance reference value, the process also proceeds to step S302.

このように、CPU20は、検出された照度が予め定められた基準照度以下であり、かつ、検出された音量が予め定められた基準音量以下である場合に、赤外線センサ130に接近物を検出させると判断する。このため、赤外線センサ130は、照度計150が予め定められた明るさ以下の明るさを検出し、マイク160が予め定められた値以下の音量を検出したときに、人の検出を行うための情報を検出することができる。このため、暗く静かな場所になった場合のように、適切なタイミングで接近物の検出を開始することができる。このように、CPU20は、照度計150の検出結果に応じて、照度計150とは異なる赤外線センサ130に検出を指示する。また、CPU20は、マイク160の検出結果に応じて、照度計150およびマイク160とは異なる赤外線センサ130に検出を指示する。   As described above, the CPU 20 causes the infrared sensor 130 to detect an approaching object when the detected illuminance is equal to or lower than the predetermined reference illuminance and the detected sound volume is equal to or lower than the predetermined reference sound volume. Judge. For this reason, the infrared sensor 130 detects a person when the illuminance meter 150 detects a brightness equal to or lower than a predetermined brightness, and the microphone 160 detects a sound volume equal to or lower than a predetermined value. Information can be detected. For this reason, detection of an approaching object can be started at an appropriate timing, as in a dark and quiet place. As described above, the CPU 20 instructs the infrared sensor 130 different from the illuminometer 150 to perform detection according to the detection result of the illuminometer 150. Further, the CPU 20 instructs the infrared sensor 130 different from the illuminance meter 150 and the microphone 160 to perform detection according to the detection result of the microphone 160.

ここでは、予め定められた明るさ以下の明るさが検出され、予め定められた値以下の音量が検出された場合に、赤外線センサ130に検出させるとした。しかし、CPU20は、マイク160で検出された音の種類に応じて、赤外線センサ130に検出させてもよい。例えば、CPU20は、予め定められた条件に適合する周波数の音が検出された場合に、赤外線センサ130に検出させてもよい。予め定められた条件に適合する周波数としては、靴音等の足音の周波数を例示することができる。また、予め定められた条件に適合する周波数として、電車、バイク等の車両のエンジン音やモータ音、車両の走行音等の周波数等を例示することができる。これは、バイクの急接近に加えて、電車などの騒音により周囲の音(例えば悲鳴)がかき消されてしまうときの様子を検出するためである。すなわち、赤外線センサ130は、照度計150が予め定められた明るさ以下の明るさを検出し、マイク160が予め定められた種類の音を検出した場合に、人の検出を行うための情報を検出してよい。   Here, when the brightness below the predetermined brightness is detected and the sound volume below the predetermined value is detected, the infrared sensor 130 is made to detect. However, the CPU 20 may cause the infrared sensor 130 to detect depending on the type of sound detected by the microphone 160. For example, the CPU 20 may cause the infrared sensor 130 to detect when a sound having a frequency that meets a predetermined condition is detected. An example of the frequency that meets the predetermined condition is the frequency of footsteps such as shoe sounds. Further, examples of frequencies that meet predetermined conditions include frequencies such as engine sounds and motor sounds of vehicles such as trains and motorcycles, and traveling sounds of vehicles. This is to detect a situation when a surrounding sound (for example, scream) is drowned out due to noise from a train or the like in addition to a sudden approach of a motorcycle. That is, the infrared sensor 130 detects information for detecting a person when the illuminance meter 150 detects a brightness equal to or lower than a predetermined brightness and the microphone 160 detects a predetermined type of sound. May be detected.

また、CPU20は、明るさに予め定められた変化があり、音に予め定められた変化があったときに、赤外線センサ130に検出させてもよい。すなわち、赤外線センサ130は、照度計150が検出する明るさに予め定められた変化があり、マイク160が検出する音に予め定められた変化があったときに、人の検出を行うための情報を検出してよい。例えば、明るさが急に明るくなり、音が急に大きくなったときに、赤外線センサ130に検出させてよい。このため、電車、バイク等の車両により生じ得る周囲環境の変化を適切に検出して、赤外線センサ130による検出を開始させることができる。   Further, the CPU 20 may cause the infrared sensor 130 to detect when there is a predetermined change in brightness and there is a predetermined change in sound. That is, the infrared sensor 130 is information for detecting a person when there is a predetermined change in the brightness detected by the illuminance meter 150 and there is a predetermined change in the sound detected by the microphone 160. May be detected. For example, the infrared sensor 130 may detect when the brightness suddenly increases and the sound suddenly increases. For this reason, it is possible to appropriately detect a change in the surrounding environment that may be caused by a vehicle such as a train or a motorcycle, and to start detection by the infrared sensor 130.

システム5によれば、時間や状況等により危険性が変化する区域でも、適切なタイミングで周囲環境を検出するセンサに検出を開始させることができる。そして、検出を開始したセンサの検出結果に応じて、適切なタイミングで他のセンサに順次に検出を開始させることができる。そして、各種センサによる検出結果に応じて、必要なタイミングでユーザ6に検出結果を通知することができる。このため、ユーザにとって使い勝手の良い防犯システムを提供できる。   According to the system 5, even in an area where the risk changes depending on time, situation, etc., the sensor that detects the surrounding environment can start detection at an appropriate timing. And according to the detection result of the sensor which started the detection, the other sensors can be made to start the detection sequentially at an appropriate timing. And according to the detection result by various sensors, a user 6 can be notified of a detection result at a required timing. For this reason, a user-friendly crime prevention system can be provided.

以上の説明において、人の接近を検出するための検出部として、赤外線センサ130を例示した。人の接近を検出するための検出部としては、超音波センサ等、赤外線センサ130以外の種々のセンサを適用できる。また、当該検出部として、位置や距離を測定できる種々のセンサを適用できる。例えば、当該検出部として、レーザ測距センサ等を適用できる。   In the above description, the infrared sensor 130 has been exemplified as a detection unit for detecting the approach of a person. As a detection unit for detecting the approach of a person, various sensors other than the infrared sensor 130 such as an ultrasonic sensor can be applied. Various sensors that can measure the position and distance can be applied as the detection unit. For example, a laser distance sensor or the like can be applied as the detection unit.

また、以上の説明ではスマートフォン10が速度計80を備えるとしたが、速度計はカメラ部100等、スマートフォン10以外の外部機器が備えてよい。そして、スマートフォン10が、当該外部機器で計測された速度を示す情報を通信によって取得してよい。   In the above description, the smartphone 10 includes the speedometer 80. However, the speedometer may be provided in an external device other than the smartphone 10, such as the camera unit 100. And the smart phone 10 may acquire the information which shows the speed measured with the said external apparatus by communication.

また、以上の説明では、CPU20が、カメラ部100が有する各センサの検出結果を取得して解析し、CPU20の指示により、カメラ部100の各センサの検出動作が制御されるとした。しかし、CPU20の機能を、カメラ部100が有してよい。例えば、カメラ部100において、照度計150およびマイク160の検出結果が解析され、解析結果に応じて赤外線センサ130に検出を行わせてよい。   In the above description, the CPU 20 acquires and analyzes the detection result of each sensor included in the camera unit 100, and the detection operation of each sensor of the camera unit 100 is controlled by an instruction from the CPU 20. However, the camera unit 100 may have the function of the CPU 20. For example, the camera unit 100 may analyze the detection results of the illuminance meter 150 and the microphone 160 and cause the infrared sensor 130 to perform detection according to the analysis results.

上記の説明において、CPU20の動作として説明した処理は、CPU20がプログラムに従ってスマートフォン10が有する各ハードウェアを制御することにより実現される。CPU220の動作として説明した処理は、CPU220がプログラムに従ってミュージックプレーヤ200が有する各ハードウェアを制御することにより実現される。カメラ部100の機能についても同様である。すなわち、本実施形態のスマートフォン10、カメラ部100、ミュージックプレーヤ200等に関連して説明した処理は、プロセッサがプログラムに従って動作して各ハードウェアを制御することにより、プロセッサ、メモリ等を含む各ハードウェアとプログラムとが協働して動作することにより実現することができる。すなわち、当該処理を、いわゆるコンピュータ装置によって実現することができる。コンピュータ装置は、上述した処理の実行を制御するプログラムをロードして、読み込んだプログラムに従って動作して、当該処理を実行してよい。コンピュータ装置は、当該プログラムを記憶しているコンピュータ読取可能な記録媒体から当該プログラムをロードすることができる。   In the above description, the processing described as the operation of the CPU 20 is realized by the CPU 20 controlling each hardware of the smartphone 10 according to a program. The processing described as the operation of the CPU 220 is realized by the CPU 220 controlling each hardware of the music player 200 according to the program. The same applies to the function of the camera unit 100. That is, the processing described in relation to the smartphone 10, the camera unit 100, the music player 200, and the like according to the present embodiment is performed by each processor including a processor, a memory, and the like when the processor operates according to a program and controls each hardware. It can be realized by the hardware and the program operating in cooperation. That is, the process can be realized by a so-called computer device. The computer device may load a program for controlling the execution of the above-described process, operate according to the read program, and execute the process. The computer device can load the program from a computer-readable recording medium storing the program.

なお、スマートフォン10の機能は、種々の電子機器に組み込むことができる。例えば、スマートフォンに限らず、携帯電話、PDA等の情報携帯端末、携帯型のゲーム機器、タブレット等を含むパーソナルコンピュータ、カメラ、ビデオカメラ、音声レコーダ、時計等に、スマートフォン10の機能を組み込むことができる。また、ミュージックプレーヤ200自体に、スマートフォン10の機能を組み込むこともできる。また、カメラ部100の機能も、種々の電子機器に組み込むことができる。例えば、カメラ部100の機能を、髪留め等のアクセサリに組み込むことで、アクセサリを電子機器として適用できる。なお、カメラ部100の検出機能のうち一部のセンサを、他のセンサが設けられた電子機器とは分離した電子機器に設けてよい。例えば、カメラ120の機能を、他のセンサとは分離した電子機器に設けてよい。カメラ部100の機能のうち少なくともカメラ120は、ユーザ6の背後を少なくとも撮像できる位置に設けられることが望ましい。また、赤外線センサ130も、ユーザ6の背後を少なくとも検出できる位置に設けられることが望ましい。しかし、カメラ120や赤外線センサ130による検出範囲は、ユーザ6の背後に限られないことは言うまでもない。また、ミュージックプレーヤ200は、音楽の再生に用いる電子機器に限られない。ミュージックプレーヤ200の機能を、音声再生機能付きの音声レコーダ等、種々の音声再生装置に組み込むことができる。   Note that the function of the smartphone 10 can be incorporated into various electronic devices. For example, the function of the smartphone 10 can be incorporated in a personal computer, a camera, a video camera, an audio recorder, a clock, and the like including not only a smartphone but also an information portable terminal such as a mobile phone and a PDA, a portable game device, a tablet, and the like. it can. Further, the function of the smartphone 10 can be incorporated in the music player 200 itself. The function of the camera unit 100 can also be incorporated into various electronic devices. For example, by incorporating the function of the camera unit 100 into an accessory such as a hair clip, the accessory can be applied as an electronic device. Note that some of the detection functions of the camera unit 100 may be provided in an electronic device separated from an electronic device in which other sensors are provided. For example, the function of the camera 120 may be provided in an electronic device separated from other sensors. Of the functions of the camera unit 100, at least the camera 120 is desirably provided at a position where at least the back of the user 6 can be imaged. In addition, the infrared sensor 130 is also preferably provided at a position where at least the back of the user 6 can be detected. However, it goes without saying that the detection range by the camera 120 and the infrared sensor 130 is not limited to the back of the user 6. The music player 200 is not limited to an electronic device used for music playback. The function of the music player 200 can be incorporated into various audio reproducing devices such as an audio recorder with an audio reproducing function.

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。   As mentioned above, although this invention was demonstrated using embodiment, the technical scope of this invention is not limited to the range as described in the said embodiment. It will be apparent to those skilled in the art that various modifications or improvements can be added to the above-described embodiment. It is apparent from the scope of the claims that the embodiments added with such changes or improvements can be included in the technical scope of the present invention.

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。   The order of execution of each process such as operations, procedures, steps, and stages in the apparatus, system, program, and method shown in the claims, the description, and the drawings is particularly “before” or “prior to”. It should be noted that the output can be realized in any order unless the output of the previous process is used in the subsequent process. Regarding the operation flow in the claims, the description, and the drawings, even if it is described using “first”, “next”, etc. for convenience, it means that it is essential to carry out in this order. It is not a thing.

5 システム、6 ユーザ、7 GPS衛星、10 スマートフォン、20 CPU、30 時計、40 GPS信号検出部、50 顔検出部、60 メモリ、70 振動部、80 速度計、90 通信部、100 カメラ部、110 通信部、120 カメラ、130 赤外線センサ、140 LED、150 照度計、160 マイク、200 ミュージックプレーヤ、220 CPU、230 音量制御部、210 通信部   5 systems, 6 users, 7 GPS satellites, 10 smartphones, 20 CPUs, 30 clocks, 40 GPS signal detection units, 50 face detection units, 60 memories, 70 vibration units, 80 speedometers, 90 communication units, 100 camera units, 110 Communication unit, 120 camera, 130 infrared sensor, 140 LED, 150 illuminometer, 160 microphone, 200 music player, 220 CPU, 230 volume control unit, 210 communication unit

Claims (11)

明るさを検出する第1検出部と、
音を検出する第2検出部と、
前記第1検出部が所定の明るさ以下の明るさを検出し、前記第2検出部が所定の値以下の音量を検出し、人によって生じる所定の種類の音を検出すると、前記人の接近を検出するための情報の検出を開始する第3検出部と、
前記第3検出部の検出結果に基づいて、前記人が接近していると判断した場合、音声再生装置の音量制御を実施することを決定する制御部と、
を備える電子機器。
A first detection unit for detecting brightness;
A second detection unit for detecting sound;
When the first detection unit detects brightness below a predetermined brightness, the second detection unit detects a volume below a predetermined value, and detects a predetermined type of sound generated by a person, the approach of the person A third detector for starting detection of information for detecting
Based on a detection result of the third detecting unit, if the person is determined to be close, and a control unit that determines to implement the volume control of the audio reproduction apparatus,
Electronic equipment comprising.
前記所定の種類の音は、所定の周波数の音である
請求項1記載の電子機器。
The electronic apparatus according to claim 1 , wherein the predetermined type of sound is a sound having a predetermined frequency .
前記第3検出部は、赤外線センサを有する
請求項1または2記載の電子機器。
The electronic device according to claim 1, wherein the third detection unit includes an infrared sensor.
前記第3検出部は、撮像部を有する
請求項1から3のいずれか一項に記載の電子機器。
The electronic device according to claim 1, wherein the third detection unit includes an imaging unit.
前記第3検出部は、前記第1検出部が検出する明るさに予め定められた変化があり、前記第2検出部が検出する前記音に予め定められた変化があったときに、人の検出を行うための情報を検出する
請求項1から4のいずれか一項に記載の電子機器。
The third detection unit has a predetermined change in brightness detected by the first detection unit, and when there is a predetermined change in the sound detected by the second detection unit, The electronic apparatus according to claim 1, wherein information for detection is detected.
前記第3検出部の検出結果に応じて、発光する発光部を有する
請求項1から5のいずれか一項に記載の電子機器。
The electronic device according to claim 1, further comprising a light emitting unit that emits light according to a detection result of the third detection unit.
外部機器と通信可能な通信部を有する
請求項1から6のいずれか一項に記載の電子機器。
The electronic device according to claim 1, further comprising a communication unit capable of communicating with an external device.
前記通信部により通信したデータを削除する削除部を有する
請求項7記載の電子機器。
The electronic device according to claim 7, further comprising a deletion unit that deletes data communicated by the communication unit.
前記外部機器と着脱可能に係合する係合部を有する
請求項7または8に記載の電子機器。
The electronic device according to claim 7, further comprising an engaging portion that is detachably engaged with the external device.
前記音量制御は音量を下げる制御である請求項1から9のいずれか一項に記載の電子機器。   The electronic device according to claim 1, wherein the volume control is a control for decreasing a volume. 前記音声再生装置と通信する通信部をさらに有し、
前記制御部が音量制御を実施すると決定すると、前記音量制御の実施を指示する情報を前記通信部を介して前記音声再生装置に送信する請求項1から10のいずれか一項に記載の電子機器。
A communication unit that communicates with the audio reproduction device;
The electronic device according to any one of claims 1 to 10, wherein when the control unit determines to perform volume control, information that instructs execution of the volume control is transmitted to the audio reproduction device via the communication unit. .
JP2011278283A 2011-12-20 2011-12-20 Electronics Active JP6094027B2 (en)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2011278283A JP6094027B2 (en) 2011-12-20 2011-12-20 Electronics
PCT/JP2012/006343 WO2013094091A1 (en) 2011-12-20 2012-10-03 Electronic device
CN201280040382.XA CN103765860B (en) 2011-12-20 2012-10-03 Electronic equipment
US14/301,983 US9741241B2 (en) 2011-12-20 2014-06-11 Electronic device
US15/655,341 US10290207B2 (en) 2011-12-20 2017-07-20 Electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011278283A JP6094027B2 (en) 2011-12-20 2011-12-20 Electronics

Related Child Applications (2)

Application Number Title Priority Date Filing Date
JP2015186081A Division JP6146448B2 (en) 2015-09-18 2015-09-18 Electronics
JP2015186082A Division JP6241468B2 (en) 2015-09-18 2015-09-18 Electronics

Publications (2)

Publication Number Publication Date
JP2013131824A JP2013131824A (en) 2013-07-04
JP6094027B2 true JP6094027B2 (en) 2017-03-15

Family

ID=48909089

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011278283A Active JP6094027B2 (en) 2011-12-20 2011-12-20 Electronics

Country Status (1)

Country Link
JP (1) JP6094027B2 (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103765860B (en) 2011-12-20 2017-06-09 株式会社尼康 Electronic equipment
KR101637653B1 (en) * 2014-06-09 2016-07-07 박상래 Apparatus and intrusion sensing system for image passive infrared ray
WO2016063595A1 (en) * 2014-10-24 2016-04-28 ソニー株式会社 Image processing device, image processing method and program
JP6241468B2 (en) * 2015-09-18 2017-12-06 株式会社ニコン Electronics
JP7312598B2 (en) * 2019-04-24 2023-07-21 セコム株式会社 surveillance display
JP2024039193A (en) * 2022-09-09 2024-03-22 ソニーセミコンダクタソリューションズ株式会社 Information processing device, program, and information processing method

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB301346A (en) * 1927-08-25 1928-11-26 Geoffrey Hastings Improvements in or relating to show cards, panels, tablets, and the covers of writing cases and books, and the like
JP2001036775A (en) * 1999-07-16 2001-02-09 Hirobumi Osame Digital camera
DE19959881C1 (en) * 1999-12-13 2001-10-18 Cindatec Ingenieurtechnische D Method and arrangement for determining the topography for reaction signals of an eye
JP2003219062A (en) * 2002-01-21 2003-07-31 Nec Corp Mobile phone with crime-preventing function and crime- prevention adaptor for the mobile phone
JP2005018126A (en) * 2003-06-23 2005-01-20 Matsushita Electric Ind Co Ltd Crime preventing device
JP4285371B2 (en) * 2003-11-14 2009-06-24 株式会社デンソー Sound field control system
JP2005217589A (en) * 2004-01-28 2005-08-11 Matsushita Electric Ind Co Ltd Residence monitor apparatus and program thereof
JP4440710B2 (en) * 2004-06-09 2010-03-24 京セラ株式会社 Mobile phone
JP2006237733A (en) * 2005-02-22 2006-09-07 Fuji Photo Film Co Ltd Photographing device
JP2007043593A (en) * 2005-08-05 2007-02-15 Fujitsu Ltd Mobile phone system and mobile phone communication method
JP3121001U (en) * 2005-12-27 2006-04-27 善信 山本 Portable security camera system
JP4436814B2 (en) * 2006-06-01 2010-03-24 三洋電機株式会社 Communication device and server
JP2009071591A (en) * 2007-09-13 2009-04-02 Fujifilm Corp Monitoring device and monitoring method
JP2009075983A (en) * 2007-09-21 2009-04-09 Kyocera Corp Portable terminal and abnormality notifying method
JP5229720B2 (en) * 2008-04-02 2013-07-03 Necカシオモバイルコミュニケーションズ株式会社 Portable terminal device and program
JP5235698B2 (en) * 2009-01-20 2013-07-10 ソフトバンクモバイル株式会社 Communication terminal device and crime prevention system using the communication terminal device
JP2010206713A (en) * 2009-03-05 2010-09-16 Panasonic Electric Works Co Ltd Equipment control system
JP5491891B2 (en) * 2009-05-11 2014-05-14 パナソニック株式会社 Device management apparatus and program
JP5392122B2 (en) * 2010-02-01 2014-01-22 カシオ計算機株式会社 Power supply control device and electronic device including power supply control device
JP5410351B2 (en) * 2010-03-31 2014-02-05 綜合警備保障株式会社 Security device and security method

Also Published As

Publication number Publication date
JP2013131824A (en) 2013-07-04

Similar Documents

Publication Publication Date Title
WO2013094091A1 (en) Electronic device
JP6094027B2 (en) Electronics
KR101826189B1 (en) Always-on camera sampling strategies
JP6669240B1 (en) Recording control device, recording control system, recording control method, and recording control program
US9332392B1 (en) Remotely activating a combination of mobile device functions
JP6241468B2 (en) Electronics
JP6233375B2 (en) Electronics
JP6056139B2 (en) Electronics
CN113706807B (en) Method, device, equipment and storage medium for sending alarm information
JP7284919B2 (en) mobile terminal
JP6146448B2 (en) Electronics
JP2018078567A (en) Electronic apparatus
JP6655526B2 (en) Electronic device, control device, control program, and operation method of electronic device
WO2018096959A1 (en) Electronic device, control device and control program
US20220020260A1 (en) Mobile terminal
CN111583669B (en) Overspeed detection method, overspeed detection device, control equipment and storage medium
CN111815943B (en) Method, device and equipment for detecting vehicle parking times and storage medium
JP7397575B2 (en) Traffic light control device and traffic light control method
JP7272210B2 (en) mobile terminal
JP6872352B2 (en) Electronic devices, control devices, control programs and operating methods of electronic devices
JP6777743B2 (en) Electronic devices, control programs and operating methods of electronic devices
JP7272208B2 (en) mobile terminal
JP7272209B2 (en) mobile terminal
JP7272211B2 (en) mobile terminal
JP7272212B2 (en) mobile terminal

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160301

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160428

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160712

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160906

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170117

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170130

R150 Certificate of patent or registration of utility model

Ref document number: 6094027

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250