JP7319057B2 - Image pickup device and image pickup method - Google Patents

Image pickup device and image pickup method Download PDF

Info

Publication number
JP7319057B2
JP7319057B2 JP2019030049A JP2019030049A JP7319057B2 JP 7319057 B2 JP7319057 B2 JP 7319057B2 JP 2019030049 A JP2019030049 A JP 2019030049A JP 2019030049 A JP2019030049 A JP 2019030049A JP 7319057 B2 JP7319057 B2 JP 7319057B2
Authority
JP
Japan
Prior art keywords
imaging
unit
image
information
imaging device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019030049A
Other languages
Japanese (ja)
Other versions
JP2020136984A (en
Inventor
祐介 丸山
千尋 西片
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba IT and Control Systems Corp
Original Assignee
Toshiba IT and Control Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba IT and Control Systems Corp filed Critical Toshiba IT and Control Systems Corp
Priority to JP2019030049A priority Critical patent/JP7319057B2/en
Publication of JP2020136984A publication Critical patent/JP2020136984A/en
Application granted granted Critical
Publication of JP7319057B2 publication Critical patent/JP7319057B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Alarm Systems (AREA)
  • Image Analysis (AREA)

Description

本実施形態は、撮像対象を動画により撮像する画像撮像装置および画像撮像方法に関する。 The present embodiment relates to an image capturing apparatus and an image capturing method for capturing a moving image of an image capturing target.

監視カメラ等を用い、撮像対象を動画により撮像する画像撮像装置が知られている。 2. Description of the Related Art An imaging apparatus is known that uses a monitoring camera or the like to capture a moving image of an object to be imaged.

特開2016-111578号公報JP 2016-111578 A

近年、動画により撮像を行う画像撮像装置が、広く普及している。画像撮像装置は、建物の防犯用や、特定の監視用として屋内、屋外に設置される。画像撮像装置は、撮像対象に侵入者等の異常がある場合、この異常を検出し警報表示を行う。 2. Description of the Related Art In recent years, image capturing apparatuses that capture moving images have been widely used. Image pickup devices are installed indoors and outdoors for security purposes in buildings and for specific monitoring purposes. When there is an abnormality such as an intruder in an object to be imaged, the imaging apparatus detects this abnormality and displays an alarm.

防犯や監視を目的として、一つの撮像対象に対し複数台の画像撮像装置が設置される場合が多い。これらの複数の画像撮像装置は近接する場所に設置され、撮像対象が重複して撮影される。撮影された画像において、重複して撮像された箇所が識別されることが望ましい。しかしながら、撮像された画像は動画であるため撮像枚数が多く、重複部分を人手により識別することは、煩雑であるとともに不正確であるとの問題点があった。 2. Description of the Related Art For the purpose of crime prevention and surveillance, a plurality of imaging devices are often installed for one imaging target. These multiple imaging devices are installed in close proximity, and images of the imaging target are overlapped. It is desirable to identify redundantly captured locations in the captured images. However, since the captured images are moving images, there are a large number of captured images, and there is a problem that it is both complicated and inaccurate to manually identify overlapping portions.

また、異常を検出した一の画像撮像装置により出力された警報表示が、他の画像撮像装置により異常と誤認され、警報が出力されてしまう場合があるとの問題点があった。撮像対象に異常がない場合に、警報が出力されることは、甚だ不都合であった。撮像対象に異常がある場合のみ、警報が出力されることが望ましい。 In addition, there is a problem that an alarm display output by one imaging apparatus that has detected an abnormality may be misidentified as an abnormality by another imaging apparatus, and an alarm may be output. It is extremely inconvenient for an alarm to be output when there is no abnormality in the object to be imaged. It is desirable that an alarm be output only when there is an abnormality in the object to be imaged.

本実施形態は、上記問題点を解決するために、装置間で相互に情報伝達を行うことができる画像撮像装置および画像撮像方法を提供することを目的とする。 An object of the present embodiment is to provide an imaging apparatus and an imaging method capable of mutual information transmission between apparatuses in order to solve the above problems.

本実施形態の画像撮像装置は、次のような構成を有することを特徴とする。
(1)撮像対象を撮像する撮像部。
(2)画像撮像装置ごとに固有の光信号にて伝達情報を、撮像対象に投射する投射部。
(3)前記投射部により投射される伝達情報が、異常検出の対象としない部分を示す非検出領域情報を含み、前記非検出領域情報は、前記撮像対象の異常検出の対象としない部分に投射される。
The imaging apparatus of this embodiment is characterized by having the following configuration.
(1) An imaging unit that images an object to be imaged.
(2) A projection unit that projects transmission information onto an imaging target in the form of an optical signal unique to each imaging device.
(3) The transmission information projected by the projection unit includes non-detection area information indicating a portion not targeted for abnormality detection, and the non-detection region information is projected onto the portion not targeted for abnormality detection of the imaging target. be done.

画像撮像装置は、他の前記画像撮像装置から光信号にて投射された前記伝達情報を前記撮像部により受信し、前記撮像部により受信された前記伝達情報に基づき、他の前記画像撮像装置の情報を識別するようにしてもよい。 The image pickup device receives the transfer information projected as an optical signal from the other image pickup device by the image pickup unit, and based on the transfer information received by the image pickup unit, the other image pickup device Information may be identified.

画像撮像装置は、他の前記画像撮像装置から投射された前記非検出領域情報を前記撮像部により受信し、前記撮像部により受信された前記非検出領域情報に基づき、異常検出の対象としない部分を識別するようにしてもよい。 The image pickup device receives the non-detection area information projected from the other image pickup device by the image pickup unit, and detects a portion not to be an abnormality detection target based on the non-detection area information received by the image pickup unit. may be identified.

画像撮像装置は、前記伝達情報が、予め画像撮像装置ごと固有に定められた可視領域内または可視領域外の波長を有する光信号により投射されるようにしてもよい。 The image capturing device may project the transmission information by an optical signal having a wavelength within or outside the visible range predetermined uniquely for each image capturing device.

画像撮像装置は、前記伝達情報が、予め画像撮像装置ごと固有に定められた色、模様、電子透かし、図形、文字のうち少なくとも一つにより構成されるようにしてもよい。 In the imaging device, the transmission information may be composed of at least one of colors, patterns, electronic watermarks, graphics, and characters that are predetermined for each imaging device.

第1実施形態にかかる画像撮像装置の設置状態を示す図FIG. 2 is a diagram showing an installation state of the imaging device according to the first embodiment; 第1実施形態にかかる画像撮像装置の構成を示す外観図1 is an external view showing the configuration of an imaging device according to a first embodiment; FIG. 第1実施形態にかかる画像撮像装置の撮像部により撮像される領域を示す図FIG. 2 is a diagram showing an area imaged by an image capturing unit of the image capturing apparatus according to the first embodiment; 第1実施形態にかかる画像撮像装置により投射される伝達情報の例を示す図FIG. 4 is a diagram showing an example of transmission information projected by the imaging device according to the first embodiment; 第1実施形態にかかる画像撮像装置の画像解析部のプログラムのフローを示す図FIG. 2 is a diagram showing the program flow of the image analysis unit of the imaging apparatus according to the first embodiment; 第1実施形態にかかる画像撮像装置の投影調整部のプログラムのフローを示す図FIG. 4 is a diagram showing the program flow of the projection adjustment unit of the imaging apparatus according to the first embodiment;

[1.第1実施形態]
[1-1.構成]
図1~2を参照して本実施形態の一例としての画像撮像装置1について説明する。画像撮像装置1は、建物の防犯用や、特定の監視用として屋内、屋外に設置され、常時、撮像対象を動画により撮像する。画像撮像装置1は、例えば店舗における不審人物や、電力設備における侵入者等の異常を検出し、警報信号を出力する。
[1. First Embodiment]
[1-1. composition]
An image capturing apparatus 1 as an example of the present embodiment will be described with reference to FIGS. 1 and 2. FIG. The imaging device 1 is installed indoors or outdoors for crime prevention of a building or for specific monitoring, and always captures a moving image of an object to be imaged. The imaging device 1 detects an abnormality such as a suspicious person in a store or an intruder in power equipment, and outputs an alarm signal.

本実施形態において、同一構成の装置、部分、信号が複数ある場合にはそれらについて同一の記号を付して説明を行い、また、同一構成の個々の装置、部分、信号についてそれぞれを説明する場合に、共通する記号にアルファベットの添え字を付けることで区別する。例えば、本実施形態における、2台の画像撮像装置1a、1bは同じ構成を有する。 In this embodiment, when there are a plurality of devices, parts, and signals having the same configuration, they are described with the same symbols attached, and when individual devices, parts, and signals having the same configuration are described. are distinguished by adding alphabetical suffixes to common symbols. For example, the two imaging devices 1a and 1b in this embodiment have the same configuration.

画像撮像装置1において、以下の信号、データ、情報が、入力、出力、記憶される。
伝達情報D0:画像撮像装置1間で伝達される情報
撮像領域情報D1:撮像される領域を示す情報
非検出領域情報D2:異常検出の対象としない部分を示す情報
撮像データE1:撮像画像にかかるデータ
異常信号F1:撮像画像に異常が検出されたことを示す信号
一例として本実施形態では、伝達情報D0は、撮像領域情報D1、非検出領域情報D2を含む。撮像対象のうち異常検出の対象としない部分を、非検出領域R1と呼ぶ。
In the imaging device 1, the following signals, data, and information are input, output, and stored.
Transmission information D0: Information transmitted between the imaging devices 1 Imaging area information D1: Information indicating an area to be imaged Non-detection area information D2: Information indicating a portion not targeted for abnormality detection Imaging data E1: Concerning a captured image Data Abnormality signal F1: a signal indicating that an abnormality has been detected in the captured image As an example, in the present embodiment, the transmission information D0 includes the imaging area information D1 and the non-detection area information D2. A portion of the object to be imaged that is not subject to abnormality detection is referred to as a non-detection region R1.

画像撮像装置1は、撮像部2、投射部3、画像処理部4、警報部5を有する。画像処理部4は、画像解析部41、投影調整部42、記憶部43、出力部44を含む。画像撮像装置1の機能は、搭載されたコンピュータプログラムにより実現される。 The imaging device 1 has an imaging unit 2 , a projection unit 3 , an image processing unit 4 and an alarm unit 5 . The image processing section 4 includes an image analysis section 41 , a projection adjustment section 42 , a storage section 43 and an output section 44 . The functions of the imaging device 1 are implemented by a computer program installed.

(撮像部2)
撮像部2は、CCDカメラ等により構成された動画撮像装置である。撮像部2は、画像処理部4に接続される。撮像部2は、店舗の内部や電力設備等の撮像対象を動画により撮像し、撮像画像にかかる撮像データE1を、デジタル信号にて画像処理部4に送信する。
(Imaging unit 2)
The imaging unit 2 is a moving image imaging device configured by a CCD camera or the like. The imaging section 2 is connected to the image processing section 4 . The image capturing unit 2 captures a moving image of an object to be imaged, such as the inside of a store or power equipment, and transmits image data E1 related to the captured image to the image processing unit 4 as a digital signal.

(投射部3)
投射部3は、光により画像を投影するプロジェクタ等により構成された装置である。投射部3は、画像処理部4に接続される。投射部3は、画像処理部4から出力された撮像領域情報D1(撮像される領域を示す情報)、非検出領域情報D2(異常検出の対象としない部分を示す情報)にかかる光信号を撮像対象に投射する。
(Projection unit 3)
The projection unit 3 is a device configured by a projector or the like that projects an image with light. The projection section 3 is connected to the image processing section 4 . The projection unit 3 captures optical signals related to the imaging area information D1 (information indicating the area to be imaged) and the non-detection area information D2 (information indicating the portion not targeted for abnormality detection) output from the image processing unit 4. Project on target.

(警報部5)
警報部5は、赤色回転灯のような警告表示灯や、文字や図形にて警告内容を表示する表示盤等により構成された警報装置である。警報部5は、画像処理部4に接続される。警報部5は、画像処理部4から送信される異常信号F1(撮像画像に異常が検出されたことを示す信号)に基づき、作業者に対し警報を出力する。
(Alarm unit 5)
The alarm unit 5 is an alarm device including a warning indicator lamp such as a red revolving light and a display panel that displays the contents of the warning in characters and figures. The alarm section 5 is connected to the image processing section 4 . The alarm unit 5 outputs an alarm to the operator based on the abnormality signal F1 (signal indicating that an abnormality has been detected in the captured image) transmitted from the image processing unit 4 .

(画像処理部4)
画像処理部4は、マイクロコンピュータ等により構成された装置である。画像処理部4は、信号線または無線により撮像部2、投射部3、警報部5に接続される。画像処理部4は、撮像データE1(撮像画像にかかるデータ)を受信し、異常が検出された場合、警報部5に異常信号F1(撮像画像に異常が検出されたことを示す信号)を出力する。画像処理部4は、撮像領域情報D1(撮像される領域を示す情報)、非検出領域情報D2(異常検出の対象としない部分を示す情報)を投射部3に出力する。画像処理部4は、画像解析部41、投影調整部42、記憶部43、出力部44を有する。
(Image processing unit 4)
The image processing unit 4 is a device configured by a microcomputer or the like. The image processing unit 4 is connected to the imaging unit 2, the projection unit 3, and the alarm unit 5 by signal lines or wirelessly. The image processing unit 4 receives the imaging data E1 (data related to the captured image), and when an abnormality is detected, outputs an abnormality signal F1 (a signal indicating that an abnormality has been detected in the captured image) to the alarm unit 5. do. The image processing unit 4 outputs imaging area information D<b>1 (information indicating an area to be imaged) and non-detection area information D<b>2 (information indicating a portion not targeted for abnormality detection) to the projection unit 3 . The image processing unit 4 has an image analysis unit 41 , a projection adjustment unit 42 , a storage unit 43 and an output unit 44 .

(画像解析部41)
画像解析部41は、DSP(digital signal processor)やマイクロコンピュータ等により構成される。画像解析部41は、撮像部2、投影調整部42、記憶部43、出力部44に接続される。画像解析部41は、後述するコンピュータプログラムを内蔵する。
(Image analysis unit 41)
The image analysis unit 41 is composed of a DSP (digital signal processor), a microcomputer, and the like. The image analysis section 41 is connected to the imaging section 2 , the projection adjustment section 42 , the storage section 43 and the output section 44 . The image analysis unit 41 incorporates a computer program, which will be described later.

画像解析部41は、撮像部2から撮像データE1(撮像画像にかかるデータ)を受信する。画像解析部41は、撮像データE1に、異常が検出された場合、警報部5、記憶部43に異常信号F1(撮像画像に異常が検出されたことを示す信号)を送信する。画像解析部41は、撮像データE1を逐次、記憶部43、投影調整部42に送信する。 The image analysis unit 41 receives imaging data E<b>1 (data related to a captured image) from the imaging unit 2 . When an abnormality is detected in the captured image data E1, the image analysis unit 41 transmits an abnormality signal F1 (a signal indicating that an abnormality has been detected in the captured image) to the alarm unit 5 and the storage unit 43. FIG. The image analysis unit 41 sequentially transmits the imaging data E1 to the storage unit 43 and the projection adjustment unit 42 .

画像解析部41は、撮像部2により撮像された撮像データE1(撮像画像にかかるデータ)のうち、他の画像撮像装置1により撮像された撮像範囲を識別する。画像解析部41は、撮像部2により撮像された撮像データE1のうち、異常検出の対象としない部分を識別する。 The image analysis unit 41 identifies the image pickup range imaged by the other image pickup device 1 in the image data E1 (data related to the image pickup image) imaged by the image pickup unit 2 . The image analysis unit 41 identifies portions of the imaging data E1 captured by the imaging unit 2 that are not subject to abnormality detection.

(記憶部43)
記憶部43は、半導体メモリやハードディスクのような記憶媒体にて構成される。記憶部43は、画像解析部41、投影調整部42に接続される。記憶部43は、撮像対象のうち異常検出の対象としない部分を非検出領域R1として記憶する。非検出領域R1は、画像撮像装置1の設置時等に、作業者により予め記憶部43に設定される。また、記憶部43は、画像解析部41から送信された撮像データE1(撮像画像にかかるデータ)を逐次記憶する。記憶部43は、画像解析部41から送信された異常信号F1(撮像画像に異常が検出されたことを示す信号)を、異常発生日時とともに記憶する。
(storage unit 43)
The storage unit 43 is composed of a storage medium such as a semiconductor memory or a hard disk. The storage unit 43 is connected to the image analysis unit 41 and the projection adjustment unit 42 . The storage unit 43 stores, as a non-detection region R1, a portion of the object to be imaged that is not subject to abnormality detection. The non-detection region R1 is set in the storage unit 43 in advance by the operator when the imaging device 1 is installed. In addition, the storage unit 43 sequentially stores the imaging data E1 (data related to the captured image) transmitted from the image analysis unit 41 . The storage unit 43 stores the abnormality signal F1 (signal indicating that an abnormality has been detected in the captured image) transmitted from the image analysis unit 41 together with the date and time of occurrence of the abnormality.

(出力部44)
出力部44は、警報部5を駆動する駆動回路により構成される。出力部44は、画像解析部41に接続される。出力部44は、画像解析部41から送信される異常信号F1(撮像画像に異常が検出されたことを示す信号)に基づき、警報部5を駆動する。
(Output unit 44)
The output unit 44 is configured by a drive circuit that drives the alarm unit 5 . The output unit 44 is connected to the image analysis unit 41 . The output unit 44 drives the alarm unit 5 based on the abnormality signal F<b>1 (signal indicating that an abnormality has been detected in the captured image) transmitted from the image analysis unit 41 .

(投影調整部42)
投影調整部42は、DSP(digital signal processor)やマイクロコンピュータ等により構成される。投影調整部42は、投射部3、画像解析部41、記憶部43に接続される。投影調整部42は、後述するコンピュータプログラムを内蔵する。投影調整部42は、画像解析部41と個別に構成されていてもよいし、一体に構成されていてもよい。
(Projection adjustment unit 42)
The projection adjustment unit 42 is composed of a DSP (digital signal processor), a microcomputer, or the like. The projection adjustment section 42 is connected to the projection section 3 , the image analysis section 41 and the storage section 43 . The projection adjustment unit 42 incorporates a computer program, which will be described later. The projection adjustment unit 42 may be configured separately from the image analysis unit 41, or may be configured integrally.

投影調整部42は、画像解析部41から受信した撮像データE1(撮像画像にかかるデータ)に基づき、撮像領域情報D1(撮像される領域を示す情報)を作成し投射影像を調整し、投射部3に送信する。投影調整部42は、記憶部43に記憶された非検出領域R1(撮像対象のうち異常検出の対象としない部分)に基づき、非検出領域情報D2(異常検出の対象としない部分を示す情報)を作成し、投射部3に送信する。 The projection adjustment unit 42 generates imaging area information D1 (information indicating the area to be imaged) based on the imaging data E1 (data related to the imaged image) received from the image analysis unit 41, adjusts the projection image, and outputs the projection image. Send to 3. The projection adjustment unit 42 performs non-detection region information D2 (information indicating a portion not targeted for abnormality detection) based on the non-detection region R1 (a portion of the imaging target not targeted for abnormality detection) stored in the storage unit 43 . is created and transmitted to the projection unit 3.

以上が、画像撮像装置1の構成である。 The above is the configuration of the imaging device 1 .

[1-2.作用]
本実施形態の画像撮像装置1の作用を、図1~図6に基づき説明する。一例として本実施形態では、図1に示すように2台の画像撮像装置1a、1bが、店舗の屋内に配置された場合について説明する。画像撮像装置1a、1bは、侵入者の検出を目的として、常時店舗の壁面を撮像する。
[1-2. action]
The operation of the imaging device 1 of this embodiment will be described with reference to FIGS. 1 to 6. FIG. As an example, in this embodiment, as shown in FIG. 1, two imaging devices 1a and 1b are arranged indoors of a store. The imaging devices 1a and 1b constantly capture images of the walls of the store for the purpose of detecting intruders.

(画像撮像装置1の動作概要)
図3に示すように画像撮像装置1aの撮像部2aは、店舗壁面の撮像範囲Paにかかる範囲を撮像し、画像撮像装置1bの撮像部2bは、店舗壁面の撮像範囲Pbにかかる範囲を撮像する。
(Overview of operation of imaging device 1)
As shown in FIG. 3, the image capturing unit 2a of the image capturing device 1a captures an image of an image capturing range Pa of the wall surface of the store, and the image capturing unit 2b of the image capturing device 1b captures an image of an image capturing range Pb of the wall surface of the store. do.

図4(a)に示すように画像撮像装置1aの投射部3aは、画像撮像装置1aの撮像部2aにより撮像される店舗壁面の撮像範囲Paに対し、画像撮像装置1a固有の撮像領域情報D1a(撮像される領域を示す情報)を投射する。撮像領域情報D1aは、画像撮像装置1a固有の図形、固有の波長を有する光信号により構成される。撮像領域情報D1aとして、例えば画像撮像装置1a固有の図形である六角形が、画像撮像装置1a固有の波長である900ナノメートルの赤外光により投射される。 As shown in FIG. 4(a), the projection unit 3a of the image capturing device 1a projects image capturing area information D1a specific to the image capturing device 1a with respect to the image capturing range Pa of the shop wall captured by the image capturing unit 2a of the image capturing device 1a. (information indicating an area to be imaged) is projected. The imaging region information D1a is composed of a figure unique to the imaging device 1a and an optical signal having a unique wavelength. As the imaging area information D1a, for example, a hexagon, which is a figure unique to the imaging device 1a, is projected by infrared light of 900 nanometers, which is a wavelength unique to the imaging device 1a.

図4(b)に示すように画像撮像装置1bの投射部3bは、画像撮像装置1bの撮像部2bにより撮像される店舗壁面の撮像範囲Pbに対し、画像撮像装置1b固有の撮像領域情報D1b(撮像される領域を示す情報)を投射する。撮像領域情報D1bは、画像撮像装置1b固有の図形、固有の波長を有する光信号により構成される。撮像領域情報D1bとして、例えば画像撮像装置1b固有の図形である四角形が、画像撮像装置1b固有の波長である950ナノメートルの赤外光により投射される。 As shown in FIG. 4(b), the projection unit 3b of the image capturing device 1b sets the image capturing area information D1b unique to the image capturing device 1b to the image capturing range Pb of the store wall captured by the image capturing unit 2b of the image capturing device 1b. (information indicating an area to be imaged) is projected. The image pickup area information D1b is composed of a figure specific to the image pickup device 1b and an optical signal having a specific wavelength. As the imaging region information D1b, for example, a square, which is a figure unique to the imaging device 1b, is projected by infrared light of 950 nanometers, which is a wavelength unique to the imaging device 1b.

画像撮像装置1aの画像解析部41aは、撮像部2aにより撮像範囲Paを撮像することにより、画像撮像装置1bの投射部3bから投射された撮像領域情報D1bを検出し、撮像範囲Paのうち画像撮像装置1bにより撮像された範囲を識別する。具体的には、画像解析部41aは、撮像範囲Paのうち、画像撮像装置1b固有の図形である四角形が、画像撮像装置1b固有の波長である950ナノメートルの赤外光により投射された範囲を特定する。 The image analysis unit 41a of the image capturing device 1a detects the image capturing area information D1b projected from the projection unit 3b of the image capturing device 1b by capturing an image of the image capturing range Pa using the image capturing unit 2a. A range imaged by the imaging device 1b is identified. Specifically, the image analysis unit 41a determines the area in which a square, which is a figure specific to the imaging device 1b, is projected by infrared light with a wavelength of 950 nanometers, which is a wavelength specific to the imaging device 1b, in the imaging range Pa. identify.

画像撮像装置1bの画像解析部41bは、撮像部2bにより撮像範囲Pbを撮像することにより、画像撮像装置1aの投射部3aから投射された撮像領域情報D1aを検出し、撮像範囲Pbのうち画像撮像装置1aにより撮像された範囲を識別する。具体的には、画像解析部41bは、撮像範囲Pbのうち、画像撮像装置1a固有の図形である六角形が、画像撮像装置1a固有の波長である900ナノメートルの赤外光により投射された範囲を特定する。 The image analysis unit 41b of the image pickup device 1b detects the image pickup area information D1a projected from the projection unit 3a of the image pickup device 1a by picking up the image pickup range Pb with the image pickup unit 2b. The range imaged by the imaging device 1a is identified. Specifically, the image analysis unit 41b determines that a hexagon, which is a figure specific to the imaging device 1a, in the imaging range Pb is projected by infrared light of 900 nanometers, which is a wavelength specific to the imaging device 1a. Identify the range.

店舗の壁面には、画像撮像装置1aの警報部5aおよび画像撮像装置1bの警報部5bが配置される。警報部5aおよび警報部5bは、画像撮像装置1aにより撮像される撮像範囲Pa内に配置される。警報部5aは、画像撮像装置1bにより撮像される撮像範囲Pb内に配置される。 An alarm unit 5a of the imaging device 1a and an alarming unit 5b of the imaging device 1b are arranged on the wall surface of the store. The alarm unit 5a and the alarm unit 5b are arranged within an imaging range Pa imaged by the imaging device 1a. The alarm unit 5a is arranged within an imaging range Pb imaged by the imaging device 1b.

従来技術において、画像撮像装置1aが侵入等の異常を検出しない場合であっても、画像撮像装置1bの警報部5bが警報を出力した場合、異常と誤認する場合があった。同様に、画像撮像装置1bが侵入等の異常を検出しない場合であっても、画像撮像装置1aの警報部5aが警報を出力した場合、異常と誤認する場合があった。警報部5による警報を異常と誤認することは、好ましくない。 In the prior art, even if the image pickup device 1a does not detect an abnormality such as an intrusion, when the alarm unit 5b of the image pickup device 1b outputs an alarm, it may be misidentified as an abnormality. Similarly, even if the imaging device 1b does not detect an abnormality such as an intrusion, when the alarm unit 5a of the imaging device 1a outputs an alarm, it may be misidentified as an abnormality. It is not preferable to misunderstand the warning from the warning unit 5 as being abnormal.

図4(a)に示すように画像撮像装置1aの投射部3aは、警報部5aが配置された部分に対し、異常検出の対象としない非検出領域R1aを示す非検出領域情報D2a(異常検出の対象としない部分を示す情報)を投射する。非検出領域情報D2aは、画像撮像装置1a固有の図形、固有の波長を有する光信号により構成される。 As shown in FIG. 4A, the projection unit 3a of the imaging device 1a provides non-detection region information D2a (abnormality detection information that indicates which part is not targeted). The non-detection area information D2a is composed of a figure unique to the imaging device 1a and an optical signal having a unique wavelength.

非検出領域情報D2aとして、例えば画像撮像装置1a固有の図形である五角形が、画像撮像装置1a固有の波長である900ナノメートルの赤外光により投射される。非検出領域情報D2aは、撮像部2aにより撮像される撮像範囲Paの内側に投射されてもよいし、外側に投射されてもよい。 As the non-detection region information D2a, for example, a pentagon, which is a figure unique to the imaging device 1a, is projected by infrared light of 900 nm, which is a wavelength unique to the imaging device 1a. The non-detection area information D2a may be projected inside or outside the imaging range Pa imaged by the imaging unit 2a.

図4(b)に示すように画像撮像装置1bの投射部3bは、警報部5bが配置された部分に対し、異常検出の対象としない非検出領域R1bを示す非検出領域情報D2b(異常検出の対象としない部分を示す情報)を投射する。非検出領域情報D2bは、画像撮像装置1b固有の図形、固有の波長を有する光信号により構成される。 As shown in FIG. 4B, the projection unit 3b of the imaging device 1b provides non-detection region information D2b (abnormality detection information that indicates which part is not targeted). The non-detection area information D2b is composed of a figure unique to the imaging device 1b and an optical signal having a unique wavelength.

非検出領域情報D2bとして、例えば画像撮像装置1b固有の図形である三角形が、画像撮像装置1b固有の波長である950ナノメートルの赤外光により投射される。非検出領域情報D2bは、撮像部2bにより撮像される撮像範囲Pbの内側に投射されてもよいし、外側に投射されてもよい。 As the non-detection area information D2b, for example, a triangle, which is a figure unique to the imaging device 1b, is projected by infrared light of 950 nanometers, which is a wavelength unique to the imaging device 1b. The non-detection area information D2b may be projected inside or outside the imaging range Pb imaged by the imaging unit 2b.

画像撮像装置1aの画像解析部41aは、撮像部2aにより撮像範囲Paを撮像することにより、画像撮像装置1bの投射部3bから投射された非検出領域情報D2b(異常検出の対象としない部分を示す情報)を検出し、撮像範囲Paにかかる撮像対象のうち、異常検出の対象としない部分を識別する。具体的には、画像解析部41aは、撮像範囲Paのうち、画像撮像装置1b固有の図形である三角形が、画像撮像装置1b固有の波長である950ナノメートルの赤外光により投射された範囲を特定する。 The image analysis unit 41a of the image capturing device 1a acquires the non-detection area information D2b (a portion not targeted for abnormality detection) projected from the projection unit 3b of the image capturing device 1b by capturing an image of the image capturing range Pa using the image capturing unit 2a. information) is detected, and a portion that is not to be an abnormality detection target is identified from among the image pickup target within the image pickup range Pa. Specifically, the image analysis unit 41a determines the area in which the triangle, which is a figure specific to the imaging device 1b, is projected by infrared light of 950 nanometers, which is the wavelength specific to the imaging device 1b, within the imaging range Pa. identify.

画像撮像装置1bの画像解析部41bは、撮像部2bにより撮像範囲Pbを撮像することにより、画像撮像装置1aの投射部3aから投射された非検出領域情報D2a(異常検出の対象としない部分を示す情報)を検出し、撮像範囲Pbにかかる撮像対象のうち、異常検出の対象としない部分を識別する。具体的には、画像解析部41bは、撮像範囲Pbのうち、画像撮像装置1a固有の図形である五角形が、画像撮像装置1a固有の波長である900ナノメートルの赤外光により投射された範囲を特定する。 The image analysis unit 41b of the imaging device 1b obtains the non-detection area information D2a projected from the projection unit 3a of the imaging device 1a (a portion not targeted for abnormality detection) by imaging the imaging range Pb with the imaging unit 2b. information) is detected, and a portion that is not subject to abnormality detection is identified from among the imaging target within the imaging range Pb. Specifically, the image analysis unit 41b determines the area in which the pentagon, which is a figure unique to the imaging device 1a, is projected by infrared light of 900 nanometers, which is the wavelength unique to the imaging device 1a, in the imaging range Pb. identify.

以上が、画像撮像装置1の動作概要である。具体的には上記動作は、下記のプログラムにより実現される。画像撮像装置1a、1bとも画像解析部41、投影調整部42のプログラムは同じである。 The outline of the operation of the imaging device 1 has been described above. Specifically, the above operation is realized by the following program. The programs of the image analysis section 41 and the projection adjustment section 42 are the same in both the image capturing apparatuses 1a and 1b.

(画像解析部41の動作)
以下に画像解析部41の動作を説明する。画像解析部41は、図5に示すプログラムに従って動作を行う。図5に示すプログラムは、画像解析部41に内蔵される。図5に示すプログラムは、画像解析部41により、繰り返し実行される。
(Operation of image analysis section 41)
The operation of the image analysis unit 41 will be described below. The image analysis unit 41 operates according to the program shown in FIG. The program shown in FIG. 5 is built in the image analysis section 41 . The program shown in FIG. 5 is repeatedly executed by the image analysis unit 41 .

(ステップS01:撮像部2により撮像する)
画像解析部41は、撮像部2により撮像対象を撮像する。画像解析部41は、撮像対象を撮像することにより、他の画像撮像装置1から投射された撮像領域情報D1(撮像される領域を示す情報)、非検出領域情報D2(異常検出の対象としない部分を示す情報)を撮像部2により受信する。画像解析部41は、受信した撮像領域情報D1、非検出領域情報D2、撮像データE1を逐次、記憶部43に記憶させる。
(Step S01: Take an image by the imaging unit 2)
The image analysis unit 41 captures an image of the imaging target using the imaging unit 2 . By capturing an image of an image capturing target, the image analysis unit 41 obtains image capturing area information D1 (information indicating an imaged area) projected from another image capturing apparatus 1 and non-detection area information D2 (not to be an abnormality detection target). part) is received by the imaging unit 2 . The image analysis unit 41 sequentially stores the received imaging area information D1, non-detection area information D2, and imaging data E1 in the storage unit 43 .

画像撮像装置1aの撮像部2aは、撮像範囲Paにかかる範囲を撮像し、画像撮像装置1bの撮像部2bは、撮像範囲Pbにかかる範囲を撮像する。画像撮像装置1aの撮像部2aは、画像撮像装置1bから投射された撮像領域情報D1b、非検出領域情報D2bを撮像部2aにより受信する。画像撮像装置1bの撮像部2bは、画像撮像装置1aから投射された撮像領域情報D1a、非検出領域情報D2aを撮像部2bにより受信する。 The image capturing unit 2a of the image capturing device 1a captures an image of an image capturing range Pa, and the image capturing unit 2b of the image capturing device 1b captures an image of an image capturing range Pb. The imaging unit 2a of the imaging device 1a receives the imaging region information D1b and the non-detection region information D2b projected from the imaging device 1b. The imaging unit 2b of the imaging device 1b receives the imaging region information D1a and the non-detection region information D2a projected from the imaging device 1a.

(ステップS02:重複する撮像範囲を識別する)
画像解析部41は、撮像部2により受信した他の画像撮像装置1から投射された撮像領域情報D1(撮像される領域を示す情報)に基づき、他の画像撮像装置1により撮像された、重複する撮像範囲を識別する。
(Step S02: Identify overlapping imaging ranges)
The image analysis unit 41 captures an image captured by the other image capturing device 1 based on the image capturing area information D1 (information indicating the imaged area) projected from the other image capturing device 1 received by the image capturing unit 2 . Identifies the imaging range to be used.

画像撮像装置1aの記憶部43aは、予め撮像領域情報D1bの、画像撮像装置1b固有の図形、固有の光信号波長が設定されている。画像撮像装置1aの画像解析部41aは、記憶部43aに記憶された画像撮像装置1b固有の図形、固有の光信号波長に基づき、撮像領域情報D1bを検出する。同様に、画像撮像装置1bの画像解析部41bは、記憶部43bに記憶された画像撮像装置1a固有の図形、固有の光信号波長に基づき、撮像領域情報D1aを検出する。 In the storage unit 43a of the image pickup device 1a, a figure unique to the image pickup device 1b and a unique optical signal wavelength of the image pickup region information D1b are set in advance. The image analysis unit 41a of the imaging device 1a detects the imaging area information D1b based on the figure unique to the imaging device 1b and the unique optical signal wavelength stored in the storage unit 43a. Similarly, the image analysis unit 41b of the imaging device 1b detects the imaging area information D1a based on the figure unique to the imaging device 1a and the unique optical signal wavelength stored in the storage unit 43b.

(ステップS03:重複する撮像範囲を除去する)
画像解析部41は、撮像領域情報D1(撮像される領域を示す情報)に基づき、他の画像撮像装置1により撮像された重複する撮像範囲を撮像データE1(撮像画像にかかるデータ)から除去する。重複する撮像範囲の撮像データE1(撮像画像にかかるデータ)からの除去は、予め定められた優先順位に基づき行われる。優先順位は、予め記憶部43に設定される。
(Step S03: Remove overlapping imaging ranges)
Based on the imaging area information D1 (information indicating the area to be imaged), the image analysis unit 41 removes the overlapping imaging range imaged by the other image capturing device 1 from the imaging data E1 (data related to the captured image). . The removal of overlapping imaging ranges from the imaging data E1 (data related to the captured image) is performed based on a predetermined priority. The priority is set in the storage unit 43 in advance.

画像撮像装置1aの記憶部43aおよび画像撮像装置1bの記憶部43bには、画像撮像装置1aの優先順位が画像撮像装置1bより高い旨、設定されている。画像撮像装置1bの画像解析部41bは、撮像領域情報D1aに基づき、画像撮像装置1aより撮像された撮像範囲Paと重複する撮像範囲を撮像データE1bから除去する。優先順位が高順位である画像撮像装置1aの画像解析部41aは、撮像領域情報D1bに基づき、画像撮像装置1bより撮像された撮像範囲Pbと重複する撮像範囲を撮像データE1aから除去しない。 The storage unit 43a of the imaging device 1a and the storage unit 43b of the imaging device 1b are set such that the priority of the imaging device 1a is higher than that of the imaging device 1b. Based on the imaging area information D1a, the image analysis unit 41b of the imaging device 1b removes the imaging range overlapping the imaging range Pa captured by the imaging device 1a from the imaging data E1b. The image analysis unit 41a of the imaging device 1a having the highest priority does not remove the imaging range overlapping the imaging range Pb captured by the imaging device 1b from the imaging data E1a based on the imaging region information D1b.

(ステップS04:撮像データE1に非検出領域情報D2が含まれるかを判断する)
画像解析部41は、撮像部2により撮像した撮像データE1(撮像画像にかかるデータ)に、非検出領域情報D2(異常検出の対象としない部分を示す情報)が含まれるかの判断を行う。撮像データE1に非検出領域情報D2が含まれると判断した場合(ステップS04のYES)、プログラムは、ステップS05に移行する。撮像データE1に非検出領域情報D2が含まれると判断しない場合(ステップS04のNO)、プログラムは、ステップS06に移行する。
(Step S04: Determine whether non-detection area information D2 is included in imaging data E1)
The image analysis unit 41 determines whether non-detection area information D2 (information indicating a portion not targeted for abnormality detection) is included in the imaging data E1 (data related to the captured image) captured by the imaging unit 2 . When it is determined that the non-detection area information D2 is included in the imaging data E1 (YES in step S04), the program proceeds to step S05. If it is not determined that the non-detection area information D2 is included in the imaging data E1 (NO in step S04), the program proceeds to step S06.

画像撮像装置1aの画像解析部41aは、撮像部2aにより撮像した撮像データE1aにかかる撮像範囲Pa内に、非検出領域情報D2bが含まれるかの判断を行う。画像撮像装置1bの画像解析部41bは、撮像部2bにより撮像した撮像データE1bにかかる撮像範囲Pb内に、非検出領域情報D2aが含まれるかの判断を行う。 The image analysis unit 41a of the image capturing device 1a determines whether the non-detection area information D2b is included in the image capturing range Pa of the image data E1a captured by the image capturing unit 2a. The image analysis unit 41b of the image capturing device 1b determines whether or not the non-detection area information D2a is included in the image capturing range Pb of the image data E1b captured by the image capturing unit 2b.

(ステップS05:非検出領域R1を除去する)
ステップS04で、撮像データE1に非検出領域情報D2が含まれると判断された場合、画像解析部41は、非検出領域情報D2(異常検出の対象としない部分を示す情報)が含まれる撮像データの部分である非検出領域R1(撮像対象のうち異常検出の対象としない部分)を、撮像データE1から除去する。
(Step S05: Remove non-detection region R1)
In step S04, when it is determined that the non-detection area information D2 is included in the imaging data E1, the image analysis unit 41 extracts the imaging data including the non-detection area information D2 (information indicating a portion not targeted for abnormality detection). is removed from the imaging data E1.

画像撮像装置1aの画像解析部41aは、非検出領域情報D2bにより指摘された非検出領域R1bを、撮像データE1aから除去する。画像撮像装置1bの画像解析部41bは、非検出領域情報D2aにより指摘された非検出領域R1aを、撮像データE1bから除去する。 The image analysis unit 41a of the imaging device 1a removes the non-detection region R1b pointed out by the non-detection region information D2b from the imaging data E1a. The image analysis unit 41b of the imaging device 1b removes the non-detection region R1a pointed out by the non-detection region information D2a from the imaging data E1b.

(ステップS06:異常があるかの判断を行う)
画像解析部41は、撮像データE1に基づき、侵入者等の異常があるかの判断を行う。判断は、ステップS03により他の画像撮像装置1により撮像された重複する撮像範囲が除去され、ステップS05により非検出領域R1が除去された、撮像データE1に基づき行われる。
(Step S06: Determine if there is an abnormality)
The image analysis unit 41 determines whether there is an abnormality such as an intruder based on the imaging data E1. The determination is made based on the imaging data E1 from which the overlapping imaging range imaged by the other imaging device 1 has been removed in step S03 and the non-detection region R1 has been removed in step S05.

撮像データE1に異常があると判断した場合(ステップS06のYES)、プログラムは、ステップS07に移行する。撮像データE1に異常があると判断しない場合(ステップS06のNO)、一連のプログラムを終了する。 If it is determined that the imaging data E1 is abnormal (YES in step S06), the program proceeds to step S07. If it is determined that there is no abnormality in the imaging data E1 (NO in step S06), the series of programs is terminated.

(ステップS07:異常信号F1を出力する)
ステップS06で、撮像データE1(撮像画像にかかるデータ)に異常があると判断された場合、画像解析部41は、異常信号F1(撮像画像に異常が検出されたことを示す信号)を、出力部44に出力する。また、画像解析部41は、異常信号F1(撮像画像に異常が検出されたことを示す信号)を異常発生日時とともに、記憶部43に記憶させる。
(Step S07: output abnormal signal F1)
In step S06, when it is determined that there is an abnormality in the captured image data E1 (data related to the captured image), the image analysis unit 41 outputs an abnormality signal F1 (a signal indicating that an abnormality has been detected in the captured image). Output to unit 44 . The image analysis unit 41 also causes the storage unit 43 to store the abnormality signal F1 (a signal indicating that an abnormality has been detected in the captured image) together with the date and time of occurrence of the abnormality.

以上が、画像解析部41の動作詳細である。 The details of the operation of the image analysis unit 41 have been described above.

(投影調整部42の動作)
以下に投影調整部42の動作を説明する。投影調整部42は、図6に示すプログラムに従って動作を行う。図6に示すプログラムは、投影調整部42に内蔵される。図6に示すプログラムは、投影調整部42により、繰り返し実行される。
(Operation of projection adjustment unit 42)
The operation of the projection adjustment unit 42 will be described below. The projection adjustment unit 42 operates according to the program shown in FIG. The program shown in FIG. 6 is built in the projection adjustment section 42. FIG. The program shown in FIG. 6 is repeatedly executed by the projection adjustment unit 42. FIG.

(ステップS11:撮像部2の撮像範囲を特定する)
投影調整部42は、画像解析部41から、撮像データE1(撮像画像にかかるデータ)を受信し、撮像部2により撮像される撮像範囲を特定する。画像撮像装置1aの投影調整部42aは、画像解析部41aから撮像データE1aを受信し、撮像部2aにより撮像される撮像範囲Paを特定する。画像撮像装置1bの投影調整部42bは、画像解析部41bから撮像データE1bを受信し、撮像部2bにより撮像される撮像範囲Pbを特定する。
(Step S11: Specify the imaging range of the imaging unit 2)
The projection adjustment unit 42 receives the imaging data E<b>1 (data related to the captured image) from the image analysis unit 41 and specifies the imaging range to be imaged by the imaging unit 2 . The projection adjustment unit 42a of the imaging device 1a receives the imaging data E1a from the image analysis unit 41a and specifies the imaging range Pa to be imaged by the imaging unit 2a. The projection adjustment unit 42b of the image pickup device 1b receives the image data E1b from the image analysis unit 41b and specifies the image pickup range Pb imaged by the image pickup unit 2b.

(ステップS12:異常検出の対象としない非検出領域R1を特定する)
投影調整部42は、撮像対象のうち異常検出の対象としない部分である非検出領域R1を特定する。非検出領域R1は、予め記憶部43に設定される。非検出領域R1は、例えば画像撮像装置1に起因して変化する警報部5等の、撮像対象における部分である。
(Step S12: Identify the non-detection region R1 that is not targeted for abnormality detection)
The projection adjustment unit 42 identifies a non-detection region R1, which is a portion of the imaging target that is not subject to abnormality detection. The non-detection region R1 is set in the storage unit 43 in advance. The non-detection region R1 is a portion of the imaging target, such as the alarm section 5 that changes due to the imaging device 1, for example.

画像撮像装置1aの投影調整部42aは、警報部5aが配置された周辺を非検出領域R1aとして特定する。画像撮像装置1bの投影調整部42bは、警報部5bが配置された周辺を非検出領域R1bとして特定する。 The projection adjustment unit 42a of the imaging device 1a specifies the periphery of the alarm unit 5a as the non-detection area R1a. The projection adjustment unit 42b of the imaging device 1b identifies the periphery of the alarm unit 5b as the non-detection area R1b.

(ステップS13:撮像領域情報D1、非検出領域情報D2を投射させる)
投影調整部42は、投射影像を調整し撮像対象に対し、投射部3に撮像領域情報D1(撮像される領域を示す情報)、非検出領域情報D2(異常検出の対象としない部分を示す情報)を投射させる。撮像領域情報D1、非検出領域情報D2は、画像撮像装置1ごとに固有の図形、固有の波長を有する光信号により構成される。非検出領域情報D2は、ステップS12により特定された非検出領域R1に基づき作成される。
(Step S13: project imaging area information D1 and non-detection area information D2)
The projection adjustment unit 42 adjusts the projected image and sends the projection unit 3 imaging area information D1 (information indicating the area to be imaged) and non-detection area information D2 (information indicating the part not targeted for abnormality detection) to the imaging target. ) is projected. The imaging area information D1 and the non-detection area information D2 are composed of an optical signal having a unique figure and a unique wavelength for each imaging device 1. FIG. The non-detection area information D2 is created based on the non-detection area R1 specified in step S12.

画像撮像装置1aの投影調整部42aは、投射部3aに、図4(a)に示す撮像領域情報D1a(撮像される領域を示す情報)を投射させる。撮像領域情報D1aとして、例えば画像撮像装置1a固有の図形である六角形が、画像撮像装置1a固有の波長である900ナノメートルの赤外光により投射される。撮像領域情報D1aは、撮像部2aにより撮像される撮像範囲Paに対し、投射される。 The projection adjustment unit 42a of the imaging device 1a causes the projection unit 3a to project imaging area information D1a (information indicating an area to be imaged) shown in FIG. 4(a). As the imaging area information D1a, for example, a hexagon, which is a figure unique to the imaging device 1a, is projected by infrared light of 900 nanometers, which is a wavelength unique to the imaging device 1a. The imaging area information D1a is projected onto the imaging range Pa imaged by the imaging unit 2a.

また、画像撮像装置1aの投影調整部42aは、投射部3aに、非検出領域R1aを示す非検出領域情報D2a(異常検出の対象としない部分を示す情報)を投射させる。非検出領域情報D2aとして、例えば画像撮像装置1a固有の図形である五角形が、画像撮像装置1a固有の波長である900ナノメートルの赤外光により投射される。非検出領域情報D2aは、警報部5aが配置された部分に対し、投射される。 Further, the projection adjustment unit 42a of the imaging device 1a causes the projection unit 3a to project non-detection area information D2a (information indicating a portion not targeted for abnormality detection) indicating the non-detection area R1a. As the non-detection region information D2a, for example, a pentagon, which is a figure unique to the imaging device 1a, is projected by infrared light of 900 nm, which is a wavelength unique to the imaging device 1a. The non-detection area information D2a is projected onto the portion where the alarm section 5a is arranged.

画像撮像装置1bの投影調整部42bは、投射部3bに、図4(b)に示す撮像領域情報D1b(撮像される領域を示す情報)を投射させる。撮像領域情報D1bとして、例えば画像撮像装置1b固有の図形である四角形が、画像撮像装置1b固有の波長である950ナノメートルの赤外光により投射される。撮像領域情報D1bは、撮像部2bにより撮像される撮像範囲Pbに対し、投射される。 The projection adjustment unit 42b of the imaging device 1b causes the projection unit 3b to project imaging area information D1b (information indicating an area to be imaged) shown in FIG. 4(b). As the imaging region information D1b, for example, a square, which is a figure unique to the imaging device 1b, is projected by infrared light of 950 nanometers, which is a wavelength unique to the imaging device 1b. The imaging area information D1b is projected onto the imaging range Pb imaged by the imaging unit 2b.

また、画像撮像装置1bの投影調整部42bは、投射部3bに、非検出領域R1bを示す非検出領域情報D2b(異常検出の対象としない部分を示す情報)を投射させる。非検出領域情報D2bとして、例えば画像撮像装置1b固有の図形である三角形が、画像撮像装置1b固有の波長である950ナノメートルの赤外光により投射される。非検出領域情報D2bは、警報部5bが配置された部分に対し、投射される。 Further, the projection adjustment unit 42b of the imaging device 1b causes the projection unit 3b to project non-detection area information D2b (information indicating a portion not targeted for abnormality detection) indicating the non-detection area R1b. As the non-detection area information D2b, for example, a triangle, which is a figure unique to the imaging device 1b, is projected by infrared light of 950 nanometers, which is a wavelength unique to the imaging device 1b. The non-detection area information D2b is projected onto the portion where the alarm section 5b is arranged.

以上が、投影調整部42の動作詳細である。 The details of the operation of the projection adjustment unit 42 have been described above.

上記のように撮像対象の撮像部2により撮像される範囲に、投射部3により画像撮像装置1ごとに固有の撮像領域情報D1が投射され、撮像領域情報D1に基づき、他の画像撮像装置1により撮像された撮像範囲が識別される。撮像対象の異常検出の対象としない部分に、投射部3により非検出領域情報D2が、投射される。非検出領域情報D2に基づき、撮像部2により撮像された撮像対象のうち、異常検出の対象としない部分が識別される。 As described above, the imaging area information D1 unique to each imaging device 1 is projected by the projection unit 3 onto the range of the object to be imaged by the imaging unit 2, and based on the imaging region information D1, the other imaging devices 1 is identified. Non-detection region information D2 is projected by the projection unit 3 onto a portion of the imaging target that is not targeted for abnormality detection. Based on the non-detection area information D2, portions of the imaging target imaged by the imaging unit 2 that are not targeted for abnormality detection are identified.

[1-3.効果]
(1)本実施形態によれば、画像撮像装置1は、撮像対象を撮像する撮像部2と、画像撮像装置1ごとに固有の光信号にて伝達情報D0を、撮像対象に投射する投射部3とを有するので、画像撮像装置1は、他の画像撮像装置1に対し、伝達情報D0を報知することができる。これにより、装置間で相互に情報伝達を行うことができる画像撮像装置および画像撮像方法を提供することができる。
[1-3. effect]
(1) According to the present embodiment, the imaging device 1 includes the imaging unit 2 that images an object to be imaged, and the projection unit that projects transmission information D0 onto the object to be imaged using an optical signal unique to each imaging device 1. 3, the imaging device 1 can notify other imaging devices 1 of the transmission information D0. As a result, it is possible to provide an imaging device and an imaging method capable of mutually transmitting information between devices.

(2)本実施形態によれば、画像撮像装置1は、他の前記画像撮像装置1から光信号にて投射された伝達情報D0を撮像部2により受信し、撮像部2により受信された伝達情報D0に基づき、他の前記画像撮像装置1の情報を識別するので、画像撮像装置1は、他の画像撮像装置1から送信された伝達情報D0を認識することができる。これにより、装置間で相互に情報伝達を行うことができる画像撮像装置および画像撮像方法を提供することができる。 (2) According to the present embodiment, the image pickup device 1 receives the transmission information D0 projected as an optical signal from the other image pickup device 1 by the image pickup unit 2, and receives the transmission information D0 received by the image pickup unit 2. Since the information of the other imaging device 1 is identified based on the information D0, the imaging device 1 can recognize the transmission information D0 transmitted from the other imaging device 1. FIG. As a result, it is possible to provide an imaging device and an imaging method capable of mutually transmitting information between devices.

(3)本実施形態によれば、投射部3により投射される伝達情報D0は、撮像部2により撮像される範囲を示す撮像領域情報D1を含み、撮像領域情報D1は、撮像対象の撮像部2により撮像される範囲に投射されるので、画像撮像装置1は、他の画像撮像装置1に対し、画像撮像装置1により撮像される撮像範囲Paを報知することができる。他の画像撮像装置1は、撮像画像のうち、画像撮像装置1により撮像された重複部分を識別することができる。 (3) According to the present embodiment, the transmission information D0 projected by the projection unit 3 includes the imaging area information D1 indicating the range imaged by the imaging unit 2, and the imaging area information D1 is the imaging unit of the imaging target. 2, the image capturing device 1 can notify the other image capturing devices 1 of the image capturing range Pa captured by the image capturing device 1 . The other image capturing device 1 can identify overlapping portions captured by the image capturing device 1 in the captured image.

(4)本実施形態によれば、画像撮像装置1は、他の前記画像撮像装置1から投射された撮像領域情報D1を撮像部2により受信し、撮像部2により受信された撮像領域情報D1に基づき、他の前記画像撮像装置1により撮像される撮像範囲Paを識別するので、画像撮像装置1は、撮像画像のうち、他の画像撮像装置1により撮像された重複部分を識別することができる。 (4) According to the present embodiment, the image capturing device 1 receives the image capturing area information D1 projected from the other image capturing device 1 by the image capturing unit 2, and the image capturing area information D1 received by the image capturing unit 2. Since the image pickup range Pa imaged by the other image pickup device 1 is identified based on the above, the image pickup device 1 can identify the overlapping portion picked up by the other image pickup device 1 among the picked-up images. can.

(5)本実施形態によれば、画像撮像装置1の投射部3により投射される伝達情報D0は、異常検出の対象としない部分を示す非検出領域情報D2を含み、非検出領域情報D2は、撮像対象の異常検出の対象としない部分に投射されるので、画像撮像装置1は、他の画像撮像装置1に対し、異常検出の対象としない部分である非検出領域R1を報知することができる。非検出領域R1は、例えば画像撮像装置1に起因して変化する警報部5等の、撮像対象における部分である。これにより不要の警報が画像撮像装置1により発せられることを防止することができる。 (5) According to the present embodiment, the transmission information D0 projected by the projection unit 3 of the imaging device 1 includes non-detection area information D2 indicating a portion that is not subject to abnormality detection, and the non-detection area information D2 is Since the image is projected onto a portion of the imaging target that is not subject to abnormality detection, the imaging device 1 can notify other imaging devices 1 of the non-detection region R1, which is a portion that is not subject to abnormality detection. can. The non-detection region R1 is a portion of the imaging target, such as the alarm section 5 that changes due to the imaging device 1, for example. As a result, it is possible to prevent unnecessary alarms from being issued by the imaging device 1 .

(6)本実施形態によれば、画像撮像装置1は、他の前記画像撮像装置1から投射された非検出領域情報D2を撮像部2により受信し、撮像部2により受信された非検出領域情報D2に基づき、異常検出の対象としない部分を識別するので、画像撮像装置1による、不要な異常検出が防止される。例えば画像撮像装置1に起因して変化する警報部5等の動きを、画像撮像装置1が異常であると誤認することを、防止することができる。 (6) According to the present embodiment, the imaging device 1 receives the non-detection area information D2 projected from the other imaging device 1 by the imaging unit 2, and the non-detection area information D2 received by the imaging unit 2 is Based on the information D2, portions not subject to abnormality detection are identified, so unnecessary abnormality detection by the imaging device 1 is prevented. For example, it is possible to prevent the image pickup device 1 from erroneously recognizing that the movement of the alarm unit 5 or the like that changes due to the image pickup device 1 is abnormal.

(7)本実施形態によれば、伝達情報D0は、予め画像撮像装置1ごと固有に定められた可視領域内または可視領域外の波長を有する光信号により投射されるので、観者に撮像領域情報D1が投射されていることを、報知する、または報知しないことを任意に選択することができる。 (7) According to the present embodiment, the transmission information D0 is projected by an optical signal having a wavelength within or outside the visible range uniquely determined for each imaging device 1 in advance. It is possible to arbitrarily select whether or not to report that the information D1 is being projected.

(6)本実施形態によれば、前記伝達情報D0は、予め画像撮像装置1ごと固有に定められた色、模様、電子透かし、図形、文字のうち少なくとも一つにより構成されるので、フレキシブルな撮像領域情報D1を投射することができる。例えば、電子透かしや文字、図形によるコードにより構成された撮像領域情報D1を投射することにより、観者に撮像領域情報D1のデータ内容を知られることを防止することができる。また、イベント情報や季節に応じた文字や図形により構成された撮像領域情報D1を投射することにより、観者に対し情報を伝えることができ、観者を楽しませることができる。 (6) According to the present embodiment, the transmission information D0 is composed of at least one of colors, patterns, digital watermarks, graphics, and characters that are uniquely determined for each imaging device 1 in advance, so that flexible The imaging region information D1 can be projected. For example, by projecting the imaging area information D1 composed of codes such as digital watermarks, characters, and graphics, it is possible to prevent the viewer from knowing the data contents of the imaging area information D1. Further, by projecting the event information and the imaging region information D1 composed of characters and figures according to the season, information can be conveyed to the viewer, and the viewer can be entertained.

[2.他の実施形態]
変形例を含めた実施形態を説明したが、これらの実施形態は例として提示したものであって、発明の範囲を限定することを意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略や置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。以下は、その一例である。
[2. Other embodiments]
While embodiments including variations have been described, these embodiments are provided by way of example and are not intended to limit the scope of the invention. These embodiments can be implemented in various other forms, and various omissions, replacements, and modifications can be made without departing from the scope of the invention. These embodiments and their modifications are included in the scope and spirit of the invention, as well as the scope of the invention described in the claims and equivalents thereof. Below is an example.

(1)上記実施形態では、伝達情報D0は、撮像領域情報D1、非検出領域情報D2の両者を含むものとしたが、伝達情報D0に含まれる情報は、これに限られない。伝達情報D0に含まれる情報は、撮像領域情報D1、非検出領域情報D2のいずれか一方であってもよいし、別の情報であってもよい。例えば、伝達情報D0に含まれる情報は、画像撮像装置1のメンテナンス情報であってもよい。 (1) In the above embodiment, the transmission information D0 includes both the imaging area information D1 and the non-detection area information D2, but the information included in the transmission information D0 is not limited to this. Information included in the transmission information D0 may be either one of the imaging area information D1 and the non-detection area information D2, or may be other information. For example, the information included in the transmission information D0 may be maintenance information of the imaging device 1 .

(2)上記実施形態では、伝達情報D0である撮像領域情報D1、非検出領域情報D2は、予め画像撮像装置1ごと固有に定められた図形および波長を有する光信号により構成されるものとした。しかしながら、伝達情報D0、撮像領域情報D1、非検出領域情報D2の形態はこれに限られない。伝達情報D0、撮像領域情報D1、非検出領域情報D2は、例えば図形や文字を有さず、予め定められた波長を有する光信号のみにより構成されるものであってもよい。また、伝達情報D0、撮像領域情報D1、非検出領域情報D2は、例えば任意の色を有する図形、文字等により構成されるものであってもよい。 (2) In the above-described embodiment, the imaging area information D1 and the non-detection area information D2, which are the transmission information D0, are composed of an optical signal having a figure and wavelength uniquely determined for each imaging apparatus 1 in advance. . However, the form of the transmission information D0, the imaging area information D1, and the non-detection area information D2 is not limited to this. The transmission information D0, the imaging area information D1, and the non-detection area information D2 may be composed only of optical signals having predetermined wavelengths, without figures or characters, for example. Also, the transmission information D0, the imaging area information D1, and the non-detection area information D2 may be composed of, for example, graphics, characters, etc. having arbitrary colors.

上記実施形態では、伝達情報D0、撮像領域情報D1、非検出領域情報D2は、900ナノメートルまたは950ナノメートルの波長を有する赤外光により投射されるものとしたが、投射される波長はこれに限られない。伝達情報D0、撮像領域情報D1、非検出領域情報D2は、上記以外の例えば可視領域の波長を有する光により投射されるものであってもよい。伝達情報D0、撮像領域情報D1、非検出領域情報D2は任意の図形により構成されてよい。例えば、撮像領域情報D1は花柄、非検出領域情報D2は星柄にて構成され、プロジェクションマッピングにより撮像対象に投射されるようにしてもよい。また、伝達情報D0、撮像領域情報D1、非検出領域情報D2は図形に構成されるものに限られない。伝達情報D0、撮像領域情報D1、非検出領域情報D2は、予め画像撮像装置1ごと固有に定められた色、模様、電子透かし、文字により構成されるようにしてもよい。 In the above embodiment, the transmission information D0, the imaging area information D1, and the non-detection area information D2 are assumed to be projected by infrared light having a wavelength of 900 nm or 950 nm. is not limited to The transmission information D0, the imaging area information D1, and the non-detection area information D2 may be projected by light other than the above, for example, light having a wavelength in the visible region. The transmission information D0, the imaging area information D1, and the non-detection area information D2 may be composed of arbitrary figures. For example, the imaging region information D1 may be configured with a flower pattern, and the non-detection region information D2 may be configured with a star pattern, and may be projected onto the imaging target by projection mapping. Further, the transmission information D0, the image pickup area information D1, and the non-detection area information D2 are not limited to figures. The transmission information D0, the imaging area information D1, and the non-detection area information D2 may be made up of colors, patterns, electronic watermarks, and characters that are uniquely determined for each imaging apparatus 1 in advance.

(3)上記実施形態では、一つの画像処理部4に対し、一つの投射部3が接続されるものとしたが、一つの画像処理部4に対し、複数の投射部3が接続されるようにしてもよい。例えば、一つの投射部3により撮像領域情報D1(撮像される領域を示す情報)が投射され、他の投射部3により非検出領域情報D2(異常検出の対象としない部分を示す情報)が投射されるようにしてもよい。 (3) In the above-described embodiment, one projection unit 3 is connected to one image processing unit 4 . can be For example, one projection unit 3 projects imaging area information D1 (information indicating an area to be imaged), and another projection unit 3 projects non-detection area information D2 (information indicating a portion not targeted for abnormality detection). may be made.

(4)上記実施形態では、非検出領域情報D2(異常検出の対象としない部分を示す情報)により、撮像対象のうち異常検出の対象としない部分は、警報部5であるものとした。しかしながら、異常検出の対象としない部分は、警報部5に限られない。撮像範囲における任意の部分が、非検出領域情報D2により指定され、異常検出の対象としない部分とされてよい。例えば、清掃ロボットの動作範囲が、非検出領域情報D2により指定されるようにしてもよい。 (4) In the above-described embodiment, the non-detection region information D2 (information indicating a portion not to be subjected to abnormality detection) indicates that the alarm section 5 is the portion not to be subjected to abnormality detection among the imaging objects. However, the portion that is not subject to abnormality detection is not limited to the alarm unit 5 . An arbitrary portion in the imaging range may be designated by the non-detection region information D2 and may be set as a portion that is not targeted for abnormality detection. For example, the operating range of the cleaning robot may be designated by the non-detection area information D2.

(5)上記実施形態では、警報部5は、赤色回転灯のような警告表示灯や、文字にて警告内容を表示する表示盤等により構成されるものとしたが、警報部5は、他の警報装置により構成されるものであってもよい。 (5) In the above embodiment, the alarm unit 5 is composed of a warning indicator lamp such as a red revolving lamp, a display panel that displays the content of the warning in characters, etc., but the alarm unit 5 may may be configured by an alarm device.

(6)上記実施形態では、出力部44は、警報部5を駆動する駆動回路により構成されるものとしたが、出力部44の構成はこれに限られない。例えば出力部44は、通信部により構成されるものとし、異常信号F1(撮像画像に異常が検出されたことを示す信号)、撮像データE1(撮像画像にかかるデータ)が通信回線を介し、送信されるようにしてもよい。 (6) In the above embodiment, the output section 44 is configured by a drive circuit that drives the alarm section 5, but the configuration of the output section 44 is not limited to this. For example, the output unit 44 is configured by a communication unit, and an abnormality signal F1 (a signal indicating that an abnormality has been detected in a captured image) and imaging data E1 (data related to the captured image) are transmitted via a communication line. may be made.

(7)上記実施形態では、2台の画像撮像装置1a、1bが一つの撮像対象に配置されるものとしたが、配置される画像撮像装置1の数量は、これに限られない。3台以上の画像撮像装置1a、1bが、一つの撮像対象に配置されるようにしてもよい。 (7) In the above embodiment, the two imaging devices 1a and 1b are arranged for one imaging target, but the number of imaging devices 1 to be arranged is not limited to this. Three or more imaging devices 1a and 1b may be arranged for one imaging target.

(8)上記実施形態では、ステップS03にて他の画像撮像装置1により撮像された重複する撮像範囲が、撮像データE1aから除去されるものとした。しかしながら、ステップS03の処理はこれに限られない。他の画像撮像装置1により撮像された重複する撮像範囲にかかる撮像データE1aの部分が、変色されるようにしてもよい。 (8) In the above embodiment, it is assumed that the overlapping image capturing range imaged by the other image capturing device 1 is removed from the image data E1a in step S03. However, the processing of step S03 is not limited to this. A portion of the imaging data E1a covering the overlapping imaging range imaged by the other imaging device 1 may be discolored.

(9)上記実施形態では、ステップS05にて非検出領域情報D2bにより指摘された非検出領域R1bが、撮像データE1aから除去されるものとした。しかしながら、ステップS05の処理はこれに限られない。非検出領域情報D2bにより指摘された、非検出領域R1bにかかる撮像データE1aの部分が変色されるようにしてもよい。 (9) In the above embodiment, the non-detection region R1b indicated by the non-detection region information D2b in step S05 is removed from the imaging data E1a. However, the processing of step S05 is not limited to this. A portion of the imaging data E1a over the non-detection region R1b indicated by the non-detection region information D2b may be discolored.

(10)上記実施形態では、ステップS06にて侵入者等の異常が検出されるものとしたが、検出される異常は、これに限られない。例えば、設備や機器の誤動作や、交通事故との異常が検出されるようにしてもよい。 (10) In the above embodiment, an abnormality such as an intruder is detected in step S06, but the detected abnormality is not limited to this. For example, malfunctions of facilities and equipment, and abnormalities such as traffic accidents may be detected.

1,1a,1b・・・画像撮像装置
2,2a,2b・・・撮像部
3,3a,3b・・・投射部
4,4a,4b・・・画像処理部
41・・・画像解析部
42・・・投影調整部
43・・・記憶部
44・・・出力部
5,5a,5b・・・警報部

1, 1a, 1b... image pickup devices 2, 2a, 2b... imaging units 3, 3a, 3b... projection units 4, 4a, 4b... image processing unit 41... image analysis unit 42 ... projection adjustment section 43 ... storage section 44 ... output section 5, 5a, 5b ... alarm section

Claims (6)

撮像対象を撮像する撮像部と、
画像撮像装置ごとに固有の光信号にて伝達情報を、前記撮像対象に投射する投射部と、を有し、
前記投射部により投射される伝達情報は、異常検出の対象としない部分を示す非検出領域情報を含み、前記非検出領域情報は、前記撮像対象の異常検出の対象としない部分に投射される、
画像撮像装置。
an imaging unit that captures an image of an imaging target;
a projection unit for projecting transmission information on the imaging target in the form of an optical signal unique to each imaging device ;
The transmission information projected by the projection unit includes non-detection area information indicating a portion not targeted for abnormality detection, and the non-detection region information is projected onto the portion not targeted for abnormality detection of the imaging target.
Image capture device.
他の前記画像撮像装置から光信号にて投射された前記伝達情報を前記撮像部により受信し、
前記撮像部により受信された前記伝達情報に基づき、他の前記画像撮像装置の情報を識別する、
請求項1に記載の画像撮像装置。
receiving the transmission information projected as an optical signal from the other imaging device by the imaging unit;
identifying information of the other imaging device based on the transmitted information received by the imaging unit;
The imaging device according to claim 1.
他の前記画像撮像装置から投射された前記非検出領域情報を前記撮像部により受信し、
前記撮像部により受信された前記非検出領域情報に基づき、異常検出の対象としない部分を識別する、
請求項1又は2に記載の画像撮像装置。
receiving the non-detection area information projected from the other imaging device by the imaging unit;
Based on the non-detection area information received by the imaging unit, identifying a portion not targeted for abnormality detection;
The imaging device according to claim 1 or 2 .
前記伝達情報は、予め画像撮像装置ごと固有に定められた可視領域内または可視領域外の波長を有する光信号により投射される、
請求項1乃至のいずれか1項に記載の画像撮像装置。
The transmission information is projected by an optical signal having a wavelength within the visible range or outside the visible range, which is predetermined for each image capturing device.
The imaging device according to any one of claims 1 to 3 .
前記伝達情報は、予め画像撮像装置ごと固有に定められた色、模様、電子透かし、図形、文字のうち少なくとも一つにより構成された、
請求項1乃至のいずれか1項に記載の画像撮像装置。
The transmission information is composed of at least one of colors, patterns, digital watermarks, graphics, and characters that are predetermined for each image capturing device,
The imaging device according to any one of claims 1 to 4 .
撮像対象を撮像する撮像手順と、
画像撮像装置ごとに固有の光信号にて伝達情報を投射する投射手順と、を有し、
前記投射手順により投射される伝達情報は、異常検出の対象としない部分を示す非検出領域情報を含み、前記非検出領域情報は、前記撮像対象の異常検出の対象としない部分に投射される、
画像撮像方法。
an imaging procedure for imaging an imaging target;
a projection procedure for projecting transmission information with an optical signal unique to each imaging device ;
The transmission information projected by the projection procedure includes non-detection area information indicating a portion not targeted for abnormality detection, and the non-detection region information is projected on the portion not targeted for abnormality detection of the imaging target.
Image capture method.
JP2019030049A 2019-02-22 2019-02-22 Image pickup device and image pickup method Active JP7319057B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019030049A JP7319057B2 (en) 2019-02-22 2019-02-22 Image pickup device and image pickup method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019030049A JP7319057B2 (en) 2019-02-22 2019-02-22 Image pickup device and image pickup method

Publications (2)

Publication Number Publication Date
JP2020136984A JP2020136984A (en) 2020-08-31
JP7319057B2 true JP7319057B2 (en) 2023-08-01

Family

ID=72279332

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019030049A Active JP7319057B2 (en) 2019-02-22 2019-02-22 Image pickup device and image pickup method

Country Status (1)

Country Link
JP (1) JP7319057B2 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006106388A (en) 2004-10-06 2006-04-20 Olympus Corp Photographing range projecting display apparatus and electronic apparatus
JP2006304342A (en) 2004-02-03 2006-11-02 Matsushita Electric Ind Co Ltd Detection range adjustment device
JP2008160540A (en) 2006-12-25 2008-07-10 Fuji Xerox Co Ltd Information recording system and apparatus
JP2016038343A (en) 2014-08-08 2016-03-22 ソニー株式会社 Information processing device, information processing method, and program

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006304342A (en) 2004-02-03 2006-11-02 Matsushita Electric Ind Co Ltd Detection range adjustment device
JP2006106388A (en) 2004-10-06 2006-04-20 Olympus Corp Photographing range projecting display apparatus and electronic apparatus
JP2008160540A (en) 2006-12-25 2008-07-10 Fuji Xerox Co Ltd Information recording system and apparatus
JP2016038343A (en) 2014-08-08 2016-03-22 ソニー株式会社 Information processing device, information processing method, and program

Also Published As

Publication number Publication date
JP2020136984A (en) 2020-08-31

Similar Documents

Publication Publication Date Title
JP4803376B2 (en) Camera tampering detection method
JP3698420B2 (en) Image monitoring apparatus, image monitoring method, and image monitoring processing program
ES2848523T3 (en) System and method of surveillance and alarm by zones
US9053621B2 (en) Image surveillance system and image surveillance method
JP2007257122A (en) Monitoring system
KR101638303B1 (en) spontaneousness rescue apparatus for vehicle
JP2003240613A (en) Remote monitoring device
JP7319057B2 (en) Image pickup device and image pickup method
KR101046819B1 (en) Method and system for watching an intrusion by software fence
JP2008020981A (en) Monitoring system
JP5155926B2 (en) Security system and security method
WO2017104660A1 (en) Device for recording crime scene of shoplifting
KR101934534B1 (en) A internet protocol surveillance camera capable of determining the operating state
US20040233283A1 (en) Apparatus and method of detecting change in background area in video images
JP2006332733A (en) Monitoring service support system utilizing camera image
JP2015041913A (en) Monitor system
KR102630275B1 (en) Multi-camera fire detector
JP2013005336A (en) Monitoring device, security system, and program for monitoring device
KR20140057225A (en) Methods of cctv video take advantage and surveillance system improved using multi-sensor and thermal imaging
JP2021087031A (en) Information processing device, information processing method, monitoring system, and program
JP5016473B2 (en) Combined intrusion detection device
KR102618508B1 (en) Object detection and tracking system and method using edge cctv
JP2020167500A (en) Image processing apparatus and image processing program
JP2021044692A (en) Monitoring system
JP3495146B2 (en) Monitoring device using image analysis

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211117

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230302

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230627

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230720

R150 Certificate of patent or registration of utility model

Ref document number: 7319057

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150