JP7220972B1 - 情報処理システム、情報処理方法及びプログラム - Google Patents
情報処理システム、情報処理方法及びプログラム Download PDFInfo
- Publication number
- JP7220972B1 JP7220972B1 JP2022193108A JP2022193108A JP7220972B1 JP 7220972 B1 JP7220972 B1 JP 7220972B1 JP 2022193108 A JP2022193108 A JP 2022193108A JP 2022193108 A JP2022193108 A JP 2022193108A JP 7220972 B1 JP7220972 B1 JP 7220972B1
- Authority
- JP
- Japan
- Prior art keywords
- captured image
- cut filter
- information processing
- infrared cut
- defect
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 73
- 238000003672 processing method Methods 0.000 title claims description 8
- 238000003384 imaging method Methods 0.000 claims abstract description 161
- 230000007547 defect Effects 0.000 claims abstract description 73
- 238000000034 method Methods 0.000 claims abstract description 27
- 230000008569 process Effects 0.000 claims abstract description 21
- 238000012545 processing Methods 0.000 claims description 50
- 238000001514 detection method Methods 0.000 claims description 16
- 230000006870 function Effects 0.000 description 19
- 238000012986 modification Methods 0.000 description 19
- 230000004048 modification Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 12
- 230000002950 deficient Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 9
- 230000008439 repair process Effects 0.000 description 8
- 230000007246 mechanism Effects 0.000 description 5
- 230000002159 abnormal effect Effects 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000005304 optical glass Substances 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Studio Devices (AREA)
Abstract
本発明の一態様によれば、赤外線カットフィルターを有する撮像装置により撮像された撮像画像を処理する情報処理システムが提供される。この情報処理システムは、撮像画像に基づき、赤外線カットフィルターに関する不具合を検知する。不具合に関する情報を出力する。【選択図】図１
Description
本発明は、情報処理システム、情報処理方法及びプログラムに関する。
ネットワークカメラは複数の物理的な構成要素（ハードウェア）から構成されている。物理的な構成要素の一例としては例えばＩＲカットフィルター（赤外線カットフィルター）がある。
特許文献１には赤外カットフィルターの挿抜制御を行う制御システムが開示されている。
特許文献１には赤外カットフィルターの挿抜制御を行う制御システムが開示されている。
ネットワークカメラのハードウェアの一つに不具合が生じた場合であっても、一定の品質の撮像画像が撮像され、記憶されている場合、ハードウェアに何らかの不具合が生じているのか、許容している品質の範囲内なのかをすぐに判断することは困難であった。
本発明の一態様によれば、赤外線カットフィルターを有する撮像装置により撮像された撮像画像を処理する情報処理システムが提供される。この情報処理システムは、撮像画像に基づき、赤外線カットフィルターに関する不具合を検知する。不具合に関する情報を出力する。
以下、図面を用いて本発明の実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。
以下、図面を用いて本発明の実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。特に、本明細書において「部」とは、例えば、広義の回路によって実施されるハードウェア資源と、これらのハードウェア資源によって具体的に実現されうるソフトウェアの情報処理とを合わせたものも含みうる。また、本実施形態においては様々な情報を取り扱うが、これら情報は、０又は１で構成される２進数のビット集合体として信号値の高低によって表されるか、信号値の物理的な数値によって表されるか、又は量子的な重ね合わせによって表されるかによらず、広義の回路上で通信・演算が実行されうる。
また、広義の回路とは、回路（Ｃｉｒｃｕｉｔ）、回路類（Ｃｉｒｃｕｉｔｒｙ）、プロセッサ（Ｐｒｏｃｅｓｓｏｒ）、及びメモリ（Ｍｅｍｏｒｙ）等を少なくとも適当に組み合わせることによって実現される回路である。すなわち、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Ｓｉｍｐｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＳＰＬＤ）、複合プログラマブル論理デバイス（Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ：ＦＰＧＡ））等を含むものである。
また、実施形態中に登場するソフトウェアを実現するためのプログラムは、サーバーからダウンロード可能な態様で実施してもよいし、クラウドコンピュータ上でプログラムの実行がなされてもよいし、不揮発性又は揮発性の非一時的な記憶媒体に記憶させて頒布されてもよい。
以下の説明において、昼間とは、屋外で日が出ている時間帯のみならず、屋内で部屋が明るい時間帯（例えば会社の営業時間内）等も意味する。また、夜間とは、屋外で日が沈んでいる時間帯のみならず、屋内で部屋が暗い時間帯（例えば会社の営業時間外）等も意味する。
１．システム構成
図１は、情報処理システム１０００のシステム構成の一例を示す図である。図１に示されるように、情報処理システム１０００は、システム構成として、サーバー装置１００と、クライアント装置１１０と、撮像装置１２０と、を含む。サーバー装置１００と、クライアント装置１１０と、撮像装置１２０と、はネットワーク１５０を介して通信可能に接続されている。なお、サーバー装置１００はクラウドで実現されてもよい。
１．システム構成
図１は、情報処理システム１０００のシステム構成の一例を示す図である。図１に示されるように、情報処理システム１０００は、システム構成として、サーバー装置１００と、クライアント装置１１０と、撮像装置１２０と、を含む。サーバー装置１００と、クライアント装置１１０と、撮像装置１２０と、はネットワーク１５０を介して通信可能に接続されている。なお、サーバー装置１００はクラウドで実現されてもよい。
サーバー装置１００は、撮像装置１２０で撮像された撮像画像を記憶し、撮像画像を解析することで、撮像装置１２０を構成する少なくとも１つのハードウェアに故障が生じているか否かを判定し、故障が生じていると判定した場合は、ハードウェアの故障に関する情報を出力する。撮像装置１２０は、ネットワーク１５０を介してサーバー装置１００と通信可能なカメラであって、撮像画像をサーバー装置１００に送信する。撮像装置１２０の一例としては監視カメラ等がある。クライアント装置１１０は、情報処理システム１０００の管理者等（このユーザーとしては、主に当該システムの提供／保守等を行う側を想定しているが、当該システムの利用者側でもよい。）が操作する端末である。例えば、ハードウェアの故障に関する情報は、クライアント装置１１０のディスプレイ等に表示されてもよい。図１では簡略化のため撮像装置１２０は１台しか図示していないが、情報処理システム１０００には複数の撮像装置１２０が含まれる。但し、以下では説明の簡略化のため、１台の撮像装置１２０を例に説明を行う。
また、図１では、クライアント装置１１０の例としてスマートフォンを示しているが、スマートフォンに限定されるものではなく、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、タブレット型コンピュータ等であってもよい。クライアント装置１１０は、サーバー装置１００からの情報を表示等することができればどのようなものであってもよい。
ここで、特許請求の範囲に記載の情報処理システムは、複数の装置で構成されてもよいし、一つの装置で構成されてもよい。特許請求の範囲に記載の情報処理システムが一つの装置で構成され場合、その装置の一例はサーバー装置１００である。特許請求の範囲に記載の情報処理システムが複数の装置で構成される場合、複数の装置の一例は、サーバー装置１００及びクライアント装置１１０、又はサーバー装置１００及び撮像装置１２０である。
２．ハードウェア構成
（サーバー装置１００のハードウェア構成）
図２は、サーバー装置１００のハードウェア構成の一例を示す図である。サーバー装置１００は、ハードウェア構成として、制御部２１０と、記憶部２２０と、通信部２３０と、を含む。
（サーバー装置１００のハードウェア構成）
図２は、サーバー装置１００のハードウェア構成の一例を示す図である。サーバー装置１００は、ハードウェア構成として、制御部２１０と、記憶部２２０と、通信部２３０と、を含む。
制御部２１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等であって、サーバー装置１００の全体を制御する。制御部２１０は、記憶部２２０に記憶されているプログラムに基づき、処理を実行することによって、サーバー装置１００の機能等が実現される。
記憶部２２０は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）の何れか、又はこれらの任意の組み合わせであって、プログラム及び制御部２１０がプログラムに基づき処理を実行する際に利用するデータ等を記憶する。制御部２１０が、記憶部２２０に記憶されているプログラムに基づき、処理を実行することによって、サーバー装置１００の機能が実現される。記憶部２２０は、記憶媒体の一例である。なお、本実施形態では制御部２１０がプログラムに基づき処理を実行する際に利用するデータは記憶部２２０に記憶されるものとして説明するが、サーバー装置１００と通信可能な他の装置の記憶部等に記憶されていてもよい。すなわち、データは、制御部２１０が参照可能であればどの装置の記憶部に記憶されていてもよい。
通信部２３０は、ＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）等であって、サーバー装置１００をネットワーク１５０に接続し、他の装置との通信を司る。
記憶部２２０は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）の何れか、又はこれらの任意の組み合わせであって、プログラム及び制御部２１０がプログラムに基づき処理を実行する際に利用するデータ等を記憶する。制御部２１０が、記憶部２２０に記憶されているプログラムに基づき、処理を実行することによって、サーバー装置１００の機能が実現される。記憶部２２０は、記憶媒体の一例である。なお、本実施形態では制御部２１０がプログラムに基づき処理を実行する際に利用するデータは記憶部２２０に記憶されるものとして説明するが、サーバー装置１００と通信可能な他の装置の記憶部等に記憶されていてもよい。すなわち、データは、制御部２１０が参照可能であればどの装置の記憶部に記憶されていてもよい。
通信部２３０は、ＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）等であって、サーバー装置１００をネットワーク１５０に接続し、他の装置との通信を司る。
（クライアント装置１１０のハードウェア構成）
図３は、クライアント装置１１０のハードウェア構成の一例を示す図である。クライアント装置１１０は、ハードウェア構成として、制御部３１０と、記憶部３２０と、撮像部３３０と、入出力部３４０と、通信部３５０と、を含む。
図３は、クライアント装置１１０のハードウェア構成の一例を示す図である。クライアント装置１１０は、ハードウェア構成として、制御部３１０と、記憶部３２０と、撮像部３３０と、入出力部３４０と、通信部３５０と、を含む。
制御部３１０は、ＣＰＵ等であって、クライアント装置１１０の全体を制御する。
記憶部３２０は、ＨＤＤ、ＲＯＭ、ＲＡＭ、ＳＳＤの何れか、又はこれらの任意の組み合わせであって、プログラム、制御部３１０がプログラムに基づき処理を実行する際に利用するデータ等を記憶させる。制御部３１０が、記憶部３２０に記憶されているプログラムに基づき、処理を実行することによって、クライアント装置１１０の機能が実現される。
撮像部３３０は、被写体等を撮像する。
入出力部３４０は、タッチパネル等であってユーザー操作に基づいて情報を入力したり、制御部３１０の処理の結果等を出力したりする。
通信部３５０は、クライアント装置１１０をネットワーク１５０に接続し、他の装置との通信を司る。
記憶部３２０は、ＨＤＤ、ＲＯＭ、ＲＡＭ、ＳＳＤの何れか、又はこれらの任意の組み合わせであって、プログラム、制御部３１０がプログラムに基づき処理を実行する際に利用するデータ等を記憶させる。制御部３１０が、記憶部３２０に記憶されているプログラムに基づき、処理を実行することによって、クライアント装置１１０の機能が実現される。
撮像部３３０は、被写体等を撮像する。
入出力部３４０は、タッチパネル等であってユーザー操作に基づいて情報を入力したり、制御部３１０の処理の結果等を出力したりする。
通信部３５０は、クライアント装置１１０をネットワーク１５０に接続し、他の装置との通信を司る。
なお、撮像装置１２０のハードウェア構成もクライアント装置１１０のハードウェア構成と概ね同様であり、撮像装置１２０の制御部が撮像装置１２０の記憶部に記憶されているプログラムに基づき処理を実行することによって撮像装置１２０の機能が実現される。撮像装置１２０は、撮像部を有し、これはレンズ、イメージセンサー等で構成される。また、撮像装置１２０は、夜間に赤外線を用いて撮影可能とするため、赤外線照射機構を有し、これを夜間の撮影時のみＯＮにする。また、撮像装置１２０の撮像部は、赤外線も捉えられるが、そのままでは昼間に撮影した映像が全体に赤みがかってしまう（赤色だけでなく桃色や紫色に感じられることもある）ため、赤外線カットフィルター（ＩＲカットフィルター）を有し、これを昼間はＯＮ／夜間はＯＦＦにする。また、撮像装置１２０は、光を検知して昼間／夜間を判別する昼夜センサーを有し、この判別結果に応じて赤外線照射機構やＩＲカットフィルターのＯＮ／ＯＦＦを制御する。
３．情報処理
以下、本実施形態に係る情報処理を説明する。
（処理の概要）
制御部２１０は、撮像装置１２０によって撮像された撮像画像に基づき撮像装置１２０を構成する所定のハードウェアに関する不具合が検知された場合、所定のハードウェアに関する不具合に関する情報を出力する。本実施形態では、所定のハードウェアの一例として、赤外線カットフィルターを例に説明を行う。赤外線カットフィルター（ＩＲカットフィルター）は、撮像装置１２０のレンズに取り付けられた光学ガラスであって、昼間の撮影時にはこれをＯＮする（閉じる）ことにより赤外線をカットする。赤外線カットフィルターに不具合が起こり、例えばこれをＯＮする（閉じる）ことができず常時ＯＦＦ（開いた）状態になくなってしまうと、赤外線がカットされず、昼間の撮像画像は全体的に赤みがかった画像（赤色だけでなく桃色や紫色に感じられることもある）となってしまう。また、例えば赤外線カットフィルターが中途半端にＯＮされた（閉じた）状態で止まってしまうと、昼間の撮像画像は部分的に赤みがかった画像となってしまう。一方、赤外線カットフィルターに不具合が起こり、例えばこれをＯＦＦする（開く）ことができず常時ＯＮ（閉じた）状態になくなってしまうと、赤外線がカットされ、夜間の撮像画像は全体的に暗くなってしまう。また、例えば赤外線カットフィルターが中途半端にＯＦＦされた（開いた）状態で止まってしまうと、昼間の撮像画像は部分的に暗い画像となってしまう。なお、夜間の撮像画像が暗くなってしまう原因としては、赤外線カットフィルターの不具合だけではなく、赤外線照射機構に不具合があり、赤外線が正しく照射されなくなってしまった場合等もある。制御部２１０が上述した処理を行うことによって、撮像装置１２０のハードウェアに不具合が起こった場合、すぐに不具合が起こったことを示す情報等を出力することができる。その結果、撮像装置１２０を設置しているお客様等に不具合が生じしていることを知らせたり、修理を担当する担当者に撮像装置１２０の修理を依頼したりすることができる。
以下、本実施形態に係る情報処理を説明する。
（処理の概要）
制御部２１０は、撮像装置１２０によって撮像された撮像画像に基づき撮像装置１２０を構成する所定のハードウェアに関する不具合が検知された場合、所定のハードウェアに関する不具合に関する情報を出力する。本実施形態では、所定のハードウェアの一例として、赤外線カットフィルターを例に説明を行う。赤外線カットフィルター（ＩＲカットフィルター）は、撮像装置１２０のレンズに取り付けられた光学ガラスであって、昼間の撮影時にはこれをＯＮする（閉じる）ことにより赤外線をカットする。赤外線カットフィルターに不具合が起こり、例えばこれをＯＮする（閉じる）ことができず常時ＯＦＦ（開いた）状態になくなってしまうと、赤外線がカットされず、昼間の撮像画像は全体的に赤みがかった画像（赤色だけでなく桃色や紫色に感じられることもある）となってしまう。また、例えば赤外線カットフィルターが中途半端にＯＮされた（閉じた）状態で止まってしまうと、昼間の撮像画像は部分的に赤みがかった画像となってしまう。一方、赤外線カットフィルターに不具合が起こり、例えばこれをＯＦＦする（開く）ことができず常時ＯＮ（閉じた）状態になくなってしまうと、赤外線がカットされ、夜間の撮像画像は全体的に暗くなってしまう。また、例えば赤外線カットフィルターが中途半端にＯＦＦされた（開いた）状態で止まってしまうと、昼間の撮像画像は部分的に暗い画像となってしまう。なお、夜間の撮像画像が暗くなってしまう原因としては、赤外線カットフィルターの不具合だけではなく、赤外線照射機構に不具合があり、赤外線が正しく照射されなくなってしまった場合等もある。制御部２１０が上述した処理を行うことによって、撮像装置１２０のハードウェアに不具合が起こった場合、すぐに不具合が起こったことを示す情報等を出力することができる。その結果、撮像装置１２０を設置しているお客様等に不具合が生じしていることを知らせたり、修理を担当する担当者に撮像装置１２０の修理を依頼したりすることができる。
（処理の詳細）
本実施形態（変形例も含む）に係る検知処理や画像処理は、サーバー装置側で行う例で説明するが、撮像装置側で行ってもよい。
また、本実施形態（変形例も含む）に係る不具合の検知処理において、不具合を１回検知するとその後に各種処理（検知情報の送信や画像処理）を行うが、不具合を複数回検知した場合に当該各種処理を行うようにしてもよいし、その回数はクライアント装置１１０等を介してユーザーにより任意に設定可能としてもよい。
また、本実施形態（変形例も含む）において不具合の検知処理を昼間と夜間の両方で行う場合、不具合が夜間のみで検知された場合には、不具合の原因は赤外線照射機構であると特定してもよい。また、不具合が昼間と夜間の両方で検知された場合には、不具合の原因は赤外線カットフィルターであると特定してもよい。
また、本実施形態（変形例も含む）に係るシーケンスは、例えば１日に１回の決まった時刻等、所定のタイミングで実行される。所定のタイミングは、予め定められたタイミングでもよいし、クライアント装置１１０等を介してユーザーにより任意に設定可能としてもよい。何れにしても、所定のタイミングは、昼間の撮像画像が赤みがかってしまうケースを対象とする場合には、昼間であることが望ましく、これを任意に設定可能とする場合には、ユーザーが夜間を設定しようとしたときに警告を出す等して、昼間が設定されるよう促してもよい。一方、所定のタイミングは、夜間の撮像画像が暗くなってしまうケースを対象とする場合には、夜間であることが望ましく、これを任意に設定可能とする場合には、ユーザーが昼間を設定しようとしたときに警告を出す等して、夜間が設定されるよう促してもよい。なお、この様な警告を行うために、設定の前段階で何れのケースを対象とするかユーザーにより選択可能とし、選択されたケースに対応して警告を出すようにしてもよい。また、その場合において、両方のケースが選択された場合、警告を出さないようにしてもよい。
本実施形態（変形例も含む）に係る検知処理や画像処理は、サーバー装置側で行う例で説明するが、撮像装置側で行ってもよい。
また、本実施形態（変形例も含む）に係る不具合の検知処理において、不具合を１回検知するとその後に各種処理（検知情報の送信や画像処理）を行うが、不具合を複数回検知した場合に当該各種処理を行うようにしてもよいし、その回数はクライアント装置１１０等を介してユーザーにより任意に設定可能としてもよい。
また、本実施形態（変形例も含む）において不具合の検知処理を昼間と夜間の両方で行う場合、不具合が夜間のみで検知された場合には、不具合の原因は赤外線照射機構であると特定してもよい。また、不具合が昼間と夜間の両方で検知された場合には、不具合の原因は赤外線カットフィルターであると特定してもよい。
また、本実施形態（変形例も含む）に係るシーケンスは、例えば１日に１回の決まった時刻等、所定のタイミングで実行される。所定のタイミングは、予め定められたタイミングでもよいし、クライアント装置１１０等を介してユーザーにより任意に設定可能としてもよい。何れにしても、所定のタイミングは、昼間の撮像画像が赤みがかってしまうケースを対象とする場合には、昼間であることが望ましく、これを任意に設定可能とする場合には、ユーザーが夜間を設定しようとしたときに警告を出す等して、昼間が設定されるよう促してもよい。一方、所定のタイミングは、夜間の撮像画像が暗くなってしまうケースを対象とする場合には、夜間であることが望ましく、これを任意に設定可能とする場合には、ユーザーが昼間を設定しようとしたときに警告を出す等して、夜間が設定されるよう促してもよい。なお、この様な警告を行うために、設定の前段階で何れのケースを対象とするかユーザーにより選択可能とし、選択されたケースに対応して警告を出すようにしてもよい。また、その場合において、両方のケースが選択された場合、警告を出さないようにしてもよい。
図４は、情報処理システム１０００における情報処理の一例を示すシーケンス図である。
シーケンスＳＱ４０１において、撮像装置１２０は、撮像画像をサーバー装置１００に送信する。ここで、撮像画像には属性情報として撮像画像を撮像した撮像装置１２０を識別する識別情報、撮像日時、撮像に係るパラメータ情報等が含まれるものとする。サーバー装置１００の制御部２１０は、撮像装置１２０から送信された撮像画像を受信する。
シーケンスＳＱ４０２において、制御部２１０は、受信した撮像画像を記憶部２２０等に記憶する。
撮像装置１２０は、起動中は常に画像を撮像し、撮像画像をサーバー装置１００に送信する。サーバー装置１００は、撮像画像を受信すると、シーケンスＳＱ４０２の処理を実行する。
シーケンスＳＱ４０１において、撮像装置１２０は、撮像画像をサーバー装置１００に送信する。ここで、撮像画像には属性情報として撮像画像を撮像した撮像装置１２０を識別する識別情報、撮像日時、撮像に係るパラメータ情報等が含まれるものとする。サーバー装置１００の制御部２１０は、撮像装置１２０から送信された撮像画像を受信する。
シーケンスＳＱ４０２において、制御部２１０は、受信した撮像画像を記憶部２２０等に記憶する。
撮像装置１２０は、起動中は常に画像を撮像し、撮像画像をサーバー装置１００に送信する。サーバー装置１００は、撮像画像を受信すると、シーケンスＳＱ４０２の処理を実行する。
シーケンスＳＱ４０３において、制御部２１０は、記憶部２２０に記憶されている撮像画像に基づき赤外線カットフィルターに不具合が起こっているかを調べる検知処理を実行する。例えば、制御部２１０は、撮像装置１２０で撮像された一の撮像画像に基づき赤外線カットフィルターに不具合が起こっているかを調べる。より具体的に説明すると、制御部２１０は、撮像画像における、異常な画素（例えば、昼間の撮像画像が赤みがかってしまうケースを対象とする場合には、画素ごとにＲＧＢの色成分からＲ／ＧやＢ／Ｇを算出し、その両方が閾値以上となった画素を赤みがかった画素すなわち異常な画素と認識する。また、例えば、夜間の撮像画像が暗くなってしまうケースを対象とする場合には、画素ごとにＲＧＢの各値が閾値以下となった画素を暗い画素すなわち異常な画素と認識する。）の数をカウントし、カウントした結果の値を撮像画像の全画素数で割った値を故障度とする。なお、本処理は必ずしも全画素を対象としなくてもよく、所定単位でスキップした画素を対象としてもよいし、縮小画像を生成した後にその全画素を対象としてもよい。また、制御部２１０は、デバイスのガンマ特性を考慮するため、ＲＧＢ空間からリニアＲＧＢ空間に変換し、計算するようにしてもよい。制御部２１０は、故障度が閾値以上である場合は、撮像装置１２０の赤外線カットフィルターに不具合が起こっているとして、不具合を検知したとする。なお、不具合を検知した場合、その時間帯や画素値の特性に応じて、不具合の種類（昼間の撮像画像が赤みがかってしまうケース／夜間の撮像画像が暗くなってしまうケース）を判別してもよい。また、制御部２１０は、故障度が閾値未満である場合は、撮像装置１２０の赤外線カットフィルターに不具合は起きていないとして以下に説明するシーケンスＳＱ４０４以降の処理を省略する。
他の例として、制御部２１０は、一の撮像画像を学習済みモデルに入力するようにしてもよい。ここで、学習済みモデルは、一の撮像画像を入力データ、撮像画像を撮像した撮像装置の赤外線カットフィルターに不具合が生じているか否かを出力データとして学習された学習済みモデルである。制御部２１０は、出力データが赤外線カットフィルターに不具合が生じていることを示していた場合、撮像装置１２０の赤外線カットフィルターに不具合が起こっているとして、不具合を検知したとする。また、制御部２１０は、出力データが赤外線カットフィルターに不具合が生じていないことを示していた場合、撮像装置１２０の赤外線カットフィルターに不具合は起きていないとして以下に説明するシーケンスＳＱ４０４以降の処理を省略する。
シーケンスＳＱ４０４において、制御部２１０は、撮像装置１２０の赤外線カットフィルターに不具合が起こっていることを示す情報を管理者等に通知するため、クライアント装置１１０に送信する。例えば、制御部２１０は、電子メールを用いて、管理者宛に撮像装置１２０の赤外線カットフィルターに不具合が起こっていることを示す情報を送信する。図５は、クライアント装置１１０に送信される電子メールの一例を示す図である。電子メールには、不具合を起こした撮像装置１２０を識別する情報と、撮像装置１２０が設置されている設置場所の情報と、不具合の内容と、不具合を検知した日付等が記載されている。なお、不具合の内容としては、不具合の種類（昼間の撮像画像が赤みがかってしまうケース／夜間の撮像画像が暗くなってしまうケース）を記載してもよい。また、不具合を検知した日付としては、時刻や時間帯、昼間／夜間等を示す情報を記載してもよい。また、不具合を起した可能性があるハードウェアとしては、ＩＲカットフィルター以外のものとして、例えば赤外線照射機構を併記してもよいし、その何れかが明確に分かる場合には片方のみを記載してもよい。また、メールの記載のうち「保守担当者に連絡してください」という部分については、通知先が保守担当者である場合には、省略される。シーケンスＳＱ４０４の処理等は、撮像画像の画素値に基づき所定のハードウェアに関する不具合が検知された場合、所定のハードウェアに関する不具合に関する情報を出力する処理の一例である。また、シーケンスＳＱ４０３及びシーケンスＳＱ４０４の処理は、撮像画像の画素値に基づき所定のハードウェアに関する不具合が発生しているか否かを判定し、所定のハードウェアに関する不具合が発生していると判定した場合、所定のハードウェアに関する不具合を検知したとして所定のハードウェアに関する不具合に関する情報を出力する処理の一例でもある。
なお、電子メールを送信するのは出力の一例であり、クライアント装置１１０の操作者等に撮像装置１２０の赤外線カットフィルターに不具合が起こっていることを通知することができればどのような方法であってもよい。例えば、制御部２１０は、ビジネスチャットツールにおいて担当者宛に図５に示されるような内容を送信するようにしてもよい。
また、制御部２１０は、出力の他の例として、撮像装置１２０の赤外線カットフィルターに不具合が起こっていることを示す情報を、ＣＳＶ形式等（前述したメールに記載の情報を種類別に整理してまとめたもの）で記憶部２２０の所定の領域等に格納するようにしてもよい。
なお、電子メールを送信するのは出力の一例であり、クライアント装置１１０の操作者等に撮像装置１２０の赤外線カットフィルターに不具合が起こっていることを通知することができればどのような方法であってもよい。例えば、制御部２１０は、ビジネスチャットツールにおいて担当者宛に図５に示されるような内容を送信するようにしてもよい。
また、制御部２１０は、出力の他の例として、撮像装置１２０の赤外線カットフィルターに不具合が起こっていることを示す情報を、ＣＳＶ形式等（前述したメールに記載の情報を種類別に整理してまとめたもの）で記憶部２２０の所定の領域等に格納するようにしてもよい。
シーケンスＳＱ４０５において、制御部２１０は、赤外線カットフィルターに不具合が起こったことに応じた画像処理を記憶部２２０に記憶されている撮像画像に対して行う。例えば、制御部２１０は、昼間の撮像画像が赤みがかってしまうケースに対しては、赤みがかった撮像画像の赤みをなくすようＲＧＢ値の値を調整する画像処理を行う。また、制御部２１０は、夜間の撮像画像が暗くなってしまうケースに対しては、暗くなった撮像画像を明るくするようＲＧＢ値の値を調整する画像処理を行う。この処理は、撮像装置１２０で撮像された撮像画像に対して不具合に応じた画像処理を実行する処理の一例である。
ここで、制御部２１０は、制御部２１０は、撮像装置１２０の赤外線カットフィルターに関する不具合が検知された場合、撮像装置１２０の赤外線カットフィルターに不具合が生じたと検知してから撮像装置１２０の赤外線カットフィルターに関する不具合が修正されたと例えばクライアント装置１１０等の情報を受け取るまでの間に撮像装置１２０で撮像された撮像画像に対して、不具合に応じた画像処理を実行するようにしてもよい。
ここで、制御部２１０は、制御部２１０は、撮像装置１２０の赤外線カットフィルターに関する不具合が検知された場合、撮像装置１２０の赤外線カットフィルターに不具合が生じたと検知してから撮像装置１２０の赤外線カットフィルターに関する不具合が修正されたと例えばクライアント装置１１０等の情報を受け取るまでの間に撮像装置１２０で撮像された撮像画像に対して、不具合に応じた画像処理を実行するようにしてもよい。
本実施形態によれば、撮像装置１２０のハードウェアに不具合が起こった場合、撮像画像に基づき不具合を検知し、すぐに不具合が起こったことを示す情報等を出力することができる。その結果、撮像装置１２０を設置しているお客様等に不具合が生じしていることを知らせたり、修理を担当する担当者に撮像装置１２０の修理を依頼したりすることができる。また、多くの撮像装置を様々な場所に設置している場合であっても、不具合が起こっていないか現場に出向いて人手で確認しなくてもよいため、情報処理システム１０００全体の設置費用、管理費用等を安くすることができる。
（変形例１）
実施形態１の変形例１を説明する。
図６は、変形例１の情報処理システム１０００における情報処理の一例を示すシーケンス図である。
例えば、所定のタイミングになったと判定した場合、シーケンスＳＱ６０１において、変形例１のサーバー装置１００の制御部２１０は、撮像装置１２０に対して赤外線カットフィルターの機能をＯＮ（有効）にする制御信号を送信する。変形例１の撮像装置１２０は、サーバー装置１００より赤外線カットフィルターの機能をＯＮ（有効）にする制御信号を受信する。
実施形態１の変形例１を説明する。
図６は、変形例１の情報処理システム１０００における情報処理の一例を示すシーケンス図である。
例えば、所定のタイミングになったと判定した場合、シーケンスＳＱ６０１において、変形例１のサーバー装置１００の制御部２１０は、撮像装置１２０に対して赤外線カットフィルターの機能をＯＮ（有効）にする制御信号を送信する。変形例１の撮像装置１２０は、サーバー装置１００より赤外線カットフィルターの機能をＯＮ（有効）にする制御信号を受信する。
赤外線カットフィルターの機能をＯＮ（有効）にする制御信号を受信すると、シーケンスＳＱ６０２において、撮像装置１２０は、赤外線カットフィルターの機能をＯＮ（有効）にし、撮像を行い、撮像画像を生成する。赤外線カットフィルターの機能をＯＮ（有効）にして撮像を行うモードをＩＲカットフィルターＯＮモードという。ＩＲカットフィルターＯＮモードは、第１の撮像モードの一例である。撮像装置１２０は、赤外線カットフィルターの機能が既に有効であった場合（既にＩＲカットフィルターＯＮモードで動作していた場合）は、そのまま撮像を行い、撮像画像を生成する。変形例１の撮像画像の属性情報には、赤外線カットフィルターの機能がＯＮの場合はＯＮ、ＯＦＦの場合はＯＦＦであることを示す情報が含まれる。
シーケンスＳＱ６０３において、撮像装置１２０は、撮像画像をサーバー装置１００に送信する。サーバー装置１００の制御部２１０は、撮像装置１２０から送信された撮像画像を受信する。
シーケンスＳＱ６０４において、制御部２１０は、受信した撮像画像を記憶部２２０等に記憶する。
シーケンスＳＱ６０４において、制御部２１０は、受信した撮像画像を記憶部２２０等に記憶する。
例えば、赤外線カットフィルターの機能をＯＮ（有効）にする制御信号を送信してから所定時間経過後、制御部２１０は、撮像装置１２０に対して赤外線カットフィルターの機能をＯＦＦ（無効）にする制御信号を送信する。なお、この所定時間は、ＳＱ６０２とＳＱ６０６の撮像がほぼ同時刻と見なせる程度に（ＳＱ６０１～ＳＱ６０３の後ＳＱ６０５～ＳＱ６０７が速やかに行われるように）設定されることが望ましい。撮像装置１２０は、サーバー装置１００より赤外線カットフィルターの機能をＯＦＦ（無効）にする制御信号を受信する。
赤外線カットフィルターの機能をＯＦＦ（無効）にする制御信号を受信すると、シーケンスＳＱ６０６において、撮像装置１２０は、赤外線カットフィルターの機能をＯＦＦ（無効）にし、撮像を行い、撮像画像を生成する。赤外線カットフィルターの機能をＯＦＦ（無効）にして撮像を行うモードをＩＲカットフィルターＯＦＦモードという。ＩＲカットフィルターＯＦＦモードは、第２の撮像モードの一例である。撮像装置１２０は、赤外線カットフィルターの機能が既に無効であった場合（既にＩＲカットフィルターＯＦＦモードで動作していた場合）は、そのまま撮像を行い、撮像画像を生成する。
すなわち、撮像装置１２０は、赤外線カットフィルターを有効にしたＩＲカットフィルターＯＮモードと赤外線カットフィルターを無効にしたＩＲカットフィルターＯＦＦモードとで撮像可能である。
すなわち、撮像装置１２０は、赤外線カットフィルターを有効にしたＩＲカットフィルターＯＮモードと赤外線カットフィルターを無効にしたＩＲカットフィルターＯＦＦモードとで撮像可能である。
シーケンスＳＱ６０７において、撮像装置１２０は、撮像画像をサーバー装置１００に送信する。サーバー装置１００の制御部２１０は、撮像装置１２０から送信された撮像画像を受信する。
シーケンスＳＱ６０８において、制御部２１０は、受信した撮像画像を記憶部２２０等に記憶する。
なお、シーケンスＳＱ６０１の処理と、シーケンスＳＱ６０２の処理との順序は逆であってもよい。また、この順序は、図６のシーケンスを開始したタイミングにおけるＩＲカットフィルターの状態に応じて（例えば始めにＩＲカットフィルターがＯＮであればＯＮ／ＯＦＦという順序になるように）、決定してもよい。
シーケンスＳＱ６０８において、制御部２１０は、受信した撮像画像を記憶部２２０等に記憶する。
なお、シーケンスＳＱ６０１の処理と、シーケンスＳＱ６０２の処理との順序は逆であってもよい。また、この順序は、図６のシーケンスを開始したタイミングにおけるＩＲカットフィルターの状態に応じて（例えば始めにＩＲカットフィルターがＯＮであればＯＮ／ＯＦＦという順序になるように）、決定してもよい。
シーケンスＳＱ６０９において、制御部２１０は、記憶部２２０に記憶されているＩＲカットフィルターＯＮモードで撮像された撮像画像とＩＲカットフィルターＯＦＦモードで撮像された撮像画像とに基づき赤外線カットフィルターに不具合が起こっているかを調べる検知処理を実行する。例えば、制御部２１０は、ＩＲカットフィルターＯＮモードで撮像された撮像画像とＩＲカットフィルターＯＦＦモードで撮像された撮像画像とに差異がない、すなわち、昼間に撮影した映像が、全体的又は部分的に、どちらも赤みがかっていたり、どちらも赤みがかっていなかったりした場合、又は、夜間に撮影した映像が、全体的又は部分的に、どちらも暗くなっていたり、どちらも暗くなっていなかったりした場合は、赤外線カットフィルターに不具合が起こっているとして、不具合を検知したとする。
より具体的に説明すると、制御部２１０は、ＩＲカットフィルターＯＮモードで撮像された撮像画像（以下、第１の撮像画像ともいう）とＩＲカットフィルターＯＦＦモードで撮像された撮像画像（以下、第２の撮像画像ともいう）とを比較し、色以外の動きがある画像領域を比較対象領域から除外する。例えば、第１の撮像画像には含まれているオブジェクト（例えば、車）の位置と第２の撮像画像に含まれているオブジェクトの位置とが異なる場合、第１の撮像画像のオブジェクトが存在する領域及び第２の撮像画像のオブジェクトが存在する領域を第１の撮像画像及び第２の撮像画像から削除することで、比較対象領域から除外する。制御部２１０は、第１の撮像画像の比較対象領域と第２の撮像画像の比較対象領域について、同じ位置の画素同士で色の差分を計算する。より具体的に説明すると、制御部２１０は、画素ごとにＲＧＢの色成分の何れか又は全ての差分を算出し、そのうち何れか又は全ての差分が閾値未満となった画素を異常な画素と認識し、その数をカウントする。なお、この閾値は、撮像のタイミング（昼間／夜間）により異なる値としてもよい。そして、カウントした結果の値を撮像画像の全画素数で割った値を故障度とする。なお、本処理は必ずしも全画素を対象としなくてもよく、所定単位でスキップした画素を対象としてもよいし、縮小画像を生成した後にその全画素を対象としてもよい。また、制御部２１０は、デバイスのガンマ特性を考慮するため、ＲＧＢ空間からリニアＲＧＢ空間に変換し、計算するようにしてもよい。制御部２１０は、故障度が閾値以上である場合は、撮像装置１２０の赤外線カットフィルターに不具合が起こっているとして、不具合を検知したとする。なお、不具合を検知した場合、その時間帯や画素値の特性に応じて、不具合の種類（昼間の撮像画像が赤みがかってしまうケース／夜間の撮像画像が暗くなってしまうケース）を判別してもよい。不具合が起こっていないと判定した場合、制御部２１０は、以下に説明するシーケンスＳＱ６１０以降の処理を省略する。なお、不具合の検知方法は、変形例２と同様に２つの撮像画像のヒストグラムの差分を求める方法を採用してもよい。
他の例として、制御部２１０は、第１の撮像画像と第２の撮像画像とを学習済みモデルに入力するようにしてもよい。ここで、学習済みモデルは、第１の撮像画像と第２の撮像画像とを入力データ、第１の撮像画像と第２の撮像画像とを撮像した撮像装置の赤外線カットフィルターに不具合が生じているか否かを出力データとして学習された学習済みモデルである。制御部２１０は、出力データが赤外線カットフィルターに不具合が生じていることを示していた場合、撮像装置１２０の赤外線カットフィルターに不具合が起こっているとして、不具合を検知したとする。また、制御部２１０は、出力データが赤外線カットフィルターに不具合が生じていないことを示していた場合、撮像装置１２０の赤外線カットフィルターに不具合は起きていないとして以下に説明するシーケンスＳＱ６１０以降の処理を省略する。
シーケンスＳＱ６１０において、制御部２１０は、撮像装置１２０の赤外線カットフィルターに不具合が起こっていることを示す情報を管理者等に通知するため、クライアント装置１１０に送信する。例えば、制御部２１０は、電子メールを用いて、図５に示されるような内容で、管理者宛に撮像装置１２０の赤外線カットフィルターに不具合が起こっていることを示す情報を送信する。シーケンスＳＱ６１０の処理等は、第１の撮像画像と第２の撮像画像とに基づき赤外線カットフィルターに関する不具合が検知された場合、赤外線カットフィルターに関する不具合に関する情報を出力する処理の一例である。また、シーケンスＳＱ６０９及びシーケンスＳＱ６１０の処理は、第１の撮像画像と第２の撮像画像とに基づき赤外線カットフィルターに関する不具合が発生しているか否かを判定し、赤外線カットフィルターに関する不具合が発生していると判定した場合、赤外線カットフィルターに関する不具合を検知したとして赤外線カットフィルターに関する不具合に関する情報を出力する処理の一例でもある。
なお、電子メールを送信するのは出力の一例であり、クライアント装置１１０の操作者等に撮像装置１２０の赤外線カットフィルターに不具合が起こっていることを通知することができればどのような方法であってもよい。例えば、制御部２１０は、ビジネスチャットツールにおいて担当者宛に図５に示されるような内容を送信するようにしてもよい。
また、制御部２１０は、出力の他の例として、撮像装置１２０の赤外線カットフィルターに不具合が起こっていることを示す情報を、ＣＳＶ形式等（前述したメールに記載の情報を種類別に整理してまとめたもの）で記憶部２２０の所定の領域等に格納するようにしてもよい。
なお、電子メールを送信するのは出力の一例であり、クライアント装置１１０の操作者等に撮像装置１２０の赤外線カットフィルターに不具合が起こっていることを通知することができればどのような方法であってもよい。例えば、制御部２１０は、ビジネスチャットツールにおいて担当者宛に図５に示されるような内容を送信するようにしてもよい。
また、制御部２１０は、出力の他の例として、撮像装置１２０の赤外線カットフィルターに不具合が起こっていることを示す情報を、ＣＳＶ形式等（前述したメールに記載の情報を種類別に整理してまとめたもの）で記憶部２２０の所定の領域等に格納するようにしてもよい。
シーケンスＳＱ６１１において、制御部２１０は、赤外線カットフィルターに不具合が起こったことに応じた画像処理を記憶部２２０に記憶されている撮像画像に対して行う。例えば、制御部２１０は、昼間の撮像画像が赤みがかってしまうケースに対しては、赤みがかった撮像画像の赤みをなくすようＲＧＢ値の値を調整する画像処理を行う。また、制御部２１０は、夜間の撮像画像が暗くなってしまうケースに対しては、暗くなった撮像画像を明るくするようＲＧＢ値の値を調整する画像処理を行う。
ここで、制御部２１０は、制御部２１０は、撮像装置１２０の赤外線カットフィルターに関する不具合が検知された場合、撮像装置１２０の赤外線カットフィルターに不具合が生じたと検知してから撮像装置１２０の赤外線カットフィルターに関する不具合が修正されたと例えばクライアント装置１１０等の情報を受け取るまでの間に撮像装置１２０で撮像された撮像画像に対して、不具合に応じた画像処理を実行するようにしてもよい。
ここで、制御部２１０は、制御部２１０は、撮像装置１２０の赤外線カットフィルターに関する不具合が検知された場合、撮像装置１２０の赤外線カットフィルターに不具合が生じたと検知してから撮像装置１２０の赤外線カットフィルターに関する不具合が修正されたと例えばクライアント装置１１０等の情報を受け取るまでの間に撮像装置１２０で撮像された撮像画像に対して、不具合に応じた画像処理を実行するようにしてもよい。
変形例１によっても、撮像装置１２０のハードウェアに不具合が起こった場合、撮像画像に基づき不具合を検知し、すぐに不具合が起こったことを示す情報等を出力することができる。その結果、撮像装置１２０を設置しているお客様等に不具合が生じしていることを知らせたり、修理を担当する担当者に撮像装置１２０の修理を依頼したりすることができる。また、多くの撮像装置を様々な場所に設置している場合であっても、不具合が起こっていないか現場に出向いて人手で確認しなくてもよいため、情報処理システム１０００全体の設置費用、管理費用等を安くすることができる。
（変形例２）
実施形態１の変形例２を説明する。
変形例２の撮像画像の属性情報には、撮像画像が撮像された際の動作モードが含まれる。この動作モードには、少なくとも昼間の撮影モード（赤外線照射ＯＦＦ／ＩＲカットフィルターＯＮ）と夜間の撮影モード（赤外線照射ＯＮ／ＩＲカットフィルターＯＦＦ）が含まれる。
変形例２の制御部２１０は、記憶部２２０等に記憶されている撮像画像の属性情報に含まれる撮像日時と、動作モードと、に基づき、同じ動作モードで、撮像日時が異なる少なくとも２つの撮像画像（以下、第３の画像、第４の画像ともいう）に基づき、撮像装置１２０の赤外線カットフィルターに不具合が起こっているかを調べる検知処理を実行する。例えば、制御部２１０は、第３の画像に含まれる被写体に関する画像のヒストグラムと、第４の画像に含まれる同じ被写体に関する画像のヒストグラムと、の差分を求め、差分が閾値以上の場合は、赤外線カットフィルターに不具合が生じていると判定し、不具合を検知したとする。一方、制御部２１０は、差分が閾値未満の場合は、赤外線カットフィルターに不具合が生じていないとする。なお、不具合の検知方法は、変形例１と同様に２つの撮像画像に含まれる画素同士の色の差分を求める方法を採用してもよい。
実施形態１の変形例２を説明する。
変形例２の撮像画像の属性情報には、撮像画像が撮像された際の動作モードが含まれる。この動作モードには、少なくとも昼間の撮影モード（赤外線照射ＯＦＦ／ＩＲカットフィルターＯＮ）と夜間の撮影モード（赤外線照射ＯＮ／ＩＲカットフィルターＯＦＦ）が含まれる。
変形例２の制御部２１０は、記憶部２２０等に記憶されている撮像画像の属性情報に含まれる撮像日時と、動作モードと、に基づき、同じ動作モードで、撮像日時が異なる少なくとも２つの撮像画像（以下、第３の画像、第４の画像ともいう）に基づき、撮像装置１２０の赤外線カットフィルターに不具合が起こっているかを調べる検知処理を実行する。例えば、制御部２１０は、第３の画像に含まれる被写体に関する画像のヒストグラムと、第４の画像に含まれる同じ被写体に関する画像のヒストグラムと、の差分を求め、差分が閾値以上の場合は、赤外線カットフィルターに不具合が生じていると判定し、不具合を検知したとする。一方、制御部２１０は、差分が閾値未満の場合は、赤外線カットフィルターに不具合が生じていないとする。なお、不具合の検知方法は、変形例１と同様に２つの撮像画像に含まれる画素同士の色の差分を求める方法を採用してもよい。
他の例として、制御部２１０は、第３の撮像画像と第４の撮像画像とを学習済みモデルに入力するようにしてもよい。ここで、学習済みモデルは、第３の撮像画像と第４の撮像画像とを入力データ、第３の撮像画像と第４の撮像画像とを撮像した撮像装置の赤外線カットフィルターに不具合が生じているか否かを出力データとして学習された学習済みモデルである。制御部２１０は、出力データが赤外線カットフィルターに不具合が生じていることを示していた場合、撮像装置１２０の赤外線カットフィルターに不具合が起こっているとして、不具合を検知したとする。また、制御部２１０は、出力データが赤外線カットフィルターに不具合が生じていないことを示していた場合、撮像装置１２０の赤外線カットフィルターに不具合は起きていないとする。
制御部２１０は、撮像装置１２０の赤外線カットフィルターに不具合が起こっていることを検知すると、撮像装置１２０の赤外線カットフィルターに不具合が起こっていることを示す情報を管理者等に通知するため、クライアント装置１１０に送信する。例えば、制御部２１０は、電子メールを用いて、図５に示されるような内容で、管理者宛に撮像装置１２０の赤外線カットフィルターに不具合が起こっていることを示す情報を送信する。この処理は、撮像装置１２０によって異なる時刻で撮像された少なくとも２つの撮像画像に基づき赤外線カットフィルターに関する不具合が検知された場合、赤外線カットフィルターに関する不具合に関する情報を出力する処理の一例である。また、上述した赤外線カットフィルターに関する不具合を検知する処理とこの処理とは、撮像装置１２０によって異なる時刻で撮像された少なくとも２つの撮像画像の画素値に基づき赤外線カットフィルターに関する不具合が発生しているか否かを判定し、赤外線カットフィルターに関する不具合が発生していると判定した場合、赤外線カットフィルターに関する不具合を検知したとして赤外線カットフィルターに関する不具合に関する情報を出力する処理の一例である。
なお、電子メールを送信するのは出力の一例であり、クライアント装置１１０の操作者等に撮像装置１２０の赤外線カットフィルターに不具合が起こっていることを通知することができればどのような方法であってもよい。例えば、制御部２１０は、ビジネスチャットツールにおいて担当者宛に図５に示されるような内容を送信するようにしてもよい。
また、制御部２１０は、出力の他の例として、撮像装置１２０の赤外線カットフィルターに不具合が起こっていることを示す情報を、ＣＳＶ形式等（前述したメールに記載の情報を種類別に整理してまとめたもの）で記憶部２２０の所定の領域等に格納するようにしてもよい。
また、制御部２１０は、出力の他の例として、撮像装置１２０の赤外線カットフィルターに不具合が起こっていることを示す情報を、ＣＳＶ形式等（前述したメールに記載の情報を種類別に整理してまとめたもの）で記憶部２２０の所定の領域等に格納するようにしてもよい。
変形例２によっても、撮像装置１２０のハードウェアに不具合が起こった場合、撮像画像に基づき不具合を検知し、すぐに不具合が起こったことを示す情報等を出力することができる。その結果、撮像装置１２０を設置しているお客様等に不具合が生じしていることを知らせたり、修理を担当する担当者に撮像装置１２０の修理を依頼したりすることができる。また、多くの撮像装置を様々な場所に設置している場合であっても、不具合が起こっていないか現場に出向いて人手で確認しなくてもよいため、情報処理システム１０００全体の設置費用、管理費用等を安くすることができる。
さらに、次に記載の各態様で提供されてもよい。
（１）赤外線カットフィルターを有する撮像装置により撮像された撮像画像を処理する情報処理システムであって、前記撮像画像に基づき、前記赤外線カットフィルターに関する不具合を検知し、前記不具合に関する情報を出力する、情報処理システム。
（２）上記（１）に記載の情報処理システムにおいて、前記不具合の検知は、前記撮像画像の色成分に基づき行う、情報処理システム。
（３）上記（２）に記載の情報処理システムにおいて、前記撮像画像の色成分を解析し、前記撮像画像が赤みがかっている又は暗くなっていると判断される場合に、前記赤外線カットフィルターに関する不具合を検知する、情報処理システム。
（４）上記（１）に記載の情報処理システムにおいて、前記撮像装置は、前記赤外線カットフィルターを有効にした第１の撮像モードと前記赤外線カットフィルターを無効にした第２の撮像モードで撮像可能であって、前記不具合の検知は、前記第１の撮像モードで撮像された第１の撮像画像と前記第２の撮像モードで撮像された第２の撮像画像との差分に基づき行う、情報処理システム。
（５）上記（４）に記載の情報処理システムにおいて、前記不具合の検知において、前記第１の撮像画像と前記第２の撮像画像との差分が所定値未満である場合に、前記赤外線カットフィルターに不具合が起きていると判定する、情報処理システム。
（６）上記（１）に記載の情報処理システムにおいて、前記撮像装置は、前記赤外線カットフィルターを有効にした第１の撮像モードと前記赤外線カットフィルターを無効にした第２の撮像モードで撮像可能であって、前記不具合の検知は、前記第１の撮像モード又は前記第２の撮像モードの何れか一方のモードにおいて互いに異なる時刻で撮像された第１の撮像画像と第２の撮像画像との差分に基づき行う、情報処理システム。
（７）上記（６）に記載の情報処理システムにおいて、前記不具合の検知において、前記第１の撮像画像と前記第２の撮像画像との差分が所定値以上である場合に、前記赤外線カットフィルターに不具合が起きていると判定する、情報処理システム。
（８）上記（１）に記載の情報処理システムにおいて、前記前記赤外線カットフィルターに関する不具合が検知された場合、前記撮像装置で撮像された撮像画像に対して前記不具合による影響を軽減するための画像処理を実行する、情報処理システム。
（９）上記（８）に記載の情報処理システムにおいて、前記不具合による影響を軽減するための画像処理は、前記不具合を検知してから前記不具合が解消されるまでの間に前記撮像装置で撮像された撮像画像に対して行われる、情報処理システム。
（１０）所定のハードウェアを有する撮像装置により撮像された撮像画像を処理する情報処理システムであって、前記撮像画像に基づき、前記所定のハードウェアに関する不具合を検知し、前記不具合に関する情報を出力する、情報処理システム。
（１１）赤外線カットフィルターを有する撮像装置により撮像された撮像画像を処理する情報処理システムが実行する情報処理方法であって、前記撮像画像に基づき、前記赤外線カットフィルターに関する不具合を検知し、前記不具合に関する情報を出力する、情報処理方法。
（１２）プログラムであって、コンピュータを、上記（１）から（１０）までの何れか１つに記載の情報処理システムとして機能させるためのプログラム。
もちろん、この限りではない。
もちろん、この限りではない。
例えば、上述したサーバー装置１００の処理の一部、又は全てを撮像装置１２０で実行するようにしてもよい。
また、上述した実施形態等では撮像装置１２０の所定のハードウェアの一例として、赤外線カットフィルターを例に説明を行ったが、他のハードウェア、例えば撮像装置１２０のレンズ、イメージセンサー等であっても同様である。
また、上述した実施形態等では撮像装置１２０の所定のハードウェアの一例として、赤外線カットフィルターを例に説明を行ったが、他のハードウェア、例えば撮像装置１２０のレンズ、イメージセンサー等であっても同様である。
最後に、本発明に係る種々の実施形態を説明したが、これらは、例として提示したものであり、発明の範囲を限定することは意図していない。新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。実施形態やその変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
１００ ：サーバー装置
１１０ ：クライアント装置
１２０ ：撮像装置
１５０ ：ネットワーク
２１０ ：制御部
２２０ ：記憶部
２３０ ：通信部
３１０ ：制御部
３２０ ：記憶部
３３０ ：撮像部
３４０ ：入出力部
３５０ ：通信部
１０００ ：情報処理システム
１１０ ：クライアント装置
１２０ ：撮像装置
１５０ ：ネットワーク
２１０ ：制御部
２２０ ：記憶部
２３０ ：通信部
３１０ ：制御部
３２０ ：記憶部
３３０ ：撮像部
３４０ ：入出力部
３５０ ：通信部
１０００ ：情報処理システム
Claims (11)
- 赤外線カットフィルターを有する撮像装置により撮像された撮像画像を処理する情報処理システムであって、
前記撮像画像の色成分に基づき前記撮像画像が赤みがかっていると判断される場合に、前記赤外線カットフィルターに関する不具合を検知し、
前記不具合に関する情報を出力する、
情報処理システム。 - 請求項１に記載の情報処理システムにおいて、
前記撮像装置は、前記赤外線カットフィルターを有効にした第１の撮像モードと前記赤外線カットフィルターを無効にした第２の撮像モードで撮像可能であって、
前記不具合の検知は、前記第１の撮像モード又は前記第２の撮像モードの何れか一方のモードにおいて互いに異なる時刻で撮像された第１の撮像画像と第２の撮像画像との差分に基づき行う、
情報処理システム。 - 請求項２に記載の情報処理システムにおいて、
前記不具合の検知において、前記第１の撮像画像と前記第２の撮像画像との差分が所定値以上である場合に、前記赤外線カットフィルターに不具合が起きていると判定する、
情報処理システム。 - 請求項１に記載の情報処理システムにおいて、
前記前記赤外線カットフィルターに関する不具合が検知された場合、前記撮像装置で撮像された撮像画像に対して前記不具合による影響を軽減するための画像処理を実行する、
情報処理システム。 - 請求項４に記載の情報処理システムにおいて、
前記不具合による影響を軽減するための画像処理は、前記不具合を検知してから前記不具合が解消されるまでの間に前記撮像装置で撮像された撮像画像に対して行われる、
情報処理システム。 - 赤外線カットフィルターを有する撮像装置により撮像された撮像画像を処理する情報処理システムであって、
前記撮像画像に基づき前記赤外線カットフィルターに関する不具合を検知し、
前記不具合に関する情報を出力し、
前記撮像装置は、前記赤外線カットフィルターを有効にした第１の撮像モードと前記赤外線カットフィルターを無効にした第２の撮像モードで撮像可能であって、
前記不具合の検知は、前記第１の撮像モードで撮像された第１の撮像画像と前記第２の撮像モードで撮像された第２の撮像画像との差分に基づき行う、
情報処理システム。 - 請求項６に記載の情報処理システムにおいて、
前記不具合の検知において、前記第１の撮像画像と前記第２の撮像画像との差分が所定値未満である場合に、前記赤外線カットフィルターに不具合が起きていると判定する、
情報処理システム。 - 所定のハードウェアを有する撮像装置により撮像された撮像画像を処理する情報処理システムであって、
前記撮像画像の色成分に基づき前記撮像画像が赤みがかっていると判断される場合に、前記所定のハードウェアに関する不具合を検知し、
前記不具合に関する情報を出力する、
情報処理システム。 - 赤外線カットフィルターを有する撮像装置により撮像された撮像画像を処理する情報処理システムが実行する情報処理方法であって、
前記撮像画像の色成分に基づき前記撮像画像が赤みがかっていると判断される場合に、前記赤外線カットフィルターに関する不具合を検知し、
前記不具合に関する情報を出力する、
情報処理方法。 - 赤外線カットフィルターを有する撮像装置により撮像された撮像画像を処理する情報処理システムが実行する情報処理方法であって、
前記撮像画像に基づき前記赤外線カットフィルターに関する不具合を検知し、
前記不具合に関する情報を出力し、
前記撮像装置は、前記赤外線カットフィルターを有効にした第１の撮像モードと前記赤外線カットフィルターを無効にした第２の撮像モードで撮像可能であって、
前記不具合の検知は、前記第１の撮像モードで撮像された第１の撮像画像と前記第２の撮像モードで撮像された第２の撮像画像との差分に基づき行う、
情報処理方法。 - プログラムであって、
コンピュータを、
請求項１から請求項８までの何れか１項に記載の情報処理システムとして機能させるためのプログラム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022193108A JP7220972B1 (ja) | 2022-12-01 | 2022-12-01 | 情報処理システム、情報処理方法及びプログラム |
| US18/244,018 US20240187743A1 (en) | 2022-12-01 | 2023-09-08 | Information processing system, information processing method, and memory medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022193108A JP7220972B1 (ja) | 2022-12-01 | 2022-12-01 | 情報処理システム、情報処理方法及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP7220972B1 true JP7220972B1 (ja) | 2023-02-13 |
| JP2024080163A JP2024080163A (ja) | 2024-06-13 |
Family
ID=85197987
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022193108A Active JP7220972B1 (ja) | 2022-12-01 | 2022-12-01 | 情報処理システム、情報処理方法及びプログラム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20240187743A1 (ja) |
| JP (1) | JP7220972B1 (ja) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160119617A1 (en) * | 2014-10-23 | 2016-04-28 | Texas Instruments Incorporated | Fault detection and method of detecting faults in digital imaging systems |
| JP2017225073A (ja) * | 2016-06-17 | 2017-12-21 | キヤノン株式会社 | 撮像装置とその制御方法、プログラム及び撮像システム |
| WO2020121391A1 (ja) * | 2018-12-11 | 2020-06-18 | 三菱電機ビルテクノサービス株式会社 | エレベーターの防犯カメラの汚れの検知に用いられる監視装置、判定装置およびエレベーターシステム |
-
2022
- 2022-12-01 JP JP2022193108A patent/JP7220972B1/ja active Active
-
2023
- 2023-09-08 US US18/244,018 patent/US20240187743A1/en active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160119617A1 (en) * | 2014-10-23 | 2016-04-28 | Texas Instruments Incorporated | Fault detection and method of detecting faults in digital imaging systems |
| JP2017225073A (ja) * | 2016-06-17 | 2017-12-21 | キヤノン株式会社 | 撮像装置とその制御方法、プログラム及び撮像システム |
| WO2020121391A1 (ja) * | 2018-12-11 | 2020-06-18 | 三菱電機ビルテクノサービス株式会社 | エレベーターの防犯カメラの汚れの検知に用いられる監視装置、判定装置およびエレベーターシステム |
Also Published As
| Publication number | Publication date |
|---|---|
| US20240187743A1 (en) | 2024-06-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8737695B2 (en) | Photography auto-triage | |
| CN110428410B (zh) | 眼底医学图像处理方法、装置、设备及存储介质 | |
| US11102456B2 (en) | Video encoding system and video encoding method | |
| CN111294526B (zh) | 一种摄像机防太阳灼伤处理方法及装置 | |
| WO2017114151A1 (en) | Method for controlling infrared illuminator and related image-recording device | |
| CN112672114B (zh) | 监控设备日夜模式的切换方法、系统、设备及存储介质 | |
| US20200019788A1 (en) | Computer system, resource arrangement method thereof and image recognition method thereof | |
| US11283997B2 (en) | Surveillance apparatus, method for controlling the same, and storage medium | |
| US10462346B2 (en) | Control apparatus, control method, and recording medium | |
| US11084091B2 (en) | System and method for detecting 3D printing errors | |
| US11765469B2 (en) | Image capturing apparatus, device, control method, and computer-readable storage medium | |
| US20150116489A1 (en) | Imaging apparatus | |
| KR20230036024A (ko) | 전기차 충전기 화재 감지 및 상태 이상 예측 시스템 | |
| US20160372157A1 (en) | Display control apparatus, display control method, and storage medium | |
| JP7220972B1 (ja) | 情報処理システム、情報処理方法及びプログラム | |
| JP5293270B2 (ja) | 撮影対象選択装置、撮影対象選択装置の制御方法、撮影対象選択装置制御プログラムおよび該プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| KR101925799B1 (ko) | 디스플레이 장치에서 표시되는 정보의 유출을 방지하기 위한 컴퓨터 프로그램과 이를 이용한 보안 서비스 제공 방법 | |
| JP2024080163A (ja) | 情報処理システム、情報処理方法及びプログラム | |
| CN110611793A (zh) | 基于工业视觉的供应链信息采集与数据分析方法及装置 | |
| CN109462728B (zh) | 码率控制方法、装置、图像采集设备及可读存储介质 | |
| CN112770021B (zh) | 摄影机与滤片切换方法 | |
| CN110557549A (zh) | 用以控制影像捕获设备的电路及相关的控制方法 | |
| US11336789B1 (en) | Controlling a multi-function device based on a user limit associated with a policy | |
| US20210216755A1 (en) | Face authentication system and face authentication method | |
| CN113328520A (zh) | 一种送电智能运维方法、系统、装置及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221202 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20221202 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221213 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230120 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230131 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230131 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7220972 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |