JP7400063B2 - 異物検出システム - Google Patents

Description

本開示は、駐車場等の対象領域内に存在する異物を検出するシステムに関する。

車両が進入し、停止する空間、例えば機械式駐車場の入出庫スペース等においては、出入口の扉を開閉したり、車両を載せたパレットを運搬するといった操作を行うにあたり、車両の他に運転者や乗員、手荷物といった異物が存在しないことを確認する必要がある。こうした異物不在の確認作業は、運転者や施設の係員等が目視で行うことができるが、人力のみに頼った場合、不注意等により確認が徹底されない可能性がある。そこで、近年では、異物の不在確認を確実に行うよう、人力のみに頼ることなく、対象領域内の異物を自動で検出する技術が要請されている。

また、現在、各国で開発が進められている自動運転技術が本格的に実用化されれば、車両の運転のみならず、上述の如き扉の開閉やパレットの運搬といった、車両周辺において行われる種々の操作についても自動化が進められることが想定できる。例えば、自動運転により車両が乗員を目的地に送り届けた後、自動で近傍の機械式駐車場へ移動し、格納スペースに格納されるといったケースが考えられる。この場合、車両は乗員が不在の状態で移動し、入出庫スペースに停止することになる。このとき、扉の開閉、パレットの移動の開始といった操作は、係員が異物の不在を目視で確認し、操作ボタンを入力することで実行されるようにすればよい。しかし、異物の不在を自動で確認し、操作を開始する仕組みがあればよりスムーズである。

このような異物の検出を行う仕組みは、機械式駐車場だけでなく、例えば電気自動車の給電設備等、停止した車両の周辺で何らかの操作を行う場所において広く必要とされ得る。また、同様の仕組みは、車両に限らず、何らかの物体の周辺において異物を検出したい局面に広く適用され得る。

対象領域内の異物を自動的に検出するための技術として、カメラ等を用いて対象領域内の画像を取得し、該画像内に写り込んだ異物を検出する方法が種々提案されている。こうした技術を記載した技術文献としては、例えば下記特許文献１～７が挙げられる。

特開２０１６－３４９３号公報 特開２０１５－５５０７３号公報 特開２０１４－８０７３５号公報 特開平０８－４２１８４号公報 特開昭６２－１９４３６６号公報 特開２０１２－１５８９６８号公報 特開２０００－１８２１９５号公報

上述の如き異物検出のための技術においては、検出に最低限の精度が要求されることは勿論であるが、それに加え、なるべく装置構成を簡素にすることが、建設あるいはメンテナンス等にかかるコストの面で重要である。しかしながら、上記特許文献１～７に記載の如き技術は、いずれも精度とコストの両面を十分に満足するには必ずしも至っていなかった。

そこで、本開示においては、極力簡単な構成により高い精度で異物を検出し得る異物検出システムを説明する。

本開示は、対象領域内の画像を取得する撮像装置と、前記撮像装置によって取得された画像を表示する表示部と、システムを構成する各部の操作を入力する操作部と、前記撮像装置によって取得された画像に基づき、ディープラーニングの手法で生成されたプログラムにより前記対象領域内の異物を検出する異物検出部とを備え、前記異物検出部により異物が存在すると判定された場合に、前記表示部に、前記撮像装置によって取得された画像と併せ、検出された異物の情報を前記画像内における当該異物の周囲に表示するよう構成されている異物検出システムにかかるものである。

上述の異物検出システムは、前記異物検出部により異物が存在すると判定された場合に、操作者が対象領域内の異物の不在を確認のうえ、異物が不在である旨を前記操作部へ入力し得るよう構成することができる。

上述の異物検出システムは、前記異物検出部により異物が存在すると判定された場合に、システムを構成する機器類の操作を禁止し、その後、異物が不在である旨が前記操作部へ入力された場合に、システムを構成する前記機器類の操作禁止状態を解除するよう構成することができる。

本発明の異物検出システムによれば、極力簡単な構成により高い精度で異物を検出し得るという優れた効果を奏し得る。

本開示の実施例による異物検出システムにおける装置の配置を説明する概要平面図である。 本開示の実施例における出入口および窓周辺の形態を簡単に説明する正面図である。 本開示の実施例による異物検出システムのシステム構成を説明するブロック図である。 出入口および窓周辺を目視した像の一例を概念的に示す正面図である。 出入口および窓周辺の画像に対しマスク処理を施した画像の参考例を概念的に示す図である。 出入口、窓および撮像装置に偏光フィルタを設置した場合に取得され得る画像の一例を概念的に示す図である。 本開示の実施例において、異物検出を実行する場合の手順の一例を説明するフローチャートである。 撮像装置により取得される画像の参考例を説明する図である。 本開示の実施例において撮像装置により取得される画像の一例を示す図である。 本開示の実施例において、表示部に表示される画像の一例を示す図である。

以下、本開示における実施例の形態を添付図面を参照して説明する。図１に示す本実施例の異物検出システムでは、対象領域Ａとして機械式駐車設備の入出庫スペースを想定している。そして、対象領域Ａ内に車両１以外の物体（異物Ｆ）が存在する場合に、該異物Ｆを検出するようになっている。入出庫スペースである対象領域Ａは、四方を壁で囲まれた空間であり、手前側（図中下側）に設けられた入出庫口３から車両１が出入りするようになっている。車両１の停止位置から見て右側には、搬送装置５の設置された空間が隣接している。車両１の入出庫時には、図示しない格納スペースから搬送装置５が図示しない搬送口を通じてパレット２を対象領域Ａ内に搬入し、また対象領域Ａから搬出する。対象領域Ａにおけるパレット２の定位置は、対象領域Ａの中央部である。

入出庫口３から見て奥側の壁には、図２に示す如く、パレット２上に停止した車両１から見て正面の位置に案内鏡６が設けられ、入出庫時における車両１の運転者の視界を補助するようになっている。また、入出庫口３から見て奥側の案内鏡６の横の位置には、運転者、乗員あるいは施設の係員等の人員が出入りするための出入口７が設けられている。

出入口７に設けた扉は、出入口７の外側から内部を視認できるよう、光の透過可能なガラス等の素材によって構成されている。また、案内鏡６の上方には、窓８が設けられている。

ここで、本明細書においては、対象領域の内側から外部を視認できる光学的な開口部を「透過部」と称することとする。つまり、本実施例においては出入口７と窓８が透過部に相当するが、この他に、例えば隣接する空間との間を柵で仕切った部分なども「透過部」として想定できる。また、入出庫口３も「透過部」として定義することができる（ただし、本開示にて説明する異物検出システムでは、後述するように透過部に偏光フィルタ１０を備えることを主要な特徴の一つとしている。入出庫口３は「透過部」と称することはできても、車両１が出入りする開口部であるため、出入口７や窓８のように偏光フィルタ１０を設けるには適さない）。

また、本明細書において「異物」とは、対象領域内に存在する目的物（この場合は、搬送の目的物である車両１）以外の物体であって、対象領域にもとより配置された物体以外の物体を指し、代表的には、車両の運転者、乗員、設備の係員といった人である。また、対象領域Ａ内に持ち込まれ、車両１の外に置かれる手荷物等も「異物」の例として挙げられる。図１には、一例として対象領域Ａの内部に１個の異物Ｆを図示している。また、対象領域Ａの外部に２個の物体Ｏを図示している。

対象領域Ａ内には、該対象領域Ａ内の画像を取得するカメラ等である撮像装置９が配置される。本実施例の場合、撮像装置９として図１に示す如く、車両１の停止位置の周辺に、合計３台の撮像装置９ａ～９ｃが設置されている。撮像装置９ａは、入出庫口３から対象領域Ａ内を見た場合に、車両１の停止位置より奥側且つ左右の一方（ここに図示した例では、右側）に配置される。撮像装置９ｂ，９ｃは、対象領域Ａ内における車両１より手前側、入出庫口３の左右の位置に配置される。各撮像装置９の設置される高さは、対象領域Ａの天井付近である。

各撮像装置９ａ～９ｃは、図１に破線にて示すように約９０°程度の画角を備えており、入出庫口４から見て車両１の停止位置の奥側且つ左右の一側（右側）に備えられた撮像装置９ａは、左右の他側（左側）の空間を画角に収めるように配置される。入出庫口４から見て左側に配置された撮像装置９ｂは、該撮像装置９ｂから見て対象領域Ａの奥側且つ右側の空間を画角に収めるように配置される。入出庫口４から見て右側に配置された撮像装置９ｃは、該撮像装置９ｃから見て対象領域Ａの奥側且つ左側の空間を画角に収めるように配置される。

こうして、計３台の撮像装置９を遮蔽物である車両１の周辺に配置し、対象領域Ａ内の画像を死角なく取得できるようにしている。また、後述するように、各撮像装置９の画角内に入出庫口３が極力写り込まないようにもしている。

入出庫口３から見て手前側に位置する撮像装置９ｂ，９ｃは、透過部である出入口７および窓８と対向するように配置され、画角内に出入口７と窓８を収めるようになっている。そして、これらの撮像装置９ｂ，９ｃと、出入口７、窓８にそれぞれ偏光フィルタ１０を備え、撮像装置９ｂ，９ｃにより取得された画像に、出入口７と窓８を通した外部の像が写り込まないようにしている。この偏光フィルタ１０の作用効果については、後に詳しく説明する。

出入口６近傍の壁面には、操作部１１と表示部１２が備えられている。操作部１１は、入出庫口３の開閉、パレット２の搬送といったシステムを構成する各部の操作を入力する入力装置である。表示部１２は、撮像装置９において取得された対象領域Ａ内の画像を必要に応じて表示するよう構成されたディスプレイである。また、表示部１２は、対象領域Ａ、あるいは対象領域Ａを含む設備の何処かにおいて、人員に対して注意を促すべき何らかの事態が生じた場合に警報を発するようにもなっている。「人員に対して注意を促すべき何らかの事態」とは、例えば車両１を対象領域Ａ外の格納スペースへ搬送するにあたり、対象領域Ａに車両１以外の異物Ｆが検出された場合などである。表示部１２の発する警報の内容は、例えば警告メッセージの表示である。この他に、アラーム音、警告灯の点灯など、人員に対して注意を喚起できる警報機能を備えた装置を別途設けてもよい。

尚、操作部１１、表示部１２を設置する位置は、ここに示した位置に限定されない。例えば、これらに相当する装置を図示しない管理室等に備えてもよいし、これらの装置のうちいずれかを複数、別々の場所に備えてもよい。その他、操作部１１や表示部１２に関しては、対象領域Ａのレイアウトやその他の条件に応じて適宜変更することができる。

図３は、撮像装置９、操作部１１、表示部１２の制御に係るシステム構成の一例を示している。撮像装置９、操作部１１は、Ethernet（登録商標）等の通信バスを介し、制御装置１３と情報的に接続されている。制御装置１３は、入出庫スペースである対象領域Ａを含む機械式駐車場全体を監視し、各部の運転を行う装置であり、入出庫口３の開閉、パレット２の搬送、撮像装置９の作動等を制御する。

また、表示部１２は、異物検出部１４を介して前記通信バスに接続されている。異物検出部１４は、対象領域内の異物の検出を行う部分であり、本実施例の場合、撮像装置９において取得された対象領域Ａの画像に対し適宜の処理を行う情報処理装置として構成されている。また、異物検出部１４は、必要に応じ、表示部１２に画像データを送信して表示部１２に画像を表示させるようにもなっている。

異物検出部１４において行われる画像処理として、本実施例において特に想定されるのは異物Ｆ（図１参照）の検出である。すなわち、異物検出部１４では、撮像装置９により取得された対象領域Ａの画像を解析し、画像内に人等の異物Ｆが存在するか否かを判定する。制御装置１３は、異物検出部１４において処理対象の画像から異物Ｆが検出された時など、必要な場合に、表示部１２にメッセージを表示する。

異物検出部１４には、画像内に写り込んだ異物Ｆを検出するプログラムが格納されている。このプログラムは、多層のニューラルネットワークを用いたディープラーニングの手法により、特定の種類の物体を検出するよう構成されている。ディープラーニングのアルゴリズムとしては、例えばＲ－ＣＮＮ（Regional-Convolutional Neural Network）、Ｆａｓｔ Ｒ－ＣＮＮ、Ｆａｓｔｅｒ Ｒ－ＣＮＮ、ＹＯＬＯ（You Only Look Once）、ＳＳＤ（Single Shot Multibox Detector）といった各種のアルゴリズムを用いることができるが、この他の適当なアルゴリズムを使用してもよい。

異物検出部１４に格納される前記プログラムは、こうしたアルゴリズムを用い、画像内に写り込んだ物体の種類を特定すると共に、該物体がその種類の物体である確率、物体の重心の座標、物体の幅および高さ等を出力できるようになっている。機械式駐車場の入出庫スペースである対象領域Ａにおいて想定される異物Ｆの種類は、第一に人物であるので、異物検出部１４に格納される前記プログラムは、画像から少なくとも人物を判別できるように構成されるべきである。その他に、車両１と共に対象領域Ａに入り込む可能性のある物体としては、ペット等の動物、バッグ、ベビーカーなど、各種の物体が想定されるので、前記プログラムは、人物の他にこれらの物体をも検出できるようになっていてもよい。また、異物検出システムの設置対象である対象領域の種類が異なれば、異物として検出される物体の種類も異なることが考えられる。前記プログラムは、人物に限らず、対象領域の種類に応じて想定される各種の物体を検出可能に構成すればよい。

撮像装置９および透過部である出入口７、窓８に設けられる偏光フィルタ１０の配置および作用効果について説明する。本実施例においては、出入口７、窓８に対向する位置に撮像装置９ｂ，９ｃが配置されており、撮像装置９ｂ，９ｃの画角内に出入口７、窓８が入り込む形になっている。

図１に示す如く、対象領域Ａ内から見て出入口７の手前に１個の異物Ｆがあり、また、対象領域Ａの外側であって出入口７、窓８の奥の位置に２個の物体Ｏが存在している場合、対象領域Ａ内から出入口７、窓８側を肉眼で目視すると、例えば図４に示すように見える。このような画像を、仮に撮像装置９ｂ，９ｃによりそのまま取得し、上述の如き異物検出部１４内のプログラムにより異物検出を実行した場合、出入口７、窓８の手前側に位置する異物Ｆは勿論、奥側に位置する物体Ｏも異物として検出されてしまう可能性がある。対象領域Ａ内に存在する異物Ｆについては、異物として検出して問題ないが、対象領域Ａの外に位置する物体Ｏまで検出してしまうと過検出となる。

過検出を防止するためには、例えば図５に示す如く、画像内に写り込む透過部（出入口７および窓８）にあたる領域にマスク処理を施して異物検出を実行する方法が考えられる。しかしながら、このようにした場合、入出庫口３の手前にある異物Ｆの一部もマスクされてしまい、対象領域Ａ内に異物Ｆが存在するにもかかわらず検出されない可能性が生じる。

また、図５に示す如きマスク処理以外にも、例えば画像内における対象領域Ａの内外を判定するような種々の仕組み（例えば深度画像センサを別途設けたり、あるいは別の判定アルゴリズムを画像処理工程に導入するなど）を採用することも可能である。しかしながら、仮にそのようにしても対象領域Ａの内外を正確に判定できるとは限らないし、また、センサ等の設置に別の費用が生じたり、異物検出部１４（図３参照）にかかる計算負荷が増大してしまうというデメリットもある。

あるいは、図示は省略するが、対象領域Ａ内の高所に撮像装置９を下方に向けて設置し、対象領域Ａを上方から撮像することで、対象領域Ａの外側を画角から外しつつ対象領域Ａ内の全域をカバーすることも考えられる。しかしながら、機械式駐車場の入出庫口は通常、天井が低いため、下方を向いた撮像装置９では、十分に広い範囲の画像を取得することが困難である。また、仮に撮像装置９を高所に設置できたとしても、該撮像装置９のメンテナンスを高所で行わなくてはならないという問題が生じる。さらに、対象領域Ａの床から撮像装置９を設置した高さまでの間に何らかの構造物（例えば、パレット２を搬送するための機構）等が位置していると、それらが遮蔽物となって対象領域Ａ内の全域を撮像できない可能性もある。また、対象領域Ａ内の人物を異物Ｆとして検出しようとすることを考えると、上方から撮像した人物の像は人物としての特徴量に乏しいため、機械的な検出が難しくなってしまうという問題もある。

そこで本実施例では、図１に示す如く、透過部である出入口７および窓８と、これらに対向する撮像装置９ｂ，９ｃにそれぞれ偏光フィルタ１０を設け、出入口７、窓８の奥側にあたる外部空間から撮像装置９ｂ，９ｃへの光の到達を妨げるようにしている。つまり、出入口７、窓８から撮像装置９ｂ，９ｃへ到る光の経路に関し、撮像装置９ｂ，９ｃにとって手前側および奥側の位置にそれぞれ偏光フィルタ１０を備え、且つそれらを互いに偏光方向が交差するように配置することで、出入口７、窓８から撮像装置９ｂ，９ｃへ到る光の一部をマスクするのである。手前側および奥側の偏光フィルタ１０は、対象領域Ａの実際の空間構成等に合わせ、透過部から撮像装置９に到る光の経路の適宜位置に配置することができるが、ここでは撮像装置９ｂ，９ｃの前方と、出入口７、窓８とに備えた場合を例示している。尚、以下では説明のため、撮像装置９ｂ，９ｃの前方に図示した偏光フィルタ１０を手前側の偏光フィルタ１０ａと、出入口７および窓８に図示した偏光フィルタ１０を奥側の偏光フィルタ１０ｂと、それぞれ必要に応じて称するものとする。

偏光フィルタ１０は、特定の方向の偏光のみを通す板状あるいはフィルム状の物品である。撮像装置９ｂ，９ｃおよび出入口７、窓８に偏光フィルタ１０を設けるにあたっては、例えば撮像装置９ｂ，９ｃのレンズの前方を遮るように偏光フィルタ１０を配置したり、出入口７、窓８を覆うようにフィルム状の偏光フィルタ１０を貼り付ければよい。このほか、撮像装置９ｂ，９ｃおよび出入口７、窓８を構成する部品あるいは素材自体（例えば撮像装置９ｂ，９ｃに備えられたレンズあるいはレンズカバー、出入口７、窓８を構成するガラスなど）を偏光板等により構成してもよい。

このようにすると、人が出入口７、窓８を通して対象領域Ａの内外を目視しようとする場合には、視界が妨げられることはない。すなわち、図４に示す如く、対象領域Ａの内側からは出入口７、窓８を通して外部を視認することができるし、対象領域Ａの外側から内部を視認する場合も同様である。

ところが、撮像装置９ｂ，９ｃにより対象領域Ａ内の画像を取得しようとすれば、外部空間から出入口７、窓８を通って来る光は、光路上に配置された２枚の偏光フィルタ１０によって妨げられる。このため、図６に示す如く、出入口７、窓８の外側のみが黒く塗りつぶされたような画像が取得される。このような画像においては、図５に示す如くマスク処理を施した場合とは異なり、出入口７、窓８の奥側にある物体Ｏはマスクされるが、出入口７、窓８の手前にある異物Ｆはマスクされない。したがって、このようにして取得された画像に基づき異物検出部１４を用いて異物検出を実行すれば、検出漏れあるいは過検出が生じることなく、精度よく異物Ｆの有無を判定することが可能である。

ここで、それぞれの偏光方向は厳密に直交している必要はない。撮像装置９ｂ，９ｃにより出入口７、窓８の写り込んだ画像を取得し、異物検出部１４により異物検出を実行しようとした場合に、出入口７、窓８の奥側にある物体Ｏが識別できない程度に、出入口７、窓８から撮像装置９ｂ，９ｃに到達する光が妨げられれば十分である。

尚、上でも述べたように、出入口７あるいは窓８と同じ「透過部」として定義できる入出庫口３については、車両１が出入りするため、全面を偏光フィルタで覆うことは難しい。したがって、仮に入出庫口３をいずれかの撮像装置９の画角内に収めた場合、入出庫口３の外側に人等の物体が存在していた場合に、これを異物として検出してしまう可能性がある。

本実施例では、この問題に対しては撮像装置９の配置により対応している。すなわち、上述の如く、入出庫口３から見て奥側且つ左側の撮像装置９ａは右側の空間を画角に収めるように配置し、入出庫口３から見て手前側の左右に設置された撮像装置９ｂ，９ｃは、それぞれ右側または左側の空間を画角に収めるように配置する（図１参照）。

このように３台の撮像装置９を配置すると、対象領域Ａ内の全域を死角なく画像に収めつつ、各撮像装置９の画角に入出庫口３が入らないか、入ったとしても画角内の端とすることができる。したがって、各撮像装置９によって取得される画像には、入出庫口３は写り込まないか、写り込んだとしても画像の最端部である。入出庫口３の写り込む位置が最端部であれば、例えば画像内の入出庫口３にあたる領域にマスク処理を施しても、対象領域Ａ内に位置する異物Ｆがマスクされて検出漏れが生じてしまう可能性は少ない。

このように、本実施例では、撮像装置９と対向する透過部（出入口７、窓８）については偏光フィルタ１０により物理的に光をマスクし、偏光フィルタ１０を設置できない透過部（入出庫口３）については撮像装置９の画角の中央部からなるべく外すようにしている。こうすることにより、透過部（出入口７、窓８、入出庫口３）の外部に位置する物体が画像内に写り込むことに起因する過検出や、マスク処理等による検出漏れが生じる可能性を排除し、高い精度で異物検出を行うことができる。

尚、案内鏡６は、入出庫口３を通って外部から来る光を反射するため、入出庫口３の外に位置する物体が案内鏡６に映り、この像を撮像装置９ｂ，９ｃが画像として取得してしまう可能性も考えられる。しかしながら、仮にそのような形で案内鏡６を介して外部の物体が撮像装置９ｂ，９ｃの画角内に入り込んだとしても、画像内に写り込み得る物体の大きさや形状を考えると、実際に異物検出部１４が画像内の物体を高い確度で検出する可能性は低いと考えられる。

ただし、大きいサイズの案内鏡６が設置されている場合などは、案内鏡６への像の映り込みが過検出に繋がる懸念もある。そのような場合は、案内鏡６に別途偏光フィルタを備え、案内鏡６に反射して撮像装置９ｂ，９ｃに到達する光をマスクすることも可能である。上に説明した通り、本明細書に開示する異物検出システムの特徴は、透過部７，８から撮像装置９に到る光の光路上に２枚の偏光フィルタ１０を設置し、奥側の偏光フィルタ１０ｂより手前に位置する物体の像は取得する一方、奥側はマスクすることである。このような作用効果が奏される限りにおいて、偏光フィルタ１０の配置は適宜変更し得る。図１では出入口７、窓８に偏光フィルタ１０を設置したが、同様に光の経路上にある案内鏡６に偏光フィルタ１０を設置しても構わないのである。また、この他の位置に偏光フィルタ１０を設置してもよいが、実際上は、対象領域Ａと外部空間との境界に位置する出入口７あるいは窓８、または、外部からの光の屈折面をなす案内鏡６に設置することが簡便であると考えられる。

機械式駐車場の入出庫スペースである対象領域Ａにおいて、車両１の入庫を行う際には、車両１の運転者、乗員、施設の係員といった人員が操作部１１を操作し、入庫の開始を指示する。制御装置１３は、指示に応じて入出庫口３を開放する。入庫の開始にあたっては、空のパレット２が対象領域Ａ内の定位置である中央部に配備された状態で入出庫口３を開放する。

入出庫口３が開放されたら、運転者が車両１を対象領域Ａ内に移動させ、パレット２上で停止させる。この際、案内鏡６により運転者の視界が補助され、運転者は車両１をパレット２上の適切な位置に停止させることができる。停止後、運転者やその他の乗員が降車し、出入口７を通って対象領域Ａから退出する。運転者等の人員が全て退出したら、運転者等は出入口７を通して対象領域Ａ内を目視し、人物や手荷物等の異物Ｆが対象領域Ａ内に存在しないかどうかを確認のうえ、操作部１１を操作し、車両１がパレット２上に適切に停止した旨を入力する。制御装置１３は、入出庫口３を閉鎖して搬送装置５を作動させ、車両１を積載したパレット２を対象領域Ａ外の格納スペースへ搬送する。

車両１の出庫を行う際には、車両１の運転者、乗員、施設の係員といった人員が操作部１１を操作し、出庫の開始を指示する。制御装置１３は、指示に応じて該当するパレット２を搬送装置５により対象領域Ａ内に搬送し、入出庫口３を開放する。運転者は、出入口７から対象領域Ａ内に入り、パレット２上の車両１に乗り込み、入出庫口３から対象領域Ａの外へ移動する。車両１が外へ出た段階で、車両１の運転者や係員等が再び操作部１１を操作し、出庫が完了した旨を入力する。この際、操作部１１を操作する者は、透過部である出入口７または窓８を通して対象領域Ａ内に異物がないことを確認したうえで、出庫完了の入力を行う。制御装置１３は、指示に応じて入出庫口３を閉鎖する。

尚、上の一連の動作は運転者が車両１を運転する場合を例に説明したが、車両１が自動運転車である場合もあり得る。その場合、上記した車両１の動作の一部または全部が、運転者を介さずに行われる。

以上の如き対象領域Ａにおいて、異物検出を実行する場合の手順の一例を、図７のフローチャートを参照しながら説明する。

まず、ステップＳ１では、出入口７の扉が閉まっているか否かを、出入口７に設けられた開閉センサ等（図示せず）により確認する（ステップＳ１）。開いている場合は、出入口７の偏光フィルタ１０による上述のマスク機能がうまく働かないので、出入口７が閉じていることが確認されるまでステップＳ１を繰り返し、出入口７の閉鎖が確認されるまで待機する。このとき、出入口７の閉鎖を促すメッセージを表示部１２に表示してもよい。

出入口７の閉鎖が確認されたら、制御装置１３は各撮像装置９を作動させて対象領域Ａ内の画像を取得する（ステップＳ２）。画像を取得したら、異物検出部１４は、前記プログラムにより、各撮像装置９にて取得された画像に対し異物検出の処理を実行する（ステップＳ３）。

ステップＳ４では、異物検出の結果、画像内に異物が存在したか否かを判定する。各撮像装置９により取得された画像のいずれにも異物が存在しなければ、異物の不在確認が完了したとして（ステップＳ５）、異物検出の工程を終了する。制御装置１３は、入出庫口３を閉鎖したり、パレット２を搬送する等の操作を行う。

ステップＳ２で取得された画像のうち少なくとも１枚の画像中に、異物Ｆとして想定される種類の物体（例えば、人物）が存在するとステップＳ４において判定された場合には、ステップＳ１１に進む。

ここで、対象領域Ａ内に異物が存在する場合、仮に透過部である出入口７、窓８に偏光フィルタ１０が備えられていないとすると、ステップＳ２において、例えば撮像装置９ｂにより図８に示す如き画像が取得される。この場合、ステップＳ３，Ｓ４では、対象領域Ａ内に位置する人物である異物Ｆが検出されるのに加え、出入口７の奥側に位置する物体Ｏも異物として検出されてしまうおそれがある。

ところが、本実施例の場合、撮像装置９ｂと、出入口７、窓８に偏光フィルタ１０を設けているので、実際にはステップＳ２において撮像装置９ｂにより取得されるのは、例えば図９に示す如き画像である。この画像では、出入口７、窓８の奥側は偏光フィルタ１０によってマスクされるので、手前側の対象領域Ａ内に位置する異物Ｆのみを異物として検出することができる。

ステップＳ１１では、必要に応じ、機器類の操作（例えば、入庫口４の開閉、パレット２の搬送など）を禁止する（インターロック）。さらに、ステップＳ６を実行する。ステップＳ６では、異物が検出された旨を表示部１２に表示する。このとき、文字あるいは音声によるメッセージを流したり、表示部１２の背景色を変更し、操作者（車両１の運転者、あるいは施設の係員等の人員）に対し注意を促す。

表示部１２には、各撮像装置９によって取得された画像のうち、異物が存在すると判定された画像を表示する。尚、異物が存在すると判定された画像が複数ある場合、それらを表示部１２に全て表示すると見づらくなってしまう可能性がある。そこで、例えば検出された異物が特定の種類（ここでは、人物）である可能性が最も高い画像のみを表示部１２に表示してもよい。

ステップＳ６で表示される画像にはさらに、図１０に示す如く、異物検出の結果を重ね合わせてもよい。ここに示した画像では、異物として検出された各物体の周囲に、その物体の位置を示す枠と、特定されたその物体の種類（ここでは、人物すなわち「ｐｅｒｓｏｎ」）と、その物体がその種類の物体である確率が併せて表示されている。

操作者は、図１０に示す如き画像を参照しながら、出入口７から対象領域Ａの内部を視認し、あるいは出入口７から対象領域Ａに立ち入って、異物が存在しないかどうかを確認する（ステップＳ７）。確認の結果、対象領域Ａ内に異物Ｆがあれば、異物Ｆが不在となるよう、適宜処置を行う（ステップＳ８～Ｓ９）。異物Ｆが人であれば退去を呼びかけ、物品であれば除去する。異物Ｆが不在となったら、異物Ｆの不在を確認したとして、その旨を操作部１１に入力する（ステップＳ１０）。異物Ｆの不在の入力が行われたら、機器類の操作禁止状態を解除し（すなわち、ステップＳ１１にて行われたインターロックを解除し）、機器類の操作が可能な状態にする。

ステップＳ７における確認の結果、対象領域Ａ内に異物が存在しなかった場合は、先のステップＳ４での判定結果は誤検出と考えられる。例えば、画像認識による異物検出を行う場合、例えば車両１の表面にイラスト等が描かれていた場合に、人物として誤検出してしまうといった可能性がある。このような場合は、ステップＳ８からステップＳ１０に移り、異物が実際には不在であることを確認した旨を入力する。ステップＳ１０の入力が行われたら、異物の不在確認は完了する（ステップＳ５）。

このように、人による異物の不在確認を要する工程において、異物が存在すると判定された場合に対象領域Ａ内の画像を表示部１２に表示するようにすると、単に異物の不在確認を促すメッセージ等を表示するような場合と比べ、より細心な注意を喚起することができる。対象領域Ａ内の具体的な状態が画像として表示されるので、その内容に即した形で対象領域Ａ内を確認することになるからである。さらに、ディープラーニングを用いたプログラムにより画像から異物を検出する場合には、検出された異物の画像内における位置や、種類までが機械的に特定される。そこで、撮像装置９により取得された対象領域Ａ内の画像に、特定された異物の位置や種類といった情報をも併せて表示すれば、確認者は異物の種類、位置等を念頭に対象領域Ａ内を確認することになり、より徹底した確認と、異物Ｆの除去のための適切な処置が可能となる。

また、本実施例においては、異物Ｆが存在すると判定された場合（ステップＳ４）、操作者が対象領域Ａ内の異物の不在を確認のうえ、異物が不在である旨を操作部１１へ入力するようにしている（ステップＳ１０）。異物Ｆが検出された場合、システム側では機械的に検出された異物Ｆの有無を確認したり、取り除くといった処理を行うことはできない。そこで、人が異物の不在を確認し、場合によって適当な処置をしてから機械側に異物の不在を入力することにより、異物の不在の確認を徹底することができる。

また、本実施例においては、異物Ｆが存在すると判定された場合（ステップＳ４）、システムを構成する機器類の操作を禁止し（ステップＳ１１）、その後、異物が不在である旨が操作部１１へ入力された場合に、それに応じてインターロックを解除するようにしている（ステップＳ１０）。このようにすると、人により異物の不在が確認され、その旨が入力されるのを待って機器類の操作禁止状態が解除されることになるので、機器類の動作を再開するにあたって安全性を確保することができる。

尚、撮像装置９によって取得された複数の画像内に異物が存在すると判定されている場合、また、同じ画像に複数の異物が存在すると判定されている場合は、各画像あるいは物体毎に操作者に注意を促し、ステップＳ７～Ｓ１０の工程を行わせるようにしてもよい。例えば、物体毎に［ＯＫ］ボタンを表示し、確認者が対象領域Ａ内を確認後、一つの物体について［ＯＫ］ボタンを入力したら、次の物体と共に［ＯＫ］ボタンを表示する、といった手順を採用することができる。

以上の如き異物検出の工程は、適宜のタイミングで実行することができる。例えば、入庫の際、車両１がパレット２上に停止し、その旨を運転者が操作部１１に入力した時に異物検出を行う。このとき、運転者は目視により対象領域Ａ内の状態を確認するが、同時に異物検出部１４により機械的に異物検出を実行すれば、確認を徹底できる。その他、例えば出庫の開始指示が入力された時や、出庫の完了が入力されて入出庫口３を閉鎖する時、あるいは特に操作を行わない平常時など、対象領域Ａ内の状態を確認する必要があると考えられる任意のタイミングで異物検出を実行してよい。また、画像の取得および画像処理（ステップＳ２，Ｓ３）は、何らかの操作時、あるいは平常時において連続して実行し、異物が検出されたら警報を発報するといった運用形態も考えられる。

また、図７に示したような異物検出の工程を実行する場合、異物検出部１４としては適宜の構成を採用し得る。すなわち、本実施例では特に、撮像装置９により取得された対象領域Ａ内の画像に基づいて異物Ｆを検出する場合を説明したが、異物検出部１４の構成はこれに限定されない。例えば測域センサ等、対象領域Ａ内の異物Ｆを検出し得る装置であれば、異物検出部１４として採用することができる。そして、検出された異物Ｆの情報を、撮像装置９により取得した画像とあわせて表示部１２に表示すればよい。

本実施例の如き異物検出システムの有利な点について、上記特許文献１～７と対比しながらさらに説明する。まず、画像に基づいて異物Ｆを検出するシステムを構築するにあっては、以下の各点が重要である。
Ａ）十分な検出性能を確保すること。誤検知と検知漏れの両方を少なくすること。静止した物体でも検出できること。
Ｂ）少ない装置類でシステムを構成すること。撮像装置以外のセンサ類をなるべく設けないこと。
Ｃ）設備の外観に極力影響を与えないこと。

特許文献１には、カメラにより撮影された乗入室の画像をタッチパネル式の操作画面に表示し、ユーザーが乗入室内の安全を確認して安全確認ボタンを入力するよう構成した安全確認システムが記載されている。前記操作画面には、乗入室の画像情報以外に、人等の存在を検知するセンサの検知情報が表示されるようになっている。つまり、特許文献１に記載の技術の場合、異物の存在を機械的に検出するにあたっては、カメラの画像だけでなく別途センサを多数設置する必要があり、システム構成が複雑になってしまう。すなわち、上記Ｂの条件を満たしていない。

特許文献２に記載の技術では、機械式駐車場の入出庫用バースにカメラを設け、取得した画像の画素データを複数のグループに分けるようにしている。そして、ある時点におけるある位置の画素データと、別の時点における同じ位置の画素データの間に色彩の変化が生じた場合に物が存在すると判定する。このような方法では、物体の検出にあたって時間的な変化が必要であり、静止した異物は検出できないおそれがある。つまり、上記Ａの条件を満たしていない。

特許文献３に記載の技術では、入出庫バース内に照明器具を設け、移動する影の有無によって人や動物を検出するようになっている。静止した物体は検出できないうえ、照明器具が必要であり、上記Ａ、Ｂの条件を満たしていない。また、太陽光や車両のヘッドライトの影響を考慮すると、かなりの光度の光を照射する必要があるという点でも問題がある。

特許文献４に記載の技術では、車両が乗り入れた当初の入庫室の画像と、その後の画像を比較し、変化量が設定値を超えた場合に人や動物が存在すると見なすようになっている。しかしながら、このような方法では、太陽光、後続車のヘッドライト、周辺の建築物等から照射される光といった環境光、また、カメラのノイズ等の影響を受けやすく、過検知気味になることが想定される。また、乗り入れ当初の画像を適当なタイミング（車両が停止し、ヘッドライトを消灯してから、車両の扉が開くまでの間）で取得する必要があるが、そうしたタイミングをカメラの画像から特定することは困難である。さらに、適当なタイミングの画像を当初の画像として取得できたとしても、そのタイミングでは車両内に乗員が存在するので、後の画像と比較する場合に乗員の有無が有意差となってしまうことが考えられる。つまり、上記Ａの条件を満たしていない。

特許文献５に記載の技術では、床を２種類の色で交互に塗り分け、上方のカメラにて取得した画像における色の不連続部分として異物を検出するようになっている。床に縞模様を描くことになるので上記Ｃの点で不満があるほか、床の汚れに伴って定期的なメンテナンスの手間が発生してしまうという問題がある。

特許文献６に記載の技術では、カメラの映像から人を検出し、降車した人数と退出した人数とが一致しない場合は操作盤の操作を不可とするようにしている。しかしながら、降車する人は通常、足元に注意を払っているため、降車する人の顔を機械的に識別できるような画像をカメラで取得することは難しいと思われ、上記Ａを満足しない。また、人の入退のたびに顔認識とマッチングを実行するため、都度複雑な計算が発生してしまう。

特許文献７には、駐車場を無人化し遠隔監視するシステムが記載されているが、異物の確認については利用者が目視で行うか、遠隔地のオペレータがＣＣＤカメラの画像により行うようになっており、上記Ａを満足しない。

これに対し、本実施例の如き異物検出システムでは、画像から特定の種類の異物を検出する方式により、上記各特許文献に記載の技術の抱える弱点を解決することができる。すなわち、静止している異物であっても検出でき、環境光等による光条件の変化にも強く、基準となる画像の取得も不要である。偏光フィルタ１０によって透過部（出入口７、窓８）を物理的にマスクすることで、内外の判定などの複雑な計算を必要とすることなく誤検出を抑えることができる。しかも、透過部を通した肉眼による視認性には影響しない。また、対象領域Ａ内に設置する機械類としては最低限、撮像装置９があればよく、デザイン面への影響も軽微である。

尚、本実施例では対象領域Ａとして機械式駐車場の入出庫スペースを想定したが、同様の異物検出システムは、外部との間に透過部を備えた空間であれば種類を問わず適用することができる。例えば電気自動車の給電設備等を想定することもできるし、また、車両を扱う空間以外にも、何らかの空間内の安全確保、あるいは警備等に応用することもできる。

例えば、ロボットを用いた生産設備等においては、ロボットアームの稼働エリアを透明のアクリル板等で包囲することがある。そういった場所において、稼働エリア内の安全確保のため、稼働エリア内にカメラを設置すると共に、該カメラおよび前記アクリル板に偏光フィルタを設け、アクリル板を通した外部からの視認を可能にしつつ、前記カメラの画像に基づき異物検出を行うといった応用も可能である。あるいは、透明な壁を備えたエレベータ内を監視するにあたり、カメラおよび前記壁に偏光フィルタを設け、誤検出を防ぐといった応用も考えられる。

上記本実施例の異物検出システムは、対象領域Ａ内の画像を取得する撮像装置９と、前記撮像装置９によって取得された画像を表示する表示部１２と、システムを構成する各部の操作を入力する操作部１１と、前記対象領域Ａ内の異物Ｆを検出する異物検出部１４とを備え、前記異物検出部１４により異物Ｆが存在すると判定された場合に、前記表示部１２に、前記撮像装置９によって取得された画像と併せ、検出された異物Ｆの情報を表示するよう構成されている。このようにすれば、異物Ｆの種類、位置等を念頭に人が対象領域Ａ内を確認することにより、徹底した確認と、異物Ｆの除去のための適切な処置が可能となる。

上述の異物検出システムは、前記異物検出部１４により異物Ｆが存在すると判定された場合に、操作者が対象領域Ａ内の異物の不在を確認のうえ、異物が不在である旨を前記操作部１１へ入力し得るよう構成されている。このようにすれば、異物の不在の確認を徹底することができる。

上述の異物検出システムは、前記異物検出部１４により異物Ｆが存在すると判定された場合に、システムを構成する機器類の操作を禁止し、その後、異物が不在である旨が前記操作部１１へ入力された場合に、システムを構成する前記機器類の操作禁止状態を解除するよう構成されている。このようにすれば、前記機器類の動作に関して安全性を確保することができる。

したがって、上記本実施例によれば、極力簡単な構成により高い精度で異物を検出し得る。

尚、本開示において説明した異物検出システムは、上述の実施例にのみ限定されるものではなく、要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。

１ 車両
２ パレット
３ 入出庫口
５ 搬送装置
６ 案内鏡
７ 透過部（出入口）
８ 透過部（窓）
９ 撮像装置
９ａ 撮像装置
９ｂ 撮像装置
９ｃ 撮像装置
１０ 偏光フィルタ
１０ａ 偏光フィルタ（手前側の偏光フィルタ）
１０ｂ 偏光フィルタ（奥側の偏光フィルタ）
１１ 操作部
１２ 表示部
１３ 制御装置
１４ 異物検出部
Ａ 対象領域
Ｆ 物体（異物）
Ｏ 物体

Claims (3)

1. 対象領域内の画像を取得する撮像装置と、
   前記撮像装置によって取得された画像を表示する表示部と、
   システムを構成する各部の操作を入力する操作部と、
   前記撮像装置によって取得された画像に基づき、ディープラーニングの手法で生成されたプログラムにより前記対象領域内の異物を検出する異物検出部とを備え、
   前記異物検出部により異物が存在すると判定された場合に、前記表示部に、前記撮像装置によって取得された画像と併せ、検出された異物の情報を前記画像内における当該異物の周囲に表示するよう構成されている異物検出システム。
2. 前記異物検出部により異物が存在すると判定された場合に、操作者が対象領域内の異物の不在を確認のうえ、異物が不在である旨を前記操作部へ入力し得るよう構成されている、請求項１に記載の異物検出システム。
3. 前記異物検出部により異物が存在すると判定された場合に、システムを構成する機器類の操作を禁止し、
   その後、異物が不在である旨が前記操作部へ入力された場合に、システムを構成する前記機器類の操作禁止状態を解除するよう構成されている、請求項２に記載の異物検出システム。

Images