JP7828794B2 - 異常判定装置、異常判定システム、及び異常判定方法 - Google Patents

Description

本開示は、異常判定装置、異常判定システム、及び異常判定方法に関する。

車両等の対象物は、メルシート等の部材が未固定のまま仮設置された状態で、製造ラインを搬送されていく場合がある。このとき、部材が位置ずれを起こしてしまうことがある。

検出対象物の位置を特定する技術として、車両内にカメラを設置して、乗員の乗車位置を検知し、エアバッグの動作制御を行う技術がある（例えば特許文献１参照）。

国際公開第２０１９／２０７６２５号

しかしながら、例えば上述の特許文献１の技術を用いて、製造ラインを搬送される対象物内の部材の位置ずれ等を検出しようとすると、複数のカメラ及びセンサ等を用いた複雑な検査が必要となる。複数のカメラ及びセンサ等を用いた検査は、対象物の製造コストを増大させてしまう。

本開示は、安価で簡便に部材の異常を検出することができる異常判定装置、異常判定システム、及び異常判定方法を提供することを目的とする。

本開示にかかる異常判定装置は、未固定の部材が内部に仮設置されて製造ラインを搬送中の対象物について、前記製造ライン内の所定位置に固定されて前記製造ラインの運転状況を表示するための表示装置に表示された前記対象物の種類を示す対象物情報を読み取る読み取り装置から、前記対象物情報を取得する対象物情報取得部と、前記対象物が所定位置に到達したことを検出する位置検出装置の検出結果に基づいて、前記所定位置に到達した前記対象物の内部を撮像する撮像装置から画像を取得する画像取得部と、前記対象物情報に応じた前記対象物ごとに、機械学習によって構築された学習済みモデルに基づいて前記画像に含まれる前記部材の状態を評価して、前記対象物の内部に仮設置された前記部材の異常判定を行う判定部と、を備え、前記位置検出装置は、前記対象物が複数の異なる搬送位置に到達したことをそれぞれ検出し、前記撮像装置は、前記複数の異なる搬送位置にある前記対象物の内部を撮像する。

本開示にかかる異常判定装置、異常判定システム、及び異常判定方法によれば、安価で簡便に部材の異常を検出することができる。

図１は、実施形態にかかる異常判定システムの構成の一例を示す模式図である。 図２は、実施形態にかかる異常判定システムのハードウェア構成の一例を示す図である。 図３は、実施形態にかかる異常判定装置の機能構成の一例を示すブロック図である。 図４は、実施形態にかかる異常判定システムによる異常判定の様子を例示的に示す模式図である。 図５は、実施形態にかかる異常判定システムによる異常判定の様子を例示的に示す模式図である。 図６は、実施形態にかかる異常判定システムによる異常判定の様子を例示的に示す模式図である。 図７は、実施形態にかかる異常判定システムによる異常判定処理の手順の一例を示すフロー図である。 図８は、実施形態の変形例にかかる異常判定装置の機能構成の一例を示すブロック図である。 図９は、実施形態の変形例にかかる異常判定システムによる異常判定処理の手順の一例を示すフロー図である。

以下、図面を参照しながら、本開示にかかる異常判定装置、異常判定システム、及び異常判定方法の実施形態について説明する。

（異常判定システムの構成例）
図１は、実施形態にかかる異常判定システム１の構成の一例を示す模式図である。異常判定システム１は、製造ライン内を搬送中の車両ＶＨに仮設置されたメルシートＳＨ等の部材の異常判定を行う。

製造ラインにおいて、車両ＶＨは、例えばベルトコンベアＣＮＶ等の搬送路上を搬送されていく。また、製造ラインの天井部分には、製造ラインの各種状況を表示する表示装置６０が吊下されている。

図１に示すように、異常判定システム１は、異常判定装置１０、読み取り装置３０、撮像装置４０、及び位置検出装置５０（５０ａ，５０ｂ，５０ｃ）を備える。

異常判定装置１０は、後述するように例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等を備えるコンピュータとして構成され、読み取り装置３０からの情報、及び撮像装置４０からの画像に基づいて車両ＶＨに仮設置されたメルシートＳＨ等の異常判定を行う。

読み取り装置３０は、カメラまたはレーザセンサ等によるスキャン機能を備えたリーダ等であって、判定対象の車両ＶＨの車種を表示装置６０から読み取る。または、読み取り装置３０が、表示装置６０と直接的あるいは間接的に接続された記録装置等であって、表示装置６０から出力されるビデオ信号を、スクリーンショット機能等を用いて記録するように構成されていてもよい。

表示装置６０は、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、または有機ＥＬ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等であって、例えば製造ライン内の天井等から吊下されている。表示装置６０には製造ラインに関する各種情報が表示される。

表示装置６０に表示される情報としては、例えば製造ラインをそのとき搬送中の車両ＶＨの車種、製造ラインの運転状況、その車両ＶＨの品質等がある。車両ＶＨの車種は、例えば車両ＶＨの種類を特定可能な番号、記号、型式等の形式で表示される。

図１の例では、表示装置６０には、車両ＶＨの車種を表す車種番が表示されている。また、表示装置６０には、製造ラインが正常運転中であり、車両ＶＨの品質が正常であることが表示されている。

読み取り装置３０は、表示装置６０に表示される車種番等の車両ＶＨの種類を特定する情報を、対象物情報として読み取る。読み取り装置３０は、例えば画像データ等の形式で、対象物情報としての車種情報を生成する。

撮像装置４０は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）、またはＣＩＳ（ＣＭＯＳ Ｉｍａｇｅ Ｓｅｎｓｏｒ）等の撮像素子を内蔵するデジタルカメラ等である。撮像装置４０は、所定のフレームレートで撮影される複数のフレーム画像を含む動画または静止画の画像を生成可能であり、例えばベルトコンベアＣＮＶに載置されて搬送中の車両ＶＨの内部を撮像する。

ベルトコンベアＣＮＶ上を搬送中の車両ＶＨの内部には、例えばメルシートＳＨ等の部材が配置されている。メルシート（Ｍｅｌｔｉｎｇ Ｓｈｅｅｔ）ＳＨは、例えばアスファルト等の基材から構成された熱融着型の車体用制振材である。メルシートＳＨは、車体の防振、防音、防熱、防水、防塵等のため、例えば車両ＶＨのフロア及びデッキの床面上等に設置される。

図１に示す製造段階では、複数のメルシートＳＨが、未固定のまま車両ＶＨの内部に仮設置されている。この後の製造工程において、これらのメルシートＳＨは熱融着されて、車両ＶＨのフロアパネル上、及びデッキの床面上等に固定される。

ここで、メルシートＳＨは、例えば車種ごとに異なる型式、個数、向き、及び配置で仮設置される。このため、人為的ミス等により、メルシートＳＨが誤った状態で仮設置されてしまうことがある。

また、ハンドリングの際などに、メルシートＳＨに破れが発生してしまうことがある。また、メルシートＳＨが仮設置されてから、熱融着等によって車両ＶＨ内部の所望の位置に固定されるまでの間に、車両ＶＨがベルトコンベアＣＮＶ上を搬送されること等によって、メルシートＳＨが位置ずれを起こしてしまう場合がある。

異常判定装置１０は、仮設置された未固定のメルシートＳＨにおけるこれらの異常の有無を判定する。

ベルトコンベアＣＮＶには、例えば複数の位置検出装置５０ａ，５０ｂ，５０ｃが、上流側から下流側にこの順に設置されている。これらの位置検出装置５０ａ，５０ｂ，５０ｃは、例えばリミットスイッチ等であり、搬送中の車両ＶＨが、ベルトコンベアＣＮＶの所定位置に到達したことを検出する。

上述の撮像装置４０は、位置検出装置５０ａ，５０ｂ，５０ｃのそれぞれに対応する所定位置に車両ＶＨが到達するごとに、それぞれの所定位置において車両ＶＨの内部を撮像する。

次に、図２を用いて、異常判定システム１のハードウェア構成について説明する。

図２は、実施形態にかかる異常判定システム１のハードウェア構成の一例を示す図である。図２に示すように、異常判定システム１の異常判定装置１０は、ＣＰＵ１４、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２等を備えるコンピュータとして構成される。異常判定装置１０には、読み取り装置３０、撮像装置４０、及び位置検出装置５０（５０ａ，５０ｂ，５０ｃ）が接続されるとともに、ネットワークＮＴ等を介して表示装置６０が接続されている。

より具体的には、異常判定装置１０は、ＣＰＵ１４、ＲＡＭ１３、ＲＯＭ１２、補助記憶装置１１、インターフェース（Ｉ／Ｆ）１５、入力装置１７、出力装置１８、及び通信インターフェース（Ｉ／Ｆ）１９を備える。ＣＰＵ１４、ＲＡＭ１３、ＲＯＭ１２、補助記憶装置１１、Ｉ／Ｆ１５、入力装置１７、出力装置１８、及び通信Ｉ／Ｆ１９は、内部バスによって互いに接続されている。

ＣＰＵ１４は、異常判定装置１０全体の動作を制御する演算装置である。ＲＡＭ１３は、ＣＰＵ１４のワークエリアとして使用される揮発性記憶装置である。ＲＯＭ１２は、ＣＰＵ１４による各種処理を実現するプログラム等を記憶する不揮発性記憶装置である。

なお、ＣＰＵ１４、ＲＡＭ１３、及びＲＯＭ１２は、例えば１つの基板に実装されたＳｏＣ（Ｓｙｓｔｅｍ ｏｎ ａ Ｃｈｉｐ）として構成されていてもよい。

Ｉ／Ｆ１５には、読み取り装置３０、撮像装置４０、及び位置検出装置５０がバスを介して接続され、異常判定装置１０と、読み取り装置３０、撮像装置４０、及び位置検出装置５０との間で各種信号の授受が可能に構成されている。

異常判定装置１０から、読み取り装置３０及び撮像装置４０に送信される信号としては、例えば読み取り装置３０及び撮像装置４０の動作を制御する制御信号等がある。

異常判定装置１０が読み取り装置３０から受信する信号としては、例えば読み取り装置３０が表示装置６０から読み取った車種等の対象物情報を含む信号がある。異常判定装置１０が撮像装置４０から受信する信号としては、例えば撮像装置４０が異なる位置で車両ＶＨを撮像した複数画像の情報を含む信号がある。

異常判定装置１０が位置検出装置５０から受信する信号としては、例えば位置検出装置５０が検出した車両ＶＨの位置情報を含む信号がある。

通信Ｉ／Ｆ１９は、ネットワークＮＴを介して、異常判定装置１０と表示装置６０とを有線または無線により接続する。異常判定装置１０と表示装置６０とが接続されるネットワークＮＴは、例えば車両ＶＨの製造ラインを有する工場内のローカルエリアネットワーク（ＬＡＮ：Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、またはインターネット等のワイドエリアネットワーク（ＷＡＮ：Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等である。

これにより、異常判定装置１０が車両ＶＨのメルシートＳＨに異常を認めた場合には、通信Ｉ／Ｆ１９によって表示装置６０に警告表示の指示等を送信可能である。

補助記憶装置１１は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、ｅＭＭＣ（ｅｍｂｅｄｄｅｄ Ｍｕｌｔｉ Ｍｅｄｉａ Ｃａｒｄ）、またはｍｉｃｒｏＳＤカード等であり、各種データを記憶する。

入力装置１７は、キーボード、マウス等を含み、メルシートＳＨ等の部材の異常判定作業に携わる作業者等が、異常判定装置１０に対する各種指示を入力することが可能に構成される。

出力装置１８は、ＬＣＤまたは有機ＥＬディスプレイ等の表示装置、プリンタ等を含み、メルシートＳＨ等の車両ＶＨの内部の部材の異常判定結果等を出力することが可能に構成されている。出力装置１８が、スピーカ、ライト等の他の構成を含んでいてもよい。

なお、タッチ式パネル等のように、入力装置１７と出力装置１８とが一体的に構成されていてもよい。また、入力装置１７及び出力装置１８が、コンピュータ等である異常判定装置１０の外部機器として接続されていてもよい。

一方で、読み取り装置３０及び撮像装置４０の少なくともいずれかが、異常判定装置１０に内蔵されて、異常判定装置１０と一体的に構成されていてもよい。

次に、図３を用いて、異常判定装置１０の機能構成について説明する。

図３は、実施形態にかかる異常判定装置１０の機能構成の一例を示すブロック図である。図３に示すように、異常判定装置１０は、機能部として、車種情報取得部１０１、車種情報変換部１０２、画像取得部１０３、判定部１０４、位置情報取得部１０５、指令部１０６、入力部１０７、出力部１０８、通信部１０９、及び記憶部１１０を備える。

これらの機能部は、例えばＲＯＭ１２等に格納されるプログラムがＲＡＭ１３に展開されて、それをＣＰＵ１４が実行することで、異常判定装置１０に実現される。

対象物情報取得部としての車種情報取得部１０１は、読み取り装置３０が読み取った、製造ラインを搬送される車両ＶＨの車種情報を、例えば画像データ形式で読み取り装置３０から取得する。車種情報取得部１０１は、例えば上述のＣＰＵ１４の制御下で動作するＩ／Ｆ１５により実現される。

対象物情報変換部としての車種情報変換部１０２は、例えば光学文字認識（ＯＣＲ：Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ）機能によって、画像データ形式の車種情報を文字データへと変換する。ＯＣＲは、例えばスキャナ等で読み込まれた画像データを文字データに変換する機能である。

車種情報変換部１０２は、例えば上述のＣＰＵ１４によりプログラムが実行されることによって実現される。

画像取得部１０３は、異なる位置にある車両ＶＨを撮像装置４０が撮像した複数の画像の情報を取得する。画像取得部１０３は、例えば上述のＣＰＵ１４の制御下で動作するＩ／Ｆ１５により実現される。

判定部１０４は、車種情報取得部１０１及び車種情報変換部１０２によって得られた車種情報に基づいて、そのとき製造ラインを搬送中の車両ＶＨを特定する。また、判定部１０４は、撮像装置４０が撮像した画像を解析し、記憶部１１０に格納される画像情報１１１を参照して、撮像した画像に含まれる車両ＶＨのメルシートＳＨ等について、上記のとおり特定した車種に応じて異常判定を行う。

また、判定部１０４は、メルシートＳＨ等の部材に異常が認められた場合には、異常を知らせる警告表示指示を、通信部１０９を介して表示装置６０に送信する。

判定部１０４は、例えば上述のＣＰＵ１４によりプログラムが実行されることによって実現される。

位置情報取得部１０５は、位置検出装置５０の検出結果である車両ＶＨの位置情報を位置検出装置５０から取得する。位置情報取得部１０５は、例えば上述のＣＰＵ１４の制御下で動作するＩ／Ｆ１５により実現される。

指令部１０６は、読み取り装置３０による車種情報の読み取りを制御する。また、指令部１０６は、位置検出装置５０の検出結果に基づいて、車両ＶＨが複数の所定位置に到達するごとに、撮像装置４０によって車両ＶＨの内部を撮像させる。

指令部１０６は、例えば上述のＣＰＵ１４によりプログラムが実行されること、及びＣＰＵ１４の制御下で動作するＩ／Ｆ１５により実現される。

入力部１０７は、異常判定装置１０に対する作業者の各種指示の入力を受け付ける。入力部１０７は、例えば上述のＣＰＵ１４の制御下で動作する入力装置１７により実現される。出力部１０８は、車両ＶＨの内部のメルシートＳＨ等の異常判定結果を出力する。出力部１０８は、例えば上述のＣＰＵ１４の制御下で動作する出力装置１８により実現される。

通信部１０９は、メルシートＳＨに異常が認められた場合に、判定部１０４が生成する警告表示指示を、ネットワークＮＴを介して表示装置６０に送信する。異常判定装置１０から警告表示指示を受信した表示装置６０は、メルシートＳＨに異常があったことを表示する。通信部１０９は、例えば上述のＣＰＵ１４の制御下で動作する通信部１０９により実現される。

記憶部１１０には、画像情報１１１が格納されている。画像情報１１１は、例えば機械学習によって構築された学習済みモデル等である。より詳細には、画像情報１１１は、車種ごとのメルシートＳＨの様々な画像データを学習データとして用いて構築され、例えば判定部１０４が参照して実行することが可能な形式で記憶部１１０に格納されている。

これにより、判定部１０４は、画像情報１１１に基づいて、車両ＶＨの内部に仮設置されたメルシートＳＨについて、車種ごとのメルシートＳＨの型式、個数、向き、及び配置の誤り、メルシートＳＨの設置忘れ、並びにメルシートＳＨの位置ずれ及び破れ等の異常の有無を判定することができる。

記憶部１１０は、例えば上述のＣＰＵ１４の制御下で動作する補助記憶装置１１により実現される。

（異常判定システムの機能例）
次に、図４～図６を用いて、異常判定システム１の機能の詳細について説明する。図４～図６は、実施形態にかかる異常判定システム１による異常判定の様子を例示的に示す模式図である。

上述のように、異常判定システム１による異常判定は、例えば熱融着前、つまり、未固定のメルシートＳＨが仮設置された車両ＶＨについて行われる。このとき、なるべくメルシートＳＨが固定される直前で異常判定が行われることが好ましい。上述のように、車両ＶＨの搬送によっても、位置ずれ等の異常がメルシートＳＨに起こり得るからである。

図４に示すように、表示装置６０には、そのときベルトコンベアＣＮＶ上を搬送中の車両ＶＨの車種に関する情報が表示されている。異常判定装置１０の指令部１０６は、読み取り装置３０に指令を送信し、表示装置６０に表示される車両ＶＨの車種情報を読み取らせる。

異常判定装置１０の車種情報取得部１０１は、読み取り装置３０が読み取った車種情報を取得する。車種情報変換部１０２は、読み取り装置３０が読み取った車種情報を、ＯＣＲ機能等を用いて文字データに変換する。

また、車両ＶＨがベルトコンベアＣＮＶ上を搬送されてくると、まず、複数の位置検出装置５０ａ，５０ｂ，５０ｃのうち、最も上流側の位置検出装置５０ａが車両ＶＨを検出する。指令部１０６は、位置検出装置５０ａによって車両ＶＨが所定位置に到達したことが検出されると、撮像装置４０に指令を送信し、位置検出装置５０ａが検出した所定位置における車両ＶＨの内部を撮像させる。

位置検出装置５０ａが検出した所定位置で撮像装置４０が撮像した画像には、例えば前部座席下方のフロアパネル上に仮設置されたメルシートＳＨａ，ＳＨｂ，ＳＨｃが含まれる。換言すれば、フロアパネルの前部座席下方の床面付近が撮像装置４０の画角に含まれる位置に車両ＶＨが到達すると、それを位置検出装置５０ａが検出するように、位置検出装置５０ａの設置位置が調整されている。

異常判定装置１０の判定部１０４は、得られた車種情報に基づいて、そのとき製造ラインを搬送中の車両ＶＨを特定する。

また、判定部１０４は、記憶部１１０に格納された画像情報１１１に基づいて、撮像装置４０が撮像した画像に含まれるメルシートＳＨａ，ＳＨｂ，ＳＨｃの状態を、その車両ＶＨの車種に応じて評価して、これらのメルシートＳＨａ，ＳＨｂ，ＳＨｃの異常判定を行う。

図４の例では、車両ＶＨ内部のメルシートＳＨａ，ＳＨｂ，ＳＨｃには、型式、個数、向き、及び配置の誤り、メルシートＳＨａ，ＳＨｂ，ＳＨｃの設置忘れ、位置ずれ、並びに破れ等の異常はいずれも発生していないものとする。判定部１０４は、これらのメルシートＳＨａ，ＳＨｂ，ＳＨｃは正常であると判定する。この場合、表示装置６０には、メルシートＳＨａ，ＳＨｂ，ＳＨｃの品質が正常であることの品質表示が維持される。

図５に示すように、車両ＶＨがベルトコンベアＣＮＶ上を移動していくと、複数の位置検出装置５０ａ，５０ｂ，５０ｃのうち、中央部の位置検出装置５０ｂが車両ＶＨを検出する。位置検出装置５０ｂによって車両ＶＨが所定位置に到達したことが検出されると、指令部１０６は、撮像装置４０に指令を送信し、位置検出装置５０ｂが検出した所定位置における車両ＶＨの内部を撮像させる。

位置検出装置５０ｂが検出した所定位置で撮像装置４０が撮像した画像には、例えば後部座席下方のフロアパネル上に仮設置されたメルシートＳＨｄ，ＳＨｅ，ＳＨｆが含まれる。換言すれば、フロアパネルの後部座席下方の床面付近が撮像装置４０の画角に含まれる位置に車両ＶＨが到達すると、それを位置検出装置５０ｂが検出するように、位置検出装置５０ｂの設置位置が調整されている。

判定部１０４は、記憶部１１０に格納された画像情報１１１に基づいて、撮像装置４０が撮像した画像に含まれるメルシートＳＨｄ，ＳＨｅ，ＳＨｆの状態を、その車両ＶＨの車種に応じて評価して、これらのメルシートＳＨｄ，ＳＨｅ，ＳＨｆの異常判定を行う。

図５の例では、車両ＶＨ内部のメルシートＳＨｄ，ＳＨｅ，ＳＨｆのうち、メルシートＳＨｄには、型式、個数、向き、及び配置の誤り、位置ずれ、メルシートＳＨｄの設置忘れ、並びに破れ等の異常はいずれも発生していないものとする。一方で、メルシートＳＨｅには複数個所に破れＴＲが生じており、メルシートＳＨｆには位置ずれが生じているものとする。

判定部１０４は、これらのメルシートＳＨｄ，ＳＨｅ，ＳＨｆのうち、メルシートＳＨｄは正常であると判定する。また、判定部１０４は、メルシートＳＨｅ，ＳＨｆには異常が発生していると判定する。

このように、判定対象のメルシートＳＨｄ，ＳＨｅ，ＳＨｆのうち、少なくともいずれかに異常があった場合、判定部１０４は、いずれかのＳＨｄ，ＳＨｅ，ＳＨｆに異常があったことを示す警告表示指示を生成する。通信部１０９は、判定部１０４が生成した警告表示指示を表示装置６０に送信する。

表示装置６０は、異常判定装置１０から受信した警告表示指示にしたがって、品質を表す表示を、いずれかのＳＨｄ，ＳＨｅ，ＳＨｆの品質が異常であることを示す表示に切り替える。

図６に示すように、車両ＶＨがベルトコンベアＣＮＶ上を更に移動していくと、複数の位置検出装置５０ａ，５０ｂ，５０ｃのうち、最も下流側の位置検出装置５０ｃが車両ＶＨを検出する。指令部１０６は、位置検出装置５０ｃによって車両ＶＨが所定位置に到達したことが検出されると、撮像装置４０に指令を送信し、位置検出装置５０ｃが検出した所定位置における車両ＶＨの内部を撮像させる。

位置検出装置５０ｃが検出した所定位置で撮像装置４０が撮像した画像には、例えばデッキの床面上に仮設置されたメルシートＳＨｇ，ＳＨｈ，ＳＨｉが含まれる。換言すれば、デッキの床面付近が撮像装置４０の画角に含まれる位置に車両ＶＨが到達すると、それを位置検出装置５０ｃが検出するように、位置検出装置５０ｃの設置位置が調整されている。

判定部１０４は、記憶部１１０に格納された画像情報１１１に基づいて、撮像装置４０が撮像した画像に含まれるメルシートＳＨｇ，ＳＨｈ，ＳＨｉの状態を、その車両ＶＨの車種に応じて評価して、これらのメルシートＳＨｇ，ＳＨｈ，ＳＨｉの異常判定を行う。

図６の例では、車両ＶＨ内部のメルシートＳＨｇ，ＳＨｈ，ＳＨｉには、型式、個数、向き、及び配置の誤り、メルシートＳＨｇ，ＳＨｈ，ＳＨｉの設置忘れ、位置ずれ、並びに破れ等の異常はいずれも発生していないものとする。判定部１０４は、これらのメルシートＳＨｇ，ＳＨｈ，ＳＨｉは正常であると判定する。この場合、表示装置６０の品質表示には、メルシートＳＨｇ，ＳＨｈ，ＳＨｉの品質が正常であることが表示される。

このように、異常判定システム１は、複数の位置検出装置５０ａ，５０ｂ，５０ｃにより、適宜、車両ＶＨの位置を特定する。また、特定された複数位置にて撮像装置４０が車両ＶＨの内部を撮像する。また、それらの画像に基づいて、判定部１０４が、その車両ＶＨの全体に亘って仮設置されるメルシートＳＨａ～ＳＨｉの異常判定を行う。

なお、位置検出装置５０の個数および配置等は上記の例に限られず任意である。位置検出装置５０の個数および配置等は、車両ＶＨの全長および形状等、並びに車両ＶＨ内のメルシートＳＨの個数および配置等に応じて、適宜調整することができる。位置検出装置５０の個数および配置等を調整することで、上述のように、フロアパネルの前部座席付近および後部座席付近、並びにデッキ付近以外にも、車両ＶＨの様々な位置を含む画像を撮像することができる。

その後、異常判定装置１０の出力部１０８は、その車両ＶＨに対する異常判定結果を出力する。異常判定結果は、例えば出力部１０８を構成するモニタ等に表示されてもよく、出力部１０８を構成するプリンタ等によってプリントアウトされてもよい。

ただし、出力部１０８による異常判定結果の出力手段、及び出力形態は上記の例に限られない。出力部１０８は、例えばスピーカ等により警告音または音声等で異常判定結果を出力してもよく、あるいは、ライトを点灯または点滅させるなどして異常判定結果を出力してもよい。

（異常判定システムの処理例）
次に、図７を用いて、実施形態の異常判定システム１による異常判定の処理例について説明する。図７は、実施形態にかかる異常判定システム１による異常判定処理の手順の一例を示すフロー図である。

図７に示すように、製造ラインにおいて、ベルトコンベアＣＮＶ上を車両ＶＨが搬送されてくると、読み取り装置３０は、表示装置６０に表示された車種情報を読み取る（ステップＳ１１０）。

異常判定装置１０の車種情報取得部１０１は、読み取り装置３０が読み取った車種情報を取得する（ステップＳ１２０）。車種情報変換部１０２は、読み取り装置３０が読み取った車種情報を文字データに変換する（ステップＳ１３０）。

複数の位置検出装置５０ａ，５０ｂ，５０ｃは、ベルトコンベアＣＮＶ上の所定位置に到達した車両ＶＨに対して反応を示す（ステップＳ１４０）。異常判定装置１０は、いずれかの位置検出装置５０ａ，５０ｂ，５０ｃが車両ＶＨを検出して反応を示すまで待機する（ステップＳ１４０：Ｎｏ）。

いずれかの位置検出装置５０ａ，５０ｂ，５０ｃが車両ＶＨを検出すると（ステップＳ１４０：Ｙｅｓ）、異常判定装置１０の指令部１０６が、撮像装置４０に車両ＶＨの内部を撮像させる（ステップＳ１５０）。

異常判定装置１０の判定部１０４は、上述のステップＳ１３０の処理で得られた車両情報に基づいて、製造ラインをそのとき搬送中の車両ＶＨの車種を特定する（ステップＳ１６０）。

ただし、判定部１０４による車種の特定は、ステップＳ１３０の処理で車両情報が得られた後であって、以下に述べるステップＳ１７０，Ｓ１８０の処理で行われる判定部２０４による異常判定前であれば、上記以外のタイミングで行われてもよい。

判定部１０４は、記憶部１１０に格納された画像情報１１１に基づいて、撮像装置４０が撮像した画像に含まれるメルシートＳＨの状態を、ステップＳ１６０の処理で特定した車種に応じて評価する（ステップＳ１７０）。また、判定部１０４は、評価内容に応じてメルシートＳＨの異常の有無を判定する（ステップＳ１８０）。

メルシートＳＨに異常が発生していた場合には（ステップＳ１８０：Ｙｅｓ）、判定部１０４は警告表示指示を生成し、通信部１０９が警告表示指示を表示装置６０へと送信する（ステップＳ１９０）。メルシートＳＨに異常が発生していなかった場合には（ステップＳ１８０：Ｎｏ）、ステップＳ１９０の処理はスキップされる。

異常判定装置１０の指令部１０６は、ステップＳ１４０の処理で反応を示したのが、最後の位置検出装置５０、つまり、最下流の位置検出装置５０であったか否かを判定する（ステップＳ２００）。

ステップＳ１４０の処理で反応を示したのが最後の位置検出装置５０でなかった場合には（ステップＳ２００：Ｎｏ）、ステップＳ１４０からの処理が繰り返される。ステップＳ１４０の処理で反応を示したのが最後の位置検出装置５０であった場合には（ステップＳ２００：Ｙｅｓ）処理が終了される。

異常判定装置１０の出力部１０８は、車両ＶＨに仮設置されている全てのメルシートＳＨの異常判定結果をまとめて出力する（ステップＳ２１０）。

ただし、出力部１０８は、上記のステップＳ１８０の処理が行われるごとに異常判定結果を出力してもよい。つまり、出力部１０８は、例えば車両ＶＨの前部座席下方のフロア上、後部座席下方のフロア上、及びデッキの床面上に仮設置されるそれぞれのメルシートＳＨについて異常判定結果が得られるごとに、これらの結果を適宜出力してもよい。

以上により、実施形態の異常判定システム１による異常判定処理が終了する。

（概括）
例えば車両等の製造ラインにおいては、メルシートのような部材が未固定のまま仮設置された状態で車両が搬送される場合がある。このとき、車両の搬送によって部材が位置ずれを起こしてしまう場合がある。また、これらの部材は車種ごとに、型式、設置数、設置位置、配置等が異なる場合があり、作業者のミス等により誤った状態で仮設置されてしまうことがある。このため、最終的に固定される前の部材に対して異常判定を行うことが好ましい。

しかしながら、製造ラインを搬送中の車両の内部に仮設置された部材の異常判定を行うには、例えば複数のセンサ及び撮像装置等を取り付けるなどの措置が必要となる。これにより、製造コストが増大してしまうほか、複雑な解析が必要となってしまうことが懸念される。また、複数のセンサ及び撮像装置等を用いた場合であっても、搬送中の車両内の部材について、型式、個数、向き、及び配置の誤り、位置ずれ、メルシートの設置忘れ、並びに破れ等の異常を一括して判定することは困難である。

実施形態の異常判定システム１によれば、未固定のメルシートＳＨが内部に仮設置された搬送中の車両ＶＨについて、表示装置６０に表示された車両ＶＨの車種情報を読み取る読み取り装置３０と、車両ＶＨが所定位置に到達したことを検出する位置検出装置５０と、所定位置において車両ＶＨの内部を撮像する撮像装置４０と、撮像装置４０が撮像した画像に基づいてメルシートＳＨの異常判定を行う異常判定装置１０と、を備える。

このように、例えばＯＣＲ機能等で文字データとして得られた車種情報と、車両ＶＨの位置検出を行いつつ撮像された画像とに基づいて異常判定を行うことで、メルシートＳＨ等の部材の異常を安価で簡便に検出することができる。

実施形態の異常判定装置１０によれば、車種情報に応じた車種ごとに、機械学習によって構築された学習済みモデル等の画像情報１１１に基づいて、撮像装置４０が撮像した画像に含まれるメルシートＳＨの状態を評価して、車両ＶＨの内部に仮設置されたメルシートＳＨの異常判定を行う。

このように、例えば機械学習によって構築された学習済みモデル等を用いることで、ヒトによる検査に近い形で、種々の車種ごとに異常判定を行うことができる。よって、車種ごとに仕様が異なるメルシートＳＨ等の部材の異常判定をすることができる。また、搬送中の車両ＶＨ内のメルシートＳＨについて、車種ごとのメルシートＳＨの型式、個数、向き、及び配置の誤り、メルシートＳＨの設置忘れ、並びにメルシートＳＨの位置ずれ及び破れ等の異常を一括して判定することができる。

また上記構成により、例えば複数の撮像装置およびセンサ等を用いることなく異常判定を行うことができる。よって、製造コストを削減できるほか、複雑な解析を行わなくとも異常判定を行うことが可能となる。

実施形態の異常判定装置１０によれば、位置検出装置５０は、車両ＶＨを複数の位置において検出し、撮像装置４０は、これらの複数の位置において車両ＶＨの内部を撮像する。

このように、複数の位置検出装置５０を用いて複数位置で車両ＶＨを検出することで、例えば安価な撮像装置４０を１つのみ用いて、車両ＶＨの全体に亘って複数のメルシートＳＨについて異常判定を行うことができる。

（変形例）
次に、図８及び図９を用いて、実施形態の変形例の異常判定システムについて説明する。変形例の異常判定システムは、異常判定を行う際に、製造ラインを搬送中の車両ＳＨ周辺の環境も参照する点が上述の実施形態とは異なる。

以下の説明において、上述の実施形態の異常判定システム１と同様の構成については同様の符号を付して説明を省略することがある。

図８は、実施形態の変形例にかかる異常判定装置２０の機能構成の一例を示すブロック図である。図８に示すように、変形例の異常判定装置２０は環境情報取得部２０７を備える。また、変形例の異常判定装置２０は、上述の実施形態の判定部１０４及び記憶部１１０に替えて、判定部２０４及び記憶部２１０を備える。

環境情報取得部２０７は、製造ラインを搬送中の車両ＶＨ周辺の環境情報を取得する。車両ＶＨ周辺の環境情報には、製造ライン内の温湿度、並びに製造ライン内に存在する障害物および傾斜等の情報が含まれる。

環境情報取得部２０７は、例えば工場内ＬＡＮ等の上述の図２に示すネットワークＮＴを介して、工場内の図示しないセンサ等から製造ライン内の温湿度の情報を取得する。

製造ライン内の障害物は、加工機械等の工場内設備および備品等であって、これによりベルトコンベアＣＮＶ等の車両ＶＨの搬送経路が迂回させられる場合がある。このような迂回路は例えば急カーブをなしていることがあり、このような障害物の情報は、例えばカーブをなす迂回路の曲率等のデータと紐づけられて、記憶部２１０の設備情報２１２に予め格納されている。

製造ライン内の傾斜は、ベルトコンベアＣＮＶ等の車両ＶＨの搬送経路における傾斜である。このような傾斜の情報は、例えばその傾斜が有する傾斜度等のデータと紐づけられて、記憶部２１０の設備情報２１２に予め格納されている。

環境情報取得部２０７は、記憶部２１０の設備情報２１２を読み出すことで、製造ライン内の障害物および傾斜等の情報を取得する。

記憶部２１０には、上述の実施形態の画像情報１１１に加えて、設備情報２１２及び相関情報２１３が格納されている。

設備情報２１２には、上述の通り、製造ライン内の障害物に関する情報が迂回路の曲率データ等に紐づけられて記憶されている。また、上述の通り、設備情報２１２には、製造ライン内の傾斜に関する情報が傾斜度等のデータと紐づけられて記憶されている。なお、製造ライン内の障害物および傾斜の状況は工場ごとに異なる。よって、設備情報２１２には、製造ライン内の障害物および傾斜の情報が工場ごとに記憶されていてよい。

相関情報２１３には、製造ライン内の温湿度、並びに障害物および傾斜の様々な状況に対応する位置すれ量の情報が記憶されている。

製造ライン内の温湿度は、車両ＶＨの内部に仮設置されるメルシートＳＨの位置ずれ等に影響を及ぼすことがある。例えばアスファルト等を基材とするメルシートＳＨは、温度が低いほうが硬質化しやすく、また、湿度が低いほうが乾燥しやすい。このため、メルシートＳＨの位置ずれ量は、温度がより低い場合に、また、湿度がより低い場合に、増大する傾向にある。相関情報２１３は、例えば温度が低いほど、また、湿度が低いほど、メルシートＳＨの位置ずれ量が大きくなる等の相関データ等を保持している。

製造ライン内の障害物によって、ベルトコンベアＣＮＶ等が迂回路を有していると、例えばカーブをなす迂回路を車両ＶＨが通過する際、未固定のメルシートＳＨが位置ずれを起こしやすくなる。相関情報２１３は、例えば迂回路の曲率が増すほどメルシートＳＨの位置ずれ量が大きくなる等の相関データ等を保持している。

また、製造ライン内のベルトコンベアＣＮＶ等が傾斜を有していると、その傾斜を車両ＶＨが通過する際、固定のメルシートＳＨが位置ずれを起こしやすくなる。相関情報２１３は、例えば搬送経路の傾斜度が増すほどメルシートＳＨの位置ずれ量が大きくなる等の相関データ等を保持している。

判定部２０４は、上述の実施形態の判定部１０４と同様、撮像装置４０が撮像した画像を解析し、記憶部２１０に格納される画像情報１１１を参照して、撮像した画像に含まれる車両ＶＨのメルシートＳＨ等の異常判定を行う。

このとき、変形例の判定部２０４は、製造ライン内の温湿度、並びに製造ライン内に存在する障害物および傾斜等の環境情報も参照する。

つまり、判定部２０４は、記憶部２１０の相関情報２１３に記憶された温湿度、迂回路の曲率、及び傾斜度と、メルシートＳＨの位置ずれ量との相関データを参照しつつ、環境情報取得部２０７が取得した温湿度、製造ライン内の障害物および傾斜等の情報に応じた位置ずれ量を推測し、それらの推測値も踏まえて異常判定を行う。

図９は、実施形態の変形例にかかる異常判定システムによる異常判定処理の手順の一例を示すフロー図である。

図９に示すように、変形例の異常判定システムによる異常判定処理も、上述の実施形態の異常判定処理と概ね同様に行われる。

より具体的には、図９に示すステップＳ１１０～Ｓ１６０までの処理は、上述の図７に示すステップＳ１１０～Ｓ１６０までの処理と同様である。

すなわち、読み取り装置３０が表示装置６０から車種情報を読み取り（ステップＳ１１０）、それを車種情報取得部１０１が取得し（ステップＳ１２０）、車種情報変換部１０２が文字データに変換する（ステップＳ１３０）。また、いずれかの位置検出装置５０が車両ＶＨを検出して反応すると（ステップＳ１４０）、撮像装置４０が車両ＶＨ内を撮像する（ステップＳ１５０）。判定部２０４は、車種情報に基づいて車種を特定する（ステップＳ１６０）。

ここで、環境情報取得部２０７は、例えばネットワークＮＴを介して工場内センサ等から温湿度情報を取得し、また、記憶部２１０の設備情報２１２から製造ライン内の障害物および傾斜等の情報を取得する（ステップＳ１６１）。

ただし、環境情報取得部２０７は、判定部２０４による異常判定前であれば、上記以外のタイミングで環境情報を取得してもよい。例えば、環境情報取得部２０７は、変形例の異常判定システムにおける処理が開始されたタイミングで環境情報を取得してもよい。または、環境情報取得部２０７は、撮像装置４０による車両ＶＨ内の撮像と同期して環境情報を取得してもよい。または、環境情報取得部２０７は、定期的に温湿度情報を取得していてもよい。

判定部２０４は、記憶部２１０に格納された画像情報１１１に基づいて、撮像装置４０が撮像した画像に含まれるメルシートＳＨの状態を評価する（ステップＳ１７１）。また、判定部２０４は、評価内容に応じて、メルシートＳＨの異常の有無を判定する（ステップＳ１８１）。

これらのステップＳ１７１，Ｓ１８１の処理において、判定部２０４は、記憶部２１０の相関情報２１３を参照しつつ、環境情報取得部２０７が取得した環境情報も判定基準として用いる。

これ以降のステップＳ１９０～Ｓ２１０の処理もまた、上述の図７に示すステップＳ１９０～Ｓ２１０の処理と同様である。

すなわち、メルシートＳＨに対する異常判定の結果に応じて（ステップＳ１８１）、警告表示指示の生成、及び表示装置６０への送信（ステップＳ１９０）の処理が行われ、あるいはスキップされて、最後の位置検出装置５０が反応を示すまで（ステップＳ２００）上記の処理が繰り返される。出力部１０８は異常判定結果を出力する（ステップＳ２１０）。

以上により、変形例の異常判定システムによる異常判定処理が終了する。

変形例の異常判定装置２０によれば、搬送中の車両ＶＨの周囲の環境を示す環境情報を取得する環境情報取得部２０７を備え、判定部２０４は、異常判定を行う場合に環境情報を参照する。これにより、より高精度に異常判定を行うことが可能となる。

なお、上述の実施形態および変形例では、車両ＶＨのメルシートＳＨに対して異常判定を行うこととした。しかし、上述の実施形態および変形例の異常判定は他のケースにも適用可能である。つまり、車両ＶＨにおける未固定の各種のシート状部材等に、上述の実施形態および変形例の異常判定が適用されうる。あるいは、バイク、列車、小型船舶、小型飛行機等の自動車以外の対象物における未固定の各種のシート状部材等に、上述の実施形態および変形例の異常判定を適用してもよい。

なお、未固定のシート状部材は、上述のメルシートＳＨのように最終的に固定される部材であってもよく、あるいは断熱材シート等のように最終的に固定されることのない部材であってもよい。

１ 異常判定システム
１０，２０ 異常判定装置
３０ 読み取り装置
４０ 撮像装置
５０ 位置検出装置
６０ 表示装置
１０１ 車種情報取得部
１０２ 車種情報変換部
１０３ 画像取得部
１０４，２０４ 判定部
１０５ 位置情報取得部
１０６ 指令部
１０７ 入力部
１０８ 出力部
１０９ 通信部
１１０，２１０ 記憶部
１１１ 画像情報
２０７ 環境情報取得部
２１２ 設備情報
２１３ 相関情報
ＣＮＶ ベルトコンベア
ＳＨ メルシート
ＶＨ 車両

Claims (5)

1. 未固定の部材が内部に仮設置されて製造ラインを搬送中の対象物について、前記製造ライン内の所定位置に固定されて前記製造ラインの運転状況を表示するための表示装置に表示された前記対象物の種類を示す対象物情報を読み取る読み取り装置から、前記対象物情報を取得する対象物情報取得部と、
   前記対象物が所定位置に到達したことを検出する位置検出装置の検出結果に基づいて、前記所定位置に到達した前記対象物の内部を撮像する撮像装置から画像を取得する画像取得部と、
   前記対象物情報に応じた前記対象物ごとに、機械学習によって構築された学習済みモデルに基づいて前記画像に含まれる前記部材の状態を評価して、前記対象物の内部に仮設置された前記部材の異常判定を行う判定部と、を備え、
   前記位置検出装置は、
   前記対象物が複数の異なる搬送位置に到達したことをそれぞれ検出し、
   前記撮像装置は、
   前記複数の異なる搬送位置にある前記対象物の内部を撮像する、
   異常判定装置。
2. 前記表示装置は、
   液晶ディスプレイ、または有機ＥＬディスプレイであり、
   前記読み取り装置は、
   カメラ、スキャン機能を有するリーダ、または前記表示装置から出力されるビデオ信号をスクリーンショット機能によって記録する記録装置である、
   請求項１に記載の異常判定装置。
3. 搬送中の前記対象物の周囲の環境を示す環境情報を取得する環境情報取得部を更に備え、
   前記判定部は、
   前記異常判定を行う場合に前記環境情報を参照し、
   前記環境情報は、前記対象物の周囲の温湿度情報、及び前記対象物が搬送される搬送路が有する迂回路および傾斜に関する情報の少なくともいずれかを含む、
   請求項１または請求項２に記載の異常判定装置。
4. 未固定の部材が内部に仮設置されて製造ラインを搬送中の対象物について、前記製造ライン内の所定位置に固定されて前記製造ラインの運転状況を表示するための表示装置に表示された前記対象物の種類を示す対象物情報を読み取る読み取り装置と、
   前記対象物が所定位置に到達したことを検出する位置検出装置と、
   前記所定位置に到達した前記対象物の内部を撮像する撮像装置と、
   前記撮像装置が撮像した画像に基づいて前記部材の異常判定を行う異常判定装置と、を備え、
   前記位置検出装置は、
   前記対象物が複数の異なる搬送位置に到達したことをそれぞれ検出し、
   前記撮像装置は、
   前記複数の異なる搬送位置にある前記対象物の内部を撮像する、
   前記異常判定装置は、
   前記対象物情報に応じた前記対象物ごとに、機械学習によって構築された学習済みモデルに基づいて前記画像に含まれる前記部材の状態を評価して、前記対象物の内部に仮設置された前記部材の異常判定を行う、
   異常判定システム。
5. 未固定の部材が内部に仮設置されて製造ラインを搬送中の対象物について、前記製造ライン内の所定位置に固定されて前記製造ラインの運転状況を表示するための表示装置に表示された前記対象物の種類を示す対象物情報を読み取り、
   前記対象物が複数の異なる搬送位置に到達したことをそれぞれ検出し、
   前記複数の異なる搬送位置にある前記対象物の内部を撮像し、
   前記対象物情報に応じた前記対象物ごとに、機械学習によって構築された学習済みモデルに基づいて、前記対象物の内部を撮像した画像に含まれる前記部材の状態を評価して、前記対象物の内部に仮設置された前記部材の異常判定を行う、
   異常判定方法。