JP7235253B2 - 判別装置、判別方法、制御システム、学習モデル生成装置、学習モデル生成方法及びプログラム - Google Patents

判別装置、判別方法、制御システム、学習モデル生成装置、学習モデル生成方法及びプログラム Download PDF

Info

Publication number
JP7235253B2
JP7235253B2 JP2020053453A JP2020053453A JP7235253B2 JP 7235253 B2 JP7235253 B2 JP 7235253B2 JP 2020053453 A JP2020053453 A JP 2020053453A JP 2020053453 A JP2020053453 A JP 2020053453A JP 7235253 B2 JP7235253 B2 JP 7235253B2
Authority
JP
Japan
Prior art keywords
vehicle
image
destination display
type
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020053453A
Other languages
English (en)
Other versions
JP2021151842A (ja
Inventor
信行 田中
篤司 吉田
伊寿美 佐藤
正寛 大峯
拓哉 柳生
康彦 丹川
美幸 田口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Platforms Ltd
Original Assignee
NEC Platforms Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Platforms Ltd filed Critical NEC Platforms Ltd
Priority to JP2020053453A priority Critical patent/JP7235253B2/ja
Publication of JP2021151842A publication Critical patent/JP2021151842A/ja
Priority to JP2023020593A priority patent/JP2023053291A/ja
Priority to JP2023020592A priority patent/JP2023071731A/ja
Application granted granted Critical
Publication of JP7235253B2 publication Critical patent/JP7235253B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Platform Screen Doors And Railroad Systems (AREA)
  • Train Traffic Observation, Control, And Security (AREA)

Description

特許法第30条第2項適用 令和1年11月19日に西武新宿駅で試作機による動作確認開始
本発明は、判別装置、判別方法、制御システム、学習モデル生成装置、学習モデル生成方法及びプログラムに関する。
近年、車両(連結された一連の車両を列車とも言う)の多様化が進んでおり、様々な種別の車両が運行されている。例えば、同じ車種(車体の種類)の車両であっても、時間帯によって異なる種別の車両として運行する場合がある。一例として、西武鉄道では、平日の通勤・通学時間帯や土休日に有料着座列車としてS-TRAIN(登録商標)や拝島ライナーを運行しており、これらの列車は、その他の時間帯では普通列車として運行される。また、複数の鉄道会社間で相互に相手会社の路線に電車を乗り入れる相互直通運転も進められているため、車両種別のバリエーションがさらに増える傾向にある。このような状況から、車両に関する制御や管理を行うシステム等において、車両種別を判別する技術が望まれている。
車両種別の判別に関連する技術として、例えば、特許文献1や2が知られている。特許文献1には、車両にバーコードを表示し、そのバーコードを読み取ることで、車種などの車両情報を検知することが記載されている。また、特許文献2には、車両の全体画像から車体の形状を抽出し、抽出された車体の形状から車種を判別することが記載されている。
なお、その他、ホームドア制御に関連する技術として、特許文献3~4や非特許文献1が知られている。
特開2015-174468号公報 特開2017-13725号公報 特開2017-218151号公報 特許6081549号公報
東京都交通局、"都営浅草線におけるホームドアの検証について"、[online]、平成29年11月10日、インターネット、<URL:https://www.kotsu.metro.tokyo.jp/pickup_information/news/pdf/2017/sub_p_20171110_h_02.pdf>
上記のような関連する技術によれば、車両に表示されたバーコードや車体の形状から、車種を判別することが可能となる。しかしながら、関連する技術では、バーコードを利用する場合、予め車両にバーコードを貼り付けなければならないため、判別したい全ての車両にバーコード表示のための変更が必要となる。また、関連する技術では、車体の形状から車両の情報を判別したとしても、車種程度しか把握することができないため、さらに詳細に車両種別及び運行種別を判別することは困難である。このため、関連する技術では、車両に変更を加えることなく車両種別及び運行種別を判別することができないという問題がある。
本開示は、このような課題に鑑み、車両に変更を加えることなく車両種別及び運行種別を判別することが可能な判別装置、判別方法、制御システム、学習モデル生成装置、学習モデル生成方法及びプログラムを提供することを目的とする。
本開示に係る判別装置は、車両を撮像した車両画像を取得する取得部と、前記取得した車両画像から行先表示部を含む行先表示画像を抽出する抽出部と、前記抽出した行先表示画像に基づいて、前記車両の車両種別及び運行種別を判別する判別部と、を備えるものである。
本開示に係る判別方法は、車両を撮像した車両画像を取得し、前記取得した車両画像から行先表示部を含む行先表示画像を抽出し、前記抽出した行先表示画像に基づいて、前記車両の車両種別及び運行種別を判別するものである。
本開示に係る判別プログラムは、車両を撮像した車両画像を取得し、前記取得した車両画像から行先表示部を含む行先表示画像を抽出し、前記抽出した行先表示画像に基づいて、前記車両の車両種別及び運行種別を判別する、処理をコンピュータに実行させるための判別プログラムである。
本開示に係る制御システムは、撮像装置と、判別装置と、ホームドア制御装置と、を備え、前記判別装置は、前記撮像装置が車両を撮像した車両画像を取得する取得部と、前記取得した車両画像から行先表示部を含む行先表示画像を抽出する抽出部と、前記抽出した行先表示画像に基づいて、前記車両の車両種別及び運行種別を判別する判別部と、前記車両種別及び運行種別の判別結果を前記ホームドア制御装置へ出力する出力部と、を備え、前記ホームドア制御装置は、プラットホーム上に設置されたホームドアの複数の扉のうち、前記出力された車両種別及び運行種別の判別結果に対応した扉の開閉を制御するものである。
本開示に係る学習モデル生成装置は、車両の行先表示部の画像又は行先表示部以外の画像を含む画像データを入力する入力層と、前記入力層に入力された画像データに重み係数を乗じて伝達する1乃至複数の層からなる中間層と、前記入力された画像データを行先表示部の画像又は行先表示部以外の画像の何れかとして出力する出力層とを含む学習モデルを生成する手段を有する学習モデル生成装置において、複数の画像データに行先表示部の画像又は行先表示部以外の画像であることを表す教師ラベルを付与した複数の教師データを作成する手段と、前記複数の教師データのうちの1の教師データを前記入力層に入力し、前記出力層から出力された結果が正しい結果となるよう前記重み係数の更新を繰り返す重み係数調整を行う手段と、前記複数の教師データの全てを用いて前記重み係数調整を実行する手段と、を有することを特徴とするものである。
本開示に係る学習モデル生成方法は、車両の行先表示部の画像又は行先表示部以外の画像を含む画像データを入力する入力層と、前記入力層に入力された画像データに重み係数を乗じて伝達する1乃至複数の層からなる中間層と、前記入力された画像データを行先表示部の画像又は行先表示部以外の画像の何れかとして出力する出力層とを含む学習モデルを生成する学習モデル生成装置が、複数の画像データに行先表示部の画像又は行先表示部以外の画像であることを表す教師ラベルを付与した複数の教師データを作成し、前記複数の教師データのうちの1の教師データを前記入力層に入力し、前記出力層から出力された結果が正しい結果となるよう前記重み係数の更新を繰り返す重み係数調整を行い、前記複数の教師データの全てを用いて前記重み係数調整を行うことを特徴とするものである。
本開示に係るプログラムは、車両の行先表示部の画像又は行先表示部以外の画像を含む画像データを入力する入力層と、前記入力層に入力された画像データに重み係数を乗じて伝達する1乃至複数の層からなる中間層と、前記入力された画像データを行先表示部の画像又は行先表示部以外の画像の何れかとして出力する出力層とを含む学習モデルを生成する手段を有する学習モデル生成装置において、複数の画像データに行先表示部の画像又は行先表示部以外の画像であることを表す教師ラベルを付与した複数の教師データを作成し、前記複数の教師データのうちの1の教師データを前記入力層に入力し、前記出力層から出力された結果が正しい結果となるよう前記重み係数の更新を繰り返す重み係数調整を行い、前記複数の教師データの全てを用いて前記重み係数調整を行うことを特徴とする学習モデル生成方法を前記学習モデル生成装置に実行させるプログラムである。
本開示に係る学習モデル生成装置は、車両の行先表示部の画像データを入力する入力層と、前記入力層に入力された画像データに重み係数を乗じて伝達する1乃至複数の層からなる中間層と、前記入力された画像データの車両の車両種別及び運行種別を出力する出力層とを有する学習モデルの生成する手段を有する学習モデル生成装置において、複数の画像データに行先表示部の画像毎に車両種別及び運行種別を表す教師ラベルを付与した複数の教師データを作成する手段と、前記複数の教師データのうちの1の教師データを前記入力層に入力し、前記出力層から出力された結果が正しい結果となるよう前記重み係数の更新を繰り返す重み係数調整を行う手段と、前記複数の教師データの全てを用いて前記重み係数調整を実行する手段と、を有することを特徴とするものである。
本開示に係る学習モデル生成方法は、車両の行先表示部の画像データを入力する入力層と、前記入力層に入力された画像データに重み係数を乗じて伝達する1乃至複数の層からなる中間層と、前記入力された画像データの車両の車両種別及び運行種別を出力する出力層とを有する学習モデルの生成する学習モデル生成装置が、複数の画像データに行先表示部の画像毎に車両種別及び運行種別を表す教師ラベルを付与した複数の教師データを作成し、前記複数の教師データのうちの1の教師データを前記入力層に入力し、前記出力層から出力された結果が正しい結果となるよう前記重み係数の更新を繰り返す重み係数調整を行い、前記複数の教師データの全てを用いて前記重み係数調整を行うことを特徴とするものである。
本開示に係るプログラムは、車両の行先表示部の画像データを入力する入力層と、前記入力層に入力された画像データに重み係数を乗じて伝達する1乃至複数の層からなる中間層と、前記入力された画像データの車両の車両種別及び運行種別を出力する出力層とを有する学習モデルの生成する学習モデル生成装置が、複数の画像データに行先表示部の画像毎に車両種別及び運行種別を表す教師ラベルを付与した複数の教師データを作成し、前記複数の教師データのうちの1の教師データを前記入力層に入力し、前記出力層から出力された結果が正しい結果となるよう前記重み係数の更新を繰り返す重み係数調整を行い、前記複数の教師データの全てを用いて前記重み係数調整を行うことを特徴とする学習モデル生成方法を前記学習モデル生成装置に実行させるプログラムである。
本開示によれば、車両に変更を加えることなく車両種別及び運行種別を判別することが可能な判別装置、判別方法、制御システム、学習モデル生成装置、学習モデル生成方法及びプログラムを提供することができる。
実施の形態に係る判別装置の概要を示す構成図である。 行先標の表示例を示す図である。 実施の形態1に係る判別システムの構成例を示す構成図である。 実施の形態1に係る判別装置の動作例を示すフローチャートである。 実施の形態1に係る車両の撮像動作を説明するための図である。 実施の形態1に係る車両画像群の例を示す図である。 実施の形態1に係る行先標領域切出し処理の詳細を示すフローチャートである。 実施の形態1に係る行先標領域切出し処理で処理する画像例を示す図である。 実施の形態1に係る行先標領域切出し処理で処理する画像例を示す図である。 実施の形態1に係る行先標領域切出し処理で処理する画像例を示す図である。 実施の形態1に係る行先標領域切出し処理で処理する画像例を示す図である。 実施の形態1に係る行先標領域切出し処理で処理する画像例を示す図である。 実施の形態1に係る行先標領域切出し処理で処理する画像例を示す図である。 実施の形態1に係る第1の分類処理を説明するための図である。 実施の形態1に係る第2の分類処理を説明するための図である。 実施の形態1に係る判別システムが判別する他の車両の例を示す図である。 実施の形態2に係る判別システムにおけるカメラの設置例を示す図である。 実施の形態2に係る判別装置の動作例を示すフローチャートである。 実施の形態2の課題を説明するための図である。 実施の形態2の課題を説明するための図である。 実施の形態2の課題となる画像の一例を示す図である。 実施の形態2の課題となる画像の一例を示す図である。 実施の形態3に係るホームドア制御システムの構成例を示す構成図である。 実施の形態3に係る判別装置のハードウェア構成例を示す構成図である。 実施の形態3に係るホームドア制御システムの動作の具体例を説明するための図である。 実施の形態3に係るホームドア制御システムの動作の具体例を説明するための図である。 実施の形態3の変形例1に係るホームドア制御システムの構成例を示す構成図である。 実施の形態3の変形例2に係るホームドア制御システムの構成例を示す構成図である。 実施の形態3の変形例3に係るホームドア制御システムの構成例を示す構成図である。 実施の形態4に係る行先標学習モデルを表す模式図である。 実施の形態4に係る車両種別学習モデルを表す模式図である。 実施の形態4に係る学習モデル生成装置の構成例を示すブロック図である。 実施の形態4に係る学習モデル生成方法を示すフローチャートである。
以下、図面を参照して実施の形態について説明する。各図面においては、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略される。
(実施の形態の概要)
図1は、実施の形態に係る判別装置の概要を示している。実施の形態に係る判別装置10は、車両画像から車両種別及び運行種別を判別する判別装置である。図1に示すように、判別装置10は、取得部11、抽出部12、判別部13を備えている。
取得部11は、車両を撮像した車両画像を取得する。抽出部12は、取得部11が取得した車両画像から行先表示部(行先標)を含む行先表示画像を抽出する。判別部13は、抽出部12が抽出した行先表示画像に基づいて、撮像した車両の車両種別及び運行種別を判別する。なお、車両種別及び運行種別とは、停車駅やサービスなどの違いによる車両の種類である。例えば特急、急行、通勤急行、快速急行、快速、通勤快速、準急、通勤準急、区間準急、普通(各駅停車)、拝島ライナー(有料着座列車)、Sトレイン(有料着座列車)、Fライナー(快速急行)、回送等である。
このように、実施の形態では、車両の行先表示部の画像から車両種別及び運行種別を判別するため、バーコードなど車両に変更を加えることなく、詳細な車両種別及び運行種別を判別することができる。例えば、図2に示すように、車両の行先標の表示は車両種別及び運行種別ごとに異なる。例えば、拝島ライナーであれば行先や拝島ライナー特有のマークが表示され、特急列車であれば行先や特急の文字が表示され、普通列車であれば行先や号車番号等の文字が表示される。実施の形態では、このような行先標の表示と車両種別及び運行種別との関係に着目し、行先標の画像に基づいて車両種別及び運行種別を判別する。これにより、例えば、同じ車体で時間帯等によって異なる種別で運行される場合(S-TRAIN、拝島ライナー等)やその他の様々な場合についても、正確に車両種別及び運行種別を判別することができる。
(実施の形態1)
次に、図面を参照して実施の形態1について説明する。図3は、本実施の形態に係る判別システム1の構成例を示している。図3に示すように、判別システム1は、判別装置100とカメラ200を備え、車両300を撮像した画像に基づいて車両種別及び運行種別を判別するシステムである。
判別システム1が判別した判別結果は、ホームドア制御や踏切制御、運行管理等に利用することができる。例えば、後述の実施の形態のように、ホームに入線する車両の車両種別及び運行種別を判別し、判別した車両種別及び運行種別に応じてホームドアの開閉位置を制御することができる。また、踏切を通過する車両の車両種別及び運行種別を判別し、判別した車両種別及び運行種別に応じて踏切警報機の鳴動のタイミングや期間を制御することができる。さらに、ホームに入線する車両の車両種別及び運行種別を判別し、判別結果をリアルタイムに運行情報に利用することができる。
図3に示すように、カメラ200は、所定の撮像位置に設置され、その設置位置の前を通過や停車する車両300を撮像する撮像装置である。例えば、カメラ200は、車両300の一側面に対し斜め上方に設置され、車両300の一側面上部に配置された行先標(行先表示器)301を含む撮像領域210を撮像する。本実施の形態では、カメラ200の前を移動する車両300に対して撮像を繰り返し、行先標301を含む車両の複数個所を撮像した複数の車両画像(車両画像群)を生成する。なお、行先標301を含む画像が撮像できれば、任意の方法で撮像してもよい。
また、図3に示すように、判別装置100は、記憶部101、画像取得部102、画像切出部103、第1の分類器104、画像選択部105、第2の分類器106、結果出力部107を備える。例えば、画像切出部103と第1の分類器104(及び画像選択部105)は、車両300を撮像した車両画像から行先標領域画像(行先表示画像)を抽出する抽出部であると言える。また、第2の分類器106は、抽出した行先標領域画像に基づいて、車両300の車両種別及び運行種別を判別する判別部であると言える。なお、各部(ブロック)の構成は一例であり、後述の方法(動作)が可能であれば、その他の各部で構成されてもよい。また、判別装置100は、例えば、プログラムを実行するパーソナルコンピュータやサーバ等のコンピュータ装置で実現されるが、1つの装置で実現してもよいし、複数の装置で実現してもよい。例えば、第1の分類器104や第2の分類器106を外部の装置としてもよい。
記憶部101は、判別装置100の動作(処理)に必要な情報(データ)を記憶する。例えば、記憶部101は、フラッシュメモリなどの不揮発性メモリやハードディスク装置等である。記憶部101は、画像取得部102が取得した車両画像や、画像切出部103が処理した画像等を記憶する。
画像取得部102は、カメラ200と通信可能に接続されており、カメラ200が撮像した車両300の車両画像を取得する。画像取得部102は、カメラ200の前を車両300が通過または停車するタイミングで撮像された、行先標301を含む車両300の複数の車両画像(1台の車両の車両画像群)をカメラ200から取得する。なお、予め撮像された車両300の車両画像を取得してもよい。
画像切出部103は、画像取得部102によって取得された複数の車両画像(車両画像群)に対し画像処理を行い、複数の車両画像から行先標301を含むと推定される領域の画像を切出す。画像切出部103は、複数の車両画像に基づいて切出された複数の画像を複数の「行先標候補領域画像」として出力する。画像切出部103は、車両画像からエッジ抽出処理によりエッジ画像を生成し、生成したエッジ画像に基づいて、行先標301を含む領域を探索し、探索した領域の画像を抽出する。例えば、エッジ画像における所定範囲のエッジ画素数に基づいて探索を行い、所定範囲のエッジ画素数が最も多い領域の画像を抽出する。
第1の分類器104は、画像切出部103によって切出された複数の行先標候補領域画像を、行先標と行先標以外との2つのクラスに分類する。第1の分類器104は、行先標の画像を学習した行先標学習モデル104aを有し、行先標学習モデル104aを参照することで、行先標候補領域画像を分類する。第1の分類器104は、予め様々な行先標の画像、および車両の行先標以外の箇所の画像にそれぞれ行先標、行先標以外のラベルを付与したデータを教師データとして、機械学習器に学習させることで行先標学習モデル104aを生成する。行先標学習モデル104aは、行先標/行先標以外と該当する画像とを関連付けたデータベースであるとも言える。なお、行先標学習モデル104aは、記憶部101に記憶されてもよいし、外部の装置に記憶されていてもよい。また、第1の分類器104は、行先標学習モデル104aにより、行先標候補領域画像を2つのクラスのいずれかに分類するとともに、分類した行先標候補領域画像にそのクラスに属する確率(確信度)である分類スコアを付与する。ここでは、行先標のクラスに分類された画像を、「行先標領域画像」とする。さらに、画像選択部105は、第1の分類器104によって行先標のクラスに分類された複数の行先標領域画像の中から、分類スコアに基づいて一つの画像を選択する。例えば、画像選択部105は、分類スコアが最も大きい画像を選択する。
第2の分類器106は、画像選択部105によって選択された最も分類スコアが大きい行先標領域画像を、複数の車両種別及び運行種別のクラスに分類する(車両種別及び運行種別を判別する)。第2の分類器106は、車両種別及び運行種別に関連付けられた行先標の画像を学習した車両種別学習モデル106aを有し、車両種別学習モデル106aを参照することで、行先標領域画像を各車両種別及び運行種別のクラスに分類する。第2の分類器106は、予め様々な行先標の画像に車両種別及び運行種別のラベルを付与したデータを教師データとして、機械学習器に学習させることで、車両種別学習モデル106aを生成する。車両種別学習モデル106aは、各車両種別及び運行種別と該当する画像とを関連付けたデータベースであるとも言える。なお、車両種別学習モデル106aは、記憶部101に記憶されてもよいし、外部の装置に記憶されていてもよい。第2の分類器106は、車両種別学習モデル106aにより、行先標領域画像を例えば8つの車両種別及び運行種別のクラスに分類する。また、第2の分類器106は、第1の分類器104と同様、分類結果(分類されたクラス)に分類スコアを付与する。例えば、第2の分類器106は、分類結果が複数ある場合、分類スコアに基づいて車両種別及び運行種別を判別してもよい。さらに、結果出力部107は、第2の分類器106による車両種別及び運行種別の分類結果を外部に出力する。
図4は、本実施の形態に係る判別装置100の動作(判別方法)を示している。図4に示すように、まず、判別装置100は、カメラ200が車両300を撮像した車両画像群を取得する(S101)。図5は、カメラ200による車両300の撮像例を示し、図6は、撮像された車両画像群の例を示している。図5に示すように、カメラ200は、進行方向に移動する車両300に対し所定間隔ごとに撮像領域210の撮像を繰り返し、車両300の側面全体の画像を生成する。この例では、行先標301が配置されている車両300の側面上部を撮像領域210としている。なお、行先標301を含む画像が撮像できれば、任意の範囲を撮像してもよく、例えば、車両300の側面全体でもよいし、車両300の側面中央や下部でもよい。例えば、車両300の通過を検知する検知センサを設け、画像取得部102は、検知センサが車両300を検知したことをトリガーに、図6のような一定時間間隔で撮像された車両1台分の複数の車両画像を含む車両画像群を取得する。
続いて、判別装置100は、カメラ200から取得された車両画像群に対し、行先標領域切出し処理を行う(S102)。画像切出部103は、図6に示したような車両画像群の各車両画像について行先標領域を推定し、推定された領域の画像を切り出す。ここでは、車両の行先標には文字やマークが明瞭に表示されるため、行先標部分の画像には他の部分よりも多数のエッジ画素が存在し、車両の行先標以外の部分の画像は平坦な領域が多くエッジ画素が少ないと仮定し、この仮定にしたがって、エッジ画素数に基づいて行先標が存在する領域を推定する。
図7は、S102における行先標領域切出し処理の詳細を示している。図7に示すように、まず、画像切出部103は、車両画像から探索範囲を切出す(S111)。例えば、図8に示す車両画像(カラー画像)が取得された場合、白枠で示された領域を探索範囲A0として、探索範囲A0内の画像を切出す。この例では、車両300における行先標301の位置が車両300の上部であるため、車両画像の上部を探索範囲A0に設定する。なお、行先標301の想定される位置に応じて、探索範囲A0の位置や大きさを任意に設定してもよい。行先標301の位置に合わせて探索範囲を設定することで、効率よく行先標の領域を切出すことができる。
続いて、画像切出部103は、切出した探索範囲の画像に対しグレースケール化を行い(S112)、さらに、グレースケール化した画像に対しノイズ除去を行う(S113)。図8の車両画像から切出した探索範囲A0内の画像に対し、グレースケール化処理及びノイズ除去処理を行うと、図9のようなグレースケール画像が得られる。
続いて、画像切出部103は、ノイズを除去した画像に対しエッジ抽出を行い(S114)、さらに、エッジ抽出した画像に対し2値化を行う(S115)。図9のグレースケール画像に対し、エッジ抽出処理及び2値化処理を行うと、図10のような探索範囲A0の2値化画像(エッジ画像)が得られる。なお、その他の画像処理によって、車両画像から2値化画像を生成してもよい。
続いて、画像切出部103は、生成された2値化画像から行先標領域を探索する。具体的には、画像切出部103は、2値化画像を水平(横)方向に水平探索し(S116)、エッジが多く発生している領域を切出す。図11に示すように、水平探索処理では、2値化画像に水平探索ウインドウW1を設定し、水平探索ウインドウW1の位置を2値化画像の左端から右端へ(探索範囲A0の中で)水平方向にずらしつつ、各位置での水平探索ウインドウW1内のエッジ画素(図中の白画素)の数をカウントする。例えば、水平探索ウインドウW1の横サイズは、行先標301の横サイズに若干のマージンを持たせたサイズとし、水平探索ウインドウW1の縦サイズは探索範囲A0と同サイズとする。さらに、画像切出部103は、水平方向の各位置で最もエッジ画素が多い水平探索ウインドウW1内の2値化画像を切出す。
続いて、画像切出部103は、水平探索された2値化画像を垂直(縦)方向に垂直探索する(S117)。図12に示すように、垂直探索では、水平探索ウインドウW1の位置で切り出された2値化画像に対して、垂直探索ウインドウW2を設定し、垂直探索ウインドウW2の位置を2値化画像(探索範囲A0の中で)の上端から下端へ垂直方向にずらしつつ、各位置での垂直探索ウインドウW2内のエッジ画素の数をカウントする。例えば、垂直探索ウインドウW2の横サイズは、垂直探索範囲(水平探索ウインドウW1)と同サイズとし、縦サイズは行先標301の縦サイズに若干のマージンを持たせたサイズとする。
続いて、画像切出部103は、垂直方向の各位置でエッジ画素が最も多い垂直探索ウインドウW2の領域を行先標領域と決定し、決定した位置の垂直探索ウインドウW2内の領域における車両画像を、行先標領域候補画像として切出す(S118)。図13に示すように、水平方向及垂直方向の探索結果である垂直探索ウインドウW2の領域の画像を車両画像から切出し、行先標候補領域画像とする。
続いて、行先標領域切出し処理が終わると、図4に示すように、判別装置100は、行先標領域を切出した行先標候補領域画像を第1の分類器104により分類する(S103)。判別装置100は、車両画像群の全ての車両画像に対し、行先標切出し処理(S102)及び第1の分類器104による第1の分類処理(S103)を繰り返す(S104)。なお、全ての車両画像のそれぞれに対し、行先標切出し処理(S102)と第1の分類処理(S103)を順次行ってもよいし、全ての車両画像に対し行先標切出し処理(S102)を行った後、全ての切出した画像に対し第1の分類処理(S103)を行ってもよい。
第1の分類処理では、第1の分類器104は、行先標切出し処理によって得られた複数の行先標候補領域画像を入力として受け取る。図14に示すように、第1の分類器104は、行先標学習モデル104aに基づいて、入力された行先標候補領域画像を行先標のクラスと行先標以外のクラスに分類する。第1の分類器104は、全ての行先標候補領域画像を2つのクラスに分類する。また、第1の分類器104は、分類した画像に対し分類スコアを付与する。ここでは、行先標以外のクラスに分類された画像は除外し、行先標のクラスに分類された画像を行先標領域画像とする。
続いて、判別装置100は、分類スコアが閾値以上の行先標領域画像の有無を判定し(S105)、分類スコアが閾値以上の画像がない場合、行先標なしを出力する(S106)。画像選択部105は、第1の分類処理により全ての行先標領域候補画像の分類が終了すると、行先標のクラスに分類された複数の行先標領域画像の分類スコアと閾値とを比較する。全ての行先標領域画像の分類スコアが閾値よりも小さい場合や、車両画像から行先標領域画像が得られない場合、結果出力部107は、行先標なしを示す信号を出力する。
なお、分類スコアを判定する閾値は任意に設定可能である。また、S105を省略し、分類スコアに関わらず、第2の分類器106による第2の分類処理を行ってもよい。分類スコアが閾値以上の画像を第2の分類器106により分類することで、車両種別及び運行種別の判別精度を向上することができる。
S105、分類スコアが閾値以上の画像があると判定された場合、判別装置100は、分類スコアに基づいて行先標領域画像を選択する(S107)。画像選択部105は、行先標領域画像の分類スコアが閾値以上の場合、行先標のクラスに分類された複数の行先標領域画像の中から、分類スコアが最も大きい画像を選択する。図14の例では、3つの行先標領域画像の分類スコアが“0.8”、“0.9”、“0.7”であるため、最も大きい“0.9”の分類スコアの行先標領域画像を選択する。
続いて、判別装置100は、選択した行先標領域画像を第2の分類器106により分類し(S108)、その分類結果を出力する(S109)。第2の分類器106は、第1の分類器104の処理の結果、分類スコアが最も大きい行先標領域画像に対して車両種別及び運行種別の判定を行う。図15に示すように、第2の分類処理では、第2の分類器106は、車両種別学習モデル106aに基づいて、分類スコアが最も大きい行先標領域画像を、行先標に関連付けられた車両種別及び運行種別のクラスに分類する。また、第2の分類器106は、分類したクラスに対し分類スコアを付与する。なお、第1の分類処理による分類スコアが最も大きい行先標領域画像を選択せずに、第1の分類処理により分類された全ての行先標領域画像を第2の分類処理により車両種別及び運行種別に分類してもよい。この場合、第2の分類処理による分類スコアが最も大きい車両種別及び運行種別のクラスを判別結果としてもよい。
例えば、第2の分類器106は、行先標領域画像を8クラスの車両種別及び運行種別に分類する。結果出力部107は、分類された車両種別及び運行種別のクラスに対応するビットの信号を、車両種別及び運行種別の分類結果として出力する。図15の例では、車両種別及び運行種別の8クラスに対応して、拝島ライナー、Sトレイン、観光列車、特急、回送、臨時、試運転、在来車を示すビットの信号を出力する。
以上のように、本実施の形態では、車両の行先標領域の画像に基づいて車両種別及び運行種別を判別することで、車両に変更を加えることなく、精度よく車両種別及び運行種別を判別することができる。行先標は、車両種別及び運行種別ごとに様々な表示があるため、行先標学習モデルと車両種別学習モデルを利用することで、どのような行先標と車両種別及び運行種別の組み合わせにも対応することができる。
なお、行先標に限らず、車両におけるその他の部分の画像をもとに車両種別及び運行種別を判別してもよい。例えば、図16に示すように、車両300の側面上部の行先標301の他、車両300の側面後方の車体マーク302、車両300の側面下部の車体形式番号303を撮像し、行先標と同様に、それらの画像に基づいて車両種別及び運行種別を判別してもよい。すなわち、判別装置100は、取得した車両画像から行先表示部を含む行先表示画像、車体マークを含む車体マーク表示画像及び車両形式番号を含む車両形式番号表示画像を抽出し、抽出した行先表示画像、車体マーク表示画像及び車両形式番号表示画像に基づいて、車両の車両種別及び運行種別を判別してもよい。行先標、車体マーク(表記やロゴ)、車両形式番号のいずれかの画像から車両種別及び運行種別を判別してもよいし、行先標、車体マーク、車両形式番号の任意に選択されるいくつかの画像の組み合わせから車両種別及び運行種別を判別してもよい。複数の種類の画像を考慮することで、より精度よく様々な車両種別及び運行種別を判別することができる。例えば、行先標の画像に基づいて車両種別及び運行種別を判別したスコア、車体マークの画像に基づいて車両種別及び運行種別を判別したスコア、車両形式番号の画像に基づいて車両種別及び運行種別を判別したスコアのうち、最も大きいスコアの判別結果を選択してもよい。
(実施の形態2)
次に、図面を参照して実施の形態2について説明する。本実施の形態は、実施の形態1の判別システムにおいて、さらに複数のカメラを備える例である。カメラ以外の構成は、実施の形態1と同様である。
図17は、本実施の形態に係る判別システム1におけるカメラ200の設置例を示している。図17に示すように、本実施の形態では、2台のカメラ200a及び200bを備える。例えば、カメラ200a及び200bは、垂直方向に並んで配置され、それぞれ設置角度が異なる。すなわち、カメラ200a及び200bは、異なる撮像角度(撮像方向)で、車両300の行先標301を撮像する。なお、2台のカメラに限らず、さらに複数のカメラを備えてもよい。また、垂直方向に限らず、水平方向に複数のカメラを並べてもよい。
図18は、本実施の形態に係る判別装置100の動作(判別方法)を示している。本実施の形態では、2台のカメラ200a及び200bが撮像した車両画像に対し、それぞれ実施の形態1と同様に車両種別及び運行種別の判別処理を行い、いずれかの判別結果を選択して出力する。
図18に示すように、S201~S208は、カメラ200a(第1のカメラ)の車両画像に対する処理であり、S211~S218は、カメラ200b(第2のカメラ)の車両画像に対する処理であり、それぞれ図4のS101~S108と同様の処理である。
すなわち、カメラ200a及び200bが、それぞれ同じタイミングで同じ車両300を撮像する。判別装置100は、カメラ200aの車両画像群(第1の車両画像群)を取得し、実施の形態1と同様、第1の分類処理により車両画像群を行先標領域画像(第1の行先標領域画像)に分類し、第2の分類処理により行先標領域画像を車両種別及び運行種別に分類する(S201~S208)。また、判別装置100は、カメラ200bの車両画像群(第2の車両画像群)を取得し、実施の形態1と同様、第1の分類処理により車両画像群を行先標領域画像(第2の行先標領域画像)に分類し、第2の分類処理により行先標領域画像を車両種別及び運行種別に分類する(S211~S218)。さらに、結果出力部107は、S208で得られたカメラ200aの画像による分類結果とS218で得られたカメラ200bの画像による分類結果のいずれかを選択する。例えば、結果出力部107は、S208で得られたカメラ200aの画像による分類結果の分類スコアとS218で得られたカメラ200bの画像による分類結果の分類スコアを比較し、分類スコアが大きい方の分類結果を選択して出力する(S220)。
このように、複数のカメラの画像を利用することで、撮像の際に生じる反射光の問題を抑えることができる。すなわち、季節によって太陽光が直接カメラに入射したり、ビルの窓に反射した反射光がカメラに入射する場合がある。例えば、図19に示すように、朝夕は太陽の高度が低くなる為、車両の側面に直接太陽光が当たる場合があり、また、図20に示すように、ビルの窓等に反射して思わぬ方向から太陽光が車両の側面に当たる場合もある。カメラの撮像角度と太陽光や反射光が同じ角度になると、車両自体が光っているように見えるため、カメラで撮像した行先標の画像に白飛びが生じ、行先標や車両種別及び運行種別を認識できない恐れがある。例えば、図21は、朝日による直射日光が車両の側面に当たった場合の車両画像の例であり、図22は、夕日による直射日光が車両の側面に当たった場合の車両画像の例である。図21及び図22のように、車両の側面に太陽光が当たると、撮像された画像では車両全体が光ってしまい行先標の文字が判別できなくなってしまう。
そこで、本実施の形態では、角度を変えた2台のカメラで同時に撮像することにより、太陽光や反射光があっても、いずれかのカメラで撮像された太陽光や反射光の影響を受けない画像を用いて車両種別及び運行種別を判別するよう工夫した。これにより、画像の白飛びを回避し、精度よく車両種別及び運行種別を判別することができる。
(実施の形態3)
次に、図面を参照して実施の形態3について説明する。本実施の形態は、実施の形態1や2の判別システムを、ホームドア制御システムに適用した例である。以下、ホームドア制御に関連する技術を検討し、その課題を述べた上で、本実施の形態に係るホームドア制御システムについて説明する。
<ホームドア制御に関連する技術の検討>
ホームドア制御に関連する技術として、上記特許文献2~4、非特許文献1について検討する。特許文献3には、ホームドア制御装置において、列車が所定の停止範囲において停止状態にあると判断されたとき、プラットホームに設置されたホームドア装置に設けられた扉部を開動作させ、かつ、車両扉が閉動作中又は閉鎖状態にあると判断されたとき、ホームドア装置の扉部を閉動作させることが記載されている。しかしながら、この技術では、同じ車種の車両であっても行先によって車両扉の開閉位置が異なる運用の場合、ホームドアの開閉位置を適切に制御することができない。
また、特許文献4には、ホームドア制御装置において、車両の長さに基づいて車両の種類を判別し、判別された車両の種類に基づいて、プラットホームに設置されたホームドア装置に設けられた扉部を、判別された車両に設けられた車両扉に対応させて開動作させることが記載されている。しかしながら、この技術では、特許文献3と同様、同じ車種の車両であっても行先により乗降扉の開閉位置が異なる運用の場合、ホームドアの開閉位置を適切に制御することができない。
さらに、非特許文献1には、ホームドアシステムにおいて、QRコード(登録商標)を列車の乗降扉に貼付し、このQRコードをプラットホーム側のセンサで読み取ることで、ホームドアの開閉位置を連動させることが記載されている。しかしながら、この技術では、列車の外側に人工的なマークを表示する必要があり、デザイン性やコストの観点で課題がある。また、本システムは固定情報を読み取る機能しかないため、行先変更や回送、臨時の運行となった場合には、QRコードではこれらの変更に対応することができない。また、複数の車両を連結した場合にもQRコードのない情報が輻輳してしまい、正確な固定情報を読むことが難しい。
<ホームドア制御に関連する技術の課題>
第1の課題は、列車の車両種別及び運行種別により乗降扉の数及び位置が異なるものの、プラットホームには全ての列車に対応するようにホームドアが配置されているため、それぞれの列車の乗降扉の開閉位置に合わせてホームドアを開閉する必要があることである。
第2の課題は、天候や、車両及び保線の問題、人災等の影響により運行ダイヤグラムに変更が生じて、列車が時刻表通りに入線しない場合や入線予定の列車の変更や運休の場合に、それらの変更に合わせてホームドアの開閉を制御できないことである。運行情報によりホームドアの開閉を制御することも可能であるが、運行情報がダイヤグラムの乱れに対応しきれていない場合がある。
第3の課題は、同じ車種で同一寸法の列車であっても車両種別及び運行種別(行先等)によって運行が変わり、その結果列車の乗降扉の開閉位置が変わる場合に、その変更に合わせてホームドアの開閉を制御できないことである。
第4の課題は、ホームドアの開閉操作を誤る可能性があり、また、手動による誤ったホームドアの開閉操作によって、乗降時間や運行時間に損失が発生しうることである。すなわち、人の目と判断による認知で操作を行うと、ヒューマンエラー発生の可能性がある。見間違いや、疲労による不注意、認識は合っていても操作を誤るなどのはずみで誤操作してしまう可能性が皆無とは言い切れない。
第5の課題は、ホームドアの開閉には車掌の操作が必要であるため、車掌の運行に対する安全確認の時間が増加しており、また、列車の乗降扉の開閉とホームドアの開閉の時間にばらつきが生じることである。すなわち、車掌は列車の乗降扉の開閉前後の安全確認に加えて、搭乗列車の車両種別及び運行種別(行先等)に合ったホームドアの開閉位置の判断をしてホームドアの開閉を行う必要があり、ホームドアが無い場合に対して限られた時間に実施すべき業務が増えている。また、車掌は列車の車両種別及び運行種別(行先等)に合ったホームドアの開閉位置の判断をして、ホームドアの開閉を手動で操作しているため、列車の乗降扉の開閉とホームドアの開閉の時間にばらつきが生じる。
そこで、本実施の形態では、実施の形態1や2の判別システムを用いることで、行先標の表示内容から車両種別及び運行種別を判別し、判別された車両種別及び運行種別に対応する開閉位置でホームドアの開閉制御を可能とする。具体的には、列車の複数の乗降扉のうち、開閉する乗降扉の位置に対応したホームドアを開閉させるための制御信号として車両種別信号(車両種別及び運行種別を識別する信号)を出力することにより、ホームドア開閉位置制御の柔軟な対応性と信頼性向上、高速化による顧客満足度の向上、セキュリティ向上と車掌の負担軽減を図る。
<実施の形態3に係るシステムの構成>
図23は、本実施の形態に係るホームドア制御システムの構成及び設置例を示している。図23に示すように、ホームドア制御システム400は、判別装置401、列車入線検知センサ402、カメラ403、ホームドア404、ホームドア制御部405、機器監視装置406を備える。判別装置401は、実施の形態1及び2の判別装置100と同様の機能を有し、カメラ403は、実施の形態1及び2のカメラ200と同様である。カメラ403は、列車600、特に先頭の車両601の行先標611を撮像する。なお、先頭の車両601以外の車両の行先標を撮像し、車両種別及び運行種別を判別してもよい。
判別装置401、ホームドア404及びホームドア制御部405は、プラットホーム上の線路側端部に設置されている。列車入線検知センサ402及びカメラ403は、プラットホームの上方に設置されている。例えば、列車入線検知センサ402は、先頭の車両601の停車位置の近くに設置され、車両601がホームに入線したこと及び停車していることを検知する。カメラ403は、列車入線検知センサ402よりも、後方の車両側に設置され、列車入線検知センサ402が車両601を検知する前に車両601(1台分)を撮像する。ホームドア404を制御するホームドア制御部405の近くに判別装置401の収容筐体を設置し、判別装置401が車両601の行先標611に基づいて判別した車両種別及び運行種別をホームドア制御部405へ通知する。
判別装置401と列車入線検知センサ402の間は、列車入線検知センサ用ケーブル501を介して接続されている。判別装置401とカメラ403の間は、カメラ用ケーブル502を介して接続されている。判別装置401とホームドア制御部405の間は、ホームドア接続ケーブル503を介して接続されている。判別装置401と機器監視装置406の間は、機器監視装置接続ケーブル504及び機器監視装置通信機器505を介して接続されている。機器監視装置接続ケーブル504は、光ファイバ又はLAN(Local Area Network)ケーブルを使用する。機器監視装置通信機器505は、機器監視装置406が判別装置401と通信を行うための通信機器である。
列車入線検知センサ402は、列車600がホームに入線したことを検知するセンサである。例えば、列車入線検知センサ402は、レーザセンサや赤外線センサである。列車入線検知センサ402の前を列車600、特に先頭の車両601が通過すると、そのタイミングで接点情報(検知信号)を判別装置401へ出力する。
ホームドア制御部(ホームドア制御装置)405は、プラットホーム上に設置されたホームドア404の複数の開閉扉のうち、判別装置401から出力された車両種別及び運行種別の判別結果に対応した開閉扉の開閉を制御する。この例では、ホームドア404に6つの開閉扉D1~D6が配置されている。ホームドア制御部405は、判別装置401からの車両種別信号に応じて、ホームドア404の開閉扉D1~D6の開閉を制御する。ホームドア制御部405は、例えば、車両種別及び運行種別と開閉制御するホームドアの開閉扉(位置)とを関連付けた制御テーブルを有し、判別装置401から車両種別信号が入力されると、制御テーブルに基づき、車両種別及び運行種別(車両が開閉する扉)に合わせたホームドア404の開閉扉の開閉を制御する。
機器監視装置406は、パーソナルコンピュータ等のコンピュータ装置であり、判別装置401の各部の状態を監視する。機器監視装置406は、駅務室や信号所等の有人の場所に設置して、装置にトラブルが発生した場合に表示し、駅職員に通知をする。機器監視装置406は、例えば、1台でその駅の全ホームに設置された装置を監視することができる。
<実施の形態3に係る判別装置の構成>
図24は、本実施の形態に係る判別装置401のハードウェア構成例を示している。本実施の形態に係る判別装置401は、実施の形態1及び2と同様に車両種別及び運行種別を判別する装置であるとともに、ホームドア開閉位置制御信号自動出力装置であるとも言える。また、実施の形態1及び2と同様、行先標に限らず、車体マーク(表記やロゴ)や車両形式番号の画像から車両種別及び運行種別を判別してもよい。
図24に示すように、判別装置401は、制御用コンピュータ411、PoE(Power over Ethernet(登録商標))ハブ412、接点入出力装置413、電源装置414を備える。制御用コンピュータ411、接点入出力装置413、PoEハブ412及び電源装置414は、ホームドア404と同等の形をした収容筐体に収容される。例えば、電源装置414は、AC100Vの電源506を受電し、判別装置401内の各装置や列車入線検知センサ402にDC24Vの電力を供給する。
PoEハブ412は、カメラ403と制御用コンピュータ411の間を接続し、また、機器監視装置406に併設された機器監視装置通信機器505とも接続される。PoEハブ412は、カメラ403に電源を供給する機能も併せ持つ。PoEハブ412は、カメラ403とカメラ用ケーブル502により接続され、カメラ用ケーブル502を介して、カメラの画像やシャッター情報を入出力するとともに、電源の供給を行う。また、PoEハブ412は、機器監視装置406と機器監視装置接続ケーブル504により接続され、機器監視装置接続ケーブル504を介して、監視情報等を入出力する。
接点入出力装置413は、列車入線検知センサ402と制御用コンピュータ411の間を接続し、また、ホームドア制御部405と制御用コンピュータ411の間を接続する。列車入線検知センサ402が列車600を検知すると、接点入出力装置413は、列車入線検知センサ用ケーブル501を介して列車入線検知センサ402から接点情報を受け付け、制御用コンピュータ411へ列車600が通過したことを通知する。接点入出力装置413は、制御用コンピュータ411が車両種別信号を出力すると、車両種別信号を接点信号に変換し、変換した接点信号をホームドア接続ケーブル503を介してホームドア制御部405に通知する。
制御用コンピュータ411は、実施の形態1及び2の判別装置100の機能を実現する制御部である。制御用コンピュータ411は、実施の形態1のように1台のカメラ403により撮像された画像を取得してもよいし、実施の形態2のように複数台のカメラ403により撮像された画像を取得してもよい。カメラ403は、静止画を常に撮像しており、制御用コンピュータ411は、列車入線検知センサ402からの接点情報を受けると、それまでに撮像された1車両分の画像を取り込み、その中から行先標611を含む画像を選択し、行先標611に表示される情報を読み取る。実施の形態1及び2と同様、画像の選択、行先標の読み取りには人工知能(機械学習)技術を用いており、歪んだ画像や、列車の速度によってぶれた画像も認識することができる。読み取った画像から行先標611を切出し、入線してきた列車600の種別を判別する。
なお、所定の速度以下まで減速しないと行先表示を行わない車両もあるため、本実施の形態のように、列車入線検知センサ402が列車600(車両601)を検知したタイミング、すなわち、列車600が入線して停車する直前に車両種別及び運行種別を判別することが好ましい。一方、列車600の種別の通知は、ホームドア制御部405の処理時間を考慮して数秒前に種別を通知する必要がある。これに制御用コンピュータ411の処理時間を加算して、列車600の画像を取得するタイミングが決まる。そのタイミングで列車600の先頭の車両601の行先標611の画像が撮像できる位置を割り出して、列車入線検知センサ402とカメラ403を設置する。これにより、列車が停止する前(例えば停止する2秒前)までにホームドア制御部405に種別を通知し、列車が停止した時に確実にホームドアを制御することができる。
<具体例1>
図25は、本実施の形態に係る判別装置401が設置されたホームに、特急列車など、普通列車とドア数の異なる列車600が到着した例を示す。判別装置401は、車両601の行先標611から車両種別及び運行種別(例えば特急列車)を判別し、判別した車両種別及び運行種別をホームドア制御部405に通知すると、ホームドア制御部405は、通知された車両種別及び運行種別に基づいて開閉扉D3及びD6のみを開くよう制御する。これにより、列車600が停車した時、列車600の乗降扉に対応したホームドア404の開閉扉D3及びD6のみを開閉し、他の不要な開閉扉D1、D2、D4、D5を閉じたままにすることができる。
<具体例2>
図26は、本実施の形態に係る判別装置401が設置されたホームに、一般車両を特急として運行する列車600が到着した例を示す。判別装置401は、車両601の行先標611から車両種別及び運行種別(例えば有料着座列車)を判別し、判別した車両種別及び運行種別をホームドア制御部405に通知すると、ホームドア制御部405は、通知された車両種別及び運行種別に基づいて開閉扉D1及びD4のみを開くよう制御する。これにより、列車600が停車した時、列車600の乗降扉のうち開閉される乗降扉に対応したホームドア404の開閉扉D1及びD4のみを開閉し、他の不要な開閉扉D2、D3、D5、D6を閉じたままにすることができる。
<変形例1>
図27は、本実施の形態の変形例1として、列車600の先頭の車両601の前面の行先標612を撮像する位置にカメラ403を配置した例である。列車600(車両601)が列車入線検知センサ402の前を横切ったタイミングで、車両601の前面の行先標612の画像を取得し、取得した行先標612の画像に基づいて車両種別及び運行種別を判別する。なお、車両601の行先標612に限らず、実施の形態1及び2と同様、車両601の前面の表記やロゴ等を撮像し、表記やロゴ等の画像に基づいて車両種別及び運行種別を判別してもよい。例えば、車両601の側面の行先標611と車両601の前面の行先標612とを撮像し、行先標611の画像と行先標612の画像とに基づいて車両種別及び運行種別を判別してもよい。この場合、スコアが大きい方の判別結果を選択してもよい。
<変形例2>
図28は、本実施の形態の変形例2として、ホームの発車標407を撮像する位置にカメラ403を配置した例である。列車600(車両601)が列車入線検知センサ402の前を横切ったタイミングで、発車標407の画像を取得し、実施の形態1及び2と同様、取得した発車標407の画像に基づいて車両種別及び運行種別を判別する。例えば、車両601の行先標611(または行先標611)と発車標407とを撮像し、行先標611の画像と発車標407の画像とに基づいて車両種別及び運行種別を判別してもよい。この場合、スコアが大きい方の判別結果を選択してもよい。
<変形例3>
図29は、本実施の形態の変形例3として、列車入線検知センサ402の代わりに、ホームドア404が予め有する在線検知センサ408等の外部機器から、列車入線のタイミング信号を受信する例である。列車600(車両601)が入線すると、在線検知センサ408が入線を検知し、ホームドア接続ケーブル503を経由して、本実施の形態に係る判別装置401に信号が送られ、そのタイミングで列車600の画像を取得してもよい。ホームドアに予め設けられている在線検知センサを使用することで、新たに列車入線検知センサを設置することなく、本実施の形態のホームドア制御システムを実現することができる。
<実施の形態3の効果>
列車が実際に開閉する乗降扉の位置は車両種別及び運行種別(例えば行先)毎に異なるため、ホームドアの開閉制御では、入線してきた列車の車両種別及び運行種別に合わせて都度開閉位置を正しく制御するがある。人間による開閉操作はヒューマンエラー発生の可能性を含むため、自動化が望ましいが、列車の運行には遅延、運休、ダイヤ変更などの変動要因があり、時間や順番などの固定した運行を前提とした制御ではこれらの変化に対応することができない。
そこで、本実施の形態では、上記のように実施の形態1や2の判別システムを適用することで、ホームに停車する前の列車の行先標等から車両種別及び運行種別を判別し、車両種別及び運行種別に対応した位置のホームドアの開閉扉を制御可能とした。これにより、常に全ての位置のホームドア(開閉扉)を同時に開閉するのではなく、車両種別及び運行種別によって開閉しないホームドアと開閉するホームドアを区別し、列車の乗降扉の開閉位置に対応したホームドアを開閉することができる。本実施の形態の効果を整理すると、以下の通りである。
第1の効果は、列車の車両種別及び運行種別(行先等)を自動的の認識することにより、列車の乗降扉の位置に合わせたホームドアの扉を選択して開けることが可能になることである。
第2の効果は、列車の運行ダイヤグラムに変更が生じた場合でも、入線してくる列車の車両種別及び運行種別(行先等)を確実に識別することができることである。
第3の効果は、列車車種が同じで同一寸法の列車であっても車両種別及び運行種別(行先等)の違いを確実に認識することができることである。
第4の効果は、ヒューマンエラーによるホームドアの開閉遅延や開閉の誤操作や失念を回避し、列車運行の無駄を省き、顧客満足度を向上させる効果がある。その理由は、列車の行先標の画像認識による車両種別及び運行種別(行先等)の自動判断により、運行状況に依存しないで列車の車両種別及び運行種別に合致したホームドアの開閉位置を自動的に決定しホームドアを開閉する信号を出力するためである。
第5の効果は、車掌の業務中にホームドア操作を行う必要がなくなることで今まで通りに安全確認の時間を確保できる点である。その理由は、列車の行先標の画像認識による車両種別及び運行種別(行先等)の自動判断により、車両に合致したホームドアの開閉位置を自動的に決定し、車掌の操作を必要とすることなくホームドアを開閉する信号を出力するためである。
さらに、本実施の形態の効果について説明する。優等列車通過駅に優等列車が臨時停車した場合等、本来ホームドアが開扉すべきではない駅については、通常、停止位置を数メートル変更することで、ホームドアシステムが車停車を検知しないようにすることで対策がとられている。しかしながら、ホームの両端部に踏切設備がある場合には、停止位置を変更して停止することができず、また、事故時の出発抑止等の状態では、踏切を開けるために確実にホームと同位置に止めることが求められる。その場合、本来停車する列車でないためにホームドアが開いてはならない。また、8両ホームに10両編成の列車が定位置に停止した場合、車掌がホームドア操作盤に降車することができない等の問題が発生する。このため、本実施の形態に係るシステムを用いて急緩行種別を判断し、不要なホームドアの開閉動作を抑止することで、これらの状況における問題を解決することができる。
(実施の形態4)
次に、図面を参照して実施の形態4について説明する。本実施の形態は、実施の形態1や2の判別システムにおける行先標学習モデル104a及び車両種別学習モデル106a並びにその生成方法の例である。
図30は、図3の行先標学習モデル104aの模式図であり、図31は、図3の車両種別学習モデル106aの模式図である。まず、行先標学習モデル104aについて、図30を参照しながら説明する。行先標学習モデル104aは、機械学習の学習モデルであり、例えば、ニューラルネットワークによって構成される。行先標学習モデル104aは、入力層71、複数の中間層72及び出力層73を有する。図30には、中間層72の層の数が2である例が示されているが、中間層72の層の数は1又は3以上であってもよい。
入力層71及び中間層72には、夫々一又は複数のノードが存在し、出力層73には、行先標と行先標以外の2つのノードが存在する。各層のノードは、前後の層に存在するノードと一方向に所望の重み及びバイアスで結合されている。入力層71のノードの数と同数の成分を有するベクトルが、行先標学習モデル104aの入力データとして入力される。行先標学習モデル104aの入力は画像データ(車両の行先標又は行先標以外の画像の画像データ)である。画像データは、例えば、画像にエッジ抽出などの処理を行い、画像の変換を行い、得られたものを特徴量とよび、数値で表される。なお、画像をブロック状の小領域に分割し、各ブロックから得られる特徴量をまとめ、画像そのものではなく、この特徴量を画像データとして入力層71に入力してもよい。
入力層71の各ノードに入力されたデータは、最初の中間層72の第1層に入力される。この中間層72の第1層において、ニューロンのパラメータとしての重みやバイアスを含む伝達関数を用いて出力が算出される。伝達関数は、例えばReLu関数(Rectified Linear Unit function)等である。算出された値が次の層に入力される。以下同様にして、出力層73の出力が求められるまで次々と後の層に伝達される。中間層72は、入力層71に入力された画像データに重み係数を乗じて伝達する層である。出力層73は、入力された画像データを行先標(行先標のクラス)の画像又は行先標以外(行先標以外のクラス)の画像の何れかとして出力する。
次に、図30、図32及び図33を参照して学習モデル生成装置900の構成及び行先標学習モデル104aの生成方法について説明する。図32は、学習モデル生成装置の要部構成を示すブロック図である。学習モデル生成装置900は、入力部903、操作部904、記憶部901及び制御部902を有し、これらは、内部バス905に接続されている。
記憶部901には、学習用画像911、教師データ912、学習モデル913、コンピュータプログラム914が記憶される。例えば、制御部902は、生成部921、調整部922、実行部923を有する。生成部921は、複数の画像データに行先標の画像又は行先標以外の画像であることを表す教師ラベルを付与した複数の教師データを作成する。調整部922は、複数の教師データのうちの1の教師データを入力層71に入力し、出力層73から出力された結果が正しい結果となるよう重み係数の更新を繰り返す重み係数調整を行う。実行部923は、複数の教師データの全てを用いて重み係数調整を実行する。
図33は、本実施の形態に係る学習モデル生成方法を示している。図33に示すように、まず、制御部902は、入力部903から入力され記憶部901に記憶された学習用画像911である行先標画像、行先標以外の画像を選択する(S301)。そして、制御部902は、行先標画像、行先標以外の画像それぞれに教師ラベルを付与(選択)する(S302)。教師ラベルは、例えば、行先標なら1、行先標以外なら0とする。一般的には、画像ファイル名と教師ラベルの組のテキストファイルが記憶部901に記憶される。
続いて制御部902は、教師ラベルが付与された画像にエッジ抽出などの処理を行い、画像の変換を行い、特徴量を抽出する(S303)。この特徴量は、数値で表される。例えば、画像をブロック状の小領域に分割し、各ブロックから得られる特徴量をまとめる。生成部921は、付与した教師ラベルと抽出した特徴量を含む教師データ912を生成する。
続いて制御部902は、記憶部901に記憶されている学習モデル913(図30の入力層71)に教師データ912(特徴量と教師ラベル)を入力する(S304)。そして、制御部902は、学習モデル913の入力層71から中間層72の各層間において、特徴量の各値に重み係数をかけて出力層73から出力されたデータ(分類結果)を取得し(S305)、その分類結果が期待どおりか判定する(S306)。図33のS306では、例えば、重みづけした特徴量の合計が100以上なら行先標、100未満なら行先標以外と判定する。
続いて制御部902(調整部922)は、図33のS304で入力した教師データとS306の判定結果を対比し、S306の判定結果が正しくない場合は、図30の入力層71から中間層72における各層間の重み係数(パラメータ)を更新し(S309)、S304の処理へ戻る(S307)。そして制御部902(実行部923)は、すべての学習用画像911に対して、図30の出力層73から出力されるデータが正しい結果となるまで(または誤りの数が所定の数以下になるまで)S301からS307の処理を繰り返して図30の入力層71から中間層72における各層間の重み係数(パラメータ)を更新する(S308)。これにより、学習用画像911のどの部分(どの特徴)に着目(重みを大きく)すれば正しく判定できるかを学習し、学習モデル913を生成する。
なお、車両種別学習モデル106aは、図31に示す模式図のとおり、行先標学習モデル104aと同様に入力層81、中間層82、出力層83を有し、出力層83から出力される結果が車両種別及び運行種別の数だけある。入力層81には、行先標に分類された画像の画像データが入力され、出力層83は、入力された画像データの車両の車両種別及び運行種別を出力する。また、車両種別学習モデル106aの生成方法は、図33のS302において学習用の行先標画像に付与する教師ラベルが車両種別及び運行種別毎にあり、上述した行先標学習モデル104aと同じ生成方法によって生成する。
以上、行先標学習モデル104a及び車両種別学習モデル106aについて、多層のニューラルネットワークによる分類器作成を例として説明したが、これに限らず、SVM(サポートベクトルマシン)など他の機械学習アルゴリズムを用いてもよい。
(その他の実施の形態)
その他の実施の形態として、上記実施の形態では、車両として、主に鉄道車両を対象としたが、これに限らず例えば、バス等のその他の車両や航空機、船舶等に適用してもよい。例えば、バスや航空機、船舶の行先標やマーク等を上記実施の形態のように画像認識し、バス等の種別を判別してもよい。バスの行先標の判別結果を停留所の表示や専用のスマートホン等のアプリケーションに送信し、旅客の便に供してもよい。また、飛行機の機体番号を画像認識することで任意のポイントを通過する実機の確認結果報告をタワーに送信し、空の安全に供してもよい。さらに、船舶の名前を画像認識しその結果を港湾の監視所に送信し航行の安全に供してもよい。また、車両のナンバープレートを識別し特定の車両の運行ルートを把握することで効率的な運送や追跡に供するようにしてもよい。その他、物流仕分け箇所において、梱包容器(段ボール)等に記載されているロゴマークを読み取ることで、バーコード等の添付情報に頼ることなく仕分けが可能となる。
なお、本開示は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
上述の実施形態における各構成は、ハードウェア又はソフトウェア、もしくはその両方によって構成され、1つのハードウェア又はソフトウェアから構成してもよいし、複数のハードウェア又はソフトウェアから構成してもよい。各装置の機能(処理)を、CPU(Central Processing Unit)やメモリ等を有するコンピュータにより実現してもよい。例えば、記憶装置に実施形態における方法を行うためのプログラムを格納し、各機能を、記憶装置に格納されたプログラムをCPUで実行することにより実現してもよい。
これらのプログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD-ROM(Read Only Memory)、CD-R、CD-R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(random access memory))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
(付記A1)
車両を撮像した車両画像を取得する取得部と、
前記取得した車両画像から行先表示部を含む行先表示画像を抽出する抽出部と、
前記抽出した行先表示画像に基づいて、前記車両の車両種別を判別する判別部と、
を備える、判別装置。
(付記A2)
前記抽出部は、前記車両画像に対しエッジ抽出処理を行ったエッジ画像に基づいて、前記行先表示部を含む領域を探索し、前記行先表示画像を抽出する、
付記A1に記載の判別装置。
(付記A3)
前記抽出部は、前記エッジ画像における所定範囲のエッジ画素数に基づいて、前記行先表示部を含む領域を探索する、
付記A2に記載の判別装置。
(付記A4)
前記抽出部は、前記所定範囲のエッジ画素数が最も多い領域の画像を、前記行先表示画像として抽出する、
付記A2に記載の判別装置。
(付記A5)
前記抽出部は、前記行先表示部の画像を学習した行先表示学習モデルに基づいて、前記車両画像から前記行先表示画像を抽出する、
付記A1乃至4のいずれかに記載の判別装置。
(付記A6)
前記取得部は、前記車両を撮像した複数の車両画像を取得し、
前記抽出部は、前記行先表示学習モデルに基づいて、前記複数の車両画像を前記行先表示画像とその他の画像に分類する、
付記A5に記載の判別装置。
(付記A7)
前記抽出部は、前記複数の車両画像を前記行先表示画像とその他の画像に分類するとともに、前記分類された結果に分類スコアを付与し、前記付与された分類スコアに基づいて前記行先表示画像を抽出する、
付記A6に記載の判別装置。
(付記A8)
前記抽出部は、前記付与された分類スコアが最も大きい画像を前記行先表示画像として抽出する、
付記A7に記載の判別装置。
(付記A9)
前記判別部は、前記車両種別に関連付けられた行先表示部の画像を学習した車両種別学習モデルに基づいて、前記車両種別を判別する、
付記A1乃至8のいずれかに記載の判別装置。
(付記A10)
前記判別部は、前記行先表示画像を複数の車両種別に分類するとともに、前記分類された結果に分類スコアを付与し、前記付与された分類スコアに基づいて前記車両種別を判別する、
付記A9に記載の判別装置。
(付記A11)
前記取得部は、第1の撮像部が前記車両を撮像した第1の車両画像と第2の撮像部が前記車両を撮像した第2の車両画像とを取得し、
前記抽出部は、前記第1の車両画像から第1の行先表示画像を抽出するとともに、前記第2の車両画像から第2の行先表示画像を抽出し、
前記判別部は、前記第1の行先表示画像及び前記第2の行先表示画像のいずれかに基づいて、前記車両種別を判別する、
付記A1乃至10のいずれかに記載の判別装置。
(付記A12)
前記判別部は、前記第1の行先表示画像に基づいて判別した判別スコアと前記第2の行先表示画像に基づいて判別した判別スコアとを比較し、前記判別スコアが大きい方の判別結果に基づいて、前記車両種別を判別する、
付記A11に記載の判別装置。
(付記A13)
前記第1の撮像部と前記第2の撮像部は、前記車両に対する撮像角度が異なる、
付記A11または12に記載の判別装置。
(付記A14)
前記抽出部は、前記取得した車両画像から行先表示部を含む行先表示画像、車体マークを含む車体マーク表示画像及び車両形式番号を含む車両形式番号表示画像を抽出し、
前記判別部は、前記抽出した行先表示画像、車体マーク表示画像及び車両形式番号表示画像に基づいて、前記車両の車両種別を判別する、
付記A1乃至13のいずれかに記載の判別装置。
(付記A15)
車両を撮像した車両画像を取得し、
前記取得した車両画像から行先表示部を含む行先表示画像を抽出し、
前記抽出した行先表示画像に基づいて、前記車両の車両種別を判別する、
判別方法。
(付記A16)
車両を撮像した車両画像を取得し、
前記取得した車両画像から行先表示部を含む行先表示画像を抽出し、
前記抽出した行先表示画像に基づいて、前記車両の車両種別を判別する、
処理をコンピュータに実行させるための判別プログラム。
(付記A17)
撮像装置と、判別装置と、ホームドア制御装置と、を備え、
前記判別装置は、
前記撮像装置が車両を撮像した車両画像を取得する取得部と、
前記取得した車両画像から行先表示部を含む行先表示画像を抽出する抽出部と、
前記抽出した行先表示画像に基づいて、前記車両の車両種別を判別する判別部と、
前記車両種別の判別結果を前記ホームドア制御装置へ出力する出力部と、
を備え、
前記ホームドア制御装置は、プラットホーム上に設置されたホームドアの複数の扉のうち、前記出力された車両種別の判別結果に対応した扉の開閉を制御する、
制御システム。
(付記B1)
距離センサから列車迄の距離を計測して列車の入線を検知する赤外線レーザ式距離センサと、
列車の正面の行先標を撮影するカメラと、
列車の側面の行先標を撮影するカメラと、
列車側面の表記、ロゴ又は車体形式番号を撮影するカメラと、
列車前面の表記又はロゴを撮影するカメラと、
駅ホーム発車標を撮影するカメラと、
前記赤外線レーザ式距離センサが予め設定した距離範囲内に列車が入線したことを検知して出力する電気信号を受け、この電気信号から前記カメラのうちの1つまたは複数のカメラで撮影した画像を画像認識部に転送し保存する仕組みと、
保存した画像から行先標の表示、列車の表記、または発車標の表示を識別する画像認識エンジンを搭載するPC(パーソナルコンピュータ)を含むことを特徴とする判別装置。
(付記B2)
ホームドアに取り付けられた在線検知センサからの信号を受けて列車の入線を検知する受信部と、
列車の正面の行先標を撮影するカメラと、
列車の側面の行先標を撮影するカメラと、
列車側面の表記、ロゴ又は車体形式番号を撮影するカメラと、
列車前面の表記又はロゴを撮影するカメラと、
駅ホーム発車標を撮影するカメラと、
前記赤外線レーザ式距離センサが予め設定した距離範囲内に列車が入線したことを検知して出力する電気信号を受け、この電気信号から前記カメラのうちの1つまたは複数のカメラで撮影した画像を画像認識部に転送し保存する仕組みと、
保存した画像から行先標の表示、列車の表記、または発車標の表示を識別する画像認識エンジンを搭載するPCを含むことを特徴とするホームドア開閉位置制御信号自動出力装置。
(付記B3)
特定の列車の正面の行先標及び側面の行先標と、正面の表記又はロゴと、側面の表記ロゴ又は車体形式番号と、駅ホーム発車標とのうちの1つまたは複数の画像データからなる特定列車画像辞書と、
特定の列車以外の正面の行先標及び側面の行先標と、正面の表記又はロゴと、側面の表記、ロゴ又は車体形式番号と、駅ホーム発車標とのうちの1つまたは複数の画像データからなる特定列車画像辞書を保有し、撮影した画像と比較判断する画像認識部と画像認識部で識別した特定列車と特定列車以外の識別結果に応じたホームドアの制御信号をホームドアの制御部に出力することを特徴とするホームドア開閉位置制御信号自動出力装置。
(付記B4)
列車がホームに入線すると、停止前に列車の正面の行先標及び側面の行先標と、正面の表記又はロゴと、側面の表記、ロゴ又は車体形式番号と、駅ホーム発車標とのいずれかを撮影し、画像認識、表示内容の識別、ホームドア制御部へ識別結果に応じたホームドアの制御信号の出力までを行うことにより、この信号を受信したホームドアの制御タイミングにあわせることを特徴とするホームドア開閉位置制御信号自動出力装置。
(付記B5)
複数のカメラにより撮影された複数の画像を比較し、行先標、表記、ロゴ、車体形式番号、又は発車標の画像が切り出せるものを選択して画像認識するホームドア開閉位置制御信号自動出力装置。
(付記B6)
複数のカメラの設置角度を変えて同じ部分を撮影することにより、太陽光の反射等によるハレーションが発生しても、いずれかのカメラで認識可能な画像を取得できることを特徴とするホームドア開閉位置制御信号自動出力装置。
(付記B7)
各カメラは1車両分に相当する写真を連写して、その中から認識可能な行先標、表記、ロゴ又は車体形式番号の写っている画像を選び出し、画像認識を行うことを特徴とするホームドア開閉位置制御信号自動出力装置。
(付記B8)
カメラが連写した写真から認識可能な行先標、表記、ロゴ又は車体形式番号の写っている画像を選び出し、画像認識を行う際に人工知能を使用して、歪んだ画像や速度によってぶれた画像等も認識できることを特徴としたホームドア開閉位置制御信号自動出力装置。
(付記B9)
赤外線レーザ式距離センサの変わりに、ホームドアの有する在線検知センサ等の外部機器から、列車入線のタイミング信号を受信してそれにより画像認識を行うことも可能とすることを特徴としたホームドア開閉位置制御信号自動出力装置。
(付記C1)
車両の行先表示部の画像又は行先表示部以外の画像を含む画像データを入力する入力層と、前記入力層に入力された画像データに重み係数を乗じて伝達する1乃至複数の層からなる中間層と、前記入力された画像データを行先表示部の画像又は行先表示部以外の画像の何れかとして出力する出力層とを含む学習モデルを生成する手段を有する学習モデル生成装置において、
複数の画像データに行先表示部の画像又は行先表示部以外の画像であることを表す教師ラベルを付与した複数の教師データを作成する手段と、
前記複数の教師データのうちの1の教師データを前記入力層に入力し、前記出力層から出力された結果が正しい結果となるよう前記重み係数の更新を繰り返す重み係数調整を行う手段と、
前記複数の教師データの全てを用いて前記重み係数調整を実行する手段と、
を有することを特徴とする学習モデル生成装置。
(付記C2)
車両の行先表示部の画像又は行先表示部以外の画像を含む画像データを入力する入力層と、前記入力層に入力された画像データに重み係数を乗じて伝達する1乃至複数の層からなる中間層と、前記入力された画像データを行先表示部の画像又は行先表示部以外の画像の何れかとして出力する出力層とを含む学習モデルを生成する学習モデル生成装置が、
複数の画像データに行先表示部の画像又は行先表示部以外の画像であることを表す教師ラベルを付与した複数の教師データを作成し、
前記複数の教師データのうちの1の教師データを前記入力層に入力し、前記出力層から出力された結果が正しい結果となるよう前記重み係数の更新を繰り返す重み係数調整を行い、
前記複数の教師データの全てを用いて前記重み係数調整を行う
ことを特徴とする学習モデル生成方法。
(付記C3)
車両の行先表示部の画像又は行先表示部以外の画像を含む画像データを入力する入力層と、前記入力層に入力された画像データに重み係数を乗じて伝達する1乃至複数の層からなる中間層と、前記入力された画像データを行先表示部の画像又は行先表示部以外の画像の何れかとして出力する出力層とを含む学習モデルを生成する手段を有する学習モデル生成装置において、
複数の画像データに行先表示部の画像又は行先表示部以外の画像であることを表す教師ラベルを付与した複数の教師データを作成し、
前記複数の教師データのうちの1の教師データを前記入力層に入力し、前記出力層から出力された結果が正しい結果となるよう前記重み係数の更新を繰り返す重み係数調整を行い、
前記複数の教師データの全てを用いて前記重み係数調整を行う
ことを特徴とする学習モデル生成方法を前記学習モデル生成装置に実行させるプログラム。
(付記C4)
車両の行先表示部の画像データを入力する入力層と、前記入力層に入力された画像データに重み係数を乗じて伝達する1乃至複数の層からなる中間層と、前記入力された画像データの車両の車両種別及び運行種別を出力する出力層とを有する学習モデルの生成する手段を有する学習モデル生成装置において、
複数の画像データに行先表示部の画像毎に車両種別及び運行種別を表す教師ラベルを付与した複数の教師データを作成する手段と、
前記複数の教師データのうちの1の教師データを前記入力層に入力し、前記出力層から出力された結果が正しい結果となるよう前記重み係数の更新を繰り返す重み係数調整を行う手段と、
前記複数の教師データの全てを用いて前記重み係数調整を実行する手段と、
を有することを特徴とする学習モデル生成装置。
(付記C5)
車両の行先表示部の画像データを入力する入力層と、前記入力層に入力された画像データに重み係数を乗じて伝達する1乃至複数の層からなる中間層と、前記入力された画像データの車両の車両種別及び運行種別を出力する出力層とを有する学習モデルの生成する学習モデル生成装置が、
複数の画像データに行先表示部の画像毎に車両種別及び運行種別を表す教師ラベルを付与した複数の教師データを作成し、
前記複数の教師データのうちの1の教師データを前記入力層に入力し、前記出力層から出力された結果が正しい結果となるよう前記重み係数の更新を繰り返す重み係数調整を行い、
前記複数の教師データの全てを用いて前記重み係数調整を行う
ことを特徴とする学習モデル生成方法。
(付記C6)
車両の行先表示部の画像データを入力する入力層と、前記入力層に入力された画像データに重み係数を乗じて伝達する1乃至複数の層からなる中間層と、前記入力された画像データの車両の車両種別及び運行種別を出力する出力層とを有する学習モデルの生成する学習モデル生成装置が、
複数の画像データに行先表示部の画像毎に車両種別及び運行種別を表す教師ラベルを付与した複数の教師データを作成し、
前記複数の教師データのうちの1の教師データを前記入力層に入力し、前記出力層から出力された結果が正しい結果となるよう前記重み係数の更新を繰り返す重み係数調整を行い、
前記複数の教師データの全てを用いて前記重み係数調整を行う
ことを特徴とする学習モデル生成方法を前記学習モデル生成装置に実行させるプログラム。
1 判別システム
10 判別装置
11 取得部
12 抽出部
13 判別部
100 判別装置
101 記憶部
102 画像取得部
103 画像切出部
104 第1の分類器
104a 行先標学習モデル
105 画像選択部
106 第2の分類器
106a 車両種別学習モデル
107 結果出力部
200、200a、200b カメラ
210 撮像領域
300 車両
301 行先標
302 車体マーク
303 車体形式番号
400 ホームドア制御システム
401 判別装置
402 列車入線検知センサ
403 カメラ
404 ホームドア
405 ホームドア制御部
406 機器監視装置
407 発車標
408 在線検知センサ
411 制御用コンピュータ
412 PoEハブ
413 接点入出力装置
414 電源装置
501 列車入線検知センサ用ケーブル
502 カメラ用ケーブル
503 ホームドア接続ケーブル
504 機器監視装置接続ケーブル
505 機器監視装置通信機器
506 電源
600 列車
601 車両
611 行先標
71 入力層
72 中間層
73 出力層
81 入力層
82 中間層
83 出力層
900 学習モデル生成装置
901 記憶部
902 制御部
903 入力部
904 操作部
905 内部バス
911 学習用画像
912 教師データ
913 学習モデル
914 コンピュータプログラム
921 生成部
922 調整部
923 実行部

Claims (15)

  1. 車両を撮像した車両画像を取得する取得部と、
    前記取得した車両画像から行先表示部を含む行先表示画像を抽出する抽出部と、
    前記抽出した行先表示画像に基づいて、前記車両の車両形式を含む車両種別及び前記車両の運行種別を判別する判別部と、
    を備え
    前記抽出部は、前記行先表示部の画像を学習した行先表示学習モデルに基づいて、前記車両画像から前記行先表示画像を抽出する、
    判別装置。
  2. 前記抽出部は、前記車両画像に対しエッジ抽出処理を行ったエッジ画像に基づいて、前記行先表示部を含む領域を探索し、前記行先表示画像を抽出する、
    請求項1に記載の判別装置。
  3. 車両を撮像した車両画像を取得する取得部と、
    前記取得した車両画像から行先表示部を含む行先表示画像を抽出する抽出部と、
    前記抽出した行先表示画像に基づいて、前記車両の車両形式を含む車両種別及び前記車両の運行種別を判別する判別部と、
    を備え、
    前記判別部は、前記車両種別及び運行種別に関連付けられた行先表示部の画像を学習した車両種別学習モデルに基づいて、前記車両種別及び運行種別を判別する、
    別装置。
  4. 車両を撮像した車両画像を取得する取得部と、
    前記取得した車両画像から行先表示部を含む行先表示画像を抽出する抽出部と、
    前記抽出した行先表示画像に基づいて、前記車両の車両形式を含む車両種別及び前記車両の運行種別を判別する判別部と、
    を備え、
    前記取得部は、第1の撮像部が前記車両を撮像した第1の車両画像と第2の撮像部が前記車両を撮像した第2の車両画像とを取得し、
    前記抽出部は、前記第1の車両画像から第1の行先表示画像を抽出するとともに、前記第2の車両画像から第2の行先表示画像を抽出し、
    前記判別部は、前記第1の行先表示画像及び前記第2の行先表示画像のいずれかに基づいて、前記車両種別及び運行種別を判別する、
    別装置。
  5. 前記判別部は、前記第1の行先表示画像に基づいて判別した判別スコアと前記第2の行先表示画像に基づいて判別した判別スコアとを比較し、前記判別スコアが大きい方の判別結果に基づいて、前記車両種別及び運行種別を判別する、
    請求項に記載の判別装置。
  6. 前記第1の撮像部と前記第2の撮像部は、前記車両に対する撮像角度が異なる、
    請求項またはに記載の判別装置。
  7. 車両を撮像した車両画像を取得し、
    前記取得した車両画像から行先表示部を含む行先表示画像を抽出し、
    前記抽出した行先表示画像に基づいて、前記車両の車両形式を含む車両種別及び前記車両の運行種別を判別
    前記行先表示画像の抽出では、前記行先表示部の画像を学習した行先表示学習モデルに基づいて、前記車両画像から前記行先表示画像を抽出する、
    判別方法。
  8. 車両を撮像した車両画像を取得し、
    前記取得した車両画像から行先表示部を含む行先表示画像を抽出し、
    前記抽出した行先表示画像に基づいて、前記車両の車両形式を含む車両種別及び前記車両の運行種別を判別し、
    前記車両種別及び運行種別の判別では、前記車両種別及び運行種別に関連付けられた行先表示部の画像を学習した車両種別学習モデルに基づいて、前記車両種別及び運行種別を判別する、
    判別方法。
  9. 車両を撮像した車両画像を取得し、
    前記取得した車両画像から行先表示部を含む行先表示画像を抽出し、
    前記抽出した行先表示画像に基づいて、前記車両の車両形式を含む車両種別及び前記車両の運行種別を判別し、
    前記車両画像の取得では、第1の撮像部が前記車両を撮像した第1の車両画像と第2の撮像部が前記車両を撮像した第2の車両画像とを取得し、
    前記行先表示画像の抽出では、前記第1の車両画像から第1の行先表示画像を抽出するとともに、前記第2の車両画像から第2の行先表示画像を抽出し、
    前記車両種別及び運行種別の判別では、前記第1の行先表示画像及び前記第2の行先表示画像のいずれかに基づいて、前記車両種別及び運行種別を判別する、
    判別方法。
  10. 車両を撮像した車両画像を取得し、
    前記取得した車両画像から行先表示部を含む行先表示画像を抽出し、
    前記抽出した行先表示画像に基づいて、前記車両の車両形式を含む車両種別及び前記車両の運行種別を判別
    前記行先表示画像の抽出では、前記行先表示部の画像を学習した行先表示学習モデルに基づいて、前記車両画像から前記行先表示画像を抽出する、
    処理をコンピュータに実行させるための判別プログラム。
  11. 車両を撮像した車両画像を取得し、
    前記取得した車両画像から行先表示部を含む行先表示画像を抽出し、
    前記抽出した行先表示画像に基づいて、前記車両の車両形式を含む車両種別及び前記車両の運行種別を判別し、
    前記車両種別及び運行種別の判別では、前記車両種別及び運行種別に関連付けられた行先表示部の画像を学習した車両種別学習モデルに基づいて、前記車両種別及び運行種別を判別する、
    処理をコンピュータに実行させるための判別プログラム。
  12. 車両を撮像した車両画像を取得し、
    前記取得した車両画像から行先表示部を含む行先表示画像を抽出し、
    前記抽出した行先表示画像に基づいて、前記車両の車両形式を含む車両種別及び前記車両の運行種別を判別し、
    前記車両画像の取得では、第1の撮像部が前記車両を撮像した第1の車両画像と第2の撮像部が前記車両を撮像した第2の車両画像とを取得し、
    前記行先表示画像の抽出では、前記第1の車両画像から第1の行先表示画像を抽出するとともに、前記第2の車両画像から第2の行先表示画像を抽出し、
    前記車両種別及び運行種別の判別では、前記第1の行先表示画像及び前記第2の行先表示画像のいずれかに基づいて、前記車両種別及び運行種別を判別する、
    処理をコンピュータに実行させるための判別プログラム。
  13. 撮像装置と、判別装置と、ホームドア制御装置と、を備え、
    前記判別装置は、
    前記撮像装置が車両を撮像した車両画像を取得する取得部と、
    前記取得した車両画像から行先表示部を含む行先表示画像を抽出する抽出部と、
    前記抽出した行先表示画像に基づいて、前記車両の車両形式を含む車両種別及び前記車両の運行種別を判別する判別部と、
    前記車両種別及び運行種別の判別結果を前記ホームドア制御装置へ出力する出力部と、
    を備え、
    前記ホームドア制御装置は、プラットホーム上に設置されたホームドアの複数の扉のうち、前記出力された車両種別及び運行種別の判別結果に対応した扉の開閉を制御
    前記抽出部は、前記行先表示部の画像を学習した行先表示学習モデルに基づいて、前記車両画像から前記行先表示画像を抽出する、
    制御システム。
  14. 撮像装置と、判別装置と、ホームドア制御装置と、を備え、
    前記判別装置は、
    前記撮像装置が車両を撮像した車両画像を取得する取得部と、
    前記取得した車両画像から行先表示部を含む行先表示画像を抽出する抽出部と、
    前記抽出した行先表示画像に基づいて、前記車両の車両形式を含む車両種別及び前記車両の運行種別を判別する判別部と、
    前記車両種別及び運行種別の判別結果を前記ホームドア制御装置へ出力する出力部と、
    を備え、
    前記ホームドア制御装置は、プラットホーム上に設置されたホームドアの複数の扉のうち、前記出力された車両種別及び運行種別の判別結果に対応した扉の開閉を制御し、
    前記判別部は、前記車両種別及び運行種別に関連付けられた行先表示部の画像を学習した車両種別学習モデルに基づいて、前記車両種別及び運行種別を判別する、
    制御システム。
  15. 撮像装置と、判別装置と、ホームドア制御装置と、を備え、
    前記判別装置は、
    前記撮像装置が車両を撮像した車両画像を取得する取得部と、
    前記取得した車両画像から行先表示部を含む行先表示画像を抽出する抽出部と、
    前記抽出した行先表示画像に基づいて、前記車両の車両形式を含む車両種別及び前記車両の運行種別を判別する判別部と、
    前記車両種別及び運行種別の判別結果を前記ホームドア制御装置へ出力する出力部と、
    を備え、
    前記ホームドア制御装置は、プラットホーム上に設置されたホームドアの複数の扉のうち、前記出力された車両種別及び運行種別の判別結果に対応した扉の開閉を制御し、
    前記取得部は、第1の撮像部が前記車両を撮像した第1の車両画像と第2の撮像部が前記車両を撮像した第2の車両画像とを取得し、
    前記抽出部は、前記第1の車両画像から第1の行先表示画像を抽出するとともに、前記第2の車両画像から第2の行先表示画像を抽出し、
    前記判別部は、前記第1の行先表示画像及び前記第2の行先表示画像のいずれかに基づいて、前記車両種別及び運行種別を判別する、
    制御システム。
JP2020053453A 2020-03-24 2020-03-24 判別装置、判別方法、制御システム、学習モデル生成装置、学習モデル生成方法及びプログラム Active JP7235253B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020053453A JP7235253B2 (ja) 2020-03-24 2020-03-24 判別装置、判別方法、制御システム、学習モデル生成装置、学習モデル生成方法及びプログラム
JP2023020593A JP2023053291A (ja) 2020-03-24 2023-02-14 学習モデル生成装置、学習モデル生成方法及びプログラム
JP2023020592A JP2023071731A (ja) 2020-03-24 2023-02-14 判別装置、及びホームドア開閉位置制御信号自動出力装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020053453A JP7235253B2 (ja) 2020-03-24 2020-03-24 判別装置、判別方法、制御システム、学習モデル生成装置、学習モデル生成方法及びプログラム

Related Child Applications (2)

Application Number Title Priority Date Filing Date
JP2023020592A Division JP2023071731A (ja) 2020-03-24 2023-02-14 判別装置、及びホームドア開閉位置制御信号自動出力装置
JP2023020593A Division JP2023053291A (ja) 2020-03-24 2023-02-14 学習モデル生成装置、学習モデル生成方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2021151842A JP2021151842A (ja) 2021-09-30
JP7235253B2 true JP7235253B2 (ja) 2023-03-08

Family

ID=77887082

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2020053453A Active JP7235253B2 (ja) 2020-03-24 2020-03-24 判別装置、判別方法、制御システム、学習モデル生成装置、学習モデル生成方法及びプログラム
JP2023020592A Pending JP2023071731A (ja) 2020-03-24 2023-02-14 判別装置、及びホームドア開閉位置制御信号自動出力装置
JP2023020593A Pending JP2023053291A (ja) 2020-03-24 2023-02-14 学習モデル生成装置、学習モデル生成方法及びプログラム

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2023020592A Pending JP2023071731A (ja) 2020-03-24 2023-02-14 判別装置、及びホームドア開閉位置制御信号自動出力装置
JP2023020593A Pending JP2023053291A (ja) 2020-03-24 2023-02-14 学習モデル生成装置、学習モデル生成方法及びプログラム

Country Status (1)

Country Link
JP (3) JP7235253B2 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011158352A (ja) 2010-02-01 2011-08-18 Sinfonia Technology Co Ltd 動力系の試験装置及びその制御方法
JP2017013725A (ja) 2015-07-06 2017-01-19 日本信号株式会社 列車車種識別システム及び列車車種識別方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5766065A (en) * 1980-10-02 1982-04-22 Tokyo Shibaura Electric Co Automatic guiding broadcasting device
JPS61141087A (ja) * 1984-12-14 1986-06-28 Hitachi Ltd 画像処理方法及び装置
US9587946B2 (en) * 2010-06-16 2017-03-07 Navitime Japan Co., Ltd. Navigation system, terminal apparatus, navigation server, navigation apparatus, navigation method, and computer program product

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011158352A (ja) 2010-02-01 2011-08-18 Sinfonia Technology Co Ltd 動力系の試験装置及びその制御方法
JP2017013725A (ja) 2015-07-06 2017-01-19 日本信号株式会社 列車車種識別システム及び列車車種識別方法

Also Published As

Publication number Publication date
JP2023053291A (ja) 2023-04-12
JP2021151842A (ja) 2021-09-30
JP2023071731A (ja) 2023-05-23

Similar Documents

Publication Publication Date Title
CN109214274B (zh) 一种机场安保管理系统
US10878249B2 (en) Border inspection with aerial cameras
CN107992786A (zh) 一种基于人脸的公共场所人流量统计方法和系统
US20100308108A1 (en) Apparatus and method of automating arrival and departure procedures in airport
GB2556942A (en) Transport passenger monitoring systems
CN106373200A (zh) 一种快速自助检票进站装置及方法
CN112633057A (zh) 一种公交车内异常行为智能监控方法
JP7235253B2 (ja) 判別装置、判別方法、制御システム、学習モデル生成装置、学習モデル生成方法及びプログラム
JP2017054349A (ja) 改札監視システム
KR102217424B1 (ko) 자율주행 대용량 간선 급행버스의 승객 안전성 확보를 위한 정류장 지원시스템
CN211427457U (zh) 一种重要处所智能安防系统
CN107945288A (zh) 车票识别验票系统
JP4863701B2 (ja) ユーザ行動検知システム
CN113936247B (zh) 基于流线感知的轨道交通车站客流状态辨识系统
US20220371512A1 (en) Information processing device and method, and program
CN114943930A (zh) 车站清客方法及装置
Murshed et al. Automated level crossing system: A computer vision based approach with Raspberry Pi microcontroller
CN109987119A (zh) 一种机车数据换装和检测系统及方法
CN113611025A (zh) 一种新型轨道交通快速检人系统及方法
CN202771519U (zh) 铁路货场智能门禁及其系统
KR102541686B1 (ko) 대중교통 이용자의 동선 추적 장치
Liu et al. Intelligent video analysis system for railway station
WO2017048148A1 (en) Monitoring a flow of objects by a sim card detector
Meshram et al. Dynamic Traffic Scheduling Using Emergency Vehicle Detection
US20220292850A1 (en) Reserved seat monitoring system, reserved seat monitoring method, and storage medium

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200421

A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20200421

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200610

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210707

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220725

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220802

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220929

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230117

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230215

R150 Certificate of patent or registration of utility model

Ref document number: 7235253

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150