JP6922951B2 - Image processing device and image processing method - Google Patents
Image processing device and image processing method Download PDFInfo
- Publication number
- JP6922951B2 JP6922951B2 JP2019148085A JP2019148085A JP6922951B2 JP 6922951 B2 JP6922951 B2 JP 6922951B2 JP 2019148085 A JP2019148085 A JP 2019148085A JP 2019148085 A JP2019148085 A JP 2019148085A JP 6922951 B2 JP6922951 B2 JP 6922951B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- moving object
- region
- moving
- object region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
本発明は、画像中の移動物体に対応する像を示す領域を特定する画像処理装置および画像処理方法に関する。 The present invention relates to an image processing apparatus and an image processing method for specifying a region showing an image corresponding to a moving object in an image.
従来、エレベータのかごに乗車しようとする利用者をセンサ等により検出し、その検出結果を用いてエレベータのドアの開閉動作を制御する技術が知られている。 Conventionally, there is known a technique of detecting a user who is going to get in an elevator car with a sensor or the like and using the detection result to control an opening / closing operation of an elevator door.
例えば、特許文献１には、以下のようなエレベータの乗車検知システムが記載されている。この乗車検知システムでは、先ず、エレベータの乗場を撮像した複数枚の画像についてブロック単位で輝度を比較することにより、動きが有ると判定されたブロックの中からエレベータのドアに最も近いブロックを利用者の足元位置として推定する。そして、推定した足元位置の時系列変化に基づいて上記利用者が乗車意思を有すると判定された場合、ドアの戸開状態を継続する、または戸閉動作を中断して戸開動作を行う。
For example,
しかしながら、例えばエレベータの乗場に複数の移動物体が存在する場合、カメラの撮像画像中における複数の移動物体のそれぞれに対応する領域について、複数の画像間で追跡する処理を行うことが求められる。 However, for example, when a plurality of moving objects are present on the landing of an elevator, it is required to perform a process of tracking between the plurality of images for a region corresponding to each of the plurality of moving objects in the captured image of the camera.
本発明は、エレベータの乗場に複数の移動物体が存在する場合であっても、カメラの撮像画像に基づいて、画像中における複数の移動物体のそれぞれに対応する領域を追跡することができる技術を提供することを目的とする。 The present invention provides a technique capable of tracking a region corresponding to each of a plurality of moving objects in an image based on an image captured by a camera even when a plurality of moving objects are present on the landing of the elevator. The purpose is to provide.
上記の課題を解決するために、本発明の一態様に係る画像処理装置は、エレベータの乗場をカメラにて撮像した画像を取得する画像取得部と、前記画像における、前記乗場に存在する移動物体に対応する像を示す移動物体領域を決定する移動物体決定部と、前記画像であって所定の時間差を有する第１の画像および第２の画像について、前記第１の画像中に含まれる複数の第１の移動物体領域にそれぞれ対応する複数の第１の対応図形、および、前記第２の画像中に含まれる複数の第２の移動物体領域にそれぞれ対応する複数の第２の対応図形を設定する図形設定部と、複数の前記第１の対応図形のうちの或る１つと、複数の前記第２の対応図形のそれぞれとの互いの重なり度を算出する重なり度算出部と、前記第１の画像中において、或る１つの前記第１の対応図形に対応する前記第１の移動物体領域にて像が示される前記移動物体を処理対象物体とし、前記第２の画像中において、前記乗場に存在する、前記処理対象物体と同一の前記移動物体に対応する像を示す前記第２の移動物体領域を対応物体領域として、前記重なり度が所定の基準値以上であることに基づいて前記対応物体領域を特定する追跡処理部と、を備えている。 In order to solve the above problems, the image processing apparatus according to one aspect of the present invention includes an image acquisition unit that acquires an image of an elevator landing with a camera, and a moving object existing in the landing in the image. A plurality of images included in the first image with respect to a moving object determination unit that determines a moving object region showing an image corresponding to the image, and a first image and a second image having a predetermined time difference in the images. A plurality of first corresponding figures corresponding to the first moving object area and a plurality of second corresponding figures corresponding to the plurality of second moving object areas included in the second image are set. An overlap degree calculation unit for calculating the degree of overlap between the image setting unit, one of the plurality of the first corresponding figures, and each of the plurality of the second corresponding figures, and the first In the image of, the moving object whose image is shown in the first moving object region corresponding to the first corresponding figure is set as the object to be processed, and in the second image, the landing is The second moving object region showing an image corresponding to the moving object that is the same as the processing target object existing in the corresponding object region is set as the corresponding object region, and the correspondence is based on the overlap degree being equal to or higher than a predetermined reference value. It is provided with a tracking processing unit that identifies an object area.
また、上記の課題を解決するために、本発明の一態様に係る画像処理方法は、エレベータの乗場をカメラにて撮像した画像を取得する画像取得ステップと、前記画像における、前記乗場に存在する移動物体に対応する像を示す移動物体領域を決定する移動物体決定ステップと、前記画像であって所定の時間差を有する第１の画像および第２の画像について、前記第１の画像中に含まれる複数の第１の移動物体領域にそれぞれ対応する複数の第１の対応図形、および、前記第２の画像中に含まれる複数の第２の移動物体領域にそれぞれ対応する複数の第２の対応図形を設定する図形設定ステップと、複数の前記第１の対応図形のうちの或る１つと、複数の前記第２の対応図形のそれぞれとの互いの重なり度を算出する重なり度算出ステップと、前記第１の画像中において、或る１つの前記第１の対応図形に対応する前記第１の移動物体領域にて像が示される前記移動物体を処理対象物体とし、前記第２の画像中において、前記乗場に存在する、前記処理対象物体と同一の前記移動物体に対応する像を示す前記第２の移動物体領域を対応物体領域として、前記重なり度が所定の基準値以上であることに基づいて前記対応物体領域を特定する追跡処理ステップと、を含む。 Further, in order to solve the above-mentioned problems, the image processing method according to one aspect of the present invention exists in the image acquisition step of acquiring an image of the landing of the elevator with a camera and the landing in the image. The moving object determination step for determining a moving object region showing an image corresponding to a moving object, and the first image and the second image having a predetermined time difference in the images are included in the first image. A plurality of first corresponding figures corresponding to a plurality of first moving object regions, and a plurality of second corresponding figures corresponding to a plurality of second moving object regions included in the second image. An overlap degree calculation step for calculating the degree of overlap between a certain one of the plurality of the first corresponding figures and each of the plurality of the second corresponding figures, and the above-mentioned. In the first image, the moving object whose image is shown in the first moving object region corresponding to a certain first corresponding figure is set as a processing target object, and in the second image, Based on the fact that the degree of overlap is equal to or higher than a predetermined reference value, with the second moving object region existing in the landing and showing an image corresponding to the moving object same as the processing target object as the corresponding object region. A tracking process step of identifying the corresponding object area is included.
本発明の一態様によれば、エレベータの乗場に複数の移動物体が存在する場合であっても、カメラの撮像画像中における複数の移動物体のそれぞれに対応する領域を、対応図形の重なり度に基づいて追跡することができるという効果を奏する。 According to one aspect of the present invention, even when a plurality of moving objects are present on the landing of the elevator, the region corresponding to each of the plurality of moving objects in the image captured by the camera is set to the degree of overlap of the corresponding figures. It has the effect of being able to track based on.
〔実施形態１〕
本発明の一実施形態について、図１〜図１６を用いて説明すれば、以下のとおりである。
[Embodiment 1]
An embodiment of the present invention will be described with reference to FIGS. 1 to 16 as follows.
＜本実施形態における乗車検知システム１０＞
本実施形態におけるエレベータの乗車検知システム１０の構成について、図１および図２を参照して説明する。図１は、本実施形態における乗車検知システム１０の要部構成の一例を示すブロック図である。図２は、乗車検知システム１０の概要構成の一例を示す概略図である。
<
The configuration of the elevator
図１および図２に示すように、乗車検知システム１０は、かご２０、画像処理装置３０、制御装置４０、および戸開閉装置５０を含む。
As shown in FIGS. 1 and 2, the
かご２０は、昇降路（図示省略）内を昇降して、建物の各階の乗場２へ移動する。かご２０の出入口にはかご戸２２が設けられており、かご戸２２は、ドア開閉路２４（図１６参照）に沿って開閉する。かご戸２２の上方の幕板（トランサム）２３の近傍にカメラ２１が設置されている。カメラ２１は、所定の撮像視野にて乗場２を撮像可能となっており、例えば、奥行がかご戸２２の開閉路から乗場２の方向に数ｍであり、幅がかご２０の横幅以上の撮像視野となっている。カメラ２１は、例えば広角レンズを有する小型の監視カメラであり、具体的な性能および設置位置は特に限定されない。例えば、幕板２３の内部にカメラ２１が設けられていてもよい。
The
乗場２には、かご２０の到着に合わせて開閉する乗場戸３が設置されている。乗場戸３はかご戸２２に連動するようになっており、例えばかご戸２２が戸開動作する場合、かご戸２２に追従して乗場戸３も戸開動作する。
The
乗場２には移動物体１が存在し得る。この移動物体１は、典型的には人物である。そのため、以下では、移動物体１として、歩行する人物（利用者）を例示して説明する。なお、移動物体１は歩行する人物に限定されない。本発明の一態様における乗車検知システム１０は、例えば、車いすで移動している人物、荷物を載せた台車等の運搬物体、自動走行機器（例えば走行ロボット）、等の種々の移動物体に適用することもできる。乗車検知システム１０は、そのような各種の移動物体について、後述するように乗車意思を推定する処理を行うとともに、推定結果に応じて戸開閉動作を制御する。
A
画像処理装置３０は、カメラ２１と通信可能に接続されており、カメラ２１から受信した撮像画像に対して所定の処理を行う。この処理について詳しくは後述する。
The
画像処理装置３０は、画像取得部３１、記憶部３２、移動物体決定部３３、物体追跡部３４、および変動係数演算部３５を備えており、これらの各部はシステムバス３９に接続されている。
The
移動物体決定部３３、物体追跡部３４、および変動係数演算部３５は、概して以下のような処理を行う。移動物体決定部３３は、記憶部３２から読み出した、または画像取得部３１から取得した複数枚の撮像画像を用いて、画像中の移動物体およびその移動方向を示す移動物体領域を決定する処理を行う。物体追跡部３４は、移動物体決定部３３によって決定された移動物体領域について追跡処理を行う。変動係数演算部３５は、画像中に含まれる１つ以上の移動物体領域のそれぞれについて、かご２０への乗車意思を推定する対象とすべきか否かを判定する指標となる、移動物体領域における変動係数を算出する処理を行う。
The moving
移動物体決定部３３には、輝度差分演算部３３１、オプティカルフロー演算部３３２、物体候補領域設定部３３３、および決定処理部３３４が含まれている。物体追跡部３４には、図形設定部３４１、重なり度算出部３４２、および追跡処理部３４３が含まれている。
The moving
制御装置４０は、画像処理装置３０および戸開閉装置５０と通信可能に接続されており、画像処理装置３０から受信した情報に基づいて、戸開閉装置５０を用いてかご２０の戸開閉動作を制御する。制御装置４０が実行する処理について、詳しくは後述するが、制御装置４０は、概略的には、或る移動物体領域についてかご２０への乗車意思の推定処理を行い、その結果に応じてかご戸２２の戸開閉動作（戸開状態の延長等）の制御を行う。
The
制御装置４０は、記憶部４１および制御部４２を備えている。記憶部４１には、判定領域データ４１１および意思推定条件データ４１２が含まれている。制御部４２には、意思推定部４２１および動作制御部４２２が含まれている。
The
戸開閉装置５０は、かご戸２２を開閉動作させるためのモータおよびモータ制御部等を備え、制御装置４０から受信した指令に基づいてかご戸２２の開閉動作を制御する。戸開閉装置５０としては、公知の装置を適用すればよく、詳細な説明は省略する。
The door opening /
以上に概略を説明した画像処理装置３０、制御装置４０、および戸開閉装置５０は、典型的にはかご２０の天板上（かご上ステーション）に設置されている。但し、これらの設置位置は特に限定されない。例えば、画像処理装置３０は、幕板２３内部に収納されていてもよく、カメラ２１と一体化して設置されていてもよい。また、例えば、画像処理装置３０および制御装置４０は、エレベータにおける機械室（図示省略）に設置されていてもよく、制御盤（図示省略）における一機能として実現されていてもよい。
The
これらの各部の詳細について、本実施形態における乗車検知システム１０が実行する処理の流れと合わせて以下に説明する。図３は、乗車検知システム１０による乗車検知および戸開閉動作制御の処理の流れの一例を示すフローチャートである。
The details of each of these parts will be described below together with the flow of processing executed by the
図３に示すように、先ず、かご２０が任意の階の乗場２に到着すると、戸開閉装置５０は、動力機構（ドアモータ）を制御してかご戸２２を戸開する（ステップ１；以下、Ｓ１のように略記する）。かご２０に設けられたカメラ２１は、所定の間隔（例えば３０コマ／秒）にて乗場２を撮像し、撮像画像を画像処理装置３０に送信する。カメラ２１からの撮像画像の出力サイズ（以下、第１の画素数と称することがある）は特に限定されない。第１の画素数は、例えば、動画像を撮像する一般的な監視カメラ等における性能（出力サイズ）に対応する。
As shown in FIG. 3, first, when the
次いで、画像処理装置３０内の画像取得部３１は、カメラ２１から送信された撮像画像を順次取得する（Ｓ２：画像取得ステップ）。換言すれば、画像取得部３１は、エレベータの乗場をカメラ２１にて撮像した動画像を構成する複数の撮像画像を取得し、取得した撮像画像を、システムバス３９を通じて記憶部３２に順次保存する。また、画像取得部３１は、取得した撮像画像を移動物体決定部３３に順次送信してもよい。
Next, the image acquisition unit 31 in the
記憶部３２は、揮発性または不揮発性の記憶装置である。記憶部３２は、画像処理装置３０の各部の処理に用いられるデータおよび処理後のデータを保存するために適宜用いられる。
The
その後、乗車検知システム１０は、概略的には以下のような処理を行う。すなわち、移動物体決定部３３は、先ず、輝度差分演算部３３１とオプティカルフロー演算部３３２とが互いに並列に処理を行う（Ｓ３Ａ、Ｓ３Ｂ）。そして、物体候補領域設定部３３３は、輝度差分演算部３３１およびオプティカルフロー演算部３３２の処理結果を用いて、画像中の物体候補領域を設定する（Ｓ４）。次いで、決定処理部３３４は、上記設定した物体候補領域について所定の判定処理を行うことにより、乗場２に存在する移動物体１の像を画像中にて示す移動物体領域を決定する（Ｓ５）。そして、物体追跡部３４は、２つの異なる時点にて撮像した２枚の画像について、時間的に前の第１の画像中の或る移動物体領域にて像が示されている移動物体１に対応する、時間的に後の第２の画像中の移動物体領域を特定する処理を行う（Ｓ６）。また、変動係数演算部３５は、移動物体領域における変動係数（詳しくは後述）を算出する処理を行う（Ｓ７）。意思推定部４２１は、上記Ｓ６の結果および上記Ｓ７の結果を用いて、移動物体領域に対応する移動物体１の乗車意思を推定する処理を行う（Ｓ８）。動作制御部４２２は、意思推定部４２１における処理の結果を用いて、かご戸２２の戸開閉動作を制御する（Ｓ９）。乗車検知システム１０は、かご戸２２が戸閉状態となった場合（Ｓ１０でＹＥＳ）には処理を終了し、戸閉状態となっていない場合（Ｓ１０でＮＯ）には上記Ｓ２からの処理を再度行う。
After that, the
以下、移動物体決定部３３における各部が実行する処理（Ｓ３Ａ、Ｓ３Ｂ、Ｓ４、Ｓ５）について、図４〜図９を用いて説明する。
Hereinafter, the processes (S3A, S3B, S4, S5) executed by each unit in the moving
（Ｓ３Ａ．輝度差分演算）
輝度差分演算部３３１は、所定の時間差を有する２つの時点のそれぞれにて画像を撮像して得られた２枚の撮像画像を用いて、輝度の差分に基づく演算処理を実行する。そして、２枚の撮像画像間で輝度差が所定の閾値以上である画素が連続している領域であって、前記画像における動きの有る領域（移動領域）を検出する（Ｓ３Ａ：輝度差分演算ステップ）。この演算処理について、図４を用いて以下に説明する。図４の（ａ）は、輝度差分演算部３３１が実行する処理の流れの一例を示すフローチャートである。
(S3A. Luminance difference calculation)
The brightness
以下、本明細書において、カメラ２１の撮像処理におけるフレームレートの１フレームを時間単位として説明する。例えば、カメラ２１により撮像された、或る時点［ｔ−１］における撮像画像と、その次の時点［ｔ］の撮像画像とは連続画像である。ここでは、２枚の撮像画像として、時点［ｔ］における撮像画像Ｐ（ｔ）と、時点［ｔ］よりも１フレーム前の時点［ｔ−１］における撮像画像Ｐ（ｔ−１）とを用いる場合について説明するが、これは例示であって、２枚の撮像画像は必ずしも時間的な連続画像でなくてもよい。本演算処理によって、輝度の差分に基づいて移動領域を算出可能であればよく、２枚の撮像画像の時間間隔は特に限定されない。所定の時間差は、例えば、カメラ２１にて撮像された動画のフレームレートに対応する１フレーム〜数十フレームの範囲内の所定の値にて表される時間であってよく、１秒〜数秒の範囲内の所定の時間であってもよい。
Hereinafter, in the present specification, one frame of the frame rate in the imaging process of the
画像取得部３１にて取得された撮像画像は、通常、カラー画像である。本実施形態における輝度差分演算部３３１は、画像取得部３１にて取得された撮像画像をグレースケールに変換する処理を行う（Ｓ３Ａ１）。時点［ｔ］における変換後の画像をグレー画像ＧＰ（ｔ）と称する。同様に、輝度差分演算部３３１は、時点［ｔ−１］における撮像画像Ｐ（ｔ−１）をグレースケールに変換する処理を行い、時点［ｔ−１］におけるグレー画像ＧＰ（ｔ−１）を生成する。具体的には、本処理では、画像データから抽出した輝度データに基づいてグレースケール画像を生成する。なお、その他の公知の方法を用いて、グレースケール画像を生成してもよい。
The captured image acquired by the image acquisition unit 31 is usually a color image. The luminance
次いで、輝度差分演算部３３１は、グレー画像ＧＰ（ｔ−１）とグレー画像ＧＰ（ｔ）との差分画像を生成する（Ｓ３Ａ２）。時点［ｔ］に関して生成した差分画像を差分画像ＤＰ（ｔ）と称する。具体的には、この差分画像ＤＰ（ｔ）は、グレー画像ＧＰ（ｔ−１）とグレー画像ＧＰ（ｔ）とについて画素毎に輝度差を算出し、算出した輝度差が各画素に対応付けられて表される。
Next, the luminance
次いで、輝度差分演算部３３１は、差分画像ＤＰ（ｔ）における各画素について、二値化処理を行う（Ｓ３Ａ３）。具体的には、或る画素における輝度差が所定の閾値（二値化基準値）以上である場合、当該画素の画素値を「１」（例えば白）とし、上記閾値未満である場合に当該画素の画素値を「０」（例えば黒）とする。差分画像ＤＰ（ｔ）について二値化処理を行うことにより生成した画像を二値化画像ＢＰ（ｔ）と称する。
Next, the luminance
次いで、輝度差分演算部３３１は、二値化画像ＢＰ（ｔ）について膨張処理を実行する（Ｓ３Ａ４）。例えば、膨張処理は、３×３のマトリクスの中心画素について、該中心画素の周囲の８個の画素のうち、「１」の画素値を有する画素が１個でも存在する場合、該中心画素の画素値を「１」とする処理である。この膨張処理は複数回実行されてもよい。
Next, the luminance
輝度差分演算部３３１は、上記膨張処理後の画像について、収縮処理を実行する（Ｓ３Ａ５）。例えば、収縮処理は、３×３のマトリクスの中心画素について、該中心画素の周囲の８個の画素のうち、「０」の画素値を有する画素が１個でも存在する場合、該中心画素の画素値を「０」とする処理である。この収縮処理は、上記膨張処理と同じ回数実行されてもよく、膨張処理の回数と収縮処理の回数とは互いに異なっていてもよい。上記膨張処理および収縮処理におけるフィルタサイズ（上記マトリクスの大きさ）は、例えば３×５のサイズであってもよく、その他のサイズであってもよい。
The luminance
そして、輝度差分演算部３３１は、上記収縮処理後の画像について、補間処理を実行する（Ｓ３Ａ６）。この補間処理とは、例えば以下のような処理である。すなわち、例えば「１」の画素値を有する画素が連続（隣接）している領域を領域ａ１とし、画像中の領域ａ１内において「０」の画素値を有する画素からなる領域ａ２が部分的に存在するとする。この領域ａ２は、換言すれば、領域ａ１の画素にて囲まれている狭小領域である。この場合、領域ａ２を形成する画素について画素値が「１」となるように補間処理を行う。これにより、領域ａ１中の抜けとなっている領域ａ２を埋めることができる。
Then, the luminance
本明細書において、輝度差分演算部３３１による処理後の画像を第１の処理後画像ＴＰ１と称する。上記のような処理によって得られた第１の処理後画像ＴＰ１では、各画素の値が「１」または「０」となっている。第１の処理後画像ＴＰ１の一例について、画素値が「１」を「白」、画素値が「０」を「黒」で表して、全画素を一望するように可視化（図示）したものを図４の（ｂ）に示す。
In the present specification, the image after processing by the luminance
図４の（ｂ）に示すように、第１の処理後画像ＴＰ１は、輝度差分演算部３３１による処理によって抽出された領域であって、輝度差分が比較的大きく、移動物体を示す蓋然性の高い領域（移動領域ＭＡ）を含む。本実施形態では、移動領域ＭＡは、第１の処理後画像ＴＰ１において「１」の画素値を有する画素が連続（隣接）している領域である。本明細書において、画像中の各画素について、どの（何れの）移動領域ＭＡに属している画素か、またはどの移動領域にも属していない画素か、を示す情報を、移動領域情報と称することがある。図４の（ｂ）に示す第１の処理後画像ＴＰ１は、４つの移動領域ＭＡを含む。
As shown in FIG. 4B, the first processed image TP1 is a region extracted by processing by the luminance
（Ｓ３Ａの補記事項）
上記Ｓ３Ａ１〜Ｓ３Ａ６の処理においては、縮小処理によって上述の第１の画素数（カメラ２１の出力サイズ）よりも縮小した第２の画素数を有する画像を用いることが好ましい。この縮小処理は、例えば画像取得部３１または輝度差分演算部３３１によって行われてよい。これにより、輝度差分演算部３３１による処理効率を向上させることができる。このような縮小処理は、公知の手法を用いて行うことができる。
(Supplementary information for S3A)
In the processing of S3A1 to S3A6, it is preferable to use an image having a second pixel number reduced from the above-mentioned first pixel number (output size of the camera 21) by the reduction processing. This reduction process may be performed by, for example, the image acquisition unit 31 or the luminance
（Ｓ３Ｂ．オプティカルフロー演算）
上記輝度差分演算処理と並行して、オプティカルフロー演算部３３２は、２枚の撮像画像を用いて、オプティカルフロー演算処理を実行し、画像中の各画素のオプティカルフローを算出する（Ｓ３Ｂ：オプティカルフロー演算ステップ）。オプティカルフロー演算部３３２は、２枚の撮像画像として、前述の輝度差分演算処理と時間的に対応する時点のデータを用いる。典型的には、輝度差分演算部３３１と同様に、カラー画像である撮像画像Ｐ（ｔ）および撮像画像Ｐ（ｔ−１）を用いる。しかし、輝度差分演算部３３１におけるグレースケール変換処理Ｓ３Ａ１により生成したグレー画像ＧＰ（ｔ）およびグレー画像ＧＰ（ｔ−１）を用いてもよい。
(S3B. Optical flow calculation)
In parallel with the luminance difference calculation process, the optical
オプティカルフローとは、２枚の画像を用いてオプティカルフロー演算処理を行うことにより得られる、画素毎の動きの向き（方向）および大きさを表した見掛け上のベクトルデータである。換言すれば、２枚の画像データにおける類似パターンの移動量及び移動方向に基づいてオプティカルフローが算出される。このようなオプティカルフローを算出する演算処理としては、公知の手法（例えばGunnar-Farneback法、Horn-Schunck法、等）を用いることができる。したがって、オプティカルフローを算出する演算処理の詳細については、記載の冗長化を避けるために説明を省略する。 The optical flow is apparent vector data representing the direction (direction) and magnitude of movement for each pixel, which is obtained by performing an optical flow calculation process using two images. In other words, the optical flow is calculated based on the movement amount and movement direction of similar patterns in the two image data. As an arithmetic process for calculating such an optical flow, a known method (for example, Gunnar-Farneback method, Horn-Schunck method, etc.) can be used. Therefore, the details of the arithmetic processing for calculating the optical flow will be omitted in order to avoid the redundancy of the description.
ここで、オプティカルフロー演算部３３２は、所定の基準角度規則に基づいて、オプティカルフローにおける「（動きの）方向」を示す値を算出する。この所定の基準角度規則について、図５を用いて以下に説明する。図５の（ａ）は、カメラ２１による撮像画像の一例を示す図である。撮像画像Ｐ０は、乗場２の方向にレンズを向けてエレベータのかご２０内に設けられたカメラ２１により撮像された画像であり、画像における下側にかご２０が位置するような向きで置かれている。図５の（ｂ）は、所定の基準角度規則について説明するための図である。
Here, the optical
図５の（ａ）では、乗場２に移動物体が存在しない状態の撮像画像Ｐ０を示しており、そのため、撮像画像Ｐ０は、上述の時点［ｔ］における撮像画像Ｐ（ｔ）とは乗場２の状況が異なっている。この撮像画像Ｐ０を例示して、所定の基準角度規則について説明する。
FIG. 5A shows a captured image P0 in a state where no moving object exists in the
先ず、ドア開閉路２４（図１６を参照）に対応する、撮像画像Ｐ０上の線分を「開閉範囲線分」と規定する。なお、撮像画像Ｐ０上でドア開閉路２４が多少湾曲している場合、直線状となるように近似して得られた線分を開閉範囲線分とすればよい。
First, the line segment on the captured image P0 corresponding to the door opening / closing path 24 (see FIG. 16) is defined as the “opening / closing range line segment”. When the door opening /
そして、図５の（ｂ）に示すように、開閉範囲線分の中心点を原点Ｏ、開閉範囲線分に沿った直線をｘ軸と規定する。また、開閉範囲線分に垂直かつ原点Ｏを通る直線をｙ軸と規定する。 Then, as shown in FIG. 5B, the center point of the opening / closing range line segment is defined as the origin O, and the straight line along the opening / closing range line segment is defined as the x-axis. Further, a straight line perpendicular to the opening / closing range line segment and passing through the origin O is defined as the y-axis.
原点Ｏからかご２０内に向かう方向をｙ軸の正方向とし、原点Ｏから乗場２に向かう方向をｙ軸の負方向とする。そして、ｙ軸の正方向に対し、時計回りに９０°回転した方向をｘ軸の正方向とする。また、ｙ軸の正方向に対し、反時計回りに９０°回転した方向をｘ軸の負方向とする。
The direction from the origin O to the inside of the
以下、本明細書において、繰り返して定義しないが、開閉範囲線分、ｘ軸、ｙ軸、および原点Ｏは、格別の記載が無い限り上記のことと同様の意味にて使用する。 Hereinafter, although not repeatedly defined in the present specification, the opening / closing range line segment, the x-axis, the y-axis, and the origin O are used in the same meaning as described above unless otherwise specified.
本実施形態における所定の基準角度規則は、ｘ軸の正方向を０°の角度とし、反時計回りに３６０°の角度を規定する。すなわち、ｙ軸の正方向が９０°、ｘ軸の負方向が１８０°、ｙ軸の負方向が２７０°の角度となっている。 The predetermined reference angle rule in the present embodiment defines the positive direction of the x-axis as an angle of 0 ° and the angle of 360 ° counterclockwise. That is, the positive direction of the y-axis is 90 °, the negative direction of the x-axis is 180 °, and the negative direction of the y-axis is 270 °.
オプティカルフロー演算部３３２は、このような基準角度規則を用いて、画像における各画素について「（動きの）方向」を示す値（以下、オプティカルフロー方向値と称することがある）を決定する。これにより、画像における各画素にオプティカルフローが対応付けられる。本明細書において、オプティカルフローは、「（動きの）大きさ」を示す値および角度で表されたオプティカルフロー方向値にて表される。なお、オプティカルフロー方向値を決定する処理においては、画像中の各画素について、処理対象とする画素を原点Ｏであるとして上記基準角度規則を適用する。換言すれば、本実施形態における所定の基準角度規則は、極座標における始線（０°方向）を上記ｘ軸の正方向に固定し、画像中の各画素を原点Ｏ（極）として、各画素の動きの方向を示す偏角をオプティカルフロー方向値として求めるように規定されている。本実施形態において、オプティカルフロー方向値は、画素における「（動きの）方向」が、上記基準角度規則に基づいて１°の角度の分解能で角度の値として表されたものである。なお、オプティカルフロー方向値は、例えば数°の角度の分解能にて表されていてもよく、この場合、例えば１°以上３°未満のように表されていてもよい。
The optical
そして、オプティカルフロー演算部３３２は、画像における各画素について、オプティカルフローを分類し、画素方向情報（詳しくは後述）を対応付ける。ここで、上記画素方向情報は、各画素について、画素が本来有する画素値とは別の情報として対応付けられる。各画素について、上記画素方向情報を対応付ける具体的な方法は特に限定されない。
Then, the optical
具体的には、オプティカルフロー演算部３３２は、画像中の各画素について、オプティカルフローに基づいて５種類の値（無方向Ｇｒ０、近方向Ｇｒ１、右方向Ｇｒ２、離方向Ｇｒ３、左方向Ｇｒ４）のいずれかを画素方向情報として対応付ける。
Specifically, the optical
この分類処理およびその結果について図６を用いて以下に説明する。撮像画像Ｐ（ｔ）および撮像画像Ｐ（ｔ−１）を用いて算出したオプティカルフローに基づいて分類処理を行った結果、全画素のそれぞれに画素方向情報を対応付けた画像を第２の処理後画像ＴＰ２と称する。第２の処理後画像ＴＰ２は、画素方向情報として、下記の５種類の値の何れかが各画素に対応付けられている。第２の処理後画像ＴＰ２の一例について、各画素に対応付けられた画素方向情報の値の分布状況を一望するように（全画素を一望するように）可視化（図示）したものを図６に示す。「可視化（図示）」とは、例えばディスプレイに表示させたり、紙に印刷したりすることを意味する。 This classification process and the result thereof will be described below with reference to FIG. As a result of performing classification processing based on the optical flow calculated using the captured image P (t) and the captured image P (t-1), the image in which the pixel direction information is associated with each of all the pixels is subjected to the second processing. It is referred to as rear image TP2. In the second processed image TP2, any of the following five types of values is associated with each pixel as pixel direction information. FIG. 6 shows an example of the second processed image TP2 visualized (illustrated) so as to overlook the distribution state of the value of the pixel direction information associated with each pixel (so as to overlook all the pixels). show. "Visualization (illustration)" means, for example, displaying on a display or printing on paper.
無方向Ｇｒ０：オプティカルフロー演算部３３２は、画素のオプティカルフローにおける「（動きの）大きさ」を示す値が「０」または「所定値以下」の場合、動きの無い（非常に少ない）画素であることから、該画素に画素方向情報として無方向Ｇｒ０を対応付ける。この所定値（所定の動きの大きさ基準値）は、極めて小さい値に設定されていてもよい。図６において、無方向Ｇｒ０の画素方向情報が対応付けられた画素が連続して存在する領域を「黒」で示している。
Non-directional Gr0: The optical
また、画素のオプティカルフローにおける「（動きの）大きさ」を示す値の大きさが所定値を超える場合、該画素は、オプティカルフロー方向値に基づいて以下の４種類の値（近方向Ｇｒ１、右方向Ｇｒ２、離方向Ｇｒ３、左方向Ｇｒ４）のいずれかが画素方向情報として対応付けられる。 When the magnitude of the value indicating "(movement) magnitude" in the optical flow of the pixel exceeds a predetermined value, the pixel has the following four types of values (near direction Gr1, Gr1) based on the optical flow direction value. Any one of the right direction Gr2, the release direction Gr3, and the left direction Gr4) is associated as the pixel direction information.
近方向Ｇｒ１：オプティカルフロー演算部３３２は、画素のオプティカルフロー方向値が３０°以上１５０°未満の場合、乗場２からかご２０に向かう移動方向のオプティカルフローを有する画素であることから、該画素に画素方向情報として近方向Ｇｒ１を対応付ける。換言すれば、オプティカルフロー演算部３３２は、上記移動方向（第１の方向）に相当する角度範囲内にある場合、オプティカルフローを上記第１の方向を示す画素方向情報（近方向Ｇｒ１）に分類する。図６において、近方向Ｇｒ１の画素方向情報が対応付けられた画素が連続して存在する領域を「４５°クロス形」のハッチングで示している。
When the optical flow direction value of the pixel is 30 ° or more and less than 150 °, the near direction Gr1: optical
右方向Ｇｒ２：オプティカルフロー演算部３３２は、画素のオプティカルフロー方向値が１５０°以上２１０°未満の場合、乗場２を右に通過する（乗場２においてかご２０の前を横切るようにｘ軸の負方向に通過する）移動方向のオプティカルフローを有する画素であることから、該画素に画素方向情報として右方向Ｇｒ２を対応付ける。換言すれば、オプティカルフロー演算部３３２は、上記移動方向（第３の方向）に相当する角度範囲内にある場合、オプティカルフローを上記第３の方向を示す画素方向情報（右方向Ｇｒ２）に分類する。図６において、右方向Ｇｒ２の画素方向情報が対応付けられた画素が連続して存在する領域を「不規則縞形」のハッチングで示している。
Right direction Gr2: The optical
離方向Ｇｒ３：オプティカルフロー演算部３３２は、画素のオプティカルフロー方向値が２１０°以上３３０°未満の場合、かご２０から離れる（かご２０から乗場２に向かう）移動方向のオプティカルフローを有する画素であることから、該画素に画素方向情報として離方向Ｇｒ３を対応付ける。換言すれば、オプティカルフロー演算部３３２は、上記移動方向（第２の方向）に相当する角度範囲内にある場合、オプティカルフローを上記第２の方向を示す画素方向情報（離方向Ｇｒ３）に分類する。図６において、離方向Ｇｒ３の画素方向情報が対応付けられた画素が連続して存在する領域を「斜線形」のハッチングで示している。
Separation direction Gr3: The optical
左方向Ｇｒ４：オプティカルフロー演算部３３２は、画素のオプティカルフロー方向値が３３０°以上３６０°未満、または０°以上３０°未満の場合、乗場２を左に通過する（乗場２においてかご２０の前を横切るようにｘ軸の正方向に通過する）移動方向を有する画素であることから、該画素に画素方向情報として左方向Ｇｒ４を対応付ける。換言すれば、オプティカルフロー演算部３３２は、上記移動方向（第４の方向）に相当する角度範囲内にある場合、オプティカルフローを上記第４の方向を示す画素方向情報（左方向Ｇｒ４）に分類する。図６において、左方向Ｇｒ４の画素方向情報が対応付けられた画素が連続して存在する領域を「ドット形」のハッチングで示している。
Leftward Gr4: The optical
以上のようなオプティカルフロー演算部３３２による処理の結果、得られる第２の処理後画像ＴＰ２は、画素方向情報として上述の５種類の値の何れかが各画素に対応付けられている。
In the second processed image TP2 obtained as a result of the processing by the optical
なお、画素方向情報は、画像中の各画素についてオプティカルフロー演算部３３２により算出したオプティカルフローを、「（動きの）大きさ」を示す値に基づいて分類した情報であるとともに、「（動きの）方向」についてオプティカルフロー方向値よりも大きい角度の分解能にて分類した情報であればよく、具体的な態様は特に限定されない。
The pixel direction information is information obtained by classifying the optical flow calculated by the optical
（Ｓ３Ｂの補記事項）
上述のＳ３Ｂの処理においては、上記第１の画素数（カメラ２１の出力サイズ）よりも縮小した第３の画素数を有する画像を用いることが好ましい。また、上記第３の画素数は、上述の輝度差分ステップＳ３Ａにて用いた画像における第２の画素数よりも小さいことが好ましい。これにより、オプティカルフロー演算部３３２による処理効率を向上させることができる。
(Supplementary information for S3B)
In the above-mentioned processing of S3B, it is preferable to use an image having a third number of pixels smaller than the number of first pixels (output size of the camera 21). Further, the number of the third pixels is preferably smaller than the number of the second pixels in the image used in the above-mentioned luminance difference step S3A. As a result, the processing efficiency of the optical
（物体候補領域設定）
再び図１および図３を参照して、Ｓ３ＡおよびＳ３Ｂの処理が行われた後、物体候補領域設定部３３３は、以下のような処理を行うことにより物体候補領域を設定する（Ｓ４：物体候補領域設定ステップ）。
(Object candidate area setting)
After the processing of S3A and S3B is performed with reference to FIGS. 1 and 3 again, the object candidate
物体候補領域設定部３３３は、第１の処理後画像ＴＰ１を縮小処理した画像ＴＰ１’と、第２の処理後画像ＴＰ２とを重ね合わせることにより、１つの画像として生成する。この生成した画像を第３の処理後画像ＴＰ３と称する。第３の処理後画像ＴＰ３は、全画素のそれぞれに、移動領域情報および画素方向情報（無方向Ｇｒ０〜左方向Ｇｒ４）が対応付けられた画像である。第３の処理後画像ＴＰ３の一例について、各画素に対応付けられた移動領域情報に基づいて何れかの移動領域に属していると識別された複数の画素を対象として、画素方向情報の値の分布状況を一望するように可視化（図示）したものを図７に示す。図７では、どの移動領域にも属していない画素については、画素方向情報の分布状況を可視化しておらず、黒塗りにて表している。
The object candidate
以下、図７を参照して、第３の処理後画像ＴＰ３に含まれる物体候補領域について説明する。物体候補領域は、画像中の各移動領域について、該移動領域に含まれる各画素に画素方向情報が対応付けられたものである。この例では、第３の処理後画像ＴＰ３は、画像中の左から右に向かって順に、４つの物体候補領域ＯＣＡ１〜ＯＣＡ４を含む。そして、物体候補領域設定部３３３は、各物体候補領域ＯＣＡについて、以下のように部分領域を特定する。
Hereinafter, the object candidate region included in the third processed image TP3 will be described with reference to FIG. 7. The object candidate region is one in which pixel direction information is associated with each pixel included in the moving region for each moving region in the image. In this example, the third processed image TP3 includes four object candidate regions OCA1 to OCA4 in order from left to right in the image. Then, the object candidate
すなわち、物体候補領域設定部３３３は、物体候補領域ＯＣＡにおいて、無方向以外の同一の画素方向情報を有する画素が連続する領域を部分領域ＰＡとして設定する。本明細書において、各部分領域ＰＡに対応付けられる方向情報を部分方向情報と称する。物体候補領域設定部３３３は、例えば、或る部分領域ＰＡを構成する複数の画素が有する画素方向情報（値）を、該部分領域ＰＡの部分方向情報（値）にコピーする。
That is, the object candidate
例えば、物体候補領域ＯＣＡ２は、画像中で比較的大きい領域（画素数）を占める離方向Ｇｒ３の部分方向情報を有する部分領域ＰＡ２１、比較的狭い領域（画素数）を占める左方向Ｇｒ４の部分方向情報を有する部分領域ＰＡ２２、等を含む。また、物体候補領域ＯＣＡ４は、画像中で比較的大きい領域（画素数）を占める、離方向Ｇｒ３の部分方向情報を有する部分領域ＰＡ４１および左方向Ｇｒ４の部分方向情報を有する部分領域ＰＡ４２を含む。 For example, the object candidate region OCA2 is a partial region PA21 having partial direction information of the separation direction Gr3 occupying a relatively large region (number of pixels) in the image, and a partial direction of the left direction Gr4 occupying a relatively narrow region (number of pixels). Includes a partial region PA22, etc. with information. Further, the object candidate region OCA4 includes a partial region PA41 having partial direction information in the separation direction Gr3 and a partial region PA42 having partial direction information in the left direction Gr4, which occupy a relatively large region (number of pixels) in the image.
（Ｓ４の補記事項）
上述のＳ４の処理においては、上記画像ＴＰ１’は、上記第１の画素数または上記第２の画素数を有する画像をさらに縮小した上記第３の画素数を有する画像とし、第２の処理後画像ＴＰ２についても、上記第１の画素数を有する画像を縮小した上記第３の画素数を有する画像とすることが好ましい。上記第３の画素数を有する、画像ＴＰ１’および第２の処理後画像ＴＰ２を重ね合わせることにより、上記第３の画素数を有する第３の処理後画像ＴＰ３を生成する。これにより、物体候補領域設定部３３３による処理効率を向上させることができる。
(Supplementary information for S4)
In the above-mentioned processing of S4, the above-mentioned image TP1'is an image having the above-mentioned third number of pixels, which is obtained by further reducing the image having the above-mentioned first number of pixels or the above-mentioned second number of pixels, and after the second processing. As for the image TP2, it is preferable that the image having the first number of pixels is reduced to the image having the third number of pixels. By superimposing the image TP1'and the second post-processed image TP2 having the third pixel number, the third post-processed image TP3 having the third pixel number is generated. As a result, the processing efficiency of the object candidate
また、Ｓ４以降の処理では、上記第３の画素数を有する画像を用いることが好ましい。これにより、Ｓ４以降の、画像処理装置３０および制御装置４０の各部にて行われる処理の効率を向上させることができる。
Further, in the processing after S4, it is preferable to use the image having the third number of pixels. Thereby, the efficiency of the processing performed in each part of the
（移動物体・方向決定）
次いで、決定処理部３３４は、各物体候補領域ＯＣＡ１〜４について、各物体候補領域ＯＣＡに含まれる部分領域ＰＡの数および大きさ、並びに物体候補領域ＯＣＡに含まれる画素の画素方向情報の分布状態に基づいて、物体候補領域ＯＣＡおよび部分領域ＰＡのいずれか一方を、画像中に含まれる移動物体の像を示すとともに、該移動物体の移動方向を示す情報を有する移動物体領域として決定する処理（移動物体・方向決定処理）を行う（Ｓ５：決定処理ステップ）。この処理について、図８を用いて以下に説明する。図８は、移動物体・方向決定処理の流れの一例を示すフローチャートである。
(Moving object / direction determination)
Next, the
図８に示すように、先ず、決定処理部３３４は、処理対象とする物体候補領域ＯＣＡを選択し（Ｓ５０）、選択した物体候補領域ＯＣＡに含まれる画素数が所定値Ｖ１（第１の大きさ基準値）よりも小さい場合（Ｓ５１でＮＯ）、該物体候補領域ＯＣＡは移動物体を示すものではないと判定する（Ｓ５２）。この所定値Ｖ１としては、適宜設定されてよい。第３の処理後画像ＴＰ３は、比較的小さい上記第３の画素数を有する。所定値Ｖ１は、このような第３の処理後画像ＴＰ３において、例えば、カメラ２１から或る程度遠方に位置する子供の像を抽出できるような大きさ（画素数）に設定されることが好ましい。所定値Ｖ１は、本明細書において後述する乗車意思の判定領域の大きさに対応して適切な値に設定されてもよい。
As shown in FIG. 8, first, the
また、決定処理部３３４は、選択した物体候補領域ＯＣＡに含まれる画素数が所定値Ｖ１以上の場合（Ｓ５１でＹＥＳ）において、下記（ｉ）〜（ｉｉｉ）のような３通りの処理を行う。
Further, when the number of pixels included in the selected object candidate region OCA is a predetermined value V1 or more (YES in S51), the
（ｉ）物体候補領域ＯＣＡに所定値Ｖ２（第２の大きさ基準値）以上の大きさ（画素数）の部分領域ＰＡが含まれていない場合（Ｓ５３で０個）、決定処理部３３４は、該物体候補領域ＯＣＡについて、移動物体を示す領域（以下、移動物体領域ＭＯＡと称する）であると決定する。そして、該移動物体領域ＭＯＡにて示される移動物体の実空間における移動方向が特定されないと判定し、該移動物体領域ＭＯＡの有する方向情報として無方向Ｇｒ０を対応付ける（Ｓ５４）。本明細書において、移動物体領域ＭＯＡに対応付けられる方向情報を「物体方向情報」と称する。ここでは、決定処理部３３４は、物体候補領域ＯＣＡに含まれる部分領域ＰＡの部分方向情報（値）に関わらず、移動物体領域ＭＯＡに無方向Ｇｒ０の物体方向情報を対応付ける（設定する）。
(I) When the object candidate area OCA does not include a partial area PA having a size (number of pixels) equal to or larger than a predetermined value V2 (second size reference value) (0 in S53), the
なお、上記所定値Ｖ２と、上記所定値Ｖ１とは同じ値であってよく、互いに異なっていてもよい。所定値Ｖ２についても、上記所定値Ｖ１と同様の観点から、適切な大きさに設定される。 The predetermined value V2 and the predetermined value V1 may be the same value or may be different from each other. The predetermined value V2 is also set to an appropriate size from the same viewpoint as the predetermined value V1.
（ｉｉ）物体候補領域ＯＣＡが所定値Ｖ２以上の大きさの部分領域ＰＡを１個のみ含んでいる場合（Ｓ５３で１個）、決定処理部３３４は、該物体候補領域ＯＣＡを移動物体領域ＭＯＡであると決定するとともに、所定値Ｖ２以上の大きさの部分領域ＰＡの部分方向情報をコピーして、該移動物体領域ＭＯＡの物体方向情報とする（Ｓ５５）。
(Ii) When the object candidate region OCA includes only one partial region PA having a size of a predetermined value V2 or more (one in S53), the
（ｉｉｉ）物体候補領域ＯＣＡが所定値Ｖ２以上の部分領域ＰＡを２個以上含んでいる場合（Ｓ５３で２個以上）、決定処理部３３４は、以下の処理を行う。すなわち、先ず、該物体候補領域ＯＣＡに含まれる全画素について、同じ画素方向情報を有する画素の数を算出する。次いで、処理の対象とする物体候補領域ＯＣＡの全画素数に対する、物体候補領域ＯＣＡ中の同じ画素方向情報を有する画素の数、の比を各画素方向情報（本実施形態では近方向Ｇｒ１〜左方向Ｇｒ４のそれぞれ）について算出する。ここで、物体候補領域ＯＣＡ中の同じ画素方向情報を有する画素の数を算出する場合、孤立した画素、異なる部分領域ＰＡに分散した画素、等に関わらず、物体候補領域ＯＣＡ中に含まれる全画素について算出する。
(Iii) When the object candidate region OCA includes two or more partial region PAs having a predetermined value V2 or more (two or more in S53), the
算出した上記比が所定の割合Ｒ１以上となる画素方向情報（近方向Ｇｒ１〜左方向Ｇｒ４のいずれか）が存在する場合（Ｓ５６でＹＥＳ）、該物体候補領域ＯＣＡの全体を１つの移動物体領域ＭＯＡであると決定するとともに、上記比が所定の割合Ｒ１以上である画素方向情報をコピーして、該移動物体領域ＭＯＡの物体方向情報とする（Ｓ５７）。具体的には、例えば、物体候補領域ＯＣＡに含まれる全画素に対する、近方向Ｇｒ１の画素方向情報を有する画素の数の比が所定の割合Ｒ１以上である場合、該物体候補領域ＯＣＡの全体を、近方向Ｇｒ１の物体方向情報を有する移動物体領域ＭＯＡであると決定する。なお、上記所定の割合Ｒ１の具体的な値は、特に限定されないが、例えば０．５よりも大きい値である。 When there is pixel direction information (any of near-direction Gr1 to left-direction Gr4) in which the calculated ratio is equal to or greater than a predetermined ratio R1 (YES in S56), the entire object candidate area OCA is used as one moving object area. It is determined that the MOA is used, and the pixel direction information having the ratio of R1 or more is copied and used as the object direction information of the moving object region MOA (S57). Specifically, for example, when the ratio of the number of pixels having the pixel direction information of the near direction Gr1 to all the pixels included in the object candidate region OCA is a predetermined ratio R1 or more, the entire object candidate region OCA is used. , It is determined that the moving object region MOA has the object direction information of the near direction Gr1. The specific value of the predetermined ratio R1 is not particularly limited, but is, for example, a value larger than 0.5.
或いは、算出した上記比が所定の割合Ｒ１以上となる画素方向情報が存在しない場合（Ｓ５６でＮＯ）、所定値Ｖ２以上の大きさの部分領域ＰＡをそれぞれ個別の移動物体領域ＭＯＡであると決定する（Ｓ５８）。そして、移動物体領域ＭＯＡの物体方向情報として、該移動物体領域ＭＯＡに対応する部分領域ＰＡの部分方向情報をコピーする。なお、上記の処理によれば、「所定値Ｖ２未満の大きさの部分領域ＰＡ」および「孤立した画素」については、移動物体領域ＭＯＡであると決定されない。 Alternatively, when there is no pixel direction information in which the calculated ratio is equal to or greater than a predetermined ratio R1 (NO in S56), it is determined that each partial region PA having a predetermined value V2 or more is an individual moving object region MOA. (S58). Then, as the object direction information of the moving object area MOA, the partial direction information of the partial area PA corresponding to the moving object area MOA is copied. According to the above processing, the "partial region PA having a size less than the predetermined value V2" and the "isolated pixel" are not determined to be the moving object region MOA.
次いで、決定処理部３３４は、全ての物体候補領域ＯＣＡについて処理を行っていない場合（Ｓ５９でＮＯ）、未処理の物体候補領域ＯＣＡについて上記Ｓ５０からの処理を実行する。決定処理部３３４は、全ての物体候補領域ＯＣＡについて処理を行った場合（Ｓ５９でＹＥＳ）、移動物体・方向決定処理を終了する。
Next, when the
決定処理部３３４による処理後の画像を第４の処理後画像ＴＰ４と称し、第４の処理後画像ＴＰ４中における移動物体の像を示す領域を移動物体領域ＭＯＡと称する。第４の処理後画像ＴＰ４の一例について、各画素に対応付けられた物体方向情報の値の分布状況を一望するように可視化したものを図９に示す。図９では、どの移動物体領域ＭＯＡにも属していない画素については、物体方向情報を有していないため、黒塗りにて表している。
The image after processing by the
図９に示すように（図７も参照）、例えば、移動物体領域ＭＯＡ２は、処理前の物体候補領域ＯＣＡ２に対応し、部分領域ＰＡ２１における離方向Ｇｒ３の部分方向情報がコピーされた物体方向情報を有している。また、移動物体領域ＭＯＡ４は、処理前の物体候補領域ＯＣＡ４における離方向Ｇｒ３の部分方向情報を有する部分領域ＰＡ４１に対応し、離方向Ｇｒ３の物体方向情報を有している。移動物体領域ＭＯＡ５は、処理前の物体候補領域ＯＣＡ４における左方向Ｇｒ４の部分方向情報を有する部分領域ＰＡ４２に対応し、左方向Ｇｒ４の物体方向情報を有している。例えば、前述の第１の処理後画像ＴＰ１において、物体候補領域ＯＣＡ４に対応する移動領域ＭＡ（図４の（ｂ）における右側の移動領域ＭＡ）は、異なる方向に移動する２つの移動物体が重なった状態を示す撮像画像に対して輝度差分演算部３３１による処理が行われて、部分領域ＰＡ４１および部分領域ＰＡ４２を含む１つの移動領域ＭＡとして検出された蓋然性が高い。
As shown in FIG. 9 (see also FIG. 7), for example, the moving object region MOA2 corresponds to the object candidate region OCA2 before processing, and the object direction information in which the partial direction information of the separation direction Gr3 in the partial region PA21 is copied is copied. have. Further, the moving object region MOA4 corresponds to the partial region PA41 having the partial direction information of the separation direction Gr3 in the object candidate region OCA4 before processing, and has the object direction information of the separation direction Gr3. The moving object region MOA5 corresponds to the partial region PA42 having the partial direction information of the left direction Gr4 in the object candidate region OCA4 before processing, and has the object direction information of the left direction Gr4. For example, in the above-mentioned first processed image TP1, the moving area MA corresponding to the object candidate area OCA4 (the moving area MA on the right side in FIG. 4B) overlaps two moving objects moving in different directions. It is highly probable that the captured image showing the state is processed by the luminance
（Ｓ５の補記事項）
例えば、上記第２の画素数は上記第１の画素数の４分の１であり、上記第３の画素数は上記第２の画素数の４分の１である。このように、各部における処理に適した画素数（処理に要求される情報量）となるように縮小処理を適宜行うことによれば、各部の処理効率を効果的に向上させることができる。換言すれば、本発明の一態様における画像処理装置３０における移動物体決定部３３では、画素数を適宜低減した画像を用いて各部の処理を効率的に実行し、移動物体領域ＭＯＡを決定することができる。
(Supplementary information for S5)
For example, the number of the second pixels is one-fourth of the number of the first pixels, and the number of the third pixels is one-fourth of the number of the second pixels. As described above, the processing efficiency of each part can be effectively improved by appropriately performing the reduction processing so that the number of pixels (the amount of information required for the processing) is suitable for the processing in each part. In other words, the moving
（小括１）
以上のように、本実施形態における画像処理装置３０は、エレベータの乗場２をカメラ２１にて撮像した画像を取得する画像取得部３１と、所定の時間差を有する２つの時点のそれぞれにて前記画像を撮像して得られた２枚の前記画像について輝度の差分に基づく演算処理を行うことにより、前記画像における動きの有る移動領域ＭＡに関する移動領域情報を生成する輝度差分演算部３３１と、を備えている。そして、画像処理装置３０は、前記移動領域情報に対応する前記２つの時点における２枚の前記画像についてオプティカルフロー演算処理を行うことにより、前記画像中の各画素のオプティカルフローを算出するオプティカルフロー演算部３３２を備えている。さらに、画像処理装置３０は、前記移動領域情報と、各画素の前記オプティカルフローを分類した画素方向情報と、を用いて、移動領域ＭＡ内の各画素に前記画素方向情報が対応付けられてなる物体候補領域ＯＣＡを設定する物体候補領域設定部３３３を備えている。その上、画像処理装置３０は、物体候補領域ＯＣＡにおいて、同一の前記画素方向情報を有する画素が連続する領域を部分領域ＰＡとし、物体候補領域ＯＣＡおよび部分領域ＰＡのいずれか一方を、乗場２に存在する移動物体１に対応する像を前記画像中にて示す移動物体領域ＭＯＡとして決定する決定処理部３３４を備えている。
(Summary 1)
As described above, the
ここで、従来、エレベータの利用者を検知する技術として、画像処理によって画像中に動きの有る移動領域を検出する処理が行われることがある。しかし、エレベータの乗場の状況によっては、利用者を適切に検知できない場合がある。例えば、或る移動領域における領域全体の移動方向が同一であるとは限らず、そのような状況として具体的には、或る移動領域に複数人の利用者が含まれている場合等が挙げられる。 Here, conventionally, as a technique for detecting an elevator user, a process of detecting a moving region having motion in an image may be performed by image processing. However, depending on the elevator landing conditions, it may not be possible to properly detect the user. For example, the moving directions of the entire area in a certain moving area are not always the same, and a specific example of such a situation is a case where a certain moving area includes a plurality of users. Be done.
本実施形態における画像処理装置３０では、上記の構成によれば、物体候補領域設定部３３３は、画像中の各移動領域ＭＡについて、オプティカルフローを分類した画素方向情報が各画素に対応付けられてなる物体候補領域ＯＣＡを設定する。このような物体候補領域ＯＣＡは、異なる種類の画素方向情報を有する複数の部分領域ＰＡを含み得る。物体候補領域ＯＣＡは、例えば、画像中において、或る人物と別方向に移動する人物とが重なっている場合、各部分領域ＰＡの画素方向情報の違いに基づいてそれらの人物を識別できるように設定することができる。すなわち、決定処理部３３４は、部分領域ＰＡを移動物体領域ＭＯＡとして決定することができ、これにより、例えば、移動領域ＭＡとしては１つの移動物体１であるように見えても実際には複数の移動物体１が含まれる場合に、それら複数の移動物体１の像を示す移動物体領域ＭＯＡを適切に検出することができる。
In the
一方で、例えば、或る人物の体の一部分（腕や足等）が、該人物の移動方向とは異なる移動方向を有する部分領域ＰＡとして物体候補領域ＯＣＡに含まれている場合がある。このような場合、決定処理部３３４は、そのような物体候補領域ＯＣＡを移動物体領域ＭＯＡとして決定することができ、これにより、部分領域ＰＡの情報に基づけば物体候補領域ＯＣＡに複数の移動物体１が含まれるように見える場合においても、１つの移動物体領域ＭＯＡとして適切に検出することができる。
On the other hand, for example, a part of a person's body (arms, legs, etc.) may be included in the object candidate area OCA as a partial area PA having a moving direction different from the moving direction of the person. In such a case, the
また、物体候補領域設定部３３３は、画像中において、かご２０からの距離に応じて様々であり得る移動物体１の像の大きさに関わらず、移動領域ＭＡと画素方向情報とを組み合わせることにより、物体候補領域ＯＣＡを設定することができる。その結果、物体候補領域ＯＣＡを用いて、移動物体１を示す可能性が高い領域を適切に検出することができる。そして、画像処理装置３０は、乗場２におけるかご２０からの距離（遠近）に関わらず、画像中から検出可能な限りの移動物体領域ＭＯＡを抽出することができる。
Further, the object candidate
また、前記オプティカルフローは、２枚の前記画像における対応する画素の、動きの大きさを示す値および動きの方向を示す値を含む。そして、本実施形態における画像処理装置３０は、前記オプティカルフローにおける動きの大きさを示す値が所定値以下の場合、該オプティカルフローを、無方向であることを示す前記画素方向情報（無方向Ｇｒ０）に分類する。部分領域ＰＡは、物体候補領域ＯＣＡにおいて、無方向Ｇｒ０以外の同一の前記画素方向情報を有する画素が連続する領域であってよい。
Further, the optical flow includes a value indicating the magnitude of movement and a value indicating the direction of movement of the corresponding pixels in the two images. Then, when the value indicating the magnitude of movement in the optical flow is equal to or less than a predetermined value, the
上記の構成によれば、部分領域ＰＡとして、無方向Ｇｒ０以外の同一の前記画素方向情報を有する画素が連続する領域が設定される。そして、決定処理部３３４は、１つの物体候補領域ＯＣＡについて、該物体候補領域ＯＣＡに含まれる部分領域ＰＡの数および画素の画素方向情報の分布状態に基づいて、移動物体領域ＭＯＡを決定する。これにより、画像中に含まれる、乗場２に存在する移動物体１に対応する像を示す移動物体領域ＭＯＡを、より適切に検出することができる。
According to the above configuration, as the partial region PA, a region in which pixels having the same pixel direction information other than the non-directional Gr0 are continuous is set. Then, the
本実施形態における画像処理装置３０では、移動物体領域ＭＯＡが、該移動物体領域ＭＯＡとして前記画像中にて示される像に対応する移動物体１の移動方向を示す物体方向情報を有することが好ましい。
In the
上記の構成によれば、決定処理部３３４は、物体候補領域ＯＣＡに含まれる各画素が有している画素方向情報に基づいて、物体方向情報を有するように移動物体領域ＭＯＡを決定することができる。したがって、物体方向情報を、移動物体１の乗車意思の推定に利用することができる。例えば、物体方向情報が、かご２０に向かう方向を示す情報であることを識別することにより、移動物体１が乗車意思ありと推定することができる。
According to the above configuration, the
また、例えば、従来、ブロック毎に輝度の差分を演算して、画像中の移動領域を検出する技術が知られている（例えば引用文献１を参照）。本実施形態における画像処理装置３０では、輝度差分演算部３３１は、所定の時間差の２枚の前記画像について、輝度の差分に基づく演算処理を画素毎に行ってもよい。この場合、ブロック単位よりも分解能を高くすることができ、画像中の比較的小さな移動物体（例えば、かご２０から比較的遠い位置の子供等）を移動物体領域ＭＯＡとして検出するための閾値（所定値Ｖ１、所定値Ｖ２等）を、適切に設定し易くすることができる。
Further, for example, conventionally, there is known a technique of calculating a difference in brightness for each block to detect a moving region in an image (see, for example, Cited Document 1). In the
以上のような画像処理装置３０にて行われる処理を含む、画像処理方法についても本発明の範疇に入る。
An image processing method including the processing performed by the
（変形例１）
（１ａ）輝度差分演算部３３１は、画像における所定範囲の画素をまとめて１ブロックとして、ブロック毎に輝度差を算出してもよい。この場合、差分画像ＤＰ（ｔ）は、算出した輝度差が各ブロックに対応付けられて表される。そして、上記Ｓ３Ａ３〜Ｓ３Ａ６の処理を行うことにより、移動領域ＭＡを設定することができる。
(Modification example 1)
(1a) The luminance
（１ｂ）また、輝度差分演算部３３１は、Ｓ３Ａ１〜Ｓ３Ａ６（図４参照）の処理全体の中で、Ｓ３Ａ４〜Ｓ３Ａ６については、二値化画像ＢＰにおいて移動領域ＭＡの輪郭を明確化するのが主目的なので、Ｓ３Ａ６（補間処理）の処理は省略してもよい。さらには、Ｓ３Ａ４〜Ｓ３Ａ５の処理も省略することができる。これは、輝度差分演算部３３１は、Ｓ３Ａ１〜Ｓ３Ａ３の処理だけでも、二値化画像ＢＰにおいて、移動領域ＭＡの輪郭を抽出することが可能だからである。
(1b) Further, in the entire processing of S3A1 to S3A6 (see FIG. 4), the luminance
（１ｃ）上述の実施形態では、画像における各画素について、オプティカルフローを分類し、画素方向情報を対応付ける処理をオプティカルフロー演算部３３２が行う例について説明したが、これに限定されない。例えば、物体候補領域設定部３３３が、オプティカルフローを分類し、画像における各画素に画素方向情報を対応付ける処理を行ってもよい。すなわち、オプティカルフロー演算部３３２および物体候補領域設定部３３３の何れか一方が、オプティカルフローを分類し、画像における各画素に画素方向情報を対応付ける処理を行う画素方向情報設定部としての機能を有していればよい。
(1c) In the above-described embodiment, an example in which the optical
（１ｄ）カメラ２１は、かご２０内に設けられていることに限定されない。例えば、乗場２の天井に設けられたカメラを利用してもよい。すなわち、カメラ２１は、乗場２の天井から床に向けた撮像視野であってもよく、その他の方向から乗場２に向けた撮像視野であってもよい。そのような配置のカメラ２１を用いる場合であっても、本実施形態にて上述したような技術思想に基づいて画像処理を行うことによって、移動物体領域ＭＯＡを決定することができる。
(1d) The
（１ｅ）上述の実施形態では、異なる時点における２枚の撮像画像を用いる例について説明したが、これに限定されない。輝度差分演算部３３１は、時点［ｔ］における撮像画像Ｐ（ｔ）と、予め撮像した背景画像とを用いて処理を行ってもよい。この場合、輝度差分演算部３３１は、背景差分法、統計的背景差分法、等を用いて、第１の処理後画像ＴＰ１から移動領域ＭＡを抽出する。背景差分法を用いる場合の背景画像は、例えば、事前に準備した、カメラ２１の撮像視野において無人の状態（移動物体が存在しない状態）の乗場を、カメラ２１により撮像した画像である。また、統計的背景差分法を用いる場合、複数の画像から統計的に判定して得られる背景画像（背景モデル）を用いればよい。
(1e) In the above-described embodiment, an example in which two captured images at different time points are used has been described, but the present invention is not limited thereto. The luminance
（追跡）
ここまで、画像処理装置３０の移動物体決定部３３が実行する、移動物体領域ＭＯＡを決定する処理について説明してきた。以下では、物体追跡部３４が実行する、移動物体領域ＭＯＡをフレーム間（時系列的に連続する画像間）で追跡する処理について説明する。なお、本実施形態では、図３におけるＳ１〜Ｓ５の処理に引き続いて物体追跡部３４が実行する処理について説明するが、本発明の一態様における画像処理装置３０はこれに限定されない。つまり、公知の方法（例えば各種のセンサを利用する方法等）を用いて画像中の移動物体の像を示す領域を決定する処理を行った結果に基づいて、以下に説明する物体追跡部３４の処理を適用することも可能である。この場合、以下の記載における移動物体領域ＭＯＡを、公知の方法にて決定した領域に読み替えればよい。
(Tracking)
Up to this point, the process of determining the moving object region MOA, which is executed by the moving
上記公知の方法として、例えば、測距離型センサ（レーザレーダやミリ波レーダ等）により人物を検知した情報を使用して、画像中の人物の場所を特定する方法が知られている（例えば特許第５４７３８０１号を参照）。 As the above-mentioned known method, for example, a method of identifying the location of a person in an image by using information obtained by detecting a person by a distance measuring sensor (laser radar, millimeter wave radar, etc.) is known (for example, a patent). See No. 5473801).
再び図１および図３を参照して、移動物体決定部３３によるＳ５の処理（移動物体決定ステップ）が行われた後、次いで、物体追跡部３４は、以下のような処理を行うことにより、移動物体領域ＭＯＡにて示される移動物体を追跡する処理を行う（Ｓ６：追跡処理ステップ）。具体的には、物体追跡部３４は、移動物体決定部３３にて決定した移動物体領域ＭＯＡを追跡対象として、或るフレームにて追跡対象とした移動物体領域ＭＯＡが、所定時間後のフレームにおける何れの移動物体領域ＭＯＡに対応するかを判定する。より詳しくは、時点［ｔ］における画像中の或る１つの移動物体領域ＭＯＡ（第１の移動物体領域）にて像が示される移動物体を処理対象物体とし、時点［ｔ＋１］における画像中の、前記処理対象物体と同一の移動物体に対応する像を示す移動物体領域ＭＯＡ（第２の移動物体領域）を対応物体領域として、物体追跡部３４は、前記対応物体領域を特定する処理を行う。
With reference to FIGS. 1 and 3 again, after the processing of S5 (moving object determination step) by the moving
図１０は、物体追跡部３４における処理の概要について説明するための図である。図１０に示すように、物体追跡部３４に含まれる図形設定部３４１は、時点［ｔ］における移動物体領域ＭＯＡを囲う矩形の対応図形Ｓ１（ｔ）を設定するとともに、時点［ｔ＋１］における移動物体領域ＭＯＡを囲う矩形の対応図形Ｓ１（ｔ＋１）を設定する。そして、重なり度算出部３４２は、時点［ｔ］および時点［ｔ＋１］の画像を重ね合わせるとともに、対応図形Ｓ１（ｔ）と対応図形Ｓ１（ｔ＋１）との重なり度を算出する。そして、追跡処理部３４３は、重なり度算出部３４２にて算出した重なり度に基づいて、時点［ｔ］における或る移動物体領域ＭＯＡ（ｔ）に対応する、時点［ｔ＋１］における移動物体領域ＭＯＡ（ｔ＋１）を判定する処理を行う。これにより、フレーム間で移動物体領域ＭＯＡを追跡する処理を行う。上記重なり度は、典型的には、対応図形Ｓ１（ｔ）に対し対応図形Ｓ１（ｔ＋１）が重なっている画素数にて表される。なお、重なり度は画素数に必ずしも限定されず、重なり度を表すために用いられる公知の手法を適用してもよい。本実施形態では、２つの図形間で重複する画素数を重なり度とする手法を用いる例について説明する。
FIG. 10 is a diagram for explaining an outline of processing in the
物体追跡部３４が実行する上記Ｓ６の処理の流れについて、図１１を用いて以下に説明する。図１１は、物体追跡部３４が実行する追跡処理の流れの一例を示すフローチャートである。
The flow of the process of S6 executed by the
図１１に示すように、先ず、図形設定部３４１は、時点［ｔ］における画像（第１の画像）および時点［ｔ＋１］における画像（第２の画像）に含まれる複数の移動物体領域（以下、移動物体領域群と称することがある）のそれぞれについて、例えば外接矩形を設定する（Ｓ６０：図形設定ステップ）。この外接矩形とは、移動物体領域ＭＯＡを囲うとともに、該移動物体領域ＭＯＡの外縁に４辺が接する矩形である。例えば、図１０に示された対応図形Ｓ１（ｔ）および対応図形Ｓ１（ｔ＋１）に示すような外接矩形を設定する。
As shown in FIG. 11, first, the
図形設定部３４１は、時点［ｔ］における画像中に含まれる複数の移動物体領域（第１の移動物体領域）にそれぞれ対応する複数の対応図形（第１の対応図形）を設定する。また、図形設定部３４１は、時点［ｔ＋１］における画像中に含まれる複数の移動物体領域（第２の移動物体領域）にそれぞれ対応する複数の対応図形（第２の対応図形）を設定する。
The
本実施形態では、時点［ｔ］における画像に含まれる移動物体領域群（ｔ）は、例えば４つの移動物体領域ＭＯＡを含む。以下、説明の便宜上、これら４つの移動物体領域ＭＯＡをそれぞれ移動物体領域ＭＯＡａ（ｔ）、移動物体領域ＭＯＡｂ（ｔ）、移動物体領域ＭＯＡｃ（ｔ）、移動物体領域ＭＯＡｄ（ｔ）と称することとする。同様に、時点［ｔ＋１］における画像に含まれる移動物体領域群（ｔ＋１）には、４つの移動物体領域ＭＯＡとして、移動物体領域ＭＯＡａ（ｔ＋１）、移動物体領域ＭＯＡｂ（ｔ＋１）、移動物体領域ＭＯＡｃ（ｔ＋１）、移動物体領域ＭＯＡｄ（ｔ＋１）が含まれているとする。また、以下の説明において、これら移動物体領域ＭＯＡａ（ｔ＋１）、・・・移動物体領域ＭＯＡｄ（ｔ＋１）のいずれかを示すように記載する場合、移動物体領域ＭＯＡｘ（ｔ＋１）と称することがある。 In the present embodiment, the moving object region group (t) included in the image at the time point [t] includes, for example, four moving object region MOAs. Hereinafter, for convenience of explanation, these four moving object region MOAs will be referred to as a moving object region MOAa (t), a moving object region MOAb (t), a moving object region MOAc (t), and a moving object region MOAd (t), respectively. do. Similarly, in the moving object region group (t + 1) included in the image at the time point [t + 1], as four moving object region MOAs, the moving object region MOAa (t + 1), the moving object region MOAb (t + 1), and the moving object region MOAc (T + 1), it is assumed that the moving object region MOAd (t + 1) is included. Further, in the following description, when any of the moving object region MOAa (t + 1) and ...
図形設定部３４１は、移動物体領域ＭＯＡａ（ｔ）〜移動物体領域ＭＯＡｄ（ｔ）および移動物体領域ＭＯＡａ（ｔ＋１）〜移動物体領域ＭＯＡｄ（ｔ＋１）のそれぞれについて、対応図形として外接矩形を設定する。
The
重なり度算出部３４２は、時点［ｔ］における画像に含まれる移動物体領域群（ｔ）の中から、処理対象とする１つの移動物体領域ＭＯＡａ（ｔ）を選択する（Ｓ６１）。そして、重なり度算出部３４２は、時点［ｔ＋１］における画像に含まれる移動物体領域群（ｔ＋１）の中から、処理対象とする１つの移動物体領域ＭＯＡａ（ｔ＋１）を選択する（Ｓ６２）。
The overlap
次いで、重なり度算出部３４２は、上記Ｓ６１にて選択した移動物体領域ＭＯＡａ（ｔ）の外接矩形（第１の対応図形）に対し、上記Ｓ６２にて選択した移動物体領域ＭＯＡａ（ｔ＋１）の外接矩形（第２の対応図形）が重なっている画素数を互いの重なり度として算出する（Ｓ６３：重なり度算出ステップ）。
Next, the overlap
追跡処理部３４３は、算出した重なり度が所定の基準値α１（単位は例えばｐｉｘ）未満の場合（Ｓ６４でＮＯ）、後述するＳ６５およびＳ６６の処理を行うことなく、Ｓ６７の処理を実行する。上記基準値α１の具体的な値は特に限定されず、適宜設定されてよい。
When the calculated degree of overlap is less than a predetermined reference value α1 (unit is, for example, pix) (NO in S64), the
追跡処理部３４３は、算出した重なり度が所定の基準値α１以上の場合（Ｓ６４でＹＥＳ）、以下の処理を行う。
When the calculated degree of overlap is equal to or greater than the predetermined reference value α1 (YES in S64), the
（物体方向情報が無方向Ｇｒ０であることを解消する処理）
移動物体領域ＭＯＡａ（ｔ＋１）について、物体方向情報が無方向Ｇｒ０の値を有する場合に、物体方向情報が無方向Ｇｒ０となっていることを解消する解消処理を実行する（Ｓ６５）。この解消処理について、図１２を用いて以下に説明する。図１２は、上記解消処理の一例を示すフローチャートである。
(Process to eliminate that the object direction information is non-directional Gr0)
For the moving object region MOAa (t + 1), when the object direction information has a value of non-directional Gr0, a resolution process for eliminating the fact that the object direction information is non-directional Gr0 is executed (S65). This elimination process will be described below with reference to FIG. FIG. 12 is a flowchart showing an example of the above-mentioned elimination process.
図１２に示すように、追跡処理部３４３は、移動物体領域ＭＯＡａ（ｔ＋１）の物体方向情報が無方向Ｇｒ０以外の場合、換言すれば近方向Ｇｒ１〜左方向Ｇｒ４のいずれかである場合（Ｓ６５１でＮＯ）、上記Ｓ６５の解消処理を終了する。
As shown in FIG. 12, the
一方で、追跡処理部３４３は、移動物体領域ＭＯＡａ（ｔ＋１）の物体方向情報が無方向Ｇｒ０である場合（Ｓ６５１でＹＥＳ）には、以下の処理を行う。
On the other hand, when the object direction information of the moving object region MOAa (t + 1) is non-directional Gr0 (YES in S651), the
追跡処理部３４３は、時点［ｔ］における画像に含まれる移動物体領域ＭＯＡａ（ｔ）の物体方向情報が無方向Ｇｒ０である場合（Ｓ６５２でＹＥＳ）には、上記Ｓ６５の解消処理を終了する。その一方で、移動物体領域ＭＯＡａ（ｔ）の物体方向情報が無方向Ｇｒ０以外の場合、換言すれば近方向Ｇｒ１〜左方向Ｇｒ４のいずれかである場合（Ｓ６５２でＮＯ）、移動物体領域ＭＯＡａ（ｔ＋１）の物体方向情報を移動物体領域ＭＯＡａ（ｔ）の物体方向情報に変更するかどうか以下のように判定する。ここで、移動物体領域ＭＯＡａ（ｔ）の物体方向情報をＭＤａ（ｔ）とする。なお、これは一例であって、上記Ｓ６５２では、移動物体領域ＭＯＡａ（ｔ）の物体方向情報が、（ｉ）無方向の特性を持つ種類の第２種の物体方向情報（無方向Ｇｒ０）および（ｉｉ）有方向の特性を持つ種類の第１種の物体方向情報（近方向Ｇｒ１〜左方向Ｇｒ４）、の何れであるかという判定を行うようになっていればよい。
When the object direction information of the moving object region MOAa (t) included in the image at the time point [t] is non-directional Gr0 (YES in S652), the
追跡処理部３４３は、移動物体領域ＭＯＡａ（ｔ＋１）において、「移動物体領域ＭＯＡａ（ｔ＋１）の全画素数」に対する「画素方向情報がＭＤａ（ｔ）である画素数」の比が所定値α２以上である場合（Ｓ６５３でＹＥＳ）、移動物体領域ＭＯＡａ（ｔ＋１）の物体方向情報を、移動物体領域ＭＯＡａ（ｔ）の物体方向情報に変更する（Ｓ６５４）。例えば、移動物体領域ＭＯＡａ（ｔ）の物体方向情報が近方向Ｇｒ１であった場合、移動物体領域ＭＯＡａ（ｔ＋１）の物体方向情報を無方向Ｇｒ０から近方向Ｇｒ１に変更する。なお、上記所定値α２の具体的な値は特に限定されず、適宜設定されてよい。
In the moving object area MOAa (t + 1), the
一方で、上記Ｓ６５３にて、「移動物体領域ＭＯＡａ（ｔ＋１）の全画素数」に対する「画素方向情報がＭＤａ（ｔ）である画素数」の比が所定値α２未満の場合（Ｓ６５３でＮＯ）、上記Ｓ６５における解消処理を終了する。 On the other hand, in S653, when the ratio of "the number of pixels whose pixel direction information is MDa (t)" to "the total number of pixels of the moving object region MOAa (t + 1)" is less than the predetermined value α2 (NO in S653). , The elimination process in S65 is completed.
再び図１１を参照して、上記Ｓ６５における処理の後、追跡処理部３４３は、上記Ｓ６４にて選択した移動物体領域ＭＯＡａ（ｔ＋１）を、「仮のリスト」に追加する（Ｓ６６）。なお、本実施形態における追跡処理部３４３は、上記Ｓ６４でＹＥＳであれば、上記Ｓ６５における処理内容に関わらず、必ず上記Ｓ６６を実行する。
With reference to FIG. 11 again, after the processing in S65, the
次いで、時点［ｔ＋１］における画像中の移動物体領域群（ｔ＋１）の全てを追跡処理の対象にし終わっていない場合（Ｓ６７でＮＯ）、上記Ｓ６２からの処理を実行する。例えば、移動物体領域ＭＯＡａ（ｔ）と移動物体領域ＭＯＡｂ（ｔ＋１）とについて上記Ｓ６２からの処理を行う。一方で、Ｓ６７でＹＥＳの場合、追跡処理部３４３は、Ｓ６１にて追跡処理の対象として選択した移動物体領域ＭＯＡａ（ｔ）に対応する移動物体領域ＭＯＡｘ（ｔ＋１）を特定する処理を行う（Ｓ６８：特定処理ステップ）。
Next, when all of the moving object region group (t + 1) in the image at the time point [t + 1] has not been targeted for the tracking process (NO in S67), the process from S62 is executed. For example, the moving object region MOAa (t) and the moving object region MOAb (t + 1) are processed from S62. On the other hand, when YES in S67, the
（特定処理）
追跡処理部３４３が実行する特定処理について、図１３を用いて以下に説明する。図１３は、移動物体領域ＭＯＡａ（ｔ）に対応する移動物体領域ＭＯＡｘ（ｔ＋１）を特定する特定処理の一例を示すフローチャートである。
(Specific processing)
The specific processing executed by the
図１３に示すように、追跡処理部３４３は、「仮のリスト」中に移動物体領域ＭＯＡｘ（ｔ＋１）が無い場合（Ｓ６８１でＮＯ）、移動物体領域ＭＯＡａ（ｔ）に対応する移動物体領域ＭＯＡ（ｔ＋１）が移動物体領域群（ｔ＋１）中に存在しないと判定する（Ｓ６８５）。この場合、移動物体領域ＭＯＡａ（ｔ）に対応する移動物体領域ＭＯＡ（ｔ＋１）が存在しないこととなり（追跡不可であり）、以降の処理対象とすることが不適となり得る。そのため、記憶部３２から移動物体領域ＭＯＡａ（ｔ）に関するデータを消去してもよい。また、以降の処理において当該データを使用しないように設定してもよい。
As shown in FIG. 13, when the
上記に対して、Ｓ６８１でＹＥＳの場合において、追跡処理部３４３は、移動物体領域ＭＯＡａ（ｔ）と同じ物体方向情報を有する移動物体領域ＭＯＡｘ（ｔ＋１）が「仮のリスト」中に有れば（Ｓ６８２でＹＥＳ）、移動物体領域ＭＯＡａ（ｔ）と同じ物体方向情報を有する移動物体領域ＭＯＡｘ（ｔ＋１）の中で「重なり度」が最大のものを移動物体領域ＭＯＡａ（ｔ）に対応する移動物体領域ＭＯＡｘ（ｔ＋１）として特定する（Ｓ６８３）。
On the other hand, in the case of YES in S681, the
一方で、Ｓ６８２でＮＯの場合、「仮のリスト」中に含まれる移動物体領域ＭＯＡｘ（ｔ＋１）の中で「重なり度」が最大のものを移動物体領域ＭＯＡａ（ｔ）に対応する移動物体領域ＭＯＡｘ（ｔ＋１）として特定する（Ｓ６８４）。 On the other hand, in the case of NO in S682, among the moving object areas MOAx (t + 1) included in the "temporary list", the one having the maximum "overlap degree" is the moving object area corresponding to the moving object area MOAa (t). It is specified as MOAx (t + 1) (S684).
本明細書において、上記Ｓ６８３またはＳ６８４にて特定した移動物体領域ＭＯＡｘ（ｔ＋１）を、移動物体領域ＭＯＡａ（ｔ）に対応する対応物体領域と称する。 In the present specification, the moving object region MOAx (t + 1) specified in S683 or S684 is referred to as a corresponding object region corresponding to the moving object region MOAa (t).
（Ｓ６の補記事項）
本実施形態における追跡処理部３４３は、移動物体領域群（ｔ）に含まれる移動物体領域ＭＯＡａ（ｔ）〜ＭＯＡｄ（ｔ）のそれぞれについて上記Ｓ６０〜Ｓ６８の処理を行うことにより、各移動物体領域ＭＯＡａ（ｔ）〜ＭＯＡｄ（ｔ）に対応する移動物体領域ＭＯＡｘ（ｔ＋１）を特定する。或いは、追跡処理部３４３は、移動物体領域ＭＯＡａ（ｔ）〜ＭＯＡｄ（ｔ）のそれぞれについて上記Ｓ６０〜上記Ｓ６７の処理を行った後、各移動物体領域ＭＯＡａ（ｔ）〜ＭＯＡｄ（ｔ）について上記Ｓ６８の処理を行うようになっていてもよい。
(Supplementary information for S6)
The
（小括２）
以上のように、本実施形態における画像処理装置３０は、エレベータの乗場２をカメラ２１にて撮像した画像を取得する画像取得部３１と、前記画像における、乗場２に存在する移動物体１に対応する像を示す移動物体領域ＭＯＡを決定する移動物体決定部３３とを備えている。また、画像処理装置３０は、前記画像であって、時点［ｔ］における画像および時点［ｔ＋１］における画像（所定の時間差を有する第１の画像および第２の画像）について、時点［ｔ］における画像中に含まれる複数の移動物体領域ＭＯＡｘ（ｔ）にそれぞれ対応する複数の第１の対応図形、および、時点［ｔ＋１］における画像中に含まれる複数の移動物体領域ＭＯＡｘ（ｔ＋１）にそれぞれ対応する複数の第２の対応図形を設定する図形設定部３４１を備えている。そして、画像処理装置３０は、複数の前記第１の対応図形のうちの或る１つと、複数の前記第２の対応図形のそれぞれとの互いの重なり度を算出する重なり度算出部３４２を備えている。さらに、画像処理装置３０は、時点［ｔ］における画像中において、或る１つの前記第１の対応図形に対応する移動物体領域ＭＯＡａ（ｔ）にて像が示される移動物体１を処理対象物体とし、時点［ｔ＋１］における画像中において、乗場２に存在する、前記処理対象物体と同一の移動物体１に対応する像を示す移動物体領域ＭＯＡｘ（ｔ＋１）を対応物体領域として、前記重なり度が所定の基準値α１以上であることに基づいて前記対応物体領域を特定する追跡処理部３４３を備えている。
(Summary 2)
As described above, the
ここで、従来、異なるフレームの２枚の画像を用いて、一方の画像における或る移動物体領域と、他方の画像に含まれる各移動物体領域との重心（または中心）のユークリッド距離を算出し、算出したユークリッド距離が閾値以下でありかつ最小となる移動物体領域同士を、フレーム間で同一の移動物体領域であると判定する技術が知られている。 Here, conventionally, using two images of different frames, the Euclidean distance of the center of gravity (or center) between a certain moving object region in one image and each moving object region included in the other image is calculated. , A technique is known in which moving object regions whose calculated Euclidean distance is equal to or less than a threshold value and which is the minimum are determined to be the same moving object region between frames.
ところで、或る移動物体１が、時点［ｔ］から時点［ｔ＋１］までの間に移動する距離（移動距離）には、通常、限界がある。そのため、上限値（移動距離上限値）があると言うことができる。そのため、上記のように「ユークリッド距離」を求めた場合にも、通常、「ユークリッド距離上限値」があることになる。
By the way, the distance (moving distance) that a moving
上記「移動距離上限値」については、移動物体１がカメラ２１からどれだけの距離に存在するかに関係なく一定値でよいが、「ユークリッド距離上限値」は、移動物体１がカメラ２１からどれだけの距離に存在するかに応じて（つまり、移動物体領域が画像上のどこに位置しているかに応じて）変動させる必要がある。換言すれば、移動物体１がカメラ２１から遠ければ遠いほど、「ユークリッド距離上限値」を小さい値（反対に、カメラ２１に近ければ近いほど大きい値）とする必要がある。そのようにして「ユークリッド距離上限値」を決定しなければならないことは、煩雑である。
The above "moving distance upper limit value" may be a constant value regardless of how far the moving
これに対して、本実施形態における画像処理装置３０では、時点［ｔ］での移動物体領域と、時点［ｔ＋１］での移動物体領域とで、それぞれの「外接矩形」の間の「重なり度」（重複画素数）を求める。ここで、「外接矩形」は、上記第１の対応図形および上記第２の対応図形の一例である。また、上記第１の対応図形および上記第２の対応図形の重なり度の一例である画素数に基づいて評価する。
On the other hand, in the
この場合、「移動距離上限値」に対応するものとして、一定の「重なり度下限値」（所定の基準値α１）を設ければよい。このように「重なり度下限値」を一定値にしても問題がない理由は以下のとおりである。すなわち、「重なり度下限値」と比較する「外接矩形の大きさ（画素数）」は、移動物体１の存在する位置がカメラ２１から遠ければ遠いほど小さくなる（反対に、位置が近ければ近いほど「外接矩形の大きさ（画素数）」が大きくなる）。そのため、「ユークリッド距離上限値」を移動物体１の存在する位置がカメラ２１から遠ければ遠いほど小さい値（近ければ近いほど大きい値）とすることと同じ効果を持つことになる。
In this case, a constant "overlap degree lower limit value" (predetermined reference value α1) may be provided as corresponding to the "movement distance upper limit value". The reason why there is no problem even if the "lower limit of the degree of overlap" is set to a constant value is as follows. That is, the "size of the circumscribing rectangle (number of pixels)" to be compared with the "lower limit of the degree of overlap" becomes smaller as the position where the moving
したがって、本実施形態の画像処理装置３０では、上記の従来技術のような煩雑な処理が不要となる。
Therefore, in the
また、本実施形態の画像処理装置３０では、追跡処理部３４３は、重なり度が所定の基準値以上である複数の移動物体領域ＭＯＡｘ（ｔ＋１）の中から、前記対応物体領域を、前記重なり度が最も大きいことに基づいて特定する。
Further, in the
上記の構成によれば、時点［ｔ］における画像中の或る移動物体領域ＭＯＡａ（ｔ）が、時点［ｔ＋１］における画像中のどの移動物体領域ＭＯＡｘ（ｔ＋１）に対応するかを、重なり度算出部３４２にて算出した重なり度が最も大きいことに基づいて特定することができる。そのため、移動物体領域ＭＯＡの追跡精度を高めることができる。
According to the above configuration, the degree of overlap determines which moving object region MOAa (t) in the image at the time point [t] corresponds to which moving object region MOAx (t + 1) in the image at the time point [t + 1]. It can be specified based on the fact that the degree of overlap calculated by the
また、移動物体領域ＭＯＡは、移動物体１の移動方向に関する物体方向情報を有している。追跡処理部３４３は、前記対応物体領域を、前記物体方向情報が互いに同一であり、かつ前記重なり度が最も大きいことに基づいて特定することが好ましい。
Further, the moving object region MOA has object direction information regarding the moving direction of the moving
一般に、移動物体１が急激な方向転換を行う可能性は低いと考えられる。上記の構成によれば、移動物体領域の追跡処理において、時点［ｔ］と時点［ｔ＋１］とで物体方向情報が互いに同じである移動物体領域を優先的に対応物体領域と特定することができる。そのため、移動物体領域の追跡精度を高めることができる。
In general, it is unlikely that the moving
また、本実施形態の画像処理装置３０における追跡処理部３４３は、移動物体領域ＭＯＡａ（ｔ）の有する前記物体方向情報が有方向の特性を持つ第１種の物体方向情報であり、かつ、移動物体領域ＭＯＡｘ（ｔ＋１）の有する前記物体方向情報が無方向の特性を持つ第２種の物体方向情報である場合、移動物体領域ＭＯＡｘ（ｔ＋１）の有する前記物体方向情報を、移動物体領域ＭＯＡａ（ｔ）の有する前記物体方向情報に一致させるようになっていることが好ましい。
Further, the
上記の構成によれば、追跡処理部３４３は、例えば、時点［ｔ＋１］において移動物体１が一時的に立ち止まった等の理由によって、第２の対応図形に対応する移動物体領域ＭＯＡ（ｔ＋１）が無方向Ｇｒ０の物体方向情報（第２種の物体方向情報）を有する場合、以下の処理を行う。すなわち、第２の対応図形に対応する移動物体領域ＭＯＡ（ｔ＋１）の物体方向情報を、時点［ｔ］における移動物体領域ＭＯＡ（ｔ）の物体方向情報に変更（更新）する。そのため、時点［ｔ＋１］において移動物体１が一時的に立ち止まった等により移動物体領域ＭＯＡ（ｔ＋１）の物体方向情報が無方向Ｇｒ０となったとしても、時点［ｔ］における物体方向情報（第１種の物体方向情報）を引き継ぐことができる。その結果、物体方向情報を含めて移動物体領域ＭＯＡを追跡することができる。
According to the above configuration, the
以上のような画像処理装置３０にて行われる処理を含む、画像処理方法についても本発明の範疇に入る。
An image processing method including the processing performed by the
（変形例２）
（２ａ）上記実施形態では、図形設定部３４１は、移動物体領域ＭＯＡを囲う矩形の対応図形を設定し、その例として外接矩形を挙げたが、これに限定されない。例えば、他の一実施形態では、図形設定部３４１は、外接しない矩形を設定してもよい。すなわち、矩形の４辺と移動物体領域ＭＯＡの外縁との間に多少の間隔が存在しても構わない。
(Modification 2)
(2a) In the above embodiment, the
なお、図形設定部３４１は、矩形以外の形状の対応図形を設定してもよい。例えば、図形設定部３４１は、楕円形の対応図形を設定してもよい。
The
（２ｂ）図形設定部３４１は、移動物体１の存在する位置がカメラ２１から遠ければ遠いほど対応図形の大きさ（画素数）が小さくなるように（反対に、近ければ近いほど大きくなるように）、対応図形の大きさを設定するようになっていてもよい。このように対応図形の大きさを設定するようになってさえいれば、対応図形の大きさは特に限定されるものではない。
(2b) In the
（Ｓ７について）
ここまで、画像処理装置３０の物体追跡部３４における、画像中の移動物体の像（移動物体領域）をフレーム間で追跡する処理について説明してきた。以下では、移動物体領域ＭＯＡについて、変動係数を算出する処理について説明する。なお、本実施形態では、図３におけるＳ１〜Ｓ６の処理に引き続いて、またはＳ１〜Ｓ５の処理の後に上記Ｓ６と並行して、変動係数演算部３５が変動係数を算出する処理について説明するが、本発明の一態様における画像処理装置３０および制御装置４０はこれに限定されない。つまり、公知の方法を用いて画像中の移動物体１を決定する処理または追跡する処理を行った結果に基づいて、以下に説明する変動係数演算部３５の処理を適用することも可能である。
(About S7)
Up to this point, the process of tracking an image of a moving object (moving object region) in an image between frames in the
再び図１および図３を参照して、物体追跡部３４によるＳ６の処理が行われた後、次いで、変動係数演算部３５は、以下のような処理を行うことにより移動物体領域ＭＯＡについて変動係数を算出する処理を行う（Ｓ７）。この変動係数の情報と、物体追跡部３４における追跡処理（上記Ｓ６）の結果とを、後述する意思推定処理にて用いることにより、乗車検知システム１０の検知精度向上を図る。具体的には、後述のＳ８に示されるように、制御装置４０の意思推定部４２１は、移動物体領域ＭＯＡに示される移動物体の乗車意思を推定する処理を行う。なお、画像処理装置３０および制御装置４０の両方を含む装置を情報処理装置と表現することもできる。
With reference to FIGS. 1 and 3 again, after the processing of S6 by the
（戸閉中のかご戸を判別する必要性）
移動物体決定部３３によって決定された移動物体領域ＭＯＡのうち、物体方向情報が近方向Ｇｒ１である移動物体領域ＭＯＡは、乗車意思ありと推定される移動物体１の像を示している蓋然性が高い、一方で、そのような移動物体領域ＭＯＡの中には、乗車意思ありと推定されることが不適切である移動物体１の像を示している可能性がある移動物体領域ＭＯＡも存在し得る。例えば、撮像画像に、閉戸動作中のかご戸２２（ドア）が映っている場合を考える。通常、かご戸２２は、移動物体決定部３３によって、右方向Ｇｒ２または左方向Ｇｒ４の物体方向情報を有する移動物体領域ＭＯＡとして決定される。一方で、外光等の影響により、移動物体決定部３３は、かご戸２２を近方向Ｇｒ１の物体方向情報を有する移動物体領域ＭＯＡとして決定する場合もある。このため、撮像画像中において、かご戸２２を判別することが必要である。後述するように、本実施形態では、かご戸２２の判別のために、変動係数を算出することが必要である。
(Necessity to identify the car door that is closed)
Of the moving object area MOAs determined by the moving
そこで、以下に述べるように、本実施形態の画像処理装置３０では、変動係数演算部３５が、移動物体領域ＭＯＡについて変動係数を算出する処理を行い、算出した変動係数を該移動物体領域ＭＯＡに対応付ける。
Therefore, as described below, in the
（勾配方向および勾配強度の算出）
図１４は、変動係数演算部３５の処理の一例について説明するための図である。まず、変動係数演算部３５は、記憶部３２からグレー画像ＧＰ（ｔ）（時点［ｔ］におけるグレースケール画像）を取得する。変動係数演算部３５は、当該グレー画像ＧＰ（ｔ）を縮小した画像ＧＰｒ（ｔ）（第３の画素数）を用いて、各移動物体領域ＭＯＡの勾配方向および勾配強度を算出する。図１４の例では、撮像画像の画素値（輝度）は２５６階調（０〜２５５）で表されている。
(Calculation of gradient direction and gradient intensity)
FIG. 14 is a diagram for explaining an example of processing by the coefficient of
具体的には、変動係数演算部３５は、移動物体領域ＭＯＡにおいて、画像ＧＰｒ（ｔ）の各画素における輝度の勾配方向および勾配強度を算出する。図１４では、かご戸２２の所定の１つの画素（注目画素）について、勾配方向および勾配強度を算出する場合が例示されている。より具体的には、変動係数演算部３５は、０°〜１８０°の勾配方向を算出する。
Specifically, the coefficient of
変動係数演算部３５によって、注目画素の勾配方向および勾配強度を算出する場合を例示する。
The case where the coefficient of
まず、ドア開閉路２４に対応する、撮像画像Ｐ０上の線分である開閉範囲線分に平行な方向をＸ方向とし、垂直な方向をＹ方向とする。Ｙの正方向は、かご２０内に向かう方向とし、Ｘの正方向は、Ｙの正方向に対して反時計回りに９０°回転した方向とする。変動係数演算部３５は、注目画素のＸ方向の値およびＹ方向の値を算出する。なお、以下の例において、Ｘの正方向およびＹの正方向はそれぞれ、図１４の例における画像ＧＰｒ（ｔ）の右方向および下方向に対応する。
First, the direction parallel to the opening / closing range line segment corresponding to the door opening /
変動係数演算部３５は、まず、注目画素を中心画素とする３×３の画素マトリクスを取得する。そして、変動係数演算部３５は、図１４に示されるように、例えばＳｏｂｅｌフィルタを上記画素マトリクスに適用することにより、勾配方向（以下、Ｇθ）および勾配強度（以下、ＧＤ）を算出する。
The coefficient of
変動係数演算部３５は、上記画素マトリクスに横方向のＳｏｂｅｌフィルタを適用することにより、Ｘ方向の値を導出する。図１４の例では、変動係数演算部３５は、
９７×（−１）＋５７×０＋２３×１
＋２１１×（−２）＋１８６×０＋７４×２
＋２４３×（−１）＋１７９×０＋１６７×１
＝−４２４＝−Ｘ
として、Ｘ方向の値を導出する。Ｘは、Ｘ方向の絶対値を表すものとする。このため、Ｘ方向の値については、Ｘまたは−Ｘとして表するものとする。
The coefficient of
97 x (-1) + 57 x 0 + 23 x 1
+211 × (-2) +186 × 0 +74 × 2
+243 × (-1) +179 × 0 + 167 × 1
=-424 = -X
To derive the value in the X direction. It is assumed that X represents an absolute value in the X direction. Therefore, the value in the X direction shall be represented as X or −X.
また、変動係数演算部３５は、上記画素マトリクスに縦方向のＳｏｂｅｌフィルタを適用することにより、Ｙ方向の値を導出する。図１４の例では、変動係数演算部３５は、
９７×１＋５７×２＋２３×１
＋２１１×０＋１８６×０＋７４×０
＋２４３×（−１）＋１７９×（−２）＋１６７×（−１）
＝−５３４＝−Ｙ
として、Ｙ方向の値を導出する。Ｙは、Ｙ方向の絶対値を表すものとする。このため、Ｙ方向の値については、Ｙまたは−Ｙとして表するものとする。
である。
Further, the coefficient of
97 × 1 + 57 × 2 + 23 × 1
+211 × 0 + 186 × 0 +74 × 0
+243 x (-1) +179 x (-2) +167 x (-1)
= -534 = -Y
To derive the value in the Y direction. It is assumed that Y represents an absolute value in the Y direction. Therefore, the value in the Y direction shall be expressed as Y or −Y.
Is.
続いて、変動係数演算部３５は、上述のＸおよびＹに対して、下記のようにＧθを算出する。
（Ｘ、Ｙ）に対しては、Ｇθ＝ａｔａｎ（Ｙ／Ｘ）
（−Ｘ、−Ｙ）に対しても、Ｇθ＝ａｔａｎ（Ｙ／Ｘ）
（Ｘ、−Ｙ）に対しては、Ｇθ＝１８０°−ａｔａｎ（Ｙ／Ｘ）
（−Ｘ、Ｙ）に対しても、Ｇθ＝１８０°−ａｔａｎ（Ｙ／Ｘ）。
Subsequently, the coefficient of
For (X, Y), Gθ = atan (Y / X)
For (-X, -Y), Gθ = atan (Y / X)
For (X, -Y), Gθ = 180 ° -atan (Y / X)
For (-X, Y), Gθ = 180 ° -atan (Y / X).
すなわち、勾配方向が同一直線に乗れば同じ方向であるとして、直線上の順方向と逆方向とを同一視し、Ｇθを０°〜１８０°の値にする。 That is, assuming that the gradient directions are the same if they are on the same straight line, the forward direction and the reverse direction on the straight line are equated, and Gθ is set to a value of 0 ° to 180 °.
図１４の例では、
Ｇθ＝０．８９９［ｒａｄ］＝５１．５５０°
である。
In the example of FIG. 14,
Gθ = 0.899 [rad] = 51.550 °
Is.
また、変動係数演算部３５は、
ＧＤ＝ｓｑｒｔ（Ｘ２＋Ｙ２）
として、ＧＤを算出する。図１４の例では、ＧＤ＝６８１．８５９である。
In addition, the coefficient of
GD = square (X 2 + Y 2 )
GD is calculated as. In the example of FIG. 14, GD = 681.859.
（変動係数の算出）
変動係数演算部３５は、移動物体領域ＭＯＡごとに、画像ＧＰｒ（ｔ）の各画素をＧθに応じて複数のグループに分類する。そして、変動係数演算部３５は、各グループに属する画素の数を算出する。以下、１つの移動物体領域ＭＯＡに対する処理を説明する。
(Calculation of coefficient of variation)
The coefficient of
以下の例では、上記分類のために、Ｇθは、２０°ごとに区分されるものとする。この場合、変動係数演算部３５は、第１勾配方向グループ（勾配方向０°〜２０°のグループ）〜第９勾配方向グループ（勾配方向１６０°〜１８０°のグループ）の９通りのグループに、各画素を分類する。そして、変動係数演算部３５は、第ｉ勾配方向グループに属する画素の数Ｎｉを算出する。但し、１≦ｉ≦９である。換言すれば、変動係数演算部３５は、移動物体領域ごとに、各勾配方向グループの画素数の分布を示すヒストグラムを生成する。
In the following example, for the above classification, Gθ is assumed to be classified every 20 °. In this case, the coefficient of
但し、ＧＤ＝０の画素は、変動係数の計算においては考慮しないことが好ましいため、どのグループにも属さないものとして取り扱われる（つまり、読み捨てられる）。一例として、かご戸２２のドアパネル先端面（略称：先端面）に外光が影響することにより、所定の注目画素では、３×３の上記画素マトリクスの輝度は、全て２５５となる。
However, since it is preferable not to consider the pixel with GD = 0 in the calculation of the coefficient of variation, it is treated as not belonging to any group (that is, it is discarded). As an example, the brightness of the 3 × 3 pixel matrix becomes 255 for a predetermined pixel of interest due to the influence of external light on the front surface (abbreviation: tip surface) of the door panel of the
変動係数演算部３５は、移動物体領域ＭＯＡごとに、上記ヒストグラムに基づき変動係数（以下、ＣＶ）を算出する（Ｓ７）。以下、１つの移動物体領域ＭＯＡに対する処理を説明する。まず、変動係数演算部３５は、Ｎ１〜Ｎ９の平均値（より厳密には、算術平均）Ｎｍを算出する。また、変動係数演算部３５は、Ｎ１〜Ｎ９の標準偏差σを算出する。そして、変動係数演算部３５は、
ＣＶ＝σ／Ｎｍ
として、ＣＶを算出する。ＣＶは、相対標準偏差とも称される。
The coefficient of
CV = σ / Nm
CV is calculated as. CV is also referred to as relative standard deviation.
（戸閉中のかご戸を変動係数によって判別できること）
かご戸２２の像を示す移動物体領域ＭＯＡのＣＶは、比較的大きい値（例：１よりも有意に大きい値）となる。一例として、発明者らによる実験の結果、かご戸２２の像を示す移動物体領域ＭＯＡのＣＶは、１．５〜２程度の値となることが確認された。一方、ユーザまたは台車等の像を示す移動物体領域ＭＯＡのＣＶは、比較的小さい値（例：１以下の値）となる。このように、ユーザまたは台車等の像を示す移動物体領域ＭＯＡでは、かご戸２２の像を示す移動物体領域ＭＯＡに比べて、ＣＶの値が有意に小さい。
(The coefficient of variation can be used to identify the car door that is closed)
The CV of the moving object region MOA showing the image of the
このようにして、移動物体領域ＭＯＡが、「かご戸２２の像でありそう」か、あるいは、「ユーザまたは台車等の像でありそうか」を、「ＣＶ≧ＣＶｔｈ」または「ＣＶ＜ＣＶｔｈ」のいずれの条件が満たされるかによって振り分ける（区別する）ことができる。ＣＶｔｈとは、このように振り分けるための閾値であり、例えばＣＶｔｈ＝１とすることができる。但し、ＣＶｔｈの値は任意に設定されてよく、上記の例に限定されない。
In this way, the moving object region MOA "is likely to be an image of the
ＣＶは、１つの移動物体領域において勾配方向の分布の偏りを示す指標である。かご戸２２の像とは、ドアパネル先端面が、画像上の移動物体領域に映った像である。先端面は、細長い長方形であるが、当該先端面が映った移動物体領域は、細長い台形となる。そして、長方形の長辺どうしは平行であるが、対応する台形の脚どうしもほぼ平行である。この台形に含まれる各画素の勾配方向は、一方の脚に垂直な方向から、他方の脚に垂直な方向までの、狭い角度範囲に集中する傾向を有している。つまり、このような狭い角度範囲の中に、勾配方向の分布が偏っていることになる。なお、上記先端面が映った移動物体領域は、台形から若干歪んだ図形として映る場合（台形の脚が少し湾曲したり、少し折れ曲ったりするような場合）もある。但し、この場合にも、勾配方向の分布が偏るという傾向が大きく外れることはない。一方、ユーザまたは台車等の像では、当該像が様々な勾配方向を有する。当該勾配方向では、特定の角度範囲に分布が偏ることが少ない傾向を有している。
CV is an index showing the bias of the distribution in the gradient direction in one moving object region. The image of the
なお、かご戸２２が左右のドアパネルで構成される両開きタイプの場合、左パネル先端面が映った画像上の台形の角度は、４０°〜８０°程度となり、右パネル先端面が映った画像上の台形の角度は、１１０°〜１４０°程度となる。ただし、戸閉動作のどの段階であるか（戸閉直後、戸閉途中、および戸閉完了直前）に応じて、上記第形の角度は、このような角度範囲の中でも、より狭い角度範囲に属する。ここで左とはＸの負方向を、右とはＸの正方向をそれぞれ指す。そして、左パネルに対応する勾配方向は、４０°〜８０°の垂直方向である１３０°〜１７０°となり、右パネルに対応する勾配方向は、１１０°〜１４０°の垂直方向である２０°〜５０°となる。
When the
（変形例３）
（３ａ）変動係数演算部３５は、Sobelフィルタではなく、例えば微分フィルタまたはPrewittフィルタ等を用いて勾配方向と勾配強度とを算出してもよい。
(Modification example 3)
(3a) The coefficient of
（３ｂ）変動係数演算部３５において、読み捨てられる画素はＧＤ＝０に限定されない。勾配強度の閾値（Ｄｔｈ：０より大）を設けてもよい。この場合、ＧＤ≦Ｄｔｈの画素を読み捨てるように処理を行えばよい。なお、前述したように、ドアパネル先端面の長方形が映った、移動物体領域の台形については、その垂直方向に勾配方向が偏るという傾向がある。但し、移動物体領域中のＧＤが「０」に近い画素については、そのような傾向から外れてしまう性質がある。そこで、このような画素を除外してＣＶを算出することにより、ＣＶｔｈとの比較による、かご戸と当該かご戸以外の判別を、安定させることができる。
(3b) In the coefficient of
（Ｓ８について）
再び図１および図３を参照して、物体追跡部３４における追跡処理（上記Ｓ６）の結果および変動係数演算部３５による変動係数の算出処理（上記Ｓ７）の結果を用いて、制御装置４０の意思推定部４２１は、移動物体領域ＭＯＡに示される移動物体の乗車意思を推定する処理を行う（Ｓ８：意思推定ステップ）。なお、本実施形態では、図３におけるＳ１〜Ｓ７の処理に引き続いて意思推定部４２１が実行する処理について説明するが、本発明の一態様における画像処理装置３０および制御装置４０はこれに限定されない。つまり、公知の方法を用いて、画像中の移動物体領域を追跡する処理を行った結果、および移動物体領域の変動係数を算出した結果に基づいて、以下に説明する意思推定部４２１の処理を適用することも可能である。
(About S8)
With reference to FIGS. 1 and 3 again, the
本実施形態における意思推定部４２１は、上記Ｓ８において、画像中の或る移動物体領域について後述の条件１Ａ・２Ａの両者が満たされるとともに、後述の条件１Ｂ〜３Ｂのうちの１つ以上が満たされる場合に、「移動物体領域にて示される移動物体が乗車意思を有している」と判定する。
In the above-mentioned S8, the
図１５は、Ｓ８の処理の一例を示すフローチャートである。以下、乗車意思を有している移動物体を示す領域を乗車意思あり物体領域と称する。これに対し、乗車意思を有していない移動物体を示す領域を、乗車意思なし物体領域と称する。 FIG. 15 is a flowchart showing an example of the processing of S8. Hereinafter, the area indicating a moving object having a boarding intention is referred to as a boarding intention object area. On the other hand, an area indicating a moving object that does not have an intention to board is referred to as an object area without an intention to board.
図１５に示すように、先ず、意思推定部４２１は、或るフレーム（例：ＧＰ（ｔ））にについて、物体追跡部３４による追跡処理結果を示す情報を取得する（Ｓ８１）。
As shown in FIG. 15, first, the
ここで、上記Ｓ８１に続く意思推定部４２１による処理の説明に先立って、意思推定部４２１が用いる意思推定条件の前段部である条件１Ａ・２Ａについて説明する。ここで、連続する第１フレーム数について、条件１Ａ・２Ａは設定される。第１フレーム数は、フレームレートに基づいて適宜設定されてよい。本実施形態における第１フレーム数の設定値については、以下に述べる。
Here, prior to the explanation of the processing by the
（条件１Ａ）「或る時点［ｔ］における或る移動物体領域ＭＯＡｘ（ｔ）について、物体方向情報の値が近方向Ｇｒ１であり、追跡処理結果を示す情報によって該移動物体領域ＭＯＡｘ（ｔ）に対応すると特定された過去７フレームの移動物体領域ＭＯＡｘ（ｔ−１）、ＭＯＡｘ（ｔ−２）・・・ＭＯＡｘ（ｔ−７）の全てにおける物体方向情報の値が近方向Ｇｒ１である」。
(
本実施形態では、或る時点［ｔ］のフレームと、その過去７フレームとを併せた、連続する８フレームの画像について、このフレーム数である「８個」を、第１フレーム数と呼ぶこととする。 In the present embodiment, "8", which is the number of frames, is referred to as the first frame number for a continuous eight-frame image in which the frame at a certain time point [t] and the past seven frames are combined. And.
（条件２Ａ）「第１フレーム数の連続する複数の画像のうち、ＣＶがＣＶｔｈ未満である画像が、所定の第２フレーム数以上ある」。
(
上述のように、本実施形態では、上記第１フレーム数は８個に設定されている。第２フレーム数は、第１フレーム数以下の任意のフレーム数である。本例では、第２フレーム数は、４フレームであるとする。つまり、第２フレーム数は、第１フレーム数の半分として設定されている。 As described above, in the present embodiment, the number of the first frames is set to eight. The number of second frames is an arbitrary number of frames equal to or less than the number of first frames. In this example, the number of second frames is assumed to be four. That is, the number of second frames is set as half the number of first frames.
なお、これらの条件１Ａ・２Ａは意思推定条件の前段部の一例であって、意思推定条件は、任意に設定されてよく、これらに限定されない。上記第１フレーム数および第２フレーム数は、記憶部４１に意思推定条件データ４１２として記憶されている。或いは、これらの意思推定条件は意思推定部４２１に予め設定されていてもよい。上記第１フレーム数および第２フレーム数の具体的な値は、特に限定されない。
It should be noted that these
上記Ｓ８１の後、意思推定部４２１は、条件１Ａが満たされているか否かを判定する（Ｓ８２）。条件１Ａが満たされていない場合（Ｓ８２でＮＯ）、「上記移動物体領域に示される移動物体１は、乗車意思を有していない」と判定する（Ｓ８６）。
After the above S81, the
他方、条件１Ａが満たされている場合（Ｓ８２でＹＥＳ）、意思推定部４２１は、或る時点［ｔ］のフレームおよび連続する過去７個のフレームのそれぞれについて、上記Ｓ７における変動係数の算出結果を示す情報を取得する（Ｓ８３）。そして、意思推定部４２１は、或る時点［ｔ］のフレームおよび連続する過去７個のフレームのそれぞれにおいて、上記移動物体領域のＣＶに基づいて、条件２Ａが満たされているか否かを判定する（Ｓ８４）。条件２Ａが満たされていない場合（Ｓ８４でＮＯ）、Ｓ８７に進む。
On the other hand, when the
他方、条件２Ａが満たされている場合（Ｓ８４でＹＥＳ）、図１５の処理の流れによれば、条件１Ａ・２Ａの両者が満たされていることとなる。この場合、意思推定部４２１は、次に、条件１Ｂ〜３Ｂについて判定を行う。
On the other hand, when the
ここで、条件１Ａ・２Ａを用いることによれば、乗車意思の推定を高精度に行うことができる点について、以下に説明する。
Here, the point that the boarding intention can be estimated with high accuracy by using the
（条件１Ａについて）
本来であれば右方向Ｇｒ２または左方向Ｇｒ４の物体方向情報を有する移動物体領域ＭＯＡにて示されるべき移動物体（例えば人物）が、あるフレームにおいて、近方向Ｇｒ１を有する移動物体領域ＭＯＡであると分類される場合がある。多くの場合、人は、歩行中に腕の振り降ろし動作を行う。従って、当該人が実際には右方向（または左方向）に向かって歩いていたとしても、動画像中において、腕がかご２０に近づく方向に動く場合がある。このような腕の動きに起因して、或る１フレームにおいて近方向Ｇｒ１を有する移動物体領域ＭＯＡであると分類される場合があり、この場合に、該移動物体領域ＭＯＡが乗車意思あり物体領域であると判定されることは適切ではない。上述のとおり、該移動物体領域ＭＯＡによって示される人は、実際には乗車意思を有していないためである。
(About
It is assumed that the moving object (for example, a person) that should normally be indicated by the moving object region MOA having the object direction information of the right direction Gr2 or the left direction Gr4 is the moving object region MOA having the near direction Gr1 in a certain frame. May be classified. In many cases, a person swings his arms down while walking. Therefore, even if the person is actually walking in the right direction (or left direction), the arm may move in the direction approaching the
そこで、乗車意思の推定処理をより適切に行うべく、条件１Ａが導入されている。一般に、腕の振り降ろし動作の開始から終了までの期間は、約２３０ｍｓ（ミリ秒）程度であると考えられる。そこで、２３０ｍｓ（０．２３秒）よりもある程度長い期間のフレーム数に亘って連続して、或る移動物体領域ＭＯＡの物体方向情報が近方向Ｇｒ１であれば、当該移動物体領域ＭＯＡにて示される移動物体は人の腕ではない（例：移動物体は実際にかご２０に向かって歩いてくる人である）可能性が高い。この点を踏まえ、この例では、条件１Ａにおいて、「２３０ｍｓ以上」という時間的な条件が規定されている。この時間的な条件を、フレーム数に換算して表すことを考えた場合、「８フレーム以上」に相当する。以下、この点について述べる。
Therefore, the
或る移動物体領域ＭＯＡについて、物体方向情報が近方向Ｇｒ１である状態が８個のフレームにおいて連続したときの最低の経過時間は、「フレーム間の間隔時間」が７回（第１フレーム数から１減算した数の回数）分経過した時間となる。 For a certain moving object region MOA, the minimum elapsed time when the state in which the object direction information is near Gr1 is continuous in eight frames is that the "interval time between frames" is 7 times (from the number of first frames). 1 The number of times the number is subtracted) is the elapsed time.
ここで、「フレーム間の間隔時間」は、フレームレートの逆数で表され、例えばフレームレートが１秒あたり３０フレームだとすると、フレーム間の間隔時間は１／３０（秒）である。 Here, the "interval interval time between frames" is represented by the reciprocal of the frame rate. For example, if the frame rate is 30 frames per second, the interval time between frames is 1/30 (seconds).
そのため、「フレーム間の間隔時間」が７回分は、約２３３ｍｓとなり、本実施形態において、フレームレートが１秒あたり３０フレームであり第１フレーム数が８個とすることで、第１フレーム数から１減算した数を前記動画像における１秒あたりのフレーム数で割算した結果の秒数が２３０ｍｓ以上という条件を満たしている。 Therefore, the "interval time between frames" for 7 times is about 233 ms, and in the present embodiment, the frame rate is 30 frames per second and the number of first frames is 8, so that the number of frames is increased from the first frame. The condition that the number of seconds as a result of dividing the number subtracted by 1 by the number of frames per second in the moving image is 230 ms or more is satisfied.
（条件２Ａについて）
条件２Ａによれば、ＣＶをさらに考慮することにより、条件１Ａを満たす各物体から、不適切な移動物体領域ＭＯＡを除外できる。また、動画像の一時的なノイズの影響を排除するために、条件２Ａにおいても、「４フレーム数以上」という条件が規定されている。一例として、第１フレーム数の連続する複数の画像のうち、ＣＶがＣＶｔｈ未満である画像が、第２フレーム数以上あれば、上記ノイズの影響を効果的に排除できると考えられる。
(About
According to the
（条件１Ａ・２Ａの補記事項）
なお、上記の例において、条件２Ａは必ずしも意思推定条件に含まれていなくともよい。例えば、条件１Ａのみを意思推定条件の前段部として用いて、意思推定部４２１による判定処理が行われていてもよい。従って、ＣＶの算出は必須の処理ではない。このため、画像処理装置３０から、変動係数演算部３５を割愛することもできる。
(Supplementary information for
In the above example, the
なお、意思推定部４２１は、条件１Ａおよび条件２Ａとして、連続する第１フレーム数の画像に代えて、所定の判定期間内における複数の画像の全て、を用いて判定を行ってもよい。この所定の判定期間は、上述の理由から、２３０ｍｓ以上と設定されることが好ましい。この場合においても、上記第２フレーム数を設定し、条件２Ａの判定を行うことができる。
In addition, the
（条件１Ｂ〜３Ｂについて）
Ｓ８４でＹＥＳの場合、意思推定部４２１は、次に、意思推定条件の後段部である条件１Ｂ〜３Ｂについて判定を行う。
(About
If YES in S84, the
本例では、移動物体領域の位置に基づいて、条件１Ｂ〜３Ｂにより乗車意思の有無が判定される。また、上記Ｓ８２における８フレーム目を解析対象として、乗車意思の有無が判定される。
In this example, the presence or absence of the intention to board is determined according to the
図１６は、意思推定部４２１が実行する乗車意思推定処理の一例について説明するための図である。意思推定部４２１は、移動物体領域ＭＯＡに像が示される移動物体１の乗車意思の判定のための複数の判定領域（以下、ＡＲ）を、撮像画像中に設定する。当該判定領域は、撮像画像中に設定される仮想的な領域である。
FIG. 16 is a diagram for explaining an example of the boarding intention estimation process executed by the
図１６の例では、ＡＲ１（第１判定領域，左判定領域）、ＡＲ２（第２判定領域，中央判定領域）、およびＡＲ３（第３判定領域，右判定領域）の、３つの判定領域が設定されている。図１６の（ａ）では、ＡＲ１〜ＡＲ３が概略図として示されている。これに対し、図１６の（ｂ）では、ＡＲ１〜ＡＲ３が、撮像画像中に設定された様子が示されている。 In the example of FIG. 16, three judgment areas of AR1 (first judgment area, left judgment area), AR2 (second judgment area, center judgment area), and AR3 (third judgment area, right judgment area) are set. Has been done. In FIG. 16A, AR1 to AR3 are shown as schematic views. On the other hand, FIG. 16B shows how AR1 to AR3 are set in the captured image.
図１６の例では、ＡＲ１〜ＡＲ３はいずれも、矩形上の領域として設定されている。 In the example of FIG. 16, AR1 to AR3 are all set as regions on a rectangle.
前述したように、画像上において、ドア開閉路２４に対応する開閉範囲線分、原点Ｏ、ｘ軸およびその正負方向、ｙ軸およびその正負方向を規定する。
As described above, on the image, the opening / closing range line segment corresponding to the door opening /
ＡＲ２は、ドア開閉路２４の中央部に対応する判定領域であり、前記ｙ軸を含み前記ｙ軸の負方向に広がる。より具体的には、ＡＲ２は、前記ｙ軸を対称軸として線対称となるように設定されている。ＡＲ２は、詳しくは後述するように、前記ｙ軸の正方向を対称軸として所定の中央判定角度幅にて左右対称に広がる角度範囲である第２有効進入角度範囲θ２Ａが設定されている。
The AR2 is a determination region corresponding to the central portion of the door opening /
これに対し、ＡＲ１は、撮像画像の左側（ｘ軸の正方向側）においてＡＲ２と隣接し、前記ｙ軸を含まない。ＡＲ１は、詳しくは後述するように、前記ｙ軸の正方向から反時計回りに所定の左傾き角度にて傾いた方向を対称軸として所定の左判定角度幅にて左右対称に広がる角度範囲である第１有効進入角度範囲θ１Ａが設定されている。 On the other hand, AR1 is adjacent to AR2 on the left side of the captured image (on the positive side of the x-axis) and does not include the y-axis. As will be described in detail later, AR1 has an angle range that extends symmetrically with a predetermined left determination angle width with a direction tilted counterclockwise from the positive direction of the y-axis at a predetermined left tilt angle as an axis of symmetry. A first effective approach angle range θ1A is set.
また、ＡＲ３は、撮像画像の右側（ｘ軸の負方向側）においてＡＲ２と隣接し、前記ｙ軸を含まない。ＡＲ３は、詳しくは後述するように、前記ｙ軸の正方向から時計回りに所定の右傾き角度にて傾いた方向を対称軸として所定の右判定角度幅にて左右対称に広がる角度範囲である第３有効進入角度範囲θ３Ａが設定されている。 Further, AR3 is adjacent to AR2 on the right side of the captured image (on the negative direction side of the x-axis) and does not include the y-axis. As will be described in detail later, AR3 is an angle range that extends symmetrically with a predetermined right determination angle width with a direction tilted clockwise from the positive direction of the y-axis at a predetermined right tilt angle as an axis of symmetry. The third effective approach angle range θ3A is set.
図１６の例では、ＡＲ１〜ＡＲ３のｙ方向の長さはいずれも等しく設定されている。これに対し、ＡＲ２のｘ方向の長さは、ＡＲ１およびＡＲ３のそれぞれのｘ方向の長さに比べて短く設定されている。一例として、ＡＲ１およびＡＲ３のそれぞれのｘ方向の長さは、ＡＲ２のｘ方向の長さの２倍以上に設定されている。図１６の例では、ＡＲ１とＡＲ３とは、互いに、前記ｙ軸を対称軸として線対称の位置関係となるように設定されている。 In the example of FIG. 16, the lengths of AR1 to AR3 in the y direction are all set to be equal. On the other hand, the length of AR2 in the x-direction is set shorter than the length of AR1 and AR3 in the x-direction. As an example, the length of each of AR1 and AR3 in the x-direction is set to be at least twice the length of AR2 in the x-direction. In the example of FIG. 16, AR1 and AR3 are set so as to have a line-symmetrical positional relationship with each other with the y-axis as the axis of symmetry.
（平均角度について）
本例では、上記Ｓ８２における８フレーム目の移動物体領域ＭＯＡの平均角度（以下、θｍ）に着目して、乗車意思が推定される。ここで、平均角度θｍの求め方について以下に説明する。
(About average angle)
In this example, the intention to board is estimated by paying attention to the average angle (hereinafter, θm) of the moving object region MOA in the 8th frame in S82. Here, how to obtain the average angle θm will be described below.
画像中の移動物体領域ＭＯＡに含まれる各画素には、オプティカルフローおよび画素方向情報が対応付けられている。また、移動物体領域ＭＯＡには物体方向情報が対応付けられている。これらの情報は例えば記憶部３２に記憶されている。意思推定部４２１は、例えば記憶部３２から読み出した情報を用いて、或る移動物体領域ＭＯＡについて以下のように平均角度θｍを算出する。例えば、図９に示す例における移動物体領域ＭＯＡ３（近方向Ｇｒ１の物体方向情報を有する領域）について、画素方向情報の値が近方向Ｇｒ１である画素の全てについて、各画素のオプティカルフロー方向値（この例では３０°〜１５０°の範囲内の角度値）を平均することにより、当該移動物体領域ＭＯＡ３の平均角度θｍを求める。本実施形態では、移動物体１が乗場２からかご２０に向かう移動方向を、「乗車移動方向」と称する。
Optical flow and pixel direction information are associated with each pixel included in the moving object region MOA in the image. Further, the moving object area MOA is associated with the object direction information. These pieces of information are stored in, for example, the
（条件１Ｂ〜３Ｂの具体例）
図１５に示す上記Ｓ８４に続いて、意思推定部４２１は、意思推定条件の後段である以下の条件１Ｂ〜３Ｂに基づいて、乗車意思を推定する処理を実行する（Ｓ８５）。具体的には、本例では、意思推定部４２１は、「条件１Ｂ〜３Ｂのうちの１つ以上が満たされている」場合（Ｓ８５でＹＥＳ）に、「移動物体領域ＭＯＡにて像が示される移動物体１が乗車意思を有している」と判定する。より具体的には、意思推定部４２１は、「移動物体領域ＭＯＡは、乗車意思あり物体領域（乗車意思を有する移動物体を示す領域）である」と判定する（Ｓ８６）。一方で、意思推定部４２１は、条件１Ｂ〜３Ｂをいずれも満たさない場合（Ｓ８５でＮＯ）、「移動物体領域ＭＯＡにて像が示される移動物体１は、乗車意思を有していない」と判定する。より具体的には、意思推定部４２１は、「移動物体領域ＭＯＡは、乗車意思なし物体領域（乗車意思を有していない移動物体を示す領域）である」と判定する（Ｓ８７）。
(Specific examples of
Following S84 shown in FIG. 15, the
なお、本実施形態では、移動物体領域ＭＯＡと判定領域ＡＲｘとが、「共通の画素を有していない状態」から「共通の画素を有している状態」へと遷移したことを、「移動物体領域ＭＯＡが、判定領域ＡＲｘに進入した」と称する。ＡＲｘは、ＡＲ１〜ＡＲ３のいずれか１つを指す。 In the present embodiment, the transition between the moving object region MOA and the determination region ARx from the “state without having a common pixel” to the “state with having a common pixel” is described as “moving”. The object region MOA has entered the determination region ARx. " ARx refers to any one of AR1 to AR3.
（条件１Ｂ）「物体方向情報の値が近方向Ｇｒ１である移動物体領域ＭＯＡが、ＡＲ１に進入し、かつ、該移動物体領域ＭＯＡにおけるθｍが第１有効進入角度範囲内にある」
（条件２Ｂ）「物体方向情報の値が近方向Ｇｒ１である移動物体領域ＭＯＡが、ＡＲ２に進入し、かつ、該移動物体領域ＭＯＡにおけるθｍが第２有効進入角度範囲内にある」
（条件３Ｂ）「物体方向情報の値が近方向Ｇｒ１である移動物体領域ＭＯＡが、ＡＲ３に進入し、かつ、該移動物体領域ＭＯＡにおけるθｍが第３有効進入角度範囲内にある」。
(
(Condition 2B) "The moving object region MOA whose object direction information value is the near direction Gr1 enters AR2, and θm in the moving object region MOA is within the second effective approach angle range."
(
なお、移動物体領域ＭＯＡが複数の領域（例えばＡＲ１およびＡＲ２）にまたがって位置する場合は、ＡＲ１の有効進入角度範囲（図１６の例では、６０°〜１５０°）だけでなく、ＡＲ２の有効進入角度範囲（図１６の例では、３０°〜１５０°）も見ることになり、意思推定部４２１は、両方を包含した範囲（図１６の例では、３０°〜１５０°）に基づいて乗車意思の判定を行えばよい。
When the moving object region MOA is located across a plurality of regions (for example, AR1 and AR2), not only the effective approach angle range of AR1 (60 ° to 150 ° in the example of FIG. 16) but also the effectiveness of AR2 is effective. The approach angle range (30 ° to 150 ° in the example of FIG. 16) will also be seen, and the
第１〜第３有効進入角度範囲とは、それぞれ、ＡＲ１〜ＡＲ３に対して設定されるθｍの範囲である。以下、図１６の（ｃ）〜（ｅ）を参照し、これらの条件について述べる。図１６の（ｃ）〜（ｅ）はそれぞれ、各角度範囲について説明するための図である。まず、条件２Ｂについて述べる。 The first to third effective approach angle ranges are ranges of θm set for AR1 to AR3, respectively. Hereinafter, these conditions will be described with reference to FIGS. 16 (c) to 16 (e). 16 (c) to 16 (e) are diagrams for explaining each angle range. First, condition 2B will be described.
（条件２Ｂについて）
図１６の（ｄ）に示されるように、本例では、第２有効進入角度範囲θ２Ａは、３０°〜１５０°として設定されている。このため、意思推定部４２１は、物体方向情報の値が近方向Ｇｒ１である移動物体領域であって、ＡＲ２内に含まれる画素が１つ以上存在し、かつθｍが３０°〜１５０°である移動物体領域について、乗車意思あり物体領域であると判定する。移動物体領域がＡＲ２内に位置している場合には、当該移動物体領域がＡＲ１またはＡＲ３内に位置している場合に比べて、当該移動物体領域に示される移動物体がかご２０に乗り込もうとする（ドア開閉路２４の左端部から右端部までの範囲内に向けて進入しようとする）場合の角度範囲が広いと考えられる。このため、第２有効進入角度範囲θ２Ａは、以下に述べる第１有効進入角度範囲θ１Ａおよび第３有効進入角度範囲θ３Ａに比べて、広く設定されている。
(About condition 2B)
As shown in FIG. 16D, in this example, the second effective approach angle range θ2A is set to 30 ° to 150 °. Therefore, the
なお、ＡＲ１〜ＡＲ３のレイアウトを考慮すると、第２有効進入角度範囲θ２Ａは、９０°を基準（角度中心）とする所定の角度範囲として設定されることが好ましい。本例では、第２有効進入角度範囲θ２Ａは、９０°±６０°という角度範囲として設定されている。 Considering the layout of AR1 to AR3, it is preferable that the second effective approach angle range θ2A is set as a predetermined angle range with 90 ° as a reference (angle center). In this example, the second effective approach angle range θ2A is set as an angle range of 90 ° ± 60 °.
図１６の（ｄ）から理解されるように、ＡＲ２には、ｙ軸の正方向（９０°）を対称軸として左右対称に所定の中央判定角度幅が設定されている。上記の「６０°」という角度は、中央判定角度幅の一例である。 As can be understood from (d) of FIG. 16, in AR2, a predetermined center determination angle width is set symmetrically with the positive direction (90 °) of the y-axis as the axis of symmetry. The above angle of "60 °" is an example of the central determination angle width.
（条件１Ｂについて）
これに対して、図１６の（ｃ）に示されるように、第１有効進入角度範囲θ１Ａは、６０°〜１５０°として設定されている。
(About
On the other hand, as shown in FIG. 16C, the first effective approach angle range θ1A is set to 60 ° to 150 °.
このため、意思推定部４２１は、物体方向情報の値が近方向Ｇｒ１でありＡＲ１内に含まれる画素が１つ以上存在する移動物体領域について、θｍが３０°〜６０°（以下、第１無効進入角度範囲θ１Ｂ）の場合には、乗車意思なし物体領域であると判定する。第１有効進入角度範囲θ１Ａは、第２有効進入角度範囲θ２Ａから、第１無効進入角度範囲θ１Ｂを除外した角度とも表現できる。
Therefore, the
θｍが第１無効進入角度範囲θ１Ｂ内にある場合には、θｍが第１有効進入角度範囲θ１Ａ内にある場合に比べて、移動物体領域に示される移動物体がかご２０に乗り込もうとする場合の角度範囲が狭いと考えられる。より具体的には、θｍが第１無効進入角度範囲θ１Ｂ内にある場合には、移動物体領域に示される移動物体は、撮像画像の左側に向かって移動中である可能性が高いと考えられる。この点を踏まえ、第１有効進入角度範囲θ１Ａは、第２有効進入角度範囲θ２Ａに比べて狭く設定されている。
When θm is within the first effective approach angle range θ1B, the moving object shown in the moving object area tries to get into the
なお、ＡＲ１〜ＡＲ３のレイアウトを考慮すると、第１有効進入角度範囲θ１Ａの下限値は、９０°よりもある程度小さい値（例：６０°）として設定されることが好ましい。ＡＲ１の右端部に位置している移動物体がドア開閉路２４の左端部に向けて進入しようとする場合、θｍは９０°よりもある程度小さくなると考えられるためである。
Considering the layout of AR1 to AR3, the lower limit of the first effective approach angle range θ1A is preferably set to a value somewhat smaller than 90 ° (example: 60 °). This is because when a moving object located at the right end of AR1 tries to enter toward the left end of the door opening /
図１６の（ｃ）から理解されるように、ＡＲ１には、ｙ軸の正方向からｘ軸の負方向に所定の左傾き角度にて傾いた方向を対称軸として左右対称に、所定の左判定角度幅が設定されている。本実施形態では、第１有効進入角度範囲θ１Ａは、６０°〜１５０°（１０５°±４５°）の角度範囲であって、ｙ軸の正方向（９０°）から反時計回りに１５°（所定の左傾き角度）傾いた１０５°の方向を対称軸として、４５°の角度幅（所定の左判定角度幅）にて左右対称に広がっている。 As can be understood from (c) of FIG. 16, the AR1 has a predetermined left symmetrically with the direction tilted at a predetermined left tilt angle from the positive direction of the y-axis to the negative direction of the x-axis as the axis of symmetry. The judgment angle width is set. In the present embodiment, the first effective approach angle range θ1A is an angle range of 60 ° to 150 ° (105 ° ± 45 °), and is 15 ° (counterclockwise) from the positive direction (90 °) of the y-axis. (Predetermined left tilt angle) With the tilted 105 ° direction as the axis of symmetry, it spreads symmetrically with an angle width of 45 ° (predetermined left determination angle width).
（条件３Ｂについて）
また、図１６の（ｅ）に示されるように、第３有効進入角度範囲θ３Ａは、３０°〜１２０°として設定されている。このため、意思推定部４２１は、物体方向情報の値が近方向Ｇｒ１でありＡＲ３内に含まれる画素が１つ以上存在する移動物体領域について、θｍが１２０°〜１５０°（以下、第３無効進入角度範囲θ３Ｂ）の場合には、乗車意思なし物体領域であると判定する。
(About
Further, as shown in FIG. 16 (e), the third effective approach angle range θ3A is set to 30 ° to 120 °. Therefore, the
このように、第３有効進入角度範囲θ３Ａも、第２有効進入角度範囲θ２Ａよりも狭く設定されている。第３有効進入角度範囲θ３Ａは、第２有効進入角度範囲θ２Ａから、第３無効進入角度範囲θ３Ｂを除外した角度とも表現できる。より具体的には、第３無効進入角度範囲θ３Ｂは、第１無効進入角度範囲θ１Ｂと対になる角度範囲として設定されている。 As described above, the third effective approach angle range θ3A is also set narrower than the second effective approach angle range θ2A. The third effective approach angle range θ3A can also be expressed as an angle obtained by excluding the third invalid approach angle range θ3B from the second effective approach angle range θ2A. More specifically, the third invalid approach angle range θ3B is set as an angle range paired with the first invalid approach angle range θ1B.
従って、条件１Ｂの例と同様に、θｍが第３無効進入角度範囲θ３Ｂ内にある場合には、θｍが第３有効進入角度範囲θ３Ａ内にある場合に比べて、移動物体領域に示される移動物体がかご２０に乗り込もうとしている可能性が低いと考えられる。より具体的には、θｍが第３無効進入角度範囲θ３Ｂ内にある場合には、移動物体領域に示される移動物体は、撮像画像の右側に向かって移動中である可能性が高いと考えられる。
Therefore, as in the example of
なお、ＡＲ１〜ＡＲ３のレイアウトを考慮すると、第３有効進入角度範囲θ３Ａの上限値は、９０°よりもある程度大きい値（例：１２０°）として設定されることが好ましい。ＡＲ３の左端部に位置している推定対象物体がドア開閉路２４の右端部に向けて進入しようとする場合、θｍは９０°よりもある程度大きくなると考えられるためである。
Considering the layout of AR1 to AR3, the upper limit of the third effective approach angle range θ3A is preferably set to a value somewhat larger than 90 ° (example: 120 °). This is because when the estimated target object located at the left end of AR3 tries to enter toward the right end of the door opening /
図１６の（ｄ）から理解されるように、ＡＲ３には、ｙ軸の正方向からｘ軸の正方向に所定の右傾き角度にて傾いた方向を対称軸として左右対称に、所定の右判定角度幅が設定されている。本実施形態では、第３有効進入角度範囲θ３Ａは、３０°〜１２０°（７５°±４５°）の角度範囲であって、ｙ軸の正方向（９０°）から時計回りに１５°（所定の右傾き角度）傾いた７５°の方向を対称軸として、４５°の角度幅（所定の右判定角度幅）にて左右対称に広がっている。 As can be understood from (d) of FIG. 16, the AR3 has a predetermined right side symmetrically with the direction tilted from the positive direction of the y-axis to the positive direction of the x-axis at a predetermined right tilt angle as the axis of symmetry. The judgment angle width is set. In the present embodiment, the third effective approach angle range θ3A is an angle range of 30 ° to 120 ° (75 ° ± 45 °), and is 15 ° (predetermined) clockwise from the positive direction (90 °) of the y-axis. (Right tilt angle) With the tilted 75 ° direction as the axis of symmetry, it spreads symmetrically with an angle width of 45 ° (predetermined right determination angle width).
（条件１Ｂ・２Ｂ・３Ｂの補記事項）
なお、上記条件１Ｂ〜３Ｂは意思推定条件の後段部の一例である。条件１Ｂ〜３Ｂに係る各角度範囲は、任意に設定されてよく、これらに限定されない。上記第１有効進入角度範囲、第２有効進入角度範囲、第３有効進入角度範囲は、記憶部４１に意思推定条件データ４１２として記憶されている。また、複数の判定領域ＡＲ（例えばＡＲ１〜ＡＲ３）を規定するパラメータ群（画像中における判定領域の４隅の座標等）は、記憶部４１に判定領域データ４１１として記憶されている。或いは、これらの意思推定条件は意思推定部４２１に予め設定されていてもよい。
(Supplementary information for
The
（その他の構成）
前述の決定処理ステップＳ５（図３を参照）における移動物体領域ＭＯＡを決定する処理にて用いられる所定値Ｖ１は、以下のように設定されてよい。すなわち、前述の第３の画素数を有する画像において、複数の判定領域ＡＲ（例えばＡＲ１〜ＡＲ３）のそれぞれにおけるかご２０から遠い側の境界付近に例えば子供が存在するような場合に、該子供を検出できるような値となるように所定値Ｖ１を設定する。これにより、意思推定部４２１は、子供のような比較的小さな移動物体１についても、乗車意思を適切に推定することができる。
(Other configurations)
The predetermined value V1 used in the process of determining the moving object region MOA in the above-mentioned determination process step S5 (see FIG. 3) may be set as follows. That is, in the above-mentioned image having the third number of pixels, when, for example, a child exists near the boundary on the side far from the
（Ｓ９・Ｓ１０について）
再び図１および図３を参照して、意思推定部４２１によるＳ８の処理の結果、判定領域ＡＲ１〜ＡＲ３の１つ以上に乗車意思あり物体領域が存在すると判定された場合、意思推定部４２１は、その旨の情報を動作制御部４２２に送信する。動作制御部４２２は、意思推定部４２１における処理の結果を用いて、かご戸２２の戸開閉動作を制御する（Ｓ９）。
(About S9 and S10)
With reference to FIGS. 1 and 3 again, when it is determined as a result of the processing of S8 by the
動作制御部４２２は、かご戸２２が戸開状態の場合、かご戸２２を戸閉動作させる指令（戸閉指令）を戸開閉装置５０に送信するまでの時間、という制御変数を有しており、例えば以下のように制御する。
The
上記制御変数の初期値をゼロとし、かご戸２２が戸開状態になった時点で、第１所定時間にセットする。そして、時間経過に応じて、上記制御変数をカウントダウンし、ゼロになった時点で、戸開閉装置５０に戸閉指令を送信する。
The initial value of the control variable is set to zero, and when the
本実施形態における動作制御部４２２は、意思推定部４２１から乗車意思あり物体領域が存在する旨の情報を受信した時点において、かご戸２２が戸開状態の場合、かご戸２２に戸閉指令を送信するまでの時間を増加させる、すなわち、上記制御変数に第２所定時間を加算する。その後、時間経過に応じて上記制御変数をカウントダウンし、ゼロになった時点で、戸開閉装置５０に戸閉指令を送信する。
When the
なお、上記第１所定時間および上記第２所定時間は任意に設定されてよく、具体的な値は特に限定されない。また、動作制御部４２２は、意思推定部４２１から乗車意思あり物体領域が存在する旨の情報を受信した時点において、かご戸２２が戸開状態の場合、上記制御変数に第１所定時間を再セットするようになっていてもよい。
The first predetermined time and the second predetermined time may be arbitrarily set, and specific values are not particularly limited. Further, when the
また、動作制御部４２２は、意思推定部４２１から乗車意思あり物体領域が存在する旨の情報を受信した時点において、かご戸２２が戸閉動作中の場合、かご戸２２の戸閉動作を中止して戸開動作を実行する旨の戸開指令を戸開閉装置５０に送信する。
Further, when the
その後、かご戸２２が戸閉状態となっていない場合（Ｓ１０でＮＯ）、本実施形態における乗車検知システム１０は、上記Ｓ２からの処理を再度行う。かご戸２２が戸閉状態となった場合（Ｓ１０でＹＥＳ）、乗車検知システム１０は処理を終了する。
After that, when the
（変形例４）
上記実施形態では、ＡＲ１〜ＡＲ３として矩形の判定領域を設定した例について説明したが、これに限定されない。例えば、ＡＲ１およびＡＲ３は、それぞれ扇形の判定領域として設定されてもよい。また、ＡＲ１およびＡＲ３は、扇形の弧が楕円の一部となっている形状の判定領域として設定されてもよい。
(Modification example 4)
In the above embodiment, an example in which a rectangular determination region is set as AR1 to AR3 has been described, but the present invention is not limited to this. For example, AR1 and AR3 may be set as fan-shaped determination regions, respectively. Further, AR1 and AR3 may be set as a determination region of a shape in which a fan-shaped arc is a part of an ellipse.
（小括３）
以上のように、本実施形態における乗車検知システム１０（画像処理装置３０および制御装置４０）は、エレベータの乗場２をカメラ２１にて撮像した動画像を構成する複数の画像を取得する画像取得部３１と、前記画像における、乗場２に存在する移動物体１に対応する像を示すとともに、該移動物体１の移動方向に関する物体方向情報を有する移動物体領域ＭＯＡを決定する移動物体決定部３３と、前記動画像の所定の期間内における複数の前記画像の全てにおいて同一の移動物体１に対応する像を示していると追跡された移動物体領域ＭＯＡの有する前記物体方向情報が、前記複数の画像の全てにおいて互いに同一であるか否かに基づき、当該移動物体領域ＭＯＡにて像が示される移動物体１の前記エレベータのかご２０への乗車意思の有無を推定する意思推定部４２１と、を備えている。
(Summary 3)
As described above, the boarding detection system 10 (
例えば、動画像において人物が乗場２を横切る方向に歩行している場合、移動物体決定部３３は、当該人物の腕の振り降ろし動作によって、当該腕を、かご２０に近づく方向に動いている移動物体であると検出することが有り得る。意思推定部４２１は、このような分類に基づいて推定処理を行う場合、上記人物について誤った推定処理を行い得る。
For example, when a person is walking in a direction crossing the
そこで、本実施形態における制御装置４０の意思推定部４２１は、所定の期間（例えば２３０ｍｓ以上）、同一の移動物体１に対応する像を示していると追跡された移動物体領域ＭＯＡについて、前記所定の期間内の複数の画像の全てにおいて該移動物体領域ＭＯＡの物体方向情報が互いに同一か否かに基づいて、該移動物体領域ＭＯＡに示される移動物体１の乗車意思を推定するようになっている。
Therefore, the
上記の構成によれば、意思推定部４２１は、或る移動物体１に対応する像を示す移動物体領域ＭＯＡの物体方向情報が例えば近方向Ｇｒ１である状態が、所定の期間以上、時間的に継続する場合に、該移動物体領域ＭＯＡにて像が示される移動物体１は乗車意思を有していると判定する。そのため、意思推定部４２１は、かご２０の前を通り過ぎる人物の腕の振り降ろし動作に起因して、当該腕をかご２０に近づく方向に動いている移動物体１であると検出したことに基づいて、上記人物が乗車意思を有していると判定することが抑制される。したがって、意思推定部４２１は、移動物体決定部３３における分類結果に基づき上記人物の乗車意思を誤って推定することを抑制して、乗車意思の推定を高精度に行うことができる。
According to the above configuration, in the
また、本実施形態の乗車検知システム１０は、前記複数の画像のそれぞれにおける移動物体領域ＭＯＡに含まれる各画素について算出した輝度の勾配方向を用いて、当該移動物体領域ＭＯＡに含まれる全画素を複数の勾配方向グループに分類し、前記勾配方向グループ毎の画素数の分布について平均値および標準偏差を算出するとともに、前記平均値に対する前記標準偏差の比である変動係数を算出する変動係数演算部３５をさらに備えている。意思推定部４２１は、さらに、移動物体領域ＭＯＡの前記変動係数に基づいて、当該移動物体領域ＭＯＡにて像が示される移動物体１が乗車意思を有していると判定することが好ましい。
Further, the
変動係数は、或る移動物体領域ＭＯＡの、勾配方向グループ毎の画素数の分布の偏り度合いを示す指標の１つである。かご戸２２では、一部のグループにのみ、勾配方向の分布が偏る傾向にある。一方で、人物等の移動物体の場合、かご戸２２の場合に比べ、勾配方向の分布の偏りが有意に小さい。このような変動係数の違いを捉えるために、例えば所定の閾値（例えば１以上）を設定することができる。これにより、かご戸２２と人等の移動物体との変動係数の違いに基づいて、乗車意思の推定対象として不適切な移動物体の像が示されている移動物体領域ＭＯＡを除外して、乗車意思の推定をより適切に行うことができる。
The coefficient of variation is one of the indexes indicating the degree of bias in the distribution of the number of pixels for each gradient direction group in a certain moving object region MOA. In the
本実施形態の乗車検知システム１０における意思推定部４２１は、前記動画像のうち連続する第１フレーム数の前記画像の全てにおいて同一の移動物体１に対応する像を示していると追跡された移動物体領域ＭＯＡの有する物体方向情報が、前記第１フレーム数の画像の全てにおいて互いに同一であるか否かに基づき、当該移動物体領域ＭＯＡにて像が示される移動物体１の前記エレベータのかご２０への乗車意思の有無を推定してもよい。
The
上記の構成によれば、意思推定部４２１は、或る移動物体１に対応する像を示す移動物体領域ＭＯＡの物体方向情報が例えば近方向Ｇｒ１の物体方向情報を有する状態が第１フレーム数の画像の全てにおいて継続している場合、当該移動物体領域ＭＯＡにて像が示される移動物体１が乗車意思を有していると推定する。意思推定部４２１は、移動物体決定部３３に分類結果に基づき上記人物の乗車意思を誤って推定することを抑制して、乗車意思の推定を高精度に行うことができる。
According to the above configuration, the
また、意思推定部４２１は、さらに、前記第１フレーム数の連続する複数の画像のうち、移動物体領域ＭＯＡの前記変動係数が前記所定の閾値未満である画像が第２フレーム数以上ある場合に、前記移動物体領域にて像が示される移動物体１が乗車意思を有していると判定することが好ましい。上記の構成によれば、乗車検知システム１０は、意思推定部４２１によって、乗車意思の推定をより高精度に行うことができる。
Further, the
以上のように乗車検知システム１０の各部にて行われる処理（特に意思推定部４２１による意思推定ステップ）を含む、移動物体１の乗車意思を推定する乗車検知方法についても本発明の範疇に入る。
The boarding detection method for estimating the boarding intention of the moving
（小括４）
以上のように、本実施形態における乗車検知システム１０（画像処理装置３０および制御装置４０）は、エレベータの乗場２をカメラ２１にて撮像した動画像を構成する複数の画像を取得する画像取得部３１と、前記画像における、乗場２に存在する移動物体１に対応する像を示すとともに、該移動物体１の移動方向に関する物体方向情報を有する移動物体領域ＭＯＡを決定する移動物体決定部３３と、移動物体領域ＭＯＡにて像が示される移動物体１の前記エレベータのかご２０への乗車意思の有無を推定する意思推定部４２１と、を備えている。ここで、前記画像における仮想的な複数の判定領域ＡＲ１〜ＡＲ３、および複数の前記判定領域のそれぞれに対応する所定の有効進入角度範囲が予め設定されている。意思推定部４２１は、前記画像中にて移動物体領域ＭＯＡと前記判定領域ＡＲ１〜ＡＲ３とが共通の画素を有する状態となった場合に、当該判定領域に対応する前記有効進入角度範囲に基づいて、当該移動物体領域ＭＯＡにて像が示される移動物体１の前記エレベータのかご２０への乗車意思の有無を推定する。
(Summary 4)
As described above, the boarding detection system 10 (
上記の構成によれば、意思推定部４２１は、複数の判定領域のいずれかへ移動物体領域ＭＯＡが進入した状態となった場合、該複数の判定領域のそれぞれに設定された有効進入角度範囲に基づいて、移動物体１の乗車意思を推定する。
According to the above configuration, when the moving object region MOA has entered any one of the plurality of determination regions, the
上記有効進入角度範囲については、例えば、移動物体１がかご２０に向き合っている方向と、上記複数の判定領域のそれぞれにおけるかご２０との位置関係と、に応じて設定することができる。
The effective approach angle range can be set according to, for example, the direction in which the moving
これにより、前記画像中における移動物体領域ＭＯＡの位置に対応するように、かご２０への乗車意思の有無を推定することができる。そのため、乗車意思の有無を推定する精度を高めることができる。
As a result, it is possible to estimate whether or not there is an intention to board the
また、本実施形態における乗車検知システム１０では、前記画像において、実空間での前記エレベータのドア開閉路２４（かご戸の開閉路）に対応する線分を開閉範囲線分、前記開閉範囲線分の中心点を原点Ｏ、前記開閉範囲線分に沿った直線をｘ軸、前記開閉範囲線分に垂直かつ原点Ｏを通る直線をｙ軸、原点Ｏからかご２０内に向かう方向をｙ軸の正方向、原点Ｏから乗場２に向かう方向をｙ軸の負方向、前記ｙ軸の負方向に対して９０°反時計回りの方向をｘ軸の正方向、前記ｙ軸の負方向に対して９０°時計回りの方向をｘ軸の負方向、と規定する。そして、複数の前記判定領域として、ドア開閉路２４の中央部に対応する判定領域であり、前記ｙ軸を含み前記ｙ軸の負方向に広がる判定領域ＡＲ２（中央判定領域）と、前記ｘ軸の正方向（左方向）において判定領域ＡＲ２に隣接する判定領域であり前記ｙ軸を含まずに前記ｙ軸の負方向に広がる判定領域ＡＲ１（左判定領域）と、前記ｘ軸の負方向（右方向）において判定領域ＡＲ２に隣接する判定領域であり前記ｙ軸を含まずに前記ｙ軸の負方向に広がる判定領域ＡＲ３（右判定領域）と、が設定されている。一例では、判定領域ＡＲ２（中央判定領域）は、前記開閉範囲線分よりも短い範囲にて前記ｘ軸の正方向および負方向に広がっている。判定領域ＡＲ１（左判定領域）は、前記開閉範囲線分の一端を超えて前記ｘ軸の正方向に広がっている。判定領域ＡＲ３（右判定領域）は、前記開閉範囲線分の一端を超えて前記ｘ軸の負方向に広がっている。
Further, in the
判定領域ＡＲ２は、前記ｙ軸の正方向を対称軸として所定の中央判定角度幅にて左右対称に広がる角度範囲が、所定の第２有効進入角度範囲θ２Ａとして設定されている。判定領域ＡＲ１は、前記ｙ軸の正方向から反時計回りに所定の左傾き角度にて傾いた方向を対称軸として所定の左判定角度幅にて左右対称に広がる角度範囲が、所定の第１有効進入角度範囲θ１Ａとして設定されている。判定領域ＡＲ３は、前記ｙ軸の正方向から時計回りに所定の右傾き角度にて傾いた方向を対称軸として所定の右判定角度幅にて左右対称に広がる角度範囲が、所定の第３有効進入角度範囲θ３Ａとして設定されている。 In the determination region AR2, an angle range that spreads symmetrically with a predetermined central determination angle width with the positive direction of the y-axis as the axis of symmetry is set as a predetermined second effective approach angle range θ2A. The determination region AR1 has a predetermined first angle range that extends symmetrically with a predetermined left determination angle width with a direction tilted counterclockwise from the positive direction of the y-axis at a predetermined left tilt angle as an axis of symmetry. It is set as the effective approach angle range θ1A. In the determination region AR3, a predetermined third effective angle range extends symmetrically with a predetermined right determination angle width with a direction tilted clockwise from the positive direction of the y-axis at a predetermined right tilt angle as an axis of symmetry. It is set as the approach angle range θ3A.
上記の構成によれば、「中央判定領域」では「ｙ軸の正方向」を中心とし、「左判定領域」では「ｙ軸の正方向からｘ軸の負方向へ傾いた方向」を中心とし、「右判定領域」では「ｙ軸の正方向からｘ軸の正方向へ傾いた方向」を中心とする有効進入角度範囲がそれぞれ設定されている。そのため、移動物体領域のｘ軸方向の位置および移動方向に応じて的確に、かごの前を通り過ぎる人物に誤認することを回避して、移動物体の乗車意思を推定することができる。 According to the above configuration, the "center judgment area" is centered on the "positive direction of the y-axis", and the "left judgment area" is centered on the "direction tilted from the positive direction of the y-axis to the negative direction of the x-axis". In the "right determination area", the effective approach angle range centered on the "direction tilted from the positive direction of the y-axis to the positive direction of the x-axis" is set. Therefore, it is possible to accurately estimate the boarding intention of the moving object according to the position in the x-axis direction and the moving direction of the moving object region, while avoiding misidentification as a person passing in front of the car.
また、以上のような乗車検知システム１０の各部にて行われる処理を含む、移動物体１の乗車意思を推定する乗車検知方法についても本発明の範疇に入り、この乗車検知方法は以下のように整理することができる。
Further, a boarding detection method for estimating the boarding intention of the moving
すなわち、本実施形態における乗車検知方法は、エレベータの乗場をカメラにて撮像した動画像を構成する複数の画像を取得する画像取得ステップと、前記画像における、前記乗場に存在する移動物体に対応する像を示すとともに、該移動物体の移動方向に関する物体方向情報を有する移動物体領域を決定する移動物体決定ステップと、前記画像における仮想的な複数の判定領域、および複数の前記判定領域のそれぞれに対応する所定の有効進入角度範囲が予め設定されており、前記画像中にて前記移動物体領域と前記判定領域とが共通の画素を有する状態となった場合に、当該判定領域に対応する前記有効進入角度範囲に基づいて、当該移動物体領域に示される前記移動物体の前記エレベータのかごへの乗車意思の有無を推定する意思推定ステップと、を含む。 That is, the boarding detection method in the present embodiment corresponds to an image acquisition step of acquiring a plurality of images constituting a moving image obtained by capturing the landing of the elevator with a camera, and a moving object existing in the landing in the image. Corresponds to each of the moving object determination step of showing an image and determining the moving object region having object direction information regarding the moving direction of the moving object, the plurality of virtual determination regions in the image, and the plurality of determination regions. When a predetermined effective approach angle range is set in advance and the moving object region and the determination region have a common pixel in the image, the effective approach corresponding to the determination region is obtained. It includes an intention estimation step of estimating whether or not the moving object indicated in the moving object region intends to ride in the car of the elevator based on the angular range.
〔実施形態２〕
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部位と同じ機能を有する部位については、同じ符号を付記し、その説明を繰り返さない。
[Embodiment 2]
Other embodiments of the present invention will be described below. For convenience of explanation, the same reference numerals will be added to the parts having the same functions as the parts described in the above embodiment, and the description will not be repeated.
前記実施形態１では、意思推定部４２１は、意思推定条件の後段として判定領域ＡＲ１〜ＡＲ３それぞれに適用される条件１Ｂ〜３Ｂに基づいて乗車意思あり物体領域を判定し、その結果を用いて動作制御部４２２が、かご戸２２の戸開閉動作を制御していた。そして、前記実施形態１では、乗車意思あり物体領域が存在すると判定された場合、かご戸２２の状態に応じて、下記（Ａ）および（Ｂ）のようにかご戸２２の戸開閉動作を制御していた。
（Ａ）かご戸２２が戸開状態の場合、かご戸２２に戸閉指令を送信するまでの時間を増加させる。
（Ｂ）かご戸２２が戸閉動作中の場合、かご戸２２の戸閉動作を中止して戸開動作を実行する旨の戸開指令を戸開閉装置５０に送信する。
In the first embodiment, the
(A) When the
(B) When the
ここで、前記実施形態１では、乗車意思あり物体領域が存在すると判定された場合、乗車意思あり物体領域が、ＡＲ１〜ＡＲ３のいずれに進入したか、またはＡＲ１〜ＡＲ３の２つ以上を含む組のうちいずれに進入したか、に関わらず、かご戸２２の戸開閉動作として上記（Ａ）および（Ｂ）の両方を適用していた。これに対して、本実施形態における乗車検知システム１０Ｂでは、意思推定部４２１における推定結果に基づいて、動作制御部４２２が、乗車意思あり物体領域の存在する位置に応じて、上記（Ａ）および（Ｂ）の両方を適用する場合と、上記（Ａ）のみを適用する場合とを切り替えるように制御を行う。すなわち、乗車意思あり物体領域が、ＡＲ１１（後述）とＡＲ１２（後述）とのいずれに進入したかに応じて、かご戸２２の戸開閉動作の制御が変化する点が異なっている。
Here, in the first embodiment, when it is determined that the object region with the intention to ride exists, the object region with the intention to ride has entered any of AR1 to AR3, or a set including two or more of AR1 to AR3. Regardless of which of the two was entered, both (A) and (B) above were applied as the door opening / closing operation of the
（本実施形態の乗車検知システム）
本実施形態では、前記実施形態１にて説明した図３におけるＳ１〜Ｓ８の処理に引き続いて制御装置４０が実行する処理について説明する。本実施形態における意思推定部４２１は、画像中の或る移動物体領域ＭＯＡについて、前記実施形態１にて説明した意思推定条件における条件１Ａおよび条件２Ｂを満足すれば乗車意思あり物体領域として判定する。そして、動作制御部４２２は、以下のような処理を行うことにより、かご戸２２の戸開閉動作を制御する（Ｓ９：動作制御ステップ）。
(Ride detection system of this embodiment)
In this embodiment, the processing executed by the
なお、意思推定部４２１は、移動物体領域が条件１Ａおよび条件２Ａを満足し、かつ、条件２Ｂ−１（後述）および条件２Ｂ−２（後述）のいずれかを満足すれば乗車意思あり物体領域として判定するようになっていてもよい。また、本発明の一態様における乗車検知システム１０Ｂは以下に説明する構成に限定されず、画像中の移動物体の像について公知の方法を用いて画像処理することにより該移動物体の乗車意思を推定する処理を行った結果に基づいて、以下に説明する動作制御部４２２の処理を適用することも可能である。
If the moving object region satisfies the
図１７は、本実施形態における戸開閉動作の制御において用いられる広範判定領域について説明するための図である。前記実施形態１におけるＡＲ１〜ＡＲ３の判定領域と区別するために、本実施形態において規定する判定領域を広範判定領域と称することとする。 FIG. 17 is a diagram for explaining a wide determination area used in the control of the door opening / closing operation in the present embodiment. In order to distinguish from the determination areas of AR1 to AR3 in the first embodiment, the determination area defined in the present embodiment will be referred to as a broad determination area.
本例では、撮像画像中に２つの広範判定領域を設定する。具体的には、図１７の例では、ＡＲ１１（第１の判定領域）およびＡＲ１２（第２の判定領域）の、２つの広範判定領域が設定されている。図１７の（ａ）では、ＡＲ１１およびＡＲ１２が概略図として示されている。図１７の（ｂ）では、ＡＲ１１およびＡＲ１２が、撮像画像中に設定された様子が示されている。ＡＲ１１およびＡＲ１２は、画像における仮想的な領域である。 In this example, two wide determination areas are set in the captured image. Specifically, in the example of FIG. 17, two wide determination areas, AR11 (first determination area) and AR12 (second determination area), are set. In FIG. 17A, AR11 and AR12 are shown as schematic views. FIG. 17B shows how AR11 and AR12 are set in the captured image. AR11 and AR12 are virtual areas in the image.
ここで、ＡＲ１１およびＡＲ１２に対応して、前述の条件２Ｂは以下のように変形される。
（条件２Ｂ−１）「物体方向情報の値が近方向Ｇｒ１である移動物体領域ＭＯＡが、ＡＲ１１に進入し、かつ、該移動物体領域ＭＯＡにおけるθｍが第２有効進入角度範囲内にある」
（条件２Ｂ−２）「物体方向情報の値が近方向Ｇｒ１である移動物体領域ＭＯＡが、ＡＲ１２に進入し、かつ、該移動物体領域ＭＯＡにおけるθｍが第２有効進入角度範囲内にある」。
Here, the above-mentioned condition 2B is modified as follows according to AR11 and AR12.
(Condition 2B-1) "A moving object region MOA whose object direction information value is near-direction Gr1 enters AR11, and θm in the moving object region MOA is within the second effective approach angle range."
(Condition 2B-2) "The moving object region MOA whose object direction information value is the near direction Gr1 has entered AR12, and θm in the moving object region MOA is within the second effective approach angle range."
図１７の例では、ＡＲ１１は、ドア開閉路２４周辺に相当する矩形上の領域として設定されている。ＡＲ１２は、実空間上でＡＲ１１に対応する領域よりもドア開閉路２４（かご２０の出入口）に対して遠い領域であって、ＡＲ１１を含まない、ＡＲ１１の周辺の領域として設定されている。このような、ＡＲ１１およびＡＲ１２を規定するパラメータ群（画像中における広範判定領域の４隅の座標等）は、記憶部４１に判定領域データ４１１として記憶されている。或いは、これらのパラメータ群は動作制御部４２２に予め設定されていてもよい。
In the example of FIG. 17, AR 11 is set as a rectangular region corresponding to the periphery of the door opening /
本実施形態の意思推定部４２１は、或る移動物体領域ＭＯＡについて乗車意思あり物体領域である（条件１Ａを満足し、かつ、条件２Ｂ−１および条件２Ｂ−２のいずれかを満足する）と判定された時点において、ＡＲ１２への進入有無と、ＡＲ１１への進入有無とを確認する。具体的には、乗車意思あり物体領域について、以下の（β）〜（δ）の３つの状態が考えられる。
（β）乗車意思あり物体領域が、ＡＲ１２にのみ進入している（ＡＲ１１には進入していない）。
（γ）乗車意思あり物体領域が、ＡＲ１２およびＡＲ１１のいずれにも進入している。
（δ）乗車意思あり物体領域が、ＡＲ１１にのみ進入している（ＡＲ１２には進入していない）。
When the
(Β) The object area with the intention of boarding has entered only AR12 (not entered into AR11).
(Γ) The object area with the intention of boarding has entered both AR12 and AR11.
(Δ) The object area with the intention of boarding has entered only AR11 (not entered into AR12).
上記（γ）または（δ）は、乗車意思あり物体領域が、少なくともＡＲ１１に進入した状態であるといえる。上記（β）は、乗車意思あり物体領域が、ＡＲ１２にのみ進入した状態であるといえる。 It can be said that the above (γ) or (δ) is a state in which the object region with the intention of boarding has entered at least AR11. It can be said that the above (β) is a state in which the object area with the intention of boarding has entered only AR12.
意思推定部４２１は、「上記移動物体領域ＭＯＡがＡＲ１２にのみ進入したのではない状態」から「該移動物体領域ＭＯＡがＡＲ１２にのみ進入した状態」への状態遷移が生じたと判定した場合、その判定結果を示す情報を動作制御部４２２に送信する。また、意思推定部４２１は、「上記移動物体領域ＭＯＡ少なくともＡＲ１１に進入したのではない状態」から「該移動物体領域ＭＯＡが少なくともＡＲ１１に進入した状態」への状態遷移が生じたと判定した場合、その判定結果を示す情報を動作制御部４２２に送信する。
When the
動作制御部４２２は、乗車意思あり物体領域とＡＲ１１およびＡＲ１２との位置関係、およびかご戸２２の開閉状態に応じて、具体的には以下のように、かご戸２２の開閉する機構を有する戸開閉装置５０に対して指令を送信する。
The
（ケース１：戸開状態かつＡＲ１２内で検出された場合）
図１８は、かご戸２２が戸開状態の場合における、動作制御部４２２が実行する戸開閉動作の制御の一例について説明するための図である。ここで、下記のケース１〜４が考えられるが、図１８ではケース１を例にしている。このことは、後述する図１９を用いた説明においても同様である。ケース２〜４についての説明は、後述する。
（ケース１）戸開状態かつＡＲ１２内で検出された場合。すなわち、ＡＲ１２にのみ進入した状態に遷移したと同時に、乗車意思なし物体領域から乗車意思あり物体領域へ切り替わり、そのとき戸開状態だった場合。
（ケース２）戸開状態かつＡＲ１１内で検出された場合。すなわち、少なくともＡＲ１１に進入した状態に遷移したと同時に、乗車意思なし物体領域から乗車意思あり物体領域へ切り替わり、そのとき戸開状態だった場合。
（ケース３）戸閉動作中かつＡＲ１２内で検出された場合。すなわち、ＡＲ１２にのみ進入した状態に遷移したと同時に、乗車意思なし物体領域から乗車意思あり物体領域へ切り替わり、そのとき戸閉動作中だった場合。
（ケース４）戸閉動作中かつＡＲ１１内で検出された場合。すなわち、少なくともＡＲ１１に進入した状態に遷移したと同時に、乗車意思なし物体領域から乗車意思あり物体領域へ切り替わり、そのとき戸閉動作中だった場合。
(Case 1: When the door is open and detected in AR12)
FIG. 18 is a diagram for explaining an example of control of the door opening / closing operation executed by the
(Case 1) When the door is open and detected in AR12. That is, at the same time as the transition to the state of entering only AR12, the object area without the intention to board is switched to the object area with the intention to board, and the door is open at that time.
(Case 2) When the door is open and detected in AR11. That is, at least when the state transitions to the state of entering AR11, at the same time, the object area with no intention of boarding is switched to the object area with intention of boarding, and the door is open at that time.
(Case 3) When the door is closed and detected in AR12. That is, at the same time as the transition to the state of entering only AR12, the object area without the intention to get on the vehicle is switched to the object area with the intention to get on the vehicle, and the door is closed at that time.
(Case 4) When the door is closed and detected in AR11. That is, at least at the same time as the transition to the state of entering AR11, the object area without the intention to get on the vehicle is switched to the object area with the intention to get on the vehicle, and the door is closed at that time.
図１８の（ａ）に示すように、画像上で移動物体１の像を示す移動物体領域ＭＯＡがＡＲ１２の外側に存在するとともにかご戸２２が戸開状態であり、移動物体１がかご２０に乗り込もうと近づいてくる場合を例示して説明する。この移動物体１の像を示す移動物体領域ＭＯＡは、上述のように乗車意思あり物体領域であると判定されているとする。
As shown in FIG. 18A, the moving object region MOA showing the image of the moving
動作制御部４２２は、かご戸２２が戸開状態であり、かつ移動物体１の像を示す移動物体領域ＭＯＡが上記（β）ではない状態から（β）の状態に遷移した場合（図１８の（ｂ））、前記実施形態１にて説明したことと同様に、戸閉指令を戸開閉装置５０に送信するまでの時間（制御変数）に第２所定時間を加算する、または制御変数に第１所定時間を再セットする。
The
なお、ケース１〜４において、「ＡＲ１２（あるいはＡＲ１１）にのみ進入した状態に遷移したと同時に」を、「ＡＲ１２（あるいはＡＲ１１）にのみ進入した状態に遷移していた後で」に置き換えた場合も考えられる。この場合にも、ケース１〜４と同様の開閉制御が行われる。
In
そして、図１８の（ｃ）に示すように、移動物体１の像を示す移動物体領域ＭＯＡが、ＡＲ１１に進入した後、図１８の（ｄ）に示すように、該移動物体領域ＭＯＡはかご２０内へと移動する。その後、所定時間が経過し、ＡＲ１２内に別の移動物体１の像を示す移動物体領域ＭＯＡが存在（進入）しない場合、動作制御部４２２は、上記制御変数がゼロとなった時点で戸閉指令を戸開閉装置５０に送信し、戸開閉装置５０は、かご戸２２の戸閉動作を実行する。
Then, as shown in FIG. 18 (c), after the moving object region MOA showing the image of the moving
なお、本実施形態における乗車検知システムでは、上述の動作制御部４２２による処理の対象となった乗車意思あり物体領域が上記（γ）ではない状態から上記（γ）の状態に遷移した場合、または、上記（δ）ではない状態から上記（δ）の状態に遷移した場合において、動作制御部４２２は格別の処理（例えば制御変数の加算）を行わない。これにより、かご戸２２が戸開状態となっている時間が不要に長大化することを抑制することができる。
In the boarding detection system of the present embodiment, when the object area with the intention of boarding, which is the target of the processing by the
（ケース２：戸開状態かつＡＲ１１内で検出された場合）
動作制御部４２２は、かご戸２２が戸開状態であり、かつ乗車意思あり物体領域（移動物体１の像を示す移動物体領域ＭＯＡ）がＡＲ１１内にて初めて検出された場合、上記と同様に、かご戸２２の戸閉指令を戸開閉装置５０に送信するまでの時間（制御変数）に第２所定時間を加算する、または制御変数に第１所定時間を再セットする。
(Case 2: When the door is open and detected in AR11)
When the
（ケース３：戸閉動作中かつＡＲ１２内で検出された場合）
図１９は、かご戸２２が戸閉動作中の場合における、動作制御部４２２が実行する戸開閉動作の制御の一例について説明するための図である。
(Case 3: When the door is closed and detected in AR12)
FIG. 19 is a diagram for explaining an example of control of the door opening / closing operation executed by the
図１９の（ａ）に示すように、画像上で移動物体１の像を示す移動物体領域ＭＯＡ（乗車意思あり物体領域）がＡＲ１２の外側に存在するとともにかご戸２２が戸閉動作中であり、移動物体１がかご２０に乗り込もうと近づいてくる場合を例示して説明する。
As shown in FIG. 19A, a moving object region MOA (object region with intention of riding) showing an image of the moving
動作制御部４２２は、図１９の（ｂ）に示すように、かご戸２２が戸閉動作中であり、かつ移動物体１の像を示す移動物体領域ＭＯＡが上記（β）ではない状態から（β）の状態へ遷移した場合、格別の処理（例えば制御変数の加算）を行わない。これにより、かご戸２２から比較的遠い位置にて乗車意思あり物体領域が検出された場合に、戸閉動作中のかご戸２２は、停止動作および戸開動作することなく、そのまま戸閉状態となる。
As shown in FIG. 19B, the
なお、動作制御部４２２は、画像上で移動物体１の像を示す移動物体領域ＭＯＡが上記（β）ではない状態から（β）の状態へ遷移した場合において、かご戸２２の戸閉動作の初期段階であれば、戸開指令Ｃを戸開閉装置５０に送信して、かご戸２２の戸閉動作を中止するように制御をおこなってもよい。
The
（ケース４：戸閉動作中かつＡＲ１１内で検出された場合）
動作制御部４２２は、かご戸２２が戸閉動作中であり、かつ乗車意思あり物体領域（移動物体１）が上記（γ）ではない状態から上記（γ）の状態に遷移した場合、または、上記（δ）ではない状態から上記（δ）の状態に遷移した場合、図１９の（ｃ）に示すように、かご戸２２の戸閉動作を中止して戸開動作を実行する旨の戸開指令Ｃを戸開閉装置５０に送信する。戸開閉装置５０は、戸開指令Ｃを受信すると、かご戸２２の戸閉動作を中止して、戸開動作を再度実行する。
(Case 4: When the door is closed and detected in AR11)
The
（小括５）
従来、かご２０のかご戸２２の開閉動作の制御としては、一つの検出ゾーンを定め、その検出ゾーン内に人物等が検出されているか否かを基準とする制御が考えられる。この制御では、ドアが閉動作中に検出ゾーン内に人物等が検出されると、ドアの閉動作を一旦停止し、反転して開動作を行うことになる。また、この制御では、ドアが戸開状態にある場合に、検出ゾーン内に人物等が検出されると、戸開状態が維持される。このような従来の制御では、次のような問題があった。
(Summary 5)
Conventionally, as control of the opening / closing operation of the
すなわち、かご２０から遠い位置の乗車意思ありの人物についても、かご戸２２の閉動作を一旦停止し反転して開動作を行う対象としてかご２０への乗車を許す場合、当該人物（個々の利用者）を優遇してエレベータ・サービスをすることになる。その結果、エレベータの利用者全体（例えばかご２０内に既に乗り込んでいる利用者、別の階でかご２０を呼び出している利用者、等）に対する考慮が不十分となり、エレベータの運行効率が阻害される結果を招く。
That is, even for a person who intends to ride at a position far from the
そこで、以上のように、本実施形態における制御装置４０は、エレベータの乗場２をカメラ２１にて撮像した画像において、エレベータのかご２０への乗車意思を有する移動物体１に対応する像を示す乗車意思あり物体領域を抽出する意思推定部４２１を備えている。そして、前記画像における仮想的な領域であって、（ｉ）ドア開閉路２４（かご２０の出入口）周辺に相当する判定領域ＡＲ１１（第１の判定領域）、および（ｉｉ）実空間上で判定領域ＡＲ１１に対応する領域よりもドア開閉路２４に対して遠い領域に相当する、判定領域ＡＲ１１を含まない判定領域ＡＲ１２（第２の判定領域）が予め設定されている。本実施形態における制御装置４０は、前記乗車意思あり物体領域がＡＲ１２にのみ進入した状態となった場合と、前記乗車意思あり物体領域が少なくともＡＲ１１に進入した状態となった場合とで、かご戸（ドア）２２が閉動作中のときのかご戸２２の開閉動作の制御を異ならせるようにかご戸２２の開閉動作を制御する動作制御部４２２を備えている。
Therefore, as described above, the
従来技術においても判定領域ＡＲ１１は設定され得るが、本実施形態における制御装置４０では、判定領域ＡＲ１１に加えて、さらに判定領域ＡＲ１１の外側に判定領域ＡＲ１２を設定している。これにより、上述した、従来技術において検出ゾーンを拡大する場合のような問題が生じにくい。本実施形態の制御装置４０では、かご戸２２の閉動作を開始するまでの時間を増やす制御の判定条件に用いられる判定領域の範囲を拡大させつつ、かご戸２２の閉動作を中止して反転開動作を行う制御の判定条件に用いられる判定領域の範囲はそのままとすることができる。
Although the determination area AR11 can be set in the prior art, the
具体的には、例えば、移動物体１（人物等）が、かご２０の出入口から遠い判定領域ＡＲ１２に進入し判定領域ＡＲ１１には進入していない状態において、かご戸２２の閉動作の開始前であれば、該閉動作を開始するまでの時間を増やすことにより、乗車意思を有する移動物体１に対してサービス性を確保することができる。
Specifically, for example, in a state where the moving object 1 (person or the like) has entered the determination area AR12 far from the entrance / exit of the
また、例えば、上記状態においてかご戸２２が閉動作中の場合、かご戸２２の閉動作を継続させる。これにより、乗車意思を有するが、かご戸２２が閉まり切るまでに乗り込むことが難しそうな移動物体１を優遇することに起因してエレベータの運行効率が低下する事態の発生を防止することができる。
Further, for example, when the
したがって、移動物体１に対してかご２０への乗込みを許すことによるサービス性の確保と、かご２０への乗込みを断念させることによる運行効率の確保との、どちらを優先するかについて、移動物体１の位置とドア開閉路２４との遠近関係に応じてバランスをとることができる。その結果、個々の利用者に対するサービス性の確保と、利用者全体を考慮したエレベータの運行効率の確保とを両立させて、エレベータをより円滑に運行させることができる。
Therefore, it is necessary to prioritize whether to secure the serviceability by allowing the moving
以上のように制御装置４０が行う処理（特に動作制御部４２２による動作制御ステップ）を含む、エレベータのかご戸２２の開閉動作を制御するエレベータドアの制御方法についても本発明の範疇に入る。
The elevator door control method for controlling the opening / closing operation of the
（変形例５）
（５ａ）判定領域データ４１１は、画像中の像の移動スピードに応じて、第１および第２の判定領域の大きさを変化させるように設定されていてもよい。例えば、移動物体のスピードが速いほど、第１および第２の判定領域の大きさを拡大するように設定されていてもよい。
(Modification 5)
(5a) The
（５ｂ）判定領域データ４１１は、かご戸２２の閉まり具合に応じて、第１および第２の判定領域の大きさを変化させるように設定されていてもよい。例えば、かご戸２２が閉まっていくほど、第１の判定領域の大きさを縮小するように設定されていてもよい。
(5b) The
（５ｃ）本発明の他の一態様における乗車検知システムでは、カメラの撮像画像に替えて、各種のセンサの検出結果を利用して、乗車意思あり物体領域を判定してもよい。例えば、特許第５４７３８０１号に開示された手法を用いて、乗車意思あり物体領域を判定してもよい。上記センサとして、例えば、測距センサ（例：レーザレーダまたはミリ波レーダ）を用いることができる。あるいは、上記センサとしては、感熱センサを用いることもできる。 (5c) In the boarding detection system according to another aspect of the present invention, the object area with the intention of boarding may be determined by using the detection results of various sensors instead of the images captured by the camera. For example, the method disclosed in Japanese Patent No. 5473801 may be used to determine the object region with the intention of boarding. As the sensor, for example, a ranging sensor (eg, laser radar or millimeter wave radar) can be used. Alternatively, a thermal sensor can be used as the sensor.
（その他の構成）
乗車検知システム１０の一態様では、移動物体決定部３３、物体追跡部３４、または変動係数演算部３５は、制御装置４０に含まれていてもよい。乗車検知システム１０の別の一態様では、意思推定部４２１は、画像処理装置３０に含まれていてもよい。
(Other configurations)
In one aspect of the
〔ソフトウェアによる実現例〕
画像処理装置３０の制御ブロック（特に移動物体決定部３３、物体追跡部３４、および変動係数演算部３５）並びに制御装置４０の制御ブロック（特に制御部４２）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。
[Example of realization by software]
The control block of the image processing device 30 (particularly the moving
後者の場合、画像処理装置３０および制御装置４０は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば１つ以上のプロセッサを備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
In the latter case, the
〔附記事項〕
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
[Appendix]
The present invention is not limited to the above-described embodiments, and various modifications can be made within the scope of the claims, and the embodiments obtained by appropriately combining the technical means disclosed in the different embodiments. Is also included in the technical scope of the present invention.
１：移動物体 ２：乗場 ３：乗場戸 １０、１０Ｂ：乗車検知システム ２１：カメラ ２２：かご戸（ドア） ２３：幕板 ２４：ドア開閉路 ３０：画像処理装置（情報処理装置） ３１：画像取得部 ３３：移動物体決定部 ３４：物体追跡部 ３５：変動係数演算部 ３９：システムバス ４０：制御装置（情報処理装置） ４１：記憶部 ４２：制御部 ５０：戸開閉装置 ３３１：輝度差分演算部 ３３２：オプティカルフロー演算部 ３３３：物体候補領域設定部 ３３４：決定処理部 ３４１：図形設定部 ３４２：重なり度算出部 ３４３：追跡処理部 ３５２：対象物体判定部 ４１１：判定領域データ ４２１：意思推定部 ４２２：動作制御部 ＭＯＡ２、ＭＯＡ４、ＭＯＡ５：移動物体領域 ＯＣＡ１、ＯＣＡ２、ＯＣＡ４：物体候補領域 ＰＡ２１、ＰＡ２２、ＰＡ４１、ＰＡ４２：部分領域 Ｓ１：対応図形 ＴＰ１：第１の処理後画像 ＴＰ２：第２の処理後画像 ＴＰ３：第３の処理後画像 ＴＰ４：第４の処理後画像 θ１Ａ：第１有効進入角度範囲 θ１Ｂ：第１無効進入角度範囲 θ２Ａ：第２有効進入角度範囲 θ３Ａ：第３有効進入角度範囲 θ３Ｂ：第３無効進入角度範囲
1: Moving object 2: Landing 3: Landing
Claims (7)
前記画像における、前記乗場に存在する移動物体に対応する像を示す移動物体領域を決定する移動物体決定部と、
前記画像であって所定の時間差を有する第１の画像および第２の画像について、前記第１の画像中に含まれる複数の第１の移動物体領域のそれぞれに対応し複数の前記第１の移動物体領域のそれぞれを囲う複数の第１の対応図形、および、前記第２の画像中に含まれる複数の第２の移動物体領域のそれぞれに対応し複数の前記第２の移動物体領域のそれぞれを囲う複数の第２の対応図形を設定する図形設定部と、
複数の前記第１の対応図形のうちの或る１つと、複数の前記第２の対応図形のそれぞれとの互いの重なり度を算出する重なり度算出部と、
前記第１の画像中において、或る１つの前記第１の対応図形に対応する前記第１の移動物体領域にて像が示される前記移動物体を処理対象物体とし、
前記第２の画像中において、前記乗場に存在する、前記処理対象物体と同一の前記移動物体に対応する像を示す前記第２の移動物体領域を対応物体領域として、
前記重なり度が所定の基準値以上であることに基づいて前記対応物体領域を特定する追跡処理部と、を備えていることを特徴とする画像処理装置。 An image acquisition unit that acquires an image of the elevator landing taken by a camera,
A moving object determination unit that determines a moving object region showing an image corresponding to a moving object existing in the landing in the image, and a moving object determination unit.
For the first and second images having a predetermined time difference an the image, moving the first plurality corresponding to each of the first plurality of first included in the image of the moving object region first corresponding shape of the plurality surrounding the respective object regions, and, each of said plurality of said second moving object region corresponding to each of the plurality of second moving object area included in the second image A figure setting unit that sets a plurality of second corresponding figures to be enclosed,
An overlap degree calculation unit that calculates the degree of overlap between a certain one of the plurality of the first corresponding figures and each of the plurality of the second corresponding figures.
In the first image, the moving object whose image is shown in the first moving object region corresponding to one one corresponding first corresponding figure is set as a processing target object.
In the second image, the second moving object region showing an image corresponding to the moving object that is the same as the processing target object existing in the landing is set as the corresponding object region.
An image processing apparatus including a tracking processing unit that identifies a corresponding object region based on the degree of overlap being equal to or higher than a predetermined reference value.
前記画像における、前記乗場に存在する移動物体に対応する像を示す移動物体領域を決定する移動物体決定部と、
前記画像であって所定の時間差を有する第１の画像および第２の画像について、前記第１の画像中に含まれる複数の第１の移動物体領域にそれぞれ対応する複数の第１の対応図形、および、前記第２の画像中に含まれる複数の第２の移動物体領域にそれぞれ対応する複数の第２の対応図形を設定する図形設定部と、
複数の前記第１の対応図形のうちの或る１つと、複数の前記第２の対応図形のそれぞれとの互いの重なり度を算出する重なり度算出部と、
前記第１の画像中において、或る１つの前記第１の対応図形に対応する前記第１の移動物体領域にて像が示される前記移動物体を処理対象物体とし、
前記第２の画像中において、前記乗場に存在する、前記処理対象物体と同一の前記移動物体に対応する像を示す前記第２の移動物体領域を対応物体領域として、
前記重なり度が所定の基準値以上であることに基づいて前記対応物体領域を特定する追跡処理部と、を備え、
前記移動物体領域は、前記移動物体の移動方向に関する物体方向情報を有しており、
前記追跡処理部は、前記対応物体領域を、前記物体方向情報が互いに同一であり、かつ前記重なり度が最も大きいことに基づいて特定することを特徴とする画像処理装置。 An image acquisition unit that acquires an image of the elevator landing taken by a camera,
A moving object determination unit that determines a moving object region showing an image corresponding to a moving object existing in the landing in the image, and a moving object determination unit.
With respect to the first image and the second image having a predetermined time difference in the image, the plurality of first corresponding figures corresponding to the plurality of first moving object regions included in the first image, respectively. A graphic setting unit for setting a plurality of second corresponding figures corresponding to the plurality of second moving object regions included in the second image, and a graphic setting unit.
An overlap degree calculation unit that calculates the degree of overlap between a certain one of the plurality of the first corresponding figures and each of the plurality of the second corresponding figures.
In the first image, the moving object whose image is shown in the first moving object region corresponding to one one corresponding first corresponding figure is set as a processing target object.
In the second image, the second moving object region showing an image corresponding to the moving object that is the same as the processing target object existing in the landing is set as the corresponding object region.
A tracking processing unit that identifies the corresponding object region based on the degree of overlap being equal to or higher than a predetermined reference value is provided.
The moving object region has object direction information regarding the moving direction of the moving object.
The tracking processing unit, the corresponding object region, the object direction information are the same each other and the overlapping degree images processor you and identifies based on the largest.
前記画像における、前記乗場に存在する移動物体に対応する像を示す移動物体領域を決定する移動物体決定部と、
前記画像であって所定の時間差を有する第１の画像および第２の画像について、前記第１の画像中に含まれる複数の第１の移動物体領域にそれぞれ対応する複数の第１の対応図形、および、前記第２の画像中に含まれる複数の第２の移動物体領域にそれぞれ対応する複数の第２の対応図形を設定する図形設定部と、
複数の前記第１の対応図形のうちの或る１つと、複数の前記第２の対応図形のそれぞれとの互いの重なり度を算出する重なり度算出部と、
前記第１の画像中において、或る１つの前記第１の対応図形に対応する前記第１の移動物体領域にて像が示される前記移動物体を処理対象物体とし、
前記第２の画像中において、前記乗場に存在する、前記処理対象物体と同一の前記移動物体に対応する像を示す前記第２の移動物体領域を対応物体領域として、
前記重なり度が所定の基準値以上であることに基づいて前記対応物体領域を特定する追跡処理部と、を備え、
前記第１の画像は、前記第２の画像よりも時間的に前の画像であり、
前記移動物体領域は、前記移動物体の移動方向に関する物体方向情報を有しており、
前記追跡処理部は、前記第１の移動物体領域の有する前記物体方向情報が有方向の特性を持つ第１種の物体方向情報であり、かつ、前記第２の移動物体領域の有する前記物体方向情報が無方向の特性を持つ第２種の物体方向情報である場合、前記第２の移動物体領域の有する前記物体方向情報を、前記第１の移動物体領域の有する前記物体方向情報に一致させることを特徴とする画像処理装置。 An image acquisition unit that acquires an image of the elevator landing taken by a camera,
A moving object determination unit that determines a moving object region showing an image corresponding to a moving object existing in the landing in the image, and a moving object determination unit.
With respect to the first image and the second image having a predetermined time difference in the image, the plurality of first corresponding figures corresponding to the plurality of first moving object regions included in the first image, respectively. A graphic setting unit for setting a plurality of second corresponding figures corresponding to the plurality of second moving object regions included in the second image, and a graphic setting unit.
An overlap degree calculation unit that calculates the degree of overlap between a certain one of the plurality of the first corresponding figures and each of the plurality of the second corresponding figures.
In the first image, the moving object whose image is shown in the first moving object region corresponding to one one corresponding first corresponding figure is set as a processing target object.
In the second image, the second moving object region showing an image corresponding to the moving object that is the same as the processing target object existing in the landing is set as the corresponding object region.
A tracking processing unit that identifies the corresponding object region based on the degree of overlap being equal to or higher than a predetermined reference value is provided.
The first image is an image before the second image in time.
The moving object region has object direction information regarding the moving direction of the moving object.
In the tracking processing unit, the object direction information possessed by the first moving object region is first-class object direction information having directional characteristics, and the object direction possessed by the second moving object region. When the information is the second type of object direction information having a non-directional characteristic, the object direction information possessed by the second moving object region is made to match the object direction information possessed by the first moving object region. images processor you wherein a.
前記画像における、前記乗場に存在する移動物体に対応する像を示す移動物体領域を決定する移動物体決定ステップと、
前記画像であって所定の時間差を有する第１の画像および第２の画像について、前記第１の画像中に含まれる複数の第１の移動物体領域のそれぞれに対応し複数の前記第１の移動物体領域のそれぞれを囲う複数の第１の対応図形、および、前記第２の画像中に含まれる複数の第２の移動物体領域のそれぞれに対応し複数の前記第２の移動物体領域のそれぞれを囲う複数の第２の対応図形を設定する図形設定ステップと、
複数の前記第１の対応図形のうちの或る１つと、複数の前記第２の対応図形のそれぞれとの互いの重なり度を算出する重なり度算出ステップと、
前記第１の画像中において、或る１つの前記第１の対応図形に対応する前記第１の移動物体領域にて像が示される前記移動物体を処理対象物体とし、
前記第２の画像中において、前記乗場に存在する、前記処理対象物体と同一の前記移動物体に対応する像を示す前記第２の移動物体領域を対応物体領域として、
前記重なり度が所定の基準値以上であることに基づいて前記対応物体領域を特定する追跡処理ステップと、を含むことを特徴とする画像処理方法。 An image acquisition step to acquire an image of the elevator landing taken by a camera, and
A moving object determination step for determining a moving object region showing an image corresponding to a moving object existing in the landing in the image, and a moving object determination step.
For the first and second images having a predetermined time difference an the image, moving the first plurality corresponding to each of the first plurality of first included in the image of the moving object region first corresponding shape of the plurality surrounding the respective object regions, and, each of said plurality of said second moving object region corresponding to each of the plurality of second moving object area included in the second image A figure setting step to set a plurality of second corresponding figures to be enclosed, and
An overlap degree calculation step for calculating the degree of overlap between a certain one of the plurality of the first corresponding figures and each of the plurality of the second corresponding figures, and
In the first image, the moving object whose image is shown in the first moving object region corresponding to one one corresponding first corresponding figure is set as a processing target object.
In the second image, the second moving object region showing an image corresponding to the moving object that is the same as the processing target object existing in the landing is set as the corresponding object region.
An image processing method comprising a tracking processing step for identifying the corresponding object region based on the degree of overlap being equal to or higher than a predetermined reference value.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019148085A JP6922951B2 (en) | 2019-08-09 | 2019-08-09 | Image processing device and image processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019148085A JP6922951B2 (en) | 2019-08-09 | 2019-08-09 | Image processing device and image processing method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021028807A JP2021028807A (en) | 2021-02-25 |
| JP6922951B2 true JP6922951B2 (en) | 2021-08-18 |
Family
ID=74667054
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019148085A Active JP6922951B2 (en) | 2019-08-09 | 2019-08-09 | Image processing device and image processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6922951B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022181653A1 (en) | 2021-02-25 | 2022-09-01 | キヤノン株式会社 | Solid electrolyte, active material layer, electrolyte layer and secondary battery |
| CN115321322A (en) * | 2022-08-22 | 2022-11-11 | 日立楼宇技术（广州）有限公司 | Control method, device and equipment for elevator car door and storage medium |
Family Cites Families (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002074369A (en) * | 2000-08-28 | 2002-03-15 | Ntt Data Corp | System and method for monitoring based on moving image and computer readable recording medium |
| JP4548933B2 (en) * | 2000-11-24 | 2010-09-22 | パナソニック株式会社 | An image recognition apparatus, an image recognition method, and a recording medium storing the program. |
| JP4228657B2 (en) * | 2002-11-07 | 2009-02-25 | パナソニック電工株式会社 | Object detection method |
| JP2006096517A (en) * | 2004-09-29 | 2006-04-13 | Mitsubishi Electric Corp | Elevator control system |
| JP2008120548A (en) * | 2006-11-14 | 2008-05-29 | Mitsubishi Electric Corp | Control device of elevator |
| JP4268644B2 (en) * | 2007-01-22 | 2009-05-27 | アジア航測株式会社 | Mobile object detection system, mobile object detection apparatus, mobile object detection method, and mobile object detection program |
| WO2009005025A1 (en) * | 2007-07-03 | 2009-01-08 | Konica Minolta Holdings, Inc. | Moving object detection device |
| JP5213613B2 (en) * | 2008-09-26 | 2013-06-19 | キヤノン株式会社 | Image processing apparatus, image processing method, imaging apparatus, and program |
| JP2010199865A (en) * | 2009-02-24 | 2010-09-09 | Nec Corp | Abnormality detection system, abnormality detection method, and abnormality detection program |
| US8605942B2 (en) * | 2009-02-26 | 2013-12-10 | Nikon Corporation | Subject tracking apparatus, imaging apparatus and subject tracking method |
| US9361706B2 (en) * | 2009-11-30 | 2016-06-07 | Brigham Young University | Real-time optical flow sensor design and its application to obstacle detection |
| JP5590915B2 (en) * | 2010-02-25 | 2014-09-17 | 三菱電機株式会社 | Door open / close detection device and door open / close detection method |
| JP2012218912A (en) * | 2011-04-12 | 2012-11-12 | Toshiba Elevator Co Ltd | Elevator control device |
| JP2013173605A (en) * | 2012-02-27 | 2013-09-05 | Mitsubishi Electric Corp | Elevator control device |
| JP6006269B2 (en) * | 2014-08-20 | 2016-10-12 | 東芝エレベータ株式会社 | Elevator system |
| JP2016169072A (en) * | 2015-03-12 | 2016-09-23 | 三菱電機株式会社 | Elevator alarm device and elevator alarm notification method |
| JP6092433B1 (en) * | 2016-01-13 | 2017-03-08 | 東芝エレベータ株式会社 | Elevator boarding detection system |
| JP5969147B1 (en) * | 2016-01-13 | 2016-08-17 | 東芝エレベータ株式会社 | Elevator boarding detection system |
| WO2017145308A1 (en) * | 2016-02-24 | 2017-08-31 | 三菱電機株式会社 | Elevator control device and elevator control program |
| JP6139729B1 (en) * | 2016-03-16 | 2017-05-31 | 東芝エレベータ株式会社 | Image processing device |
| JP2018090351A (en) * | 2016-11-30 | 2018-06-14 | 東芝エレベータ株式会社 | Elevator system |
| JP6538142B2 (en) * | 2017-11-21 | 2019-07-03 | 東芝エレベータ株式会社 | Elevator group management control system and elevator control method |
| JP2018158842A (en) * | 2018-05-29 | 2018-10-11 | 東芝エレベータ株式会社 | Image analyzer and elevator system |
-
2019
- 2019-08-09 JP JP2019148085A patent/JP6922951B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021028807A (en) | 2021-02-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Lee et al. | Robust lane detection and tracking for real-time applications | |
| US10452931B2 (en) | Processing method for distinguishing a three dimensional object from a two dimensional object using a vehicular system | |
| JP7081438B2 (en) | Object speed estimation method and equipment and image processing equipment | |
| US10941019B2 (en) | User detection system and image processing device | |
| US10943131B2 (en) | Image based lane marking classification | |
| JP5297078B2 (en) | Method for detecting moving object in blind spot of vehicle, and blind spot detection device | |
| US9940633B2 (en) | System and method for video-based detection of drive-arounds in a retail setting | |
| Cheng et al. | Intelligent highway traffic surveillance with self-diagnosis abilities | |
| JP7036244B2 (en) | Ride detection system and ride detection method | |
| JP2000039306A (en) | Device and method for vehicle system area detection | |
| KR101825687B1 (en) | The obstacle detection appratus and method using difference image | |
| JP6922951B2 (en) | Image processing device and image processing method | |
| US9076034B2 (en) | Object localization using vertical symmetry | |
| Garg et al. | Real-time road traffic density estimation using block variance | |
| JPH05298591A (en) | Object recognition device | |
| JP3888055B2 (en) | Train forward anomaly detection device using optical flow | |
| Srinivas et al. | Image processing edge detection technique used for traffic control problem | |
| Rajendar et al. | Prediction of stopping distance for autonomous emergency braking using stereo camera pedestrian detection | |
| JP6874796B2 (en) | Elevator door control device and control method | |
| JP2020013206A (en) | Device for detecting two-wheeled vehicle from moving image/camera, program, and system | |
| JP7074161B2 (en) | Image processing device and image processing method | |
| JP6708368B2 (en) | Method and system for partial concealment processing in vehicle tracking using deformable partial model | |
| JP2015185135A (en) | Parking recognition device, parking recognition method and program | |
| JP6836217B2 (en) | Boarding detection system and boarding detection method | |
| JP6841310B2 (en) | Boarding detection system and boarding detection method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190809 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200929 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20201130 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210119 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210629 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210712 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6922951 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |