JP4476546B2

JP4476546B2 - 画像処理装置及びそれを搭載したエレベータ

Info

Publication number: JP4476546B2
Application number: JP2002556837A
Authority: JP
Inventors: 橋本　　学; 和彦鷲見
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2000-12-27
Filing date: 2000-12-27
Publication date: 2010-06-09
Anticipated expiration: 2020-12-27
Also published as: JPWO2002056251A1; CN1434959A; CN1261904C

Description

【０００１】
【技術分野】
この発明は、エレベータ等の乗客の状態を判断する画像処理装置、この画像処理を搭載したエレベータに関するものである。
【０００２】
【背景技術】
エレベータの運行において，かご内に乗車する乗客が車椅子に乗車している障害者であるか、あるいは健常者であるかを区別することは重要である。その理由は、通常の健常者がエレベータを利用するときは通常運行モード、車椅子乗客が利用している場合は特別な車椅子モードにと、運行の形態を変更することによって、車椅子乗客に安全な利用を提供することが可能になるからである。
【０００３】
車椅子モードとしては、たとえばかごの昇降速度を通常より低く、また階床停止時にかごとホール床面との着床精度を通常より精密に合わせるなどがある。健常者が乗車している場合にはかご昇降速度を低くせず、また着床精度を特に高めないことにより、エレベータの移動時間を低減し、ひいては運行効率を向上させることができる。
【０００４】
このような、乗客の種類によってエレベータの運行モードを自動的に変更するためには，車椅子乗客が乗車しようとしているかどうかを自動的に認識する必要がある。
【０００５】
従来、この目的で発明、実施された画像処理装置は存在せず、車椅子乗客はかごを呼ぶ際に車椅子乗客専用の押しボタンを自分で操作するか、もしくはかご内に入ってから同様の車椅子ボタンを操作することによって、エレベータシステムに対して運行モードの切り替え指示を与える必要があった。
【０００６】
また、エレベータ乗客の画像認識に関して、例えば、特開平６−９２５６３号に、待ち乗客の人数計測装置が開示されている。第１６図および第１７図は、同公報に記載された技術の内容を説明するための図である。
【０００７】
第１６図には、従来の人数計測装置の構成が示されている。図において、カメラ１００１、画像処理手段１００２、ニューラルネットワーク１００３、人数判定手段１００４、伝送手段１００５、エレベータ制御手段１００６から構成されている。テレビカメラは待ち乗客の頭上に位置する天井部に設置され、鉛直下を向いている。
【０００８】
最初に、テレビカメラにより画像が撮像される。第１７図の入力画像１０１０は人間が３人写っている様子が例示されている。予め人間の存在しない状況で撮像した画像即ち背景画像１０１１を準備しておき、入力画像をこれと差分処理することにより、人間の領域が差となって現れる。差分画像の例は第１７図中１０１２に示されている。これが２値化されることによって人間領域が明確に現れることになる。２値化結果は同図中１０１３に示されている。これら一連の処理が画像処理手段１００２によって実行される。
【０００９】
次に、２値画像は１２個のブロックに分割され、ニューラルネットワーク１００３に入力される。予め学習させておいたニューラルネットワークにより前記入力データが処理され、出力信号が人数判定手段１００４によって処理され、人数が判定される。この結果は、伝送手段１００５によってエレベータ制御手段１００６に伝送される。
【００１０】
上記に示された画像処理装置では、複数の乗客が重なって見えている状況では個々の乗客に対応する画像領域が明確に分離されず、２値画像においても複数の乗客がひとつの領域に相当する現象が生じる。従来技術ではこの現象を避けるためにカメラを頭上に下向きに設置しているが、エレベータホールでは天井部へのカメラの設置にコストがかかるという問題があるため、カメラはエレベータかご内もしくはエレベータ扉の外枠部に設置したいという要求がある。即ち、一般的なカメラ配置条件においては、個々の乗客の領域が画像上で分離しないことから、画像認識に失敗しやすいという問題点があった。
【００１１】
また、人物を認識するために、顔画像を抽出する方法として、例えば特開２０００−１９３４２０号公報に開示されている。ここには、鼻筋の特徴から眼の位置を検出することが記載されているが、人物の状態、即ち、車椅子の有無の状態を判断するものではない。
【００１２】
この発明は、上記従来の問題を解決するために、撮影された人物の状態を判断する画像処理装置、具体的にはエレベータに乗り込もうとする乗客が車椅子に乗車しているか否かを自動的に認識する画像処理装置、さらには該画像処理装置を搭載したエレベータを提供することを目的とする。
【００１３】
本願発明においては、撮影された画像からまず顔領域を抽出した後、該領域から例えば車椅子を想定する第２の領域を抽出して、車椅子の有無（状態）を判断するものである。
【００１４】
【発明の開示】
また、本発明に係る画像処理装置は、区画室内外を隔てる扉付近から区画室外を撮影するように設置されたテレビカメラと、前記テレビカメラにより撮像された画像から人物の顔領域の位置を検出する顔領域抽出手段と、前記人物が車椅子に乗車していると仮定した場合に、前記抽出された顔領域位置を用いて前記画像から車椅子部分に相当する領域を推定する車椅子領域推定手段と、前記推定された車椅子領域内の画像情報から車椅子存在有無を判定する車椅子有無判定手段とを備えたものである。この構成により、顔領域をもとに乗客の位置を推定し、これをもとに車椅子のあるべき位置を推定して画像処理が行われるので、画像処理領域が限定され、車椅子存在有無判定が高速かつ確実に行われる。
【００１５】
さらに、顔領域抽出手段によって抽出された顔領域までの距離を計測するための距離計測手段を備え、車椅子領域推定手段においては前記計測された距離データを用いて車椅子領域を推定するように構成したので、車椅子存在有無の判定の精度が向上する。すなわち、乗客の顔の位置を検出する際に、距離計測手段によって当該乗客顔部位の３次元空間中の位置を推定することにより、該乗客の顔部位の床面からの高さを計算し、予め設定した範囲外であればその乗客は明らかに車椅子に乗車していないと判定できる。範囲内であれば、仮に該乗客が車椅子に乗車している場合に画像上で車椅子が存在すると思われる領域を推定し、車椅子有無判定手段によって前記推定された車椅子存在領域内を調査して車椅子が存在するかどうかを判定できる。従って、判定の精度が向上する。
【００１６】
また、距離計測手段として、スポットまたはスリット状の光ビームを発生する光ビーム発生手段と、前記発生された光ビームが被計測領域に対して投射されるようにスキャンする光ビーム走査手段と、前記走査され投射された光ビームの反射光を検出する反射光検出手段とを有し、前記光ビーム走査角度と反射光検出位置とから対象物までの距離を計測するようにしたので、簡便に距離計測が可能となる。
【００１７】
さらに、人物が区画室から一定の距離に接近したことを判定するための距離しきい値を設定する距離ゲート設定手段と、距離計測手段によって前記距離ゲート内に人物が入ったことを認識して画像を撮像する時刻を決定する画像撮像タイミング決定手段とを有し、前記決定されたタイミングにしたがってテレビカメラから画像が撮像されるようにしたので、効率よくかつ確実に画像が取り込まれる。また、カメラに接近してくる乗客においてカメラからの距離がほぼ一定の時刻に画像を撮像することができるので、乗客の顔および車椅子を画像上でほぼ一定の大きさに撮像することができ、画像認識の信頼性を向上させることができる。
【００１８】
本発明に係るエレベータは、上記のいずれかに記載の画像処理装置を搭載したエレベータであり、テレビカメラが前記エレベータの扉付近から乗客を撮影するテレビカメラであり、車椅子有無判定手段により得られた情報を前記エレベータの制御装置へ入力するように構成したので、エレベータの運行状態を乗客にあわせて変更可能となり、より快適な運行が可能な、高性能なエレベータを提供することができる。
【００１９】
【発明を実施するための最良の形態】
以下、この発明の実施例を図について説明する。
【００２０】
実施例１．
第１図、第２図は、本発明の一実施例における画像処理装置の構成を説明するための図、第３図は本画像処理装置の動作の流れを示すフローチャートである。
【００２１】
図において１は例えばテレビカメラのような撮像装置、２は撮影された画像２ａから顔領域２ｂを抽出する顔領域抽出手段、３は撮影された画像３ａ（２ａに相当）の顔領域３ｂ（２ｂに相当）部分をもとに、予め登録されていた検出領域３ｃを推定する検出領域推定手段、４は３ｃの画像情報と予め登録していた条件とを比較判断する手段、５はその判断結果の出力である。
【００２２】
次に、第３図のフローチャートをもとに、画像処理の手順について説明する。
【００２３】
まず、ステップ１０１（以下図中ではＳＴ１０１と記載する）でテレビカメラから濃淡画像が入力される。この撮像画像はメモリに格納される。次に、ステップ１０２において、顔領域抽出手段２によって、画像２ａ中の人間の顔領域２ｂが抽出される。人間の顔領域抽出アルゴリズムとしては、例えばカラー画像における肌色部分の抽出に基づく手法が用いられる。複数の人間が視野内に存在する場合は、複数の領域が抽出され出力される。次に、前記顔領域抽出手段２においては、ステップ１０３において続けて顔領域の位置が計測される。本実施例では例えば、領域の画像重心の値をもって領域の代表点位置であるとする。
【００２４】
次にステップ１０４において、検出領域推定手段３で、前記抽出された顔領域位置をもとにして、所望の検出領域の領域推定を行う。第１図では車椅子領域の抽出であり、これについて車椅子領域の推定手法の例について詳細に述べる。前記顔領域抽出手段において抽出された顔領域の横幅が計測される。これに、人間の一般的な顔の横幅に関する基準データをもって比較することにより、当該顔領域のカメラからの距離を推定することができる。カメラの設置俯角、即ちカメラレンズ光軸が水平線となす角度はカメラ設置時に計測することによって既知とすることが可能であるから、前記顔領域のカメラからの距離およびカメラ俯角を用いて、前記顔領域の床面からの高さを推定する。さらに、車椅子の位置は乗車している乗客の顔中心に対してほぼ一定距離だけ下方に存在すると推定可能である。これらのデータを用いて、車椅子が存在し得る画像上の領域を設定する事ができる。
【００２５】
次に、ステップ１０５においては、前記推定された車椅子領域が探索され、車椅子の有無が判定される。車椅子検出は、たとえば車椅子は乗客の座る座部とその両側に存在する両輪といった幾何学的特徴や、色情報、などを用いることによって行なわれる。これらの情報は予め登録されたデータとして比較判断することができる。
【００２６】
最後に、前記車椅子判定手段において車椅子が領域内に存在すると判定された場合は、当該乗客は車椅子に乗車していると判定され、車椅子検出信号が発生され、一連の処理はすべて終了する。
【００２７】
上記の例は、第１図に示した車椅子の有無を判定するものであったが、セキュリティを目的とし例えば第２図のように着帽の有無等の判断にも同様に適用される。第２図においては、顔領域２ｂ（３ｂ）のうちその上部をさらに解析するようにし、帽子のない状態の一般的な頭の形状の推定と対比することによって、また色情報によって着帽の有無が判断できる。
【００２８】
なお、上記実施例においては、テレビカメラ視野内に顔領域が一つだけ抽出された場合について説明したが、複数の顔領域が存在する場合は各々の顔領域についてステップ１０２〜１０５の各ステップを同様に繰り返すことで判断可能となる。
【００２９】
また、本実施例では，顔領域位置として領域重心位置を用いたが、顔領域の外接四角形の中心を用いたり、さらに詳細な画像処理により顔領域中の眼、鼻等の特徴的部分を検出してそれらから代表点位置を計算してもよい。
【００３０】
また、本実施例では、顔領域抽出手段として、カラー画像を用いた肌色領域抽出に基づく手法を説明したが、白黒画像を入力して眼、鼻等の顔パーツを含む顔パターンを検出するパターンマッチング技法によって抽出しても本実施例と同様の効果を奏することはいうまでもない。
【００３１】
さらに、本実施例では、前記車椅子判定手段として車椅子の存在を幾何学的特徴から判定する手法を一例として説明したが、車椅子に乗車している乗客の脚部の状況等、車椅子乗車乗客と歩行健常者を区別し得る前記車椅子領域内の他の特徴を用いて判定しても本実施例の実施が可能なことはいうまでもない。
【００３２】
本実施例のように、人物を含む画像の中から、まず人物の顔領域を抽出し、その後顔領域の情報から所望の検出領域を推定・検出し、車椅子の有無や着帽の有無等の状況を判定するようにしたので、画像の中から順次必要な情報のみを切り出すことで、処理の速度が向上し、最終的な判定精度が向上する。
【００３３】
実施例２．
以下に、本発明の別の実施例について説明する。第４図は、本発明の一実施例における画像処理装置を説明するためのもので、エレベータの外方から乗客が乗り込む状態を側方から模式的に示したものである。第５図は、本実施例の画像処理装置で処理される対象画像で、第４図中の状態をカメラで撮影した模式図である。第６図は、本実施例の画像処理装置の構成を示すブロック図であり、第７図は本画像処理装置の動作の流れを示すフローチャートである。
【００３４】
図において、１１はエレベータ１６の外扉上方に設けられたテレビカメラで、エレベータに乗り込む乗客１７ａ，１７ｂを撮影する。乗客は例えば、車椅子利用の乗客１７ａ，車椅子を利用しない乗客１７ｂとする。１２は顔領域抽出手段、１３は車椅子領域推定手段、１４は車椅子有無判定手段、１５は車椅子有無検出信号である。
【００３５】
以下、第７図のフローチャートに従って本画像処理装置の動作について説明する。ステップ２０１において、テレビカメラ１１によって撮影された濃淡画像が入力される。テレビカメラは、外扉の外枠上部に設置されており、その視線はエレベータ待ち客が網羅的に見渡せるような方向を向いている。撮像された画像は画像メモリに格納される。この画像、すなわち、第４図のテレビカメラ１１により撮影された画像は例えば、第５図に示されるものである。
【００３６】
次に、ステップ２０２において、顔領域抽出手段１２によって、画像中の人間の顔領域が抽出される。人間の顔領域抽出アルゴリズムとしては、カラー画像における肌色部分の抽出に基づく手法が用いられる。複数の人間が視野内に存在する場合は、複数の領域が抽出され出力される。これは、第５図中、点線で示されたそれぞれの領域中のハッチングされた領域に相当する。次に、ステップ２０３において、続けて顔領域の位置が計測される。本実施例では、実施例１と同様、領域の画像重心の値をもって領域の代表点位置であるとする。
【００３７】
次に、ステップ２０４において、車椅子領域推定手段１３を用い、前記抽出された顔領域位置をもとにして、もしその人物が車椅子に乗車しているならば存在しているであろう車椅子の位置を推定する。これは、上記実施例１で述べたように、前記顔領域抽出手段において抽出された顔領域の横幅が計測される等の方法による。これに、人間の一般的な顔の横幅に関する基準データをもって比較することにより、当該顔領域のカメラからの距離を推定することができる。カメラの設置俯角、即ちカメラレンズ光軸が水平線となす角度はカメラ設置時に計測することによって既知とすることが可能であるから、前記顔領域のカメラからの距離およびカメラ俯角を用いて、前記顔領域の床面からの高さを推定する。さらに、車椅子の位置は乗車している乗客の顔中心に対してほぼ一定距離だけ下方に存在すると推定可能であるから、これらのデータを用いて、車椅子が存在し得る画像上の領域を設定することができる。
【００３８】
次に、ステップ２０５においては、車椅子有無判定手段１４によって前記推定された車椅子領域が探索され、車椅子の有無が判定される。車椅子検出は、たとえば車椅子は乗客の座る座部とその両側に存在する両輪といった幾何学的特徴や、色情報などを用いることによって行なわれる。
【００３９】
次に、上記のなかで特に濃淡画像パターンを用いた車椅子有無判定の詳細を説明する。
【００４０】
車椅子有無を判定するために、まず予め学習パターンを作成し、多数の学習用データを用意する。学習用データとは、画像中に車椅子が撮影されている画像データのことであり、乗客の服装、車椅子の種類、撮影した時刻などを様々に変化させて多数のデータを準備する。これら学習用画像から切り出した、複数の車椅子乗客の脚部近傍領域の画像を、一定の規則にしたがって（たとえばラスター走査）、１次元信号に並べ替え、各々の画素の輝度値を各軸の値とする多次元空間上にプロットする。これら複数の車椅子「有」画像に相当するプロット点群からなる領域を車椅子「有」学習点群とする。
【００４１】
次に、この学習パターンを使用して車椅子有無を判定する手順を説明する。未知画像から、前記顔画像領域の情報をもとにして車椅子の存在するであろう領域を抽出する。抽出された画像領域を前記学習データ生成と同様の方法で同じ多次元空間にプロットする。これは未知データ点である。次に、未知データ点と前記複数の学習点群を構成する各々の点との距離を各々計算し、予め設定しておいたしきい値と比較する。未知データとしきい値以下の距離に存在する学習データ点が存在すれば、当該未知データは車椅子「有」と判定される。
【００４２】
最後に、ステップ２０６において、前記車椅子判定手段により車椅子が領域内に存在すると判定された場合は、当該乗客は車椅子に乗車していると判定され、車椅子検出信号が発生され、一連の処理はすべて終了する。
【００４３】
ここで、本実施例においては、テレビカメラ視野内に顔領域が一つだけ抽出された場合について説明したが、第５図で示したように複数の顔領域が存在する場合は各々の顔領域についてステップ２０２〜２０６の各ステップを同様に繰り返すことで、エレベータかごに接近する複数の乗客それぞれが車椅子にのっているか否かを認識することができる。
【００４４】
また、上記実施例１に記載したように、顔領域位置として顔領域の外接四角形の中心を用いたり、さらに詳細な画像処理により顔領域中の眼、鼻等の特徴的部分を検出してそれらから代表点位置を計算してもよい。
【００４５】
また、上記実施例１に記載したように、顔領域抽出手段として、白黒画像を入力して眼、鼻等の顔パーツを含む顔パターンを検出するパターンマッチング技法によって抽出しても本実施例と同様の効果を奏することはいうまでもない。
【００４６】
さらに、上記実施例１で記載したように、前記車椅子判定手段として車椅子の存在を幾何学的特徴から判定する手法を一例として説明したが、車椅子に乗車している乗客の脚部の状況等、車椅子乗車乗客と歩行健常者を区別し得る前記車椅子領域内の他の特徴を用いて判定しても本実施例の実施が可能なことはいうまでもない。
【００４７】
本実施例に示したように、エレベータかごが到着、着床し、エレベータホールでかごを待っていた乗客がかご内に乗り込んでくる過程において一人づつその画像を他人による隠蔽の無い状態で取得することができるので、安定した画像認識が可能になる。また、認識においては、他人によって隠蔽されにくい高い位置にある領域である顔領域をもとに乗客の位置を推定し、さらに車椅子のあるべき位置を推定し、画像処理領域を限定することによって、車椅子存在有無判定が安定的におこなわれるという効果がある。
【００４８】
実施例３．
以下に、本発明の他の実施例について説明する。本実施例は、上記実施例２において、画像を撮像するカメラの他に対象画像までの距離計測手段を付加した構成である。
【００４９】
第８図は、本実施例における画像処理装置の構成を示すブロック図であり、第９図は本装置の動作の流れを示すフローチャートである。
【００５０】
図において、符号１１〜１５は上記実施例２と同様である。１８は距離計測手段である。なお、図示していないが、本実施例における距離計測手段は、２眼のテレビカメラを用いたステレオ画像を解析する方法による例とする。
【００５１】
第９図に基づき、動作の手順を説明する。なお、ステップ３０１〜３０３は上記実施例１と同様であるので、簡略に説明する。まず、ステップ１において、テレビカメラより入力された画像をもとにステップ３０２で顔領域を抽出し、ステップ３０３において重心法等により顔領域位置を検出する。なお、２眼カメラであるので、それぞれのカメラによる画像をもとにそれぞれ上記ステップ３０１〜３０３の処理を施す。
【００５２】
次に、ステップ３０４において、距離計測手段１８によって距離計測が実行される。本実施例においては、距離計測方法として２眼ステレオ法を適用する。即ち、テレビカメラとして予め幾何学的位置関係が既知な２台のテレビカメラを配置し、各々のカメラで取得された画像各画素間の対応を求めることで三角測量の原理により対象物の距離分布を計測する。距離分布は、各画素にカメラから対象物までの距離を格納した距離画像として格納される。
【００５３】
次に、ステップ３０５において、車椅子領域推定手段１３により、前記抽出された顔領域の画像上での位置と、当該顔領域に対応する前記計測された距離計測結果とから、顔領域の床面からの高さが計算される。本実施例では、テレビカメラで取得された濃淡画像と、前記距離画像とは事前にキャリブレーション操作により位置的対応が取られている。ここで、上記実施例２と同様、テレビカメラの俯角は既知であるから、これに前記カメラから顔領域までの距離データを統合することにより、顔領域の３次元空間的な位置が同定される。したがって、顔領域の床面からの高さが計算される。
【００５４】
次に、ステップ４０６では、同じく車椅子領域推定手段１３により、計測された当該顔領域の床面からの高さが予め設定されたしきい値と比較される。本実施例においてこのしきい値は、通常の大人が立っている時の顔部の高さと、車椅子に乗車している時の顔部の高さの平均値として設定しておく。ここで、顔領域の床面高さのほうがしきい値より大きい場合は、当該顔領域は立歩行者のものであると判定し、車椅子検出処理を行なわずに処理を終了する。しかし顔領域の床面高さの方がしきい値より小さい場合は、当該顔領域は車椅子乗客のものである可能性が高いとして、車椅子領域が存在する画像上の位置を推定するステップ３０７へ進む。
【００５５】
ステップ３０８およびステップ３０９では、車椅子有無判定手段１４により、前記推定された車椅子領域を詳細に調査して車椅子有無を判定し、有りと判定された場合は車椅子検出信号を発生する。これらの動作は、各々実施例２におけるステップ２０５、および２０６と同一である。
【００５６】
ここで、本実施例においては、距離計測手段１８として２眼ステレオ法を用いたが、３眼以上のカメラによる距離計測手法、単眼カメラによる焦点ぼけから距離を計測する手法など、前記抽出した顔領域のカメラからの距離を計測する機能を有する他の距離計測手法を用いても、同様の効果を奏する。
【００５７】
また、本実施例においては、距離画像即ち各画素がカメラからの距離情報を含む形式のデータ構造を一旦作成する例を示したが、前記距離データとしては前記抽出された顔領域の代表点位置に対応するものがあればよく、たとえば前記テレビカメラの視野を複数のブロックに分割して各々のブロックの中央部についてカメラからの距離を計測するスポット光照射方式の距離計測センサを複数装備したり、あるいは指向性の狭い超音波センサを複数設けても同様の効果がある。
【００５８】
本実施例に示したように、乗客の３次元的な存在位置を正確に判定することにより、車椅子領域の推定を正確に行なうことができ、結果として当該乗客が車椅子乗客であると判定する信頼性を向上させる効果がある。
【００５９】
実施例４．
以下、本発明の他の実施例について説明する。
【００６０】
第１０図は、本実施例における画像処理装置の構成を示すブロック図であり、第１１図は本装置の動作の流れの一部を示すフローチャートである。本実施例４は実施例３の距離計測手段としてレーザ測距センサを用いることを特徴とした画像処理装置に関するものである。
【００６１】
図において、符号１１〜１５は上記実施例２、３と同様である。１９は距離計測制御手段、２０は光ビーム発生手段、２１は光ビーム走査手段、２２は反射光計測手段である。
【００６２】
以下、第１１図のフローチャートに基づいて動作を説明する。なお、第１１図は、第９図中ステップ３０４の別の実施例であるので、第１１図のＳＴＡＲＴとは第９図のステップ３０３の次を示し、第１１図のＥＮＤは第９図のステップ３０５に続くものである。まず、テレビカメラ１１によって画像が入力され、顔抽出手段１２によって画像から人間の顔領域が抽出され、さらに顔領域代表点の位置が計測される。
【００６３】
次に、ステップ４０１以降の距離計測が行なわれる。距離計測制御手段１９は、光ビーム発生手段２０、光ビーム走査手段２１、反射光検出手段２２の制御を行なう手段である。本実施例で示す距離計測の原理は、スリット型レーザビームを発光し、対象物に当って帰還する光線をカメラで撮像して三角測量の原理に基づいて距離を計測するものであり、光切断法と呼ばれるものである。光ビーム発生手段２０とは、半導体レーザ発光素子およびレンズからなるものであり、励起された出力レーザ光線が一旦集光されてさらにシリンドリカルレンズによってスリット状に変形されたものが発生する装置である。距離計測の最初のステップ４０１において、前記距離計測制御手段１９によりレーザビームの発光パターンが初期化される。発光パターンとは、レーザスリット光を走査する際に、走査手段に同期して点灯・消灯するパターンを意味する。本実施例では、１画面分の走査において一瞬のみ点灯しその他の期間は消灯する発光パターンを、点灯するタイミングを様々に変化させた複数のパターンを生成するように初期化される。
【００６４】
次に、ステップ４０２において、光ビーム走査手段２１がレーザビーム走査の制御パターンを初期化する。これは、前記光ビーム走査手段が画像取り込みタイミングと同期して走査するように走査速度、範囲を初期化することを意味する。
【００６５】
次に、ステップ４０３において、反射光検出手段２２であるＣＣＤカメラの画像蓄像が開始される。ステップ４０４では光ビーム走査手段２１であるガルバノミラーが前記初期化したパターンにしたがって動作を開始し、ステップ４０５で光ビーム発生手段２０が前記初期化したパターンにしたがってビームのＯＮ／ＯＦＦを制御する。ステップ４０６でレーザビーム走査が終了したかどうかを判断し、未終了であればステップ４０４〜４０５の動作を繰り返し、終了したならば次のステップ４０７で反射光検出手段２２の画像蓄像を終了させる。
【００６６】
続いて、ステップ４０８において、前記蓄像したレーザビーム反射光画像を読み出し、画像処理によってその位置を計測する。検出された画像上のビーム反射光の位置と、当該レーザビームがＯＮになっていた時刻における光ビーム走査手段２１の走査角度とから、三角測量の原理に基づいて、該光ビームが投射された対象物体上の位置における３次元位置即ち距離が計測され、ステップ４０９において距離データとして距離計測制御手段１９内のメモリに格納される。
【００６７】
本実施例では、反射光検出手段であるＣＣＤカメラの画像１枚の蓄像期間内に走査されるスリット状レーザビームが、１回のみＯＮになるように発光パターンが設定されているので、１枚の蓄像においてタテ方向１ライン分の距離分布を計測することができる。したがって、ステップ４０３〜４０９を、前記ビームがＯＮになる時刻を変化させながら繰り返すことによって、様々な位置にレーザビームを照射し、照射位置における距離を計測することができる。その結果、ステップ４０９では距離画像が得られる。以上で距離計測のステップが終了する。
【００６８】
本実施例における続く動作としては、第９図のステップ３０５〜３０９に示されるような動作であり、すなわち、車椅子領域推定手段１３により、抽出された顔領域の画像上での位置と当該顔領域に対応する計測された距離計測結果とから、顔領域の床面からの高さが計算される。同じく車椅子領域推定手段１３により、計測された当該顔領域の床面からの高さが予め設定されたしきい値と比較し、車椅子有無の粗判定がなされる。顔領域の床面高さのほうがしきい値より小さい場合は、当該顔領域は車椅子乗客のものである可能性が高いとして、車椅子領域が存在する画像上の位置を推定する。最後に、車椅子有無判定手段１４により、前記推定された車椅子領域を詳細に調査して車椅子有無を判定し、有りと判定された場合は車椅子検出信号を発生する。
【００６９】
なお本実施例では、光ビーム発生手段、光ビーム走査手段、反射光検出手段からなる距離計測手段として、反射光検出手段であるＣＣＤカメラの画像１枚の蓄積期間中に１本のレーザスリットビームを発光させる光切断法を、発光タイミングを変化させながら何度も繰り返して距離画像を生成する手法について説明したが、前記ＣＣＤカメラの１枚の画像蓄積期間に複数のレーザスリットビームを投射する空間コード化法を用いても同様の効果を奏する。
【００７０】
また、本実施例では、光ビーム走査手段２１としてガルバノミラーを適用する例を示したが、多角柱型のポリゴンミラーを用いてもよい。
【００７１】
本実施例に示したように、光ビームを投射する距離計測手段を用いることにより、乗客が着用している衣服の図柄の有無および複雑さに依存しない安定した距離計測を行うことができるという効果がある。
【００７２】
実施例５．
以下、本発明の他の実施例について説明する。
【００７３】
第１２図は、本実施例における画像処理装置の構成を示すブロック図であり、第１３図は本装置の動作の流れを示すフローチャートである。
【００７４】
図において、１１〜１５、１８は実施例２〜４と同様である。２３は画像撮像タイミング決定手段、２４は距離ゲート設定手段である。
【００７５】
以下、本実施例について、第１３図のフローチャートに基づいて説明する。
【００７６】
まず、ステップ５０１において距離ゲート設定手段２４によって距離ゲートが設定される。距離ゲートとは、乗客が扉の開いたエレベータかご内に向かって接近してくる場合に、テレビカメラ１１と乗客との距離に関するしきい値のことであり、たとえば前記テレビカメラ１１で乗客の顔領域を所望の大きさに撮像するために必要と推定されるカメラと乗客の距離を予め調べておいてしきい値とする。
【００７７】
次に、ステップ５０２では、距離計測手段１８によってカメラと乗客の距離が計測される。距離計測手法としては、例えば上記実施例３または実施例４で示された手法を適用する。
【００７８】
続いて、ステップ５０３では、前記計測されたカメラと乗客の距離が、前記設定された距離ゲートしきい値と比較され、カメラと乗客の距離がまだ距離ゲート以内に接近していないのであれば、再びステップ５０２によって接近してくる乗客の距離を計測する。カメラと乗客の距離が距離ゲート以内に接近している場合、ステップ５０４において画像撮像タイミング決定手段２３によって画像を撮像するタイミングが決定される。これは、撮像後の画像において、撮像された人物の顔領域の大きさが、予め設定した値に類似するようにタイミングが決定される。
【００７９】
次いで、ステップ５０５でテレビカメラ１１によって乗客の画像が撮像され、ステップ５０６で顔領域抽出手段１２によって顔領域が抽出されるとともに前記顔領域の代表点の位置がステップ５０７で検出される。また、ステップ５０８で車椅子領域推定手段１３により前記抽出された顔領域の位置をもとに車椅子の存在すると考えられる領域を推定する。車椅子領域推定手段の動作は、たとえば実施例２において示しているものである。
【００８０】
さらにステップ５０９において、車椅子有無判定手段１４によって、前記推定された車椅子領域内が画像処理され、車椅子の有無が判定される。その結果、「有り」と判定された場合にはステップ５１０で車椅子検出信号１５が出力され、一連の動作を全て終了する。
【００８１】
ここで、本実施例においては、距離計測手段として、実施例２または３に示された手法を説明したが、乗客がカメラに対して一定距離以内に接近したことを発見する機能を有するセンサであればよく、例えば，光電センサ、超音波センサ、焦電型人感センサ等を用いても同様の効果を奏することはいうまでもない。
【００８２】
また、本実施例では、距離計測手段の出力を設定した距離ゲートとの比較にのみ用いる手法について説明したが、距離計測手段として距離画像を取得可能な手段を適用するならば、第２の発明に関する実施例で示したように顔領域抽出手段によって抽出された顔領域のカメラからの距離を求めることによって車椅子領域推定の信頼性を上げるように動作させることも、第１２図の構成と同一構成の装置によって可能である。
【００８３】
本実施例に示したように、カメラに接近してくる乗客においてカメラからの距離がほぼ一定の時刻に画像を撮像することができるので、乗客の顔および車椅子を画像上でほぼ一定の大きさに撮像することができ、画像認識の信頼性を向上させることができるという効果がある。
【００８４】
実施例６．
以下、本発明の実施例について説明する。本実施例は上記実施例２〜５の画像処理装置を搭載したエレベータ装置に関するもので、上記実施例で出力された車椅子の有無判定信号をエレベータの制御手段に入力し、エレベータの運行動作を制御するものである。
【００８５】
第１４図は、本実施例による画像処理装置の構成を説明するためのブロック図、第９図は画像処理装置の動作の流れを示すフローチャートである。
【００８６】
図において、符号１１〜１５は上記実施例と同様、２５はエレベータ制御手段である。
【００８７】
上記実施例２〜５の画像処理で得られた車椅子認識信号１５を用いることにより、以下のエレベータ制御手段に入力する。制御動作としては次のようなものを例示する。
（ａ）エレベータ扉の開閉速度（車椅子の人にはゆっくり開閉する）
（ｂ）エレベータ扉の開時間（車椅子の人のときには長時間扉が開いているようにする）
（ｃ）エレベータ床面の調整（エレベータのかごと外側の床面との段差制御について、車椅子の人が乗るときはより精密に一致させるようにし、段差をなくすようにする）
（ｄ）音声による案内（「現在バリアフリーモードで運転中です」などという音声アナウンスを流す）
（ｅ）エレベータ移動速度（車椅子の人が乗っているときはエレベータの移動最大速度および加速度を緩くする）
（ｆ）エレベータ内部の押しボタン制御（車椅子の人が乗っているときは、かご内の低い位置に設置された車椅子専用ボタンを有効にし、そうでないときは無効にするまたは長時間押し続けるなど特殊な押し方をしたときのみ有効になるようにする）
（ｇ）エレベータかご内の特殊センサの制御（車椅子の人が乗っているときは、かご内に設置された音声認識等の障害者専用センサを有効にする）
上記の制御を行うことで、車椅子乗客優先のエレベータの運行を実施でき、運行効率を上昇させることができると共に、快適な運行状態を乗客に提供できるようになる。
【００８８】
なお、上記実施例の第１４図には、実施例２で示された画像処理装置の構成を主に示したが、実施例３で示された距離計測手段、実施例４で示された距離計測制御手段、光ビーム発生手段、光ビーム走査手段、反射光検出手段、実施例５で示された距離計測手段、距離ゲート設定手段、画像撮像タイミング決定手段を含む画像処理装置の構成であっても良いことは言うまでもない。
【００８９】
【産業上の利用可能性】
この発明による画像処理装置は、エレベータに乗り込もうとする乗客の中に車椅子に乗車した乗客が含まれていることを自動的に検知すること等に利用され、それに応じてエレベータの運行モードを変更する等の制御に利用される。
【図面の簡単な説明】
【図１】第１図は本発明の第１の実施例による画像処理装置の構成を説明するためのブロック図である。
【図２】第２図は本発明の第１の実施例による画像処理装置の構成を説明するためのブロック図である。
【図３】第３図は画像処理装置の動作の流れを示すフローチャートである。
【図４】第４図は、本発明の第２の実施例による画像処理装置を説明するための模式図で、エレベータの外方から３人の乗客が乗り込む様子を示す図である。
【図５】第５図は第２の実施例の画像処理装置で処理される対象画像の模式図で、第４図の乗客を撮影したものである。
【図６】第６図は、第２の実施例による画像処理装置の構成を説明するためのブロック図である。
【図７】第７図は画像処理装置の動作の流れを示すフローチャートである。
【図８】第８図は、本発明の第３の実施例による画像処理装置の構成を説明するためのブロック図である。
【図９】第９図は画像処理装置の動作の流れを示すフローチャートである。
【図１０】第１０図は、本発明の第４の実施例による画像処理装置の構成を説明するためのブロック図である。
【図１１】第１１図は画像処理装置の動作の流れを示すフローチャートである。
【図１２】第１２図は、本発明の第５の実施例による画像処理装置の構成を説明するためのブロック図である。
【図１３】第１３図は画像処理装置の動作の流れを示すフローチャートである。
【図１４】第１４図は、本発明の別の実施例による画像処理装置の構成を説明するためのブロック図である。
【図１５】第１５図は画像処理装置の動作の流れを示すフローチャートである。
【図１６】第１６図は、従来のエレベータ乗客の画像認識に関する人数計測装置の構成を示すブロック図である。
【図１７】第１７図は、従来のエレベータ乗客の画像認識に関する人数計測装置の処理の手順を説明するための図である。

Claims

区画室内外を隔てる扉付近から区画室外を撮影するように設置されたテレビカメラと、前記テレビカメラにより撮像された画像から人物の顔領域の位置を検出する顔領域抽出手段と、前記人物が車椅子に乗車していると仮定した場合に、前記抽出された顔領域位置を用いて前記画像から車椅子部分に相当する領域を推定する車椅子領域推定手段と、前記推定された車椅子領域内の画像情報から車椅子存在有無を判定する車椅子有無判定手段とを備えることを特徴とする画像処理装置。
顔領域抽出手段によって抽出された顔領域までの距離を計測するための距離計測手段をさらに備え、車椅子領域推定手段においては前記計測された距離データを用いて車椅子領域を推定することを特徴とする請求の範囲第１項に記載の画像処理装置。
距離計測手段は、スポットまたはスリット状の光ビームを発生する光ビーム発生手段と、前記発生された光ビームが被計測領域に対して投射されるようにスキャンする光ビーム走査手段と、前記走査され投射された光ビームの反射光を検出する反射光検出手段とを有し、前記光ビーム走査角度と反射光検出位置とから対象物までの距離を計測することを特徴とする請求の範囲第２項に記載の画像処理装置。
人物が区画室から一定の距離に接近したこと判定するための距離しきい値を設定する距離ゲート設定手段と、距離計測手段によって前記距離ゲート内に人物が入ったことを認識して画像を撮像する時刻を決定する画像撮像タイミング決定手段とを有し、前記決定されたタイミングにしたがってテレビカメラから画像が撮像されることを特徴とする請求の範囲第２項に記載の画像処理装置。
請求の範囲第１乃至４項のいずれかに記載の画像処理装置を搭載したエレベータであって、テレビカメラが前記エレベータの扉付近から乗客を撮影するテレビカメラであり、車椅子有無判定手段により得られた情報を前記エレベータの制御装置へ入力することを特徴とするエレベータ。