JP4127545B2 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
JP4127545B2
JP4127545B2 JP2004524082A JP2004524082A JP4127545B2 JP 4127545 B2 JP4127545 B2 JP 4127545B2 JP 2004524082 A JP2004524082 A JP 2004524082A JP 2004524082 A JP2004524082 A JP 2004524082A JP 4127545 B2 JP4127545 B2 JP 4127545B2
Authority
JP
Japan
Prior art keywords
image
area
distance
image capturing
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004524082A
Other languages
English (en)
Other versions
JPWO2004012142A1 (ja
Inventor
橋本  学
健太郎 林
和彦 鷲見
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JPWO2004012142A1 publication Critical patent/JPWO2004012142A1/ja
Application granted granted Critical
Publication of JP4127545B2 publication Critical patent/JP4127545B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Emergency Alarm Devices (AREA)

Description

この発明は、エレベータなどの乗客の状態、具体的には乗客の中に車椅子に乗車している乗客がいるか否かを自動的に認識することができる画像処理装置に関するものである。
エレベータの運行において、かご内に乗車する乗客が車椅子に乗車している障害者であるかまたは健常者であるかを判別することは重要である。なぜならば、健常者がエレベータを利用するときには通常運行モードに、車椅子の乗客が利用する場合には車椅子の乗客に配慮した特別な車椅子運行モードにと、エレベータの運行の形態を変更することによって、車椅子の乗客に対して安全で快適なエレベータの利用を提供することが可能になるからである。
この車椅子運行モードとしては、例えば、かごの昇降速度を通常運行モードに比して低くし、また階床停止時にかごとホール床面との着床精度を通常運行モードに比して精密に合わせるなどの運行形態がある。また、健常者が乗車している場合には、かごの昇降速度を低くせず、また着床精度を特に高めないことによって、エレベータの移動時間を低減し、ひいてはエレベータの運行効率を向上させることができる。
従来では、このような車椅子の乗客の乗降によるエレベータシステムに対する運行モードの切り替えは、車椅子の乗客がかごを呼ぶ際に車椅子乗客専用の押しボタンを自分で操作するか、またはかご内に乗車してから同様に車椅子乗客専用の押しボタンを操作することによって、行われていた。
しかし、このような車椅子の乗客に対するエレベータシステムの運行モードの切り替えは、車椅子の乗客の利便性を考慮して車椅子の乗客を自動的に検知して行うことが望ましい。また、年齢の低い子供達がエレベータに乗る際に、間違えてまたは気がつかないで車椅子乗客専用のボタンを押してしまうこともあり、この場合にはエレベータの運行効率を損ねる結果になってしまうので、この点からも車椅子の乗客を自動的に検知してエレベータの運行モードを自動的に切り替えることが望ましい。
このように、乗客の種類によってエレベータの運行モードを自動的に変更するためには、車椅子の乗客がエレベータに乗車しようとしているか否かを自動的に認識するための画像処理装置が必要となる。車椅子の乗客を認識する画像処理装置ではないが、エレベータにおける乗客の画像認識に関する従来技術として、例えば、特開平6−92563号公報にエレベータの人数計測装置が開示されている。
第14図は、この従来のエレベータの人数計測装置の構成を示すブロック図である。このエレベータの人数計測装置は、撮像手段901、画像処理手段902、ニューラルネットワーク903および人数判定手段904を有している。ここで、撮像手段901は、エレベータのかご内やエレベータホールで、乗客の頭上に位置する天井部に設置され、鉛直下方を撮像するように設置されている。
まず、最初に撮像手段901によってエレベータのかご内またはエレベータホールの状態が撮像され、画像処理手段902に入力される。第15図は、撮像手段901によって撮像された画像であり、3人の人間906〜908が写っている様子を示している。画像処理手段902は、撮像された画像と、予め人間の存在しない状態でエレベータのかご内またはエレベータホールを撮像した背景画像における各画素値の差の絶対値を基準に二値化する差分処理を行うことによって、差分画像を生成し、人間領域を明確化する。また、画像処理手段902は、二値化された差分画像を面積の異なる複数のブロックに分割して、各ブロックについて人間領域の占める割合を算出し、算出した結果を入力データとしてニューラルネットワーク903に入力する。
つぎに、予め学習させておいたニューラルネットワーク903によって、入力データが処理され、その出力信号が人数判定手段904に入力される。人数判定手段904では、ニューラルネットワーク903からの出力信号から人数が判定され、目的に応じてこの結果が他の制御装置などに伝送、出力される。
しかしながら、この従来のエレベータの人数計測装置を上述したエレベータにおける車椅子の乗客を認識する画像処理装置に適用した場合を想定すると、上方から人間を撮像した場合には、横からまたは斜め上方から撮像した場合に比して極端に小さく撮像されるので、撮像された人間が通常の立位の歩行者か、または車椅子に乗車している人間であるかを安定的に判別することができないという問題点があった。
また、複数の人間が隣接して存在する場合に、隣接する個々の乗客を分離することができないので、得られた画像が通常の立位の歩行者であるのか、または車椅子に乗車している人間であるかを判別することができないという問題点があった。
従って、この発明は、複数の人間が隣接して存在する場合に、個々の人間を分離することができ、また、撮像された画像から立位の歩行者かまたは車椅子に乗車している人間であるかを判別することが可能な画像処理装置を提供することを目的としている。
この発明にかかる画像処理装置は、監視すべき対象領域内の画像を撮像する画像撮像手段と、前記画像撮像手段によって撮像された画像から人間の顔領域を抽出し、前記画像撮像手段から前記人間の顔領域までの水平距離を算出する顔領域抽出手段と、前記抽出された人間の顔領域から所定の距離だけ下方で、膝以下の足が含まれる距離計測エリアを設定する距離計測エリア計算手段と、前記距離計測エリア内の各位置について、前記画像撮像手段からの水平距離を計測する距離計測手段と、前記距離計測手段によって計測された水平距離を用いて前記距離計測エリア内の各位置における前記画像撮像手段からの水平方向の距離分布を計算する距離分布計算手段と、前記顔領域抽出手段で得られた前記顔領域までの水平距離と、前記距離計測エリア内の水平方向の距離分布とを比較して、前記顔領域までの水平距離が前記距離計測エリア内の水平方向の距離分布とが異なる値である場合に、前記顔領域を有する人間が車椅子に乗車している判定する車椅子存在判定手段と、を備えることを特徴とする。
この発明によれば、画像撮像手段によって、監視すべき対象領域内の画像が撮像され、顔領域抽出手段によって、画像撮像手段で撮像された画像から人間の顔領域が抽出される。また、距離計測手段によって、画像撮像手段で撮像された画像の各位置について、画像撮像手段からの距離が計測される。さらに、距離分布計算手段によって、抽出された人間の顔領域から所定の距離だけ下方に距離計測エリアが設定され、距離計測手段で計測された距離を用いて距離計測エリア内における画像撮像手段からの距離分布が計算される。そして、車椅子存在判定手段によって、距離計測手段で計測された顔領域の画像撮像手段からの距離と距離計測エリア内の距離分布とが比較され、顔領域を有する人間が車椅子に乗車しているか否かが判定される。
つぎの発明にかかる画像処理装置は、上記の発明において、前記画像撮像手段によって撮像された画像と、前記対象領域内の物体が存在しない背景画像とから差分画像を生成して、生成した差分画像に基づいて変化のあった領域を抽出する変化領域検出手段をさらに備え、前記顔領域抽出手段は、前記変化領域検出手段によって抽出された変化のあった領域でのみ顔領域を抽出することを特徴とする。
この発明によれば、変化領域検出手段によって、画像撮像手段で撮像された画像と、対象領域内の物体が存在しない背景画像とから差分画像が生成され、生成された差分画像に基づいて変化のあった領域が抽出される。そして、顔領域抽出手段によって、変化領域検出手段で抽出された変化のあった領域でのみ顔領域が抽出される。
つぎの発明にかかる画像処理装置は、上記の発明において、前記距離計測手段は、走査型レーザレンジファインダであることを特徴とする。
この発明によれば、距離計測手段として、走査型レーザレンジファインダを用いるようにしている。
つぎの発明にかかる画像処理装置は、上記の発明において、前記画像撮像手段によって撮像された画像と、前記対象領域内の物体が存在しない背景画像とから差分画像を生成して、生成した差分画像に基づいて変化のあった領域を抽出する変化領域検出手段をさらに備え、前記顔領域抽出手段は、前記変化領域検出手段によって抽出された変化のあった領域でのみ顔領域を抽出することを特徴とする。
この発明によれば、変化領域検出手段によって、画像撮像手段で撮像された画像と、対象領域内の物体が存在しない背景画像とから差分画像が生成され、生成された差分画像に基づいて変化のあった領域が抽出される。そして、顔領域抽出手段によって、変化領域検出手段で抽出された変化のあった領域でのみ顔領域が抽出される。
つぎの発明にかかる画像処理装置は、監視すべき対象領域内の画像を撮像する第1の画像撮像手段と、水平方向に距離をおいて配置された、前記対象領域の画像を撮像する第2および第3の画像撮像手段と、前記第1の画像撮像手段によって撮像された画像から人間の顔領域を抽出し、前記第1の画像撮像手段から前記人間の顔領域までの水平距離を算出する顔領域抽出手段と、前記第2および第3の画像撮像手段によって撮像された2枚の画像を用いて、ステレオ法によって前記第1の画像撮像手段によって撮像された画像の各位置について、前記第1の画像撮像手段からの水平距離を計測するステレオ演算手段と、前記抽出された人間の顔領域から所定の距離だけ下方で、膝以下の足が含まれる距離計測エリアを設定する距離計測エリア計算手段と、前記ステレオ演算手段によって計測された水平距離を用いて前記距離計測エリア内における前記第1の画像撮像手段からの水平方向の距離分布を計算する距離分布計算手段と、前記顔領域抽出手段で得らた前記第1の画像撮像手段から前記顔領域まで水平距離と前記距離計測エリア内の水平方向の距離分布とを比較して、前記顔領域までの水平距離が前記距離計測エリア内の水平方向の距離分布とが異なる値である場合に、前記顔領域を有する人間が車椅子に乗車している判定する車椅子存在判定手段と、を備えることを特徴とする。
この発明によれば、第1の画像撮像手段によって、監視すべき対象領域内の画像が撮像され、顔領域抽出手段によって、第1の画像撮像手段で撮像された画像から人間の顔領域が抽出される。また、水平方向に距離をおいて配置された第2および第3の画像撮像手段によって、対象領域の画像が撮像され、ステレオ演算手段によって、第2および第3の画像撮像手段で撮像された2枚の画像を用いて、ステレオ法によって第1の画像撮像手段で撮像された画像の各位置について、第1の画像撮像手段からの距離が計測される。さらに、距離分布計算手段によって、抽出された人間の顔領域から所定の距離だけ下方に距離計測エリアが設定され、ステレオ演算手段で計測された距離を用いて距離計測エリア内における第1の画像撮像手段からの距離分布が計算される。そして、車椅子存在判定手段によって、ステレオ演算手段で計測された顔領域の第1の画像撮像手段からの距離と距離計測エリア内の距離分布とが比較され、顔領域を有する人間が車椅子に乗車しているか否かが判定される。
つぎの発明にかかる画像処理装置は、上記の発明において、前記第1の画像撮像手段によって撮像された画像と、前記対象領域内の物体が存在しない背景画像とから差分画像を生成して、生成した差分画像に基づいて変化のあった領域を抽出する変化領域検出手段をさらに備え、前記顔領域抽出手段は、前記変化領域検出手段によって抽出された変化のあった領域でのみ顔領域を抽出することを特徴とする。
この発明によれば、変化領域検出手段によって、第1の画像撮像手段で撮像された画像と、対象領域内の物体が存在しない背景画像とから差分画像が生成され、生成された差分画像に基づいて変化のあった領域が抽出される。また、顔領域抽出手段によって、変化領域検出手段で抽出された変化のあった領域でのみ顔領域が抽出される。
つぎの発明にかかる画像処理装置は、監視すべき対象領域内の画像を撮像する第1の画像撮像手段と、前記第1の画像撮像手段と水平方向に距離をおいて配置され、前記対象領域の画像を撮像する第2の画像撮像手段と、前記第1の画像撮像手段によって撮像された画像から人間の顔領域を抽出し、前記第1の画像撮像手段から前記人間の顔領域までの水平距離を算出する顔領域抽出手段と、前記第1および第2の画像撮像手段によって撮像された2枚の画像を用いて、ステレオ法によって前記第1の画像撮像手段によって撮像された画像の各位置について、前記第1の画像撮像手段からの距離を計測するステレオ演算手段と、前記抽出された人間の顔領域から所定の距離だけ下方で、膝以下の足が含まれる距離計測エリアを設定する距離計測エリア計算手段と、前記ステレオ演算手段によって計測された距離を用いて、前記距離計測エリア内における前記第1の画像撮像手段からの水平方向の距離分布を計算する距離分布計算手段と、前記顔領域抽出手段で得らた前記第1の画像撮像手段から前記顔領域まで水平距離と前記距離計測エリア内の水平方向の距離分布とを比較して、前記顔領域までの水平距離が前記距離計測エリア内の水平方向の距離分布とが異なる値である場合に、前記顔領域を有する人間が車椅子に乗車している判定する車椅子存在判定手段と、を備えることを特徴とする。
この発明によれば、第1の画像撮像手段によって、監視すべき対象領域内の画像が撮像され、第1の画像撮像手段と水平方向に距離をおいて配置された第2の画像撮像手段によって、対象領域の画像が撮像される。また、顔領域抽出手段によって、第1の画像撮像手段で撮像された画像から人間の顔領域が抽出され、ステレオ演算手段によって、第1および第2の画像撮像手段によって撮像された2枚の画像を用いて、ステレオ法によって第1の画像撮像手段で撮像された画像の各位置について、第1の画像撮像手段からの距離が計測される。さらに、距離分布計算手段によって、抽出された人間の顔領域から所定の距離だけ下方に距離計測エリアが設定され、ステレオ演算手段で計測された距離を用いて、距離計測エリア内における第1の画像撮像手段からの距離分布が計算される。そして、車椅子存在判定手段によって、ステレオ演算手段で計測された顔領域の第1の画像撮像手段からの距離と距離計測エリア内の距離分布とが比較され、顔領域を有する人間が車椅子に乗車しているか否かが判定される。
つぎの発明にかかる画像処理装置は、上記の発明において、前記第1の画像撮像手段によって撮像された画像と、前記対象領域内の物体が存在しない背景画像とから差分画像を生成して、生成した差分画像に基づいて変化のあった領域を抽出する変化領域検出手段をさらに備え、前記顔領域抽出手段は、前記変化領域検出手段によって抽出された変化のあった領域でのみ顔領域を抽出することを特徴とする。
この発明によれば、変化領域検出手段によって、第1の画像撮像手段で撮像された画像と、対象領域内の物体が存在しない背景画像とから差分画像が生成され、生成された差分画像に基づいて変化のあった領域が抽出される。また、顔領域抽出手段によって、変化領域検出手段で抽出された変化のあった領域でのみ顔領域が抽出される。
以上説明したように、この発明によれば、対象領域を撮像した画像から顔領域を抽出し、この顔領域から所定の距離だけ下方に設定された距離計測エリア内の画像撮像手段からの距離分布と、画像撮像手段からの顔領域の距離とを比較して、顔領域を有する人間が車椅子に乗車しているかを判定するように構成したので、車椅子の乗客の存在を高い確率で認識することができるという効果を有する。
つぎの発明によれば、画像撮像手段によって撮像された画像と、対象領域内の物体が存在しない背景画像とから差分画像を生成して、生成した差分画像に基づいて変化のあった領域を抽出する変化領域検出手段をさらに備えるように構成したので、顔領域抽出手段による顔領域の抽出を行う時間を短縮することができるという効果を有する。また、対象領域内に存在する人間の顔に似た画像パターンを人間の顔であると判定してしまう誤判定を抑制することができ、一層正確な顔領域の抽出を行うことができるという効果を有する。
つぎの発明によれば、距離計測手段として走査型レーザレンジファインダを用いるようにしたので、画像撮像手段から対象領域に存在する対象物までの距離を正確に測定することができるという効果を有する。
つぎの発明によれば、画像撮像手段によって撮像された画像と、対象領域内の物体が存在しない背景画像とから差分画像を生成して、生成した差分画像に基づいて変化のあった領域を抽出する変化領域検出手段をさらに備えるように構成したので、顔領域抽出手段による顔領域の抽出を行う時間を短縮することができるという効果を有する。また、対象領域内に存在する人間の顔に似た画像パターンを人間の顔であると判定してしまう誤判定を抑制することができ、一層正確な顔領域の抽出を行うことができるという効果を有する。
つぎの発明によれば、第2のおよび第3の画像撮像手段によって撮像された対象領域内の2枚の画像から、ステレオ演算手段によって第1の画像撮像手段によって撮像された画像の各位置における第1の画像撮像手段からその位置に存在する対象物までの距離を計測するようにしたので、簡易な装置構成によって、第1の画像撮像手段から対象物までの距離を計測することができるという効果を有する。
つぎの発明によれば、第1の画像撮像手段によって撮像された画像と、対象領域内の物体が存在しない背景画像とから差分画像を生成して、生成した差分画像に基づいて変化のあった領域を抽出する変化領域検出手段をさらに備えるように構成したので、顔領域抽出手段による顔領域の抽出を行う時間を短縮することができるという効果を有する。また、対象領域内に存在する人間の顔に似た画像パターンを人間の顔であると判定してしまう誤判定を抑制することができ、一層正確な顔領域の抽出を行うことができるという効果を有する。
つぎの発明によれば、第1の画像撮像手段によって撮像された対象領域の画像と、この第1の画像撮像手段と水平方向に距離をおいて配置された第2の画像撮像手段によって撮像された対象領域の画像とから、ステレオ演算手段によって第1の画像撮像手段によって撮像された画像の各位置における第1の画像撮像手段からその位置に存在する対象物までの距離を計測するようにしたので、簡易な装置構成によって、第1の画像撮像手段から対象物までの距離を計測することができるという効果を有する。また、第1の画像撮像手段は、対象領域内の顔領域を抽出するための画像と、ステレオ法によって第1の画像撮像手段と対象領域内の対象物との距離を計測するための画像とを撮像する役割を担うように構成したので、必要な撮像手段の数を最小限にした画像処理装置を作成することができるという効果を有する。
つぎの発明によれば、第1の画像撮像手段によって撮像された画像と、対象領域内の物体が存在しない背景画像とから差分画像を生成して、生成した差分画像に基づいて変化のあった領域を抽出する変化領域検出手段をさらに備えるように構成したので、顔領域抽出手段による顔領域の抽出を行う時間を短縮することができるという効果を有する。また、対象領域内に存在する人間の顔に似た画像パターンを人間の顔であると判定してしまう誤判定を抑制することができ、一層正確な顔領域の抽出を行うことができるという効果を有する。
以下、添付図面を参照して、この発明にかかる画像処理装置の好適な実施の形態を詳細に説明する。
実施の形態1.
第1図は、この発明にかかる画像処理装置の実施の形態1の構成を示すブロック図である。この第1図において、画像処理装置は、監視領域内を撮像する画像撮像部1、視野内の各位置で距離を計測する距離計測部2、画像撮像部1によって撮像された画像から顔領域を抽出する顔領域抽出部3、画像から距離を求めるための距離計測エリアを設定する距離計測エリア計算部4、距離計測エリア内での距離分布を計算する距離分布計算部5、および距離分布から人間が車椅子に乗車しているかを判定する車椅子存在判定部6を有する
画像撮像部1は、CCDカメラなどによって実現される装置から構成され、エレベータのかご内やエレベータホールの天井付近に撮像対象である人間の顔を撮像できるように設置され、監視すべき対象領域を撮像する。すなわち、この発明では、画像撮像部1は、対象領域の鉛直下方を撮像するのではなく、対象領域を斜め上方または横から撮像するように設置される。画像撮像部1は、顔領域抽出部3と接続され、撮像データを顔領域抽出部3に出力する。
距離計測部2は、対象領域内にパルスレーザを走査しながら照射し、対象領域内に存在する物体によるレーザ光の反射によって、その物体までの距離を計測する走査型レーザレンジファインダなどによって実現される装置から構成され、レーザ光発生部21、レーザ光走査部22、レーザ光検出部23、画像記憶部24、距離算出部25および距離データ格納部26を有する。
レーザ光発生部21は、パルスレーザを出射する半導体レーザなどによって実現される装置から構成され、画像撮像部1とほぼ同じ位置に取り付けられる。そして、レーザ光の点滅の仕方を変えて、出射するレーザ光とレーザ光検出部23によって撮像される反射レーザ光の点とを対応付けるための発光パターンを有しており、この発光パターンにしたがって、パルスレーザのオン/オフを切り替えて制御を行う。レーザ光走査部22は、レーザ光検出部23による画像取り込みタイミングと同期してレーザ光発生部21から発光パターンにしたがって出射されるパルスレーザを走査するように、パルスレーザの走査速度および走査範囲を制御する。
レーザ光検出部23は、CCDカメラなどによって実現される装置から構成され、レーザ光発生部21から照射されたパルスレーザが対象物によって反射される状態をレーザ光反射画像として、レーザ光走査部22の走査と同期して撮像するものであり、画像記憶部24は、このレーザ光検出部23で撮像されたレーザ光反射画像を時刻情報とともに記憶する。
距離算出部25は、画像記憶部24に蓄積されたレーザ光反射画像を読み出し、画像処理によってレーザ光発生部21からレーザ光反射位置までの距離を算出する。算出にあたって、画像が撮像された時刻とそのときのレーザ光発生部21の走査角度(および発光パターン)とは対応付けされているので、この走査角度と、レーザ光発生部21とレーザ光検出部23の間の距離とから、三角測量の原理に基づいて、そのパルスレーザが照射された対象物上の3次元位置、すなわち、レーザ光発生部21(画像撮像部1)からの距離が計測される。距離データ格納部26は、この計測された距離データを格納する。
顔領域抽出部3は、画像撮像部1からの入力画像から、人間の顔領域抽出アルゴリズムによって人間の顔領域を抽出し、この抽出した顔領域の位置、例えば顔領域の重心位置を算出する。そして、顔領域は、顔領域の位置とともに記憶される。人間の顔領域抽出アルゴリズムとしては、例えばカラー画像における肌色部分の抽出に基づいて顔領域を抽出する手法、特定の人間の顔画像をテンプレートとして用意し、撮像された画像がこのテンプレートに最もよく重なる部分を顔領域として抽出する手法(テンプレートマッチング)、撮像された画像から目や鼻、口、耳などの顔部品を検出することによって顔領域を抽出する手法などの公知の手法が用いられる。なお、画像中に複数の人間が存在する場合には、複数の顔領域が抽出され、それぞれについて算出された顔領域の位置とともに記憶される。
距離計測エリア計算部4は、抽出された顔領域の位置に基づいて、距離計測エリアを設定する。距離計測エリアとは、エレベータの乗客が立位の乗客であるのか、車椅子の乗客であるのかの判別を行うために設定される対象領域中の一部の領域であり、この発明においては、人間の顔の位置を基準とし、これに対して車椅子に乗車している乗客の膝近辺の領域(膝以下の領域)として距離計測エリアが設定される。
第2図は、距離計測エリア計算部4による距離計測エリアの設定の方法を示す図である。基本的には、車椅子に乗車している乗客の車椅子の位置(車椅子に乗車したときの膝の位置)は乗車している乗客100の顔を中心にして所定の距離だけ下方に存在するという統計的データから、距離計測エリアが設定される。具体的には、まず、この距離計測エリアを算出するにあたって、距離計測エリア計算部4は、人間の一般的な顔の横幅に関する基準データを保持しており、顔領域抽出部3で抽出された顔領域111の横幅を基準データと比較することによって、画像撮像部1から顔領域111を有する人間までの距離Lが算出される。また、画像撮像部1の設置俯角、すなわち画像撮像部1のレンズの光軸が水平線となす角度θと、画像撮像部1の床面からの設置高さHは、画像撮像部1の設置時に計測することができるので、これらの距離L、設置俯角θ、設置高さHを用いて、概略的な乗客100の床面からの高さhが、
h=H−l・sinθ
として算出される。そして、画像中の車椅子の位置(車椅子に乗車したときの膝の位置)として、対象となっている乗客100の顔の中心から所定の距離sだけ下方に位置する部分に距離計測エリア112が設定される。この距離計測エリア112は、乗客100の大きさが異なっても目標とする膝以下の部分が抽出されるように所定の範囲を有するものである。
距離分布計算部5は、距離計測部2によって計測された距離データの中から、距離計測エリア計算部4で設定された距離計測エリア内の距離データのみを抽出し、距離計測エリア内における距離分布を計算する。そして、この距離分布の結果を車椅子存在判定部6に出力する。なお、この距離分布計算部5では、設定された距離計測エリア内の距離データのみについて距離分布を計算するようにしているので、その他の領域の距離分布の計算時間を節約することができる。
車椅子存在判定部6は、顔領域の重心位置における画像撮像部1からの距離と、距離分布計算部5から入力された距離分布に基づいて、対象となる人間が車椅子に乗っているか否かを判定し、その判定結果を外部に出力する。
ここで、第3図〜第7図を参照し、対象となる人間(乗客)が立位状態にあるのか、または車椅子に乗車しているのかを判定する方法について説明する。第3図(a)は乗客が立位にある状態を模式的に示しており、第3図(b)は(a)の乗客に対して設定された距離計測エリアを示すための正面図である。第4図(a)は乗客が車椅子に乗車している状態を模式的に示しており、第4図(b)は(a)の乗客に対して設定された距離計測エリアを示すための正面図である。第5図は距離計測エリア内における距離計測の方法を説明するための模式図である。第6図(a)は、距離計測エリアを構成するすべての区画に対して、各区画の距離計測エリア内での水平方向の位置と各区画の画像撮像部からの水平距離とをパラメータとして作成した、乗客が立位の状態にある場合の区画の分布図であり、第6図(b)は(a)の分布図に乗客の顔領域の代表点の画像撮像部からの水平距離をプロットした図である。また、第7図(a)は、距離計測エリアを構成するすべての区画に対して、各区画の距離計測エリア内での水平方向の位置と各区画の画像撮像部からの水平距離とをパラメータとして作成した、乗客が車椅子に乗車している状態にある場合の区画の分布図であり、第7図(b)は(a)の分布図に乗客の顔領域の代表点の画像撮像部からの水平距離をプロットした図である。
これらの図において、P1は顔領域の代表点、例えば重心位置(正面から見た場合の顔領域の2次元的な重心位置)を示し、P2は顔領域の代表点P1から所定の距離だけ下方の位置に設定された距離計測エリア112内の位置を示し、T1,T2は画像撮像部1のレンズの中心から位置P1,P2に引いた距離計側線の水平線からの角度をそれぞれ示し、L1,L2は画像撮像部のレンズの中心から位置P1,P2までの距離をそれぞれ示している。
また、以下では、説明を簡略化するために、第3図(b)および第4図(b)に設定された距離計測エリア112内には、対象の乗客100以外には他の動きのある物体は存在せず、背景は乗客の画像撮像部からの水平距離に比して十分遠方に存在するものとする。
第3図(a)または第4図(a)のように画像撮像部1の対象領域内に乗客100が存在する場合には、距離分布計算部5によって、第3図(b)または第4図(b)のように設定された距離計測エリア112内の位置P2の画像撮像部1からの水平方向の距離L2・cos(T2)が計算される。
この距離分布計算部5で距離計測エリア112内の各位置P2についての距離を算出するにあたって、第5図に示されるような距離計測エリア112が使用される。ここでは、距離計測エリア112の右上端を原点とし、この原点から水平右向きにx軸をとり、原点を通りx軸に垂直下向きにy軸をとる。x軸方向にm等分(mは自然数)して得られたそれぞれの列を、原点に近い方から順に、x1,x2,・・・,xmとし、y軸方向にn等分(nは自然数)して得られたそれぞれの行を、原点に近い方から順に、y1,y2,・・・,ymとすると、距離計測エリア112内には、m×n個の区画ができる。列xiと行yjとが交わる部分に作成される区画を、区画112i,jとする(i,jはともに自然数で、i≦m、j≦n)。
距離分布計算部5では、まず、行y1に存在する区画1121,1〜1121,mについて得られた画像撮像部1からの距離L2と第3図(a)に示す関係から、画像撮像部1から行y1の各区画1121,1〜1121,mまでの水平距離L2・cos(T2)を計算する。これにより、行y1の距離計測エリア112のx軸上の位置と画像撮像部1からの水平距離との組み合わせが得られる。同様にして、行y2〜行ynのそれぞれに存在する各区画ついて、距離計測エリア112のx軸上の位置と画像撮像部1からの水平距離との組合せを得る。
そして、第6図(a)および第7図(a)に示されるように、距離計測エリア112のx軸上の位置と画像撮像部1からの水平距離とをパラメータとして、距離計測エリア112内のすべての区画の分布図を作成する。これらの第6図(a)および第7図(b)において、x軸は「距離計測エリアのx軸上の位置」であり、第5図に示される距離計測エリア112のx軸と同じ軸となる。また、y軸は「画像撮像部からの水平距離」であり、各区画について求められた画像撮像部1からの水平距離である。そして、z軸は「同一位置での区画数」であり、上記の(距離計測エリアのx軸上の位置,画像撮像部からの水平距離)の組合せで示されるxy平面上の位置に、いくつの区画が重なっているかを示すものである。
乗客100が立位の状態にある場合では第6図(a)に示されるような分布図が得られるが、画像撮像部1からの水平距離がR1の部分に描かれている分布グラフは、第3図(b)の距離計測エリア112内に存在する乗客100の足(膝)近辺の部分を表している。また、画像撮像部1からの水平距離がR3の部分に描かれている分布グラフは、第3図(b)の距離計測エリア112内の乗客100の足の存在しない背景部分である。
第3図(a)に示されるように、乗客100が立位の状態である場合には、顔領域の位置P1の画像撮像部1からの水平距離L1・cos(T1)と、距離計測エリア内における足の位置P2の画像撮像部1からの水平距離L2・cos(T2)とは等しく、顔領域の重心位置P1の画像撮像部1からの水平距離は、第6図(b)に示されるように、R1と等しくなる。すなわち、顔領域の重心位置P1と距離計測エリア112内の足の位置とは鉛直方向に直線的に位置している。
一方、乗客100が車椅子に乗車している状態にある場合では第7図(a)に示されるような分布図が得られるが、画像撮像部1からの水平距離がR1の部分に描かれている分布グラフは、第4図(b)の距離計測エリア112内に存在する乗客100の足(膝)近辺の部分を表し、画像撮像部1からの水平距離がR2の部分に描かれている分布グラフは、距離計測エリア112内の上部に含まれている腹部付近の部分を表している。また、画像撮像部1からの水平距離がR3の部分に描かれている分布グラフは、距離計測エリア112内における乗客100の足の存在しない背景部分である。
第4図(a)に示されるように、乗客100が車椅子に乗車している状態にある場合には、顔領域の重心位置P1の画像撮像部1からの水平方向の距離L1・cos(T1)は、距離計測エリア112内における足の位置P2の画像撮像部1からの水平方向の距離L2・cos(T2)よりも長い。そして、顔領域の重心位置P1の画像撮像部1からの水平距離を第7図(a)にプロットすると、第7図(b)に示されるように、その位置は、画像撮像部1からの水平距離R2と等しくなる。すなわち、顔領域の重心位置P1(画像撮像部からの水平距離=R2)と距離計測エリア112内における足(膝)の部分の分布位置(画像撮像部からの水平距離=R1)とは鉛直線上には位置しない。
したがって、車椅子存在判定部6は、距離計測部2によって計測された顔領域の重心位置P1と距離分布計算部5によって計算された距離計測エリア112内の距離分布とを比較し、両者が鉛直方向に直線的に位置している場合にはその対象となっている乗客100は立位の状態にあると判断し、両者が鉛直方向の直線的な位置関係にない場合には対象となっている乗客100は車椅子に乗車していると判定する。そして、この結果が、エレベータの制御装置などの外部装置に出力される。
なお、上述した説明では、車椅子存在判定部6で乗客100が立位の状態にあるか車椅子に乗車している状態にあるかについて、顔領域の重心位置P1と距離計測エリア112内の距離分布とを比較して判断する場合を例に挙げて説明したが、顔領域の代表点として重心位置P1でなく顔領域全体の画像撮像部1からの水平距離と距離計測エリア112内の距離分布とを比較することも可能である。例えば、この場合には、顔領域全体を複数の区画に分割し、分割したすべての区画に対して、各区画の顔領域内での水平方向の位置と、各区画の画像撮像部1からの水平距離をパラメータとして区画の分布図を作成し、第6図(a)と第7図(a)に当てはめて比較することによって、乗客100が立位の状態にあるか車椅子に乗車している状態にあるかについて判断することができる。
つぎに、第8図に示すフローチャートを参照して、画像処理装置の動作手順を説明する。まず、画像撮像部1によって、エレベータのかご内またはエレベータホールなどの対象領域が撮像され、撮像された画像が顔領域抽出部3に入力される(ステップS1)。顔領域抽出部3は、入力された画像から対象となる人間の顔領域を抽出し、その重心位置を算出する(ステップS2)。距離計測エリア計算部4は、抽出された顔領域からその対象となっている人間の画像撮像部1からの距離を求め、顔領域の重心位置から所定距離だけ下方に距離計測エリアを設定する(ステップS3)。
一方、画像撮像部1による撮像が行われると、レーザ光発生部21とレーザ光走査部22が対象領域内についてパルスレーザを照射しながら走査し、レーザ光走査部22に同期してレーザ光検出部23が対象領域内で対象物によって反射されるレーザ光の画像を撮像し、撮像したレーザ光反射画像が画像記憶部24に蓄積される。そして、距離算出部25は、蓄積されたレーザ光反射画像とレーザ光走査部22の走査角度からレーザ光発生部21(画像撮像部1)から対象物までの距離を算出し、算出された距離データが距離データ格納部26に格納される(ステップS4)。
距離分布計算部5は、距離計測エリア内における距離データを距離データ格納部26から抽出し、その距離分布を計算する(ステップS5)。その後、車椅子存在判定部6は、距離データ格納部26に格納された顔領域の重心位置と、計算された距離計測エリア内における距離データの距離分布とを比較し、顔領域の重心位置と距離計測エリア内の距離データの分布位置とが鉛直線上に位置するものと判断される場合には対象となっている人間は立位の状態にあると判定し、顔領域の重心位置と距離計測エリア内の距離データの分布位置とが鉛直線上に位置しないものと判断される場合には、対象となっている人間は車椅子に乗車している状態にあると判定する(ステップS6)。そして、外部に判定結果を出力して(ステップS7)、処理を終了する。
車椅子存在判定部6によって出力された結果は、例えば、エレベータの制御部によるエレベータの運行モードを変更するために使用される。すなわち、車椅子存在判定部6によって、対象領域に車椅子に乗車している乗客が存在すると判定された場合には、例えばかごの昇降速度を通常より低く、また階床停止時にかごとホール床面との着床精度を通常より精密に合わせるなどの車椅子運行モードをエレベータ制御部に設定する。一方、車椅子存在判定部6によって、対象領域に立位の乗客しか存在しないと判定された場合には、かごの昇降速度を低くせず、また着床精度を特に高めないなどの通常運行モードをエレベータ制御部に設定する。
なお、上述した実施の形態1では、画像撮像部1と距離計測部2のレーザ光検出部23とはそれぞれ別々の位置に設置しているが、画像撮像部1とレーザ光検出部23とをほぼ同じ位置に設置するようにしてもよい。この場合には、レーザ光発生部21は画像撮像部1とは異なる位置に取り付ける必要がある。
また、レーザ光発生部21としてシリンドリカルレンズによってスリット状に変形された鉛直(縦)方向に長いパルスレーザを用いることも可能である。この場合には、レーザ光検出部23による1枚の撮像によって、縦方向の1ライン分の距離分布を計測することができ、そのため、走査方向も水平方向のみでいいという長所がある。
この実施の形態1によれば、画像撮像部1によって撮像された画像から人間の顔領域の重心位置と顔領域から所定の距離だけ下方の領域、具体的には膝以下の領域における距離分布とを比較して、撮像された人間が車椅子に乗車しているか否かを判定するようにしたので、車椅子の乗客の存在を高い確率で認識することができるという効果を有する。
実施の形態2.
つぎに、この発明の実施の形態2について説明する。第9図は、この発明にかかる画像処理装置の実施の形態2の構成を示すブロック図である。この実施の形態2における画像処理装置は、実施の形態1に示した第1図の画像処理装置の距離計測部2に代えて、異なる位置から対象領域の画像を撮像するための第2の画像撮像部31、第3の画像撮像部32、および第2の画像撮像部31と第3の画像撮像部32によって撮像された画像から2眼ステレオ法を用いて対象物の距離を算出するステレオ演算部33を有する。その他の構成は、実施の形態1と同一であり、同一の構成要素には同一の符号を付してその説明を省略している。なお、実施の形態2の第1の画像撮像部1は、第1図の画像撮像部1に対応している
第2の画像撮像部31および第3の画像撮像部32は、CCDカメラなどによって実現される装置から構成され、互いに水平方向に距離をおいて配置される。また第2の画像撮像部31および第3の画像撮像部32の撮像領域は、第1の画像撮像部1が撮像する対象領域を撮像することができるように、また第1の画像撮像部1から対象領域に存在する対象物までの距離を算出することができるように、第2の画像撮像部31および第3の画像撮像部32は、第1の画像撮像部1の位置とほぼ同じ位置に配置される。
ステレオ演算部33は、予め幾何学的位置関係が既知の第2の画像撮像部31と第3の画像撮像部32から入力された2枚の画像の各画素間の対応関係を求めて視差を検出し、視差を距離に変換することによって対象物までの距離を計測するものであり、距離算出部34、距離データ格納部35を有する。
ここで、第10図を参照しながら、2眼ステレオ法を用いたステレオ画像処理の原理を説明する。光軸201A,201Bが互いに平行で、焦点距離fが等しいレンズを有するCCDカメラなどによって実現される2台の画像撮像部31,32が、水平方向に所定間隔Dをおいて配置される。ここで、2台の画像撮像部31,32が配置される水平軸をX軸とし、このX軸と直交し高さ方向に伸びる軸をY軸とし、これらのX軸およびY軸の両者に直交する軸をZ軸とする。また、(第2の)画像撮像部31で撮像した画像を画像Aとし、(第3の)画像撮像部32で撮像した画像を画像Bとし、これらの2つの画像A,Bでの対応点を求め、これらの画像A,B上での対応点の座標をそれぞれPA(xA,y),PB(xB,y)とする。これらより、画像撮像部1から対象物Pまでの距離zは、
z=f・D/(xA−xB)=f・D/S
として求められる。ただし、xA−xB=Sは視差であり、この視差Sは、光軸201A,201Bが平行で所定の間隔Dを隔てて設置された2つの画像撮像部31,32で一つの物体を撮像した場合に、それぞれの画像撮像部31,32に撮像された画像の位置の差を示している。このようにして、第2の画像撮像部31と第3の画像撮像部32によって撮像された2枚の画像A,Bから画像上の対象物までの距離を求めることができる。
ステレオ演算部33の距離算出部34は、第2の画像撮像部31と第3の画像撮像部32によって入力された2枚の画像A,Bから、上述したステレオ画像処理によって、第1の画像撮像部1から対象物までの距離を算出する。また、距離データ格納部35は、距離算出部34によって算出された距離データを格納する。
つぎに、第11図に示すフローチャートを参照して、画像処理装置の動作処理手順を説明する。まず、実施の形態1の第8図で説明したステップS1〜S3と同じ処理を行って、画像上の距離計測エリアを設定する(ステップS11〜S13)。すなわち、第1の画像撮像部1によって撮像された対象領域の画像から人間の顔領域の重心位置と、その対象となっている人間の第1の画像撮像部1からの距離が算出され、顔領域の重心位置から所定距離だけ下方に距離計測エリアが設定される。
一方、ステップS11〜S13の工程とは別に、第1の画像撮像部1によって対象領域の画像が撮像されると、第2の画像撮像部31が対象領域の画像を撮像し、撮像された画像がステレオ演算部33に記憶される(ステップS14)。つづいて、第3の画像撮像部32が対象領域の画像を撮像し、撮像された画像がステレオ演算部33に記憶される(ステップS15)。なお、ステップS14〜S15において、第2の画像撮像部31と第3の画像撮像部32による対象領域の撮像は、同時に行ってもよいし、所定時間ずらして行ってもよい。
そして、ステレオ演算部33の距離算出部34は、記憶された2枚の画像からステレオ画像処理によって、画像中の各位置について第1の画像撮像部1からの距離を算出し、算出した距離データを距離データ格納部35に格納する(ステップS16)。
その後、実施の形態1の第8図で説明したステップS5〜S7と同じ処理を行って、抽出された顔領域を有する人間が車椅子に乗車している乗客か否かを判定する(ステップS17〜S19)。すなわち、第1の画像撮像部1によって撮像された画像中の顔領域の重心位置から所定の距離だけ下方の距離計測エリア内の距離データの距離分布を計算し、顔領域の重心位置と計算した距離計測エリア内の距離データの距離分布とを比較する。比較の結果、顔領域の重心位置と距離計測エリア内の距離データの距離分布とが鉛直線上に存在する場合にはその顔領域を有する人間は立位の乗客であると判定し、顔領域の重心位置と距離計測エリア内の距離データの距離分布とが鉛直線上に存在しない場合にはその顔領域を有する人間は車椅子に乗車している乗客であると判定し、その判定結果を外部に出力して、処理を終了する。
車椅子存在判定部6による判定結果は、実施の形態1と同様に、例えば、エレベータの制御部によるエレベータの運行モードを変更するために使用することができる。
なお、上述した実施の形態2では、顔領域を抽出するための第1の画像撮像部1と、ステレオ画像処理を行うための第2の画像撮像部31および第3の画像撮像部32の3台の画像撮像部を設置する場合について説明を行ったが、第1の画像撮像部1と第2の画像撮像部32を共用させて、2台の画像撮像部で上述した処理を行うことも可能である。すなわち、第1の画像撮像部1で対象領域を撮像して、顔領域を抽出するための画像を得るとともに、ステレオ画像処理を行うための画像を得て、第3の画像撮像部32でステレオ画像処理を行うためのもう1枚の画像を得るように構成してもよい。これは、この実施の形態2では、ステレオ画像処理を行うために要する2枚の画像を、第2の画像撮像部31および第3の画像撮像部32で必ずしも同時に撮像しなくてもよいことによる。
また、上述した説明では、車椅子存在判定部6で乗客が立位の状態にあるか車椅子に乗車している状態にあるかの判定を行うについて、顔領域の重心位置と距離計測エリア内の距離分布とを比較して判断する場合を例に挙げて説明したが、顔領域の代表点として重心位置でなく顔領域全体の第1の画像撮像部1からの水平距離と距離計測エリア内の距離分布とを比較するようにしてもよい。
この実施の形態2によれば、第1の画像撮像部1から対象物までの距離を計測する方法としてステレオ画像処理を用いたので、距離を計測するための装置構成を一層コンパクトにすることができるという効果を有する。
実施の形態3.
つぎに、この発明の実施の形態3について説明する。第12図は、この発明にかかる画像処理装置の実施の形態3の構成を示すブロック図である。この実施の形態3における画像処理装置は、実施の形態1に示した画像処理装置に、画像撮像部1によって撮像された画像から変化領域のみを抽出する変化領域検出部41を設けている。その他の構成は、実施の形態1と同一であり、同一の構成要素には同一の符号を付してその説明を省略している。
変化領域検出部41は、画像撮像部1が撮像する対象領域において、人間などの対象物が存在しない状態で撮像した背景画像を有しており、画像撮像部1で撮像された画像が入力されると、この撮像された画像と背景画像の2枚の画像における各画素値の差の絶対値を所定の閾値を基準に二値化する差分演算処理を行い、差分画像を生成する。この差分画像には、背景画像には存在しない変化のあった部分が、対象物の候補として記録される。そして、この差分画像において、変化のあった部分の位置情報が顔領域抽出部3に出力される
顔領域抽出部3は、変化領域検出部41から変化のあった部分の位置情報を受けると、この位置情報を利用して画像撮像部1から入力された画像の中から、人間の顔領域抽出アルゴリズムにしたがって人間の顔領域を抽出し、この顔領域の位置、例えば重心位置を算出する。そして、顔領域は、顔領域の位置とともに記憶される。
つぎに、第13図に示すフローチャートを参照して、画像処理装置の動作処理手順を説明する。まず、画像撮像部1によって、エレベータのかご内またはエレベータホールが撮像され、撮像された画像が顔領域抽出部3と変化領域検出部41に入力される(ステップS21)。変化領域検出部41は、入力された画像と背景画像とから差分画像を生成し、得られた差分画像から変化した領域を検出し、その位置情報を顔領域抽出部3に出力する(ステップS22)。顔領域抽出部3は、変化領域検出部41から入力された変化領域の位置情報に基づいて、画像撮像部1から入力された画像中の変化領域の中から対象となる人間の顔領域を抽出し、その重心位置を計算する(ステップS23)。
その後の処理は、実施の形態1の第8図で説明したステップS3〜S7と同じ処理を行って、対象領域中に車椅子に乗車した乗客が存在するか否かを判定し、その判定結果を外部に出力する(ステップS24〜S28)。すなわち、画像が撮像されると、画像内の各位置での対象物までの距離が計測される。また、抽出された顔領域を有する人間の画像に対して距離計測エリアを設定し、この距離計測エリア内において計測された各位置の距離データに基づいて、距離分布が計算される。そして、顔領域の重心位置と計算した距離計測エリア内の距離データの距離分布とを比較する。比較の結果、顔領域の重心位置と距離計測エリア内の距離データの距離分布とが鉛直線上に存在する場合にはその顔領域を有する人間は立位の乗客であると判定し、顔領域の重心位置と距離計測エリア内の距離データの距離分布とが鉛直線上に存在しない場合にはその顔領域を有する人間は車椅子に乗車している乗客であると判定し、その判定結果を外部に出力して、処理を終了する。
車椅子存在判定部6による判定結果は、実施の形態1と同様に、例えば、エレベータの制御部によるエレベータの運行モードを変更するために使用することができる。
上述した実施の形態3では、距離計測部2として実施の形態1と同じ走査型レーザレンジファインダなどによって実現される装置から構成される場合を例示したが、距離計測部2として実施の形態2で説明した2眼ステレオ法によるステレオ画像処理を用いるようにしてもよい。すなわち、第12図の距離計測部2に代えて、第2の画像撮像部31、第3の画像撮像部32およびステレオ演算部33、または第2の画像撮像部31およびステレオ演算部33を有するように構成してもよい。
また、上述した説明では、車椅子存在判定部6で乗客が立位の状態にあるか車椅子に乗車している状態にあるかの判定を行うについて、顔領域の重心位置と距離計測エリア内の距離分布とを比較して判断する場合を例に挙げて説明したが、顔領域の代表点として重心位置でなく顔領域全体の画像撮像部1からの水平距離と距離計測エリア内の距離分布とを比較するようにしてもよい。
この実施の形態3によれば、変化領域検出部41が撮像された対象領域の画像と予め用意された背景画像とから差分画像を生成することによって、変化のある領域が抽出され、この抽出された変化のある領域で顔領域抽出部3による顔領域の抽出が行われるので、顔領域の抽出を行う時間を短縮することができるという効果を有する。また、対象領域内に存在する人間の顔に似た画像パターンを人間の顔であると判定してしまう誤判定を抑制することができ、一層正確な顔領域の抽出を行うことができるという効果を有する。
以上のように、本発明にかかる画像処理装置は、エレベータのかご内やエレベータホールなどにおいて、車椅子に乗車している乗客が存在する場合にエレベータの運行モードを自動的に切り替えるために使用されるエレベータの乗客検知システムなどに適している。
第1図は、この発明の画像処理装置の実施の形態1を示すブロック図である。 第2図は、対象領域内の人間の高さを概略的に求める方法を示す図である。 第3図は、対象領域内の人間が車椅子に乗車しているかの判定を行う方法を説明するための図であり、第3図(a)は、乗客が立位にある状態を模式的に示しており、第3図(b)は、(a)の乗客に対して設定された距離計測エリアを示すための正面図であり、第4図は、対象領域内の人間が車椅子に乗車しているかの判定を行う方法を説明するための図である。 第4図(a)は、乗客が車椅子に乗車している状態を模式的に示しており、第4図(b)は、(a)の乗客に対して設定された距離計測エリアを示すための正面図である。 第5図は、距離計測エリア内における距離計測の方法を説明するための模式図である。 第6図(a)は、距離計測エリアを構成するすべての区画に対して、各区画の距離計測エリア内での水平方向の位置と各区画の画像撮像部からの水平距離とをパラメータとして作成した、乗客が立位の状態にある場合の区画の分布図であり、第6図(b)は、(a)の分布図に乗客の顔領域の代表点の画像撮像部からの水平距離をプロットした図である。 第7図(a)は、距離計測エリアを構成するすべての区画に対して、各区画の距離計測エリア内での水平方向の位置と各区画の画像撮像部からの水平距離とをパラメータとして作成した、乗客が車椅子に乗車している状態にある場合の区画の分布図であり、第7図(b)は、(a)の分布図に乗客の顔領域の代表点の画像撮像部からの水平距離をプロットした図である。 第8図は、第1図に示した画像処理装置の処理手順を示すフローチャートである。 第9図は、この発明の画像処理装置の実施の形態2を示すブロック図である。 第10図は、2眼ステレオ法の原理を説明するための図である。 第11図は、第9図に示した画像処理装置の処理手順を示すフローチャートである。 第12図は、この発明の画像処理装置の実施の形態3を示すブロック図である。 第13図は、第12図に示した画像処理装置の処理手順を示すフローチャートである。 第14図は、画像処理装置の従来例のブロック図を示すものである。 第15図は、第14図に示される画像処理装置の撮像手段によって撮像された画像を示す図である。

Claims (8)

  1. 監視すべき対象領域内の画像を撮像する画像撮像手段と、
    前記画像撮像手段によって撮像された画像から人間の顔領域を抽出し、前記画像撮像手段から前記人間の顔領域までの水平距離を算出する顔領域抽出手段と、
    前記抽出された人間の顔領域から所定の距離だけ下方で、膝以下の足が含まれる距離計測エリアを設定する距離計測エリア計算手段と、
    前記距離計測エリア内の各位置について、前記画像撮像手段からの水平距離を計測する距離計測手段と、
    前記距離計測手段によって計測された水平距離を用いて前記距離計測エリア内の各位置における前記画像撮像手段からの水平方向の距離分布を計算する距離分布計算手段と、
    前記顔領域抽出手段で得られた前記顔領域までの水平距離と、前記距離計測エリア内の水平方向の距離分布とを比較して、前記顔領域までの水平距離が前記距離計測エリア内の水平方向の距離分布とが異なる値である場合に、前記顔領域を有する人間が車椅子に乗車している判定する車椅子存在判定手段と、
    を備えることを特徴とする画像処理装置。
  2. 前記画像撮像手段によって撮像された画像と、前記対象領域内の物体が存在しない背景画像とから差分画像を生成して、生成した差分画像に基づいて変化のあった領域を抽出する変化領域検出手段をさらに備え、
    前記顔領域抽出手段は、前記変化領域検出手段によって抽出された変化のあった領域でのみ顔領域を抽出することを特徴とする請求の範囲第1項に記載の画像処理装置。
  3. 前記距離計測手段は、走査型レーザレンジファインダであることを特徴とする請求の範囲第1項に記載の画像処理装置。
  4. 前記画像撮像手段によって撮像された画像と、前記対象領域内の物体が存在しない背景画像とから差分画像を生成して、生成した差分画像に基づいて変化のあった領域を抽出する変化領域検出手段をさらに備え、
    前記顔領域抽出手段は、前記変化領域検出手段によって抽出された変化のあった領域でのみ顔領域を抽出することを特徴とする請求の範囲第3項に記載の画像処理装置。
  5. 監視すべき対象領域内の画像を撮像する第1の画像撮像手段と、
    水平方向に距離をおいて配置された、前記対象領域の画像を撮像する第2および第3の画像撮像手段と、
    前記第1の画像撮像手段によって撮像された画像から人間の顔領域を抽出し、前記第1の画像撮像手段から前記人間の顔領域までの水平距離を算出する顔領域抽出手段と、
    前記第2および第3の画像撮像手段によって撮像された2枚の画像を用いて、ステレオ法によって前記第1の画像撮像手段によって撮像された画像の各位置について、前記第1の画像撮像手段からの水平距離を計測するステレオ演算手段と、
    前記抽出された人間の顔領域から所定の距離だけ下方で、膝以下の足が含まれる距離計測エリアを設定する距離計測エリア計算手段と、
    記ステレオ演算手段によって計測された水平距離を用いて前記距離計測エリア内における前記第1の画像撮像手段からの水平方向の距離分布を計算する距離分布計算手段と、
    前記顔領域抽出手段で得らた前記第1の画像撮像手段から前記顔領域まで水平距離と前記距離計測エリア内の水平方向の距離分布とを比較して、前記顔領域までの水平距離が前記距離計測エリア内の水平方向の距離分布とが異なる値である場合に、前記顔領域を有する人間が車椅子に乗車している判定する車椅子存在判定手段と、
    を備えることを特徴とする画像処理装置。
  6. 前記第1の画像撮像手段によって撮像された画像と、前記対象領域内の物体が存在しない背景画像とから差分画像を生成して、生成した差分画像に基づいて変化のあった領域を抽出する変化領域検出手段をさらに備え、
    前記顔領域抽出手段は、前記変化領域検出手段によって抽出された変化のあった領域でのみ顔領域を抽出することを特徴とする請求の範囲第5項に記載の画像処理装置。
  7. 監視すべき対象領域内の画像を撮像する第1の画像撮像手段と、
    前記第1の画像撮像手段と水平方向に距離をおいて配置され、前記対象領域の画像を撮像する第2の画像撮像手段と、
    前記第1の画像撮像手段によって撮像された画像から人間の顔領域を抽出し、前記第1の画像撮像手段から前記人間の顔領域までの水平距離を算出する顔領域抽出手段と、
    前記第1および第2の画像撮像手段によって撮像された2枚の画像を用いて、ステレオ法によって前記第1の画像撮像手段によって撮像された画像の各位置について、前記第1の画像撮像手段からの距離を計測するステレオ演算手段と、
    前記抽出された人間の顔領域から所定の距離だけ下方で、膝以下の足が含まれる距離計測エリアを設定する距離計測エリア計算手段と、
    記ステレオ演算手段によって計測された距離を用いて、前記距離計測エリア内における前記第1の画像撮像手段からの水平方向の距離分布を計算する距離分布計算手段と、
    前記顔領域抽出手段で得らた前記第1の画像撮像手段から前記顔領域まで水平距離と前記距離計測エリア内の水平方向の距離分布とを比較して、前記顔領域までの水平距離が前記距離計測エリア内の水平方向の距離分布とが異なる値である場合に、前記顔領域を有する人間が車椅子に乗車している判定する車椅子存在判定手段と、
    を備えることを特徴とする画像処理装置。
  8. 前記第1の画像撮像手段によって撮像された画像と、前記対象領域内の物体が存在しない背景画像とから差分画像を生成して、生成した差分画像に基づいて変化のあった領域を抽出する変化領域検出手段をさらに備え、
    前記顔領域抽出手段は、前記変化領域検出手段によって抽出された変化のあった領域でのみ顔領域を抽出することを特徴とする請求の範囲第7項に記載の画像処理装置。
JP2004524082A 2002-07-26 2002-07-26 画像処理装置 Expired - Fee Related JP4127545B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2002/007632 WO2004012142A1 (ja) 2002-07-26 2002-07-26 画像処理装置

Publications (2)

Publication Number Publication Date
JPWO2004012142A1 JPWO2004012142A1 (ja) 2005-11-24
JP4127545B2 true JP4127545B2 (ja) 2008-07-30

Family

ID=30795867

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004524082A Expired - Fee Related JP4127545B2 (ja) 2002-07-26 2002-07-26 画像処理装置

Country Status (6)

Country Link
US (1) US7142694B2 (ja)
EP (1) EP1526477B1 (ja)
JP (1) JP4127545B2 (ja)
CN (1) CN1321394C (ja)
DE (1) DE60236461D1 (ja)
WO (1) WO2004012142A1 (ja)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007020033A (ja) * 2005-07-11 2007-01-25 Nikon Corp 電子カメラおよび画像処理プログラム
JP4533824B2 (ja) * 2005-08-30 2010-09-01 株式会社日立製作所 画像入力装置及び校正方法
US7978936B1 (en) 2006-01-26 2011-07-12 Adobe Systems Incorporated Indicating a correspondence between an image and an object
US7636450B1 (en) 2006-01-26 2009-12-22 Adobe Systems Incorporated Displaying detected objects to indicate grouping
US8259995B1 (en) 2006-01-26 2012-09-04 Adobe Systems Incorporated Designating a tag icon
US7706577B1 (en) * 2006-01-26 2010-04-27 Adobe Systems Incorporated Exporting extracted faces
US7813557B1 (en) 2006-01-26 2010-10-12 Adobe Systems Incorporated Tagging detected objects
US7716157B1 (en) 2006-01-26 2010-05-11 Adobe Systems Incorporated Searching images with extracted objects
US7813526B1 (en) 2006-01-26 2010-10-12 Adobe Systems Incorporated Normalizing detected objects
US7694885B1 (en) 2006-01-26 2010-04-13 Adobe Systems Incorporated Indicating a tag with visual data
US7720258B1 (en) 2006-01-26 2010-05-18 Adobe Systems Incorporated Structured comparison of objects from similar images
JP4811651B2 (ja) * 2006-03-30 2011-11-09 独立行政法人産業技術総合研究所 ステレオカメラを用いた車椅子使用者検出システム
WO2007125794A1 (ja) * 2006-04-27 2007-11-08 Konica Minolta Holdings, Inc. データ測定装置及びデータ測定方法
JP5140257B2 (ja) * 2006-09-12 2013-02-06 株式会社ユニバーサルエンターテインメント サンド装置、入金残高精算機、管理サーバ及び遊技システム
JP5140256B2 (ja) * 2006-09-12 2013-02-06 株式会社ユニバーサルエンターテインメント サンド装置、入金残高精算機及び遊技システム
JP4848244B2 (ja) * 2006-10-19 2011-12-28 富士電機株式会社 情報案内システムおよび情報案内プログラム
EP2196425A1 (de) * 2008-12-11 2010-06-16 Inventio Ag Verfahren zur Benachteiligungsgerechten Benutzung einer Aufzugsanlage
US20120175192A1 (en) * 2011-01-11 2012-07-12 Utechzone Co., Ltd. Elevator Control System
KR101046677B1 (ko) * 2011-03-15 2011-07-06 동국대학교 산학협력단 눈 위치 추적방법 및 이를 이용한 의료용 헤드램프
JP5733614B2 (ja) * 2011-03-29 2015-06-10 リコーイメージング株式会社 撮影情報管理方法、及び撮影情報管理装置
JP5879877B2 (ja) * 2011-09-28 2016-03-08 沖電気工業株式会社 画像処理装置、画像処理方法、プログラム、および画像処理システム
JP5567065B2 (ja) * 2012-05-29 2014-08-06 東芝エレベータ株式会社 エレベータの呼び登録装置
CN107000982B (zh) * 2014-12-03 2020-06-09 因温特奥股份公司 与电梯交替交互的系统和方法
DE112015007051T5 (de) 2015-10-21 2018-06-28 Mitsubishi Electric Corporation Drahtlose informationsverteilungsvorrichtung, steuerverfahren für eine drahtlose informationsverteilungsvorrichtung und steuerprogramm
US10254402B2 (en) * 2016-02-04 2019-04-09 Goodrich Corporation Stereo range with lidar correction
JP6513594B2 (ja) * 2016-03-30 2019-05-15 株式会社日立製作所 エレベータ装置及びエレベータ制御方法
KR101774692B1 (ko) * 2016-05-16 2017-09-04 현대자동차주식회사 에어백 제어 장치 및 방법
TWI719409B (zh) * 2019-02-23 2021-02-21 和碩聯合科技股份有限公司 追蹤系統及其方法
CN109948494B (zh) * 2019-03-11 2020-12-29 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN110338800A (zh) * 2019-07-17 2019-10-18 成都泰盟软件有限公司 自动测量身高体重的躺椅
CN111932596B (zh) * 2020-09-27 2021-01-22 深圳佑驾创新科技有限公司 摄像头遮挡区域的检测方法、装置、设备和存储介质
JP7367174B1 (ja) 2022-12-20 2023-10-23 東芝エレベータ株式会社 エレベータシステム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04286596A (ja) 1991-03-13 1992-10-12 Toshiba Corp エスカレータ
JPH05147835A (ja) * 1991-11-25 1993-06-15 Hitachi Ltd 身体障害者対応エレベータの乗場呼び登録装置
US5323470A (en) * 1992-05-08 1994-06-21 Atsushi Kara Method and apparatus for automatically tracking an object
JPH061546A (ja) * 1992-06-17 1994-01-11 Hitachi Ltd 車椅子運転仕様付エレベータの制御方法
JPH0692563A (ja) 1992-09-17 1994-04-05 Hitachi Ltd エレベータの人数計測装置
JP3643157B2 (ja) * 1995-11-29 2005-04-27 池上通信機株式会社 ステレオ画像による物体の高さ測定方法
US6027138A (en) * 1996-09-19 2000-02-22 Fuji Electric Co., Ltd. Control method for inflating air bag for an automobile
JP3103931B2 (ja) * 1997-02-19 2000-10-30 鐘紡株式会社 室内監視装置
JPH11268879A (ja) * 1998-03-20 1999-10-05 Mitsubishi Electric Corp エレベータの運転制御装置
JP4377472B2 (ja) * 1999-03-08 2009-12-02 株式会社東芝 顔画像処理装置
JP2001302121A (ja) * 2000-04-19 2001-10-31 Mitsubishi Electric Corp エレベータ装置
JP3697632B2 (ja) 2000-06-05 2005-09-21 沖電気工業株式会社 歩行支援システム
JP2002197463A (ja) * 2000-12-26 2002-07-12 Matsushita Electric Ind Co Ltd 挙動検出装置および挙動検出システム
US7079669B2 (en) * 2000-12-27 2006-07-18 Mitsubishi Denki Kabushiki Kaisha Image processing device and elevator mounting it thereon

Also Published As

Publication number Publication date
WO2004012142A1 (ja) 2004-02-05
CN1321394C (zh) 2007-06-13
DE60236461D1 (de) 2010-07-01
EP1526477B1 (en) 2010-05-19
US7142694B2 (en) 2006-11-28
EP1526477A1 (en) 2005-04-27
US20050013488A1 (en) 2005-01-20
EP1526477A4 (en) 2008-09-10
CN1605086A (zh) 2005-04-06
JPWO2004012142A1 (ja) 2005-11-24

Similar Documents

Publication Publication Date Title
JP4127545B2 (ja) 画像処理装置
US7079669B2 (en) Image processing device and elevator mounting it thereon
US8929608B2 (en) Device and method for recognizing three-dimensional position and orientation of article
CN1324529C (zh) 对场景中的物体进行分类的系统及其方法
JPWO2015052896A1 (ja) 乗車人数計測装置、乗車人数計測方法および乗車人数計測プログラム
JP2005100372A (ja) 撮像システム、及びプログラム
JPH10334207A (ja) 人流計測装置
JP5300694B2 (ja) 検出装置
JP4431749B2 (ja) 顔姿勢検出方法
JPH07324792A (ja) 人体認識装置
JP5165540B2 (ja) 身長検出システムおよびこれを用いた自動改札機
JP4056813B2 (ja) 障害物検知装置
CN114708552A (zh) 一种基于人体骨骼的三维区域入侵检测方法和系统
JP4476546B2 (ja) 画像処理装置及びそれを搭載したエレベータ
JP2010262527A (ja) 通行者計数装置、通行者計数方法および通行者計数プログラム
JP2008146106A (ja) 三次元物体を検出する装置
JP2004126738A (ja) 3次元計測を用いた個人認証装置および認証方法
JP4062100B2 (ja) 形状測定装置
JP6737213B2 (ja) 運転者状態推定装置、及び運転者状態推定方法
JP2015108941A (ja) 車両用の画像認識装置
JP2010169431A (ja) 通過検出装置
JP2021117904A (ja) 転落検知装置
JP3723881B2 (ja) 軌道間隔測定方法および軌道間隔測定装置
KR102458582B1 (ko) Tof 센서를 이용한 동물 사람 구별 시스템
KR102233288B1 (ko) 복수의 카메라를 이용한 얼굴식별 발열감지 및 추적시스템

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080404

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080507

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080508

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110523

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110523

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120523

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120523

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130523

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140523

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees