JP6073474B2 - 位置検出装置 - Google Patents
位置検出装置 Download PDFInfo
- Publication number
- JP6073474B2 JP6073474B2 JP2015523966A JP2015523966A JP6073474B2 JP 6073474 B2 JP6073474 B2 JP 6073474B2 JP 2015523966 A JP2015523966 A JP 2015523966A JP 2015523966 A JP2015523966 A JP 2015523966A JP 6073474 B2 JP6073474 B2 JP 6073474B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- image
- person
- information
- coordinates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000001514 detection method Methods 0.000 title claims description 132
- 230000006399 behavior Effects 0.000 description 37
- 238000009434 installation Methods 0.000 description 34
- 230000003287 optical effect Effects 0.000 description 25
- 230000009471 action Effects 0.000 description 23
- 230000004048 modification Effects 0.000 description 16
- 238000012986 modification Methods 0.000 description 16
- 238000000034 method Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 11
- 238000012545 processing Methods 0.000 description 9
- 230000008859 change Effects 0.000 description 7
- 210000003371 toe Anatomy 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 230000005484 gravity Effects 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000007958 sleep Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
- G08B21/0407—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
- G08B21/043—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis detecting an emergency event, e.g. a fall
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
- G08B21/0438—Sensor means for detecting
- G08B21/0476—Cameras to detect unsafe condition, e.g. video cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Gerontology & Geriatric Medicine (AREA)
- Emergency Management (AREA)
- Business, Economics & Management (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Psychiatry (AREA)
- Psychology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Social Psychology (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Studio Devices (AREA)
- Alarm Systems (AREA)
Description
本発明は、位置検出装置に関する。
本願は、2013年06月28日に、日本に出願された特願2013−137514号に基づき優先権を主張し、その内容をここに援用する。
本願は、2013年06月28日に、日本に出願された特願2013−137514号に基づき優先権を主張し、その内容をここに援用する。
近年、室内における人の在室状況や、室内への入退出の管理、不審者や侵入者の検知、遠隔地から特定人物の見守り等、人の行動を、各種センサを用いて認識するシステムや手法が提案されている。
不審者や侵入者等を検知する方法として、一つのカメラ映像に対する二次元処理によって、人や物体の追跡を行う方法がある。また、人や物体の追跡をステレオカメラ映像から三次元処理することにより、検出対象の位置情報や移動軌跡の検出精度を向上させる手法もある。例えば、特許文献1には、二次元処理と三次元処理を組み合わせて、不審者等の位置情報や移動軌跡等を、より精度よく検知する不審者検知システムが提案されている(特許文献1参照)。
ところで、特許文献1に記載の不審者検知システムは、複数台のカメラによる撮影を行うが、カメラ同士の設置位置を精密に調整しなければならず、調整に必要な特殊技能を持った人物以外は設置が困難という問題がある。
そこで本発明は、上記従来技術の問題に鑑みてなされたものであり、被写体の位置を検出するための映像を取得するカメラの設置が、利用者にとって容易になる位置検出装置を提供することを目的とする。
この発明は、上記問題を解決するためになされたもので、本発明の一態様は、第1のカメラによって撮影された第1の画像であって、第2のカメラが、縦方向又は横方向に関する略中央軸上に映された前記第1の画像と、前記第2のカメラによって撮影された第2の画像であって、前記第1のカメラが、縦方向又は横方向に関する略中央軸上に映された前記第2の画像とに基づいて、前記第1の画像に含まれる被写体と前記第2の画像に含まれる被写体とを同一の被写体として対応付ける対応付部と、前記対応付けられた被写体の三次元座標を検出する検出部と、を備えることを特徴とする位置検出装置である。
本発明によれば、被写体の位置を検出するための映像を取得するカメラの設置が、利用者にとって容易になる位置検出装置を提供することができる。
[第1の実施形態]
以下、図面を参照して、第1の実施形態について説明する。
図1は、第1の実施形態における位置検出装置2の利用状況の一例を示す外観図である。位置検出装置2には、第1カメラ101、第2カメラ102が接続されている。本実施形態における位置検出装置2は、それら2つのカメラによって撮影された平面画像に映った被写体の位置を対応付けることで、被写体の三次元位置を検出する。
以下、図面を参照して、第1の実施形態について説明する。
図1は、第1の実施形態における位置検出装置2の利用状況の一例を示す外観図である。位置検出装置2には、第1カメラ101、第2カメラ102が接続されている。本実施形態における位置検出装置2は、それら2つのカメラによって撮影された平面画像に映った被写体の位置を対応付けることで、被写体の三次元位置を検出する。
室内rmには、ドアdrから入室した人物invが居る。室内rmには、第1カメラ101が天井に設置されている。第1カメラ101は、天井から鉛直下向きに室内rmを撮影している。従って、第1カメラ101は、人物invの頭上から撮影する。室内rmには、第2カメラ102がドアの対面側の壁に設置されている。第2カメラ102は、壁面から水平方向に室内rmを撮影している。従って、第2カメラ102は、人物invの全身を横から撮影する。
なお、第2カメラ102は、室内rmのドアdrの対面壁に設置されているが、これに限られず、ドアdrから見て左右の壁面に設置されていてもよいし、ドアdrが付いている壁に設置されてもよい。ただし、ドアdrの対面に設置した方が、他の壁面に設置する場合に比べて入室者である人物invの顔を撮影し易いので、第2カメラ102は、ドアdrの対面壁に設置するのが望ましい。
第1カメラ101及び第2カメラ102は、例えば、集光された光を電気信号に変換する撮像素子であるCCD(Charge Coupled Device)素子やCMOS(Complementary Metal Oxide Semiconductor)撮像素子等を備えたカメラである。第1カメラ101及び第2カメラ102は、例えば、図1中からは図が煩雑になるため省略している位置検出装置2と、HDMI(High-Definition Multimedia Interface)(登録商標)ケーブル等によって接続されている。位置検出装置2は、例えば、室内に設置されてもよいし、別の部屋に設置されてもよい。本実施形態では、位置検出装置2は、別の部屋に設置されているとする。以下の説明では、第1カメラ101で撮影した画像を第1画像、第2カメラ102で撮影した画像を第2画像と呼ぶことにする。第1画像及び第2画像は、二次元画像である。
位置検出装置2は、第1画像を第1カメラ101から取得し、第2画像を第2カメラ102から取得する。位置検出装置2は、取得した第1画像から、人物invの顔を検出する。また、位置検出装置2は、取得した第2画像から、人物invの顔を検出する。位置検出装置2は、第1画像から検出した顔と、第2画像から検出した顔を対応付け(以下、顔対応付処理という)、人物invの顔の三次元位置座標を検出する。
ここで、図2を参照して顔対応付処理の詳細を説明する。図2は、第1画像p1と第2画像p2の一例を表すイメージ図である。図2の上段図が第1画像p1であり、下段図が第2画像p2である。第1カメラ101は、第1画像p1として、人物invの顔を頭上から映しており、さらに、第1画像p1の下部中央に第2カメラ102を映している。第2カメラ102は、第2画像p2として、人物invの全身を横から映しており、さらに、第2画像p2の上部中央に第1カメラ101を映している。図2に示すように、互いのカメラが互いの画像の中央に映るように設置することで、互いのカメラの光軸が必ず交差する。光軸の交差に関する説明は後述する。
第1カメラ101は、被写体を、近似的に平行投影された画像として撮影するように設置されている。また、第2カメラ102は、被写体を、近似的に平行投影された画像として撮影するように設置されている。近似的に平行投影されていると、カメラと被写体の間の距離を変化させた画像を比較した場合、被写体の画像上での位置座標はほぼ変化しない。この性質を利用して、本実施形態の位置検出装置2は、人物invの三次元位置を検出する。従って、以下の説明では、第1カメラ101及び第2カメラ102によって撮影された画像は、近似的に平行投影された画像であることを前提とする。
第1画像p1中において、第1カメラ101の光軸から人物invの顔までの距離を距離x1とする。また、第2画像p2中において、第2カメラ102の光軸から人物invの顔までの距離を距離x2とする。図2に示すように各画像に原点o1、o2を設定すると、第1画像における人物invの顔の座標は(x1,y1)となり、第2画像における人物invの顔の座標は(x2,y2)となる。ここで、もし第1画像p1に映った人物invと、第2画像p2に映った人物invとが同一人物だった場合、図2に示すように、座標x1と座標x2が一致する。この一致は、第1画像p1及び第2画像p2が、被写体が近似的に平行投影された画像であるために起こる。
ただし、座標x1と座標x2は、各カメラで同じ対象物を映した時に、2つの画像内でその対象物が同じピクセル数で表される場合にのみ単純に一致する。もし、同じ対象物を映した時に、2つの画像内でその対象物が異なるピクセル数で表される場合、そのピクセル数の違いに応じた補正を行う必要がある。以下の説明では、説明を簡略化するため、このようなピクセル数の違いは無い(例えば、2つのカメラは同じカメラである場合)として説明する。一致した座標x1と座標x2とを人物invの三次元x座標とする(x1=x2≡x)と、座標y1は三次元y座標、座標y2は三次元z座標となる。このようにして、近似的に被写体が平行投影された画像の場合、第1画像p1及び第2画像p2に映っている人物invのx座標を対応付けることで、人物invの三次元位置座標を取得することができる。
図1に戻って、顔対応付処理を行うため、第1カメラ101及び第2カメラ102は、所定の条件を満たすように設置されなければならない。本実施形態における所定の条件は、次の設置条件(1a)、(1b)である。設置条件(1a)は、例えば、図1で示したように、互いのカメラの光軸が交差することである。設置条件(1b)は、一方のカメラの投影面と他方のカメラの投影面の、互いに最も近い辺同士が略平行になることである。なお、設置条件(1b)は、一方のカメラの撮像素子と他方のカメラの撮像素子の、互いに最も近い辺同士が略平行になることと言い直してもよい。図1において、第1カメラ101の投影面m1と、第2カメラ102の投影面m2とが示されている。設置条件(1b)を満たすように2つのカメラを設置するには、投影面m1の辺のうち投影面m2に最も近い辺e1と、投影面m2の辺のうち投影面m1に最も近い辺e2とが略平行にすればよい。設置条件(1a)、(1b)を満たすように設置することで、もし第1画像と第2画像に映った人物invが同一人物だった場合、図2に示したように、距離x1と距離x2とが一致する。
設置条件(1a)及び(1b)を満たすようにカメラが設置されると、第1画像及び第2画像には、例えば、図2で示したように互いのカメラの投影面の上部や下部、左部、右部のうちいずれかの中央領域に互いのカメラの筐体が映る。この状況を実現する簡略な方法は、例えば、一方のカメラから特定の幾何学模様等のパターンを照射して、他方のカメラでそのパターンを撮影し、他方のカメラで撮影した画像を見ながらカメラの向きを調節する方法である。具体的には、そのパターンは、白黒の正方形の繰り返しパターンで作られた矩形の格子状パターン等である。まず、第1カメラ101は、天井から床面に向かって矩形が保たれ(台形にならないように)、かつ、第2カメラ102が設置された壁面と格子状パターンの一辺が平行になるように照射した格子状パターンを、天井から撮影する。ユーザ(例えば、カメラを設置する人)は、撮影された格子状パターンが、台形に映っていないかどうかを確認しながら、第1カメラ101の向きを調節する。ユーザは、例えば、第1カメラ101の長手方向をx軸とし、短手方向をy軸とすると、まずx軸周り、y軸周りの回転を行うことで、格子状パターンが矩形に撮影されるように調節し、その後光軸a1(z軸)周りの回転を行うことで、投影面の下部中央に第2カメラ102が撮影されるように調節する。このように設置することで、第1カメラ101の光軸a1は、鉛直下向きとなる。また、第1カメラ101の投影面の一辺は、第2カメラ102が設置された壁面と平行となる。
次に、ユーザは、第1カメラ101で撮影した格子状パターンを、壁面から第2カメラ102で撮影する。第2カメラ102で撮影された格子状パターンは、台形に映る。ユーザは、台形として撮影された格子状パターンの左右の歪みが略同じ(左右の高さが略同じ)になるように、第2カメラ102の向きを調整する。ユーザは、第2カメラ102が設置されている壁面とは反対側の壁面に向かって矩形が保たれるように照射した格子状パターンを、第2カメラ102で撮影する。この時、ユーザは、例えば、第2カメラ102の長手方向をx軸とし、短手方向をy軸とすると、x軸周り、y軸周りの回転を行うことで、左右の歪みが略同じにする。その後、ユーザは、第2カメラ102の光軸a2周りの回転を行うことで、投影面の上部中央に第1カメラ101が撮影されるように調節する。このように設置することで、互いのカメラの投影面の上部や下部、左部、右部のうちいずれかの中央領域に、互いのカメラの筐体が映る状況が実現する。その結果として、第2カメラ102の投影面の一辺は、床面に対して平行となる。また、第1カメラ101の投影面と、第2カメラ102の投影面との互いに最も近い辺同士は平行となる。さらに、第1カメラ101の光軸a1と、第2カメラ102の光軸a2とは交差する。従って、第1カメラ101と、第2カメラ102とは、設置条件(1a)及び(1b)を満たすように設置される。なお、本実施形態において、話を簡略化するため、光軸a1と光軸a2は直行しているが、これに限られるわけではない。
なお、本実施形態において、照射する格子状パターンは矩形であったが、これに限られるわけではない。照射する格子状パターンは、例えば、台形であり、カメラの光軸から角度θだけ傾いた角度で床面や壁面に照射し、照射された格子状パターンが矩形に映るようにしてもよい。また、格子状パターンの形状は、照射される壁面や床面の凹凸に影響を受けるが、格子状パターンの形状が略矩形であれば特に問題はない。
以下、第1カメラ101及び第2カメラ102が、設置条件(1a)及び(1b)を満たすように設置されていることを前提に、位置検出装置2の構成と動作について説明する。
図3は、第1の実施形態における位置検出装置2の構成を示す概略ブロック図である。位置検出装置2は、例えば、画像取得部21、カメラ位置情報受付部22、カメラ位置情報記憶部23、人物情報検出部24、動作検出部25、行動判定部26、制御部27、及び情報記憶部28を含む。また、位置検出装置2は、第1機器31〜第n機器3nとLAN(Local Area Network)等によって通信可能に接続されている。以下、第1機器31〜第n機器3nを総称して機器1と書くことにする。
図3は、第1の実施形態における位置検出装置2の構成を示す概略ブロック図である。位置検出装置2は、例えば、画像取得部21、カメラ位置情報受付部22、カメラ位置情報記憶部23、人物情報検出部24、動作検出部25、行動判定部26、制御部27、及び情報記憶部28を含む。また、位置検出装置2は、第1機器31〜第n機器3nとLAN(Local Area Network)等によって通信可能に接続されている。以下、第1機器31〜第n機器3nを総称して機器1と書くことにする。
画像取得部21は、例えば、画像取得部21に接続されている第1カメラ101、第2カメラ102から画像を取得する。画像取得部21は、第1カメラ101から第1画像を取得し、第2カメラ102から第2画像を取得するが、これらに限られず、第3カメラ、第4カメラ等が接続され、それらからも画像を取得してよい。画像取得部21は、撮影したカメラのカメラIDと、撮影時刻とに対応付けた第1画像、第2画像を、撮影時刻順に人物情報検出部24に出力する。また、画像取得部21は、撮影したカメラのカメラIDと、撮影時刻とに対応付けた第1画像、第2画像を、撮影時刻順に画像記憶部29に記憶させる。画像記憶部29は、例えば、HDD(Hard Disk Drive)やSSD(Solid State Drive)等の記憶媒体である。
カメラ位置情報受付部22は、ユーザからの入力操作により、カメラ位置情報を受け付け、受け付けたカメラ位置情報をカメラ位置情報記憶部23に記憶させる。カメラ位置情報は、位置検出装置2に接続されたカメラを識別するカメラID、カメラIDが示すカメラから撮影したいポイントまでの距離(以下、撮影距離という)を示す情報が対応付けられた情報等である。カメラ位置情報は、前述したピクセル数の違いがある場合、その違いを補正するために利用する情報である。カメラ位置情報記憶部23は、RAM(Random Access Memory)やレジスタ等の一時的な記憶媒体である。
人物情報検出部24は、第1画像、第2画像を、画像取得部21から取得する。その後、人物情報検出部24は、カメラ位置情報を、カメラ位置情報記憶部23から取得する。人物情報検出部24は、例えば、撮影時刻順に取得した第1画像、第2画像からそれぞれ、人の顔を表す領域(以下、顔領域という)を検出する。本実施形態において、顔領域は、予め設定した人の顔の色彩を表す色信号値の範囲に含まれる色信号値を持つ画素として、第1画像、第2画像のそれぞれから検出される。顔領域は、例えば、第1画像、第2画像のそれぞれから、Haar−Like特徴量を算出し、算出したHaar−Like特徴量に基づいて、Adaboostアルゴリズム等の予め決められた処理を行うことで検出してもよい。
ここで、第1画像、第2画像の両方から顔領域が検出できた場合、人物情報検出部24は、第1画像、第2画像からそれぞれ検出された顔領域の代表点を抽出し、抽出した代表点の二次元座標を検出する。代表点は、例えば、重心である。以下、第1画像から得られた顔領域の代表点の二次元座標を、第1の二次元座標と呼ぶ。また、第2画像から得られた顔領域の代表点の二次元座標を、第2の二次元座標と呼ぶ。
人物情報検出部24は、検出した第1の二次元座標、第2の二次元座標に基づいて、顔対応付処理を行い、第1画像と第2画像とに映る人物の対応付けを行い、その人物の三次元位置座標を算出する。この時、人物情報検出部24は、必要に応じて、カメラ位置情報を用いて、三次元位置座標を算出する。また、第1画像、第2画像のうちいずれか片方からしか顔領域を検出できなかった場合、あるいは、両方ともに検出できなかった場合、人物不検出を示す情報を、人物情報として動作検出部25に出力する。なお、人物情報検出部24は、代表点の二次元座標を検出する代わりに、顔領域の上端、下端、左端、右端の二次元座標を表す二次元顔領域情報等を検出してもよい。
人物情報検出部24は、三次元位置座標を算出すると、算出された三次元位置座標に対応付けられた人物を識別する人物IDと、人物IDに対応した人物の顔を表す情報とを人物情報として動作検出部25に出力する。また、人物情報検出部24は、人物情報に対応する第1画像を、人物情報とともに動作検出部25に出力する。
動作検出部25は、人物情報と、人物情報に対応する第1画像とを取得する。動作検出部25は、例えば、撮影時刻の異なる複数のフレーム画像を保持し、現在の第1画像と直前の第1画像との間の輝度変化を検出することで、輝度変化が所定の閾値(a)を超えた領域を、動いた領域(以下、動領域という)として検出する。なお、本実施形態において、動領域は輝度変化を用いて検出したが、これに限られず、人物情報検出部24のように第1画像から人物の顔を検出し、検出した顔と、撮影時刻の異なる複数のフレーム画像とに基づいて動領域を検出してもよい。ただし、第1画像は天井から床面に向かって撮影された画像のため、常に顔を検出できるとは限らないので、輝度変化を利用する方が同領域を検出することに関して好適である。
動作検出部25は、検出した動領域の重心の位置を示す座標である動領域座標を検出する。動作検出部25は、検出された撮影時刻毎の動領域座標に基づいて、動領域の重心の移動量を算出する。移動量は、例えば、移動した距離等である。動作検出部25は、移動量を算出すると、算出した移動量、撮影時刻毎の座標、撮影時刻毎の移動の向き等を表す移動ベクトルを、追跡情報として生成する。動作検出部25は、追跡情報の撮影時刻毎の座標と、人物情報の三次元位置座標のx座標及びy座標とを照合し、追跡情報と人物IDとを対応付ける。その後、動作検出部25は、人物情報と、追跡情報とを、行動判定部26、制御部27に出力する。なお、動作検出部25は、動領域が検出されない場合、追跡不可能であることを示す情報を、追跡情報として制御部27に出力する。
行動判定部26は、取得した人物情報に基づいて、入室者の行動を判定(以下、行動判定という)する。具体的には、行動判定部26は、人物情報に含まれている三次元位置座標のz座標が、所定の閾値(b)を超えたか否かによって、三次元位置座標に対応付けられた人物IDが示す人物が立っている状態か、寝ている状態かを判定する。なお、行動判定部26は、2つの所定の閾値(b)を設定し、第1の所定の閾値(b)を超えると屈んでいる状態、第2の所定の閾値(c)を超えると寝ている状態であると判定してもよいし、第3の所定の閾値(d)未満になった時はジャンプしたと判定してもよい。
行動判定部26は、人物情報による行動判定の結果と、取得した追跡情報とに基づいて、両者に共通する人物の行動を検出する。行動判定部26は、例えば、立って動いていた人物が突然寝てしまい、しばらく動かない場合、「倒れた」という行動を検出する。行動判定部26は、検出された行動を、人物IDと対応付けた行動情報として制御部27に出力する。なお、行動情報は、人物の「倒れた」という行動に限らず、「寝ていた人物が起きた」、「屈んだまま動いた(不審な行動)」、「ジャンプした」等でもよい。
情報記憶部28は、HDDや、SSD等の記憶媒体である。情報記憶部28は、ユーザから予め登録された、登録人物情報、登録行動情報を記憶する。登録人物情報は、例えば、入室が許可されている人物の顔を認証するための情報である。登録行動情報は、例えば、所定の行動を表す情報と、位置検出装置2に接続された機器と、機器が行うべき動作を示す情報とを対応付けた情報である。
制御部27は、動作検出部25から、人物情報、追跡情報を取得し、行動判定部26から、行動情報を取得すると、情報記憶部28から、登録人物情報、登録行動情報を取得する。制御部27は、例えば、行動情報と、取得した登録行動情報とを比較することで、室内で検出されている人物が、所定の行動を行ったか否かを判定する。制御部27は、室内で検出されている人物が、所定の行動を行っていた場合、登録行動情報の所定の行動に対応付けられた機器1に対して、機器が行うべき動作を示す情報に基づいて、所定の動作を実行させる。制御部27は、例えば、所定の行動が「ジャンプ」で、所定の機器が「テレビジョン受像機」で、所定の動作が「電源をOFFにする」だった場合、室内で検出されている人物が、ジャンプしたとき、位置検出装置2に接続されているテレビジョン受像機の電源をOFFにする。また、制御部27は、必要に応じて、画像記憶部29から、撮影された画像を取得する。制御部27は、例えば、テレビジョン受像機やノートPC(Personal Computer)、タブレットPC、ネットワーク機能付きの電子ブックリーダー等に、撮影された画像を出力して表示させる。
なお、制御部27は、例えば、人物情報の人物IDに対応した人物の顔を表す情報と、取得した登録人物情報とを比較することで、第1カメラ101、第2カメラ102に撮影された人物が、撮影が行われている室内に入室を許可されていたか否かを判定してもよい。この場合、制御部27は、検出されている人物が、入室を許可されていない人物だと判定された場合、第1機器31〜第n機器33までの機器のうち、警備会社や警察へ通報を行う機器に、通報させる。また、制御部27は、追跡情報が追跡不可能であることを示す情報であった場合、動作検出部25を待機させ、人物情報検出部24に、人物情報の生成を継続させる。
図4は、位置検出装置2の動作を説明するシーケンス図の一例である。まず、画像取得部21は、第1画像及び第2画像を取得する(ST100)。次に画像取得部21は、第1画像及び第2画像を人物情報検出部24に出力する(ST101)。次に、人物情報検出部24は、第1画像及び第2画像に基づいて、人物情報を生成する(ST102)。次に、人物情報検出部24は、人物情報を動作検出部25に出力する(ST103)。次に、動作検出部25は、人物情報及び第1画像に基づいて、追跡情報を生成する(ST104)。次に、動作検出部25は、人物情報及び追跡情報を、行動判定部26と制御部27とに出力する(ST105)。次に、行動判定部26は、人物情報及び追跡情報に基づいて、行動情報を生成する(ST106)。次に、行動判定部26は、行動情報を、制御部27に出力する(ST107)。
次に、制御部27は、登録人物情報と、登録行動情報を取得する(ST108)。次に、制御部27は、登録人物情報と、人物情報とに基づいて、検出された人物が入室を許可された人物だったか否かを判定する(ST109)。制御部27は、入室を許可された人物ではなかったとき(ST109−No)、ST110に遷移する。制御部27は、入室を許可された人物だったとき(ST109−Yes)、ST111に遷移する。
ST109で、入室を許可された人物ではなかったとき、制御部27は、警備会社や警察に通報する機器を操作して通報する(ST110)。ST109で、入室を許可された人物だったとき、制御部27は、行動情報が所定の行動を示しているか否かを判定する(ST111)。制御部27は、行動情報が所定の行動を示していたとき(ST111−Yes)、ST112に遷移する。制御部27は、行動情報が所定の行動を示していなかったとき(ST111−No)、処理を終了する。ST111で、行動情報が所定の行動を示していたとき、制御部27は、対応する機器に所定の操作を実行する(ST112)。
このように、第1の実施形態における位置検出装置2は、設置条件(1a)、(1b)を満たすように第1カメラ101、第2カメラ102を設置することで、二次元画像である第1画像及び第2画像から、近似的に平行投影された人物の三次元位置座標を検出することができる。また、位置検出装置2は、人物がどのように動いたかを表す追跡情報を生成し、人物情報と、追跡情報とに基づいて、人物がどのような行動を取ったのかを表す行動情報を生成する。
位置検出装置2は、行動情報に基づいて、室内に居る人物の行動を把握することができ、更に、所定の機器に対して行動情報に対応した動作を実行させることができる。また、設置条件(1a)、(1b)を満たすように設置することで、これらの効果が得られるので、第1カメラ101、第2カメラ102の設置は、特殊な技能を持った人物ではなくても平易に行うことが可能である。なお、人物情報検出部24は、人物の顔の向きや表情を検出し、行動判定部26は、それらに基づいて、より細かく人物の行動を判定するとしてもよい。
[第1の実施形態の変形例]
以下、第1の実施形態の変形例について説明する。構成については、図1、図3を援用し、同じ機能部に対して同一の符号を付して説明する。第1の実施形態の変形例では、第1カメラ101及び第2カメラ102は、被写体が近似的に平行投影となるように設置されている必要はない。
第1の実施形態の変形例の人物情報検出部24は、第1画像及び第2画像から、人物invの顔の重心を示す座標を検出する代わりに、つま先の座標を検出し、検出したつま先の座標に基づいて、第1画像に映った人物invと第2画像に映った人物invの対応付けを行う。以下、図5、図6、図7を参照して、人物情報検出部24が、人物invの対応付けを行う方法を説明する。
以下、第1の実施形態の変形例について説明する。構成については、図1、図3を援用し、同じ機能部に対して同一の符号を付して説明する。第1の実施形態の変形例では、第1カメラ101及び第2カメラ102は、被写体が近似的に平行投影となるように設置されている必要はない。
第1の実施形態の変形例の人物情報検出部24は、第1画像及び第2画像から、人物invの顔の重心を示す座標を検出する代わりに、つま先の座標を検出し、検出したつま先の座標に基づいて、第1画像に映った人物invと第2画像に映った人物invの対応付けを行う。以下、図5、図6、図7を参照して、人物情報検出部24が、人物invの対応付けを行う方法を説明する。
図5は、室内rmを天井から見たときの平行投影図である。この図は、あくまでも現実の三次元空間における室内を表しているので、第1カメラ101や第2カメラ102で撮影した画像ではない。点fpを、人物invのつま先を代表する点であるとする。第2カメラ102の中心を原点oとし、原点oから交点v1、交点v2にそれぞれ伸びた実線は、第2カメラ102の画角の範囲を表しており、画角をθとする。交点v1と交点v2を通る破線を考え、図中の長さA、長さB、長さC、長さLを定義する。ここで、長さの単位は、例えば、メートルである。交点v1と交点v2を結んだ線分は、第2カメラ102によって第2画像として撮影される投影面を表す。線分o−v1と線分o−v2の長さをrとし、点fpの座標を(L,H)とする。また、室内rmの床面の幅をωとする。
ここで、人物情報検出部24は、図5で示した状況を、第1カメラ101及び第2カメラ102によって撮影し、第1画像及び第2画像に映る点fpのx座標を対応付けることによって、第1画像に映る点fpと第2画像に映る点fpが、同一人物の点fpであると対応付けることができる。この対応付けを行うため、人物情報検出部24は、長さAと長さBの比を、第1画像及び第2画像から取得される各座標に基づいて算出する。長さAと長さBの比は、点fpが、第2画像を表す投影面におけるx軸方向のどこに映るかを表す。何故なら、投影面上における点fpは、必ずこの比を保つ場所に映るからである。従って、長さAと長さBの比を算出することができ、さらに、第1画像中の点fpの座標を検出することができれば、算出した長さの比と、検出した座標に基づいて、第1画像の点fpと第2画像の点fpを対応付けることができる。
図6は、第1の実施形態の変形例における第1カメラ101によって図5の室内rmを撮影した第1画像の一例である。第1の実施形態の第1画像と異なり、第1の実施形態の変形例における第1画像では、被写体が透視投影されている。被写体が透視投影されていると、平行投影されていれば変化しない画像中の座標(以下、画像内座標という)が、カメラと被写体の距離が変化した場合(例えば、人物が立ったり座ったりした場合)にカメラの画角に応じて変化してしまう。しかし、人物invのつま先を表す点fpの画像内座標を検出する場合、点fpが床面から大きく離れることはないので、カメラと被写体の距離の変化は、ある誤差の範囲内で無視できる。ある誤差の範囲は、例えば、画像内座標値に対してプラスマイナス10%である。
ここで、第1の実施形態の変形例では、例えば、第2カメラ102の中心の真下に、第1画像の画像内座標軸の原点となる印sを設置する。印sを原点として、点fpの画像内座標を、(L’,H’)と表す。第1画像に映る床面の幅をω’とする。なお、印sは、最初の一回だけ位置検出装置2に認識させてもよいし、撮影中ずっと設置していてもよい。人物情報検出部24は、画像内座標(L’,H’)と幅ω’を検出する。人物情報検出部24は、検出した画像内座標(L’,H’)と幅ω’、カメラ毎に決まっている画角θ、幅ω’に対応する実際の室内rmの床面の幅ωに基づいて、以下のように長さAと長さBの比を算出する。なお、画角θ及び幅ω’は、ユーザにより予め登録されているとしてもよいし、ユーザが記憶部に登録したものを読み込むとしてもよい。また、幅ω’や画像内座標(L’,H’)の単位は、例えば、ピクセルである。
まず、人物情報検出部24は、幅ωと幅ω’の比によって、現実世界と画像内との縮尺比を算出する。人物情報検出部24は、算出した縮尺比を図6の画像内座標(L’,H’)の座標値にそれぞれ乗算し、図5の長さL及び長さHを以下の式から算出する。
L=ω/ω’×L’・・・(1)
H=ω/ω’×H’・・・(2)
L=ω/ω’×L’・・・(1)
H=ω/ω’×H’・・・(2)
次に、人物情報検出部24は、画角θと三角関数、長さHに基づいて、図5に示す長さCを以下の式から算出する。
C=Htan(θ/2)・・・(3)
C=Htan(θ/2)・・・(3)
次に、人物情報検出部24は、長さCと長さLに基づいて、長さA及び長さBを以下の式から算出する。
A=C−L・・・(4)
B=C+L・・・(5)
A=C−L・・・(4)
B=C+L・・・(5)
人物情報検出部24は、式(4)及び式(5)によって算出した長さAと長さBの比を算出する。人物情報検出部24は、算出した長さAと長さBの比に基づいて、第1画像から検出された点fpと第2画像から検出された点fpが対応付くか否かを判定する。この判定に関して、図7を参照して説明する。図7は、第1の実施形態の変形例における第2カメラ102によって図5の室内rmを撮影した第2画像の一例である。第1の実施形態の第2画像と異なり、第1の実施形態の変形例における第2画像では、被写体が透視投影されている。
図7に示すように、第2画像には第1カメラ101が画像中央上部に映っている。第2画像の両端、すなわち、第2カメラ102で撮影した投影面の両端から点fpまでの距離をそれぞれ長さA’、長さB’とする。もし第1画像に映った点fpと、第2画像に映った点fpが同一人物のつま先だった場合、長さA’と長さB’の比は、長さAと長さBとの比に一致する(つまり、A’:B’=A:B)。人物情報検出部24は、これらの比に基づいて、第1画像及び第2画像に映った点fpが同一人物のものか否かを判定し、判定結果に基づいて点fpを対応付ける。
このように、第1の実施形態の変形例における人物情報検出部24は、人物invのつま先を示す点fpを検出し、検出されたfpの位置に基づいて、第1画像に映った人物invと、第2画像に映った人物invが同一人物か否かを判定し、判定結果に基づいて人物情報を生成することができる。従って、第1の実施形態の変形例は、第1の実施形態と同様の効果を得ることができる。
[第1の実施形態の変形例2]
以下、第1の実施形態の変形例2について説明する。構成については、図1、図3を援用し、同じ機能部に対しては同一の符号を付して説明する。第1の実施形態の変形例におけるカメラの設置条件は、第1の実施形態から設置条件(1a)を省略したものであり、以下で説明する設置条件(1b)及び(1c)である。設置条件(1b)は、第1の実施形態と同じ内容であるため、詳細な説明は省略する。設置条件(1c)は、互いのカメラの投影面の上部や下部、左部、右部のうちいずれかの中央領域に互いのカメラの筐体が映ることである。設置条件(1b)及び(1c)を満たすカメラの設置方法は、例えば、第1の実施形態での格子状パターンを使った方法と同じであるため、詳細な説明は省略する。なお、設置条件(1b)及び(1c)を満たすカメラの設置方法は、格子状パターンを使った方法に限られない。例えば、ユーザは、以下のように設置を行ってもよい。
以下、第1の実施形態の変形例2について説明する。構成については、図1、図3を援用し、同じ機能部に対しては同一の符号を付して説明する。第1の実施形態の変形例におけるカメラの設置条件は、第1の実施形態から設置条件(1a)を省略したものであり、以下で説明する設置条件(1b)及び(1c)である。設置条件(1b)は、第1の実施形態と同じ内容であるため、詳細な説明は省略する。設置条件(1c)は、互いのカメラの投影面の上部や下部、左部、右部のうちいずれかの中央領域に互いのカメラの筐体が映ることである。設置条件(1b)及び(1c)を満たすカメラの設置方法は、例えば、第1の実施形態での格子状パターンを使った方法と同じであるため、詳細な説明は省略する。なお、設置条件(1b)及び(1c)を満たすカメラの設置方法は、格子状パターンを使った方法に限られない。例えば、ユーザは、以下のように設置を行ってもよい。
ユーザは、第1カメラから紐を吊るし、第2カメラ102が第1カメラ101の投影面の一辺の略中央領域に映るように調整する。その後、ユーザは、第2カメラ102から第1カメラ101を撮影し、第2カメラ102の投影面の一辺と、投影面上の紐が平行に映り、かつ、第1カメラ101が第2カメラ102の投影面の一辺の略中央領域に映るように調整する。これらの調整によって、第1カメラ101及び第2カメラ102は、設置条件(1b)及び(1c)を満たして設置されることになる。
これによって、第1の実施形態の変形例2における位置検出装置2は、二次元画像である第1画像及び第2画像から、近似的に平行投影された人物の三次元位置座標を検出することができる。また、位置検出装置2は、人物がどのように動いたかを表す追跡情報を生成し、人物情報と、追跡情報とに基づいて、人物がどのような行動を取ったのかを表す行動情報を生成する。
これによって、第1の実施形態の変形例2における位置検出装置2は、二次元画像である第1画像及び第2画像から、近似的に平行投影された人物の三次元位置座標を検出することができる。また、位置検出装置2は、人物がどのように動いたかを表す追跡情報を生成し、人物情報と、追跡情報とに基づいて、人物がどのような行動を取ったのかを表す行動情報を生成する。
位置検出装置2は、行動情報に基づいて、室内に居る人物の行動を把握することができ、更に、所定の機器に対して行動情報に対応した動作を実行させることができる。また、設置条件(1b)、(1c)を満たすように設置することで、これらの効果が得られるので、第1カメラ101、第2カメラ102の設置は、特殊な技能を持った人物ではなくても平易に行うことが可能である。
[第2の実施形態]
以下、第2の実施形態について説明する。図8は、第2の実施形態における位置検出装置2の利用状況を示す外観図である。構成については、図1、図3を援用し、同じ機能部に対して同一の符号を付して説明する。第2の実施形態のおける位置検出装置2は、第1カメラ101、第2カメラ102、第3カメラ103と接続されており、第1カメラ101、第2カメラ102、第3カメラ103から撮影された画像に基づいて、室内rmへ入室した人物invを検出し、人物invの3次元位置座標を検出する。
以下、第2の実施形態について説明する。図8は、第2の実施形態における位置検出装置2の利用状況を示す外観図である。構成については、図1、図3を援用し、同じ機能部に対して同一の符号を付して説明する。第2の実施形態のおける位置検出装置2は、第1カメラ101、第2カメラ102、第3カメラ103と接続されており、第1カメラ101、第2カメラ102、第3カメラ103から撮影された画像に基づいて、室内rmへ入室した人物invを検出し、人物invの3次元位置座標を検出する。
第3カメラ103は、例えば、CCD素子やCMOS素子等の、集光された光を電気信号に変換する撮像素子を備えたカメラである。第1カメラ101は、例えば、室内rmの天井に設置され、第2カメラ102は、室内rmの壁面に設置されている。第3カメラ103は、第2カメラ102が設置された壁面の対面に位置する壁面の上部に設置されている。図8のように、光軸a1と、光軸a2とは、交わっており、光軸a1と、光軸a3とは、交わっている。従って、第3カメラ103は、第3カメラ103が設置された壁面の上部から、第2カメラ102が設置された壁面の下部を見下ろすように撮影する。
なお、本実施形態において、話を簡略化するため、光軸a1と光軸a2は直交しているが、これに限られるわけではない。また、第2カメラ102と、第3カメラ103とは、互いに向き合っているので、それぞれが映すことが困難な領域(例えば、オクルージョン領域)を補完し合える。また、図が煩雑になるため、図8中からは省略しているが、第1カメラ101、第2カメラ102、及び第3カメラ103は、位置検出装置2にHDMI(登録商標)ケーブル等によって接続されているものとする。位置検出装置2は、例えば、室内に設置されていてもよいし、別の部屋に設置されてもよい。本実施形態では、位置検出装置2は、別の部屋に設置されているものとする。投影面m3は、第3カメラ103の投影面である。e13は、投影面m1の投影面m3に最も近い辺である。e12は、投影面m1の投影面m2に最も近い辺である。従って、第1カメラ101と第2カメラ102は、設置条件(1a)、(1b)を満たしており、さらに、第1カメラ101と第3カメラ103も、設置条件(1a)、(1b)を満たしている。
図9は、第2の実施形態における位置検出装置2の構成を示す概略ブロック図の一例である。位置検出装置2は、例えば、画像取得部21、カメラ位置情報受付部22a、カメラ位置情報記憶部23、人物情報検出部24a、動作検出部25a、行動判定部26、制御部27、及び情報記憶部28を含む。また、位置検出装置2は、機器1〜機器nとLAN(Local Area Network)等によって通信可能に接続されている。同図において、図3及び図8の各部に対応する部分には同一の符号(101〜103、21、23、25〜29、31〜33)を付け、その説明を省略する。
カメラ位置情報受付部22aは、ユーザからの入力操作により、カメラ位置情報を受け付け、受け付けたカメラ位置情報をカメラ位置情報記憶部23に記憶させる。第2の実施形態のカメラ位置情報は、位置検出装置2に接続されたカメラを識別するカメラIDと、カメラIDが示すカメラから撮影したいポイントまでの距離を示す情報が対応付けられた情報と、カメラの光軸と床面とが成す角度を表す情報とが対応付けられた情報である。
人物情報検出部24aは、画像取得部21から、カメラIDと、撮影時刻とに対応付けられた第1画像、第2画像、第3画像を取得する。その後、人物情報検出部24aは、カメラ位置情報記憶部23aから、カメラ位置情報を取得する。人物情報検出部24aは、例えば、取得した撮影時刻毎の第1画像、第2画像、第3画像のそれぞれから、人の顔を表す領域を検出する。ここで、人物情報検出部24aは、第1画像から顔領域が検出できたか否かを判定する。第1画像から顔領域が検出できなかった場合、人物不検出を示す情報を、人物情報として生成する。人物情報検出部24aは、第1画像から顔領域が検出できた場合、第2画像、第3画像のいずれかから顔領域が検出できれば、三次元位置座標を検出し、人物情報を生成する。人物情報検出部24aは、第1画像から顔領域が検出できた場合でも、第2画像、第3画像のいずれからも顔領域が検出できなければ、人物不検出を示す情報を人物情報として生成する。
なお、第1画像と、第3画像とから顔対応付処理を行う場合、カメラ位置情報に包含される第3カメラ103の光軸a3と床との成す角度と、三角関数等とに基づいて、三次元位置座標のz座標を算出する。人物情報検出部24aは、三次元位置座標を検出すると、三次元位置座標と、三次元位置座標を識別する人物IDと、人物IDに対応した人物の顔を表す情報とを人物情報として動作検出部25に出力する。また、人物情報検出部24aは、人物情報に対応する第1画像を、動作検出部25に出力する。
このように、第2の実施形態における位置検出装置2は、設置条件(1a)、(1b)を満たすように第1カメラ101、第2カメラ102、第3カメラ103を設置することで、二次元画像である第1画像、第2画像、第3画像から、三次元位置座標を検出することができ、第1の実施形態と同じ効果を得ることができる。また、第2の実施形態における位置検出装置2は、三次元位置座標のz座標を検出する際、第2カメラ102、第3カメラ103のいずれかから人物の顔領域を検出できればよいので、第1の実施形態の位置検出装置2よりも、オクルージョン領域によって人物が検出されなくなる可能性が低い。
なお、第2の実施形態における人物情報検出部24aは、第1画像から顔領域が検出されなかった場合、人物が不検出であると判定しているが、これに限られるわけではない。人物情報検出部24aは、例えば、第1画像から顔領域が検出されなかった場合、第3画像と、カメラ位置情報と、三角関数とに基づいて、第1画像から検出される三次元位置座標のx座標及びy座標を算出するとしてもよい。
[第3の実施形態]
以下、第3の実施形態について説明する。図10は、第3の実施形態における位置検出装置2に接続された第1カメラ101、第2カメラ102の利用状況を示す外観図である。構成については、図1を援用し、同じ機能部に対して同一の符号を付して説明する。第3の実施形態のおける位置検出装置2は、第1カメラ101、第2カメラ102と接続されており、第1カメラ101、第2カメラ102から撮影された画像に基づいて、室内rmへ入室した人物invを検出し、人物invの三次元位置座標を検出する。また、第3の実施形態における第1カメラ101の光軸a102と、第2カメラ102の光軸a2とが床面と成す角度は、0〜90度の間の角度である。
以下、第3の実施形態について説明する。図10は、第3の実施形態における位置検出装置2に接続された第1カメラ101、第2カメラ102の利用状況を示す外観図である。構成については、図1を援用し、同じ機能部に対して同一の符号を付して説明する。第3の実施形態のおける位置検出装置2は、第1カメラ101、第2カメラ102と接続されており、第1カメラ101、第2カメラ102から撮影された画像に基づいて、室内rmへ入室した人物invを検出し、人物invの三次元位置座標を検出する。また、第3の実施形態における第1カメラ101の光軸a102と、第2カメラ102の光軸a2とが床面と成す角度は、0〜90度の間の角度である。
具体的には、第1カメラ101は、第2カメラ102と対面するように設置されており、第1カメラ101が設置された壁面側上部から、第2カメラ102が設置された壁面側下部を見下ろすように設置されている。第2カメラ102は、第2カメラ102が設置された壁面側上部から、第1カメラ101が設置された壁面側下部を見下ろすように設置されている。このように設置することによって、室内に入室した人物が、室内のどこに居ても、人物の全身を撮影できるので、上記第1、第2の実施形態のように、第1カメラ101に顔領域が検出されないことで、人物が居ないと判定されることを防ぐことができる。しかし、このような状況下では、第1カメラ101、第2カメラ102の間の距離と、各カメラの画角の広さによって、撮影されない領域(以下、撮影不可領域という)が生じる場合がある。
図11は、撮影不可領域について説明するための、第1カメラ101、第2カメラ102が設置された室内のイメージ図の一例である。太線fa1は、第1カメラ101の画角の範囲を表す線である。太線fa2は、第2カメラ102の画角の範囲を表す線である。図11(a)の場合、第1カメラ101の画角を表す線fa1と、第2カメラ102の画角を表す線fa2とが、室内の中で交差してしまうことで、撮影不可領域unsが生じている。
図12は、撮影不可領域unsを生じさせないための条件を説明するためのイメージ図の一例である。RAは、第1カメラ101の画角であり、RBは、第2カメラ102の画角である。また、第1カメラ101の光軸a101と天井(あるいは、床面と水平で第1カメラ101の中心を通る平面)の成す角度はθAで表され、第2カメラ102の光軸a2と天井(あるいは、床面と水平で第2カメラ102の中心を通る平面)の成す角度θBで表される。床面から第1カメラ101、第2カメラ102が設置された場所までの高さをHとする。画角を表す線fa1と画角を表す線fa2とが交差する点から、第1カメラ101までの床面に対して水平方向の距離をαとし、第2カメラ102までの床面に対して水平方向の距離をβとする。第1カメラ101と、第2カメラ102との間の水平方向の距離は、γで表されている。
図12は、撮影不可領域unsを生じさせないための条件を説明するためのイメージ図の一例である。RAは、第1カメラ101の画角であり、RBは、第2カメラ102の画角である。また、第1カメラ101の光軸a101と天井(あるいは、床面と水平で第1カメラ101の中心を通る平面)の成す角度はθAで表され、第2カメラ102の光軸a2と天井(あるいは、床面と水平で第2カメラ102の中心を通る平面)の成す角度θBで表される。床面から第1カメラ101、第2カメラ102が設置された場所までの高さをHとする。画角を表す線fa1と画角を表す線fa2とが交差する点から、第1カメラ101までの床面に対して水平方向の距離をαとし、第2カメラ102までの床面に対して水平方向の距離をβとする。第1カメラ101と、第2カメラ102との間の水平方向の距離は、γで表されている。
撮影不可領域unsが生じた場合、撮影不可領域unsに入り込んだ人物は撮影されないため、位置検出装置2は、室内rmに入室者が居ないと判定してしまう。図12では、第1カメラ101の画角を表す線fa1と、第2カメラ102の画角を表す線fa2とが、室外で交差しているため、撮影不可領域unsは生じていない。つまり、撮影不可領域unsが生じないための条件は、fa1とfa2が、室外で交差することである。これが実現するためには、第3の実施形態において、第1カメラ101と第2カメラ102との設置が、付加的な設置条件(c)を満たす必要がある。設置条件(c)は、以下の式(6)を満たすことである。
α+β≧γ ・・・(6)
α+β≧γ ・・・(6)
ここで、三角関数と、画角RA、RB、角度θA、θB、高さHを使うことで、α及びβを、以下の式(7)、(8)と表すことができる。
このように、設置条件(a)、(b)、(c)を満たすようにカメラを設置すれば、人物が向いている方向等に依らず、上記第1、第2実施形態と同様の効果を得ることができる。また、図3、図9における位置検出装置2を構成する各部の機能を実現するためのプログラムを、コンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより位置検出装置2の実施を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OS(Operation System)や周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
以上、この発明の実施形態を、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
以上、この発明の実施形態を、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。
(1)本発明の一態様は、第1のカメラによって撮影された第1の画像であって、第2のカメラが、縦方向又は横方向に関する略中央軸上に映された前記第1の画像と、前記第2のカメラによって撮影された第2の画像であって、前記第1のカメラが、縦方向又は横方向に関する略中央軸上に映された前記第2の画像とに基づいて、前記第1の画像に含まれる被写体と前記第2の画像に含まれる被写体とを同一の被写体として対応付ける対応付部と、前記対応付けられた被写体の三次元座標を検出する検出部と、を備えることを特徴とする位置検出装置である。
(2)また、本発明の他の態様は、前記第1のカメラは、前記第1のカメラの投影面の辺であって、前記第2のカメラの投影面に最も近い辺が、前記第2のカメラの投影面の辺であって、前記第1のカメラの投影面に最も近い辺と略平行になるように設置され、前記第2のカメラは、前記第2のカメラの投影面の辺であって、前記第1のカメラの投影面に最も近い辺が、前記第1のカメラの投影面の辺であって、前記第2のカメラの投影面に最も近い辺と略平行になるように設置されること、を特徴とする(1)に記載の位置検出装置である。
(3)また、本発明の他の態様は、前記対応付部は、所定の特徴形状を有する被写体同士を対応付ける、ことを特徴とする(1)又は(2)に記載の位置検出装置である。
(4)また、本発明の他の態様は、前記対応付部は、前記第1の画像に含まれる被写体の前記第1の画像における位置に基づき第1の座標を検出し、前記第2の画像に含まれる被写体の前記第2の画像における位置に基づき第2の座標を検出し、前記第1の座標と前記第2の座標とに基づいて、前記第1の画像から検出された被写体と前記第2の画像から検出された被写体とを、前記同一の被写体として対応付け、前記検出部は、前記同一の被写体の三次元座標を、前記第1の座標と前記第2の座標とに基づいて検出する、ことを特徴とする(1)から(3)のうちいずれか一項に記載の位置検出装置である。
(4)また、本発明の他の態様は、前記対応付部は、前記第1の画像に含まれる被写体の前記第1の画像における位置に基づき第1の座標を検出し、前記第2の画像に含まれる被写体の前記第2の画像における位置に基づき第2の座標を検出し、前記第1の座標と前記第2の座標とに基づいて、前記第1の画像から検出された被写体と前記第2の画像から検出された被写体とを、前記同一の被写体として対応付け、前記検出部は、前記同一の被写体の三次元座標を、前記第1の座標と前記第2の座標とに基づいて検出する、ことを特徴とする(1)から(3)のうちいずれか一項に記載の位置検出装置である。
(5)また、本発明の他の態様は、前記第1の座標は、前記第1のカメラが前記第2のカメラに映された画像の前記略中央軸に直交する方向の座標であり、前記第2の座標は、前記第2のカメラが前記第1のカメラに映された画像の前記略中央軸に直交する方向の座標であり、前記対応付部は、前記第1の座標と前記第2の座標とが一致した場合に前記第1の画像に含まれる被写体と前記第2の画像に含まれる被写体とを前記同一の被写体として対応付ける、ことを特徴とする(4)に記載の位置検出装置である。
(6)また、本発明の他の態様は、前記所定の特徴形状は、人物の顔、又は、人物のつま先である、ことを特徴とする(3)、又は(3)を引用する(4)又は(5)に記載の位置検出装置である。
(6)また、本発明の他の態様は、前記所定の特徴形状は、人物の顔、又は、人物のつま先である、ことを特徴とする(3)、又は(3)を引用する(4)又は(5)に記載の位置検出装置である。
(7)また、本発明の他の態様は、第1のカメラで撮影された第1の画像に、第2のカメラが、縦方向又は横方向に関する略中央軸上に映るように前記第1のカメラを設置し、前記第2のカメラで撮影された第1の画像に、前記第1のカメラが、縦方向又は横方向に関する略中央軸上に映るように前記第2のカメラを設置する、カメラ設置方法である。
(8)また、本発明の他の態様は、第1のカメラによって撮影された第1の画像であって、第2のカメラが、縦方向又は横方向に関する略中央軸上に映された前記第1の画像と、前記第2のカメラによって撮影された第2の画像であって、前記第1のカメラが、縦方向又は横方向に関する略中央軸上に映された前記第2の画像とに基づいて、前記第1の画像に含まれる被写体と前記第2の画像に含まれる被写体とを同一の被写体として対応付け、前記対応付けられた被写体の三次元座標を検出する、位置検出方法である。
(8)また、本発明の他の態様は、第1のカメラによって撮影された第1の画像であって、第2のカメラが、縦方向又は横方向に関する略中央軸上に映された前記第1の画像と、前記第2のカメラによって撮影された第2の画像であって、前記第1のカメラが、縦方向又は横方向に関する略中央軸上に映された前記第2の画像とに基づいて、前記第1の画像に含まれる被写体と前記第2の画像に含まれる被写体とを同一の被写体として対応付け、前記対応付けられた被写体の三次元座標を検出する、位置検出方法である。
(9)また、本発明の他の態様は、コンピュータに、第1のカメラによって撮影された第1の画像であって、第2のカメラが、縦方向又は横方向に関する略中央軸上に映された前記第1の画像と、前記第2のカメラによって撮影された第2の画像であって、前記第1のカメラが、縦方向又は横方向に関する略中央軸上に映された前記第2の画像とに基づいて、前記第1の画像に含まれる被写体と前記第2の画像に含まれる被写体とを同一の被写体として対応付けさせ、前記対応付けられた被写体の三次元座標を検出させる、位置検出プログラムである。
本発明は、撮影領域内の被写体の位置を検出する際に好適に用いられるが、これに限られない。
1・・・機器、2・・・位置検出装置、21・・・画像取得部、22、22a・・・カメラ位置情報受付部、23・・・カメラ位置情報記憶部、24、24a・・・人物情報検出部、25・・・動作検出部、26・・・行動判定部、27・・・制御部、28・・・情報記憶部、29・・・画像記憶部、31・・・第1機器、3n・・・第n機器、101・・・第1カメラ、102・・・第2カメラ、103・・・第3カメラ
Claims (5)
- 第1のカメラによって撮影された第1の画像であって、第2のカメラが、縦方向又は横方向に関する略中央軸上に映された前記第1の画像と、前記第2のカメラによって撮影された第2の画像であって、前記第1のカメラが、縦方向又は横方向に関する略中央軸上に映された前記第2の画像とに基づいて、前記第1の画像に含まれる被写体と前記第2の画像に含まれる被写体とを同一の被写体として対応付ける対応付部と、
前記対応付けられた被写体の三次元座標を検出する検出部と、
を備え、
前記第1の画像には、前記第1のカメラの投影面の上部、下部、左部、右部のうちいずれかの中央領域に、前記第2のカメラの筐体が映され、
前記第2の画像には、前記第2のカメラの投影面の上部、下部、左部、右部のうちいずれかの中央領域に、前記第1のカメラの筐体が映されること
を特徴とする位置検出装置。 - 前記第1のカメラは、前記第1のカメラの投影面の辺であって、前記第2のカメラの投影面に最も近い辺が、前記第2のカメラの投影面の辺であって、前記第1のカメラの投影面に最も近い辺と略平行になるように設置され、
前記第2のカメラは、前記第2のカメラの投影面の辺であって、前記第1のカメラの投影面に最も近い辺が、前記第1のカメラの投影面の辺であって、前記第2のカメラの投影面に最も近い辺と略平行になるように設置されること、
を特徴とする請求項1に記載の位置検出装置。 - 前記対応付部は、所定の特徴形状を有する被写体同士を対応付ける、
ことを特徴とする請求項1又は2に記載の位置検出装置。 - 前記対応付部は、前記第1の画像に含まれる被写体の前記第1の画像における位置に基づき第1の座標を検出し、前記第2の画像に含まれる被写体の前記第2の画像における位置に基づき第2の座標を検出し、前記第1の座標と前記第2の座標とに基づいて、前記第1の画像から検出された被写体と前記第2の画像から検出された被写体とを、前記同一の被写体として対応付け、
前記検出部は、前記同一の被写体の三次元座標を、前記第1の座標と前記第2の座標とに基づいて検出する、
ことを特徴とする請求項1から3のうちいずれか一項に記載の位置検出装置。 - 前記第1の座標は、前記第1のカメラが前記第2のカメラに映された画像の前記略中央軸に直交する方向の座標であり、
前記第2の座標は、前記第2のカメラが前記第1のカメラに映された画像の前記略中央軸に直交する方向の座標であり、
前記対応付部は、前記第1の座標と前記第2の座標とが一致した場合に前記第1の画像に含まれる被写体と前記第2の画像に含まれる被写体とを前記同一の被写体として対応付ける、
ことを特徴とする請求項4に記載の位置検出装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013137514 | 2013-06-28 | ||
JP2013137514 | 2013-06-28 | ||
PCT/JP2014/065442 WO2014208337A1 (ja) | 2013-06-28 | 2014-06-11 | 位置検出装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6073474B2 true JP6073474B2 (ja) | 2017-02-01 |
JPWO2014208337A1 JPWO2014208337A1 (ja) | 2017-02-23 |
Family
ID=52141681
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015523966A Expired - Fee Related JP6073474B2 (ja) | 2013-06-28 | 2014-06-11 | 位置検出装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20160156839A1 (ja) |
JP (1) | JP6073474B2 (ja) |
CN (1) | CN105340258A (ja) |
WO (1) | WO2014208337A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111034189B (zh) * | 2017-08-30 | 2021-03-26 | 三菱电机株式会社 | 拍摄对象追踪装置以及拍摄对象追踪方法 |
JP6878391B2 (ja) * | 2018-12-18 | 2021-05-26 | ファナック株式会社 | ロボットシステムとその調整方法 |
CN110332930B (zh) * | 2019-07-31 | 2021-09-17 | 小狗电器互联网科技(北京)股份有限公司 | 一种位置确定方法、装置及设备 |
CN115244360A (zh) * | 2020-03-25 | 2022-10-25 | 日本电气方案创新株式会社 | 计算方法 |
CN112771576A (zh) * | 2020-05-06 | 2021-05-07 | 深圳市大疆创新科技有限公司 | 位置信息获取方法、设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001167380A (ja) * | 1999-12-07 | 2001-06-22 | Toshiba Corp | 道路監視装置 |
JP2005140754A (ja) * | 2003-11-10 | 2005-06-02 | Konica Minolta Holdings Inc | 人物検知方法、監視システム、およびコンピュータプログラム |
JP2007272811A (ja) * | 2006-03-31 | 2007-10-18 | Toshiba Corp | 顔認証装置、顔認証方法および入退場管理装置 |
WO2008108458A1 (ja) * | 2007-03-07 | 2008-09-12 | Omron Corporation | 顔画像取得システム、顔照合システム、顔画像取得方法、顔照合方法、顔画像取得プログラムおよび顔照合プログラム |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1554193A (zh) * | 2001-07-25 | 2004-12-08 | �����J��ʷ����ɭ | 摄像机控制装置及方法 |
JP4568009B2 (ja) * | 2003-04-22 | 2010-10-27 | パナソニック株式会社 | カメラ連携による監視装置 |
CN101794444B (zh) * | 2010-01-28 | 2012-05-23 | 南京航空航天大学 | 坐标循环逼进式对偶型正交摄像机系统视频定位方法及系统 |
US9449233B2 (en) * | 2010-12-01 | 2016-09-20 | The Trustees Of The University Of Pennsylvania | Distributed target tracking using self localizing smart camera networks |
US9330468B2 (en) * | 2012-02-29 | 2016-05-03 | RetailNext, Inc. | Method and system for analyzing interactions |
-
2014
- 2014-06-11 WO PCT/JP2014/065442 patent/WO2014208337A1/ja active Application Filing
- 2014-06-11 CN CN201480036128.1A patent/CN105340258A/zh active Pending
- 2014-06-11 JP JP2015523966A patent/JP6073474B2/ja not_active Expired - Fee Related
- 2014-06-11 US US14/901,678 patent/US20160156839A1/en not_active Abandoned
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001167380A (ja) * | 1999-12-07 | 2001-06-22 | Toshiba Corp | 道路監視装置 |
JP2005140754A (ja) * | 2003-11-10 | 2005-06-02 | Konica Minolta Holdings Inc | 人物検知方法、監視システム、およびコンピュータプログラム |
JP2007272811A (ja) * | 2006-03-31 | 2007-10-18 | Toshiba Corp | 顔認証装置、顔認証方法および入退場管理装置 |
WO2008108458A1 (ja) * | 2007-03-07 | 2008-09-12 | Omron Corporation | 顔画像取得システム、顔照合システム、顔画像取得方法、顔照合方法、顔画像取得プログラムおよび顔照合プログラム |
Also Published As
Publication number | Publication date |
---|---|
US20160156839A1 (en) | 2016-06-02 |
CN105340258A (zh) | 2016-02-17 |
WO2014208337A1 (ja) | 2014-12-31 |
JPWO2014208337A1 (ja) | 2017-02-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6077655B2 (ja) | 撮影システム | |
JP6073474B2 (ja) | 位置検出装置 | |
CN107438173B (zh) | 视频处理装置、视频处理方法和存储介质 | |
JP2016100696A (ja) | 画像処理装置、画像処理方法、及び画像処理システム | |
TWI426775B (zh) | 攝影機再校正系統及其方法 | |
US20190370591A1 (en) | Camera and image processing method of camera | |
JP5525495B2 (ja) | 映像監視装置、映像監視方法およびプログラム | |
WO2012124230A1 (ja) | 撮影装置、撮影方法、及びプログラム | |
JP5771039B2 (ja) | 放置人物検出装置 | |
CN107862713A (zh) | 针对轮询会场的摄像机偏转实时检测预警方法及模块 | |
JP5693147B2 (ja) | 撮影妨害検知方法、妨害検知装置及び監視カメラシステム | |
JP6991045B2 (ja) | 画像処理装置、画像処理装置の制御方法 | |
CN109816628A (zh) | 人脸评价方法及相关产品 | |
WO2021248564A1 (zh) | 一种全景大数据应用监测管控系统 | |
JPWO2018167971A1 (ja) | 画像処理装置、制御方法及び制御プログラム | |
JP6367037B2 (ja) | 画像処理装置、画像処理プログラム、電子機器及び画像処理方法 | |
JP5960471B2 (ja) | 画像監視装置 | |
JP5132705B2 (ja) | 画像処理装置 | |
JP5960472B2 (ja) | 画像監視装置 | |
CN114040115B (zh) | 目标对象异常动作的捕获方法、装置、介质和电子设备 | |
CN111582243B (zh) | 逆流检测方法、装置、电子设备和存储介质 | |
TWI808336B (zh) | 影像顯示方法與影像監控系統 | |
JP2009129131A (ja) | 通過検出システム、および通過検出方法 | |
JP5960470B2 (ja) | 画像監視装置 | |
JP2017010555A (ja) | 画像処理方法及び画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161206 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170104 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6073474 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |