JP3643157B2 - ステレオ画像による物体の高さ測定方法 - Google Patents
ステレオ画像による物体の高さ測定方法 Download PDFInfo
- Publication number
- JP3643157B2 JP3643157B2 JP31039095A JP31039095A JP3643157B2 JP 3643157 B2 JP3643157 B2 JP 3643157B2 JP 31039095 A JP31039095 A JP 31039095A JP 31039095 A JP31039095 A JP 31039095A JP 3643157 B2 JP3643157 B2 JP 3643157B2
- Authority
- JP
- Japan
- Prior art keywords
- height
- image
- tangent
- distance
- screen
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は画像処理技術、特に空間内の特定の距離範囲にある物体の像を抽出して、その物体の高さを計測するステレオ画像による物体の高さ測定方法に関するものである。
【０００２】
【従来の技術】
通常、物体の高さを計測するに当たり、物体に直接メジャーを当てて計測したり、レーザ、赤外線等を物体に照射して計測している。しかしながら、前者の場合には、物体を直接触る必要があり、後者の場合には、レーザなどを物体に照射するために物体の一部が破壊される。また、土木建築関係では三角測量法が使用されているが、これは手作業が中心である。
【０００３】
自動的で、物体に接触することなく、かつ、物体の一部を破壊するおそれのない物体の高さ計測方法としてテレビジョン画像における計測がある。この場合、物体が占める画素数を算出し、１画素単位長を画素数倍して実測値に変換している。
【０００４】
【発明が解決しようとする課題】
しかしながら、このようなテレビジョン画像における計測では、物体が、奥行きのない平面であり、かつ、限定した位置に存在する場合しか計測できないという制約がある。奥行きのある物体の高さを計測するためにステレオビデオカメラを用いて計測する方法があるが、この場合には、ステレオ画像の対応点を求めてこれらを距離情報として変換するには、複雑かつ処理時間が長いという不都合がある。
【０００５】
本発明の目的は、簡単かつ処理時間が短いステレオ画像による物体の高さ測定方法を提供することである。
【０００６】
【課題を解決するための手段】
本発明によるステレオ画像による物体の高さ測定方法は、
空間内の物体の像を抽出し、この物体の像の画像情報を処理して物体の高さを計測するに当たり、
この物体の像を、前景及び背景を含めてステレオ撮像して第１及び第２の画像信号を得る画像信号形成工程と、
これら第１及び第２の画像信号からそれぞれエッジ画像信号を抽出して第１及び第２のエッジ画像信号を得るエッジ画像信号形成工程と、
これら第１及び第２のエッジ画像信号から、前記物体の互いに対応する点が一致するまでシフト量を求め、このシフト量に基づいて物体撮像位置から前記物体までの距離を演算により求める距離演算工程と、
画面上における仮想無限遠点での壁と床の境界線の画面上端からの距離を、床位置として設定する床位置設定工程と、
前記物体の像の頂点位置座標を求める頂点位置座標算出工程と、
前記物体撮像位置から前記仮想無限遠点までの距離及び撮像位置の高さから、前記仮想無限遠点から前記物体撮像位置への仰角を求める仰角演算工程と、
前記物体撮像位置から前記仮想無限遠点までの距離と前記物体撮像位置から前記物体までの距離との差の正接を、前記仰角を用いて求める正接演算工程と、
この正接を画面上の正接に変換する正接変換工程と、
前記頂点位置座標、前記床位置及び前記画面上の正接から画面上の前記物体の高さを算出する高さ算出工程と、
前記画面上の物体の高さを物体の実際の高さに変換する高さ変換工程とを具えることを特徴とするものである。
【０００７】
本発明によるステレオ画像による物体の高さ測定方法では、画像全体の距離情報を求めるのではなく、物体の像の頂点位置座標、床位置座標及び画面上の正接から画面上の物体の高さを算出し、この高さを物体の実際の高さに変換しているので、簡単かつ短い処理時間で物体の高さを計測することができる。
【０００８】
好適には、前記正接演算工程で仰角の正接を求めるに当たり、前記仰角にレンズ歪み補正係数を乗算したものを用いる。
【０００９】
このようにレンズ歪みを考慮することにより、特定物体が画面の左右端に存在する場合の物体の高さの計測誤差を減少できる。
【００１０】
さらに好適には、空間内の複数の物体の像を像ごとに抽出する。これにより、複数の物体の高さを一度の撮像で計測することができる。
【００１１】
【発明の実施の形態】
本発明によるステレオ画像による物体の高さ測定方法の実施の形態を図面を参照して詳細に説明する。なお、以下の実施例において同一部材には同一符号を付すものとする。
図１は、本発明のステレオ画像による物体の高さ測定方法を実施する装置の構成を示すブロック図である。この装置は、ステレオ画像を撮像するステレオ画像撮像部１と、このステレオ画像撮像部１からの画像信号に基づいて特定物体を抽出する特定物体抽出部２と、この特定物体抽出部２により抽出された特定物体の奥行き距離を計測する奥行き距離計測部３と、この特定物体の高さを計測する特定物体高計測部４とを具える。
【００１２】
本例では、ステレオ画像撮像部１は、２台のテレビカメラ５及び６を設け、テレビカメラ５を基準としてその光軸を固定し、テレビカメラ６の光軸を、基準のカメラ５の光軸に対する角度を調整できるようにしたもの、として構成するが、１台のテレビカメラを水平方向に移動させて２回撮像するものや一つのレンズ系の前面にプリズムを配置し、２分割された画像を別個の撮像面へ導くようにしたものなども使用できる。
【００１３】
一般に、２台のテレビカメラを用いる場合には、視差を大きく取ることができるので奥行き分解能を高くすることができるが、左右の画像の間で光学歪みなどに差異が生じるおそれがある。また、１台のテレビカメラとプリズムを用いるものでは、視差を大きく取ることができないので、奥行き分解能を高くすることには向いていないが、光学系が一つであるため、左右の光学像にばらつきがなく、特定距離範囲内のエッジを抽出するための水平方向のシフト操作に求められる前提条件に適合したものであるとともに廉価である。
【００１４】
ここで、画像信号を水平方向にシフトして一致する部分を抽出する前提条件として、被写体を光学的に同じ状態で撮像することが必要となる。背景が有限の距離にあるほぼ平面の場合には、この背景を２台のテレビカメラで撮像した場合ほぼ同一の画像が得られるように撮像する必要がある。したがって、同一のテレビカメラを２台使用する場合には、これらテレビカメラの光軸を互いに平行にすることが求められ、使用する撮影レンズが広角レンズの場合には特にこのことが必要となる。
【００１５】
特定物体抽出部２では、ステレオ画像撮像部１からステレオ画像を抽出した後、この画像から対象となる物体（例えば人物）を抽出する処理を行う。抽出方法は、対象となる物体が動いている場合と、静止している場合とで変わってくる。対象となる物体が動いている場合、例えば時間的に異なる２画像の画像間の差分を求めることで物体が動いた領域を特定することができ、この領域を特定物体（例えば人物頭部）として抽出する。それに対して対象となる物体が静止している場合、対象となる物体が画像として予め登録されているときにはその登録画像が現在の画像中にあるか否か探すことにより特定物体を抽出したり、ステレオ画像を用いた画像処理方法を行ったりすることにより抽出する。
また、対象となる物体が複数存在する場合でも、抽出処理を複数回行うことにより空間内の複数の物体の像を各像ごとに抽出することができる。
【００１６】
奥行き距離計測部３は、物体のステレオ画像でこれらの位置がどれだけ離れているかにより特定物体（例えば人物頭部）の奥行きを算出する。特定物体のステレオ画像におけるそれぞれの位置関係は、図２に示すカメラ配置の場合、特定物体が仮想無限遠点上にあるときにはステレオ画像でいずれも物体は画像の同一位置に存在する。ここで仮想無限遠点とは、二つの画像の中心に対応する光軸が被写体で交差する位置をいう。
【００１７】
しかしながら、特定物体がテレビカメラ５及び６（図２）の手前方向に移動するとカメラ視差により、ステレオ画像においてこの視差に応じた分物体は離れていく。このことを原理として、このステレオ画像において特定物体の存在する位置が離れている距離（シフト量）を、カメラの設置条件から実際の奥行き距離に変換することができる。
【００１８】
図３は３次元空間の特定物体の位置関係を示す側面図であり、図４は２次元画面上の特定物体の位置関係を示す図である。なお、図４において、左上角部を原点とし、水平方向にｘ座標を取り、垂直方向にｙ座標を取る。ｘ座標は図４において右方向に進むに従って増大するものとし、ｙ座標は図４において下方向に進むに従って増大するものとする。
【００１９】
特定物体高計測部４（図１）は、特定物体７（図３）の身長すなわち高さＨdvを算出するに当たり、画面上における仮想無限遠点での床位置ｙ＝ｂmax 及び画面上の特定物体８（図４）の頂部座標ｔｄ（これらの値はいずれも初期値である）と、特定物体７（図３）の奥行き距離Ｄh における画面上の床位置の補正バイアス値ｂbiasとから画面上の特定物体８（図４）の高さｈdvを求め、この高さｈdvを算出身長の実寸である特定物体７の高さＨdvに変換する。
【００２０】
本例の動作を説明する。
図５は本発明によるステレオ画像による物体の高さ測定方法を実施するフローチャートである。本ルーチンでは先ず、ステップＳ１において、ステレオ画像をステレオ画像撮像部１（図１）により撮像する。次いで、ステップＳ２において、ステレオ画像撮像部１（図１）からの画像信号に基づいて、特定物体抽出部２（図１）が特定物体８（図４）を抽出する。ステップＳ２では、特定物体７，８（図３及び４）が複数存在する場合（本例では一つ）には像ごとに抽出を行う。
【００２１】
次いで、ステップＳ３において、特定物体抽出部２（図１）により抽出された特定物体７（図３）の奥行き距離Ｄh を奥行き距離計測部３（図１）により計測する。ステップＳ３でも、特定物体７，８（図３及び４）が複数存在する場合（本例では一つ）には像ごとに奥行き距離Ｄh を計測する。
【００２２】
次いで、ステップＳ４において、特定物体７（図３）の高さＨdvを算出する際の初期条件を設定する。この初期条件として先ず、カメラ５及び６（図３）の位置から仮想無限遠点までの水平距離Ｄmax における画像上の床ラインを、ｙ＝ｂmax で設定する。本例では設定したｂmax は画面上で一致するものとする。レンズ歪みを考慮する場合には、画像上の床ラインをｙ＝ｆ（ｘ）なる曲線とし、画面上で歪んだ床に一致させることにより、特定物体が画面の左右端に存在するときの高さの計測誤差を減少させることができる。
【００２３】
またステップＳ４では、上記初期条件として、特定物体７，８（図３及び４）の頭頂座標ｔｄ、奥行き距離Ｄh 及びカメラ設置高さＨcamvをそれぞれ設定する。頭頂座標ｔｄ及び奥行き距離Ｄh は、ステップＳ２において特定物体８（図４）を抽出する際に既知であり、カメラ設置高さＨcamvはカメラ設定時に既知である。
なお、特定物体７，８（図３及び４）が複数存在する場合には、これらに対応する頭頂座標ｔｄ及び奥行き距離Ｄh をそれぞれ設定する。
【００２４】
次いで、ステップＳ５において、奥行き距離Ｄh における計算上の画面上の補正バイアス値ｂbiasを算出する。補正バイアス値ｂbiasを算出するに当たり、先ず、仮想無限遠点からカメラ５，６（図３）への仰角θdmaxを
【数１】
θdmax＝tan -1（Ｈcamv／Ｄmax ） 〔°〕
により算出する。
【００２５】
次いで、奥行き距離Ｄh における床位置補正バイアスＢbiasを
【数２】
Ｂbias＝（Ｄmax −Ｄh ）・tan （θdmax・γ）
により算出する。ここで、γをレンズ歪み補正係数とし、補正がないときはγ＝１とする。
【００２６】
次いで、奥行き距離Ｄh における計算上の画面上の補正バイアス値ｂbiasを
【数３】
ｂbias＝（Ｂbias・ｄccd ）／（Ｄh ・Δｃｃｄｖ） 〔ｄｏｔ〕
により算出する。ここでｄccd を、レンズ焦点からＣＣＤ撮像面までの距離を表し、Δｃｃｄｖを、ＣＣＤ撮像素子の１画素当たりの垂直方向の長さとし、これらについては後に説明する。
【００２７】
図６は特定物体の実寸長とＣＣＤ撮像部における長さとの関係図であり、図７はＣＣＤ撮像面における水平及び垂直画素サイズを示す図である。ＣＣＤ撮像素子の１画素当たりの垂直方向の長さであるΔｃｃｄｖを求めるに当たり、ＣＣＤ面の垂直長Ｄccdvを、
【数４】
Ｄccdv＝（Ｄccdsize ・Ｄccdvdot ）／（Ｄccdvdot2＋Ｄccdhdot2）1/2
により算出する。ただし、Ｄccdsize をＣＣＤ面の対角寸法とし、本例では１／３インチ＝（１／３）・０．０２５４〔ｍ〕である。また、Ｄccdhdot 及びＤccdvdot をそれぞれＣＣＤ撮像板の水平方向及び垂直方向の画素数〔ｄｏｔ〕とする。したがって、ＣＣＤ撮像素子の１画素当たりの垂直方向の長さΔｃｃｄｖは、
【数５】
Δｃｃｄｖ＝Ｄccdv／Ｄccdvdot 〔ｍ〕
から求めることができる。
【００２８】
次いで、ステップＳ６において、画面上での特定物体８（図４）の高さｈdvを
【数６】
ｈdv＝（ｂmax ＋ｂbias）−ｔｄ 〔ｄｏｔ〕
から求める。
【００２９】
次いで、ステップＳ７において、特定物体７（図３）の高さＨdvを求める。特定物体７（図３）の高さＨdvを求めるに当たり、先ず、ＣＣＤ面上の特定物体の高さｈd2v を
【数７】
ｈd2v ＝ｈdv・Δｃｃｄｖ 〔ｍ〕
から求める。ここで、レンズ焦点とＣＣＤ面との間の距離をｄccd とすると、特定物体７（図３）の高さＨdvとＣＣＤ面上の特定物体の高さｈd2v との間には、
【数８】
Ｈdv：ｈd2v ＝Ｄh ：ｄccd
の関係があるので、特定物体７（図３）の高さＨdvは、
【数９】
Ｈdv＝（ｈd2v ・Ｄh ）／ｄccd
となる。
【００３０】
次いで、ステップＳ８において、ステップＳ２で抽出した物体がまだ存在するか否か判断する。存在すると判断した場合にはステップＳ５に戻り、それに対して存在しないと判断した場合には本ルーチンを終了する。
なお、ステップＳ４〜Ｓ８は特定物体高計測部４（図１）によって行われる。
【００３１】
以上説明したように、本例では、画面上の特定物体の頂部座標ｔｄ、画面上における仮想無限遠点での床位置ｙ＝ｂmax 及び仮想無限遠点からカメラへの仰角θdmaxから画面上の特定物体８（図４）の高さｈdvを算出し、これを実際の特定物体７（図３）の高さＨdvに変換しているので、簡単かつ短い処理時間で物体の高さを計測することができる。また、レンズ歪みを考慮しているので、特定物体が画面の左右端に存在する場合の物体の高さの計測誤差を減少できる。さらに、空間内の複数の物体の像を像ごとに抽出するために、複数の物体の高さを一度の撮像で計測することができる。
【００３２】
図８は、図１の装置に特定物体の長さを総合判断する機能を付加した装置を示すブロック図である。この装置は、ステレオ画像撮像部１、特定物体抽出部２、奥行き距離計測部３及び特定物体高計測部４に加えて、特定物体高計測部４の計測結果を総合判断する特定物体高総合判断最適値決定部９を具える。
【００３３】
この装置では、一連の処理で同一物体に対して高さを複数回計測した場合、この複数の結果を総合的に判断して、最終的に最適な高さを決定することができる。このような決定を、統計的手法や特定のデータの重み付けにより行うことができる。このように総合判断することにより、１回の測定に比べてより信頼性の高い結果を得ることができる。
【００３４】
図９は、本発明によるステレオ画像による物体の高さ測定方法を個人視聴率測定装置に適用した場合のブロック図である。この個人視聴率測定装置では、予め登録した家庭内の人物の身長と算出した未知の身長とを比較し、画像から抽出した人物が家族のうちの誰であるかを特定する機能を有する。また、特定した個人情報に時刻及びテレビジョンチャネル（ＴＶｃｈ）情報を付加し、この情報を集計センターに送出する機能を有する。
【００３５】
この個人視聴率測定装置は、ステレオ画像撮像部１、特定物体抽出部２、奥行き距離計測部３及び特定物体計測部４に加えて、予め登録した家庭内の人物を判別する登録者判定部１０と、家庭内の人物の情報をこの登録者判定部１０に供給する家庭内人物情報テーブル１１と、登録者判定部１０から供給された個人情報をセンターに送出する個人情報送出部１２と、個人情報に時刻及びＴＶｃｈ情報を付加する時刻及びＴＶｃｈ情報付加テーブル１３とを具える。
【００３６】
登録者判定部１０は、例えば算出した特定物体の高さを人物頭部の高さとした場合、特定物体計測部４から供給された人物の身長を、家庭内人物情報テーブル１１に予め登録された身長情報と比較して、この身長と登録された身長情報のうちの一つとの差が所定の範囲内にある場合にはその登録者と判別する。この差が所定の範囲内にない場合には、その他すなわち客、ペット等と判定する。この登録者判定部１０により、テレビジョンを視聴している人物が家庭内人物情報テーブル１１に登録されている家族のうちの誰であるかを大まかに判断することができる。
【００３７】
家庭内人物情報テーブル１１には、登録した家族の起立時の身長がそれぞれ記憶され、この家庭内人物情報テーブル１１は、これらの情報を登録者判定部１０に供給する。
【００３８】
個人情報送出部１２は、時刻及びＴＶｃｈ情報が付加された個人情報を集計センターに送出する。個人情報に付加すべきこの時刻及びＴＶｃｈ情報は、時刻及びＴＶｃｈ情報付加テーブル１３から供給される。この時刻及びＴＶｃｈ情報により、家族のうちの誰が何時どのチャネルを視聴したかのデータを作成することができる。
【００３９】
本例の動作を説明する。
図１０は、本発明のステレオ画像による物体の高さ測定方法を個人視聴率測定装置に適用した場合の動作を示すフローチャートである。この動作では、特定物体抽出部２（図９）で抽出された特定物体の像の身長が起立した状態である場合の身長判定を行う。
【００４０】
この場合、家庭内人物情報テーブル１１（図９）に予め登録されている起立時の家族の身長を元に判定し、家族の大人のグループと子供のグループとに分ける。この処理の制約条件としては、必ず大人のグループの身長範囲と子供のグループの身長範囲に、判定に十分な身長差があることとする。
【００４１】
このルーチンでは先ず、ステップＳ１１において、計測された身長が大人のグループの身長範囲であるか否か判断する。この判断は、計測された身長αが、
【数１０】
ＡＤ＋ε≧α≧ＡＤ−ε
の関係を満足するか否かにより行う。ここでＡＤを大人の身長グループ範囲の値とし、εを誤差範囲とする。
【００４２】
大人のグループの身長範囲の値であると判断した場合、特定物体は大人であると判定し（ステップＳ１２）、本ルーチンを終了する。大人のグループの身長範囲の値でないと判断した場合、ステップＳ１３に進み、計測された身長が子供のグループの身長範囲の値であるか否か判断する。この判断は、計測された身長αが、
【数１１】
ＣＤ＋ε≧α≧ＣＤ−ε
の関係を満足するか否かにより行う。ここでＣＤを子供の身長グループ範囲の値とし、εを誤差範囲とする。
【００４３】
子供のグループの身長範囲の値であると判断した場合、この特定物体は子供であると判定し（ステップＳ１４）、本ルーチンを終了する。子供のグループの身長範囲の値でないと判断した場合、その他すなわち客、ペット等と判定し（ステップＳ１５）、本ルーチンを終了する。
【００４４】
図１１は、本発明によるステレオ画像による物体の高さ測定方法を個人視聴率測定装置に適用した場合の他の動作を示すフローチャートである。この動作でも、特定物体抽出部２（図９）で抽出された特定物体の像の身長が起立した状態である場合の身長判定を行う。
【００４５】
この場合、家庭内人物情報テーブル１１（図９）に予め登録されている起立時の家族の身長を元にして家族のうちの誰かを判別する。この処理の制約条件としては、登録される家族間に十分な身長差があるものとする。
【００４６】
このルーチンでは先ず、ステップＳ２１において、計測された身長が家族Ａの身長範囲であるか否か判断する。この判断は、計測された身長αが、
【数１２】
ＡＴ＋ε≧α≧ＡＴ−ε
の関係を満足するか否かにより行う。ここでＡＴを家族Ａの身長とし、εを誤差範囲とする。
【００４７】
家族Ａの身長範囲であると判断した場合、この特定物体は家族Ａであると判定し（ステップＳ２２）、本ルーチンを終了する。家族Ａの身長範囲でないと判断した場合、ステップＳ２３に進み、計測された身長が家族Ｂの身長範囲であるか否か判断する。この判断は、計測された身長αが、
【数１３】
ＢＴ＋ε≧α≧ＢＴ−ε
の関係を満足するか否かにより行う。ここでＢＴを家族Ｂの身長とし、εを誤差範囲とする。
【００４８】
家族Ｂの身長範囲であると判断した場合、この特定物体は家族Ｂであると判定し（ステップＳ２４）、本ルーチンを終了する。家族Ｂの身長範囲でないと判断した場合、ステップＳ２５に進み、計測された身長が家族Ｃの身長範囲であるか否か判断する。この判断は、計測された身長αが、
【数１４】
ＣＴ＋ε≧α≧ＣＴ−ε
の関係を満足するか否かにより行う。ここでＣＴを家族Ｃの身長とし、εを誤差範囲とする。
【００４９】
家族Ｃの身長範囲であると判断した場合、この特定物体は家族Ｃであると判定し（ステップＳ２６）、本ルーチンを終了する。家族Ｃの身長範囲でないと判断した場合、その他すなわち客、ペット等と判定し（ステップＳ２７）、本ルーチンを終了する。
【００５０】
図１０及び１１のフローチャートでは起立時の身長のみを考慮している。しかしながら現実には、テレビジョンが配置されている家庭の居間等にはソファーベッド、椅子等があり、人物は通常これに着座して視聴する。したがって、家族の着座時の高さも家庭内人物情報テーブル１１（図９）に予め登録し、人物が着座して視聴しうる場所では、身長判定をこの登録情報と比較して判断することにより誤判断を低減することができる。
【００５１】
図１２は、人物の着座時の高さを考慮した場合の本発明のステレオ画像による物体の高さ測定方法の動作を示すフローチャートであり、図１３は室内における人物の抽出処理結果例を示す図であり、図１４は図１３のソファー着座領域及び人物の頭部の抽出処理結果例を示す図であり、図１５は図１３の室内の上面図である。人物の着座時の高さを考慮した場合の人物判別をこれら図面を参照して説明する。
【００５２】
本例では、図１４及び１５に示すようなソファー着座領域１４を設定し、抽出された人物がこのソファー着座領域１４に存在する場合には、家族の着座時の高さに基づいて人物の判断を行うものである。
【００５３】
本ルーチンでは先ず、個人視聴率測定装置１５により、特定物体（本例ではソファー１６に着座している人物１７及び１８、起立している人物１９及び２０並びに植物２１）を抽出すると、ステップＳ３１において、抽出した特定物体が着座位置すなわちソファー着座領域１４に存在するか否か判断する。この判断は、特定物体の奥行き距離Ｄh （図３）及び画面上の左右位置を、室内の位置情報に照合することにより行う。
【００５４】
特定物体が着座位置に存在すると判断された場合には、家庭内人物情報テーブル１１（図９）は、比較すべき身長として着座時の身長を設定し（ステップＳ３２）、そうでない場合には比較すべき身長として起立時の身長を設定する（ステップＳ３３）。本例では、人物１７及び１８（図１３、１４及び１５）の場合にはステップＳ３２に進み、人物１９及び２０（図１３、１４及び１５）の場合にはステップＳ３３に進む。なお、植物２１（図１３、１４及び１５）は静止物体であるため、動きを見ることで特定物体抽出部２（図８）で抽出対象外として判断することが可能である。
【００５５】
ステップＳ３２又はＳ３３終了後、ステップＳ３４において、計測された身長が家族Ａの身長範囲であるか否か判断する。この判断は図１１のステップＳ２１と同様にして行う。
【００５６】
家族Ａの身長範囲であると判断した場合、この特定物体は家族Ａであると判定し（ステップＳ３５）、本ルーチンを終了する。家族Ａの身長範囲でないと判断した場合、ステップＳ３６に進み、計測された身長が家族Ｂの身長範囲であるか否か判断する。この判断は図１１のステップＳ２３と同様にして行う。
【００５７】
家族Ｂの身長範囲であると判断した場合、この特定物体は家族Ｂであると判定し（ステップＳ３７）、本ルーチンを終了する。家族Ｂの身長範囲でないと判断した場合、ステップＳ３８に進み、計測された身長が家族Ｃの身長範囲であるか否か判断する。この判断は図１１のステップＳ２５と同様にして行う。
【００５８】
家族Ｃの身長範囲であると判断した場合、この特定物体は家族Ｃであると判定し（ステップＳ３９）、本ルーチンを終了する。家族Ｃの身長範囲でないと判断した場合、その他すなわちすなわち客、ペット等と判定し（ステップＳ４０）、本ルーチンを終了する。
【００５９】
図１０〜１２で説明したルーチンは、単一のループによって行う処理について説明したが、上記身長の判定を複数回繰り返し、連続的に真であると判定された場合や所定の確率以上で真であると判定された場合に人物を最終判断することにより情報の信頼性をより高くすることができる。
【００６０】
本発明は上記実施例に限定されるものではなく、幾多の変更及び変形が可能である。
対応するエッジ画像を水平方向にシフトして基準エッジ画像と比較する場合、水平方向に延在するエッジが画像中に存在すると広い範囲で一致が検出され、エラーとなるおそれがある。一般に室内では水平なエッジが多く含まれるのでその影響が比較的大きくなる。このような場合には、テレビカメラを光軸回りに９０°回転させて物体を撮像すると、水平なエッジ成分が減少し、したがってエラーを低減することができる。
【図面の簡単な説明】
【図１】本発明のステレオ画像による物体の高さ測定方法を実施する装置の構成を示すブロック図である。
【図２】ステレオビデオカメラの一例を示す図である。
【図３】３次元空間の特定物体の位置関係を示す側面図である。
【図４】２次元画面上の特定物体の位置関係を示す図である。
【図５】本発明のステレオ画像による物体の高さ測定方法を実施するフローチャートである。
【図６】特定物体の実寸長とＣＣＤ撮像部における長さとの関係図である。
【図７】ＣＣＤ撮像面における水平及び垂直画素サイズを示す図である。
【図８】図１の装置に特定物体の長さを総合判断する機能を付加した装置を示すブロック図である。
【図９】本発明のステレオ画像による物体の高さ測定方法を個人視聴率測定装置に適用した場合のブロック図である。
【図１０】本発明のステレオ画像による物体の高さ測定方法を個人視聴率測定装置に適用した場合の動作を示すフローチャートである。
【図１１】本発明のステレオ画像による物体の高さ測定方法を個人視聴率測定装置に適用した場合の他の動作を示すフローチャートである。
【図１２】人物の着座時の高さを考慮した場合の本発明によるステレオ画像による物体の高さ測定方法の動作を示すフローチャートである。
【図１３】室内における人物の抽出処理結果例を示す図である。
【図１４】図１３のソファー着座領域及び人物の頭部の抽出処理結果例を示す図である。
【図１５】図１３の室内の上面図である。
【符号の説明】
１ ステレオ画像撮像部
２ 特定物体抽出部
３ 奥行き距離計測部
４ 特定物体高計測部
５，６ テレビカメラ
７，８ 特定物体
９ 特定物体高総合判断最適値決定部
１０ 登録者判定部
１１ 家庭内人物情報テーブル
１２ 個人情報送出部
１３ 時刻及びＴＶｃｈ情報付加テーブル
１４ ソファー着座領域
１５ 個人視聴率測定装置
１６ ソファー
１７，１８，１９，２０ 人物
２１ 植物
Ｂbias 奥行き距離における床位置補正バイアス
ｂbias 画面上の床位置の補正バイアス
Ｄh 特定物体の奥行き距離
Ｄccdh ＣＣＤ面の水平長
Ｄccdv ＣＣＤ面の垂直長
Ｄccdsise ＣＣＤ面の対角寸法
Ｄmax カメラから仮想無限遠点までの水平距離
ｄccd レンズ焦点とＣＣＤ面との間の距離
Ｈcamv カメラ設置高さ
Ｈdv 特定物体の実際の高さ
ｈdv 画面上の特定物体の高さ
ｈd2v ＣＣＤ面上の特定物体の高さ
ｔｄ 画面上の特定物体の頂部座標
ｙ＝ｂmax 画面上における仮想無限遠点での床位置
θcamv カメラの垂直視野の範囲
θdmax 仮想無限遠点からカメラへの仰角
Δccdv ＣＣＤの１画素当たりの垂直方向の長さ
【発明の属する技術分野】
本発明は画像処理技術、特に空間内の特定の距離範囲にある物体の像を抽出して、その物体の高さを計測するステレオ画像による物体の高さ測定方法に関するものである。
【０００２】
【従来の技術】
通常、物体の高さを計測するに当たり、物体に直接メジャーを当てて計測したり、レーザ、赤外線等を物体に照射して計測している。しかしながら、前者の場合には、物体を直接触る必要があり、後者の場合には、レーザなどを物体に照射するために物体の一部が破壊される。また、土木建築関係では三角測量法が使用されているが、これは手作業が中心である。
【０００３】
自動的で、物体に接触することなく、かつ、物体の一部を破壊するおそれのない物体の高さ計測方法としてテレビジョン画像における計測がある。この場合、物体が占める画素数を算出し、１画素単位長を画素数倍して実測値に変換している。
【０００４】
【発明が解決しようとする課題】
しかしながら、このようなテレビジョン画像における計測では、物体が、奥行きのない平面であり、かつ、限定した位置に存在する場合しか計測できないという制約がある。奥行きのある物体の高さを計測するためにステレオビデオカメラを用いて計測する方法があるが、この場合には、ステレオ画像の対応点を求めてこれらを距離情報として変換するには、複雑かつ処理時間が長いという不都合がある。
【０００５】
本発明の目的は、簡単かつ処理時間が短いステレオ画像による物体の高さ測定方法を提供することである。
【０００６】
【課題を解決するための手段】
本発明によるステレオ画像による物体の高さ測定方法は、
空間内の物体の像を抽出し、この物体の像の画像情報を処理して物体の高さを計測するに当たり、
この物体の像を、前景及び背景を含めてステレオ撮像して第１及び第２の画像信号を得る画像信号形成工程と、
これら第１及び第２の画像信号からそれぞれエッジ画像信号を抽出して第１及び第２のエッジ画像信号を得るエッジ画像信号形成工程と、
これら第１及び第２のエッジ画像信号から、前記物体の互いに対応する点が一致するまでシフト量を求め、このシフト量に基づいて物体撮像位置から前記物体までの距離を演算により求める距離演算工程と、
画面上における仮想無限遠点での壁と床の境界線の画面上端からの距離を、床位置として設定する床位置設定工程と、
前記物体の像の頂点位置座標を求める頂点位置座標算出工程と、
前記物体撮像位置から前記仮想無限遠点までの距離及び撮像位置の高さから、前記仮想無限遠点から前記物体撮像位置への仰角を求める仰角演算工程と、
前記物体撮像位置から前記仮想無限遠点までの距離と前記物体撮像位置から前記物体までの距離との差の正接を、前記仰角を用いて求める正接演算工程と、
この正接を画面上の正接に変換する正接変換工程と、
前記頂点位置座標、前記床位置及び前記画面上の正接から画面上の前記物体の高さを算出する高さ算出工程と、
前記画面上の物体の高さを物体の実際の高さに変換する高さ変換工程とを具えることを特徴とするものである。
【０００７】
本発明によるステレオ画像による物体の高さ測定方法では、画像全体の距離情報を求めるのではなく、物体の像の頂点位置座標、床位置座標及び画面上の正接から画面上の物体の高さを算出し、この高さを物体の実際の高さに変換しているので、簡単かつ短い処理時間で物体の高さを計測することができる。
【０００８】
好適には、前記正接演算工程で仰角の正接を求めるに当たり、前記仰角にレンズ歪み補正係数を乗算したものを用いる。
【０００９】
このようにレンズ歪みを考慮することにより、特定物体が画面の左右端に存在する場合の物体の高さの計測誤差を減少できる。
【００１０】
さらに好適には、空間内の複数の物体の像を像ごとに抽出する。これにより、複数の物体の高さを一度の撮像で計測することができる。
【００１１】
【発明の実施の形態】
本発明によるステレオ画像による物体の高さ測定方法の実施の形態を図面を参照して詳細に説明する。なお、以下の実施例において同一部材には同一符号を付すものとする。
図１は、本発明のステレオ画像による物体の高さ測定方法を実施する装置の構成を示すブロック図である。この装置は、ステレオ画像を撮像するステレオ画像撮像部１と、このステレオ画像撮像部１からの画像信号に基づいて特定物体を抽出する特定物体抽出部２と、この特定物体抽出部２により抽出された特定物体の奥行き距離を計測する奥行き距離計測部３と、この特定物体の高さを計測する特定物体高計測部４とを具える。
【００１２】
本例では、ステレオ画像撮像部１は、２台のテレビカメラ５及び６を設け、テレビカメラ５を基準としてその光軸を固定し、テレビカメラ６の光軸を、基準のカメラ５の光軸に対する角度を調整できるようにしたもの、として構成するが、１台のテレビカメラを水平方向に移動させて２回撮像するものや一つのレンズ系の前面にプリズムを配置し、２分割された画像を別個の撮像面へ導くようにしたものなども使用できる。
【００１３】
一般に、２台のテレビカメラを用いる場合には、視差を大きく取ることができるので奥行き分解能を高くすることができるが、左右の画像の間で光学歪みなどに差異が生じるおそれがある。また、１台のテレビカメラとプリズムを用いるものでは、視差を大きく取ることができないので、奥行き分解能を高くすることには向いていないが、光学系が一つであるため、左右の光学像にばらつきがなく、特定距離範囲内のエッジを抽出するための水平方向のシフト操作に求められる前提条件に適合したものであるとともに廉価である。
【００１４】
ここで、画像信号を水平方向にシフトして一致する部分を抽出する前提条件として、被写体を光学的に同じ状態で撮像することが必要となる。背景が有限の距離にあるほぼ平面の場合には、この背景を２台のテレビカメラで撮像した場合ほぼ同一の画像が得られるように撮像する必要がある。したがって、同一のテレビカメラを２台使用する場合には、これらテレビカメラの光軸を互いに平行にすることが求められ、使用する撮影レンズが広角レンズの場合には特にこのことが必要となる。
【００１５】
特定物体抽出部２では、ステレオ画像撮像部１からステレオ画像を抽出した後、この画像から対象となる物体（例えば人物）を抽出する処理を行う。抽出方法は、対象となる物体が動いている場合と、静止している場合とで変わってくる。対象となる物体が動いている場合、例えば時間的に異なる２画像の画像間の差分を求めることで物体が動いた領域を特定することができ、この領域を特定物体（例えば人物頭部）として抽出する。それに対して対象となる物体が静止している場合、対象となる物体が画像として予め登録されているときにはその登録画像が現在の画像中にあるか否か探すことにより特定物体を抽出したり、ステレオ画像を用いた画像処理方法を行ったりすることにより抽出する。
また、対象となる物体が複数存在する場合でも、抽出処理を複数回行うことにより空間内の複数の物体の像を各像ごとに抽出することができる。
【００１６】
奥行き距離計測部３は、物体のステレオ画像でこれらの位置がどれだけ離れているかにより特定物体（例えば人物頭部）の奥行きを算出する。特定物体のステレオ画像におけるそれぞれの位置関係は、図２に示すカメラ配置の場合、特定物体が仮想無限遠点上にあるときにはステレオ画像でいずれも物体は画像の同一位置に存在する。ここで仮想無限遠点とは、二つの画像の中心に対応する光軸が被写体で交差する位置をいう。
【００１７】
しかしながら、特定物体がテレビカメラ５及び６（図２）の手前方向に移動するとカメラ視差により、ステレオ画像においてこの視差に応じた分物体は離れていく。このことを原理として、このステレオ画像において特定物体の存在する位置が離れている距離（シフト量）を、カメラの設置条件から実際の奥行き距離に変換することができる。
【００１８】
図３は３次元空間の特定物体の位置関係を示す側面図であり、図４は２次元画面上の特定物体の位置関係を示す図である。なお、図４において、左上角部を原点とし、水平方向にｘ座標を取り、垂直方向にｙ座標を取る。ｘ座標は図４において右方向に進むに従って増大するものとし、ｙ座標は図４において下方向に進むに従って増大するものとする。
【００１９】
特定物体高計測部４（図１）は、特定物体７（図３）の身長すなわち高さＨdvを算出するに当たり、画面上における仮想無限遠点での床位置ｙ＝ｂmax 及び画面上の特定物体８（図４）の頂部座標ｔｄ（これらの値はいずれも初期値である）と、特定物体７（図３）の奥行き距離Ｄh における画面上の床位置の補正バイアス値ｂbiasとから画面上の特定物体８（図４）の高さｈdvを求め、この高さｈdvを算出身長の実寸である特定物体７の高さＨdvに変換する。
【００２０】
本例の動作を説明する。
図５は本発明によるステレオ画像による物体の高さ測定方法を実施するフローチャートである。本ルーチンでは先ず、ステップＳ１において、ステレオ画像をステレオ画像撮像部１（図１）により撮像する。次いで、ステップＳ２において、ステレオ画像撮像部１（図１）からの画像信号に基づいて、特定物体抽出部２（図１）が特定物体８（図４）を抽出する。ステップＳ２では、特定物体７，８（図３及び４）が複数存在する場合（本例では一つ）には像ごとに抽出を行う。
【００２１】
次いで、ステップＳ３において、特定物体抽出部２（図１）により抽出された特定物体７（図３）の奥行き距離Ｄh を奥行き距離計測部３（図１）により計測する。ステップＳ３でも、特定物体７，８（図３及び４）が複数存在する場合（本例では一つ）には像ごとに奥行き距離Ｄh を計測する。
【００２２】
次いで、ステップＳ４において、特定物体７（図３）の高さＨdvを算出する際の初期条件を設定する。この初期条件として先ず、カメラ５及び６（図３）の位置から仮想無限遠点までの水平距離Ｄmax における画像上の床ラインを、ｙ＝ｂmax で設定する。本例では設定したｂmax は画面上で一致するものとする。レンズ歪みを考慮する場合には、画像上の床ラインをｙ＝ｆ（ｘ）なる曲線とし、画面上で歪んだ床に一致させることにより、特定物体が画面の左右端に存在するときの高さの計測誤差を減少させることができる。
【００２３】
またステップＳ４では、上記初期条件として、特定物体７，８（図３及び４）の頭頂座標ｔｄ、奥行き距離Ｄh 及びカメラ設置高さＨcamvをそれぞれ設定する。頭頂座標ｔｄ及び奥行き距離Ｄh は、ステップＳ２において特定物体８（図４）を抽出する際に既知であり、カメラ設置高さＨcamvはカメラ設定時に既知である。
なお、特定物体７，８（図３及び４）が複数存在する場合には、これらに対応する頭頂座標ｔｄ及び奥行き距離Ｄh をそれぞれ設定する。
【００２４】
次いで、ステップＳ５において、奥行き距離Ｄh における計算上の画面上の補正バイアス値ｂbiasを算出する。補正バイアス値ｂbiasを算出するに当たり、先ず、仮想無限遠点からカメラ５，６（図３）への仰角θdmaxを
【数１】
θdmax＝tan -1（Ｈcamv／Ｄmax ） 〔°〕
により算出する。
【００２５】
次いで、奥行き距離Ｄh における床位置補正バイアスＢbiasを
【数２】
Ｂbias＝（Ｄmax −Ｄh ）・tan （θdmax・γ）
により算出する。ここで、γをレンズ歪み補正係数とし、補正がないときはγ＝１とする。
【００２６】
次いで、奥行き距離Ｄh における計算上の画面上の補正バイアス値ｂbiasを
【数３】
ｂbias＝（Ｂbias・ｄccd ）／（Ｄh ・Δｃｃｄｖ） 〔ｄｏｔ〕
により算出する。ここでｄccd を、レンズ焦点からＣＣＤ撮像面までの距離を表し、Δｃｃｄｖを、ＣＣＤ撮像素子の１画素当たりの垂直方向の長さとし、これらについては後に説明する。
【００２７】
図６は特定物体の実寸長とＣＣＤ撮像部における長さとの関係図であり、図７はＣＣＤ撮像面における水平及び垂直画素サイズを示す図である。ＣＣＤ撮像素子の１画素当たりの垂直方向の長さであるΔｃｃｄｖを求めるに当たり、ＣＣＤ面の垂直長Ｄccdvを、
【数４】
Ｄccdv＝（Ｄccdsize ・Ｄccdvdot ）／（Ｄccdvdot2＋Ｄccdhdot2）1/2
により算出する。ただし、Ｄccdsize をＣＣＤ面の対角寸法とし、本例では１／３インチ＝（１／３）・０．０２５４〔ｍ〕である。また、Ｄccdhdot 及びＤccdvdot をそれぞれＣＣＤ撮像板の水平方向及び垂直方向の画素数〔ｄｏｔ〕とする。したがって、ＣＣＤ撮像素子の１画素当たりの垂直方向の長さΔｃｃｄｖは、
【数５】
Δｃｃｄｖ＝Ｄccdv／Ｄccdvdot 〔ｍ〕
から求めることができる。
【００２８】
次いで、ステップＳ６において、画面上での特定物体８（図４）の高さｈdvを
【数６】
ｈdv＝（ｂmax ＋ｂbias）−ｔｄ 〔ｄｏｔ〕
から求める。
【００２９】
次いで、ステップＳ７において、特定物体７（図３）の高さＨdvを求める。特定物体７（図３）の高さＨdvを求めるに当たり、先ず、ＣＣＤ面上の特定物体の高さｈd2v を
【数７】
ｈd2v ＝ｈdv・Δｃｃｄｖ 〔ｍ〕
から求める。ここで、レンズ焦点とＣＣＤ面との間の距離をｄccd とすると、特定物体７（図３）の高さＨdvとＣＣＤ面上の特定物体の高さｈd2v との間には、
【数８】
Ｈdv：ｈd2v ＝Ｄh ：ｄccd
の関係があるので、特定物体７（図３）の高さＨdvは、
【数９】
Ｈdv＝（ｈd2v ・Ｄh ）／ｄccd
となる。
【００３０】
次いで、ステップＳ８において、ステップＳ２で抽出した物体がまだ存在するか否か判断する。存在すると判断した場合にはステップＳ５に戻り、それに対して存在しないと判断した場合には本ルーチンを終了する。
なお、ステップＳ４〜Ｓ８は特定物体高計測部４（図１）によって行われる。
【００３１】
以上説明したように、本例では、画面上の特定物体の頂部座標ｔｄ、画面上における仮想無限遠点での床位置ｙ＝ｂmax 及び仮想無限遠点からカメラへの仰角θdmaxから画面上の特定物体８（図４）の高さｈdvを算出し、これを実際の特定物体７（図３）の高さＨdvに変換しているので、簡単かつ短い処理時間で物体の高さを計測することができる。また、レンズ歪みを考慮しているので、特定物体が画面の左右端に存在する場合の物体の高さの計測誤差を減少できる。さらに、空間内の複数の物体の像を像ごとに抽出するために、複数の物体の高さを一度の撮像で計測することができる。
【００３２】
図８は、図１の装置に特定物体の長さを総合判断する機能を付加した装置を示すブロック図である。この装置は、ステレオ画像撮像部１、特定物体抽出部２、奥行き距離計測部３及び特定物体高計測部４に加えて、特定物体高計測部４の計測結果を総合判断する特定物体高総合判断最適値決定部９を具える。
【００３３】
この装置では、一連の処理で同一物体に対して高さを複数回計測した場合、この複数の結果を総合的に判断して、最終的に最適な高さを決定することができる。このような決定を、統計的手法や特定のデータの重み付けにより行うことができる。このように総合判断することにより、１回の測定に比べてより信頼性の高い結果を得ることができる。
【００３４】
図９は、本発明によるステレオ画像による物体の高さ測定方法を個人視聴率測定装置に適用した場合のブロック図である。この個人視聴率測定装置では、予め登録した家庭内の人物の身長と算出した未知の身長とを比較し、画像から抽出した人物が家族のうちの誰であるかを特定する機能を有する。また、特定した個人情報に時刻及びテレビジョンチャネル（ＴＶｃｈ）情報を付加し、この情報を集計センターに送出する機能を有する。
【００３５】
この個人視聴率測定装置は、ステレオ画像撮像部１、特定物体抽出部２、奥行き距離計測部３及び特定物体計測部４に加えて、予め登録した家庭内の人物を判別する登録者判定部１０と、家庭内の人物の情報をこの登録者判定部１０に供給する家庭内人物情報テーブル１１と、登録者判定部１０から供給された個人情報をセンターに送出する個人情報送出部１２と、個人情報に時刻及びＴＶｃｈ情報を付加する時刻及びＴＶｃｈ情報付加テーブル１３とを具える。
【００３６】
登録者判定部１０は、例えば算出した特定物体の高さを人物頭部の高さとした場合、特定物体計測部４から供給された人物の身長を、家庭内人物情報テーブル１１に予め登録された身長情報と比較して、この身長と登録された身長情報のうちの一つとの差が所定の範囲内にある場合にはその登録者と判別する。この差が所定の範囲内にない場合には、その他すなわち客、ペット等と判定する。この登録者判定部１０により、テレビジョンを視聴している人物が家庭内人物情報テーブル１１に登録されている家族のうちの誰であるかを大まかに判断することができる。
【００３７】
家庭内人物情報テーブル１１には、登録した家族の起立時の身長がそれぞれ記憶され、この家庭内人物情報テーブル１１は、これらの情報を登録者判定部１０に供給する。
【００３８】
個人情報送出部１２は、時刻及びＴＶｃｈ情報が付加された個人情報を集計センターに送出する。個人情報に付加すべきこの時刻及びＴＶｃｈ情報は、時刻及びＴＶｃｈ情報付加テーブル１３から供給される。この時刻及びＴＶｃｈ情報により、家族のうちの誰が何時どのチャネルを視聴したかのデータを作成することができる。
【００３９】
本例の動作を説明する。
図１０は、本発明のステレオ画像による物体の高さ測定方法を個人視聴率測定装置に適用した場合の動作を示すフローチャートである。この動作では、特定物体抽出部２（図９）で抽出された特定物体の像の身長が起立した状態である場合の身長判定を行う。
【００４０】
この場合、家庭内人物情報テーブル１１（図９）に予め登録されている起立時の家族の身長を元に判定し、家族の大人のグループと子供のグループとに分ける。この処理の制約条件としては、必ず大人のグループの身長範囲と子供のグループの身長範囲に、判定に十分な身長差があることとする。
【００４１】
このルーチンでは先ず、ステップＳ１１において、計測された身長が大人のグループの身長範囲であるか否か判断する。この判断は、計測された身長αが、
【数１０】
ＡＤ＋ε≧α≧ＡＤ−ε
の関係を満足するか否かにより行う。ここでＡＤを大人の身長グループ範囲の値とし、εを誤差範囲とする。
【００４２】
大人のグループの身長範囲の値であると判断した場合、特定物体は大人であると判定し（ステップＳ１２）、本ルーチンを終了する。大人のグループの身長範囲の値でないと判断した場合、ステップＳ１３に進み、計測された身長が子供のグループの身長範囲の値であるか否か判断する。この判断は、計測された身長αが、
【数１１】
ＣＤ＋ε≧α≧ＣＤ−ε
の関係を満足するか否かにより行う。ここでＣＤを子供の身長グループ範囲の値とし、εを誤差範囲とする。
【００４３】
子供のグループの身長範囲の値であると判断した場合、この特定物体は子供であると判定し（ステップＳ１４）、本ルーチンを終了する。子供のグループの身長範囲の値でないと判断した場合、その他すなわち客、ペット等と判定し（ステップＳ１５）、本ルーチンを終了する。
【００４４】
図１１は、本発明によるステレオ画像による物体の高さ測定方法を個人視聴率測定装置に適用した場合の他の動作を示すフローチャートである。この動作でも、特定物体抽出部２（図９）で抽出された特定物体の像の身長が起立した状態である場合の身長判定を行う。
【００４５】
この場合、家庭内人物情報テーブル１１（図９）に予め登録されている起立時の家族の身長を元にして家族のうちの誰かを判別する。この処理の制約条件としては、登録される家族間に十分な身長差があるものとする。
【００４６】
このルーチンでは先ず、ステップＳ２１において、計測された身長が家族Ａの身長範囲であるか否か判断する。この判断は、計測された身長αが、
【数１２】
ＡＴ＋ε≧α≧ＡＴ−ε
の関係を満足するか否かにより行う。ここでＡＴを家族Ａの身長とし、εを誤差範囲とする。
【００４７】
家族Ａの身長範囲であると判断した場合、この特定物体は家族Ａであると判定し（ステップＳ２２）、本ルーチンを終了する。家族Ａの身長範囲でないと判断した場合、ステップＳ２３に進み、計測された身長が家族Ｂの身長範囲であるか否か判断する。この判断は、計測された身長αが、
【数１３】
ＢＴ＋ε≧α≧ＢＴ−ε
の関係を満足するか否かにより行う。ここでＢＴを家族Ｂの身長とし、εを誤差範囲とする。
【００４８】
家族Ｂの身長範囲であると判断した場合、この特定物体は家族Ｂであると判定し（ステップＳ２４）、本ルーチンを終了する。家族Ｂの身長範囲でないと判断した場合、ステップＳ２５に進み、計測された身長が家族Ｃの身長範囲であるか否か判断する。この判断は、計測された身長αが、
【数１４】
ＣＴ＋ε≧α≧ＣＴ−ε
の関係を満足するか否かにより行う。ここでＣＴを家族Ｃの身長とし、εを誤差範囲とする。
【００４９】
家族Ｃの身長範囲であると判断した場合、この特定物体は家族Ｃであると判定し（ステップＳ２６）、本ルーチンを終了する。家族Ｃの身長範囲でないと判断した場合、その他すなわち客、ペット等と判定し（ステップＳ２７）、本ルーチンを終了する。
【００５０】
図１０及び１１のフローチャートでは起立時の身長のみを考慮している。しかしながら現実には、テレビジョンが配置されている家庭の居間等にはソファーベッド、椅子等があり、人物は通常これに着座して視聴する。したがって、家族の着座時の高さも家庭内人物情報テーブル１１（図９）に予め登録し、人物が着座して視聴しうる場所では、身長判定をこの登録情報と比較して判断することにより誤判断を低減することができる。
【００５１】
図１２は、人物の着座時の高さを考慮した場合の本発明のステレオ画像による物体の高さ測定方法の動作を示すフローチャートであり、図１３は室内における人物の抽出処理結果例を示す図であり、図１４は図１３のソファー着座領域及び人物の頭部の抽出処理結果例を示す図であり、図１５は図１３の室内の上面図である。人物の着座時の高さを考慮した場合の人物判別をこれら図面を参照して説明する。
【００５２】
本例では、図１４及び１５に示すようなソファー着座領域１４を設定し、抽出された人物がこのソファー着座領域１４に存在する場合には、家族の着座時の高さに基づいて人物の判断を行うものである。
【００５３】
本ルーチンでは先ず、個人視聴率測定装置１５により、特定物体（本例ではソファー１６に着座している人物１７及び１８、起立している人物１９及び２０並びに植物２１）を抽出すると、ステップＳ３１において、抽出した特定物体が着座位置すなわちソファー着座領域１４に存在するか否か判断する。この判断は、特定物体の奥行き距離Ｄh （図３）及び画面上の左右位置を、室内の位置情報に照合することにより行う。
【００５４】
特定物体が着座位置に存在すると判断された場合には、家庭内人物情報テーブル１１（図９）は、比較すべき身長として着座時の身長を設定し（ステップＳ３２）、そうでない場合には比較すべき身長として起立時の身長を設定する（ステップＳ３３）。本例では、人物１７及び１８（図１３、１４及び１５）の場合にはステップＳ３２に進み、人物１９及び２０（図１３、１４及び１５）の場合にはステップＳ３３に進む。なお、植物２１（図１３、１４及び１５）は静止物体であるため、動きを見ることで特定物体抽出部２（図８）で抽出対象外として判断することが可能である。
【００５５】
ステップＳ３２又はＳ３３終了後、ステップＳ３４において、計測された身長が家族Ａの身長範囲であるか否か判断する。この判断は図１１のステップＳ２１と同様にして行う。
【００５６】
家族Ａの身長範囲であると判断した場合、この特定物体は家族Ａであると判定し（ステップＳ３５）、本ルーチンを終了する。家族Ａの身長範囲でないと判断した場合、ステップＳ３６に進み、計測された身長が家族Ｂの身長範囲であるか否か判断する。この判断は図１１のステップＳ２３と同様にして行う。
【００５７】
家族Ｂの身長範囲であると判断した場合、この特定物体は家族Ｂであると判定し（ステップＳ３７）、本ルーチンを終了する。家族Ｂの身長範囲でないと判断した場合、ステップＳ３８に進み、計測された身長が家族Ｃの身長範囲であるか否か判断する。この判断は図１１のステップＳ２５と同様にして行う。
【００５８】
家族Ｃの身長範囲であると判断した場合、この特定物体は家族Ｃであると判定し（ステップＳ３９）、本ルーチンを終了する。家族Ｃの身長範囲でないと判断した場合、その他すなわちすなわち客、ペット等と判定し（ステップＳ４０）、本ルーチンを終了する。
【００５９】
図１０〜１２で説明したルーチンは、単一のループによって行う処理について説明したが、上記身長の判定を複数回繰り返し、連続的に真であると判定された場合や所定の確率以上で真であると判定された場合に人物を最終判断することにより情報の信頼性をより高くすることができる。
【００６０】
本発明は上記実施例に限定されるものではなく、幾多の変更及び変形が可能である。
対応するエッジ画像を水平方向にシフトして基準エッジ画像と比較する場合、水平方向に延在するエッジが画像中に存在すると広い範囲で一致が検出され、エラーとなるおそれがある。一般に室内では水平なエッジが多く含まれるのでその影響が比較的大きくなる。このような場合には、テレビカメラを光軸回りに９０°回転させて物体を撮像すると、水平なエッジ成分が減少し、したがってエラーを低減することができる。
【図面の簡単な説明】
【図１】本発明のステレオ画像による物体の高さ測定方法を実施する装置の構成を示すブロック図である。
【図２】ステレオビデオカメラの一例を示す図である。
【図３】３次元空間の特定物体の位置関係を示す側面図である。
【図４】２次元画面上の特定物体の位置関係を示す図である。
【図５】本発明のステレオ画像による物体の高さ測定方法を実施するフローチャートである。
【図６】特定物体の実寸長とＣＣＤ撮像部における長さとの関係図である。
【図７】ＣＣＤ撮像面における水平及び垂直画素サイズを示す図である。
【図８】図１の装置に特定物体の長さを総合判断する機能を付加した装置を示すブロック図である。
【図９】本発明のステレオ画像による物体の高さ測定方法を個人視聴率測定装置に適用した場合のブロック図である。
【図１０】本発明のステレオ画像による物体の高さ測定方法を個人視聴率測定装置に適用した場合の動作を示すフローチャートである。
【図１１】本発明のステレオ画像による物体の高さ測定方法を個人視聴率測定装置に適用した場合の他の動作を示すフローチャートである。
【図１２】人物の着座時の高さを考慮した場合の本発明によるステレオ画像による物体の高さ測定方法の動作を示すフローチャートである。
【図１３】室内における人物の抽出処理結果例を示す図である。
【図１４】図１３のソファー着座領域及び人物の頭部の抽出処理結果例を示す図である。
【図１５】図１３の室内の上面図である。
【符号の説明】
１ ステレオ画像撮像部
２ 特定物体抽出部
３ 奥行き距離計測部
４ 特定物体高計測部
５，６ テレビカメラ
７，８ 特定物体
９ 特定物体高総合判断最適値決定部
１０ 登録者判定部
１１ 家庭内人物情報テーブル
１２ 個人情報送出部
１３ 時刻及びＴＶｃｈ情報付加テーブル
１４ ソファー着座領域
１５ 個人視聴率測定装置
１６ ソファー
１７，１８，１９，２０ 人物
２１ 植物
Ｂbias 奥行き距離における床位置補正バイアス
ｂbias 画面上の床位置の補正バイアス
Ｄh 特定物体の奥行き距離
Ｄccdh ＣＣＤ面の水平長
Ｄccdv ＣＣＤ面の垂直長
Ｄccdsise ＣＣＤ面の対角寸法
Ｄmax カメラから仮想無限遠点までの水平距離
ｄccd レンズ焦点とＣＣＤ面との間の距離
Ｈcamv カメラ設置高さ
Ｈdv 特定物体の実際の高さ
ｈdv 画面上の特定物体の高さ
ｈd2v ＣＣＤ面上の特定物体の高さ
ｔｄ 画面上の特定物体の頂部座標
ｙ＝ｂmax 画面上における仮想無限遠点での床位置
θcamv カメラの垂直視野の範囲
θdmax 仮想無限遠点からカメラへの仰角
Δccdv ＣＣＤの１画素当たりの垂直方向の長さ
Claims (3)
- 空間内の物体の像を抽出し、この物体の像の画像情報を処理して物体の高さを計測するに当たり、
この物体の像を、前景及び背景を含めてステレオ撮像して第１及び第２の画像信号を得る画像信号形成工程と、
これら第１及び第２の画像信号からそれぞれエッジ画像信号を抽出して第１及び第２のエッジ画像信号を得るエッジ画像信号形成工程と、
これら第１及び第２のエッジ画像信号から、前記物体の互いに対応する点が一致するまでシフト量を求め、このシフト量に基づいて物体撮像位置から前記物体までの距離を演算により求める距離演算工程と、
画面上における仮想無限遠点での壁と床の境界線の画面上端からの距離を、床位置として設定する床位置設定工程と、
前記物体の像の頂点位置座標を求める頂点位置座標算出工程と、
前記物体撮像位置から前記仮想無限遠点までの距離及び撮像位置の高さから、前記仮想無限遠点から前記物体撮像位置への仰角を求める仰角演算工程と、
前記物体撮像位置から前記仮想無限遠点までの距離と前記物体撮像位置から前記物体までの距離との差の正接を、前記仰角を用いて求める正接演算工程と、
この正接を画面上の正接に変換する正接変換工程と、
前記頂点位置座標、前記床位置及び前記画面上の正接から画面上の前記物体の高さを算出する高さ算出工程と、
前記画面上の物体の高さを物体の実際の高さに変換する高さ変換工程とを具えることを特徴とするステレオ画像による物体の高さ測定方法。 - 前記正接演算工程で仰角の正接を求めるに当たり、前記仰角にレンズ歪み補正係数を乗算したものを用いることを特徴とする請求項１記載のステレオ画像による物体の高さ測定方法。
- 空間内の複数の物体の像を像ごとに抽出することを特徴とする請求項１又は２記載のステレオ画像による物体の高さ測定方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP31039095A JP3643157B2 (ja) | 1995-11-29 | 1995-11-29 | ステレオ画像による物体の高さ測定方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP31039095A JP3643157B2 (ja) | 1995-11-29 | 1995-11-29 | ステレオ画像による物体の高さ測定方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09145362A JPH09145362A (ja) | 1997-06-06 |
| JP3643157B2 true JP3643157B2 (ja) | 2005-04-27 |
Family
ID=18004688
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP31039095A Expired - Lifetime JP3643157B2 (ja) | 1995-11-29 | 1995-11-29 | ステレオ画像による物体の高さ測定方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3643157B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9332363B2 (en) | 2011-12-30 | 2016-05-03 | The Nielsen Company (Us), Llc | System and method for determining meter presence utilizing ambient fingerprints |
| US9489640B2 (en) | 2006-07-12 | 2016-11-08 | The Nielsen Company (Us), Llc | Methods and systems for compliance confirmation and incentives |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1321394C (zh) * | 2002-07-26 | 2007-06-13 | 三菱电机株式会社 | 图像处理装置 |
| US20090080876A1 (en) * | 2007-09-25 | 2009-03-26 | Mikhail Brusnitsyn | Method For Distance Estimation Using AutoFocus Image Sensors And An Image Capture Device Employing The Same |
| JP5264137B2 (ja) * | 2007-09-28 | 2013-08-14 | Ｊｒ東日本メカトロニクス株式会社 | 改札システム、人物検知ユニット及び自動改札機 |
| JP5256464B2 (ja) * | 2008-03-21 | 2013-08-07 | アクリーグ株式会社 | 画像上地物計測方法および表示法並びに計測装置 |
| JP5170130B2 (ja) * | 2010-03-09 | 2013-03-27 | オムロン株式会社 | 身長推定装置 |
| WO2011136407A1 (ko) * | 2010-04-28 | 2011-11-03 | (주)아이티엑스시큐리티 | 스테레오 카메라를 이용한 영상인식장치 및 방법 |
| KR101301667B1 (ko) * | 2010-07-13 | 2013-08-29 | 유민규 | 이동통신 단말기를 이용한 거리, 높이, 길이 측정 방법 |
| JP5663411B2 (ja) * | 2011-06-14 | 2015-02-04 | 本田技研工業株式会社 | 測距装置 |
| DE102011118810A1 (de) * | 2011-11-15 | 2013-05-16 | Seca Ag | Vorrichtung zur Längenmessung |
| JP2014067320A (ja) * | 2012-09-27 | 2014-04-17 | Hitachi Automotive Systems Ltd | ステレオカメラ装置 |
| CN104236462B (zh) * | 2013-06-14 | 2018-01-23 | 北京千里时空科技有限公司 | 一种提取视频图像中物体高度和距离的方法 |
| KR101976495B1 (ko) * | 2016-05-17 | 2019-05-10 | 에스케이 텔레콤주식회사 | 카메라 설치높이 측정을 위한 영상 분석 장치 및 방법 |
| CN109059780B (zh) | 2018-09-11 | 2019-10-15 | 百度在线网络技术（北京）有限公司 | 检测障碍物高度的方法、装置、设备及存储介质 |
-
1995
- 1995-11-29 JP JP31039095A patent/JP3643157B2/ja not_active Expired - Lifetime
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9489640B2 (en) | 2006-07-12 | 2016-11-08 | The Nielsen Company (Us), Llc | Methods and systems for compliance confirmation and incentives |
| US9332363B2 (en) | 2011-12-30 | 2016-05-03 | The Nielsen Company (Us), Llc | System and method for determining meter presence utilizing ambient fingerprints |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH09145362A (ja) | 1997-06-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3643157B2 (ja) | ステレオ画像による物体の高さ測定方法 | |
| CN107438173B (zh) | 视频处理装置、视频处理方法和存储介质 | |
| KR100776649B1 (ko) | 깊이 정보 기반 스테레오/다시점 영상 정합 장치 및 방법 | |
| CN107077743A (zh) | 用于阵列相机的动态校准的系统和方法 | |
| CN109949347B (zh) | 人体跟踪方法、装置、系统、电子设备和存储介质 | |
| US8144974B2 (en) | Image processing apparatus, method, and program | |
| JPS59182688A (ja) | ステレオ視処理装置 | |
| JP2019075156A (ja) | 多因子画像特徴登録及び追尾のための方法、回路、装置、システム、及び、関連するコンピュータで実行可能なコード | |
| CN103986854A (zh) | 图像处理设备、摄像设备和控制方法 | |
| US20110187828A1 (en) | Apparatus and method for obtaining 3d location information | |
| WO2014046184A1 (ja) | 複数被写体の距離計測装置及び方法 | |
| KR101745493B1 (ko) | 깊이 지도 생성 장치 및 방법 | |
| JP2012057974A (ja) | 撮影対象サイズ推定装置及び撮影対象サイズ推定方法並びにそのプログラム | |
| WO2019220752A1 (ja) | 自動追尾録画システムおよび録画制御装置 | |
| JP3631541B2 (ja) | ステレオ画像による物体の移動追跡方法 | |
| TW201310970A (zh) | 三維影像擷取方法與裝置及三維影像顯示裝置 | |
| CN107172383B (zh) | 一种对象状态检测方法及装置 | |
| JP2004046464A (ja) | 移動物体３次元位置推定装置及びその方法、プログラム並びにその記録媒体 | |
| JP2011130384A5 (ja) | ||
| JP3996864B2 (ja) | ステレオ画像を用いた監視装置 | |
| CN102907081A (zh) | 立体成像设备、面部检测设备和控制其操作的方法 | |
| CN112446925A (zh) | 摄像设备参数标定方法、设备及系统 | |
| CN109565544B (zh) | 位置指定装置及位置指定方法 | |
| JP2006324727A (ja) | 撮像装置およびその画像処理方法 | |
| JP3894038B2 (ja) | 画像処理装置、画像処理装置のはみ出し検知方法およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040831 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041025 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041124 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041203 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050104 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050127 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090204 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100204 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100204 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110204 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110204 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120204 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120204 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130204 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140204 Year of fee payment: 9 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |