JP7136344B2 - カメラの較正方法、カメラ及びプログラム - Google Patents

Description

本発明は概ね、カメラを較正する方法及び装置に関する。

カメラ較正は、正確な映像及び画像ベースの分析に必要なステップである。カメラが正確に較正されていないと、かかる分析は、エラーなしでは、実行され得ない。例えば、カメラの較正により恩恵を受けるアプリケーションの一部としては、オブジェクトの検出における誤検出を減らし、画素測定に基づいて物理的測定（例えば、サイズ）を検出する際のエラーを低減することが挙げられる。

例示的な実施形態は、カメラを較正する方法及び装置を含む。方法は、画像内の人に対する重要な身体の点を検出し、重要な身体の点から、人の頭から両足まで延びる直交線を抽出し、この直交線から、画像内で直立している人の頭－足指線を選択し、画像内で直立している人の頭－足指線からカメラを較正することでカメラの較正を改良する。

添付の図面において、同様の参照番号は別々の図面にわたり同一の又は機能的に同様の要素を指す。該図面は、以下の詳細な説明と共に本明細書に組み込まれ、本明細書の一部を形成するものであり、様々な実施形態を図示し、例示の実施形態にしたがって様々な原理及び利点を説明するためのものである。

図１は例示的な実施形態にかかる画像内の人からカメラを較正する方法である。 図２は例示的な実施形態にかかる画像内の人物の姿勢を決定する方法である。 図３Ａは、例示的な実施形態にかかる重要な身体の点を有する人間の正面及び背面の側面図を示す。 図３Ｂは例示的な実施形態にかかる重要な身体の点を接続する線を有する人間の正面図を示す。 図４は例示的な実施形態にかかる人の画像の分析に基づいてカメラを較正する流れ図である。 図５は例示的な実施形態にかかる例示的な実施形態を実行する電子デバイスである。

当業者であれば、図面の要素は簡略化及び明瞭さのため図示され、必ずしも正確な縮尺率では描かれていないことを理解するであろう。

以下の詳細な説明は本質的には単なる例示に過ぎず、例示的な実施形態又はその用途を限定することを意図するものではない。更に、前述の背景に提示された理論又は以下の詳細に拘束されることを意図するものではない。本実施形態の意図はカメラ較正を改良する独自の方法及び装置を提示することにある。

カメラ較正（幾何学的カメラ較正及びカメラのリセクションとしても知られる）は、カメラのレンズ及びイメージセンサのパラメータを推定する。これらのパラメータが分かると、レンズの歪みの補正、オブジェクトのサイズの測定、環境内のカメラの位置の決定など、重要なタスクを正確に実行することができる。更に、マシーンビジョン、オブジェクトの検出、オブジェクトのサイズの測定、ナビゲーション（例えば、ロボットナビゲーションシステム）、３次元（３Ｄ）シーン再構成など、これらのタスクは広範なアプリケーションで使用されている。

しかし、カメラの正確な較正は、多数の課題を提起する冗長なプロセスである。例えば、従来のカメラの較正は、固有のカメラパラメータ（例えば、焦点距離及び主点）、外因性カメラパラメータ（例えば、カメラの回転及び平行移動を表す、パン、傾き及びロール角度）、及び歪み係数を、物理的に測定又は決定することを含む。これらのパラメータの測定及び記録はいずれも時間を要するものであり、人的エラーが発生しやすいものである。

例示的な実施形態はこれらの問題を解決するものであり、効率的かつ正確にカメラを較正する方法及び装置を提供する。

例示的な実施形態は、画像内のオブジェクトの平行線を用いて、画像から消失点を決定することによりカメラのパラメータを推定する。例として、これらのオブジェクトは、人間、自動車、又は既知のサイズ及び形状を有する他のオブジェクト及び構造の１つ以上を含み得る。例えば、混雑した都市環境では、人間は、直立しているとき、平行線（頭から足指すなわち、頭－足指の線）を有するので、好適な参照オブジェクトとして機能する場合がある。

カメラを較正するための参照オブジェクトとして人間を使用することは、較正エラーを引き起こす技術的問題を有している。例えば、人間が直立していない場合、較正エラーが（地面に対して）傾斜した線により発生する。別の例としては、較正エラーは、人間の身長が様々であることにより発生し、そのことは、人間を、物理的測定を測定する基準と考える場合において困難となる。更に別の例としては、線は、多くの場合、地面又は画像の一部分にのみ集中する。

例示的な実施形態は、人間を、カメラを較正する基準として使用した場合における、これらの問題を解決する。例えば、例示的な実施形態は、地面に垂直な人間の線を選択し、人間の身長をモデル化し、人間の線を空間的にクラスタ化する。一例示的な実施形態では、地面の様々なサブ領域を表す６本の線は、カメラ較正を実行するのに十分である。かかる例示的な実施形態は、従来の技法に比べた場合、エラーが発生しにくい正確なカメラ較正を提供する。

図１は例示的な実施形態にかかる画像内の人からカメラを較正する方法である。

カメラは、１人又は複数の人を含む１つ又は複数の画像をキャプチャする。カメラは、ローカルに記憶し得る、かつ／または送信され得る画像を記録又はキャプチャする電子デバイスを備える。画像は、独立したもの（例えば、単一の写真）としてもよいし、あるいは、一連の画像（例えば、映像又は複数の画像）としてもよい。カメラは他の電子デバイスとともに配置されてもよいし、スマートフォン、ラップトップコンピュータ、タブレットコンピュータ、ウェアラブル電子デバイスなどのカメラなど、他の電子デバイスの部分であってもよい。

ブロック１００は、カメラによりキャプチャされた画像内の人の重要な身体の点を検出することを記述する。

重要な身体の点としては、限定されないが、頭、眼（単数又は複数）、耳（単数又は複数）、鼻、口、顎、首、胴、肩（単数又は複数）、肘（単数又は複数）、手首（単数又は複数）、手（単数又は複数）、腰（単数又は複数）、膝（単数又は複数）、足首（単数又は複数）、又は片足（両足）のうち１つ以上が挙げられる。重要な身体の点はまた、手足を接続する主要又は重要な関節（例えば、足首、膝、腰、肩、肘、手首、及び首）を含む。

画像を分析し、人などのオブジェクトを検出することができる。例えば、顔認識ソフトウェア及び／又はオブジェクト認識ソフトウェアは、１枚又は複数の画像内の１人又は複数の人の１つ又は複数の重要な身体の点を、検出し特定する。

ブロック１１０は、重要な身体の点から、画像内の人の頭から両足に延びる直交線を抽出することを記述する。

頭及び両足(画像内で観察できる場合)が識別されると、例示的な実施形態は、人の頭から両足に延びる線を描画又は決定する。例えば、立っている人又は直立している人の場合、この線は、頭の頂点から、鼻と口を通り、首と胴の中間を通り、そして、地面まで延びる。人が両足を揃えて、又はわずかに空けて直立している場合、この線は、地面の両足間の等しい距離に延びる。

例示的な実施形態では、頭から足指まで、又は足指から頭まで描かれた線は、直交線を提供する。身体の重要点は、首点は、頭の動きに対して頭点より頑強（ｒｏｂｕｓｔ）であるので、より正確な直交線を与えることができる。

ブロック１２０は、直交線から、画像内で直立している人の頭－足指線を選択することを記述する。

概ね直立している人は、腰又は膝を曲げずに、背筋と首を真っ直ぐにして立っている。例えば、人は、自身の身長を正確に測定するため、直立姿勢で立っている。直立姿勢で立っている人は概ね、地面に対して垂直に立っている。

すべての頭－足指線が直立している人を表すとは限らない。頭－足指線は必ずしも、人が立っている地面に垂直であるとは限らない。このような場合、この線を、歪めたり、斜めにしたり、屈曲させたり、水平にしたりすることができる。これらの線は、カメラを較正する際に問題を引き起こし、例示的な実施形態では、較正プロセスの考慮から、フィルタリングされ、削除され、又は破棄される。

人が地面に横たわっている例を検討する。この場合、頭－足指線は、地面に平行又は概ね平行となる。人が立っているが腰を曲げている、又は頭を傾けて立っている別の例を検討する。これらの場合には、頭－足指線は地面（すなわち、人が立っている表面）に垂直とはならず、角度がつくことになる。このような頭－足指線は、画像内の周囲のオブジェクトのサイズ又は高さについて不正確な情報を提供する場合があるので、カメラ較正の場合には信頼性がない。

例示的な実施形態では、カメラ較正は、１枚又は複数の画像内で直立している人の頭－足指線に基づくものである。これらの頭－足指線は、カメラが較正され得る画像内の身長及び遠近感の信頼性の高い指標を提供する。これらの線は、地面に垂直である。直立していない個人の頭－足指線を削除でき、それを考慮しない、あるいは、直立している個人よりより小さい重みを付与することができる。

カメラ較正のため、どの頭－足指線を受け入れるか、また、どの頭－足指線を拒否するかを選択又は決定することは、様々な技術的課題を提供する。例えば、画像内の人の正確な向きを決定するのは困難である。例えば、人は、腰を曲げて立っている、又は首を傾けて立っている場合がある。さらに、１つ又は複数のオブジェクトが人を完全に又は部分的に遮っている場合がある(例えば、両足を遮る椅子又は他のオブジェクトの前で人が立っている)。

こうして、例示的な実施形態は、カメラ較正のために、サイズ及び／又は高さに関する信頼性の高い、かつ正確な情報を提供する頭－足指線を選択する。この選択を行うため、例示的な実施形態は、空間クラスタリング、ポーズ推定、頭及び足指点の検出、及び人間の身長の測定のうち１つ又は複数の因子を実行および／または考慮する。これらの因子は、以下で、詳しく議論し、カメラを較正するために人の画像を用いる際のエラーを低減する。

空間クラスタリングは、同一のグループ内のオブジェクトが同一のグループ内の他のオブジェクトと比較した場合に、同様の特性を呈するように、オブジェクトを特定の次元又は特性で、グループ(又はクラスタ)にグループ化するプロセスである。一般に、クラスタ内のオブジェクトは、他のクラスタ内のオブジェクトと比較した場合、高い類似度を示す。外れ値は、データセット内の点の平均又は中央値からはるかに離れたデータ点である。

空間クラスタリングはデータ点をクラスタ化し、階層クラスタリング、部分的クラスタリング（例えば、Ｋ平均法（Ｋ－ｍｅａｎｓ））、密度ベースのクラスタリング及びグリッドベースのクラスタリングに基づくアルゴリズムなど、異なるクラスタリングアルゴリズムを、クラスタを規定するために実行することができる。例えば、頭－足指線間の距離はクラスタリングのために使用される。

Ｋ平均クラスタリングを実行する例示的な実施形態を検討する。Ｋ平均クラスタリングは、ｋ個のクラスタでｎ個の観測値を分割する。各観測値は、最も近い平均を有するクラスタに割り当てられる。ヒューリスティックアルゴリズム又は反復改良法を用いたガウシアン分布を実行するアルゴリズムなど、様々なアルゴリズムは、Ｋ平均クラスタリングを実行することができる。

ｋがクラスタの任意数であり、選択された頭－足指線の足指点に基づいて実行される例示的な実施形態を検討する。このプロセスは個人が立っている地面のすべてのサブ領域でクラスタを見つけるために実行する。任意選択的に、空間クラスタの一つ又はいくつかがサンプル数において、まばら（sparse）である場合、直交線抽出ステージが、これらのまばらなサブ領域において、より多くのサンプルを収集するために延長される。

ここで、頭－足指線の足指点が空間クラスタリングを実行するための母集団を形成する。以上説明したように、クラスタリングが実行され、（各クラスタ内において）クラスタ中心に最も近い足指点が選択される。これらの選択された足指点に対応する頭－足指線は、その後、較正に渡される。一例示的な実施形態では、較正を成功させるために、画像内の異なるサブ領域にわたって最小限６本の頭－足指線が要求される。これにより、クラスタのデフォルト数は、６個であると規定され、６本の頭－足指線を特定する。ユーザはより高い値を設定することもできる。

ポーズ推定は重要な身体の点のうち１つ又は複数の間の様々な線及び／又は角度を考査する。角度は、例えば、人の姿勢を決定するために分析され得る情報（例えば、座っている、立っている、横たわっている、直立している、非直立に立っているなど）を提供する。

特定の肢（例えば、大腿と上半身）間の角度を考慮する例示的な実施形態を検討する。これらの角度に基づいて、例示的な実施形態は、人が座っているか、それとも立っているかを検出する。独りで立っている人間の頭－足指線を、このステージを用いて、選択することができる。

立っている個人の両足間の距離又は空間的関係を決定する例示的な実施形態を検討する。足首の重要点の対の距離がゼロ又はほぼゼロである(例えば、人が両足を合わせて、又はほぼ合わせて立っている)と確認及び決定された場合、このスタンスは人が立っており、おそらく直立していることを示す。両足を過度に広げて立っている人の頭－足指線は正確な身長を示さない。

人間のポーズは肢の重要点の間の角度を監視することで推定することができる。例えば、膝を曲げていない人の場合、大腿骨と脚の下側部分との角度はほぼ１８０度である。同様に、屈んでいない人の場合、大腿骨と胴との角度は、１８０度に近い。

頭及び足指点の検出は人間の解剖学的比率に基づくものである。人間は大きさ及び格好が様々であるが、人体の比率は標準又は既知の範囲内で発生する。このような測定では、頭は測定の基本単位であり、頭の頂点から顎までに生じる。

一例示的な実施形態は、首の身体の重要点を考査し、推定される直立した頭の位置を決定する。これにより、人が頭を傾けている場合から頭－足指線のサンプルを確実に抽出することができる。人間の解剖学的比の原則を使用して、首点からこの点を導出する（例えば、頭の位置は首の位置から１．２５頭分離れている）。

一例示的な実施形態は足首の身体の重要点を考査し、推定される足指の位置を決定する。同様の解剖学的比の原則を利用して、足首点からこの点を導出する（例えば、足指位置は足首位置から０．２５頭分離れている）。２つの足指位置間の等距離点が人間の足指の中心位置として選択される。

頭及び足指の位置が特定されると、人の身長を決定することができる。人間の身長は頭の頂点と足指点との間の距離によって測定される。

人の身長（ｃｍ）はそれぞれの人により異なる。そこで、上述した様々な場合に対して実行され、画像内の画素の高さに相当する詳細な身長の調査から、人間の平均身長（ｃｍ）を採用することができる。平均身長の調査は、様々な人種、異なる性別、及び異なる年齢層で異なる。

各クラスタにおいて、統計的平均化を介して画素の高さを算出する。実際の人間の身長が利用できない場合は、人間の平均身長を使用することができる。この身長は画像（単数又は複数）から抽出された直交線に基づいて算出される。

特定の身長が頻繁には発生しない場合があり、外れ値として見なされるべきであるので、人間の身長の全範囲を使用することはできない（例えば、一般集団と比べて、一部の人は、極端に背が高く、他の人は、極端に背が低い）。したがって、人間の身長のガウスフィッティングが行われる。±σを表すガウス平均は人間の平均身長と見なされ、対応する頭－足指線が選択される。ガウスフィッティングにより、最も一般的に生じる身長測定値が処理のために確実に選択される。

異なる性別及び年齢層の身長は、かなり異なるので、画像処理及び／又は人体解剖学比率を用いた年齢推定、性別推定が行われ、異なるグループを分離する。例えば、成長した大人の身長は自分の頭サイズの８倍であるが、赤ん坊の身長はその頭サイズ４倍である。

ブロック１３０は、画像内で直立している人の頭－足指線からカメラを較正することを記述する。

カメラ較正を行い、焦点距離、主点などカメラ固有のパラメータ及びカメラ傾き角度,回転角度及びパン角などの外部パラメータを推定する。較正では、選択された頭－足指線を使用して、複数の２次元平面が構築され、それは、その後、最小限２つの直交消失点と水平線を推定するために使用される。消失点は画像内のエッジが交差する２次元の点である。投影行列を消失点から算出し上述のカメラパラメータを推定する。

カメラが１つ又は複数の画像を撮影し、カメラ(又はカメラと通信する別の電子デバイス)がカメラ較正を実行する例示的な実施形態を検討する。直交線は高さで空間的にサンプリングされる。例えば、約６個の点(６本の頭－足指線を表す)は、カメラビューに対してカメラを較正するのに十分である。クラスタ点は６個のサンプル点に対するカメラビュー上の６つのエリア内に生じる。

時間的サンプリングを実行する例示的な実施形態を検討する。統計上、長期間にわたって多くの人の身長を平均化すると、人間の身長の統計的測定値に収束する。更に、同じ場所の人間の身長の平均をとることは、サンプリングデータとして使用され得る。性別（男性及び女性）及び年齢（大人、子供）など分類された各人の属性で平均化することで、より正確なサンプルデータを付与することができる。

従来のブロブアプローチを用いた例示的な較正技法を検討する。このアプローチは、人間のブロブの主軸を検出する（画像差分／背景差分を適用することによって前景領域が検出される）ことで、人間の身長線を直交線として抽出する。この問題は、人が一緒にいる場合、主軸が水平であり得るので、地面から上向きに測定された人間の身長線を表さないことにある。これは、従来のブロブアプローチを利用しない例示的な実施形態については発生しないであろう。

例示的な実施形態はまた、足りない重要点の推定データの発生を説明する。重要点の一部がオブジェクトが人を遮るため、検出されない場合があり得る。例えば、人の脚が、椅子又は他のオブジェクトによって遮られているので画像内で視認できない。例示的な実施形態は、人体解剖学的比率を用いてこのような足りない重要点を推定することによって、この問題を解決する。

カメラ較正用の従来のポーズ推定技法は、人が立っているか、座っているか、それとも屈んでいるかに関わらず、人間の身長線を抽出する。このような線を選択することは望ましくなく、カメラ較正の精度に影響を与える。例示的な実施形態は、（重要な身体の点間の線を描くことで生成される）人間の肢間の角度を監視又は決定することで、この問題を解決する。例えば、胴と脚との間の角度を監視して、人が屈んでいるか否かを判明することができる。

図２は、例示的な実施形態にかかる画像内の人の姿勢を決定する方法である。

ブロック２００は、鼻、眼及び／又は耳の位置とともに、身体の様々な関節を表す画像内の重要な身体の点を接続することについて記述する。

重要な身体の点間において、１つ又は複数の線を描く。例として、これらの線は、手首と肘、肘と肩、首と腰、腰と膝、膝と足首、肩と首、首と顎又は口又は鼻及び眼と耳との間の１つ又は複数の線を含むが、これらに限定されない。

ブロック２１０は、重要な身体の点を接続する線の傾斜角に基づいて、画像内の人の姿勢を決定することについて記述する。

人間のポーズは、肢の重要点間の角度を監視することで推定することができる。例えば、膝を曲げていない人の場合、大腿骨と脚の下側部分との間の角度はほぼ１８０度である。同様に、屈んでいない人の場合、大腿骨と胴との角度は、１８０度に近い。

図３Ａは例示的な実施形態にかかる（円で示した）重要な身体の点を有する人間３００の正面及び背面側面図を示す。

図３Ｂは、例示的な実施形態にかかる重要な身体の点を接続する線３２０を用いた人間３１０の正面図を示す。関節は、２本の線が交わる点に配置され、黒い点で示されている。

図４は例示的な実施形態にかかる人の画像の分析に基づいてカメラを較正する流れ図である。

流れ図はブロック４１０（高さを有するＮ本の直交線のカメラ較正）で開始し、ブロック４２０（身体の重要点の検出）に進む。ブロック４２０は、３つのブロック、すなわち、４３０（空間選択）、４３２（直交線抽出）、及び４３４（身長情報）に結合する。ブロック４４６（一定の身長）及びブロック４４４（性別、年齢など、人間の身長の平均化を使用）はブロック４３４に連結する。ブロック４４２は３つのブロック、すなわち、４５０（人間の首－足指位置）、４５２（足指／脚、頭、足首、耳など重要な身体の点の推定）、及び４５４（座っている、直立している、直立していない、横たわっているなどのポーズ推定）に結合する。

図５は例示的な実施形態にかかる例示的な実施形態を実行する電子デバイス５００である。

電子デバイス５００は、処理ユニット５１０（例えば、プロセッサ、コントローラ、マイクロプロセッサ）、ディスプレイ５２０、１つ又は複数のインターフェース５３０（例えば、ユーザインターフェース又はグラフィカルユーザインターフェース）、メモリ５４０（例えば、ＲＡＭ及び／又はＲＯＭ）、送信機及び／又は受信機５５０、レンズ５６０、及びカメラ較正５７０（例えば、１つ又は複数のブロックを実行するソフトウェア及び／又はハードウェア又は本明細書で議論した例示的な実施形態）のうち１つ又は複数を含む。

例示的な実施形態はカメラを較正するためオブジェクトとして人間を用いた接続において議論される。しかし、例示的な実施形態は人間に限定されず、自動車、動物、建物並びに他のオブジェクト及び構造体など他のオブジェクトを含むことができる。

いくつかの例示的な実施形態では、本明細書に説明する方法及びそれに関連付けられたデータ及び命令は、コンピュータ可読及び／又は機械可読記憶媒体、物理的又は有体媒体、及び／又は非一時的な記憶媒体として実装される、それぞれのストレージデバイスに格納される。これらの記憶媒体は、ＤＲＡＭ又はＳＲＡＭなど半導体メモリデバイス、消去可能なかつプログラム可能な読み取り専用メモリ（ＥＰＲＯＭ）、電気的に消去可能な、かつ読み取り専用メモリ（ＥＥＰＲＯＭ）及びフラッシュメモリを含む様々な形式のメモリ、固定ディスク及びリムーバブルディスクなどの磁気ディスク、コンパクトディスク（ＣＤ）又はデジタル多用途ディスク（ＤＶＤ）テープを含む他の磁気媒体を含む。なお上記に論じたソフトウェアの命令はコンピュータ可読または機械可読記憶媒体上に設けられ、或いは、複数のノードを有する可能性のある巨大なシステムに分散された複数のコンピュータ可読または機械可読記憶媒体上に設けられてもよい。このようなコンピュータ可読または機械可読媒体は、物品の一部（または製造物品）と見なされる。物品または製造物品は、製造された単一の構成部品または複数の構成部品を指す場合がある。

本明細書で論じたブロック及び／又は方法は、ソフトウェアアプリケーション、電子デバイス、コンピュータ、ファームウェア、ハードウェア、プロセス、コンピュータシステム及び／又はエンジン（１つ又は複数の例示的な実施形態または例示的な実施形態の一部を実行するようにプログラム及び／又は構成されたハードウェア及び／又はソフトウェアである）によって実行及び／又は作成され得る。更にまた、本明細書に論じたブロック及び／又は方法はユーザからの命令により、またはそれによらず、自動的に実行され得る。

本実施形態の前述の詳細な説明では、例示的な実施形態が提示されたが、膨大な数の変形例が存在することを理解されたい。例示的な実施形態は単なる例に過ぎず、いかなる方法でも、発明の範囲、適用可能性、動作、または構成を制限することを意図しないことを更に理解されたい。むしろ、前述の詳細な説明は、発明の例示的な実施形態を実装するための便利なロードマップを当業者に提供し、特許請求の範囲に記載される発明の範囲を逸脱せずに、例示的な実施形態に記載したステップの機能及び配置及び動作の方法において様々な変更が行われ得ることを理解されたい。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
カメラの較正を改良するために、１つ又は複数のプロセッサによって実行される方法であって、
前記カメラによりキャプチャされた画像から、前記画像内の人の重要な身体の点を検出することと、
前記重要な身体の点から、前記人の頭の点から足指の中心点までに延びる高さを有する直交線を抽出することと、
前記高さを有する前記直交線から、前記画像内で直立している前記人の頭－足指線を選択することと、
高さを有する前記直交線から前記カメラを較正することと、を含む、方法。
（付記２）
前記頭－足指線の足指点に基づいた空間クラスタリングを実行し、前記画像内の前記人が立っている地面上のすべてのサブ領域内のクラスタを発見すること
を更に含む、付記１に記載の方法。
（付記３）
１つ又は複数の空間クラスタが前記画像のサブ領域にまばら（sparse）である場合、前記サブ領域内のより多くの直交線を収集及び分析すること
を更に含む、付記２に記載の方法。
（付記４）
前記人の大腿と上半身との間の角度、及び前記人の前記大腿と脚の下側部分との間の角度を決定することで、直立している前記人を決定すること
を更に含む、付記１に記載の方法。
（付記５）
前記人の足首間距離を、前記重要な身体の点の１つとして決定し、両足を揃えて立っている人を特定することと、
前記較正するステップから、前記足首間距離に基づいて、両足を揃えずに直立している人を取り除くことと、
前記較正するステップに対し、前記足首間距離に基づいて、両足を揃えて直立している人を追加することと、を更に含む、付記１に記載の方法。
（付記６）
前記重要な身体の点の一つとして、首の点に基づいて、前記人の頭の傾きを決定することと、
前記較正するステップから、前記人の頭の前記傾きに基づいて、頭を傾いて直立している人を取り除くことと、
前記較正するステップに対し、前記人の頭の傾きに基づいて、頭を傾けずに直立している人を追加することと、を更に含む、付記１に記載の方法。
（付記７）
前記重要な身体の点の一つとして、首の点に基づいて前記人の頭の傾きを決定することと、
前記較正するステップから、前記人の頭の傾きに基づいて、頭を傾けて直立している人を取り除くことと、
前記較正するステップに対し、前記人の頭の傾きに基づいて、頭を傾けずに直立している人を追加することと、
を更に含む、付記１に記載の方法。
（付記８）
前記画像から抽出された前記直交線の高さの統計的平均に基づいて、前記画像内の前記人の人間の平均身長を算出することと、
前記較正するステップから、前記人間の平均身長当たりの外れ値である前記直交線の高さを取り除くことと
を更に含む、付記１に記載の方法。
（付記９）
人を有する画像をキャプチャするレンズと、
命令を記憶するメモリと、
前記画像から、前記人における重要な身体の点を検出し、
前記重要な身体の点から、前記人の頭から両足に延びる直交線を抽出し、
前記直交線から、前記画像内で直立している人の頭－足指線を選択し、
前記画像内で直立している前記人の前記頭－足指線から、カメラを較正することで、カメラの較正を改良する前記命令を実行するプロセッサと、
を備えるカメラ。
（付記１０）
前記プロセッサは、前記カメラを較正するステップから、前記画像内に直立していない前記人の前記頭－足指線を取り除くことで、前記カメラの較正を改良する命令を更に実行する、
付記９に記載のカメラ。
（付記１１）
前記プロセッサは、前記頭－足指線を空間的にクラスタリングし、前記画像内の地面上の様々なサブ領域を表すことで、前記カメラの較正を改良する前記命令を更に実行する、付記９に記載のカメラ。
（付記１２）
前記プロセッサは、ガウシアンフィッティングごとに人間の身長をモデル化し、人間の平均身長を有する前記頭－足指線を選択することで、前記カメラの較正を改良する前記命令を更に実行する、
付記９に記載のカメラ。
（付記１３）
前記人における前記重要な点は、頭点、首点、肩点、肘点、手首点、腰点、膝点、及び足首点を含む、付記９に記載のカメラ。
（付記１４）
前記プロセッサは、
前記重要な身体の点を接続する線の傾斜角を決定し、前記人の姿勢を発見することで、前記カメラの較正を改良する前記命令を更に実行する、
付記９に記載のカメラ。
（付記１５）
前記プロセッサは、
前記重要な身体の点を接続し、鼻、眼、及び耳の位置とともに前記人の関節を発見し、
前記関節、前記鼻、前記眼及び前記耳の位置に基づいて前記人の姿勢を発見することで
前記カメラの較正を改良する前記命令を更に実行する、
付記９に記載のカメラ。
（付記１６）
前記プロセッサは、
重要な身体の点の欠如を決定し、特定の身体の部分が前記カメラの前記レンズの視点から視認できないことを示すことで
前記カメラの較正を改良する前記命令を更に実行する、付記９に記載のカメラ。
（付記１７）
１つ又は複数の電子デバイスがカメラの較正を改良する方法を行うように実行する命令を格納する無形のコンピュータ可読記憶媒体であって、前記方法は、
画像内の人における重要な身体の点を検出することと、
前記重要な身体の点から、前記人の前記頭から両足まで延びる直交線を抽出することと、
前記直交線から、前記画像内で直立している前記人の頭－足指線を選択することと、
前記画像内で直立している前記人の前記頭－足指線から前記カメラを較正することと、を含む、無形のコンピュータ可読記憶媒体。
（付記１８）
前記方法は、
前記重要な身体の点から、前記人の頭と足指を決定することと、
前記人の前記頭から前記足指まで延びる前記頭－足指線を提供することと、を更に含む、付記１７に記載の無形のコンピュータ可読記憶媒体。
（付記１９）
前記方法は、
前記重要な身体の点から、前記人の膝、足首、腰、首、及び頭のうち１つ以上の間に延びる線の角度を決定することと、
前記角度から、どの人が座っているか、どの人が立っているか、どの人が非直立姿勢で立っているか、及びどの人が直立姿勢で立っているかを決定すること、
を更に含む、付記１７に記載の無形のコンピュータ可読記憶媒体。
（付記２０）
前記方法は、
前記カメラを較正するステップから、前記画像内の直立していない前記人の頭－足指線を取り除くこと、
を更に含む、付記１７に記載の無形のコンピュータ可読記憶媒体。

本願は、２０１８年１０月２９日に出願されたシンガポール特許出願第１０２０１８０９５７２Ｒの優先権に基づき、その利益を主張するものであり、その開示を参照として、その全体が組み込まれる。

３００ 人間
３１０ 人間
３２０ 線
５００ 電子デバイス
５１０ 処理ユニット
５２０ ディスプレイ
５３０ インターフェース（単数又は複数）
５４０ メモリ
５５０ 受信機
５６０ レンズ
５７０ カメラの較正

Claims (8)

1. カメラの較正を改良するために、１つ又は複数のプロセッサによって実行される方法であって、
   前記カメラによりキャプチャされた画像から、前記画像内の人の重要な身体の点を検出することと、
   前記重要な身体の点から、前記人の頭の点から足指の中心点までに延びる高さを有する直交線を抽出することと、
   前記高さを有する前記直交線から、前記画像内で直立している前記人の頭－足指線を選択することと、
   高さを有する前記直交線から前記カメラを較正することと、
   前記頭－足指線の足指点に基づいた空間クラスタリングを実行し、前記画像内の前記人が立っている地面上のすべてのサブ領域内のクラスタを発見することと、
   を含む、方法。
2. 前記１つ又は複数の空間クラスタが前記画像のサブ領域においてまばら（sparse）である場合、前記サブ領域においてより多くの直交線を収集及び分析すること
   を更に含む、請求項１に記載の方法。
3. カメラの較正を改良するために、１つ又は複数のプロセッサによって実行される方法であって、
   前記カメラによりキャプチャされた画像から、前記画像内の人の重要な身体の点を検出することと、
   前記重要な身体の点から、前記人の頭の点から足指の中心点までに延びる高さを有する直交線を抽出することと、
   前記高さを有する前記直交線から、前記画像内で直立している前記人の頭－足指線を選択することと、
   高さを有する前記直交線から前記カメラを較正することと、
   前記人の大腿と上半身との間の角度、及び前記人の前記大腿と脚の下側部分との間の角度を決定することで、直立している前記人を決定することと、
   を含む、方法。
4. カメラの較正を改良するために、１つ又は複数のプロセッサによって実行される方法であって、
   前記カメラによりキャプチャされた画像から、前記画像内の人の重要な身体の点を検出することと、
   前記重要な身体の点から、前記人の頭の点から足指の中心点までに延びる高さを有する直交線を抽出することと、
   前記高さを有する前記直交線から、前記画像内で直立している前記人の頭－足指線を選択することと、
   高さを有する前記直交線から前記カメラを較正することと、
   前記人の足首間の距離を、前記重要な身体の点の１つとして決定し、両足を揃えて立っている人を特定することと、
   前記較正するステップから、前記足首間の距離に基づいて、両足を揃えずに直立している人を取り除くことと、
   前記較正するステップに対し、前記足首間の距離に基づいて、両足を揃えて直立している人を追加することと、を含む、方法。
5. カメラの較正を改良するために、１つ又は複数のプロセッサによって実行される方法であって、
   前記カメラによりキャプチャされた画像から、前記画像内の人の重要な身体の点を検出することと、
   前記重要な身体の点から、前記人の頭の点から足指の中心点までに延びる高さを有する直交線を抽出することと、
   前記高さを有する前記直交線から、前記画像内で直立している前記人の頭－足指線を選択することと、
   高さを有する前記直交線から前記カメラを較正することと、
   前記重要な身体の点の一つとして、首の点に基づいて、前記人の頭の傾きを決定することと、
   前記較正するステップから、前記人の頭の傾きに基づいて、頭を傾いて直立している人を取り除くことと、
   前記較正するステップに対し、前記人の頭の傾きに基づいて、頭を傾けずに直立している人を追加することと、を含む、方法。
6. カメラの較正を改良するために、１つ又は複数のプロセッサによって実行される方法であって、
   前記カメラによりキャプチャされた画像から、前記画像内の人の重要な身体の点を検出することと、
   前記重要な身体の点から、前記人の頭の点から足指の中心点までに延びる高さを有する直交線を抽出することと、
   前記高さを有する前記直交線から、前記画像内で直立している前記人の頭－足指線を選択することと、
   高さを有する前記直交線から前記カメラを較正することと、
   前記画像から抽出された前記直交線の高さの統計的平均に基づいて、前記画像内の前記人の人間の平均身長を算出することと、
   前記較正するステップから、前記人間の平均身長当たりの外れ値である前記直交線の高さを取り除くことと
   を含む、方法。
7. 人を有する画像をキャプチャするレンズと、
   請求項１～６のいずれかに記載の方法を規定する命令を記憶するメモリと、
   前記命令を実行するプロセッサと、
   を備えるカメラ。
8. 請求項１～６のいずれかに記載の方法を１つ又は複数の電子デバイスに実行させるプログラム。

Images