JP6581086B2 - 複数の仮想デバイスを使用して熱画像データを解析するための方法、及び深度値を画像画素と相関させるための方法 - Google Patents

Description

（関連出願の相互参照）
本出願は、その全容が参照により本明細書に組み込まれる「ＭＥＴＨＯＤＳ ＦＯＲ ＡＮＡＬＹＺＩＮＧ ＴＨＥＲＭＡＬ ＩＭＡＧＥ ＤＡＴＡ ＵＳＩＮＧ Ａ ＰＬＵＲＡＬＩＴＹ ＯＦ ＶＩＲＴＵＡＬ ＤＥＶＩＣＥＳ，ＣＯＲＲＥＬＡＴＩＮＧ ＤＥＰＴＨ ＶＡＬＵＥＳ ＴＯ ＩＭＡＧＥ ＰＩＸＥＬＳ，ＡＮＤ Ａ ＳＹＳＴＥＭ ＩＮＣＬＵＤＩＮＧ Ａ ＳＥＡＭＬＥＳＳ ＬＥＮＳ ＣＯＶＥＲ」と題する２０１３年８月９日に出願された米国仮出願第６１／８６４，１９６号の利益を主張する。

パノラマ画像は、最大３６０度の視界を共に作る広角カメラのアレイによって、又は魚眼レンズ若しくは後にコンピュータによって平坦化される連続的な「ミラーボール」画像を可能にする他のパノラマミラーを備える１つのカメラによって作成され得る。センサが広い視界へわたって広がっているので（時には完全に３６０度）、これらの画像は、ビデオ監視に有用であるために必要な詳細を提供するその能力が制限される。

熱パノラマ画像を捕捉する比較的新しい手段は、極低温で冷却された熱センサ又は他の高速カメラを６０ＲＰＭ未満で連続的にスピンさせ、かつカメラからの画像を、それらが共にスティッチされ、解析されるコンピュータで処理することによる。これらの極低温で冷却されたセンサは、たった数ナノ秒で画像を捕捉する能力を有し、これは、それらが、ほぼリアルタイムのビデオを作成することを可能にする。しかしながら、これらの冷却されたセンサは、電力を大量消費し、高価であり、多くの用途においてそれらを非実用的にしている。加えて、高速カメラは、それらを白昼状態以外ではその有用性を非常に制限させる非常に大きな照明要件を有する。

当該技術分野における現存する進歩においてでさえ、改善されたカメラシステム及び解析方法、特に、最小の複雑性及び費用を示すもの並びに比較的低い電力要件下で動作することができるものの必要性が依然として存在する。

本明細書で特許請求される主題は、いかなる不利益も解決するか、又は上述されたものなどの環境でのみ動作する実装形態に制限されない。むしろ、この背景技術は、本明細書に記載されるいくつかの実装形態が実行される１つの例示的な技術分野を示すためにのみ提供される。

本発明の実装は、複数の仮想デバイスを使用して、パノラマ画像データの個々の画像フレームを分類及び解析するように構成されたシステム、方法、及びコンピュータプログラム製品を含む。例えば、本発明の実装形態は、複数の仮想デバイスを使用して、パノラマ画像データの個々の画像フレームを解析及び分類するためのオンサイトシステムを対象とする。かかるシステムは、熱画像化カメラが、複数の停止位置を通ってカメラを回転させるために据え付けられた割り出し機構と、熱画像化カメラであって、熱画像化カメラ画像を撮影するように構成され、熱画像化カメラが複数の停止位置を通って回転するときに、熱画像化カメラ画像のうちの少なくともいくつかが停止位置に対応する、熱画像化カメラと、停止位置のうちのいずれにも対応しない任意の熱画像化カメラ画像を処分するように構成され、その結果、任意の停止位置に対応するこれらの熱画像化カメラ画像を保持する、多重化及び解析モジュールと、を含み得る。多重化及び解析モジュールは、保持された熱画像化カメラ画像のビデオストリームを個々の熱画像化カメラ画像に分割することによって、保持された熱画像化カメラ画像のビデオストリームを処理するように構成され得、保持された熱画像化カメラ画像は、対応する仮想カメラデバイスのために記憶される。仮想カメラデバイスのそれぞれは、特定の停止位置に対応し得、仮想カメラデバイスは、熱画像化カメラに対してオンサイトであり得る。多重化及び解析モジュールは、保持された熱画像化カメラ画像をオンサイトでパノラマへと共にスティッチしないように構成され、その結果、熱画像化カメラ、カメラを回転させるための割り出し機構、及び仮想カメラデバイスのために画像を分類するための多重化及び解析モジュールを含むオンサイトシステムのための総電力要件が、約１０ワット以下である。画像は、オンサイトシステム上又はオフサイト（例えば、必要であれば、オンサイトで中継される）で記憶され得る。

本発明の別の実装形態は、複数の停止位置を通って回転する熱画像化カメラからの熱画像化カメラ画像を得ることを含む。カメラは、一定のフレームレートで熱画像化カメラ画像を捕捉し得る。熱画像化カメラ画像のうちの少なくともいくつかは、停止位置に対応するが、一方で、他の捕捉された熱画像化カメラ画像は、いずれの停止位置にも対応しない。停止位置のうちのいずれかに対応する熱画像化カメラ画像は、保持されるが、一方で、いずれの停止位置にも対応しない熱画像化カメラ画像は、処分される。保持された熱画像化カメラ画像は、ビデオストリームにおいて、それらが個々の熱画像化カメラ画像に分割されるビデオプロセッサに送信され、所与の画像が対応する特定の停止位置に対応する、対応する仮想カメラデバイスのために分類される。保持された分類された画像の記憶はオンサイトであり得る。別の実装形態において、記憶は、オフサイトであり得、画像は、必要に応じてオンサイトに中継される。仮想カメラデバイスは、熱画像化カメラに対して、遠隔ではなく、オンサイトである。熱画像化カメラ画像は、意図的に、オンサイトのパノラマ画像へと共にオンサイトでスティッチされず、その結果、オンサイトシステム（例えば、熱画像化カメラ、カメラを回転するための割り出し機構、及び仮想カメラデバイスのために画像を分類するための多重化及び解析モジュールを含む）の総電力要件が約１０ワット以下である。

いずれの停止位置にも対応しない画像を処分することによって、これらの画像を受信しないので、ビデオプロセッサが、定期的に休止することを可能にし得、したがって、システムをより電力効率良好にさせる。同様に、オンサイト解析は、比較的単純な機能（例えば、画像を共にスティッチしないが、何が起こっている可能性があるかなどを見るために所与の場所で停止及び凝視する）に限定されるので、システムは、比較的限定された電力消費特性を示す。例えば、オンサイトシステムは、約１０ワット未満を必要とし得、何年もの期間、無人で放置することができ、比較的小さな太陽電池によって充電されたバッテリーによって給電することができる。

別の態様において、本発明は、パノラマ画像の個々の画像フレームの画素位置の深度値（すなわち、カメラからの距離）の判定を含む、地理的位置データを相関させるための方法に関する。本方法は、複数の停止位置を通って回転する単一のカメラからカメラ画像（例えば、熱画像化カメラ画像）を得る工程を含み得る。カメラは、一定のフレームレートで画像を捕捉し得、カメラが複数の停止位置を通って回転するときに、画像のうちの少なくともいくつかが停止位置に対応する。カメラの位置は、地理的位置データと相関され得、所与のカメラ画像の画素位置は、地理的位置データと相関され得、所与のカメラ画像の画素位置の深度値は、カメラの地理的位置及び所与の停止位置が「指し示される」配向又は位置に少なくとも部分的に基づいて、判定され得る。

この発明の概要は、発明を実施するための形態において以下で更に説明される、簡素化された形態における、概念の選択を導入するために提供される。この発明の概要は、特許請求される主題の重要な特徴又は本質的な特徴を特定することも、特許請求される主題の範囲を決定する援助として使用されることも意図しない。

追加の特徴及び利点は、次に続く説明に記載され、部分的に、説明から明らかであり、又は本明細書における教示の実施によって学習され得る。本発明の特徴及び利点は、特に添付の特許請求の範囲で指摘される機器及び組み合わせによって実現され、かつ得られ得る。本発明の特徴は、以下の説明及び添付の特許請求の範囲からより完全に明らかとなるか、又はこの後に記載される本発明の実施によって学習され得る。

上に列挙された利点及び特徴並びに他の利点及び特徴が得られ得る方式を説明するために、上に簡単に記載された主題のより具体的な説明が、添付の図面に示される特定の実装形態を参照することによって、提供される。これらの図面が典型的な実装形態のみを描写し、したがって、範囲を制限しないものと考えられることを理解し、実装形態は、添付の図面の使用によって、追加の特異性及び詳細と共に記載及び説明されるであろう。
本明細書に記載される原理が動作し得るコンピューティングシステムの例を図式で示す。 本明細書に記載される原理が動作し得る特定の環境を図式で示す。 カメラが停止位置１を指し示し、時計回り方向に回転するときの本明細書において停止位置とも称される、仮想カメラ位置を図式で示す。 カメラが停止位置５を指し示し、図３Ａの通りの仮想カメラ位置を図式で示す。 図２に記載されるビデオプロセッサの実装を図式で示す。 例示的な方法を示すフローチャートである。 本発明に従う別の例示的な方法を示すフローチャートである。

本発明の実装は、複数の仮想デバイスを使用して、パノラマ画像データの個々の画像フレームを分類及び解析するように構成されたシステム、方法、及びコンピュータプログラム製品を含む。例えば、図５Ａに示される通り、本発明の実装形態は、複数の停止位置を通って回転する（Ｓ１２）熱画像化カメラからの熱画像化カメラ画像を得る方法Ｓ１０を含む。カメラは、一定のフレームレートで熱画像化カメラ画像を捕捉し得る。熱画像化カメラ画像のうちの少なくともいくつかは、停止位置に対応するが、一方で、他の捕捉された熱画像化カメラ画像は、いずれの停止位置にも対応しない。停止位置のうちのいずれかに対応する熱画像化カメラ画像は、保持されるが（Ｓ１４）、一方で、いずれの停止位置にも対応しない熱画像化カメラ画像は処分される（Ｓ１６）。

保持された熱画像化カメラ画像は、ビデオストリームにおいてビデオプロセッサに送信される（Ｓ１８）。それらは、個々の熱画像化カメラ画像に分割され、所与の画像が対応する特定の停止位置に対応する、対応する仮想カメラデバイスのために分類及び記憶され得る（Ｓ２０）。例えば、オンサイトシステムは、画像を記憶するための適切なメモリを含み得る。代替的に、画像のうちの一部又は全ては、オフサイトで記憶され得、必要に応じてオンサイトに中継され得る。仮想カメラデバイスは、熱画像化カメラに対してオンサイトであり得る。熱画像化カメラ画像は、オンサイトのパノラマ画像へと共にオンサイトでスティッチされず、その結果、オンサイトシステム（例えば、熱画像化カメラ、カメラを回転するための割り出し機構、及び仮想カメラデバイスのために画像を分類するための多重化及び解析モジュールを含む）の総電力要件が約１０ワット以下である（Ｓ２２）。

それぞれの停止位置からの個々の熱画像化カメラ画像は、ビデオストリームとして解析されて、所与の画像から次画像への変化を検出する（Ｓ２４）。

いずれの停止位置にも対応しない画像を処分することによって、これらの画像を受信しないので、ビデオプロセッサが、定期的に休止することを可能にし得、したがって、システムをより電力効率良好にさせる。同様に、オンサイト解析は、比較的単純な機能（例えば、画像を共にスティッチしないなど）に限定されるので、システムは、比較的限定された電力消費特性を示す（例えば、約１０ワット未満、何年もの期間、無人で放置することができ、比較的小さな太陽電池によって充電されたバッテリーによって給電することができる）。

別の態様において、本発明は、パノラマ画像の個々の画像フレームの画素位置の深度値の判定を含む、地理的位置データを相関させるための方法（Ｓ３０−図５Ｂに示される通り）に関する。本方法は、複数の停止位置を通って回転する単一のカメラからカメラ画像（例えば、熱画像化カメラ画像）を得る工程を含み得る（Ｓ３２）。カメラは、一定のフレームレートで画像を捕捉し得、カメラが複数の停止位置を通って回転するときに、画像のうちの少なくともいくつかが停止位置に対応する。カメラの位置は、地理的位置データと相関され得（Ｓ３４）、所与のカメラ画像の画素位置は、地理的位置データと相関され得（Ｓ３６）、所与のカメラ画像の画素位置の深度値は、カメラの地理的位置及び所与の停止位置が「指し示される」配向又は位置に少なくとも部分的に基づいて、判定され得る（Ｓ３８）。

任意選択で、深度情報判定（例えば、計算）は、オフサイトで実施され得、オンサイトでの記憶のためにカメラシステムサイトに中継し返され得る（Ｓ４０）。換言すれば、解析、及び画像の位置を位置データと相関させる処理、それぞれの画素の適切な深度値を判定することが、オフサイトで実施され得、その結果が、カメラシステムによる使用のためにオンサイトシステムに中継され得、オンサイトシステムの電力要件を更に減少させる。

使用中、所与の熱画像化カメラ画像の画素位置の所与の深度値は、同一の停止位置から以前に又は後に得られた熱画像化カメラ画像と比較されて、任意の変化、例えば、熱画像化カメラ画像において示された対象のサイズ又は移動速度を判定し得る（Ｓ４２）。

主題は、構造的特徴及び／又は方法論的行為に特有である言語で記載されるが、添付の特許請求の範囲で定義される主題は、本明細書に記載される、記載された特徴若しくは行為、又は本明細書に記載される行為の順序に必ずしも限定されないことを理解されたい。むしろ、記載された特徴及び行為は、特許請求の範囲を実行する形態の例として開示される。

コンピューティングシステムは、現在、ますます、多種多様な形態をとるようになっている。コンピューティングシステムは、例えば、携帯用デバイス、電気機器、ラップトップコンピュータ、デスクトップコンピュータ、メインフレーム、分散コンピューティングシステム、又はコンピューティングシステムとして従来は考慮されていなかったデバイスでさえあり得る。この説明及び特許請求の範囲において、「コンピューティングシステム」という用語は、少なくとも１つの物理的及び有形プロセッサ、並びに実行され得るコンピュータ実行可能な命令をそこに有することができる少なくとも１つの物理的及び有形プロセッサ、並びに物理的及び有形メモリを含む任意のデバイス又はシステム（又はそれらの組み合わせ）を含むとして広く定義される。

図１は、例示的なコンピューティングシステム１００を示す。その最も基本的な構成において、コンピューティングシステム１００は、典型的には、少なくとも１つの処理ユニット１０２及びメモリ１０４を含む。メモリ１０４は、揮発性、不揮発性、又はその２つのいくつかの組み合わせであり得る物理的システムメモリであり得る。「メモリ」という用語はまた、物理的記憶媒体などの不揮発性大容量記憶装置を指すために本明細書で使用され得る。コンピューティングシステムが分散される場合、処理メモリ及び／又は記憶の能力も分散され得る。

本明細書に記載されるコンピュータシステムのそれぞれは、例えば、ローカルエリアネットワーク（「ＬＡＮ」）、ワイドエリアネットワーク（「ＷＡＮ」）、及び更にインターネットなどのネットワーク（又はその一部であり得る）を介して互いに接続され得る。結果的に、記載されたコンピュータシステムのそれぞれ並びに任意の他の接続されたコンピュータシステム及びそれらの構成要素は、データに関するメッセージを作成することができ、ネットワークを介して、データに関するメッセージ（例えば、インターネットプロトコル（「ＩＰ」）データグラム及びＩＰデータグラムを利用する他の上位層プロトコル、例えば、伝送制御プロトコル（「ＴＣＰ」）、ハイパーテキスト転送プロトコル（「ＨＴＴＰ」）、簡易メール転送プロトコル（「ＳＭＴＰ」）など）を交換することができる。

本明細書で使用される場合、「実行可能なモジュール」又は「実行可能な構成要素」という用語は、コンピューティングシステム上で実行され得るソフトウェアオブジェクト、ルーティング、又は方法を指し得る。本明細書に記載される異なる構成要素、モジュール、エンジン、及びサービスが、コンピューティングシステム（例えば、別々のスレットとして）上で実行するオブジェクト又はプロセスとして実装され得る。

次に続く説明において、実装形態は、１つ又は２つ以上のコンピューティングシステムによって実施される行為に関して記載される。かかる行為が、ソフトウェアにおいて実装される場合、その行為を実施する関連するコンピューティングシステムの１つ又は２つ以上のプロセッサは、コンピュータ実行可能命令を実行したことに応じて、コンピューティングシステムの動作を指示する。例えば、かかるコンピュータ実行可能命令は、コンピュータプログラム製品を形成する１つ又は２つ以上のコンピュータ可読媒体上で具現化され得る。かかる動作の例は、データの操作を伴う。コンピュータ実行可能命令（及び操作されたデータ）は、コンピューティングシステム１００のメモリ１０４中に記憶され得る。コンピューティングシステム１００は、コンピューティングシステム１００が、例えば、ネットワーク１１０を介して他のメッセージプロセッサと通信することを可能にする通信チャネル１０８も含み得る。

本明細書に記載される実装形態は、以下で更に詳細に考察されるように、例えば、１つ又は２つ以上のプロセッサ及びシステムメモリなどのコンピュータハードウェアを含む専用並びに汎用コンピュータを備え得るか、又は利用し得る。システムメモリは、全体のメモリ１０４内に含まれ得る。システムメモリはまた、「メインメモリ」とも称され得、アドレス場所がメモリバス自体上で断定される場合、メモリバスを介して少なくとも１つの処理ユニット１０２によってアドレス指定可能であるメモリ場所を含む。システムメモリは、伝統的に揮発性であったが、本明細書に記載される原理はまた、システムメモリが、部分的に、又は完全にでさえ不揮発性である状況において適用される。

本発明の範囲内の実装形態は、コンピュータ実行可能命令及び／又はデータ構造を運搬又は記憶するための物理的及び他のコンピュータ可読媒体も含む。かかるコンピュータ可読媒体は、汎用又は専用コンピュータシステムによってアクセスされ得る任意の利用可能な媒体であり得る。コンピュータ実行可能命令及び／又はデータ構造を記憶するコンピュータ可読媒体は、コンピュータ記憶媒体である。コンピュータ実行可能命令及び／又はデータ構造を運搬するコンピュータ可読媒体は、伝送媒体である。したがって、例として、制限ではなく、本発明の実装形態は、少なくとも２つの明らかに異なる種類のコンピュータ可読媒体、すなわち、コンピュータ記憶媒体及び伝送媒体を備えることができる。

コンピュータ記憶媒体は、コンピュータ実行可能命令及び／又はデータ構造を記憶する物理的記憶媒体である。物理的記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ソリッドステートドライブ（「ＳＳＤ」）、フラッシュメモリ、相変化メモリ（「ＰＣＭ」）、光学ディスク記憶装置、磁気ディスク記憶装置若しくは他の磁気記憶デバイス、又はコンピュータ実行可能命令若しくはデータ構造の形態でプログラムコードを記憶するのに使用され得、かつ本明細書に記載される機能を実装するために汎用若しくは専用コンピュータシステムによってアクセス及び実行され得る任意の他の物理的ハードウェア記憶媒体（複数可）などの記録可能型記憶デバイスを含む。

伝送媒体は、コンピュータ実行可能命令又はデータ構造の形態でプログラムコードを運搬するのに使用され得、かつ汎用又は専用コンピュータシステムによってアクセスされ得るネットワーク及び／又はデータリンクを含み得る。「ネットワーク」は、コンピュータシステム及び／又はモジュール及び／又は他の電子デバイス間の電子データの輸送を可能にする１つ又は２つ以上のデータリンクとして定義される。情報が、ネットワーク又は別の通信接続（配線で接続されるか、無線か、又は配線接続若しくは無線の組み合わせのいずれか）を介して、コンピュータシステムに転送又は提供されるとき、コンピュータシステムは、伝送媒体として接続を調べ得る。上の組み合わせは、コンピュータ可読媒体の範囲内にも含まれるべきである。

更に、様々なコンピュータシステム構成要素に及ぶ際に、コンピュータ実行可能命令又はデータ構造の形態におけるプログラムコードは、伝送媒体からコンピュータ記憶媒体に（又は逆もまた同様）自動的に転送され得る。例えば、ネットワーク又はデータリンクを介して受信されるコンピュータ実行可能命令又はデータ構造は、ネットワークインターフェースモジュール（例えば、「ＮＩＣ」）内のＲＡＭにバッファリングされ得、次いで、コンピュータシステムＲＡＭに、及び／又はコンピュータシステムで揮発性が低いコンピュータ記憶媒体に最終的に転送され得る。したがって、コンピュータ記憶媒体は、伝送媒体も（又は主としてでさえ）利用するコンピュータシステム構成要素内に含まれ得ることが理解されるべきである。

コンピュータ実行可能命令は、例えば、１つ又は２つ以上のプロセッサで実行されるときに、汎用コンピュータシステム、専用コンピュータシステム、又は専用処理デバイスに一定の機能又は機能群を実施させる命令及びデータを含む。コンピュータ実行可能命令は、例えば、バイナリ、アセンブリ言語などの中間フォーマット命令、又は更にはソースコードであり得る。

当業者は、本発明が、パーソナルコンピュータ、デスクトップコンピュータ、ラップトップコンピュータ、メッセージプロセッサ、携帯用デバイス、マルチプロセッサシステム、マイクロプロセッサベースの又はプログラム可能な大衆消費電子製品、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ、携帯電話、ＰＤＡ、タブレット、ポケットベル、ルータ、スイッチなどを含む多くの種類のコンピュータシステム構成で、ネットワークコンピューティング環境において実行され得ることを理解するだろう。本発明はまた、ネットワークを通してリンクされた（配線で接続されたデータリンク、無線データリンクによって、又は配線で接続されたデータリンク及び無線データリンクの組み合わせのいずれかによって）ローカル及びリモートコンピュータシステムが両方ともタスクを実施する、分散システム環境において実行され得る。このため、分散システム環境において、コンピュータシステムは、複数の構成コンピュータシステムを含み得る。分散システム環境において、プログラムモジュールは、ローカル及びリモートメモリ記憶デバイスの両方に位置し得る。

当業者は、本発明がクラウドコンピューティング環境において実行され得ることも理解するであろう。クラウドコンピューティング環境は、分散されるが、これは必須ではない。分散されるとき、クラウドコンピューティング環境は、組織内に国際的に分散され得、かつ／又は複数の組織にわたって保有される構成要素を有する。この説明及び以下の特許請求の範囲において、「クラウドコンピューティング」は、共有プールの構成可能なコンピューティング資源（例えば、ネットワーク、サーバ、記憶装置、アプリケーション、及びサービス）へのオンデマンドネットワークアクセスを可能にするためのモデルとして定義される。「クラウドコンピューティング」の定義は、適切にデプロイされたとき、かかるモデルから得られることができる他の多数の利点のうちのいずれかに制限されない。

代替的に、又は加えて、本明細書に機能的に記載されるのは、少なくとも部分的に、１つ又は２つ以上のハードウェア理論構成要素によって、実施され得る。例えば、制限することなく、使用され得る例示的な種類のハードウェア理論構成要素は、フィ−ルドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラム特有集積回路（ＡＳＩＣ）、プログラム特有規格品（ＡＳＳＰ）、システムオンチップシステム（ＳＯＣ）、複合プログラマブル理論デバイス（ＣＰＬＤ）などを含む。

Ｉ．仮想カメラデバイス
図２は、カメラシステム２００のブロック図を示す。カメラシステム２００は、カメラ２５０（例えば、熱画像化カメラ）が固定軸の周りを最大完全３６０°回転することを可能にする。完全な旋回は、画像が捕捉されることが所望される「停止」に対応するいくつかの位置を含む。特に熱画像化カメラでのカメラ校正に関する要件のため、カメラは一定のフレームレートで画像を捕捉することができる。捕捉されたスペクトルは、約８，０００ｎｍ〜約１４，０００ｎｍであり得る。当然のことながら、他のスペクトル（例えば、可視光、より高い又はより低い波長）に基づいて、画像データを捕捉及び使用するように構成されるシステム内で、本明細書に開示される概念を用いることが可能であり得る。一定のフレームレートで画像を捕捉するとき、画像のうちのいくつかは、指定された「停止」位置の間の位置に対応し得るが、一方で、その他は、「停止」位置に対応するであろう。以降で更に詳細に記載されるように、「停止」位置に対応するこれらの画像のみが保持され得る。その他は処分され得る。

カメラ２５０がぼけていない画像を獲得するために、カメラ２５０は静止していなければならないか、又は一時的に停止していなければならないので、カメラ２５０が保持されるであろう画像を捕捉する位置は、本明細書において、停止位置と称される。停止位置は、カメラ２５０が画像を捕捉する指定された定位置（すなわち、「停止」１）に対する角オフセットを有するとして特徴付けられ得る。いくつかの実装において、システムは、カメラ架台における穴がエンコーダと並ぶときに定位置を検出することができる透過光学エンコーダと併せて、穴を有するカメラ架台を使用することによって、定位置を判定し得る。かかる透過光学エンコーダは、１ビットエンコーダであり得る。他の実装において、より高解像度のエンコーダを使用して、任意の所与の時間の実際のカメラ位置のより粒状のフィードバックを可能にし得る。

カメラシステム２００は、１旋回当たり任意の数の停止位置を可能にし得る。一実装形態において、停止位置の数は、１〜１６であり得る。停止は、等しく離間した間隔で配置され得る。例えば、１旋回当たり１０個の停止位置、又は停止は、３６°離れて位置する１０回の停止をもたらす。カメラシステム２００は、それぞれの所望の停止位置でのぼけていない画像の捕捉を容易にするように、カメラがそれぞれの停止位置で一時的に静止したままであることを確実にするための任意の好適なモータ機構を使用し得る。例えば、ステッパモータを用いて、適切な時間、それぞれの停止位置でカメラ２５０を静止したままにして、次の停止位置に移動する前に画像を獲得し得る。例示的なステッパモータ機構の詳細は、その全容が参照により本明細書に組み込まれる「ＳＴＥＰＰＥＲ ＭＯＴＯＲ ＣＯＮＴＲＯＬ ＡＮＤ ＦＩＲＥ ＤＥＴＥＣＴＩＯＮ ＳＹＳＴＥＭ」と題する、２０１４年４月９日に出願された本発明者らのＰＣＴ特許出願第ＰＣＴ／ＵＳ／２０１４／０３３５３９号に開示される。カメラがそれぞれの停止位置で一時的に静止したままである複数の停止位置を通ってカメラが回転するのに用いられ得るモータ機構の別の例は、例えば、その全容が参照により本明細書に組み込まれる「ＡＵＴＯＭＡＴＥＤ ＰＡＮＯＲＡＭＩＣ ＣＡＭＥＲＡ ＡＮＤ ＳＥＮＳＯＲ ＰＬＡＴＦＯＲＭ ＷＩＴＨ ＣＯＭＰＵＴＥＲ ＡＮＤ ＯＰＴＩＯＮＡＬ ＰＯＷＥＲ ＳＵＰＰＬＹ」と題する、２０１４年７月８日に発行された本発明者らの米国特許第８，７７３，５０３号に記載される通りの機械式カムシステムを含む。上の特許及び出願に記載される通りのモータ機構、並びに任意の他の好適な設計が用いられ得る。

図２に描写される通り、システムは、２つのプロセッサ、マイクロプロセッサ２１０、及びビデオプロセッサ２４０を利用することができる。マイクロプロセッサ２１０は、カメラ２５０の位置及びタイミングを管理することができるが、一方で、ビデオプロセッサ２４０は、カメラ２５０からのビデオを処理することができる。２つのプロセッサを利用することによって、マイクロプロセッサ２１０によるカメラ２５０とモータとの同期のリアルタイム性能が、高処理のビデオプロセッサ２４０から切り離されることを可能にする。代替的に、いくつかの実装は、１つのプロセッサを使用して、位置及びタイミング、並びにカメラ２５０のビデオを管理し得る。当然のことながら、３つ以上のプロセッサが、代替的に、用いられ得る。

１つの実装において、カメラ２５０からのデータは、カメラ２５０が上述の通り回転することを可能にする（断続的な非常に短い停止を伴う連続的な回転）、スリップリング２６０を通過する。カメラが実際に静止している期間は非常に短いので、カメラは連続的に回転しているように見え得る。場合によっては、カメラフレームレートは、カメラシステム２００の回転速度及び停止レートと正確に一致しない場合があり、したがって、分画ビデオフレームを作成する。次いで、デジタルスイッチ２３０を使用して、いずれの望ましくないビデオフレームも破棄し得る。換言すれば、上述の通り、いくつかの捕捉されたフレームは、停止位置のうちの１つに対応し得るが、一方で、他の捕捉されたフレームは、カメラが回転している間に捕捉され得る。デジタルスイッチ２３０を使用することにより、ビデオプロセッサ２４０が、望ましくないビデオフレームが処分されるこれらの時間の間休止することを可能にし、したがって、より良好な電力効率を生みだす。当然のことながら、システムの他の実装形態において、ビデオプロセッサ（例えば、ＡＲＭ／ＤＳＰ）は、休止する時間がほとんどないか、又は全くない場合がある。

画像がそれぞれの停止位置で撮影される場合、それぞれの停止位置は、個々の仮想カメラとして表され得る。仮想カメラは、単一の方向を指し示す静止しているカメラのように機能し得る。カメラシステム２００は、任意の数の停止位置及び対応する数の仮想カメラをサポートし得る。一実装形態において、システム２００は、１〜１６個の停止位置、及び１〜１６個の仮想カメラを含み得、それぞれの仮想カメラは、特定の停止位置に関連する。図３Ａは、カメラ２５０が停止位置１（すなわち、定位置）に面していながら、それぞれの停止位置がどのように物理的空間に相関し得るかを示す。図３Ｂは、停止位置５に面するように回転したカメラ２５０を示す。図３Ａ及び３Ｂに描写される通り、停止位置に使用される付番システムは時計回り方向で増加し得る。図３Ａ及び３Ｂは、８個の停止位置を含む例示的な構成を示すが、より多い又はより少ない停止位置が提供され得ることを理解されたい。例として、停止位置の数は、２〜約３０、４〜約２０、又は６〜約１６個であり得る。

カメラが一時的に停止する期間は、任意の好適な期間であり得る（例えば、カメラの画像捕捉能力の特性に応じ得る）。一実装形態において、それぞれの停止期間（すなわち、滞留時間）は、約３０ｍｓ〜約１２０ｍｓ（例えば、約６０ｍｓ）であり得る。

停止位置に対応するカメラ２５０によって捕捉されたそれぞれの画像は、ビデオストリームへと多重化、又はシステム多重化され得、ビデオプロセッサ２４０に送信され得る。保持されるカメラ２５０によって捕捉されたそれぞれの画像は、同一インターフェースを介して、カメラから送信され得る。マイクロプロセッサ２１０は、保持される画像が捕捉される（すなわち、画像が停止位置に対応する）とき、カメラ２５０の角オフセット（及び対応する停止位置）を管理及び追跡し得る。処分される画像（すなわち、画像が停止位置に対応しない）でさえ、保持された画像として、同一のインターフェースを介して、デジタルスイッチ２３０に送信され得る。デジタルスイッチ２３０では、処分されるこれらの画像は、ビデオプロセッサ２４０に渡されるのではなく、分割され、かつ処分され得る。

ビデオプロセッサ２４０がどのように動作し得るのかを示す例示的な実装は、図４でより詳細に記載される。図４を参照すると、ビデオ逆多重化ドライバ４３０は、それぞれが特定の停止位置、又は仮想カメラに対応するビデオストリームを個々の画像（すなわち、フレーム）に分割する。例えば、この段階で参照されるビデオストリームは、異なる停止位置で捕捉された保持される画像を含み得る。逆多重化ドライバ４３０は、マイクロプロセッサ２１０によって追跡される位置情報を使用して、ビデオストリームのそれぞれの画像に対する対応する仮想カメラを判定し得、画像をそれらの適切な仮想カメラデバイスに分類することを可能にする。図４によって示される通り、それぞれの画像は、一旦その判定がなされたら、記憶及び将来の解析（例えば、同一の停止位置からの時間的に隣接して撮影された画像の比較）のために、その対応する仮想カメラ（４０１〜４０８）に送信され得る。

所望に応じて、異なる停止位置からの画像は、共にスティッチされて、パノラマ画像（例えば、最大３６０°の）を作成し得る。本実装形態の利点は、いずれのかかるスティッチも任意選択であり、かつ典型的には、オンサイトで実行されない（たとえそうであるとしても）ことである。実行する場合、スティッチはオフサイトで実行され得、スティッチが電力及びコンピュータプロセッサ集約的であるので、オンサイトシステム２００の総電力要件が約１０ワット以下であることを可能にする。

いくつかの実装において、所与の仮想カメラデバイスに関連するビデオストリームが解析されて、所与の画像から次画像への変化を検出し得る。換言すれば、画像を共にスティッチして、パノラマ画像を作成するのではなく、実行される解析は、いかなる変化も検出するために（例えば、対象の温度、対象の移動などの変化）、画像の同一の停止位置（ひいては同一の仮想カメラデバイス）からの後に捕捉された画像（又は以前に捕捉された画像）との比較を伴い得る。例えば、実行される解析は、それぞれがその全容において参照により本明細書に組み込まれる「ＳＴＥＰＰＥＲ ＭＯＴＯＲ ＣＯＮＴＲＯＬ ＡＮＤ ＦＩＲＥ ＤＥＴＥＣＴＩＯＮ ＳＹＳＴＥＭ」と題する２０１４年４月９日に出願された本発明者らの以前のＰＣＴ特許出願第ＰＣＴ／ＵＳ／２０１４／０３３５３９号、及び「ＦＩＲＥ ＤＥＴＥＣＴＩＯＮ ＳＹＳＴＥＭ」と題する２０１４年４月９日に出願されたＰＣＴ特許出願第ＰＣＴ／ＵＳ／２０１４／０３３５４７号に考察される通りの火災検出を含み得る。

熱画像データを捕捉し、かつ熱画像データを解析させることによって、可視スペクトルデータと比較すると、バックグラウンドマスキングは簡素化され得、対象識別を簡素化する。

電力は、太陽電池を介して充電されるバッテリーを使用して、オンサイトシステムに供給され得、それにより、システムが、最大２年以上などの長い期間、所与の場所（例えば、送電網を離れた遠隔）に配置されることを可能にすることができる。寿命は、システム特性に応じて、２年より短いか、又は長い場合がある。

それぞれの仮想カメラは、対応する停止位置に配置された静止しているカメラによって得られるであろうものと同様のビデオストリームを有することができる。仮想カメラのシステムは、熱画像化カメラ２５０に対してオンサイトであり得る。いくつかの実装において、仮想カメラビデオストリームのフレームレートは、カメラ２５０が１旋回当たり一回それぞれの停止位置を通過するので、モータ２７０の回転速度に等しい。システム多重化シグナルフレームレートは、１旋回当たりの停止の数によって多重化されたモータ２７０の回転速度に等しくあり得る。例えば、１旋回当たり１６回の停止を伴う３０ＲＰＭで稼働するシステムは、１秒当たり８フレーム（ＦＰＳ）のシステム多重化フレームレートを有し、それぞれの仮想カメラデバイスは、１／２ＦＰＳ、又は２秒当たり１フレーム（例えば、１分の間に３０ＲＰＭ／６０秒＝０．５ＦＰＳ）のフレームレートを有する。

仮想カメラを利用することにより、解析及び任意のスティッチが画像獲得から切り離されることを可能にし得る。それぞれの仮想カメラがそれ自体のビデオストリームを有することができるので、それぞれの仮想カメラに関連する画像は独立して処理され得る。システム２００は、通常、数多くの（例えば、時計回り又は反時計回り）順序で画像を捕捉し得るが、仮想カメラの停止数に基づいて、定位置（すなわち、停止位置１）からの角オフセットがわかるので、解析又は任意のスティッチは所望される任意の順序で更新され得る。

ＩＩ．地理的位置データ
いくつかの実装において、画像が捕捉されるカメラ２５０の位置は、実際の地理的位置データ（例えば、ＧＰＳデータ）と相関され得る。一旦、地理的位置データに基づいて、実際のカメラ２５０がどこに位置しているかがわかると、カメラは３Ｄ地形地図上に位置付けられ得る。同様に、所与の仮想カメラデバイスの所与のフレームの個々の画素の深度値（すなわち、停止位置）が判定され得る。補正が、傾斜及び高さに対してなされ得る。

地理的位置データの相関及び深度値の判定に対する能力を含む例示的な火災検出システムの追加の詳細は、既にその全容が参照により本明細書に組み込まれている「ＦＩＲＥ ＤＥＴＥＣＴＩＯＮ ＳＹＳＴＥＭ」と題する２０１４年４月９日に出願されたＰＣＴ特許出願第ＰＣＴ／ＵＳ／２０１４／０３３５４７号で見出される。

地理的位置データをカメラ２５０の位置と相関させることは、捕捉された画像の画素位置を相関させること、及び熱画像化カメラ２５０の地理的位置に基づく個々の熱画像化カメラ画像の画素位置の深度値を判定することを含み得るが、これらに限定されない。熱画像化カメラ２５０の高度及び配向を考えると、画像のそれぞれの画素の距離又は深度値は、例えば、全国高度データセットからの高度データを使用して、計算され得る。

所与の画素に関連する深度値計算は、どのようにそれぞれの画素が地面と交差する景色をわたってカメラから投影された光線を表すかを判定する（例えば、計算する）一連の工程において実行され得る。概して、これは、高度データ（例えば、全国高度データセット）を使用して、作成されたワイヤフレーム地形モデル上の投影されたカメラ視点を使用することによって、達成されて、どこでカメラ視点のそれぞれの提供された画素がワイヤフレームと交差するかを推測して、それぞれの画像素子又は画素の下位の十分に可能な「ｚ」深度値を計算し得る。かかるプロセスは、投影された高さが少し離れて高度高さと交差するまで増加するｚ距離によって実行されるループプロセスを用い得る。

これは、カメラの高さに等しい長さを有する光線が、投影された距離で地面と交差するかどうかを判定する（例えば、計算する）ことによって、実行され得る。この判定は、地面に到達するか（例えば、交差される）、又は光線が所与の長さ（例えば、３０キロメートル）を超えるまで、所与の量（例えば、１デシメートル）で、光線長さを繰り返し増加させることによって繰り返され得る。かかる過剰な長さを使用して、水平を提供する補助をし得る。交点の緯度、経度、高度、及び距離のデータは、記憶され得、判定（例えば、計算）は、カラムの次の画素に対して繰り返され得る。画像内の底部から上方に進行するので、一旦画素のカラムが水平に到達すると、判定は新たなカラムに移動し得る。かかる判定又は計算は、可変の垂直視界、水平視界、高度、及び配向に基づき得る。最終データセットを使用して、所与の距離（例えば、１００メートル毎）で配置されたラインで距離を描写する（例えば、グレースケールにおいて）画像を提供し得る。判定又は計算された画像は、入力変数の最終調節のため、実際の画像と比較され得る。一旦完了すると、最終結果は、未来の即座の解析可用性のために保存され得る「ｚ」深度値地図を提供する。

上述の工程を例証して、６４０×５１２の画像は、約２５０，０００回の記載される判定の繰り返しを必要とし得る。

一旦、画素位置の深度値が判定されると、これにより、画像内に捕捉された対象のサイズ又は移動速度の判定が可能となり得る。例えば、それは、野火のサイズ又は移動速度に関する情報を提供し得る。画像の画素位置を位置データ及びそれぞれの画素に関連する深度値の判定と相関させる処理が、遠隔ユーザインターフェース端末においてオフサイトで実施され得る。画像の所与の画素に関連する実際の深度値は、記憶及びオンサイトでの使用のためカメラシステムに中継され得る。

オンサイトからオフサイトへの、又はその逆の任意のデータの中継は、例えば、衛星リンク若しくはネットワーク、セルラーリンク若しくはネットワーク、ＷｉＦｉリンク若しくはネットワーク、無線伝送、配線で接続されたリンク若しくはネットワークなどを含むが、これらに限定されない任意の好適な機構によるものであり得る。

本発明は、その趣旨又は特性から逸脱することなく、他の特定の形態で具現化され得る。記載される実装形態は、全ての点で、例示としてのみ考慮され、制限するものではないと考慮されるべきである。したがって、本発明の範囲は、前述の記載ではなく、添付の特許請求の範囲によって示される。特許請求の範囲の同等物の意味及び範囲内である全ての変更は、その範囲内に包含されるべきである。

Claims (14)

1. 複数の仮想デバイスを使用して、パノラマ画像データの個々の画像フレームを解析及び分類するためのオンサイトシステムであって、
   複数の停止位置を通って熱画像化カメラを回転させるために、前記熱画像化カメラが据え付けられた割り出し機構であって、前記熱画像化カメラが、熱画像化カメラ画像を撮影するように構成され、前記熱画像化カメラが前記複数の停止位置を通って回転するときに、前記熱画像化カメラ画像のうちの少なくともいくつかが停止位置に対応する、割り出し機構と、
   保持された熱画像化カメラ画像のビデオストリームを特定の複数の停止位置に対応する個々の熱画像化カメラ画像に分割し、かつ対応する複数の仮想カメラデバイスのために前記保持された熱画像化カメラ画像を記憶することによって、前記保持された熱画像化カメラ画像の前記ビデオストリームを処理するように構成された、多重化及び解析モジュールと、
   を備え、
   前記多重化及び解析モジュールは、前記停止位置のうちのいずれにも対応しない任意の熱画像化カメラ画像を処分するように構成され、前記多重化及び解析モジュールは、前記停止位置のうちのいずれにも対応しない画像の処分の間、休止し、
   前記複数の仮想カメラデバイスが、前記熱画像化カメラに対してオンサイトであり、前記複数の仮想カメラデバイスのそれぞれが、特定の停止位置に対応し、前記仮想カメラデバイスのそれぞれが、特定の停止位置に対応する複数の画像を含むビデオストリームごとに分割された、対応するビデオストリームを保持し、
   前記システムが、決定された前記熱画像化カメラの地理的位置と、取得された高度データを利用して作成されるワイヤフレーム地形モデルとの間の相互関係に基づいて、所与の熱画像化カメラ画像の画素位置の深度値を判定するようにさらに構成され、前記相互関係は、前記深度値を判定するために、前記ワイヤフレーム地形モデルによって記述される景色と交差する、前記熱画像化カメラの各画素位置から投影される光線を利用して得られる、
   オンサイトシステム。
2. 前記熱画像化カメラが、一定のフレームレートで前記熱画像化カメラ画像を撮影する、
   請求項１に記載のオンサイトシステム。
3. 電力が、太陽電池を介して充電されるバッテリーによって、前記オンサイトシステムに供給され、前記オンサイトシステムが、無人の場所に配置されることを可能にする、
   請求項１又は２に記載のオンサイトシステム。
4. 前記多重化及び解析モジュールが、
   熱画像化カメラ画像が捕捉される定位置に対する角オフセットを追跡することを含む、前記熱画像化カメラの位置とタイミングを管理するように構成される第１のプロセッサと、
   対応する仮想カメラデバイスのために記憶される個々の熱画像化カメラ画像に分割することを含む、前記熱画像化カメラからのビデオストリームを処理するように構成されるビデオプロセッサである第２のプロセッサと、
   を備える、
   請求項１から３のいずれかに記載のオンサイトシステム。
5. 前記多重化及び解析モジュールが、保持された熱画像化カメラ画像の前記ビデオストリームを分割する逆多重化ドライバを備え、前記対応する仮想カメラデバイスのために記憶された前記保持された熱画像化カメラ画像を分類する、
   請求項４に記載のオンサイトシステム。
6. 前記逆多重化ドライバが、前記第１のプロセッサによって提供された位置情報を利用して、どの停止位置に所与の画像が対応するかを判定する、
   請求項５に記載のオンサイトシステム。
7. 前記多重化及び解析モジュールが、
   前記停止位置のうちのいずれにも対応しない前記熱画像化カメラ画像を処分するように構成されるデジタルスイッチを備え、
   任意の停止位置に対応する熱画像化カメラ画像を保持する、
   請求項１から６のいずれかに記載のオンサイトシステム。
8. 前記多重化及び解析モジュールが、
   （ｉ）保持された熱画像化カメラ画像の前記ビデオストリームを、対応する仮想カメラデバイスのために記憶される個々の熱画像化カメラ画像に分割することによって、保持された熱画像化カメラ画像の前記ビデオストリームを処理し、
   （ｉｉ）前記停止位置のうちのいずれにも対応しない画像の処分の間、前記デジタルスイッチによって休止し、前記オンサイトシステムの電力効率を増加させる、
   （ｉ）及び（ｉｉ）の両方を実行するように構成されるビデオプロセッサを備える、
   請求項７に記載のオンサイトシステム。
9. 前記熱画像化カメラが連続的に回転することができるように、前記保持された熱画像化カメラ画像が、スリップリングを通って、前記熱画像化カメラから前記多重化及び解析モジュールの前記デジタルスイッチに送信される、請求項８に記載のオンサイトシステム。
10. 前記多重化及び解析モジュールが、前記保持された熱画像カメラ画像を、オンサイトでパノラマへと共にスティッチしないように構成される、
    請求項１から９のいずれかに記載のオンサイトシステム。
11. 複数の仮想デバイスを使用して、パノラマ画像データの個々の画像フレームを解析及び分類するための方法であって、
    複数の停止位置を通って回転する熱画像化カメラから熱画像化カメラ画像を得ることであって、前記熱画像化カメラが、熱画像化カメラ画像を撮影し、前記熱画像化カメラが前記複数の停止位置を通って回転するときに、前記熱画像化カメラ画像のうちの少なくともいくつかが停止位置に対応する、熱画像化カメラ画像を得ることと、
    任意の停止位置に対応する熱画像化カメラ画像を保持することと、
    前記停止位置のうちのいずれにも対応しない任意の熱画像化カメラ画像を処分することと、
    前記停止位置のうちのいずれにも対応しない画像の処分の間、休止することと、
    前記熱画像化カメラ画像のビデオストリームを個々の熱画像化カメラ画像に分割し、対応する複数の仮想カメラデバイスのために前記熱画像化カメラ画像を記憶することであって、前記複数の仮想カメラデバイスが、前記熱画像化カメラに対してオンサイトであり、前記仮想カメラデバイスのそれぞれが特定の停止位置に対応し、前記仮想カメラデバイスのそれぞれが特定の停止位置に対応する複数の画像を含むビデオストリームごとに分割された、対応するビデオストリームを保持することと、
    ビデオストリーム中の保持された熱画像化カメラ画像をビデオプロセッサに送信することと、
    決定された前記熱画像化カメラの地理的位置と、取得された高度データを利用して作成されるワイヤフレーム地形モデルとの間の相互関係に基づいて、所与の熱画像化カメラ画像の画素位置の深度値を判定する工程であって、前記相互関係は、前記深度値を判定するために、前記ワイヤフレーム地形モデルによって記述される景色と交差する、前記熱画像化カメラの各画素位置から投影される光線を利用して得られる、工程と、
    を含む方法。
12. 所与の熱画像化カメラ画像の画素位置の深度値を判定する処理が、遠隔ユーザインターフェース端末において、オフサイトで実施される、
    請求項１から１０のいずれかに記載のオンサイトシステム。
13. 前記深度値が、前記オンサイトシステム上の記憶のためのカメラシステムサイトに中継される、
    請求項１２に記載のオンサイトシステム。
14. 所与の熱画像化カメラ画像の画素位置の所与の深度値が、同一の停止位置から以前に又は後に得られた熱画像化カメラ画像と比較されて、前記熱画像化カメラ画像において示された対象のサイズ又は移動速度を判定する、
    請求項１１に記載の方法。

Images