JP7161550B2

JP7161550B2 - 関心領域の空間座標を算出する方法、システムおよび非一過性のコンピュータ読み取り可能記録媒体

Info

Publication number: JP7161550B2
Application number: JP2020564363A
Authority: JP
Inventors: ジョンキムソク; ハンジュンジク
Original assignee: ブイタッチ・カンパニー・リミテッド
Priority date: 2018-05-16
Filing date: 2018-09-12
Publication date: 2022-10-26
Anticipated expiration: 2038-09-12
Also published as: EP3796258A4; KR102072796B1; US20210065397A1; WO2019221340A1; CN112313706A; EP3796258A1; JP2021523488A; KR20190131320A; KR102072796B9; US11321867B2

Description

本発明は関心領域の空間座標を算出する方法、システムおよび非一過性のコンピュータ読み取り可能記録媒体に関する。

最近、拡張現実（ＡＲ：ＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ）や仮想現実（ＶＲ：ＶｉｒｔｕａｌＲｅａｌｉｔｙ）に関する関心が高まり関連技術分野の研究開発が活発に進行されるにつれて、客体の空間座標を獲得する多様な技術が紹介されている。

これに関する従来技術の一例として、時間遅延測定法（ＴＯＦ；ＴｉｍｅｏｆＦｌｉｇｈｔ）を利用して使用者の身体の３次元座標を測定する３次元座標測定装置が紹介されたことがある。

しかし、前記のような従来技術をはじめとしてこれまで紹介された技術によると、客体の空間座標を獲得するために、（１）一つの３次元カメラを利用する場合、客体が存在する位置や方向によっては該当カメラによって見えない領域が発生し得、（２）二以上の３次元カメラを利用する場合、望む領域の空間座標を算出するために望む領域の座標だけを伝送してもらうのではなく、それぞれのカメラから望む領域とその周辺領域を含む全体イメージ（またはそれに該当する全体座標）を伝送してもらい、その伝送してもらったイメージを統合してすべての領域の空間座標を算出した後でないと望む領域の空間座標を算出することができなかったため、過度なリソースおよび多くの時間が要求される問題があった。

そこで、本発明者は、複数の映像モジュールによって撮影されたイメージに含まれた関心領域のイメージ内座標に関する情報を伝送してもらい、その伝送してもらった情報を利用して該当関心領域の空間座標だけを選別的に算出できる技術を提案するところである。

本発明は、前述した従来技術の問題点をすべて解決することをその目的とする。

また、本発明は、複数の映像モジュールによって撮影されたイメージそのものを獲得するのではなく、そのイメージに含まれた関心領域のイメージ内座標に関する情報のみを獲得して該当関心領域の基準空間での座標を算出することをさらに他の目的とする。

また、本発明は、複数の映像モジュールによって撮影されたイメージそのものを獲得するのではなく、そのイメージに含まれた関心領域のイメージ内座標に関する情報のみを選別的に収集することによって、ハッキングなどによるプライバシー（ｐｒｉｖａｃｙ）侵害問題の発生を遮断することをさらに他の目的とする。

また、本発明は、少ないリソースを利用して関心領域の基準空間での座標を算出することをさらに他の目的とする。

前記目的を達成するための本発明の代表的な構成は次の通りである。

本発明の一態様によると、関心領域の空間座標を算出する方法であって、複数の映像モジュールによってそれぞれ撮影される複数のイメージ内に含まれる関心領域のイメージ内座標に関する情報をそれぞれ獲得する段階、前記複数の映像モジュールのうち少なくとも一つの映像モジュールが設置された位置に関する情報および前記少なくとも一つの映像モジュールによって撮影されるイメージ内に含まれるターゲット関心領域のイメージ内座標に関する情報を参照して、基準空間上で前記ターゲット関心領域が存在する位置を含む候補図形を特定する段階、および第１映像モジュールに対応する前記ターゲット関心領域の第１候補図形および第２映像モジュールに対応する前記ターゲット関心領域の第２候補図形の間の位置関係を参照して、前記基準空間上で前記ターゲット関心領域が存在する位置を特定する段階を含む方法が提供される。

本発明の他の態様によると、関心領域の空間座標を算出するシステムであって、複数の映像モジュールによってそれぞれ撮影される複数のイメージ内に含まれる関心領域のイメージ内座標に関する情報をそれぞれ獲得する情報獲得部、および前記複数の映像モジュールのうち少なくとも一つの映像モジュールが設置された位置に関する情報および前記少なくとも一つの映像モジュールによって撮影されるイメージ内に含まれるターゲット関心領域のイメージ内座標に関する情報を参照して、基準空間上で前記ターゲット関心領域が存在する位置を含む候補図形を特定し、第１映像モジュールに対応する前記ターゲット関心領域の第１候補図形および第２映像モジュールに対応する前記ターゲット関心領域の第２候補図形の間の位置関係を参照して、前記基準空間上で前記ターゲット関心領域が存在する位置を特定する空間座標算出部を含むシステムが提供される。

この他にも、本発明を具現するための他の方法、他のシステムおよび前記方法を実行するためのコンピュータプログラムを記録する非一過性のコンピュータ読み取り可能な記録媒体がさらに提供される。

本発明によると、複数の映像モジュールによって撮影されたイメージそのものを獲得するのではなく、そのイメージに含まれた関心領域のイメージ内座標に関する情報のみを獲得して該当関心領域の基準空間での座標を算出できる。

本発明によると、複数の映像モジュールによって撮影されたイメージそのものを獲得するのではなく、そのイメージに含まれた関心領域のイメージ内座標に関する情報のみを選別的に収集することによって、ハッキングなどによるプライバシー（ｐｒｉｖａｃｙ）侵害問題の発生を遮断できる。

また、本発明によると、少ないリソースを利用して関心領域の基準空間での座標を算出することができる。

本発明の一実施例に係る関心領域の空間座標を算出するための全体システムの概略的な構成を示す図面である。本発明の一実施例に係る位置算出システムの内部構成を詳細に図示する図面である。本発明の一実施例に係る基準空間でターゲット関心領域が存在する位置が特定される過程を例示的に示す図面である。本発明の一実施例により映像モジュールの解像度を考慮して基準空間でターゲット関心領域が存在する位置が特定される過程を例示的に示す図面である。本発明の一実施例により候補図形間のマッチング関係を特定する過程を例示的に示す図面である。本発明の一実施例により候補図形間のマッチング関係を特定する過程を例示的に示す図面である。本発明の一実施例により候補図形間のマッチング関係を特定する過程を例示的に示す図面である。本発明の一実施例により候補図形間のマッチング関係を特定する過程を例示的に示す図面である。本発明の一実施例により候補図形間のマッチング関係を特定する過程を例示的に示す図面である。本発明の一実施例により複数の映像モジュール間の位置関係を特定する過程を例示的に示す図面である。本発明の一実施例に係る位置算出システムによって関心領域の空間座標が算出される過程を例示的に示す図面である。本発明の一実施例により客体の物理的な数値に関する情報を利用して複数の映像モジュールの位置を特定する過程を例示的に示す図面である。

後述する本発明についての詳細な説明は、本発明が実施され得る特定の実施例を例示として図示する添付図面を参照する。このような実施例は当業者が本発明を十分に実施できるように詳細に説明される。本発明の多様な実施例は互いに異なるが、相互に排他的である必要はないことが理解されるべきである。例えば、本明細書に記載されている特定の形状、構造および特性は本発明の精神と範囲を逸脱することなく一実施例から他の実施例に変更されて具現され得る。また、それぞれの実施例内の個別構成要素の位置または配置も本発明の精神と範囲を逸脱することなく変更され得ることが理解されるべきである。したがって、後述する詳細な説明は限定的な意味で行われるものではなく、本発明の範囲は特許請求の範囲の請求項が請求する範囲およびそれと均等なすべての範囲を包括するものと理解されるべきである。図面で類似する参照符号は多様な側面にわたって同一または類似する構成要素を示す。

以下では、本発明が属する技術分野で通常の知識を有する者が本発明を容易に実施できるようにするために、本発明の多様な好ましい実施例に関して添付された図面を参照して詳細に説明する。

全体システムの構成

図１は、本発明の一実施例に係る関心領域の空間座標を算出するための全体システムの概略的な構成を示す図面である。

図１に図示された通り、本発明の一実施例に係る全体システムは通信網１００、位置算出システム２００および複数の映像モジュール３００を含んで構成され得る。

まず、本発明の一実施例に係る通信網１００は有線通信や無線通信のような通信様態にかかわらず構成され得、近距離通信網（ＬＡＮ；ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）、都市圏通信網（ＭＡＮ；ＭｅｔｒｏｐｏｌｉｔａｎＡｒｅａＮｅｔｗｏｒｋ）、広域通信網（ＷＡＮ；ＷｉｄｅＡｒｅａＮｅｔｗｏｒｋ）などの多様な通信網で構成され得る。好ましくは、本明細書で言う通信網１００は公知のインターネットまたはワールドワイドウェブ（ＷＷＷ；ＷｏｒｌｄＷｉｄｅＷｅｂ）であり得る。しかし、通信網１００は、これに限定されず、公知の有無線データ通信網、公知の電話網または公知の有無線テレビ通信網をその少なくとも一部において含んでもよい。

例えば、通信網１００は無線データ通信網であって、無線周波数（ＲＦ；ＲａｄｉｏＦｒｅｑｕｅｎｃｙ）通信、Ｗｉ－Ｆｉ（ＷｉＦｉ）通信、セルラー（ＬＴＥなど）通信、ブルートゥース通信（さらに具体的には、低電力ブルートゥース（登録商標）（ＢＬＥ；ＢＬＵＥＴＯＯＴＨ（登録商標）ＬｏｗＥｎｅｒｇｙ））、赤外線通信、超音波通信などのような従来の通信方法を少なくともその一部分において具現してもよい。

次に、本発明の一実施例に係る位置算出システム２００はメモリ手段を具備しマイクロ・プロセッサを搭載して演算能力を備えたデジタルデバイスであり得る。このような位置算出システム２００はサーバーシステムであり得る。

本発明の一実施例によると、位置算出システム２００は、後述する複数の映像モジュール３００によってそれぞれ撮影される複数のイメージ内に含まれる関心領域のイメージ内座標に関する情報をそれぞれ獲得し、前記複数の映像モジュール３００のうち少なくとも一つの映像モジュールが設置された位置に関する情報および少なくとも一つの映像モジュールによって撮影されるイメージ内に含まれるターゲット関心領域のイメージ内座標に関する情報を参照して、基準空間上でターゲット関心領域が存在する位置を含む候補図形を特定し、第１映像モジュール３１０に対応するターゲット関心領域の第１候補図形および第２映像モジュール３２０に対応するターゲット関心領域の第２候補図形の間の位置関係を参照して、基準空間上でターゲット関心領域が存在する位置を特定する機能を遂行することができる。

本発明の一実施例に係る基準空間は、関心領域の空間座標を算出するために本発明に係る位置算出システム２００で基準とする所定の座標系で定義される空間を含む概念であり得る。

本発明に係る位置算出システム２００の構成と機能については以下で詳述する。一方、位置算出システム２００について前記のように説明されたが、このような説明は例示的なものであり、位置算出システム２００に要求される機能や構成要素の少なくとも一部が必要に応じて外部システム（図示されず）内で具現されたり、外部システム内に含まれたりしてもよいことは当業者に自明である。

次に、本発明の一実施例に係る複数の映像モジュール３００は位置算出システム２００と通信網１００を通じて連結され得、複数の映像モジュール３００によってそれぞれ撮影される複数のイメージ内に含まれる少なくとも一つの関心領域を特定し、その特定される関心領域のイメージ内座標に関する情報を抽出する機能を遂行することができる。

例えば、本発明の一実施例に係る前述した複数の映像モジュール３００には、カメラ（２次元、３次元など含む）モジュール、イメージまたは映像センサなどが含まれ得る。

位置算出システムの構成

以下では、本発明の具現のために重要な機能を遂行する位置算出システム２００の内部構成および各構成要素の機能について詳察する。

図２は、本発明の一実施例に係る位置算出システム２００の内部構成を詳細に図示する図面である。

図２に図示された通り、位置算出システム２００は、情報獲得部２１０、空間座標算出部２２０、通信部２３０および制御部２４０を含んで構成され得る。本発明の一実施例によると、情報獲得部２１０、空間座標算出部２２０、通信部２３０および制御部２４０は、そのうち少なくとも一部が外部のシステムと通信するプログラムモジュールであり得る。このようなプログラムモジュールは運営システム、アプリケーションモジュールまたはその他のプログラムモジュールの形態で位置算出システム２００に含まれ得、物理的には多様な公知の記憶装置に保存され得る。また、このようなプログラムモジュールは位置算出システム２００と通信可能な遠隔記憶装置に保存されてもよい。一方、このようなプログラムモジュールは本発明により後述する特定の業務を遂行したり、特定の抽象データの類型を実行するルーチン、サブルーチン、プログラム、客体、コンポーネント、データ構造などを包括したりするが、これに制限されはしない。

まず、本発明の一実施例に係る情報獲得部２１０は、複数の映像モジュール３００によってそれぞれ撮影される複数のイメージ内に含まれる関心領域のイメージ内座標に関する情報をそれぞれ獲得する機能を遂行することができる。

具体的には、本発明の一実施例に係る複数の映像モジュール３００それぞれは複数のイメージ内で関心領域に該当するイメージを特定することができ、その特定される関心領域のイメージ内座標に関する情報を抽出することができ、情報獲得部２１０は前記抽出される関心領域のイメージ内座標に関する情報を前記複数の映像モジュール３００それぞれから獲得することができる。

例えば、本発明の一実施例によると、複数のカメラ３００によってそれぞれ撮影される使用者の複数の身体イメージのうち、該当使用者の所定の身体部位（例えば、手、手先、目など）に関するイメージが関心領域のイメージとして特定され得る。また、本発明の一実施例によると、前記複数のカメラ３００それぞれは前記特定される関心領域のイメージ内２次元または３次元座標に関する情報を抽出することができ、情報獲得部２１０は前記抽出される２次元または３次元座標に関する情報を前記複数のカメラ３００それぞれから獲得することができる。本発明の一実施例によると、前記関心領域のイメージ内２次元および３次元座標に関する情報は、前記関心領域のイメージ内ピクセル（ｐｉｘｅｌ）およびボクセル（ｖｏｘｅｌ）に関する情報からそれぞれ獲得される情報であり得る。

次に、本発明の一実施例に係る空間座標算出部２２０は、複数の映像モジュール３００のうち少なくとも一つの映像モジュールが設置された位置に関する情報および少なくとも一つの映像モジュールによって撮影されるイメージ内に含まれるターゲット関心領域のイメージ内座標に関する情報を参照して、基準空間上でターゲット関心領域が存在する位置を含む候補図形を特定する機能を遂行することができる。本発明の一実施例に係るターゲット関心領域は、それぞれの映像モジュールで特定される複数の関心領域のうち少なくとも一つの関心領域を意味するか、複数の映像モジュール３００によって特定される複数の関心領域のうち少なくとも一部の映像モジュールによって特定される関心領域を含む概念であり得る。また、本発明の一実施例に係る候補図形は点、線（ベクターを含むことができる）、面、立体またはこれらの集合を意味する概念であり得る。

具体的には、本発明の一実施例に係る空間座標算出部２２０は、基準空間上での少なくとも一つの映像モジュールが設置された位置を基準としてターゲット関心領域が該当基準空間上で存在する位置を含む候補図形を特定することができる。

より具体的には、本発明の一実施例に係る空間座標算出部２２０は、複数の映像モジュール３００のうち第１映像モジュール３１０および第２映像モジュール３２０が２次元映像モジュールである場合に、前記第１映像モジュール３１０および第２映像モジュール３２０それぞれに対応するターゲット関心領域が基準空間上で存在する位置を含む候補図形をベクター（ｖｅｃｔｏｒ）で特定することができる。この場合に、本発明の一実施例によると、このようなベクターは映像モジュールが設置された位置の基準空間上での座標を始点（または終点）とし、該当映像モジュールが設置された位置の基準空間上での座標を基準として該当映像モジュールに対応するターゲット関心領域のイメージ内座標を基準空間上での座標に変換させた座標を終点（または始点）として設定され得る。また、本発明の一実施例に係る空間座標算出部２２０は、複数の映像モジュール３００のうち第１映像モジュール３１０および第２映像モジュール３２０が３次元映像モジュールである場合に、前記第１映像モジュール３１０および第２映像モジュール３２０に対応するターゲット関心領域が基準空間上で存在する位置を含む候補図形をそれぞれ空間図形（例えば、正六面体、直六面体、球体など）で特定することができる。また、本発明の一実施例に係る空間座標算出部２２０は、複数の映像モジュール３００のうち第１映像モジュール３１０および第２映像モジュール３２０がそれぞれ３次元映像モジュールおよび２次元映像モジュールである場合に、前記第１映像モジュール３１０および第２映像モジュール３２０に対応するターゲット関心領域が基準空間上で存在する位置を含む候補図形をそれぞれ空間図形およびベクターで特定することができる。

また、本発明の一実施例に係る空間座標算出部２２０は複数の映像モジュール３００のうち、少なくとも一つの映像モジュールの属性に関する情報をさらに参照して前記候補図形を特定することができる。本発明の一実施例によると、このような映像モジュールの属性に関する情報には、映像モジュールの解像度、画角、焦点距離、３次元（３Ｄ）支援の有無などに関する情報が含まれ得る。

例えば、本発明の一実施例に係る空間座標算出部２２０は、複数の映像モジュール３００のうち少なくとも一つの映像モジュールの画角、焦点距離などに関する情報を参照して、前記少なくとも一つの映像モジュールが設置された位置の基準空間上の座標を基準として、前記少なくとも一つの映像モジュールに対応するターゲット関心領域のイメージ内座標を基準空間上の座標にそれぞれ変換するための変換角度（例えば、回転角）、変換位置および変換形態（例えば、映像モジュール３００が３次元映像モジュールである場合に空間図形、映像モジュール３００が２次元映像モジュールである場合にベクター）のうち少なくとも一つに関する情報を決定することによって、前記少なくとも一つの映像モジュールに対応するターゲット関心領域が基準空間上で存在する位置およびその存在する位置を含む候補図形を特定することができる。

一方、本発明の一実施例に係る空間座標算出部２２０は、複数の映像モジュール３００のうち一部の映像モジュール（例えば、第３映像モジュール）でターゲット関心領域のイメージ内座標に関する情報を獲得することが難しいと判断されると（例えば、使用者によって関心領域が遮られて見えない場合）、複数の映像モジュール３００のうち前記第３映像モジュールを除いた他の映像モジュールが設置された位置に関する情報および複数の映像モジュール３００のうち前記第３映像モジュールを除いた他の映像モジュールによって撮影されるイメージ内に含まれるターゲット関心領域のイメージ内座標に関する情報を参照することができる。

また、本発明の一実施例に係る空間座標算出部２２０は第１映像モジュール３１０に対応するターゲット関心領域の第１候補図形および第２映像モジュール３２０に対応するターゲット関心領域の第２候補図形の間の位置関係を参照して、基準空間上でターゲット関心領域が存在する位置を特定する機能を遂行することができる。

例えば、本発明の一実施例に係る第１映像モジュール３１０および第２映像モジュール３２０が２次元映像モジュールである場合に、第１映像モジュール３１０および第２映像モジュール３２０の候補図形はベクターで特定され得、空間座標算出部２２０は前記第１映像モジュール３１０に対応するターゲット関心領域の第１ベクターおよび前記第２映像モジュール３２０に対応するターゲット関心領域の第２ベクターの間の交差地点を基準空間上でターゲット関心領域が存在する位置として特定することができる。一方、本発明の一実施例によると、前記第１ベクターおよび第２ベクターが交差しない場合には、前記第１ベクターおよび第２ベクターの間の最短距離の連結線の中点が基準空間上でターゲット関心領域が存在する位置として特定され得る。

他の例として、本発明の一実施例に係る第１映像モジュール３１０および第２映像モジュール３２０が３次元映像モジュールである場合に、候補図形は空間図形で特定され得、空間座標算出部２２０は前記第１映像モジュール３１０に対応するターゲット関心領域の第１空間図形および前記第２映像モジュール３２０に対応するターゲット関心領域の第２空間図形の間の交差領域を基準空間上でターゲット関心領域が存在する位置として特定することができる。より具体的には、本発明の一実施例によると、前記第１空間図形および前記第２空間図形が互いに完全に交差する（すなわち、重なる）場合に、第１空間図形または第２空間図形の平均座標が基準空間上でターゲット関心領域が存在する位置として特定され得、前記第１空間図形および前記第２空間図形の一部領域だけが互いに交差する場合には、第１空間図形の平均座標および第２空間図形の平均座標を連結する連結線の中点が基準空間上でターゲット関心領域が存在する位置として特定され得る。

さらに他の例として、図３を参照すると、本発明の一実施例に係る第１映像モジュール３１０および第２映像モジュール３２０がそれぞれ３次元映像モジュールおよび２次元映像モジュールである場合に、候補図形はそれぞれ空間図形３３１、３３２、３３３およびベクター３４１、３４２、３４３で特定され得、空間座標算出部２２０は前記第１映像モジュール３１０に対応するターゲット関心領域の第３空間図形３３１、３３２、３３３および前記第２映像モジュール３２０に対応するターゲット関心領域の第３ベクター３４１、３４２、３４３の間の交差地点を基準空間上でターゲット関心領域が存在する位置として特定することができる。より具体的には、本発明の一実施例によると、前記第３ベクター３４１および前記第３空間図形３３１の平均座標の間の最短距離の連結線の中点が基準空間上でターゲット関心領域が存在する位置として特定され得る。

一方、本発明の一実施例に係る空間座標算出部２２０は、映像モジュールの属性に関する情報のうち解像度に関する情報をさらに参照して、基準空間上でターゲット関心領域が存在する位置を特定することができる。

具体的には、本発明の一実施例に係る空間座標算出部２２０は、映像モジュールの解像度によりターゲット関心領域が基準空間上で存在する位置を示す候補図形の面積または体積を適応的に設定することができる。

例えば、図４を参照すると、本発明の一実施例に係る空間座標算出部２２０は、３次元映像モジュールである第１映像モジュール３１０の解像度に関する情報を参照して、第１映像モジュール３１０の複数のターゲット関心領域のイメージ内座標に対応して基準空間上でそれぞれ第１正六面体４０１、第２正六面体４０２および第３正六面体４０３で設定することができ、第１映像モジュール３１０の解像度が低いほど前記正六面体（すなわち、第１正六面体４０１、第２正六面体４０２および第３正六面体４０３）の体積が大きくなるようにすることができる。

他の例として、本発明の一実施例に係る空間座標算出部２２０は、２次元映像モジュールである第２映像モジュール３２０の解像度に関する情報を参照して、第２映像モジュール３２０の複数のターゲット関心領域のイメージ内座標に対応して基準空間上でそれぞれ第１四角形４１１、第２四角形４２１および第３四角形４３１で設定することができ、第２映像モジュール３２０の解像度が低いほど前記四角形の面積が大きくなるようにすることができる。また、この場合に、本発明の一実施例によると、空間座標算出部２２０は、前述した第２映像モジュール３２０に対応するターゲット関心領域のベクターに代わって、基準空間上で第２映像モジュール３２０が設置された位置と基準空間上でターゲット関心領域のイメージ内座標に対応する四角形を連結する四角錐（すなわち、第１四角錐、第２四角錐および第３四角錐）を利用することによって、基準空間上でターゲット関心領域が存在する位置を特定することができる。

一方、本発明に係るターゲット関心領域のイメージ内座標に対応して基準空間上で設定され得る面の形態は前述した四角形に限定されず、本発明の目的を達成できる範囲内で円、三角形、五角形などに多様に変更され得、本発明に係るターゲット関心領域のイメージ内座標に対応して基準空間上で設定され得る体積の形態は前述した正六面体に限定されず、直六面体、球体、楕円体などに多様に変更され得る。

また、本発明の一実施例に係る空間座標算出部２２０は、第２映像モジュール（３２０、または第１映像モジュール３１０）の少なくとも一つの候補図形のうち、第１映像モジュール（３１０、または第２映像モジュール３２０）の第１候補図形と前述した位置関係がマッチングされる候補図形を特定することができる。

例えば、図５を参照すると、本発明の一実施例に係る複数の映像モジュール３００のうち少なくとも一つの映像モジュールはフレーム単位で互いに同期化され得、空間座標算出部２２０は第１映像モジュール３１０および第２映像モジュール３２０の間に同期化されるフレーム単位に基づいて、第２映像モジュール（３２０、または第１映像モジュール３１０）の少なくとも一つの候補図形５２１、５２２、５２３のうち、第１映像モジュール（３１０、または第２映像モジュール３２０）の第１候補図形５１１と位置関係がマッチングされる候補図形５２１を特定することができる。

他の例として、図６を参照すると、本発明の一実施例に係る情報獲得部２１０により獲得される関心領域のイメージ内座標に関する情報には、映像モジュールの間またはターゲット関心領域の間に互いに区別され得る識別情報６０１、６０２、６０３、６０４、６０５、６１１、６１２、６１３、６１４、６１５が含まれ得、空間座標算出部２２０は前記識別情報６０１、６０２、６０３、６０４、６０５、６１１、６１２、６１３、６１４、６１５を参照して第２映像モジュール（３２０、または第１映像モジュール３１０）の少なくとも一つの候補図形６１１、６１２、６１３、６１４、６１５のうち、第１映像モジュール（３１０、または第２映像モジュール３２０）の第１候補図形６０１と位置関係がマッチングされる候補図形６１１を特定することができる。また、本発明の一実施例に係る識別情報は関心領域のイメージ内で特定される形状、色相、温度、パターンおよびマーカー（例えば、絵文字（ｅｍｏｊｉ）、ＱＲコード（登録商標）など）のうち少なくとも一つに関する情報を含むことができる。

さらに他の例として、本発明の一実施例によると、第１映像モジュール３１０の候補図形および第２映像モジュール３２０の候補図形が互いに一対一マッチングされない場合に（例えば、第１映像モジュール３１０の候補図形の数と第２映像モジュール３２０の候補図形の数が互いに異なる場合、または多対多の関係である場合など）、空間座標算出部２２０は第１映像モジュール３１０の候補図形および第２映像モジュール３２０の候補図形の中で相互にグルーピングされ得る候補図形を特定することによって、第２映像モジュール（３２０、または第１映像モジュール３１０）の少なくとも一つの候補図形のうち第１映像モジュール（３１０、または第２映像モジュール３２０）の第１候補図形と位置関係がマッチングされる候補図形を特定することができる。

例えば、図７～図９を参照すると、本発明の一実施例に係る空間座標算出部２２０は、第１映像モジュール３１０および第２映像モジュール３２０の候補図形（すなわち、この場合に、ベクターまたは空間図形）の間の相互間のマッチング関係が一対一の関係にならない場合に、その一対一の関係にマッチングされないベクターまたは空間図形と所定距離以内にあるベクターまたは空間図形をグルーピングして相互にマッチングされるようにすることができる。

また、本発明の一実施例に係る空間座標算出部２２０は、少なくとも三以上のターゲット関心領域に対応する座標を参照して複数の映像モジュール３００の位置関係に関する情報を特定することができる。本発明の一実施例によると、このような位置関係に関する情報は複数の映像モジュール３００間になす角度、複数の映像モジュール３００が基準空間上で傾いた角度、複数の映像モジュール３００の撮像方向などに関する情報を含むことができる。

具体的には、本発明の一実施例に係る空間座標算出部２２０は複数の映像モジュール３００それぞれで少なくとも三以上のターゲット関心領域のイメージ内座標に関する情報が獲得されると、複数の映像モジュール３００に対応するターゲット関心領域の候補図形の間の少なくとも三以上の交差地点（または交差領域）を参照して複数の映像モジュール３００の位置関係に関する情報を特定することができる。

例えば、図１０を参照すると、本発明の一実施例に係る第１映像モジュール３１０と第２映像モジュール３２０それぞれで３個のターゲット関心領域のイメージ内座標がそれぞれ第１～第３座標１００１、１００２、１００３と第４～第６座標１００４、１００５、１００６であり、第１映像モジュール３１０および第２映像モジュール３２０が２次元映像モジュールである場合に、基準空間上で第１映像モジュール３１０に対応するターゲット関心領域の第１ベクター１０１１、第２ベクター１０１２および第３ベクター１０１３と第２映像モジュール３２０に対応するターゲット関心領域の第４ベクター１０２１、第５ベクター１０２２および第６ベクター１０２３が交差する三地点を特定することができ、その三地点に基づいて、第１映像モジュール３１０と第２映像モジュール３２０の間の位置関係を特定することができる。

他の例として、本発明の一実施例によると、第１映像モジュール３１０と第２映像モジュール３２０それぞれで３個のターゲット関心領域のイメージ内座標がそれぞれ第７～第９座標と第１０～第１２座標であり、第１映像モジュール３１０および第２映像モジュール３２０が３次元映像モジュールである場合に、基準空間上で第１映像モジュール３１０に対応するターゲット関心領域の第１空間図形、第２空間図形および第３空間図形と第２映像モジュール３２０に対応するターゲット関心領域の第４空間図形、第５空間図形および第６空間図形が交差する三領域を特定することができ、その三領域に基づいて、第１映像モジュール３１０と第２映像モジュール３２０の間の位置関係を特定することができる。

さらに他の例として、本発明の一実施例によると、第１映像モジュール３１０と第２映像モジュール３２０それぞれで３個のターゲット関心領域のイメージ内座標がそれぞれ第１３～第１５座標と第１６～第１８座標であり、第１映像モジュール３１０および第２映像モジュール３２０がそれぞれ２次元映像モジュールおよび３次元映像モジュールである場合に、基準空間上で第１映像モジュール３１０に対応するターゲット関心領域の第７ベクター、第８ベクターおよび第９ベクターと第２映像モジュール３２０に対応するターゲット関心領域の第７空間図形、第８空間図形および第９空間図形が交差する三地点を特定することができ、その三地点に基づいて、第１映像モジュール３１０と第２映像モジュール３２０の間の位置関係を特定することができる。

次に、本発明の一実施例に係る通信部２３０は情報獲得部２１０および空間座標算出部２２０からの／へのデータの送受信を可能とする機能を遂行することができる。

最後に、本発明の一実施例に係る制御部２４０は情報獲得部２１０、空間座標算出部２２０および通信部２３０間のデータの流れを制御する機能を遂行することができる。すなわち、本発明に係る制御部２４０は位置算出システム２００の外部からの／へのデータの流れまたは位置算出システム２００の各構成要素間のデータの流れを制御することによって、情報獲得部２１０、空間座標算出部２２０および通信部２３０でそれぞれ固有機能を遂行するように制御することができる。

図１１は、本発明の一実施例に係る位置算出システム２００により関心領域の空間座標が算出される過程を例示的に示す図面である。

本発明の一実施例によると、２次元映像モジュールである第１映像モジュール３１０および第２映像モジュール３２０によって関心領域の空間座標が算出される場合を仮定することができる。また、この場合に、本発明の一実施例に係る関心領域は使用者の銃口１１３０であり得る。

まず、本発明の一実施例によると、第１映像モジュール３１０および第２映像モジュール３２０によってそれぞれ撮影される複数のイメージ内に含まれる関心領域１１３０のイメージ内座標１１１０、１１２０に関する情報がそれぞれ獲得され得る。すなわち、本発明の一実施例によると、位置算出システム２００は第１映像モジュール３１０および第２映像モジュール３２０によって撮影されるイメージそのものを獲得するのではなく、そのイメージに含まれた関心領域のイメージ内座標に関する情報を獲得することになる。

その後、本発明の一実施例によると、第１映像モジュール３１０と第２映像モジュール３２０が設置された位置に関する情報および第１映像モジュール３１０と第２映像モジュール３２０によって撮影されるイメージ内に含まれるターゲット関心領域１１３０のイメージ内座標１１１０、１１２０に関する情報に基づいて、基準空間上でターゲット関心領域１１３０が存在する位置を含むベクター１１４０、１１５０が特定され得る。すなわち、本発明の一実施例によると、基準空間上での第１映像モジュール３１０に対応するターゲット関心領域１１３０の第１ベクター１１４０と基準空間上での第２映像モジュール３２０に対応するターゲット関心領域１１３０の第２ベクター１１５０がそれぞれ特定され得る。

その後、本発明の一実施例によると、前記第１ベクター１１４０および前記第２ベクター１１５０の間の交差地点１１６０が基準空間上でのターゲット関心領域１１３０が存在する位置として特定され得る。

その後、本発明の一実施例によると、位置算出システム２００は基準空間上で前記特定される位置に対応する座標１１６０を本発明に係る関心領域１１３０の空間座標として算出することができる。

図１２は、本発明の一実施例により客体の物理的な数値に関する情報を利用して複数の映像モジュール３００の位置を特定する過程を例示的に示す図面である。

本発明の一実施例に係る位置算出システム２００は、客体の実世界での物理的な数値に関する情報（例えば、客体の長さ、大きさ、面積および体積）を参照して、基準空間上での複数の映像モジュール３００が設置された位置の座標を特定することができる。

例えば、図１２を参照すると、本発明の一実施例に係る位置算出システム２００は客体１２５０が四角形の形態である場合に、前記客体１２５０のコーナー地点それぞれをターゲット関心領域に設定してそのターゲット関心領域のイメージ内座標１２０１、１２０２、１２０３、１２０４、１２０５、１２０６、１２０７、１２０８に関する情報を獲得し、その獲得した座標１２０１、１２０２、１２０３、１２０４、１２０５、１２０６、１２０７、１２０８に関する情報と前記客体１２５０の実世界での物理的な数値に関する情報（例えば、横、縦、高さおよび角度）と比較して分析することによって、基準空間での第１映像モジュール３１０および第２映像モジュール３２０が設置された位置の座標を特定することができる。一方、本発明の一実施例によると、位置算出システム２００は基準空間での第１映像モジュール３１０および第２映像モジュール３２０が設置された位置の座標を特定するために、客体１２５０の各コーナー地点の基準空間での座標に関する情報をさらに参照することができる。

以上で説明された本発明に係る実施例は、多様なコンピュータ構成要素を通じて実行され得るプログラム命令語の形態で具現されてコンピュータ読み取り可能な記録媒体に記録され得る。前記コンピュータ読み取り可能な記録媒体はプログラム命令語、データファイル、データ構造などを単独でまたは組み合わせて含むことができる。前記コンピュータ読み取り可能な記録媒体に記録されるプログラム命令語は、本発明のために特別に設計されて構成されたものであるか、コンピュータソフトウェア分野の当業者に公知となっている使用可能なものであり得る。コンピュータ読み取り可能な記録媒体の例には、ハードディスク、フロッピーディスクおよび磁気テープのような磁気媒体、ＣＤ－ＲＯＭおよびＤＶＤのような光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌｄｉｓｋ）のような磁気－光媒体（ｍａｇｎｅｔｏ－ｏｐｔｉｃａｌｍｅｄｉｕｍ）、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどのような、プログラム命令語を保存し実行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるような機械語コードだけでなくインタープリタなどを使ってコンピュータによって実行され得る高級言語コードも含まれる。ハードウェア装置は本発明に係る処理を遂行するために一つ以上のソフトウェアモジュールに変更され得、その逆も同じである。

以上、本発明が具体的な構成要素などのような特定の事項と限定された実施例および図面によって説明されたが、これは本発明のより全般的な理解を助けるために提供されたものに過ぎず、本発明は前記実施例に限定されるものではなく、本発明が属する技術分野で通常の知識を有する者であればこのような記載から多様な修正と変更が可能である。

したがって、本発明の思想は前記説明された実施例に限定されて定められてはならず、後述する特許請求の範囲だけでなくこの特許請求の範囲と均等なまたはこれから等価的に変更されたすべての範囲は本発明の思想の範疇に属するものと言える。

１００通信網
２００位置算出システム
２１０情報獲得部
２２０空間座標算出部
２３０通信部
２４０制御部
３００複数の映像モジュール

Claims

関心領域の空間座標を算出する方法であって、
複数の映像モジュールによってそれぞれ撮影される複数のイメージ内に含まれる関心領域のイメージ内座標に関する情報をそれぞれ獲得する段階と、
前記複数の映像モジュールのうち少なくとも一つの映像モジュールが設置された位置の基準空間上の座標点に関する情報および前記少なくとも一つの映像モジュールによって撮影されるイメージ内に含まれるターゲット関心領域のイメージ内座標から変換された前記基準空間上の前記座標点に関する情報を参照して、前記基準空間上の前記少なくとも一つの映像モジュールが設置された位置の前記座標点を基準として、候補図形が前記基準空間上で前記ターゲット関心領域が存在する位置を含む、前記基準空間上の前記候補図形を特定する段階と、
第１映像モジュールに対応する前記ターゲット関心領域の第１候補図形および第２映像モジュールに対応する前記ターゲット関心領域の第２候補図形の間の位置関係を参照して、前記基準空間上で前記ターゲット関心領域が存在する位置を特定する段階と、を含み、
前記候補図形を特定する段階で、前記少なくとも一つの映像モジュールによって撮影されるイメージ内に含まれる前記ターゲット関心領域の前記イメージ内座標の前記基準空間上の座標点への変換は、前記少なくとも一つの映像モジュールの属性を参照して前記ターゲット関心領域の前記イメージ内座標を前記基準空間上の座標に変換するための変換角度、変換位置および変換形態のうち少なくとも一つに関する情報を決定することによって行われ、
前記基準空間上で前記ターゲット関心領域が存在する位置を特定する段階は、
前記第１候補図形及び前記第２候補図形が互いに交差しているかどうかを判定する段階と、
前記第１候補図形及び前記第２候補図形が互いに交差していると判定された場合に、前記第１候補図形及び前記第２候補図形の交差地点または交差領域に基づいて、前記基準空間上で前記ターゲット関心領域が存在する位置を特定する段階と、
前記第１候補図形及び前記第２候補図形が互いに交差していないと判定された場合に、前記第１候補図形と前記第２候補図形とを結ぶ最短距離の連結線に基づいて、前記基準空間上で前記ターゲット関心領域が存在する位置を特定する段階と、を含み、
前記第１映像モジュール及び前記第２映像モジュールの解像度により前記第１候補図形及び前記第２候補図形の面積または体積を適応的に決定する、
方法。
前記第１映像モジュールおよび前記第２映像モジュールが２次元映像モジュールである場合に、前記候補図形はベクターで特定される、請求項１に記載の方法。
前記ターゲット関心領域が存在する位置は、前記第１映像モジュールに対応する前記ターゲット関心領域の第１ベクターおよび前記第２映像モジュールに対応する前記ターゲット関心領域の第２ベクターの間の交差地点で特定される、請求項２に記載の方法。
前記第１映像モジュールおよび前記第２映像モジュールが３次元映像モジュールである場合に、前記候補図形は空間図形で特定される、請求項１に記載の方法。
前記ターゲット関心領域が存在する位置は、前記第１映像モジュールに対応する前記ターゲット関心領域の第１空間図形および前記第２映像モジュールに対応する前記ターゲット関心領域の第２空間図形の間の交差領域で特定される、請求項４に記載の方法。
前記第１映像モジュールおよび前記第２映像モジュールがそれぞれ３次元映像モジュールおよび２次元映像モジュールである場合に、前記候補図形はそれぞれ空間図形およびベクターで特定される、請求項１に記載の方法。
前記ターゲット関心領域が存在する位置は、前記第１映像モジュールに対応する前記ターゲット関心領域の空間図形および前記第２映像モジュールに対応する前記ターゲット関心領域のベクターの間の交差地点で特定される、請求項６に記載の方法。
少なくとも三以上のターゲット関心領域のイメージ内座標に関する情報を参照して、前記複数の映像モジュール間の位置関係に関する情報が特定される、請求項１に記載の方法。
前記第１映像モジュールの第１候補図形および前記第２映像モジュールの第２候補図形は、前記第１映像モジュールおよび前記第２映像モジュールの間に同期化されるフレーム単位に基づいて互いにマッチングされる、請求項１に記載の方法。
前記ターゲット関心領域のイメージ内座標に関する情報には複数の前記ターゲット関心領域の間に区別され得る識別情報が含まれ、前記第１映像モジュールの第１候補図形および前記第２映像モジュールの第２候補図形は、前記識別情報に基づいて互いにマッチングされる、請求項１に記載の方法。
前記第１映像モジュールの第１候補図形および前記第２映像モジュールの第２候補図形が一対一マッチングされない場合に、前記第１映像モジュールの第１候補図形および前記第２映像モジュールの第２候補図形のうちグルーピングされ得る候補図形を特定して互いにマッチングされる、請求項１に記載の方法。
請求項１に記載された方法を実行するためのコンピュータプログラムを記録する、非一過性のコンピュータ読み取り可能記録媒体。
関心領域の空間座標を算出するシステムであって、
複数の映像モジュールによってそれぞれ撮影される複数のイメージ内に含まれる関心領域のイメージ内座標に関する情報をそれぞれ獲得する情報獲得部と、
前記複数の映像モジュールのうち少なくとも一つの映像モジュールが設置された位置の基準空間上の座標点に関する情報および前記少なくとも一つの映像モジュールによって撮影されるイメージ内に含まれるターゲット関心領域のイメージ内座標から変換された前記基準空間上の前記座標点に関する情報を参照して、前記基準空間上の前記少なくとも一つの映像モジュールが設置された位置の前記座標点を基準として、候補図形が前記基準空間上で前記ターゲット関心領域が存在する位置を含む、前記基準空間上の前記候補図形を特定し、第１映像モジュールに対応する前記ターゲット関心領域の第１候補図形および第２映像モジュールに対応する前記ターゲット関心領域の第２候補図形の間の位置関係を参照して、前記基準空間上で前記ターゲット関心領域が存在する位置を特定する空間座標算出部と、を含み、
前記空間座標算出部で、前記少なくとも一つの映像モジュールによって撮影されるイメージ内に含まれる前記ターゲット関心領域の前記イメージ内座標の前記基準空間上の座標点への変換は、前記少なくとも一つの映像モジュールの属性を参照して前記ターゲット関心領域の前記イメージ内座標を前記基準空間上の座標に変換するための変換角度、変換位置および変換形態のうち少なくとも一つに関する情報を決定することによって行われ、
前記空間座標算出部は、
前記第１候補図形及び前記第２候補図形が互いに交差しているかどうかを判定し、
前記第１候補図形及び前記第２候補図形が互いに交差していると判定された場合に、前記第１候補図形及び前記第２候補図形の交差地点または交差領域に基づいて、前記基準空間上で前記ターゲット関心領域が存在する位置を特定し、
前記第１候補図形及び前記第２候補図形が互いに交差していないと判定された場合に、前記第１候補図形と前記第２候補図形とを結ぶ最短距離の連結線に基づいて、前記基準空間上で前記ターゲット関心領域が存在する位置を特定し、
前記第１映像モジュール及び前記第２映像モジュールの解像度により前記第１候補図形及び前記第２候補図形の面積または体積を適応的に決定する、
システム。