JP2023505987A - 人間関節を用いた無人航空機上のカメラの校正 - Google Patents

人間関節を用いた無人航空機上のカメラの校正 Download PDF

Info

Publication number
JP2023505987A
JP2023505987A JP2022534839A JP2022534839A JP2023505987A JP 2023505987 A JP2023505987 A JP 2023505987A JP 2022534839 A JP2022534839 A JP 2022534839A JP 2022534839 A JP2022534839 A JP 2022534839A JP 2023505987 A JP2023505987 A JP 2023505987A
Authority
JP
Japan
Prior art keywords
camera
anchor
group
human
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022534839A
Other languages
English (en)
Other versions
JP7527546B2 (ja
Inventor
大資 田原
アレクサンダー ベレストフ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JP2023505987A publication Critical patent/JP2023505987A/ja
Application granted granted Critical
Publication of JP7527546B2 publication Critical patent/JP7527546B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/04—Aircraft not otherwise provided for having multiple fuselages or tail booms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/104—Simultaneous control of position or course in three dimensions specially adapted for aircraft involving a plurality of aircrafts, e.g. formation flying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Remote Sensing (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Mechanical Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

無人航空機（ＵＡＶ）上のカメラを校正するシステム及び方法を提供する。システムは、アンカーカメラの組から人間被写体のアンカー画像の組を受け取り、一群のＵＡＶ上の一群のカメラから３次元（３Ｄ）空間内の複数の地点からの人間被写体の一群の画像を受け取る。システムは、アンカー画像の組から人間関節の第１の２次元（２Ｄ）位置の組を決定し、一群の画像から人間関節の第２の２Ｄ位置の組を決定する。システムは、第１の２Ｄ位置の組を使用した三角測量に基づいて人間関節の３Ｄ位置を３Ｄキーポイントとして計算し、３Ｄキーポイントと第２の２Ｄ位置との間の２Ｄ再投影誤差を決定する。その後、システムは、２Ｄ再投影誤差を最小化することによって一群のカメラの各カメラを校正する。【選択図】 図１

Description

〔関連出願との相互参照／引用による組み入れ〕
なし
本開示の様々な実施形態はカメラ校正に関する。具体的には、本開示の様々な実施形態は、無人航空機（ＵＡＶ）に搭載又は一体化されたカメラを人間関節を使用して校正するシステム及び方法に関する。
カメラ校正には、チェッカーボードパターンなどの様々な２次元パターンが使用される。このようなパターンの使用によるカメラ校正は正確な校正結果をもたらすことができるが、これらの技術には時間がかかるとともに、かなり多くの手動労力が必要になることもある。例えば、このようなカメラ校正技術を適用すると、ポイントマッチング問題（ｐｏｉｎｔ－ｍａｔｃｈｉｎｇ ｐｒｏｂｌｅｍ）が生じやすくなる場合もある。
当業者には、説明したシステムと、本出願の残り部分において図面を参照しながら示す本開示のいくつかの態様とを比較することにより、従来の慣習的な手法のさらなる限界及び不利点が明らかになるであろう。
実質的に少なくとも１つの図に関連して図示及び／又は説明し、特許請求の範囲にさらに完全に示すような、無人航空機（ＵＡＶ）に搭載又は一体化されたカメラを人間関節を使用して校正するシステム及び方法を提供する。
全体を通じて同じ要素を同じ参照符号によって示す添付図面を参照しながら本開示の以下の詳細な説明を検討することにより、本開示のこれらの及びその他の特徴及び利点を理解することができる。
本開示の実施形態による、一群のＵＡＶに搭載又は一体化された一群のカメラを人間関節を使用して校正する例示的なネットワーク環境を示すブロック図である。 本開示の実施形態による、一群のＵＡＶに搭載又は一体化された一群のカメラを校正する例示的なシステムを示すブロック図である。 本開示の実施形態による例示的なＵＡＶを示すブロック図である。 本開示の実施形態による、人間被写体の画像を取得するためのＵＡＶに搭載又は一体化されたカメラ及びアンカーカメラ装置の例示的な実装を説明する図である。 本開示の実施形態による、人間被写体の画像を取得するためのＵＡＶに搭載又は一体化されたカメラ及びアンカーカメラ装置の例示的な実施態様を示す図である。 本開示の実施形態による、人間関節に基づいてＵＡＶ上のカメラを校正する例示的な動作を示す図である。 本開示の実施形態による、ＵＡＶに搭載又は一体化された一群のカメラを校正する例示的な動作を示すフローチャートである。
無人航空機（ＵＡＶ）に搭載又は一体化された一群のカメラの人間関節を用いた自動校正のための開示するシステム及び方法では、後述する実装を見出すことができる。本開示の例示的な態様は、３Ｄ空間内で特定の既知の位置及び向きに予め校正して固定できるアンカーカメラの組を提供する。さらに、一群のカメラは、一群のＵＡＶの各ＵＡＶに搭載又は一体化することができる。一群のカメラは、並進パラメータ及び回転パラメータなどの外部カメラパラメータについて予め校正されていないこともある。アンカーカメラの組及び一群のＵＡＶは、３Ｄ空間内で人間被写体を取り囲むことができる。アンカーカメラの組によって取り込まれた人間被写体のアンカー画像の組から、人間関節の第１の２次元（２Ｄ）位置の組を決定することができる。さらに、複数の３次元（３Ｄ）地点から一群のカメラによって取り込まれた人間被写体の一群の画像から、人間関節の第２の２Ｄ位置の組を決定することができる。システムは、決定された第１の２Ｄ位置の組の三角測量に基づいて、人間関節の３Ｄ位置としての３Ｄキーポイントを計算し、３Ｄキーポイントと第２の２Ｄ位置の組との間の２Ｄ再投影誤差を最小化することによってアンカーカメラの組又はゲージに関して一群のカメラの各々（すなわち、外部及び／又は内部パラメータ）を校正することができる。
人間関節をカメラ校正に使用することで、チェッカーボードなどの２Ｄパターンを使用する従来の校正方法で典型的に発生するポイントマッチング問題を発生しにくくすることができる。また、人間関節を校正に使用することで、未校正カメラの前にチェッカーボードなどの校正パターンを手動で配置する必要性を排除することもできる。
図１は、本開示の実施形態による、一群のＵＡＶに搭載又は一体化された一群のカメラを人間関節を使用して校正する例示的なネットワーク環境を示すブロック図である。図１にはネットワーク環境１００を示す。ネットワーク環境１００は、システム１０２と、システム１０２に含めることができる機械学習（ＭＬ）モデル１０４とを含むことができる。ネットワーク環境１００は、アンカーカメラ装置の組１０６と、一群のＵＡＶ１０８と、通信ネットワーク１１０とをさらに含むことができる。例えば、図示のように、アンカーカメラ装置の組１０６は、第１のアンカーカメラ装置１０６ａ及び第２のアンカーカメラ装置１０６ｂを含むことができる。同様に、一群のＵＡＶ１０８は、第１のＵＡＶ１０８ａ及び第２のＵＡＶ１０８ｂを含むことができ、これらの両方には、第１のＵＡＶ１０８ａのための第１のカメラ１１２ａ及び第２のＵＡＶ１０８ｂのための第２のカメラ１１２ｂなどのカメラを取り付けることができる。第１のカメラ１１２ａ及び第２のカメラ１１２ｂは、集合的に一群のカメラ１１２と呼ぶことができる。システム１０２は、アンカーカメラ装置の組１０６及び一群のＵＡＶ１０８に通信ネットワーク１１０を介して通信可能に結合することができる。
さらに、アンカーカメラ装置の組及び一群のＵＡＶ１０８を配置できる３Ｄ環境の一部としての３次元（３Ｄ）空間１１４も示す。３Ｄ空間１１４内には、アンカーカメラ装置の組１０６及び一群のＵＡＶ１０８によって取り囲まれた人間被写体１１６も示す。アンカーカメラ装置の組１０６及び一群のＵＡＶ１０８は、３Ｄ空間１１４内の複数の地点に（例えば、まばらに）配置することができ、人間被写体１１６の身体の少なくとも前側又は後側をカバーできる複合視野（ＦｏＶ）を有するマルチスキャナネットワークを集合的に形成することができる。人間被写体１１６は、他の物体を含むこともできるシーンの前景の一部とすることができ、本開示では簡潔さのためにこれらの物体の詳細及び図については省略する。
なお、図１のアンカーカメラ装置の組１０６及び一群のＵＡＶ１０８に関連するカメラの位置、向き、配置及び数は一例として示すものにすぎず、本開示を限定するものとして解釈すべきではない。本開示は、その範囲から逸脱することなく、他の位置、向き、配置、並びにこれより多くの又は少ない数のアンカーカメラ装置及びＵＡＶにも適用可能である。
システム１０２は、一群のＵＡＶ１０８のそれぞれのＵＡＶに搭載又は一体化されたそれぞれのカメラを人間被写体１１６の人間関節に関連する情報を使用して校正するように構成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。システム１０２の実装例としては、以下に限定するわけではないが、ビデオ放送システム、拡張現実ベースの装置、ゲーム装置、ビデオ処理装置、ビデオ編集システム、メディア制作システム、コンピュータワークステーション、メインフレームコンピュータ、携帯電話機、スマート家電、ビデオプレーヤ、デジタルカメラ、ビデオカメラ、サーバ、消費者電子（ＣＥ）装置、及び／又は画像処理能力を有する他のいずれかのコンピュータ装置を挙げることができる。
ＭＬモデル１０４は、２Ｄ人間関節検出タスクに基づいて訓練できるニューラルネットワークなどの人間関節検出フレームワークに対応することができる。例えば、ＭＬモデル１０４は、人間被写体１１６の画像を受け取ってこの画像から各人間関節について一定の信頼度スコアで人間関節を検出する訓練済みニューラルネットワークを含むことができる。ＭＬモデル１０４は、例えばソフトウェアコンポーネントとして実装されてコードデータベース、ライブラリ、外部スクリプト、或いはシステム１０２などのコンピュータシステムによるＭＬアルゴリズムの実行のためのその他のロジック又は命令に依拠することができる電子データを含むことができる。ＭＬモデル１０４は、システム１０２などのコンピュータシステムが人間被写体１１６の画像から人間関節検出を実行することを可能にするように構成されたコード及びルーチンとして実装することができる。これに加えて又はこれに代えて、ＭＬモデル１０４は、プロセッサ、（例えば、１又は２以上の動作の実行又はその性能の制御を行う）マイクロプロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又は特定用途向け集積回路（ＡＳＩＣ）を含むハードウェアを使用して実装することもできる。他のいくつかの事例では、ハードウェア及びソフトウェアの両方の組み合わせを使用してＭＬモデル１０４を実装することができる。
ある実施形態によれば、ＭＬモデル１０４をニューラルネットワークモデルとすることができる。ニューラルネットワークモデルの例としては、以下に限定するわけではないが、ディープニューラルネットワーク（ＤＮＮ）、畳み込みニューラルネットワーク（ＣＮＮ）、再帰型ニューラルネットワーク（ＲＮＮ）、ＣＮＮ－再帰型ニューラルネットワーク（ＣＮＮ－ＲＮＮ）、Ｒ－ＣＮＮ、Ｆａｓｔ Ｒ－ＣＮＮ、Ｆａｓｔｅｒ Ｒ－ＣＮＮ、人工ニューラルネットワーク（ＡＮＮ）、（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ）ＹＯＬＯネットワーク、長・短期記憶（ＬＳＴＭ）ネットワークベースのＲＮＮ、ＣＮＮ＋ＡＮＮ、ＬＳＴＭ＋ＡＮＮ、ゲート付き再帰型ユニット（ＧＲＵ）ベースのＲＮＮ、全結合ニューラルネットワーク、Ｃｏｎｎｅｃｔｉｏｎｉｓｔ Ｔｅｍｐｏｒａｌ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ（ＣＴＣ）ベースのＲＮＮ、ディープベイズニューラルネットワーク、敵対的生成ネットワーク（ＧＡＮ）、及び／又はこれらのネットワークの組み合わせなどを挙げることができる。いくつかの実施形態では、ニューラルネットワークモデルが、複数のディープニューラルネットワーク（ＤＮＮ）のハイブリッドアーキテクチャに基づくことができる。
アンカーカメラ装置の組１０６の各々は、人間被写体１１６を含むことができる画像又は複数の画像を取り込むように構成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。各アンカーカメラ装置は、３Ｄ空間１１４内の一定の位置に固定することができる。例えば、アンカーカメラ装置は、壁又は屋根の所定の位置に固定することができる。アンカーカメラ装置の実装例としては、以下に限定するわけではないが、３Ｄ空間１１４内の予め校正された固定カメラ、３Ｄ空間１１４内の固定姿勢を維持するように構成できる、ＵＡＶに搭載又は一体化された予め校正されたカメラ、又は遠隔制御式カメラ移動アセンブリに移動可能に結合できる予め校正されたカメラなどを挙げることができる。
一群のＵＡＶ１０８の各ＵＡＶは、（最初は校正されていない）カメラを取り付けることができるＵＡＶを含むことができる。さらに、各ＵＡＶは、遠隔システムによって制御することも、又は予めプログラムされたルート又は経路に基づいて自律飛行可能なものとすることもできる。少なくとも１つの実施形態では、各ＵＡＶが、３Ｄ空間１１４内で自機を位置合わせして、それぞれのＵＡＶに取り付けられたカメラのＦＯＶ領域内に常に人間被写体１１６が存在するように人間被写体１１６を追跡する人間追跡法を実装することができる。少なくとも１つの実施形態では、各ＵＡＶを、システム１０２の一部とすることができる中央制御ステーションから人間のパイロットが制御することができる。
ある実施形態によれば、一群のＵＡＶ１０８の各々（例えば、第１のＵＡＶ１０８ａ及び第２のＵＡＶ１０８ｂ）は、通信ネットワーク１１０を介してシステム１０２から制御命令を受け取ることができる。制御命令は、一群のＵＡＶ１０８のうちの１つ又は２つ以上が３Ｄ空間１１４内で移動できる３Ｄ位置（Ｘ軸、Ｙ軸又はＺ軸）又は３Ｄ経路を含むことができる。いくつかの実施形態では、このような命令が、３Ｄ空間１１４内の各ＵＡＶの３Ｄ姿勢に関連することができる傾斜又は配向情報を含むことができる。一群のＵＡＶ１０８は、システム１０２から受け取られた制御命令に基づいて、自機の傾斜角又は向き、及び垂直配列又は水平配列を制御することができる。ＵＡＶの例としては、以下に限定するわけではないが、カメラドローン、カメラ付きスマートプレーン、又は（システム１０２などによって）予めプログラムされた飛行計画及び／又は自動化システムに基づいて制御できる他の飛行車両を挙げることができる。ＵＡＶの例は、フレームタイプ及びモータの数に基づいて、以下に限定するわけではないが、３つのアーム及び１つのモータを有するトライコプター、４つのアーム及び１つのモータを有するクアッドコプター、６つのアーム及び１つのモータを有するヘキサコプター、６つのアーム及び６つのモータを有するＹ６コプター、８つのアーム及び１つのモータを有するオクトコプター、及び／又は８つのアーム及び８つのモータを有するＸ８コプターなどを含むことができる。
第１のカメラ１１２ａ及び第２のカメラ１１２ｂの各々は、人間被写体１１６を含むことができる１又は複数の画像を取り込むように構成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。第１のカメラ１１２ａ及び第２のカメラ１１２ｂの各々は、ＵＡＶに搭載又は一体化することができる。第１のカメラ１１２ａ及び第２のカメラ１１２ｂの例としては、以下に限定するわけではないが、一眼レフカメラ、デジタル一眼レフカメラ、スタジオ又は放送グレードカメラ、高速カメラ、広角カメラ、アクションカメラ、閉回路テレビ（ＣＣＴＶ）カメラ、カムコーダ、デジタルカメラ、カメラ電話、飛行時間カメラ（ＴｏＦカメラ）、暗視カメラ、及び／又はその他の画像取り込み装置を挙げることができる。
通信ネットワーク１１０は、システム１０２、アンカーカメラ装置の組１０６及び一群のＵＡＶ１０８が互いに通信できるようにする通信媒体を含むことができる。通信ネットワーク１１０の例としては、以下に限定するわけではないが、インターネット、クラウドネットワーク、ワイヤレスフィデリティ（Ｗｉ－Ｆｉ）ネットワーク、パーソナルエリアネットワーク（ＰＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、又はメトロポリタンエリアネットワーク（ＭＡＮ）を挙げることができる。ネットワーク環境１００内の様々な装置は、様々な有線及び無線通信プロトコルに従って通信ネットワーク１１０に接続するように構成することができる。このような有線及び無線通信プロトコルの例としては、以下に限定するわけではないが、伝送制御プロトコル・インターネットプロトコル（ＴＣＰ／ＩＰ）、ユーザデータグラムプロトコル（ＵＤＰ）、ハイパーテキスト転送プロトコル（ＨＴＴＰ）、ファイル転送プロトコル（ＦＴＰ）、Ｚｉｇ Ｂｅｅ、ＥＤＧＥ、ＩＥＥＥ ８０２．１１、ライトフィデリティ（Ｌｉ－Ｆｉ）、８０２．１６、ＩＥＥＥ ８０２．１１ｓ、 ＩＥＥＥ ８０２．１１ｇ、マルチホップ通信、無線アクセスポイント（ＡＰ）、装置間通信、セルラー通信プロトコル、及びＢｌｕｅｔｏｏｔｈ（ＢＴ）通信プロトコルなどを挙げることができる。
説明する実施形態では、３Ｄ空間１１４を、人間被写体１１６の画像を複数の地点から取り込むことができる構築環境（例えば、屋内、屋外又はスタジオ空間）又は自然環境とすることができる。
システム１０２は、動作時にシステム１０２のユーザインターフェイスを通じてユーザ（人間被写体１１６又は別の人間オペレータなど）からユーザ入力を受け取ることができる。ユーザ入力は、一群のＵＡＶ１０８に搭載又は一体化された（第１のカメラ１１２ａ及び第２のカメラ１１２ｂなどの）各カメラを校正するようにシステム１０２に命令することができる。
一群のＵＡＶ１０８上のこのようなカメラの校正プロセスを初期化するために、アンカーカメラ装置の組１０６及び一群のＵＡＶ１０８に搭載又は一体化されたカメラ（第１のカメラ１１２ａ及び第２のカメラ１１２ｂ）から画像を取得することができる。その後、システム１０２は、アンカーカメラ装置の組１０６から人間被写体１１６のアンカー画像の組を受け取ることができる。また、システム１０２は、一群のＵＡＶ１０８に搭載又は一体化されたカメラから人間被写体１１６の一群の画像を受け取ることもできる。受け取られる一群の画像は、３Ｄ空間１１４内の複数の地点から取得することができる。例えば、一群の画像のうちの第１の数の画像を第１のカメラ１１２ａが取り込み、残りの数の画像を第２のカメラ１１２ｂが取り込むことができる。
システム１０２は、受け取られたアンカー画像の組の各アンカー画像内の人間被写体１１６の人間関節の第１の２Ｄ位置の組を決定することができる。アンカーカメラ装置の各々は、予め校正して３Ｄ空間１１４内の既知の位置に固定しておくことができるので、アンカーカメラ装置の組１０６によって取り込まれたアンカー画像の組は、物体のキーポイントの正確な位置（例えば、人間関節の２Ｄ位置）を含むことができる。本開示では、人間関節の位置を、３Ｄ空間１１４内の剛直で明確な点（ｒｉｇｉｄ ａｎｄ ａｒｔｉｃｕｌａｔｅ ｐｏｉｎｔｓ）として取り扱うことができる。また、実験結果に基づいて人間関節間の距離を設定することもできる。システム１０２は、受け取られた一群の画像の各画像内の人間被写体１１６の人間関節の第２の２Ｄ位置の組をさらに決定することができる。ある実施形態では、システム１０２が、ＭＬモデル１０４を使用してアンカー画像の組から第１の２Ｄ位置の組を決定し、一群の画像から第２の２Ｄ位置の組を決定することができる。ＭＬモデル１０４の実装例としては、以下に限定するわけではないが、Ｏｐｅｎ Ｐｏｓｅ、Ａｌｐｈａ Ｐｏｓｅ、及びマスク領域－畳み込みニューラルネットワーク（Ｒ－ＣＮＮ）を挙げることができる。
システム１０２は、決定された人間関節の第１の２Ｄ位置の組を使用した（例えば、幾何学的三角測量法を使用した）三角測量に基づいて、３Ｄ空間１１４内の人間関節の３Ｄ位置を３Ｄキーポイントとしてさらに計算することができる。さらに、システム１０２は、３Ｄキーポイントと決定された第２の２Ｄ位置の組との間の２Ｄ再投影誤差を決定することができる。システム１０２は、決定された２Ｄ再投影誤差を最小化することによって一群のＵＡＶ１０８のそれぞれのＵＡＶ上の各カメラを校正することができる。例えば、第１のカメラ１１２ａを校正するには、第１のＵＡＶ１０８ａに搭載又は一体化された第１のカメラ１１２ａの画像平面上に３Ｄキーポイントを再投影することができる。その後、各再投影された３Ｄキーポイントと対応する人間関節の２Ｄ位置との間の再投影誤差を決定することができる。再投影誤差を最小化するために、目的関数を定式化して解くことができる。同様に、第２のカメラ１１２ｂについても上述した方法を繰り返すことができる。一群のＵＡＶ１０８の各ＵＡＶ上のカメラは最初に校正されていないことがあるので、カメラの３Ｄキーポイントベースのカメラ校正の結果、一群のＵＡＶ１０８のそれぞれのＵＡＶに取り付けられた各カメラの外部校正パラメータの値（すなわち、３Ｄ姿勢）を推定することができる。
ＭＬモデル１０４に基づく人間被写体１１６の人間関節の２Ｄ位置の検出は、誤差が少なく手動入力を必要としないことができる。さらに、システム１０２は、チェッカーボードパターンなどの従来の２Ｄパターンを使用する従来のカメラ校正技術に基づいて計算できるキーポイントの数と比べて多くの３Ｄキーポイントを計算することができる。このようなカメラ校正技術は、数多くの３Ｄキーポイントに対する１又は２以上の統計的手法の使用によって、ポイントミスマッチエラーが存在してもこれが抑制されるため、ポイントミスマッチ問題を発生しにくくすることができる。また、人間関節を校正に使用することで、チェッカーボードなどの校正パターンを手動で配置する必要性を排除することもできる。
図２は、本開示の実施形態による、一群のＵＡＶに搭載又は一体化された一群のカメラを校正する例示的なシステムを示すブロック図である。図２の説明は図１の要素に関連して行う。図２にはシステム１０２のブロック図２００を示す。システム１０２は、回路２０２、メモリ２０４、入力／出力（Ｉ／Ｏ）装置２０６、及びネットワークインターフェイス２０８を含むことができる。回路２０２は、メモリ２０４、Ｉ／Ｏ装置２０６及びネットワークインターフェイス２０８に通信可能に結合することができる。また、回路２０２は、通信ネットワーク１１０を通じてアンカーカメラ装置の組１０６、及び一群のＵＡＶ１０８に搭載又は一体化された一群のカメラ１１２に通信可能に結合することができる。図２に示すように、一群のＵＡＶ１０８は、第１のカメラ１１２ａを有することができる第１のＵＡＶ１０８ａと、及び第２のカメラ１１２ｂを有することができる第２のＵＡＶ１０８ｂとを含むことができる。また、図示のアンカーカメラ装置の組１０６は、第１のアンカーカメラ装置１０６ａ及び第２のアンカーカメラ装置１０６ｂを含む。
回路２０２は、メモリ２０４に記憶された命令を実行するように構成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。実行される命令は、一群のＵＡＶ１０８に搭載又は一体化された（第１のカメラ１１２ａ及び第２のカメラ１１２ｂなどの）一群のカメラ１１２の各カメラを校正するための一連の制御動作に対応することができる。回路２０２は、当業で周知のプロセッサ技術に基づいて実装することができる。回路２０２の例としては、以下に限定するわけではないが、グラフィックプロセッサユニット（ＧＰＵ）、コプロセッサ、中央処理装置（ＣＰＵ）、ｘ８６ベースのプロセッサ、縮小命令セットコンピューティング（ＲＩＳＣ）プロセッサ、特定用途向け集積回路（ＡＳＩＣ）プロセッサ、複合命令セットコンピューティング（ＣＩＳＣ）プロセッサ、及びこれらの組み合わせを挙げることができる。
メモリ２０４は、回路２０２が実行できる命令を記憶するように構成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。また、メモリ２０４は、アンカー画像の組及び人間被写体１１６の一群の画像を記憶するように構成することができる。メモリ２０４は、アンカー画像の組から人間関節の第１の２Ｄ位置の組を決定し、一群の画像から人間関節の第２の２Ｄ位置の組を決定するために使用できるＭＬモデル１０４を記憶するようにさらに構成することができる。また、メモリ２０４は、計算された３ＤキーポイントのＸ、Ｙ及びＺ座標を記憶することもできる。メモリ２０４の実装例としては、以下に限定するわけではないが、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、電気的に消去可能なプログラマブルリードオンリーメモリ（ＥＥＰＲＯＭ）、ハードディスクドライブ（ＨＤＤ）、固体ドライブ（ＳＳＤ）、ＣＰＵキャッシュ、及び／又はセキュアデジタル（ＳＤ）カードなどを挙げることができる。
Ｉ／Ｏ装置２０６は、ユーザから入力を受け取り、受け取った入力に基づいてユーザに出力を提供するように構成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。Ｉ／Ｏ装置２０６は、回路２０２と通信するように構成できる様々な入力装置及び出力装置を含むことができる。入力装置の例としては、限定するわけではないが、タッチ画面、キーボード及び／又はマウスを挙げることができる。出力装置の例としては、限定するわけではないが、ディスプレイ及びオーディオ装置を挙げることができる。
ネットワークインターフェイス２０８は、通信ネットワーク１１０を介してシステム１０２、アンカーカメラ装置の組１０６、一群のカメラ１１２及び一群のＵＡＶ１０８間の通信を確立するように構成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。ネットワークインターフェイス２０８は、システム１０２による通信ネットワーク１１０を介した有線又は無線通信をサポートする様々な既知の技術の使用によって実装することができる。ネットワークインターフェイス２０８は、以下に限定するわけではないが、アンテナ、無線周波数（ＲＦ）トランシーバ、１又は２以上の増幅器、チューナ、１又は２以上の発振器、デジタルシグナルプロセッサ、コーダーデコーダ（ＣＯＤＥＣ）チップセット、加入者アイデンティティモジュール（ＳＩＭ）カード、及び／又はローカルバッファを含むことができる。
ネットワークインターフェイス２０８は、インターネット、イントラネット、及び／又は携帯電話ネットワーク、無線ローカルエリアネットワーク（ＬＡＮ）及び／又はメトロポリタンエリアネットワーク（ＭＡＮ）などの無線ネットワークなどのネットワークと無線通信を介して通信することができる。無線通信は、グローバルシステムフォーモバイルコミュニケーションズ（ＧＳＭ）、拡張データＧＳＭ環境（ＥＤＧＥ）、広帯域符号分割多重アクセス（Ｗ－ＣＤＭＡ）、ロングタームエボリューション（ＬＴＥ）、符号分割多重アクセス（ＣＤＭＡ）、時分割多重アクセス（ＴＤＭＡ）、Ｂｌｕｅｔｏｏｔｈ、（ＩＥＥＥ８０２．１１ａ、ＩＥＥＥ８０２．１１ｂ、ＩＥＥＥ８０２．１１ｇ及び／又はＩＥＥＥ８０２．１１ｎなどの）ワイヤレスフィデリティ（ＷｉＦｉ）、ボイスオーバーインターネットプロトコル（ＶｏＩＰ）、ライトフィデリティ（Ｌｉ－Ｆｉ）、Ｗｉ－ＭＡＸ、電子メール、インスタントメッセージング及び／又はショートメッセージサービス（ＳＭＳ）のためのプロトコルなどの複数の通信標準、プロトコル及び技術のうちのいずれかを使用することができる。
図１で説明したようなシステム１０２によって実行される機能又は動作は、回路２０２によって実行することができる。回路２０２によって実行される動作については、例えば図４、図５及び図６で詳細に説明する。
図３は、本開示の実施形態による例示的なＵＡＶのブロック図である。図３の説明は図１及び図２の要素に関連して行う。図３には、一群のＵＡＶ１０８のうちの１つのＵＡＶとすることができる第１のＵＡＶ１０８ａのブロック図３００を示す。第１のＵＡＶ１０８ａは、回路３０２、メモリ３０４、Ｉ／Ｏ装置３０６、位置センサ３０８、推進システム３１０、及びネットワークインターフェイス３１２を含むことができる。推進システム３１０は、モータ３１４、プロペラ３１６、電子速度コントローラ（ＥＳＣ）３１８、及びバッテリ３２０を含むことができる。当業者であれば、第１のＵＡＶ１０８ａは、本開示の機能及び動作を説明するために本明細書に示すコンポーネント又はシステムに加えて他の好適なコンポーネント又はシステムを含むこともできると理解するであろう。第１のＵＡＶ１０８ａの他のコンポーネント又はシステムに関する詳細な説明については、簡潔さのために本開示からは省略する。
第１のＵＡＶ１０８ａ及びシステム１０２は、通信ネットワーク１１０を介して互いに通信可能に結合することができる。第１のカメラ１１２ａは、３Ｄ空間１１４内で６自由度（ＤＯＦ）などの様々なＤＯＦを有することができるように第１のＵＡＶ３０８ａに搭載又は一体化されるように構成することができる。第１のＵＡＶ１０８ａのブロック図３００に示す回路３０２、メモリ３０４、Ｉ／Ｏ装置３０６及びネットワークインターフェイス３１２の機能は、例えば図２で説明した回路２０２メモリ２０４、Ｉ／Ｏ装置２０６及びネットワークインターフェイス２０８の機能と同じものであることができる。従って、回路３０２、メモリ３０４、Ｉ／Ｏ装置３０６及びネットワークインターフェイス３１２の説明については、簡潔さのために本開示からは省略する。
位置センサ３０８は、３Ｄ空間１１４内の第１のＵＡＶ１０８ａの現在位置を決定するように構成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。少なくとも１つの実施形態では、位置センサ３０８が、３Ｄ空間１１４内の（ピッチ軸、ロール軸又はヨー軸に沿った）向きを決定することもできる。位置センサ３０８は、第１のＵＡＶ１０８ａの現在の位置及び／又は向きを回路３０２及び／又はシステム１０２に伝えることができる。回路３０２及び／又はシステム１０２は、伝えられた第１のＵＡＶ１０８ａの現在の位置及び／又は向きに基づいて第１のＵＡＶ１０８ａの位置及び／又は向きを制御することができる。位置センサ３０８の例としては、以下に限定するわけではないが、全地球的航法衛星システム（ＧＮＳＳ）受信機、モーションセンサ、チルトセンサ、加速度計、ジャイロセンサ、慣性測定ユニット（ＩＭＵ）又は感知カメラを挙げることができる。
ある実施形態では、位置センサ３０８を赤外線（ＩＲ）マーカセンサ又はパターンコードスキャナとして実装することができる。ＩＲマーカセンサの場合には、３Ｄ空間１１４内の所定の位置にＩＲ光の光源を取り付けることができる。光源は、周期的点滅で又は連続的にＩＲ光を放出することができ、第１のＵＡＶ１０８ａに搭載又は一体化された第１のカメラ１１２ａは、放出されたＩＲ光を１又は２以上のＩＲ画像として追跡して取り込むことができる。その後、回路３０２は、１又は２以上のＩＲ画像に３Ｄ姿勢推定技術（例えば、Ｐｏｓｅ ｆｒｏｍ Ｏｒｔｈｏｇｒａｐｈｙ ａｎｄ Ｓｃａｌｉｎｇ ｗｉｔｈ Ｉｔｅｒａｔｉｏｎ（ＰＯＳＩＴ）法）を適用して、ＩＲ光の光源に対する第１のＵＡＶ１０８ａの位置及び／又は向きを決定することができる。いくつかのシナリオでは、予め決定されたＩＲ光の光源の位置が既知であり、これを第１のＵＡＶ１０８ａのメモリ３０４に記憶することができる。このようなシナリオでは、回路３０２が、予め決定されたＩＲ光の光源の位置と、決定された第１のＵＡＶ１０８ａの位置及び／又は向きとに基づいて、第１のＵＡＶ１０８ａの絶対位置及び／又は絶対的な向きを決定することができる。
パターンコードスキャナの場合には、３Ｄ空間１１４内の所定の位置にＱＲコードマーカ又はバーコードマーカなどのパターンコードマーカを配置することができる。第１のカメラ１１２ａは、パターンコードマーカを追跡してパターンコードマーカの画像を取り込むことができる。メモリ３０４は、パターンコードマーカの参照画像及びパターンコードマーカの所定の位置を記憶することができる。回路３０２は、取り込まれた画像を参照画像と比較して、パターンコードマーカに対する第１のＵＡＶ１０８ａの位置及び／又は向きを決定することができる。また、回路３０２は、パターンコードマーカの所定の位置と、決定された第１のＵＡＶ１０８ａの位置及び／又は向きとに基づいて、第１のＵＡＶ１０８ａの絶対位置及び／又は絶対的な向きを決定することができる。
推進システム３１０は、３Ｄ空間１１４内の２つの位置間で第１のＵＡＶ１０８ａを動かすための揚力及び推力を生成できる機械、電気又は燃料ベースの一連のコンポーネントを含むことができる。推進システム３１０は、回路３０２又はシステム１０２から受け取られた１又は２以上の制御命令に基づいて第１のＵＡＶ１０８ａの動きを制御することができる。推進システム３１０は、モータ３１４、プロペラ３１６、ＥＳＣ３１８及びバッテリ３２０をさらに含むことができる。
（回路３０２などの）回路、（メモリ３０４などの）メモリ、（Ｉ／Ｏ装置３０６などの）Ｉ／Ｏ装置、（位置センサ３０８など）の位置センサ、（推進システム３１０などの）推進システム及び（ネットワークインターフェイス３１２などの）ネットワークインターフェイスは、一群のＵＡＶ１０８の他のＵＡＶにも含めることができる。ある実施形態では、第１のＵＡＶ１０８ａがマスターＵＡＶとして機能することができ、他のＵＡＶが、マスターＵＡＶから１又は２以上の制御命令を受け取ることができるスレーブＵＡＶとして機能することができる。
図４は、本開示の実施形態による、人間被写体の画像を取得するためのＵＡＶに搭載又は一体化されたカメラ及びアンカーカメラ装置の例示的な実装を説明する図である。図４の説明は図１、図２又は図３の要素に関連して行う。図４には、人間被写体１１６の後面に向くことができる第１のアンカーカメラ４０２ａ及び第２のアンカーカメラ４０２ｂ（集合的にアンカーカメラ４０２の組と呼ぶ）の配置を示す図４００を示す。図４００には、第１のＵＡＶ４０６ａ及び第２のＵＡＶ４０６ｂにそれぞれ搭載又は一体化された第１のカメラ４０４ａ及び第２のカメラ４０４ｂ（集合的に一群のカメラ４０４と呼ぶ）の配置も示す。第１のＵＡＶ４０６ａ及び第２のＵＡＶ４０６ｂは、集合的に一群のＵＡＶ４０６と呼ぶことができ、人間被写体１１６の前面に向くことができる。
アンカーカメラ４０２の組の各々は、１つの位置（例えば、天井、床又は壁又は静止構造などの特定の表面）に固定できる予め校正されたカメラに対応することができる。第１のアンカーカメラ４０２ａ及び第２のアンカーカメラ４０２ｂは、人間被写体１１６の第１のアンカー画像及び第２のアンカー画像（集合的にアンカー画像の組と呼ぶ）をそれぞれ取得するように構成することができる。システム１０２は、アンカー画像の組を取得するために、通信ネットワーク１１０を介して共有される制御命令に基づいてアンカーカメラの組４０２を制御することができる。
また、システム１０２は、一群のＵＡＶ４０６を３Ｄ空間１１４内の複数の地点において動くように制御するとともに、一群のＵＡＶ４０６に搭載又は一体化された一群のカメラ４０４をこのような地点から人間被写体１１６の一群の画像を取得するように制御することができる。少なくとも１つの実施形態では、システム１０２が、一群のカメラ４０４の各々のＦＯＶ領域が人間被写体１１６の身体の一部を取り込んだ後でここから最低限必要な数の人間関節を検出できるようにこのような地点を選択することができる。アンカーカメラ４０２の組及び一群のＵＡＶ４０６に搭載又は一体化された一群のカメラ４０４は、アンカー画像の組及び人間被写体１１６の一群の画像を取り込むと、これらをそれぞれシステム１０２に送信することができる。アンカー画像の組及び一群の画像に基づく第１のカメラ４０４ａ及び第２のカメラ４０４ｂの校正については、例えば図６において詳細に説明する。
図５は、本開示の実施形態による、人間被写体の画像を取得するためのＵＡＶに搭載又は一体化されたカメラ及びアンカーカメラ装置の例示的な実装を示す図である。図５の説明は図１、図２及び図３の要素に関連して行う。図５には、３Ｄ空間１１４内の第１のカメラ５０２ａ、第２のカメラ５０２ｂ及び第３のカメラ５０２ｃを示す図５００を示す。第１のカメラ５０２ａ、第２のカメラ５０２ｂ及び第３のカメラ５０２ｃは、それぞれ第１のＵＡＶ５０４ａ、第２のＵＡＶ５０４ｂ及び第３のＵＡＶ５０４ｃに搭載又は一体化することができる。
第１のＵＡＶ５０４ａは、３Ｄ空間１１４内で固定姿勢を維持することができる。本明細書では、固定姿勢が、３Ｄ空間１１４内の第１のＵＡＶ５０４ａの静止位置及び静止配向（ロール、ヨー、ピッチ）に対応することができる。このような事例では、第１のカメラ５０２ａ及び第１のＵＡＶ５０４ａのアセンブリを、固定姿勢を保ちながら第１のカメラ５０２ａを使用して人間被写体１１６のアンカー画像の組を取り込むことができるアンカーカメラ装置として指定することができる。また、第１のカメラ５０２ａは、第１のＵＡＶ５０４ａの固定姿勢に関して予め校正することができる。残りのＵＡＶ（すなわち、第２のＵＡＶ５０４ｂ及び第３のＵＡＶ５０４ｃ、集合的に一群のＵＡＶと呼ぶ）は、固定姿勢に対して動いて複数の地点から人間被写体１１６の一群の画像を取得するように制御することができる。
システム１０２は、第２のＵＡＶ５０４ｂ及び第３のＵＡＶ５０４ｃの各々を３Ｄ空間１１４内でこのような地点に移動してこのような地点から一群の画像を取り込むように制御することができる。第１のＵＡＶ５０４ａ又は第１のＵＡＶ５０４ａ上の第１のカメラ５０２ａは、人間被写体１１６のアンカー画像の組を取り込むと、これをシステム１０２に送信することができる。また、一群のカメラ（すなわち、第２のカメラ５０２ｂ及び第３のカメラ５０２ｃ）も、人間被写体１１６の一群の画像をシステム１０２に送信することができる。第２のカメラ５０２ｂ及び第３のカメラ５０２ｃ（集合的に一群のカメラと呼ぶ）の校正は、例えば図６で詳細に説明するようにアンカー画像の組及び一群の画像に基づくことができる。
図６は、本開示の実施形態による、人間関節に基づいてＵＡＶ上のカメラを校正する例示的な動作を示す図である。図６の説明は図１、図２、図３、図４又は図５の要素に関連して行う。図６には、第１のＵＡＶ４０６ａに搭載又は一体化された第１のカメラ４０４ａ、及び第２のＵＡＶ４０６ｂに搭載又は一体化された第２のカメラ４０４ｂを校正する例示的な動作６０２～６１０を示す図６００を示す。図６００に示す例示的な動作は６０２から開始することができ、図１のシステム１０２又は図３の回路３０２などのいずれかのコンピュータシステム、装置又はデバイスによって実行することができる。図６００の１又は２以上のブロックに関連する動作については離散ブロックで示しているが、これらは特定の実装に応じてさらなるブロックに分割し、より少ないブロックに結合し、又は削除することもできる。
６０２において、データ取得を実行することができる。回路２０２は、データ取得のために、（第１のアンカーカメラ４０２ａ及び第２のアンカーカメラ４０２ｂを含む）アンカーカメラ４０２の組を人間被写体１１６のアンカー画像の組を取り込むように制御することができる。アンカーカメラの組４０２は、アンカー画像の組を取り込むことができる３Ｄ空間１１４内の特定の位置に固定することができる。また、回路２０２は、一群のＵＡＶ４０６を３Ｄ空間１１４内の複数の地点において動くように制御することができる。その後、一群のＵＡＶ４０６に搭載又は一体化された一群のカメラ４０４を、これらの複数の地点から人間被写体１１６の一群の画像を取得するように制御することができる。図６には、一群のカメラ４０４のうちの１つのカメラから取得されたアンカー画像６０２ａ及び画像６０２ｂの例を示す。アンカー画像６０２ａ及び画像６０２ｂは、いずれも人間被写体１１６を含む。回路２０２は、通信ネットワーク１１０を介して、アンカーカメラの組４０２からアンカー画像の組を受け取り、一群のＵＡＶ４０６に搭載又は一体化された一群のカメラ４０４から一群の画像を受け取ることができる。
６０４において、アンカー画像の組から人間関節の第１の２Ｄ位置の組を決定することができる。回路２０２は、アンカー画像の組（例えば、アンカー画像６０２ａ）から人間被写体１１６の人間関節の第１の２Ｄ位置の組を決定するように構成することができる。このような決定のために、回路２０２は、アンカー画像の組の（アンカー画像６０２ａなどの）各アンカー画像にＭＬモデル１０４を適用することができる。ＭＬモデル１０４は、人間関節検出タスクに基づいて訓練されたニューラルネットワークを含むことができる人間関節検出フレームワークに対応することができる。人間関節の２Ｄ位置（すなわち、第１の２Ｄ位置の組）は、以下のように与えられる方程式（１）によって表すことができ、
Figure 2023505987000002
（１）
ここで、
Figure 2023505987000003
は、ｉ番目の検出された人間関節の２Ｄ位置であり、
Figure 2023505987000004
は、ｉ番目の検出された人間関節の信頼値であり、
Figure 2023505987000005
は、ｉ番目の検出された人間関節のタイプ（例えば、左手首、右ひじ）であり、
Ｍは、検出された人間関節の総数である。
図示のように、アンカー画像６０２ａは、人間被写体１１６の後方ビューから取り込むことができる。人間関節位置６１２ａ及び６１２ｂは、アンカー画像６０２ａ内の人間被写体１１６の頭部及び頸部にそれぞれ対応することができる。さらに、人間関節位置６１２ｃ、６１２ｄ及び６１２ｅは、アンカー画像６０２ａ内の人体被写体１１６の左肩関節、左肘関節及び左手首関節に対応することができる。人間関節位置６１２ｆ、６１２ｇ及び６１２ｈは、アンカー画像６０２ａ内の人体被写体１１６の右肩関節、右肘関節及び右手首関節に対応することができる。さらに、人間関節位置６１２ｉ、６１２ｊ及び６１２ｋは、アンカー画像６０２ａ内の人体被写体１１６の左腰関節、左膝関節及び左足首関節に対応することができ、人間関節位置６１２ｌ、６１２ｍ及び６１２ｎは、アンカー画像６０２ａ内の人体被写体１１６の右腰関節、右膝関節及び右足首関節に対応することができる。
６０６において、一群の画像から人間関節の第２の２Ｄ位置の組を検出することができる。回路２０２は、一群の画像（例えば、画像６０２ｂ）から人間被写体１１６の人間関節の第２の２Ｄ位置の組を検出するように構成することができる。回路２０２は、第２の２Ｄ位置の組を検出するために、一群の画像からの各画像（例えば、画像６０２ｂ）にＭＬモデル１０４を適用することができる。第２の２Ｄ位置の組も方程式（１）によって与えることができる。
図示のように、回路２０２は、画像６０２ｂからの人間被写体１１６の人間関節の第２の２Ｄ位置の組を人間関節位置６１４ａ～６１４ｎとして決定することができる。画像６０２ｂは、人間被写体１１６の前方部分から取り込むことができる。人間関節位置６１４ａ及び６１４ｂは、画像６０２ｂ内の人間被写体１１６の頭部及び頸部に対応することができる。さらに、人間関節位置６１４ｃ、６１４ｄ及び６１４ｅは、画像６０２ｂ内の人間被写体１１６の右肩関節、右肘関節及び右手首関節に対応することができる。人間関節位置６１４ｆ、６１４ｇ及び６１４ｈは、画像６０２ｂ内の人体被写体１１６の左肩関節、左肘関節及び左手首関節に対応することができる。さらに、人間関節位置６１４ｉ、６１６ｊ及び６１４ｋは、画像６０２ｂ内の人体被写体１１６の右腰関節、右膝関節及び右足首関節に対応することができ、人間関節位置６１４ｌ、６１４ｍ及び６１４ｎは、画像６０２ｂ内の人体被写体１１６の左腰関節、左膝関節及び左足首関節に対応することができる。
６０８において、３Ｄキーポイント６１８を計算することができる。回路２０２は、決定された人間関節の第１の２Ｄ位置の組を使用する三角測量に基づいて人間被写体１１６の人間関節の３Ｄ位置を計算することができる。回路２０２は、３Ｄ座標系６２０に関する計算された人間被写体１１６の人間関節の３Ｄ位置として３Ｄキーポイント６１８を指定することができる。３Ｄキーポイント６１８の計算については本明細書において説明する。人間関節位置値を２Ｄ画像平面から３Ｄ実空間に変換するには、単純な透視カメラモデルを採用することができる。このようなシナリオでは、所定の内部カメラパラメータと、３次元における特殊ユークリッド群（すなわち、ｓｅ（３）パラメータ）とを使用することによって、検出された各人間関節点の（重み及びラベルを有する）透視投影射線（ｅｒｓｐｅｃｔｉｖｅ ｐｒｏｊｅｃｔｉｏｎ－ｒａｙｓ）を取得することができる。上記シナリオによる透視カメラモデルは以下のように表すことができ、
Figure 2023505987000006
（２）
ここで、
Figure 2023505987000007
は、３Ｄ内のｎ番目のカメラからのｉ番目の人間関節の正規化方向ベクトルであり、
Figure 2023505987000008
は、３Ｄ内のｎ番目のカメラ位置である。
回路２０２は、校正されたカメラ（例えば、第１のアンカーカメラ４０２ａ）の既知の又は校正された光学中心を使用することにより、３Ｄ線（すなわち、線束（ｒａｙ））に沿った人間関節の第１の２Ｄ位置の組を使用して三角測量を実行することができる。校正された光学中心を通る３Ｄ線に沿った特定の人間関節の（第１の２Ｄ位置の組からの）２Ｄ位置に関連する正規化された３Ｄ方向ベクトルを「ｅ」とみなす。「ｅ」は、校正されたカメラからの３Ｄ線に沿った特定の人間関節の正規化された３Ｄ方向ベクトルを表すことができる。さらに、この校正された光学中心を通る３Ｄ線上の３Ｄ点を「ａ」とみなす。本明細書では、３Ｄ線上の３Ｄ点「ａ」が、既知の姿勢の内部的に校正されたカメラ（例えば、第１のアンカーカメラ４０２ａ）のカメラ位置を表すことができる。３Ｄ線と３Ｄ点との間の距離は、以下のような方程式（３．１）及び（３．２）によって与えることができ、
Figure 2023505987000009
（３．１）
Figure 2023505987000010
（３．２）
ここで、
θは、正規化された３Ｄベクトルｅと３Ｄ線との間の角度を表すことができ、
ｘは、３Ｄベクトル「ｅ」に垂線を落とすことができる３Ｄ線上の点を表すことができ、
ｌは、３Ｄ点「ａ」と点「ｘ」との間の距離を表すことができる。
１つの実施形態では、回路２０２が、（第１のアンカーカメラ４０２ａなどの）アンカーカメラの異なる位置についての人間関節の複数の３Ｄ線とそれぞれの複数の正規化された３Ｄベクトル「ｅn」との重み付き最小二乗を決定することができる。本明細書では、これら複数の３Ｄ線の各々が、アンカーカメラの異なる位置を表す複数の３Ｄ点「ａn」のそれぞれの３Ｄ点を通過する。重み付き最小二乗は、以下のような方程式（４．１）及び（４．２）で表され、
Figure 2023505987000011
（４．１）
Figure 2023505987000012
（４．２）
ここで、
ｗnは、ｎ番目の３Ｄ線の重みを表し、
ｄnは、３Ｄ点「ａn」とｎ番目の３Ｄ線との間の距離を表すことができる。
方程式（４．２）は、３Ｄ線に沿った３Ｄ点のｘ軸座標について展開することができる。方程式（４．２）の展開式は、以下のような方程式（５）によって与えられ、
Figure 2023505987000013
（５）
ここで、ｉは、３Ｄ線に沿った３Ｄ点のｘ軸座標のインデックスを表すことができる。
回路２０２は、方程式（５）に対して偏微分演算を適用して以下のような方程式（６）を得ることができ、
Figure 2023505987000014
（６）
ここで、ｊは、３Ｄ線に沿った３Ｄ点のｙ軸座標のインデックスを表すことができる。静止状態：
Figure 2023505987000015
を仮定すると、以下のような方程式（７．１）及び（７．２）を得ることができる。
Figure 2023505987000016
（７．１）
Figure 2023505987000017
（７．２）
方程式（７．２）から、線形システムＡｘ＝Ｂを得ることができる。線形システムＡｘ＝Ｂのための線形方程式（８．１）、（８．２）が以下のように与えられる。
Figure 2023505987000018
（８．１）
Figure 2023505987000019
（８．２）
回路２０２は、方程式（８．１）及び（８．２）の線形方程式の解｛ｘi｝に基づいて３Ｄキーポイント６１８の第１の３Ｄキーポイントを計算することができる。第１の３Ｄキーポイントは、人間関節のうちの１つに関連することができる。同様に、回路２０２は、上述した方法に従って決定された第１の２Ｄ位置の組からのそれぞれの２Ｄ位置を使用して、残りの人間関節に関連する残りの３Ｄキーポイントを計算することができる。
６１０において、一群のＵＡＶ４０６に搭載又は一体化された一群のカメラ４０４を校正することができる。回路２０２は、第１のカメラ４０４ａ及び第２のカメラ４０４ｂの各々の３Ｄ姿勢（位置及び向き）を推定することによって第１のカメラ４０４ａ及び第２のカメラ４０４ｂを校正することができる。複数のカメラ（例えば、第１のカメラ４０４ａ及び第２のカメラ４０４ｂ）のカメラ位置及び向き、６自由度（ＤｏＦ）を含むカメラ校正のための標的パラメータを推定するために、方程式９のような特殊ユークリッドｓｅ（３）のリー代数的なパラメータ化（Ｓｐｅｃｉａｌ Ｅｕｃｌｉｄｅａｎ ｓｅ（３） Ｌｉｅ ａｌｇｅｂｒａｉｃ ｐａｒａｍｅｔｅｒｉｚａｔｉｏｎ）を使用することができ、
Figure 2023505987000020
（９）
ここで、
Ｎはカメラの総数である。
特殊ユークリッドリー代数ｓｅ（３）は、６つの要素を有することができる。最初の３つの要素：
Figure 2023505987000021
は、特殊直交リー代数（すなわち、ｓｏ（３））を表すことができ、後の３つの要素：
Figure 2023505987000022
は、それぞれ３Ｄ空間における変換要素Ｔ（３）∈Ｒ3を表すことができる。実作業では、行列表現を得るために指数写像ｓｅ（３）→ＳＥ（３）を採用することができる。
ある実施形態では、（第１のアンカーカメラ４０２ａ、第２のアンカーカメラ４０２ｂ、第１のカメラ４０４ａ及び第２のカメラ４０４ｂを含む）複数のカメラの各々の内部校正パラメータの値を予め決定し、又は与えることができる。
ある実施形態では、回路２０２を、各カメラ（例えば、第１のカメラ４０４ａ及び第２のカメラ４０４ｂ）の３Ｄ姿勢を推定するためのグローバルゲージ（ｇｌｏｂａｌ ｇａｕｇｅ）を設定するように構成することができる。回路２０２は、グローバルゲージを設定するために、０番目のカメラ（例えば、第１のアンカーカメラ４０２ａ）の位置及び向きを所定の３Ｄ点及び方向として設定して以下のように表すことができる。
Figure 2023505987000023
（１０）
回路２０２は、０番目のカメラ（例えば、第１のアンカーカメラ４０２ａ）と１番目のカメラ（例えば、第２のアンカーカメラ４０２ｂ）との間の相対的なｘ－距離を以下のように設定することができる。
Figure 2023505987000024
（１１）
回路２０２は、方程式（１０）及び（１１）を使用することにより、バンドル調整ベースの技術における「トリビアルゲージ固定（ｔｒｉｖｉａｌ ｇａｕｇｅ ｆｉｘｉｎｇ）」を使用して、一群のカメラ４０４（例えば、第１のカメラ４０４ａ及び第２のカメラ４０４ｂ）を校正するためのグローバルゲージを設定することができる。
回路２０２は、一群のカメラ４０４の各カメラの３Ｄ姿勢（すなわち、位置（すなわち、並進パラメータ）及び向き（すなわち、回転パラメータ）などの外部カメラパラメータ）の推定によって一群のカメラ４０４（例えば、第１のカメラ４０４ａ及び第２のカメラ４０４ｂ）を校正するように構成することができる。このようなカメラ校正のために、２Ｄ再投影誤差に関する最適化問題を定式化することができる。回路２０２は、３Ｄキーポイント６１８と決定された人間関節の第２の２Ｄ位置の組との間の２Ｄ再投影誤差を決定することができる。その後、定式化された最適化問題を使用して、決定された２Ｄ再投影誤差を最小化することによって校正を実行することができる。
例えば、第１のカメラ４０４ａの校正では、３Ｄキーポイント６１８を第１のカメラ４０４ａの画像平面上に再投影することができる。その後、再投影された各３Ｄキーポイントと対応する人間関節の２Ｄ位置との間の再投影誤差を決定することができる。再投影誤差を最小化するために、最適化問題の目的関数を定式化して解くことができる。同様に、第２のカメラ４０４ｂについても上述した方法を繰り返すことができる。一群のＵＡＶ４０６の各ＵＡＶ上のカメラは最初に校正されていないことがあるので、カメラの３Ｄキーポイントベースのカメラ校正の結果、一群のＵＡＶ１０８のそれぞれのＵＡＶに取り付けられた各カメラの外部校正パラメータの値（すなわち、３Ｄ姿勢）を推定することができる。２Ｄ再投影誤差は、透視カメラモデルビューに基づいて投影された点と、３Ｄ座標系６２０における点の測定位置との間の幾何学的誤差に対応することができる。２Ｄ再投影誤差は、点の作用投影（ａｃｔｉｏｎ ｐｒｏｊｅｃｔｉｏｎ）（例えば、決定された人間関節の第２の２Ｄ位置の組）に対する３Ｄキーポイントの推定値の近接度を定量化することができる。
例えば、人間関節の３Ｄキーポイント（目標点）が３Ｄ座標系６２０の座標（Ｘ、Ｙ、Ｚ）によって表されると考える。３Ｄキーポイントは、（一群のカメラ４０４のうちの１つなどの）カメラの光学中心に関連する画像平面上の２Ｄ点として再投影することができる。２Ｄ点は、（ｘp／ｚp，ｙp／ｚp）によって表すことができる。ここで、ｘp、ｙp、ｚpは、それぞれ画像平面上に再投影された３Ｄ点の透視投影のｘ軸、ｙ軸及びｚ軸座標とすることができる。一群のカメラ４０４によって取得された一群の画像内の人間関節の第２の２Ｄ位置の組から、カメラの画像平面上の人間関節の２Ｄ位置を２Ｄ点（ｘd，ｙd）によって表すことができる。２Ｄ点（ｘp／ｚp，ｙp／ｚp）と２Ｄ点（ｘd，ｙd）との間の２Ｄ再投影誤差δは、以下のような方程式（１２）によって表すことができ、
Figure 2023505987000025
（１２）
ここで、ｘｐ、ｙｐ及びｚｐは以下のような方程式（１３）によって与えられ、
Figure 2023505987000026
（１３）
ここで、Ｍは、カメラの内部パラメータを含む４×４のカメラ投影行列である。
上述した一群のカメラ４０４の校正のための技術は、フレーム毎の校正技術と呼ぶことができる。このようなプロセスは、複数の電子装置、又はコンピュータ装置の複数のプロセッサ上で処理されるように並列化することができる。本開示は、時間蓄積ベースのカメラ校正法などの、一群のカメラ４０４の校正のための他の技術にも適用可能である。
ある実施形態では、一群のＵＡＶ４０６のうちの少なくとも１つのＵＡＶ（例えば、第１のＵＡＶ４０６ａ）が位置センサを含むことができる。位置センサは、全地球航法衛星システム（ＧＮＳＳ）受信機、慣性測定ユニット（ＩＭＵ）、感知カメラ、赤外線マーカセンサ又はパターンコードスキャナのうちの１つとすることができる。ある実施形態では、システム１０２の回路２０２又は（第１のＵＡＶ４０６ａの）回路３０２を、対応するＵＡＶ（例えば、第１のＵＡＶ４０６ａ）の位置センサから取得された絶対位置情報にさらに基づいて、一群のＵＡＶ４０６の残りのＵＡＶ（例えば、第２のＵＡＶ４０６ｂ）に搭載又は一体化された各カメラを校正するように構成することができる。
別の実施形態では、一群のカメラ４０４の各カメラ（例えば、第１のカメラ４０４ａ及び第２のカメラ４０４ｂ）を、一群のＵＡＶ４０６に搭載又は一体化された一群のカメラ４０４の内部校正パラメータの値にさらに基づいて校正することができる。このような内部校正パラメータの例としては、以下に限定するわけでないが、視野角（すなわち、カメラに関連する焦点距離及び画面サイズ）、アスペクト比、及び歪みパラメータを挙げることができる。
図７は、本開示の実施形態による、一群のＵＡＶに搭載又は一体化された一群のカメラを校正する例示的な動作を示すフローチャートである。図７にはフローチャート７００を示す。フローチャート７００の説明は図１、図２、図３、図４、図５及び図６に関連して行う。７０２～７１６の方法は、図１のシステム１０２又は図３の回路３０２などのいずれかのコンピュータシステムによって実行することができる。フローチャート７００の動作は７０２から開始して７０４に進むことができる。
７０４において、アンカーカメラ装置の組１０６から人間被写体１１６のアンカー画像の組を受け取ることができる。少なくとも１つの実施形態では、回路２０２を、アンカーカメラ装置の組１０６からアンカー画像の組を受け取るように構成することができる。
７０６において、一群のＵＡＶ１０８に搭載又は一体化された一群のカメラ１１２から、３Ｄ空間１１４内の複数の地点からの人間被写体１１６の一群の画像を受け取ることができる。少なくとも１つの実施形態では、回路２０２を、一群のカメラから一群の画像を受け取るように構成することができる。
７０８において、受け取られたアンカー画像の組の各アンカー画像内の人間被写体１１６について人間関節の第１の２Ｄ位置の組を決定することができる。少なくとも１つの実施形態では、回路２０２が、アンカー画像の組の各アンカー画像内の人間被写体１１６の人間関節の第１の２Ｄ位置の組を決定することができる。
７１０において、受け取られた一群の画像の各画像内の人間被写体１１６について人間関節の第２の２Ｄ位置の組を決定することができる。少なくとも１つの実施形態では、回路２０２が、一群の画像の各画像内の人間被写体１１６の人間関節の第２の２Ｄ位置の組を決定することができる。
７１２において、決定された人間関節の第１の２Ｄ位置の組を使用する三角測量に基づいて、３Ｄ空間（例えば、３Ｄ空間１１４）内の人間関節の３Ｄ位置を３Ｄキーポイントとして計算することができる。少なくとも１つの実施形態では、回路２０２が、決定された人間関節の第１の２Ｄ位置の組を使用することによる三角測量に基づいて、３Ｄ空間１１４内の人間関節の３Ｄ位置を３Ｄキーポイントとして計算することができる。
７１４において、３Ｄキーポイントと決定された第２の２Ｄ位置の組との間の２Ｄ再投影誤差を決定することができる。少なくとも１つの実施形態では、回路２０２が、３Ｄキーポイントと決定された第２の２Ｄ位置の組との間の２Ｄ再投影誤差を決定することができる。
７１６において、決定された２Ｄ再投影誤差を最小化することによって一群のカメラ１１２の各カメラを校正することができる。少なくとも１つの実施形態では、回路２０２が、決定された２Ｄ再投影誤差を最小化することによって一群のカメラ１１２の各カメラを校正することができる。制御は終了に進むことができる。
フローチャート７００については、７０４、７０６、７０８、７１０、７１２、７１４及び７１６などの離散的な動作として示しているが、いくつかの実施形態では、開示する実施形態の本質を損なうことなく、特定の実装に応じてこのような離散的動作をさらなる動作にさらに分割し、より少ない動作に結合し、又は削除することもできる。
本開示の様々な実施形態は、１又は２以上の回路を含む機械及び／又はコンピュータによって実行可能な命令セットを記憶した非一時的コンピュータ可読媒体及び／又は記憶媒体、及び／又は非一時的機械可読媒体及び／又は記憶媒体を提供することができる。命令セットは、機械及び／又はコンピュータによって、アンカーカメラ装置の組から人間被写体のアンカー画像の組を受け取ることを含む動作を実行するように実行可能とすることができる。動作は、一群のＵＡＶに搭載又は一体化された一群のカメラから、３次元（３Ｄ）空間内の複数の地点からの人間被写体の一群の画像を受け取ることをさらに含む。さらに、動作は、受け取られたアンカー画像の組の各アンカー画像内の人間被写体について人間関節の第１の２次元（２Ｄ）位置の組を決定することを含む。動作は、受け取られた一群の画像の各画像内の人間被写体について人間関節の第２の２Ｄ位置の組を決定することをさらに含む。動作は、決定された人間関節の第１の２Ｄ位置の組を使用した三角測量に基づいて、人間関節の３Ｄ位置を３Ｄ空間内の３Ｄキーポイントとして計算することをさらに含む。動作は、３Ｄキーポイントと決定された第２の２Ｄ位置の組との間の２Ｄ再投影誤差を決定し、決定された２Ｄ再投影誤差を最小化することによって一群のカメラの各カメラを校正することをさらに含む。
本開示のいくつかの実施形態は、ＵＡＶに搭載又は一体化されたカメラの校正のためのシステム及び方法において見出すことができる。本開示の様々な実施形態は、（回路２０２（図２）などの）回路を含むことができる（システム１０２（図１）などの）システムを提供することができる。回路２０２は、（アンカーカメラ装置の組１０６（図１）などの）アンカーカメラ装置の組から人間被写体（例えば、人間被写体１１６（図１））のアンカー画像の組を受け取るように構成することができる。さらに、回路２０２は、（一群のＵＡＶ１０８（図１）などの）一群のＵＡＶ上の一群のカメラ（例えば、第１のカメラ１１２ａ及び第２のカメラ１１２ｂ（図１））から、３Ｄ空間（例えば、３Ｄ空間１１４（図１））内の複数の地点からの人間被写体１１６の一群の画像を受け取るように構成することができる。回路２０２は、受け取られたアンカー画像の組の各アンカー画像内の人間被写体１１６について人間関節の第１の２Ｄ位置の組を決定することができる。さらに、回路２０２は、受け取られた一群の画像の各画像内の人間被写体１１６について人間関節の第２の２Ｄ位置の組を決定することができる。また、回路２０２は、決定された人間関節の第１の２Ｄ位置の組を使用した三角測量に基づいて、３Ｄ空間内の人間関節の３Ｄ位置を３Ｄキーポイントとして計算することができる。回路２０２は、３Ｄキーポイントと決定された第２の２Ｄ位置の組との間の２Ｄ再投影誤差を決定することができる。さらに、回路２０２は、決定された２Ｄ再投影誤差を最小化することによって一群のカメラの各カメラ（例えば、第１のカメラ１１２ａ及び第２のカメラ１１２ｂ）を校正することができる。
ある実施形態では、３Ｄ空間１１４が、屋外空間、屋内空間、又はボリュメトリックキャプチャのためのスタジオ環境のうちの１つに関連することができる。回路２０２は、一群のＵＡＶ１０８を３Ｄ空間１１４内の複数の地点において動くように制御するようさらに構成することができる。回路２０２は、一群のカメラ（例えば、第１のカメラ１１２ａ及び第２のカメラ１１２ｂ）を複数の地点から人間被写体１１６の一群の画像を取得するようにさらに制御することができる。ある実施形態では、アンカーカメラ装置の組が、（第１のＵＡＶ５０４ａ（図５）などの）ＵＡＶに搭載又は一体化されて、（第２のＵＡＶ５０４ｂ及び第３のＵＡＶ５０４ｃ（図５）を含むことができる一群のＵＡＶなどの）一群のＵＡＶが固定姿勢に対して動いて一群の画像を取得するように制御されている間に固定姿勢を維持するように構成できる、少なくとも１つのカメラ（例えば、第１のカメラ５０２ａ（図５））を含むことができる。
ある実施形態では、アンカーカメラ装置の組が、一群のＵＡＶ（例えば、第１のＵＡＶ４０６ａ及び第２のＵＡＶ４０６ｂを含む一群のＵＡＶ）が一群の画像を取得するように制御されている間に３Ｄ空間１１４内の位置に固定できる少なくとも１つの予め校正された（第１のアンカーカメラ４０２ａ（図４）などの）カメラを含むことができる。アンカーカメラ装置の組は、遠隔制御式カメラ移動アセンブリに移動可能に結合された少なくとも１つの予め校正されたカメラを含むことができる。回路２０２は、３Ｄ空間１１４内のアンカーカメラ装置の組をアンカー画像の組を取得するように制御するようさらに構成することができる。
回路２０２は、受け取られたアンカー画像の組の各アンカー画像に機械学習（ＭＬ）モデル（例えば、ＭＬモデル１０４（図１））を適用することによって人間関節の第１の２Ｄ位置の組を決定するように構成することができる。ＭＬモデル１０４は、人間関節検出フレームワークとして、２Ｄ人間関節検出タスクに基づいて訓練されたニューラルネットワークを含むことができる。回路２０２は、受け取られた一群の画像の各画像にＭＬモデル１０４を適用することによって人間関節の第２の２Ｄ位置の組を決定するようにさらに構成することができる。
ある実施形態では、各ＵＡＶ（例えば、第１のＵＡＶ４０６ａ及び第２のＵＡＶ４０６ｂ）の校正が、対応するカメラ（例えば、第１のカメラ４０４ａ及び第２のカメラ４０４ｂ）の３Ｄ姿勢の推定に対応することができる。３Ｄ姿勢は、３Ｄ空間１１４内の対応するカメラの３Ｄ位置及び向きを含むことができる。
ある実施形態では、一群のＵＡＶ４０６のうちの少なくとも１つのＵＡＶ（例えば、第１のＵＡＶ４０６ａ（図４））が位置センサを含むことができる。位置センサの例としては、以下に限定するわけではないが、全地球航法衛星システム（ＧＮＳＳ）受信機、慣性測定ユニット（ＩＭＵ）、感知カメラ、赤外線マーカセンサ、又はパターンコードスキャナを挙げることができる。回路２０２は、対応するＵＡＶ（例えば、第１のＵＡＶ４０６ａ）の位置センサから取得された絶対位置情報にさらに基づいて一群のカメラの各カメラ（例えば、図４の第２のカメラ４０４ｂ）を校正するように構成することができる。ある実施形態では、回路２０２を、対応するカメラの内部校正パラメータの値にさらに基づいて一群のカメラの各カメラ（例えば、第１のカメラ４０４ａ及び第２のカメラ４０４ｂ）を校正するように構成することができる。
本開示は、ハードウェアで実現することも、又はハードウェアとソフトウェアの組み合わせで実現することもできる。本開示は、少なくとも１つのコンピュータシステム内で集中方式で実現することも、又は異なる要素を複数の相互接続されたコンピュータシステムにわたって分散できる分散方式で実現することもできる。本明細書で説明した方法を実行するように適合されたコンピュータシステム又はその他の装置が適することができる。ハードウェアとソフトウェアとの組み合わせは、ロードされて実行された時に本明細書で説明した方法を実行するようにコンピュータシステムを制御することができるコンピュータプログラムを含む汎用コンピュータシステムとすることができる。本開示は、他の機能も実行する集積回路の一部を含むハードウェアで実現することができる。
本開示は、本明細書で説明した方法の実装を可能にする全ての特徴を含み、コンピュータシステムにロードされた時にこれらの方法を実行できるコンピュータプログラム製品に組み込むこともできる。本文脈におけるコンピュータプログラムは、情報処理能力を有するシステムに特定の機能を直接的に、或いはａ）別の言語、コード又は表記法への変換、ｂ）異なる内容形態での複製、のいずれか又は両方を行った後に実行させるように意図された命令セットの、いずれかの言語、コード又は表記法におけるいずれかの表現を意味する。
いくつかの実施形態を参照しながら本開示を説明したが、当業者であれば、本開示の範囲から逸脱することなく様々な変更を行うことができ、同等物を代用することもできると理解するであろう。また、本開示の範囲から逸脱することなく、特定の状況又は内容を本開示の教示に適合させるように多くの修正を行うこともできる。従って、本開示は、開示した特定の実施形態に限定されるものではなく、添付の特許請求の範囲内に収まる全ての実施形態を含むように意図される。
１０２ システム
１０４ ＭＬモデル
１０６ アンカーカメラ装置の組
１０６ａ 第１のアンカーカメラ装置
１０６ｂ 第２のアンカーカメラ装置
１０８ 一群のＵＡＶ
１０８ａ 第１のＵＡＶ
１０８ｂ 第２のＵＡＶ
１１０ 通信ネットワーク
１１２ 一群のカメラ
１１２ａ 第１のカメラ
１１２ｂ 第２のカメラ
１１４ ３Ｄ空間
１１６ 人間被写体

Claims (20)

  1. アンカーカメラ装置の組と、一群の無人航空機（ＵＡＶ）に搭載又は一体化された一群のカメラとに通信可能に結合された回路を備えたシステムであって、前記回路は、
    前記アンカーカメラ装置の組から人間被写体のアンカー画像の組を受け取り、
    前記一群のカメラから、３次元（３Ｄ）空間における複数の地点からの前記人間被写体の一群の画像を受け取り、
    前記受け取られたアンカー画像の組の各アンカー画像における前記人間被写体について人間関節の第１の２次元（２Ｄ）位置の組を決定し、
    前記受け取られた一群の画像の各画像における前記人間被写体について前記人間関節の第２の２Ｄ位置の組を決定し、
    前記決定された前記人間関節の第１の２Ｄ位置の組を使用した三角測量に基づいて、前記３Ｄ空間における前記人間関節の３Ｄ位置を３Ｄキーポイントとして計算し、
    前記３Ｄキーポイントと前記決定された第２の２Ｄ位置の組との間の２Ｄ再投影誤差を決定し、
    前記決定された２Ｄ再投影誤差を最小化することによって前記一群のカメラの各カメラを校正する、
    ように構成される、
    ことを特徴とするシステム。
  2. 前記３Ｄ空間は、屋外空間、屋内空間、又はボリュメトリックキャプチャのためのスタジオ環境のうちの１つに関連する、
    請求項１に記載のシステム。
  3. 前記回路は、
    前記一群のＵＡＶを前記３Ｄ空間における前記複数の地点において動くように制御し、
    前記一群のＵＡＶに搭載又は一体化された前記一群のカメラを前記複数の地点から前記人間被写体の前記一群の画像を取得するように制御する、
    ようにさらに構成される、請求項１に記載のシステム。
  4. 前記アンカーカメラ装置の組は、前記ＵＡＶに搭載又は一体化されて、前記一群のカメラが固定姿勢に対して動いて前記一群の画像を取得するように制御されている間に前記固定姿勢を維持するように構成された、少なくとも１つのカメラを含む、
    請求項３に記載のシステム。
  5. 前記アンカーカメラ装置の組は、前記一群のカメラが前記一群の画像を取得するように制御されている間に前記３Ｄ空間における位置に固定される少なくとも１つの予め校正されたカメラを含む、
    請求項３に記載のシステム。
  6. 前記アンカーカメラ装置の組は、遠隔制御式カメラ移動アセンブリに移動可能に結合された少なくとも１つの予め校正されたカメラを含む、
    請求項３に記載のシステム。
  7. 前記回路は、前記３Ｄ空間における前記アンカーカメラ装置の組を、前記アンカー画像の組を取得するように制御するようさらに構成される、
    請求項１に記載のシステム。
  8. 前記回路は、前記受け取られたアンカー画像の組の各アンカー画像に機械学習（ＭＬ）モデルを適用することによって前記人間関節の前記第１の２Ｄ位置の組を決定するように構成され、前記ＭＬモデルは、人間関節検出フレームワークとして、２Ｄ人間関節検出タスクに基づいて訓練されたニューラルネットワークを含む、
    請求項１に記載のシステム。
  9. 前記回路は、前記受け取られた一群の画像の各画像にＭＬモデルを適用することによって前記人間関節の前記第２の２Ｄ位置の組を決定するように構成され、前記ＭＬモデルは、前記人間関節検出フレームワークとして、２Ｄ人間関節検出タスクに基づいて訓練されたニューラルネットワークを含む、
    請求項１に記載のシステム。
  10. 前記一群のカメラの各カメラの前記校正は、前記対応するカメラの３Ｄ姿勢の推定に対応し、
    前記３Ｄ姿勢は、前記３Ｄ空間における前記対応するカメラの３Ｄ位置及び向きを含む、
    請求項１に記載のシステム。
  11. 前記一群のＵＡＶのうちの少なくとも１つのＵＡＶは位置センサを含み、
    前記位置センサは、全地球的航法衛星システム（ＧＮＳＳ）受信機、慣性測定装置（ＩＭＵ）、感知カメラ、赤外線マーカセンサ、又はパターンコードスキャナのうちの１つである、
    請求項１に記載のシステム。
  12. 前記回路は、対応するＵＡＶの前記位置センサから取得された絶対位置情報にさらに基づいて前記一群のカメラの各カメラを校正するように構成される、
    請求項１１に記載のシステム。
  13. 前記回路は、前記対応するカメラの内部校正パラメータの値にさらに基づいて前記一群のカメラの各カメラを校正するように構成される、
    請求項１に記載のシステム。
  14. アンカーカメラ装置の組から人間被写体のアンカー画像の組を受け取るステップと、
    一群のＵＡＶに搭載又は一体化された一群のカメラから、３次元（３Ｄ）空間における複数の地点からの前記人間被写体の一群の画像を受け取るステップと、
    前記受け取られたアンカー画像の組の各アンカー画像における前記人間被写体について人間関節の第１の２次元（２Ｄ）位置の組を決定するステップと、
    前記受け取られた一群の画像の各画像における前記人間被写体について前記人間関節の第２の２Ｄ位置の組を決定するステップと、
    前記決定された前記人間関節の第１の２Ｄ位置の組を使用した三角測量に基づいて、前記３Ｄ空間における前記人間関節の３Ｄ位置を３Ｄキーポイントとして計算するステップと、
    前記３Ｄキーポイントと前記決定された第２の２Ｄ位置の組との間の２Ｄ再投影誤差を決定するステップと、
    前記決定された２Ｄ再投影誤差を最小化することによって前記一群のカメラの各カメラを校正するステップと、
    を含むことを特徴とする方法。
  15. 前記一群のＵＡＶを前記３Ｄ空間における前記複数の地点において動くように制御するステップと、
    前記一群のＵＡＶに搭載又は一体化された前記一群のカメラを前記複数の地点から前記人間被写体の前記一群の画像を取得するように制御するステップと、
    をさらに含む請求項１４に記載の方法。
  16. 前記受け取られたアンカー画像の組の各アンカー画像に機械学習（ＭＬ）モデルを適用することによって前記人間関節の前記第１の２Ｄ位置の組を決定するステップと、
    前記受け取られた一群の画像の各画像に前記ＭＬモデルを適用することによって前記人間関節の前記第２の２Ｄ位置の組を決定するステップと、
    をさらに含み、前記ＭＬモデルは、人間関節検出フレームワークとして、２Ｄ人間関節検出タスクに基づいて訓練されたニューラルネットワークを含む、
    請求項１４に記載の方法。
  17. 各カメラの前記校正は、前記対応するＵＡＶの３Ｄ姿勢の推定に対応し、
    前記３Ｄ姿勢は、前記３Ｄ空間における前記対応するＵＡＶの３Ｄ位置及び向きを含む、
    請求項１４に記載の方法。
  18. 前記一群のＵＡＶのうちの少なくとも１つのＵＡＶは位置センサを含み、
    前記位置センサは、全地球的航法衛星システム（ＧＮＳＳ）受信機、慣性測定装置（ＩＭＵ）、感知カメラ、赤外線マーカセンサ、又はパターンコードスキャナのうちの１つである、
    請求項１４に記載の方法。
  19. 前記対応するカメラ付きＵＡＶの前記位置センサから取得された絶対位置情報にさらに基づいて前記一群のＵＡＶの各ＵＡＶを校正するステップをさらに含む、
    請求項１８に記載の方法。
  20. システム内のコンピュータによって実行された時に前記システムに動作を実行させるコンピュータ実装命令を記憶した非一時的コンピュータ可読媒体であって、前記動作は、
    アンカーカメラ装置の組から人間被写体のアンカー画像の組を受け取ることと、
    一群のＵＡＶに搭載又は一体化された一群のカメラから、３次元（３Ｄ）空間における複数の地点からの前記人間被写体の一群の画像を受け取ることと、
    前記受け取られたアンカー画像の組の各アンカー画像における前記人間被写体について人間関節の第１の２次元（２Ｄ）位置の組を決定することと、
    前記受け取られた一群の画像の各画像における前記人間被写体について前記人間関節の第２の２Ｄ位置の組を決定することと、
    前記決定された前記人間関節の第１の２Ｄ位置の組を使用した三角測量に基づいて、前記３Ｄ空間における前記人間関節の３Ｄ位置を３Ｄキーポイントとして計算することと、
    前記３Ｄキーポイントと前記決定された第２の２Ｄ位置の組との間の２Ｄ再投影誤差を決定することと、
    前記決定された２Ｄ再投影誤差を最小化することによって前記一群のカメラの各カメラを校正することと、
    を含む、ことを特徴とする非一時的コンピュータ可読媒体。
JP2022534839A 2020-04-23 2021-04-23 人間関節を用いた無人航空機上のカメラの校正 Active JP7527546B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/856,511 2020-04-23
US16/856,511 US11095870B1 (en) 2020-04-23 2020-04-23 Calibration of cameras on unmanned aerial vehicles using human joints
PCT/US2021/028762 WO2021216948A1 (en) 2020-04-23 2021-04-23 Calibration of cameras on unmanned aerial vehicles using human joints

Publications (2)

Publication Number Publication Date
JP2023505987A true JP2023505987A (ja) 2023-02-14
JP7527546B2 JP7527546B2 (ja) 2024-08-05

Family

ID=77274121

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022534839A Active JP7527546B2 (ja) 2020-04-23 2021-04-23 人間関節を用いた無人航空機上のカメラの校正

Country Status (6)

Country Link
US (1) US11095870B1 (ja)
EP (1) EP4094226A4 (ja)
JP (1) JP7527546B2 (ja)
KR (1) KR20220104025A (ja)
CN (1) CN114667541A (ja)
WO (1) WO2021216948A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11475595B2 (en) * 2020-03-19 2022-10-18 Sony Corporation Extrinsic calibration of multi-camera system
CN113658337B (zh) * 2021-08-24 2022-05-03 哈尔滨工业大学 一种基于车辙线的多模态里程计方法
US12026917B2 (en) * 2022-03-23 2024-07-02 Sony Group Corporation Method of 3D reconstruction of dynamic objects by mobile cameras
CN118047064B (zh) * 2024-04-12 2024-06-11 国网江苏省电力工程咨询有限公司 一种具有偏航角自动纠偏机构的无人机倾斜摄影测量装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018083848A1 (ja) * 2016-11-07 2018-05-11 ソニー株式会社 画像処理装置、キャリブレーション用チャート、及びキャリブレーションシステム
JP2019079487A (ja) * 2017-10-25 2019-05-23 日本電信電話株式会社 パラメータ最適化装置、パラメータ最適化方法、プログラム
JP2019109200A (ja) * 2017-12-20 2019-07-04 オムロン株式会社 校正用データ生成装置、校正用データ生成方法、キャリブレーションシステム、及び制御プログラム
JP2019205066A (ja) * 2018-05-23 2019-11-28 シャープ株式会社 カメラ調整装置
WO2020038720A1 (en) * 2018-08-23 2020-02-27 Eth Zurich Apparatus, method and computer program for detecting the form of a deformable object
JP2020507436A (ja) * 2017-02-14 2020-03-12 アトラクシス エス・アー・エール・エル 圧縮および／またはｃｍｏｓウィンドウイングを用いた高速光学追跡

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7642953B2 (en) * 2007-07-19 2010-01-05 The Boeing Company Method and apparatus for three dimensional tomographic image reconstruction of objects
US11699247B2 (en) 2009-12-24 2023-07-11 Cognex Corporation System and method for runtime determination of camera miscalibration
WO2014053158A1 (en) 2012-10-01 2014-04-10 Telefonaktiebolaget L M Ericsson (Publ) 3d camera calibration
US9852238B2 (en) * 2014-04-24 2017-12-26 The Board Of Trustees Of The University Of Illinois 4D vizualization of building design and construction modeling with photographs
US20160349746A1 (en) * 2015-05-29 2016-12-01 Faro Technologies, Inc. Unmanned aerial vehicle having a projector and being tracked by a laser tracker
EP3408848A4 (en) * 2016-01-29 2019-08-28 Pointivo Inc. SYSTEMS AND METHOD FOR EXTRACTING INFORMATION ON OBJECTS FROM SCENE INFORMATION
US10416667B2 (en) * 2016-02-03 2019-09-17 Sony Corporation System and method for utilization of multiple-camera network to capture static and/or motion scenes
US10860014B2 (en) * 2016-09-09 2020-12-08 Ecole polytechnique fédérale de Lausanne (EPFL) Jacket for embodied interaction with virtual or distal robotic device
CN107239728B (zh) * 2017-01-04 2021-02-02 赛灵思电子科技(北京)有限公司 基于深度学习姿态估计的无人机交互装置与方法
US9986233B1 (en) * 2017-03-16 2018-05-29 Amazon Technologies, Inc. Camera calibration using fixed calibration targets
JP7054803B2 (ja) * 2017-07-21 2022-04-15 パナソニックＩｐマネジメント株式会社 カメラパラメタセット算出装置、カメラパラメタセット算出方法及びプログラム
IL309433A (en) * 2017-11-13 2024-02-01 Carmel Haifa Univ Economic Corporation Ltd Motion tracking using 3D cameras
CN108989686B (zh) * 2018-09-05 2021-02-19 深圳技威时代科技有限公司 基于人形追踪的实时拍摄装置及控制方法
CN110264530A (zh) * 2019-06-27 2019-09-20 深圳市道通智能航空技术有限公司 一种相机标定方法、装置和无人机

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018083848A1 (ja) * 2016-11-07 2018-05-11 ソニー株式会社 画像処理装置、キャリブレーション用チャート、及びキャリブレーションシステム
JP2020507436A (ja) * 2017-02-14 2020-03-12 アトラクシス エス・アー・エール・エル 圧縮および／またはｃｍｏｓウィンドウイングを用いた高速光学追跡
JP2019079487A (ja) * 2017-10-25 2019-05-23 日本電信電話株式会社 パラメータ最適化装置、パラメータ最適化方法、プログラム
JP2019109200A (ja) * 2017-12-20 2019-07-04 オムロン株式会社 校正用データ生成装置、校正用データ生成方法、キャリブレーションシステム、及び制御プログラム
JP2019205066A (ja) * 2018-05-23 2019-11-28 シャープ株式会社 カメラ調整装置
WO2020038720A1 (en) * 2018-08-23 2020-02-27 Eth Zurich Apparatus, method and computer program for detecting the form of a deformable object

Also Published As

Publication number Publication date
WO2021216948A1 (en) 2021-10-28
CN114667541A (zh) 2022-06-24
JP7527546B2 (ja) 2024-08-05
EP4094226A4 (en) 2023-08-02
EP4094226A1 (en) 2022-11-30
KR20220104025A (ko) 2022-07-25
US11095870B1 (en) 2021-08-17

Similar Documents

Publication Publication Date Title
JP7527546B2 (ja) 人間関節を用いた無人航空機上のカメラの校正
US11042723B2 (en) Systems and methods for depth map sampling
US11263761B2 (en) Systems and methods for visual target tracking
US11120560B2 (en) System and method for real-time location tracking of a drone
US10339387B2 (en) Automated multiple target detection and tracking system
CN106529495B (zh) 一种飞行器的障碍物检测方法和装置
US11205283B2 (en) Camera auto-calibration with gyroscope
EP3825954A1 (en) Photographing method and device and unmanned aerial vehicle
CN108605098B (zh) 用于卷帘快门校正的系统和方法
US11906983B2 (en) System and method for tracking targets
CN112567201A (zh) 距离测量方法以及设备
CN112037260B (zh) 一种跟踪目标的位置估计方法、装置及无人飞行器
CN109792543A (zh) 根据可移动物捕获的图像数据创建视频抽象的方法和系统
WO2020019175A1 (zh) 图像处理方法和设备、摄像装置以及无人机
JP2018009918A (ja) 自己位置検出装置、移動体装置及び自己位置検出方法
CN116952229A (zh) 无人机定位方法、装置、系统和存储介质
US20210256732A1 (en) Image processing method and unmanned aerial vehicle
US20220018950A1 (en) Indoor device localization
CN115147495A (zh) 一种针对车载系统的标定方法、装置以及系统
Sulaj et al. Examples of real-time UAV data processing with cloud computing
Cheng et al. Positioning method research for unmanned aerial vehicles based on meanshift tracking algorithm
US20220383515A1 (en) Digital video computing system for vehicle
Kuhnert et al. Absolute high-precision localisation of an unmanned ground vehicle by using real-time aerial video imagery for geo-referenced orthophoto registration
CN115790581A (zh) 基于在轨特因环境的高速vslam增强现实头盔自主定位方法
CN116148883A (zh) 基于稀疏深度图像的slam方法、装置、终端设备及介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220608

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230606

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230703

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230901

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231031

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231225

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20240226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240422

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240624

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240707

R150 Certificate of patent or registration of utility model

Ref document number: 7527546

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150