JP7474137B2 - 情報処理装置およびその制御方法 - Google Patents
情報処理装置およびその制御方法 Download PDFInfo
- Publication number
- JP7474137B2 JP7474137B2 JP2020113194A JP2020113194A JP7474137B2 JP 7474137 B2 JP7474137 B2 JP 7474137B2 JP 2020113194 A JP2020113194 A JP 2020113194A JP 2020113194 A JP2020113194 A JP 2020113194A JP 7474137 B2 JP7474137 B2 JP 7474137B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- camera
- information
- map
- parameters
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 56
- 230000010365 information processing Effects 0.000 title claims description 50
- 238000006243 chemical reaction Methods 0.000 claims description 94
- 230000009466 transformation Effects 0.000 claims description 33
- 238000012937 correction Methods 0.000 claims description 10
- 230000015572 biosynthetic process Effects 0.000 claims description 5
- 238000003786 synthesis reaction Methods 0.000 claims description 5
- 230000001131 transforming effect Effects 0.000 claims description 5
- 230000003287 optical effect Effects 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims description 2
- 238000003860 storage Methods 0.000 description 30
- 238000004364 calculation method Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 5
- 230000007423 decrease Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000009826 distribution Methods 0.000 description 2
- 238000003702 image correction Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Instructional Devices (AREA)
- Image Analysis (AREA)
- Geometry (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Description
三次元空間を第1のカメラにより撮影して得られる第1の画像を取得する画像取得手段と、
前記三次元空間を前記第1のカメラとは異なる第2のカメラにより撮影して得られる第2の画像を第2の変換情報により幾何変換して得られる第2の変換画像に基づいて生成された地図情報を取得する地図情報取得手段と、
前記第1の画像を第1の変換情報により幾何変換して第1の変換画像を生成する画像変換手段と、
前記地図情報と前記第1の変換画像とを照合する照合手段と、
を有し、
前記第1の変換情報および前記第2の変換情報は、前記三次元空間と前記第1の変換画像との幾何対応関係と前記三次元空間と前記第2の変換画像との幾何対応関係とが共通の幾何対応関係となるように設定される。
本発明に係る情報処理装置の第1実施形態として、カメラから入力される画像と地図情報とをマッチングし、カメラの位置姿勢を算出する情報処理装置について述べる。例えば、算出した位置姿勢は移動体の制御に用いられることになる。なお、位置姿勢を入力し移動体を制御する方法については公知であるため説明は省略する。
第1実施形態においては、カメラ2で撮像した画像を用いて作成した地図情報を用いて、カメラ2とは異なるカメラ1の位置姿勢を算出する。特に、カメラ毎に地図を作成する手間を削減し、高い精度で、安定して位置姿勢を算出する。
図2は、第1実施形態に係る情報処理装置100の機能構成を示す図である。上述したように、情報処理装置100は、センサ10であるカメラから入力された画像に基づいて位置姿勢を算出し、移動体の制御するために、移動体制御部(不図示)に位置姿勢を出力する。
図4は、情報処理装置100の動作を説明するフローチャートである。
以上説明したとおり第1実施形態によれば、カメラ1の画像を共通パラメータで表される変換画像にあらかじめ変換してから地図との照合を行う。このとき、地図を作成したカメラ2の歪み補正済みパラメータを共通パラメータとして用いる。このようにすることで、地図を作成したカメラと位置姿勢算出で用いるカメラが異なる場合であっても、画像と地図との照合や位置姿勢算出を、高精度で安定して行うことが可能となる。また、カメラ毎に地図を作成するという手間もなくなる。
上述の説明では、センサ10(カメラ1)はモノクロ画像を取得するモノクロカメラであるとした。しかし、センサ10としては、モノクロカメラに限定されず、カラーカメラ、ステレオカメラ、奥行カメラなどを用いることも可能である。すなわち、三次元空間を射影して得られる二次元配列情報を取得するものであれば何でもよい。なお、奥行カメラとはカメラの各画素がセンサからの奥行(デプス)値を格納したデプスマップを取得するカメラである。また、センサ10は三次元空間を射影して二次元配列に格納する構成の三次元LiDARでもよい。センサは単眼でもよいしステレオやさらに複数のカメラを備えるようにしてもよい。
第2実施形態では、ユーザが指定した設定パラメータ(例えば画角と画像サイズ)となるように共通パラメータを生成する形態について説明する。なお、第2実施形態における装置の構成は、第1実施形態(図2、図3)と同様であるため説明は省略する。また、装置の動作についても第1実施形態(図4)と同様であり、ステップS12の詳細動作が異なる。
上述したように、第2実施形態では、ユーザから設定パラメータの指定を受け付け、当該設定パラメータに適合する共通パラメータを生成する。設定パラメータの指定は、例えば、表示部26に表示されるGUIを介して受け付ける。
上述の通り、第2実施形態では、ステップS12における共通パラメータ生成の詳細動作が異なる。ステップS12で共通パラメータを生成しステップS13まで実施した後に、生成した共通パラメータで表される地図をロードする。そして、ステップS14以降の地図照合(すなわちカメラ1の位置姿勢算出)を行う。
以上説明したとおり第2実施形態によれば、ユーザは、変換後の画像を見ながら共通パラメータを設定することが出来る。例えば、カメラ1の入力画像に写る領域を最大限利用できる共通パラメータを設定したり、広角範囲を処理できる共通パラメータにしたりすることができ、ユーザの目的に応じた共通パラメータを設定することができるようになる。
上述の説明では、ユーザが入力した画像のサイズ(w,h)と垂直画角(FOV)に基づいて共通パラメータを生成したが、ユーザが入力する設定パラメータは上記に限定されない。すなわち、共通パラメータを一意に生成できる設定パラメータであれば何でもよい。例えば、垂直画角の代わりに水平画角を入力する構成としてもよい。さらに、共通パラメータc ^に含まれるパラメータ(すなわち、焦点距離および画像中心座標)を直接入力する構成としてもよい。さらに、GUI200において、表示画像240や表示部品241の変形を行うユーザ操作を受け付けるなど、インタラクティブな入力方法を利用してもよい。
第3実施形態では、複数のカメラパラメータから共通パラメータを自動生成する形態について説明する。なお、以下の説明では、カメラが撮像する画素情報量を最大限利用できるような共通パラメータを生成する場合を想定する。すなわち、画像を共通パラメータで表される変換画像に変換するときに画像領域外となる領域を最小にする。なお、第3実施形態における装置の構成は、第1実施形態(図2、図3)と同様であるため説明は省略する。また、装置の動作についても第1実施形態(図4)と同様であり、ステップS12の詳細動作が異なる。
図6は、共通パラメータ自動生成の概念を示す図である。図6では、変換画像、カメラ1、カメラ2それぞれの画像領域が示されており、図面の左から右に進むにつれて共通パラメータが調整されていることを示している。
以上説明したとおり第3実施形態によれば、各々のカメラの画素を最大限利用できる画角となる共通パラメータを生成することができる。それにより、異なるカメラで作成した地図を利用する場合においても、安定して、高い精度で位置姿勢を算出できるようになる。
上述の説明では、共通パラメータの焦点距離を調節したが、地図の照合性能が向上する方法であれば、調節するのは共通パラメータの焦点距離に限定されない。例えば、画像中心座標(cx2 ^,cy2 ^)を調節してもよい。また、変換画像の画像サイズを調整してもよい。カメラモデルが異なる場合は、各カメラモデルの各々のパラメータを調整してもよい。
第4実施形態では、共通パラメータによる変換画像を生成しない形態について説明する。すなわち、第1~第3実施形態では、カメラの入力画像から変換画像を生成していたが、第4実施形態では、変換画像に相当する入力画像上の画素を、地図照合の際の画像参照時に参照する。
第4実施形態における装置の構成は、第1実施形態(図2)から変換部16を取り除いた構成である。また、入力部15から入力画像が地図照合部18に入力され、変換情報保持部14から変換情報が地図照合部18に入力する点が第1実施形態と異なる。
第4実施形態における装置の動作についても第1実施形態(図4)からステップS15を取り除いたものとなる。また、ステップS14では、入力部15が入力画像を地図照合部18に入力する点が異なり、ステップS16では、地図照合部1が入力画像と地図保持部17が保持する地図とを照合する点で異なる。
以上説明したとおり第4実施形態によれば、画像を変換するのではなく、画像から検出した特徴点の二次元座標を共通パラメータで表される変換画像で検出された二次元座標に変換する。このようにすることで、変換した画像を保持するメモリを削減しつつ、異なるカメラで作成した地図を利用して位置姿勢を算出することができるようになる。
上述の説明では、変換情報とはリマップテーブルであった。これに限らず、変換情報は、地図照合に用いる要素を共通パラメータで表される幾何空間に変換できるものであれば良い。例えば、数式(6)の逆変換により入力画像から検出した特徴点座標を直接共通パラメータで表される二次元幾何空間の二次元座標に変換することもできる。このようにすることで、リマップテーブルにおける補間が必要ないためより高精度に二次元座標を変換することができる。
第5実施形態では、共通パラメータを用いずに作成された地図情報を、当該地図情報の作成に利用したカメラと異なるカメラで用いることを可能とする形態について述べる。具体的には、第1~第4実施形態で述べた共通パラメータを用いて作成された地図情報同様に利用可能とすべく地図情報を変換する。
図8は、第5実施形態に係る情報処理装置500の機能構成を示す図である。情報処理装置500は、地図変換部51、共通パラメータ生成部11、パラメータ保持部12、変換情報生成部13、変換情報保持部14、地図保持部17を含む。情報処理装置100と同一の参照符号を付した構成についてはほぼ同様の機能を有する。ただし、変換情報保持部14が変換情報を地図変換部51に出力すること、地図変換部51が変換情報を用いて地図情報変換を行う点が異なる。
図9は、第5実施形態における情報処理装置500の動作を説明するフローチャートである。ステップS11及びステップS12は第1実施形態と同様のため説明を省略する。ステップS13では、変換情報生成部13は、変換情報(リマップテーブル)を生成する。ここでは、地図を作成したカメラ2の歪み補正済みパラメータで表される画像座標から共通パラメータで表される変換画像座標に変換するリマップテーブルを生成する。
以上説明したとおり第5実施形態によれば、共通パラメータを用いずに作成した地図情報に含まれる特徴点の二次元座標を、共通パラメータで表される変換画像座標に変換する。このようにすることで、共通パラメータを用いずに作成された地図情報を、他のカメラでも用いることができるようになる。すなわち、第1~第4実施形態と同様に、カメラ毎に地図を再作成する手間や、共通パラメータ変更時の地図再作成の手間を減らすことができる
<変形例>
上述の説明では、地図情報に含まれる特徴点の二次元座標を、共通パラメータで表される変換画像上で検出される二次元座標に変換した。ただし、地図情報に、画像や特徴点周りのパッチといったカメラパラメータに紐づく情報が保持されている場合、画像や特徴点周りのパッチも合わせて変換してもよい。このようにすることで、マップと入力画像との特徴点マッチングや、位置姿勢計測精度が向上する。
第1実施形態によれば、カメラ1の画像を共通パラメータで表される変換画像にあらかじめ変換してから地図との照合を行う。このとき、地図を作成したカメラ2の歪み補正済みパラメータを共通パラメータとして用いる。このようにすることで、地図を作成したカメラと位置姿勢算出で用いるカメラが異なる場合であっても、画像と地図との照合や位置姿勢算出を、高精度で安定して行うことが可能となる。また、カメラ毎に地図を作成するという手間もなくなる。さらに、共通パラメータで表せられる画像への変換は、従来の歪み補正における画像補正処理(リマップ)におけるリマップテーブルを変えるだけで実現可能である。そのため、地図照合における処理時間の増加させることなく実現することができる。
共通パラメータ生成部は、三次元空間を二次元配列に投影した時に、同じ対応関係となるようになるような共通パラメータを生成する。センサにカメラを用い、カメラモデルにピンホールカメラモデルを用いる場合には、共通パラメータc ^は、焦点距離(fx ^,fy ^)および、画像中心座標(cx ^,cy ^)で表される。
第1~第5実施形態においては、地図情報を作成するカメラ2と、その地図情報を利用して位置姿勢を算出するカメラ1の2つのカメラ間で地図情報を共通して利用する方法について述べた。しかし、地図情報を利用するカメラは2つに限定されるものではなく、さらに多くのカメラで地図情報を利用してよい。また、共通パラメータも、それら複数のカメラに対して適当なパラメータを生成できる。
Claims (23)
- 三次元空間を第1のカメラにより撮影して得られる第1の画像を取得する画像取得手段と、
前記三次元空間を前記第1のカメラとは異なる第2のカメラにより撮影して得られる第2の画像を第2の変換情報により幾何変換して得られる第2の変換画像に基づいて生成された地図情報を取得する地図情報取得手段と、
前記第1の画像を第1の変換情報により幾何変換して第1の変換画像を生成する画像変換手段と、
前記地図情報と前記第1の変換画像とを照合する照合手段と、
を有し、
前記第1の変換情報および前記第2の変換情報は、前記三次元空間と前記第1の変換画像との幾何対応関係と前記三次元空間と前記第2の変換画像との幾何対応関係とが共通の幾何対応関係となるように設定される
ことを特徴とする情報処理装置。 - 前記第1の変換情報は前記第1のカメラのカメラパラメータを含み、前記第2の変換情報は前記第2のカメラのカメラパラメータを含む
ことを特徴とする請求項1に記載の情報処理装置。 - 前記第2の変換情報は、前記第2のカメラにより撮影された画像に対する画角、画像中心の調整または歪み補正の少なくとも何れか一つを行う変換情報である
ことを特徴とする請求項1または2に記載の情報処理装置。 - 前記共通の幾何対応関係と前記第1のカメラのカメラパラメータとに基づいて前記第1の変換情報を生成する変換情報生成手段をさらに有する
ことを特徴とする請求項1乃至3の何れか1項に記載の情報処理装置。 - 前記第1の画像および前記第2の画像は、デプスマップを含む
ことを特徴とする請求項1乃至4の何れか1項に記載の情報処理装置。 - 前記共通の幾何対応関係を示す共通パラメータを生成するパラメータ生成手段をさらに有する
ことを特徴とする請求項1乃至5の何れか1項に記載の情報処理装置。 - 前記パラメータ生成手段は、前記第2のカメラのカメラパラメータまたは前記第2のカメラにより撮影された画像の歪みおよびバイアスを補正した画像におけるカメラパラメータの何れか一つを選択する
ことを特徴とする請求項6に記載の情報処理装置。 - 前記パラメータ生成手段は、前記第1の変換画像に含まれる前記第1のカメラによる撮像領域量または変換画像の画質の高さを表す度合の少なくとも一方に基づいて前記共通パラメータを生成する
ことを特徴とする請求項6に記載の情報処理装置。 - 前記パラメータ生成手段は、ユーザにより指定されたカメラパラメータに基づいて前記共通パラメータを生成する
ことを特徴とする請求項6に記載の情報処理装置。 - 前記パラメータ生成手段は、前記第1のカメラによる撮影範囲と前記第2のカメラによる撮影範囲とに基づいて前記共通パラメータを生成する
ことを特徴とする請求項6に記載の情報処理装置。 - 前記パラメータ生成手段は、前記第1の変換画像の範囲が前記第1のカメラによる撮影範囲と前記第2のカメラによる撮影範囲との両方に含まれるように前記共通パラメータを生成する
ことを特徴とする請求項10に記載の情報処理装置。 - 前記第1の変換画像に基づいて前記地図情報を更新する地図情報更新手段をさらに有する
ことを特徴とする請求項1乃至11の何れか1項に記載の情報処理装置。 - 前記第1のカメラの光学特性は、前記第2のカメラの光学特性と異なる
ことを特徴とする請求項1乃至12の何れか1項に記載の情報処理装置。 - 前記第1の変換情報および前記第2の変換情報は、前記共通パラメータの初期値に基づいて設定される
ことを特徴とする請求項6に記載の情報処理装置。 - 前記共通パラメータは、前記第1の画像と前記第2の画像との共通領域を最大化するパラメータである
ことを特徴とする請求項6に記載の情報処理装置。 - 前記第2の変換情報を取得する変換情報取得手段をさらに有し、
前記画像変換手段は、前記第2の変換情報に基づいて前記第1の変換画像を生成する
ことを特徴とする請求項1乃至15の何れか1項に記載の情報処理装置。 - 三次元空間を第1のカメラにより撮影して得られる第1の画像を取得する画像取得手段と、
前記三次元空間を前記第1のカメラとは異なる第2のカメラにより撮影して得られる第2の画像を第2の変換情報により幾何変換して得られる第2の変換画像に基づいて生成された地図情報を取得する地図情報取得手段と、
前記第1の画像の特徴点と、該第1の画像の特徴点の座標を第1の変換情報により幾何変換して得られる変換座標における前記地図情報とを照合する照合手段と、
を有し、
前記第1の変換情報および前記第2の変換情報は、前記三次元空間と前記第1の画像を前記第1の変換情報により変換した第1の変換画像との幾何対応関係と前記三次元空間と前記第2の変換画像との幾何対応関係とが共通の幾何対応関係となるように設定される
ことを特徴とする情報処理装置。 - 前記三次元空間を第3のカメラにより撮影して得られる第3の画像を第3の変換情報により幾何変換して得られる第3の変換画像に基づいて生成された第2の地図情報を取得する第2の地図情報取得手段と、
前記第2の地図情報を前記地図情報と共通の幾何対応関係となるよう変換し変換地図情報を生成する地図情報変換手段と、
をさらに有する
ことを特徴とする請求項1乃至17の何れか1項に記載の情報処理装置。 - 前記地図情報と前記変換地図情報とを単一の地図情報に合成する合成手段をさらに有する
ことを特徴とする請求項18に記載の情報処理装置。 - 前記照合手段は、前記照合により前記第1のカメラの位置姿勢を算出する
ことを特徴とする請求項1乃至19の何れか1項に記載の情報処理装置。 - 三次元空間を撮影する第1のカメラと接続される情報処理装置の制御方法であって、
前記第1のカメラにより得られる第1の画像を取得する画像取得工程と、
前記三次元空間を前記第1のカメラとは異なる第2のカメラにより撮影して得られる第2の画像を第2の変換情報により幾何変換して得られる第2の変換画像に基づいて生成された地図情報を取得する地図情報取得工程と、
前記第1の画像を第1の変換情報により幾何変換して第1の変換画像を生成する画像変換工程と、
前記地図情報と前記第1の変換画像とを照合する照合工程と、
を含み、
前記第1の変換情報および前記第2の変換情報は、前記三次元空間と前記第1の変換画像との幾何対応関係と前記三次元空間と前記第2の変換画像との幾何対応関係とが共通の幾何対応関係となるように設定される
ことを特徴とする制御方法。 - 三次元空間を撮影する第1のカメラと接続される情報処理装置の制御方法であって、
前記第1のカメラにより得られる第1の画像を取得する画像取得工程と、
前記三次元空間を前記第1のカメラとは異なる第2のカメラにより撮影して得られる第2の画像を第2の変換情報により幾何変換して得られる第2の変換画像に基づいて生成された地図情報を取得する地図情報取得工程と、
前記第1の画像の特徴点と、該第1の画像の特徴点の座標を第1の変換情報により幾何変換して得られる変換座標における前記地図情報とを照合する照合工程と、
を含み、
前記第1の変換情報および前記第2の変換情報は、前記三次元空間と前記第1の画像を前記第1の変換情報により変換した第1の変換画像との幾何対応関係と前記三次元空間と前記第2の変換画像との幾何対応関係とが共通の幾何対応関係となるように設定される
ことを特徴とする制御方法。 - コンピュータを、請求項1乃至20の何れか1項に記載の情報処理装置の各手段として機能させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020113194A JP7474137B2 (ja) | 2020-06-30 | 2020-06-30 | 情報処理装置およびその制御方法 |
US17/361,009 US11715218B2 (en) | 2020-06-30 | 2021-06-28 | Information processing apparatus and information processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020113194A JP7474137B2 (ja) | 2020-06-30 | 2020-06-30 | 情報処理装置およびその制御方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2022011818A JP2022011818A (ja) | 2022-01-17 |
JP2022011818A5 JP2022011818A5 (ja) | 2023-06-15 |
JP7474137B2 true JP7474137B2 (ja) | 2024-04-24 |
Family
ID=79031286
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020113194A Active JP7474137B2 (ja) | 2020-06-30 | 2020-06-30 | 情報処理装置およびその制御方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11715218B2 (ja) |
JP (1) | JP7474137B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11288842B2 (en) * | 2019-02-15 | 2022-03-29 | Interaptix Inc. | Method and system for re-projecting and combining sensor data for visualization |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004113836A1 (ja) | 2003-06-20 | 2004-12-29 | Mitsubishi Denki Kabushiki Kaisha | 撮影映像表示方法 |
JP2019500602A (ja) | 2015-12-15 | 2019-01-10 | 本田技研工業株式会社 | 画像ベースの車両位置特定のためのシステム及び方法 |
WO2019049421A1 (ja) | 2017-09-08 | 2019-03-14 | 株式会社ソニー・インタラクティブエンタテインメント | キャリブレーション装置、キャリブレーションシステム、およびキャリブレーション方法 |
JP2019125116A (ja) | 2018-01-15 | 2019-07-25 | キヤノン株式会社 | 情報処理装置、情報処理方法、およびプログラム |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5471626B2 (ja) | 2010-03-09 | 2014-04-16 | ソニー株式会社 | 情報処理装置、マップ更新方法、プログラム及び情報処理システム |
EP3382646A1 (en) * | 2017-03-29 | 2018-10-03 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus for providing calibration data, camera system and method for obtaining calibration data |
KR102249381B1 (ko) * | 2019-11-25 | 2021-05-07 | 주식회사 스트리스 | 3차원 영상 정보를 이용한 모바일 디바이스의 공간 정보 생성 시스템 및 방법 |
-
2020
- 2020-06-30 JP JP2020113194A patent/JP7474137B2/ja active Active
-
2021
- 2021-06-28 US US17/361,009 patent/US11715218B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004113836A1 (ja) | 2003-06-20 | 2004-12-29 | Mitsubishi Denki Kabushiki Kaisha | 撮影映像表示方法 |
JP2019500602A (ja) | 2015-12-15 | 2019-01-10 | 本田技研工業株式会社 | 画像ベースの車両位置特定のためのシステム及び方法 |
WO2019049421A1 (ja) | 2017-09-08 | 2019-03-14 | 株式会社ソニー・インタラクティブエンタテインメント | キャリブレーション装置、キャリブレーションシステム、およびキャリブレーション方法 |
JP2019125116A (ja) | 2018-01-15 | 2019-07-25 | キヤノン株式会社 | 情報処理装置、情報処理方法、およびプログラム |
Non-Patent Citations (1)
Title |
---|
山崎 俊太郎,一人称ビジョンシステムのための自己位置推定法,電子情報通信学会技術研究報告 Vol.110 No.28,日本,社団法人電子情報通信学会,2010年05月06日,IE2010-27,PRMU2010-15,MI2010-15(2010-5),P.73-78 |
Also Published As
Publication number | Publication date |
---|---|
US11715218B2 (en) | 2023-08-01 |
US20210407113A1 (en) | 2021-12-30 |
JP2022011818A (ja) | 2022-01-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6330987B2 (ja) | 画像処理装置、画像処理方法、及び記憶媒体 | |
CN106875339B (zh) | 一种基于长条形标定板的鱼眼图像拼接方法 | |
CN109314753B (zh) | 使用光流生成中间视图的方法和计算机可读存储介质 | |
JP5997645B2 (ja) | 画像処理装置及び方法、及び撮像装置 | |
CN110809786B (zh) | 校准装置、校准图表、图表图案生成装置和校准方法 | |
TWI555378B (zh) | 一種全景魚眼相機影像校正、合成與景深重建方法與其系統 | |
CN107155341B (zh) | 三维扫描系统和框架 | |
JP4302572B2 (ja) | 画像処理装置 | |
JPH08233556A (ja) | 撮像画像処理装置および撮像画像処理方法 | |
JP2011253376A (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
US20120069018A1 (en) | Ar process apparatus, ar process method and storage medium | |
JP2000350239A (ja) | カメラ・キャリブレーション装置及び方法、画像処理装置及び方法、プログラム提供媒体、並びに、カメラ | |
JPWO2018235300A1 (ja) | 物体検知装置、物体検知方法、及びコンピュータ読み取り可能な記録媒体 | |
JP6594170B2 (ja) | 画像処理装置、画像処理方法、画像投影システムおよびプログラム | |
EP3189493B1 (en) | Depth map based perspective correction in digital photos | |
JP6990694B2 (ja) | プロジェクタ、マッピング用データ作成方法、プログラム及びプロジェクションマッピングシステム | |
JP7474137B2 (ja) | 情報処理装置およびその制御方法 | |
WO2021049281A1 (ja) | 画像処理装置、ヘッドマウントディスプレイ、および空間情報取得方法 | |
CN108429889A (zh) | 一种高光谱十亿像素视频生成方法 | |
WO2022044806A1 (ja) | 情報処理装置および方法 | |
CN115601438A (zh) | 外参标定方法、装置以及自主移动设备 | |
JP2023009952A (ja) | 分析装置、データ生成方法、及びプログラム | |
JPH11355807A (ja) | ステレオ写真撮影による3次元画像表示方法および装置 | |
CN113177989A (zh) | 一种口内扫描仪标定方法及装置 | |
KR20230007034A (ko) | 어안 왜곡 이미지의 무손실 보정 방법 및 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20210103 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210113 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230606 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230606 |
|
TRDD | Decision of grant or rejection written | ||
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240311 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240315 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240412 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7474137 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |