JP7484924B2 - 撮像装置、画像処理システム、画像処理方法及びプログラム - Google Patents
撮像装置、画像処理システム、画像処理方法及びプログラム Download PDFInfo
- Publication number
- JP7484924B2 JP7484924B2 JP2021548409A JP2021548409A JP7484924B2 JP 7484924 B2 JP7484924 B2 JP 7484924B2 JP 2021548409 A JP2021548409 A JP 2021548409A JP 2021548409 A JP2021548409 A JP 2021548409A JP 7484924 B2 JP7484924 B2 JP 7484924B2
- Authority
- JP
- Japan
- Prior art keywords
- feature points
- detected
- image processing
- images
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 129
- 238000003384 imaging method Methods 0.000 title claims description 56
- 238000003672 processing method Methods 0.000 title claims description 10
- 238000000034 method Methods 0.000 claims description 60
- 230000008569 process Effects 0.000 claims description 52
- 238000001514 detection method Methods 0.000 claims description 27
- 230000001133 acceleration Effects 0.000 claims description 21
- 238000004364 calculation method Methods 0.000 description 28
- 238000005516 engineering process Methods 0.000 description 27
- 238000005070 sampling Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 13
- 230000010365 information processing Effects 0.000 description 12
- 238000004891 communication Methods 0.000 description 10
- 230000033001 locomotion Effects 0.000 description 9
- 230000010354 integration Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 230000007423 decrease Effects 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/18—Extraction of features or characteristics of the image
- G06V30/18143—Extracting features based on salient regional features, e.g. scale invariant feature transform [SIFT] keypoints
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
Description
本技術は、撮像装置、画像処理システム、画像処理方法及びプログラムに関する。
従来、カメラや自律型掃除機などの自己位置や姿勢を推定する技術として、自己位置推定と環境地図作成を同時に実行するＳＬＡＭ（Simultaneous Localization and Mapping）が採用されており（例えば、特許文献１）、しばしば、ＩＭＵ（慣性計測装置）を用いる手法が提案されている。しかしながら、ＳＬＡＭにより物体の自己位置・姿勢を推定する上でＩＭＵを主に用いるシステムでは、ＩＭＵにより検出された加速度・角速度を積分処理する過程で観測ノイズが堆積してしまい、ＩＭＵから出力されたセンサデータの信頼性が確保される期間が短く、実用的ではない場合がある。
そこで、昨今ではＩＭＵにより検出された加速度・角速度を積分処理することにより得られたオドメトリ情報と、物体により撮像された撮像画像の特徴点を追跡し、射影幾何学的手法により物体の移動量を推定する視覚オドメトリとを融合させることによって、物体の自己位置及び姿勢を高精度に推定する視覚慣性オドメトリ（VIO：Visual Inertial Odometry）という技術が提案されている。
上述した視覚慣性オドメトリのような技術においては、露光時間を長くとってしまうとカメラの動きによる動きぼけによって特徴点が検出されづらくなってしまい、推定精度が落ちてしまう場合がある。このような推定精度の低下を抑制するためには、カメラの動きぼけに起因して、物体により撮像された撮像画像から特徴点が誤検出されることを抑制するためにカメラの露光時間を短く制限することが一般的である。しかしながら、このような場合であっても、物体により撮像された撮像画像中の動体が多く検出されてしまうと、物体の自己位置及び姿勢を推定する際の推定精度が落ちてしまう場合がある。
そこで、本開示では、画像情報から動体が検出されることを抑制可能な撮像装置、画像処理システム、画像処理方法及びプログラムを提案する。
上記課題を解決するため、本技術の一形態に係る撮像装置は、画像処理回路を有する。
上記画像処理回路は、
所定のフレームレートで撮像された複数の画像各々について、特徴点を検出し、
上記検出された特徴点の動体重みを算出する処理を複数回実行する。
上記画像処理回路は、
所定のフレームレートで撮像された複数の画像各々について、特徴点を検出し、
上記検出された特徴点の動体重みを算出する処理を複数回実行する。
上記画像処理回路は、上記複数の画像各々について、上記検出された特徴点周辺の画像パッチを抽出する処理を実行してもよい。
上記画像処理回路は、上記複数の画像の現在フレームから上記画像パッチに対応する領域を探索し、上記領域から上記検出された特徴点に対応する特徴点を検出する第１のマッチング処理を実行してもよい。
上記画像処理回路は、
検出部により上記検出部の加速度及び角速度が検出されたセンサデータを取得し、
上記センサデータを積分処理することにより、上記複数の画像を撮像する撮像部の位置及び姿勢を算出し、
上記検出された特徴点の位置情報と、上記算出された位置及び姿勢とに基づいて、当該特徴点が上記現在フレームにおいて位置する予測位置を算出してもよい。
検出部により上記検出部の加速度及び角速度が検出されたセンサデータを取得し、
上記センサデータを積分処理することにより、上記複数の画像を撮像する撮像部の位置及び姿勢を算出し、
上記検出された特徴点の位置情報と、上記算出された位置及び姿勢とに基づいて、当該特徴点が上記現在フレームにおいて位置する予測位置を算出してもよい。
上記画像処理回路は、上記第１のマッチング処理により検出された特徴点と、上記予測位置とに基づき、当該特徴点の動体重みを算出してもよい。
上記画像処理回路は、上記第１のマッチング処理により検出された特徴点と上記予測位置との間の距離を算出し、上記距離から上記動体重みを算出してもよい。
上記画像処理回路は、上記第１のマッチング処理により検出された特徴点について上記動体重みを繰り返し算出し、上記繰り返し算出された動体重みが合算された統合重みを算出してもよい。
上記画像処理回路は、
上記複数の画像から、所定の処理レートで特徴点を検出し当該特徴点周辺の画像パッチを抽出する処理を実行し、
上記複数の画像の現在フレームから当該画像パッチに対応する領域を探索し、当該領域から当該検出された特徴点に対応する特徴点を検出する第２のマッチング処理を上記所定の処理レートで実行してもよい。
上記複数の画像から、所定の処理レートで特徴点を検出し当該特徴点周辺の画像パッチを抽出する処理を実行し、
上記複数の画像の現在フレームから当該画像パッチに対応する領域を探索し、当該領域から当該検出された特徴点に対応する特徴点を検出する第２のマッチング処理を上記所定の処理レートで実行してもよい。
上記画像処理回路は、上記統合重みに基づいて、上記第２のマッチング処理により検出された特徴点をサンプリングしてもよい。
上記課題を解決するため、本技術の一形態に係る画像処理システムは、撮像装置を有する。
上記撮像装置は、画像処理回路を有する。
上記画像処理回路は、所定のフレームレートで撮像された複数の画像各々について特徴点を検出し、上記検出された特徴点の動体重みを算出する処理を複数回実行する。
上記撮像装置は、画像処理回路を有する。
上記画像処理回路は、所定のフレームレートで撮像された複数の画像各々について特徴点を検出し、上記検出された特徴点の動体重みを算出する処理を複数回実行する。
上記課題を解決するため、本技術の一形態に係る画像処理回路の画像処理方法は、
所定のフレームレートで撮像された複数の画像各々について、特徴点が検出される。
上記検出された特徴点の動体重みを算出する処理が複数回実行される。
所定のフレームレートで撮像された複数の画像各々について、特徴点が検出される。
上記検出された特徴点の動体重みを算出する処理が複数回実行される。
上記課題を解決するため、本技術の一形態に係るプログラムは、画像処理回路に以下のステップを実行させる。
所定のフレームレートで撮像された複数の画像各々について特徴点を検出するステップ。
上記検出された特徴点の動体重みを算出する処理を複数回実行するステップ。
所定のフレームレートで撮像された複数の画像各々について特徴点を検出するステップ。
上記検出された特徴点の動体重みを算出する処理を複数回実行するステップ。
以下、図面を参照しながら、本技術の実施形態を説明する。
＜画像処理システムの構成＞
［構成例１］
図１は本実施形態に係る画像処理システム１００の構成例を示すブロック図である。画像処理システム１００は、撮像装置１０と、情報処理装置２０と、ＩＭＵ３０とを有する。
［構成例１］
図１は本実施形態に係る画像処理システム１００の構成例を示すブロック図である。画像処理システム１００は、撮像装置１０と、情報処理装置２０と、ＩＭＵ３０とを有する。
（撮像装置）
撮像装置１０は、図１に示すように、イメージセンサ１１を有する。撮像装置１０は、イメージセンサ１１及びイメージセンサ１１への被写体像の結像を制御するレンズ等の各種の部材を用いて実空間を撮像し、撮像画像を生成する。
撮像装置１０は、図１に示すように、イメージセンサ１１を有する。撮像装置１０は、イメージセンサ１１及びイメージセンサ１１への被写体像の結像を制御するレンズ等の各種の部材を用いて実空間を撮像し、撮像画像を生成する。
撮像装置１０は、所定のフレームレートで静止画を撮像するものであってもよく、動画を撮像するものであってもよい。撮像装置１０は、所定のフレームレート（例えば２４０ｆｐｓ）で実空間を撮像可能に構成される。以降の説明では、所定のフレームレート（例えば２４０ｆｐｓ）で撮像された画像を高速画像と定義する。
イメージセンサ１１は、例えばＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等の撮像素子である。イメージセンサ１１には、画像処理回路１２が内蔵される。撮像装置１０は、トラッキングカメラ等のトラッキングデバイスであり、イメージセンサ１１はこのような任意のデバイスに搭載される。
画像処理回路１２は、撮像装置１０により撮像された撮像画像をコントロールし、所定の信号処理を実行する演算処理回路である。画像処理回路１２は、例えばＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）に記録された各種プログラムに従って、撮像装置１０の動作全般またはその一部を制御するＣＰＵを有してもよい。
また、画像処理回路１２は、ＣＰＵに代えて、またはこれとともに、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＳＰＬＤ（Simple Programmable Logic Device）またはＧＰＵ（Graphics Processing Unit）などの処理回路を有してもよい。
画像処理回路１２は、機能的に、特徴点検出部１２１と、マッチング処理部１２２と、重み算出部１２３と、記憶部１２４と、深度算出部１２５と、予測位置算出部１２６とを有する。
特徴点検出部１２１は、高速画像各々について、特徴点を検出し、この特徴点周辺の画像パッチを記憶部１２４に書き込む。特徴点は、例えば、輝度、色、距離、の少なくとも１つが所定値以上の異なる領域間の境界を示す点であり、エッジ（輝度が急激に変化する点）やコーナー（線分の黒点やエッジが急激にまがった箇所）などが該当する。
特徴点検出部１２１は、例えば、ＳＩＦＴ（scale invariant feature transform）、ＳＵＲＦ（speed-up robust features）、ＲＩＦＦ（rotation invariant fast feature）、ＢＲＥＩＦ（binary robust independent elementary features）、ＢＲＩＳＫ（binary robust invariant scalable keypoints）、ＯＲＢ（oriented FAST and rotated BRIEF）又はＣＡＲＤ（compact and real-time descriptors）などの所定のアルゴリズムに従った画像処理により高速画像から特徴点を検出する。以降の説明における特徴点とは、このようなアルゴリズムにより検出された特徴点を意味する。
マッチング処理部１２２は、高速画像の中から特徴点周辺の画像パッチに対応する領域を探索するマッチング処理を実行する。マッチング処理部１２２は、記憶部１２４に対して、当該画像パッチの読み込みを実行する。
重み算出部１２３は、マッチング処理部１２２により検出された特徴点と、予測位置算出部１２６により算出された予測位置とに基づき、当該特徴点の動体重みを算出する。重み算出部１２３は、高速のフレームレートで撮像された分だけ同様に動体重みを算出し、これらの重みを統合して後述の特徴点サンプリング部２４のサンプリング時の優先度となる統合重みを算出する。
記憶部１２４は、高速画像から抽出された特徴点周辺の画像パッチを記憶する。画像パッチとは、画像解析を行う単位となる画像の部分的な領域であり、例えば２５６ピクセル四方や１２８ピクセル四方ほどの領域を指し、以降の説明においても同様である。
深度算出部１２５は、特徴点検出部１２１により検出された特徴点の深度を算出する。特徴点の深度とは、３次元特徴点位置の過去のカメラ座標系からの深度であり、後述する下記式（７）により算出される。
予測位置算出部１２６は、撮像装置１０の相対位置及び相対姿勢に基づき、高速画像の過去フレームにおいて検出された特徴点が現在フレームにおいて位置する予測位置（図５参照）を算出する。なお、現在フレームとは、撮像装置１０により所定のフレームレートで連続的に撮像された画像のうち画像処理システム１００（画像処理回路１２）により処理中の画像であり、対して過去フレームとは既に処理済みの画像である点で、以下の説明においても同様である。
また、画像処理回路１２は、ＲＯＭ、ＲＡＭ及び通信装置（図示略）を有する構成であってもよい。ＲＯＭは、ＣＰＵが使用するプログラムや演算パラメータなどを記憶する。ＲＡＭは、ＣＰＵ１１０の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一次記憶する。記憶部１２４は、上述したＲＯＭ又はＲＡＭであってもよい。
通信装置は、例えば、画像処理回路１２と情報処理装置２０とを接続するネットワークに接続するための通信デバイスなどで構成された通信インターフェースである。通信装置は、例えば、ＬＡＮ（Local Area Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ－Ｆｉ、またはＷＵＳＢ（Wireless USB）用の通信カードなどでありうる。
また、通信装置に接続されるネットワークは、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信などを含みうる。また、ネットワークは、インターネットや移動体通信網、あるいはローカルエリアネットワーク等であってもよく、これら複数種類のネットワークが組み合わされたネットワークであってもよい。
（情報処理装置）
情報処理装置２０は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）等のコンピュータに必要なハードウェアを有する。ＣＰＵがＲＯＭに予め記録されている本技術に係るプログラムをＲＡＭにロードして実行することにより、情報処理装置２０内の動作が実行される。
情報処理装置２０は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）等のコンピュータに必要なハードウェアを有する。ＣＰＵがＲＯＭに予め記録されている本技術に係るプログラムをＲＡＭにロードして実行することにより、情報処理装置２０内の動作が実行される。
情報処理装置２０は、サーバであってもよく、ＰＣ等の他の任意のコンピュータであってもよい。情報処理装置２０は、機能的に、積分処理部２１と、マッチング処理部２２と、特徴点サンプリング部２４と、記憶部２５と、位置姿勢推定部２６とを有する。
積分処理部２１は、ＩＭＵ３０により測定されたセンサデータ（加速度及び角速度）を積分処理し、撮像装置１０の相対位置及び相対姿勢を算出する。
マッチング処理部２２は、高速画像の現在フレームの中から特徴点周辺の画像パッチに対応する領域を探索するマッチング処理を所定の処理レート（画像処理システム１００の処理レート）で実行する。
マッチング処理部２２は、イメージセンサ１１から所定の出力レート（画像処理システム１００の処理レート）で出力された画像（以下、通常画像）の中から特徴点周辺の画像パッチに対応する領域を探索するマッチング処理を実行する。マッチング処理部２２は、記憶部２５に対して、当該画像パッチの読み込みを実行する。
特徴点検出部２３は、高速画像から所定の処理レート（画像処理システム１００の処理レート）で特徴点を検出し、この特徴点周辺の画像パッチを抽出しこれを記憶部２５に書き込む。
特徴点検出部２３は、通常画像各々について、特徴点を検出し、この特徴点周辺の画像パッチを記憶部２５に書き込む。特徴点サンプリング部２４は、重み算出部１２３により算出された統合重みに基づいて、マッチング処理部２２により検出された特徴点をサンプリングする。
記憶部２５は、通常画像から抽出された特徴点周辺の画像パッチを記憶する。記憶部２５は、ＲＡＭやＲＯＭなどの記憶装置であってもよい。位置姿勢推定部２６は、特徴点サンプリング部２４によりサンプリングされた特徴点間のズレ量から、イメージセンサ１１が搭載された撮像装置１０の位置姿勢を推定する。
（ＩＭＵ）
ＩＭＵ３０は、ジャイロセンサ、加速度センサ、磁気センサ及び圧力センサ等が複数軸で組み合わされた慣性計測装置である。ＩＭＵ３０は、自身の加速度及び角速度を検出し、これにより得られたセンサデータを積分処理部２１に出力する。ＩＭＵ３０は例えば、機械式、レーザー式又は光ファイバー式のものが採用されてもよく、その種類は問わない。
ＩＭＵ３０は、ジャイロセンサ、加速度センサ、磁気センサ及び圧力センサ等が複数軸で組み合わされた慣性計測装置である。ＩＭＵ３０は、自身の加速度及び角速度を検出し、これにより得られたセンサデータを積分処理部２１に出力する。ＩＭＵ３０は例えば、機械式、レーザー式又は光ファイバー式のものが採用されてもよく、その種類は問わない。
画像処理システム１００におけるＩＭＵ３０の設置箇所は特に限定されないが、例えば、イメージセンサ１１に搭載されてもよい。この場合、画像処理回路１２は、撮像装置１０とＩＭＵ３０の位置・姿勢関係に基づいて、ＩＭＵ３０から取得した加速度及び角速度を撮像装置１０の加速度・角速度に変換してもよい。
［構成例２］
図２は、本実施形態に係る画像処理システム１００の他の構成例を示すブロック図である。画像処理システム１００は、図２に示すように、特徴点サンプリング部２４と、位置姿勢推定部２６とを画像処理回路１２が有する構成であってもよい。なお、構成例２では、構成例１と同様の構成については同様の符号を付し、その説明を省略する。
図２は、本実施形態に係る画像処理システム１００の他の構成例を示すブロック図である。画像処理システム１００は、図２に示すように、特徴点サンプリング部２４と、位置姿勢推定部２６とを画像処理回路１２が有する構成であってもよい。なお、構成例２では、構成例１と同様の構成については同様の符号を付し、その説明を省略する。
［構成例３］
図３は、本実施形態に係る撮像装置１０の他の構成例を示すブロック図である。本技術の撮像装置１０は、図３に示すように、ＩＭＵ３０と画像処理回路１２とを有し、画像処理回路１２が積分処理部２１、特徴点サンプリング部２４及び位置姿勢推定部２６を有する構成であってもよい。なお、構成例３では、構成例１と同様の構成については同様の符号を付し、その説明を省略する。
図３は、本実施形態に係る撮像装置１０の他の構成例を示すブロック図である。本技術の撮像装置１０は、図３に示すように、ＩＭＵ３０と画像処理回路１２とを有し、画像処理回路１２が積分処理部２１、特徴点サンプリング部２４及び位置姿勢推定部２６を有する構成であってもよい。なお、構成例３では、構成例１と同様の構成については同様の符号を付し、その説明を省略する。
以上、画像処理システム１００の構成例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。
＜画像処理方法＞
図４は画像処理システム１００の典型的な動作の流れを示すフローチャートである。本技術は、画像処理システム１００の処理レートでは捨てられる画像情報を有効利用することによって、画像中の動体が検出されること抑制し、そのロバスト性を向上させるものである。以下、画像処理システム１００の画像処理方法について図４を適宜参照しながら説明する。
図４は画像処理システム１００の典型的な動作の流れを示すフローチャートである。本技術は、画像処理システム１００の処理レートでは捨てられる画像情報を有効利用することによって、画像中の動体が検出されること抑制し、そのロバスト性を向上させるものである。以下、画像処理システム１００の画像処理方法について図４を適宜参照しながら説明する。
［ステップＳ１０１：画像・加速度・角速度取得］
特徴点検出部１２１は、イメージセンサ１１から高速画像を取得する。特徴点検出部１２１は、高速画像から特徴点を検出し、この特徴点の位置情報を記憶部１２４に出力する。特徴点検出部１２１は、高速画像から特徴点と共に、特徴点周辺の画像パッチを抽出し、画像パッチを記憶部１２４に書き込む。
特徴点検出部１２１は、イメージセンサ１１から高速画像を取得する。特徴点検出部１２１は、高速画像から特徴点を検出し、この特徴点の位置情報を記憶部１２４に出力する。特徴点検出部１２１は、高速画像から特徴点と共に、特徴点周辺の画像パッチを抽出し、画像パッチを記憶部１２４に書き込む。
積分処理部２１は、ＩＭＵ３０により検出された加速度及び角速度に関するセンサデータをＩＭＵ３０から取得し、当該加速度及び角速度を積分処理することによって、イメージセンサ１１が搭載された撮像装置１０の単位時間当たりの相対位置及び相対姿勢の変化量を算出し、算出結果を予測位置算出部１２６に出力する。
具体的には、積分処理部２１は、単位時間当たりの相対位置及び相対姿勢の変化量をＩＭＵ積算値から求める場合は、加速度、角速度、加速度バイアス、角速度バイアス、重力加速度、時間変化を、それぞれ、ａｍ，ωｍ，ｂａ，ｂｗ，ｇ，Δｔとすると、例えば、下記式（１）～（３）に従って、単位時間当たりの相対位置の変化量ΔＰと、単位時間当たりの相対姿勢の変化量ΔＲとを算出する。
［ステップＳ１０２：予測位置算出］
予測位置算出部１２６は、積分処理部２１から取得した相対位置及び相対姿勢の変化量ΔＰ，ΔＲと、記憶部１２４から取得した特徴点の位置情報及び深度とに基づいて当該特徴点が現在フレームにおいて位置する予測位置ｐ´ｔを算出し、算出結果を重み算出部１２３に出力する。
予測位置算出部１２６は、積分処理部２１から取得した相対位置及び相対姿勢の変化量ΔＰ，ΔＲと、記憶部１２４から取得した特徴点の位置情報及び深度とに基づいて当該特徴点が現在フレームにおいて位置する予測位置ｐ´ｔを算出し、算出結果を重み算出部１２３に出力する。
具体的には、予測位置算出部１２６は、過去フレームにおいて検出された特徴点の二次元座標をｐｔ－１とし、この特徴点の三次元座標位置をＰｔ－１とし、当該特徴点の予測される三次元座標位置をＰｔとし、特徴点の深度をｚ、撮像装置１０の内部パラメータをＫとした場合に、予測位置ｐ´ｔの二次元座標を例えば下記式（４）～（６）により算出する。
Ｐｔ－１＝ｚｔ－１・Ｋ－１・ｐｔ－１ ・・・（４）
Ｐｔ＝ΔＲＴ・（Ｐｔ－１－ΔＰ） ・・・（５）
ｐ´ｔ＝（１／ｚｔ）・Ｋ・Ｐｔ ・・・（６）
Ｐｔ＝ΔＲＴ・（Ｐｔ－１－ΔＰ） ・・・（５）
ｐ´ｔ＝（１／ｚｔ）・Ｋ・Ｐｔ ・・・（６）
なお、深度は、ΔＲＴ（ｚｔ－１Ｋ－１ｐｔ－１－ΔＰ）のＺ座標をｚｔとすると、例えば、下記式（７）より得られるｚｔ－１に値する。
ｐｔ＝（１／ｚｔ）・Ｋ・ΔＲＴ・（ｚｔ－１Ｋ－１ｐｔ－１－ΔＰ）・・・（７）
［ステップＳ１０３：マッチング処理］
マッチング処理部１２２は、記憶部１２４に記憶されている、高速画像の過去フレームにおいて検出された特徴点周辺の画像パッチを記憶部１２４から読み出し、高速画像の現在フレームから当該画像パッチと最も類似する領域を探索するテンプレートマッチングを実行し、マッチングした領域の中から過去フレームの特徴点に対応する特徴点を検出する（第１のマッチング処理）。マッチング処理部１２２は、検出した特徴点に関する位置情報を重み算出部１２３及び深度算出部１２５に出力する。深度算出部１２５は、マッチング処理部１２２により検出された各特徴点の深度を算出し、算出結果を記憶部１２４に出力する。
マッチング処理部１２２は、記憶部１２４に記憶されている、高速画像の過去フレームにおいて検出された特徴点周辺の画像パッチを記憶部１２４から読み出し、高速画像の現在フレームから当該画像パッチと最も類似する領域を探索するテンプレートマッチングを実行し、マッチングした領域の中から過去フレームの特徴点に対応する特徴点を検出する（第１のマッチング処理）。マッチング処理部１２２は、検出した特徴点に関する位置情報を重み算出部１２３及び深度算出部１２５に出力する。深度算出部１２５は、マッチング処理部１２２により検出された各特徴点の深度を算出し、算出結果を記憶部１２４に出力する。
［ステップＳ１０４：重み算出］
図５は、高速画像における過去フレームと現在フレームとを併記して示す模式図であり、現在フレームの動体重みの算出方法を示す図である。重み算出部１２３は、高速画像の現在フレームから検出された特徴点の位置と、この特徴点が現在フレームにおいて位置する予測位置とのズレから、現在フレームの動体重みを算出する。
図５は、高速画像における過去フレームと現在フレームとを併記して示す模式図であり、現在フレームの動体重みの算出方法を示す図である。重み算出部１２３は、高速画像の現在フレームから検出された特徴点の位置と、この特徴点が現在フレームにおいて位置する予測位置とのズレから、現在フレームの動体重みを算出する。
具体的には、重み算出部１２３は、テンプレートマッチングによって現在フレームから検出された特徴点の二次元座標位置をｐｔとすると、二次元座標位置ｐｔと予測位置ｐ´ｔとの間の距離εｔを例えば下記式（８）により算出する。
次いで、重み算出部１２３は、任意定数をＣとした場合に、現在フレームにおける動体重みｗｔを例えば下記式（９）により算出する。下記式（９）によれば、εｔが大きいほど動体重みｗｔが０に近づき、εｔが小さいほど動体重みｗｔが１に近づく。
Ｗｔ＝Ｃ／（Ｃ＋εｔ）・・・（９）
［ステップＳ１０５：システム処理レート分経過？］
本実施形態の画像処理回路１２は、撮像装置１０により所定のフレームレートで所定回数撮像が実行されていない場合（１フレーム中の露光回数が規定回数未満である場合）に（ステップＳ１０５のＮＯ）、所定のフレームレートで撮像された分だけ先のステップＳ１０１～Ｓ１０４までの一例の処理を繰り返し実行する。
本実施形態の画像処理回路１２は、撮像装置１０により所定のフレームレートで所定回数撮像が実行されていない場合（１フレーム中の露光回数が規定回数未満である場合）に（ステップＳ１０５のＮＯ）、所定のフレームレートで撮像された分だけ先のステップＳ１０１～Ｓ１０４までの一例の処理を繰り返し実行する。
図６は、高速画像における過去フレームと現在フレームとを併記して示す模式図であり、過去フレームにおいて検出された特徴点の動体重みが繰り返し算出される過程を示す図である。
重み算出部１２３は、Ｓ１０１～Ｓ１０４が繰り返し実行される過程において、図６に示すように、先のステップＳ１０３において検出された特徴点について繰り返し動体重みＷｔを算出し、これらが合算された統合重みを算出する。重み算出部１２３は、算出した統合重みに関する情報を特徴点サンプリング部２４に出力する。
一方、撮像装置１０により所定のフレームレートで所定回数撮像が実行された場合（１フレーム中の露光回数が規定回数に達した場合）、即ち、マッチング処理部２２がイメージセンサ１１から通常画像を取得した場合に（ステップＳ１０５のＹＥＳ）、後述のステップＳ１０６以降の処理が実行される。
［ステップＳ１０６：マッチング処理］
特徴点検出部２３は、高速画像のうちイメージセンサ１１から所定の出力レート（例えば６０ｆｐｓ）で出力された通常画像を取得する。特徴点検出部２３は、通常画像から特徴点を検出し、この特徴点周辺の画像パッチを抽出し画像パッチを記憶部２５に書き込む。
特徴点検出部２３は、高速画像のうちイメージセンサ１１から所定の出力レート（例えば６０ｆｐｓ）で出力された通常画像を取得する。特徴点検出部２３は、通常画像から特徴点を検出し、この特徴点周辺の画像パッチを抽出し画像パッチを記憶部２５に書き込む。
マッチング処理部２２は、記憶部２５に記憶されている、通常画像の過去フレームにおいて抽出された特徴点周辺の画像パッチを記憶部２５から読み出し、通常画像の現在フレームから当該画像パッチと最も類似する領域を探索するテンプレートマッチングを実行し、マッチングした領域の中から過去フレームの特徴点に対応する特徴点を検出する（第２のマッチング処理）。マッチング処理部２２は、検出した特徴点に関する位置情報を特徴点サンプリング部２４に出力する。
［ステップＳ１０７：特徴点サンプリング］
特徴点サンプリング部２４は、通常画像から検出された特徴点を、先のステップＳ１０５において取得した統合重みを基準としてアウトライアを除去する。具体的には、特徴点サンプリング部２４は当該特徴点をサンプリングし、仮説検証を行う。ここで言う仮説検証とは、サンプリングした特徴点ペアから撮像装置１０の仮の相対位置・姿勢を求め、その相対位置・姿勢に見合う移動関係にある特徴点ペアがいくつ残るかでその仮説が正しいかを検証する。特徴点サンプリング部２４は、特徴点を複数回サンプリングし、撮像装置１０の一番良い仮説の相対位置・姿勢に見合う移動関係にある特徴点ペアをインライアペア、そうでないペアをアウトライアペアとしてアウトライアペアの除去を行う。
この際、特徴点サンプリング部２４は、例えばＰＲＯＳＡＣ（Progressive Sample Consensus）などの所定のアルゴリズムに従って、統合重みが小さい値の特徴点を動体とは異なる特徴点であるとして優先的にサンプリングする処理を繰り返し実行する。これにより、通常のＲＡＮＳＡＣ（Random Sample Consensus）アルゴリズムに従って通常画像から特徴点をランダムにサンプリングするよりもサンプリング回数が大幅に抑えられ、イメージセンサ１１が搭載された撮像装置１０の位置・姿勢を推定する上での処理スピードが格段に向上する。
特徴点サンプリング部２４は、通常画像から検出された特徴点を、先のステップＳ１０５において取得した統合重みを基準としてアウトライアを除去する。具体的には、特徴点サンプリング部２４は当該特徴点をサンプリングし、仮説検証を行う。ここで言う仮説検証とは、サンプリングした特徴点ペアから撮像装置１０の仮の相対位置・姿勢を求め、その相対位置・姿勢に見合う移動関係にある特徴点ペアがいくつ残るかでその仮説が正しいかを検証する。特徴点サンプリング部２４は、特徴点を複数回サンプリングし、撮像装置１０の一番良い仮説の相対位置・姿勢に見合う移動関係にある特徴点ペアをインライアペア、そうでないペアをアウトライアペアとしてアウトライアペアの除去を行う。
この際、特徴点サンプリング部２４は、例えばＰＲＯＳＡＣ（Progressive Sample Consensus）などの所定のアルゴリズムに従って、統合重みが小さい値の特徴点を動体とは異なる特徴点であるとして優先的にサンプリングする処理を繰り返し実行する。これにより、通常のＲＡＮＳＡＣ（Random Sample Consensus）アルゴリズムに従って通常画像から特徴点をランダムにサンプリングするよりもサンプリング回数が大幅に抑えられ、イメージセンサ１１が搭載された撮像装置１０の位置・姿勢を推定する上での処理スピードが格段に向上する。
特徴点サンプリング部２４は、ＰＲＯＳＡＣアルゴリズムに従ってサンプリングした特徴点に関する情報を位置姿勢推定部２６に出力する。ＰＲＯＳＡＣに関しては、下記文献１を参照されたい（文献１：O.Chum and J. Matas: Matching with PROSAC - Progressive Sample Cocsensus; CVPR 2005）。
［ステップＳ１０８：位置姿勢推定］
位置姿勢推定部２６は、ＰｎＰアルゴリズムなどの所定のアルゴリズムに従って、先のステップＳ１０７においてサンプリングされた、過去フレームの特徴点と現在フレームの特徴点とのズレ量から、イメージセンサ１１が搭載された撮像装置１０の位置姿勢を推定する。ＰｎＰアルゴリズムに関しては、下記文献２を参照されたい（文献２：Lepetit, V. ; Moreno-Noguer, M.; Fua, P. (2009), EPnP: An Accurate 0(n) Solution to the PnP Problem, International Journal of Computer Vision. 81(2) 155-166）。
位置姿勢推定部２６は、ＰｎＰアルゴリズムなどの所定のアルゴリズムに従って、先のステップＳ１０７においてサンプリングされた、過去フレームの特徴点と現在フレームの特徴点とのズレ量から、イメージセンサ１１が搭載された撮像装置１０の位置姿勢を推定する。ＰｎＰアルゴリズムに関しては、下記文献２を参照されたい（文献２：Lepetit, V. ; Moreno-Noguer, M.; Fua, P. (2009), EPnP: An Accurate 0(n) Solution to the PnP Problem, International Journal of Computer Vision. 81(2) 155-166）。
＜作用・効果＞
ＳＬＡＭ（Simultaneous Localization and Mapping）は物体の自己位置・姿勢を推定する技術であり、しばしば、ＩＭＵ（慣性計測装置）を用いる手法が採用される。しかしながら、ＳＬＡＭにより物体の自己位置・姿勢を推定する上でＩＭＵを主に用いるシステムでは、ＩＭＵにより検出された加速度・角速度を積分処理する過程で観測ノイズが堆積してしまい、ＩＭＵから出力されたセンサデータの信頼性が確保される期間が短く、実用的ではない場合がある。
ＳＬＡＭ（Simultaneous Localization and Mapping）は物体の自己位置・姿勢を推定する技術であり、しばしば、ＩＭＵ（慣性計測装置）を用いる手法が採用される。しかしながら、ＳＬＡＭにより物体の自己位置・姿勢を推定する上でＩＭＵを主に用いるシステムでは、ＩＭＵにより検出された加速度・角速度を積分処理する過程で観測ノイズが堆積してしまい、ＩＭＵから出力されたセンサデータの信頼性が確保される期間が短く、実用的ではない場合がある。
そこで、昨今ではＩＭＵにより検出された加速度・角速度を積分処理することにより得られたオドメトリ情報と、物体により撮像された撮像画像の特徴点を追跡し、射影幾何学的手法により物体の移動量を推定する視覚オドメトリとを融合させることによって、物体の自己位置・姿勢を高精度に推定する視覚慣性オドメトリ（VIO：Visual Inertial Odometry）という技術が提案されている。
しかし、このような技術においても、露光時間を長くとってしまうとカメラの動きによる動きぼけによって特徴点が検出されづらくなってしまい、推定精度が落ちてしまう場合がある。このような推定精度の低下を抑制するためには、カメラの露光時間を短く制限することが一般的である。この場合、カメラの露光時間は、図７に示すように、通常のビデオ出力レートに比べ極めて短く、撮像周期の大半の時間はシャッターを閉じていることになる。図７は、画像処理システム１００の処理レートと同じレートで撮像した通常構成の露光状態と本技術の露光状態とを併記して示す概念図である。
また、ＳＬＡＭ技術は撮像画像内に動体がないという前提のもと、物体の自己位置・姿勢を推定しているため、動体が画面内に多く映り込むと推定精度が落ちてしまう。そこで、本実施形態では、このシャッターの閉じた大半の時間を有効活用するため、画像処理システム１００の処理レートよりもイメージセンサ１１を高速に撮像させ、推定精度の向上を図るものである。
また、ＳＬＡＭ技術は撮像画像内に動体がないという前提のもと、物体の自己位置・姿勢を推定しているため、動体が画面内に多く映り込むと推定精度が落ちてしまう。そこで、本実施形態では、このシャッターの閉じた大半の時間を有効活用するため、画像処理システム１００の処理レートよりもイメージセンサ１１を高速に撮像させ、推定精度の向上を図るものである。
具体的には、イメージセンサ１１が画像処理システム１００のフレームレートで処理されるまでの間に高速のフレームレートで露光されることによって高速画像を生成し、画像処理回路１２が高速画像各々について特徴点を検出し、さらに、検出された特徴点の動体重みを算出する処理を複数回実行する。即ち、通常撮像レートにおいてシャッターを閉じていた期間を、高速撮像により複数のフレーム情報として利用する。
これにより、高速画像の過去フレームにおいて検出された特徴点に対応する特徴点を現在フレームから検出する処理が短い時間間隔で複数回実行されるため、ＩＭＵ３０由来の観測ノイズの影響が低減され、特徴点マッチングのロバスト性（頑強性）が向上する。
これにより、高速画像の過去フレームにおいて検出された特徴点に対応する特徴点を現在フレームから検出する処理が短い時間間隔で複数回実行されるため、ＩＭＵ３０由来の観測ノイズの影響が低減され、特徴点マッチングのロバスト性（頑強性）が向上する。
また、本実施形態の画像処理回路１２は、マッチング処理部１２２により検出された特徴点について動体重みを繰り返し算出し、繰り返し算出された重みが合算された統合重みを算出する。そして、画像処理回路１２は、統合重みに基づいて、マッチング処理部２２により検出された特徴点をサンプリングする。
これにより、通常画像から抽出された特徴点から、動体とは異なる特徴点をサンプリングする際のロバスト性が向上する。従って、動体の多く存在する場所での自己位置・姿勢を推定する精度を上げることができる。
これにより、通常画像から抽出された特徴点から、動体とは異なる特徴点をサンプリングする際のロバスト性が向上する。従って、動体の多く存在する場所での自己位置・姿勢を推定する精度を上げることができる。
＜変形例＞
以上、本技術の実施形態について説明したが、本技術は上述の実施形態に限定されるものではなく種々変更を加え得ることは勿論である。
以上、本技術の実施形態について説明したが、本技術は上述の実施形態に限定されるものではなく種々変更を加え得ることは勿論である。
例えば、上記実施形態では、統合重みを基準としたＰＲＯＳＡＣアルゴリズムによって、撮像画像から抽出された特徴点が重みづけされるがこれに限られず、例えば、撮像画像から前景（動きうるもの）／背景を重みづけし分離する学習型ニューラルネットワークを使用して特徴点が重み付けされてもよい。前景／背景を分離するネットワークの例としては右のウェブサイトを参照されたい。（https://arxiv.org/pdf/1805.09806.pdf）。
＜補足＞
本技術の実施形態は、例えば、上記で説明したような情報処理装置、システム、情報処理装置またはシステムで実行される情報処理方法、情報処理装置を機能させるためのプログラム、およびプログラムが記録された一時的でない有形の媒体を含みうる。
本技術の実施形態は、例えば、上記で説明したような情報処理装置、システム、情報処理装置またはシステムで実行される情報処理方法、情報処理装置を機能させるためのプログラム、およびプログラムが記録された一時的でない有形の媒体を含みうる。
また、本技術は、例えば、イメージセンサに統合された演算デバイス、カメラ画像を前処理するＩＳＰ（Image Signal Processor）、あるいは、カメラ、ストレージ又はネットワークから取得した画像データを処理する汎用的なソフトウェアや、ドローン又は車などの移動体に適用されてもよく、本技術の用途は特に限定されない。
さらに、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本技術は、上記の効果とともに、または上記の効果にかえて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
以上、添付図面を参照しながら本技術の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本技術の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本技術の技術的範囲に属するものと了解される。
なお、本技術は以下のような構成もとることができる。
（１）
所定のフレームレートで撮像された複数の画像各々について、特徴点を検出し、
前記検出された特徴点の動体重みを算出する処理を複数回実行する、画像処理回路
を具備する撮像装置。
（２）
上記（１）に記載の撮像装置であって、
上記画像処理回路は、上記複数の画像各々について、上記検出された特徴点周辺の画像パッチを抽出する処理を実行する
撮像装置。
（３）
上記（２）に記載の撮像装置であって、
上記画像処理回路は、上記複数の画像の現在フレームから上記画像パッチに対応する領域を探索し、上記領域から上記検出された特徴点に対応する特徴点を検出する第１のマッチング処理を実行する
撮像装置。
（４）
上記（３）に記載の撮像装置であって、
上記画像処理回路は、
検出部により上記検出部の加速度及び角速度が検出されたセンサデータを取得し、
上記センサデータを積分処理することにより、上記複数の画像を撮像する撮像部の位置及び姿勢を算出し、
上記検出された特徴点の位置情報と、上記算出された位置及び姿勢とに基づいて、当該特徴点が上記現在フレームにおいて位置する予測位置を算出する
撮像装置。
（５）
上記（４）に記載の撮像装置であって、
上記画像処理回路は、上記第１のマッチング処理により検出された特徴点と、上記予測位置とに基づき、当該特徴点の動体重みを算出する
撮像装置。
（６）
上記（５）に記載の撮像装置であって、
上記画像処理回路は、上記第１のマッチング処理により検出された特徴点と上記予測位置との間の距離を算出し、上記距離から上記動体重みを算出する
撮像装置。
（７）
上記（５）又は（６）に記載の撮像装置であって、
上記画像処理回路は、上記第１のマッチング処理により検出された特徴点について上記動体重みを繰り返し算出し、上記繰り返し算出された動体重みが合算された統合重みを算出する
撮像装置。
（８）
上記（７）に記載の撮像装置であって、
上記画像処理回路は、
上記複数の画像から、所定の処理レートで特徴点を検出し当該特徴点周辺の画像パッチを抽出する処理を実行し、
上記複数の画像の現在フレームから当該画像パッチに対応する領域を探索し、当該領域から当該検出された特徴点に対応する特徴点を検出する第２のマッチング処理を上記所定の処理レートで実行する
撮像装置。
（９）
上記（８）に記載の撮像装置であって、
上記画像処理回路は、上記統合重みに基づいて、上記第２のマッチング処理により検出された特徴点をサンプリングする
撮像装置。
（１０）
所定のフレームレートで撮像された複数の画像各々について特徴点を検出し、上記検出された特徴点の動体重みを算出する処理を複数回実行する画像処理回路
を有する撮像装置
を具備する画像処理システム。
（１１）
画像処理回路が、
所定のフレームレートで撮像された複数の画像各々について、特徴点を検出し、
上記検出された特徴点の動体重みを算出する処理を複数回実行する
画像処理方法。
（１２）
所定のフレームレートで撮像された複数の画像各々について、特徴点を検出するステップと、
上記検出された特徴点の動体重みを算出する処理を複数回実行するステップと
を画像処理回路に実行させるプログラム。
所定のフレームレートで撮像された複数の画像各々について、特徴点を検出し、
前記検出された特徴点の動体重みを算出する処理を複数回実行する、画像処理回路
を具備する撮像装置。
（２）
上記（１）に記載の撮像装置であって、
上記画像処理回路は、上記複数の画像各々について、上記検出された特徴点周辺の画像パッチを抽出する処理を実行する
撮像装置。
（３）
上記（２）に記載の撮像装置であって、
上記画像処理回路は、上記複数の画像の現在フレームから上記画像パッチに対応する領域を探索し、上記領域から上記検出された特徴点に対応する特徴点を検出する第１のマッチング処理を実行する
撮像装置。
（４）
上記（３）に記載の撮像装置であって、
上記画像処理回路は、
検出部により上記検出部の加速度及び角速度が検出されたセンサデータを取得し、
上記センサデータを積分処理することにより、上記複数の画像を撮像する撮像部の位置及び姿勢を算出し、
上記検出された特徴点の位置情報と、上記算出された位置及び姿勢とに基づいて、当該特徴点が上記現在フレームにおいて位置する予測位置を算出する
撮像装置。
（５）
上記（４）に記載の撮像装置であって、
上記画像処理回路は、上記第１のマッチング処理により検出された特徴点と、上記予測位置とに基づき、当該特徴点の動体重みを算出する
撮像装置。
（６）
上記（５）に記載の撮像装置であって、
上記画像処理回路は、上記第１のマッチング処理により検出された特徴点と上記予測位置との間の距離を算出し、上記距離から上記動体重みを算出する
撮像装置。
（７）
上記（５）又は（６）に記載の撮像装置であって、
上記画像処理回路は、上記第１のマッチング処理により検出された特徴点について上記動体重みを繰り返し算出し、上記繰り返し算出された動体重みが合算された統合重みを算出する
撮像装置。
（８）
上記（７）に記載の撮像装置であって、
上記画像処理回路は、
上記複数の画像から、所定の処理レートで特徴点を検出し当該特徴点周辺の画像パッチを抽出する処理を実行し、
上記複数の画像の現在フレームから当該画像パッチに対応する領域を探索し、当該領域から当該検出された特徴点に対応する特徴点を検出する第２のマッチング処理を上記所定の処理レートで実行する
撮像装置。
（９）
上記（８）に記載の撮像装置であって、
上記画像処理回路は、上記統合重みに基づいて、上記第２のマッチング処理により検出された特徴点をサンプリングする
撮像装置。
（１０）
所定のフレームレートで撮像された複数の画像各々について特徴点を検出し、上記検出された特徴点の動体重みを算出する処理を複数回実行する画像処理回路
を有する撮像装置
を具備する画像処理システム。
（１１）
画像処理回路が、
所定のフレームレートで撮像された複数の画像各々について、特徴点を検出し、
上記検出された特徴点の動体重みを算出する処理を複数回実行する
画像処理方法。
（１２）
所定のフレームレートで撮像された複数の画像各々について、特徴点を検出するステップと、
上記検出された特徴点の動体重みを算出する処理を複数回実行するステップと
を画像処理回路に実行させるプログラム。
撮像装置・・・１０
イメージセンサ・・・１１
画像処理回路・・・１２
情報処理装置・・・２０
積分処理部・・・２１
マッチング処理部・・・２２，１２２
特徴点検出部・・・２３，１２１
特徴点サンプリング部・・・２４
記憶部・・・２５，１２４
位置姿勢推定部・・・２６
ＩＭＵ・・・３０
画像処理システム・・・１００
重み算出部・・・１２３
予測位置算出部・・・１２６
イメージセンサ・・・１１
画像処理回路・・・１２
情報処理装置・・・２０
積分処理部・・・２１
マッチング処理部・・・２２，１２２
特徴点検出部・・・２３，１２１
特徴点サンプリング部・・・２４
記憶部・・・２５，１２４
位置姿勢推定部・・・２６
ＩＭＵ・・・３０
画像処理システム・・・１００
重み算出部・・・１２３
予測位置算出部・・・１２６
Claims (9)
- 所定のフレームレートで撮像された複数の画像各々について、特徴点を検出し、
前記検出された特徴点の動体重みを算出する処理を複数回実行する、画像処理回路
を具備し、前記画像処理回路は、
前記複数の画像各々について、前記検出された特徴点周辺の画像パッチを抽出する処理を実行し、
前記複数の画像の現在フレームから前記画像パッチに対応する領域を探索し、前記領域から前記検出された特徴点に対応する特徴点を検出する第１のマッチング処理を実行し、
検出部により前記検出部の加速度及び角速度が検出されたセンサデータを取得し、
前記センサデータを積分処理することにより、前記複数の画像を撮像する撮像部の位置及び姿勢を算出し、
前記検出された特徴点の位置情報と、前記算出された位置及び姿勢とに基づいて、当該特徴点が前記現在フレームにおいて位置する予測位置を算出する
撮像装置。 - 請求項１に記載の撮像装置であって、
前記画像処理回路は、前記第１のマッチング処理により検出された特徴点と、前記予測位置とに基づき、当該特徴点の動体重みを算出する
撮像装置。 - 請求項２に記載の撮像装置であって、
前記画像処理回路は、前記第１のマッチング処理により検出された特徴点と前記予測位置との間の距離を算出し、前記距離から前記動体重みを算出する
撮像装置。 - 請求項２に記載の撮像装置であって、
前記画像処理回路は、前記第１のマッチング処理により検出された特徴点について前記動体重みを繰り返し算出し、前記繰り返し算出された動体重みが合算された統合重みを算出する
撮像装置。 - 請求項４に記載の撮像装置であって、
前記画像処理回路は、
前記複数の画像から、所定の処理レートで特徴点を検出し当該特徴点周辺の画像パッチを抽出する処理を実行し、
前記複数の画像の現在フレームから当該画像パッチに対応する領域を探索し、当該領域から当該検出された特徴点に対応する特徴点を検出する第２のマッチング処理を前記所定の処理レートで実行する
撮像装置。 - 請求項５に記載の撮像装置であって、
前記画像処理回路は、前記統合重みに基づいて、前記第２のマッチング処理により検出された特徴点をサンプリングする
撮像装置。 - 所定のフレームレートで撮像された複数の画像各々について特徴点を検出し、前記検出された特徴点の動体重みを算出する処理を複数回実行する画像処理回路
を有し、前記画像処理回路は、
前記複数の画像各々について、前記検出された特徴点周辺の画像パッチを抽出する処理を実行し、
前記複数の画像の現在フレームから前記画像パッチに対応する領域を探索し、前記領域から前記検出された特徴点に対応する特徴点を検出する第１のマッチング処理を実行し、
検出部により前記検出部の加速度及び角速度が検出されたセンサデータを取得し、
前記センサデータを積分処理することにより、前記複数の画像を撮像する撮像部の位置及び姿勢を算出し、
前記検出された特徴点の位置情報と、前記算出された位置及び姿勢とに基づいて、当該特徴点が前記現在フレームにおいて位置する予測位置を算出する
撮像装置
を具備する画像処理システム。 - 画像処理回路が、
所定のフレームレートで撮像された複数の画像各々について、特徴点を検出し、
前記検出された特徴点の動体重みを算出する処理を複数回実行する
画像処理方法であって、
前記複数の画像各々について、前記検出された特徴点周辺の画像パッチを抽出する処理を実行し、
前記複数の画像の現在フレームから前記画像パッチに対応する領域を探索し、前記領域から前記検出された特徴点に対応する特徴点を検出する第１のマッチング処理を実行し、
検出部により前記検出部の加速度及び角速度が検出されたセンサデータを取得し、
前記センサデータを積分処理することにより、前記複数の画像を撮像する撮像部の位置及び姿勢を算出し、
前記検出された特徴点の位置情報と、前記算出された位置及び姿勢とに基づいて、当該特徴点が前記現在フレームにおいて位置する予測位置を算出する
画像処理方法。 - 所定のフレームレートで撮像された複数の画像各々について、特徴点を検出するステップと、
前記検出された特徴点の動体重みを算出する処理を複数回実行するステップと、
前記複数の画像各々について、前記検出された特徴点周辺の画像パッチを抽出する処理を実行するステップと、
前記複数の画像の現在フレームから前記画像パッチに対応する領域を探索し、前記領域から前記検出された特徴点に対応する特徴点を検出する第１のマッチング処理を実行するステップと、
検出部により前記検出部の加速度及び角速度が検出されたセンサデータを取得するステップと、
前記センサデータを積分処理することにより、前記複数の画像を撮像する撮像部の位置及び姿勢を算出するステップと、
前記検出された特徴点の位置情報と、前記算出された位置及び姿勢とに基づいて、当該特徴点が前記現在フレームにおいて位置する予測位置を算出するステップと
を画像処理回路に実行させるプログラム。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019175935 | 2019-09-26 | ||
| JP2019175935 | 2019-09-26 | ||
| PCT/JP2020/030040 WO2021059765A1 (ja) | 2019-09-26 | 2020-08-05 | 撮像装置、画像処理システム、画像処理方法及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2021059765A1 JPWO2021059765A1 (ja) | 2021-04-01 |
| JP7484924B2 true JP7484924B2 (ja) | 2024-05-16 |
Family
ID=75166602
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021548409A Active JP7484924B2 (ja) | 2019-09-26 | 2020-08-05 | 撮像装置、画像処理システム、画像処理方法及びプログラム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20220366574A1 (ja) |
| JP (1) | JP7484924B2 (ja) |
| WO (1) | WO2021059765A1 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11875516B2 (en) * | 2020-12-28 | 2024-01-16 | Waymo Llc | Systems, apparatus, and methods for retrieving image data of image frames |
| WO2023032255A1 (ja) * | 2021-09-02 | 2023-03-09 | 日立Astemo株式会社 | 画像処理装置 |
| US20240281996A1 (en) * | 2023-02-16 | 2024-08-22 | Qualcomm Incorporated | Systems and methods for motion blur compensation for feature tracking |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018113021A (ja) | 2017-01-06 | 2018-07-19 | キヤノン株式会社 | 情報処理装置およびその制御方法、プログラム |
| JP2018160732A (ja) | 2017-03-22 | 2018-10-11 | 株式会社デンソーテン | 画像処理装置、カメラずれ判定システム、及び画像処理方法 |
| JP2019062340A (ja) | 2017-09-26 | 2019-04-18 | キヤノン株式会社 | 像振れ補正装置および制御方法 |
| JP2019121032A (ja) | 2017-12-28 | 2019-07-22 | 株式会社デンソーテン | カメラずれ検出装置およびカメラずれ検出方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10390003B1 (en) * | 2016-08-29 | 2019-08-20 | Perceptln Shenzhen Limited | Visual-inertial positional awareness for autonomous and non-autonomous device |
-
2020
- 2020-08-05 WO PCT/JP2020/030040 patent/WO2021059765A1/ja active Application Filing
- 2020-08-05 JP JP2021548409A patent/JP7484924B2/ja active Active
- 2020-08-05 US US17/753,865 patent/US20220366574A1/en active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018113021A (ja) | 2017-01-06 | 2018-07-19 | キヤノン株式会社 | 情報処理装置およびその制御方法、プログラム |
| JP2018160732A (ja) | 2017-03-22 | 2018-10-11 | 株式会社デンソーテン | 画像処理装置、カメラずれ判定システム、及び画像処理方法 |
| JP2019062340A (ja) | 2017-09-26 | 2019-04-18 | キヤノン株式会社 | 像振れ補正装置および制御方法 |
| JP2019121032A (ja) | 2017-12-28 | 2019-07-22 | 株式会社デンソーテン | カメラずれ検出装置およびカメラずれ検出方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JPWO2021059765A1 (ja) | 2021-04-01 |
| US20220366574A1 (en) | 2022-11-17 |
| WO2021059765A1 (ja) | 2021-04-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7484924B2 (ja) | 撮像装置、画像処理システム、画像処理方法及びプログラム | |
| JP6942488B2 (ja) | 画像処理装置、画像処理システム、画像処理方法、及びプログラム | |
| US8648918B2 (en) | Method and system for obtaining a point spread function using motion information | |
| JP7272024B2 (ja) | 物体追跡装置、監視システムおよび物体追跡方法 | |
| JP3801137B2 (ja) | 侵入物体検出装置 | |
| JP6217635B2 (ja) | 転倒検知装置および転倒検知方法、転倒検知カメラ、並びにコンピュータ・プログラム | |
| US20190206065A1 (en) | Method, system, and computer-readable recording medium for image object tracking | |
| JP6905390B2 (ja) | 自車位置推定用環境地図生成装置、自車位置推定装置、自車位置推定用環境地図生成プログラム、及び自車位置推定プログラム | |
| JP7354767B2 (ja) | 物体追跡装置および物体追跡方法 | |
| US10593044B2 (en) | Information processing apparatus, information processing method, and storage medium | |
| JPWO2018235219A1 (ja) | 自己位置推定方法、自己位置推定装置および自己位置推定プログラム | |
| TWI671707B (zh) | 影像分析方法、電子系統以及非暫態電腦可讀取記錄媒體 | |
| JP2009211122A (ja) | 画像処理装置およびオブジェクト推定プログラム。 | |
| JP2007304721A (ja) | 画像処理装置及び画像処理方法 | |
| US20140063258A1 (en) | Distance estimation in camera-based systems utilizing motion measurement and compression attributes | |
| JP6525934B2 (ja) | 画像処理装置および制御方法 | |
| JP7098972B2 (ja) | 行動認識装置、行動認識システム、行動認識方法およびプログラム | |
| JP5539565B2 (ja) | 撮像装置及び被写体追跡方法 | |
| Rajakaruna et al. | Image deblurring for navigation systems of vision impaired people using sensor fusion data | |
| JP2018151940A (ja) | 障害物検出装置および障害物検出方法 | |
| EP3496390B1 (en) | Information processing device, information processing method, and storage medium | |
| JP7281660B2 (ja) | 変位計測装置及び変位計測方法 | |
| JP2023008030A (ja) | 画像処理システム、画像処理方法及び画像処理プログラム | |
| JP5419925B2 (ja) | 通過物体数計測方法、通過物体数計測装置、及びプログラム | |
| JP6780639B2 (ja) | 画像解析装置、画像解析方法、及び、画像解析プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230609 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240123 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240315 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240402 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240415 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7484924 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |