WO2020235063A1 - 画像処理方法、画像処理装置およびプログラム - Google Patents
画像処理方法、画像処理装置およびプログラム Download PDFInfo
- Publication number
- WO2020235063A1 WO2020235063A1 PCT/JP2019/020330 JP2019020330W WO2020235063A1 WO 2020235063 A1 WO2020235063 A1 WO 2020235063A1 JP 2019020330 W JP2019020330 W JP 2019020330W WO 2020235063 A1 WO2020235063 A1 WO 2020235063A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- feature point
- time
- state information
- frame image
- corrected
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/16—Image acquisition using multiple overlapping images; Image stitching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30184—Infrastructure
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Remote Sensing (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本発明に係る画像処理方法は、第1の時刻においてカメラ3a,3bにより撮影された第1,第2のフレーム画像を取得するステップと、第1の時刻における、無人航空機の第1の状態情報、カメラ3a,3bの第2,第3の状態情報を取得するステップと、第1,第2のフレーム画像から特徴点群を抽出するステップと、第1,第2の時刻における状態情報に基づき補正値を算出するステップと、所定のタイミングでは、抽出された特徴点群を第1の時刻における補正済み特徴点群として出力し、所定のタイミング以外では、第2の時刻における特徴点群を補正値により補正して、第1の時刻における補正済み特徴点群として出力するステップと、補正済み特徴点群を用いて変換パラメータを算出するステップと、変換パラメータに基づき第1,第2のフレーム画像の射影変換を行うステップと、射影変換後の第1,第2のフレーム画像を合成するステップと、を含む。
Description
本発明は、無人航空機に搭載されたカメラにより撮影されたフレーム画像を合成する画像処理方法、画像処理装置およびプログラムに関する。
機器の小型化、精度向上およびバッテリ容量の増加などに伴い、アクションカメラに代表される小型カメラを用いたライブ配信が盛んに行われている。このような小型カメラでは、水平視野角が120°を超えるような超広角レンズが用いられることが多い。超広角レンズを用いることで、臨場感溢れる広範な映像(高臨場パノラマ映像)を撮影することができる。一方、超広角レンズにより広範な情報を1レンズ内に収めるため、レンズの周辺歪みにより情報量が多く失われてしまい、映像周辺ほど画像が荒くなるなど、画質の劣化が生じる。
上述したように、1台のカメラで高臨場パノラマ映像を高品質に撮影することは困難である。そこで、複数台の高精細カメラにより撮影した映像を結合することで、あたかも1台のカメラで風景を撮影したように見せる技術が開発されている(非特許文献1参照)。
非特許文献1に記載の技術では、各カメラは、広角レンズよりも狭い一定の範囲内をレンズに収める。各カメラにより撮影された映像を合成して得られるパノラマ映像は、広角レンズを用いた場合と比較して、隅々まで高精細なパノラマ映像となる。
このようなパノラマ映像合成においては、複数台のカメラは、ある点を中心として別々の方向に向かって撮影する。各カメラの映像をパノラマ映像として合成する際には、フレーム画像間の特徴点の対応関係を用いた射影変換(ホモグラフィ)が行われる。射影変換は、ある四角形(平面)を、四角形の辺の直進性を維持したまま別の四角形(平面)に移す変換である。ある特徴点からある特徴点への対応関係を複数用いることにより、射影変換を行うための変換パラメータが推定される。この変換パラメータを用いて射影変換を行うことで、フレーム画像群におけるカメラの向きによる歪みが取り除かれ、1つのレンズで撮影されたかのように1つの平面に射影することができ、違和感の無い合成を行うことができる(図1参照)。
一方、特徴点の対応関係の誤りなどにより変換パラメータが正しく推定されない場合、各カメラのフレーム画像間にずれが生じ、結合部分に不自然な線が生じたり、画像に矛盾が生じたりしてしまう。そのため、複数台のカメラによるパノラマ映像撮影は、カメラ群を接地して強固に固定した状態で行うのが一般的である。
また、射影変換は、平面から平面への変換であるため、複数のマーカ(特徴点の検出対象)を描いた平面パネルを複数のカメラの撮影範囲が重複する位置に設置すれば、平面パネルが形成する面において精度の高い合成が可能となる。以下では、複数のマーカを描いた平面パネルをマーカパネルと称する。カメラ群を固定して撮影を行う場合、マーカパネルを用いた変換パラメータの導出(キャリブレーション)は一回行えばよいのが一般的である。
「超ワイド映像合成技術」、[online]、[2019年5月15日検索]、インターネット<URL:http://www.ntt.co.jp/svlab/activity/pickup/qa53.html>
近年、数キログラム程度の小型の無人航空機(UAV:Unmanned Aerial Vehicle)が広く用いられるようになっている。例えば、無人航空機に搭載した小型のカメラなどによる撮影が一般化している。無人航空機は小型であることから、様々な場所で容易に撮影を行うことができるという特徴がある。
無人航空機による撮影は、被災地における迅速な情報収集などの公益用途向けにも利用が期待されていることから、広範な映像をできる限り高精細に撮影することが望ましい。そのため、非特許文献1に記載されているような複数台のカメラを用いて高精細パノラマ映像を撮影する技術が望まれている。
無人航空機に複数台のカメラを搭載してパノラマ映像を合成する場合、無人航空機は移動するため、フレーム画像間の対応関係を求めるための特徴点は画像上を刻々と移動することになる。この際、いくつかの特徴点は画像外に消失するとともに、新たな特徴点が追加される。そのため、フレーム毎に、特徴点の対応関係を新たに求めることになる。ここで、マーカパネルは撮影の邪魔になるため、マーカパネルを常設したキャリブレーションを行うことはできない。そのため、画像上に現れる自然特徴点を用いて映像合成を行うことになるが、自然特徴点が同一平面上に存在するとは限らないので、映像の合成精度が低下する。位置の移動に合わせて特徴点を画像上で追跡する(トラッキングする)方法も考えられるが、画像外に特徴点が消失する可能性および新たに追加された特徴点によって追跡を誤る可能性があり、映像の合成精度を担保することが困難である。
上記のような問題点に鑑みてなされた本発明の目的は、無人航空機に搭載されたカメラにより撮影されたフレーム画像の合成精度の向上を図ることができる画像処理方法、画像処理装置およびプログラムを提供することにある。
上記課題を解決するため、本発明に係る画像処理方法は、無人航空機に搭載された複数のカメラにより撮影されたフレーム画像を合成する画像処理方法であって、第1の時刻において第1のカメラにより撮影された第1のフレーム画像および第2のカメラにより撮影された第2のフレーム画像を取得する画像取得ステップと、前記第1の時刻における、前記無人航空機の状態を示す第1の状態情報、前記第1のカメラの状態を示す第2の状態情報および前記第2のカメラの状態を示す第3の状態情報を取得する情報取得ステップと、前記取得した第1のフレーム画像および第2のフレーム画像から、射影変換を行うための特徴点群を抽出する抽出ステップと、前記第1の時刻における第1の状態情報、第2の状態情報および第3の状態情報と、前記第1の時刻よりも前の第2の時刻における第1の状態情報、第2の状態情報および第3の状態情報とに基づき、前記特徴点群を補正するための補正値を算出する算出ステップと、所定のタイミングでは、前記抽出された特徴点群を前記第1の時刻における補正済み特徴点群として出力し、前記所定のタイミング以外では、前記第2の時刻における補正済み特徴点群を前記補正値により補正して、前記第1の時刻における補正済み特徴点群として出力する補正ステップと、前記補正済み特徴点群を用いて前記射影変換を行うための変換パラメータを算出する変換パラメータ算出ステップと、前記算出された変換パラメータに基づき、前記第1のフレーム画像および前記第2のフレーム画像の射影変換を行う変換ステップと、前記射影変換後の第1のフレーム画像および第2のフレーム画像を合成する合成ステップと、を含む。
また、上記課題を解決するため、本発明に係る画像処理装置は、無人航空機に搭載された複数のカメラにより撮影されたフレーム画像を合成する画像処理装置であって、第1の時刻において第1のカメラにより撮影された第1のフレーム画像および第2のカメラにより撮影された第2のフレーム画像を取得する第1の取得部と、前記第1の時刻における、前記無人航空機の状態を示す第1の状態情報、前記第1のカメラの状態を示す第2の状態情報および前記第2のカメラの状態を示す第3の状態情報を取得する第2の取得部と、前記第1の取得部が取得した第1のフレーム画像および第2のフレーム画像から、射影変換を行うための特徴点群を抽出する特徴点抽出部と、前記第2の取得部が取得した、前記第1の時刻における第1の状態情報、第2の状態情報および第3の状態情報と、前記第1の時刻よりも前の第2の時刻における第1の状態情報、第2の状態情報および第3の状態情報とに基づき、前記特徴点群を補正するための補正値を算出する特徴点補正値算出部と、所定のタイミングでは、前記抽出された特徴点群を前記第1の時刻における補正済み特徴点群として出力し、前記所定のタイミング以外では、前記第2の時刻における補正済み特徴点群を前記補正値により補正して、前記第1の時刻における補正済み特徴点群として出力する特徴点補正部と、前記補正済み特徴点群を用いて前記射影変換を行うための変換パラメータを算出する変換パラメータ算出部と、前記変換パラメータ算出部により算出された変換パラメータに基づき、前記第1のフレーム画像および前記第2のフレーム画像の射影変換を行うフレーム画像変換部と、前記射影変換後の第1のフレーム画像および第2のフレーム画像を合成するフレーム画像合成部と、を備える。
また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記の画像処理装置として機能させる。
本発明に係る画像処理方法、画像処理装置およびプログラムによれば、無人航空機に搭載されたカメラにより撮影されたフレーム画像の合成精度の向上を図ることができる。
以下、本発明を実施するための形態について、図面を参照しながら説明する。
図2は、本発明の一実施形態に係る画像処理装置としての計算機5を含むパノラマ映像合成システム1の構成例を示す図である。
図2に示すパノラマ映像合成システム1は、無人航空機2と、複数のカメラ3(図2では、2台のカメラ3a,3b)と、無線受信装置4と、計算機5と、表示装置6とを備える。本実施形態に係るパノラマ映像合成システム1は、無人航空機2に搭載されたカメラ3a,3bにより撮影されたフレーム画像を合成することで、高臨場パノラマ映像を生成するものである。
無人航空機2は、重さ数キログラム程度の小型の無人飛行体であり、カメラ3a,3bが搭載される。
カメラ3a,3bは、それぞれ異なる方向に向かって撮影を行う。カメラ3a,3bにより撮影された映像の映像データは、無人航空機2から無線受信装置4に無線送信される。本実施形態においては、無人航空機2には2台のカメラ3a,3bが搭載される例を用いて説明するが、3台以上のカメラ3が無人航空機2に搭載されてもよい。
無線受信装置4は、無人航空機2から無線送信された、カメラ3a,3bにより撮影された映像の映像データをリアルタイムに受信し、計算機5に出力する。
計算機5は、無線受信装置4が受信した映像データに示される、カメラ3a,3bにより撮影された映像を合成して高臨場パノラマ映像を生成する。
表示装置6は、計算機5により生成された高臨場パノラマ映像を表示する。
次に、無人航空機2、計算機5および表示装置6の構成について図3を参照して説明する。なお、無線受信装置4は、無線送信された信号を受信する機能を有する一般的な無線通信装置であるため、図3においては記載を省略している。
まず、無人航空機2の構成について説明する。
図3に示すように、無人航空機2は、フレーム画像取得部21と、状態情報取得部22とを備える。なお、図3においては、無人航空機2の構成の内、本発明に特に関連する構成のみを示し、例えば、無人航空機2が飛行したり、無線送信を行うための構成については記載を省略している。
フレーム画像取得部21は、時刻tにおいてカメラ3a,3bにより撮影されたフレーム画像ft
3a,ft
3bを取得し、無線受信装置4(不図示)に無線送信する。
状態情報取得部22は、時刻tにおける、無人航空機2の状態情報St
vを取得する。状態情報取得部22は、状態情報St
vとして、例えば、GPS(Global Positioning System)信号に基づき、無人航空機2の位置情報を取得する。また、状態情報取得部22は、状態情報St
vとして、例えば、高度情報など、無人航空機2に設けられた各種のセンサが取得可能な情報を取得する。
また、状態情報取得部22は、時刻tにおける、カメラ3aの状態情報St
3aおよびカメラ3bの状態情報St
3bを取得する。状態情報取得部22は、状態情報St
3a,St
3bとして、例えば、カメラ3a,3bの向き、ズーム値など、カメラ3a,3bあるいはカメラ3a,3bの固定器具に設けられた各種のセンサが取得可能な情報を取得する。
状態情報取得部22は、取得した状態情報St
v,St
3a,St
3bを無線受信装置4に無線送信する。
次に、計算機5の構成について説明する。
図3に示すように、計算機5は、フレーム画像受信部51と、状態情報受信部52と、特徴点抽出部53と、特徴点補正値算出部54と、特徴点固定指示部55と、特徴点補正部56と、変換パラメータ算出部57と、フレーム画像変換部58と、フレーム画像合成部59とを備える。フレーム画像受信部51は、第1の取得部の一例である。状態情報受信部52は、第2の取得部の一例である。フレーム画像受信部51、状態情報受信部52、特徴点抽出部53、特徴点補正値算出部54、特徴点固定指示部55、特徴点補正部56、変換パラメータ算出部57、フレーム画像変換部58およびフレーム画像合成部59の各機能は、計算機5が有するメモリに記憶されたプログラムを、プロセッサなどで実行することで実現可能である。本実施形態において、「メモリ」は、例えば、半導体メモリ、磁気メモリまたは光メモリなどであるが、これらに限られない。また、本実施形態において、「プロセッサ」は、汎用のプロセッサ、特定の処理に特化したプロセッサなどであるが、これらに限られない。
フレーム画像受信部51は、無人航空機2から送信されてきたフレーム画像ft
3a,ft
3bを、無線受信装置4を介して受信(取得)する。すなわち、フレーム画像受信部51は、時刻t(第1の時刻)において、カメラ3a(第1のカメラ)により撮影されたフレーム画像ft
3a(第1のフレーム画像)およびカメラ3b(第2のカメラ)により撮影されたフレーム画像ft
3b(第2のフレーム画像)を取得する。フレーム画像受信部51は、無線通信を介さずに、例えば、ケーブルなどを介して、無人航空機2からフレーム画像ft
3a,ft
3bを取得してもよい。この場合、無線受信装置4は不要である。フレーム画像受信部51は、受信したフレーム画像ft
3a,ft
3bを特徴点抽出部53に出力する。
状態情報受信部52は、無人航空機2から送信されてきた状態情報St
v,St
3a,St
3bを、無線受信装置4を介して受信(取得)する。すなわち、状態情報受信部52は、時刻tにおける、無人航空機2の状態を示す状態情報St
v(第1の状態情報)、カメラ3aの状態を示す状態情報St
3a(第2の状態情報)およびカメラ3bの状態を示す状態情報St
3b(第3の状態情報)を取得する。状態情報受信部52は、無線通信を介さずに、例えば、ケーブルなどを介して、無人航空機2から状態情報St
v,St
3a,St
3bを取得してもよい。この場合、無線受信装置4は不要である。状態情報受信部52は、受信した状態情報St
v,St
3a,St
3bを特徴点補正値算出部54に出力する。
特徴点抽出部53は、フレーム画像受信部51から出力されたフレーム画像ft
3a,ft
3bから、一方のフレーム画像を他方のフレーム画像へ射影する射影変換を行うための特徴点群を抽出する。具体的には、特徴点抽出部53は、射影変換を行うのに必要な特徴点と、フレーム画像ft
3aとフレーム画像ft
3bとの間での特徴点の対応関係とを抽出する。こうすることで、特徴点抽出部53は、フレーム画像ft
3a,ft
3b間で対応関係のとれた複数の特徴点と、その複数の特徴点の位置との組(フレーム画像ft
3aの特徴点群Vt
3aおよびフレーム画像ft
3bの特徴点群Vt
3b)を抽出する。
特徴点抽出部53は、所定の特徴点抽出アルゴリズム、および、特徴点の対応関係を求める所定の特徴点対応アルゴリズム(マッチングアルゴリズム)を用いて、特徴点群を抽出する。このようなアルゴリズムとしては、例えば、FAST(Features from Accelerated Segment Test),ORB(Oriented FAST and Rotated BRIEF(Binary Robust Independent Elementary Features)),SIFT(Scale-Invariant Feature Transform)あるいはSURF(Speeded Up Robust Features)などのアルゴリズムを用いることができる。
特徴点抽出部53は、抽出した特徴点群Vt
3a,Vt
3bを特徴点補正部56に出力する。
特徴点補正値算出部54は、時刻tにおける状態情報St
v,St
3a,St
3bと、時刻tよりも前の時刻t-1(第2の時刻)における状態情報St-1
v,St-1
3a,St-1
3bとに基づき、特徴点群Vt
3a,Vt
3bを補正するための補正値Ct
3a,Ct
3bを算出する。補正値Ct
3a,Ct
3bは、時刻t-1における特徴点群Vt-1
3a,Vt-1
3bが時刻tにおいてどの位置へ移動するかを求めるための値である。補正値Ct
3a,Ct
3bは、無人航空機2の移動量あるいはカメラ3a,3bの姿勢変化などからアフィン変換を用いて容易に算出することができる。特徴点補正値算出部54は、算出した補正値Ct
3a,Ct
3bを特徴点補正部56に出力する。
特徴点固定指示部55は、パノラマ映像合成システム1のシステム利用者(ユーザ)からの、特徴点の固定を指示する固定指示の入力を受け付ける。特徴点固定指示部55は、固定指示の入力を受け付けると、固定指示が入力された入力時刻t’を特徴点補正部56に出力する。
特徴点補正部56は、特徴点補正値算出部54から出力された補正値Ct
3a,Ct
3bに基づき、時刻tにおける特徴点群Vt
3a,Vt
3bを補正し、補正済み特徴点群Vt
3a’,Vt
3b’として変換パラメータ算出部57に出力する。補正済み特徴点群Vt
3a’,Vt
3b’は、無人航空機2およびカメラ3a,3bの挙動から求められる、時刻t-1における特徴点群Vt-1
3a,Vt-1
3bの時刻tにおける移動先を示す。
具体的には、特徴点補正部56は、特徴点固定指示部55から出力された入力時刻t’では、特徴点群Vt
3a,Vt
3bを時刻tにおける補正済み特徴点群Vt
3a’,Vt
3b’として変換パラメータ算出部57に出力する。すなわち、特徴点補正部56は、特徴点群Vt
3a,Vt
3bをそのまま補正済み特徴点群Vt
3a’,Vt
3b’として出力する。また、特徴点補正部56は、特徴点固定指示部55から出力された入力時刻t’以外では、時刻t-1における特徴点群(補正済み特徴点群Vt-1
3a’,Vt-1
3b’)を、補正値Ct
3a,Ct
3bを用いて以下の式(1)に基づき補正して、時刻tにおける補正済み特徴点群Vt
3a’,Vt
3b’として出力する。補正済み特徴点群Vt
3a’,Vt
3b’は、画面上では移動しているが無人航空機2を含めた絶対座標系では不動である。
Vt’=CtVt-1’ ・・・式(1)
Vt’=CtVt-1’ ・・・式(1)
このように、特徴点補正部56は、所定のタイミング(特徴点固定指示部55が固定指示を受け付けたタイミング)では、抽出された特徴点群Vt
3a,Vt
3bを時刻tにおける補正済み特徴点群Vt
3a’,Vt
3b’として出力する。また、所定のタイミング以外(特徴点固定指示部55が固定指示を受け付けたタイミング以外)では、時刻t-1における特徴点群(補正済み特徴点群Vt-1
3a’,Vt-1
3b’)を補正値Ct
3a,Ct
3bにより補正して、時刻tにおける補正済み特徴点群Vt
3a’,Vt
3b’として出力する。
こうすることで、例えば、システム利用者(ユーザ)により、カメラ3a,3bの撮影範囲にマーカパネルが設定され、固定指示が特徴点固定指示部55に入力されたタイミングでは、マーカパネル上の特徴点を補正済み特徴点群Vt
3a’,Vt
3b’として用いることができる。したがって、例えば、パノラマ映像合成システム1の運用開始時に、カメラ3a,3bの撮影範囲にマーカパネルを設置して、固定指示を特徴点固定指示部55に入力することで、正確な特徴点群を求めることができる。
また、特徴点補正部56は、固定指示が特徴点固定指示部55に入力されたタイミング以外では、補正値Ct
3a,Ct
3bを用いて、上記の式(1)に基づき、補正済み特徴点群Vt
3a’,Vt
3b’を求めることができる。固定指示の入力されたタイミングで特定された特徴点群を基準として、無人航空機2およびカメラ3a,3bの挙動に応じた状態情報から算出された補正値Ct
3a,Ct
3bにより補正済み特徴点群Vt
3a’,Vt
3b’を求めることで、正確な特徴点群を求めることができる。
変換パラメータ算出部57は、特徴点補正部56から出力された補正済み特徴点群Vt
3a’,Vt
3b’を用いて、射影変換を行うための変換パラメータを算出する。補正済み特徴点群Vt
3a’,Vt
3b’は、画像上では移動しているが無人航空機2を含めた絶対座標系では不動である。そのため、変換パラメータ算出部57は、補正済み特徴点群Vt
3a’,Vt
3b’を用いることで、精度の高い変換パラメータを算出することができる。変換パラメータ算出部57は、算出した変換パラメータをフレーム画像変換部58に出力する。
フレーム画像変換部58は、変換パラメータ算出部57から出力された変換パラメータに基づき、フレーム画像ft
3a,ft
3bの射影変換を行う。フレーム画像変換部58は、射影変換後のフレーム画像ft
3a,ft
3bをフレーム画像合成部59に出力する。
フレーム画像合成部59は、フレーム画像変換部58から出力された射影変換後のフレーム画像ft
3a,ft
3b(1つの平面上に射影された画像群)を合成し、高臨場パノラマ映像を生成する。フレーム画像合成部59は、生成した高臨場パノラマ画像を表示装置6に出力する。
表示装置6は、フレーム画像表示部61を備える。フレーム画像表示部61は、フレーム画像合成部59から出力された高臨場パノラマ画像を表示する。
本実施形態に係るパノラマ映像合成システム1では、システム利用者は、例えば、カメラ3a,3bの撮影範囲にマーカパネルを設置して、固定指示を特徴点固定指示部55に入力する。こうすることで、マーカパネル上の特徴点群が抽出される。この特徴点群を基準として保持しておくことで、マーカパネルを除去した後も、保持している特徴点群を基準として、補正値Ct
3a,Ct
3bにより補正済み特徴点群Vt
3a’,Vt
3b’を求めることで、図4に示すように、無人航空機2が移動した場合にも、無人航空機2およびカメラ3a,3bの挙動に応じた精度の高い補正済み特徴点群Vt
3a’,Vt
3b’を得ることができる。そのため、高品質な高臨場パノラマ映像を生成することができる。
補正値Ct
3a,Ct
3bに基づく特徴点群Vt
3a,Vt
3bの補正が繰り返されると、誤差が累積して精度が低下することがある。そこで、特徴点補正部56は、予め規定された定期的なタイミングでは、抽出された特徴点群Vt
3a,Vt
3bを補正済み特徴点群Vt
3a’,Vt
3b’として出力し、予め規定された定期的なタイミング以外では、時刻t-1における特徴点群Vt-1
3a,Vt-1
3bを補正値Ct
3a,Ct
3bにより補正して、補正済み特徴点群Vt
3a’,Vt
3b’として出力してもよい。こうすることで、定期的に正確な特徴点群が求められる。そのため、誤差の累積による精度の低下を抑制し、高品質な高臨場パノラマ映像を継続的に生成することができる。
次に、本実施形態に係る計算機5において実行される画像処理方法について、図5に示すフローチャートを参照して説明する。
ステップS11:フレーム画像受信部51は、時刻tにおいて、カメラ3aにより撮影されたフレーム画像ft
3aおよびカメラ3bにより撮影されたフレーム画像ft
3bを取得する(画像取得ステップ)。
ステップS12:特徴点抽出部53は、取得されたフレーム画像ft
3aおよびフレーム画像ft
3bから、特徴点群Vt
3a,Vt
3bを抽出する(抽出ステップ)。
ステップS13:ステップS11およびステップS12の処理と並行して、状態情報受信部52は、時刻tにおける、無人航空機2の状態情報St
vおよびカメラ3a,3bの状態情報St
3a,St
3bを取得する(情報取得ステップ)。
ステップS14:特徴点補正値算出部54は、時刻tにおける状態情報St
v,St
3a,St
3bと、時刻tよりも前の時刻t-1における状態情報St-1
v,St-1
3a,St-1
3bとに基づき、補正値Ct
3a,Ct
3bを算出する(補正値算出ステップ)。
図5においては、ステップS11およびステップS12の処理と、ステップS13およびステップ14の処理とが並行して行われる例を示しているが、これに限られるものではない。ステップS11およびステップS12の処理と、ステップS13およびステップ14の処理とのうち、一方の処理が先に行われ、他方の処理が後に行われてもよい。
ステップS15特徴点補正部56は、特徴点群Vt
3a,Vt
3bと補正値Ct
3a,Ct
3bとから補正済み特徴点群Vt
3a’,Vt
3b’を生成して出力する(補正ステップ)。具体的には、特徴点補正部56は、所定のタイミング(例えば、固定指示が特徴点固定指示部55に入力されたタイミング)では、抽出された特徴点群Vt
3a,Vt
3bを補正済み特徴点群Vt
3a’,Vt
3b’として出力する。また、特徴点補正部56は、所定のタイミング以外(固定指示が特徴点固定指示部55に入力されたタイミング以外)では、時刻t-1における特徴点群(補正済み特徴点群Vt-1
3a’,Vt-1
3b’)を補正値Ct
3a,Ct
3bにより補正して、補正済み特徴点群Vt
3a’,Vt
3b’として出力する。
ステップS16:変換パラメータ算出部57は、補正済み特徴点群Vt
3a’,Vt
3b’を用いて、射影変換を行うための変換パラメータを算出する(変換パラメータ算出ステップ)。
ステップS17:フレーム画像変換部58は、算出された変換パラメータに基づき、フレーム画像ft
3aおよびフレーム画像ft
3bの射影変換を行う(変換ステップ)。
ステップS18:フレーム画像合成部59は、射影変換後のフレーム画像ft
3aおよびフレーム画像ft
3bを合成する(合成ステップ)。
このように、本実施形態に係る画像処理方法は、時刻tにおいてカメラ3a,3bにより撮影されたフレーム画像ft
3a,ft
3bを取得する画像取得ステップと、時刻tにおける、無人航空機2の状態情報St
v、カメラ3a,3bの状態情報St
3a,St
3bを取得する情報取得ステップと、取得したフレーム画像ft
3a,ft
3bから特徴点群Vt
3a,Vt
3bを抽出する抽出ステップと、時刻tにおける状態情報St
v,St
3a,St
3bと、時刻tよりも前の時刻t-1における状態情報St-1
v,St-1
3a,St-1
3bとに基づき、補正値Ct
3a,Ct
3bを算出する補正値算出ステップと、所定のタイミングでは、抽出された特徴点群Vt
3a,Vt
3bを時刻tにおける補正済み特徴点群Vt
3a’,Vt
3b’として出力し、所定のタイミング以外では、時刻t-1における特徴点群Vt-1
3a,Vt-1
3bを補正値Ct
3a,Ct
3bにより補正して、時刻tにおける補正済み特徴点群Vt
3a’,Vt
3b’として出力する補正ステップと、補正済み特徴点群Vt
3a’,Vt
3b’を用いて変換パラメータを算出する変換パラメータ算出ステップと、算出された変換パラメータに基づき、フレーム画像ft
3a,ft
3bの射影変換を行う変換ステップと、射影変換後のフレーム画像ft
3a,ft
3bを合成する合成ステップと、を含む。
また、本実施形態に係る計算機5は、時刻tにおいてカメラ3a,3bにより撮影されたフレーム画像ft
3a,ft
3bを取得するフレーム画像受信部51と、時刻tにおける、無人航空機2の状態情報St
v、カメラ3a,3bの状態情報St
3a,St
3bを取得する状態情報受信部52と、フレーム画像受信部51が取得したフレーム画像ft
3a,ft
3bから特徴点群Vt
3a,Vt
3bを抽出する特徴点抽出部53と、時刻tにおける状態情報St
v,St
3a,St
3bと、時刻tよりも前の時刻t-1における状態情報St-1
v,St-1
3a,St-1
3bとに基づき、補正値Ct
3a,Ct
3bを算出する特徴点補正値算出部54と、所定のタイミングでは、抽出された特徴点群Vt
3a,Vt
3bを時刻tにおける補正済み特徴点群Vt
3a’,Vt
3b’として出力し、所定のタイミング以外では、時刻t-1における特徴点群Vt-1
3a,Vt-1
3bを補正値Ct
3a,Ct
3bにより補正して、時刻tにおける補正済み特徴点群Vt
3a’,Vt
3b’として出力する特徴点補正部56と、補正済み特徴点群Vt
3a’,Vt
3b’を用いて変換パラメータを算出する変換パラメータ算出部57と、算出された変換パラメータに基づき、フレーム画像ft
3a,ft
3bの射影変換を行うフレーム画像変換部58と、射影変換後のフレーム画像ft
3a,ft
3bを合成するフレーム画像合成部59とを備える。
所定のタイミングでは、フレーム画像ft
3a,ft
3bから抽出された特徴点群Vt
3a,Vt
3bを補正済み特徴点群Vt
3a’,Vt
3b’とすることで、例えば、所定のタイミングに設置されたマーカパネル上の特徴点を補正済み特徴点群Vt
3a’,Vt
3b’として用いることができる。また、所定のタイミング以外では、状態情報から求められる補正値Ct
3a,Ct
3bにより特徴点群を補正して、補正済み特徴点群Vt
3a’,Vt
3b’とすることで、所定のタイミングに求められた正確な特徴点を基準として、無人航空機2およびカメラ3a,3bの挙動に応じた正確な補正済み特徴点群Vt
3a’,Vt
3b’を求めることができる。そのため、精度の高い変換パラメータを算出することができる。その結果、無人航空機2に搭載されたカメラ3a,3bにより撮影されたフレーム画像の合成精度の向上を図ることができる。
なお、本実施形態においては、フレーム画像ft
3a,ft
3bおよび状態情報St
v,St
3a,St
3bの取得から、フレーム画像ft
3a,ft
3bの合成までの処理を計算機5において行う例を用いて説明したが、これに限られるものではなく、当該処理を無人航空機2において行ってもよい。
また、特徴点補正部56は、補正済み特徴点Vt
3a’,Vt
3b’がフレーム画像ft
3a,ft
3b上に存在する場合、特徴点抽出部53による特徴点群の抽出結果と比較することで、特徴点の位置をさらに補正してもよい。こうすることで、状態情報St
v,St
3a,St
3bに誤差が生じても、フレーム画像ft
3a,ft
3b上の特徴点により、特徴点の位置を特定することができる。
実施形態では特に触れていないが、計算機5として機能するコンピュータが行う各処理を実行するためのプログラムが提供されてもよい。また、プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、CD-ROMあるいはDVD-ROMなどの記録媒体であってもよい。
上述の実施形態は代表的な例として説明したが、本発明の趣旨および範囲内で、多くの変更および置換が可能であることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形および変更が可能である。例えば、実施形態の構成図に記載の複数の構成ブロックを1つに組み合わせたり、あるいは1つの構成ブロックを分割したりすることが可能である。
1 パノラマ映像合成システム
2 無人航空機
3a,3b カメラ
4 無線受信装置
5 計算機(画像処理装置)
6 表示装置
21 フレーム画像取得部
22 状態情報取得部
51 フレーム画像受信部(第1の取得部)
52 状態情報受信部(第2の取得部)
53 特徴点抽出部
54 特徴点補正値算出部
55 特徴点固定指示部
56 特徴点補正部
57 変換パラメータ算出部
58 フレーム画像変換部
59 フレーム画像合成部
61 フレーム画像表示部
2 無人航空機
3a,3b カメラ
4 無線受信装置
5 計算機(画像処理装置)
6 表示装置
21 フレーム画像取得部
22 状態情報取得部
51 フレーム画像受信部(第1の取得部)
52 状態情報受信部(第2の取得部)
53 特徴点抽出部
54 特徴点補正値算出部
55 特徴点固定指示部
56 特徴点補正部
57 変換パラメータ算出部
58 フレーム画像変換部
59 フレーム画像合成部
61 フレーム画像表示部
Claims (7)
- 無人航空機に搭載された複数のカメラにより撮影されたフレーム画像を合成する画像処理方法であって、
第1の時刻において第1のカメラにより撮影された第1のフレーム画像および第2のカメラにより撮影された第2のフレーム画像を取得する画像取得ステップと、
前記第1の時刻における、前記無人航空機の状態を示す第1の状態情報、前記第1のカメラの状態を示す第2の状態情報および前記第2のカメラの状態を示す第3の状態情報を取得する情報取得ステップと、
前記取得した第1のフレーム画像および第2のフレーム画像から、射影変換を行うための特徴点群を抽出する抽出ステップと、
前記第1の時刻における第1の状態情報、第2の状態情報および第3の状態情報と、前記第1の時刻よりも前の第2の時刻における第1の状態情報、第2の状態情報および第3の状態情報とに基づき、前記特徴点群を補正するための補正値を算出する補正値算出ステップと、
所定のタイミングでは、前記抽出された特徴点群を前記第1の時刻における補正済み特徴点群として出力し、前記所定のタイミング以外では、前記第2の時刻における補正済み特徴点群を前記補正値により補正して、前記第1の時刻における補正済み特徴点群として出力する補正ステップと、
前記補正済み特徴点群を用いて前記射影変換を行うための変換パラメータを算出する変換パラメータ算出ステップと、
前記算出された変換パラメータに基づき、前記第1のフレーム画像および前記第2のフレーム画像の射影変換を行う変換ステップと、
前記射影変換後の第1のフレーム画像および第2のフレーム画像を合成する合成ステップと、を含む画像処理方法。 - 請求項1に記載の画像処理方法において、
ユーザからの入力を受け付けるステップをさらに含み、
前記補正ステップでは、前記入力を受け付けたタイミングでは、前記抽出された特徴点群を補正済み特徴点群として出力し、前記入力を受け付けたタイミング以外では、前記第2の時刻における特徴点群を前記補正値により補正して、前記第1の時刻における補正済み特徴点群として出力する、画像処理方法。 - 請求項1に記載の画像処理方法において、
前記補正ステップでは、予め規定された定期的なタイミングでは、前記抽出された特徴点群を補正済み特徴点群として出力し、前記予め規定された定期的なタイミング以外では、前記第2の時刻における特徴点群を前記補正値により補正して、前記第1の時刻における補正済み特徴点群として出力する、画像処理方法。 - 無人航空機に搭載された複数のカメラにより撮影されたフレーム画像を合成する画像処理装置であって、
第1の時刻において第1のカメラにより撮影された第1のフレーム画像および第2のカメラにより撮影された第2のフレーム画像を取得する第1の取得部と、
前記第1の時刻における、前記無人航空機の状態を示す第1の状態情報、前記第1のカメラの状態を示す第2の状態情報および前記第2のカメラの状態を示す第3の状態情報を取得する第2の取得部と、
前記第1の取得部が取得した第1のフレーム画像および第2のフレーム画像から、射影変換を行うための特徴点群を抽出する特徴点抽出部と、
前記第2の取得部が取得した、前記第1の時刻における第1の状態情報、第2の状態情報および第3の状態情報と、前記第1の時刻よりも前の第2の時刻における第1の状態情報、第2の状態情報および第3の状態情報とに基づき、前記特徴点群を補正するための補正値を算出する特徴点補正値算出部と、
所定のタイミングでは、前記抽出された特徴点群を前記第1の時刻における補正済み特徴点群として出力し、前記所定のタイミング以外では、前記第2の時刻における補正済み特徴点群を前記補正値により補正して、前記第1の時刻における補正済み特徴点群として出力する特徴点補正部と、
前記補正済み特徴点群を用いて前記射影変換を行うための変換パラメータを算出する変換パラメータ算出部と、
前記変換パラメータ算出部により算出された変換パラメータに基づき、前記第1のフレーム画像および前記第2のフレーム画像の射影変換を行うフレーム画像変換部と、
前記射影変換後の第1のフレーム画像および第2のフレーム画像を合成するフレーム画像合成部と、を備える画像処理装置。 - 請求項4に記載の画像処理装置において、
ユーザからの入力を受け付ける特徴点固定指示部をさらに備え、
前記特徴点補正部は、前記特徴点固定指示部が入力を受け付けたタイミングでは、前記抽出された特徴点群を補正済み特徴点群として出力し、前記特徴点固定指示部が入力を受け付けたタイミング以外では、前記第2の時刻における特徴点群を前記補正値により補正して、前記第1の時刻における補正済み特徴点群として出力する、画像処理装置。 - 請求項4に記載の画像処理装置において、
前記特徴点補正部は、予め規定された定期的なタイミングでは、前記特徴点抽出部により抽出された特徴点群を補正済み特徴点群として出力し、前記予め規定された定期的なタイミング以外では、前記第2の時刻における特徴点群を前記補正値により補正して、前記第1の時刻における補正済み特徴点群として出力する、画像処理装置。 - コンピュータを、請求項4から6のいずれか一項に記載の画像処理装置として機能させるためのプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/595,562 US20220262094A1 (en) | 2019-05-22 | 2019-05-22 | Image processing method, image processing device, and program |
JP2021519991A JP7185162B2 (ja) | 2019-05-22 | 2019-05-22 | 画像処理方法、画像処理装置およびプログラム |
PCT/JP2019/020330 WO2020235063A1 (ja) | 2019-05-22 | 2019-05-22 | 画像処理方法、画像処理装置およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/020330 WO2020235063A1 (ja) | 2019-05-22 | 2019-05-22 | 画像処理方法、画像処理装置およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2020235063A1 true WO2020235063A1 (ja) | 2020-11-26 |
Family
ID=73458458
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2019/020330 WO2020235063A1 (ja) | 2019-05-22 | 2019-05-22 | 画像処理方法、画像処理装置およびプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220262094A1 (ja) |
JP (1) | JP7185162B2 (ja) |
WO (1) | WO2020235063A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2023004807A (ja) * | 2021-06-24 | 2023-01-17 | 仁宝電脳工業股▲ふん▼有限公司 | ドローンゲームのレンダリング方法 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114693528A (zh) * | 2022-04-19 | 2022-07-01 | 浙江大学 | 无人机低空遥感图像拼接质量评估与降冗方法及系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006195540A (ja) * | 2005-01-11 | 2006-07-27 | Ntt Data Corp | モザイク画像合成装置、モザイク画像合成方法及びモザイク画像合成プログラム |
JP2015149675A (ja) * | 2014-02-07 | 2015-08-20 | 日本電信電話株式会社 | カメラパラメータ推定装置及びカメラパラメータ推定プログラム |
WO2018079490A1 (ja) * | 2016-10-24 | 2018-05-03 | 国立大学法人東京工業大学 | 画像生成装置、および画像生成プログラム |
-
2019
- 2019-05-22 US US17/595,562 patent/US20220262094A1/en active Pending
- 2019-05-22 WO PCT/JP2019/020330 patent/WO2020235063A1/ja active Application Filing
- 2019-05-22 JP JP2021519991A patent/JP7185162B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006195540A (ja) * | 2005-01-11 | 2006-07-27 | Ntt Data Corp | モザイク画像合成装置、モザイク画像合成方法及びモザイク画像合成プログラム |
JP2015149675A (ja) * | 2014-02-07 | 2015-08-20 | 日本電信電話株式会社 | カメラパラメータ推定装置及びカメラパラメータ推定プログラム |
WO2018079490A1 (ja) * | 2016-10-24 | 2018-05-03 | 国立大学法人東京工業大学 | 画像生成装置、および画像生成プログラム |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2023004807A (ja) * | 2021-06-24 | 2023-01-17 | 仁宝電脳工業股▲ふん▼有限公司 | ドローンゲームのレンダリング方法 |
US11623150B2 (en) | 2021-06-24 | 2023-04-11 | Compal Electronics, Inc | Rendering method for drone game |
JP7269300B2 (ja) | 2021-06-24 | 2023-05-08 | 仁宝電脳工業股▲ふん▼有限公司 | ドローンゲームのレンダリング方法 |
Also Published As
Publication number | Publication date |
---|---|
US20220262094A1 (en) | 2022-08-18 |
JP7185162B2 (ja) | 2022-12-07 |
JPWO2020235063A1 (ja) | 2020-11-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107241544B (zh) | 视频稳像方法、装置及摄像终端 | |
EP2640057B1 (en) | Image processing device, image processing method and program | |
CN110799921A (zh) | 拍摄方法、装置和无人机 | |
WO2012114639A1 (ja) | オブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラム | |
KR101915729B1 (ko) | 360도 전방향 뷰 영상 생성 장치 및 방법 | |
US9667887B2 (en) | Lens distortion method for broadcast video | |
CN113409391B (zh) | 视觉定位方法及相关装置、设备和存储介质 | |
CN108734655B (zh) | 空中多节点实时侦查的方法及系统 | |
WO2019171984A1 (ja) | 信号処理装置、信号処理方法、及び、プログラム | |
CN108734738B (zh) | 相机标定方法及装置 | |
WO2013069555A1 (ja) | 画像処理装置および方法、並びにプログラム | |
WO2020235063A1 (ja) | 画像処理方法、画像処理装置およびプログラム | |
US10417743B2 (en) | Image processing device, image processing method and computer readable medium | |
WO2019205087A1 (zh) | 图像增稳方法和装置 | |
CN112985415B (zh) | 一种室内定位方法及系统 | |
JP2006195540A (ja) | モザイク画像合成装置、モザイク画像合成方法及びモザイク画像合成プログラム | |
CN114445583A (zh) | 数据处理方法、装置、电子设备及存储介质 | |
JP6563300B2 (ja) | 自由視点画像データ生成装置および自由視点画像データ再生装置 | |
KR20180131743A (ko) | Sift 플로우를 이용한 광각영상의 스테레오 정합 방법 및 장치 | |
JP7206530B2 (ja) | 画像処理システム、画像処理装置、画像処理方法、およびプログラム | |
US11856298B2 (en) | Image processing method, image processing device, image processing system, and program | |
JP2005141655A (ja) | 3次元モデリング装置及び3次元モデリング方法 | |
WO2021115192A1 (zh) | 图像处理装置、图像处理方法、程序及记录介质 | |
CN111279352A (zh) | 通过投球练习的三维信息获取系统及摄像头参数算出方法 | |
JP7053434B2 (ja) | 画像処理装置および画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19930121 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2021519991 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 19930121 Country of ref document: EP Kind code of ref document: A1 |