JP4463099B2 - モザイク画像合成装置、モザイク画像合成プログラム及びモザイク画像合成方法 - Google Patents
モザイク画像合成装置、モザイク画像合成プログラム及びモザイク画像合成方法 Download PDFInfo
- Publication number
- JP4463099B2 JP4463099B2 JP2004381797A JP2004381797A JP4463099B2 JP 4463099 B2 JP4463099 B2 JP 4463099B2 JP 2004381797 A JP2004381797 A JP 2004381797A JP 2004381797 A JP2004381797 A JP 2004381797A JP 4463099 B2 JP4463099 B2 JP 4463099B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- posture information
- nth
- captured
- mosaic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
また、画像間の対応関係を画像解析によって求め、位置・姿勢情報を推定して補正を実施し、補正後の画像を貼り合わせる方法がある(例えば、特許文献2参照)。
一方、特許文献2に示された方法では、相対精度がよいため、貼り合わされた画像の繋がりは滑らかになる。しかし、画像解析の結果に基づく補正と画像の貼り合わせを繰り返すと誤差が累積されため絶対精度が悪く、結果的に合成されたモザイク画像の精度が悪くなる(例えば、地図の場合、合成された地図が実際の地形と相似にならない)という欠点があった。
特許文献3に示された方法は、画像解析に用いる画像内の複数の対応点のうち、誤差が大きいと推定されるものを画像解析のデータから除外することにより、精度を改善する。
第1の段階では、航空撮影により映像を得ると同時に、映像と対応付けて位置・姿勢情報を記録する。
第2の段階では、取得した映像から、フレーム画像を切り出し、切り出したフレーム画像を貼り合わせてモザイク画像を合成する。
第3の段階では、位置・姿勢情報や画像解析の結果に基づいて画像を補正し、最終的なモザイク画像を出力する。
位置を定義するパラメータ(X、Y、Z)は、GPS(Global Positioning System)レシーバにより検出され、映像を構成する各画像に対応付けて記録装置に記録される。
また、傾きを定義するパラメータ(φ、θ、ψ)は、カメラに搭載されたジャイロスコープにより検出され、映像を構成する各画像に対応付けて記録装置に記録される。
なお、図示せぬ入力装置(例えば、操作ボタン、マウス、キーボード等)を操作することより、利用者は、映像の再生、一時停止、コマ送り、画像の選択等を指示できるものとする。また、位置・姿勢情報の取得手段は、再生部によって取得される手法に限られず、例えば、利用者が入力装置を操作することによる手動入力によって取得されてもよい。
メモリ13は、RAM(Random Access Memory)等から構成される。メモリ13は、CPU12による各種処理のためのワークエリアとなる。例えば、メモリ13は、再生部から取得したNフレームの画像を一時的に保存する。また、メモリ13は、合成処理中のモザイク画像を一時的に保存する。
出力部15は、表示制御回路、表示装置、プリンタ等から構成される。出力部15は、再生映像、処理過程の画像、処理後のモザイク画像等を表示又は印刷する。
合成処理に先立ち、メモリ13に合成に用いるN枚の画像(第1の画像から第Nの画像)を選択して格納する。第1の画像から第Nの画像は、時系列でこの順番に撮影されたものとする。また、第2の画像は、第1の画像と撮影範囲が一部重複するように選択される。第3の画像以降第Nの画像までについても同様に、1つ前の画像と撮影範囲に重複するように選ばれる。
初めに、CPU12は、メモリ13から第1の画像を取得する(ステップS100)。次に、CPU12は、再生部11から第1の画像が撮影された時点の位置・姿勢情報を取得する(ステップS110)。続いて、CPU12は、第1の画像を位置・姿勢情報に基づき、第1の画像をモザイク画像平面上に投影されたモザイク画像へと変換する(ステップS120)。
ここでは、カメラのピンホールモデルを仮定した中心投影により、画像をモザイク画像平面上に投影された画像に変換する方法を示す。図2に示すように、カメラの位置・姿勢情報を(X1、Y1、Z1、φ1、θ1、ψ1)、焦点距離をf1で表し、画像上の点(u1、v1)が、モザイク画像平面上の点(X、Y)に投影されるとする。この時、(X、Y)は(u1、v1)を用いて(1)式及び(2)式で求められる(「解析写真測量改訂版」日本写真測量学会参照)。なお、モザイク画像はZ=ZMの平面上に存在するものとする。
被写体(地表)を平面とみなした場合、2枚の画像は射影変換の関係にある。一方の画像内のある点の他方の画像内における位置は、位置・姿勢情報の変化量により一意に求めることができる。このため、逆に、2枚の画像に共通して存在する特徴点を複数抽出し、各特徴点の両画像間での変位量を統計的に処理することで位置・姿勢情報の変化量を推定することが可能である。
CPU12は、再生部11から第Nの画像撮影時の位置・姿勢情報を取得する(ステップS190)。そして、ステップS180における位置・姿勢情報の推定を繰り返して得られた第Nの画像撮影時の位置・姿勢情報(ΦN)と、ステップS190で取得した第Nの画像撮影時の位置・姿勢情報(ΦN’)とに基づき、以下に示す(11)式の演算を実施する。これにより、第iの画像(ただし、1<i<N)を撮影した時点の位置・姿勢情報(Φi)が補正され、補正後の位置・姿勢情報(Φi’)が算出される(ステップS200)。
初めに、図5(a)に示すように、第1の画像の撮影時の位置・姿勢情報に基づいて、第1の画像がモザイク画像平面上に投影された画像へと変換される(図4におけるステップS100乃至S130)。なお、このときに用いた第1の画像撮影時の位置・姿勢情報は、第2の画像以降の各画像の撮影時の位置・姿勢情報を推定するための基準となる。
例えば、第Nの画像から第Mの画像まで(ただしN<Mとする)は第Nの画像を新たな第1の画像とみなして本実施の形態の合成処理を適用することで、位置・姿勢情報の補正を適宜実施することができる。
11 再生部
12 CPU
13 メモリ
14 記憶部
15 出力部
Claims (7)
- 複数枚の画像からモザイク画像を合成するモザイク画像合成装置であって、
第1の画像から第Nの画像の順に並んだN枚の画像であって、第2の画像から前記第Nの画像の一部が一つ前の画像の一部と共通するように選択されたN枚の画像に対し、
前記第1の画像及び前記第Nの画像を撮影した時の位置・姿勢情報を取得する取得手段と、
第2の画像から前記第Nの画像までの各画像と、各画像の一枚前の画像との対応関係を求め、当該対応関係に基づき、前記第2の画像から前記第Nの画像までの各画像を撮影した時の位置・姿勢情報を推定する推定手段と、
前記推定手段により推定された前記第Nの画像を撮影した時の位置・姿勢情報と、前記取得手段により取得された前記第Nの画像を撮影した時の位置・姿勢情報とに基づき、前記推定手段により推定された前記第2の画像から第N−1の画像までの各画像を撮影したときの位置・姿勢情報を補正する補正手段と、
前記補正手段により補正された位置・姿勢情報に基づいて、前記第1の画像から前記第Nの画像をモザイク画像平面の画像へと変換して貼り合わせる合成手段と、から構成される、
ことを特徴とするモザイク画像合成装置。 - 前記補正手段は、
前記推定手段により推定された前記第Nの画像を撮影した時の位置・姿勢情報と前記取得手段により取得された前記第Nの画像を撮影した時の位置・姿勢情報との差で表される前記第Nの画像の撮影時の誤差を算出し、
前記第1の画像の撮影時の誤差をゼロとして前記第Nの画像の撮影時の誤差までの間を補間することにより、前記推定手段により推定された前記第2の画像から前記第N−1の画像までの各画像を撮影したときの位置・姿勢情報に含まれるべき各画像撮影時の誤差を求め、
前記推定手段により推定された前記第2の画像から前記第N−1の画像までの各画像を撮影したときの位置・姿勢情報に各画像撮影時の誤差をそれぞれ補償する、ことにより補正を実施する、
ことを特徴とする請求項1に記載のモザイク画像合成装置。 - 前記補正手段による補正が実施された後、前記第Nの画像を新たな第1の画像とみなして、前記取得手段による位置・姿勢情報の取得と、前記推定手段による位置・姿勢情報の推定と、前記補正手段による位置・姿勢情報の補正と、前記合成手段によるモザイク画像平面の画像へと変換した画像の貼り合わせと、を繰り返し実行する、
ことを特徴とする請求項1又は2に記載のモザイク画像合成装置。 - コンピュータに、
第1の画像から第Nの画像の順に並んだN枚の画像であって、第2の画像から前記第Nの画像の一部が一つ前の画像の一部と共通するように選択されたN枚の画像に対し、
前記第1の画像を撮影した時の位置・姿勢情報を取得する第1の取得ステップと、
第2の画像から前記第Nの画像までの各画像と、各画像の一枚前の画像との対応関係を求め、当該対応関係に基づき、前記第2の画像から前記第Nの画像までの各画像を撮影した時の位置・姿勢情報を推定する推定ステップと、
前記第Nの画像を撮影した時の位置・姿勢情報を取得する第2の取得ステップと、
前記推定ステップにおいて推定された前記第Nの画像を撮影した時の位置・姿勢情報と、前記第2の取得ステップにおいて取得された前記第Nの画像を撮影した時の位置・姿勢情報とに基づき、前記推定ステップにおいて推定された前記第2の画像から第N−1の画像までの各画像を撮影したときの位置・姿勢情報を補正する補正ステップと、
補正ステップにおいて補正された位置・姿勢情報に基づいて、前記第1の画像から前記第Nの画像をモザイク画像平面の画像へと変換して貼り合わせる合成ステップと、を実行させる、
ことを特徴とするモザイク画像合成プログラム。 - 前記補正ステップにおける補正は、
前記推定ステップにおいて推定された前記第Nの画像を撮影したときの位置・姿勢情報と、前記第2の取得ステップにおいて取得された前記第Nの画像を撮影したときの位置・姿勢情報との差で表される前記第Nの画像の撮影時の誤差を算出し、
前記第1の画像の撮影時の誤差をゼロとして前記第Nの画像の撮影時の誤差までの間を補間することにより、前記推定ステップにおいて推定された前記第2の画像から前記代N−1の画像までの各画像を撮影したときの位置・姿勢情報に含まれるべき各画像撮影時の誤差を求め、
前記推定ステップにおいて推定された前記第2の画像から前記第N−1の画像までの各画像を撮影したときの位置・姿勢情報に対して、各画像撮影時の誤差をそれぞれ補償することにより補正を実施する、
ことを特徴とする請求項4に記載のモザイク画像合成プログラム。 - コンピュータに、
前記第1の取得ステップから前記合成ステップまでを実行させた後、前記第Nの画像を新たな第1の画像とみなして前記第1の取得ステップから前記合成ステップまでを繰り返し実行させる、
ことを特徴とする請求項4又は5に記載のモザイク画像合成プログラム。 - 複数枚の画像からモザイク画像を合成するモザイク画像合成方法であって、
第1の画像から第Nの画像の順に並んだN枚の画像であって、第2の画像から第Nの画像の一部が一つ前の画像の一部と共通するように選択されたN枚の画像に対し、
前記第1の画像を撮影した時の位置・姿勢情報を取得する第1の取得ステップと、
第2の画像から前記第Nの画像までの各画像と、各画像の一枚前の画像との対応関係を求め、当該対応関係に基づき、前記第2の画像から前記第Nの画像までの各画像を撮影した時の位置・姿勢情報を推定する推定ステップと、
前記第Nの画像を撮影した時の位置・姿勢情報を取得する第2の取得ステップと、
前記推定ステップにおいて推定された前記第Nの画像を撮影した時の位置・姿勢情報と、前記第2の取得ステップにおいて取得された前記第Nの画像を撮影した時の位置・姿勢情報とに基づき、前記推定ステップにおいて推定された前記第2の画像から第N−1の画像までの各画像を撮影したときの位置・姿勢情報を補正する補正ステップと、
補正ステップにおいて補正された位置・姿勢情報に基づいて、前記第1の画像から前記第Nの画像をモザイク画像平面の画像へと変換して貼り合わせる合成ステップと、から構成される、
ことを特徴とするモザイク画像合成方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004381797A JP4463099B2 (ja) | 2004-12-28 | 2004-12-28 | モザイク画像合成装置、モザイク画像合成プログラム及びモザイク画像合成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004381797A JP4463099B2 (ja) | 2004-12-28 | 2004-12-28 | モザイク画像合成装置、モザイク画像合成プログラム及びモザイク画像合成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006189940A JP2006189940A (ja) | 2006-07-20 |
JP4463099B2 true JP4463099B2 (ja) | 2010-05-12 |
Family
ID=36797104
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004381797A Expired - Fee Related JP4463099B2 (ja) | 2004-12-28 | 2004-12-28 | モザイク画像合成装置、モザイク画像合成プログラム及びモザイク画像合成方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4463099B2 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8437497B2 (en) * | 2011-01-27 | 2013-05-07 | Seiko Epson Corporation | System and method for real-time image retensioning and loop error correction |
JP5791534B2 (ja) * | 2012-02-01 | 2015-10-07 | 三菱電機株式会社 | 写真地図作成システム |
JP5997988B2 (ja) * | 2012-09-13 | 2016-09-28 | 株式会社日立製作所 | 画像伝送システムおよび画像伝送方法 |
JP6155091B2 (ja) * | 2013-05-17 | 2017-06-28 | 株式会社日立製作所 | モザイク画像生成装置及び生成方法並びにモザイク画像生成プログラム |
KR101522474B1 (ko) * | 2013-12-20 | 2015-05-21 | 한국항공우주연구원 | 영상 해상도 개선 방법 및 영상 해상도 개선 장치 |
WO2015163107A1 (ja) | 2014-04-25 | 2015-10-29 | ソニー株式会社 | 情報処理装置、情報処理方法及びコンピュータプログラム |
WO2018211926A1 (ja) | 2017-05-16 | 2018-11-22 | 富士フイルム株式会社 | 画像生成装置、画像生成システム、画像生成方法、及び画像生成プログラム |
CN112425148B (zh) | 2018-06-21 | 2022-04-08 | 富士胶片株式会社 | 摄像装置、无人移动体、摄像方法、系统及记录介质 |
JP7298116B2 (ja) * | 2018-08-03 | 2023-06-27 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、プログラム |
-
2004
- 2004-12-28 JP JP2004381797A patent/JP4463099B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2006189940A (ja) | 2006-07-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7929043B2 (en) | Image stabilizing apparatus, image-pickup apparatus and image stabilizing method | |
US7613356B2 (en) | Position and orientation detection method and apparatus | |
US20190371003A1 (en) | Monocular vision tracking method, apparatus and non-volatile computer-readable storage medium | |
JP5832341B2 (ja) | 動画処理装置、動画処理方法および動画処理用のプログラム | |
US8326021B2 (en) | Measurement apparatus and control method | |
US6704041B2 (en) | Image processing method, apparatus and memory medium therefor | |
US20190073794A1 (en) | Survey data processing device, survey data processing method, and survey data processing program | |
JP4851239B2 (ja) | 画像処理装置及びその処理方法 | |
US20090153669A1 (en) | Method and system for calibrating camera with rectification homography of imaged parallelogram | |
EP2990762B1 (en) | Operating device, operating method, and program therefor | |
JP4536524B2 (ja) | モザイク画像合成装置、モザイク画像合成方法及びモザイク画像合成プログラム | |
JP2010014443A (ja) | 位置測定方法、位置測定装置、およびプログラム | |
JP4463099B2 (ja) | モザイク画像合成装置、モザイク画像合成プログラム及びモザイク画像合成方法 | |
JP2017220715A (ja) | 画像処理装置、画像処理方法、プログラム | |
JP6922348B2 (ja) | 情報処理装置、方法、及びプログラム | |
US11715218B2 (en) | Information processing apparatus and information processing method | |
US20220132092A1 (en) | Camera calibration information acquisition device, image processing device, camera calibration information acquisition method, and recording medium | |
JP2007323616A (ja) | 画像処理装置及びその処理方法 | |
JP2005038021A (ja) | 画像処理装置、画像入力装置、画像処理方法、および画像処理方法をコンピュータで実行するプログラム | |
JPWO2019211970A1 (ja) | 三次元再構成方法及び三次元再構成装置 | |
JP2005094614A (ja) | 手ぶれ補正装置、手ぶれ補正方法および手ぶれ補正プログラムを記録した記録媒体 | |
JP4631606B2 (ja) | 画像の奥行分布推定方法及び装置及びプログラム | |
WO2021038733A1 (ja) | 画像処理システム、画像処理装置、画像処理方法、およびプログラム | |
JP2002150264A (ja) | モザイク画像合成方法及びモザイク画像合成装置並びにモザイク画像合成プログラムを記録した記録媒体 | |
KR20210116161A (ko) | 단일 체커보드를 이용하는 이종 센서 캘리브레이션 방법 및 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070316 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100210 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100216 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100216 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130226 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4463099 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140226 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |