JP6716019B2 - 画像修正装置、画像修正方法及びプログラム - Google Patents

画像修正装置、画像修正方法及びプログラム Download PDF

Info

Publication number
JP6716019B2
JP6716019B2 JP2019509065A JP2019509065A JP6716019B2 JP 6716019 B2 JP6716019 B2 JP 6716019B2 JP 2019509065 A JP2019509065 A JP 2019509065A JP 2019509065 A JP2019509065 A JP 2019509065A JP 6716019 B2 JP6716019 B2 JP 6716019B2
Authority
JP
Japan
Prior art keywords
image
area
composite image
correction
rectangular area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019509065A
Other languages
English (en)
Other versions
JPWO2018180213A1 (ja
Inventor
與那覇 誠
誠 與那覇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2018180213A1 publication Critical patent/JPWO2018180213A1/ja
Application granted granted Critical
Publication of JP6716019B2 publication Critical patent/JP6716019B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387Composing, repositioning or otherwise geometrically modifying originals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Geometry (AREA)
  • Studio Devices (AREA)

Description

本発明は、複数の部分画像が連結された合成画像から連結時の累積誤差をキャンセル可能な画像修正装置、画像修正方法及びプログラムに関する。
従来、被写体を分割撮影して得られた複数の部分画像を連結し、高解像度の広視野画像(以下「合成画像」ともいう)を生成する技術が知られている。
特許文献1、2には、複数の部分画像を精度良く連結するため、複数の部分画像の連結前(合成前)に、各部分画像の画像歪みを補正することが記載されている。具体的には、各部分画像に対し、本来は矩形であるが歪んでいる領域を点又は線で指定させ、その歪んでいる領域を本来の矩形に変換する射影変換により、各部分画像の画像歪みを連結前に補正する。
特許文献3には、広視野画像の視点位置を変換するため、広視野画像内の被写体(サッカーフィールド)の四隅の点を指定させ、その四隅の点に基づいたアフィン変換により広視野画像の視点位置を変換することが、記載されている。
特許文献4には、複数のディスプレイから構成されるマルチディスプレイに高解像度の広視野画像を表示させるため、広角カメラにより得られた広視野画像に対し非広角カメラにより得られた複数の部分画像を射影し、その射影後の広視野画像(合成画像)をディスプレイのアスペクト比に合う複数の矩形領域に分割して各矩形領域を各ディスプレイに表示させることが、記載されている。
特開2004−21578号公報 特開2003−288589号公報 特開2014−236238号公報 WO2009/090727号公報
図9に示すような矩形の長尺被写体を撮影装置により複数回に分けて撮影し、その分割撮影により得られた複数の部分画像を連結して一枚の合成画像を作成したとする。分割撮影の撮影条件(あおり角度、回転角度、撮影距離等)が複数回の分割撮影にわたり同一であり、且つ撮影装置に因り生じる画像歪みが皆無又はキャンセルされていれば、実空間の被写体の形状を正確に表した被写体像を含む合成画像が得られることが期待される。しかしながら、実際には、複数の部分画像の連結処理において誤差が累積し、図10に示すように合成画像に湾曲が生じる。連結処理で回転変動を許容しない場合、合成画像の湾曲をある程度抑えることが可能であるが、それでも図11に示すように合成画像中の被写体像の本来直線状であるべき枠線に段差が生じてしまう。つまり本来の矩形とは異なる所謂「ガタガタ」した被写体像になってしまう。
特許文献1、2は、連結前(合成前)に各部分画像の画像歪みを補正する技術を開示しているが、既に複数の部分画像が連結された広視野画像から連結時の累積誤差をキャンセルする技術を開示も示唆もしていない。特許文献1、2の技術を長尺の被写体の画像処理に適用して連結前に画像歪み補正を行っても、現実には連結時の累積誤差を完全に無くすことは困難である。つまり、長尺の被写体の合成画像には、図10、図11に示したように累積誤差が顕著になって現れる場合がある。
特許文献3の技術(広視野画像の視点位置を変換する技術)及び特許文献4の技術(複数のディスプレイから構成されるマルチディスプレイに広視野画像を表示させる技術)は、連結時の累積誤差をキャンセルするための技術ではない。従って、特許文献1、2(連結前に各部分画像の画像歪みを補正する技術)に組み合わせられない。
本発明は、複数の部分画像が連結された合成画像から連結時の累積誤差をキャンセル可能な画像修正装置、画像修正方法及びプログラムを提供することを目的とする。
上述した目的を達成するため、本発明に係る第1の態様の画像修正装置は、実空間における矩形領域を撮影装置により分割撮影した複数の部分画像からなる合成画像を取得する画像取得部と、実空間における矩形領域に対応する合成画像における修正対象領域を特定する領域特定部と、修正対象領域を複数の分割領域に分割する分割部と、分割された複数の分割領域のそれぞれを矩形に変換する幾何変換部と、を備える。
本態様によれば、実空間における矩形領域を分割撮影した複数の部分画像からなる合成画像が取得され、その合成画像における修正対象領域が特定され、その修正対象領域が複数の分割領域に分割されて、その分割領域のそれぞれが矩形に変換されるので、既に複数の部分画像が連結された広視野画像から連結時の累積誤差をキャンセルすることが可能になる。
本発明に係る第2の態様の画像修正装置では、画像取得部によって取得された合成画像を表示画面に表示させる表示制御部を備え、領域特定部は、表示画面に表示された合成画像に対し、実空間における矩形領域の頂点又は辺に対応する合成画像における頂点又は辺を示す指定を受け付けて、合成画像における修正対象領域を特定する。本態様によれば、実空間における矩形領域の頂点又は辺に対応する箇所を、表示された合成画像を見ながら指定することにより、容易に連結時の累積誤差をキャンセルすることが可能になる。
本発明に係る第3の態様の画像修正装置では、領域特定部は、指定に基づいて、実空間における矩形領域のエッジに対応する合成画像における修正対象領域のエッジをトレースする。本態様によれば、合成画像に対し本来矩形となるべき被写体像の一部の頂点(又は一部の辺)を指定するだけで、その被写体像を修正対象領域として累積誤差を確実にキャンセルすることが可能になる。
本発明に係る第4の態様の画像修正装置では、分割部は、トレースの結果に基づいて、修正対象領域を複数の分割領域に分割する。本態様によれば、修正対象領域のトレース結果を利用して、その修正対象領域における累積誤差を確実にキャンセルすることが可能になる。
本発明に係る第5の態様の画像修正装置では、合成画像は、撮影装置から矩形領域までの距離又は視野サイズを一定にして、矩形領域の長手方向に分割撮影して得られた複数の部分画像からなり、分割部は、修正対象領域を、矩形領域の長手方向に対応する修正対象領域の特定方向において分割する。本態様によれば、部分画像を撮影した際の規則性又は複数の部分画像の連結時の補正結果を利用して、累積誤差をキャンセルすることが可能になる。
本発明に係る第6の態様の画像修正装置では、合成画像は、撮影装置から矩形領域までの距離又は視野サイズを異ならせて、矩形領域の長手方向に分割撮影して得られた複数の部分画像からなり、分割部は、複数の分割領域のアスペクト比を一定にして、修正対象領域を分割する。本態様によれば、撮影装置から矩形領域までの距離又は視野サイズが複数の部分画像間で異なる場合でも、累積誤差をキャンセルすることが可能になる。
本発明に係る第7の態様の画像修正装置では、分割部は、撮影装置から矩形領域までの距離が長いほど又は視野サイズが大きいほど、分割領域のサイズを小さくする。
本発明に係る第8の態様の画像修正装置では、合成画像は、複数の部分画像を互いに部分的に重ね合わせて連結されており、分割部は、部分画像のサイズと連結用の重なり領域のサイズとに応じて、分割領域を決定する。本態様によれば、合成元の画像(部分画像)と重なり領域とに応じた分割が可能になり、累積画像を確実にキャンセルすることが可能になる。
本発明に係る第9の態様の画像修正装置では、分割部は、修正対象領域を部分画像の重なり領域で分割する。本態様によれば、連結時(合成時)の重なり領域を利用して、容易かつ適切な分割が可能になり、累積画像を確実にキャンセルすることが可能になる。
本発明に係る第10の態様の画像修正装置では、合成画像は、複数の部分画像を幾何変換して連結されており、分割部は、連結における幾何変換で用いられた幾何変換情報に基づいて、複数の分割領域を決定する。本態様によれば、連結時(合成時)の幾何変換情報を利用して、容易かつ適切な分割が可能になり、累積画像を確実にキャンセルすることが可能になる。
本発明に係る第11の態様の画像修正方法は、実空間における矩形領域を撮影装置により分割撮影した複数の部分画像からなる合成画像を取得するステップと、実空間における矩形領域に対応する合成画像における修正対象領域を特定するステップと、修正対象領域を複数の分割領域に分割するステップと、分割された複数の分割領域のそれぞれを矩形に変換するステップと、を含む。
本発明に係る第12の態様のプログラムは、実空間における矩形領域を撮影装置により分割撮影した複数の部分画像からなる合成画像を取得するステップと、実空間における矩形領域に対応する合成画像における修正対象領域を特定するステップと、修正対象領域を複数の分割領域に分割するステップと、分割された複数の分割領域のそれぞれを矩形に変換するステップと、をコンピュータに実行させる。
本発明によれば、複数の画像が連結された合成画像から連結時の累積誤差をキャンセル可能になる。
図1は、本発明に係る画像修正装置の構成例を示すブロック図である。 図2は、本発明に係る画像修正方法を適用した画像修正処理例の流れを示すフローチャートである。 図3は、合成画像の一例を示す図である。 図4は、合成(部分画像の連結)の説明図である。 図5は、頂点指定の説明図である。 図6は、頂点指定に基づくトレースの説明図である。 図7は、合成画像の分割の説明図である。 図8は、分割領域の幾何変換の説明図である。 図9は、本発明の課題の説明に用いる長尺被写体の一例を示す図である。 図10は、本発明の課題の説明に用いる合成画像の一例を示す図である。 図11は、本発明の課題の説明に用いる合成画像の他の例を示す図である。
以下、添付図面を用いて、本発明に係る画像修正装置、画像修正方法及びプログラムの実施形態について説明する。
図1は、本発明に係る画像修正装置の構成例を示すブロック図である。
画像修正装置10は、例えばコンピュータ装置によって構成される。本例の画像修正装置10は、被写体を撮影装置12により分割撮影した複数の部分画像からなる合成画像を取得する画像取得部22と、画像表示可能な表示画面を有する表示部24と、ユーザから指定を受け付ける操作部26と、プログラム及びプログラムの実行に必要な情報を記憶する記憶部28と、プログラムに従って各種の処理を実行する処理部30と、を備える。
画像取得部22は、例えば通信デバイスによって構成される。画像取得部22は、データベース14とネットワークを介して通信する通信デバイスに限定されない。画像取得部22は、撮影装置12と有線通信又は無線通信により直接通信する通信デバイスでもよい。画像取得部22は、メモリカード等の記録媒体とのインタフェースデバイスによって構成されてもよい。
表示部24は、液晶表示デバイス等の表示デバイスによって構成される。
操作部26は、マニュアル操作可能な操作デバイスによって構成される。
記憶部28は、一時的記憶デバイスと、非一時的記憶デバイスによって構成される。プログラムは非一時的記憶デバイスに記憶される。
処理部30は、例えばCPU(central processing unit)によって構成される。
本例の処理部30は、画像取得部22によって取得された合成画像を表示部24の表示画面に表示させる表示制御部32と、矩形の被写体(実空間における矩形領域の一形態である)に対応する合成画像における修正対象領域を特定する領域特定部34と、領域特定部34によって特定された修正対象領域を複数の分割領域に分割する分割部36と、分割部36によって分割された複数の分割領域のそれぞれを矩形に変換する幾何変換部40と、を備える。
本発明における「矩形領域」は、特に限定されないが、例えば、河川、湖の護岸である。以下では、「矩形領域」として長尺の矩形被写体を例に説明するが、このような場合に「矩形領域」は特に限定されない。「矩形領域」は、例えば、トンネルの内壁面(曲面)や、高橋脚でもよい。本発明において「矩形」は略矩形であればよい。即ち本発明において「矩形」は、二辺の成す角度が直角である場合に限定されず、略直角(予め決められた許容範囲内、例えば80度〜100度)である場合を含む。
画像合成装置50は、例えばコンピュータ装置によって構成される。画像合成装置50は、被写体を撮影装置12により分割撮影した複数の部分画像を連結して、合成画像を生成する。生成された合成画像は、本例の場合、データベース14に保存される。
本例の画像合成装置50は、複数の部分画像を連結する前に、各部分画像を補正する機能を有する。本例の画像合成装置50は、あおり角度(撮影装置12の撮影光軸と被写体の被撮影面との角度)が部分画像間で異なる場合に、あおり角度が部分画像間で一定である場合と同様にする画像処理(あおり角度補正処理)を、連結前の各部分画像に対して施すことができる。また本例の画像合成装置50は、回転角度(撮影装置12の撮影光軸回りの角度)が部分画像間で異なる場合に、回転角度が部分画像間で一定である場合と同様にする画像処理(回転角度補正処理)を、連結前の各部分画像に対して施すことができる。また本例の画像合成装置50は、撮影距離(撮影時における撮影装置12と被写体との距離である)が部分画像間で異なる場合に、撮影距離が部分画像間で一定である場合と同様にする画像処理(距離補正処理)を、連結前の各部分画像に対して施すことができる。あおり角度補正処理、回転角度補正処理、及び距離補正処理は、公知の技術を用いて行うことができる。また距離補正処理とあおり角度補正処理と回転角度補正処理とは、別々の処理として行う必要はなく、一回の射影変換処理で行うことが可能である。
図2は、本発明に係る画像修正方法を適用した画像修正処理例の流れを示すフローチャートである。本処理は、記憶部28に記憶されたプログラムに従って、処理部30の制御により実行される。
まず、画像取得部22によって、データベース14から、複数の部分画像が連結された合成画像(広視野画像)を取得する(ステップS2)。図3は、合成画像の例を示す図である。この合成画像IMG1を構成する複数の部分画像は、矩形の長尺被写体(実空間における矩形領域の一形態である)を撮影装置12により分割撮影して得られた画像である。図3に示した合成画像IMG1の一部分を図4に示す。図4において点線は、部分画像IMG11、IMG12、IMG13を示す。複数の部分画像IMG11〜IMG13は、互いに部分的に重ね合わせて連結されている。画像内の連結用の重なり領域MA11、MA12、MA13、MA14は、「のりしろ」(貼り合わせ領域)あるいは「マージン」と呼ばれることもある。
次に、表示制御部32によって、表示部24の表示画面に合成画像IMG1を表示させる(ステップS4)。
次に、操作部26を用いて、図5に示すように、表示部24の表示画面に表示された合成画像IMG1に対し、実空間の矩形領域の頂点に対応する合成画像内の点V1、V2、V3、V4の位置を示す指定(頂点指定)を受け付ける(ステップS6)。尚、実空間の矩形領域の四頂点に対応する四点V1〜V4の指定を受け付けた場合を示したが、三点(例えば点V1〜V3)、あるいは二点(例えば点V1、V2)の指定を受け付けてもよい。また、頂点指定を受け付ける場合を示したが、実空間の矩形領域の辺(「線分」ともいう)に対応する合成画像内の辺(図6に示すLS1〜LS4)のうちの少なくとも二辺の指定(辺指定)を受け付けてもよい。
次に、領域特定部34によって、ステップS6で受け付けた頂点指定又は辺指定に基づいて、実空間の矩形領域に対応する合成画像内の修正対象領域TAを特定する(ステップS8)。本例の領域特定部34は、図6に示すように、頂点指定に基づいて、実空間の矩形領域のエッジに対応する合成画像IMG1内の修正対象領域TAのエッジをトレースする。ステップS6で辺指定を受け付けた場合、未指定の辺があればその未指定の辺をトレースにより検出する。
次に、分割部36によって、図7に示すように、合成画像IMG1内の修正対象領域TAを複数の分割領域R1、R2、R3,R4、R5、R6、R7、R8に分割する(ステップS10)。本例では、修正対象領域TAが複数の四辺形である分割領域R1〜R8に分割されている。
次に、幾何変換部40によって、図8に示すように、分割された複数の分割領域のそれぞれを矩形に変換する(ステップS12)。本例では、四辺形である分割領域が矩形に変換されている。
次に、表示制御部32によって、修正された合成画像を表示部24の表示画面に表示する(ステップS14)。
次に、修正された合成画像をデータベース14に保存する(ステップS16)。
<修正対象領域の分割の各種態様>
分割部36による修正対象領域の分割の態様には、各種の態様がある。
第1に、分割撮影時の撮影条件の規則性及び/又は合成時(連結時)の補正の規則性を前提にして、簡易に、分割領域を決定する態様がある。
撮影装置12から矩形領域までの距離(ここでは「撮影距離」という)を一定にして矩形領域の長手方向に分割撮影した場合、分割部36は、合成画像の修正対象領域を、矩形領域の長手方向に対応する修正対象領域の長手方向(特定方向の一例である)において、均等に分割できる場合がある。ただし、撮影距離を一定にして分割撮影した場合、撮影距離だけでなく、あおり角度(撮影装置12の撮影光軸と矩形領域との角度である)も一定であるものとする。また、回転角度(撮影装置12の撮影光軸回りの角度である)も一定であることが、好ましい。更に、部分画像間の連結用の重なり領域(貼り合わせ領域)のサイズも一定であるものとする。一般に、撮影時の視野サイズが一定であれば、撮影距離も一定になるので、上述の「撮影距離を一定にして」分割撮影した場合という撮影条件を、「視野サイズを一定にして」分割撮影した場合という撮影条件に、置き換えてよい。尚、「一定」とは、略一定である場合、つまり予め決められた許容範囲内(例えば10%内)の変動である場合を含む。
分割撮影時の撮影距離(又は視野サイズ)が不定であっても、合成前(連結前)の補正により合成画像における実質的な撮影距離(又は視野サイズ)を一定にする補正処理(距離補正処理)が施されていれば、分割撮影時の撮影距離(又は視野サイズ)が一定である場合と同様に分割領域を決定することができる。この場合も、実質的な撮影距離だけでなく実質的なあおり角度も一定であること、つまり「あおり補正」も合成前に施されているものとする。
また、撮影距離を異ならせて、矩形領域の長手方向に分割撮影した場合、分割部36は、複数の分割領域の縦横(X方向及びY方向)のアスペクト比を一定にして、修正対象領域を分割する。ただし、分割撮影時のあおり角度が一定であるか、又は合成前(連結前)のあおり補正により合成画像における実質的なあおり角度が一定であるものとする。本例の分割部36は、撮影距離が長いほど(又は視野サイズが大きいほど)、分割領域のサイズを小さくする。
第2に、分割撮影して得られた部分画像のサイズと連結用の重なり領域(「貼り合わせ領域」ともいう)のサイズとに応じて、複数の分割領域を決定する態様がある。例えば、図4において、部分画像IMG11は重なり領域MA11及びMA12を含んでいる。そこで、分割部36は、矩形領域の長手方向xにおいて、部分画像IMG11の長手方向xのサイズL1から左右サイドのうち一方のサイド(例えば右サイド)の重なり領域MA12の長手方向xのサイズL12を減算したサイズ(L1−L12)を、部分画像IMG11に対応する分割領域のサイズとする。他の部分画像IMG12、IMG13についても同様に、部分画像のサイズと重なり領域のサイズとに応じて分割領域を決定する。例えば、部分画像及び重なり領域に関する情報(重なり領域情報)と合成画像とを関連付けて、データベース14に記憶しておき、その重なり領域情報に基づいて、分割領域を決定することができる。分割部36は、重なり領域情報に基づいて、合成画像内の修正対象領域を重なり領域で分割することができる。例えば、図4の符号BLのラインを境界線として、修正対象領域を分割することができる。
第3に、合成時(連結時)の幾何変換情報を用いて、複数の分割領域を決定する態様がある。本例の合成画像は、複数の部分画像が射影変換(「幾何変換」の一形態である)により補正された後に、連結されている。本態様の分割部36は、複数の部分画像を連結する際に用いられた射影変換行列(「幾何変換情報」の一例である)に基づいて、複数の分割領域を決定する。
第4に、領域特定部34により合成画像内の修正対象領域(実空間における矩形領域に対応する領域である)のエッジをトレースした結果に基づいて、複数の分割領域を決定する態様がある。本態様では、図6を用いて説明した頂点指定(又は辺指定)に基づくトレースの際に、領域特定部34により修正対象領域のエッジの形状を認識し、その認識されたエッジの形状に基づいて、各分割領域の位置及びサイズを決定する。
尚、修正対象領域の分割の態様は、上述の複数の態様を組み合わせて実施してよい。また、上述以外の態様で実施してよい。
前述の図1に示した、処理部30は、次に示すような各種のプロセッサ(processor)を含んで構成することができる。各種のプロセッサには、ソフトウエア(プログラム)により各種の処理を実行する汎用的なプロセッサであるCPU(central processing unit)、FPGA(field programmable gate array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(programmable logic device:PLD)、ASIC(application specific integrated circuit)などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。前述の実施形態において、画像修正装置10の機能は、これら各種のプロセッサのうちの1つで実現されてもよいし、同種または異種の2つ以上のプロセッサ(例えば、複数のFPGA、あるいはCPUとFPGAの組み合わせ)で実現されてもよい。また、複数の機能を1つのプロセッサで実現してもよい。複数の機能を1つのプロセッサで実現する例としては、システムオンチップ(system on chip:SoC)などに代表されるように、複数の機能を含むシステム全体の機能を1つのIC(integrated circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の機能は、ハードウエア的な構造として、上述した各種のプロセッサを1つ以上用いて実現される。さらに、これらの各種のプロセッサのハードウエア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路(circuitry)である。
また前述の画像修正方法を、コンピュータ装置でプログラムに従って実行するようにしてよい。また上述の実施形態の画像修正装置10は、例示に過ぎず、他の構成に対しても本発明を適用することが可能である。各機能構成は、任意のハードウェア、ソフトウェア、或いは両者の組合せによって適宜実現可能である。例えば、上述の画像修正装置10の各部における処理をコンピュータに実行させる画像修正プログラム、そのような画像修正プログラムを記録したコンピュータ読み取り可能な記録媒体(非一時的記録媒体)に対しても、本発明を適用することが可能である。
以上、本発明を実施するための形態に関して説明してきたが、本発明は上述した実施形態及び変形例に限定されず、本発明の主旨を逸脱しない範囲で種々の変形が可能である。
10 画像修正装置
12 撮影装置
14 データベース
22 画像取得部
24 表示部
26 操作部
28 記憶部
30 処理部
32 表示制御部
34 領域特定部
36 分割部
40 幾何変換部
50 画像合成装置
IMG1 合成画像
IMG11、IMG12、IMG13 部分画像
MA11、MA12、MA13、MA14 重なり領域
R1、R2、R3、R4、R5、R6、R7、R8 分割領域
TA 修正対象領域
V1、V2、V3、V4 矩形領域の頂点に対応する点

Claims (12)

  1. 実空間における矩形領域を撮影装置により分割撮影した複数の部分画像からなる合成画像を取得する画像取得部と、
    前記実空間における前記矩形領域に対応する前記合成画像における修正対象領域を特定する領域特定部と、
    前記修正対象領域を複数の分割領域に分割する分割部と、
    前記分割された複数の分割領域のそれぞれを矩形に変換する幾何変換部と、
    前記画像取得部によって取得された前記合成画像を表示画面に表示させる表示制御部を備え、
    前記領域特定部は、前記表示画面に表示された前記合成画像に対し、前記実空間における前記矩形領域の頂点又は辺に対応する前記合成画像における頂点又は辺を示す指定を受け付けて、前記合成画像における修正対象領域を特定する、
    画像修正装置。
  2. 前記領域特定部は、前記指定に基づいて、前記実空間における前記矩形領域のエッジに対応する前記合成画像における前記修正対象領域のエッジをトレースする、
    請求項に記載の画像修正装置。
  3. 前記分割部は、前記トレースの結果に基づいて、前記修正対象領域を前記複数の分割領域に分割する、
    請求項に記載の画像修正装置。
  4. 前記合成画像は、前記撮影装置から前記矩形領域までの距離又は視野サイズを一定にして、前記矩形領域の長手方向に分割撮影して得られた前記複数の部分画像からなり、
    前記分割部は、前記修正対象領域を、前記矩形領域の長手方向に対応する前記修正対象領域の特定方向において分割する、
    請求項1からのうちいずれか一項に記載の画像修正装置。
  5. 前記合成画像は、前記撮影装置から前記矩形領域までの距離又は視野サイズを異ならせて、前記矩形領域の長手方向に分割撮影して得られた前記複数の部分画像からなり、
    前記分割部は、前記複数の分割領域のアスペクト比を一定にして、前記修正対象領域を分割する、
    請求項1からのうちいずれか一項に記載の画像修正装置。
  6. 前記分割部は、前記撮影装置から前記矩形領域までの距離が長いほど又は視野サイズが大きいほど、前記分割領域のサイズを小さくする、
    請求項に記載の画像修正装置。
  7. 前記合成画像は、前記複数の部分画像を互いに部分的に重ね合わせて連結されており、
    前記分割部は、前記部分画像のサイズと連結用の重なり領域のサイズとに応じて、前記分割領域を決定する、
    請求項1からのうちいずれか一項に記載の画像修正装置。
  8. 前記分割部は、前記修正対象領域を前記部分画像の前記重なり領域で分割する、
    請求項に記載の画像修正装置。
  9. 前記合成画像は、前記複数の部分画像を幾何変換して連結されており、
    前記分割部は、前記連結における前記幾何変換で用いられた幾何変換情報に基づいて、前記複数の分割領域を決定する、
    請求項1からのうちいずれか一項に記載の画像修正装置。
  10. 実空間における矩形領域を撮影装置により分割撮影した複数の部分画像からなる合成画像を取得するステップと、
    前記実空間における前記矩形領域に対応する前記合成画像における修正対象領域を特定するステップと、
    前記修正対象領域を複数の分割領域に分割するステップと、
    前記分割された複数の分割領域のそれぞれを矩形に変換するステップと、
    前記取得された合成画像を表示画面に表示させるステップと、
    を含む画像修正方法であって、
    前記修正対象領域を特定するステップは、前記表示画面に表示された前記合成画像に対し、前記実空間における前記矩形領域の頂点又は辺に対応する前記合成画像における頂点又は辺を示す指定を受け付けて、前記合成画像における修正対象領域を特定することを含む、
    画像修正方法。
  11. 請求項10に記載の画像修正方法をコンピュータに実行させる画像修正プログラム。
  12. 請求項11に記載の画像修正プログラムを記録したコンピュータ読み取り可能な非一時的記録媒体。
JP2019509065A 2017-03-28 2018-03-02 画像修正装置、画像修正方法及びプログラム Active JP6716019B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017063545 2017-03-28
JP2017063545 2017-03-28
PCT/JP2018/008124 WO2018180213A1 (ja) 2017-03-28 2018-03-02 画像修正装置、画像修正方法及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2018180213A1 JPWO2018180213A1 (ja) 2019-12-26
JP6716019B2 true JP6716019B2 (ja) 2020-07-01

Family

ID=63675622

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019509065A Active JP6716019B2 (ja) 2017-03-28 2018-03-02 画像修正装置、画像修正方法及びプログラム

Country Status (5)

Country Link
US (1) US11055823B2 (ja)
EP (1) EP3605447A1 (ja)
JP (1) JP6716019B2 (ja)
CN (1) CN110402454B (ja)
WO (1) WO2018180213A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109618092B (zh) * 2018-12-03 2020-11-06 广州图匠数据科技有限公司 一种拼接拍照方法、系统及存储介质

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000331151A (ja) * 1999-05-25 2000-11-30 Nec Corp 画像処理方法、画像歪み補正処理装置、及びそのプログラムを記録した記録媒体
JP4372382B2 (ja) * 1999-08-20 2009-11-25 ヒーブルー ユニバーシティ オブ エルサレム 移動カメラにより記録された画像の修正モザイキングのためのシステムおよび方法
JP3889650B2 (ja) 2002-03-28 2007-03-07 三洋電機株式会社 画像処理方法、画像処理装置、コンピュータプログラム、及び記録媒体
JP2004021578A (ja) 2002-06-17 2004-01-22 Nikon Gijutsu Kobo:Kk 画像処理方法
US20100253861A1 (en) * 2008-01-15 2010-10-07 Yoshihiro Tomaru Display
JP2010245582A (ja) * 2009-04-01 2010-10-28 Sanyo Electric Co Ltd 電子カメラ
JP5231667B2 (ja) * 2011-04-01 2013-07-10 シャープ株式会社 撮像装置、撮像装置における表示方法、撮像装置における画像処理方法、プログラムおよび記録媒体
JP2015039085A (ja) * 2011-12-14 2015-02-26 パナソニック株式会社 画像処理装置及び画像処理方法
DE112013000762T5 (de) * 2012-01-31 2014-12-11 Panasonic Corporation Bildverarbeitungsvorrichtung und Bildverarbeitungsverfahren
US9262857B2 (en) * 2013-01-16 2016-02-16 Disney Enterprises, Inc. Multi-linear dynamic hair or clothing model with efficient collision handling
JP5986039B2 (ja) 2013-05-30 2016-09-06 日本電信電話株式会社 映像表示方法及び映像表示プログラム
JP6010870B2 (ja) * 2013-12-24 2016-10-19 カシオ計算機株式会社 画像補正装置、及び画像補正方法、プログラム
JP2016001781A (ja) * 2014-06-11 2016-01-07 ソニー株式会社 情報処理装置、情報処理方法、プログラム、及び画像表示装置
JP6467612B2 (ja) * 2014-11-21 2019-02-13 株式会社ソーシャル・キャピタル・デザイン 正置画像処理システムおよび構造物維持管理業務システム
JP6230001B2 (ja) * 2015-03-12 2017-11-15 カシオ計算機株式会社 画像補正装置、画像補正方法、及びプログラム
CN109313799B (zh) * 2016-12-21 2021-02-26 华为技术有限公司 图像处理方法及设备

Also Published As

Publication number Publication date
CN110402454B (zh) 2023-06-13
WO2018180213A1 (ja) 2018-10-04
US20190378245A1 (en) 2019-12-12
CN110402454A (zh) 2019-11-01
EP3605447A4 (en) 2020-02-05
US11055823B2 (en) 2021-07-06
JPWO2018180213A1 (ja) 2019-12-26
EP3605447A1 (en) 2020-02-05

Similar Documents

Publication Publication Date Title
KR102328020B1 (ko) 하나의 룩업 테이블을 이용한 파노라마 영상 출력 시스템 및 방법
US10909703B2 (en) Image processing method, electronic device and computer-readable storage medium
JP4832878B2 (ja) 画像合成処理装置及び方法
KR101408426B1 (ko) 화상 보정 장치, 보정 화상 생성 방법, 보정 테이블 생성 장치, 보정 테이블 생성 방법, 보정 테이블 생성 프로그램을 기록한 컴퓨터 판독가능한 기록 매체 및 보정 화상 생성 프로그램을 기록한 컴퓨터 판독가능한 기록 매체
JP2019097178A (ja) 撮像装置、画像処理装置および方法
US11170477B2 (en) Image composition apparatus, image composition method, and program
JP4010754B2 (ja) 画像処理装置と画像処理方法及びコンピュータ読み取り可能な記録媒体
TWI602154B (zh) 環景影像的拼接方法及其系統
JP5602985B2 (ja) 画像処理装置、画像処理方法及びコンピュータプログラム
JP6594170B2 (ja) 画像処理装置、画像処理方法、画像投影システムおよびプログラム
WO2016204068A1 (ja) 画像処理装置および画像処理方法、ならびにプロジェクションシステム
US11115631B2 (en) Image processing apparatus, image processing method, and storage medium
KR20170001765A (ko) Avm 시스템의 공차 보정 장치 및 방법
JP6716019B2 (ja) 画像修正装置、画像修正方法及びプログラム
JP6513305B2 (ja) 映像合成装置及び映像合成方法
JP5446285B2 (ja) 画像処理装置及び画像処理方法
CN110832851B (zh) 图像处理装置、图像变换方法
JP5955003B2 (ja) 画像処理装置および画像処理方法、プログラム
JP6755737B2 (ja) 距離測定装置、撮像装置、および距離測定方法
CN112237002A (zh) 图像处理方法和设备
JP5340021B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2006338167A (ja) 画像データ作成方法
JP2019047204A (ja) 画像処理装置、画像処理方法、及びプログラム
US9781353B2 (en) Image processing apparatus, electronic apparatus, and image processing method
KR101762117B1 (ko) Avm 시스템의 공차 보정 장치 및 방법

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190828

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190828

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200601

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200609

R150 Certificate of patent or registration of utility model

Ref document number: 6716019

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250