JP6416734B2 - 画像処理装置、画像処理方法及びコンピュータプログラム - Google Patents
画像処理装置、画像処理方法及びコンピュータプログラム Download PDFInfo
- Publication number
- JP6416734B2 JP6416734B2 JP2015216135A JP2015216135A JP6416734B2 JP 6416734 B2 JP6416734 B2 JP 6416734B2 JP 2015216135 A JP2015216135 A JP 2015216135A JP 2015216135 A JP2015216135 A JP 2015216135A JP 6416734 B2 JP6416734 B2 JP 6416734B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- partial
- region
- input
- partial image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Description
図5は、従来システムにおいて仮想全天球画像を得るためのシステムを示す図である。図5に示すように、画像処理システム1は、全天球カメラ2と、複数のカメラ3−1、3−2、3−3、・・・、3−N(以下、「カメラ群3」という。)(Nは4以上の整数)と、画像処理装置4と、表示装置5とを備える。画像処理システム1は、競技用コート10内に仮想視点11を設定した場合に、競技用コート10外に設置したカメラ群3によって撮影された画像の合成によって仮想視点11における仮想全天球画像を得る。
図6は、画像処理システム1における画像処理の流れを説明するための図である。図6(A)は、背景画像20の具体例を示す図である。背景画像20には、仮想視点11を中心として全方位(360度)の被写体が撮影されている。背景画像20は、競技用コート10内に人物がいない状態で撮影される画像であるので競技用コート10内には人物が撮影されない。
本発明の一態様は、全天球画像に設定された所定の領域を挟む第1の領域及び第2の領域に対して、第1の入力画像及び第2の入力画像から生成された第1の部分画像及び第2の部分画像を重畳することによって合成画像を生成する合成画像生成ステップと、前記第1の入力画像と前記第2の入力画像とを前記所定の領域の補完に利用する参照画像として用いることによって、重畳された前記第1の部分画像と前記第2の部分画像との間の前記所定の領域を補完する画像処理ステップと、を有し、前記第1の部分画像と前記第2の部分画像は、所定の奥行に位置する同一の被写体が異なる位置から撮像された画像であり、前記第1の部分画像及び前記第2の部分画像は、前記被写体の一部を含み、前記第1の部分画像に含まれる前記被写体の一部は、前記第2の部分画像に含まれる前記被写体の一部と異なるものであり、前記所定の領域は、前記第1の領域及び前記第2の領域に対して、前記第1の部分画像と前記第2の部分画像をそれぞれ重畳した際に、前記第1の部分画像に含まれず、かつ、前記第2の部分画像にも含まれない、前記被写体の一部の領域を含み、前記画像処理ステップにおいて、前記第1の入力画像の倍率変更後の画像と前記第2の入力画像の倍率変更後の画像とを前記参照画像として用いることによって前記所定の領域を補完する画像処理方法である。
図1は、本発明における画像処理システム100のシステム構成を示す図である。
画像処理システム100は、全天球カメラ60、複数のカメラ70−1〜70−M(Mは2以上の整数)及び画像処理装置80を備える。なお、以下の説明では、カメラ70−1〜70−Mについて特に区別しない場合には、カメラ70と記載する。
次に、画像処理装置80の機能構成について説明する。画像処理装置80は、バスで接続されたCPU(Central Processing Unit)やメモリや補助記憶装置などを備え、画像処理プログラムを実行する。画像処理プログラムの実行によって、画像処理装置80は、入力画像記憶部801、オブジェクト解析部802、合成情報記憶部803、部分領域抽出部804、背景画像記憶部805、画像合成部806、画像処理部807を備える装置として機能する。なお、画像処理装置80の各機能の全て又は一部は、ASIC(Application Specific Integrated Circuit)やPLD(Programmable Logic Device)やFPGA(Field Programmable Gate Array)等のハードウェアを用いて実現されてもよい。また、画像処理プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。また、画像処理プログラムは、電気通信回線を介して送受信されてもよい。
オブジェクト解析部802は、入力画像記憶部801に記憶されている入力画像を読み出し、入力とする。オブジェクト解析部802は、入力された入力画像に含まれるオブジェクトを検出して、出力する。例えば、オブジェクト解析部802は、隣接する2つのカメラ70の同時刻における入力画像それぞれからオブジェクトを検出する。ここでオブジェクトとは、背景画像に含まれていないが入力画像に含まれている人物、物体(例えばボール)等である。なお、オブジェクトが「人」、「ボール」、「物体A」、「物体B」のいずれに該当するのかを解析・判定する手法としては、公知の画像解析技術が用いられる。例えば、画像の解析により人を検出する技術を開示する文献として以下の参考文献1がある。
[参考文献1]:山内悠嗣、外2名、「[サーベイ論文] 統計的学習手法による人検出」、電子情報通信学会技術研究報告、vol.112、no.197、PRMU2012-43、pp.113-126、2012年9月
合成情報テーブルは、合成情報レコードを複数有する。合成情報レコードは、カメラID、抽出領域情報及び変換情報の各値を有する。カメラIDの値は、カメラ70を識別するための識別情報を表す。例えば、図2におけるカメラID“C1”で識別されるカメラ70はカメラ70−1であり、カメラID“CM”で識別されるカメラ70はカメラ70−Mである。
アフィン変換行列は、以下に示す方法により予め取得して合成情報記憶部803に記憶される。例えば、仮想視点82から複数種類の距離(奥行)の位置に格子模様のチェスボードを設置して、仮想視点82に設置した全天球カメラ60で撮影したチェスボードを含む画像と、カメラ70で撮影したチェスボードを含む画像とを比較する。そして両画像において、撮影したチェスボードの各格子が対応するように画像を変換するアフィン変換行列を求める。このようにして、チェスボードを設置した奥行に対応したアフィン変換行列を求める。
部分領域抽出部804は、オブジェクト解析部802から出力された入力画像と、合成情報テーブルの情報とを入力とする。部分領域抽出部804は、入力された合成情報テーブルの情報に基づいて、入力画像から部分領域を抽出することによって部分領域画像を生成し、出力する。
背景画像記憶部805は、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。背景画像記憶部805は、全天球カメラ60によって撮影された全天球画像を背景画像として記憶する。
画像合成部806は、合成情報記憶部803に記憶されている合成情報テーブルと、背景画像記憶部805に記憶されている背景画像と、部分領域抽出部804によって生成された部分領域画像とを入力とする。画像合成部806は、部分領域画像に対して、合成情報テーブルに含まれる変換情報のアフィン変換行列に基づいて変換処理を行うことによって部分画像を生成する。画像合成部806は、生成した部分画像をアフィン変換行列に基づいて背景画像に重畳することで仮想全天球画像を生成して出力する。より具体的には、画像合成部806は、部分画像の画素値で、背景画像上の部分画像を重畳する領域の画素値を置き換えることによって背景画像に部分領域画像を重畳することで仮想全天球画像を生成する。
画像処理部807は、画像合成部806によって生成された仮想全天球画像と、入力画像記憶部801に記憶されている入力画像とを入力とする。画像処理部807は、入力された仮想全天球画像において、画像合成部806によって背景画像に重畳された部分画像間の所定の領域(以下、「補完対象領域」という。)を、補完対象領域を挟む2つの部分画像それぞれの生成元である入力画像を用いて補完する。
図3において、入力画像83−1(第1の入力画像)はカメラ70−1によって撮影された画像であり、入力画像83−2(第2の入力画像)はカメラ70−2によって撮影された画像である。入力画像83−1における領域84は合成情報テーブルに基づいて入力画像83−1から抽出される抽出領域を表し、入力画像83−2における領域85は合成情報テーブルに基づいて入力画像83−2から抽出される抽出領域を表す。そして、抽出領域84で表される領域を入力画像83−1から抽出して生成される部分領域画像及び抽出領域85で表される領域を入力画像83−2から抽出して生成される部分領域画像それぞれに対して、変換情報に応じた変換処理が行なわれることによって部分画像86(第1の部分画像)及び87(第2の部分画像)が生成される。その後、画像合成部806によって、部分画像86及び87がアフィン変換行列で示される背景画像88上の所定の位置に重畳される(図3の下図参照)。ここで、部分画像86が重畳される領域が第1の領域に相当し、部分画像87が重畳される領域が第2の領域に相当する。
オブジェクト解析部802は、入力画像記憶部801から隣接するカメラ70(2つのカメラ70)の同時刻における入力画像を読み出す(ステップS101)。次に、オブジェクト解析部802は、読み出した各入力画像を入力とし、入力した各入力画像を解析することによって各入力画像のオブジェクトを検出する(ステップS102)。オブジェクト解析部802は、いずれかの入力画像からオブジェクトが検出されたか否か判定する(ステップS103)。いずれの入力画像からもオブジェクトが検出されなかった場合(ステップS103−NO)、オブジェクト解析部802は隣接する他の組合せのカメラ70の同時刻における入力画像を入力画像記憶部801から読み出す(ステップS104)。その後、ステップS102以降の処理が実行される。
オブジェクトが検出された入力画像全てに対してステップS105からステップS107までの処理が行なわれた場合(ステップS108−YES)、画像処理装置80は処理を終了する。
一方、オブジェクトが検出された入力画像全てに対してステップS105からステップS107までの処理が行なわれていない場合(ステップS108−NO)、画像処理装置80はステップS104の以降の処理を実行する。
画像処理装置80は、隣り合うカメラ70それぞれで撮影された画像から、各画像が合成時に重ならないような小さい領域を抽出した部分領域画像を生成する。画像処理装置80は、生成した部分領域画像に対して変換処理を行うことによって部分画像を生成し、生成した部分画像を背景画像に重畳する。そして、画像処理装置80は、重畳した部分画像の間における補完対象領域を補完する。この補完対象領域は、2つの画像の重複領域に相当する。つまり、重複領域に相当する領域が、補完対象領域として設定され、補完されるため多重像や消失の発生を抑制することができる。そのため、複数のカメラで撮影された画像を背景画像に合成することによって生成される合成画像の品質低下を抑制することが可能になる。
本発明は、全天球画像の場合に限らず、複数のカメラで撮影された画像を背景画像に重畳することによって合成画像を生成する場合に適用可能である。
本実施形態では、補完対象領域の補完処理に使用する参照画像として、部分画像の生成元である入力画像をそのまま用いる構成を示したが、画像処理部807は参照画像として部分画像の生成元である入力画像の倍率を変更した画像を用いてもよい。例えば、画像処理部807は、参照画像として部分画像の生成元である入力画像を所定分拡大(例えば、10%、20%拡大など)した画像や、入力画像を所定分縮小(例えば、10%、20%縮小など)した画像を用いてもよい。
本実施形態では、合成情報テーブルに登録されている幅の値が全てのカメラIDで同じであるが、幅の値はカメラID毎に異なっていてもよいし、一部のカメラIDで異なっていてもよい。
補完対象領域の補完の方法は、上記の方法(図3で説明した方法)に限定されない。例えば、画像処理部807は以下のような方法によって補完対象領域を補完してもよい。まず、第1の領域に重畳された部分画像の生成元の入力画像をA、第2の領域に重畳された部分画像の生成元の入力画像をBとして、AとBの大きさをa:bの割合とする。中心部分をA、Bいずれかの入力画像を用いて補完する際、a:bの割合で類似パッチが探索されるように重み付けする。
Claims (5)
- 全天球画像に設定された所定の領域を挟む第1の領域及び第2の領域に対して、第1の入力画像及び第2の入力画像から生成された第1の部分画像及び第2の部分画像を重畳することによって合成画像を生成する合成画像生成部と、
前記第1の入力画像と前記第2の入力画像とを前記所定の領域の補完に利用する参照画像として用いることによって、重畳された前記第1の部分画像と前記第2の部分画像との間の前記所定の領域を補完する画像処理部と、
を備え、
前記第1の部分画像と前記第2の部分画像は、所定の奥行に位置する同一の被写体が異なる位置から撮像された画像であり、
前記第1の部分画像及び前記第2の部分画像は、前記被写体の一部を含み、
前記第1の部分画像に含まれる前記被写体の一部は、前記第2の部分画像に含まれる前記被写体の一部と異なるものであり、
前記所定の領域は、前記第1の領域及び前記第2の領域に対して、前記第1の部分画像と前記第2の部分画像をそれぞれ重畳した際に、前記第1の部分画像に含まれず、かつ、前記第2の部分画像にも含まれない、前記被写体の一部の領域を含み、
前記画像処理部は、前記所定の領域のうちの前記第1の部分画像寄りの領域である第1範囲については前記第1の入力画像を用いることによって前記第1範囲を補完し、前記所定の領域のうちの前記第2の部分画像寄りの領域である第2範囲については前記第2の入力画像を用いることによって前記第2範囲を補完し、前記所定の領域の中心付近については前記第1の入力画像及び前記第2の入力画像のいずれかを用いることによって補完する画像処理装置。 - 全天球画像に設定された所定の領域を挟む第1の領域及び第2の領域に対して、第1の入力画像及び第2の入力画像から生成された第1の部分画像及び第2の部分画像を重畳することによって合成画像を生成する合成画像生成部と、
前記第1の入力画像と前記第2の入力画像とを前記所定の領域の補完に利用する参照画像として用いることによって、重畳された前記第1の部分画像と前記第2の部分画像との間の前記所定の領域を補完する画像処理部と、
を備え、
前記第1の部分画像と前記第2の部分画像は、所定の奥行に位置する同一の被写体が異なる位置から撮像された画像であり、
前記第1の部分画像及び前記第2の部分画像は、前記被写体の一部を含み、
前記第1の部分画像に含まれる前記被写体の一部は、前記第2の部分画像に含まれる前記被写体の一部と異なるものであり、
前記所定の領域は、前記第1の領域及び前記第2の領域に対して、前記第1の部分画像と前記第2の部分画像をそれぞれ重畳した際に、前記第1の部分画像に含まれず、かつ、前記第2の部分画像にも含まれない、前記被写体の一部の領域を含み、
前記画像処理部は、前記第1の入力画像の倍率変更後の画像と前記第2の入力画像の倍率変更後の画像とを前記参照画像として用いることによって前記所定の領域を補完する画像処理装置。 - 全天球画像に設定された所定の領域を挟む第1の領域及び第2の領域に対して、第1の入力画像及び第2の入力画像から生成された第1の部分画像及び第2の部分画像を重畳することによって合成画像を生成する合成画像生成ステップと、
前記第1の入力画像と前記第2の入力画像とを前記所定の領域の補完に利用する参照画像として用いることによって、重畳された前記第1の部分画像と前記第2の部分画像との間の前記所定の領域を補完する画像処理ステップと、
を有し、
前記第1の部分画像と前記第2の部分画像は、所定の奥行に位置する同一の被写体が異なる位置から撮像された画像であり、
前記第1の部分画像及び前記第2の部分画像は、前記被写体の一部を含み、
前記第1の部分画像に含まれる前記被写体の一部は、前記第2の部分画像に含まれる前記被写体の一部と異なるものであり、
前記所定の領域は、前記第1の領域及び前記第2の領域に対して、前記第1の部分画像と前記第2の部分画像をそれぞれ重畳した際に、前記第1の部分画像に含まれず、かつ、前記第2の部分画像にも含まれない、前記被写体の一部の領域を含み、
前記画像処理ステップにおいて、前記所定の領域のうちの前記第1の部分画像寄りの領域である第1範囲については前記第1の入力画像を用いることによって前記第1範囲を補完し、前記所定の領域のうちの前記第2の部分画像寄りの領域である第2範囲については前記第2の入力画像を用いることによって前記第2範囲を補完し、前記所定の領域の中心付近については前記第1の入力画像及び前記第2の入力画像のいずれかを用いることによって補完する画像処理方法。 - 全天球画像に設定された所定の領域を挟む第1の領域及び第2の領域に対して、第1の入力画像及び第2の入力画像から生成された第1の部分画像及び第2の部分画像を重畳することによって合成画像を生成する合成画像生成ステップと、
前記第1の入力画像と前記第2の入力画像とを前記所定の領域の補完に利用する参照画像として用いることによって、重畳された前記第1の部分画像と前記第2の部分画像との間の前記所定の領域を補完する画像処理ステップと、
を有し、
前記第1の部分画像と前記第2の部分画像は、所定の奥行に位置する同一の被写体が異なる位置から撮像された画像であり、
前記第1の部分画像及び前記第2の部分画像は、前記被写体の一部を含み、
前記第1の部分画像に含まれる前記被写体の一部は、前記第2の部分画像に含まれる前記被写体の一部と異なるものであり、
前記所定の領域は、前記第1の領域及び前記第2の領域に対して、前記第1の部分画像と前記第2の部分画像をそれぞれ重畳した際に、前記第1の部分画像に含まれず、かつ、前記第2の部分画像にも含まれない、前記被写体の一部の領域を含み、
前記画像処理ステップにおいて、前記第1の入力画像の倍率変更後の画像と前記第2の入力画像の倍率変更後の画像とを前記参照画像として用いることによって前記所定の領域を補完する画像処理方法。 - コンピュータを、請求項1又は2に記載の画像処理装置として機能させるためのコンピュータプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015216135A JP6416734B2 (ja) | 2015-11-02 | 2015-11-02 | 画像処理装置、画像処理方法及びコンピュータプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015216135A JP6416734B2 (ja) | 2015-11-02 | 2015-11-02 | 画像処理装置、画像処理方法及びコンピュータプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018169915A Division JP6606242B2 (ja) | 2018-09-11 | 2018-09-11 | 画像処理装置、画像処理方法及びコンピュータプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017092543A JP2017092543A (ja) | 2017-05-25 |
JP6416734B2 true JP6416734B2 (ja) | 2018-10-31 |
Family
ID=58768341
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015216135A Active JP6416734B2 (ja) | 2015-11-02 | 2015-11-02 | 画像処理装置、画像処理方法及びコンピュータプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6416734B2 (ja) |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3610423B2 (ja) * | 1997-03-19 | 2005-01-12 | 独立行政法人産業技術総合研究所 | 映像表示システムおよびその臨場感向上方法 |
JPH1127577A (ja) * | 1997-06-30 | 1999-01-29 | Hitachi Ltd | 仮想視点画像システム |
JP3744002B2 (ja) * | 2002-10-04 | 2006-02-08 | ソニー株式会社 | 表示装置、撮像装置、および撮像/表示システム |
MXPA06007550A (es) * | 2003-12-30 | 2006-08-31 | Thomson Licensing | Sistema y metodo para ocultar costuras en despliegues reticulados. |
US7667730B2 (en) * | 2005-06-15 | 2010-02-23 | Mitsubishi Electric Research Laboratories, Inc. | Composite surveillance camera system |
JP5954310B2 (ja) * | 2013-12-26 | 2016-07-20 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
-
2015
- 2015-11-02 JP JP2015216135A patent/JP6416734B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017092543A (ja) | 2017-05-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6735592B2 (ja) | 画像処理装置及びその制御方法、画像処理システム | |
JP2019092076A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
US11151787B2 (en) | Generation device, generation method and storage medium for three-dimensional model from object images and structure images | |
US20190132529A1 (en) | Image processing apparatus and image processing method | |
US11798233B2 (en) | Generation device, generation method and storage medium for three-dimensional model that remove a portion of the three-dimensional model | |
JP7387434B2 (ja) | 画像生成方法および画像生成装置 | |
KR20180092495A (ko) | 다중 카메라 영상 내 관심 객체 중심의 베스트 뷰 영상 생성 장치 및 방법 | |
JP2020129276A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP6606242B2 (ja) | 画像処理装置、画像処理方法及びコンピュータプログラム | |
US11574432B2 (en) | Image processing apparatus, image processing method, and storage medium | |
JP6416741B2 (ja) | 画像処理装置、画像処理方法及びコンピュータプログラム | |
JP6404794B2 (ja) | 画像情報取得方法、画像評価方法、画像情報取得装置、画像評価装置及び画像処理プログラム | |
JP6513305B2 (ja) | 映像合成装置及び映像合成方法 | |
JP6389452B2 (ja) | 画像処理装置、画像処理方法及びコンピュータプログラム | |
JP6416734B2 (ja) | 画像処理装置、画像処理方法及びコンピュータプログラム | |
JP6416740B2 (ja) | 画像処理装置、画像処理方法及びコンピュータプログラム | |
JP6420750B2 (ja) | 合成情報テーブル作成装置、合成情報テーブル作成方法及びコンピュータプログラム | |
JP6392739B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP6426594B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP6346157B2 (ja) | 画像処理装置、画像処理方法及びコンピュータプログラム | |
Calagari et al. | Sports VR content generation from regular camera feeds | |
JP2013153392A (ja) | 画像処理装置および画像処理方法、プログラム | |
JP5734080B2 (ja) | 情報処理装置、その処理方法及びプログラム | |
JP2017102784A (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP2017102785A (ja) | 画像処理装置、画像処理方法及び画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170801 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180426 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180522 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20180719 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180911 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181002 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181004 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6416734 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |