JP6587113B2 - 画像処理装置及び画像処理方法 - Google Patents
画像処理装置及び画像処理方法 Download PDFInfo
- Publication number
- JP6587113B2 JP6587113B2 JP2018145254A JP2018145254A JP6587113B2 JP 6587113 B2 JP6587113 B2 JP 6587113B2 JP 2018145254 A JP2018145254 A JP 2018145254A JP 2018145254 A JP2018145254 A JP 2018145254A JP 6587113 B2 JP6587113 B2 JP 6587113B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- range
- unit
- mask
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 387
- 238000003672 processing method Methods 0.000 title description 7
- 238000012937 correction Methods 0.000 claims description 419
- 238000000034 method Methods 0.000 claims description 116
- 238000003384 imaging method Methods 0.000 description 127
- 238000010586 diagram Methods 0.000 description 90
- 238000007493 shaping process Methods 0.000 description 87
- 230000008569 process Effects 0.000 description 60
- 238000000605 extraction Methods 0.000 description 43
- 230000002093 peripheral effect Effects 0.000 description 33
- 238000012986 modification Methods 0.000 description 23
- 230000004048 modification Effects 0.000 description 23
- 230000009466 transformation Effects 0.000 description 20
- 230000000873 masking effect Effects 0.000 description 12
- 230000002194 synthesizing effect Effects 0.000 description 12
- 238000006243 chemical reaction Methods 0.000 description 10
- 239000002131 composite material Substances 0.000 description 10
- 238000001514 detection method Methods 0.000 description 10
- 230000015572 biosynthetic process Effects 0.000 description 8
- 238000012790 confirmation Methods 0.000 description 8
- 238000012544 monitoring process Methods 0.000 description 8
- 238000011161 development Methods 0.000 description 7
- 238000003786 synthesis reaction Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 239000004973 liquid crystal related substance Substances 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000010365 information processing Effects 0.000 description 3
- 238000010422 painting Methods 0.000 description 3
- 239000000758 substrate Substances 0.000 description 3
- 102100033040 Carbonic anhydrase 12 Human genes 0.000 description 2
- 102100033029 Carbonic anhydrase-related protein 11 Human genes 0.000 description 2
- 101100272626 Drosophila melanogaster BomBc1 gene Proteins 0.000 description 2
- 101000867855 Homo sapiens Carbonic anhydrase 12 Proteins 0.000 description 2
- 101000867841 Homo sapiens Carbonic anhydrase-related protein 11 Proteins 0.000 description 2
- 101001075218 Homo sapiens Gastrokine-1 Proteins 0.000 description 2
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012856 packing Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 101100444028 Drosophila melanogaster Dso2 gene Proteins 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 229920003023 plastic Polymers 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 229920003002 synthetic resin Polymers 0.000 description 1
- 239000000057 synthetic resin Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
- H04N1/3872—Repositioning or masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Closed-Circuit Television Systems (AREA)
- Geometry (AREA)
Description
7576、2012年2月10日に日本国に出願された特許出願番号2012−0271
60、2012年3月2日に日本国に出願された特許出願番号2012−047166、
及び2012年3月29日に日本国に出願された特許出願番号2012−075741の
利益を主張し、これらの出願の内容は引用することによりここに組み込まれているものと
する。
領域にマスク処理を施す画像処理装置及び画像処理方法に関する。
よる撮影によって得られる画像には監視の用途には不要な領域が含まれることがある。ま
た、プライバシー保護の観点から、そのような一部領域の画像又は映像を取得して保存し
ておくことが望ましくないこともある。そこで、監視カメラで監視対象範囲を撮影すると
ともに、監視カメラによって得られた画像に対して、プライバシー保護のために一部領域
にマスク処理を施す撮影システムが知られている(例えば、特許文献1及び特許文献2)
。
カメラが用いられることがある。このような全周囲カメラにおいて、水平方向の画角は約
360度となり、円形又はドーナツ形の全周囲画像が得られる。この全周囲画像には、場
所に応じて不均一に歪みが生じている。この円形又はドーナツ形の全周囲画像を矩形のビ
ューワ画面にて見やすくするために、全周囲画像に対して歪補正が行なわれる。具体的に
は、例えば、全周囲画像の一部領域を切り出した上で歪補正を行ったり、全周囲画像に対
して歪補正を行なってパノラマ画像に展開したりする処理が行われる。
示する例を示し、図41Cは、全周囲画像とともに複数の切り出し範囲の切り出し歪補正
画像を並べて表示する例を示している。図41A〜図41Cに示すように、全周囲画像を
取得した場合には、その全周囲画像について複数とおりの歪補正を行うことができる。
切出し位置を任意に指定して切出し歪補正画像を得ることができる。また、動画像を撮影
するとともに、切出し範囲をリアルタイムに変更することもできる。例えば、画像中の動
体を検出してその動体を追尾するように切出し範囲を変化させつつその切出し範囲の切出
し歪補正画像を生成することもできる。
とによって、マスクされていない領域については歪が解消する一方で、マスク領域は歪補
正画像において歪な形になってしまい、見栄えがよくない。
特許文献1における処理を説明する図である。図中、P1〜P4は、マスク領域の頂点で
あり、MLU、MRU、MLD、MRDは、P1〜P4で囲まれる図形に外接する水平×
垂直の矩形の頂点である。特許文献1の監視カメラシステムでは、信号発生部の構成上、
水平×垂直の矩形でしかマスクができない場合において、P1〜P4で囲まれるマスク領
域が歪んでいるときは、そのマスク領域に外接するMLU、MRU、MLD、MRDで囲
まれる領域をマスクしている。
に外接する水平×垂直の矩形をマスクしているのみであって、見栄えをよくするという観
点からマスク領域の形状を変形しているものではない。即ち、常にマスク領域P1〜P4
に外接する水平×垂直の矩形をマスクすることが見やすい補正とは限らない。
正画像においてどのような形状になるかを想像することは困難である。特に、歪補正の際
の補正パラメータは、切出し範囲によって異なるので、有歪み画像上で同一位置かつ同一
の形状のマスク領域が指定されたとしても、異なる切出し範囲が複数ある場合には、その
ようなマスク領域が各切出し範囲の歪補正によってどのように変形するかを予想すること
は極めて困難である。
指定された処理範囲を歪補正前の有歪み画像に座標投影している。しかしながら、特許文
献2に記載のような有歪み画像に対して任意の範囲を指定する方法で範囲指定を行うと、
歪補正の有無や表示方法の違い、また画像の切出し位置によって範囲の形状が変化するこ
とになる。この状態ではユーザからは範囲指定の方法が難しく、指定された範囲の位置も
判り難い表示になる。また、特許文献2に記載の技術では、歪補正前後で多量の座標を投
影する必要があり、情報の処理量が増大するという問題がある。
像処理装置及び画像処理方法を提供することである。
領域を指定するのに便利な画像処理装置及び画像処理方法を提供することである。
る処理範囲を、有歪み画像上で指定して、有歪み画像上で確認できる画像処理装置及び画
像処理方法を提供することである。
範囲共有の情報処理量を低減できる画像処理装置及び画像処理方法を提供することである
。
部と、前記マスク領域保持部のマスク領域を用いて前記有歪み画像にマスク処理を行うマ
スク処理部と、前記有歪み画像の歪みを補正する補正パラメータを用いて、前記マスク処
理された有歪み画像を補正する歪補正部と、前記補正後の画像のマスク領域を所定の形状
に整形するマスク領域整形部とを備えている。
は、本発明の一部の提供を意図しており、ここで記述され請求される発明の範囲を制限す
ることは意図していない。
であり、本発明は様々な態様に変形することができる。従って、以下に開示する特定の構
成および機能は、特許請求の範囲を限定するものではない。
持するマスク領域保持部と、マスク領域保持部のマスク領域を用いて有歪み画像にマスク
処理を行うマスク処理部と、有歪み画像の歪みを補正する補正パラメータを用いて、マス
ク処理された有歪み画像を補正する歪補正部と、補正後の画像のマスク領域を所定の形状
に整形するマスク領域整形部とを備えた構成を有する。
領域の見栄えがよくなる。
検出部を備えていてよく、マスク領域整形部はマスク領域検出部で検出されたマスク領域
を所定の形状に整形してよい。
、この検出されたマスク領域を整形できる。
よって囲まれる矩形となるように、マスク領域を整形してよい。
線となる線が直線になるように、マスク領域を整形してよい。
よく、マスク領域整形部は、有歪み画像の全周囲画像からの切出し方向に応じてマスク領
域を整形してよい。
ク領域の正立方向がそろうように、マスク領域を整形できる。
の座標を線形補間して対応する座標の画素を埋めることで、補正を行なってよく、マスク
領域整形部は、補正が行なわれたマスク領域を含むスクエアを、整形後のマスク領域とし
てよい。
の境界に沿った形状とすることができるので、好適にマスク領域の見栄えをよくすること
ができる。
むスクエアを含み全体として矩形に構成される複数のスクエアを、整形後のマスク領域と
してよい。
で、好適にマスク領域の見栄えをよくすることができる。
スク領域の見栄えがよくなる。
いて、歪補正画像におけるマスク領域の見栄えがよくなる。
ユーザが指定するための指定部と、指定部より指定されたマスク領域を、補正パラメータ
により補正するマスク領域補正部とを備えていてよく、ユーザがマスク領域を指定する際
に、補正されたマスク領域を同時に表示してよい。
おいてどのように適用されるかを確認することができる。
ユーザが指定するための指定部と、指定部より指定されたマスク領域を、補正パラメータ
により補正するマスク領域補正部とを備えていてよく、ユーザがマスク領域を指定する際
に、補正されたマスク領域を有歪み画像上に重畳表示してよい。
を保持するマスク領域保持部と、有歪み画像の歪みを補正する補正パラメータを用いて、
マスク領域保持部のマスク領域を補正するマスク領域補正部と、マスク領域補正部で補正
されたマスク領域を所定の形状に整形するマスク領域整形部と、マスク領域整形部で整形
されたマスク領域に補正パラメータを用いた逆変換を行う逆変換補正部と、逆変換補正部
で逆変換されたマスク領域を用いて有歪み画像にマスク処理を行うマスク処理部と、補正
パラメータを用いて、マスク処理された有歪み画像を補正する歪補正部とを備えた構成を
有している。
施された有歪み画像に対する歪補正の後に見やすい形状となるように整形できる。
ク領域を保持するマスク領域保持部と、有歪み画像の歪みを補正する補正パラメータを用
いて、有歪み画像を補正する歪補正部と、補正パラメータを用いて、マスク領域保持部の
マスク領域を補正するマスク領域補正部と、マスク領域補正部で補正されたマスク領域を
所定の形状に整形するマスク領域整形部と、歪補正部で補正された画像に対して、マスク
領域整形部で整形されたマスク領域のマスク処理をするマスク処理部とを備えた構成を有
している。
いてはさらに見栄えがよくなるように整形された上で、歪補正画像に適用される。
に対して設定されたマスク領域を保持するステップと、マスク領域を用いて有歪み画像に
マスク処理を行うステップと、有歪み画像の歪みを補正する補正パラメータを用いて、マ
スク処理された有歪み画像を補正するステップと、補正後の画像のマスク領域を所定の形
状に整形するステップとを有する。
る領域の見栄えがよくなる。
下に説明する撮影システムは、撮影された画像を処理するものであり、その全部又は一部
の構成を画像処理装置として捉えることができる。
1−1.第1の実施の形態
まず、本実施の形態のカメラの構造について説明する。図1は、本実施の形態における
カメラの外観図である。図2は、本実施の形態におけるカメラの部切り欠き斜視図である
。図1に示すように、カメラ100は、筐体11、ドームカバー12、基台13を備えて
いる。カメラ100は、例えば、施設の監視用途に用いられ、施設の壁や天井に設置され
る。カメラ100は、合成樹脂等によって円環状に形成された筐体11によって外周を覆
われ、中央には透明なプラスチック製のドームカバー12が配置される。基台13の外面
側が取り付け金具18等によって壁や天井等に取り付けられる。その場合、ドームカバー
12が下向きとなる。
れ、画像処理や電源供給のための主基板15が設けられている。主基板15にはCPUや
記憶部を備えた制御部(図示せず)が実装されている。光学ユニット14はレンズホルダ
19に支持された魚眼レンズ16や開閉カバー17を備える。
ズホルダ19にはパッキン材20を介して魚眼レンズ16が装着される。主基板15に接
続されるセンサ基板21にはMOSホルダ24が固定ネジ23によって固定される。MO
Sホルダ24が固定されたセンサ基板21はMOSブランケット25と固定ネジ26によ
りレンズホルダ19の下面側に固定される。
嵌合ボス29が設けられており、支持柱28をそれぞれ固定する。それぞれの支持柱28
はレンズホルダ19の貫通孔22を貫通し、固定ネジ21で固定される。基台13とレン
ズホルダ19の貫通孔22との間にはコイルバネ27が外挿され、コイルバネ27はレン
ズホルダ19を基台13から浮上させる方向に付勢する。
に、第1の実施の形態の撮影システム101は、カメラ110とビューワ210を含んで
構成される。カメラ110は、監視対象箇所に設置される監視カメラである。ビューワ2
10は、カメラ110と有線又は無線で通信可能に接続される。ビューワ210は、例え
ば監視室に備えられたコンピュータとモニタ、又は監視要員が持ち歩く携帯端末である。
3、切出しパラメータ設定部114、及び切出し歪補正部115を備えている。全周囲撮
像部111は、魚眼レンズ、魚眼レンズを介して入射した被写体(監視対象)からの光が
結像される撮像素子、撮像素子にて得られた画像信号に対して処理を行い、画像データを
生成する処理部等を含む公知の全周囲カメラである。全周囲撮像部111は、撮影により
生成した全周囲画像をマスク実行部113に出力する。
り、円形又はドーナツ形の画像である。この全周囲画像には歪みが生じており、その度合
いは、画像中の外周に近いほど大きくなる。このような全周囲画像をそのままビューワ2
10で表示することも可能であるが、後述するように、ビューワ210では、歪みが除去
された画像を表示することも可能である。
スクデータ」あるいは「マスク領域」ともいう。)が保持されている。即ち、マスクデー
タ保持部112に保持されるマスクデータは、マスク領域の形状と、その向きと、その全
周囲画像上の位置を示すデータである。ユーザは、全周囲画像中の任意の領域をマスク領
域として設定できる。即ち、ユーザは、全周囲画像中の任意の位置に、任意の形状(例え
ば、矩形、楕円、円等)のマスク領域を設定して、マスクデータ保持部12に保存できる
。なお、全周囲画像中の複数箇所にマスク領域が設定されてよい。
データ保持部112に設定されたマスク領域に対してマスク処理を行なう。ここで、マス
ク処理とは、画像から得られる情報量を減じる処理であって、所定の色で塗り潰す処理の
ように当該領域の情報量をゼロにする処理のほか、当該領域の解像度が低くなるように変
換する処理(モザイク処理)やすりガラス越しに見たような画像に変換する処理等を含む
ものである。本実施の形態では、一色に塗り潰す処理を採用している。
を設定する。切出しパラメータは、例えば切出し範囲の中心座標、ズーム率(全周囲画像
上の切出し範囲の大きさ)、切出し方向のパラメータを含む。切出し歪補正部115は、
マスク実行部113によってマスク領域にマスク処理が施された全周囲画像から、切出し
パラメータ設定部114にて設定された切出しパラメータによって特定される切出し範囲
を切り出して、歪みがなくなるように補正して、歪補正画像を生成する。
て、歪みがなくなるように補正するためのパラメータは一義に求まるため、切出しパラメ
ータ設定部114に設定された切出しパラメータは、即ち切出し歪補正部115の処理で
用いられる補正パラメータとなる。切出しパラメータ設定部114に設定される切出しパ
ラメータは、ユーザが指定することで設定されてもよいし、カメラ110自身が全周囲画
像に対して画像認識処理を行うことで、所定の被写体が認識された領域を含むように設定
されてもよい。
、歪補正を行なうことで、歪補正画像を生成する。この切出し歪補正部115は、全周囲
画像の切出し範囲について歪補正を行なうことで、全周囲画像に適用されたマスク領域を
補正するものである。切出し歪補正部115にて歪補正画像が生成されると、当該歪補正
画像は、図示しない通信インタフェースを介して、ビューワ210に送信される。ビュー
ワ210では、この歪補正画像を受信する。
13を備えている。マスク領域検出部211は、カメラ110から送信されてきた歪補正
画像を取得して、この歪補正画像からマスク領域を検出する。本実施の形態では、マスク
領域が一色で塗りつぶされているので、当該色の領域をマスク領域として検出する。検出
されたマスク領域は、歪補正画像とともにマスク領域整形部212に出力される。
述する方法で見やすい形状に整形して、整形後の形状で、歪補正画像に対して再度マスク
処理を施す。出力部213は、マスク領域整形部212にて再度のマスク処理が施された
歪補正画像を表示する表示装置である。
、マスク領域整形部212におけるマスク領域の整形を説明するための図である。図5の
例では、元画像である全周囲画像上で、水平及び垂直の辺からなる矩形のマスク領域mo
1がマスクデータ保持部112において設定されている。
な全周囲画像の切出し範囲が切出し歪補正部115にて補正されると、もとのマスク領域
mo1は、例えば図5のマスク領域mm1のように補正される。即ち、歪補正前の全周囲
画像に適用したマスク領域は水平及び垂直の辺からなる矩形であって、整った形状であっ
たが、切出し歪補正部115による歪補正によって、歪な形状の四角形になってしまって
いる。なお、この図に示す歪補正後のマスク領域は例であり、実際にはレンズの歪などか
ら決定される歪補正パラメータで決定される形状であり、四角形に限らず曲線を含む形状
である場合もある。
全て又は一部を含む水平及び垂直の辺からなる矩形に整形する。図5において、整形後の
マスク領域ms11は、歪補正によって歪になった四角形を完全に含む、それより大きい
水平及び垂直の辺からなる矩形であり、整形後のマスク領域ms12は、歪補正によって
歪になった四角形の一部を含む水平及び垂直の辺からなる矩形である。マスク領域整形部
22は、これらの矩形ms11又はms12の領域について、再度マスク処理を施す。
なっている形状を有している。マスク領域整形部22は、このような形状のマスク領域m
m2における凹んだ曲線部分を直線になるように整形する。また、図5において、歪補正
後のマスク領域mm3は、対向する2つの辺が凹んだ曲線になっており、かつ他の対向す
る2つの辺が凸の曲線になっている形状を有している。マスク領域整形部212は、この
ような形状のマスク領域mm3における凹んだ曲線部分が直線になり、かつ、凸の曲線部
分も直線になるように整形する。
とともに説明する。図6は、撮影システム101における処理の流れを説明する図である
。まず、全周囲撮像部111が監視対象箇所を撮影することで全周囲画像IM11を取得
する(ステップS61)。全周囲画像IM11は、図6に示すように円形であり、外周に
向かうにつれて度合いを増して歪んだ画像である。この全周囲画像IM11に対して、マ
スク実行部13はマスクデータ保持部12から読み出したマスク領域MA11について、
マスク処理を行う(ステップS62)。これにより、全周囲画像IM11は、マスク領域
MA11にマスク処理が施された画像IM12となる。
定部112にて設定された切出しパラメータ(即ち、補正パラメータ)を用いて、切出し
範囲が切り出されて歪補正が行われる(ステップS63)。これにより、マスク処理が施
された全周囲画像IM12から切出し範囲が歪補正された状態で切り出されて、歪補正画
像IM13が得られる。この歪補正画像IM13には、マスク領域MA12が含まれてい
るが、マスク領域MA12は切出し歪補正部15による切出し及び歪補正によって、もと
のマスク領域MA11が補正され、歪な形状になっている。
送信されて、ビューワ210のマスク領域検出部211に与えられる。マスク領域検出部
211は、歪補正画像IM13からマスク領域を検出する(ステップS64)。マスク領
域MA12が検出されると、マスク領域整形部212は、このマスク領域を整形して、整
形後のマスク領域MA13を得る(ステップS65)。図6の例では、整形後のマスク領
域MA13は、もとの歪んだマスク領域MA12を囲う水平及び垂直な辺からなる矩形と
される。
3に対してマスク処理を施す(ステップS66)。このようにして、マスク領域整形部2
12にて、水平及び垂直な辺からなる矩形のマスク領域MA13にマスク処理が施された
歪補正画像IM14が得られる。
、所望の領域をマスク領域としてマスク処理を施した上で、そのような画像に対して歪補
正を行う。この歪補正によって、マスク領域以外の画像の歪みは解消するが、マスク領域
が歪な形状になる。そこで、マスク領域検出部211にて、歪補正画像からマスク領域を
検出して、マスク領域整形部212にてマスク領域を見栄えのよい形状に整形して、再度
マスク処理を行う。よって、最終的に得られる歪補正画像では、マスク処理された領域が
見栄えのよい形状となる。
、切出しパラメータ設定部114、切出し歪補正部115がカメラ110に備えられ、マ
スク領域検出部211及びマスク領域整形部212がビューワ210に備えられていたが
、これらの構成要素は、カメラ110及びビューワ210のいずれに備えられていてもよ
い。
ューワ210に設けられていてもよい。図7は、この場合のカメラ110及びビューワ2
10での処理及びそれらの間のデータのやり取りを示す図である。この場合には、カメラ
110の全周囲撮像部111にて撮像が行われると(ステップS71)、全周囲画像が得
られ、この全周囲画像は、ビューワ210に送信される(ステップS72)。ビューワ2
10では、切出し補正部115が全周囲画像の切出し範囲を切出して歪補正を行う切出し
補正を行い(ステップS73)、出力部213が歪補正画像を表示する(ステップS74
)。なお、図7の説明では、マスク処理に関する説明を省略している。
4がビューワ210に備えられるよう変形された場合のカメラ110及びビューワ210
での処理及びそれらの間のデータのやり取りを示す図である。この場合には、カメラ11
0の全周囲撮像部111にて撮像が行われ(ステップS81)、ビューワ210の切出し
パラメータ設定部114にて切出し範囲が指定されると(ステップS82)、この切出し
範囲を特定する切出しパラメータがビューワ210からカメラ110に送信される(ステ
ップS83)。
て用いて、全周囲画像に対して歪補正を行い(ステップS84)、歪補正画像を得る。こ
の歪補正画像は、カメラ110からビューワ210に送信され(ステップS85)、出力
部213にて表示される(ステップS86)。
次に、本発明の第2の実施の形態を説明する。図9は、第2の実施の形態の撮影システ
ムの構成を示すブロック図である。図9に示すように、第2の実施の形態の撮影システム
102は、カメラ120とビューワ220を含んで構成される。カメラ120及びビュー
ワ220の各構成要素において、第1の実施の形態と同じものについては、同一の符号を
付して、詳細な説明は省略する。
3、切出し歪補正部115、及びマスク領域整形部126を含んでいる。本実施の形態で
は、マスク領域整形部126において、切出し歪補正部115における歪補正を受けるこ
とで見栄えのよい形状となるように、マスクデータ保持部112から読み出したマスク領
域を整形した上で、マスク実行部113に提供し、マスク実行部113がそのような予め
整形された形状のマスク領域について、全周囲画像に対してマスク処理を行い、切出し歪
補正部115は、マスク領域についてマスク処理が施された全周囲画像について、切出し
歪補正を行う。
ク領域整形部126を有している。マスク領域整形部126は、補正後マスク領域生成部
1261、補正後マスク領域整形部1262、及び逆変換補正部1263を備えている。
ビューワ220の切出しパラメータ設定部114で設定された切出しパラメータは、ビュ
ーワ220からカメラ120に送信され、カメラ120の補正後マスク領域生成部161
、逆変換補正部163、及び切出し歪補正部115に与えられる。
出して、切出しパラメータを補正パラメータとして用いて、このマスク領域を補正し、補
正後マスク領域を生成する。このマスク領域の補正は、同一の切出しパラメータを用いて
切出し歪補正部115にて行われる歪補正と同一の方法により行われる。上述のように、
マスクデータ補正部112には、水平及び垂直な辺からなる矩形のマスク領域が保持され
ているが、補正後マスク領域生成部1261における、切出しパラメータを用いた上述の
補正によって、補正後マスク領域は歪な形状になる。この補正後マスク領域は、補正後マ
スク領域整形部1262に与えられる。
形する。整形の具体的方法は、すでに述べたとおりである。整形されたマスク領域は、逆
変換補正部1263に与えられる。逆変換補正部1263は、切出しパラメータを用いて
、補正後マスク領域生成部1261及び切出し歪補正部115にて行われる補正とは逆の
補正を行う。これにより、補正後マスク領域整形部1262で整形された見栄えのよい形
状のマスク領域は、再び歪な形状になる。この歪な形状は、切出しパラメータを用いて歪
補正を行うことで、補正後マスク領域整形部1262における整形によって得られた見栄
えのよい形状に戻る形状である。
られ、マスク実行部113は、全周囲画像に対して、このマスク領域においてマスク処理
を施す。切出し歪補正部115は、そのようにして得られた、マスク領域にマスク処理が
施された全周囲画像に対して、切出しパラメータを用いた切出し、及び歪補正を行う。図
9から明らかなように、この切出し歪補正部115で補正パラメータとして用いられる切
出しパラメータは、補正後マスク領域生成部1261にてマスク領域を補正するのに用い
た切出しパラメータ及び逆変換補正部1263における逆変換に用いられた切出しパラメ
ータと同一のパラメータである。
い形状になるとともに、マスク領域以外の歪みも解消する。このようにして得られたマス
ク処理済みの歪補正画像をカメラ120からビューワ220に送信すると、ビューワ22
0では、出力部213にてこの歪補正画像が表示される。
とともに説明する。図10は、撮影システム102における処理の流れを説明する図であ
る。補正後マスク領域生成部1261は、マスクデータ保持部112からマスク領域MA
21を取得し、かつ、切出しパラメータ設定部14から切出しパラメータを取得して、こ
の切出しパラメータを補正パラメータとして用いてマスク領域MA21に対して歪補正を
行い、補正後マスク領域MA22を生成する(ステップS101)。
A23に整形する(ステップS102)。次に、逆変換補正部1263が、切出しパラメ
ータ設定部14から切出しパラメータを取得して、この切出しパラメータの逆数を補正パ
ラメータとして、補正後マスク領域MA23に対して、ステップS102における補正と
は逆方向の変換を行い(ステップS103)、逆変換補正マスク領域MA24を得る。全
周囲撮像部111が監視対象箇所を撮影することで全周囲画像IM21を取得すると(ス
テップS104)、マスク実行部113は、補正逆変化部1263にて得られた逆変換補
正マスク領域NAを用いて、全周囲画像IM21に対してマスク処理を行い(ステップS
105)、マスク処理が施された画像IM22が得られる。
ラメータ設定部114にて設定された切出しパラメータを用いて、切出し範囲の切出し及
び歪補正を行い(ステップS106)、歪補正画像IM23を得る。上述のように、この
歪補正画像IM23では、補正後マスク領域整形部1262にて整形された見栄えのよい
マスク領域にてマスク処理が行われている。
対する切出し歪補正で用いられるのと同じ補正パラメータを用いた補正が行われて、マス
ク領域が歪な形状とされる。そして、その歪な形状のマスク領域が整形された見栄えのよ
いマスク領域とされ、そのようなマスク領域がいったん上記の補正パラメータによって逆
変換されて、そのような領域をマスク領域として、歪みを有する全周囲画像にマスク処理
が行われる。そして、切出し歪補正部115にて、再び上記と同じ補正パラメータを用い
て歪補正が行われる。これにより、このようにして得られた歪補正画像において、マスク
領域は、補正後マスク領域整形部1262にて整形された見栄えのよい形状となる。
る構成としては、切出しパラメータ設定部114及び出力部213のみを備えていればよ
く、それらの処理負荷も大きくないので、ビューワ220は処理能力の限られた装置にお
いても実現できる。例えば、ビューワ220を携帯端末とする場合に、本実施の形態が有
効である。
次に、第3の実施の形態を説明する。図11は、第3の実施の形態の撮影システムの構
成を示すブロック図である。図11に示すように、第3の実施の形態の撮影システム10
3は、カメラ130とビューワ230を含んで構成される。カメラ130及びビューワ2
30の各構成要素において、第1の実施の形態と同じものについては、同一の符号を付し
て、詳細な説明は省略する。
3、切出しパラメータ設定部114、切出し歪補正部115、マスク領域歪補正部137
、及びマスク領域整形部138を備えている。
して、切出しパラメータ設定部114から取得した切出しパラメータを補正パラメータと
して用いて、切出し範囲の切出し及び歪補正を行い、全周囲画像上の歪補正マスク領域を
生成する。この歪補正マスク領域は、切出し範囲上のマスク領域であり、かつ、歪な形状
をしている。この歪補正マスク領域はマスク領域整形部138に出力される。
歪補正マスク領域を見栄えがよい形状に整形する。具体的な整形の方法は、上述したとお
りである。
出しパラメータ設定部114から読み出した切出しパラメータを補正パラメータとして、
切出し領域の切出し、及び歪補正を行い、歪補正画像を生成する。マスク実行部113に
は、切出し歪補正部115にて生成された歪補正画像と、マスク領域整形部138で整形
されたマスク領域を入力して、歪補正画像に対して、整形されたマスク領域のマスク処理
を行う。
0に送信される。ビューワ230の出力部213は、カメラ130から送信されてきた歪
補正画像を表示する。
とともに説明する。図12は、撮影システム103における処理の流れを説明する図であ
る。まず、マスク領域歪補正部137が切出しパラメータ設定部114から切出しパラメ
ータを読み出し、それを補正パラメータとして、マスクデータ保持部112から読み出し
たマスク領域MA31を補正して(ステップS121)、補正後のマスク領域MA32を
生成する。ここで、マスク領域歪補正部137は、全周囲画像上のマスク領域MA31に
対して、切出しパラメータを用いて切出し範囲を切り出した上で歪補正をする。その後、
マスク領域整形部138は、マスク領域歪補正部137にて補正されたマスク領域を見栄
えのよい形状に整形して(ステップS122)、整形後のマスク領域MA33を生成する
。
プS123)、切出し歪補正部115は、切出しパラメータ設定部114で設定された切
出しパラメータを用いてこの全周囲画像IM31から切出し範囲を切り出して、歪補正を
行ない(ステップS124)、歪補正画像IM32を生成する。マスク実行部113には
、この歪補正画像IM32とマスク領域整形部138で生成された整形後のマスク領域M
A33が入力される。マスク実行部113は、歪補正画像IM32に対して、整形後のマ
スク領域MA33についてマスク処理を行い(ステップS125)、マスク領域MA33
がマスク処理された歪補正画像IM33を生成する。
て、それぞれ同一の切出しパラメータを用いて、切出し歪補正が行なわれ、マスク領域に
ついては、そのようにして補正されたマスク領域が整形されて、切出し歪補正された全周
囲画像(歪補正画像)に適用される。
る構成としては出力部213を備えるのみであるので、ビューワ230は、処理能力の少
ない装置においても実現できる。
囲撮像部111を備え、ビューワ220、230が少なくとも出力部213を備えていれ
ば、他の構成要素については、カメラ120、130に備えられても、ビューワ220、
230に備えられてもよい。例えば、第3の実施の形態の撮影システム103において、
第2の実施の形態の撮影システム102と同様に、切出しパラメータ設定部114がビュ
ーワ230に備えられて、ビューワ230側で切出し範囲を指定できるようにしてよい。
以外の構成一部又は全部の構成が、カメラ及びビューワとは別体であってカメラとビュー
ワとの間に設けられた装置に備えられていてもよい。
1−4−1.第1の変形例
図13は、第1ないし第3の実施の形態で説明した切出し歪補正部115による、切出
し方向を説明する図である。図13Aは、円形状の全周囲画像の半径方向に切り出す場合
を示しており、図13Bは、全周囲画像の半径方向とは異なる方向(図13Aの切出し方
向と角度αをなす方向)に切り出す場合を示している。なお、切出し歪補正においてある
方向に切り出すとは、切出し範囲を切り出して歪補正をした後の矩形の画像において、当
該ある方向が上になるように切り出すことを意味する。
囲CA11に映っている人物Mを含む被写体の正立方向は、歪補正画像IM42における
垂直方向と一致する。一方、図13Bの場合は、半径方向と角度αをなす方向に切り出し
て歪補正画像を生成した結果、その切出し範囲CA12に映っている人物Mを含む被写体
の正立方向は、歪補正画像IM43における垂直方向から角度αだけ傾いている。
し範囲CA11を半径方向に切り出して、歪補正画像IM42において被写体の正立方向
が歪補正画像IM42の垂直方向に一致している場合には、歪補正によって歪な形状にな
ったマスク領域MA41を正立した矩形で囲うようなマスク領域MA42に整形すること
で、ユーザにとって見やすいマスク形状とすることができる。
像IM43において被写体の正立方向が歪補正画像IM43の垂直方向から傾いている場
合において、歪補正によって歪な形状になったマスク領域MA43を正立した矩形で囲う
ようなマスク領域MA44とすると、被写体は傾いているのに対してマスク領域MA44
は正立しているので、違和感が生じる。
の正立方向が歪補正画像IM43の垂直方向から傾いている場合には、その傾きを考慮し
て、歪補正によって歪な形状となったマスク領域MA43を整形する。具体的には、マス
ク領域MA43を、切出し方向の半径方向に対する傾き角度と同じ角度だけ傾いた方向を
成立方向とするマスク領域MA45に整形する。
正立方向と整形後のマスク領域の成立方向とが一致するので、違和感のない自然なマスク
処理が施された歪補正画像が得られる。
図15ないし図17は、マスク領域の整形の第2の変形例を説明するための図である。
まず、図15を参照して、全周囲画像に対して切出し範囲を切り出して歪補正を行ない、
歪補正画像を生成する処理を説明する。本変形例では、切出し範囲CA21を切出し範囲
として切出し歪補正が行なわれる場合には、全周囲画像IM51における切出し範囲CA
21内の画素がそれぞれ座標変換されて歪補正画像に投影される。例えば、全周囲画像I
M51における画素P11、P12、P13は、それぞれ、歪補正画像上のP21、P2
2、P23となる。歪補正画像において不足する画素は、例えば16画素四方のスクエア
ごとに、変換元の座標を線形補間することで埋められて、最終的に歪補正画像IM52が
生成される。
域の整形はスクエア単位で行う。図16は、本変形例の第1の方法を示す図である。この
例では、全周囲画像IM51上の切出し範囲CA21に対して切出し歪補正が行なわれて
歪補正画像IM53が生成されると、そこに設定されていたマスク領域MA51は、歪な
形状のマスク領域MA52となる。このマスク領域MA52を整形する場合には、このマ
スク領域MA52を囲い、かつ、全体が矩形となる複数のスクエアを整形後のマスク領域
MA53とする。
エアSQ1を含む行のスクエアを整形後のマスク領域の最上行のスクエアとし、マスク領
域MA52の最右点を含むスクエアSQ2を含む列のスクエアを整形後のマスク領域の最
右列のスクエアとし、マスク領域MA52の最下点を含むスクエアSQ3を含む行のスク
エアを整形後のマスク領域の最下行のスクエアとし、マスク領域MA52の最左点を含む
スクエアSQ4を含む列のスクエアを整形後のマスク領域の最左列のスクエアとして、そ
れらの最上行、最右列、最下行、及び最左列によって囲まれる矩形の領域を整形後のマス
ク領域MA53とする。
な形状となったマスク領域MA52を含むスクエア(のみ)を整形後のマスク領域MA5
4とする。整形後のマスク領域MA54は、水平及び垂直な線分のみからなる領域となり
、整形前のマスク領域MA52のように斜めの線分がないので、見栄えがよくなる。
発明の第1〜第3の実施の形態を説明したが、本発明は、全周囲画像に対して歪補正を行
なうことでパノラマ画像を生成し、その際に当該パノラマ画像の一部領域に対してマスク
処理をする場合にも適用できる。さらに、上記では、歪みを有する画像として、全周囲画
像を撮影する例を説明したが、歪みを有する画像は全周囲画像(水平画角約360度)に
限られない。歪みを有する画像に対して、マスク領域を設定するとともに、歪補正を行な
う撮影システムであれば、本発明が有効に適用される。
以下、本発明の第4〜第6の実施の形態の撮影システムを説明する。以下の説明におい
て、第4ないし第6の実施の形態のいずれも、カメラが魚眼レンズを用いて、有歪み画像
として全周囲画像を撮像する撮影システムを例に説明する。但し、本発明の有歪み画像は
、全周囲画像には限られず、広角レンズを用いた撮像によって歪みが生じている画像であ
ればよい。
図20は、本発明の実施の形態の画像表示システムを示すブロック図である。図20に
示すように、撮影システム104は、カメラ140とビューワ240とが接続されて構成
されている。カメラ140が監視カメラである場合は、カメラ140は監視対象箇所を撮
像できるように設置され、ビューワ240は、カメラ140において撮像されて、画像処
理された画像をユーザが閲覧するための装置である。ビューワ240は、例えばパーソナ
ルコンピュータであってよく、携帯端末であってもよい。カメラ140は、いわゆるネッ
トワークカメラであり、ビューワ240とは有線で接続されてよく、無線で接続されても
よい。また、カメラ140の全周囲撮像部141以外の構成の一部又は全部がビューワ2
40に備えられていてもよい。
143と、マスク枠重畳部144と、マスク実行部145と、切出し歪補正部146と、
合成部147とを備えている。ビューワ240は、入力部241と、マスク領域決定部2
42と、表示切替部243と、表示部244とを備えている。
像系である。この全周囲撮像部141によって、円形の全周囲画像が撮像される。この全
周囲画像は、外周に向かうほど歪みが強くなる有歪み画像である。全周囲撮像部141は
、撮像によって取得した全周囲画像をマスク枠重畳部144及びマスク実行部145に出
力し、また、ビューワ240に送信する。なお、全周囲撮像部141が撮像して出力する
画像は、静止画像であっても動画像であってもよい。動画である場合は、フレームごとに
以下に説明する処理が行われる。
には、表示の切り替えの指示、マスク領域の指定、マスク領域のキャンセル/決定の指示
等が含まれる。これらのうち、表示の切り替えの指示は表示切替部243に入力され、マ
スク領域の指定及びマスク領域のキャンセル/決定の指示は、マスク領域決定部242に
入力される。入力部241は、例えばマウス及びキーボード、又は表示部244と一体と
なったタッチセンサである。
る。具体的には、マウスでクリックされた全周囲画像上の点を1つの頂点として、現在の
ポインタの位置をその頂点の対角にある頂点とする、垂直方向及び水平方向の辺からなる
矩形(長方形)を求める。この全周囲画像上の矩形の位置及び形状(垂直方向の高さ及び
水平方向の幅)の情報は、マスク領域の指示情報として、カメラ140に送信される。
報を受け付けて、マスク枠生成部143及びマスク実行部145に出力する。マスク枠生
成部143は、マスク領域受付部142から得たマスク領域の指示情報に基づいて、当該
マスク領域の外延を示すマスク枠を生成する。このマスク枠には、全周囲画像におけるマ
スク枠の位置を示す情報も含まれる。
スク枠生成部143からマスク枠を取得し、全周囲画像にマスク枠の形状を重畳する。マ
スク枠重畳部144は、マスク枠が重畳された全周囲画像を合成部147及び表示切替部
243に出力する。
ク領域受付部142からマスク領域の指定情報を取得し、全周囲画像中のその指定情報に
対応するマスク領域に対して、マスク処理を行う。ここで、本実施の形態のマスク実行部
145によるマスク処理は、マスク領域を黒く塗りつぶす処理である。但し、マスク処理
はこれに限られず、モザイク処理など、マスク領域の画像の情報量を減少させる処理であ
れば他のマスク処理であってもよい。マスク実行部145は、マスク領域においてマスク
処理が施された全周囲画像を切出し歪補正部146に出力する。
し範囲を切出して、歪補正を行い、切出し歪補正画像を生成する。本実施の形態では、切
出し範囲は予め決められている。なお、この切出し範囲を示す枠が全周囲画像に重畳され
て表示されてもよい。切出し歪補正部146は、この切出し歪補正画像を合成部147に
出力し、また、ビューワ240に送信する。
像と、切出し歪補正部146から得た、マスク領域においてすでにマスク処理が施された
切出し歪補正画像を合成して、両画像を同時に表示するプレビュー画像を生成する。合成
部147は、生成したプレビュー画像をビューワ240に送信する。
44からマスク枠が重畳された全周囲画像を受信し、切出し補正部146からマスク領域
についてマスク処理が施された切出し歪補正画像を受信し、合成部147からプレビュー
画像を受信する。
、マスク領域を決定するためのマスク領域指定モードと、マスク領域についてマスク処理
がされた切出し歪補正画像を表示する通常モードとが設けられている。これらの表示モー
ドは、入力部241から入力に基づいて切り替えられる。表示切替部243は、入力部2
41からモードの切り替えの情報を取得して表示モードの切り替えを行う。
全周囲画像を表示部244に出力する。マスク領域指定モードにて、マスク枠重畳部14
4からマスク枠が重畳された全周囲画像を得たときには、表示切替部243は、そのマス
ク枠が重畳された全周囲画像を表示部244に出力し、合成部147からプレビュー画像
を得たときには、そのプレビュー画像を表示部244に出力する。また、表示切替部24
3は、通常モードでは、全周囲撮像部141から得た全周囲画像又は切出し歪補正部14
6から得たマスク領域についてマスク処理が施された切出し歪補正画像のいずれかを表示
部244に出力する。全周囲画像及びマスク処理が施された切出し歪補正画像のいずれを
出力するかは入力部241から指示に従う。
液晶表示パネルを備えた液晶表示装置であり、入力部241タッチセンサである場合は、
それと一体となったタッチパネルである。
の形態の全周囲画像の例を示す図である。全周囲撮像部141の水平視野角は360度で
あり、図21に示すように、全周囲画像は円形となる。この円形の全周囲画像には歪み画
生じており、その度合いは、画像全域において均一ではなく、円形の縁に近づくほど歪み
が大きくなる。図21に示す全周囲画像は、通常モードにおいて全周囲画像の表示が選択
された場合、及びマスク領域指定モードにてマスク領域を指定する際に表示される。
は、全周囲画像上でマスク領域を指定する。図22に示すように、全周囲画像上には入力
部241としてのマウスの操作に応じて移動するポインタが表示され、マウスをクリック
することでマスク領域の始点が指定される。始点が指定されてポインタが移動すると、マ
スク領域決定部242によって、始点とポインタの位置を対角の頂点とする、画面の垂直
方向に平行な辺及び画面の水平方向に平行な辺からなる矩形が求められる。この矩形の情
報(マスク領域の指定情報)を用いてマスク枠重畳部144にてマスク枠が重畳された全
周囲画像が生成されると、それが表示部244にて表示される。
は、求められた矩形を示す枠が重畳表示されている。ポインタを移動させて所望のマスク
領域を示す枠ができたら、その位置で、再度マウスをクリックすると、そのときのマスク
領域の指定情報を用いて、プレビュー画像が生成され、表示部244で表示される。
では、マスク枠が重畳された全周囲画像に、マスク領域にマスク処理が施された切出し歪
補正画像が重畳されて表示される。このとき、切出し歪補正画像は、全周囲画像に重畳さ
れたマスク枠から吹き出す吹き出しの中に配置される。
。ユーザは、吹き出し内の切出し歪補正画像を確認して、そのマスク領域が不満である場
合は、「キャンセル」ボタンをクリックすることで、このマスク領域をキャンセルできる
。キャンセルすると、表示切替部243は、図22に示すマスク領域指定のための表示に
切り替える。ユーザは、吹き出し内の切出し歪補正画像を確認して、そのマスク領域でよ
い場合は、「決定」ボタンをクリックすることで、このマスク領域を確定することができ
る。
補正画像は、通常モードにて切出し歪補正画像の表示が選択された場合に表示される。こ
の切出し歪補正画像では、確定されたマスク領域についてマスク処理が施されている。但
し、このマスク領域は、全周囲画像上で矩形の領域として指定されて確定されたものであ
るので、切出し歪補正画像においては、それを全周囲画像から生成する際の歪補正によっ
て、矩形で指定されたマスク領域は歪な形状になっている。
るフロー図である。図25を参照して、本実施の形態においてプレビュー画像を生成する
手順を説明する。まず、全周囲撮像部141にて全周囲画像D71が撮像される。次に、
この全周囲画像上でマスク領域D72が指定される。マスク枠重畳部144は、マスク領
域D72を用いて、生成されたマスク枠が全周囲画像D71に重畳されて、マスク枠が重
畳された全周囲画像D73を生成する。また、マスク実行部145は、全周囲画像D71
に対して、マスク領域D72におけるマスク処理が行われて、マスク領域についてマスク
処理が施された全周囲画像D74を生成する。
画像D74に対して、切出し範囲の切出し及び歪補正を行って、マスク領域においてマス
ク処理がされた切出し歪補正画像D75を生成する。最後に、合成部147は、マスク領
域にマスク枠が重畳された全周囲画像D73に対して、マスク領域においてマスク処理が
された切出し歪補正画像D75をその中に含む吹き出しを重畳して、プレビュー画像D7
6を生成する。
フローは、マスク領域指定モードにおける撮影システム104の動作を示している。図2
6を参照して、第4の実施の形態の撮影システム104の動作を説明する。
ステップS261)。次に、入力部241によって、マスク領域の指定が開始されたか否
かを判断する(ステップS262)。具体的には、入力部241の操作によってマスク領
域の始点がクリックされた場合に、マスク領域の指定が開始されたと判断する。マスク領
域の指定が開始されていない場合は(ステップS262にてNO)、マスク領域の指定が
開始されるまで、全周囲画像を表示して待つ。
がクリックされたときは(ステップS262にてYES)、マウスの操作によるポインタ
の移動に応じてマスク領域決定部242がマスク領域を求めてその指定情報をカメラ14
0に送信し、マスク領域受付部142がこのマスク領域の指定情報を取得する(ステップ
S263)。次に、マスク枠生成部143がマスク領域の指定情報に基づいて、マスク枠
を生成し(ステップS264)、マスク枠重畳部144が全周囲画像にマスク枠を重畳す
る(ステップS265)。このマスク枠の生成及び全周囲画像への重畳は、始点がクリッ
クされた後にポインタが移動している間、そのポインタの位置に応じて行われる。
45は、全周囲画像に対して、その仮確定したマスク領域(以下単に「マスク領域」とい
う。)をマスクするマスク処理を行う(ステップS266)。そして、切出し歪補正部1
46は、マスク領域についてマスク処理がされた全周囲画像から、切出し範囲の切出し及
び歪補正を行って、切出し歪補正画像を生成する(ステップS267)。この切出し歪補
正画像においては、マスク領域にマスク処理が施されている。合成部147は、マスク枠
が重畳された全周囲画像とマスク領域についてマスク処理が施された切出し歪補正画像と
を合成して、プレビュー画像を生成し(ステップS268)、ビューワ240に送信する
。
画像を表示部244に出力し、表示部244は、このプレビュー画像を表示する(ステッ
プS269)。ユーザが入力部241に対して、このプレビュー画像で示されたマスク領
域を確定したか否かを判断する(ステップS270)、プレビュー画像で示されたマスク
領域が確定すると(ステップS270でYES)、処理を終了する。ユーザが入力部24
1に対して、このプレビュー画像で示されたマスク領域をキャンセルすると(ステップS
270にてNO)、表示切替部243は、表示部244に出力する画像を全周囲画像に切
り替えて、再びマスク領域の指定情報を取得するステップS263に戻る。
示方法によれば、全周囲画像上でマスク領域の指定が行われて、プレビュー画像では、指
定されたマスク領域が全周囲画像上で認識可能に示されるとともに、このマスク領域も含
めて歪補正がされ、マスク領域を認識可能な切出し歪補正画像も同時に表示されるので、
全周囲画像上で指定したマスク領域が切出し歪補正画像においてどのような位置及び形状
の領域になるのかを確認できる。そして、確認の結果そのマスク領域でよい場合には、プ
レビュー画像に対して「決定」を指示することで、そのマスク領域を確定できる。
次に、本発明の第5の実施の形態を説明する。図27は、本発明の第5の実施の形態の
撮影システムのブロック図である。図27に示すように、撮影システム105は、カメラ
150とビューワ250とが接続されて構成されている。カメラ150が監視カメラであ
る場合は、カメラ150は監視対象箇所を撮像できるように設置され、ビューワ250は
、カメラ150において撮像されて、画像処理された画像をユーザが閲覧するための装置
である。ビューワ250は、例えばパーソナルコンピュータであってよく、携帯端末であ
ってもよい。カメラ150は、いわゆるネットワークカメラであり、ビューワ250とは
有線で接続されてよく、無線で接続されてもよい。また、カメラ150の全周囲撮像部1
21以外の構成の一部又は全部がビューワ250に備えられていてもよい。
部153と、マスク実行部154と、切出し歪補正部155と、合成部156とを備えて
いる。ビューワ250は、入力部251と、マスク領域決定部252と、マスク枠生成部
253と、マスク枠重畳部254と、表示切替部255と、表示部256とを備えている
。
、第4の実施の形態と比較して、主に以下の2点で相違する。第1の相違点は、プレビュ
ー画像を生成する手順及びそのための構成のカメラ150とビューワ250との間の分配
の相違である。即ち、第4の実施の形態では、カメラ140において、マスク実行部14
5で全周囲画像に対してマスク処理を行なった後に切出し歪補正部146でマスク領域で
のマスク処理がされた切出し歪補正画像を生成し、一方で、マスク枠重畳部144では、
全周囲画像に対してマスク領域の枠を重畳してマスク枠が重畳された全周囲画像を生成し
、合成部147で、マスク領域でマスク処理がされた切出し歪補正画像とマスク枠が重畳
された全周囲画像とを合成して、図19に示すプレビュー画像を生成した。これに対して
、本実施の形態では、カメラ150において、同様に、全周囲画像に対してマスク処理を
行なった後に切出し歪補正画像補正を行なって切出し歪補正画像を生成するが、この切出
し歪補正画像をまず全周囲画像と合成して、ビューワ250に送信する。ビューワ250
では、この合成画像にマスク枠を重畳することで、図19に示すようなプレビュー画像を
生成する。
固定とされていたが、本実施の形態では、マスク領域の指定情報に基づいて、切出し範囲
が決定される点である。以下、具体的に説明する。
て、そのマスク領域を示す指示情報をマスク枠生成部253に出力するとともに、カメラ
150に送信する。マスク領域受付部152は、マスク領域の指定情報を得て、それを切
出し範囲決定部153及びマスク実行部154に出力する。切出し範囲決定部153は、
マスク領域受付部152から得たマスク領域の指定情報に基づいて、切出し範囲を決定す
る。切出し範囲決定部153には指定情報によって示されるマスク領域と切出し範囲との
関係が記憶されており、マスク領域の指定情報が与えられるとそれに対応する切出し範囲
を求める。
が、本実施の形態では、切出し範囲決定部153は、マスク領域と中心及び向きが同一で
、マスク領域の10/7の大きさを持つ矩形の領域を切出し範囲として決定する。
受付部152から得たマスク領域にマスク処理を行なう。切出し歪補正部155は、マス
ク領域にマスク処理が施された全周囲画像に対して、切出し範囲決定部153にて決定さ
れた切出し範囲の切出し及び歪補正を行ない、マスク領域にマスク処理がされた切出し歪
補正画像を生成する。生成された切出し歪補正画像は合成部156に出力される。
56に出力され、ビューワ250に送信される。合成部156では、この全周囲画像と切
出し歪補正部155で生成された切出し歪補正画像とを合成して、合成画像を生成する。
この合成画像では、図19に示すように、全周囲画像に対して、切出し歪補正画像を含む
吹き出しが重畳されている。但し、この合成画像では、全周囲画像に、ユーザが指定した
マスク領域を示すマスク枠は重畳されていない。合成部156は、生成した合成画像をビ
ューワ250に送信する。
部253は、マスク領域決定部252から得たマスク領域の指示情報に基づいて、マスク
枠を生成し、マスク枠重畳部254に出力する。マスク枠重畳部254は、マスク枠生成
部253から得たマスク枠をカメラ150から得た合成画像に重畳して、図19に示すよ
うなプレビュー画像を生成し、表示切替部255に出力する。
その全周囲画像にマスク枠生成部253にて生成されたマスク枠を重畳して、表示切替部
255に出力する。マスク枠重畳部254は、全周囲画像でマスク領域の視点が指定され
てから、終点が決定されるまでの間に、ポインタの位置に応じて、ポインタの位置を終点
とする矩形のマスク枠を全周囲画像に重畳するときに、上記のように全周囲撮像部151
から得た全周囲画像にマスク枠を重畳する。マスク領域が仮確定されて、それに伴って切
出し歪補正部155がその仮確定されたマスク領域をマスク処理した切出し歪補正画像を
生成し、合成部156がその切出し歪補正画像を吹き出し内に含む合成画像を生成してビ
ューワ250に送信し、マスク枠重畳部254がこれを受けた後には、マスク枠重畳部2
54は、全周囲撮像部151から得た全周囲画像ではなく、この合成画像に対してマスク
枠を重畳して、プレビュー画像を生成し、表示切替部255に出力する。
54からプレビュー画像又はマスク枠が重畳された全周囲画像を取得し、切出し歪補正部
155からマスク領域にてマスク処理が施された切出し歪補正画像を取得する。表示切替
部255は、入力部251から表示モードの切り替えの情報を取得して表示モードの切替
えを行なう。
全周囲画像を表示部256に出力する。マスク領域指定モードにて、マスク枠重畳部25
4からマスク枠が重畳された全周囲画像を得たときには、表示切替部255は、そのマス
ク枠が重畳された全周囲画像を表示部256に出力し、マスク枠重畳部254からプレビ
ュー画像を得たときには、そのプレビュー画像を表示部256に出力する。また、表示切
替部255は、通常モードでは、全周囲撮像部151から得た全周囲画像又は切出し歪補
正部155から得たマスク領域についてマスク処理が施された切出し歪補正画像のいずれ
かを表示部256に出力する。全周囲画像及びマスク処理が施された切出し歪補正画像の
いずれを出力するかは入力部251から指示に従う。
るフロー図である。図28を参照して、本実施の形態においてプレビュー画像を生成する
手順を説明する。まず、全周囲撮像部151にて全周囲画像D11が撮像される。次に、
この全周囲画像上でマスク領域D12が指定される。マスク実行部154は、全周囲画像
D11に対して、マスク領域D12におけるマスク処理を行い、マスク領域についてマス
ク処理が施された全周囲画像D13を生成する。切出し範囲決定部153は、マスク領域
D12に基づいて切出し範囲を決定する。切出し歪補正部155は、マスク領域について
マスク処理がされた全周囲画像D13から、切出し範囲を切り出して、歪補正を行なって
、切出し歪補正画像D14を生成する。合成部156は、全周囲画像D11に対して、マ
スク領域においてマスク処理がされた切出し歪補正画像D14をその中に含む吹き出しを
重畳して、合成画像D15を生成する。
畳部254は、このマスク枠D16を合成画像D15に重畳して、プレビュー画像D17
を生成する。
フローは、マスク領域指定モードにおける撮影システム105の動作を示している。図2
9を参照して、第5の実施の形態の画像表示方法を説明する。
ステップS291)。次に、入力部251によって、マスク領域の指定が開始されたか否
かを判断する(ステップS292)。具体的には、入力部251の操作によってマスク領
域の始点がクリックされた場合に、マスク領域の指定が開始されたと判断する。マスク領
域の指定が開始されていない場合は(ステップS292にてNO)、マスク領域の指定が
開始されるまで、全周囲画像を表示して待つ。
がクリックされたときは(ステップS292にてYES)、マウスの操作によるポインタ
の移動に応じてマスク領域決定部252がマスク領域を求めてその指定情報をカメラ15
0に送信するとともに、マスク枠生成部253に出力する。カメラ150のマスク領域受
付部152がこのマスク領域の指定情報を取得する(ステップS293)。また、ビュー
ワ250のマスク枠生成部253がマスク領域の指定情報に基づいて、マスク枠を生成し
て(ステップS294)、マスク枠重畳部254に出力する。マスク重畳部254は、全
周囲画像にマスク枠を重畳して、表示部256は、これを表示する。このマスク枠の生成
及び全周囲画像への重畳は、始点がクリックされた後にポインタが移動している間、その
ポインタの位置に応じて行われる。
24は、全周囲画像に対して、全周囲画像におけるその仮確定したマスク領域についてマ
スク処理を行い(ステップS295)、切出し範囲決定部153は、仮確定したマスク領
域に基づいて切出し範囲を決定する(ステップS296)。そして、切出し歪補正部15
5は、マスク領域についてマスク処理がされた全周囲画像から、切出し範囲の切出し及び
歪補正を行って、切出し歪補正画像を生成する(ステップS297)。この切出し歪補正
画像においては、マスク領域にマスク処理が施されている。合成部156は、全周囲撮像
部151から取得した全周囲画像とマスク領域についてマスク処理が施された切出し歪補
正画像とを合成して、合成画像を生成し(ステップS298)、ビューワ250に送信す
る。
マスク枠生成部253で生成されたマスク枠を重畳して、プレビュー画像を生成し、表示
切替部255に出力し(ステップS299)、表示部256はこのプレビュー画像を表示
する(ステップS300)。ユーザが入力部251に対して、このプレビュー画像で示さ
れたマスク領域を確定したか否かを判断する(ステップS301)、プレビュー画像で示
されたマスク領域が確定すると(ステップS301でYES)、処理を終了する。ユーザ
が入力部251に対して、このプレビュー画像で示されたマスク領域をキャンセルすると
(ステップS301にてNO)、表示切替部253は、表示部254に出力する画像を全
周囲画像に切り替えて、再びマスク領域の指定情報を取得するステップS293に戻る。
250で合成画像に重畳してプレビュー画像を生成したり、全周囲画像に重畳してマスク
枠が重畳された全周囲画像を生成したりしている。上述のように、マスク領域を指定する
際には、始点を指定した後に、始点とポインタの現在位置とを対角の2頂点とする矩形の
枠を生成して全周囲画像に重畳する。このとき、始点とポインタの位置の情報をカメラ1
50に送信して、矩形の枠をカメラ150側で生成して全周囲画像に重畳した上で、ビュ
ーワ250に送ると、通信状況がよくない場合には、ポインタの動きに追随して全周囲画
像上に矩形の枠を表示することが困難になる場合がある。これに対して、本実施の形態で
は、マスク枠は、ポインタの位置を指定するための入力部251とそのマスク枠が重畳さ
れた全周囲画像を表示するための表示部256とを備えたビューワ250側で生成されて
、全周囲画像に重畳される。よって、カメラ150とビューワ250との間の通信状況に
関わらず、遅延無くマスク枠を全周囲画像に重畳して表示することができる。
て、切出し範囲を決定するので、マスク領域を含む切出し補正画像を全周囲画像とともに
確認することができる。なお、マスク領域の指定情報に基づいて切出し範囲を決定するた
めの本実施の形態で説明した構成は、本願の他の実施の形態の撮影システムにも適用でき
る。
次に、本発明の第6の実施の形態を説明する。図30は、本発明の第6の実施の形態の
画像表示システムのブロック図である。図30に示すように、撮影システム106は、カ
メラ160とビューワ260とが接続されて構成されている。カメラ160が監視カメラ
である場合は、カメラ160は監視対象箇所を撮像できるように設置され、ビューワ26
0は、カメラ160において撮像されて、画像処理された画像をユーザが閲覧するための
装置である。ビューワ260は、例えばパーソナルコンピュータであってよく、携帯端末
であってもよい。カメラ160は、いわゆるネットワークカメラであり、ビューワ260
とは有線で接続されてよく、無線で接続されてもよい。また、カメラ160の全周囲撮像
部161以外の構成の一部又は全部がビューワ260に備えられていてもよい。
163と、マスク枠重畳部164と、マスク領域歪補正部165と、切出しマスク実行部
166と、切出し補正部167と、合成部168とを備えている。ビューワ260は、入
力部261と、マスク領域決定部262と、表示切替部263と、表示部264とを備え
ている。
、マスク領域にマスク処理がされた切出し歪補正画像を生成するために、全周囲画像に対
して切出し歪補正をして切出し歪補正画像を生成するとともに、マスク領域に対しても全
周囲画像に対する切出し歪補正と同じ補正パラメータ(変換行列)を用いて切出し歪補正
をして切出し歪補正マスク領域を生成する。そして、切出し歪補正画像における切出し歪
補正マスク領域についてマスク処理をすることによって、マスク領域にマスク処理がされ
た切出し歪補正画像を生成する。以下、具体的に説明する。
域決定部262は、マスク領域を求めて、マスク領域の指定情報をカメラ160に送信す
る。カメラ160のマスク領域受付部162は、マスク領域の指定情報を受け付けて、マ
スク領域歪補正部165及びマスク枠生成部163に出力する。
づいてマスク枠を生成し、マスク枠重畳部164に出力する。マスク枠重畳部164は、
全周囲撮像部161から全周囲画像を得て、それにマスク枠を重畳して、マスク枠が重畳
された全周囲画像を生成し、合成部168に出力する。
定情報に基づいて、そのマスク領域に対して切出し歪補正を行うことで、切出し歪補正マ
スク領域を生成し、切出しマスク実行部166に出力する。また、切出し歪補正部167
は、全周囲撮像部161から得た全周囲画像に対して、切出し歪補正を行うことで切出し
歪補正画像を生成して、切出しマスク実行部166に出力する。
ついて、マスク処理を行うことで、マスク領域にマスク処理が施された切出し歪補正画像
を生成し、これを合成部168に出力する。合成部168は、マスク枠重畳部164から
マスク枠が重畳された全周囲画像を取得し、切出しマスク実行部166からはマスク領域
においてマスク処理がされた切出し歪補正画像を取得して、それらを用いて図19に示す
ようなプレビュー画像を生成する。ビューワ260における表示切替部263及び表示部
264は、第4の実施の形態のビューワ240における表示切替部243及び表示部24
4と同じであるので説明を省略する。
るフロー図である。図31を参照して、本実施の形態においてプレビュー画像を生成する
手順を説明する。まず、全周囲撮像部161にて全周囲画像D31が撮像される。次に、
この全周囲画像D3上でマスク領域D32が指定される。そして、マスク枠生成部163
が、マスク枠を生成して、マスク枠重畳部264が、このマスク枠を全周囲画像D31に
重畳して、マスク枠が重畳された全周囲画像D34を生成する。
を行うことで、切出し歪補正画像D35を生成する。また、マスク領域歪補正部165は
、マスク領域D32に対して、切出し歪補正部167と同じ切出し歪補正を行うことで、
切出し歪補正マスク領域D36を生成する。そして、切出しマスク実行部166は、切出
し歪補正画像D35における切出し歪補正マスク領域D36にマスク処理を行うことで、
マスク領域にてマスク処理がされた切出し歪補正画像D37を生成する。最後に、合成部
168は、マスク領域にマスク枠が重畳された全周囲画像D34に対して、マスク領域に
おいてマスク処理がされた切出し歪補正画像D37をその中に含む吹き出しを重畳して、
プレビュー画像D38を生成する。
フローは、マスク領域指定モードにおける撮影システム106の動作を示している。図3
2を参照して、第6の実施の形態の画像表示方法を説明する。
ステップS321)。次に、入力部261によって、マスク領域の指定が開始されたか否
かを判断する(ステップS322)。具体的には、入力部261の操作によってマスク領
域の始点がクリックされた場合に、マスク領域の指定が開始されたと判断する。マスク領
域の指定が開始されていない場合は(ステップS322にてNO)、マスク領域の指定が
開始されるまで、全周囲画像を表示して待つ。
がクリックされたときは(ステップS322にてYES)、マウスの操作によるポインタ
の移動に応じてマスク領域決定部262がマスク領域を求めてその指定情報をカメラ16
0に送信する。カメラ160のマスク領域受付部162がこのマスク領域の指定情報を取
得すると(ステップS323)、マスク枠生成部163がマスク領域の指定情報に基づい
て、マスク枠を生成して(ステップS324)、マスク重畳部164が、全周囲画像にマ
スク枠を重畳して(ステップS325)、表示部264は、これを表示する。このマスク
枠の生成及び全周囲画像への重畳は、始点がクリックされた後にポインタが移動している
間、そのポインタの位置に応じて行われる。
64は、マスク枠が重畳された全周囲画像を合成部168に出力する。そして、切出し歪
補正部167は、全周囲画像に対して切出し歪補正を行うことで、切出し歪補正画像を生
成する(ステップS326)。また、マスク領域歪補正部165は、マスク領域に対して
、ステップS326における切出し歪補正と同じ補正を行って、切出し歪補正マスク領域
を生成する(ステップS327)。次に、切出しマスク実行部166は、ステップS32
6で生成されたマスク処理がされた切出し歪補正画像における、ステップS327で生成
された切出し歪補正マスク領域に対してマスク処理を行う(ステップS328)。
、切出しマスク実行部166からマスク領域についてマスク処理がされた切出し補正画像
を取得すると、それらを合成して、図19に示すようなプレビュー画像を生成し(ステッ
プS329)、表示切替部263に出力する。そして、表示部264はこのプレビュー画
像を表示する(ステップS330)。ユーザが入力部261に対して、このプレビュー画
像で示されたマスク領域を確定したか否かを判断する(ステップS331)、プレビュー
画像で示されたマスク領域が確定すると(ステップS331でYES)、処理を終了する
。ユーザが入力部261に対して、このプレビュー画像で示されたマスク領域をキャンセ
ルすると(ステップS331にてNO)、表示切替部263は、表示部264に出力する
画像を全周囲画像に切り替えて、再びマスク領域の指定情報を取得するステップS323
に戻る。
補正パラメータを用いて切出し歪補正を行い、補正によって得られたマスク領域で切出し
歪補正画像をマスク処理する。本実施の形態によれば、マスク処理は歪補正された後に実
行されるので、プレビューにおいてもマスクされた画像ではなく、枠だけを描画するなど
の表示方法が可能となる。なお、第2の実施の形態で説明した、マスク領域の指定情報に
基づいて切出し範囲を決定する構成を本実施の形態に適用してもよいことは、上述したと
おりである。この場合には、マスク領域の指定情報によって決定された切出し範囲の情報
は、切出し歪補正部167及びマスク領域歪補正部165において共有される。
能である。以下、各種の変形例を説明する。
図33A〜図33Dは、本発明のプレビュー画像表示の指示操作の変形例を示す図であ
る。図33A〜図33Dは、表示部としての液晶パネルと入力部としてのタッチセンサと
で構成されるタッチパネルを用いた場合のマスク領域の指定からプレビュー画像の表示の
指示を行うまでの表示を示している。図33Aは、全周囲画像上でマスク領域が指定され
た例を示す図である。ユーザは、まず全周囲画像が表示されたタッチパネルにピンチイン
操作を行うことで、マスク領域を指定する。ここでは、上記の実施の形態と同様に、ピン
チイン操作により指定された2点を頂点とする、垂直方向及び水平方向の辺からなる矩形
の領域がマスク領域となる。
スク領域が重畳された全周囲画像に対して、ピンチアウト操作を行うことで、切出し範囲
を指定する。ここでは、切出し方向を半径方向としたときに、ピンチアウト操作により指
定された2点が切出し補正画像において対角の2頂点となる形状が切出し範囲となる。図
33Cは、全周囲画像上でプレビュー画像の表示が指示された例を示す図である。ユーザ
が、このマスク領域又は切出し領域に対してフリック操作をすると、全周囲画像に対して
マスク領域にてマスク処理が施された切出し補正画像が表示される。図33Dは、プレビ
ュー画像の表示例を示す図である。この変形例のプレビュー画像では、切出し歪補正画像
を含む吹き出しはなく、切出し歪補正画像がそのまま全周囲画像に重畳されて表示される
。また、プレビュー画像では、フリック操作によってはじかれた先の位置に切出し歪補正
画像が配置される。
するものであれば、上記の実施の形態の例に限られない。例えば、全周囲画像と切出し歪
補正画像とが並列に並べられてもよい。
ク枠を重畳し、切出し歪補正画像では、マスク領域を示すために、実際にマスク領域にお
いてマスク処理をしたが、本発明はこれに限られない。全周囲画像上のマスク領域を示す
ために、全周囲画像のマスク領域がマスク処理されてよく、切出し歪補正画像におけるマ
スク領域を示すために、切出し歪補正画像にマスク枠が重畳されてもよい。
始点と終点の2点を指定させて、全周囲画像上でその2点を対角の頂点とする垂直方向及
び水平方向の辺からなる矩形をマスク領域としたが、本発明はこれに限られない。例えば
、全周囲画像上で2点を指定することにより、切出し歪補正画像においてその2点を2つ
の頂点とする垂直方向及び水平方向の辺からなる矩形となる領域を求めて、それに対して
切出し歪補正の逆変換補正を行って、全周囲画像上でのマスク領域を求めて、それを全周
囲画像上に重畳するようにしてよい。この場合には、ユーザは、全周囲画像上で2点を指
定するが、全周囲画像上では、指定した処理領域として、その2点を対角の頂点とする矩
形は表示されず、歪な領域(切出し歪補正後に矩形となる)が重畳されることになる。ま
た、指定するマスク領域が矩形に限られないのはいうまでもない。
が行われたが、本発明はこれに限られない。マスク領域の大きさ及び形状は予め決められ
ていてもよく、この場合には、ユーザはマスク領域の指定として、その所定の大きさ及び
形のマスク領域の全周囲画像上での位置を指定するための1点の指定のみでよい。
領域でマスク処理がされた切出し歪補正が全周囲画像と合成されて、プレビュー画像が生
成されたが、本発明はこれに限られない。例えば、先に、切出し歪補正画像が表示されて
いて、その切出し歪補正画像上で、マスク領域を指定することにより、切出し歪補正画像
においてその指定されたマスク領域が示されるとともに、そのマスク領域を示すマスク枠
でマスク処理がされた全周囲画像と切出し歪補正画像とが合成されて、表示されてもよい
。
マスク領域の指定に基づいて決定される例を説明したが、切出し範囲は、別の方法で決定
されてもよい。例えば、マスク領域の指定とは独立したユーザによる切出し範囲の指定を
受けて、切出し範囲を決定してよい。また、切出し範囲の位置は固定されていても、移動
するものであってもよい。また、プレビュー画像を表示してそれを「キャンセル」してマ
スク領域の指定をし直すごとに、異なる切出し範囲が設定されてもよい。
領域についてマスク処理が施された1つの切出し歪補正画像が全周囲画像と合成されたが
、プレビュー画像において、マスク領域にマスク処理が施された切出し歪補正画像が複数
表示されてもよい。即ち、全周囲画像上で1つのマスク領域が指定された場合にも、切出
し範囲が異なる場合には、それぞれの切出し範囲の切出し歪補正画像上で、マスク領域は
異なる形状になるので、切出し範囲が複数種類ある場合には、プレビュー画像は、それら
の複数の切出し範囲に対応する複数の、マスク領域にてマスク処理がされた切出し歪み画
像を全周囲画像とともに表示するものであってよい。また、全周囲画像において、複数の
マスク領域が指定された場合に、それぞれのマスク領域について、上記と同様の処理を行
って、複数の切出し歪補正画像を含むプレビュー画像を生成してよい。
処理範囲を黒く塗りつぶす処理であったが、これに限られず、例えばマスク領域の解像度
を低くする(例えばモザイク処理)等、他の情報量を減らす処理によってプライバシーを
保護してもよい。また、マスク処理として、重要な範囲を処理範囲として指定して、この
処理範囲について優先的に符号量を割り当てて、低速の通信網でも当該処理範囲について
優先的に画質を確保するROI(Region Of Interest)処理を行ってもよい。
て全周囲画像を撮像し、画像表示システムはこの全周囲画像を取得したが、有歪み画像は
、補正可能な歪みを有する画像であれば、全周囲画像に限られない。
次に、本発明の第7の実施の形態の撮影システムを説明する。図35は、本発明の実施
の形態の撮影システムを示すブロック図である。図35に示すように、撮影システム10
7は、カメラ170と、ビューワ270と、画像処理装置370とを備えている。画像処
理装置370には、カメラ170及びビューワ270が接続されている。
で表示の対象となる画像を撮影する。カメラ170は、撮影対象を撮影するように所定の
箇所に固定される。
理された画像をユーザが閲覧するための装置である。ビューワ270は、例えばパーソナ
ルコンピュータであってよく、携帯端末であってもよい。カメラ170が監視カメラであ
る場合は、カメラ170は監視対象箇所を撮影できるように設置され、ビューワ270は
画像を監視する者によって利用される。
0及びビューワ270のそれぞれと接続される。画像処理装置370は、カメラ170及
びビューワ270と有線で接続されてよく、無線で接続されてもよい。また、画像処理装
置370は、その一部又は全部の構成がカメラ170又はビューワ270に備えられてい
てもよい。
ズの一種である魚眼レンズを有する撮像系である。この全周囲撮像部171によって、円
形の全周囲画像が撮影される。この全周囲画像は、例えば立体射影、等距離射影、等立体
角射影、正射影などの射影方式を持つ魚眼レンズによって撮像された有歪み画像である。
全周囲撮像部171は、撮影された画像を画像処理装置370に出力する。なお、全周囲
撮像部171が撮影して出力する画像は、静止画像であっても動画像であってもよい。
、マウス、タッチパネル等の入力装置を用いて、各種の入力を行う。本実施の形態では、
特に、カメラ170で撮影された全周囲画像上で位置指定の入力を行い、また、範囲確定
の入力を行う。
271は、例えば液晶表示パネルであってよい。画像表示部271は、後述する範囲指定
モード時にはユーザが処理範囲を指定するためのプレビュー画像を表示し、後述する通常
モード時には処理範囲に処理が施された通常画像を表示する。
囲重畳部374、確定判断部375、歪補正部376、画像出力部377、範囲計算部3
78、及び範囲指定部379を備えている。画像処理装置370は、通常モードと範囲指
定モードのいずれかで動作する。通常モードは、カメラ170で撮影された画像をビュー
ワ270で表示するためのモードであり、範囲指定モードは、処理範囲を決定するための
モードである。
入力を受けて、この全周囲画像の出力先を決定する。表示切替部371は、通常モード時
には入力画像を範囲処理部372に出力し、範囲指定モード時には入力画像を範囲重畳部
374に出力する。また、表示切替部371は、入力画像をいずれの出力先に決定したか
を示す情報を画像出力部377に出力する。
表示するモード、1つの切出し歪補正画像を表示するモード等、複数の表示モードがあり
、表示切替部371は、入力画像とともにこの表示モードの情報も範囲処理部372に出
力する。
記憶された処理範囲の情報を用いて、全周囲画像中の当該処理範囲に画像処理を施す。本
実施の形態では、範囲処理部372は、画像処理として、処理範囲を黒一色で塗りつぶす
マスキング処理を行う。よって、処理範囲はマスク領域に相当する。
応した処理範囲を採用する。また、範囲記憶部373に、複数の表示モードにそれぞれ対
応する複数の処理範囲が記憶されている場合において、全周囲画像をそのまま表示すると
きは、範囲処理部372は、それらの複数の処理範囲の合算(AND処理)で得られる範
囲を処理範囲とする。
憶している。通常モードに上述のような複数の表示モードがある場合には、範囲記憶部3
73は、表示モードごとに処理範囲を記憶していている。この処理範囲の情報は、確定判
断部375より取得する。
て処理範囲を記憶していてもよく、また、処理範囲の外周(枠)の曲線を示す関数の集合
として処理範囲を記憶していてもよい。
36Aは、座標の集合として処理範囲を記憶する場合を示しており、図36Bは、関数の
集合として処理範囲を記憶する場合を示している。図36Aの場合には、範囲記憶部37
3は、処理範囲の外周を構成する全ての点(画素)の座標(x0,y0),(x1,y1
),・・・を記憶している。図36Bの場合は、範囲記憶部373は、処理範囲の外周の
曲線を示す4つの関数f(x)、g(x)、h(x)、k(x)を記憶している。
指定モードにおいて用いられる。なお、範囲指定モードであるか通常モードであるかは、
ユーザがビューワ270の入力部272にて指定して、その情報が画像処理装置370に
与えられる。
得して、これに、確定判断部375から出力された未確定の処理範囲を示す画像情報を重
畳して、画像出力部377に出力する。なお、本実施の形態では、処理範囲を示す画像情
報は、処理範囲を囲う線分であるが、これに限らず、処理範囲を塗りつぶしたもの等、他
の画像情報であってもよい。
おいて全周囲画像がプレビュー画像として示されている場合において、ユーザが入力部2
72によってその全周囲画像上で指定した座標を取得し、範囲計算部378に出力する。
範囲指定の開始を説明する図であり、図37Bは、範囲指定の途中もしくは確定を説明す
る図である。ユーザは、画像表示部271に、範囲指定用のプレビュー画像としての全周
囲画像が表示されている場合に、その全周囲画像上で処理範囲を指定する。本実施の形態
では、入力部272がマウスでポインタを移動させる装置であり、このような入力部27
2を用いて始点及び終点を指定する。
は、ユーザは、入力部272を用いて、図37Aに示すように、始点としたいと箇所にポ
インタを合わせてクリックし、そのまま図37Bに示すように、終点としたい箇所にドラ
ッグする。終点としたい箇所でドラッグを終了すると、そのときのポインタの位置が終点
となり、この操作によって始点と終点が確定される。ドラッグの最中には、図37Bに示
すように、始点とドラッグされているポインタの位置である終点とから求められる処理範
囲がプレビュー画像に重畳表示される。範囲指定部379は、ユーザがポインタをドラッ
グ中は始点及びドラッグされているポインタの位置である終点の座標を、ドラッグを終了
した時は始点及び確定された終点の座標を範囲計算部378に出力する。
補正後に矩形となる全周囲画像上での範囲を算出する。範囲指定部379にて指定された
2点を対角の頂点とする歪補正後に矩形となる形状の全周囲画像における形状は、歪補正
のパラメータ、即ち歪補正の方法(パノラマ補正、切出し歪補正、など)や切出し歪補正
の場合は歪補正の対象となる位置(切出しの中心)及び画角(ズーム倍率)に応じて異な
ってくる。
ためには、全周囲画像の歪補正のパラメータ(以下、「歪補正パラメータ」という。)の
情報が必要となる。歪補正パラメータは、例えば、歪補正の方法(パノラマ補正、切出し
歪補正、など)や切出し歪補正の場合は歪補正の対象となる位置(切出しの中心)及び画
角(ズーム倍率)である。
れたものであれば、その切出し位置の情報を予め有していてもよい。予め固定された切出
し位置が複数ある場合には、範囲計算部378は、それぞれの表示範囲についてその情報
を有していてよい。このような固定的な切出し位置は扉に出入りする人を監視するような
場合に扉に対応する位置で常に切出し歪補正を行う場合などに使われる。歪補正パラメー
タをユーザが指定する場合には、歪補正パラメータについての入力部272に対するユー
ザの入力を範囲指定部379を介して取得して、それに基づいて歪補正パラメータを決定
してもよい。なお、これらの歪補正パラメータは、歪補正部376でも共有されており、
通常モードでは、歪補正部376は、これらの歪補正パラメータにもとづいて歪補正を行
う。
範囲の指定に基づいて決定してもよい。図38A及び図38Bは、処理範囲の指定に基づ
いて表示範囲を決定する処理を示す図である。図38Aは、全周囲画像上で指定された処
理範囲の始点及び終点を示す図であり、図38Bは、図38Aに示す処理範囲を切出し歪
補正後の画像上で示す図である。
の頂点を指定されると、範囲計算部378は、この2点の中間点を中心とするように歪補
正パラメータの切出し位置を決定する。切出し画角(ズーム倍率)は、固定であってよい
し、始点と終点との間の距離に応じて決定されてもよい。例えば、始点と終点とを結ぶ線
が切出し領域の対角線の一定割合となるようにしてよい。図38A及び図38Bの例では
、始点と終点とを結ぶ線が切出し領域の対角線の70%となり、かつ、始点と終点との中
点が切出し領域の中心となるように、歪補正パラメータが決定されている。なお、始点と
終点とを切出し領域の対向する2つの頂点(角)とする場合は、処理範囲と切出し領域と
が一致することになり、この場合には、切出し領域全体に対して範囲処理部372による
画像処理が行われることになる。
部379から始点及び終点の座標を取得すると、この歪補正パラメータと処理範囲の始点
及び終点の情報を用いて、全周囲画像における処理範囲を計算する。この処理範囲は、歪
補正パラメータにもとづいて歪補正がされて表示された場合に矩形となる範囲である。
正パラメータについて、歪補正後に矩形となる範囲を算出する。図39は、プレビュー画
像に重畳表示された処理範囲を示す図である。以下では、歪補正パラメータとして、第1
の歪補正パラメータ(例えば、任意の一部範囲の切出し歪補正画像)と第2の歪補正パラ
メータ(例えば、パノラマ画像)があるとする。
の各々に基づいた補正を行った後に矩形となるような処理範囲を計算する。
角の頂点とする第1の矩形を求める。範囲計算部378は、この第1の矩形に対して、先
に行われた第1の歪補正パラメータによる座標変換の逆変換を行う。この場合に、範囲計
算部378は、第1の歪補正パラメータが示す座標変換方法の変換関数の逆関数を用いて
、座標変換を行う。これにより、第1の矩形は歪んだ形状になる。この歪んだ形状が、図
39に示す全周囲画像における第1の処理範囲CA1となる。
の頂点とする第2の矩形を求める。範囲計算部378は、この第2の矩形に対して、先に
行われた第2の歪補正パラメータによる座標変換の逆変換を行う。これにより、第2の矩
形は歪んだ形状になる。この歪んだ形状が、図39に示す全周囲画像における第2の処理
範囲CA2となる。
は、範囲計算部378で算出された処理範囲を範囲重畳部374に出力し、ユーザが入力
部272に対して行った確定アクション(マウスのドラッグを終了するなど)を受け取る
と、その時点で範囲計算部378が算出している処理範囲を範囲記憶部373に記憶させ
る。
像)を受け取り、これに、確定判断部375より出力された処理範囲を重畳して画像出力
部377に出力する。上記のように、範囲計算部378にて複数の表示範囲に対応する複
数の処理範囲が計算されている場合には、範囲重畳部374は、これらの複数の処理範囲
をすべて全周囲画像に重畳する。
1に入力された全周囲画像が範囲処理部372に出力され、範囲処理部372にて範囲記
憶部373に記憶された処理範囲について画像処理が行われ、そのような部分的に画像処
理が施された全周囲画像が歪補正部376に入力される。
に対して、歪補正を行い、歪補正画像を生成する。表示モード即ち歪補正方法が複数通り
あり、範囲記憶部373に複数の表示モードに対応した複数通りの処理範囲が記憶されて
いる場合には、範囲処理部372は、表示モードに応じた処理範囲を読み出して、その処
理範囲について画像処理を施す。また、切出し歪補正を行う場合は、切り出し中心が処理
範囲を求めた際と異なる場合があるが、その場合には処理範囲は切出し領域の中心から外
れた場所に位置し、わずかに歪んだ矩形となる。また、処理範囲を計算する際に複数の切
出し中心に基づいた処理範囲を求めている場合には、歪補正部376が用いている切出し
中心に最も近い切出し中心で計算された処理範囲について画像処理を施すとよい。
び歪補正を行う。表示モードがパノラマ画像を表示するモードである場合は、この切出し
歪補正画像はパノラマ画像であり、表示モードが任意の一部範囲を切出して表示するモー
ドである場合は、この切出し歪補正画像は、当該一部範囲を切り出して歪補正をした画像
である。歪補正部376で生成された切出し歪補正画像は、画像出力部377に出力され
る。
ューワ270の画像表示部271に出力し、通常モードでは、歪補正部376から出力さ
れた画像をビューワ270の画像表示部271に出力する。画像出力部377は、範囲重
畳部374から出力された画像及び歪補正部376から出力された画像のいずれを出力す
るか、即ち、範囲指定モードであるか通常モードであるかの情報を表示切替部371より
取得する。
プレビュー画像として表示し、通常モード時には、画像出力部377から出力された画像
を一部範囲に画像処理が施された通常画像として表示する。
る。図40Aは、全周囲画像の任意の一部範囲を切出して補正した切出し歪補正画像を表
示する例を示し、図40Bは、全周囲画像の右半分をパノラマ展開したパノラマ画像を表
示する例を示している。
は、切出し歪補正画像において矩形となっており、この矩形の処理範囲にマスキング処理
が施されている。また、図40Bに示すように、図39において全周囲画像に重畳された
第2の処理範囲CA2は、パノラマ画像において矩形となっており、この矩形の処理範囲
にマスキング処理が施されている。
動作を示すフロー図である。まず、表示切替部371は、全周囲撮像部171から全周囲
画像を入力すると(ステップS341)、範囲指定モードであるか通常モードであるかを
判断する(ステップS342)。
部371は、範囲重畳部374に全周囲画像(入力画像)を出力して、この全周囲画像が
範囲重畳部374から画像出力部377を介して画像表示部271にてプレビュー画像と
して表示されるとともに、このプレビュー画像を用いて入力部272によって指定された
処理範囲を指定するための始点及び終点の情報が、範囲指定部379に入力される(ステ
ップS343)。
の情報を用いて、始点及び終点の座標変換を行い、座標変換された始点及び終点を対角の
頂点とする矩形を求め、この矩形に対して元の座標変換の逆変換を行うことで、処理範囲
を計算する(ステップS344)。
れていない場合には(ステップS345にてNO)、範囲計算部378にて算出された処
理範囲の外周を示す線分を範囲重畳部374に出力し、範囲重畳部374は、この線分を
表示切替部371から入力された全周囲画像に重畳(合成)する(ステップS346)。
この処理範囲を示す線分が重畳された全周囲画像は、画像出力部377を介して画像表示
部271に出力されて、画像出力部377に表示される(ステップS347)。この表示
画像の例が図37である。
範囲でよいか否かを判断して、入力部272を用いて、その処理範囲を確定するアクショ
ン(マウスのドラッグを終了する)及び範囲指定を継続するアクション(そのままマウス
のドラッグを継続する)のいずれかを行う。処理範囲が確定しておらず、ステップS34
5からステップS346を経てステップS347の処理が終了した後には、ステップS3
43に戻って、ユーザに新たな終点を指定させる。
理範囲の情報を範囲記憶部373に出力して、範囲記憶部373にこの処理範囲を記憶さ
せる(ステップS348)。ステップS348の後は通常モードとなる。ステップS34
8を経て通常モードとなった場合、及びステップS342にて通常モードと判断された場
合は、範囲処理部372は、範囲記憶部373から入力された処理範囲を、表示切替部3
71から入力された全周囲画像に適用して、その処理範囲について画像処理を行う(ステ
ップS349)。
画像を取得して、その全周囲画像から表示範囲を切出して歪補正を行い、切出し歪補正画
像を生成する(ステップS350)。画像出力部377は、歪補正部376にて生成され
た切出し歪補正画像を画像表示部31に出力し、画像表示部271はこれを表示する(ス
テップS351)。この表示画像の例が、図40Aや図40Bである。
範囲とすべき範囲の対角の2頂点を指定すると、全周囲画像を歪補正部376で歪補正し
た場合に当該指定された2点を対角の2頂点とする矩形範囲となる範囲を、全周囲画像上
に表示するので、ユーザは、全周囲画像に歪補正がされた場合に矩形となる処理範囲を、
全周囲画像上で処理範囲を確認できる。また、ドラッグ中のマウスのポインタの位置にお
ける処理範囲が表示されるため、現在の位置を終点として確定した場合にユーザの望む画
像上の位置が処理範囲内に入っているかどうかを確認することができる。また、複数の歪
補正の方法がある場合(即ち、複数の表示モードに対応した複数の表示範囲がある場合)
には、それぞれの表示モードに対応した歪補正によって矩形となるそれぞれの処理範囲を
全周囲画像上で同時に確認できる。これによってどのような表示モードにした場合でもユ
ーザの望む画像上の位置が処理範囲に入っているかどうかを確認することができる。
で種々の変形が可能である。例えば、上記の実施の形態では、処理範囲の内側に対して画
像処理を施したが、処理範囲の外側に画像処理を施してもよい。例えば、画像を得たい範
囲を処理範囲として指定して、この処理範囲については画像処理をせずに、その周囲にマ
スキング処理を施してもよい。また、重要な範囲を処理範囲として指定して、この処理範
囲について優先的に符号量を割り当てて、低速の通信網でも当該処理範囲について優先的
に画質を確保するROI(Region Of Interest)処理を行ってもよい。
基づいて決定してよく、その場合に、指定された範囲全体を処理範囲としてよいことを上
述したが、この場合に、この処理範囲を歪補正部376において切出し処理を行う範囲と
してよい。この場合には、範囲処理部372は画像処理として、処理範囲の切り出しを行
い、歪補正部376は、範囲記憶部373から取得した切り出された範囲の画像に対して
歪補正を行う。
算出したが、歪補正後の処理範囲は、円、楕円等の他の種類の形状であってもよい。また
、歪補正後の処理範囲が矩形以外の種類の形状である場合に、ユーザは3点以上の点を、
処理範囲を計算するための点として指定してよい。さらに、処理範囲の形状及び大きさを
固定とした場合には、ユーザは、その位置のみを指定してもよい(例えば中心を示す1点
のみを指定してよい)。
後に、ユーザが入力部272を使用してこの保存された処理範囲に対する操作を行って、
プレビュー画像上で処理範囲を変形させることで、処理範囲の指定を変更するようにして
よい。なお、この場合にも、変形される処理範囲は、常に歪補正後に矩形等の所定の種類
の形状となる形状に変形される。
を用いて全周囲画像を撮影し、画像処理装置370はこの全周囲画像を取得したが、有歪
み画像は、補正可能な歪みを有する画像であれば、全周囲画像に限られない。
次に、本発明の第8の実施の形態を説明する。上述のように、全周囲画像はパノラマ画
像に変形することができる。また、全周囲画像の一部を切出して補正して表示することも
できる。この場合、切出し位置をリアルタイムに変化させることで、PTZカメラとして
機能することができる。このように、全周囲画像については複数の表示方法を持つことが
できる。また、ビデオカメラでは、任意の範囲を指定し、その範囲に画像処理を行うこと
がある。例えば、プライバシー保護のためのマスク処理などがこれに当たる。
ような任意の範囲を指定する方法で範囲指定を行うと、歪補正の有無や表示方法の違い、
また画像の切出し位置によって範囲の形状が変化することになる。この状態ではユーザか
らは範囲指定の方法が難しく、指定された範囲の位置も判り難い表示になる。さらに、特
許文献2に記載の技術では、歪補正前後で多量の座標を投影する必要があり、情報の処理
量が増大するという問題がある。
範囲共有の情報処理量を低減できる撮影システムを説明する。
ある。図42に示すように、画像処理装置380には、カメラ180及びビューワ280
が接続されており、撮影システム108を構成している。
で表示の対象となる画像を撮影する。カメラ180は、撮影対象を撮影するように所定の
箇所に固定される。
理された画像をユーザが閲覧するための装置である。ビューワ280は、例えばパーソナ
ルコンピュータであってよく、携帯端末であってもよい。カメラ180が監視カメラであ
る場合は、カメラ180は監視対象箇所を撮影できるように設置され、ビューワ280は
画像を監視する者によって利用される。
0及びビューワ280のそれぞれと接続される。画像処理装置380は、カメラ180及
びビューワ280と有線で接続されてよく、無線で接続されてもよい。また、画像処理装
置380は、その一部または全部の構成がカメラ180またはビューワ280に備えられ
ていてもよい。
ズの一種である魚眼レンズを有する撮像系である。この全周囲撮像部181によって、円
形の全周囲画像が撮影される。この全周囲画像は、例えば立体射影、等距離射影、等立体
角射影、正射影などの射影方式を持つ魚眼レンズによって撮像された有歪み画像である。
全周囲撮像部181は、撮影された画像を画像処理装置380に出力する。なお、全周囲
撮像部181が撮影して出力する画像は、静止画像であっても動画像であってもよい。
、マウス、タッチパネル等の入力装置を用いて、各種の入力を行う。本実施の形態では、
特に、カメラ180で撮影された全周囲画像上で位置指定の入力を行う。
281は、例えば液晶表示パネルであってよい。画像表示部281は、後述する範囲指定
時にはユーザが処理範囲を指定するための画像を表示し、後述する画像表示時には処理範
囲に処理が施された画像を表示する。
処理部384、表示設定部385、範囲生成部386、位置指定部387、位置記憶部3
88、座標投影部389を備えている。画像処理装置380はカメラ180で撮影された
画像からビューワ280で表示するための画像を作成する機能と、処理範囲の指定を行う
機能との、2つの機能を備えている。
取得する。
には複数の補正処理が想定され、歪補正パラメータによって補正方法が決まる。図49A
は、従来の全周囲画像の例を示す図であり、図49Bは、従来の全周囲画像のパノラマ画
像を表示する例を示す図であり、図49Cは、従来の全周囲画像とともに複数の切出し範
囲の切出し画像を並べて表示する例を示す図である。例えば、図49Aの全周囲画像に対
して、図49Bに示すような全周囲画像から複数の範囲を切出して補正を行う方法(以下
、切出し歪補正と呼ぶ)や、図49Cに示すように、全周囲画像のうち180度分を使用
したパノラマ画像を生成し並べて表示する方法(以下、パノラマ補正またはパノラマ展開
と呼ぶ)などがある。なお、歪補正を行わず全周囲画像のまま出力してもよい。本実施の
形態では、歪補正部12は切出し歪補正またはパノラマ補正で処理を行い、画像を出力す
る。なお、歪補正パラメータとしては、歪補正の方法とその方法において必要なパラメー
タ(例えば切出し歪補正では切出し位置と大きさ)などである。
また、歪補正を行わない場合には歪補正パラメータを設定しない。表示設定部385で設
定された歪補正パラメータは歪補正部382、範囲生成部386、座標投影部389に受
け渡される。
範囲生成部386が生成した範囲情報を付加して出力する。この付加された範囲情報は任
意の画像処理の処理範囲として使用される。なお、範囲生成部386が範囲情報を生成し
ていない場合、入力画像をそのまま出力する。
範囲情報の範囲に任意の画像処理を行う。画像処理は、範囲情報の逆の範囲に適用しても
よい。本実施の形態では、画像処理部384は、画像処理として、処理範囲を黒一色で塗
りつぶすプライバシーマスク処理を行う。よって、処理範囲はマスク領域に相当する。
する。本実施の形態では、位置情報は画像表示部281で表示される画像上の一点の座標
値となる。
設定部385の歪補正パラメータにもとづいて、全周囲画像上の座標情報に変換する。
、「位置情報」と呼ぶ)を記憶する。本実施の形態では位置記憶部388は全周囲画像上
での直行座標系における一点の位置座標を記憶する。前記位置情報は極座標系などの、他
の座標系を用いてもよく、各表示設定で共有できる位置情報のテーブルとして保持しても
よい。
補正パラメータに基づいて、特定の位置に予め定められた形状の範囲情報を生成する。本
実施の形態では、位置記憶部388に記憶された全周囲画像上の位置座標を歪補正パラメ
ータに基づいて歪補正された画像上の座標系に変換し、その位置座標を中心とする固定さ
れた半径の円を範囲情報として生成する。
像表示と範囲設定の2つの動作がある。はじめに画像表示の動作について説明する。図4
3は、本発明の第8の実施の形態の画像表示装置の処理を示すフロー図である。画像取得
部381がカメラ180から入力された全周囲画像を歪補正部382に出力すると(ステ
ップS431)、歪補正部382は表示設定部385から受信する歪補正パラメータの有
無を判断する(ステップS432)。
正処理を行う(ステップS433)。歪補正パラメータが無い場合、ステップS433は
省略され、次のステップS434に移行する。
部388の位置情報は後述する範囲設定動作を行った場合に生成されるものである。すで
に範囲設定が行われ位置情報がある場合は、範囲生成部386が前記位置情報に応じた範
囲情報を出力し、範囲適用部383にて範囲情報が歪補正部382から出力された映像に
付加される(ステップS435)。範囲設定が行われていない、もしくは設定がリセット
されたなど位置情報が無い場合は、範囲情報の付加は行われない。
の処理を示すフロー図である。はじめに、範囲生成部386が位置記憶部から位置情報を
取得する(ステップS441)。本実施の形態では、この位置情報は全周囲画像上の一点
の座標である。次に、範囲生成部386は表示設定部385から歪補正パラメータの有無
を判断する(ステップS442)。
歪補正パラメータに基づいて、位置情報を変換する。本実施の形態では、全周囲画像上の
座標を歪補正された画像での座標へと変換を行う(ステップS443)。歪補正が無しと
判断された場合は、ステップS443は経由せずにステップS444に進む。続いて範囲
生成部386は最終的に得られた位置情報を基点とし、予め定めたれた形状の範囲情報を
生成する(ステップS444)。本実施の形態では、最終的に得られた歪補正後の座標を
中心とした予め定められた半径の円を範囲情報として形成する。ここで、歪補正パラメー
タが無い場合における最終的に得られた位置情報とは全周囲画像上の座標(位置記憶部3
88が保持していた位置情報のまま)を意味する。
像は画像処理部384に入力され、画像に付加された範囲情報が示す処理範囲に任意の画
像処理を適用する(ステップS436)。画像処理が適用された画像は画像表示部281
へ出力され、ユーザに表示される(ステップS437)。
実施の形態における位置情報を生成する処理を示すフロー図である。入力部282からの
ユーザの入力情報に応じて、位置指定部387は画像表示部281に表示されている画像
上の位置情報を出力する(ステップS451)。座標投影部389は表示設定部385の
設定情報を受け取り、歪補正パラメータの有無を判断する(ステップS452)。
タを元に、位置情報を歪補正前の全周囲画像上の座標に変換する(ステップS453)。
S452で歪補正パラメータが無しと判断された場合は、位置情報の必要はないので、ス
テップS453は実行せずにステップS454に進む。最後に、全周囲画像上の座標を位
置情報として位置記憶部に保持する(ステップS454)。
て範囲指定を行い、画像処理が行われた画像を表示する例について説明する。歪補正画像
510は、歪補正部382が全周囲画像520の複数個所について切出し歪補正を行った
画像である。この歪補正画像510に対してユーザが入力部282を通じ範囲指定のため
の位置511を指定する。
めの歪補正パラメータを用いて、指定された位置511を全周囲画像上520の座標52
1に変換する。続いて、位置記憶部388は変換された座標521を記憶する。
5は歪補正パラメータを切出し歪補正からパノラマ展開に変更する。歪補正部382はパ
ノラマ展開を行ったパノラマ展開画像530を作成する。また、範囲生成部386は位置
記憶部388から読み出した座標521と歪補正パラメータとを用いて、パノラマ展開画
像上での座標531を求める。続いて、予め定められた形状である円を座標531が中心
になるように範囲532を生成する。
る。さらに画像処理部384が範囲532に対してプライバシー処理を施す。最後に画像
表示部281が、プライバシー処理が施された画像を表示する。なお、位置511を指定
する際に、予め定められた形状である円を座標511が中心になるように表示してもよい
。
像上の1点を指定するだけで画像中の任意の範囲に対して画像処理を行うことができる。
その際に、画像処理される範囲は歪補正の有無やパラメータによらず同じ形状となりユー
ザにとって分かりやすい画像表示を実現することができる。
で種々の変形が可能である。例えば、範囲として円形以外の形状を用いてもよい。図47
A及び図47Bは、本発明の第8の実施の形態の範囲情報の例を示す図である。図47A
に範囲の形状として円、正方形、正三角形、正六角形を用いる場合を示す。図47Bに範
囲の形状として楕円、長方形、ひし形を用いる場合を示す。
向を決定する方法としては、例えばユーザが位置指定を行う際に位置に加えて方向も指定
する方法が考えられる。図48は、本発明の第8の実施の形態の形状の方向を指定する例
を示す図である。710は歪補正部382によって歪補正が行われ表示されている画像で
あり、その画像上でユーザは範囲指定の位置711と方向712を指定する。指定する方
法としては、タッチパネルで位置711をタップし、そこから方向712に沿って指を滑
らせる方法などが好適である。図47Aの楕円などにおいては、ユーザに縦横比を決定さ
せてもよい。また滑らせた指をどこで離すかなどの方法で形状の大きさを設定可能にして
もよい。
それに合わせて範囲を設定する方法が考えられる。具体的には、図47A中の矢印が、画
像の鉛直方向と一致するように形状の方向を決定すればよい。
画像上の1点と対応付けられる情報であれば何でもよい。例えば、歪補正有の場合には歪
補正パラメータと歪補正された画像上の座標の両方を位置情報としてもよい。この場合に
は、歪補正パラメータを用いて、歪補正された画像上の座標を全周囲画像上の座標に対応
付けることができる。また、絶対空間での座標に変換してそれを位置情報としてもよい。
ム率が大きい場合(画像中の物体を拡大して表示する場合)は、形状の大きさは小さくし
、ズーム率が小さい場合は形状の大きさを大きくする。これにより、ズーム倍率が変わっ
ても画像上の同じ対象について画像処理できるようになる。
を撮影し、画像処理装置380はこの全周囲画像を取得したが、撮像する画像は補正可能
な歪みを有する画像であれば、全周囲画像に限られない。
説明したが、上記の実施の形態に対して多様な変形が可能であり、そして、本発明の真実
の精神と範囲内にあるそのようなすべての変形を添付の請求の範囲が含むことが意図され
ている。
又は他の可能性は、実現可能である限り、他の実施の形態において、追加的に、又は代替
して適用され得る。
される領域の見栄えがよくなる等の効果を有し、歪みを有する画像に対して歪補正をする
とともに、その一部領域にマスク処理を施す画像処理装置等として有用である。
11 筐体
12 ドームカバー
13 基台
14 光学ユニット
15 主基板
16 魚眼レンズ
17 開閉カバー
18 取り付け金具
19 レンズホルダ
20 パッキン材
21 センサ基板
22 貫通孔
23 固定ネジ
24 MOSホルダ
25 MOSブランケット
26 固定ネジ
28 支持柱
29 嵌合ボス
27 コイルバネ
101〜103 撮影システム
110、120、130 カメラ
111 全周囲撮像部
112 マスクデータ保持部
113 マスク実行部
114 切出しパラメータ設定部
115 切出し歪補正部
126 マスク領域整形部
1261 補正後マスク領域生成部
1262 補正後マスク領域整形部
1263 逆変換補正部
137 マスク領域歪補正部
138 マスク領域整形部
210、220、230 ビューワ
211 マスク領域検出部
212 マスク領域整形部
213 出力部
104〜106 撮影システム
140、150、160 カメラ
141、151、161 全周囲撮像部
142、152、162 マスク領域受付部
143、253、163 マスク枠生成部
144、254、164 マスク枠重畳部
145、154 マスク実行部
146、155、167 切出し歪補正部
147、156、168 合成部
155 切出し範囲決定部
165 マスク領域歪み補正部
166 切出しマスク実行部
240、250、260 ビューワ
241、251、261 入力部
242、252、262 マスク領域決定部
243、255、263 表示切替部
244、256、264 表示部
107 撮影システム
170 カメラ
171 全周囲撮像部
270 ビューワ
271 画像表示部
272 入力部
370 画像処理装置
371 表示切替部
372 範囲処理部
373 範囲記憶部
374 範囲重畳部
375 確定判断部
376 歪補正部
377 画像出力部
378 範囲計算部
379 範囲指定部
108 撮影システム
180 カメラ
181 全周囲撮像部
280 ビューワ
281 画像表示部
282 入力部
380 画像処理装置
381 画像取得部
382 歪補正部
383 範囲適用部
384 画像処理部
385 表示設定部
386 範囲生成部
387 位置指定部
388 位置記憶部
389 座標投影部
Claims (13)
- 有歪み画像を取得する画像取得部と、
前記有歪み画像上の範囲指定に関する入力を取得する範囲指定部と、
取得した前記範囲指定に関する入力に基づき、歪み補正処理後に所定種類の形状となる第1の形状を計算する範囲計算部と、
前記第1の形状を有する第1の処理範囲を前記有歪み画像に重畳する範囲重畳部と、
前記第1の処理範囲を前記有歪み画像に重畳した画像を表示する表示切替部と、を備え、
前記範囲指定部は前記有歪み画像上で指定された複数点を前記範囲指定に関する入力として取得する、
画像表示装置。 - 前記所定種類の形状は矩形である、
請求項1に記載の画像表示装置。 - 前記第1の形状の歪み補正後に相当する前記矩形の二つの頂点は前記有歪み画像上で指定された前記複数点に相当する、
請求項2に記載の画像表示装置。 - 前記有歪み画像上で指定された前記複数点は、前記第1の形状の外周上の点に相当する、
請求項1に記載の画像表示装置。 - 前記第1の形状は、曲線を含む、
請求項1に記載の画像表示装置。 - 前記範囲計算部は、前記第1の形状が歪み補正処理される場合、前記第1の形状を構成する前記曲線が直線となるように前記第1の形状を計算する、
請求項5に記載の画像表示装置。 - 有歪み画像を取得する画像取得部と、
前記有歪み画像上の範囲指定に関する入力を取得する範囲指定部と、
取得した前記範囲指定に関する入力に基づき、歪み補正処理後に所定種類の形状となる第1の形状を計算する範囲計算部と、
前記第1の形状を有する第1の処理範囲を前記有歪み画像に重畳する範囲重畳部と、
前記第1の処理範囲を前記有歪み画像に重畳した画像を表示する表示切替部と、
前記有歪み画像の前記第1の処理範囲に対して画像処理を実施する画像処理部と、
少なくとも前記第1の処理範囲を含む前記有歪み画像の少なくとも一部の歪みを補正して切出し歪み補正画像を生成する歪み補正部と、を備え、
前記表示切替部は、前記所定種類の形状に前記画像処理が実施された範囲を含む切出し歪み補正画像を表示する、
画像表示装置。 - 前記画像処理はROI処理を含む、
請求項7に記載の画像表示装置。 - 有歪み画像を取得する画像取得部と、
前記有歪み画像上の範囲指定に関する入力を取得する範囲指定部と、
取得した前記範囲指定に関する入力に基づき、歪み補正処理後に所定種類の形状となる第1の形状を計算する範囲計算部と、
前記第1の形状を有する第1の処理範囲を前記有歪み画像に重畳する範囲重畳部と、
前記第1の処理範囲を前記有歪み画像に重畳した画像を表示する表示切替部と、を備え、
前記範囲計算部は、取得した前記範囲指定に関する入力に基づき、歪み補正処理後に所定種類の形状となる第2の形状を計算し、
前記範囲重畳部は、前記第1の形状を有する前記第1の処理範囲と前記第1の形状とは異なる前記第2の形状を有する第2の処理範囲とを前記有歪み画像に重畳し、
前記表示切替部は、前記第1の処理範囲及び前記第2の処理範囲を前記有歪み画像に重畳した画像を表示する、
画像表示装置。 - 前記第1の処理範囲の少なくとも一部は、前記第2の処理範囲と重なる、
請求項9に記載の画像表示装置。 - 有歪み画像を取得するステップと、
前記有歪み画像上の範囲指定に関する入力を取得するステップと、
取得した前記範囲指定に関する入力に基づき、歪み補正処理後に所定種類の形状となる第1の形状を計算するステップと、
前記第1の形状を有する第1の処理範囲を前記有歪み画像に重畳するステップと、
前記第1の処理範囲を前記有歪み画像に重畳した画像を表示するステップと、を備え、
前記範囲指定に関する入力は前記有歪み画像上で指定された複数点を前記範囲指定に関する入力として取得する、
画像表示方法。 - 有歪み画像を取得する画像取得ステップと、
前記有歪み画像上の範囲指定に関する入力を取得する範囲指定ステップと、
取得した前記範囲指定に関する入力に基づき、歪み補正処理後に所定種類の形状となる第1の形状を計算するステップと、
前記第1の形状を有する第1の処理範囲を前記有歪み画像に重畳するステップと、
前記第1の処理範囲を前記有歪み画像に重畳した画像を表示するステップと、
前記有歪み画像の前記第1の処理範囲に対して画像処理を実施するステップと、
少なくとも前記第1の処理範囲を含む前記有歪み画像の少なくとも一部の歪みを補正して切出し歪み補正画像を生成するステップと、を備え、
第1の処理範囲を前記有歪み画像に重畳した画像を表示するステップは、前記所定種類の形状に前記画像処理が実施された範囲を含む切出し歪み補正画像を表示する、
画像表示方法。 - 有歪み画像を取得する画像取得ステップと、
前記有歪み画像上の範囲指定に関する入力を取得する範囲指定ステップと、
取得した前記範囲指定に関する入力に基づき、歪み補正処理後に所定種類の形状となる第1の形状を計算するステップと、
前記第1の形状を有する第1の処理範囲を前記有歪み画像に重畳するステップと、
前記第1の処理範囲を前記有歪み画像に重畳した画像を表示するステップと、
前記第1の形状を計算するステップは、取得した前記範囲指定に関する入力に基づき、歪み補正処理後に所定種類の形状となる第2の形状を計算し、
前記第1の形状を有する第1の処理範囲を前記有歪み画像に重畳するステップは、前記第1の形状を有する前記第1の処理範囲と前記第1の形状とは異なる前記第2の形状を有する第2の処理範囲とを前記有歪み画像に重畳し、
前記第1の処理範囲を前記有歪み画像に重畳した画像を表示するステップは、前記第1の処理範囲及び前記第2の処理範囲を前記有歪み画像に重畳した画像を表示する、
画像表示方法。
Applications Claiming Priority (8)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012017576 | 2012-01-31 | ||
JP2012017576 | 2012-01-31 | ||
JP2012027160 | 2012-02-10 | ||
JP2012027160 | 2012-02-10 | ||
JP2012047166 | 2012-03-02 | ||
JP2012047166 | 2012-03-02 | ||
JP2012075741 | 2012-03-29 | ||
JP2012075741 | 2012-03-29 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017030820A Division JP6388176B2 (ja) | 2012-01-31 | 2017-02-22 | 画像表示装置及び画像表示方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019017069A JP2019017069A (ja) | 2019-01-31 |
JP6587113B2 true JP6587113B2 (ja) | 2019-10-09 |
Family
ID=48904895
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013556256A Active JP6108176B2 (ja) | 2012-01-31 | 2013-01-28 | 画像処理装置及び画像処理方法 |
JP2017030820A Active JP6388176B2 (ja) | 2012-01-31 | 2017-02-22 | 画像表示装置及び画像表示方法 |
JP2018145254A Active JP6587113B2 (ja) | 2012-01-31 | 2018-08-01 | 画像処理装置及び画像処理方法 |
Family Applications Before (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013556256A Active JP6108176B2 (ja) | 2012-01-31 | 2013-01-28 | 画像処理装置及び画像処理方法 |
JP2017030820A Active JP6388176B2 (ja) | 2012-01-31 | 2017-02-22 | 画像表示装置及び画像表示方法 |
Country Status (5)
Country | Link |
---|---|
US (3) | US9396529B2 (ja) |
JP (3) | JP6108176B2 (ja) |
DE (1) | DE112013000762T5 (ja) |
GB (1) | GB2514495B (ja) |
WO (1) | WO2013114848A1 (ja) |
Families Citing this family (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6108176B2 (ja) * | 2012-01-31 | 2017-04-05 | パナソニックIpマネジメント株式会社 | 画像処理装置及び画像処理方法 |
JP5924020B2 (ja) * | 2012-02-16 | 2016-05-25 | セイコーエプソン株式会社 | プロジェクター、及び、プロジェクターの制御方法 |
JP5791082B2 (ja) * | 2012-07-30 | 2015-10-07 | 国立大学法人横浜国立大学 | 画像合成装置、画像合成システム、画像合成方法およびプログラム |
JP6434209B2 (ja) | 2013-12-20 | 2018-12-05 | 株式会社リコー | 画像生成装置、画像生成方法、およびプログラム |
JP6251617B2 (ja) * | 2014-03-20 | 2017-12-20 | アイホン株式会社 | インターホン機器 |
JP2015210702A (ja) * | 2014-04-28 | 2015-11-24 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
JP6436385B2 (ja) * | 2014-12-17 | 2018-12-12 | パナソニックIpマネジメント株式会社 | 撮像装置、画像処理装置及び画像処理方法 |
JP6568374B2 (ja) * | 2015-03-27 | 2019-08-28 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
WO2016185522A1 (ja) * | 2015-05-15 | 2016-11-24 | 三菱電機株式会社 | 画像処理装置及び画像処理方法及び画像処理プログラム |
KR20180029315A (ko) * | 2016-09-12 | 2018-03-21 | 삼성전자주식회사 | 가상 현실 컨텐트의 영상을 투영하기 위한 영상 처리 방법 및 장치 |
WO2018180213A1 (ja) * | 2017-03-28 | 2018-10-04 | 富士フイルム株式会社 | 画像修正装置、画像修正方法及びプログラム |
KR101919132B1 (ko) * | 2017-05-15 | 2019-02-08 | 주식회사 뷰오 | 동영상 처리 장치, 방법 및 그 방법을 실행시키기 위한 컴퓨터 프로그램 |
JP6857088B2 (ja) * | 2017-06-20 | 2021-04-14 | キヤノン株式会社 | 画像処理装置およびその制御方法、撮像装置、監視システム |
JP6606530B2 (ja) * | 2017-06-20 | 2019-11-13 | キヤノン株式会社 | 画像処理装置およびその制御方法、撮像装置、監視システム |
US10565778B2 (en) | 2017-08-22 | 2020-02-18 | Samsung Electronics Co., Ltd. | Electronic devices for and methods of implementing memory transfers for image warping in an electronic device |
JP7210188B2 (ja) * | 2017-08-31 | 2023-01-23 | キヤノン株式会社 | 情報処理システム、制御装置及び情報処理方法 |
JP6692867B2 (ja) * | 2018-09-07 | 2020-05-13 | 日本航空株式会社 | 構造物の内部を確認するためのシステムおよび方法 |
JP6700539B2 (ja) * | 2018-10-15 | 2020-05-27 | 株式会社アルファコード | 映像処理装置、映像処理方法、及び映像処理プログラム |
US10897573B2 (en) * | 2018-11-21 | 2021-01-19 | Ricoh Company, Ltd. | Image capturing system, terminal and computer readable medium which correct images |
US11683464B2 (en) | 2018-12-28 | 2023-06-20 | Canon Kabushiki Kaisha | Electronic device, control method, and non-transitorycomputer readable medium |
US11295541B2 (en) * | 2019-02-13 | 2022-04-05 | Tencent America LLC | Method and apparatus of 360 degree camera video processing with targeted view |
JP7093015B2 (ja) * | 2019-04-24 | 2022-06-29 | 日本電信電話株式会社 | パノラマ映像合成装置、パノラマ映像合成方法、及びパノラマ映像合成プログラム |
CN111355863B (zh) * | 2020-04-07 | 2022-07-22 | 北京达佳互联信息技术有限公司 | 一种图像畸变校正方法、装置、电子设备及存储介质 |
JP2022162426A (ja) * | 2021-04-12 | 2022-10-24 | ソニーセミコンダクタソリューションズ株式会社 | 情報処理方法、情報処理装置、プログラム |
EP4325425B1 (en) * | 2022-08-15 | 2024-06-12 | Axis AB | A method and system for defining an outline of a region in an image having distorted lines |
Family Cites Families (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4862388A (en) * | 1986-12-15 | 1989-08-29 | General Electric Company | Dynamic comprehensive distortion correction in a real time imaging system |
JPH0855133A (ja) * | 1994-08-16 | 1996-02-27 | Nippon Telegr & Teleph Corp <Ntt> | 顔画像による登録データ検索装置 |
JPH11250238A (ja) * | 1998-02-27 | 1999-09-17 | Kyocera Corp | ブロック単位でディストーション補正を行うディジタル撮像装置 |
JP3740351B2 (ja) * | 2000-06-23 | 2006-02-01 | 日本電信電話株式会社 | 画像加工装置および方法およびこの方法の実行プログラムを記録した記録媒体 |
JP4827213B2 (ja) * | 2001-03-12 | 2011-11-30 | 株式会社メガチップス | 画像補正装置および画像補正方法 |
US7433089B2 (en) * | 2001-09-27 | 2008-10-07 | Fujifilm Corporation | Image processor |
US7893959B2 (en) * | 2002-01-22 | 2011-02-22 | Sanyo Electric Co., Ltd. | Video display system for correcting the position and size of mask images |
JP3996805B2 (ja) | 2002-06-06 | 2007-10-24 | 株式会社日立製作所 | 監視カメラ装置、監視カメラシステム装置及び撮像画面のマスク方法 |
US20100002070A1 (en) * | 2004-04-30 | 2010-01-07 | Grandeye Ltd. | Method and System of Simultaneously Displaying Multiple Views for Video Surveillance |
US7437013B2 (en) * | 2003-12-23 | 2008-10-14 | General Instrument Corporation | Directional spatial video noise reduction |
US7366359B1 (en) | 2004-07-08 | 2008-04-29 | Grandeye, Ltd. | Image processing of regions in a wide angle video camera |
EP1950954B1 (en) | 2005-11-11 | 2011-04-06 | Sony Corporation | Image processing device, image processing method, program thereof, recording medium containing the program, and imaging device |
US9344612B2 (en) * | 2006-02-15 | 2016-05-17 | Kenneth Ira Ritchey | Non-interference field-of-view support apparatus for a panoramic facial sensor |
JP4940820B2 (ja) * | 2006-08-09 | 2012-05-30 | パナソニック株式会社 | ネットワークカメラ |
JP2008061172A (ja) * | 2006-09-04 | 2008-03-13 | Sony Corp | 画像処理装置、画像処理方法、そのブログラム及びそのプログラムを記録した記録媒体 |
JP4886850B2 (ja) * | 2007-06-28 | 2012-02-29 | パナソニック株式会社 | 画像処理装置、画像処理方法、プログラム |
JP4926877B2 (ja) * | 2007-08-02 | 2012-05-09 | キヤノン株式会社 | 画像処理装置及び方法、並びにプログラム |
JP2009081496A (ja) * | 2007-09-25 | 2009-04-16 | Hitachi Ltd | 車載カメラ |
JP5088161B2 (ja) * | 2008-02-15 | 2012-12-05 | ソニー株式会社 | 画像処理装置、カメラ装置、通信システム、画像処理方法、およびプログラム |
JP5002506B2 (ja) * | 2008-03-26 | 2012-08-15 | 株式会社エルモ社 | カメラシステム |
EP2359192B1 (en) * | 2008-12-05 | 2013-02-13 | Micronic Mydata AB | Gradient-assisted image resampling for microlithography |
US8015511B2 (en) * | 2009-01-05 | 2011-09-06 | International Business Machines Corporation | Adjustment of mask shapes for improving printability of dense integrated circuit layout |
JP5402026B2 (ja) * | 2009-01-30 | 2014-01-29 | 株式会社ニコン | 電子カメラおよび画像処理プログラム |
JP5233926B2 (ja) * | 2009-09-10 | 2013-07-10 | 大日本印刷株式会社 | 魚眼監視システム |
WO2012001947A1 (ja) * | 2010-06-28 | 2012-01-05 | 株式会社ニコン | 撮像装置、画像処理装置、画像処理プログラム記録媒体 |
JP5791256B2 (ja) * | 2010-10-21 | 2015-10-07 | キヤノン株式会社 | 表示制御装置、表示制御方法 |
JP6108176B2 (ja) * | 2012-01-31 | 2017-04-05 | パナソニックIpマネジメント株式会社 | 画像処理装置及び画像処理方法 |
US9049355B2 (en) * | 2012-09-21 | 2015-06-02 | Htc Corporation | Methods for image processing of face regions and electronic devices using the same |
JP6112479B2 (ja) | 2012-11-29 | 2017-04-12 | パナソニックIpマネジメント株式会社 | 監視カメラ装置、それを含む監視システム、マスク処理方法、及びマスク処理プログラム |
-
2013
- 2013-01-28 JP JP2013556256A patent/JP6108176B2/ja active Active
- 2013-01-28 WO PCT/JP2013/000423 patent/WO2013114848A1/ja active Application Filing
- 2013-01-28 GB GB1413187.4A patent/GB2514495B/en active Active
- 2013-01-28 DE DE112013000762.2T patent/DE112013000762T5/de active Pending
-
2014
- 2014-07-28 US US14/444,275 patent/US9396529B2/en active Active
-
2016
- 2016-06-15 US US15/183,197 patent/US9836829B2/en active Active
-
2017
- 2017-02-22 JP JP2017030820A patent/JP6388176B2/ja active Active
- 2017-11-03 US US15/802,677 patent/US10366477B2/en active Active
-
2018
- 2018-08-01 JP JP2018145254A patent/JP6587113B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
US9836829B2 (en) | 2017-12-05 |
US20180053286A1 (en) | 2018-02-22 |
DE112013000762T5 (de) | 2014-12-11 |
JP2019017069A (ja) | 2019-01-31 |
JP2017126352A (ja) | 2017-07-20 |
US9396529B2 (en) | 2016-07-19 |
US20160292833A1 (en) | 2016-10-06 |
US10366477B2 (en) | 2019-07-30 |
WO2013114848A1 (ja) | 2013-08-08 |
US20150016746A1 (en) | 2015-01-15 |
JP6108176B2 (ja) | 2017-04-05 |
GB201413187D0 (en) | 2014-09-10 |
JPWO2013114848A1 (ja) | 2015-05-11 |
JP6388176B2 (ja) | 2018-09-12 |
GB2514495A (en) | 2014-11-26 |
GB2514495B (en) | 2015-04-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6587113B2 (ja) | 画像処理装置及び画像処理方法 | |
US9398214B2 (en) | Multiple view and multiple object processing in wide-angle video camera | |
US9602700B2 (en) | Method and system of simultaneously displaying multiple views for video surveillance | |
JP4098808B2 (ja) | 遠隔映像表示方法、映像取得装置及びその方法とそのプログラム | |
KR101329470B1 (ko) | 화상 처리 장치, 화상 처리 방법 및 그 프로그램을 기록한 기록 매체 | |
JP4268206B2 (ja) | 魚眼レンズカメラ装置及びその画像歪み補正方法 | |
JP4243767B2 (ja) | 魚眼レンズカメラ装置及びその画像抽出方法 | |
US20100111440A1 (en) | Method and apparatus for transforming a non-linear lens-distorted image | |
KR20010072917A (ko) | 전방위 영상출력방법과 장치 | |
KR101778744B1 (ko) | 다중 카메라 입력의 합성을 통한 실시간 모니터링 시스템 | |
JP7150456B2 (ja) | 撮像システム、情報処理装置、情報処理装置の制御方法、及び、プログラム | |
KR100888935B1 (ko) | 지능형 영상 감시 시스템에서 두 카메라 간의 연동 방법 | |
US8937676B2 (en) | Video processing apparatus, imaging apparatus, video processing method, and storage medium | |
JP2015080142A (ja) | 撮像装置、撮像システム、撮像装置の制御方法、撮像システムの制御方法、及びプログラム | |
JP6269014B2 (ja) | フォーカス制御装置およびフォーカス制御方法 | |
JP2000341574A (ja) | カメラ装置及びカメラ制御システム | |
JP2000253391A (ja) | パノラマ映像生成システム | |
KR102009988B1 (ko) | 초광각 카메라를 이용한 렌즈 왜곡 영상 보정 카메라 시스템의 영상 보정 방법 및 그가 적용된 tvi 장치 | |
JP2014165866A (ja) | 画像処理装置及びその制御方法、プログラム | |
JP2019008494A (ja) | 画像処理装置 | |
JPH08305841A (ja) | 歪曲収差画像補正表示装置 | |
JP2022182840A (ja) | 情報処理装置、情報処理システム、情報処理方法及びプログラム | |
JP2024064155A (ja) | 映像合成用フレーム生成装置、映像合成装置及びプログラム | |
JP2006253975A (ja) | キャリブレーション装置、カメラシステムおよびキャリブレーション方法 | |
JP2013214823A (ja) | 撮像装置、及び画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180802 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190417 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190507 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190705 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190813 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190828 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6587113 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |