JP4048511B2 - 魚眼レンズカメラ装置及びその画像歪み補正方法 - Google Patents
魚眼レンズカメラ装置及びその画像歪み補正方法 Download PDFInfo
- Publication number
- JP4048511B2 JP4048511B2 JP06253198A JP6253198A JP4048511B2 JP 4048511 B2 JP4048511 B2 JP 4048511B2 JP 06253198 A JP06253198 A JP 06253198A JP 6253198 A JP6253198 A JP 6253198A JP 4048511 B2 JP4048511 B2 JP 4048511B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- fisheye lens
- lens camera
- area
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【発明の属する技術分野】
本発明は、魚眼レンズカメラ装置及びその画像歪み補正方法及び画像抽出方法に関し、特に、魚眼レンズカメラにより画像を取り込み、その一部の画像を切り出してモニタテレビに表示するテレビ会議システム又は遠隔監視システム等における魚眼レンズカメラ装置及びその画像歪み補正方法及び画像抽出方法に関する。
【0002】
魚眼レンズは約180度の画角を有し、広範囲の画像を映し出すことができるが、その画像はたる型に歪曲し、特に周辺部は歪みが著しい。本発明は、魚眼レンズの撮像範囲が広範囲であることを利用し、1台の魚眼レンズカメラで取り込んだ画像の中から、注目する画像の部分を切り出し、画像の歪みを補正してモニタテレビ画面に表示するものである。
【0003】
更に、本発明は、魚眼レンズカメラで映し取った映像の中から、人物の侵入等の動きを伴う像を検出し、その像のモニタ表示領域(切り出し領域)を自動的に決定してその移動像を追尾させるものであり、遠隔監視システムやテレビ会議システムのカメラ装置に好適に用いられるものである。
【0004】
【従来の技術】
図13は従来の魚眼レンズカメラ装置の構成及びそれを用いた遠隔監視システム及びテレビ会議システムを示す図である。図の(a)は魚眼レンズカメラ装置の構成を示し、図の(b)は魚眼レンズカメラ装置を用いた遠隔監視システムを示し、図の(c)は魚眼レンズカメラ装置を用いたテレビ会議システムを示す。
【0005】
同図において、13−10は魚眼レンズカメラ装置、13−1は魚眼レンズ、13−2はCCD撮像装置、13−3は映像メモリ(フレームメモリ)、13−4は画像補正処理回路、13−5は補正映像(NTSC)出力回路である。
【0006】
魚眼レンズ13−1は約180度の画角で対象物を光学的に映し出し、CCD撮像装置13−2は光学的な映像から電気的な画像信号を生成し、映像メモリ(フレームメモリ)13−3はその画像信号をフレーム単位に記憶する。
【0007】
画像補正処理回路13−4は、モニタ表示する領域について、魚眼レンズの歪んだ画像を補正して元の像に戻し、補正映像(NTSC)出力回路13−5は、補正された画像信号をNTSC方式等の通常のテレビ映像信号として出力する。
【0008】
魚眼レンズは画角が広いため、そのレンズを用いたカメラ装置により広範囲のエリアの映像を取り込む遠隔監視システムやテレビ会議システムを構成することができる。図の(b),(c)に示すように、魚眼レンズカメラ装置13−10に符号化装置13−20を取付け、又は符号化装置付きの魚眼レンズカメラ装置13−30により、映像信号を公衆回線13−40を介して伝送し、復号化装置13−50を介してモニタテレビ画面13−60等に表示することにより、それらのシステムを構成することができる。但し、魚眼レンズは画角が広い分、映像の歪みが大きくその歪みを補正してモニタテレビ画面13−60等に表示しなけらばならない。
【0009】
図14は従来の魚眼レンズカメラ画像の歪み補正の説明図である。同図において、14−1は仮想の画像フレーム、14−2は仮想の半球面、14−3は魚眼レンズ撮像画面である。又、x,y,z軸で示す3次元空間の原点Oに魚眼レンズが置かれ、且つ、魚眼レンズはz軸の方向に向けて置かれているものとする。
【0010】
又、仮想の半球面14−2は、魚眼レンズが正射影方式のレンズでその焦点距離がfであるとすると、半径fの仮想的な半球の球面であり、その平面部はx−y平面上に置かれ、その中心は原点Oの位置に置かれる。
【0011】
仮想の画像フレーム14−1は、魚眼レンズの位置(原点)から撮影対象物へ向かう視線方向ベクトルDOV(Direction Of View)と直交する仮想的な平面上のフレームで、所定の大きさの枠を持ち、後に説明するように、この枠内の映像が魚眼レンズ画像から切り出されてモニタテレビ画面に表示されることとなる。即ち、モニタテレビ等の表示フレームの枠と同じ大きさの枠を持つ。
【0012】
又、画像フレーム14−1は、そのフレーム内に視線方向ベクトルDOVと交差する点を原点とする2次元座標軸(p,q)を持ち、仮想画像フレーム14−1内の点はこの座標の成分(p,q)によって表される。
【0013】
魚眼レンズによって映し出される像(魚眼レンズ画像)は、レンズの射影方式(projection fomula)によっていくつかのタイプに分けられるが、以下、正射影(orthographic projection)方式の魚眼レンズについて説明する。
【0014】
魚眼レンズの置かれた位置(原点O)から前記仮想の半球面14−2を通して見える像を、そのまま該仮想の半球面14−2に貼り付けたと仮定する。そして、その半球面14−2上に貼り付けた3次元空間の像を、図のx軸及びy軸からなる2次元空間の平面上に、該平面に垂直に(z方向から原点方向に)押し潰して貼り付けた像が、正射影方式の魚眼レンズの画像である。
【0015】
なお、実際には、魚眼レンズの画像は上下左右逆転した位置に像を結ぶが、像の歪曲の相対的な関係は変わらないので、説明を簡略化するため前述したように結像するものとする。
【0016】
前記半球面14−2上の像を垂直に押し潰した2次元空間の平面が魚眼レンズ撮像画面14−3であり、該魚眼レンズ撮像画面14−3の円の内側の画像が魚眼レンズで撮影された画像である。外側の四角の枠は、CCD撮像装置から得られる全体の撮像画面の外枠である。
【0017】
魚眼レンズの画像は歪曲しているため、魚眼レンズカメラで撮影した像を表示するには、その一部を切り出して正常な画像に補正する必要がある。そこで、表示するフレームに対応するフレームを仮想の画像フレーム14−1として想定する。
【0018】
魚眼レンズが向いているz軸の方向が、鉛直線の上方の方向であるとし、前記視線方向ベクトルDOVがz軸と成す頂点角(天頂角)をφ、水平面の基準軸(x軸又はy軸)と成す方位角をθとする。又、焦点距離(魚眼レンズ画像の円の半径)をf、画像フレームの回転角をω、拡大率をmとする。拡大率mは、魚眼レンズの位置(原点O)から画像フレーム14−1内の原点までの距離をDとすると、m=D/fである。
【0019】
魚眼レンズ画像平面14−3内の点(x,y)と画像フレーム14−1内の点(p,q)との対応関係は、式(1)の関係式によって表わされる。
【0020】
【数1】
【0021】
式(1)の対応関係を利用して魚眼レンズ画像の歪みを補正し、元の画像を復元してモニタテレビ画面に表示させることができる。即ち、先ず前記画像フレームを14−1を定位させ、モニタ表示する領域(切り出し領域)を定める。この定位操作は、画像フレームの頂点角φ、方位角θ、回転角φ及び拡大率mを外部から画像補正処理回路13−4に入力することによって設定する。
【0022】
画像補正処理回路13−4は、画像フレーム14−1内の点(p,q)に対応する魚眼レンズ画像平面14−3内の点(x,y)を、前記式(1)の関係式により求め、その点の色情報信号を映像メモリ(フレームメモリ)13−3から読み出して、画像フレーム14−1内の点(p,q)に対応するアドレスを有する出力用の映像メモリ(図示省略)に該色情報信号を書き込む。
【0023】
この映像メモリ間の色情報転送操作を、画像フレーム14−1内の全ての点(p,q)について行い、出力用の映像メモリから順次、色情報信号を補正映像(NTSC)出力回路13−5に送出することにより、補正映像(NTSC)出力回路13−5は、原点Oから仮想の画像フレーム14−1の枠を通して見た実物象の画像を、歪みなく表示することができる。(米国特許第5,185,667号明細書等参照)
【0024】
【発明が解決しようとする課題】
前述の魚眼レンズ画像の歪み補正は、対象とする魚眼レンズが正射影の像となるときの補正であり、実際の魚眼レンズとして多く使用されている等面積写像の像となる魚眼レンズのときは、座標変換の演算が更に複雑なものとなる。
【0025】
魚眼レンズ画像の歪み補正の演算は、表示する画像フレームの座標点毎に座標変換の演算を行うため膨大な演算量となり、又、画像の解像度を上げると更に演算量が増大することになるので、座標変換の演算量は極力少ないものとしなけらばならない。
【0026】
又、前述の魚眼レンズ画像の歪み補正は、魚眼レンズカメラを机等に設置して天井方向に真上に向ける、或いは、天井に取り付けて床方向に真下に向ける等、鉛直方向に向けて置くことを前提としているため、魚眼レンズカメラの設置アングルを自由に選定して設置することができない。一方、魚眼レンズカメラを壁に横向きに取り付けたり、天井の隅に斜めの角度で取り付けたりした方が、監視領域等の撮像領域を魚眼レンズ画像のより有効な撮像エリアに取り込むことができる場合が多い。
【0027】
更に、魚眼レンズカメラを使って撮影される映像は、実際には個々の魚眼レンズカメラの特性により変動する。この魚眼レンズカメラの特性の相違は、魚眼レンズ画像の歪み補正による画像変換を行っても、変換後の画像に画像歪みとして残って表示されてしまう。
【0028】
従来は魚眼レンズカメラの映像パラメータである、CCD撮像装置の撮像画面における魚眼レンズ画像の左右方向のずれの補正や、CCDの撮像装置の構造等に起因する縦横比の補正については、手動で調整しなければならなかった。
【0029】
又、魚眼レンズカメラを使った追尾型の遠隔監視システムにおいて、人物像等の検出とモニタ表示領域(切り出し領域)の決定を自動的に行なわなければならないが、単に魚眼レンズ画像のフレーム間差分によりモニタ表示領域(切り出し領域)を決定する方法では、動く物が1つのみである場合の検出が限界であり、領域内に複数の物が移動する場合にその各々を追尾する映像を作成することは不可能であった。
【0030】
又、魚眼レンズ画像は、その中心部と周辺部とで明るさや歪曲の大きさが違っているため、追尾の際の切り出し領域が変化するに伴い、モニタ表示される画像についても不自然になり易いという欠点があった。
【0031】
本発明は、魚眼レンズカメラを任意の設置アングルで取り付けた場合の魚眼レンズ画像の歪み補正の画像変形処理を高速化するとともに、又、魚眼レンズカメラで撮影した人物像等の移動する像を精度よく検出して抽出し、モニタテレビ等に高精度で表示させることを目的とする。
【0032】
【課題を解決するための手段】
本発明の魚眼レンズカメラ装置は、(1)魚眼レンズカメラにより撮影された画像の歪みを補正する画像補正処理部を備えた魚眼レンズカメラ装置において、前記画像補正処理部は、魚眼レンズカメラの設置角を補正する座標変換と、魚眼レンズ画像の歪みを補正する座標変換とを組み合わせて演算する構成を有するものである。
又、(2)前記画像補正処理部は、等面積写像の魚眼レンズ画像の歪みを補正する座標変換を演算する構成を有するものである。
【0033】
又、(3)魚眼レンズカメラにより撮影された画像の歪みを補正する画像補正処理部を備えた魚眼レンズカメラ装置において、魚眼レンズ画像の歪み補正のための、表示画像の中心位置、魚眼レンズ画像の縦横比、魚眼レンズ画像エリアの半径等のパラメータを、撮像された魚眼レンズ画像自体から抽出し、該パラメータにより魚眼レンズ画像の歪み捕正を行う構成を備えたものである。
【0034】
又、(4)魚眼レンズカメラにより撮影した画像から、移動する像を抽する魚眼レンズカメラ装置において、魚眼レンズ画像内の相互の位置関係を利用して領域を統合し、像の変化した領域を抽出する構成を備えたものである。
【0035】
又、(5)魚眼レンズカメラにより撮影した画像から、移動する像を抽出する魚眼レンズカメラ装置において、魚眼レンズ画像をパノラマ状の横長映像に変換し、その映像のフレーム間差分の信号又はフレーム間差分とフレーム内差分とを結合した信号を抽出し、該信号により領域抽出を行い、複数の移動像の領域抽出を同時に行う構成を備えたものである。
【0036】
又、(6)魚眼レンズカメラにより撮影した画像から、移動する像を抽出する魚眼レンズカメラ装置において、フレーム間差分の信号又はフレーム間差分とフレーム内差分とを結合した信号等の特徴量の抽出演算を魚眼レンズ画像の映像をもとに行い、特徴検出領域に対する領域抽出処理において、極座標と直交座標とのアドレス変換を行って魚眼レンズ画像の映像内を走査し、円形の魚眼レンズ画像の映像の中から複数の移動像の領域抽出を行う構成を備えたものである。
【0037】
又、(7)魚眼レンズカメラにより撮影した画像から、移動する像を抽出する魚眼レンズカメラ装置において、魚眼レンズ画像の映像の中から得られる複数の人物像の領域について、各人物像の形状を正規化し、各像の形状内の色情報を記億し、個々の像の色情報をもとに移動する複数の人物像を個別に追尾する映像を作成する構成を備えたものである。
【0038】
又、(8)魚眼レンズカメラにより撮影した画像から、移動する像を抽出する魚眼レンズカメラ装置において、魚眼レンズ画像の中心部分と周辺部分との歪みの大きさに応じて異なる重み係数を乗じた特徴量をもとに領域抽出を行う構成を備えたものである。
又、(9)前記重み係数として、更に魚眼レンズ画像の映像内の領域に対応して異なる値を与え、非抽出領域をマスクして領域抽出を行う構成を備えたものである。
【0039】
又、本発明の魚眼レンズカメラの画像歪み補正方法は、(10)魚眼レンズカメラにより撮影された画像の歪みの補正において、魚眼レンズカメラの設置角を補正する座標変換と、魚眼レンズ画像の歪みを補正する座標変換とを組み合わせて演算する過程を含むものである。
又、(11)前記魚眼レンズカメラの画像歪み補正において、等面積写像の魚眼レンズ画像の歪みを補正する座標変換を演算する過程を含むものである。
【0040】
又、(12)魚眼レンズカメラにより撮影された画像の歪みの補正において、魚眼レンズ画像の歪み補正のための、表示画像の中心位置、魚眼レンズ画像の縦横比、魚眼レンズ画像エリアの半径等のパラメータを、撮像された魚眼レンズ画像自体から抽出し、該パラメータにより魚眼レンズ画像の歪み捕正を行う過程を含むものである。
【0041】
又、本発明の魚眼レンズカメラの画像抽出方法は、(13)魚眼レンズカメラにより撮影した画像から、移動する像を抽出する画像抽出方法において、魚眼レンズ画像内の相互の位置関係を利用して領域を統合し、像の変化した領域を抽出する過程を含むものである。
【0042】
又、(14)魚眼レンズカメラにより撮影した画像から、移動する像を抽出する画像抽出方法において、魚眼レンズ画像をパノラマ状の横長映像に変換し、その映像のフレーム間差分の信号又はフレーム間差分とフレーム内差分とを結合した信号を抽出し、該信号により領域抽出を行い、複数の移動像の領域抽出を同時に行う過程を含むものである。
【0043】
又、(15)魚眼レンズカメラにより撮影した画像から、移動する像を抽出する画像抽出方法において、フレーム間差分の信号又はフレーム間差分とフレーム内差分とを結合した信号等の特徴量の抽出演算を魚眼レンズ画像の映像をもとに行い、特徴検出領域に対する領域抽出処理において、極座標と直交座標とのアドレス変換を行って魚眼レンズ画像の映像内を走査し、円形の魚眼レンズ画像の映像の中から複数の移動像の領域抽出を行う過程を含むものである。
【0044】
又、(16)魚眼レンズカメラにより撮影した画像から、移動する像を抽出する画像抽出方法において、魚眼レンズ画像の映像の中から得られる複数の人物像の領域について、各人物像の形状を正規化し、各像の形状内の色情報を記億し、個々の像の色情報をもとに移動する複数の人物像を個別に追尾する映像を作成する過程を含むものである。
【0045】
又、(17)魚眼レンズカメラにより撮影した画像から、移動する像を抽出する画像抽出方法において、魚眼レンズ画像の中心部分と周辺部分との歪みの大きさに応じて異なる重み係数を乗じた特徴量をもとに領域抽出を行う過程を含むものである。
【0046】
又、(18)前記重み係数として、更に魚眼レンズ画像の映像内の領域に対応して異なる値を与え、非抽出領域をマスクして領域抽出を行う過程を含むものである。
【0047】
【発明の実施の形態】
図1は、本発明の実施の形態の魚眼レンズカメラ装置の構成を示す図である。同図において、1−1は魚眼レンズ、1−2はCCD撮像装置、1−3は映像メモリ(フレームメモリ)、1−4は画像補正処理部、1−41はカメラ設置角補正部、1−42はパン/チルト角回転補正部、1−43はズーム補正部、1−44は映像補間作成部、1−5は補正映像(NTSC)出力回路である。
【0048】
魚眼レンズ1−1により広範囲の像を光学的に取り込み、CCD撮像装置1−2により光学的な像から電気的な画像信号を生成し、映像メモリ(フレームメモリ)1−3はその画像信号をフレーム単位に記憶する。
【0049】
画像補正処理部1−4は、魚眼レンズによる歪んだ画像を補正して元の像に戻す処理を行い、補正映像(NTSC)出力回路1−5は、補正された像の信号を通常のNTSC方式等のテレビ映像信号として出力する。又、この信号を符号化装置により符号化して送信し、遠隔地で映像表示することもできる。
【0050】
画像補正処理部1−4のカメラ設置角補正部1−41は、任意の方向を向いた魚眼レンズカメラ装置の設置角を補正し、パン/チルト角回転補正部1−42は、映像表示エリア(切り取りエリア)のパン・チルト角の回転量を制御し、ズーム補正部1−43は、表示映像の拡大率を制御し、映像補間作成部1−44は、座標点の間の補間を行い、映像表示エリア(切り取りエリア)の画像について歪みを補正して元の像に戻す処理を行う。
【0051】
図2は本発明の実施の形態の魚眼レンズカメラで撮影される映像の説明図である。図の(a)は、魚眼レンズカメラが直上を向いた場合の魚眼レンズ画像imgを示し、図の(b)は、表示対象の魚眼レンズ画像imgを、画像フレームfrmの平面へ写像する様子を模式的に表し、図の(c)はy軸方向から図の(b)の球を見通した図を示している。魚眼レンズ画像imgが正射影方式の画像の場合、図の(a)の魚眼レンズ画像imgはz軸方向から図2の(b)の球を見通した画像となる。
【0052】
魚眼レンズカメラをx軸,y軸,z軸の原点に上方に(z軸方向に)向けて置いたとすると、魚眼レンズカメラで映される映像は、先ず、原点の周りの距離Rの半径の球の内側に、映像が貼り付けられた状態を想定して解析することができる。
【0053】
このように物体までの距離は無視されて、魚眼レンズカメラによる画像imgは、特定の方角(r,θ,φ)から入射された像が、2次元のx−y平面で、式(2)の写像変換式により表される点(x″,y″)へ写像されるものとみなすことができる。式(2)においてθは方位角、φは頂点角(天頂角)であり、Lは頂点角φで入射した像が魚眼レンズ画像上に結像したときの、原点Oからの距離(像高)である。
【0054】
【数2】
【0055】
即ち、魚眼レンズ画像imgは、3次元極座標(r,θ,φ)の点から、二次元の(x″,y″)への写像と考えることができる。距離(像高)Lは魚眼レンズの射影方式によって異なり、前述の正射影方式の場合は式(3−1)、等面積射影の場合は式(3−2)、等距離射影の場合は式(3−3)のように表わされる。なお、fはレンズの焦点距離である。
【0056】
【数3】
【0057】
図2の(b)において、歪み補正して表示する画像フレームfrmの方位角をθ、頂点角をφとすると、表示画像をパン/チルト操作させることは、この仮想の画像フレームfrmを、3次元座標内で回転した場合に、そこに投影される映像を表示することに一致する。
【0058】
即ち、画像フレームfrm内のラスター上に並んだ各点の座標に対応する、魚眼レンズ画像imgの点の座標を特定し、その座標の点の色情報信号を、表示フレームfrmの座標の点の色情報信号に対応させることにより、魚眼レンズ画像imgを元の画像に変換する補正処理を行うことができる。
カメラが、直上または直下を向いている場合には、画像フレームfrmのパンの操作は方位角θを所定量変化させ、又、チルトの操作は頂点角φを所定量変化させて、対応する魚眼レンズ画像img内の2次元座標の色情報信号のマッピングを行えばよい。
【0059】
図3は、横方向に向けた魚眼レンズカメラの撮影画像の説明図である。同図は魚眼レンズカメラをx軸方向に向けた場合を示している。この場合魚眼レンズ画像imgは垂直面に形成されることとなる。
【0060】
この場合でも前述したような歪み補正により、歪みのない画像を表示させることはできるが、そのまま、直上の映像として魚眼レンズ画像の変換を行うと、パン/チルトの操作を行ったとき、回転方向が実際の映像のパン/チルトの方向と違った方向に回転することになる。即ち、直上の映像の場合、z軸との角度φを変化させてチルトの操作を行ったが、横方向に魚眼レンズカメラが向いている場合には角度φを変化させてもチルトの操作にはならない。
【0061】
そのため、先ず、歪み補正を行う前に、魚眼レンズカメラの向き、即ち、カメラ設置角について補正を行う。この補正処理は前記カメラ設置角補正部1−41により行う。
【0062】
図4は横方向を向けたた魚眼レンズカメラ画像の補正の説明図である。図3に示したように魚眼レンズカメラが横軸のx軸の方向を向いている場合、座標系をy軸の回りに予め90度回転させ、魚眼レンズ画像面imgがz軸と垂直に交わる位置に回転移動させることにより、パン/チルトの操作に対して、前述した直上の画像の場合と同等の処理を行うことが可能になる。即ち、前記角度φを変化させることによりチルト操作を行うことができ、又、前記角度θを変化させることによりパン操作を行うことができる。
【0063】
図4に示した例は、魚眼レンズカメラが横方向を向いている場合であったが、魚眼レンズカメラを上、下、横、斜めの任意の方向に向いているとき、鉛直方向をz′軸とする座標系を(x′,y′,z′)とし、画像フレームfrm上の点の座標を(x′,y′,z′)で表し、この画像フレームfrm上の点(x′,y′,z′)と魚眼レンズカメラの向き(z軸方向)との角度をφ、画像フレームfrm上の点(x′,y′,z′)とx軸との角度をθ、画像フレームfrm上の点(x′,y′,z′)とy軸との角度をρとすると、式(4)の回転行列の式を用いて回転座標変換を行うことにより、パン/チルトの操作方向を実際の映像と一致させることができる。ここで、式(4)の回転行列の式の行列Rx,Rz,Ryはそれぞれx軸、y軸、z軸の回りに回転を与える行列であり、行列Rxはカメラアングルに対応した回転を与える。
【0064】
【数4】
【0065】
同一の方位角及びカメラアングル(頂点角)について、前記式(4)の回転行列の式を一度計算することにより、回転後の座標が(x,y,z)として得られる。次にこの点の2次元座標上の魚眼レンズ画像の点(x″,y″)への写像を計算するにより、画像フレーム上の点と魚眼レンズ画像の点と対応させることができる。魚眼レンズカメラの設置角についての計算量の増加は、一度だけ回転行列を生成することによる増加であり僅かである。
【0066】
3次元座標の点(x,y,z)から2次元座標上の魚眼レンズ画像の点P(x″,y″)への写像は、先ず、点(x,y,z)を極座標表現の点(r,θ,φ)に変換する。この変換は、式(5)の極座標変換の式により変換することができる。
【0067】
【数5】
【0068】
更に、等面積写像方式の魚眼レンズの場合は、式(3−2)の式で表されるため、この式を式(2)に代入することにより、式(6)の式が得られる。x2 +y2 +z2 =x′2 +y′2 +z′2 =r2 であること及び式(5)更に三角関数の基本式を利用して、式(6)の式は式(7)の式のように簡素化される。
【0069】
【数6】
【0070】
【数7】
【0071】
このようにして、魚眼レンズカメラ設置角の補正は、先ず、画像変形処理を行う前に、画像フレームfrmの矩形領域の座標(x′,y′,z′)を、回転座標変換により(x,y,z)の座標に変換し、その後、該(x,y,z)座標の点を、魚眼レンズ画像の座標上の点(x″,y″)へ変換する。なお、z軸の成分はズーム率に相当するため、基本的には(x,y)から(x″,y″)への2次元2次元変換となる。式(7)の式に関する座標の変換式は、座標軸回転に伴う座標変換と魚眼レンズの特性に伴った写像変換とを一度に計算することにより、計算回数の削減が図られている。
【0072】
ここで、前記の演算により求めた魚眼レンズ画像の座標上の点(x″,y″)を(u,v)と記す。この座標点(u,v)を滑らかに補間するために、以下のような補間処理を行う。映像信号の3色の色情報信号成分をY,U,Vとし、点(u,v)のそれらの成分を、Yu,v、Uu,v、Vu,vとし、又、点(u,v)の座標成分u,vの小数点を切り捨てて整数化した値をu0、v0とし、座標(u0,v0)の点における色情報信号Yの値をYu0v0とする。同様に、色情報信号U,VについてもUu0v0,Vu0v0により同様な内容を表す。更に、座標成分u,vをそれぞれ小数点を切り上げした値をu1,v1とし、それに対応した座標の色情報信号Y,U,Vの値を、それぞれYu1v1,Uu1v1,Vu1v1と表す。そして、座標成分u,vの小数部をそれぞれdu,dvとする。
【0073】
入力映像信号を式(8)の一次変換の式により補間してマッピングすることにより、滑らかな画像を表示させることができる。
【0074】
【数8】
【0075】
次に、魚眼レンズカメラの撮像エリアから、魚眼レンズカメラのパラメータである画像中心位置(Xbase,Ybase)及び焦点距離に対応した値fを自動抽出する手法について説明する。前記のパラメータは魚眼レンズカメラ画像の歪み補正において使用されるパラメータである。
【0076】
図5は魚眼レンズカメラのパラメータ抽出の説明図である。同図において5−1は魚眼レンズカメラの撮像エリア、5−2は魚眼レンズ画像エリアである。円像魚眼レンズを用いたカメラの撮像エリア5−1内には、円形の魚眼レンズ画像エリア5−2が観測される。この魚眼レンズ画像エリア5−2はカメラ撮像エリア5−1内の所定の位置に観測され、又、魚眼レンズ画像エリア5−2の外周は光が到達しないため非常に輝度の低いエリアとなる。
【0077】
そこで、カメラ撮像エリア5−1の全体について、水平及び垂直のそれぞれの方向に関してヒストグラムを抽出し、魚眼レンズ画像エリアの位置及びその半径を測定することができる。
【0078】
水平方向のヒストグラムHh(n)と垂直方向のヒストグラムHv(n)とに関して適度な閥値Th,Tvを設定し、撮像エリア画面の両端からヒストグラムを測定して最初に閾値Tv,Thを越す点を探索する。
【0079】
その点を水平、垂直それぞれに対して2点ずつ抽出し、水平ヒストグラムから魚眼レンズ画像エリアの左端Xleft及び右端Xrightの点を検出することができる。又、垂直ヒストグラムから魚眼レンズ画像エリアの上端Yup及び下端Ydownの点を検出することができる。
【0080】
上記魚眼レンズ画像エリアの左端Xleft、右端Xright、Yup及び下端Ydownのそれぞれの位置から、水平方向の半径Rhと垂直方向の半径Rvとを式(9)により抽出することができる。又、画像中心位置(Xbase,Ybase)は式(10)により抽出することができる。
【0081】
【数9】
【0082】
【数10】
【0083】
魚眼レンズ画像エリア5−2は基本的には円形であり、水平方向の半径Rhと垂直方向の半径Rvとは等しく、Rh=Rvとなるが、CCD等の撮像素子の縦横方向のアスぺクト比の違いにより、水平方向の半径Rhと垂直方向の半径Rvとに相違が生じる場合がある。
【0084】
魚眼レンズ画像エリア5−2の半径Rは、本来、魚眼レンズの焦点距離fによって定まる値で、例えば、正射影方式の魚眼レンズでは式(11−1)で表され、等面積射影方式の魚眼レンズでは式(11−2)で表される。
【0085】
【数11】
【0086】
従って、前述の魚眼レンズ画像の座標上の点(x″,y″)を求める式(6)の式の計算において、水平方向の半径Rhと垂直方向の半径Rvとに相違が生じる場合、焦点距離fの値として同一の値を使用することなく、方向毎に水平方向の半径Rh又は垂直方向の半径Rvの値を、式(11−1)又は式(11−2)のRの値に代入することによりfの値を修正し、アスぺクト比の違いを考慮した魚眼レンズの歪み補正を行うことができる。
【0087】
図6は本発明の第1の実施の形態の移動像検出装置の構成を示す図である。同図において、6−1は魚眼レンズカメラ、6−2,6−3はフレームバッファ、6−4,6−5はフレーム間差分計算部、6−6は領域重みテーブル、6−7は領域抽出部である。
【0088】
魚眼レンズカメラ6−1により撮影した画像信号を第1のフレームバッファ6−2に格納し、第1のフレームバッファ6−2に格納した画像信号を第2のフレームバッファ6−3に格納する。第2のフレームバッファ6−3には1フレーム前の画像信号が格納される。
【0089】
そして、第1のフレームバッファ6−2から出力される画像信号と第2のフレームバッファ6−3から出力される画像信号とにより、そのフレーム間差分を第1のフレーム間差分計算部6−4により計算し、移動像に対して大きな値となるフレーム間差分信号を第2のフレーム間差分計算部6−5に出力する。
【0090】
第2のフレーム間差分計算部6−5は、第1のフレーム間差分計算部6−4から出力されるフレーム間差分信号と、領域重みテーブル6−6から出力される領域に対応した値とにより、フレーム間差分信号に領域に応じた重み付けを行い、その信号を領域抽出部6−7に出力する。
【0091】
領域抽出部6−7は、領域に応じた重み付けを持つフレーム間差分信号により、移動像の検出を行って検出フラグ信号を出力するとともにその検出領域を抽出し、領域情報を出力する。
【0092】
図7は本発明の第2の実施の形態の移動像検出装置の構成を示す図である。同図において、7−1は魚眼レンズカメラ、7−2,7−3はフレームバッファ、7−4はフレーム間差分計算部、7−5はフレーム内差分計算部、7−6は動輪郭抽出部、7−7は領域重みテーブル、7−8は領域抽出判定部、7−9は領域抽出部である。
【0093】
魚眼レンズカメラ7−1により撮影した画像信号を第1のフレームバッファ7−2に格納し、第1のフレームバッファ7−2に格納した画像信号を第2のフレームバッファ7−3に格納する。第2のフレームバッファ7−3には1フレーム前の画像信号が格納される。
【0094】
そして、第1のフレームバッファ7−2から出力される画像信号と第2のフレームバッファ7−3から出力される画像信号とにより、そのフレーム間差分をフレーム間差分計算部7−4により計算し、移動像に対して大きな値となるフレーム間差分信号を動輪郭抽出部7−6に出力する。
【0095】
フレーム内差分計算部7−5は、第1のフレームバッファ7−2から出力される画像信号のフレーム内の差分を計算し、像の輪郭部で大きな値となるフレーム内差分信号を動輪郭抽出部7−6に出力する。
【0096】
動輪郭抽出部7−6は、フレーム間差分計算部7−4からのフレーム間差分信号と、フレーム内差分計算部7−5からのフレーム内差分信号とを線形結合させ、輪郭部が強調された移動像の信号を生成し、その信号を領域抽出判定部7−8に出力する。
【0097】
領域抽出判定部7−8は、動輪郭抽出部7−6から出力される輪郭部が強調された移動像の信号と、領域重みテーブル7−7から出力される領域に対応した値とにより、移動像の信号に領域に応じた重み付けを行い、その信号を領域抽出部7−9に出力する。
【0098】
領域抽出部7−9は、領域に応じた重み付けを持つ移動像の信号により、移動像の検出を行って検出フラグ信号を出力するとともにその検出領域を抽出し、領域情報を出力する。
【0099】
図6及び図7に示した本発明の実施の形態の移動像検出装置は、移動像の領域抽出において領域に対応して映像信号に重み付けを行い、魚眼レンズによる画像の歪みによる検出パラメータ信号への影響を低減している。
【0100】
即ち、通常、nフレームの映像信号Pn (x,y)とn−1フレームの映像信号Pn-1 (x,y)とのフレーム間差分Dn (x,y)を計算する場合に、式(12)により計算を行うが、本発明は、魚眼レンズ画像の領域に対応した特徴抽出の重み係数W(x,y)を格納した領域重みテーブル6−6,7−7を備え、この重み係数W(x,y)を前記フレーム間差分Dn (x,y)に乗じた値Gn (x,y)を用いて移動像の抽出処理を行う。
Dn (x,y)=Pn (x,y)−Pn-1 (x,y) ・・・(12)
【0101】
即ち、図6に示した第1のフレーム間差分計算部6−4から出力されるフレーム間差分信号、又は図7に示した動輪郭抽出部7−6から出力されるフレーム間差分及びフレーム内差分を線形結合させた信号を、移動像抽出のための特徴量Dn (x,y)をとすると、式(13)により、この特徴量Dn (x,y)と魚眼レンズ画像の領域に応じた重み係数W(x,y)との積Gn (x,y)を移動像抽出のための特徴量として用いる。
Gn (x,y)=W(x,y)・Dn (x,y) ・・・(13)
【0102】
このように魚眼レンズ画像の領域に応じて重み付けられた特徴量Gn(x,y)を用いて抽出を行う処理により、魚眼レンズ画像エリア内の領域毎に対応した等価的なマスク及び強調操作を行うことができる。
【0103】
図8は魚眼レンズ画像の領域に応じた重み係数W(x,y)の説明図である。同図は魚眼レンズ画像の領域内を3つの領域8−1,8−2,8−3に分割し、を領域8−1には重み係数0、領域8−2には重み係数1、領域8−3には重み係数2を割り当てた例を示している。
【0104】
魚眼レンズ画像の周辺部分では中心部分に比べて同一面積の領域が小さな領域に表示される。そのため周辺部における移動像検出の精度が低下するが、周辺部の重み係数W(x,y)を大きな値としておくことにより、周辺部における精度低下を補償することができる。更に、通常、周辺部分に人物像が存在する確率が高いので、周辺部分を大きな値をとし、中心部分で0に近い値としておく。
【0105】
又、魚眼レンズカメラでは撮像エリアが広大であるため、照明等が直接撮像エリア内に入ることが多い。このような場合でも極端な輝度の違いを、等価的な領域マスクにより補償して移動像の誤検出を低減させることができる。
【0106】
領域域抽出部6−7,7−9は、領域対応の重み付けがされた特徴量を、予め設定された閾値(Thm)と比較することにより、人物像等の像検出判定処理を行う。この像検出判定処理を伴う領域抽出処理は魚眼レンズ画像の全画面について行う。
【0107】
図9は領域抽出された人物等の像の例を示す図である。図の(a)は魚眼レンズ画像エリアを示し、魚眼レンズカメラが机上等に上を向けて置かれ、そのカメラの周りに4人の人物が着席している場合の魚眼レンズ画像の例を示している。9−1乃至9−4は人物像検出エリア(A)乃至人物像検出エリア(D)である。図の(b)は魚眼レンズ画像の人物像の形状を示し、人物を下側から魚眼レンズで撮影した場合には体底部が長く、頭長部の短い略台形状のような形状となり、人物像を該形状に正規化することができる。
【0108】
図の(a)に示すような魚眼レンズ画像エリアのイメージ上をラスタースキャンし、人物像としての特徴量の大きい点を検出すると、その点から下方へ略台形状のような形の像の探索を行い、その領域を切り出す。
【0109】
切り出された領域に対して大きさ及び形状についての照合を行い、人物像の領域であるかどうかの判定を行う。同様の処理を複数の領域に対して同時に処理し、複数の人物像が検出されたときは複数の人物像の同時切り出しを行う。
【0110】
又、個々の切り出された領域について、図の(b)に示すような人物の頭頂部、体底部及び体高のそれぞれのパラメータ及びその内側の色データを左右及び高さ方向にサンプリングすることにより、画像毎の人物像識別のためのデータべースとすることができる。
【0111】
抽出された特徴量から人物像等の領域を抽出する処理に関しては、基本的に通常のカメラ映像での領域抽出のためのアルゴリズムを使用することができるが、魚眼レンズ画像が円形に歪曲して配置されているため、座標変換を施す必要がある。
【0112】
座標変換の方法として以下の二つの方式がある。第一の方式は、魚眼レンズ画像を、360度のパノラマ映像として座標変換された映像へと写像変換を行う方式である。この方式は円形の魚眼レンズ撮像エリアを矩形エリアへ変換する。
【0113】
第二の方式としては、領域抽出を通常のラスタースキャンとして走査し、走査時の座標系のみを直交座標(x,y)から極座標(r,θ)へと変換する方式である。即ち、x=rcosθ,y=rsinθとして領域抽出の処理を行う。
【0114】
第一の方式は、パノラマ映像に展開するための大きなメモリが必要になる欠点があるが、変換後は通常の画像に対する領城抽出処理をそのまま適用することができる。第二の方式は領域抽出処理時に常に座標変換を行いながら処理しなければならないが、使用するメモリ量は原画としての魚眼レンズ画像を与えるメモリ量のみでよくコンパクトなシステムを構築することができる。
【0115】
そして、特徴量を抽出し、上下関係等、既知の映像の相互関係を利用して領域の統合処理を行う。例えば、真上を向いた魚眼レンズカメラの場合は、魚眼レンズ画像の中心を上、周辺を下とした映像の位置関係を利用して領域を統合し、その領域が背景像から人物像に変化した領域を抽出する。
【0116】
人物の侵入等の移動像の追尾処理に関しては、切り出された略台形状の人物領域内を上下左右に前もって決められた分割数で等分する格子点を算出し、その格子点での色情報信号を人物像の特徴量として保存する。そして、この人物像の特徴量の登録処理と人物像の切り出し処理とを任意の時間間隔で繰り返し行い、複数の人物像が魚眼レンズカメラ撮像エリア内に存在する場合でも、各人物像を個別に追尾することができる。
【0117】
図10は本発明の実施の形態の人物像抽出位置決定の処理のフローチャートである。先ず、魚眼レンズ画像内の人物像等の切り出し処理のコマンドを与え(10−1)、フレームについてのループ処理(10−2)により、フレーム間差分による又はフレーム間差分とフレーム内差分とによる人物像等の特徴量を抽出し(10−3)、魚眼レンズ画像内の領域に対応した重み付け処理を行い(10−4)、魚眼レンズ画面内のラスターループ処理を行い(10−5)、特徴点を検出し(10−6)、略台形上のエリアについて魚眼レンズ画像の座標変換を行って特徴点を抽出の処理を行い(10−7)、特徴点があるかどうかを判定し(10−8)、特徴点がある場合には、抽出点を消去し(10−9)、(x,y)座標の領域の最大値と最小値とを記憶し(10−10)、最終ラインかどうかを判定し(10−11)、最終ラインであれば終了する(10−12)。
【0118】
前記特徴点があるかどうかの判定(10−8)において、特徴点がない場合、複数ライン連続して特徴点がないかどうかを判定し(10−13)、連続して特徴点がない場合は領域数をカウントして人物領域を記憶し(10−14)、前述の最終ラインかどうかの判定し(10−11)に移る。
【0119】
前記複数ライン連続して特徴点がないかどうかの判定(10−13)において、複数ライン連続していなければ前記特徴点を検出する処理(10−6)に戻る。又、前記最終ラインかどうかの判定(10−11)において、最終ラインでないときは前記特徴点を検出する処理(10−6)に戻る。
【0120】
人物像の存在領域を抽出すると、その領域から魚眼レンズ画像を補正して表示するためのパラメータを求めることができる。図11は本発明の実施の形態の領域切り出し及び表示画面作成を行う構成の説明図である。同図において、11−1は領域抽出部、11−2は領域切り出し部、11−3は魚眼レンズ画像パラメータ決定部、11−4は表示画面作成部である。
【0121】
領域抽出部11−1は、前述の図6及び図7に示した領域抽出部6−7,7−9と同一のものであり、特徴量により人物像等を検出し、その領域を抽出すると、検出フラグ及び領域情報の信号を出力する。検出フラグの信号は警報又は通知用の信号として使用することができる。領域情報の信号は領域切り出し部11−2に出力される。
【0122】
領域切り出し部11−2は、領域情報の信号に基づいて領域を切り出し、魚眼レンズ画像パラメータ決定部11−3は、切り出された全領域について魚眼レンズ画像を補正して表示するためのパラメータを決定し、そのパラメータの信号を画面作成部11−4に送出する。画面作成部11−4は、パラメータの信号に基づいて表示画面を生成し、映像信号を出力する。
【0123】
ここで、簡単化のために、真上を向いたカメラアングルの場合の魚眼レンズ画像の前記パラメータの決定について説明する。魚眼レンズ画像の補正のためのパラメータとしては、画像フレームの方位角θ、頂点角φ及び拡大率mが必要である。
【0124】
魚眼レンズ画像の領域から、例えば、図9の(a)の人物像検出エリア(B)9−2を抽出して表示するとする。この場合、人物像検出エリア(B)9−2の中心位置に関する角度α及び魚眼レンズ画像の中心Oから人物像検出エリア(B)9−2を挟む角度(立体角)βを計算する。又、魚眼レンズ画像の中心Oから領域最上部までの距離Lを計算する。
【0125】
前記角度α及び距離Lにより、人物像検出エリア(B)9−2を表示する画像フレームの方位角θと頂点角φの値を求めることができる。即ち、方位角θは前記角度αに等しく、θ=α である。又、頂点角φは魚眼レンズ画像の半径Rと前記距離Lとの比から式(3−1)乃至式(3−3)を用いて求めることができる。又、ズ−ム率であるmについては、領域の左端及び右端と魚眼レンズ画像の中心Oとの立体角βにより求めることができる。これらのパラメータを元に、個々の人物の表示領域を切り出し、魚眼レンズ画像の歪曲を補正してモニタテレビ等に映像信号を送出する。
【0126】
図12は1台の魚眼レンズカメラで撮影した画像を合成した映像を示す図である。前述したように魚眼レンズ画像から人物像をその特徴量により抽出し、抽出した画像に歪み補正の処理を行い、1台のモニタテレビ画面を4分割して前記抽出した人物像を表示させた様子を模式的に示している。
【0127】
【発明の効果】
以上説明したように、本発明によれば、約180度の広い画角を持つ魚眼レンズカメラにより映像を取り込むので、1台のカメラにより広範囲のエリアを監視することができ、設置カメラ台数を削減することができるとともに、その画像を精度よく高速に補正して表示することができる。
【0128】
又、魚眼レンズカメラの設置角を補正する座標変換と、魚眼レンズ画像の歪みを補正する座標変換とを組み合わせて演算することにより、設置角度によらず画像補正の演算処理を高速に行うことができる。又、魚眼レンズ画像の歪み補正のためのパラメータを、撮像された魚眼レンズ画像自体から抽出して魚眼レンズ画像の歪み捕正を行うことにより、設置時の調整や経年変化に対して、安定した歪み補正を行うことができる。
【0129】
魚眼レンズ画像の中心部分と周辺部分との歪みの大きさに応じて異なる重み係数を乗じた特徴量をもとに領域抽出を行うことにより、歪みの大きい周辺部分での人物像等の検出を安定して行うことができ、更に、重み係数として、更に魚眼レンズ画像の映像内の領域に対応して異なる値を与えて非抽出領域をマスクすることにより、人物像等の抽出処理における不安定要素を予め取り除くことができる。
【0130】
又、魚眼レンズカメラにより取り込んだ広範囲の画像の中から、任意の部分を切り出してモニタテレビ画面に表示するなど映像作成の自由度が大きく、遠隔監視システムやテレビ会議システムのカメラに適用することにより、利便性の向上を図ることができる。
【0131】
更に、魚眼レンズカメラで映し取った映像の中から、人物の侵入等の動きを伴う像を検出し、その像のモニタ表示領域(切り出し領域)を自動的に決定して滑らかな動きで追尾する電子追尾型の遠隔監視システム又はテレビ会議システムを構成することができる。
【図面の簡単な説明】
【図1】本発明の実施の形態の魚眼レンズカメラ装置の構成を示す図である。
【図2】本発明の実施の形態の魚眼レンズカメラで撮影される映像の説明図である。
【図3】横方向に向けた魚眼レンズカメラの撮影画像の説明図である。
【図4】横方向を向けた魚眼レンズカメラ画像の補正の説明図である。
【図5】魚眼レンズカメラのパラメータ抽出の説明図である。
【図6】本発明の第1の実施の形態の移動像検出装置の構成を示す図である。
【図7】本発明の第2の実施の形態の移動像検出装置の構成を示す図である。
【図8】魚眼レンズ画像の領域に応じた重み係数W(x,y)の説明図である。
【図9】領域抽出された人物等の像の例を示す図である。
【図10】本発明の実施の形態の人物像抽出位置決定の処理のフローチャートである。
【図11】本発明の実施の形態の領域切り出し及び表示画面作成を行う構成の説明図である。
【図12】1台の魚眼レンズカメラで撮影した画像を合成した映像を示す図である。
【図13】従来の魚眼レンズカメラ装置の構成及びそれを用いた遠隔監視システム及びテレビ会議システムを示す図である。
【図14】従来の魚眼レンズカメラ画像の歪み補正の説明図である。
【符号の説明】
1−1 魚眼レンズ
1−2 CCD撮像装置
1−3 映像メモリ(フレームメモリ)
1−4 画像補正処理部
1−41 カメラ設置角補正部
1−42 パン/チルト角回転補正部
1−43 ズーム補正部
1−44 映像補間作成部
1−5 補正映像(NTSC)出力回路
Claims (4)
- 魚眼レンズカメラにより撮影された画像の歪みを補正する画像補正処理部を備えた魚眼レンズカメラ装置において、
前記画像補正処理部は、魚眼レンズカメラの設置角を補正する座標変換と、魚眼レンズ画像の歪みを補正する座標変換とを組み合わせて演算する構成を有することを特徴とする魚眼レンズカメラ装置。 - 前記画像補正処理部は、等面積写像の魚眼レンズ画像の歪みを補正する座標変換を演算する構成を有することを特徴とする請求項1記載の魚眼レンズカメラ装置。
- 魚眼レンズカメラにより撮影された画像の歪みの補正において、
魚眼レンズカメラの設置角を補正する座標変換と、魚眼レンズ画像の歪みを補正する座標変換とを組み合わせて演算する過程を含むことを特徴とする魚眼レンズカメラの画像歪み補正方法。 - 前記魚眼レンズカメラの画像歪み補正において、等面積写像の魚眼レンズ画像の歪みを補正する座標変換を演算する過程を含むことを特徴とする請求項3記載の魚眼レンズカメラの画像歪み補正方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP06253198A JP4048511B2 (ja) | 1998-03-13 | 1998-03-13 | 魚眼レンズカメラ装置及びその画像歪み補正方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP06253198A JP4048511B2 (ja) | 1998-03-13 | 1998-03-13 | 魚眼レンズカメラ装置及びその画像歪み補正方法 |
Related Child Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007244733A Division JP4268206B2 (ja) | 2007-09-21 | 2007-09-21 | 魚眼レンズカメラ装置及びその画像歪み補正方法 |
JP2007244734A Division JP4243767B2 (ja) | 2007-09-21 | 2007-09-21 | 魚眼レンズカメラ装置及びその画像抽出方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH11261868A JPH11261868A (ja) | 1999-09-24 |
JP4048511B2 true JP4048511B2 (ja) | 2008-02-20 |
Family
ID=13202889
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP06253198A Expired - Fee Related JP4048511B2 (ja) | 1998-03-13 | 1998-03-13 | 魚眼レンズカメラ装置及びその画像歪み補正方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4048511B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101866714B (zh) * | 2010-05-25 | 2012-03-14 | 江苏通鼎光电科技有限公司 | 一种扁平形室内用数字通信电缆及其制造方法 |
US9467654B2 (en) | 2012-05-18 | 2016-10-11 | Ricoh Company, Limited | Video-conference terminal device, video-conference system, image distortion correction method, and image distortion correction processing program product |
Families Citing this family (63)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2001037028A1 (en) * | 1999-11-15 | 2001-05-25 | Equal Reverse Thoughts Limited | Method of improved image depth perception |
US6940998B2 (en) * | 2000-02-04 | 2005-09-06 | Cernium, Inc. | System for automated screening of security cameras |
JP4516665B2 (ja) * | 2000-05-19 | 2010-08-04 | パナソニック株式会社 | 監視装置 |
JP2002152719A (ja) * | 2000-08-29 | 2002-05-24 | Usc Corp | 曲面像を利用したモニタ方法及びモニタ装置 |
JP3523847B2 (ja) * | 2001-05-02 | 2004-04-26 | 株式会社リオスコーポレーション | 動体関連付けシステム |
JP4583670B2 (ja) * | 2001-07-04 | 2010-11-17 | パナソニック株式会社 | 画像歪み補正装置及び方法 |
FR2827680B1 (fr) * | 2001-07-20 | 2003-10-10 | Immervision Internat Pte Ltd | Procede de capture d'une image panoramique au moyen d'un capteur d'image de forme rectangulaire |
JP3624288B2 (ja) * | 2001-09-17 | 2005-03-02 | 株式会社日立製作所 | 店舗管理システム |
JP2003198903A (ja) * | 2001-12-25 | 2003-07-11 | Mazda Motor Corp | 撮像方法、撮像システム、撮像制御サーバ、並びに撮像プログラム |
AU2003217333A1 (en) * | 2002-02-04 | 2003-09-02 | Polycom, Inc. | Apparatus and method for providing electronic image manipulation in video conferencing applications |
JP4907883B2 (ja) * | 2005-03-09 | 2012-04-04 | 株式会社東芝 | 車両周辺画像表示装置および車両周辺画像表示方法 |
JP4542956B2 (ja) * | 2005-07-07 | 2010-09-15 | 株式会社東芝 | カメラ画像歪み補正表示装置 |
JP2007096588A (ja) * | 2005-09-28 | 2007-04-12 | Olympus Corp | 画像撮影装置および画像表示方法 |
JP2007067677A (ja) * | 2005-08-30 | 2007-03-15 | Olympus Corp | 画像表示装置 |
US7839446B2 (en) | 2005-08-30 | 2010-11-23 | Olympus Corporation | Image capturing apparatus and image display apparatus including imparting distortion to a captured image |
JP2007311860A (ja) * | 2006-05-16 | 2007-11-29 | Opt Kk | 画像処理装置、カメラ装置および画像処理方法 |
JP2007322560A (ja) | 2006-05-30 | 2007-12-13 | Kyocera Corp | 撮像装置、並びにその製造装置および製造方法 |
JP2008048293A (ja) | 2006-08-18 | 2008-02-28 | Kyocera Corp | 撮像装置、およびその製造方法 |
JP2008061172A (ja) * | 2006-09-04 | 2008-03-13 | Sony Corp | 画像処理装置、画像処理方法、そのブログラム及びそのプログラムを記録した記録媒体 |
JP4749984B2 (ja) | 2006-09-25 | 2011-08-17 | 京セラ株式会社 | 撮像装置、並びにその製造装置および製造方法 |
JP5188397B2 (ja) | 2006-12-27 | 2013-04-24 | 京セラ株式会社 | 撮像装置および情報コード読取装置 |
US8567678B2 (en) | 2007-01-30 | 2013-10-29 | Kyocera Corporation | Imaging device, method of production of imaging device, and information code-reading device |
JP5108323B2 (ja) * | 2007-02-14 | 2012-12-26 | パナソニック株式会社 | 監視カメラ及び監視カメラ制御方法 |
JP4825980B2 (ja) * | 2007-03-06 | 2011-11-30 | 国立大学法人岩手大学 | 魚眼カメラの校正方法。 |
JP2008227562A (ja) * | 2007-03-08 | 2008-09-25 | Sony Corp | 画像処理装置、カメラ装置、およびカメラシステム |
KR100856729B1 (ko) | 2007-04-04 | 2008-09-04 | 장상진 | 왜곡 영상 보정 장치 및 방법 |
JP4974765B2 (ja) * | 2007-05-30 | 2012-07-11 | 京セラ株式会社 | 画像処理方法及び装置 |
JP2009010730A (ja) | 2007-06-28 | 2009-01-15 | Kyocera Corp | 画像処理方法と該画像処理方法を用いた撮像装置 |
JP5173552B2 (ja) * | 2008-04-23 | 2013-04-03 | アルパイン株式会社 | 車両周辺監視装置およびこれに適用される歪み補正値の設定修正方法 |
US8363129B2 (en) | 2008-06-27 | 2013-01-29 | Kyocera Corporation | Imaging device with aberration control and method therefor |
JP4658162B2 (ja) | 2008-06-27 | 2011-03-23 | 京セラ株式会社 | 撮像装置および電子機器 |
US8502877B2 (en) | 2008-08-28 | 2013-08-06 | Kyocera Corporation | Image pickup apparatus electronic device and image aberration control method |
JP4743553B2 (ja) | 2008-09-29 | 2011-08-10 | 京セラ株式会社 | レンズユニット、撮像装置、および電子機器 |
JP4840472B2 (ja) * | 2009-04-15 | 2011-12-21 | トヨタ自動車株式会社 | 物体検出装置 |
JP5385740B2 (ja) * | 2009-09-25 | 2014-01-08 | キヤノン株式会社 | 撮像装置及び画像データの補正方法 |
WO2011158344A1 (ja) * | 2010-06-16 | 2011-12-22 | コニカミノルタオプト株式会社 | 画像処理方法、プログラム、画像処理装置及び撮像装置 |
JPWO2011158343A1 (ja) * | 2010-06-16 | 2013-08-15 | コニカミノルタ株式会社 | 画像処理方法、プログラム、画像処理装置及び撮像装置 |
WO2011161746A1 (ja) * | 2010-06-21 | 2011-12-29 | コニカミノルタオプト株式会社 | 画像処理方法、プログラム、画像処理装置及び撮像装置 |
JP5649429B2 (ja) * | 2010-12-14 | 2015-01-07 | パナソニックIpマネジメント株式会社 | 映像処理装置、カメラ装置および映像処理方法 |
JP2012147310A (ja) * | 2011-01-13 | 2012-08-02 | Panasonic Corp | 画像生成装置、画像生成方法、及びコンピュータプログラム |
JP5678324B2 (ja) | 2011-02-10 | 2015-03-04 | パナソニックIpマネジメント株式会社 | 表示装置、コンピュータプログラム、及び表示方法 |
JP5887067B2 (ja) * | 2011-05-20 | 2016-03-16 | 東芝テリー株式会社 | 全方位監視画像処理システム |
WO2013001941A1 (ja) * | 2011-06-27 | 2013-01-03 | 日本電気株式会社 | 物体検知装置、物体検知方法および物体検知プログラム |
US9596410B2 (en) * | 2012-02-22 | 2017-03-14 | Philips Lighting Holding B.V. | Vision systems and methods for analysing images taken by image sensors |
JP5896781B2 (ja) * | 2012-02-29 | 2016-03-30 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
JP5919538B2 (ja) | 2012-06-15 | 2016-05-18 | パナソニックIpマネジメント株式会社 | 物体検出装置及び物体検出方法 |
KR101478980B1 (ko) * | 2013-05-22 | 2015-01-05 | 아이오솔루션(주) | 어안 렌즈를 이용한 다중 채널 디스플레이 시스템 |
JP2016127377A (ja) * | 2014-12-26 | 2016-07-11 | カシオ計算機株式会社 | 画像処理装置及び画像処理方法、画像再生装置及び画像再生方法、並びにプログラム |
JP6380290B2 (ja) * | 2015-08-17 | 2018-08-29 | コニカミノルタ株式会社 | 画像認識システム |
JP6551155B2 (ja) * | 2015-10-28 | 2019-07-31 | 株式会社リコー | 通信システム、通信装置、通信方法およびプログラム |
CN108307091A (zh) * | 2015-12-01 | 2018-07-20 | 幸福在线(北京)网络技术有限公司 | 一种摄像头模组及移动终端 |
FR3052949B1 (fr) * | 2016-06-17 | 2019-11-08 | Alexandre Courtes | Procede et systeme de prise de vues a l'aide d'un capteur virtuel |
JP6799325B2 (ja) * | 2017-05-29 | 2020-12-16 | 地方独立行政法人東京都立産業技術研究センター | 画像補正装置、画像補正方法、注目点認識装置、注目点認識方法及び異常検知システム |
JP7182953B2 (ja) * | 2017-12-25 | 2022-12-05 | キヤノン株式会社 | 情報処理装置、システム、情報処理方法及びプログラム |
CN110021044B (zh) * | 2018-01-10 | 2022-12-20 | 华晶科技股份有限公司 | 利用双鱼眼图像计算所摄物体坐标的方法及图像获取装置 |
JP7020240B2 (ja) * | 2018-03-29 | 2022-02-16 | 株式会社リコー | 認識装置、認識システム、プログラムおよび位置座標検出方法 |
US10796402B2 (en) | 2018-10-19 | 2020-10-06 | Tusimple, Inc. | System and method for fisheye image processing |
JP7338174B2 (ja) * | 2019-03-06 | 2023-09-05 | オムロン株式会社 | 物体検出装置および物体検出方法 |
JP7192582B2 (ja) * | 2019-03-11 | 2022-12-20 | オムロン株式会社 | 物体追跡装置および物体追跡方法 |
JP7188240B2 (ja) | 2019-04-01 | 2022-12-13 | オムロン株式会社 | 人検出装置および人検出方法 |
CN113643205B (zh) * | 2021-08-17 | 2024-03-22 | 安徽农业大学 | 一种鱼眼镜头的全场图像畸变校正方法 |
CN113834638A (zh) * | 2021-09-03 | 2021-12-24 | 大连中科创达软件有限公司 | 视场角确定方法、装置、设备及存储介质 |
CN114240759A (zh) * | 2021-12-29 | 2022-03-25 | 交通运输部公路科学研究所 | 一种车底成像处理方法及装置 |
-
1998
- 1998-03-13 JP JP06253198A patent/JP4048511B2/ja not_active Expired - Fee Related
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101866714B (zh) * | 2010-05-25 | 2012-03-14 | 江苏通鼎光电科技有限公司 | 一种扁平形室内用数字通信电缆及其制造方法 |
US9467654B2 (en) | 2012-05-18 | 2016-10-11 | Ricoh Company, Limited | Video-conference terminal device, video-conference system, image distortion correction method, and image distortion correction processing program product |
Also Published As
Publication number | Publication date |
---|---|
JPH11261868A (ja) | 1999-09-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4048511B2 (ja) | 魚眼レンズカメラ装置及びその画像歪み補正方法 | |
JP4243767B2 (ja) | 魚眼レンズカメラ装置及びその画像抽出方法 | |
JP4268206B2 (ja) | 魚眼レンズカメラ装置及びその画像歪み補正方法 | |
JP6587113B2 (ja) | 画像処理装置及び画像処理方法 | |
US9602700B2 (en) | Method and system of simultaneously displaying multiple views for video surveillance | |
US9398214B2 (en) | Multiple view and multiple object processing in wide-angle video camera | |
JP5454674B2 (ja) | 画像生成装置、画像生成プログラム、合成テーブル生成装置および合成テーブル生成プログラム | |
US8855441B2 (en) | Method and apparatus for transforming a non-linear lens-distorted image | |
EP0930585B1 (en) | Image processing apparatus | |
WO2019049421A1 (ja) | キャリブレーション装置、キャリブレーションシステム、およびキャリブレーション方法 | |
WO2003036565A2 (en) | System and method for obtaining video of multiple moving fixation points within a dynamic scene | |
CN110691175B (zh) | 演播室中模拟摄像机运动跟踪的视频处理方法及装置 | |
US20100002074A1 (en) | Method, device, and computer program for reducing the resolution of an input image | |
JP2000253391A (ja) | パノラマ映像生成システム | |
US20230005213A1 (en) | Imaging apparatus, imaging method, and program | |
JPH1118007A (ja) | 全方向性画像表示システム | |
KR100343836B1 (ko) | 파노라마 영상 감시 시스템 및 그 제어방법 | |
JP3066594U (ja) | 画像変換装置 | |
Yuan et al. | A novel method for geometric correction of multi-cameras in panoramic video system | |
JP2000228748A (ja) | 画像入力装置 | |
US20240119676A1 (en) | Image generation method, apparatus, and system, and computer-readable storage medium | |
JP2005005816A (ja) | 広角カメラおよび広角カメラシステム | |
JPH04275783A (ja) | 画像情報処理装置 | |
CN115147262A (zh) | 一种图像生成方法和装置 | |
JP3235929B2 (ja) | 建造物画像合成装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041105 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070709 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070724 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070921 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071023 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071116 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101207 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111207 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111207 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121207 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121207 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131207 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |