JP3138264B2 - 画像処理方法及び装置 - Google Patents

画像処理方法及び装置

Info

Publication number
JP3138264B2
JP3138264B2 JP01150200A JP15020089A JP3138264B2 JP 3138264 B2 JP3138264 B2 JP 3138264B2 JP 01150200 A JP01150200 A JP 01150200A JP 15020089 A JP15020089 A JP 15020089A JP 3138264 B2 JP3138264 B2 JP 3138264B2
Authority
JP
Japan
Prior art keywords
model
photographed
plane
image
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP01150200A
Other languages
English (en)
Other versions
JPH0284889A (ja
Inventor
章男 大場
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPH0284889A publication Critical patent/JPH0284889A/ja
Application granted granted Critical
Publication of JP3138264B2 publication Critical patent/JP3138264B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Circuits (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は画像処理方法及び装置に関し、特にテレビカ
メラで撮影され、モニタで表示された画像の視点位置を
任意に変えられるようにした画像処理方法及び装置に関
する。
〔発明の概要〕
モニタに表示された画像の視点位置を移動させる画像
処理方法及び装置において、カメラの撮像素子の各絵素
の座標及び被撮影物に対するカメラの撮影角度に基づい
て３次元座標系に被撮影物の被撮影面のモデルを形成
し、カメラから出力される画像データをモデルにマッピ
ングし、画像データがマッピングされたモデルを３次元
座標系で回転移動させると共に画像データがマッピング
されたモデルを表示する。
〔従来の技術〕
テレビ放送等において、地面上の被撮影物を複数の視
点位置から見ることができるように、従来は撮影用のや
ぐらやクレーンを用いて、テレビカメラを高所に設置す
るなどしてテレビカメラの撮影位置を変えることにより
視点位置を変えている。しかし、従来の法では、撮像場
所によってはクレーンや撮影用やぐらを設置できず、視
点位置を変えられない場合がある。
〔発明が解決しようとする課題〕
本発明の主たる目的は、テレビカメラの撮影位置を変
えずに、モニタに表示される地面上の被撮影物に対する
視点位置を任意に変えられるようにした画像処理方法及
び装置を提供することである。
本発明の他の目的は、モニタに表示された被撮影物の
視点位置を移動させたときに生じる画像の不自然さを修
正できるようにした画像処理方法及び装置を提供するこ
とである。
〔課題を解決するための手段〕
本発明の課題を解決するための第１の手段は、モニタ
に表示された画像の視点位置を移動させる画像処理方法
であって、被撮影物を撮影し、上記撮影された各絵素の
座標及び上記被撮影物に対する撮影角度に基づいて３次
元座標系に上記被撮影物の被撮影面のモデルを形成し、
上記形成された上記モデルの上記３次元座標系に基づい
て上記撮影された画像データをマッピングし、上記画像
データがマッピングされた上記モデルを任意の視点位置
設定データに基づいて上記３次元座標系で回転移動させ
ると共に、上記画像データがマッピングされた上記モデ
ルを表示し、上記モデルの上記被撮影面から突出してい
る被撮影物がマッピングされている部分を補正データに
基づいて上記３次元座標系で変形させることによって上
記被撮影面から突出している被撮影物の表示面での長さ
を補正することを特徴とする画像処理方法である。
本発明の課題を解決するための第２の手段は、モニタ
に表示された画像の視点位置を移動させる画像処理装置
において、被撮影物を撮影するカメラ２と、上記カメラ
の撮影素子の各絵素の座標及び上記被撮影物に対する上
記カメラの撮影角度に基づいて３次元座標系に上記被撮
影物の被撮影面のモデルを形成する形成手段５と、上記
形成手段によって形成された上記モデルの上記３次元座
標系に基づいて上記カメラから出力される画像データ
（画像メモリ９）を画像メモリ13上でマッピングするマ
ッピング手段（メモリ制御手段８に含まれる）と、上記
画像メモリ13上で上記画像データがマッピングされた上
記モデルを任意の入力手段11からの補正データに基づく
視点位置設定手段10からの視点位置設定データに基づい
て上記３次元座標系で回転移動させる移動手段（メモリ
制御手段８に含まれる）と、上記画像データがマッピン
グされた上記モデルを表示するモニタ14と、上記モデル
の上記被撮影面から突出している被撮影物がマッピング
されている部分を上記入力手段11からの補正データに基
づいて上記３次元座標系で変形（補正手段12）させるこ
とによって上記被撮影面から突出している被撮影物の上
記モニタの表示面での長さを補正する変形手段（メモリ
制御手段８に含まれる）とを備えたことを特徴とする画
像処理装置である。
〔作用〕
これによれば、カメラの撮影素子の各絵素の座標及び
被撮影物に対するカメラの撮影角度に基づいて３次元座
標系に被撮影物の被撮影面のモデルを形成し、カメラか
ら出力される画像データをモデルにマッピングし、画像
データがマッピングされたモデルを３次元座標系で回転
移動させると共に画像データがマッピングされたモデル
を表示することができる。
〔実施例〕
第１図を参照したが、本発明による画像処理方法を適
用した画像処理装置１の構成について説明する。ゴルフ
コース３等の被撮影物がテレビカメラ２によって撮影さ
れる。このとき、テレビカメラ２は固定され、撮影角度
はθである。この撮影角度は撮影角度測定手段４によっ
て測定され、平面モデル作成手段５に供給される。平面
モデル作成手段５は入力された撮影角度θに基づいて、
平面モデルを作成する。平面モデル作成手段５によって
作成された平面モデルを表すデータは高さ情報付加手段
６に供給される。高さ情報付加手段６は高さ情報入力装
置７から入力された高さの情報に基づいて平面モデルを
示すデータを修正し、起伏を有するモデルを表すデータ
を作成する。この起伏を有するモデルを表すデータはメ
モリ制御手段８に供給される。テレビカメラ２から出力
される映像信号は入力画像メモリ９に供給され、各絵素
ごとに所定のアドレスに記憶される。また視点位置設定
手段10は入力手段11から入力される視点位置制御データ
に基づいて視点位置設定データを作成し、メモリ制御手
段８に視点位置設定データを供給する。補正手段12は入
力手段11から入力される補正制御データに基づいて補正
データを作成し、メモリ制御手段８に補正データを供給
する。メモリ制御手段８は高さ情報付加手段６から供給
される起伏を有するモデルを表すデータ、視点位置設定
手段10から供給される視点位置設定データ及び補正手段
12から供給される補正データに基づいて入力画像メモリ
９の呼出しアドレス及び出力画像メモリ13の書込みアド
レスを作成する。入力画像メモリ９の読出しアドレス及
び出力画像メモリ13の書込みアドレスは夫々入力画像メ
モリ９及び出力画像メモリ10に供給され、入力画像メモ
リ９に記憶されている映像信号が読み出されて出力画像
メモリ13の所定のアドレスに記憶される。出力画像メモ
リ13から読み出された映像信号はモニタ14に供給され、
モニタ画面に表示される。
次に、本発明による画像処理方法を適用した画像処理
装置１において、テレビカメラ２でゴルフコース３等を
撮影するときの撮影角θにもとづいて３次元座標系に平
面モデルを作成し、テレビカメラ２から出力される映像
信号を３次元座標系に置かれた平面モデルにマッピング
するための原理について説明する。
第２図は、平面Ｐ上の被撮影物を平面Ｐに垂直に配置
されたテレビカメラ２で撮影するときに、平面Ｐ上の被
撮影物がテレビカメラ２の撮影素子（スクリーン20）上
に透視変換される状態を示している。逆に言えば、テレ
ビカメラ２で撮影された被撮影物の実際の位置はスクリ
ーン20から視点位置21に対して反対の方向に所定の距離
離れた所に位置する平面Ｐ上に位置する。したがって平
面Ｐ上に位置する被撮影物の位置OPを（x,y,z）とし、
視点の位置21を原点（0,0,0）とし、スクリーン20の中
央Ｃを（0,0,SCP）とし、スクリーン20に透視変換され
た被撮影物の位置SPを（X,Y,SCP）とすると、平面Ｐ上
に位置する被撮影物の位置OPとスクリーン20上に透視変
換された被撮影物の位置SPとの関係は次式で表わされ
る。
次に平面Ｐ′として第３図に示すように、第２図に示
される平面Ｐを所定の角度だけ傾いた平面Ｐ′を想定す
る。この平面Ｐ′が位置Ｍにおいて、ｘ−ｚ平面に対し
て角度θだけ傾いているとすると、平面Ｐ′上に位置す
る被撮影物の位置OPとスクリーン20上に透視変換された
被撮影物の位置SPとの関係は次式で表わされる。
となる。
この第（３）式，第（４）式をx,yについて解くと このときｚは ｚ＝Ｚ＋ｙ＊cosθ （７） となる。
第（５）式、第（６）式及び第（７）式から明らかな
ように、テレビカメラ２で平面Ｐ′を撮影するときの平
面Ｐ′に対するテレビカメラ２の撮影角度θを測定し、
その角度θ及び、スクリーン20上に透視変換された被撮
影物の各絵素の位置（X,Y,SCP）を第（５）式、第
（６）式及び第（７）式に代入することによって、３次
元座標系における平面Ｐ′を演算できる。尚Ｚは視点位
置21から平面Ｐ′上の位置Ｍまでの距離である。これは
カメラ２の光学軸とゴルフコース３とが交わる点とカメ
ラ２との距離に等しい。また以後このようにして作成さ
れた平面Ｐ′を平面モデルＰ′と呼ぶ。上述のようにし
て作成された平面モデルＰ′にスクリーン20に透視変換
された被撮影物の各絵素の映像データを、平面モデル
Ｐ′上の対応する座標に割り当てることにより、３次元
座標系における平面モデルＰ′に映像データをマッピン
グできる。このようにして平面Ｐ上の被撮影物をテレビ
カメラ２によって撮影したときの撮影角θと同じ角度だ
けｘ−ｚ平面に対して傾いていて、映像データを有する
平面モデルＰ′を３次元座標系に作成することができ
る。そして３次元座標系に配置された平面モデルＰ′に
マッピングされた映像データは第１図に示されるモニタ
14に供給され、表示される。
上述のようにして３次元座標系に配置された平面モデ
ルＰ′の各絵素の位置に対応する座標値に互いに関連し
た任意の値を加算することによって、平面モデルＰ′を
３次元座標系内で回転，平行移動することにより、モニ
タ14に表示された平面モデルＰ′に対する視点位置を変
えることができる。
したがって、第１図に示されるようにゴルフコース３
に対するテレビカメラ２の撮影角度θが一定であって
も、モニタ14に表示されたゴルフコース３に対する視点
の位置を変えることができる。したがって、あたかもテ
レビカメラ２を高所に動かしてゴルフコース３を真上か
ら撮影するようにしたかのように、視点位置の移動を容
易に行うことができる。すなわち、テレビカメラ２で撮
影された画像として、例えば第４図に示すような画像情
報があった場合に、テレビカメラ２の撮影角度θを変え
ずに、第５図に示すように視点位置を高所に移動させた
画像を得ることができる。
したがって本発明によれば、視点位置を任意に定める
ことができ、これによって距離の把握等が容易になる。
ところで、上述のようにして平面Ｐ′の視点位置を任
意に変えた場合、被撮影物即ちゴルフコース３等を平面
として近似して平面モデルＰ′を形成しているので、例
えば画像中の木Ｗや人間Ｔのように平面Ｐ′に含まれな
い部分は、視点の位置を移動したときに画像が不自然に
なってしまう。
第６図に示すように地面Ｑの上に木Ｗが立っているよ
うな被撮影物を視点位置21からテレビカメラ２によって
撮影し、モニタ14によって表示した状態を第６図Ｂに示
す。第６図Ｃに示されるように、モニタ14に表示された
被撮影物に対する視点位置21を上述のようにして上方に
移動させると第６図Ｄに示されるように木Ｗの長さが伸
びてしまう。これは第６図Ａの状態でテレビカメラ２に
より被撮影物を撮影した場合、第６図Ｃに示されるよう
に木Ｗが第６図Ａに示される地面Ｑに横たわっている状
態と何等変わりが無いからである。
次に、立っている木Ｗや人間Ｔの長さを補正する手段
を説明する。補正する手段として本願出願人が先に提案
した特開昭62−47781号公報に記載されている技術を用
いる。
まず、第６図Ｃ及びＤに示されるように、平面モデル
Ｐ′において、変形させる領域VCFを設定する。次に変
形方向及び大きさを表す変形ベクトルViを設定する。さ
らに変形を施すべき位置を表す作用点CPi及びベクトル
場関数Fiを設定する。そして変形前の平面モデルＰ′の
位置ベクトルをPoとすると、変形後の平面モデルＰ′の
位置ベクトルPNは次式で示される。
このようにして変形された平面モデルＰ′の状態を第
６図Ｅに示す。すなわち、木Ｗが直立した状態となる。
したがって、第６図Ｆに示されるように、木Ｗの長さが
伸びた状態が補正され、木の真上にテレビカメラ２を移
動させたのと同じ状態で地面Ｑ及び木Ｗがモニタ14に表
示される。
上述したような修正を施すことにより、第５図に示さ
れるように実際よりも長さが伸びている人間Ｔや木Ｗを
有する画像を補正して、第７図に示されるような画像を
得ることができる。
つぎに第８図を参照しながら、地面Ｑ′等の被撮影物
の高さｈ（u,v）が地形図等の情報源によって与えられ
る場合について説明する。まず、上述のようにして地面
Ｑ′に対するテレビカメラ２の撮影角θ及びスクリーン
20上に透視変換された被撮影物の各絵素の位置（X,Y,SC
P）を第（５）式、第（６）式及び第（７）式に代入す
ることによって、第９図に示されるように３次元座標系
に平面モデルＰ″を形成する。つぎに形成された平面モ
デルＰ″を、平面モデルＰ″の任意の位置（x,y,z）に
おける高さを示すデータｈ（u,v）に基づいて変形す
る。変形後の平面モデルＰ″の３次元座標系における任
意の位置の座標（x,y,z）は次式によって演算できる。
ｚ＝Ｚ＋ｙ＊cosθ＋ｈ（u,v）＊sinθ （11） これらの式は第（６）式及び第（７）式の右辺に夫々
被撮影物の高さｈ（u,v）のｙ軸方向成分及びｚ軸方向
成分を加算することによって導きだせる。上述の第
（９）式，第（10）式及び第（11）式を用いることによ
って、第９図に示されるように、３次元座標系に被撮影
物に応じた起伏を有するモデルＰ作成できる。また第
（９）式、第（10）式及び第（11）式より、スクリーン
20に透視変換表示された被撮影物の各絵素の位置と起伏
を有するモデルＰの各座標とを対応づけることができ
る。したがって第（９）式，第（10）式及び第（11）式
に基づいてスクリーン20に透視変換された被撮影物の各
絵素の映像データを起伏を有するモデルＰの対応する
座標に割り当てることにより、３次元座標系における起
伏を有するモデルＰに映像データをマッピングでき
る。このようにして地面Ｑ′上の被撮影物をテレビカメ
ラ２によって撮影したときの撮影角θと同じ角度だけｘ
−ｚ平面に対して傾いていて、映像データを有し、起伏
を有するモデルＰを３次元座標系に作成することがで
きる。そして３次元座標系に配置された起伏を有するモ
デルＰの映像データは第１図に示されるモニタ14に供
給され、表示される。
上述のようにして３次元座標系に配置された起伏を有
する平面モデルＰの各絵素の位置に対応する座標値に
互いに関連した任意の値を加算することによって、３次
元座標系において、起伏を有するモデルＰを回転させ
ることができる。すなわち、ｘ−ｚ平面に対する起伏を
有するモデルＰ角度を任意に変えることができる。し
たがって、３次元座標系に配置された起伏を有するモデ
ルＰの映像データをモニタ14によって表示したとき
に、表示されている起伏を有するモデルＰの角度を変
えることができる。すなわち起伏を有するモデルＰに
対する視点の位置を変えることができる。
このようにして起伏を有するモデルＰに対する視点
の位置を変える際に、第10図に示すように、地面Ｑ′上
に木Ｗがあると、視点の位置を高くしたときに木Ｗの長
さが伸びてしまう。これは一般に地形図等から得られる
地形の高さの情報には木Ｗの高さを示すデータは含まれ
ていないために、起伏を有するモデルＰを作成すると
きに、木Ｗの高さが無視され、木Ｗは起伏を有する地面
Ｑ′に横たわっているものとみなされるからである。
このように視点の位置を高くしたときに木Ｗの長さが
伸びてしまう現象を補正するときには、第６図を用いて
説明したのと同様にして補正できる。まず、起伏を有す
るモデルＰにおいて変形させる領域VCFを設定する。
次に変形方向及び大きさを表す変形ベクトルViを設定す
る。さらに変形を施すべき位置を表す作用点CPi及びベ
クトル場関数Fiを設定する。そして変形前の起伏を有す
るモデルＰの位置ベクトルをP0として第（８）式を用
いて変形後の起伏を有するモデルＰの位置ベクトルPN
を演算し、この位置ベクトルPNに従って起伏を有するモ
デルＰをさらに変形させることによって、木Ｗの長さ
を補正できる。
地面Ｑ′等の被撮影物の高さｈ（u,v）が地形図等の
情報源によって与えられる場合には、上述したように、
起伏を有するモデルＰを形成して映像データをマッピ
ングすることにより、視点の位置を変えた場合でも地形
の高低を正確にモニタ14上に表現することができる。
次に第11図を参照しながら第１図を示す本発明による
画像処理方法を適用した画像処理装置１の動作を説明す
る。
ステップSP1において画像処理装置１は動作を開始す
る。
ステップSP2において撮影角度測定手段４はゴルフコ
ース３等の被撮影物に対するテレビカメラ２の撮影角度
θを測定する。この撮影角度θはオペレータがマニュア
ルで測定しても良い。撮影角度測定手段４によって測定
された撮影角度θは平面モデル作成手段５に供給され
る。
ステップSP3において平面モデル作成手段５は、撮影
角度θ及び、テレビカメラ２の撮影素子に透視変換され
た被撮影物の各絵素の位置（X,Y,SCP）を第（５）式，
第（６）式及び第（７）式に代入することによって、３
次元座標系に平面モデルＰ′を作成する。平面モデル作
成手段５によって演算された平面モデルＰ′を表すデー
タは高さ情報付加手段６に供給される。
ステップSP4においてゴルフコース３等の高さ（起
伏）を示す情報の有無が判断される。ステップSP4にお
いて高さを示す情報が有ると判断された場合にはステッ
プSP5において高さ情報入力手段７を介して高さを示す
データが高さ情報付加手段６に入力される。高さ情報付
加手段６は第（９）式，第（10）式及び第（11）式に示
されるように、平面モデル作成手段５によって構成され
た平面モデルＰ′を表すデータに高さを示すデータを加
算する。ステップSP4において高さを示す情報が無いと
判断された場合には平面モデル作成手段５によって演算
された平面モデルＰ′を表すデータは直接メモリ制御手
段８に供給される。
ステップSP6においてメモリ制御手段８は高さ情報付
加手段６又は平面モデル作成手段５から供給されるデー
タに基づいて入力画像メモリ９の呼出しアドレス及び出
力画像メモリ13の書込みアドレスを作成し、夫々入力画
像メモリ９及び出力画像メモリ13に供給する。テレビカ
メラ２から供給され、入力画像メモリ９に記憶された映
像信号はメモリ制御手段８から供給される読出しアドレ
スに従って読み出され、メモリ制御手段８から供給され
る書込みアドレスにしたがって出力画像メモリ13に書き
込まれる。この動作によってスクリーン20に透視変換さ
れている被撮影物の各絵素の映像データを平面モデル
Ｐ′または起伏を有するモデルＰの対応する座標に割
り当てることができる。この動作がマッピングである。
ステップSP7において入力手段11を介して変形させる
領域VCFを示すデータ、変形方向及び大きさを表わすベ
クトルＶを示すデータ及び変形を施すべき位置を表す作
用点CPi及びベクトル場関数Fiを示すデータを補正手段1
2に供給する。また変形前の平面モデルPiの位置ベクト
ルP0を示すデータまたは変形前の起伏を有するモデルＰ
の位置ベクトルP0を表すデータがメモリ制御手段８か
ら供給される。補正手段12は入力された各データに基づ
いて第（８）式を用いて変形後の平面モデルＰ′の位置
ベクトルPNまたは変形後の起伏を有するモデルＰの位
置ベクトルPNを演算する。演算された変形後の平面モデ
ルＰ′の位置ベクトルPNを示すデータまたは変形後の起
伏を有するモデルＰの位置ベクトルPNを表すデータは
メモリ制御手段８に供給される。メモリ制御手段８は補
正手段12から供給された位置ベクトルPNを示すデータに
基づいて入力画像メモリ９の読出しアドレス及び出力画
像メモリ13の書込みアドレスを作成し、夫々入力画像メ
モリ９及び出力画像メモリ13に供給する。入力画像メモ
リ９に記憶されてる画像信号はメモリ制御手段８から供
給される読出しアドレスに従って再度読み出され、メモ
リ制御手段８から供給される書込みアドレスにしたがっ
て出力画像メモリ13に書き込まれる。この動作によって
平面モデルＰ′または起伏を有するモデルＰが修正さ
れ人間Ｔや木Ｗの長さを補正することができる。
ステップSP8においてステップSP7における修正が完了
したか否かが判断される。このステップ８はオペレータ
がモニタ14に表示されている画像が所望の状態に成った
か否かを判断することによって成し遂げられている。
ステップSP9において入力手段11を介して視点位置制
御データが視点位置設定手段10に供給され、視点位置設
定手段10はメモリ制御手段８から供給される平面モデル
Ｐ′または起伏を有するモデルＰの各座標値に視点位
置制御データに応じた値を加算することにより、視点位
置設定データを作成する。この視点位置設定データはメ
モリ制御手段８に供給される。メモリ制御手段８は視点
位置設定手段10から供給された視点位置設定データに基
づいて入力画像メモリ９の読出しアドレス及び出力画像
メモリ13の書込みアドレスを作成し、夫々入力画像メモ
リ９及び出力画像メモリ13に供給する。入力画像メモリ
９に記憶されている映像信号はメモリ制御手段８から供
給される読出しアドレスに従って再度読み出され、メモ
リ制御手段８から供給される書込みアドレスにしたがっ
て出力画像メモリ13に書き込まれる。この動作によって
平面モデルＰ′または起伏を有するモデルＰの視点位
置が変更される。
ステップSP10においてステップSP9における平面モデ
ルの視点位置の設定または変更が所望の状態になったか
否かをオペレータがモニタ14を見ながら判断し、所望の
状態になったときにはステップSP11に進んで動作を終了
する。即ち、視点位置の設定と画像の修正はオペレータ
と画像処理装置１とによってインタラクティブに行われ
る。
本発明によれば、第１図に示されるようにゴルフコー
ス３等に対するテレビカメラ２の撮影角度が一定であっ
ても、モニタ14に表示されたゴルフコース３に対する視
点の位置を任意に変えることができる。したがって、あ
たかもテレビカメラ２を高所に動かしてゴルフコース３
を真上から撮影するようにしたかのように、視点位置の
移動を容易に行うことができる。これによって距離の把
握等が容易になる。
また、ゴルフコース等の被撮影物の高さｈ（u,v）が
地形図等の情報源によって与えられる場合には、上述し
たように、起伏を有するモデルＰを形成して映像デー
タをマッピングすることにより、視点位置を変えた場合
でも地形の高低を正確にモニタ14上に表現することがで
きる。
実施例の説明においては、被撮影物としてゴルフコー
スを例示したが、被撮影物としては野球場等様々なもの
を適用できることは言うまでも無い。
また、ゴルフコース等を平面で近似して平面モデルを
作成し、この平面モデルにゴルフコース等を撮影するこ
とによって得られた画像データをマッピングすることに
より得られた画像と、木や人間等を平面で近似して平面
モデルを作成し、この平面モデルに木や人間等を撮影す
ることによって得られた画像データをマッピングするこ
とにより得られた画像とを合成することによって、木や
人間等を有するゴルフコース等のモデルを３次元座標系
に作成しても良い。
〔発明の効果〕
この発明によれば、カメラの撮像素子の各絵素の座標
及び被撮影物に対するカメラの撮影角度に基づいて３次
元座標系に被撮影物の被撮影面のモデルを形成し、カメ
ラから出力される画像データをモデルにマッピングし、
画像データがマッピングされたモデルを３次元座標系で
回転移動させると共に画像データがマッピングされたモ
デルを表示することができるようになった。
【図面の簡単な説明】
第１図は本発明の画像処理手段の一実施例を示すブロッ
ク図、第２図及び第３図は本発明の画像処理手段におい
て３次元座標系に平面モデルを形成するための原理を説
明する略線図、第４図は本発明の画像処理手段のカメラ
によって撮影された画像の一例を示す略線図、第５図は
本発明の画像処理手段によって第４図に示される画像の
視点位置を動かした状態での画像を示す略線図、第６図
は第５図に示された画像の不自然な個所を補正するため
の原理を説明する略線図、第７図は第５図に示された画
像の不自然な個所を補正した後の画像を示す略線図、第
８図及び第９図は本発明の画像処理手段において３次元
座標系に起伏を有するモデルを形成するための原理を説
明する略線図、第10図は本発明の画像処理手段におい
て、視点の移動後、画像が不自然になる部分を説明する
ため図、第11図は第１図に示される画像処理手段の動作
を説明するためのフローチャート図である。 １は画像処理装置、２はテレビカメラ、３はゴルフコー
ス、４は撮影角度測定手段、５は平面モデル入力手段、
６は高さ情報付加手段、７は高さ情報入力装置、８はメ
モリ制御手段、９は入力画像メモリ、10は視点位置設定
手段、11は入力手段、12は補正手段、13は出力画像メモ
リ、14はモニタである。

Claims (4)

    (57)【特許請求の範囲】
  1. 【請求項１】モニタに表示された画像の視点位置を移動
    させる画像処理方法であって、 被撮影物を撮影し、 上記撮影された各絵素の座標及び上記被撮影物に対する
    撮影角度に基づいて３次元座標系に上記被撮影物の被撮
    影面のモデルを形成し、 上記形成された上記モデルの上記３次元座標系に基づい
    て上記撮影された画像データをマッピングし、 上記画像データがマッピングされた上記モデルを任意の
    視点位置設定データに基づいて上記３次元座標系で回転
    移動させると共に、 上記画像データがマッピングされた上記モデルを表示
    し、 上記モデルの上記被撮影面から突出している被撮影物が
    マッピングされている部分を補正データに基づいて上記
    ３次元座標系で変形させることによって上記被撮影面か
    ら突出している被撮影物の表示面での長さを補正する ことを特徴とする画像処理方法。
  2. 【請求項２】上記特許請求の範囲第１項に記載された画
    像処理方法において、 上記撮影された各絵素の座標及び上記撮影角度に基づい
    て上記被撮影物の被撮影面を平面で近似することにより
    平面モデルを形成し、 上記被撮影面の高さを示すデータに基づいて上記平面モ
    デルを変形する ことを特徴とする画像処理方法。
  3. 【請求項３】モニタに表示された画像の視点位置を移動
    させる画像処理装置において、 被撮影物を撮影するカメラと、 上記カメラの撮影素子の各絵素の座標及び上記被撮影物
    に対する上記カメラの撮影角度に基づいて３次元座標系
    に上記被撮影物の被撮影面のモデルを形成する形成手段
    と、 上記形成手段によって形成された上記モデルの上記３次
    元座標系に基づいて上記カメラから出力される画像デー
    タを画像メモリ上でマッピングするマッピング手段と、 上記画像メモリ上で上記画像データがマッピングされた
    上記モデルを任意の入力手段からの補正データに基づく
    視点位置設定手段からの視点位置設定データに基づいて
    上記３次元座標系で回転移動させる移動手段と、 上記画像データがマッピングされた上記モデルを表示す
    るモニタと、 上記モデルの上記被撮影面から突出している被撮影物が
    マッピングされている部分を上記入力手段からの補正デ
    ータに基づいて上記３次元座標系で変形させることによ
    って上記被撮影面から突出している被撮影物の上記モニ
    タの表示面での長さを補正する変形手段と を備えたことを特徴とする画像処理装置。
  4. 【請求項４】上記特許請求の範囲第１項に記載された画
    像処理装置において、 上記形成手段は上記カメラの撮影素子の各絵素の座標及
    び上記撮影角度に基づいて上記被撮影物の被撮影面を平
    面に近似することにより平面モデルを形成する平面モデ
    ル形成手段を有し、 上記変形手段は上記被撮影面の高さを示すデータに基づ
    いて上記平面モデルを変形する平面モデル変形手段を有
    する ことを特徴とする画像処理装置。
JP01150200A 1988-06-21 1989-06-13 画像処理方法及び装置 Expired - Lifetime JP3138264B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP15285588 1988-06-21
JP63-152855 1988-06-21

Publications (2)

Publication Number Publication Date
JPH0284889A JPH0284889A (ja) 1990-03-26
JP3138264B2 true JP3138264B2 (ja) 2001-02-26

Family

ID=15549599

Family Applications (1)

Application Number Title Priority Date Filing Date
JP01150200A Expired - Lifetime JP3138264B2 (ja) 1988-06-21 1989-06-13 画像処理方法及び装置

Country Status (6)

Country Link
US (1) US4956706A (ja)
JP (1) JP3138264B2 (ja)
CA (1) CA1319417C (ja)
DE (1) DE3920160B4 (ja)
FR (1) FR2633474B1 (ja)
GB (1) GB2221118B (ja)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3104909B2 (ja) * 1989-12-05 2000-10-30 ソニー株式会社 画像処理装置
US5528194A (en) * 1991-05-13 1996-06-18 Sony Corporation Apparatus and method for performing geometric transformations on an input image
ZA916712B (en) * 1991-08-23 1992-05-27 John Walter Brown Michael Depiction of images
JP3117097B2 (ja) * 1992-01-28 2000-12-11 ソニー株式会社 画像変換装置
US5973700A (en) * 1992-09-16 1999-10-26 Eastman Kodak Company Method and apparatus for optimizing the resolution of images which have an apparent depth
IL108957A (en) * 1994-03-14 1998-09-24 Scidel Technologies Ltd Video sequence imaging system
USRE43490E1 (en) 1994-05-27 2012-06-26 B.H. Image Co. Llc Wide-angle dewarping method and apparatus
US5796426A (en) * 1994-05-27 1998-08-18 Warp, Ltd. Wide-angle image dewarping method and apparatus
EP0701369A1 (en) * 1994-09-09 1996-03-13 Canon Kabushiki Kaisha Image processing method and apparatus
US5857066A (en) * 1994-12-30 1999-01-05 Naturaland Trust Method and system for producing an improved hiking trail map
KR100263366B1 (ko) * 1995-06-09 2000-08-01 하기와라 가즈토시 지도 표시 장치
US6081273A (en) * 1996-01-31 2000-06-27 Michigan State University Method and system for building three-dimensional object models
ES2114819B1 (es) * 1996-05-30 1999-02-16 Market Sp 94 S L Metodo para la visualizacion a distancia de paneles publicitarios y similares desde una camara para la captacion de imagenes.
US6341044B1 (en) 1996-06-24 2002-01-22 Be Here Corporation Panoramic imaging arrangement
US6373642B1 (en) 1996-06-24 2002-04-16 Be Here Corporation Panoramic imaging arrangement
US6493032B1 (en) 1996-06-24 2002-12-10 Be Here Corporation Imaging arrangement which allows for capturing an image of a view at different resolutions
US6331869B1 (en) 1998-08-07 2001-12-18 Be Here Corporation Method and apparatus for electronically distributing motion panoramic images
US6459451B2 (en) 1996-06-24 2002-10-01 Be Here Corporation Method and apparatus for a panoramic camera to capture a 360 degree image
DK9700140U3 (da) 1997-03-25 2000-03-24 Logo Paint Figurativt tryk på en plan trykbærer og anvendelse af sådant figurativt tryk
GB2324429A (en) * 1997-04-02 1998-10-21 Orad Hi Tec Systems Ltd Electronic zoom control in a virtual studio
US6466254B1 (en) 1997-05-08 2002-10-15 Be Here Corporation Method and apparatus for electronically distributing motion panoramic images
US6356296B1 (en) 1997-05-08 2002-03-12 Behere Corporation Method and apparatus for implementing a panoptic camera system
TW509849B (en) * 1997-06-16 2002-11-11 Matsushita Electric Ind Co Ltd The image processing device and the image processing method
US6042254A (en) * 1998-11-13 2000-03-28 Burton; John E. Non-recalibratable vehicle headlamp aiming device dial
US6369818B1 (en) 1998-11-25 2002-04-09 Be Here Corporation Method, apparatus and computer program product for generating perspective corrected data from warped information
US6175454B1 (en) 1999-01-13 2001-01-16 Behere Corporation Panoramic imaging arrangement
KR20020061623A (ko) * 2000-09-27 2002-07-24 코닌클리케 필립스 일렉트로닉스 엔.브이. 스크린 상에 디스플레이될 이미지를 제공하는 방법 및 장치
JP4088169B2 (ja) * 2003-02-07 2008-05-21 株式会社バンダイナムコゲームス 画像生成装置及び情報記憶媒体
GB2400513B (en) * 2003-03-14 2005-10-05 British Broadcasting Corp Video processing
US8466913B2 (en) * 2007-11-16 2013-06-18 Sportvision, Inc. User interface for accessing virtual viewpoint animations
US8154633B2 (en) * 2007-11-16 2012-04-10 Sportvision, Inc. Line removal and object detection in an image
US9041722B2 (en) * 2007-11-16 2015-05-26 Sportvision, Inc. Updating background texture for virtual viewpoint animations
US8073190B2 (en) * 2007-11-16 2011-12-06 Sportvision, Inc. 3D textured objects for virtual viewpoint animations
US8049750B2 (en) * 2007-11-16 2011-11-01 Sportvision, Inc. Fading techniques for virtual viewpoint animations
GB2466039B (en) * 2008-12-09 2013-06-12 Roke Manor Research Imaging system and method
ES2358142B9 (es) * 2009-10-21 2019-04-15 3D Sport Signs S L Procedimiento, sistema y programa de ordenador para obtener una transformada de una imagen.
US9074892B2 (en) 2013-03-15 2015-07-07 Ian Michael Fink System and method of determining a position of a remote object
JP2022176839A (ja) * 2021-05-17 2022-11-30 京セラ株式会社 観察装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3686435A (en) * 1970-12-04 1972-08-22 Dorothy Stott Ebeling Apparent altitude changes in television model visual system
US4616217A (en) * 1981-05-22 1986-10-07 The Marconi Company Limited Visual simulators, computer generated imagery, and display systems
DE3382142D1 (de) * 1982-07-30 1991-03-07 Honeywell Inc Rechnergesteuertes abbildungssystem.
GB2127649B (en) * 1982-09-21 1986-08-06 British Aerospace Compensation for video sensor movement
US4682160A (en) * 1983-07-25 1987-07-21 Harris Corporation Real time perspective display employing digital map generator
GB2149258B (en) * 1983-11-04 1987-03-11 Ferranti Plc Image correction system
US4667236A (en) * 1985-04-26 1987-05-19 Digital Services Corporation Television perspective effects system
CA1274919A (en) * 1985-07-27 1990-10-02 Akio Ohba Method of forming curved surfaces and the apparatus
GB2181929B (en) * 1985-10-21 1989-09-20 Sony Corp Methods of and apparatus for video signal processing
GB8605713D0 (en) * 1986-03-07 1986-10-29 Gec Avionics Displays
US4807158A (en) * 1986-09-30 1989-02-21 Daleco/Ivex Partners, Ltd. Method and apparatus for sampling images to simulate movement within a multidimensional space
US4875097A (en) * 1986-10-24 1989-10-17 The Grass Valley Group, Inc. Perspective processing of a video signal
GB2200266B (en) * 1986-12-11 1991-06-05 Nec Corp Special effect system for video signal

Also Published As

Publication number Publication date
CA1319417C (en) 1993-06-22
DE3920160A1 (de) 1989-12-28
GB2221118A (en) 1990-01-24
GB2221118B (en) 1992-09-09
GB8914132D0 (en) 1989-08-09
FR2633474B1 (fr) 1996-10-31
US4956706A (en) 1990-09-11
DE3920160B4 (de) 2004-04-29
JPH0284889A (ja) 1990-03-26
FR2633474A1 (fr) 1989-12-29

Similar Documents

Publication Publication Date Title
JP3138264B2 (ja) 画像処理方法及び装置
KR0183977B1 (ko) 시점위치제어장치
US6346967B1 (en) Method apparatus and computer program products for performing perspective corrections to a distorted image
US5528194A (en) Apparatus and method for performing geometric transformations on an input image
JP3650578B2 (ja) 画像の歪みを補正するためのニューラル・ネットワークを用いたパノラマ画像ナビゲーションシステム
US5790713A (en) Three-dimensional computer graphics image generator
US7426317B2 (en) Image processing apparatus and image processing method, storage medium and computer program
US6031941A (en) Three-dimensional model data forming apparatus
JP4661829B2 (ja) 画像データ変換装置、及びこれを備えたカメラ装置
EP1331605B1 (en) Omnidirectional visual system and method
US5898438A (en) Texture mapping of photographic images to CAD surfaces
USRE43490E1 (en) Wide-angle dewarping method and apparatus
CN104103068B (zh) 用于控制虚拟摄像机的方法与设备
JP4010754B2 (ja) 画像処理装置と画像処理方法及びコンピュータ読み取り可能な記録媒体
JP7258572B2 (ja) 映像表示装置および方法
WO2001095608A2 (en) A method and apparatus for mapping images and video to create navigable, immersive video and images
JP2010171914A (ja) 画像データ変換装置
JP5029645B2 (ja) 画像データ変換装置
US6897883B1 (en) Omniazimuthal visual system
JP2001148025A (ja) 位置検出装置及びその方法、平面姿勢検出装置及びその方法
JP4751084B2 (ja) マッピング関数生成方法及びその装置並びに複合映像生成方法及びその装置
JP2000161919A (ja) 俯瞰写真から現地座標の２次元位置情報を復元する方法及びその２次元位置情報復元システム、並びにその方法のプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2001136431A (ja) カメラ制御装置及びカメラ制御方法及び記憶媒体
JPH0877389A (ja) ３次元形状モデル生成装置
JP2954319B2 (ja) 画像貼り合わせ方法及び装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071208

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081208

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091208

Year of fee payment: 9

EXPY Cancellation because of completion of term
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091208

Year of fee payment: 9