JPH0284889A - 画像処理方法及び装置 - Google Patents

画像処理方法及び装置

Info

Publication number
JPH0284889A
JPH0284889A JP1150200A JP15020089A JPH0284889A JP H0284889 A JPH0284889 A JP H0284889A JP 1150200 A JP1150200 A JP 1150200A JP 15020089 A JP15020089 A JP 15020089A JP H0284889 A JPH0284889 A JP H0284889A
Authority
JP
Japan
Prior art keywords
model
data
image
photographed
plane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP1150200A
Other languages
English (en)
Other versions
JP3138264B2 (ja
Inventor
Akio Oba
章男 大場
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPH0284889A publication Critical patent/JPH0284889A/ja
Application granted granted Critical
Publication of JP3138264B2 publication Critical patent/JP3138264B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Circuits (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は画像処理装置に関し、特にテレビカメラで撮影
され、モニタで表示された画像の視点位置を任意に変え
られるようにした画像処理装置に関する。
〔発明の概要〕
モニタに表示された画像の視点位置を移動させる画像処
理装置において、カメラの撮像素子の各絵素の座標及び
被撮影物に対するカメラの撮影角度に基づいて３次元座
標系に被撮影物の被撮影面のモデルを形成し、カメラか
ら出力される画像データをモデルにマツピングし、画像
データがマツピングされたモデルを３次元座標系で回転
移動させると共に画像データがマツピングされたモデル
を表示する。
一ンや撮影用やぐらを設置できず、視点位置を変えられ
ない場合がある。
〔発明が解決しようとする課題］ 本発明の主たる目的は、テレビカメラの撮影位置を変え
ずに、モニタに表示される地面上の被撮影物に対する視
点位置を任意に変えられるようにした画像処理装置を提
供することである。
本発明の他の目的は、モニタに表示された被撮影物の視
点位置を移動させたときに生じる画像の不自然さを修正
できるようにした画像処理装置を提供することである。
（従来の技術） テレビ放送等において、地面上の被撮影物を複数の視点
位置から見ることができるように、従来は撮影用のやぐ
らやクレーンを用いて、テレビカメラを高所に設置する
などしてテレビカメラの撮影位置を変えることにより視
点位置を変えている。
しかし、従来の法では、撮像場所によってはフレ〔課題
を解決するための手段〕 本発明の主たる目的を達成するために本発明では、モニ
タに表示された画像の視点位置を移動させる画像処理装
置において、カメラの撮像素子の各絵素の座標及び被撮
影物に対するカメラめ撮影角度に基づいて３次元座標系
に上記被撮影物の被撮影面のモデルを形成し、カメラか
ら出力される画像データを形成されたモデルにマツピン
グし、画像データがマツピングされたモデルを３次元座
標系で回転移動させると共に画像データがマツピングさ
れたモデルを表示する。
本発明の他の目的を達成するために本発明では、モニタ
に表示された画像の視点位置を移動させる画像処理装置
において、カメラの撮像素子の各絵素の座標及び被撮影
物に対するカメラの撮影角度に基づいて３次元座標系に
形成されたモデルの所望の位置を変形させることによっ
て、表示されている画像の不自然さを修正する。
〔作用〕
これによれば、カメラの撮像素子の各絵素の座標及び被
撮影物に対するカメラの撮影角度に基づいて３次元座標
系に被撮影物の被撮影面のモデルを形成し、カメラから
出力される画像データをモデルにマツピングし、画像デ
ータがマツピングされたモデルを３次元座標系で回転移
動させると共に画像データがマツピングされたモデルを
表示することかできる。
〔実施例〕
第１図を参照しながら、本発明の画像処理装置１の構成
について説明する。ゴルフコース３等の被撮影物がテレ
ビカメラ２によって撮影される。
このとき、テレビカメラ２は固′定され、撮影角度はθ
である。この撮影角度は撮影角度測定手段４によって測
定され、平面モデル作成手段５に供給される。平面モデ
ル作成手段５は入力された撮影角度θに基づいて、平面
モデルを作成する。平面モデル作成手段５によって作成
された平面モデルを表すデータは高さ情報付加手段６に
供給される。
高さ情報付加手段６は高さ情報入力装置７から入力され
た高さの情報に基づいて平面モデルを示すデータを修正
し、起伏を有するモデルを表すデータを作成する。この
起伏を有するモデルを表すデータはメモリ制御手段８に
供給される。テレビカメラ２から出力される映像信号は
入力画像メモリ９に供給され、各絵素ごとに所定のアド
レスに記憶される。また視点位置設定手段１０は入力手
段１１から入力される視点位置制御データに基づいて視
点位置設定データを作成し、メモリ制御手段８に視点位
置設定データを供給する。補正手段１２は入力手段１１
から入力される補正制御データに基づいて補正データを
作成し、メモリ制御手段８に補正データを供給する。メ
モリ制御手段８は高さ情報付加手段６から供給される起
伏を有するモデルを表すデータ、視点位置設定手段１０
から供給される視点位置設定データ及び補正手段１２か
ら供給される補正データに基づいて入力画像メモリ９の
呼出しアドレス及び出力画像メモリ日の書込みアドレス
を作成する。入力画像メモリ９の読出しアドレス及び出
力画像メモリ１３の書込みアドレスは夫々入力画像メモ
リ９及び出力画像メモリ１０に供給され、入力画像メモ
リ９に記憶されている映像信号が読み出されて出力画像
メモリ１３の所定のアドレスに記憶される。出力画像メ
モリ１３から読み出された映像信号はモニタ１４に供給
され、モニタ画面に表示される。
次に、本発明の画像処理装置１において、テレビカメラ
２でゴルフコース３等を撮影するときの撮影角θにもと
づいて３次元座標系に平面モデルを作成し、テレビカメ
ラ２から出力される映像信号を３次元座標系に置かれた
平面モデルにマツピングするための原理について説明す
る。
第２図は、平面Ｐ上の被撮影物を平面Ｐに垂直に配置さ
れたテレビカメラ２で撮影するときに、平面Ｐ上の被撮
影物がテレビカメラ２の撮影素子（スクリーン２０）上
に透視変換される状態を示している。逆に言えば、テレ
ビカメラ２で１最影された被撮影物の実際の位置はスク
リーン２０から視点位置２１に対して反対の方向に所定
の距離離れた所に位置する平面Ｐ上に位置する。したが
って平面Ｐ上に位置する被撮影物の位置ＯＰを（ｘ、　
　ｙ２）とし、視点の位置２１を原点（０，０，０）と
し、スクリーン２０の中央Ｃを（０，０，５ＣＰ）とし
、スクリーン２０に透視変換された被を最影物の位置Ｓ
Ｐを（Ｘ、Ｙ、５ＣＰ）とすると、平面Ｐ上に位置する
被撮影物の位置ＯＰとスクリーン２０上に透視変換され
た被撮影物の位置ＳＰとの関係は次式で表わされる。
を 次に平面Ｐ′として第３図に示すように、第２図に示さ
れる平面Ｐを所定の角度だけ傾いた平面Ｐ′を想定する
。この平面Ｐ′が位置Ｍにおいて、ｘ−ｚ平面に対して
角度θだけ傾いているとすると、平面Ｐ′上に位置する
被撮影物の位置ＯＰとスクリーン２０上に透視変換され
た被撮影物の位置ＳＰとの関係は次式で表わされる。
となる。
この第（３）式、第（４）式をｘ、ｙについて解くとこ
のとき２は ｚ＝Ｚ＋ｙ＊ｃｏｓθ　　　　　　（７）となる。
第（５）式、第（６）式及び第（７）式から明らかなよ
うに、テレビカメラ２で平面Ｐ′を撮影するときの平面
Ｐ′に対するテレビカメラ２の撮影角度θを測定し、そ
の角度θ及び、スクリーン２０上に透視変換された被撮
影物の各絵素の位置（ｘ、ｙ、５ｅｐ）を第（５）式、
第（６）式及び第（７）式に代入することによって、３
次元座標系における平面Ｐ′を演算できる。尚Ｚは視点
位置２１から平面Ｐ′上の位置Ｍまでの距離である。こ
れはカメラ２の光学軸とゴルフコース３とが交わる点と
カメラ２との距離に等しい。また以後このようにして作
成された平面Ｐ′を平面モデルＰ′と呼ぶ。上述のよう
にして作成された平面モデルＰ′にスクリーン２０に透
視変換された被撮影物の各絵素の映像データを、平面モ
デルＰ′上の対応する座標に割り当てることにより、３
次元座標系における平面モデルＰ′に映像データをマツ
ピングできる。このようにして平面Ｐ上の被撮影物をテ
レビカメラ２によって撮影したときの撮影角θと同じ角
度だけｘ−ｚ平面に対して傾いていて、映像データを有
する平面モデルＰ′を３次元座標系に作成することがで
きる。そして３次元座標系に配置された平面モデルＰ′
にマツピングされた映像データは第１図に示されるモニ
タ１４に供給され、表示される。
上述のようにして３次元座標系に配置された平面モデル
Ｐ′の各絵素の位置に対応する座標値に互いに関連した
任意の値を加算することによって、平面モデルＰ′を３
次元座標系内で回転、平行移動することにより、モニタ
１４に表示された平面モデルＰ′に対する視点位置を変
えることができる。
したがって、第１図に示されるようにゴルフコース３に
対するテレビカメラ２の撮影角度θが一定であっても、
モニタ１４に表示されたゴルフコース３に対する視点の
位置を変えることができる。
したがって、あたかもテレビカメラ２を高所に動かして
ゴルフコース３を真上から撮影するようにしたかのよう
に、視点位置の移動を容易に行うことができる。すなわ
ち、テレビカメラ２で撮影された画像として、例えば第
４図に示すような画像情報があった場合に、テレビカメ
ラ２の撮影角度θを変えずに、第５図に示すように視点
位置を高所に移動させた画像を得ることができる。
したがって本発明によれば、視点位置を任意に定めるこ
とができ、これによって距離の把握等が容易になる。
ところで、上述のようにして平面Ｐ′の視点位置を任意
に変えた場合、被撮影物即ちゴルフコース３等を平面と
して近似して平面モデルＰ′を形成しているので、例え
ば画像中の木Ｗや人間Ｔのように平面Ｐ′に含まれない
部分は、視点の位置を移動したときに画像が不自然にな
ってしまう。
第６図に示すように地面Ｑの上に木Ｗが立っているよう
な被撮影物を視点位置２１からテレビカメラ２によって
撮影し、モニタ１４によって表示した状態を第６図Ｂに
示す。第６図Ｃに示されるように、モニタ１４に表示さ
れた被撮影物に対する視点位置２１を上述のようにして
上方に移動させると第６図りに示されるように木Ｗの長
さが伸びてしまう。これは第６図Ａの状態でテレビカメ
ラ２により被撮影物を撮影した場合、第６図Ｃに示され
るように木Ｗが第６図Ａに示される地面Ｑに横たわって
いる状態と何等変わりが無いからである。
次に、立っている木Ｗや人間Ｔの長さを補正する手段を
説明する。補正する手段として本願出願人が先に提案し
た特開昭６２−４７７８１号公報に記載されている技術
を用いる。
まず、第６図Ｃ及びＤに示されるように、平面モデルＰ
′において、変形させる領域ＶＣＦを設定する。次に変
形方向及び大きさを表す変形ベクトル■、を設定する。
さらに変形を施すべき位置を表す作用点ＣＰ、及びベク
トル場関数Ｆ、を設定する。そして変形前の平面モデル
Ｐ′の位置ベクトルをＰｏとすると、変形後の平面モデ
ルＰ′の位置ベクトルＰｓは次式で示される。
このようにして変形された平面モデルＰ′の状態を第６
図已に示す。すなわち、木Ｗが直立した状態となる。し
たがって、第６図Ｆに示されるように、木Ｗの長さが伸
びた状態が補正され、木の真上にテレビカメラ２を移動
させたのと同じ状態で地面Ｑ及び木Ｗがモニタ１４を二
表示される。
上述したような修正を施すことにより、第５図に示され
るように実際よりも長さが伸びている人間Ｔや木Ｗを有
する画像を補正して、第７図に示されるような画像を得
ることができる。
つぎに第８図を参照しながら、地面Ｑ′等の被撮影物の
高さｈ　（ｕ、ｖ）が地形図等の情報源によって与えら
れる場合について説明する。まず、上述のようにして地
面Ｑ′に対するテレビカメラ２の撮影角θ及びスクリー
ン２０上に透視変換された被撮影物の各絵素の位置（Ｘ
、Ｙ、５ＣＰ）を第（５）式、第（６）式及び第（７）
式に代入することによって、第９図に示されるように３
次元座標系に平面モデルＰ″を形成する。つぎに形成さ
れた平面モデルＰ″を、平面モデルＰ″の任意の位置（
ｘ。
ｙ、Ｚ）における高さを示すデータｈ　（ｕ、　　ｖ）
に基づいて変形する。変形後の平面モデルＰ“の３次元
座標系における任意の位置の座標（ｘ、ｙ。
２）は次式によって演算できる。
ｚ＝Ｚ＋ｙ＊ｃｏｓθ＋ｈ　　（ｕ、　　ｖ）　　＊ｓ
ｉｎθ　（１１）これらの式は第（６）式及び第（７）
式の右辺に夫々被撮影物の高さｈ　（ｕ、ｖ）のｙ軸方
向成分及びＺ軸方向成分を加算することによって導きだ
せる。
上述の第（９）式、第（１０）式及び第（１１）弐を用
いることによって、第９図に示されるように、３次元座
標系に被撮影物に応じた起伏を有するモデルＰ′作成で
きる。また第（９）式、第（１０）式及び第（１１）式
より、スクリーン２０に透視変換表示された被撮影物の
各絵素の位置と起伏を有するモデルＰ＃の各座標とを対
応づけることができる。したがって第（９）式、　第（
１０）式及び第（１１）式に基づいてスクリーン２０に
透視変換された被撮影物の各絵素の映像データを起伏を
有するモデルＰ＃の対応する座標に割り当てることによ
り、３次元座標系における起伏を有するモデルＰ”に訣
像デ゛−夕をマツピングできる。このようにして地面Ｑ
′上の被撮影物をテレビカメラ２によって撮影したとき
の撮影角θと同じ角度だけＸ−Ｚ平面に対して傾いてい
て、映像データを有し、起伏を有するモデルＰ”を３次
元座標系に作成することができる。そして３次元座標系
に配置された起伏を有するモデルＰ″の映像データは第
１図に示されるモニタ１４に供給され、表示される。
上述のようにして３次元座標系に配置された起伏を有す
る平面モデルＰ″の各絵素の位置に対応する座標値に互
いに関連した任意の値を加算することによって、３次元
座標系において、起伏を有するモデルＰ＃を回転させる
ことができる。すなわち、ｘ−ｚ平面に対する起伏を有
するモデルＰ″″の角度を任意に変えることができる。
したがって、３次元座標系に配置された起伏を有するモ
デルＰ＃の映像データをモニタ１４によって表示したと
きに、表示されている起伏を有するモデルＰ＃の角度を
変えることができる。すなわち起伏を有するモデルＰ＃
に対する視点の位置を変えることができる。
このようにして起伏を有するモデルＰ′に対する視点の
位置を変える際に、第１０図に示すように、地面Ｑ′上
に木Ｗがあると、視点の位置を高くしたときに木Ｗの長
さが伸びてしまう。これは一般に地形図等から得られる
地形の高さの情報には木Ｗの高さを示すデータは含まれ
ていないために、起伏を有するモデルＰ”を作成すると
きに、木Ｗの高さが無視され、木Ｗは起伏を有する地面
Ｑ′に横たわっているものとみなされるからである。
このように、視点の位置を高くしたときに木Ｗの長さが
伸びてしまう現象を補正するには、第６図を用いて説明
したのと同様にして補正できる。まず、起伏を有するモ
デルＰ＃において変形させる領域ＶＣＦを設定する。次
に変形方向及び大きさを表す変形ベクトル■、を設定す
る。さらに変形を施すべき位置を表す作用点ＣＰ、及び
ベクトル場関数Ｆ、を設定する。そして変形前の起伏を
有するモデルＰ＃の位置ベクトルをＰｏとして第（８）
弐を用いて変形後の起伏を有するモデルＰ＃の位置ベク
トルＰＭを演算し、この位置ベクトルＰ。
に従って起伏を有するモデルＰ＃をさらに変形させるこ
とによって、木Ｗの長さを補正できる。
地面Ｑ′等の被撮影物の高さｈ　（ｕ、ｖ）が地形図等
の情報源によって与えられる場合には、上述したように
、起伏を有するモデルＰ＃を形成して映像データをマツ
ピングすることにより、視点の位置を変えた場合でも地
形の高低を正確にモニタ１４上に表現することができる
。
次に第１１図を参照しながら第１図に示す本発明の画像
処理装置１の動作を説明する。
ステップＳＰＩにおいて画像処理装置１は動作を開始す
る。
ステップＳＰ２において撮影角度測定手段４はゴルフコ
ース３等の被撮影物に対するテレビカメラ２の撮影角度
θを測定する。この撮影角度θはオペレータがマニュア
ルで測定しても良い。撮影角度測定手段４によって測定
された撮影角度θは平面モデル作成手段５に供給される
。
ステップＳＰ３におてい平面モデル作成手段５は、撮影
角度θ及び、テレビカメラ２の撮像素子に透視変換され
た被撮影物の各絵素の位置（Ｘ。
Ｙ、５ＣＰ）を第（５）式、第（６）式及び第（７）式
に代入することによって、３次元座標系に平面モデルＰ
′を作成する。平面モデル作成手段５によって演算され
た平面モデルＰ′を表すデータは高さ情報付加手段６に
供給される。
ステップＳＰ４においてゴルフコース３等の高さ（起伏
）を示す情報の有無が判断される。ステップＳＰ４にお
いて高さを示す情報が有ると判断された場合にはステッ
プＳＰ５において高さ情報入力手段７を介して高さを示
すデータが高さ情報付加手段６に入力される。高さ情報
付加手段６は第（９）式、第（１０）式及び第（１１）
式に示されるように、平面モデル作成手段５によって演
算された平面モデルＰ′を表すデータに高さを示すデー
タを加算する。ステップＳＰ４において高さを示す情報
が無いと判断された場合には平面モデル作成手段５によ
って演算された平面モデルＰ′を表すデータは直接メモ
リ制御手段８に供給される。
ステップＳＰ６においてメモリ制御手段８は高さ情報付
加手段６又は平面モデル作成手段５から供給されるデー
タに基づいて人力画像メモリ９の呼出しアドレス及び出
力画像メモ１月３の書込みアドレスを作成し、夫々入力
画像メモリ９及び出力画像メモリ１３に供給する。テレ
ビカメラ２から供給され、入力画像メモリ９に記憶され
た映像信号はメモリ制御手段８から供給される読出しア
ドレスに従って読み出され、メモリ制御手段８から供給
される書込みアドレスにしたがって出力画像メモ１月３
に書き込まれる。この動作によってスクリーン２０に透
視変換されている被撮影物の各絵素の映像データを平面
モデルＰ′または起伏を有するモデルＰ＃の対応する座
標に割り当てることができる。この動作がマツピングで
ある ステップＳＰ７において入力手段１１を介して変形させ
る領域ＶＣＦを示すデータ、変形方向及び大きさを表わ
すベクトル■を示すデータ及び変形を施すべき位置を表
す作用点ＣＰ、及びベクトル場関数Ｆ、を示すデータを
補正手段１２に供給する。
また変形前の平面モデルＰ、の位置ベクトルＰ０を示す
データまたは変形前の起伏を有するモデルＰ”の位置ベ
クトルＰ０を表すデータがメモリ制御手段８から供給さ
れる。補正手段１２は入力された各データに基づいて第
（８）式を用いて変形後の平面モデルＰ′の位置ベクト
ルＰＭまたは変形後の起伏を存するモデルＰ＃の位置ベ
クトルＰＭを演算する。演算された変形後の平面モデル
Ｐ′の位置ベクトルＰＮを示すデータまたは変形後の起
伏を有するモデルＰ”の位置ベクトルＰＭを表すデータ
はメモリ制御手段８に供給される。メモリ制御手段８は
補正手段１２から供給された位置ベクトルＰＭを示すデ
ータに基づいて入力画像メモリ９の読出しアドレス及び
出力画像メモ１月３の書込みアドレスを作成し、夫々入
力画像メモリ９及び出力画像メモリ１３に供給する。入
力画像メモリ９に記憶されている画像信号はメモリ制御
手段８から供給される読出しアドレスに従って再度読み
出され、メモリ制御手段８から供給される書込みアドレ
スにしたがって出力画像メモリ１３に書き込まれる。こ
の動作によって平面モデルＰ′または起伏を有するモデ
ルＰ′″が修正され人間Ｔや木Ｗの長さを補正すること
ができる。
ステップＳＰ８においてステップＳＰ７における修正が
完了したか否かが判断される。このステップ８はオペレ
ータがモニタ１４に表示されている画像が所望の状態に
成ったか否かを判断することによって成し遂げられてい
る。
ステップＳＰ９において入力手段１１を介して視点位置
制御データが視点位置設定手段１０に供給され、視点位
置設定手段１０はメモリ制御手段８から供給される平面
モデルＰ′または起伏を有するモデルＰ＃の各座標値に
視点位置制御データに応じた値を加算することにより、
視点位置設定データを作成する。この視点位置設定デー
タはメモリ制御手段８に供給される。メモリ制御手段８
は視点位置設定手段１０から供給された視点位置設定デ
ータに基づいて入力画像メモリ９の読出しアドレス及び
出力画像メモリ１３の書込みアドレスを作成し、夫々入
力画像メモリ９及び出力画像メモリ１３に供給する。入
力画像メモリ９に記憶されている映像信号はメモリ制御
手段８から供給される読出しアドレスに従って再度読み
出され、メモリ制御手段８から供給される書込みアドレ
スにしたがって出力画像メモリ１３に書き込まれる。こ
の動作によって平面モデルＰ′または起伏を有するモデ
ルＰ＃の視点位置が変更される。
ステップ５Ｐ１０においてステップＳＰ９における平面
モデルの視点位置の設定または変更が所望の状態になっ
たか否かをオペレータがモニタ１４を見ながら判断し、
所望の状態になったときにはステップ５ＰＩＩに進んで
動作を終了する。即ち、視点位置の設定と画像の修正は
オペレータと画像処理装置１とによってインタラクティ
ブに行われる。
本発明によれば、第１図に示されるようにゴルフコース
３等に対するテレビカメラ２の撮影角度が一定であって
も、モニタ１４に表示されたゴルフコース３に対する視
点の位置を任意に変えることができる。したがって、あ
たかもテレビカメラ２を高所に動かしてゴルフコース３
を真上から撮影するようにしたかのように、視点位置の
移動を容易に行うことができる。これによって距離の把
握等が容易になる。
また、ゴルフコース等の被撮影物の高さｈ　（ｕ。
■）が地形図等の情報源によって与えられる場合には、
上述したように、起伏を有するモデルＰ′を形成して映
像データをマツピングすることにより、視点位置を変え
た場合でも地形の高低を正確にモニタ１４上に表現する
ことができる。
実施例の説明においては、被撮影物としてゴルフコース
を例示したが、被撮影物としては野球場等様々なものを
適用できることは言うまでも無い。
また、ゴルフコース等を平面で近似して平面モデルを作
成し、この平面モデルにゴルフコース等を撮影すること
によって得られた画像データをマツピングすることによ
り得られた画像と、木や人間等を平面で近似して平面モ
デルを作成し、この平面モデルに木や人間等を撮影する
ことによって得られた画像データをマツピングすること
により得られた画像とを合成することによって、木や人
間等を有するゴルフコース等のモデルを３次元座標系°
に作成しても良い。
［発明の効果］ この発明によれば、カメラの撮像素子の各絵素の座標及
び被撮影物に対するカメラの撮影角度に基づいて３次元
座標系に被撮影物の被撮影面のモデルを形成し、カメラ
から出力される画像データをモデルにマツピングし、画
像データがマツピングされたモデルを３次元座標系で回
転移動させると共に画像データがマツピングされたモデ
ルを表示することができるようになった。
【図面の簡単な説明】
第１図は本発明の画像処理手段の一実施例を示すブロッ
ク図、第２図及び第３図は本発明の画像処理手段におい
て３次元座標系に平面モデルを形成するための原理を説
明する路線図、第４図は本発明の画像処理手段のカメラ
によって撮影された画像の一例を示す路線図、第５図は
本発明の画像処理手段によって第４図に示される画像の
視点位置を動かした状態での画像を示゛す路線図、第６
図は第５図に示された画像の不自然な個所を補正するた
めの原理を説明する路線図、第７図は第５図に示された
画像の不自然な個所を補正した後の画像を示す路線図、
第８図及び第９図は本発明の画像処理手段において３次
元座標系に起伏を有するモデルを形成するための原理を
説明する路線図、第１０図は本発明の画像処理手段にお
いて、視点の移動後、画像が不自然になる部分を説明す
るため図、第１１図は第１図に示される画像処理手段の
動作を説明するためのフローチャート図である。 １は画像処理装置、２はテレビカメラ、３はゴルフコー
ス、４は撮影角度測定手段、５は平面モデル入力手段、
６は高さ情報付加手段、７は高さ情報入力装置、８はメ
モリ制御手段、９は入力画像メモリ、ｌＯは視点位置設
定手段、１１は入力手段、１２は補正手段、１３は出力
画像メモリ、１４はモニタである。 代 理 人 松 隈 秀 盛 第３図 第１図 言分　５月　［区） 第５図 言茫　８月　σ］ 第７図 説明 図 第８図 蚊　明 第６ １定　８月〔り 第８図 言先　明口 第１０図

Claims (1)

  1. 【特許請求の範囲】 １、モニタに表示された画像の視点位置を移動させる画
    像処理装置において、 被撮影物を撮影するカメラと、 上記カメラの撮像素子の各絵素の座標及び上記被撮影物
    に対する上記カメラの撮影角度に基づいて、３次元座標
    系に上記被撮影物の被撮影面のモデルを形成する形成手
    段と、 上記形成手段によって形成された上記モデルに上記カメ
    ラから出力される画像データをマッピングするマッピン
    グ手段と、 上記データがマッピングされた上記モデルを上記３次元
    座標系で回転移動させる移動手段と、上記画像データが
    マツピングされた上記モデルを表示するモニタとからな
    る画像処理装置。 ２、上記特許請求の範囲第１項に記載された画像処理装
    置において、 上記被撮影物に対する上記カメラの撮影角度を測定する
    測定手段を有してなる画像処理装置。 ３、上記特許請求の範囲第１項に記載された画像処理装
    置において、 上記画像データがマッピングされた上記モデルの所定の
    部分を変形させる変形手段を有して成る画像処理装置。 ４、上記特許請求の範囲第１項に記載された画像処理装
    置において、 上記形成手段は上記カメラの撮像素子の各絵素の座標及
    び上記撮影角度に基づいて上記被撮影物の被撮影面を平
    面で近似することにより平面モデルを形成する平面モデ
    ル形成手段と、上記被撮影面の高さを示すデータに基い
    て上記平面モデルを変形する手段とを有する画像処理装
    置。
JP01150200A 1988-06-21 1989-06-13 画像処理方法及び装置 Expired - Lifetime JP3138264B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP15285588 1988-06-21
JP63-152855 1988-06-21

Publications (2)

Publication Number Publication Date
JPH0284889A true JPH0284889A (ja) 1990-03-26
JP3138264B2 JP3138264B2 (ja) 2001-02-26

Family

ID=15549599

Family Applications (1)

Application Number Title Priority Date Filing Date
JP01150200A Expired - Lifetime JP3138264B2 (ja) 1988-06-21 1989-06-13 画像処理方法及び装置

Country Status (6)

Country Link
US (1) US4956706A (ja)
JP (1) JP3138264B2 (ja)
CA (1) CA1319417C (ja)
DE (1) DE3920160B4 (ja)
FR (1) FR2633474B1 (ja)
GB (1) GB2221118B (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003263654A (ja) * 2003-02-07 2003-09-19 Namco Ltd 画像生成装置及び情報記憶媒体
WO2022244655A1 (ja) * 2021-05-17 2022-11-24 京セラ株式会社 観察装置

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3104909B2 (ja) * 1989-12-05 2000-10-30 ソニー株式会社 画像処理装置
US5528194A (en) * 1991-05-13 1996-06-18 Sony Corporation Apparatus and method for performing geometric transformations on an input image
ZA916712B (en) * 1991-08-23 1992-05-27 John Walter Brown Michael Depiction of images
JP3117097B2 (ja) * 1992-01-28 2000-12-11 ソニー株式会社 画像変換装置
US5973700A (en) * 1992-09-16 1999-10-26 Eastman Kodak Company Method and apparatus for optimizing the resolution of images which have an apparent depth
IL108957A (en) * 1994-03-14 1998-09-24 Scidel Technologies Ltd Video sequence imaging system
USRE43490E1 (en) 1994-05-27 2012-06-26 B.H. Image Co. Llc Wide-angle dewarping method and apparatus
US5796426A (en) * 1994-05-27 1998-08-18 Warp, Ltd. Wide-angle image dewarping method and apparatus
EP1494476A1 (en) * 1994-09-09 2005-01-05 Canon Kabushiki Kaisha Image processing method and apparatus
US5857066A (en) * 1994-12-30 1999-01-05 Naturaland Trust Method and system for producing an improved hiking trail map
EP0752687B1 (en) * 1995-06-09 2003-05-07 Xanavi Informatics Corporation Map display apparatus
US6081273A (en) * 1996-01-31 2000-06-27 Michigan State University Method and system for building three-dimensional object models
ES2114819B1 (es) * 1996-05-30 1999-02-16 Market Sp 94 S L Metodo para la visualizacion a distancia de paneles publicitarios y similares desde una camara para la captacion de imagenes.
US6373642B1 (en) 1996-06-24 2002-04-16 Be Here Corporation Panoramic imaging arrangement
US6341044B1 (en) 1996-06-24 2002-01-22 Be Here Corporation Panoramic imaging arrangement
US6459451B2 (en) 1996-06-24 2002-10-01 Be Here Corporation Method and apparatus for a panoramic camera to capture a 360 degree image
US6493032B1 (en) 1996-06-24 2002-12-10 Be Here Corporation Imaging arrangement which allows for capturing an image of a view at different resolutions
US6331869B1 (en) 1998-08-07 2001-12-18 Be Here Corporation Method and apparatus for electronically distributing motion panoramic images
DK9700140U3 (da) 1997-03-25 2000-03-24 Logo Paint Figurativt tryk på en plan trykbærer og anvendelse af sådant figurativt tryk
GB2324429A (en) * 1997-04-02 1998-10-21 Orad Hi Tec Systems Ltd Electronic zoom control in a virtual studio
US6466254B1 (en) 1997-05-08 2002-10-15 Be Here Corporation Method and apparatus for electronically distributing motion panoramic images
US6356296B1 (en) 1997-05-08 2002-03-12 Behere Corporation Method and apparatus for implementing a panoptic camera system
TW509849B (en) * 1997-06-16 2002-11-11 Matsushita Electric Ind Co Ltd The image processing device and the image processing method
US6042254A (en) * 1998-11-13 2000-03-28 Burton; John E. Non-recalibratable vehicle headlamp aiming device dial
US6369818B1 (en) 1998-11-25 2002-04-09 Be Here Corporation Method, apparatus and computer program product for generating perspective corrected data from warped information
US6175454B1 (en) 1999-01-13 2001-01-16 Behere Corporation Panoramic imaging arrangement
JP2004510271A (ja) * 2000-09-27 2004-04-02 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ スクリーンに表示される画像を提供する方法及び装置
GB2413720B (en) 2003-03-14 2006-08-02 British Broadcasting Corp Video processing
US9041722B2 (en) * 2007-11-16 2015-05-26 Sportvision, Inc. Updating background texture for virtual viewpoint animations
US8466913B2 (en) * 2007-11-16 2013-06-18 Sportvision, Inc. User interface for accessing virtual viewpoint animations
US8154633B2 (en) * 2007-11-16 2012-04-10 Sportvision, Inc. Line removal and object detection in an image
US8073190B2 (en) * 2007-11-16 2011-12-06 Sportvision, Inc. 3D textured objects for virtual viewpoint animations
US8049750B2 (en) * 2007-11-16 2011-11-01 Sportvision, Inc. Fading techniques for virtual viewpoint animations
GB2466039B (en) * 2008-12-09 2013-06-12 Roke Manor Research Imaging system and method
ES2358142B9 (es) * 2009-10-21 2019-04-15 3D Sport Signs S L Procedimiento, sistema y programa de ordenador para obtener una transformada de una imagen.
US9074892B2 (en) 2013-03-15 2015-07-07 Ian Michael Fink System and method of determining a position of a remote object

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3686435A (en) * 1970-12-04 1972-08-22 Dorothy Stott Ebeling Apparent altitude changes in television model visual system
US4616217A (en) * 1981-05-22 1986-10-07 The Marconi Company Limited Visual simulators, computer generated imagery, and display systems
EP0100097B1 (en) * 1982-07-30 1991-01-30 Honeywell Inc. Computer controlled imaging system
GB2127649B (en) * 1982-09-21 1986-08-06 British Aerospace Compensation for video sensor movement
US4682160A (en) * 1983-07-25 1987-07-21 Harris Corporation Real time perspective display employing digital map generator
GB2149258B (en) * 1983-11-04 1987-03-11 Ferranti Plc Image correction system
US4667236A (en) * 1985-04-26 1987-05-19 Digital Services Corporation Television perspective effects system
CA1274919C (en) * 1985-07-27 1990-10-02 METHOD AND DEVICE FOR FORMING CURVE SURFACES
GB2181929B (en) * 1985-10-21 1989-09-20 Sony Corp Methods of and apparatus for video signal processing
GB8605713D0 (en) * 1986-03-07 1986-10-29 Gec Avionics Displays
US4807158A (en) * 1986-09-30 1989-02-21 Daleco/Ivex Partners, Ltd. Method and apparatus for sampling images to simulate movement within a multidimensional space
US4875097A (en) * 1986-10-24 1989-10-17 The Grass Valley Group, Inc. Perspective processing of a video signal
US4831445A (en) * 1986-12-11 1989-05-16 Nec Corporation Special effect system for video signal

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003263654A (ja) * 2003-02-07 2003-09-19 Namco Ltd 画像生成装置及び情報記憶媒体
WO2022244655A1 (ja) * 2021-05-17 2022-11-24 京セラ株式会社 観察装置

Also Published As

Publication number Publication date
GB2221118B (en) 1992-09-09
GB8914132D0 (en) 1989-08-09
DE3920160B4 (de) 2004-04-29
FR2633474B1 (fr) 1996-10-31
DE3920160A1 (de) 1989-12-28
FR2633474A1 (fr) 1989-12-29
GB2221118A (en) 1990-01-24
US4956706A (en) 1990-09-11
JP3138264B2 (ja) 2001-02-26
CA1319417C (en) 1993-06-22

Similar Documents

Publication Publication Date Title
JPH0284889A (ja) 画像処理方法及び装置
KR0183977B1 (ko) 시점위치제어장치
US20240153143A1 (en) Multi view camera registration
US7852376B2 (en) Image-based method and system for building spherical panoramas
JP4981135B2 (ja) 斜めモザイク画像の作成方法
US7426317B2 (en) Image processing apparatus and image processing method, storage medium and computer program
US5898438A (en) Texture mapping of photographic images to CAD surfaces
EP1331605B1 (en) Omnidirectional visual system and method
JP3650578B2 (ja) 画像の歪みを補正するためのニューラル・ネットワークを用いたパノラマ画像ナビゲーションシステム
EP0514266A2 (en) Apparatus and method for transforming an input image
JP2008311890A (ja) 画像データ変換装置、及びこれを備えたカメラ装置
KR100614004B1 (ko) 자동화된 360°파노라마 이미지 생성 방법
CN110555813B (zh) 一种无人机遥感影像的快速几何校正方法及系统
JP3490774B2 (ja) ジオスペシフィックテクスチャ生成の方法
CN116743973A (zh) 无感投影图像自动校正方法
JPH10208074A (ja) 画像生成方法
JP3660108B2 (ja) 画像保存方法及び機械読み取り可能媒体
CN110727489B (zh) 截屏图像的生成方法、电子设备及计算机可读存储介质
JP2004046573A (ja) チルト角算出方法、円筒パノラマ画像合成方法、ならびに円筒パノラマ画像合成処理プログラムを記録したコンピュータ読み取り可能な記録媒体
JP6901580B2 (ja) パノラマ画像または映像の水平較正方法、システムおよび携帯端末
JP3149389B2 (ja) ビットマップ・イメージを環境マップにオーバレイする方法および装置
JP2002092597A (ja) 画像処理方法及び装置
KR102062797B1 (ko) 시점변화 조정으로 3d 영상 출력이 가능하도록 한 고도별 영상 3d 데이터의 보정장치
JP2954319B2 (ja) 画像貼り合わせ方法及び装置
JPS61138377A (ja) ３次元デジタル画像入力方法

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071208

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081208

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091208

Year of fee payment: 9

EXPY Cancellation because of completion of term
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091208

Year of fee payment: 9