JPWO2010134502A1 - 画像情報出力方法 - Google Patents
画像情報出力方法 Download PDFInfo
- Publication number
- JPWO2010134502A1 JPWO2010134502A1 JP2011502189A JP2011502189A JPWO2010134502A1 JP WO2010134502 A1 JPWO2010134502 A1 JP WO2010134502A1 JP 2011502189 A JP2011502189 A JP 2011502189A JP 2011502189 A JP2011502189 A JP 2011502189A JP WO2010134502 A1 JPWO2010134502 A1 JP WO2010134502A1
- Authority
- JP
- Japan
- Prior art keywords
- image
- image information
- road
- shooting
- sub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/56—Information retrieval; Database structures therefor; File system structures therefor of still image data having vectorial format
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/73—Querying
- G06F16/732—Query formulation
- G06F16/7335—Graphical querying, e.g. query-by-region, query-by-sketch, query-by-trajectory, GUIs for designating a person/face/object as a query predicate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
- G06F16/784—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content the detected or recognised objects being people
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
- H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/44—Morphing
Abstract
Description
撮影画像中心光軸方位ベクトル(正規化) Gkc=t(Gkcx Gkcy Gkcz)
撮影画像右下端方位ベクトル(正規化) Gk1=t(Gk1x Gk1y Gk1z)
撮影画像右上端方位ベクトル(正規化) Gk2=t(Gk2x Gk2y Gk2z)
撮影画像左上端方位ベクトル(正規化) Gk3=t(Gk3x Gk3y Gk3z)
撮影画像左下端方位ベクトル(正規化) Gk4=t(Gk4x Gk4y Gk4z)
と定義すると、撮影位置Sは
となり、図17撮影パラメタの撮影位置(緯度,経度,高度)が求まる。正規化画像ベクトル(X,Y,Z)は(行列)Aと(ベクトル)GkCにより、AGkC,により求まる。
であればTcは三角形T1T2T3内部にあるといえる。すなわち交わる。撮影位置S=(x,y,z)からの画像ベクトル(正規化)Gkc がTcで三角形T1T2T3と交わるとすると
ここでa,bは任意のスカラー定数となる。ここでRは図17の撮影パラメタの画像距離である。画像距離とは撮影位置から撮影光軸がTerrain580に交わるまでの距離をいう。ここで、
とすると、
となり、図17の撮影パラメタのTerrain上中心点座標(緯度,経度,標高)がTcとして求まる。ただし三角形T1T2T3の内部にあるかは、外積を計算してチェックする。
機体のピッチ・ヨー・ロールによる座標変換が(行列)Aであると、画面フレームの水平線は下記で与えられる。
したがって、フレーム回転角は、
となる。ここで“・”は内積を表し、縦に2本線で囲んだ部分はノルムを表す。
(数9)
正規化ヒストグラム中央値+(画素輝度―中央値フィッティング値)
*正規化ヒストグラム値幅/値幅フィッティング値
で求められる。以上説明した処理は、図20で処理ブロック520から処理ブロック524で記された処理である。図21は本発明のモヤ影響除去処理の処理結果例を示すものであり、モヤ影響除去前画像530を処理した結果、モヤ影響除去後画像531が得られている。
Zmcを通りZm1とZm2の中点Zm12と、Zm3とZm4の中点Zm34を通るベクトルと平行なベクトルをZmHと定義する。
Zmcを通り(ベクトル)ZmVと(ベクトル)ZmHで張られる面をTerrain平面といい(平面)Zmであらわす。(平面)Zmの垂線を(ベクトル)nm(ノルム=1)とする。Zmcを通り、画像ベクトルGmに垂直な平面を(平面)Nmという。(平面)Nmは原画像撮影位置視点Sm671より撮影した画像(視野)である。(平面)Zm-->(平面)Nmへの変換が存在して、これをΦAという。これは原画像mの撮影行為である。視点Piに対して、視点座標Piと視線ベクトルVi(ノルム=1)とTerrain平面Zm(共通)が決まると同様にTiCとTi1、Ti2、Ti3、Ti4が決まる。TiCを通り視線ベクトルViに垂直な平面をNiという。平面TmiとはTerrain面Zmの中で、視点Piによる視野でZmの一部を構成する。視点Piの視野(平面)Niと(平面)Tmiは視点Piと(ベクトル)Viと視野角θiが決まれば一意に決まる。(平面)Tmiの(平面)Nmへの写像は原画像撮影位置視点Smと(ベクトル)Gmと原画像mの画角θmが決まれば一意に決まる。(平面)Ni―>(平面)Tmi―>(平面)Nmの対応により(平面)Niのθiに対応する各画素が、(平面)Nmのθmに対応する画素に対応付けられればモーフィングアルゴリズムは完成する。
であらわされる。ここで垂線条件である、
を代入すると、
が得られる。ここで・はベクトル内積をあらわす。視界の中心線ViCとTerrain平面Zmの交点TiCは、TiCが
を満足することからこれに代入して、
より
となり、
より、視点Piの画像中心点のTerrain平面Zmでの座標が求められる。同様に、視点Piの視界の4隅の正規化視線ベクトルをVi1、Vi2、Vi3、Vi4とし、これらとTerrain平面Zmの交点Ti1、Ti2、Ti3、Ti4のTerrain平面Zmでの座標を求めることができる。さらにこの座標のNm面上への変換を求める。Terrain平面Zm上の任意の点Xは、
であらわされ、垂線条件である、
より、4隅の正規化視線ベクトルをVi1、Vi2、Vi3、Vi4に対して、
ただしk=1,4を満足する
より
となり、
で、視点Piの画像の4隅の点のTerrain平面Zmでの座標が求められる。この平面Zm上での座標を平面Nm上での座標に対応付けることにより原画像である平面Zm上のどの点を視点Piの画面に映せばよいか分かる。(平面)Zm上での視点Piの画面の中心および四隅の点の座標TiC、Ti1、Ti2、Ti3、Ti4(まとめてTik、k=1,2,3,4,cとする)が(平面)Nm上でQiC、Qi1、Qi2、Qi3、Qi4(まとめてQik、k=1,2,3,4,cとする)に対応する。(平面)Nm面上での画面の水平ラインを(ベクトル)NH、垂直ラインを(ベクトル)NVとするとNm面上の任意の点Yは任意定数a,bに対して
で表される。画像ベクトルGmは(ベクトル)NH、(ベクトル)NVに垂直だから
となり、また、QikとTikは画像撮影位置Smより見て同一線上にあるから
であるので、
となり、Gmとの内積をとって
となるから
となる。
で既にTikは求まっているから、これで、視点Piの視界の原画面mの画面との対応が完成した。
として、z軸周りに回転させてyz平面に載せてからy軸周りに回転させてz軸と一致させる。z軸周りの回転は、
で与えられる。次に、y軸周りの回転は、
で与えられる。両方の回転を合成すると、
となる。平面Nmの交点Qik(k=1,2,3,4,C)に対してGmをz軸に移す変換を施せば、Qik(k=1,2,3,4,C)はxy面上の点に変換される。これは、原画像mの画面上の位置に対応する。すなわちモーフィングである。
タイプ1属性 次の端点までの辺に関する属性で、サブ属性として下記a投影面コードとb幅員がある。
a投影面コード:
0 辺の両側に投影面がない。
1 辺の進行方向左側だけに投影面がある。
2 辺の進行方向右側だけに投影面がある。
3 辺の進行方向両側に投影面がある。
b幅員 道路の両端の中心線グラフからの距離を示す。
タイプ2属性 端点における道路接続に関する情報で、サブ属性として下記a、bがある。
a接続先道路ID No.
b接続先道路ID No.に対応した道路グラフデータテーブルRDGDTにおける接続点の相対レコードアドレス この情報は道路の接続が交叉か分岐か合流かを判別するために使用する。
タイプ3属性 端点における道路終了を示す。
第0番目を 投影面区分mil0座標(xmil0,ymil0)891
第1番目を 投影面区分mil1座標(xmil1,ymil1)892
第2番目を 投影面区分mil2座標(xmil2,ymil2)893
第3番目を 投影面区分mil3座標(xmil3,ymil4)894
以下同様と名づけて定義する。添え字lは左側を示す。同様に道路グラフの方向883の右側の投影面区分を、
第0番目を 投影面区分mir0座標(xmir0,ymir0)895
第1番目を 投影面区分mir1座標(xmir1,ymir1)896
第2番目を 投影面区分mir2座標(xmir2,ymir2)897
第3番目を 投影面区分mir3座標(xmir3,ymir4)898
以下同様と名づけて定義する。添え字rは右側を示す。各投影面区分は上記に示された端点座標に引き続く道路グラフの方向883の辺で表現される。
道路グラフの方向883の左側で視点の投影面区分への垂線の足が存在する投影面区分
道路グラフの方向883の右側で視点の投影面区分への垂線の足が存在する投影面区分
(2)左20°≦道路グラフの方向883に対する画像ベクトルとのなす角≦左160°
道路グラフの方向883の左側で画像ベクトルが交差する投影面区分
(3)左160°≦道路グラフの方向883に対する画像ベクトルとのなす角≦左180°
道路グラフの方向883の左側で視点の投影面区分への垂線の足が存在する投影面区分
道路グラフの方向883の右側で視点の投影面区分への垂線の足が存在する投影面区分
(4)0°≦道路グラフの方向883に対する画像ベクトルとのなす角≦右20°
道路グラフの方向883の右側で視点の投影面区分への垂線の足が存在する投影面区分
道路グラフの方向883の左側で視点の投影面区分への垂線の足が存在する投影面区分
(5)右20°≦道路グラフの方向883に対する画像ベクトルとのなす角≦右160°
道路グラフの方向883の左側で画像ベクトルが交差する投影面区分
(6)右160°≦道路グラフの方向883に対する画像ベクトルとのなす角≦右180°
道路グラフの方向883の左側で視点の投影面区分への垂線の足が存在する投影面区分
道路グラフの方向883の右側で視点の投影面区分への垂線の足が存在する投影面区分
すなわち(1)(3)(4)(6)は道路グラフの方向883の前後方向に対する画像であるため左右両側の投影面区分に登録する。
緯度経度−>道路ID No.−>端点座標―>投影面区分座標
投影面区分座標と視線方向―>原画像
で求められる。中心線左右距離Dv 853は
で求められ、道路グラフの左右いずれかにあるかは
の正負で判定する。原画像撮影位置S 916からの画像ベクトルGc904が投影面上で交わる点は、任意のスカラーa、nに対して、
これを解くと、
投影面区分の長さは通常同一とするが、投影面区分の座標が規定されているので、任意の投影面区分miri座標(xmiri,ymiri)までの投影面区分mir0座標(xmir0,ymir0)895からの総投影面長は判明する。上記nより投影面区分相対アドレスと画像ベクトル投影面区分内位置dc 856は単純な引き算でもとまる。同様に画像左端投影面区分内位置dl 857および画像右端投影面区分内位置dr 858も求めることができる。
であらわされる。ここで垂線条件である、
を代入すると、
が得られる。ここで・はベクトル内積をあらわす。視界の中心線ViCと投影面Zmの交点TiCは、TiCが
を満足することからこれに代入して、
より
となり、
で、視点Piの画像中心点の投影面Zmでの座標が求められた。
であらわされ垂線条件である、
より、(数44)がViCの代わりに左右端の正規化視線ベクトルViL、ViRに対して成り立つ。(k=L,R)
より
となり、
で、視点Piの画像の左右端の投影面Zmでの座標が求められた。この平面Zm上での座標を平面Nm上での座標に対応付けることにより原画像である平面Zm上のどの点を視点Piの画面に映せばよいか分かる。Zm上での視点Piの画面の中心と左右端点の座標TiC、TiL、TiR(まとめてTik、k=L,R,Cとする)がNm上でQiC、QiL、QiR(まとめてQik、k=L,R,Cとする)に対応する。Nm面上での画面の水平ラインをNとするとNm面上の任意の点Yは任意定数aに対して
で表される。画像ベクトルGmはNに垂直だから
なり、また、QikとTikは画像撮影位置Smより見て同一線上にあるから
であるので、
となり、Gmとの内積をとって
となるから
となる。
で既にTikは求まっているから、これで、視点Piの視界の原画面mの画面との対応が完成する。
として、z軸周りに回転させるとNmはx軸に載る。z軸周りの回転は、
で与えられる。平面Nmの交点Qik(k=L,R,C)に対してGmをz軸に移す変換を施せば、Qik(k=L,R,C)はx軸の点に変換される。これは、原画像mの画面上の位置に対応する。すなわちモーフィングである。以上は2次元モーフィングであるので、図73に水平線上の対応が画素単位で求められた。視点における視野731の原画像730における対応が水平線上で示される。垂直方向は上下対称で拡大縮小比率は水平線上と同比率である。なお、視線の動きを水平面内に限定しないのであれば、空中3次元動画生成における3次元モーフィング処理を私用してもよい。なお、図74の処理ブロック947の前後視界モーフィング処理は、視点F 907の視界を撮影点a 916a での原画像から2次元モーフィングで処理ブロック948で述べたのと同様のアルゴリズムで生成する。以上で本発明になる都市景観の3次元動画生成アミューズメントシステムの路上3次元動画生成に関する説明を終了する。
101 空中画像取得計画ファイル
102 空中画像一次ファイル
110 路上画像取得システム
111 路上画像取得計画ファイル
112 路上画像一次ファイル
120 空中画像データベース生成登録システム
121 DEMファイル
122 DGPSファイル
130 路上画像データベース生成登録システム
140 空中画像データベース
142 空中画像インデクス機構
143 空中画像データベース
150 路上画像データベース
151 道路グラフデータベース
152 路上画像インデクス機構
153 路上画像データベース
160 空中3次元映像生成システム
165 空中画像検索エンジン
170 路上3次元映像生成システム
175 路上画像検索エンジン
180 グラフィックユーザインターフェイスシステム
190 インターネット
191 ユーザ
Claims (23)
- 撮影装置による撮影であって、複数の撮影位置それぞれにおいて複数の方向への、複数のサブ領域に分割される撮影領域の撮影を行い複数の画像情報を取得してメモリに記憶し、
前記複数の画像情報それぞれを前記メモリに記憶する際に、前記画像情報が取得された時の撮影位置情報と撮影方向情報とを前記画像情報に関連付けて前記メモリに記憶し、
前記メモリに記憶された前記画像情報に関連付けられた撮影位置情報と撮影方向情報とを参照して前記画像情報が取得されたときに撮影されたサブ領域を特定し、
前記特定されたサブ領域に、前記画像情報と、前記撮影位置情報と、前記撮影方向情報とを関連付けてデータベースに記憶し、
前記撮影領域上に設定される視点経路上において順番に配置される複数の位置と前記複数の位置それぞれにおける視線の前記撮影領域へ向かう方向とを指定し、
前記サブ領域に関連付けられ前記データベースに記憶されている撮影方向情報を参照し、前記視点経路上の前記複数の位置それぞれにおける前記視線の前記方向に位置する前記サブ領域を含む画像情報を検索して前記順番にて読出し、
前記順番にて読出された前記画像情報を出力することを含む画像情報出力方法。 - 生成される前記動画像情報が出力する際に、前記順番にて読出された前記画像情報に対してモーフィングを行なって接続された動画像情報であることを特徴とする請求項1に記載の画像情報出力方法。
- 指定される前記視点経路と前記視線の方向とは、時間tの関数としてそれぞれP(t)とV(t)として与えられ、
P(t)からV(t)の方向の直線と前記撮影領域との交わる点の軌跡T(t)を算出し、
前記視点経路上の前記複数の位置それぞれにおける前記視線の前記方向に位置する前記サブ領域として、各時刻tにおいてT(t)の位置を含むサブ領域を決定することを特徴とする請求項1に記載の画像情報出力方法。 - 時刻tにおいてT(t)の位置を含むサブ領域を含む画像情報が複数存在する場合には、画像情報に関連付けられている撮影方向情報の示す撮影方向がV(t)と同一か差が最も小さい画像情報を選択することを特徴とする請求項3に記載の画像情報出力方法。
- 時刻tにおいてT(t)の位置を含むサブ領域を含む画像情報が複数存在する場合には、画像情報に関連付けられている撮影位置情報の示す位置情報とT(t)との距離が最も小さくなるサブ領域が決定されることを特徴とする請求項3に記載の画像情報出力方法。
- 時刻tにおいてT(t)の位置を含むサブ領域を含む画像情報が複数存在する場合には、P(t)とT(t)との間に障害物が存在しないサブ領域が決定されることを特徴とする請求項3に記載の画像情報出力方法。
- 前記撮影装置は複数の方向を向く複数のカメラを有し、
前記複数の撮影位置それぞれにおいて前記複数のカメラが同時に撮影を行ない複数の画像情報が取得されることを特徴とする請求項1に記載の画像情報出力方法。 - 前記撮影装置は飛翔物体に搭載され、
前記複数のカメラは、前記飛翔物体から鉛直方向を含む地表へ向かう複数の方向に向けられて撮影を行なうことを特徴とする請求項7に記載の画像情報出力方法。 - 前記飛翔体は、前記複数の撮影位置を通過する飛行ルートを表示するユーザインターフェースを備える航空機であることを特徴とする請求項7に記載の画像情報出力方法。
- 前記飛翔物体が地表から200m以上2500m以下の高度で飛行している間に前記撮影装置による撮影を行なうことを特徴とする請求項7に記載の画像情報出力方法。
- 前記撮影装置による撮影は、前記飛翔体を曇天時に雲の下を飛行して行なわれることを特徴とする請求項7に記載の画像情報出力方法。
- 前記複数のサブ領域のそれぞれのサブ領域に対して、そのサブ領域が複数回撮影されるならば、そのサブ領域の任意の地点から複数の撮影位置を見た場合には、隣接する撮影位置は、0.004ステラジアン以上0.54ステラジアン以下の立体角の範囲に含まれることを特徴とする請求項7に記載の画像情報出力方法。
- 前記画像情報を前記データベースに記憶する際には、前記画像情報中において水平方向に前記画像情報を複数のサブ画像情報に分割し、前記複数のサブ画像情報それぞれについてピクセルの明度のヒストグラムを作成し、作成された複数のヒストグラムの特性が同一になるように前記画像情報に対して画像処理を行なうことを特徴とする請求項7に記載の画像情報出力方法。
- 前記撮影装置は地上を移動する車両に設置され、
前記複数のカメラは、前記車両の前後左右の方向を含む複数の方向に向けられて撮影を行なうことを特徴とする請求項7に記載の画像情報出力方法。 - 前記複数のカメラは、さらに斜め上方の方向を含む複数の方向に向けられて撮影を行なうことを特徴とする請求項14に記載の画像情報出力方法。
- 前記車両には前記車両の傾斜方向を検出する傾斜センサが備えられ、前記画像情報は前記傾斜センサの検出結果を用いて補正されることを特徴とする請求項14に記載の画像情報出力方法。
- 前記車両は前記複数の撮影位置を通過する移動経路を表示するユーザインターフェースを備え、前記ユーザインターフェース上の操作により、前記車両の移動方向および移動速度が操作できることを特徴とする請求項14に記載の画像情報出力方法。
- 前記ユーザインターフェース上の操作により、前記複数のカメラの方向を制御できることを特徴とする請求項14に記載の画像情報出力方法。
- 複数の撮影位置それぞれにおいて複数の方向への、複数の複数のサブ領域に分割される撮影領域が撮影装置により撮影されて得られる複数の画像情報を記憶するデータベースであり、前記データベースには、記憶される画像情報に、その画像情報が前記撮影装置により撮影により取得された時の撮影位置情報と撮影方向とを関連付けて記憶され、さらに前記データベースには、記憶される画像情報に、その画像情報が取得されたときに撮影されたサブ領域が関連付けて記憶されるデータベースと、
前記撮影領域上に設定される視点経路上において順番に配置される複数の位置と前記複数の位置それぞれにおける視線の前記撮影領域へ向かう方向とを指定する経路視点指定装置と、
前記経路視点指定装置により指定された視点経路上の位置から指定された視線方向の画像情報を前記順番にて検索し映像情報を出力する画像検索エンジンであって、前記データベースに記憶されている、前記サブ領域に関連付けられている撮影方向情報を参照し、前記視点経路上の前記複数の位置それぞれにおける前記視線の前記方向に位置する前記サブ領域を含む画像情報を検索する画像検索エンジンとを備える画像情報出力システム。 - 前記撮影装置は、前記撮影領域の四角形の領域の画像を撮影し、
前記データベースは、記憶される画像情報に、その画像情報が表わす画像の四隅に相当する前記撮影領域の位置情報と、前記撮影装置の光軸が前記撮影領域と交わるまでの距離情報と、前記画像のフレームが水平面に対し前記光軸周りに回転していることを示す角度情報とを関連付けて記憶する請求項19に記載の画像情報出力システム。 - 前記データベースは、記憶される画像情報が前記撮影装置により撮影されたサブ領域の中の代表点において前記撮影の撮影位置を見る場合の方位角と仰角と距離とに前記画像情報を関連付けるインデックスを記憶し、
前記画像検索エンジンは、前記インデックスを用いて検索を行なう請求項19に記載の画像情報出力システム。 - 上方から下方へ向かう軸の周囲に、前記軸の方向を向きかつ斜め下方に光軸が向いている複数のカメラを配置し、
前記複数のカメラそれぞれの光軸と前記軸とがなす角度が実質的に同一であることを特徴とする撮影装置。 - 前記複数のカメラの中には、第1の焦点距離を有する複数の第1のカメラと前記第1の焦点距離よりも大きな第2の焦点距離を有する複数の第2のカメラとが含まれ、
前記複数の第1のカメラのそれぞれの光軸が前記軸となす角度は、前記複数の第2のカメラのそれぞれの光軸が前記軸となす角度よりも小さいことを特徴とする請求項22に記載の撮影装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011502189A JP4854819B2 (ja) | 2009-05-18 | 2010-05-17 | 画像情報出力方法 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009119484 | 2009-05-18 | ||
JP2009119484 | 2009-05-18 | ||
JP2011502189A JP4854819B2 (ja) | 2009-05-18 | 2010-05-17 | 画像情報出力方法 |
PCT/JP2010/058313 WO2010134502A1 (ja) | 2009-05-18 | 2010-05-17 | 画像情報出力方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011232739A Division JP5861150B2 (ja) | 2009-05-18 | 2011-10-24 | 画像情報出力方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP4854819B2 JP4854819B2 (ja) | 2012-01-18 |
JPWO2010134502A1 true JPWO2010134502A1 (ja) | 2012-11-12 |
Family
ID=43126180
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011502189A Expired - Fee Related JP4854819B2 (ja) | 2009-05-18 | 2010-05-17 | 画像情報出力方法 |
JP2011232739A Expired - Fee Related JP5861150B2 (ja) | 2009-05-18 | 2011-10-24 | 画像情報出力方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011232739A Expired - Fee Related JP5861150B2 (ja) | 2009-05-18 | 2011-10-24 | 画像情報出力方法 |
Country Status (4)
Country | Link |
---|---|
US (2) | US8593486B2 (ja) |
EP (1) | EP2434457A4 (ja) |
JP (2) | JP4854819B2 (ja) |
WO (1) | WO2010134502A1 (ja) |
Families Citing this family (57)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060241859A1 (en) * | 2005-04-21 | 2006-10-26 | Microsoft Corporation | Virtual earth real-time advertising |
US9953459B2 (en) | 2008-11-05 | 2018-04-24 | Hover Inc. | Computer vision database platform for a three-dimensional mapping system |
US9479768B2 (en) * | 2009-06-09 | 2016-10-25 | Bartholomew Garibaldi Yukich | Systems and methods for creating three-dimensional image media |
JP5743142B2 (ja) * | 2011-03-29 | 2015-07-01 | ソニー株式会社 | 画像理装置および方法、並びにプログラム |
US9476970B1 (en) * | 2012-03-19 | 2016-10-25 | Google Inc. | Camera based localization |
CN103491339B (zh) * | 2012-06-11 | 2017-11-03 | 华为技术有限公司 | 视频获取方法、设备及系统 |
US10771748B2 (en) * | 2012-11-27 | 2020-09-08 | Metropolitan Life Insurance Co. | System and method for interactive aerial imaging |
KR101478981B1 (ko) | 2012-12-04 | 2015-01-07 | (주)쓰리디랩스 | 스테레오 영상에서 기준점 추출 방법 및 장치 |
JP6078317B2 (ja) * | 2012-12-07 | 2017-02-08 | 株式会社トプコン | 全方位カメラ |
US9880623B2 (en) | 2013-01-24 | 2018-01-30 | Immersion Corporation | Friction modulation for three dimensional relief in a haptic device |
EP2787319A1 (de) | 2013-04-05 | 2014-10-08 | Leica Geosystems AG | Steuerung einer Bildauslösung zur Luftbilderfassung in Nadir-Ausrichtung für ein unbemanntes Fluggerät |
US9165397B2 (en) | 2013-06-19 | 2015-10-20 | Google Inc. | Texture blending between view-dependent texture and base texture in a geographic information system |
US9171402B1 (en) | 2013-06-19 | 2015-10-27 | Google Inc. | View-dependent textures for interactive geographic information system |
TWI508526B (zh) * | 2013-10-01 | 2015-11-11 | Wistron Corp | 產生視角平移影像之方法及其可攜式電子設備 |
CN107533801A (zh) | 2013-11-01 | 2018-01-02 | 国际智能技术公司 | 使用测绘车辆的地图测绘技术 |
JP2015114954A (ja) * | 2013-12-13 | 2015-06-22 | 株式会社ジオ技術研究所 | 撮影画像解析方法 |
CN103646384B (zh) * | 2013-12-20 | 2016-06-22 | 江苏大学 | 一种遥感扫描成像平台飞行速度的优化方法 |
CN103995888B (zh) * | 2014-06-03 | 2017-06-09 | 立得空间信息技术股份有限公司 | 基于实景的路径引导信息表达方法与装置 |
US10594950B2 (en) | 2014-06-23 | 2020-03-17 | Sony Corporation | Photographing apparatus |
CN105224570B (zh) * | 2014-06-30 | 2019-07-16 | 上海斐讯数据通信技术有限公司 | 一种兴趣点的显示方法及系统 |
JP6584017B2 (ja) * | 2014-07-18 | 2019-10-02 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | 航空機に基づく画像投影方法、装置及び航空機 |
JP6524547B2 (ja) * | 2015-04-20 | 2019-06-05 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | 撮像システム、無人航空機、及び方法 |
US9948914B1 (en) * | 2015-05-06 | 2018-04-17 | The United States Of America As Represented By The Secretary Of The Air Force | Orthoscopic fusion platform |
WO2017007254A1 (ko) * | 2015-07-08 | 2017-01-12 | 고려대학교 산학협력단 | 3차원 지도 생성 및 표시 장치 및 방법 |
KR101835434B1 (ko) * | 2015-07-08 | 2018-03-09 | 고려대학교 산학협력단 | 투영 이미지 생성 방법 및 그 장치, 이미지 픽셀과 깊이값간의 매핑 방법 |
US10275939B2 (en) | 2015-11-05 | 2019-04-30 | Google Llc | Determining two-dimensional images using three-dimensional models |
CN108603790B (zh) | 2015-12-09 | 2020-09-25 | 菲力尔系统公司 | 基于无人机系统的热成像系统和方法 |
US10203211B1 (en) * | 2015-12-18 | 2019-02-12 | Amazon Technologies, Inc. | Visual route book data sets |
US10021373B2 (en) * | 2016-01-11 | 2018-07-10 | Microsoft Technology Licensing, Llc | Distributing video among multiple display zones |
KR20170095030A (ko) | 2016-02-12 | 2017-08-22 | 삼성전자주식회사 | 통신 시스템에서 vr 컨텐트 디스플레이를 지원하는 기법 |
JP6733267B2 (ja) * | 2016-03-31 | 2020-07-29 | 富士通株式会社 | 情報処理プログラム、情報処理方法および情報処理装置 |
US9911189B1 (en) * | 2016-06-30 | 2018-03-06 | Kitty Hawk Corporation | Navigation based on downward facing sensors |
US10783170B2 (en) * | 2016-08-19 | 2020-09-22 | Adobe Inc. | Geotagging a landscape photograph |
KR101723641B1 (ko) * | 2016-12-12 | 2017-04-06 | (주)동광지엔티 | 촬영고도별 해상도의 자동 조절기능을 갖는 지상 사각지대의 영상수집형 항공촬영장치 |
KR101723639B1 (ko) * | 2016-12-12 | 2017-04-06 | (주)신한항업 | 위치별 수집 촬영이미지의 실시간 처리가 가능한 항공촬영방법 |
CN106940897A (zh) * | 2017-03-02 | 2017-07-11 | 苏州蜗牛数字科技股份有限公司 | 一种在ar场景中介入现实光影的方法 |
EP3383035A1 (en) * | 2017-03-29 | 2018-10-03 | Koninklijke Philips N.V. | Image generation from video |
CN107093204A (zh) * | 2017-04-14 | 2017-08-25 | 苏州蜗牛数字科技股份有限公司 | 一种基于全景画面影响虚拟对象光影效果的方法 |
US10816354B2 (en) | 2017-08-22 | 2020-10-27 | Tusimple, Inc. | Verification module system and method for motion-based lane detection with multiple sensors |
KR102211769B1 (ko) * | 2017-12-07 | 2021-02-03 | 한국전자통신연구원 | 멀티 카메라 촬영 영상의 기하보정 방법 및 장치 |
US10712810B2 (en) | 2017-12-08 | 2020-07-14 | Telefonaktiebolaget Lm Ericsson (Publ) | System and method for interactive 360 video playback based on user location |
KR102009400B1 (ko) * | 2017-12-20 | 2019-08-12 | 김기효 | 실감형 영상 콘텐츠 제공 방법 및 이를 이용한 서버 |
US11009356B2 (en) * | 2018-02-14 | 2021-05-18 | Tusimple, Inc. | Lane marking localization and fusion |
US11009365B2 (en) | 2018-02-14 | 2021-05-18 | Tusimple, Inc. | Lane marking localization |
CN108846833A (zh) * | 2018-05-30 | 2018-11-20 | 郑州云海信息技术有限公司 | 一种基于TensorFlow图像识别诊断硬盘故障的方法 |
JP7199845B2 (ja) * | 2018-06-19 | 2023-01-06 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
WO2020065719A1 (ja) * | 2018-09-25 | 2020-04-02 | 株式会社エアロネクスト | 飛行体 |
KR101998140B1 (ko) * | 2018-09-28 | 2019-10-01 | 한국지질자원연구원 | 지질 요소의 경계면 표시 장치를 사용한 현장 3d 지질도 매핑 시스템 및 방법 |
CN111197986B (zh) * | 2019-08-13 | 2022-03-11 | 苏州光之翼智能科技有限公司 | 一种无人机三维路径实时预警避障方法 |
JP6684012B1 (ja) * | 2019-10-04 | 2020-04-22 | 株式会社トラジェクトリー | 情報処理装置および情報処理方法 |
JP6681105B2 (ja) * | 2019-11-28 | 2020-04-15 | 株式会社エアロネクスト | 飛行体 |
EP3893150A1 (en) | 2020-04-09 | 2021-10-13 | Tusimple, Inc. | Camera pose estimation techniques |
US20210349922A1 (en) * | 2020-05-05 | 2021-11-11 | Jane Huang Hsu | METHOD OF RECOGNIZING AN OBJECT IN AN IMAGE USING iMaG AUTOMATED GEOREGSTRATION SYSTEM GENERATED MULTI-ORBIT SATELLITE IMAGERY WITH A CADSTRAL DATA BASED IMAGERY BASE |
JP7110450B1 (ja) * | 2021-06-15 | 2022-08-01 | 丈二 青沼 | 竿に装着される多用途性カメラ装置 |
AU2021240322B2 (en) | 2021-01-07 | 2023-08-17 | Joji AONUMA | Versatile camera device mountable to pole |
CN113612980B (zh) * | 2021-08-26 | 2023-01-24 | 歌尔科技有限公司 | 投影仪和投影定位方法 |
US20230143198A1 (en) * | 2021-11-05 | 2023-05-11 | Cape Analytics, Inc. | System and method for viewshed analysis |
Family Cites Families (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2807622B2 (ja) | 1993-12-13 | 1998-10-08 | 株式会社コア | 航空機搭載総合撮影装置 |
US6526352B1 (en) * | 2001-07-19 | 2003-02-25 | Intelligent Technologies International, Inc. | Method and arrangement for mapping a road |
JP3433882B2 (ja) * | 1996-12-24 | 2003-08-04 | 松下電器産業株式会社 | 仮想空間生成装置 |
JP4332231B2 (ja) * | 1997-04-21 | 2009-09-16 | ソニー株式会社 | 撮像装置コントローラおよび撮像システム |
US6307680B1 (en) * | 1999-10-13 | 2001-10-23 | Northrop Grumman Corporation | Optical blurring filter which is resistant to digital image restoration |
US7003153B1 (en) * | 2000-09-29 | 2006-02-21 | Sharp Laboratories Of America, Inc. | Video contrast enhancement through partial histogram equalization |
US7085409B2 (en) * | 2000-10-18 | 2006-08-01 | Sarnoff Corporation | Method and apparatus for synthesizing new video and/or still imagery from a collection of real video and/or still imagery |
JP3823724B2 (ja) | 2000-12-14 | 2006-09-20 | 日本電気株式会社 | 3次元空中遊覧改良サーバ、その方法、及び記録媒体 |
JP2002357419A (ja) | 2001-02-20 | 2002-12-13 | Kyushu Techno Research Kk | 斜め航空写真及び疑似オルソ画像。 |
WO2002090887A2 (en) * | 2001-05-04 | 2002-11-14 | Vexcel Imaging Gmbh | Digital camera for and method of obtaining overlapping images |
WO2003005305A1 (en) * | 2001-07-06 | 2003-01-16 | Goodrich Avionics Systems, Inc. | System and method for synthetic vision terrain display |
JP3982273B2 (ja) * | 2002-02-05 | 2007-09-26 | 三菱電機株式会社 | ナビゲーション装置 |
US7893957B2 (en) | 2002-08-28 | 2011-02-22 | Visual Intelligence, LP | Retinal array compound camera system |
US7424133B2 (en) * | 2002-11-08 | 2008-09-09 | Pictometry International Corporation | Method and apparatus for capturing, geolocating and measuring oblique images |
JP3808833B2 (ja) | 2003-02-14 | 2006-08-16 | 株式会社パスコ | 空中写真測量方法 |
CA2559726C (en) * | 2004-03-24 | 2015-10-20 | A9.Com, Inc. | System and method for displaying images in an online directory |
JP4463151B2 (ja) * | 2004-05-25 | 2010-05-12 | 富士フイルム株式会社 | 撮影システムおよび撮影方法 |
US20050270387A1 (en) | 2004-05-25 | 2005-12-08 | Fuji Photo Film Co., Ltd. | Photographing system and photographing method |
US20080285886A1 (en) * | 2005-03-29 | 2008-11-20 | Matthew Emmerson Allen | System For Displaying Images |
US20070150188A1 (en) * | 2005-05-27 | 2007-06-28 | Outland Research, Llc | First-person video-based travel planning system |
JP2006350852A (ja) | 2005-06-17 | 2006-12-28 | Nabura:Kk | 画像生成システム |
US20100259539A1 (en) * | 2005-07-21 | 2010-10-14 | Nikolaos Papanikolopoulos | Camera placement and virtual-scene construction for observability and activity recognition |
US8160400B2 (en) * | 2005-11-17 | 2012-04-17 | Microsoft Corporation | Navigating images using image based geometric alignment and object based controls |
US8483903B2 (en) * | 2006-09-07 | 2013-07-09 | Nissan North America, Inc. | Vehicle on-board unit |
US8195383B2 (en) * | 2006-11-29 | 2012-06-05 | The Boeing Company | System and method for electronic moving map and aeronautical context display |
WO2008150153A1 (en) * | 2007-06-08 | 2008-12-11 | Tele Atlas B.V. | Method of and apparatus for producing a multi-viewpoint panorama |
WO2009017393A1 (en) * | 2007-07-31 | 2009-02-05 | Tele Atlas B.V. | Method and device for determining a position |
JP4963105B2 (ja) | 2007-11-22 | 2012-06-27 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 画像を記憶する方法、装置 |
JP2009217524A (ja) * | 2008-03-11 | 2009-09-24 | Kodaira Associates Kk | 都市景観の3次元動画生成および閲覧システム |
US20090262194A1 (en) * | 2008-04-22 | 2009-10-22 | Sony Ericsson Mobile Communications Ab | Interactive Media and Game System for Simulating Participation in a Live or Recorded Event |
-
2010
- 2010-05-17 JP JP2011502189A patent/JP4854819B2/ja not_active Expired - Fee Related
- 2010-05-17 WO PCT/JP2010/058313 patent/WO2010134502A1/ja active Application Filing
- 2010-05-17 EP EP10777735.1A patent/EP2434457A4/en not_active Withdrawn
-
2011
- 2011-10-24 JP JP2011232739A patent/JP5861150B2/ja not_active Expired - Fee Related
- 2011-11-18 US US13/299,724 patent/US8593486B2/en not_active Expired - Fee Related
-
2013
- 2013-10-22 US US14/059,582 patent/US20140049617A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
WO2010134502A1 (ja) | 2010-11-25 |
JP2012053896A (ja) | 2012-03-15 |
JP4854819B2 (ja) | 2012-01-18 |
EP2434457A4 (en) | 2014-01-15 |
US20120120069A1 (en) | 2012-05-17 |
EP2434457A1 (en) | 2012-03-28 |
JP5861150B2 (ja) | 2016-02-16 |
US20140049617A1 (en) | 2014-02-20 |
US8593486B2 (en) | 2013-11-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4854819B2 (ja) | 画像情報出力方法 | |
JP2009217524A (ja) | 都市景観の3次元動画生成および閲覧システム | |
US8818076B2 (en) | System and method for cost-effective, high-fidelity 3D-modeling of large-scale urban environments | |
AU2008322565B9 (en) | Method and apparatus of taking aerial surveys | |
US7986825B2 (en) | Model forming apparatus, model forming method, photographing apparatus and photographing method | |
US20200036952A1 (en) | Free viewpoint movement display device | |
CN107514993A (zh) | 基于无人机的面向单体建筑建模的数据采集方法及系统 | |
KR101756946B1 (ko) | 경도선/위도선을 기반으로 교통로를 구성하고, 지도 검색을 수행하는 방법 및 장치 | |
JP5780561B2 (ja) | 視界映像情報生成装置 | |
CN101137890A (zh) | 导航和检查系统 | |
CN109900274B (zh) | 一种图像匹配方法及系统 | |
CN112652065A (zh) | 三维社区建模方法、装置、计算机设备及存储介质 | |
JP4418857B1 (ja) | 路線の3次元動画生成用画像取得システム | |
JP2006003280A (ja) | 撮影装置及び撮影方法 | |
JP6723533B2 (ja) | ドライビングシミュレーター | |
Opsahl et al. | Real-time georeferencing for an airborne hyperspectral imaging system | |
CN116883604A (zh) | 一种基于天、空、地影像的三维建模技术方法 | |
CN111222586A (zh) | 一种基于三维倾斜模型视角的倾斜影像匹配方法及装置 | |
Stal et al. | Highly detailed 3D modelling of Mayan cultural heritage using an UAV | |
JP7189029B2 (ja) | 立面図作成方法 | |
JP2003337947A (ja) | 画像表示方法、画像表示装置、及び画像表示方法を記録した記憶媒体 | |
Orlik et al. | 3D modelling using aerial oblique images with close range UAV based data for single objects | |
CN107063094A (zh) | 基于光电开关的激光测距空间成像的方法 | |
Zhang et al. | UAV-Borne Mapping Algorithms for Low-Altitude and High-Speed Drone Applications | |
Frank et al. | An Alternative Raw Data Acquisition Approach for Reconstruction of LOD3 Models |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110927 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111025 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141104 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |