JP4257937B2 - 画像生成支援装置、画像生成支援方法、および、コンピュータプログラム - Google Patents
画像生成支援装置、画像生成支援方法、および、コンピュータプログラム Download PDFInfo
- Publication number
- JP4257937B2 JP4257937B2 JP2002350309A JP2002350309A JP4257937B2 JP 4257937 B2 JP4257937 B2 JP 4257937B2 JP 2002350309 A JP2002350309 A JP 2002350309A JP 2002350309 A JP2002350309 A JP 2002350309A JP 4257937 B2 JP4257937 B2 JP 4257937B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- data
- frame
- image data
- field data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Instructional Devices (AREA)
- Navigation (AREA)
- Processing Or Creating Images (AREA)
- Traffic Control Systems (AREA)
Description
【発明の属する技術分野】
本発明は、地物の画像の生成を支援する技術に関する。
【0002】
【従来の技術】
車両に搭載され、経路探索や経路誘導を行うカーナビゲーション装置が普及している。カーナビゲーション装置は、画像表示パネルを備えており、経路誘導時に、地図を表示する。このカーナビゲーション装置には、地図を表示する際に、立体交差する道路や建物などの地物をリアルに表現するために三次元画像を表示可能なものもある。この三次元画像には、コンピュータグラフィックス技術を用いたポリゴンが用いられる。
【特許文献1】
特開2000−295495号公報
【特許文献2】
特開平5−292393号公報
【0003】
【発明が解決しようとする課題】
近年では、地物をよりリアルに表示するために、ポリゴンに実際に撮影された静止画像から抽出した画像(貼付画像)を貼り付けることが提案されている。静止画像は、ディジタルスチルカメラを用いて地物を撮影したり、ディジタルビデオカメラを用いて撮影された動画像の一部をキャプチャしたりすることによって生成される。
【0004】
ディジタルビデオカメラを用いる場合、例えば、ディジタルビデオカメラを車両に設置して、走行しながら複数の地物を連続的に撮影することによって、比較的短時間に画像を得ることができる。
【0005】
ディジタルビデオカメラでは、インタレース方式のものが一般的に用いられる。インタレース方式とは、奇数番目のラインを表示する奇数フィールドと偶数番目のラインを表示する偶数フィールドとを交互に撮影することによって1つのフレーム画像を生成する方式である。
【0006】
しかし、インタレース方式で撮影された画像では、例えば、NTSC方式では、偶数番目のラインの撮影時刻と奇数番目のラインの撮影時刻とに1/60秒のずれが存在する。このため、移動しながら地物を撮影した場合、両者を単純に合成して静止画像を生成すると、ずれた画像となってしまう。
【0007】
本発明は、上述の課題を解決するためになされたものであり、インタレース方式で撮影された動画像からズレのない静止画像の生成を支援することを目的とする。
【0008】
【課題を解決するための手段およびその作用・効果】
上述の課題の少なくとも一部を解決するため、本発明では、以下の構成を採用した。
本発明の第1の画像生成支援装置は、
地物の画像の生成を支援する画像生成支援装置であって、
移動しながら撮影した前記地物をインタレース方式で記録したビデオ画像データから、間欠的にラインデータが記録されたフィールドデータのいずれかを入力する画像データ入力部と、
前記ラインデータ間の補間によって、データが未入力の他のラインデータを生成することにより、前記画像を生成する生成部と、
を備えることを要旨とする。
【0009】
本発明で用いられる画像を生成するためのビデオ画像データは、先に説明したように、インタレース方式のビデオカメラを車両などに搭載して、移動しながら撮影したものである。「フィールドデータ」としては、例えば、奇数番目のライン(奇数ライン)を表示するための奇数フィールド画像データと、偶数番目のライン(偶数ライン)を表示するための偶数フィールド画像データなどが挙げられる。
【0010】
「ラインデータ間の補間によって、データが未入力の他のラインデータを生成する」とは、例えば、フィールドデータとして、奇数フィールド画像データを入力した場合には、ある奇数ラインデータと、隣接する奇数ラインデータとの補間(例えば、平均)によって、未入力の偶数ラインを表示するための偶数ラインデータを生成することを意味している。
【0011】
先に説明したように、各フィールドデータは、撮影時刻が異なるので、それぞれを単純に合成して静止画像を生成すると、ずれた画像となる。本発明では、いずれかのフィールドデータを用いるので、ズレのない静止画像を生成することができる。更に、この静止画像を用いて、ズレのないポリゴンへの貼付画像を生成することができる。
【0012】
本発明の第2の画像生成支援装置は、
地物の画像の生成を支援する画像生成支援装置であって、
移動しながら撮影した前記地物をインタレース方式で記録したビデオ画像データから、異なる撮影タイミングで撮影され、間欠的にラインデータが記録されたフィールドデータを、少なくとも1つのフレーム分、入力する画像データ入力部と、
前記フィールドデータ同士の撮影タイミングの相違に起因する水平方向のずれ量を補正し、該各フィールドデータを1フレーム分の画像に合成することにより、前記画像を生成する生成部と、
を備えることを要旨とする。
【0013】
1つのフレーム分のフィールドデータとは、例えば、連続して記録された奇数フィールド画像データと偶数フィールド画像データが挙げられる。本発明によって、1つのフレームについて、フィールドデータ間の撮影タイミングのズレを補償することができるので、ズレのない静止画像を生成することができる。更に、この静止画像を用いて、ズレのないポリゴンへの貼付画像を生成することができる。
【0014】
本発明の第2の画像生成支援装置において、更に、
前記ずれ量に影響を与える所定の撮影条件を入力する撮影条件入力部を備え、前記生成部は、前記撮影条件に基づいて、前記ずれ量を算出し、前記補正を行うようにすることができる。
【0015】
上記構成では、生成部でフィールドデータ間の水平方向のずれ量を算出することができるので、適切な補正を行うことができる。
【0016】
上記画像生成支援装置において、
前記撮影条件は、例えば、前記撮影時の移動速度と、カメラの画角と、撮影位置と地物との距離と、前記撮影時のカメラアングルとのうちの少なくとも1つを含むようにすることができる。
【0017】
また、本発明の第2の画像生成支援装置において、
前記生成部は、前記ずれ量を所定のパラメータに基づいて評価しつつ、前記各フィールドデータの少なくとも一つを相対的に水平方向に逐次ずらすことによって、前記ずれ量を補正するようにしてもよい。
【0018】
こうすることによって、前記評価に基づく適切な補正を行うことができる。
【0019】
上記画像生成支援装置において、
前記パラメータは、前記フレームについて、縦方向に配列された画素間の階調値のばらつきを表すパラメータであるものとすることができる。
【0020】
階調値のばらつきを表すパラメータとしては、例えば、分散が挙げられる。画素間の階調値のばらつきが最も小さくなるように、各フィールドデータの少なくとも1つを相対的に水平方向に逐次ずらすことによって、ズレのない静止画像を生成することができる。
【0021】
また、前記生成部は、前記各フィールドデータにおいて、ユーザによって指定された領域について前記ずれ量を評価するようにしてもよい。
【0022】
1つのフレーム画像内に複数の地物が撮影されている場合には、フレーム画像全体に亘ってずれ量の評価を行うことが不適切な場合がある。例えば、フレーム画像全体の階調値の分布が広くなりすぎる場合などである。本発明によって、ユーザによって任意に指定された領域についてずれ量を評価するので、所望の地物について、適切にずれ量を評価し、補正するようにすることができる。
【0023】
本発明の第3の画像生成支援装置は、
地物の画像の生成を支援する画像生成支援装置であって、
移動しながら撮影した前記地物を記録したビデオ画像データを表示するビデオ画像表示部と、
前記ビデオ画像データの撮影位置を時系列的に記録した履歴データを入力する履歴データ入力部と、
前記履歴データに基づいて、電子地図上に、前記撮影位置の軌跡を前記ビデオ画像データと同じ時間スケールで動画表示する撮影位置表示部と、
を備えることを要旨とする。
【0024】
ここで、「履歴データ」とは、例えば、緯度、経度などの撮影位置と、撮影時刻とが対応付けられて、時系列的に記録されたデータである。履歴データによって、撮影位置の軌跡を追跡することができる。また、「動画表示」とは、所定時間内に画面に動きがあることを意味しており、連続画像の表示であってもよいし、コマ送り画像の表示であってもよい。本発明によって、ユーザは、表示されているビデオ画像が、いつ、どこで撮影されたものであるのかを視覚的に容易に把握することができる。従って、表示されている地物が電子地図上のどの地物に相当するのかを容易に知ることができる。
【0025】
上記画像生成支援装置において、ビデオ画像の内容と撮影位置の軌跡との対応関係が適切になるように、ユーザがビデオ画像の表示と撮影位置の軌跡の表示のスタート時刻を合わせ、同期制御せずに、ビデオ画像の表示と撮影位置の軌跡の表示とを独立に並行して表示してもよいが、更に、前記ビデオ画像表示部と前記撮影位置表示部との同期を制御する同期制御部を備えることが好ましい。
【0026】
同期制御部は、例えば、ビデオ画像データに撮影時刻データを含めるようにし、ビデオ画像の撮影時刻と履歴データの撮影時刻とに基づいて、両者の同期を制御することができる。こうすることによって、ビデオ画像の内容と撮影位置の軌跡との対応関係を、より正確に表示することができる。
【0027】
本発明の第4の画像生成支援装置は、
地物の画像の生成を支援する画像生成支援装置であって、
移動しながら撮影した前記地物を記録したビデオ画像データについて、撮影位置を時系列的に記録した履歴データを入力する履歴データ入力部と、
前記撮影時のカメラアングルおよびカメラの画角を含む撮影条件を入力する撮影条件入力部と、
前記地物の位置と、前記履歴データと、前記撮影条件とに基づいて、前記画角内における前記地物の相対位置を特定する相対位置特定部と、
前記ビデオ画像データにおいて、前記相対位置が予め設定された所定の条件を満たすフレームを特定するためのフレーム特定情報を出力する出力部と、
を備えることを要旨とする。
【0028】
こうすることによって、上述した本発明の第1または第2の画像生成支援装置に入力するためのフィールドデータを容易に特定できる。この結果、画像の生成を支援することができる。
【0029】
上記画像生成支援装置において、
前記所定の条件は、例えば、前記地物が前記画角のほぼ中央に存在する条件であるものとすることが好ましい。
【0030】
撮影対象物がカメラの画角の中央から外れると、画像に歪が生じる場合がある。上記構成によって、撮影対象の地物が画像の枠に収まっている複数のフレームの中から、撮影時の画像の歪が小さいフレームを選択することができる。
【0031】
本発明の第4の画像生成支援装置において、
前記フレーム特定情報は、例えば、前記フレームの撮影時刻であるものとすることが好ましい。
【0032】
こうすることによって、撮影時刻とフレームとは、互いに対応付けることができるので、多量のフレームの中から所望のフレームを容易に特定することができる。
【0033】
本発明は、上述の画像生成支援装置としての構成の他、画像の生成を支援する方法の発明として構成することもできる。また、これらを実現するコンピュータプログラム、およびそのプログラムを記録した記録媒体、そのプログラムを含み搬送波内に具現化されたデータ信号など種々の態様で実現することが可能である。なお、それぞれの態様において、先に示した種々の付加的要素を適用することが可能である。
【0034】
本発明をコンピュータプログラムまたはそのプログラムを記録した記録媒体等として構成する場合には、画像生成支援装置を駆動するプログラム全体として構成するものとしてもよいし、本発明の機能を果たす部分のみを構成するものとしてもよい。また、記録媒体としては、フレキシブルディスクやCD−ROM、DVD−ROM、光磁気ディスク、ICカード、ROMカートリッジ、パンチカード、バーコードなどの符号が印刷された印刷物、コンピュータの内部記憶装置(RAMやROMなどのメモリ)および外部記憶装置などコンピュータが読み取り可能な種々の媒体を利用できる。
【0035】
【発明の実施の形態】
以下、本発明の実施の形態について、実施例に基づき以下の順序で説明する。A.貼付画像生成支援装置の構成:
B.同期表示処理:
C.フレーム特定処理:
D.静止画像データ生成処理(第1実施例):
E.静止画像データ生成処理(第2実施例):
F.静止画像データ生成処理(第3実施例):
G.変形例:
【0036】
A.貼付画像生成支援装置の構成:
図1は、本発明の一実施例としての貼付画像生成支援装置100の構成を示す説明図である。この貼付画像生成支援装置100は、インタレース方式のディジタルビデオカメラ10によって撮影されたビデオ画像データから静止画像データを生成し、先に説明した、ポリゴンに貼り付けるための貼付画像の生成を支援する装置である。本実施例では、ビデオ画像データは、いわゆるカーナビゲーション装置を搭載した車両に設置されたディジタルビデオカメラによって、走行しながらビルなどの地物を撮影したデータである。本実施例のビデオ画像データには、画像データとともに、各フレームの撮影時刻も記録されているものとする。貼付画像生成支援装置100は、本発明の画像生成支援装置に相当する。
【0037】
貼付画像生成支援装置100は、CPU、RAM、ROMなどを備えるコンピュータや、各種プログラムやデータを記憶するためのハードディスクを備えている。貼付画像生成支援装置100は、また、2つのディスプレイ50、60や、ユーザからの指示を入力するための、図示しない操作パネルやマウスなどの入力機器も備えている。
【0038】
貼付画像生成支援装置100は、図示した各機能ブロックをソフトウェア的に備えている。これらをハードウェア的に備えるようにしてもよい。これらの各機能ブロックは、図示しない制御部によって制御される。
【0039】
入力部110は、ディジタルビデオカメラ10によって記録されたビデオ画像データや、撮影履歴を記録した履歴データ20や、撮影条件データ30や、地図データ40を、ハードディスクなどの記録媒体から入力する。入力部110は、また、操作パネルやマウスなどの入力機器から、ユーザの指示を入力する。
【0040】
図2は、履歴データ20の一例を示す説明図である。図示するように、履歴データ20には、ディジタルビデオカメラ10を設置した車両の位置情報、即ち、撮影位置の緯度および経度と、撮影時刻とが対応付けて記録されている。緯度および経度は、カーナビゲーション装置が備えるGPSアンテナなどの位置検出装置によって検出されたものである。
【0041】
撮影条件データ30には、移動しながらディジタルビデオカメラ10で撮影したときに、偶数フィールド画像データと奇数フィールド画像データとの撮影タイミングの相違に起因する画像のずれ量に影響を与えるパラメータが含まれる。本実施例では、撮影条件データ30として、ディジタルビデオカメラ10の車両への設置状態(カメラアングル)と、ディジタルビデオカメラ10の画角とを用いるものとした。これらの他に、撮影時の車両の走行速度や、撮影位置と撮影対象となる地物との距離、ディジタルビデオカメラ10の撮像素子のサイズ、レンズの焦点距離などを含めるようにしてもよい。
【0042】
地図データ40は、いわゆる電子地図データであり、道路や建物などの地物の位置(緯度、経度)や、その形状に関するデータが、それらの名称などの属性データとともに記録されている。
【0043】
貼付画像生成支援装置100は、大きく分けて、3つの機能を有する。
【0044】
第1の機能は、撮影位置の軌跡とビデオ画像とを、ディスプレイ50、60に同期して表示させる(同期表示処理)機能である。これは、主として、入力部110と、同期制御部120と、表示制御部130とによって実現される。同期制御部120は、入力部110に入力されたビデオ画像データに含まれる撮影時刻と、履歴データの撮影時刻とに基づいて、撮影位置の軌跡とビデオ画像とを同期させる。表示制御部130は、同期制御部120が同期させたタイミングで、ディスプレイ50には、電子地図mapとともに撮影位置pを表示させ、ディスプレイ60には、撮影位置pから撮影したビルBLDのビデオ画像picを表示させる。
【0045】
この第1の機能によって、ディスプレイ60に表示されるビデオ画像の内容と、ディスプレイ50に表示される撮影位置の軌跡との対応関係を正確に表示することができる。従って、ユーザは、表示されているビデオ画像が、いつ、どこで撮影されたものであるのかを視覚的に容易に把握することができる。また、ディスプレイ60に表示されている地物が電子地図上のどの地物に相当するのかを容易に知ることができる。
【0046】
第2の機能は、ビデオ画像データの中から、貼付画像の生成の対象となる地物が適切に撮影されたフレームを自動的に特定する(フレーム特定処理)機能である。これは、主として、入力部110と、特定部140と、出力部150とによって実現される。特定部140は、入力部110に入力された履歴データと、撮影条件と、地物の位置とに基づいて、ディジタルビデオカメラ10の画角内における地物の相対位置を特定する。この特定方法の詳細は後述する。出力部150は、特定部140が特定した地物の相対位置がディジタルビデオカメラ10の画角の中央となるフレームの撮影時刻を算出し、記憶部160に出力する。記憶部160は、地物と撮影時刻とを対応付けて記憶する。
【0047】
撮影対象物がカメラの画角の中央から外れると、画像に歪が生じる場合がある。第2の機能において、地物がディジタルビデオカメラ10の画角の中央に存在するフレームを特定するようにすることによって、撮影対象の地物が画像の枠に収まっている複数のフレームの中から、撮影時の画像の歪が小さいフレームを特定することができる。また、撮影時刻とフレームとは、互いに対応付けることができるので、特定されたフレームの撮影時刻を出力することによって、多量のフレームの中から、次に説明する第3の機能で利用する適切なフレームを容易に特定することができる。
【0048】
第3の機能は、ビデオ画像データから貼付画像を生成するための静止画像を生成する(静止画像データ生成処理)機能である。これは、主として、入力部110と、生成部170とによって実現される。生成部170は、記憶部160から、貼付画像の生成対象となる地物がディジタルビデオカメラ10の画角の中央となるフレームの撮影時刻を取得し、これに対応した画像データを取得する。そして、この画像データを用いて、後述する静止画像データ生成処理によって静止画像データを生成する。生成部170で生成された静止画像データは、静止画像データ記憶部70に記憶される。
【0049】
この第3の機能によって、後述するように、インタレース方式のディジタルビデオカメラ10で撮影された動画から、ズレのない静止画像を生成し、ポリゴンへの貼付画像を生成することができる。
【0050】
以下、上述した3つの機能に対応した処理の流れを説明する。
【0051】
B.同期表示処理:
図3は、同期表示処理の流れを示すフローチャートである。貼付画像生成支援装置100のCPUが実行する処理である。まず、CPUは、入力部110によって、ビデオ画像データを取得する(ステップS100)。このビデオ画像データには、先に説明したように、撮影時刻データも記録されている。次に、履歴データ20を取得する(ステップS110)。そして、同期制御部120によって、ビデオ画像データに含まれる撮影時刻と、履歴データ20に含まれる撮影時刻とを同期させる(ステップS120)。そして、表示制御部によって、ディスプレイ50には、電子地図mapとともに撮影位置pを表示させ、ディスプレイ60には、撮影位置pから撮影した地物のビデオ画像を表示させる。(ステップS130)。これらの処理は、ユーザによって処理の中断または終了の指示が入力されるか、全てのビデオ画像データの表示が終了するまで行われる。
【0052】
C.フレーム特定処理:
図4は、フレーム特定処理の流れを示すフローチャートである。貼付画像生成支援装置100のCPUが実行する処理である。まず、CPUは、入力部110によって、履歴データ20を取得する(ステップS200)。次に、撮影条件データ30を取得する(ステップS210)。次に、地図データ40から地物の位置情報を取得する(ステップS220)。そして、特定部140によって、ディジタルビデオカメラの画角における地物の相対位置を特定しつつ(ステップS230)、出力部150によって、地物がディジタルビデオカメラ10の画角の中央に存在するフレームを検索し(ステップS240)、そのフレームの撮影時刻を出力する(ステップS250)。以上の処理を貼付画像の生成対象となる各地物について行う。
【0053】
図5は、上述したステップS230、S240における、フレームの特定方法を示す説明図である。図5(a)の上段および下段には、時刻t1におけるディスプレイ50およびディスプレイ60の表示例をそれぞれ示した。図5(b)の上段および下段には、時刻t2におけるディスプレイ50およびディスプレイ60の表示例をそれぞれ示した。また、図5(a)、(b)の上段には、ビルBLDの位置Pb(LAT1,LON1)と、各時刻における撮影位置Pc1(LATx1,LONy1)、Pc2(LATx2,LONy2)と、撮影条件(ディジタルビデオカメラ10のカメラアングルθhと画角θ)と、を併せて示した。図5では、時刻t1において、ビルBLDがディジタルビデオカメラ10の画角θの右寄りに位置しており、時刻t2においては、左寄りに位置している様子を例示した。
【0054】
上述した各パラメータ値は、地図データ40、履歴データ20、撮影条件データ30から取得することができ、それらを用いて、ディジタルビデオカメラ10の画角θにおけるビルBLDの相対位置を所定の演算によって算出することができる。更に、ビルBLDがディジタルビデオカメラ10の画角θの中央に位置する時刻を算出することも可能である。
【0055】
図示した例では、撮影位置Pの移動方向のベクトルVmと、時刻t1における撮影位置Pc1からビルBLDへの方向のベクトルVpc1pbと、時刻t2における撮影位置Pc2からビルBLDへの方向のベクトルVpc2pbは、各位置情報から求めることができる。
【0056】
そして、ベクトルVmとベクトルVpc1pbとのなす角度θt1は、
θt1=cos-1(Vm・Vpc1pb/(|Vm|*|Vpc1pc|))
である。ここで、Vm・Vpc1pbは、ベクトルVmとベクトルVpc1pvとの内積を表しており、|Vm|および|Vpc1pb|は、ベクトルVmおよびベクトルVpc1pbの大きさを表している。
【0057】
また、ベクトルVmとベクトルVpc2pbとのなす角度θt2は、
θt2=cos-1(Vm・Vpc2pb/(|Vm|*|Vpc2pc|))
である。ここで、Vm・Vpc2pbは、ベクトルVmとベクトルVpc2pvとの内積を表しており、|Vm|および|Vpc2pb|は、VmおよびVpc2pbの大きさを表している。
【0058】
時刻t1において、角度θt1は、ディジタルビデオカメラ10のカメラアングルθhよりも小さいから、ビルBLDは、ディジタルビデオカメラ10の画角の右寄りに位置する。また、時刻t2において、角度θt2は、ディジタルビデオカメラ10のカメラアングルθhよりも大きいから、ビルBLDは、ディジタルビデオカメラ10の画角の左寄りに位置する。
【0059】
ビルBLDがディジタルビデオカメラの画角θの中央に位置する時刻は、ベクトルVmと、撮影位置からビルBLD方向のベクトルとのなす角度がディジタルビデオカメラ10のカメラアングルθhと一致する時刻であるから、この時刻を求めればよい。
【0060】
このようなフレーム特定処理によって、後述する静止画像データ生成処理に利用するフィールドデータを容易に特定することができる。
【0061】
D.静止画像データ生成処理(第1実施例):
図6は、第1実施例の静止画像データ生成処理の流れを示すフローチャートである。貼付画像生成支援装置100のCPUが実行する処理である。まず、CPUは、記憶部160から貼付画像の生成対象の地物がディジタルビデオカメラ10の画角の中央に存在するフレームの撮影時刻を取得する(ステップS300)。次に、その撮影時刻に撮影されたフレームの画像データの奇数フィールド画像データを取得する(ステップS310)。そして、各奇数ラインデータを複写することによって偶数ラインデータを生成する(ステップS320)。そして、各ラインデータを合成し(ステップS330)、静止画像データを生成する。そして、生成された静止画像データを、地物と関連付けて、静止画像データ記憶部70に保存する(ステップS340)。静止画像データと地物との関連付けは、ユーザが個々に行ってもよいし、地物の位置情報と関連付けてもよい。また、地図データ40に地物の名称が含まれる場合には、地物の名称と関連付けてもよい。
【0062】
図7は、奇数ラインデータを複写することによって偶数ラインデータを生成する様子を模式的に示す説明図である。図中の各マスは、画素を示している。例えば、奇数ラインodd1の各データを隣接する下のラインに複写することによって、偶数ラインeven1のデータを生成することができる。従って、偶数ラインeven1の画素BのRGBの各階調値は、奇数ラインodd1の画素Aの各階調値と同じである。偶数ラインeven2の画素DのRGBの各階調値は、奇数ラインodd2の画素Cの各階調値と同じである。
【0063】
上述した例では、奇数ラインデータを複写することによって偶数ラインデータを生成したが、奇数ラインデータ間の補間によって偶数ラインデータを生成するようにしてもよい。例えば、奇数ラインデータodd1、odd2の補間(例えば、平均)によって、偶数ラインデータeven1のデータを生成することができる。この場合、例えば、画素Bの各階調値は、画素Aの各階調値と画素Bの各階調値との平均値となる。
【0064】
第1実施例の静止画像データ生成処理では、奇数フィールド画像データのみを用いて静止画像を生成するので、奇数フィールド画像データと偶数フィールド画像データとの撮影時刻の相違が静止画像データには反映されない。従って、ズレのない静止画像を生成し、ポリゴンへの貼付画像を生成することができる。
【0065】
E.静止画像データ生成処理(第2実施例):
上述した第1実施例の静止画像データ生成処理では、奇数フィールド画像データを用いて静止画像データを生成したが、第2実施例では、1フレーム分のフィールドデータを用いて静止画像データを生成する。
【0066】
図8は、第2実施例の静止画像データ生成処理の流れを示すフローチャートである。貼付画像生成支援装置100のCPUが実行する処理である。まず、CPUは、記憶部160から貼付画像の生成対象の地物がディジタルビデオカメラの画角の中央に存在するフレームの撮影時刻を取得する(ステップS400)。次に、入力部110によって、その撮影時刻に撮影されたフレームの画像データを1フレーム分、取得する(ステップS410)。つまり、ステップS400で取得した撮影時刻に直近の奇数フィールド画像データと偶数フィールド画像データとを取得する。次に、撮影条件を取得する(ステップS420)。
【0067】
次に、撮影条件に基づいて、奇数フィールド画像データと偶数フィールド画像データの撮影タイミングの相違に起因する水平方向のずれ量を算出する(ステップS430)。ディジタルビデオカメラ10の画素数等の仕様や撮影タイミングの差は、既知であるから、ずれ量は、先に説明した撮影条件を用いることによって、所定の演算によって算出することができる。
【0068】
図9は、奇数フィールド画像データと偶数フィールド画像データの撮影タイミングの相違に起因する水平方向のずれ量の算出方法を示す説明図である。まず、理解を容易にするために、撮影位置と撮影対象物との距離がほとんど変わらない状態で水平移動しながら撮影する場合(図9(a)参照)を例にして説明する。図9(a)の右側に拡大して示した1画素当たりのサイズがN(mm)のCCDを備えるディジタルビデオカメラで撮影する場合を考える。ディジタルビデオカメラのレンズの焦点距離がf(mm)、撮影対象物までの距離をL(mm)とした場合、撮影対象物が水平方向にM(mm)移動すると、CCDにおける像は、M・(f/L)(mm)移動することになる。つまり、M・(f/L)/N画素移動する。
【0069】
例えば、レンズの焦点距離が5(mm)であり、1画素当たりのサイズが0.005(mm)のCCDを備えるディジタルビデオカメラを用いて、30(m)離れたビルを、40(km/h)で水平移動しながら撮影する場合、撮影位置は、1/60(s)間に約185(mm)移動する。つまり、ビルは相対的に約185(mm)移動する。このとき、CCDにおける像は、約0.03(=185・(5/30000))(mm)、即ち、約6画素分移動することになる。
【0070】
上述した例は、図9(b)において、車両にディジタルビデオカメラを進行方向(ベクトルVmaの方向)に対して左90度の向きに設置し、点pにおいて、ベクトルVmaの方向に移動しながら、進行方向に対して左90度に存在するビルBLD1を撮影する場合に相当する。
【0071】
次に、車両にディジタルビデオカメラを進行方向に対して左にθh度の向きに設置し、点pにおいて、ベクトルVmaの方向に移動しながら、進行方向に対して左にθh度に存在するビルBLD2を撮影する場合について説明する。この場合は、図9(b)に示すように、ベクトルVmaをディジタルビデオカメラの設置方向のベクトルVma2と、ベクトルVma2に直交するベクトルVma1とに分解することによって、先に説明した場合と同様に理解することができる。つまり、ベクトルVma1の大きさが水平方向の移動速度に相当する。この移動速度から1/60(s)間の移動距離が求められるから、奇数フィールド画像データと偶数フィールド画像データとの水平方向のずれ量を算出することができる。なお、ここでは、ベクトルVma2による撮影位置点pとビルBLD2との距離の変化は考慮していない。
【0072】
このようにして奇数フィールド画像データと偶数フィールド画像データとの水平方向のずれ量を算出することができる。なお、本実施例において、撮影位置の移動速度を入力していないが、撮影位置の移動速度は、履歴データから容易に算出することができる。また、撮影対象物までの距離は、撮影位置と撮影対象物の位置とから容易に算出することができる。
【0073】
図8のステップS430において、ずれ量を算出すると、算出された値に従って、奇数フィールド画像データと偶数フィールド画像データの少なくとも1つを水平方向にずらすことによって、ずれ量を補正する(ステップS440)。本実施例では、偶数フィールド画像データを水平方向にずらすことによって補正を行い、補正偶数フィールド画像データを生成するものとした。このとき、補正を行うことによって、画像の枠からはみ出す画素の画像データは削除し、不足する画素の画像データには黒を表示する画像データを追加することとした。
【0074】
そして、奇数フィールド画像データと補正偶数フィールド画像データとを合成し(ステップS450)、静止画像データを生成する。そして、生成された静止画像データを、地物と関連付けて、静止画像データ記憶部70に保存する(ステップS460)。
【0075】
図10は、第2実施例における静止画像データの生成の様子を模式的に示す説明図である。図中の各マスは画素を表している。図から分かるように、補正前の奇数フィールド画像データと偶数フィールド画像データとは、水平方向にずれている(左図)。生成部170は、偶数フィールド画像データが右に2画素分ずれていることを算出し、これを左に2画素ずらす補正を行う(右図)。なお、図10の右図では、補正によって画像の枠からはみ出し削除された画素、不足して追加された画素も表している。
【0076】
第2実施例の静止画像データ生成処理では、フィールドデータ間の撮影時刻の相違に起因する水平方向のずれ量を、撮影条件に基づいて算出することができるので、適切な補正を行うことができる。この結果、ズレのない静止画像を生成し、ポリゴンへの貼付画像を生成することができる。
【0077】
F.静止画像データ生成処理(第3実施例):
上述した第2実施例の静止画像データ生成処理では、算出されたずれ量に基づいてラインデータをずらすことによって補正を行ったが、第3実施例の静止画像データ生成処理では、ラインデータを逐次ずらして、所定の評価を行いつつ、最適なずらし量を決定し、補正を行う。
【0078】
図11は、第3実施例の静止画像データ生成処理の流れを示すフローチャートである。貼付画像生成支援装置100のCPUが実行する処理である。まず、CPUは、貼付画像の生成対象の地物がディジタルビデオカメラの画角の中央に存在するフレームの撮影時刻を取得する(ステップS500)。次に、入力部110によって、その撮影時刻に撮影されたフレームの画像データを1フレーム分、取得し(ステップS510)、これを合成して静止画像データを生成する(ステップS520)。
【0079】
次に、ユーザによって指定された画像データ上の指定領域を取得する(ステップS530)。本実施例では、ステップS520で生成された画像データがディスプレイ60に表示され、ユーザが表示画面上でマウスを用いて領域を指定し、入力するものとした。
【0080】
次に、指定領域内の画素について、階調値のバラつきを算出する(ステップS540)。本実施例では、バラつきを表すパラメータとして、分散を用いることとした。分散以外のパラメータを用いるものとしてもよい。そして、評価値としての分散の値を一時的に記憶する(ステップS542)。次に、偶数フィールド画像データを水平方向にずらし(ステップS543)、再度合成することによって静止画像データを生成する(ステップS544)。そして、指定領域内の画素について、再度階調値のバラつきを算出する(ステップS546)。そして、評価値を一時的に記憶する(ステップS548)。次に、分散の値に極小値があるか否かを判定する(ステップS550)。極小値があった場合、この極小値が得られたときのずらし量を最適なずらし量と決定する。そして、このずらし量で偶数フィールド画像データをずらすことによって補正を行い(ステップS560)、補正偶数フィールド画像データを生成する。極小値がない場合には、ステップS543〜S550を繰り返す。
【0081】
そして、奇数フィールド画像データと補正偶数フィールド画像データとを合成し(ステップS570)、静止画像データを生成する。そして、生成された静止画像データを、地物と関連付けて、静止画像データ記憶部70に保存する(ステップS580)。
【0082】
図12は、第3実施例における静止画像データの生成の様子を模式的に示す説明図である。図12の上段には、逐次補正を行ったときの画像の状態を示した。図中には、指定領域Rを併せて破線で示した。「状態1」は、入力されたままの状態の画像を示している。「状態2」は、偶数フィールド画像データを左に1画素分ずらした画像を示している。「状態3」は、偶数フィールド画像データを2画素分ずらした画像を示している。「状態4」は、偶数フィールド画像データを3画素分ずらした画像を示している。
【0083】
図12の下段には、各状態における分散の値を示した。図示した例では、「状態3」において、分散が極小値をとっていることが分かる。従って、「状態1」の画像から、偶数フィールド画像データを左に3画素分ずらした「状態3」の画像を、最終的に保存する静止画像とする。
【0084】
第3実施例の静止画像データ生成処理では、フィールドデータ間の撮影時刻の相違に起因する水平方向のずれ量を、分散に基づいて評価しつつ補正することができるので、適切な補正を行うことができる。この結果、ズレのない静止画像を生成し、ポリゴンへの貼付画像を生成することができる。
【0085】
G.変形例:
以上、本発明のいくつかの実施の形態について説明したが、本発明はこのような実施の形態になんら限定されるものではなく、その要旨を逸脱しない範囲内において種々なる態様での実施が可能である。例えば、以下のような変形例が可能である。
【0086】
G1.変形例1:
上記第1実施例の静止画像データ生成処理では、奇数フィールド画像データを用いて偶数ラインデータを生成するものとしたが、これに限られない。本発明は、一般に、いずれかのフィールドデータを用いて未入力のラインデータを生成し、合成することによって静止画像データを生成するものであるから、偶数フィールド画像データを用いて奇数ラインデータを生成するものとしてもよい。
【0087】
G2.変形例2:
上記第2および第3実施例の静止画像データ生成処理では、偶数フィールド画像データを水平方向にずらすことによって補正を行ったが、これに限られない。本発明は、一般に、いずれかのフィールドデータを水平方向にずらすことによって補正を行うものであるから、例えば、奇数フィールド画像データをずらすようにしてもよいし、両者をずらすようにしてもよい。
【0088】
また、上記第2の静止画像データ生成処理では、1フレーム分のフィールドデータを入力するものとしたが、2フレーム以上のフィールドデータを入力し、これらを利用して、フィールドデータ間の水平方向のずれ量を算出するようにしてもよい。
【0089】
G3.変形例3:
上記第3実施例の静止画像データ生成処理では、ユーザによって指定された指定領域について、画素間の階調値のバラつきの評価を行ったが、予め決められた所定領域について、縦方向に配列された画素間の階調値のバラつきの評価を行うようにしてもよい。
【0090】
G4.変形例4:
上記実施例では、貼付画像生成支援装置100は、同期制御部120を備えているが、これを備えていなくてもよい。この場合、例えば、ユーザが、ディスプレイ60に表示されるビデオ画像と、ディスプレイ50に表示される撮影位置の軌跡との表示のスタート時刻を合わせ、両者を同じ時間スケールで、独立に並行して表示させるようにしてもよい。
【0091】
G5.変形例5:
上記実施例のフレーム特定処理において、地物がディジタルビデオカメラ10の画角の中央に存在するフレームを特定するものとしたが、これに限られない。予め定められた所定条件を満たすフレームを特定するようにすればよい。
【0092】
G6.変形例6:
上記実施例のフレーム特定処理では、撮影された各地物をフレーム特定処理の処理対象としたが、これに限られない。例えば、ディスプレイ50に表示された電子地図map上において、ユーザが処理対象となる地物を個別に指定できるようにしてもよい。指定された地物の位置情報は、地図データ40から特定することができるから、先に図5を用いて説明したように、指定された地物が画角の中央に存在するフレームを特定することができる。処理対象となる地物をユーザが指定できるようにすることによって、ユーザが貼付画像の生成に必要な地物が撮影されたフレームだけを抽出することができるので、処理時間を短縮することができる。
【0093】
G7.変形例7:
上記実施例では、扱うビデオ画像データをインタレース方式のディジタルビデオカメラ10で記録されたビデオ画像データであるとしたが、これに限られない。上述した貼付画像生成支援装置100の第1および第2の機能は、プログレッシブ方式のディジタルビデオカメラで記録されたビデオ画像データについても適用可能である。
【0094】
G8.変形例8:
上記実施例では、貼付画像生成支援装置100は、先に説明した3つの機能を併せ持っているが、各機能のうちの少なくとも1つを独立に備える貼付画像生成支援装置を構成するようにしてもよい。
【図面の簡単な説明】
【図1】 本発明の一実施例としての貼付画像生成支援装置100の構成を示す説明図である。
【図2】 履歴データ20の一例を示す説明図である。
【図3】 同期表示処理の流れを示すフローチャートである。
【図4】 フレーム特定処理の流れを示すフローチャートである。
【図5】 フレームの特定方法を示す説明図である。
【図6】 第1実施例の静止画像データ生成処理の流れを示すフローチャートである。
【図7】 奇数ラインデータを複写することによって偶数ラインデータを生成する様子を模式的に示す説明図である。
【図8】 第2実施例の静止画像データ生成処理の流れを示すフローチャートである。
【図9】 奇数フィールド画像データと偶数フィールド画像データの撮影タイミングの相違に起因する水平方向のずれ量の算出方法を示す説明図である。
【図10】 第2実施例における静止画像データの生成の様子を模式的に示す説明図である。
【図11】 第3実施例の静止画像データ生成処理の流れを示すフローチャートである。
【図12】 第3実施例における静止画像データの生成の様子を模式的に示す説明図である。
【符号の説明】
10…ディジタルビデオカメラ
20…履歴データ
30…撮影条件データ
40…地図データ
50、60…ディスプレイ
70…静止画像データ記憶部
100…貼付画像生成支援装置
110…入力部
120…同期制御部
130…表示制御部
140…特定部
150…出力部
160…記憶部
170…生成部
R…指定領域
Claims (5)
- 地物の画像の生成を支援する画像生成支援装置であって、
移動しながら撮影した前記地物をインタレース方式で記録したビデオ画像データから、異なる撮影タイミングで撮影され、間欠的にラインデータが記録されたフィールドデータを、少なくとも1つのフレーム分、入力する画像データ入力部と、
前記フィールドデータ同士の撮影タイミングの相違に起因する水平方向のずれ量を、前記フレームについて、縦方向に配列された画素間の階調値の分散に基づいて評価しつつ、前記各フィールドデータの少なくとも1つを相対的に水平方向に逐次ずらすことによって、前記ずれ量を補正し、該各フィールドデータを1フレーム分の画像に合成することにより、前記画像を生成する生成部と、
を備える画像生成支援装置。 - 請求項1記載の画像生成支援装置であって、
前記生成部は、前記各フィールドデータにおいて、ユーザによって指定された領域について前記ずれ量を評価する、
画像生成支援装置。 - 地物の画像の生成を支援する画像生成支援方法であって、
(a)移動しながら撮影した前記地物をインタレース方式で記録したビデオ画像データから、異なる撮影タイミングで撮影され、間欠的にラインデータが記録されたフィールドデータを、コンピュータが、少なくとも1つのフレーム分、取得する工程と、
(b)前記コンピュータが、前記フィールドデータ同士の撮影タイミングの相違に起因する水平方向のずれ量を、前記フレームについて、縦方向に配列された画素間の階調値の分散に基づいて評価しつつ、前記各フィールドデータの少なくとも1つを相対的に水平方向に逐次ずらすことによって、前記ずれ量を補正し、該各フィールドデータを1フレーム分の画像に合成することにより、前記画像を生成する工程と、
を備える画像生成支援方法。 - 地物の画像の生成を支援する画像生成支援装置を制御するためのコンピュータプログラムであって、
移動しながら撮影した前記地物をインタレース方式で記録したビデオ画像データから、異なる撮影タイミングで撮影され、間欠的にラインデータが記録されたフィールドデータを、少なくとも1つのフレーム分、取得する機能と、
前記フィールドデータ同士の撮影タイミングの相違に起因する水平方向のずれ量を、前記フレームについて、縦方向に配列された画素間の階調値の分散に基づいて評価しつつ、前記各フィールドデータの少なくとも1つを相対的に水平方向に逐次ずらすことによって、前記ずれ量を補正し、該各フィールドデータを1フレーム分の画像に合成することにより、前記画像を生成する機能と、
をコンピュータに実現させるためのコンピュータプログラム。 - 請求項4記載のコンピュータプログラムをコンピュータ読み取り可能に記録した記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002350309A JP4257937B2 (ja) | 2002-12-02 | 2002-12-02 | 画像生成支援装置、画像生成支援方法、および、コンピュータプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002350309A JP4257937B2 (ja) | 2002-12-02 | 2002-12-02 | 画像生成支援装置、画像生成支援方法、および、コンピュータプログラム |
Related Child Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008267133A Division JP2009076084A (ja) | 2008-10-16 | 2008-10-16 | 画像生成支援装置、画像生成支援方法、コンピュータプログラム、および、記録媒体 |
JP2008267132A Division JP2009054179A (ja) | 2008-10-16 | 2008-10-16 | 画像生成支援装置、画像生成支援方法、コンピュータプログラム、および、記録媒体 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2004185227A JP2004185227A (ja) | 2004-07-02 |
JP2004185227A5 JP2004185227A5 (ja) | 2006-01-26 |
JP4257937B2 true JP4257937B2 (ja) | 2009-04-30 |
Family
ID=32752570
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002350309A Expired - Fee Related JP4257937B2 (ja) | 2002-12-02 | 2002-12-02 | 画像生成支援装置、画像生成支援方法、および、コンピュータプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4257937B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080319655A1 (en) * | 2005-10-17 | 2008-12-25 | Tele Atlas North America, Inc. | Method for Generating an Enhanced Map |
JP5745497B2 (ja) * | 2012-12-04 | 2015-07-08 | 任天堂株式会社 | 表示システム、表示制御装置、情報処理プログラム及び表示方法 |
-
2002
- 2002-12-02 JP JP2002350309A patent/JP4257937B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2004185227A (ja) | 2004-07-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP4202863A1 (en) | Road vertical contour detection using a stabilized coordinate frame | |
US7680570B2 (en) | Parking assist devices, methods, and programs | |
JP4739122B2 (ja) | 車載カメラの画像合成装置および画像合成方法 | |
EP0940795A2 (en) | Map information display device for navigation apparatus | |
JP6570424B2 (ja) | 電子装置 | |
JP4591328B2 (ja) | 車両の走行状態検出装置、ナビゲーション装置、及びプログラム | |
JP3916240B2 (ja) | 運転支援装置及び運転支援方法 | |
JP2001218197A (ja) | 車両用周辺表示装置 | |
JP2007274377A (ja) | 周辺監視装置、プログラム | |
JP2008182652A (ja) | カメラ姿勢推定装置、車両、およびカメラ姿勢推定方法 | |
US20010010540A1 (en) | Environment monitoring apparatus for vehicle | |
WO2012066999A1 (ja) | 車載カメラの変位量検出装置 | |
JPH09304101A (ja) | ナビゲーション装置 | |
JP2010183234A (ja) | 描画装置 | |
JP4257937B2 (ja) | 画像生成支援装置、画像生成支援方法、および、コンピュータプログラム | |
CN101124612B (zh) | 图像处理方法、图像处理系统、以及图像处理装置 | |
JPH0981734A (ja) | 画像処理装置 | |
JP2007266703A5 (ja) | ||
JP2009076084A (ja) | 画像生成支援装置、画像生成支援方法、コンピュータプログラム、および、記録媒体 | |
JP5517176B2 (ja) | 画像調整装置、制御方法、プログラム、及び記憶媒体 | |
JP2009054179A (ja) | 画像生成支援装置、画像生成支援方法、コンピュータプログラム、および、記録媒体 | |
JP4814752B2 (ja) | 表示制御装置 | |
JPWO2017199998A1 (ja) | 地図表示システムおよび地図表示プログラム | |
JP7183562B2 (ja) | 画像処理装置 | |
EP3396620B1 (en) | Display control device and display control method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051202 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051202 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060119 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080729 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080819 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081016 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081111 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081201 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120220 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4257937 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120220 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130220 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130220 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140220 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |