JP3577426B2 - ナビゲーション映像要約方法およびナビゲーション映像要約プログラムを記録した記録媒体 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は利用者を目的地に導くためのナビゲーション方法に関し、特に、ナビゲーションを支援するための案内映像情報を要約する方法に関するものである。
【０００２】
【従来の技術】
従来より、カーナビゲーションをはじめとして、利用者を目的地まで誘導する各種ナビゲーションが知られている。このようなナビゲーションは、視覚的な地図情報あるいは音声情報による案内が備えられたものが存在している。この地図情報あるいは音声情報は実環境を投影した情報である。人はその提供された情報を解釈して実環境に合わせ直し、ナビゲーションを行っている。そのため、その解釈が間違うと、ナビゲーションの誤りが起こることになる。そこで、効果的なナビゲーション支援のためには、実環境をそのまま表現している映像情報で案内する方法が必要となる。例えば、特開平１０−８９９７８号公報に記載の方法は、ＤＶＤ−ＲＯＭに格納した映像情報で案内を行い、ナビゲーションの支援を行う。
【０００３】
【発明が解決しようとする課題】
ところが、この映像情報は、実環境をそのまま表現しているので、その経路が長いと冗長な情報になってしまい、かえって、ナビゲーション支援の効果を下げてしまう。そのため、そのような映像情報を要約する技術が、これまで、いくつか開発されている。例えば、特開平８−２５１５４０号公報に記載の方法は、算出されたフレームの類似度を用いて、映像情報の要約を行う。特開平１０−１１２８３５号公報に記載の方法は、シーンチェンジを検出することにより、映像情報の要約を行う。また、特開平１０−３２７７３号公報に記載の方法は、フレーム、音、文字、キーワード、シーンなどの情報をもとに、映像情報の要約を行う。これらの方法は、映像情報中のフレームに対して処理を行った情報のみを用いて、要約を行っている。そのため、これらの手法には、ナビゲーションの支援に重要である、その経路はどうなっているか、目標物は何であるか、などの地図情報に関連する情報が考慮されておらず、効果的な支援は難しい。
【０００４】
本発明の目的は、利用者を目的地に導くための案内映像情報を自動的に要約するナビゲーション映像要約方法およびナビゲーション映像要約プログラムを記録した記録媒体を提供することにある。
【０００５】
【課題を解決するための手段】
本発明は、まず、利用者が入力した検索データをもとに地図データを入力し、現在位置から目標位置までの経路を探索し、該経路を含む映像データを入力する。
【０００６】
この後、地図情報から算出された経路の構成情報、地図情報から算出された経路に対する目標物の属性情報、映像中の各フレーム内の画素の色情報、映像中の各フレーム内の画素のＲＧＢ成分を比較して算出した類似度のいずれか１つ以上からフレームの重要度を算出する。
【０００７】
最後に、上記フレームの重要度を統合し、フレームを抽出し、合成することで、ナビゲーション映像を要約する。
【０００８】
地図情報から算出された経路の構成情報からフレームの重要度を算出することにより、曲がり角などのナビゲーションの支援に有効な情報を要約映像に含むことができ、その経路情報を正確に取得することを助けるという作用を持つ。
【０００９】
地図情報から算出された経路に対して、目標物となる対象の属性情報から、フレームの重要度を算出することにより、ランドマークなどのナビゲーションの支援に有効な情報を要約映像に含むことができ、その経路情報を正確に取得することを助けるという作用を持つ。
【００１０】
地図情報から算出された経路上の映像に対して、映像中の各フレーム内の画素の色情報、および色配置関係情報からフレームの重要度を算出することにより、ナビゲーションの支援に有効な色情報を持つフレームを要約映像に含むことができ、その経路の把握の効率を高め、誤った経路探索の可能性を減らすという作用を持つ。
【００１１】
地図情報から算出された経路上の映像に対して、映像中の各フレーム内の画素のＲＧＢ成分を比較して算出した類似度からフレームの重要度を算出することにより、同じような風景や景色の続く映像を要約映像から削除することができ、その経路の把握の効率を高め、誤った経路選択の可能性を削減するという作用を持つ。
【００１２】
また、上記のフレームの重要度を統合して、ナビゲーション映像を要約することにより、より効果的な要約をすることができ、利用者のナビゲーションの効率を高めるという作用を持つ。
【００１３】
計算機による画一処理によって、人間の作業の個人差を解放したことで、得られる案内映像情報の品質を一定に保つことが可能になる。
【００１４】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して説明する。
【００１５】
図１を参照すると、本発明の一実施形態のナビゲーション映像要約装置は、案内情報入力処理部１１０と経路重要度算出処理部１２０とランドマーク重要度算出処理部１３０と色情報重要度算出処理部１４０と類似重要度算出処理部１５０と案内情報出力処理部１６０から構成される。
【００１６】
案内情報入力処理部１１０は、利用者からの検索要求を受け付けて、地図データベース１０１、映像データベース１０２から地図データ、映像データを入力し案内情報入力処理２１０を行う。なお、地図データベース１０１は、地図中に存在する図形の座標点列のデータ、その図形に付与されている属性、道路のネットワーク構造をあらわす、道路をリンク、交差点をノードとするデータを含むデータベースである。ここで、付与されている属性は、名称、住所、電話番号、属性種別といった住人情報から構成されている。映像データベース１０２は、映像中の各フレームに対して、どの位置が地図データベース２０１のどの部分と対応しているかを含むデータである。
【００１７】
経路重要度算出処理部１２０、ランドマーク重要度算出処理部１３０、色情報重要度算出処理部１４０、類似重要度算出処理部１５０では、映像データの要約に利用する、映像中の各フレームの重要度を算出する経路重要度算出処理２２０、ランドマーク重要度算出処理２３０、色情報重要度算出処理２４０、類似重要度算出処理２５０をそれぞれ行う。
【００１８】
案内情報出力処理部１６０は、経路重要度算出処理部１２０、ランドマーク重要度算出処理部１３０、色情報重要度算出処理部１４０、類似重要度算出処理部１５０の処理結果に基づいて、映像中の各フレームの重要度の統合を行い、要約された映像データを出力する案内情報抽出処理２６０を行う。
【００１９】
上記の各処理部２１０〜２６０について説明する。
【００２０】
案内情報入力処理２１０では、利用者からの入力（検索データ）から現在位置、目的位置、要約度を抽出し、この情報から地図データ２０１を入力し、経路を探索することにより、該当個所の映像データを入力することが行われる。
【００２１】
経路重要度算出処理２２０では、案内情報入力処理２１０で算出された経路情報を利用して、案内情報入力処理２１０で入力された映像データの各フレームの重要度を算出することが行われる。
【００２２】
ランドマーク重要度算出処理２３０では、案内情報入力処理２１０で算出された経路情報に対するランドマークデータを地図データ２０１から入力して、案内情報入力処理２１０で入力された映像データの各フレームの重要度を算出することが行われる。
【００２３】
色情報重要度算出処理２４０では、案内情報入力処理２１０で入力された映像データの各フレームの重要度を色情報を用いて算出することが行われる。
【００２４】
類似重要度算出処理２５０では、案内情報入力処理２１０で入力された映像データの各フレームの重要度を類似度を用いて算出することが行われる。
【００２５】
案内情報出力処理２６０では、算出された重要度の統合を行い、要約された映像データを出力することが行われる。
【００２６】
次に、各処理２１０〜２６０の詳細を説明する。
【００２７】
案内情報入力処理２１０では、図３に示されるような流れで処理が行われる。検索データが入力されると、検索データから現在位置、目的位置、要約度を抽出することが行われる。ここで、要約度として、得られる要約映像の時間（フレーム数）や全体を何分の１にするといった要約の割合が設定される。この現在位置、目的位置に対して、地図データベース１０１から処理対象領域の地図データ２０１が入力される（ステップ３３０）。その地図データ２０１に対して、現在位置から目的位置までの経路を探索することが行われる（ステップ３４０）。このとき、現在位置：Ｏｓ、目的位置：Ｏｇ、現在位置近傍のノード：Ｎ１、目的位置近傍のノード：Ｎｎとし、経路探索により選択されたノードとリンクをＮ１からＮｎまで、Ｎｉ，Ｎｉ＋１間のリンク：Ｌｉ，ｉ＋１とする。このデータに対して、映像データベース１０２から、リンクＬｉ，ｉ＋１に対応する映像データＶｓ（Ｌｉ，ｉ＋１）が入力される。
【００２８】
経路重要度算出処理２２０では、図４に示されるような流れで処理が行われる。案内情報入力処理２１０で算出されたリンクデータに対して、リンク間角度を計算することが行われ、Ｌｉ，ｉ＋１とＬｉ＋１，ｉ＋２のリンク間角度をθｉ＋１とする（ステップ４１０）。出発位置リンクＬ１，２、目的位置リンクＬｎ−１，ｎに対して、予め決められた重要度が設定される（ステップ４２０、４３０）。次に、θｉ＋１の大きさ毎に予め決められた重要度が、Ｌｉ，ｉ＋１、Ｌｉ＋１，ｉ＋２に対して設定される（ステップ４４０）。こうして設定された全リンクに対する重要度を正規化し（ステップ４５０）、Ｖｓ（Ｌｉ，ｉ＋１）の各フレームＦｎに重要度Ｐｒ（ｎ）を設定する（ステップ４６０）。
【００２９】
ランドマーク重要度算出処理２３０では、図５に示されるような流れで処理が行われる。Ｏｓ、Ｏｇに対して、予め決められた重要度が設定される（ステップ５１０）。案内情報入力処理２１０で算出されたノードデータＮｉに対して、地図データベース１０１から、Ｎｉに接するランドマークデータＲ（Ｎｉ）が入力される（ステップ５２０）。このＲ（Ｎｉ）に対して、属性種別（例えば職業種別）毎に予め決められた重要度が設定される（ステップ５３０）。次に、案内情報入力処理２１０で算出されたリンクデータＬｉ，ｉ＋１に対して、地図データベース１０１から、Ｌｉ，ｉ＋１に接するランドマークデータＲ（Ｌｉ，ｉ＋１）が入力される（ステップ５４０）。このＲ（Ｌｉ，ｉ＋１）に対して、属性種別毎に予め決められた重要度が設定される（ステップ５５０）。こうして設定された全ランドマークに対する重要度を正規化する（ステップ５６０）。このランドマークが存在しているＶｓ（Ｌｉ，ｉ＋１）の各フレームＦｎに対して、フレーム中のランドマーク存在領域割合（画像を構成する全画素に対して、その画素中に含まれるランドマークを表している領域を構成する画素数の割合）と重要度をかけあわせた値を重要度Ｐｌ（ｎ）として設定する（ステップ５７０）。
【００３０】
色情報重要度算出処理２４０では、図６に示されるような流れで処理が行われる。Ｖｓ（Ｌｉ，ｉ＋１）の各フレームＦｎに対して処理を行う（ステップ６１０）。このＦｎに対して、同じＲＧＢ値を持つ画素の集合を抽出し（ステップ６２０）、その画素数が予め決められた値αより大きければ、その画素の集合の周りで同じＲＧＢ値を持つ画素の集合を抽出して、その画素数が予め決められた値βより大きければ、その条件を満たす時のＲＧＢ値毎に予め決められた重要度Ｐｃ（ｎ）を設定する（ステップ６３０〜６４０）。また、βより小さければ、その条件を満たす時のＲＧＢ値毎に予め決められた重要度Ｐｃ（ｎ）を設定する（ステップ６３０、６５０）。こうして、設定された全フレームに対する重要度を正規化し、Ｆｎに対する重要度Ｐｃ（ｎ）を設定する（ステップ６６０）。
【００３１】
類似重要度処理２５０では、図７に示されるような流れで処理が行われる。Ｖｓ（Ｌｉ，ｉ＋１）の各フレームＦｎに対して処理を行う（ステップ７１０）。このＦｎ対して、（Ｆｎの各画素のＲＧＢ値−Ｆｎ−１の各画素のＲＧＢ値）で表される類似度を算出する（ステップ７２０）。この類似度が予め決められた値γより大きければ、そのフレームに写っているものが前フレームに比べて大きく変化したものとし、予め決められた重要度Ｐｓ（ｎ）を設定する（ステップ７３０、７４０）。こうして、設定された全フレームに対する重要度を正規化し、Ｆｎに対する重要度Ｐｓ（ｎ）を設定する（ステップ７５０）。
【００３２】
案内情報出力処理２６０では、図８に示されるような流れで処理が行われる。経路重要度算出処理２２０、ランドマーク重要度算出処理２３０、色情報重要度算出処理２４０、類似重要度処理２５０で算出された、Ｖｓ（Ｌｉ，ｉ＋１）の各フレームＦｎの重要度Ｐｒ（ｎ）、Ｐｌ（ｎ）、Ｐｃ（ｎ）、Ｐｓ（ｎ）を統合して、統合重要度Ｐ（ｎ）を算出する（ステップ８１０）。Ｐ（ｎ）は、各重要度に対して重み付けをした、Ｗｒ×Ｐｒ（ｎ）＋Ｗｌ×Ｐｌ（ｎ）＋Ｗｓ×Ｐｓ（ｎ）で算出する。こうして、各フレームにＰ（ｎ）が設定されたＶｓ（Ｌｉ、ｉ＋１）に対して、案内情報入力処理２１０で抽出された要約度の条件を満たすまで、出力するフレームを抽出する（ステップ８２０）。こうして抽出されたフレームを合成し、要約映像データとして出力する（ステップ８３０）。
【００３３】
以上により、地図データ２０１、映像データ２０２を用意することにより、利用者を目的地に導くためのナビゲーションを支援するための案内映像情報を自動的に要約し、利用者に提供できる。
【００３４】
図９、１０は、上述した処理手順を実際のデータに即して説明するための図である。
【００３５】
案内情報入力処理２１０により、利用者の検索データである、現在位置、目的位置、要約度が入力されたこととする。
【００３６】
図９（１）に示すように、現在位置、目的位置に対して、地図データベース１０１から処理対象領域の地図データ２０１が入力される。この地図データ２０１に対して、現在位置から目的地までの経路を探査することが行われる。探索の結果、図９（２）に示すような各データが算出される。このデータに対して、映像データベース１０２から、Ｌｉ，Ｌｉ＋１に対応する映像データＶｓ（Ｌｉ，ｉ＋１）が入力される。
【００３７】
経路重要度算出処理２２０では、案内情報入力処理２１０で算出されたリンクデータに対して、リンク間角度を計算することが行われ、Ｌｉ，ｉ＋１とＬｉ＋１、ｉ＋２のリンク間角度をθｉ＋１とする。図９（２）に示す出発位置リンクＬ１、２、目的位置リンクＬ６、７に対して、予め決められた重要度が設定される。次に、θｉ＋１の大きさ毎に予め決められた重要度が、Ｌｉ，ｉ＋１、Ｌｉ＋１、ｉ＋２に対して設定される。ここでは、図９（２）に示すように、Ｌ２、３、Ｌ３、４、のリンク間角度が大きいので、重要度が設定される。こうして全リンクに対する重要度を正規化し、リンクに対応するＶｓ（Ｌｉ，ｉ＋１）の各フレームＦｎに重要度Ｐｒ（ｎ）を設定する。
【００３８】
ランドマーク重要度算出処理２３０の出発位置近傍の処理例を図１０に示す。Ｏｓ，Ｏｇに対して、予め決められた重要度が設定される。図１０（１）に示すように、ノードデータＮ１，Ｎ２，Ｎ３に対して、地図データベース１０１から、ノードＮｉに接するランドマークデータが入力され、属性種別毎に予め決められた重要度が設定される。ここでは、図１０（２）に示すように、「鎌倉警察署」「鎌倉二の鳥居駐車場」「日光」が重要度の設定されたランドマークとなる。次に、リンクデータＬ１，２，Ｌ２，３に対して地図データベース１０１から、これに接するランドマークデータが入力され、属性種別毎に予め決められた重要度が設定される。ここでは、図１０（２）に示すように、既に選択されたランドマークを除いて、「Ｓ和銀行」が重要度の設定されたランドマークとなる。こうして設定されたランドマークに対する重要度を正規化する。このランドマークが存在しているＶｓ（Ｌｉ，ｉ＋１）の各フレームに対して、フレーム中のランドマーク存在領域割合を重要度にかけた値を重要度Ｐｌ（ｎ）として設定する。
【００３９】
色情報重要度算出処理２４０では、Ｖｓ（Ｌｉ，ｉ＋１）の各フレームＦｎに対して処理を行う。このＦｎに対して、同じＲＧＢ値を持つ画素の集合を抽出し、その画素数が予め決められた値αより大きければ、その画素の集合の周りでＲＧＢ値を持つ画素の集合を抽出して、その画素数が予め決められた値βより大きければ、その条件を満たす時のＲＧＢ値毎に予め決め等得た重要度Ｐｃ（ｎ）を設定する。これにより、ナビゲーションの支援に重要である、黒に囲まれた黄、黄に囲まれた黒といった標識などが含まれているフレームの重要度を高く設定できる。また、βより小さければ、その条件を満たす時のＲＧＢ値毎に予め決められた重要度Ｐｃ（ｎ）を設定する。例えば、赤い郵便ポストといった単色のナビゲーションの支援に重要である対象が含まれているフレームの重要度を高く設定できる。こうして、設定された全フレームに対する重要度を正規化し、Ｆｎに対する重要度Ｐｃ（ｎ）を設定する。
【００４０】
類似重要度処理２５０では、Ｖｓ（Ｌｉ，ｉ＋１）の各フレームＦｎに対して処理を行う。このＦｎ対して、（Ｆｎの各画素のＲＧＢ値−Ｆｎ−１の各画素のＲＧＢ値）で表される類似度を算出する。この類似度が予め決められた値γより大きければ、そのフレームに写っているものが前フレームに比べて大きく変化したものとし、そのＦｎに対して、予め決められた重要度Ｐｓ（ｎ）を設定する。これにより、同じような風景や景色の続く冗長な映像の重要度が下がり、要約映像から削除できる。
【００４１】
案内情報出力処理２６０では、図１０（３）に示すように、経路重要度算出処理２２０、ランドマーク重要度算出処理２３０、色情報重要度算出処理２４０、類似重要度処理２５０で算出された、Ｖｓ（Ｌｉ，ｉ＋１）の各フレームＦｎの重要度Ｐｒ（ｎ），Ｐｌ（ｎ），Ｐｃ（ｎ），Ｐｓ（ｎ）を統合して、統合重要度Ｐ（ｎ）を算出する。Ｐ（ｎ）は、各重要度に対して重み付けをした、Ｗｒ×Ｐｒ（ｎ）＋Ｗｌ×Ｐｌ（ｎ）＋Ｗｃ×Ｐｃ（ｎ）＋Ｗｓ×Ｐｓ（ｎ）で算出する。こうして、各フレームにＰ（ｎ）が設定されたＶｓ（Ｌｉ，ｉ＋１）に対して、案内情報入力処理２１０で抽出された要約度の条件を満たすまで、出力するフレームを抽出する。こうして抽出されたフレームを合成し、要約映像データを生成する。
【００４２】
図１１を参照すると、本発明の他の実施形態のナビゲーション映像要約装置は入力装置９１０と記憶装置９２０、９３０、９４０と出力装置９５０と記録媒体９６０とデータ処理装置９７０で構成される。
【００４３】
入力装置９１０は利用データを入力するための、キーボード等の入力装置である。記憶装置９２０、９３０はそれぞれ図１中の地図データベース１０１、映像データベース１０２に相当し、それぞれ地図データ２０１、映像データ２０２が格納されている。記憶装置９４０は、ハードディスクである。出力装置９５０は要約映像データが表示される、液晶等のディスプレイである。記録媒体９６０は、図２中の各処理２１０〜２６０からなるナビゲーション映像要約プログラムが記録されている、ＦＤ（フロッピィーディスク）、ＣＤ−ＲＯＭ、ＭＯ（光磁気ディスク）等の記録媒体である。データ処理装置９７０は記録媒体９６０からナビゲーション映像要約プログラムを記憶装置９４０に読み込んで、これを実行するＣＰＵである。
【００４４】
【発明の効果】
以上説明したように、本発明は下記のような効果がある。
【００４５】
請求項１に記載の発明は、曲がり角などのナビゲーションの支援に有効な情報を要約映像に含むことができ、その経路情報を正確に取得することを助けることができる効果がある。
【００４６】
請求項２に記載の発明は、ランドマークなどのナビゲーションの支援に有効な情報を要約映像に含むことができ、その経路情報を正確に取得することを助けることができる効果がある。
【００４７】
請求項３に記載の発明は、ナビゲーションの支援に有効な色情報を持つフレームを要約映像に含むことができ、その経路の把握の効率を高め、誤った経路選択の可能性を削減できるという効果がある。
【００４８】
請求項４に記載の発明は、同じような風景や景色の続く映像を要約映像から削除することができ、その経路の把握効率を高め、誤った経路選択の可能性を削減できるという効果がある。
【００４９】
請求項５に記載の発明は、請求項２、３、４、５に記載のフレームの重要度を統合して、ナビゲーション映像を要約することにより、より効果的な要約をすることができ、利用者のナビゲーション支援の効率を高めるという効果がある。
【図面の簡単な説明】
【図１】本発明の一実施形態のナビゲーション映像要約装置の構成図である。
【図２】図１の装置の全体の処理の流れを示す図である。
【図３】案内情報入力処理２１０の処理を示すフローチャートである。
【図４】経路重要度算出処理２２０の処理を示すフローチャートである。
【図５】ランドマーク重要度算出処理２３０の処理を示す流れ図である。
【図６】色情報重要度算出処理２４０の処理を示す流れ図である。
【図７】類似重要度算出処理２５０の処理を示す流れ図である。
【図８】案内情報出力処理２６０の処理を示すフローチャートである。
【図９】案内情報入力処理２１０、経路重要度算出処理２２０の処理例の説明図である。
【図１０】ランドマーク重要度算出処理２３０の処理例を示す図である。
【図１１】本発明の他の実施形態のナビゲーション映像要約装置の構成図である。
【符号の説明】
１０１ 地図データベース
１０２ 映像データベース
１１０ 案内情報入力処理部
１２０ 経路重要度算出処理部
１３０ ランドマーク重要度算出処理部
１４０ 色情報重要度算出処理部
１５０ 類似重要度算出処理部
１６０ 案内情報入力処理部
２０１ 地図データ
２０２ 映像データ
２１０ 案内情報入力処理
２２０ 経路重要度算出処理
２３０ ランドマーク重要度算出処理
２４０ 色情報重要度算出処理
２５０ 類似重要度算出処理
２６０ 案内情報入力処理
３１０〜３５０、４１０〜４６０、５１０〜５７０、６１０〜６７０、７１０〜７４０、８１０〜８３０ ステップ
９１０ 入力装置
９２０、９３０、９４０ 記憶装置
９５０ 出力装置
９６０ 記録媒体
９７０ データ処理装置

Claims (18)

1. 利用者が入力した現在位置と目標位置を含む検索データをもとに地図データベースから該当する地図データを入力し、該地図データに対して、現在位置から目標位置までの経路を探索し、該経路を含む映像データを映像データベースから入力する案内情報入力ステップと、
   前記案内情報入力ステップで求められた経路情報を利用して、前記案内情報入力ステップで入力された映像データの各フレームの重要度を算出する経路重要度算出ステップと、
   重要度によりフレームを抽出し、抽出されたフレームを合成する案内情報出力ステップを有し、
   前記経路度重要度算出ステップが、前記案内情報入力ステップで求められた各リンクに対してリンク間角度を計算するステップと、出発位置のリンク、目標位置のリンクの重要度を決定するステップと、前記リンク間角度の大きさに応じて該リンク角度をなすリンクの重要度を決定するステップと、全リンクの重要度を正規化するステップと、前記案内情報入力ステップで入力された映像データの各フレームの重要度を決定するステップを含む、
   ナビゲーション映像要約方法。
2. 利用者が入力した現在位置を目標位置を含む検索データをもとに地図データベースから該当する地図データを入力し、該地図データに対して、現在位置から目標位置までの経路を探索し、該経路を含む映像データを映像データベースから入力する案内情報入力ステップと、
   前記案内情報入力ステップで求められた経路情報に対するランドマークデータを地図データベースから入力し、該ランドマークデータの属性情報から、入力された映像データの各フレームの重要度を算出するランドマーク重要度算出ステップと、
   重要度によりフレームを抽出し、抽出されたフレームを合成する案内情報出力ステップを有するナビゲーション映像要約方法。
3. 利用者が入力した現在位置と目標位置を含む検索データをもとに地図データベースから該当する地図データを入力し、該地図データに対して、現在位置から目標位置までの経路を探索し、該経路を含む映像データを映像データベースから入力する案内情報入力ステップと、
   前記案内情報入力ステップで入力された映像データの各フレームに対して、同じＲＧＢ値を有する画素の集合の画素数に応じて重要度を設定する色情報重要度算出ステップと、
   重要度によりフレームを抽出し、抽出されたフレームを合成する案内情報出力ステップを有するナビゲーション映像要約方法。
4. 利用者が入力した現在位置と目標位置を含む検索データをもとに地図データベースから該当する地図データを入力し、該地図データに対して、現在位置から目標位置までの経路を探索し、該経路を含む映像データを映像データベースから入力する案内情報入力ステップと、
   前記案内情報入力ステップで入力された映像データの隣接するフレームの類似度に応じて各フレームの重要度を決定する類似重要度算出ステップと、
   重要度によりフレームを抽出し、抽出されたフレームを合成する案内情報抽出ステップを有するナビゲーション映像要約方法。
5. 利用者が入力した現在位置と目標位置を含む検索データをもとに地図データベースから該当する地図データを入力し、該地図データに対して、現在位置から目標位置までの経路を探索し、該経路を含む映像データを映像データベースから入力する案内情報入力ステップと、
   前記案内情報入力ステップで求められた経路情報を利用して、前記案内情報入力ステップで入力された映像データの各フレームの重要度を算出する経路重要度算出ステップと、前記案内情報入力ステップで求められた経路情報に対するランドマークデータを地図データベースから入力し、該ランドマークデータの属性情報から、入力された映像データの各フレームの重要度を算出するランドマーク重要度算出ステップと、前記案内情報入力ステップで入力された映像データの各フレームに対して、同じＲＧＢ値を有する画素の集合の画素数に応じて重要度を設定する色情報重要度算出ステップと、前記案内情報入力ステップで入力された映像データの隣接するフレームの類似度に応じて各フレームの重要度を決定する類似重要度算出ステップのうち任意の２つ以上のステップと、
   前記経路重要度算出ステップ、前記ランドマーク重要度算出ステップ、前記色情報重要度算出ステップ、前記類似重要度算出ステップのうちから出力された各フレームの重要度を統合して統合重要度を算出し、要約度の条件を満たすまで、前記統合重要度によりフレームを抽出し、抽出されたフレームを合成し、要約映像データとして出力する案内情報出力ステップを有するナビゲーション映像要約方法。
6. 前記案内情報入力ステップが、利用者が入力した検索データから現在位置、目標位置、要約度を抽出するステップと、前記現在位置、目標位置に対して地図データベースから処理対象領域の地図データを入力するステップと、該地図データに対して現在位置から目標位置までの経路を探索し、経路上のノード、リンクを求めるステップと、各リンクに対応する映像データを映像データベースから入力するステップを含む、請求項１から５のいずれかに記載の方法。
7. 前記ランドマーク重要度算出ステップが、前記案内情報入力ステップで入力された現在位置、目標位置の重要度を決定するステップと、前記案内情報入力ステップで求められたノードに接するランドマークを地図データベースから入力するステップと、該ランドマークに対して、属性種別により重要度を決定するステップと、前記案内情報入力ステップで求められたリンクに対して、属性種別により重要度を決定するステップと、全ランドマークに対する重要度を正規化するステップと、ランドマークが存在している映像データの各フレームに対して、当該フレーム中のランドマーク存在領域割合で重要度を決定するステップを有する、請求項２記載の方法。
8. 前記色情報重要度算出ステップが、前記案内情報入力ステップで入力された映像データの各フレームに対して、同じＲＧＢ値を持つ画素の集合を抽出するステップと、該画素の数が予め決められた第１の値より大きければ、該画素の集合の周りで同じＲＧＢ値を持つ画素の集合を抽出し、その画素の数が予め決められた第２の値より大きければ、その条件を満たすときのＲＧＢ値毎に予め定められた重要度を設定し、第２の値より等しいか小さければ、その条件を満たすときのＲＧ値毎に予め定められた重要度を設定するステップと、設定された全フレームに対する重要度を正規化し、前記各フレームの重要度を設定するステップを含む、請求項３記載の方法。
9. 前記類似重要度算出ステップが、前記案内情報入力ステップで入力された映像データの今回のフレームの各画素のＲＧＢ値と前回のフレームの各画素のＲＧＢ値の差分を算出するステップと、該差分がある決められた値よりも大きければ、今回のフレームに対する重要度を設定するステップと、設定された全フレームに対する重要度を正規化し、今回のフレームに対する重要度を設定するステップを含む、請求項４記載の方法。
10. 利用者が入力した現在位置と目標位置を含む検索データをもとに地図データベースから該当する地図データを入力し、該地図データに対して、現在位置から目標位置までの経路を探索し、該経路を含む映像データを映像データベースから入力する案内情報入力処理と、
    前記案内情報入力処理で求められた経路情報を利用して、前記案内情報入力処理で入力された映像データの各フレームの重要度を算出する経路重要度算出処理であって、前記案内情報入力処理で求められた各リンクに対してリンク間角度を計算する処理と、出発位置のリンク、目標位置のリンクの重要度を決定する処理と、前記リンク間角度の大きさに応じて該リンク角度をなすリンクの重要度を決定する処理と、全リンクの重要度を正規化する処理と、前記案内情報入力処理で入力された映像データの各フレームの重要度を決定する処理を含む経路重要度算出処理と、
    重要度によりフレームを抽出し、抽出されたフレームを合成する案内情報出力処理を コンピュータに実行させるためのナビゲーション映像要約プログラムを記録した記録媒体。
11. 利用者が入力した現在位置を目標位置を含む検索データをもとに地図データベースから該当する地図データを入力し、該地図データに対して、現在位置から目標位置までの経路を探索し、該経路を含む映像データを映像データベースから入力する案内情報入力処理と、
    前記案内情報入力処理で求められた経路情報に対するランドマークデータを地図データベースから入力し、該ランドマークデータの属性情報から、入力された映像データの各フレームの重要度を算出するランドマーク重要度算出処理と、
    重要度によりフレームを抽出し、抽出されたフレームを合成する案内情報出力処理をコンピュータに実行させるためのナビゲーション映像要約プログラムを記録した記録媒体。
12. 利用者が入力した現在位置と目標位置を含む検索データをもとに地図データベースから該当する地図データを入力し、該地図データに対して、現在位置から目標位置までの経路を探索し、該経路を含む映像データを映像データベースから入力する案内情報入力処理と、
    前記案内情報入力処理で入力された映像データの各フレームに対して、同じＲＧＢ値を有する画素の集合の画素数に応じて重要度を設定する色情報重要度算出処理と、
    重要度によりフレームを抽出し、抽出されたフレームを合成する案内情報出力処理をコンピュータに実行させるためのナビゲーション映像要約プログラムを記録した記録媒体。
13. 利用者が入力した現在位置と目標位置を含む検索データをもとに地図データベースから該当する地図データを入力し、該地図データに対して、現在位置から目標位置までの経路を探索し、該経路を含む映像データを映像データベースから入力する案内情報入力処理と、
    前記案内情報入力処理で入力された映像データの隣接するフレームの類似度に応じて各フレームの重要度を決定する類似重要度算出処理と、
    重要度によりフレームを抽出し、抽出されたフレームを合成する案内情報出力処理をコンピュータに実行させるためのナビゲーション映像要約プログラムを記録した記録媒体。
14. 利用者が入力した現在位置と目標位置を含む検索データをもとに地図データベースから該当する地図データを入力し、該地図データに対して、現在位置から目標位置までの経路を探索し、該経路を含む映像データを映像データベースから入力する案内情報入力処理と、
    前記案内情報入力処理で求められた経路情報を利用して、前記案内情報入力処理で入力された映像データの各フレームの重要度を算出する経路重要度算出処理と、前記案内情報入力ステップで求められた経路情報に対するランドマークデータを地図データベースから入力し、該ランドマークデータの属性情報から、入力された映像データの各フレームの重要度を算出するランドマーク重要度算出処理と、前記案内情報入力処理で入力された映像データの各フレームに対して、同じＲＧＢ値を有する画素の集合の画素数に応じて重要度を設定する色情報重要度算出処理と、前記案内情報入力処理で入力された映像データの隣接するフレームの類似度に応じて各フレームの重要度を決定する類似重要度算出処理のうち任意の２つ以上の処理と、
    前記経路重要度算出処理、前記ランドマーク重要度算出処理、前記色情報重要度算出処理、前記類似重要度算出処理のうちから出力された各フレームの重要度を統合して統合重要度を算出し、要約度の条件を満たすまで、前記統合重要度によりフレームを抽出し、抽出されたフレームを合成し、要約映像データとして出力する案内情報出力処理をコンピュータに実行させるナビゲーション映像要約プログラムを記録した記録媒体。
15. 前記案内情報入力処理が、利用者が入力した検索データから現在位置、目標位置、要約度を抽出するステップと、前記現在位置、目標位置に対して地図データベースから処理対象領域の地図データを入力する処理と、該地図データに対して現在位置から目標位置までの経路を探索し、経路上のノード、リンクを求める処理と、各リンクに対応する映像データを映像データベースから入力する処理を含む、請求項１１から１４のいずれかに記載の記録媒体。
16. 前記ランドマーク重要度算出処理が、前記案内情報入力処理で入力された現在位置、目標位置の重要度を決定する処理と、前記案内情報入力ステップで求められたノードに接するランドマークを地図データベースから入力する処理と、該ランドマークに対して、属性種別により重要度を決定する処理と、前記案内情報入力ステップで求められたリンクに対して、属性種別により重要度を決定する処理と、全ランドマークに対する重要度を正規化する処理と、ランドマークが存在している映像データの各フレームに対して、当該フレーム中のランドマーク存在領域割合で重要度を決定する処理を有する、請求項１１記載の記録媒体。
17. 前記色情報重要度算出処理が、前記案内情報入力処理で入力された映像データの各フレームに対して、同じＲＧＢ値を持つ画素の集合を抽出する処理と、該画素の数が予め決められた第１の値より大きければ、該画素の集合の周りで同じＲＧＢ値を持つ画素の集合を抽出し、その画素の数が予め決められた第２の値より大きければ、その条件を満たすときのＲＧＢ値毎に予め定められた重要度を設定し、第２の値より等しいか小さければ、その条件を満たすときのＲＧ値毎に予め定められた重要度を設定する処理と、設定された全フレームに対する重要度を正規化し、前記各フレームの重要度を設定する処理を含む、請求項１２記載の記録媒体。
18. 前記類似重要度算出処理が、前記案内情報入力処理で入力された映像データの今回のフレームの各画素のＲＧＢ値と前回のフレームの各画素のＲＧＢ値の差分を算出する処理と、該差分がある決められた値よりも大きければ、今回のフレームに対する重要度を設定する処理と、設定された全フレームに対する重要度を正規化し、今回のフレームに対する重要度を設定する処理を含む、請求項１３記載の記録媒体。

Images