JP6917426B2 - 画像表示装置、画像表示方法、および、画像表示システム - Google Patents

Description

本発明は、画像の生成技術および画像の表示技術に関する。

近年、走行中の車両から撮像された動画を記録してダイジェスト再生する技術が提案されている（例えば特許文献１参照）。

国際公開２０１０／１５０３４８号

しかしながら、特許文献１で提案されている映像記録再生装置は、当該映像記録再生装置を搭載する車両等の移動体が移動した経路において撮像された動画のダイジェスト再生しか行えない。

本発明は、上記課題に鑑みて、単一の移動体が移動した経路のみに制約されることなく経路に沿った要約画像を生成することできる画像生成技術、および、単一の移動体が移動した経路のみに制約されることなく経路に沿った要約画像を表示することができる画像表示技術を提供することを目的とする。

本発明に係る画像生成装置は、経路の情報を取得する経路情報取得部と、前記経路において撮影された撮影画像を取得する撮影画像取得部と、前記撮影画像のメタ情報を取得するメタ情報取得部と、前記メタ情報に基づき前記撮影画像の要約画像を生成する要約画像生成部と、を備える構成（第１の構成）である。

上記第１の構成の画像生成装置において、前記メタ情報は、前記撮影画像を撮影したカメラを搭載する移動体の挙動の情報を含む構成（第２の構成）であってもよい。

上記第１または第２の構成の画像生成装置において、前記メタ情報は、前記撮影画像を撮影したカメラを搭載する移動体に対する前記カメラの位置の情報を含む構成（第３の構成）であってもよい。

上記第１〜第３いずれかの構成の画像生成装置において、前記メタ情報は、表示重要度の情報を含み、前記要約画像生成部は、前記表示重要度に基づき前記撮影画像の間引きを行う構成（第４の構成）であってもよい。

上記第４の構成の画像生成装置において、前記要約画像生成部は、前記表示重要度に基づき前記撮影画像の間引き度合いを調整する構成（第５の構成）であってもよい。

上記第１〜第５いずれかの構成の画像生成装置において、前記表示重要度は、前記撮影画像の撮影地点及びユーザの嗜好に関する情報に基づき決定される構成（第６の構成）であってもよい。

本発明に係る画像表示システムは、上記第１〜第６いずれかの構成の画像生成装置と、前記撮影画像を前記画像生成装置に送信する送信装置と、前記画像生成装置から送信される前記要約画像を表示する表示装置と、を備える構成（第７の構成）である。

上記第７の構成の画像表示システムにおいて、前記表示装置は、前記撮影画像の再生速度が変化するタイミングで、前記要約画像の表示サイズを変更する構成（第８の構成）であってもよい。

上記第７または第８の構成の画像表示システムにおいて、前記表示装置は、前記メタ情報を反映させた地図を表示する構成（第９の構成）であってもよい。

本発明に係る画像生成方法は、経路の情報を取得する経路情報取得工程と、前記経路において撮影された撮影画像を取得する撮影画像取得工程と、前記撮影画像のメタ情報を取得するメタ情報取得工程と、前記メタ情報に基づき前記撮影画像の要約画像を生成する要約画像生成工程と、を備える構成（第１０の構成）である。

本発明に係る画像生成技術によると、単一の移動体が移動した経路のみに制約されることなく経路に沿った要約画像を生成することできる。また、本発明に係る画像表示技術によると、単一の移動体が移動した経路のみに制約されることなく経路に沿った要約画像を表示することができる。

画像表示システムの構成を示すブロック図 画像生成方法の手順を示す図 ドライブレコーダの概要を説明するための図 デジタルサイネージの一構成例を示すブロック図 地図画像の表示例を示す図 地図画像の表示例を示す図 地図画像の表示例を示す図

以下、本発明の例示的な実施形態について、図面を参照しながら詳細に説明する。

＜１．画像表示システム＞
図１は、実施形態に係る画像表示システムの構成を示すブロック図である。図１に示す画像表示システムＳＹＳ１は、センターサーバ１と、複数のドライブレコーダ２と、複数のデジタルサイネージ３と、を備える。センターサーバ１は撮影画像の要約画像を生成する画像生成装置の一例であり、ドライブレコーダ２は撮影画像を画像生成装置に送信する送信装置の一例であり、デジタルサイネージ３は画像生成装置から送信される要約画像を表示する表示装置の一例である。

＜２．センターサーバ＞
センターサーバ１は、通信部１１と、制御部１２と、記憶部１３と、を備える。

通信部１１は、不図示のネットワークを介して複数のドライブレコーダ２及び複数のデジタルサイネージ３とデータ通信を行う。

制御部１２は、経路情報取得部１２ａと、撮影画像取得部１２ｂと、メタ情報取得部１２ｃと、要約画像生成部１２ｄと、を備える。制御部１２は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）、入出力ポートなどを有するコンピュータや各種の回路を含む。

コンピュータのＣＰＵは、例えば、ＲＯＭに記憶されたプログラムを読み出して実行することによって、制御部１２の経路情報取得部１２ａ、撮影画像取得部１２ｂ、メタ情報取得部１２ｃ、及び要約画像生成部１２ｄとして機能する。

なお、制御部１２の経路情報取得部１２ａ、撮影画像取得部１２ｂ、メタ情報取得部１２ｃ、及び要約画像生成部１２ｄの少なくともいずれか一つは、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアで構成されてもよい。また、経路情報取得部１２ａ、撮影画像取得部１２ｂ、メタ情報取得部１２ｃ、及び要約画像生成部１２ｄは、概念的な構成要素である。１つの構成要素が実行する機能を複数の構成要素に分散させたり、複数の構成要素が有する機能を１つの構成要素に統合したりしてよい。

経路情報取得部１２ａは、経路の情報を取得する。経路の情報は、センターサーバ１によって生成されてもよく、デジタルサイネージ３によって生成されてもよい。デジタルサイネージ３が経路の情報を生成する場合、デジタルサイネージ３からセンターサーバ１に経路の情報が送信される。

撮影画像取得部１２ｂは、経路情報取得部１２ａによって取得された情報に含まれる経路において撮影された撮影画像（経路撮影画像）を取得する。撮影画像取得部１２ｂは、記憶部１３に記憶されている撮影画像１３ｂから経路撮影画像を抽出することで、経路撮影画像を取得する。

撮影画像取得部１２ｂは、例えば撮影画像のメタ情報の一つである撮影地点情報に基づき、撮影画像が経路撮影画像であるか否かを判定する。撮影地点情報は、例えば経度情報及び緯度情報によって構成される。経路撮影画像であるか否かの判定対象となる撮影画像（判定対象撮影画像）は、記憶部１３に記憶されている撮影画像１３ｂの全部であってもよく、記憶部１３に記憶されている撮影画像１３ｂの一部であってもよい。判定対象撮影画像が記憶部１３に記憶されている撮影画像１３ｂの一部である場合、撮影画像取得部１２ｂは、例えば撮影画像のメタ情報の一つである撮影日時情報に基づき、記憶部１３に記憶されている撮影画像１３ｂから判定対象撮影画像を抽出すればよい。

メタ情報取得部１２ｃは、経路撮影画像のメタ情報を取得する。なお、一つの撮影画像のメタ情報の全てがドライブレコーダ２で生成されてもよく、一つの撮影画像のメタ情報がセンターサーバ１とドライブレコーダ２とで分担して生成されてもよい。一つの撮影画像のメタ情報がセンターサーバ１とドライブレコーダ２とで分担して生成される場合、例えば、ドライブレコーダ２がメタ情報のうちの撮影地点情報及び撮影日時情報を生成し、センターサーバ１が撮影地点情報及び撮影日時情報以外のメタ情報を生成すればよい。撮影地点情報及び撮影日時情報以外のメタ情報の詳細については後述する。

要約画像生成部１２ｄは、経路撮影画像のメタ情報に基づき経路撮影画像の要約画像（要約動画）を生成する。本実施形態では、要約画像生成部１２ｄは、経路撮影画像のメタ情報に基づき、要約画像の再生時に通常再生する経路撮影画像と、要約画像の再生時に早送り再生する経路撮影画像と、を自動的に判別する。要約画像生成部１２ｄは、経路撮影画像を時間的に間引くことで、要約画像の再生時に早送り再生する経路撮影画像を生成する。なお、要約画像の再生時に早送り再生する経路撮影画像に対して画像の圧縮（低解像度化）を実施してもよい。また、後述するデジタルサイネージ３は、要約画像の再生速度が切り替わるタイミングで、要約画像の表示サイズを変更することが望ましい。例えば、要約画像の再生時に通常再生する経路撮影画像から、要約画像の再生時に早送り再生する経路撮影画像に切り替わるタイミング（再生速度が速くなるタイミング）で要約画像の表示サイズを小さくし、要約画像の再生時に早送り再生する経路撮影画像から要約画像の再生時に通常再生する経路撮影画像に切り替わるタイミング（再生速度が遅くなるタイミング）で要約画像の表示サイズを大きくすればよい。これにより、例えばユーザに注目して貰いたい経路撮影画像を大きく表示することができ、ユーザの注目度を高めることができる。

ドライブレコーダ２を搭載する車両の車速が一定でないため、撮影画像（動画）に基づき要約画像を生成する際には、撮影画像（動画）を一定速度で走行した状態の動画（以下、「正規化動画」という）に変換してからスコアに応じて再生速度調整を実行すればよい。なお、正規化動画を作成するためには、撮影画像のメタ情報に車速が含まれる必要がある。

正規化動画の作成タイミングは、要約画像の生成時または撮影画像の記憶時である。正規化動画の作成タイミングが要約画像の生成時である場合、要約画像の生成時にメタ情報を用いて正規化動画が作成され、さらにスコアに応じて再生速度が調整される。一方、正規化動画の作成タイミングが撮影画像の記憶時である場合、撮影画像は正規化動画に変換されて記憶され、要約画像の生成時では複数の正規化動画がつなぎ合わされた後にスコアに応じて再生速度が調整される。正規化動画の作成タイミングが要約画像の生成時、撮影画像の記憶時のいずれであっても、スコアに応じた再生速度調整は、要約画像の再生中に行われてもよく、正規化動画の編集処理（撮影画像（動画）の再編集処理）によって行われてもよい。正規化動画の編集処理によって再生速度調整が行われる場合、正規化動画の編集処理が行われた後の再生速度は一定である。

また、異なった車両で撮影された撮影画像に基づき要約画像を生成する場合、画像サイズ・カメラ特性（視点、視方向）を合わせる必要がある。例えば、ドライブレコーダ２を搭載する車両毎に画像パラメータを設定及び登録して撮影画像のメタ情報に含ませ、その画像パラメータを用いて画像加工を行うという方法で画像サイズ・カメラ特性を合わせることができる。また、例えば、基準画像（所定距離及び所定方向にある同一物体を撮影した画像）の撮影状況により車両毎に画像パラメータを算出し、その画像パラメータを用いて画像加工を行うという方法で画像サイズ・カメラ特性を合わせてもよい。なお、上記の同一物体は、例えば地図データ、自車位置、自車走行方向を利用することで特定することができる。

なお、本実施形態では、上述した通り、正規化動画が作成され、その正規化動画を用いて要約画像が生成される。しかしながら、本実施形態とは異なり、撮影画像のメタ情報に含まれる車速を意図的に改変することで、正規化動画を作成する時点で要約画像を生成してもよい。

正規化動画は、言い換えると、ドライブレコーダ２を搭載する車両の移動距離あたりのフレーム数が同じ動画である。一方、普通の動画は時間あたりのフレーム数が同じある。したがって、撮影画像（普通の動画）を正規化動画に変換する際に、高速走行であれば距離当たりで撮影しているフレームが少ないためフレーム補間が発生し、逆に低速走行であれば距離当たりで撮影しているフレームが多いためフレーム間引きが発生する。そのため、早送り再生したい地点（＝表示重要度が低い区間）の車速を低い値に改変してメタ情報に含ませると、早送り再生したい地点でフレーム間引きが発生して早送り再生の動画になる。

センターサーバ１は、上述した経路情報取得部１２ａ、撮影画像取得部１２ｂ、メタ情報取得部１２ｃ、及び要約画像生成部１２ｄを備えるので、単一の移動体が移動した経路のみに制約されることなく経路に沿った要約画像を生成することできる。これにより、例えば、経路を移動体で移動する際の魅力的な景色などを重点的にユーザにアピールすることができるので、観光誘致、ユーザによる観光計画立案の容易化などに寄与することができる。また、センターサーバ１は、上述した経路情報取得部１２ａ、撮影画像取得部１２ｂ、メタ情報取得部１２ｃ、及び要約画像生成部１２ｄを備えるので、図２に示す画像生成方法を実施する装置であるとも言える。図２に示す画像生成方法の実施では、経路の情報を取得する経路情報取得工程（ステップＳ１）と、経路情報取得工程によって取得された情報に含まれる経路において撮影された撮影画像（経路撮影画像）を取得する撮影画像取得工程（ステップＳ２）と、経路撮影画像のメタ情報を取得するメタ情報取得工程（ステップＳ３）と、経路撮影画像のメタ情報に基づき経路撮影画像の要約画像を生成する要約画像生成工程（ステップＳ４）とが順に実施される。なお、図２に示す手順とは異なり、ステップＳ２とステップＳ３とを並行して実施してもよく、ステップＳ２より先にステップＳ３を実施してもよい。また、事前にステップＳ３のみを実施してメタ情報のみを取得しておき、要約画像を生成する時に必要な画像を都度ドライブレコーダ２から取得するようにしてもよい。

記憶部１３としては、例えば、ＲＡＭ、ＲＯＭ、ＨＤＤ等を用いることができる。記憶部１３は、地図情報１３ａ及び撮影画像１３ｂを記憶する。また、記憶部１３は、制御部１２に含まれる記憶装置に加えて、又は、制御部１２の代わりに、各種プログラムを記憶してもよい。

地図情報１３ａは、全国又は一定の広域の道路情報及び施設情報を含む情報である。記憶部１３が地図情報１３ａを記憶することで、例えば、センターサーバ１が経路の情報を生成すること、センターサーバ１が地図画像をデジタルサイネージ３に送信すること等が可能になる。なお、センターサーバ１は地図情報１３ａを記憶しない構成であってもよい。

撮影画像１３ｂは、複数のドライブレコーダ２から送信され通信部１１によって受信された画像データの集合体である。すなわち、撮影画像１３ｂは、複数の撮影画像である。なお、複数のドライブレコーダ２から送信され通信部１１によって受信された画像データは、ドライブレコーダ２又はセンターサーバ１においてプライバシー保護のための加工が施される。具体的には、例えば撮影画像に映り込んでいる人物の顔や車両のナンバープレート等にモザイク処理を施せばよい。

＜３．ドライブレコーダ＞
図３は、ドライブレコーダ２の概要を説明するための図である。ドライブレコーダ２は、車両４に搭載される。ドライブレコーダ２は、車両４の適所に配置される。

ドライブレコーダ２は、車両４に搭載されるカメラ５によって撮影される車両周辺の画像を取得する。ドライブレコーダ２の記録方式は、白線からのはみ出し（車線逸脱）、急ブレーキ、衝突等のイベントの発生有無にかかわらず、カメラ５によって撮影された撮影画像を記録する常時記録方式である。ドライブレコーダ２は、撮影画像をセンターサーバ１に送信する通信部（不図示）を備える。なお、本実施形態では、ドライブレコーダ２を搭載する移動体が車両４であるが、移動体は車両に限定されない。車両には、例えば自動車、電車、無人搬送車等の車輪のついた乗り物が広く含まれる。車両以外の移動体として、例えば船舶や航空機等が挙げられる。

本実施形態では、白線からのはみ出し（車線逸脱）、急ブレーキ、衝突等のイベントの発生時における車両周辺の画像を取得することを主たる目的とするドライブレコーダ２によって取得された撮影画像がセンターサーバ１に送信される。しかしながら、センターサーバ１に送信される撮影画像は、ドライブレコーダ２によって取得された撮影画像に限らない。例えば、自動運転システム、駐車支援システムなどの運転支援システムで用いられるカメラによって撮影される撮影画像であってもよい。

また、センターサーバ１に撮影画像を送信する送信装置は、移動体に常時搭載される機器に限らない。例えば、スマートフォンを移動体内に持ち込み、当該スマートフォンを、センターサーバ１に撮影画像を送信する送信装置として用いてもよい。

＜４．デジタルサイネージ＞
デジタルサイネージ３は、例えば街頭、駅、店舗、空港、ホテルなどの様々な場所に設置することができる。図４は、デジタルサイネージ３の一構成例を示すブロック図である。

図４に示す構成例のデジタルサイネージ３は、通信部３１と、表示制御部３２と、表示パネル３３と、を備える。

通信部３１は、不図示のネットワークを介してセンターサーバ１とデータ通信を行う。通信部３１は、例えば、ユーザが所持するスマートフォン等のモバイル機器と近距離無線通信を行う近距離無線通信部を備えてもよい。

表示制御部３２は、表示パネル３３を制御し、センターサーバ１から送られてくる要約画像等の各種画像を表示パネル３３に表示させる。表示制御部３２は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤＤ、入出力ポートなどを有するコンピュータや各種の回路を含む。

表示パネル３３は、例えば、液晶表示パネル、有機ＥＬ（Electro Luminescence）表示パネル等の薄型表示パネルを備える。表示パネル３３は、ユーザによる操作を受け付ける操作装置の一種であるタッチパネル３３ａを備える。なお、本実施形態とは異なり、タッチパネル３３ａとは異なる操作装置をデジタルサイネージ３に設けてもよい。タッチパネル３３ａとは異なる操作装置としては、例えば表示パネルとは異なる位置に配置されるボタン、タッチパッド等を挙げることができる。

なお、センターサーバ１が地図情報１３ａを記憶しない構成である場合、デジタルサイネージ３が地図情報を記憶する記憶部を備えるようにすればよい。

デジタルサイネージ３は、初期表示画像として、例えばデジタルサイネージ３の設置場所を中心とした地図を表示する。なお、単なる地図表示と混同されないように、観光案内であることを示す文字、記号、イラスト等の表示画像を初期表示画像として用い、ユーザがタッチパネル３３ａに触れると、初期表示画像からデジタルサイネージ３の設置場所を中心とした地図表示に遷移するようにしてもよい。

デジタルサイネージ３における地図表示では、カーナビゲーションシステムにおける地図表示等と同様に、縮尺変更、スクロール操作による表示地域の移動、住所入力に基づく表示地域の移動、施設名等のキーワード入力に基づく表示地域の移動等が可能である。

タッチパネル３３ａに対するユーザ操作によりユーザが訪れたい場所が選択されると、ユーザが訪れたい場所を含むおすすめの経路をセンターサーバ１又はデジタルサイネージ３が作成し、上記おすすめの経路がセンターサーバ１の経路情報取得部１２ａによって取得され、上記おすすめの経路に対応する要約画像がセンターサーバ１の要約画像生成部１２ｄによって生成され、上記要約画像がデジタルサイネージ３の表示パネル３３に表示される。上記要約画像は、上記おすすめの経路が示された地図表示とともにデジタルサイネージ３の表示パネル３３に表示されてもよい。

なお、ユーザが訪れたい場所が選択されなくても、おすすめの経路をセンターサーバ１又はデジタルサイネージ３が作成するようにしてもよい。

例えば、ユーザの状況に関する情報をタッチパネル３３ａに対するユーザ操作によりデジタルサイネージ３に入力することで、ユーザの状況に応じたおすすめの経路をセンターサーバ１又はデジタルサイネージ３が作成するようにしてもよい。ユーザの状況としては、例えば、歩き疲れている、お金をなるべく使いたくない、観光に費やせる時間が最大５時間である等を挙げることができる。

例えば、ユーザの嗜好に関する情報をタッチパネル３３ａに対するユーザ操作によりデジタルサイネージ３に入力することで、ユーザの嗜好に応じたおすすめの経路をセンターサーバ１又はデジタルサイネージ３が作成するようにしてもよい。ユーザの嗜好としては、例えば、繁華街が好きである、神社仏閣が好きである等を挙げることができる。

例えば、季節、天候、時刻等に応じたおすすめの経路をセンターサーバ１又はデジタルサイネージ３が作成するようにしてもよい。この場合、センターサーバ１又はデジタルサイネージ３は、季節、天候、時刻等の情報を外部から取得するようにすればよい。

デジタルサイネージ３の表示パネル３３に表示される要約画像は、ＳＮＳ（Social Networking Service）で簡単に共有できることが望ましい。例えば、ＳＮＳで共有するためのソフトウェアキー（例えば、共有アイコン）を要約画像とともにデジタルサイネージ３の表示パネル３３に表示することで要約画像をＳＮＳで簡単に共有できる。ＳＮＳで共有されることで観光誘致の効果がより一層向上する。

センターサーバ１の要約画像生成部１２ｄによって生成される要約画像を表示する表示装置は、デジタルサイネージに限らない。例えば、センターサーバ１の要約画像生成部１２ｄによって生成される要約画像を特定のウェブサイトにアップロードすれば、ウェブサイトを閲覧できるウェブサイト閲覧装置（例えば、パーソナルコンピュータ、タブレット端末、スマートフォン等）は、センターサーバ１の要約画像生成部１２ｄによって生成される要約画像を表示する表示装置となり得る。また、例えば、センターサーバ１の要約画像生成部１２ｄによって生成される要約画像を特定のアプリにより閲覧可能にすれば、特定のアプリをインストールしたコンピュータ（例えば、パーソナルコンピュータ、タブレット端末、スマートフォン等）は、センターサーバ１の要約画像生成部１２ｄによって生成される要約画像を表示する表示装置となり得る。

センターサーバ１の要約画像生成部１２ｄによって生成される要約画像を表示する表示装置は、タクシーの配車に関する情報、レンタカーに関する情報などを表示してもよい。これにより、ユーザがタクシーやレンタカーを利用することを促進することができる。タクシーの配車に関する情報としては、例えば、タクシーの配車サービスを行っているウェブサイトへのリンク情報、タクシー会社の電話番号等を挙げることができる。レンタカーに関する情報としては、最寄りのレンタカー営業所の電話番号、最寄りのレンタカー営業所までのアクセスマップ等を挙げることができる。

＜５．メタ情報＞
撮影地点情報及び撮影日時情報以外のメタ情報として、例えば、撮影画像を撮影したカメラ５を搭載する車両４の挙動の情報を挙げることができる。ドライブレコーダ２は、例えばＣＡＮ（Controller Area Network）等の車内ネットワークを介して車両４の挙動の情報を収集し、カメラ５で撮影された撮影画像と車両４の挙動の情報との関連付けを行うようにすればよい。車両４の挙動としては、車速、舵角などがある。車両４の挙動の情報がメタ情報に含まれることにより、例えば車両４が直進している状態や車両４が赤信号で停止している状態等が考慮されて要約画像が生成される。これにより、車両４の挙動に応じて適切に要約された要約画像を得ることができる。

撮影地点情報及び撮影日時情報以外のメタ情報として、例えば、車両４に対するカメラ５の位置の情報を挙げることができる。例えばユーザがタクシーやレンタカーを利用する際に左側の席に着座することを予定しているのであれば、車両４の左側に取り付けられ主として車両４の左側を撮影するカメラ５の撮影画像をメタ情報に基づいて重要視すればよい。逆に、ユーザがタクシーやレンタカーを利用する際に右側の席に着座することを予定しているのであれば、車両４の右側に取り付けられ主として車両４の右側を撮影するカメラ５の撮影画像をメタ情報に基づいて重要視すればよい。これにより、移動体の搭乗予定位置に応じて適切に要約された要約画像を得ることができる。

本実施形態では、メタ情報は、表示重要度の情報を含む。

例えば、メタ情報の各要素にスコアを付与し、そのスコアから表示重要度を求めるようにすればよい。具体的には、メタ情報の各要素に付与した各スコアの単純平均或いは重み付け平均を求め、その平均から表示重要度を求めればよい。

表示重要度は、要約画像の再生時に通常再生する経路撮影画像と、要約画像の再生時に早送り再生する経路撮影画像と、の自動判別に利用する。具体的には、所定のしきい値より大きい表示重要度の経路撮影画像（正規化動画）を、要約画像の再生時に通常再生する経路撮影画像候補とする。

また、上記のしきい値は複数設定してもよい。具体的には、経路の長さに対応したしきい値を設定する。例えば経路の長さが１ｋｍ〜３ｋｍであればしきい値Ｔｈ１を設定する。経路がより長く、３ｋｍ〜５ｋｍであればしきい値Ｔｈ１より大きいしきい値Ｔｈ２を設定する。このようにすると、経路が短い場合は表示重要度が低い経路撮影画像も要約画像の再生時に通常再生する経路撮影画像候補となる。一方、経路が長い場合は、表示重要度がより高い経路撮影画像が要約画像の再生時に通常再生する経路撮影画像候補となる。経路が長くなると見どころ地点、つまり要約動画で通常再生したい地点も増えるため、単一しきい値だと要約動画が長くなってしまう。しかし、しきい値を複数設定することにより、経路の長さが異なる場合に、要約画像の再生時に早送り再生する経路撮影画像の間引き度合いを変えなくても要約画像の再生時間の差を小さくすることができる。

また、表示重要度に応じて、要約画像の再生時に早送り再生する経路撮影画像の間引き度合いを調整して要約画像の再生時間の差を小さくしてもよい。例えば、表示重要度が高いほど間引きを抑えるようにするよい。

メタ情報の各要素に付与するスコアについて、いくつかの要素を例に挙げて説明する。

例えば、撮影地点が観光名所に該当するか否かで異なるスコアを付与する。観光名所に該当すれば、観光名所に該当しない場合より高いスコアを付与する。例えば、撮影日時が過去に遡るほど低いスコアを付与する。ただし、ユーザが画像表示システムを使用しているときと同月同日である場合等には例外的に所定のスコアを加算してもよい。

例えば、車両４の挙動の情報が車両４の直進状態や停止状態を示しているときは、時間経過による撮影画像の変化が乏しいと考えられるので、それ以外のときよりも低いスコアを付与する。

例えば、ユーザの嗜好に関する情報をタッチパネル３３ａに対するユーザ操作によりデジタルサイネージ３に入力し、ユーザの嗜好に関する情報がセンターサーバ１に送信された場合、撮影地点がユーザの嗜好に合う場所であれば、撮影地点がユーザの嗜好に合わない場所であるときよりも高いスコアを付与する。これにより、ユーザの嗜好に応じて適切に要約された要約画像を得ることができる。

例えば、センターサーバ１又はデジタルサイネージ３が天候の情報を外部から取得する場合、現在の天候と撮影時点の天候との類似度が高いほど高いスコアを付与する。

例えば、経路撮影画像のメタ情報に経路撮影画像を画像解析して得られる混雑度を含める場合、混雑度が高いほど高いスコアを付与する。

例えば、経路撮影画像のメタ情報に経路撮影画像を画像解析して得られる桜の開花状況の情報を含める場合、桜の開花状況が満開に近いほど高いスコアを付与する。桜の開花状況は、例えば桜の花びらの色に対応する画素の分布等に基づき推定することができる。なお、桜以外の花の開花状況の情報をメタ情報に含めてもよい。また、紅葉の状況もメタ情報に含めてもよい。また、霧の発生し易い景観スポットなどに関して、霧の発生状況もメタ情報に含めてもよい。

経路撮影画像のメタ情報に含まれる動的に変化する状況の情報をデジタルサイネージ３に表示する地図画像に反映させることが望ましい。言い換えると、デジタルサイネージ３は、経路撮影画像のメタ情報を反映させた地図画像、より詳細には経路撮影画像のメタ情報に含まれる動的に変化する状況の情報を反映させた地図画像を表示することが望ましい。これにより、ユーザは、要約画像の動的に変化する状況が発生している箇所を確認しなくても、地図画像を確認するだけで動的に変化する状況を把握することができる。例えば、地図画像の点線で囲まれたエリアの桜の開花状況が咲き始めであれば、図５に示すような地図画像が表示パネル３３に表示され、地図画像の点線で囲まれたエリアの桜の開花状況が５分咲きであれば、図６に示すような地図画像が表示パネル３３に表示され、地図画像の点線で囲まれたエリアの桜の開花状況が満開であれば、図７に示すような地図画像が表示パネル３３に表示されるようにすればよい。

＜６．留意事項＞
本明細書における実施形態や実施例の構成は、本発明の例示にすぎない。実施形態や変形例の構成は、本発明の技術的思想を超えない範囲で適宜変更されてもよい。また、複数の実施形態及び変形例は、可能な範囲で組み合わせて実施されてよい。

例えば、画像表示システムＳＹＳ１と提携しているタクシーやレンタカーをユーザが利用した場合、ユーザが利用したタクシーやレンタカーから撮影した撮影画像のみから要約画像を作成し、その要約画像をユーザに提供してもよい。ユーザへの提供方法は、例えば光ディスク等の記憶媒体を用いてもよく、ユーザに記憶媒体を渡すのではなくネットワーク経由で提供してもよい。これにより、観光等の思い出をデジタルデータとしてユーザに提供することができる。

ユーザが利用したタクシーやレンタカーから撮影した撮影画像のみから要約画像を作成する装置は、本発明に係る画像生成装置と別の装置であってもよいが、メタ情報に関する処理などを概略共通化することができるため、本発明に係る画像生成装置と同一の装置にすることが望ましい。ユーザが利用するタクシーやレンタカーには車内を撮影するカメラも備え、車内撮影カメラで撮影した撮影画像もユーザが利用したタクシーやレンタカーから撮影した撮影画像に含めることが望ましい。車内撮影カメラで撮影した撮影画像は、例えば乗客の動きが大きい場合、乗客が笑っている場合、車内撮影とともに車内の音声を記録した音声データに基づく情報を撮影画像のメタ情報に含め、車内の音声が大きい場合などに、車内撮影カメラで撮影した撮影画像の表示重要度が高いと判定されるようにすればよい。

また、ユーザが利用したタクシーやレンタカーから撮影した撮影画像のみから作成する要約画像の代わりに、又は、ユーザが利用したタクシーやレンタカーから撮影した撮影画像のみから作成する要約画像に加えて、ユーザが利用したタクシーやレンタカーの走行経路を示す地図データをユーザに提供してもよい。

１ センターサーバ
２ ドライブレコーダ
３ デジタルサイネージ
１２ａ 経路情報取得部
１２ｂ 撮影画像取得部
１２ｃ メタ情報取得部
１２ｄ 要約画像生成部
ＳＹＳ１ 画像表示システム

Claims (5)

1. 経路移動に伴って撮影された撮影画像に基づき、前記撮影画像のメタ情報を用いて生成された前記撮影画像の要約画像を表示する画像表示装置であって、
   前記要約画像の再生速度が変化するタイミングで前記要約画像の表示サイズを変更する表示制御部を備えることを特徴とする画像表示装置。
2. 前記表示制御部は、前記メタ情報を反映させた地図を表示する、請求項１に記載の画像表示装置。
3. 経路移動に伴って撮影された撮影画像に基づき、前記撮影画像のメタ情報を用いて生成された前記撮影画像の要約画像を表示する画像表示方法であって、
   前記要約画像の再生速度が変化するタイミングで前記要約画像の表示サイズを変更することを特徴とする画像表示方法。
4. 前記メタ情報は、表示重要度の情報を含み、
   前記要約画像の再生速度は、前記表示重要度に基づき前記撮影画像の間引きが行われたことにより変化することを特徴とする請求項３に記載の画像表示方法。
5. 請求項１又は請求項２に記載の画像表示装置と、前記画像表示装置に前記要約画像を提供する画像生成装置と、を備え、
   前記画像生成装置は、
   経路の情報を取得する経路情報取得部と、
   前記撮影画像を取得する撮影画像取得部と、
   前記メタ情報を取得するメタ情報取得部と、
   前記メタ情報に基づき前記要約画像を生成する要約画像生成部と、
   を備え、
   前記画像表示装置は、前記経路の情報を作成し、前記画像生成装置に提供する経路情報作成部を備える、
   ことを特徴とする画像表示システム。

Images