JP7087844B2 - 画像処理装置、画像処理システム及び車両 - Google Patents

Description

本発明は、車両の乗員に対して画像を提供する画像処理装置、画像処理システム及び車両に関する。

特許文献１には、任意の場所で任意の方向の景色を表示でき、景色の最も良い場所を自動探索することができ、現地に行く前にその場所の景色を事前に調査することができ、また、移動に合わせてどんな場所でも景色案内を見ることができる景色表示装置が開示されている。

特開２００２－１８１５５９号公報

ここで、自動運転車では、運転から解放された乗員の行動の自由度が広がるため、例えば、走行中に過去の情景が見られるような思いがけない演出が望まれる。一方、特許文献１の景色表示装置では、現実の風景をシミュレートして表示することはできるが、過去の風景を表示する機能は有していない。

本発明は、上記事実を考慮して成されたもので、走行中の車両に走行地点に関連する過去の画像を表示させることで、乗員に過去の情景を提供することが可能な画像処理装置、画像処理システム及び車両を提供することを目的とする。

請求項１に記載の画像処理装置は、撮影場所に係る位置情報が付与された位置情報付画像に係る画像データを記憶する記憶部と、車両の現在位置から所定範囲内の前記位置情報を有する一又は複数の前記画像データを検索する検索部と、を備え、前記検索部は、前記車両の前記現在位置から前記所定範囲内の前記位置情報を含む複数の前記画像データを検索し、位置情報付画像の撮影時期及びカテゴリ毎に前記車両の乗員の嗜好に基づいた優先度が規定されており、検索された複数の前記画像データにおけるカテゴリを抽出し、優先度が最も高い撮影時期の前記画像データに係る位置情報付画像を前記車両に表示させる画像として選択する選択部を備えている。

「所定範囲」には、車両の現在位置を中心とした一定の距離範囲や、車両がこれから走行する経路等が含まれる。請求項１に記載の画像処理装置では、記憶部に過去に撮影した画像であって位置情報が付与された位置情報付画像が記憶されている。当該画像処理装置は、車両の現在位置から所定範囲内の位置情報を有する一又は複数の画像データを検索する機能を有しており、検索された画像データに係る位置情報付画像は車両において表示される。請求項１に記載の画像処理装置によれば、走行中の車両に走行地点に関連する過去の画像を表示させることで、乗員に過去の情景を提供することができる。

請求項２に記載の画像処理装置では、前記選択部は、前記車両の乗員の嗜好に基づいて前記車両に表示させる画像を選択する。

請求項２に記載の画像処理装置によれば、車両に表示させる画像に乗員の好みを反映させることができる。

請求項３に記載の画像処理装置では、前記選択部は、前記車両に乗車する乗員の属性に応じて前記車両に表示させる画像を選択する。

「乗員の属性」とは、一又は複数の乗員を識別可能な特徴である。請求項３に記載の画像処理装置では、例えば、乗車する乗員毎に属性として個別のＩＤを設定する。また例えば、当該画像処理装置は、家族で乗車している場合には属性として家族を示す識別情報を設定したり、友人同士で乗車している場合には属性として友人を示す識別情報を設定する。請求項３に記載の画像処理装置によれば、車両に乗車している乗員に適した画像を表示させることができる。

請求項４に記載の画像処理装置は、過去に撮影された過去画像を収集する収集部をさらに備え、前記記憶部は、前記過去画像に係る画像データに前記位置情報が付与されている場合、前記位置情報付画像として記憶する。

請求項４に記載の画像処理装置によれば、装置の外部から位置情報付画像を収集することにより、車両に表示させる画像のバリエーションを増やすことができる。

請求項５に記載の画像処理装置では、前記収集部が前記位置情報の付与されていない前記過去画像である通常画像を収集し、前記通常画像と前記記憶部に記憶されている前記位置情報付画像とを比較して類似する場合に、類似する前記位置情報付画像の前記位置情報を前記通常画像に対して付与する情報付与部を備えている。

請求項５に記載の画像処理装置によれば、収集した画像に位置情報が付与されていない場合であっても、既に収集済みの位置情報付画像を参照することで位置情報を付与することができる。

請求項６に記載の画像処理装置は、前記収集部が前記位置情報の付与されていない前記過去画像である通常画像を収集し、前記通常画像とＷｅｂから取得したＷｅｂ画像とを比較して類似する場合に、類似する前記Ｗｅｂ画像に対応する前記位置情報を前記Ｗｅｂから取得し前記通常画像に対して付与する取得付与部を備えている。

請求項６に記載の画像処理装置によれば、収集した画像に位置情報が付与されていない場合であっても、撮影場所を特定可能なＷｅｂ画像を参照することで位置情報を付与することができる。

請求項７に記載の画像処理システムは、請求項１～６の何れか１項に記載の前記画像処理装置と、表示装置を有する前記車両と、を備える画像処理システムであって、前記車両は、前記画像処理装置において選択された前記画像データを前記画像処理装置から受信する受信部と、前記車両において前記画像データに係る画像の表示が許可されている場合に、前記画像データを前記表示装置に出力する出力部を備えている。

請求項７に記載の画像処理システムによれば、車両の停車中や自動運転中等、乗員が運転から解放されている場合に過去画像を表示させることができる。これにより、乗員の安全性を確保することができる。

請求項８に記載の車両は、請求項１～６の何れか１項に記載の前記画像処理装置と、表示装置と、前記車両において前記画像データに係る画像の表示が許可されている場合に、前記画像処理装置において選択された前記画像データを前記表示装置に出力する出力部と、を備えている。

請求項８に記載の車両によれば、停車中や自動運転中等、乗員が運転から解放されている場合に過去画像を表示させることができる。これにより、乗員の安全性を確保することができる。

本発明によれば、走行中の車両に走行地点に関連する過去の画像を表示させることで、乗員に過去の情景を提供することができる。

実施形態に係る画像処理システムの概略構成を示す図である。 制御装置のハードウェア構成を示すブロック図である。 制御装置におけるＣＰＵの機能構成の例を示すブロック図である。 処理サーバのハードウェア構成を示すブロック図である。 処理サーバにおけるＣＰＵの機能構成の例を示すブロック図である。 処理サーバにおけるストレージに記憶されているデータの例を示すブロック図である。 実施形態に係る嗜好テーブルの一例を示す図である。 実施形態に係る画像処理システムにおける登録に係る処理の流れを示すシーケンス図である。 実施形態に係る画像処理システムにおける過去画像の収集から車両に過去画像を表示させるまでの処理の流れを示すシーケンス図である。 実施形態に係る処理サーバで行われる位置解析処理の流れの一例を示すフローチャートである。 実施形態に係る処理サーバで行われる画像抽出処理の流れの一例を示すフローチャートである。 実施形態に係る制御装置で行われる画像表示処理の流れの一例を示すフローチャートである。

以下、本発明の一実施形態である画像処理システムについて図面を用いて説明する。
図１は、本実施形態に係る画像処理システム１０の概略構成を示すブロック図である。

（構成）
図１に示されるように、本実施形態に係る画像処理システム１０は、自動運転車である車両１２と、画像処理装置である処理サーバ３０と、ＳＮＳ（Social Networking Service）サーバ４０、クラウドサーバ４２、携帯端末５０と、を備えている。また、車両１２は、制御装置２０を備えている。処理サーバ３０、ＳＮＳサーバ４０、クラウドサーバ４２、携帯端末５０及び制御装置２０は、ネットワークＮ１を介して相互に接続されている。

ＳＮＳサーバ４０は、ＳＮＳを管理する管理サーバとしての機能を有している。ＳＮＳサーバ４０には、ユーザのアカウント毎に画像を含む投稿に係るデータが記憶されている。また、クラウドサーバ４２は、携帯端末５０の外部記憶媒体としての機能を有している。クラウドサーバ４２には、ユーザのアカウント毎に画像データが記憶されている。以下、ＳＮＳサーバ４０及びクラウドサーバ４２のユーザが車両１２の乗員である場合を例に説明する。

携帯端末５０は、画像処理システム１０を利用する車両１２の乗員が所持するスマートフォンやタブレット端末である。

車両１２は、制御装置２０の他、ＧＰＳ（Global Positioning System）装置２２と、表示装置２４と、カメラ２６と、を備えている。

図２は、本実施形態の車両１２に搭載される機器のハードウェア構成を示すブロック図である。
ＧＰＳ装置２２は、車両１２の位置情報を取得する装置である。

表示装置２４は、過去の風景、人、物等の過去に撮影された過去画像を表示するディスプレイである。本実施形態の表示装置２４は、車両１２のウインドウを兼ねる透過型ディスプレイである。表示装置２４は、フロントウインドウに設けられた前面表示部２４Ａと、リアウインドウに設けられた後面表示部２４Ｂと、を有している。また、車両右側においては、表示装置２４は、右フロントサイドドアに設けられた右側面表示部２４Ｒ１と、右リアサイドドアに設けられた右側面表示部２４Ｒ２と、を有している。さらに、車両左側においては、表示装置２４は、左フロントサイドドアに設けられた左側面表示部２４Ｌ１と、左リアサイドドアに設けられた左側面表示部２４Ｌ２と、を有している。
なお、表示装置２４は、車室内に独立して設けられたモニタでもよい。

カメラ２６は、車両１２の前方に設けられた撮像装置である。本実施形態のカメラ２６は、自動運転用のセンサを兼ねた車外カメラ２６Ａと、車室内の乗員を撮影する車内カメラ２６Ｂとを含んでいる。なお、車外カメラについては、自動運転用のカメラとは別のカメラを設けてもよい。

制御装置２０は、ＣＰＵ（Central Processing Unit）２０Ａ、ＲＯＭ（Read Only Memory）２０Ｂ、ＲＡＭ（Random Access Memory）２０Ｃ、ストレージ２０Ｄ、通信Ｉ／Ｆ（Inter Face）２０Ｅ及び入出力Ｉ／Ｆ２０Ｆを含んで構成されている。ＣＰＵ２０Ａ、ＲＯＭ２０Ｂ、ＲＡＭ２０Ｃ、ストレージ２０Ｄ、通信Ｉ／Ｆ２０Ｅ及び入出力Ｉ／Ｆ２０Ｆは、バス２１を介して相互に通信可能に接続されている。

ＣＰＵ２０Ａは、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、ＣＰＵ２０Ａは、ＲＯＭ２０Ｂ又はストレージ２０Ｄからプログラムを読み出し、ＲＡＭ２０Ｃを作業領域としてプログラムを実行する。本実施形態では、ストレージ２０Ｄに後述する画像表示処理を実行するための実行プログラムが記憶されている。ＣＰＵ２０Ａは、実行プログラムを実行することで、図３に示す受信部２００、取得部２１０、送信部２２０、編集部２３０及び出力部２４０として機能する。

ＲＯＭ２０Ｂは、各種プログラム及び各種データを記憶している。ＲＡＭ２０Ｃは、作業領域として一時的にプログラム又はデータを記憶する。記憶部としてのストレージ２０Ｄは、ＨＤＤ（Hard Disk Drive）又はＳＳＤ（Solid State Drive）により構成され、オペレーティングシステムを含む各種プログラム、及び各種データを記憶している。

通信Ｉ／Ｆ２０Ｅは、処理サーバ３０等の他の機器と通信するためのインタフェースであり、例えば、イーサネット（登録商標）、ＦＤＤＩ、Ｗｉ－Ｆｉ（登録商標）等の規格が用いられる。

入出力Ｉ／Ｆ２０Ｆは、車両１２に搭載される各装置と通信するためのインタフェースである。本実施形態の制御装置２０には、入出力Ｉ／Ｆ２０Ｆを介してＧＰＳ装置２２、表示装置２４及びカメラ２６が接続されている。なお、ＧＰＳ装置２２、表示装置２４及びカメラ２６は、バス２１に対して直接接続されていてもよい。

図３は、ＣＰＵ２０Ａの機能構成の例を示すブロック図である。図３に示されるように、ＣＰＵ２０Ａは、受信部２００、取得部２１０、送信部２２０、編集部２３０及び出力部２４０を有している。各機能構成は、ＣＰＵ２０Ａがストレージ２０Ｄに記憶された実行プログラムを読み出し、これを実行することによって実現される。

受信部２００は、通信Ｉ／Ｆ２０Ｅを介して処理サーバ３０から送信された画像データを受信する機能を有している。この画像データに係る画像は、静止画に限らず、動画も含めることができる。

取得部２１０は、ＧＰＳ装置２２から車両１２の現在の位置情報を取得する機能を有している。また、取得部２１０は、車外カメラ２６Ａにより撮影された車外の画像、及び車内カメラ２６Ｂにより撮影された車内の画像を取得する機能を有している。

送信部２２０は、通信Ｉ／Ｆ２０Ｅを介して取得部２１０において取得された車両１２の位置情報、及び各カメラ２６により撮影された画像に係る画像データを処理サーバ３０に送信する機能を有している。また、送信部２２０は、乗車中の乗員に係る乗員情報を処理サーバ３０に送信する機能を有している。なお、この乗員情報には、車内カメラ２６Ｂの画像を基に算定された乗員の人数や、乗員個人が特定できる場合は当該個人の情報が含まれる。

編集部２３０は、表示装置２４に表示させる過去画像を編集する機能を有している。編集部２３０は、受信部２００が複数の過去画像に係る画像データを受信した場合、表示装置２４の各々に表示させる過去画像を選択したり、表示させる順序を設定したりする。

出力部２４０は、受信部２００が受信した画像データに係る過去画像を表示装置２４に出力する機能を有している。

図４は、本実施形態の処理サーバ３０のハードウェア構成を示すブロック図である。
図４に示されるように、処理サーバ３０は、ＣＰＵ３０Ａ、ＲＯＭ３０Ｂ、ＲＡＭ３０Ｃ、ストレージ３０Ｄ及び通信Ｉ／Ｆ３０Ｅを含んで構成されている。ＣＰＵ３０Ａ、ＲＯＭ３０Ｂ、ＲＡＭ３０Ｃ、ストレージ３０Ｄ及び通信Ｉ／Ｆ３０Ｅは、バス３１を介して相互に通信可能に接続されている。

ＣＰＵ３０Ａは、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、ＣＰＵ３０Ａは、ＲＯＭ３０Ｂ又はストレージ３０Ｄからプログラムを読み出し、ＲＡＭ３０Ｃを作業領域としてプログラムを実行する。本実施形態では、ストレージ３０Ｄに、後述する制御プログラム３５０が記憶されている。ＣＰＵ３０Ａは、制御プログラム３５０を実行することで、図５に示す受信部３００、個人認証部３０５、付与部３１０、属性分析部３２０、嗜好分析部３２５、検索部３３０、選択部３３５及び送信部３４０として機能する。

ＲＯＭ３０Ｂは、各種プログラム及び各種データを記憶している。ＲＡＭ３０Ｃは、作業領域として一時的にプログラム又はデータを記憶する。記憶部としてのストレージ３０Ｄは、ＨＤＤ（Hard Disk Drive）又はＳＳＤ（Solid State Drive）により構成され、オペレーティングシステムを含む各種プログラム、及び各種データを記憶している。図６に示されるように、本実施形態のストレージ３０Ｄは、制御プログラム３５０、地図データベース３６０、画像データベース３７０、嗜好テーブル３８０及びＩＤ情報テーブル３９０を記憶している。

通信Ｉ／Ｆ３０Ｅは、制御装置２０等の他の機器と通信するためのインタフェースであり、例えば、イーサネット（登録商標）、ＦＤＤＩ、Ｗｉ－Ｆｉ（登録商標）等の規格が用いられる。

制御プログラム３５０は、処理サーバ３０を制御するためのプログラムである。

地図データベース３６０は、地域区分毎、又は道路区分毎に複数の地図データ３６２を有している。

画像データベース３７０は、撮影場所に係る位置情報が付与された位置情報付画像に係る画像データ３７２を有している。また、画像データ３７２には、位置情報の他、撮影日時、カテゴリに関する情報、及び乗員の属性に係る識別情報が付与されている。本実施形態の位置情報付画像は、過去の風景、人、物等を対象とした画像であって、静止画及び動画が含まれる。

嗜好テーブル３８０は、画像処理システム１０を利用する車両１２の乗員の嗜好を踏まえ、画像のカテゴリ毎に表示を優先すべき撮影時期のランクを規定したテーブルである。図７に嗜好テーブル３８０の一例を示す。嗜好テーブル３８０には、画像の撮像時期毎にＡからＣのランクが付与されている。嗜好テーブル３８０では、ＣからＡに向かうにつれて表示の優先度が高くなるように設定されている。

例えば、画像のカテゴリとして「風景」を対象とする場合、嗜好テーブル３８０では、「２～５年前」及び「５～１０年前」を撮影時期とする画像の表示の優先度が他の時期の優先度に比べて高く設定されている。また例えば、カテゴリとして「人物」を対象とする場合、嗜好テーブル３８０では、「最近」及び「２～５年前」を撮影時期とする画像に対して撮影時期が古い画像ほど表示の優先度が高く設定されている。また例えば、カテゴリとして「食事」を対象とする場合、嗜好テーブル３８０では、「５～１０年前」及び「１０年以上前」を撮影時期とする画像に対して撮影時期が新しい画像ほど表示の優先度が高く設定されている。また例えば、カテゴリとして「物品」を対象とする場合、嗜好テーブル３８０では、撮影時期が古い画像ほど表示の優先度が高く「５～１０年前」及び「１０年以上前」を撮影時期とする画像の優先度が最も高く設定されている。

ＩＤ情報テーブル３９０は、ＳＮＳサーバ４０における乗員の投稿（画像）の閲覧に必要なアカウントやパスワード、クラウドサーバ４２に保存された乗員の画像の閲覧に必要なアカウントやパスワードを有している。また、ＩＤ情報テーブル３９０は、制御装置２０を特定するための端末固有ＩＤ、携帯端末５０を特定するための端末固有ＩＤ等が記憶されている。

図５は、ＣＰＵ３０Ａの機能構成の例を示すブロック図である。図５に示されるように、ＣＰＵ３０Ａは、受信部３００、個人認証部３０５、付与部３１０、属性分析部３２０、嗜好分析部３２５、検索部３３０、選択部３３５及び送信部３４０を有している。各機能構成は、ＣＰＵ３０Ａがストレージ３０Ｄに記憶された制御プログラム３５０を読み出し、これを実行することによって実現される。

受信部３００は、通信Ｉ／Ｆ３０Ｅを介して制御装置２０から送信された車両１２の現在の位置情報、及び各カメラ２６により撮影された画像を受信する機能を有している。また、受信部３００は、ＳＮＳサーバ４０及びクラウドサーバ４２から送信された画像を受信することが可能である。本実施形態では受信部３００が受信する過去に撮影された画像が過去画像となる。処理サーバ３０において受信部３００が収集する過去画像には位置情報が付与された位置情報付画像と、位置情報が付与されていない通常画像がある。本実施形態の受信部３００は収集部に相当する。

個人認証部３０５は、画像処理システム１０を利用する車両１２の乗員に関係する画像を取得すべく、当該乗員の認証情報を用いてＳＮＳサーバ４０及びクラウドサーバ４２に接続する機能を有している。また、個人認証部３０５は、乗員が所持する携帯端末５０が処理サーバ３０に接続できるようユーザＩＤ及びパスワードを生成する機能を有している。

付与部３１０は、受信部３００が受信した過去画像が通常画像である場合に位置情報を付与する機能を有している。付与部３１０は情報付与部及び取得付与部に相当する。具体的に、情報付与部としての付与部３１０は、通常画像と画像データベース３７０に記憶されている位置情報付画像とを比較して類似する場合に、類似する位置情報付画像の位置情報を通常画像に対して付与する。また、取得付与部としての付与部３１０は、通常画像とＷｅｂから取得したＷｅｂ画像とを比較して類似する場合に、類似するＷｅｂ画像に対応する位置情報をＷｅｂから取得し通常画像に対して付与する。ここで、画像が類似するとは、色彩や形状等の特徴から求めた両画像の類似度が所定のレベルを超えている場合をいう。位置情報が付与された通常画像は位置情報付画像となる。そして位置情報付画像の画像データ３７２が画像データベース３７０に記憶される。

属性分析部３２０は、位置情報付画像における乗員の属性を分析する機能を有している。ここで、「乗員の属性」とは、一又は複数の乗員を識別可能な特徴である。属性分析部３２０は、位置情報付画像に係る画像データ３７２に分析した属性に係る識別情報を設定する。例えば、属性分析部３２０は、乗車する乗員毎に属性としてユーザＩＤを設定する。また例えば、属性分析部３２０は、家族で乗車している場合には属性として家族を示す識別情報を設定し、友人同士で乗車している場合には属性として友人を示す識別情報を設定する。

嗜好分析部３２５は、画像処理システム１０を利用する車両１２の乗員の嗜好を分析する機能を有している。嗜好分析部３２５は、乗員が携帯端末５０を通じて入力したユーザ登録情報に含まれる嗜好情報を基に、車両１２に表示させる画像の優先度を規定した嗜好テーブル３８０を生成する。また、嗜好分析部３２５は、ＳＮＳサーバ４０やクラウドサーバ４２から収集した画像のカテゴリ毎の出現頻度を算出し、嗜好テーブル３８０を更新する。

検索部３３０は、車両１２の現在位置から所定範囲内の位置情報を有する一又は複数の画像データを検索する機能を有している。すなわち、検索部３３０は、車両１２の現在位置から所定範囲内を撮影場所とする位置情報付画像を検索することができる。ここで、「所定範囲」には、車両の現在位置を中心とした一定の距離範囲や、車両がこれから走行する経路等が含まれる。

選択部３３５は、検索部３３０において検索された位置情報付画像から車両１２の表示装置２４に表示させる過去画像を選択する機能を有している。ここで、選択部３３５は、車両１２の乗員の嗜好に基づいて生成された嗜好テーブル３８０を参照して表示装置２４に表示させる過去画像を選択する。また、選択部３３５は、車両１２に乗車する乗員の属性に応じて表示装置２４に表示させる過去画像を選択する。

送信部３４０は、通信Ｉ／Ｆ３０Ｅを介して選択部３３５において選択された過去画像の画像データ３７２を制御装置２０に送信する機能を有している。

（処理の流れ）
次に、図８のシーケンス図を参照しつつ、本実施形態の画像処理システム１０における処理の流れについて説明する。

まず、処理サーバ３０において、画像処理システム１０を利用する車両１２の乗員が事前に要する処理について説明する。

図８のステップＳ１において、携帯端末５０は、処理サーバ３０に向けて携帯端末５０に入力された乗員のユーザ登録情報を送信する。ここで、ユーザ登録情報は、携帯端末５０の入力装置から入力される情報であって、携帯端末５０に予めインストールされたアプリケーションや、専用のインターネットサイトを通じて処理サーバ３０に送信される。このユーザ登録情報には、ＳＮＳサーバ４０における乗員の投稿（画像）の閲覧に必要なアカウントやパスワード、クラウドサーバ４２に保存された乗員の画像の閲覧に必要なアカウントやパスワードが含まれる。またユーザ登録情報には、制御装置２０を特定するための情報（例えば、端末固有ＩＤ）、携帯端末５０を特定するための情報（例えば、端末固有ＩＤ）等が含まれる。

さらに、ユーザ登録情報として、車両１２に表示させる画像として優先的に選択されるカテゴリや撮影時期に係る嗜好情報を登録することができる。なお、嗜好情報の登録及び変更は、ユーザ登録後においても行うことができる。

ステップＳ２において、処理サーバ３０は、携帯端末５０から取得したユーザ登録情報に基づいてユーザ登録処理を実行する。具体的には、個人認証部３０５が固有のユーザＩＤを生成すると共に、ＩＤ情報テーブル３９０の新たな領域に対してこの生成されたユーザＩＤと、取得したユーザ登録情報を書き込む。また、処理サーバ３０ではＣＰＵ３０Ａが嗜好情報に基づき嗜好テーブル３８０を生成する。

ステップＳ３において、処理サーバ３０ではＣＰＵ３０Ａが、ユーザ登録情報に含まれる端末固有ＩＤの制御装置２０に向けてテスト信号を送信する。

ステップＳ４において、制御装置２０ではＣＰＵ２０Ａが、テスト信号を正常に受信した場合に、処理サーバ３０に向けて応答信号を送信する。

ステップＳ５において、処理サーバ３０ではＣＰＵ３０Ａが、応答信号を正常に受信した場合に、ＩＤ発行処理を実行する。具体的にＣＰＵ３０Ａは、ＩＤ情報テーブル３９０からユーザ通知用のユーザＩＤ及び当該ＩＤと同時に生成したパスワードを取得する。

ステップＳ６において、処理サーバ３０ではＣＰＵ３０Ａが、ユーザ登録処理において生成したユーザＩＤ及び同時に生成したパスワードを携帯端末５０に送信する。

車両１２の乗員は、取得したユーザＩＤ及びパスワードを用いて携帯端末５０から処理サーバ３０に接続することで画像処理システム１０に係る設定を変更することができる。例えば、乗員は表示装置２４に画像を表示させるか否かの機能の有効に係る設定や、嗜好情報の更新を行うことができる。また、乗員は位置情報付画像の属性を設定することができる。例えば、自分が写っている画像に対して自己のＩＤを設定することができる。また例えば、乗員が家族や友人の範囲を特定することで、家族が写っている画像に家族を示す識別情報を設定したり、友人が写っている画像に友人を示す識別情報を設定したりすることができる。

次に、図９のシーケンス図を参照しつつ、処理サーバ３０が過去画像を収集し、制御装置２０が過去画像を表示するまでに至る処理について説明する。

図９のステップＳ１１からステップＳ１９にかけて、車両１２の表示装置２４に表示させる過去画像を取得し、蓄積すると共に乗員の嗜好を分析する処理が実行される。

まず、ステップＳ１１において、処理サーバ３０では、ＣＰＵ３０ＡがＳＮＳサーバ４０に向けてアカウント及びパスワードを送信する。

ステップＳ１２において、ＳＮＳサーバ４０は、処理サーバ３０から受信したアカウント及びパスワードを用いてログイン処理を実行する。ＳＮＳサーバ４０では、アカウントとパスワードとが一致することにより、処理サーバ３０は、ユーザである乗員の投稿（画像）をダウンロードすることが可能となる。

ステップＳ１３において、ＳＮＳサーバ４０は、処理サーバ３０に向けて乗員のアカウントに係る画像の画像データを送信する。つまり、ＣＰＵ３０Ａは、ＳＮＳサーバ４０から乗員の投稿に含まれる画像を過去画像として受信する。なお、この過去画像には必ずしも位置情報は付与されていない。つまり、過去画像は位置情報付画像と通常画像とを含んでいる。

まず、ステップＳ１４において、処理サーバ３０では、ＣＰＵ３０Ａがクラウドサーバ４２に向けてアカウント及びパスワードを送信する。

ステップＳ１５において、クラウドサーバ４２は、処理サーバ３０から受信したアカウント及びパスワードを用いてログイン処理を実行する。クラウドサーバ４２では、アカウントとパスワードとが一致することにより、処理サーバ３０は、ユーザである乗員の画像をダウンロードすることが可能となる。

ステップＳ１６において、クラウドサーバ４２は、処理サーバ３０に向けて乗員のアカウントに係る画像の画像データを送信する。つまり、ＣＰＵ３０Ａは、クラウドサーバ４２から乗員の画像を過去画像として受信する。なお、この過去画像には必ずしも位置情報は付与されていない。つまり、過去画像は位置情報付画像と通常画像とを含んでいる。

一方、ステップＳ１７において、制御装置２０は、車両１２においてカメラ２６が撮影した画像を撮影場所の位置情報を含む画像データとして処理サーバ３０に送信する。つまり、ＣＰＵ３０Ａは、車両１２において撮影された位置情報付画像を過去画像として受信する。

ステップＳ１８において、過去画像を受信した処理サーバ３０では、ＣＰＵ３０Ａが各画像に対して位置解析処理を実行する。詳細は後述する。これにより、ＣＰＵ３０Ａは、位置情報付画像に係る画像データ３７２をストレージ３０Ｄの画像データベース３７０に記憶する。

ステップＳ１９において、処理サーバ３０では、ＣＰＵ３０Ａが画像データ３７２を基に嗜好分析処理を実行する。嗜好分析処理では、乗員又は車両１２が過去に撮影した過去画像からカテゴリや撮影時期毎の出現頻度を求める。そして、ＣＰＵ３０Ａは嗜好テーブル３８０を更新する。なお、嗜好分析処理を実行する場合、ステップＳ１のユーザ登録時において嗜好情報を取得しなくてもよい。

次にステップＳ２０からステップＳ２３にかけて、車両１２の位置情報を基に表示装置２４に過去画像が表示される処理が実行される。

ステップＳ２０において、制御装置２０では、ＣＰＵ２０Ａが任意のタイミングでＧＰＳ装置２２から取得した車両１２の現在の位置情報、及び制御装置２０が取得した乗車中の乗員に係る乗員情報を処理サーバ３０に送信する。

ステップＳ２１において、位置情報を受信した処理サーバ３０では、ＣＰＵ３０Ａが当該位置情報に基づいて画像抽出処理を実行する。詳細は後述する。これにより、ＣＰＵ３０Ａは、表示装置２４に表示させる過去画像を抽出する。

ステップＳ２２において、処理サーバ３０では、ＣＰＵ３０Ａが抽出した一又は複数の過去画像に係る画像データ３７２を制御装置２０に送信する。

ステップＳ２３において、画像データ３７２を受信した制御装置２０では、ＣＰＵ２０Ａが画像表示処理を実行する。詳細は後述する。これにより、各表示装置２４には車両１２の走行場所に応じた過去画像が表示される。

次に、図１０を用いて、処理サーバ３０においてＣＰＵ３０Ａが制御プログラム３５０を読み込むことで実行される位置解析処理について説明する。

まず、ステップＳ１００において、ＣＰＵ３０ＡはＳＮＳサーバ４０、クラウドサーバ４２又は車両１２から受信した過去画像に位置情報が付与されているか否かを判定する。ＣＰＵ３０Ａは過去画像に位置情報が付与されていると判定した場合、つまり過去画像が位置情報付画像の場合は、ステップＳ１０８に進む。一方、ＣＰＵ３０Ａは過去画像に位置情報が付与されていないと判定した場合、つまり過去画像が通常画像である場合は、次のステップＳ１０１に進む。

ステップＳ１０１において、ＣＰＵ３０Ａは通常画像と類似する位置情報付画像が画像データ３７２に含まれていないか検索する。詳しくは、ＣＰＵ３０Ａは、通常画像と画像データ３７２の位置情報付画像とを順次比較し、比較した両画像において色彩や形状等の特徴から類似度を求める。そして次のステップＳ１０２に進む。

ステップＳ１０２において、ＣＰＵ３０Ａは画像データ３７２の位置情報付画像に通常画像と類似している画像があるか否かを判定する。すなわち、類似度が所定のレベルを超えている画像があるか否かを判定する。ＣＰＵ３０Ａは画像データ３７２の位置情報付画像に通常画像と類似している画像があると判定した場合、次のステップＳ１０３に進む。一方、ＣＰＵ３０Ａは画像データ３７２の位置情報付画像に通常画像と類似している画像がないと判定した場合、ステップＳ１０４に進む。

ステップＳ１０３において、ＣＰＵ３０Ａは類似している位置情報付画像と同じ位置情報を通常画像に付与する。そしてステップＳ１０８に進む。

ステップＳ１０４において、ＣＰＵ３０Ａは通常画像と類似するＷｅｂ画像がＷｅｂ上にないか検索する。詳しくは、ＣＰＵ３０Ａは、通常画像とＷｅｂ画像とを順次比較し、比較した両画像において色彩や形状等の特徴から類似度を求める。そして次のステップＳ１０５に進む。

ステップＳ１０５において、ＣＰＵ３０ＡはＷｅｂ上のＷｅｂ画像に通常画像と類似している画像があるか否かを判定する。すなわち、類似度が所定のレベルを超えている画像があるか否かを判定する。ＣＰＵ３０ＡはＷｅｂ上のＷｅｂ画像に通常画像と類似している画像があると判定した場合、次のステップＳ１０６に進む。一方、ＣＰＵ３０ＡはＷｅｂ上のＷｅｂ画像に通常画像と類似している画像がないと判定した場合、位置解析処理を終了する。

ステップＳ１０６において、ＣＰＵ３０Ａは類似しているＷｅｂ画像の撮影位置が特定可能か否かを判定する。ＣＰＵ３０ＡはＷｅｂ画像の撮影位置が特定できると判定した場合、次のステップＳ１０７に進む。一方、ＣＰＵ３０ＡはＷｅｂ画像の撮影位置が特定できないと判定した場合、位置解析処理を終了する。

ステップＳ１０７において、ＣＰＵ３０Ａは類似しているＷｅｂ画像に対応する位置情報をＷｅｂから取得し、取得した位置情報を通常画像に付与する。これにより、通常画像は位置情報付画像となる。そしてステップＳ１０８に進む。

ステップＳ１０８において、ＣＰＵ３０Ａは位置情報付画像に対し、画像の撮影時期、該当するカテゴリ、属性に係る識別情報を付与した上で、画像データ３７２としてストレージ３０Ｄに記憶する。そして位置情報処理を終了する。

次に、図１１を用いて、処理サーバ３０においてＣＰＵ３０Ａが制御プログラム３５０を読み込むことで実行される画像抽出処理について説明する。

まず、ステップＳ２００において、ＣＰＵ３０Ａは車両１２の現在位置から所定範囲内の位置情報を含む位置情報付画像が画像データ３７２にあるかどうか検索する。例えば、車両１２の現在の位置情報を中心として半径５００ｍの範囲内の位置情報を含む画像データ３７２があるか検索する。そして次のステップＳ２０１に進む。

ステップＳ２０１において、ＣＰＵ３０Ａは車両１２の現在位置から所定範囲内の位置情報を含む画像データ３７２を抽出した否かを判定する。ＣＰＵ３０Ａが画像データ３７２を抽出したと判定した場合は、次のステップＳ２０２に進む。一方、ＣＰＵ３０Ａが画像データ３７２を抽出していないと判定した場合は、そのまま画像抽出処理を終了する。

ステップＳ２０２において、ＣＰＵ３０Ａは抽出した画像データ３７２が乗員の属性に係る識別情報を有しているか否かを判定する。ＣＰＵ３０Ａは識別情報を有していると判定した場合は、次のステップＳ２０３に進む。一方、ＣＰＵ３０Ａは識別情報を有していないと判定した場合は、ステップＳ２０４に進む。

ステップＳ２０３において、ＣＰＵ３０Ａは識別情報に対応する画像データ３７２を抽出する。これにより、例えば、車両１２に乗車している乗員と関係のない過去画像は除外される。また例えば、車両１２に家族で乗車している場合は家族に関連する過去画像が抽出される。そして次のステップＳ２０４に進む。

ステップＳ２０４において、ＣＰＵ３０Ａは抽出した画像データ３７２が複数あるか否かを判定する。ＣＰＵ３０Ａは画像データ３７２が複数あると判定した場合は、次のステップＳ２０５に進む。一方、ＣＰＵ３０Ａは抽出した画像データ３７２が複数ない、すなわち一つであると判定した場合は、ステップＳ２０６に進む。

ステップＳ２０５において、ＣＰＵ３０Ａは嗜好テーブル３８０を参照して抽出した画像データ３７２に係る位置情報付画像から車両１２の表示装置２４に表示させる過去画像を選択する。例えば、カテゴリが「風景」の位置情報付画像が複数の撮影時期に渡って抽出された場合、図７に示されるように、「２～５年前」及び「５～１０年前」の位置情報付画像が優先的に選択される。また、例えば、「最近」を撮影時期とする位置情報付画像が「風景」、「人物」、「食事」のカテゴリのそれぞれに抽出された場合、図７に示されるように、カテゴリが「食事」の位置情報付画像が優先的に選択される。過去画像が選択されると画像抽出処理は終了する。

ステップＳ２０６において、ＣＰＵ３０Ａは抽出された一の画像データ３７２に係る位置情報付画像を車両１２の表示装置２４に表示させる過去画像として選択する。そして画像抽出処理を終了する。

以上、画像抽出処理では、ＣＰＵ３０Ａが車両１２の現在の位置情報、乗員の属性及び嗜好に基づいて表示装置２４に表示させる過去画像を抽出する。

次に、図１２を用いて、制御装置２０においてＣＰＵ２０Ａが実行プログラムを読み込むことで実行される画像表示処理について説明する。

まず、ステップＳ３００において、ＣＰＵ２０Ａは、処理サーバ３０から画像データ３７２を受信したか否かを判定する。ＣＰＵ２０Ａは、処理サーバ３０から画像データ３７２を受信したと判定すると次のステップＳ３０１に進む。一方、ＣＰＵ２０Ａは、処理サーバ３０から画像データ３７２を受信してないと判定するとステップＳ３００を繰り返す。

ステップＳ３０１において、ＣＰＵ２０Ａは、画像データ３７２に係る過去画像を表示装置２４に表示することが許可されているか否かを判定する。「表示することが許可されている」場合とは、車両１２の停車中、自動運転中等、乗員が運転から解放されている状態である。ＣＰＵ２０Ａが過去画像の表示が許可されていると判定した場合は、次のステップＳ３０２に進む。一方、ＣＰＵ２０Ａが過去画像の表示が許可されていないと判定した場合は、そのまま画像表示処理は終了する。

ステップＳ３０２において、ＣＰＵ２０Ａは、表示装置２４に画像データ３７２に係る過去画像を表示する。ここで、表示する過去画像が複数ある場合は各表示装置２４毎に表示してもよいし、全ての表示装置２４においてスライドショーで表示してもよい。そして、次のステップＳ３０３へ進む。

ステップＳ３０３において、ＣＰＵ２０Ａは、終了条件を満たしたか否かを判定する。「終了条件」には、表示されている過去画像に係る撮影場所を車両１２が通過した場合、過去画像を表示装置２４に表示してから所定時間が経過した場合等が含まれる。ＣＰＵ２０Ａが終了条件を満たしていると判定した場合は、次のステップＳ３０４に進む。一方、ＣＰＵ２０Ａが終了条件を満たしていないと判定した場合は、ステップＳ３０２に戻る。つまり、表示装置２４における過去画像の表示が継続される。

ステップＳ３０４において、ＣＰＵ２０Ａは、表示装置２４における過去画像の表示を終了する。そして、画像表示処理は終了する。

（まとめ）
以上、本実施形態の画像処理システム１０によれば、走行中の車両１２の表示装置２４に走行地点に関連する過去画像を表示させることで、乗員に過去の情景を提供することができる。

ここで、本実施形態の処理サーバ３０では、車両１２に乗車する乗員の嗜好に基づく嗜好テーブル３８０を設けることにより、車両１２に表示させる過去画像に乗員の好みを反映させることができる。嗜好テーブル３８０は、乗員が携帯端末５０を通じて送信した嗜好情報に基づいて生成してもよいし、ＳＮＳサーバ４０及びクラウドサーバ４２から収集した過去画像の傾向に基づいて生成してもよい。また、嗜好テーブル３８０は、乗員の携帯端末５０を通じた更新指示に基づいて更新させてもよい。

また、本実施形態では、処理サーバ３０に記憶される位置情報付画像に乗員の属性に係る識別情報を付与することにより、車両に乗車している乗員に適した過去画像を表示させることができる。この識別情報は、乗員が携帯端末５０を通じて付与してもよい。また識別情報は、画像データ３７２として記憶されている位置情報付画像を参照して付与してもよい。例えば、同じ人物が写っている位置情報付画像には同じ識別情報を付与することができる。また、識別情報は、乗員の携帯端末５０を通じて後から変更してもよい。

本実施形態の処理サーバ３０は、制御装置２０、ＳＮＳサーバ４０及びクラウドサーバ４２から車両１２に表示させる過去画像を収集する機能を有している。これにより、車両１２に表示させる過去画像のバリエーションを増やすことができる。

そして、本実施形態では、収集した過去画像が位置情報の付与されていない通常画像である場合でも、後から位置情報を付与することができる。例えば、通常画像と既に処理サーバ３０に記憶される位置情報付画像とを逐次比較し、両画像が類似する場合に類似する位置情報付画像の位置情報を付与することができる。また例えば、通常画像とＷｅｂ上のＷｅｂ画像とを逐次比較し、両画像が類似する場合に類似するＷｅｂ画像に対応する位置情報を付与することができる。本実施形態によれば、デジタルカメラ等のデジタル画像でなく、フィルム写真やポスター等も車両１２に表示させる過去画像とすることができる。これにより、古い画像も車両１２に表示されるため、乗員はより過去を懐かしむことができる。

本実施形態の車両１２では、受信した画像データに係る過去画像の表示が許可されている場合に、過去画像を表示装置２４に表示する。ここで、表示の許可の条件を車両１２の停車中や自動運転中等、乗員が運転から解放されている場合に設定することにより、乗員の安全性を確保することができる。そして、本実施形態は運転から解放された乗員に対して新たな車内の過ごし方を提供することができる。

［備考］
上記実施形態の画像処理システム１０では、処理サーバ３０が収集した過去画像の位置解析処理、乗員の嗜好に係る嗜好分析処理、及び車両１２の位置情報に基づく画像抽出処理を行い、制御装置２０が過去画像の画像表示処理を実行していた。ただし、これに限らず、位置解析処理、嗜好分析処理、画像抽出処理及び画像表示処理の全てを制御装置２０において実行するように形成してもよい。この場合、処理サーバ３０は不要となり、制御装置２０が画像処理装置となる。そして、制御装置２０ではＣＰＵ２０Ａが実行プログラムを実行することで、図３に示す受信部２００、取得部２１０、送信部２２０、編集部２３０、出力部２４０に加えて、図５に示す個人認証部３０５、付与部３１０、属性分析部３２０、嗜好分析部３２５、検索部３３０、及び選択部３３５として機能する。

なお、上記実施形態でＣＰＵ２０Ａ、３０Ａがソフトウェア（プログラム）を読み込んで実行した位置解析処理、嗜好分析処理、画像抽出処理及び画像表示処理を、ＣＰＵ以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、ＦＰＧＡ（Field-Programmable Gate Array）等の製造後に回路構成を変更可能なＰＬＤ（Programmable Logic Device）、及びＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、位置解析処理、嗜好分析処理、画像抽出処理及び画像表示処理を、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせ等）で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。

また、上記実施形態では、実行プログラムがストレージ２０Ｄに予め記憶（インストール）され、制御プログラム３５０がストレージ３０Ｄに予め記憶（インストール）されている態様を説明したが、これに限定されない。各プログラムは、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ－ＲＯＭ（Digital Versatile Disc Read Only Memory）、及びＵＳＢ（Universal Serial Bus）メモリ等の記録媒体に記録された形態で提供されてもよい。また、プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。

上記実施形態で説明した処理の流れも、一例であり、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよい。

その他、上記実施形態で説明した制御装置、処理サーバ、ＳＮＳサーバ、クラウドサーバ及び携帯端末の各々の構成は、一例であり、主旨を逸脱しない範囲内において状況に応じて変更してもよい。

１０ 画像処理システム
１２ 車両
２４ 表示装置
２４Ａ 前面表示部（表示装置）
２４Ｂ 後面表示部（表示装置）
２４Ｒ１ 右側面表示部（表示装置）
２４Ｒ２ 右側面表示部（表示装置）
２４Ｌ１ 左側面表示部（表示装置）
２４Ｌ２ 左側面表示部（表示装置）
３０ 処理サーバ（画像処理装置）
３０Ｄ ストレージ（記憶部）
２００ 受信部
２４０ 出力部
３００ 受信部（収集部）
３１０ 付与部（情報付与部、取得付与部）
３３０ 検索部
３３５ 選択部
３７２ 画像データ

Claims (8)

1. 撮影場所に係る位置情報が付与された位置情報付画像に係る画像データを記憶する記憶部と、
   車両の現在位置から所定範囲内の前記位置情報を有する一又は複数の前記画像データを検索する検索部と、を備え、
   前記検索部は、前記車両の前記現在位置から前記所定範囲内の前記位置情報を含む複数の前記画像データを検索し、
   位置情報付画像の撮影時期及びカテゴリ毎に前記車両の乗員の嗜好に基づいた優先度が規定されており、
   検索された複数の前記画像データにおけるカテゴリを抽出し、優先度が最も高い撮影時期の前記画像データに係る位置情報付画像を前記車両に表示させる画像として選択する選択部を備える画像処理装置。
2. 前記選択部は、前記車両の乗員の嗜好に基づいて前記車両に表示させる画像を選択する請求項１に記載の画像処理装置。
3. 前記選択部は、前記車両に乗車する乗員の属性に応じて前記車両に表示させる画像を選択する請求項１又は２に記載の画像処理装置。
4. 過去に撮影された過去画像を収集する収集部をさらに備え、
   前記記憶部は、前記過去画像に係る画像データに前記位置情報が付与されている場合、前記位置情報付画像として記憶する請求項１～３の何れか１項に記載の画像処理装置。
5. 前記収集部が前記位置情報の付与されていない前記過去画像である通常画像を収集し、前記通常画像と前記記憶部に記憶されている前記位置情報付画像とを比較して類似する場合に、類似する前記位置情報付画像の前記位置情報を前記通常画像に対して付与する情報付与部を備える請求項４に記載の画像処理装置。
6. 前記収集部が前記位置情報の付与されていない前記過去画像である通常画像を収集し、前記通常画像とＷｅｂから取得したＷｅｂ画像とを比較して類似する場合に、類似する前記Ｗｅｂ画像に対応する前記位置情報を前記Ｗｅｂから取得し前記通常画像に対して付与する取得付与部を備える請求項４又は５に記載の画像処理装置。
7. 請求項１～６の何れか１項に記載の前記画像処理装置と、表示装置を有する前記車両と、を備える画像処理システムであって、
   前記車両は、
   前記画像処理装置において選択された前記画像データを前記画像処理装置から受信する受信部と、
   前記車両において前記画像データに係る画像の表示が許可されている場合に、前記画像データを前記表示装置に出力する出力部を備える画像処理システム。
8. 請求項１～６の何れか１項に記載の前記画像処理装置と、
   表示装置と、
   前記車両において前記画像データに係る画像の表示が許可されている場合に、前記画像処理装置において選択された前記画像データを前記表示装置に出力する出力部と、
   を備える車両。

Images