JP7200645B2

JP7200645B2 - 車載装置、プログラム、及び車両

Info

Publication number: JP7200645B2
Application number: JP2018231854A
Authority: JP
Inventors: 伸桜田; 淳岡本; 丈亮山根; 梨紗子山本; 和紀杉江; 正俊小見山
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2018-12-11
Filing date: 2018-12-11
Publication date: 2023-01-10
Anticipated expiration: 2038-12-11
Also published as: CN111301284A; US20200186730A1; JP2020095406A; CN111301284B; US11057575B2

Description

本開示は、車載装置、プログラム、及び車両に関する。

いわゆる車載カメラとして、他車両または障害物といった車外の被写体を撮像するための車載カメラと、乗員の状況を監視したり記録したりするために車内を撮像するための車載カメラとが知られている。さらに、車外用、車内用のカメラを統合的に用いる技術として、特許文献１には、同一方向からの車内の俯瞰画像と車外の俯瞰画像を合成して、車内外を同時に俯瞰する合成画像を生成する技術が開示される。

特開２００８－１６８７１４号公報

特許文献１の技術は、たとえば運転手であるユーザが後部座席の状況を把握するという目的に資するものの、ユーザの利便性において改善の余地がある。

そこで、上記に鑑み、本発明の目的は、ユーザの利便性を高める車載装置等を提供することにある。

本開示の一実施形態に係る車載装置は、車室内の被写体を撮像し第１の撮像画像を生成する第１の車載カメラと、車外風景を撮像し第２の撮像画像を生成する第２の車載カメラと、前記第１、第２の撮像画像から、前記車外風景を背景として前記被写体が配置された合成画像を生成する画像処理部と、を有する。

本開示の別の態様に係る携帯端末のプログラムは、車載装置に、車室内の被写体を撮像した撮像画像と車外風景を撮像した撮像画像から前記車外風景を背景として前記被写体が配置された合成画像を生成させるための指示を受け付ける工程と、前記指示を車載装置へ送信して当該車載装置に前記合成画像を生成させる工程と、を携帯端末に実行させる。

本開示の別の態様に係る車載装置のプログラムは、車室内の被写体を撮像し第１の撮像画像を生成する第１の車載カメラに撮像を実行させる工程と、車外風景を撮像し第２の撮像画像を生成する第２の車載カメラに撮像を実行させる工程と、前記第１、第２の撮像画像から、前記車外風景を背景として前記被写体が配置された合成画像を生成する工程とを、車載装置に実行させる。

本開示における車載装置等によれば、ユーザの利便性を高めることができる。

車載装置の構成を示す図である。制御装置の構成を示す図である。携帯端末の構成を示す図である。車載装置等の動作を示すシーケンス図である撮像画像と合成画像の例を示す図である。

以下、図面を参照しつつ、本発明の一実施形態について説明する。

図１は、一実施形態に係る車載装置１の構成を示す。車載装置１は、車両１０に搭載される。車両１０は、たとえば自動車であるが、これに限られずユーザが乗車可能な任意の車両であってもよい。車載装置１は、車室内の被写体（ユーザ）１１を撮像する第１の車載カメラ１２と、車外風景を撮像する第２の車載カメラ１３と、制御装置１５とを有する。制御装置１５は車載カメラ１２及び１３と接続されこれらを統括的に制御するとともに、たとえばナビゲーション機能を有する。また、車載装置１は、有線または無線で携帯端末１６と情報通信可能に接続される。さらに、車載装置１と携帯端末１６は、それぞれ有線または無線でネットワーク１８を介してサーバ１９と情報通信可能に接続される。

ユーザ１１が車両１０に搭乗して車両１０が走行する際、車載カメラ１２は車室内のユーザ１１を撮像し、車載カメラ１３は車外風景を撮像する。そして、制御装置１５にて、車室内の撮像画像におけるユーザ１１の画像部分と、車外風景の撮像画像とから、車外風景を背景としてユーザ１１を含む合成画像が生成される。生成された合成画像は、制御装置１５から携帯端末１６、またはサーバ１９に送信される。ユーザ１１は、携帯端末１６により、制御装置１５またはサーバ１９から合成画像を取得して、合成画像を閲覧できる。このようにして、車載装置１は、ユーザ１１の興趣を刺激して娯楽性を高めることができる。

次に、車載装置１の各部について説明する。

車載カメラ１２及び１３は、制御装置１５の制御のもと撮像を行う。車載カメラ１２は、たとえば、車両１０の車室内においてルームミラー内または近傍に取り付けられ、車室内を撮像するインカメラである。車載カメラ１２は、たとえば、車両１０の進行方向に向かった状態で車両１０に搭乗するユーザ１１その他の車両１０の乗員を、略正面から撮像する。車載カメラ１３は、たとえば、車両１０の車体前部、側部または後部に取り付けられ、進行方向前方、側面方向、または後方の車外風景を撮像するカメラのいずれか１つ、または複数の組合せである。また、車載カメラ１２、１３は、いずれも、単眼カメラであってもよく、ステレオカメラであってもよい。車載カメラ１２及び１３は、それぞれ周期的に（たとえば数ミリ秒～数秒周期）撮像を行い、撮像画像を生成する。車載カメラ１２は撮像により生成されるユーザ１１を含む車室内の撮像画像を、制御装置１５に送る。また、車載カメラ１３は、撮像により生成される車外風景の撮像画像を、制御装置１５に送る。

図２は、制御装置１５の構成を示す。制御装置１５は、入出力部２０、通信部２１、記憶部２２、検出部２３、ナビゲーション部２５、及び制御部２６を有する。制御装置１５は、単一の装置であってもよいし、複数の装置により構成されてもよい。

入出力部２０は、ユーザ１１の入力を検出し、入力情報をナビゲーション部２５、制御部２６等に送る入力インタフェースを有する。かかる入力インタフェースは、たとえば、物理キー、静電容量キー、パネルディスプレイと一体的に設けられたタッチスクリーン、または音声入力を受け付けるマイクロフォン等であるが、これらに限られず、任意の入力インタフェースであってもよい。また、入出力部２０は、ナビゲーション部２５または制御部２６が生成したり、携帯端末１６またはサーバ１９から取得したりする情報をユーザ１１に対して出力する出力インタフェースを有する。かかる出力インタフェースは、たとえば、情報を画像・映像として出力するパネルディスプレイ、ヘッドアップディスプレイまたは情報を音声として出力するスピーカ等であるが、これらに限られず、任意の出力インタフェースであってもよい。

通信部２１は、１つ以上の通信モジュールを有する。通信モジュールは、たとえば、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信規格、有線ＬＡＮ（Local Area Network）規格、無線ＬＡＮ規格等に対応するモジュールを含む。また通信モジュールは、たとえば、４Ｇ（4th Generation）及び５Ｇ（5th Generation）等の移動体通信規格に対応するモジュールを含む。さらに通信モジュールは、ＧＰＳ（Global Positioning System）受信モジュールを含む。さらに、通信部２１は、ＤＣＭ（Data Communication Module）等の通信機を有してもよい。制御装置１５は、通信部２１を介して携帯端末１６と情報通信を行う。また、制御装置１５は、通信部２１を介してネットワーク１８に接続され、サーバ１９と情報通信を行う。さらに、制御装置１５は、通信部２１によりＧＰＳ信号を受信する。

記憶部２２は、１つ以上のメモリを含む。記憶部２２に含まれる各メモリは、たとえば半導体メモリ、磁気メモリ、または光メモリ等であるが、これらに限られない。各メモリは、たとえば主記憶装置、補助記憶装置、またはキャッシュメモリとして機能する。記憶部２２は、制御装置１５の動作に用いられる任意の情報を記憶する。たとえば、記憶部２２は、制御・処理プログラム、及び組み込みソフトウェア等を記憶してもよい。また、記憶部２２は、地図情報２０１及び推奨地点情報２０２を格納する。推奨地点情報２０２は、景勝地など、合成画像の生成をユーザ１１に提案する地点の情報を有する。

検出部２３は、たとえば、車速、ブレーキの制動、加速度、舵角、ヨーレート、方角等を検出する、各種センサを有する。検出部２３は、所定の周期で、各種センサの検出結果をナビゲーション部２５及び制御部２６に送る。

ナビゲーション部２５は、制御装置１５によるナビゲーション機能を実現する。ナビゲーション部２５は、経路案内に関する処理を実行する１つ以上のプロセッサを有する。ナビゲーション部２５は、記憶部２２から地図情報２０１を、入出力部２０からユーザ１１による入力情報を取得する。また、ナビゲーション部２５は、制御部２６が検出する車両１０の現在位置（たとえば、緯度及び経度）を制御部２６から取得する。ナビゲーション部２５は、ユーザ１１による入力情報、予定情報、現在位置等に基づいて、経路案内のための情報を入出力部２０によりユーザ１１に提示する。

制御部２６は、１つ以上のプロセッサを有する。各プロセッサは、汎用のプロセッサ、または特定の処理に特化した専用のプロセッサであるが、これらに限られない。たとえば、車両１０に搭載されたＥＣＵ（Electronic Control Unit）が、制御部２６として機能してもよい。制御部２６は、制御装置１５と車載カメラ１２及び１３の動作を統括的に制御する。また、制御部２６は、現在時刻を把握する計時機能を有する。

図３は、携帯端末１６の構成を示す。携帯端末１６は、通信部３１、記憶部３２、入出力部３３、及び制御部３５を有する。携帯端末１６は、たとえば、スマートフォン、タブレットなどの、可搬型の電子機器である。

通信部３１は、ネットワーク１８に接続する１つ以上の通信モジュールを有する。通信モジュールは、たとえば、４Ｇ及び５Ｇ等の移動体通信規格に対応するモジュールを含んでもよい。携帯端末１６は、通信部３１を介してネットワーク１８に接続される。通信モジュールは、ＧＰＳ受信モジュールを含む。携帯端末１６は、通信部３１により現在位置を示すＧＰＳ信号を受信する。

記憶部３２は、１つ以上のメモリを有する。各メモリは、たとえば半導体メモリであるが、これに限られない。各メモリは、たとえば主記憶装置、補助記憶装置、またはキャッシュメモリとして機能してもよい。記憶部３２は、携帯端末１６の制御・処理動作に関する任意の情報を記憶する。さらに、記憶部３２は、地図情報２０１及び推奨地点情報２０２を格納してもよい。

入出力部３３は、ユーザ１１による入力を検出し、入力情報を制御部３５に送る入力インタフェースを有する。かかる入力インタフェースは、たとえば、物理キー、静電容量キー、パネルディスプレイと一体的に設けられたタッチスクリーン、または音声入力を受け付けるマイクロフォン等であるが、これらに限られず、任意の入力インタフェースであってもよい。また、入出力部３３は、制御部３５が生成したり記憶部３２から読み出したりする情報を、ユーザ１１に対して出力する出力インタフェースを有する。かかる出力インタフェースは、たとえば、情報を画像・映像で出力するパネルディスプレイ、または情報を音声で出力するスピーカ等であるが、これらに限られず、任意の出力インタフェースであってもよい。

制御部３５は、１つ以上のプロセッサを有する。プロセッサは、たとえば、汎用のプロセッサ、または特定の処理に特化した専用のプロセッサであるが、これらに限られない。制御部３５は、記憶部３２に格納される制御・処理プログラムに従って携帯端末１６の動作の制御、及び各種アプリケーションプログラムを実行する。制御部３５は、ナビゲーション用のアプリケーションプログラムを実行することで、ナビゲーション機能を実現することもできる。

なお、図１において、サーバ１９は、１つ又は互いに通信可能な複数のコンピュータであって、ネットワーク１８に接続する１つ以上の通信モジュールを含む通信部、サーバ１９の動作に用いられる任意の情報、制御・処理プログラム等を格納する記憶部、及び、制御・処理プログラムに従ってサーバ１９の動作を制御する１つ以上のプロセッサを有する制御部等を有する。

図４は、車載装置１の動作手順を示すシーケンス図である。図４に示す手順は、車両１０の走行時の任意の事象をトリガとして、たとえば、制御装置１５が現在位置の移動を検出したとき、ナビゲーション部２５が経路案内を開始したとき、ユーザ１１が携帯端末１６から動作開始を指示したときなどに、実行される。

制御装置１５は、車両１０が景勝地等に差し掛かると、ユーザ１１に対し合成画像の生成を提案する提案情報を出力する(手順Ｓ４０１）。手順Ｓ４０１を実行する制御部２６が、「提案部」に対応する。たとえば、制御装置１５では、制御部２６は、記憶部２２から地図情報２０１と推奨地点情報２０２とを読み出し、地図上で現在位置が撮像推奨地点に任意の基準より近くに接近すると、入出力部２０に合成画像生成を提案する提案情報を出力する。撮像推奨地点がナビゲーション部２５により案内中の経路上にあることを提案情報出力の条件としてもよい。たとえば、制御部２６は、「あと２００メートル右側、シャッターチャンスです」などのメッセージを出力する。提案情報は、表示により出力されても、音声により出力されてもよい。また、携帯端末１６が、現在位置の移動を検出し、景勝地等に差し掛かると、ユーザ１１に対し提案情報を出力してもよい(手順Ｓ４０１ａ）。携帯端末１６でも、たとえば、制御部３５が記憶部３２から地図情報２０１と推奨地点情報２０２とを読み出し、同様の処理により、入出力部３３から提案情報を出力する。

ユーザ１１が、制御装置１５または携帯端末１６が出力する提案情報に反応し、撮像を希望するタイミングで指示を携帯端末１６に入力すると(手順Ｓ４０２）、これに応答して、携帯端末１６は合成画像生成指示を制御装置１５に送信する(手順Ｓ４０３）。そして、制御装置１５は、合成画像生成指示を受信すると(手順Ｓ４０４）、車載カメラ１２及び１３から撮像画像を取得する（手順Ｓ４０５）。たとえば携帯端末１６では、制御部２６が、入出力部２０に指示用のアイコンなどのオブジェクトを表示し、オブジェクトへのユーザ１１のタッチを検出する。または、携帯端末１６は、音声による指示入力を受け付けることも可能である。すると、携帯端末１６は、合成画像指示を通信部２１により制御装置１５へ送信する。車載カメラ１２及び１３が周期的に撮像を行っている一方で、制御装置１５では、制御部２６が、通信部２１により携帯端末１６からの指示を受信すると、車載カメラ１２及び１３から、たとえばその時点で最新の撮像画像を取得する。さらに、音声により指示入力を行う変形例において、制御装置１５が直接音声入力を受け付けてもよい。

次いで、制御装置１５は、車載カメラ１２の撮像画像と車載カメラ１３の撮像画像を合成して合成画像を生成する(手順Ｓ４０６）。たとえば制御部２６は、図５（Ａ）に示すような車載カメラ１２の撮像画像５００と、図５（Ｂ）に示すような車載カメラ１３の撮像画像５０１とを合成する。車載カメラ１２の撮像画像５００には、ユーザ１１及び同乗者（ペットなどの動物を含んでもよい）などの被写体画像５１と、車室内の外観が背景画像５２として含まれる。一方、車載カメラ１３の撮像画像５０１には、景勝地などの車外風景５３が含まれる。制御部２６は、撮像画像５００から背景画像５２を除いて被写体画像５１を抽出し、撮像画像５０１に重畳する。その結果、図５（Ｃ）に示すような、車外風景５３を背景として被写体画像５１が配置される合成画像５０３が生成される。被写体画像５１は、たとえば任意に拡大・縮小してもよい。また、たとえば、被写体画像５１を配する位置は、任意に設定される。または、被写体画像５１の拡大・縮小率または位置を、制御部２６が実行する処理プログラムに予め設定してもよいし、ユーザ１１が携帯端末１６に対する操作により制御装置１５に対し拡大・縮小率または位置を設定してもよい。また、画像合成においては、任意の画像処理方法を用いることができる。また、撮像画像、合成画像は、任意の手法により適宜補正してもよい。さらに、合成画像５０３に、タイムスタンプ、車速情報、現在位置情報等を挿入し、記憶の補助とともにユーザ１１の興趣を刺激することも可能である。手順Ｓ４０６を実行する制御部２６が、「画像処理部」に対応する。

図４に戻り、制御装置１５は、生成した合成画像を携帯端末１６へ送信する(手順Ｓ４０８）。すると、携帯端末１６は、合成画像を受信する(手順Ｓ４１１）。制御装置１５では、たとえば制御部２６は、通信部２１により合成画像を携帯端末１６へ送信する。すると、携帯端末１６では、制御部３５が、通信部３１により合成画像を受信する。または、制御装置１５は、合成画像をサーバ１９経由で携帯端末１６に送信してもよい。たとえば、制御装置１５は、合成画像をサーバ１９に送信すると(手順Ｓ４０８）、サーバ１９が合成画像を受信して格納する(手順Ｓ４０９）。そいて、サーバ１９は、携帯端末１６の要求に応じて携帯端末１６に合成画像を送信し(手順Ｓ４１０）、携帯端末が合成画像を受信する(手順Ｓ４１１）。サーバ１９に合成画像を送信することで、たとえばサーバ１９上で合成画像のアーカイブを作成し、携帯端末１６の記憶容量を節約することができる。

次いで、携帯端末１６は、合成画像を出力する(手順Ｓ４１２）。携帯端末１６では、たとえば制御部３５が、合成画像を入出力部３３により表示出力する。たとえば、図５（Ｃ）で示した合成画像５０３が表示される。

図４では、制御装置１５または携帯端末１６が撮像を提案する提案情報を出力することに反応して、ユーザ１１が合成画像生成指示を携帯端末１６に入力する手順を示したが、提案情報の出力は必ずしも必要ではなく、ユーザ１１が随時に指示入力をしてもよい。

このように、本実施形態の車載装置１によれば、たとえば、訪問者が多い景勝地などで駐車スペースが見当たらないような場合であっても、ユーザは、車室内に居ながらにして、景勝地などで記念撮影をすることができる。また、高温・低温または悪天候など車外の環境が苛酷な場合であっても、ユーザは、車外に出ることなく、容易に記念撮影をすることができる。

本実施形態において、車載装置１は、生成した合成画像を携帯端末１６に送信する代わりに、またはこれに加えて、ドライバーディストラクションを引き起こさない限りにおいて、合成画像を入出力部２０に出力してもよい。そうすることで、携帯端末１６によらずとも、合成画像を閲覧することができる。また、車載装置１は、車両１０が推奨地点に差し掛かると、自動的に合成画像を生成してもよい。そうすることで、ユーザの利便性が向上する。

本発明を諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形及び修正を行うことが容易であることに注意されたい。したがって、これらの変形及び修正は本発明の範囲に含まれることに留意されたい。たとえば、各手段または各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の手段またはステップ等を１つに組み合わせたり、或いは分割したりすることが可能である。また、制御装置１５の制御部２６に本実施形態にかかる動作を行わせるプログラムも本発明の範囲に含まれる。

さらに、本実施形態におけるネットワーク１８には、上述した例以外にも、アドホックネットワーク、ＬＡＮ(Local Area Network)、ＭＡＮ(Metropolitan Area Network)、セルラーネットワーク、ＷＰＡＮ(Wireless Personal Area Network)、ＰＳＴＮ(Public Switched Telephone Network)、地上波無線ネットワーク(Terrestrial Wireless Network)、光ネットワークもしくは他のネットワークまたはこれらいずれかの組合せが含まれる。無線ネットワークの構成要素には、たとえば、アクセスポイント(たとえば、Wi-Fiアクセスポイント)、フェムトセル等が含まれる。さらに、無線通信器機は、Bluetooth以外にも、Wi-Fi（登録商標）、セルラー通信技術またはその他の無線技術及び技術標準を用いた無線ネットワークに接続することができる。

このように、本開示内容の種々の側面は、多くの異なる態様で実施することができ、それらの態様はすべて本実施形態の範囲に含まれる。

１：車載装置、１２、１３：車載カメラ、１５：制御装置、１６：携帯端末

Claims

車室内を背景として乗員を含む被写体を撮像し第１の撮像画像を生成する第１の車載カメラと、
車外風景を撮像し第２の撮像画像を生成する第２の車載カメラと、
前記第１の撮像画像から前記被写体の画像を抽出し、前記第２の撮像画像の前記車外風景の画像を背景として前記被写体の画像が配置された合成画像を生成する画像処理部と、
を有する車載装置。
請求項１において、
自らの位置情報に基づき、前記合成画像の生成を提案する情報を出力する提案部をさらに有する車載装置。
請求項１または２において、
前記画像処理部は、入力される指示に応答して、前記合成画像を生成する、
車載装置。
車載装置に、車室内を背景として乗員を含む被写体を撮像した撮像画像から前記被写体の画像を抽出し、車外風景を撮像した撮像画像の前記車外風景を背景として前記被写体の画像が配置された合成画像を生成させるための指示を受け付ける工程と、
前記指示を車載装置へ送信して当該車載装置に前記合成画像を生成させる工程と、
を携帯端末に実行させるプログラム。
車室内を背景として乗員を含む被写体を撮像し第１の撮像画像を生成する第１の車載カメラに撮像を実行させる工程と、
車外風景を撮像し第２の撮像画像を生成する第２の車載カメラに撮像を実行させる工程と、
前記第１の撮像画像から前記被写体の画像を抽出し前記車外風景を背景として前記被写体の画像が配置された合成画像を生成する工程と、
を車載装置に実行させるプログラム。
請求項１乃至３のいずれかに記載の車載装置を有する車両。