JP6337646B2

JP6337646B2 - 車載映像システム、映像転送システム、映像転送方法及び映像転送プログラム

Info

Publication number: JP6337646B2
Application number: JP2014131282A
Authority: JP
Inventors: 友喜桜木
Original assignee: JVCKenwood Corp
Current assignee: JVCKenwood Corp
Priority date: 2014-06-26
Filing date: 2014-06-26
Publication date: 2018-06-06
Anticipated expiration: 2034-06-26
Also published as: JP2016009431A; EP3163552A4; CN106415694A; EP3163552A1; WO2015198532A1; US20170109591A1

Description

本発明は車載映像システム、映像転送システム、映像転送方法及び映像転送プログラムに関し、特に車両の周囲をカメラで撮影した映像を送信する車載映像システム、映像転送システム、映像転送方法及び車載映像転送プログラムに関する。

近年、ナビゲーションシステムなどの車載システムを用いて交通事故を防止するシステムが提案されている。

例えば、特許文献１には、ナビゲーション装置に設けられたセンサが歩行者を検知し、歩行者の携帯電話機に危険であることを報知することが考えられている。

特開２０１２−１７８１２７号公報

しかしながら、特許文献１に記載された注意喚起システムでは、危険の内容が十分に伝わらないという課題があった。

具体的には、特許文献１では、音や振動により危険を報知しているが、車が接近すること及び接近する方向は情報として伝わらないので、携帯電話機やスマートフォンの使用者は危険に対する具体的な対応をとることが難しいという課題があった。

上記課題に鑑み、本発明は、通信端末の使用者に具体的な危険の内容を通知することのできる車載システムを提供することを目的としている。

本発明の車載映像システムは、車両の周囲を撮像する撮像部と、前記撮像部が撮像した画像内の人物及び通信端末を識別する情報処理部と、前記撮像部が撮像した画像を識別した前記通信端末に送信する通信部と、を備える。

本発明の映像転送システムは、車両の周囲を撮像する撮像部と、前記撮像部が撮像した画像内の人物及び通信端末を識別する情報処理部と、前記撮像部が撮像した画像を識別した前記通信端末に送信する通信部を備える車載映像システムと、通信端末と、を有し、前記通信端末は、前記車載映像システムから送信された画像を最前面で表示する表示手段を有する。

本発明の映像転送方法は、車両の周囲を撮像する撮像部と、前記撮像部が撮像した画像内の人物及び通信端末を識別する情報処理部と、前記撮像部が撮像した画像を識別した前記通信端末に送信する通信部を備える車載映像システムにおいて、車両内の周囲を撮像し、前記撮像部が撮像した画像内の人物及び通信端末を識別し、撮像部が撮像した画像を前記通信端末に送信する。

本発明の映像転送プログラムは、撮像部が撮像した画像内の人物及び通信端末を識別する情報処理ステップと、前記撮像部が撮像した画像を、通信部から、前記画像内で識別された前記通信端末に送信する通信ステップを備える。

本発明によれば、車両の周囲を撮像した画像を、画像内に写る通信端末に送信することができるので、通信端末を注視している人物に具体的な内容で注意を促すことができる。

本実施の形態にかかる車載映像システムの機能構成を模式的に示すブロック図である。本実施の形態の車載映像システムの適用例を示す図である。本実施の形態の車載映像システムの画像処理の例を示す図である。本実施の形態の車載映像システムの画像処理の例を示す図である。本実施の形態の車載映像システムの画像処理の例を示す図である。本実施の形態の車載映像システムの画像処理の例を示す図である。実施の形態の車載映像システムにおける車両左折時の動作を示すフロー図である。本実施の形態の車載映像システムにおける細街路を走行する場合の動作示すフロー図である。

以下、図面を参照して、本発明の実施の形態について説明する。図１は、本実施の形態にかかる車載映像システムの機能構成を模式的に示すブロック図である。また、図２は、本実施の形態の車載映像システムの適用例を示す図である。図２に示すように、車載映像システム１は、撮像した画像内に写る通信端末を特定し、基地局装置２及びネットワーク３を介して、特定した通信端末４に撮像した画像を送信することにより、映像転送システムを実現している。

図１に示すように車載映像システム１は、カメラ１０と、情報処理部１１と、通信部１２と、測位部１３と、入力部１４と、表示部１５と、音響出力部１６とを備える。

カメラ１０は、車載映像システム１が車両に搭載された状態で、車両の周囲を撮像し、撮像した画像データを情報処理部１１に出力する。カメラ１０はＣＣＤ素子またはＣＭＯＳ素子、及びレンズを備えるものが好適である。またカメラ１０は車載映像システム本体と異なる場所に配置し、有線または無線通信等により撮像データを車載映像システム１に送信する構成であっても良い。

情報処理部１１は、カメラ１０、通信部１２、測位部１３、入力部１４、表示部１５、及び音響出力部１６と、有線または無線で接続し、信号を受け付け、情報処理を行い、処理結果を出力する。具体的には、情報処理部１１は、画像処理部１１ａと、進路判断部１１ｂと、端末処理部１１ｃと、ナビゲーション部１１ｄを有する。情報処理部１１は、例えば、ＣＰＵ及びメモリから構成される。

画像処理部１１ａは、カメラ１０が撮像した車両の周囲の画像データを処理し、画像データ内の人物及び通信端末の存在を識別し、識別した結果を端末処理部１１ｃ及び通信部１２に出力する。具体的には、画像処理部１１ａは、エッジ検出及びパターンマッチング等による画像検出処理を行い、画像データ内の人物及び通信端末の存在を識別する。

また、画像処理部１１ａは、画像データ内の人物と通信端末との位置関係、角度関係を判定し、人物が通信端末を注視しているか否か判断する。

進路判断部１１ｂは、ナビゲーション部１１ｄからの情報に基づき、車両の走行進路の判断を行う。具体的には、進路判断部１１ｂは、車両の進路が左折、右折、直進のいずれであるかをリアルタイムで判断する。また、進路判断部１１ｂは、現在の車両が走行している道路が、所定の値より幅の狭い道路であるか否かをリアルタイムで判断する。

端末処理部１１ｃは、通信部１２及び外部ネットワークを介して、外部の通信端末の位置情報及び識別情報（例えばＳＩＭカードまたはＵＩＭカードのＩＣＣＩＤ:IC Card Identifierや携帯電話のｕｉｄ:user identifier）を取得する、そして、端末処理部１１ｃは、測位部１３から取得した位置情報及び進路判断部１１ｂから取得した車両の走行の進路から、車両の周囲を撮像した画像内に写っている通信端末の識別情報を特定し、通信部１２及び外部ネットワークを介して、撮像した画像を特定した通信端末に送信する。

ナビゲーション部１１ｄは、地図情報を記憶し、測位部１３により得られた座標情報と、入力部１４から入力された情報に基づき設定された目的地情報とから、経路を算出し、地図、現在位置及び経路情報を表示部１５に出力する。地図情報には、道路の座標、方向、幅、交差点などの情報が含まれているのが好適である。

通信部１２は、無線通信により基地局及びネットワークを介して通信端末と通信を行う。具体的には通信部１２は、アンテナ、アンプ、周波数変換回路、復調器、変調器を備える。そして通信部１２は、無線信号を受信し、受信した信号に増幅、周波数変換及び復調を行い、得られたデジタル信号を情報処理部１１に出力する。また、通信部１２は、情報処理部１１から出力されたデジタル信号を、変調、周波数変換及び増幅を行い、アンテナを介して無線信号を送信する。例えば、通信部１２は、３Ｇ（3rd Generation）、ＬＴＥ（Long Term Evolution）またはモバイルＷｉＭＡＸ（Mobile Worldwide Interoperability for Microwave Access）等の規格で規定されたＣＤＭＡ（Code Division Multiple Access）無線通信方式またはＯＦＤＭ（orthogonal frequency-division multiplexing）無線通信方式を用いて基地局と通信を行い、上位レイヤにてネットワークを介してデータの送受信を行う。

測位部１３は、現在の位置を測定し、情報処理部１１に位置情報を出力する。例えば、測位部１３は、ＧＰＳ（Global Positioning System）で構成される。また測位部１３はＷｉＦｉ(Wireless Fidelity)のビーコン信号と、ＷｉＦｉアクセスポイントの位置情報から位置を測定しても良いし、ＧＰＳを組み合わせて位置を測定しても良い。また測位部１３は、上述の構成に、さらに車速センサ、ステアリング舵角センサ、ジャイロセンサ、加速度センサの一つまたは複数を組み合わせて位置測定の精度を上げることもできる。

入力部１４は、人の操作による情報の入力を受け付け情報処理部１１に出力する。例えば、入力部１４は、ボタン、ツマミ、タッチパネルの一つまたは複数を組み合わせて構成される。また入力部１４は、車載映像システム１と分離したリモートコントロール装置で構成しても良い。この場合、リモートコントロール装置は無線通信により車載映像システム１と通信を行うのが好適である。また、操作の代わりに音声入力により情報の入力を行っても良い。この場合、音声を入力するためのマイクを用い、情報処理部１１において、音声データの解析を行うことにより、実現することが可能である。

表示部１５は、情報処理部１１より出力された画像情報及び文字情報を表示する。例えば、表示部１５は、液晶ディスプレイで構成される。また表示部１５はタッチパネルで構成される入力部１４と一体化した液晶ディスプレイで構成しても良い。また表示部１５は、有機ＥＬディスプレイまたはプラズマディスプレイで構成しても良い。

音響出力部１６は、情報処理部１１より出力された音声信号を物理振動に変換して音を発する。例えば、音響出力部１６は、スピーカー及びアンプより構成される。

次に、撮像した画像内に人物及び通信端末が存在するか否か判断する画像処理について説明する。図３〜６は、本実施の形態の車載映像システムの画像処理の例を示す図である。

車載映像システム１の画像処理部１１ａは、撮像した画像内に、通信端末を注視しながら歩いている人物、すなわち歩きスマホ（Texting While Walking）をしている人物が存在するか否か識別する。

具体的には画像処理部１１ａは、カメラ１０より出力された画像に対してエッジ検出を行う。図３はカメラ１０が撮像した画像の一例を示す写真図である。例えば、画像処理部１１ａは、図３の画像に対してデジタル画像の明るさが鋭敏に変化している箇所を特定するアルゴリズムを用い、画像内の対象物の境界であるエッジを検出する。図４はエッジ検出を行った画像データの一例を示す図である。

画像処理部１１ａは、エッジ検出後に、パターンマッチングを行い、人物の上半身のパターンに一致する領域を切り出す。例えば、画像処理部１１ａは、図４の画像に対して、人物の形状のテンプレートパターンと一致または近似する領域が存在するかスキャンする。そして、画像処理部１１ａは、人物の形状のテンプレートパターンと一致または近似する領域を切り出す。図５は切り出した画像データの一例を示す図である。

そして、画像処理部１１ａは、切り出した画像データに対して、エッジ検出及びパターンマッチングを行い、人物の頭及び通信端末のパターンに一致または近似する領域を検出する。具体的には、画像処理部１１ａは、画像データに対して、Ｘ軸、Ｙ軸、及び画像データに対するパターンの傾斜角度を変化させて人物の頭及び通信端末のパターンを、スキャンする。

そして、画像処理部１１ａは、マッチしたパターンについて、人物の頭と通信端末のパターンの位置及び角度の関係から歩きスマホしている人物の存在の有無を判断する。

例えば、画像処理部１１ａは、頭（顔）の角度から視線の範囲を算出する。そして画像処理部１１ａは、視線の延長上に通信端末がある場合に、歩きスマホしている人物がいると判断する。また、視線の角度の範囲は、視野角度から決めるのが好適である。一般に人間の視野は、片目では上側で約６０度、下側に約７０度であり、また顔の縦の長さを考えたとき、中央の高さに両目がある。したがって、パターンマッチングした頭の長軸（すなわち首と頭頂とを結ぶ軸）の中心からの垂線を基準視線とし、基準視線から上側６０度、下側７０度の角度範囲を視線とするのが好適である。図６は、切り出した画像データにおける判定の例を示す図である。

このように、本実施の形態の車載映像システムは、画像処理部１１ａにおいて、車両の周囲を撮像した画像において、パターンマッチした人物画像の顔の角度及び視野から求められる視線の延長上に、パターンマッチした通信端末が位置する場合に、人物が通信端末を注視していると判断して、撮像した画像を通信端末に送信することにより、車両の接近に気づいていない歩行者に注意を促すことができる。

なお、上述の説明では歩行者に対してパターンマッチングを行っているが、自転車に乗って通信端末を操作している例についても同様の処理を行うことができる。この場合、自転車に乗った人物のテンプレートパターンを用意し、パターンマッチングを行うことにより実現できる。同様にベビーカー、車椅子、老人向けの歩行補助具を押しながら歩行している人物についてもパターンマッチングを行うことは可能である。また、自動車の運転者が通信端末を操作している例についても同様の処理を行うことができる。

次に、画像の処理を行い、通信端末に画像を送信する条件の例について説明する。まず、車両が左折する場合に通信端末に画像を送信する例について説明する。図７は、本実施の形態の車載映像システムにおける車両左折時の動作を示すフロー図である。

Ｓ１０１において、進路判断部１１ｂは、ナビゲーション部１１ｄから地図情報、座標情報、経路情報、車速センサ、ステアリング舵角センサ、ジャイロセンサ、加速度センサの１つあるいは複数を用いて、車両が左折するか否か判断する。そして、車両が左折する場合、Ｓ１０２に進み、車両が左折しない場合、Ｓ１０１の処理を繰り返す。

Ｓ１０２において、画像処理部１１ａは、カメラ１０が撮像した画像内に通信端末を注視している人物がいるか否か判断する。そして、画像処理部１１ａが、通信端末を注視している人物がいると判断した場合、Ｓ１０３に進み、画像処理部１１ａが、通信端末を注視している人物がいないと判断した場合、Ｓ１０１の処理に戻る。

Ｓ１０３において、端末処理部１１ｃは、カメラ１０が撮像した画像内に写っている通信端末の識別情報を特定し、Ｓ１０４の処理に進む。Ｓ１０４において、通信部１２は、Ｓ１０３において特定した通信端末にカメラ１０が撮像した画像を送信し、Ｓ１０５の処理に進む。

Ｓ１０５において、ナビゲーション部１１ｄは、車両が目的地に到着したか否か判断する。そして車両が目的地に到着していない場合、Ｓ１０１の処理に戻り、車両が目的地に到着した場合、処理を終了する。

このように、本実施の形態の車載映像システムは、車両が走行する進路を判断する進路判断部１１ｂを更に備え、進路判断部１１ｂの判断に基づいて、車両が左折することにより人物と車両が接近すると判断した場合、撮像した画像を通信端末に送信することにより、交差点のように車両と歩行者とが交差する場所において、車両の接近に気づいていない歩行者に注意を促すことができる。

なお、上記説明では、左折の例について説明しているが、右折についても同様の処理を行うことにより、歩行者に注意を促すことができる。また、左折と右折を同時に判断、または順に判断して処理を行っても良い。

次に、車両が細街路を走行する場合に、通信端末に画像を送信する例について説明する。図８は、本実施の形態の車載映像システムにおける細街路を走行する場合の動作示すフロー図である。

Ｓ２０１において、進路判断部１１ｂは、ナビゲーション部１１ｄから地図情報、座標情報、経路情報を用いて、車両が走行する道が所定の幅より狭い道路であるか否か判断
する。そして、車両が走行する道が所定の幅より狭い道路である場合、Ｓ２０２に進み、車両が走行する道が所定の幅より広い道路である場合、Ｓ２０１の処理を繰り返す。

Ｓ２０２において、画像処理部１１ａが、カメラ１０が撮像した画像内に通信端末を注視している人物がいるか否か判断する。そして、画像処理部１１ａが、通信端末を注視している人物がいると判断した場合、Ｓ２０３に進み、画像処理部１１ａが、通信端末を注視している人物がいないと判断した場合、Ｓ２０１の処理に戻る。

Ｓ２０３において、画像処理部１１ａは、通信端末を注視している人物が歩行しているか否か判断する。そして、画像処理部１１ａが、通信端末を注視している人物が歩行していると判断した場合、Ｓ２０４に進み、画像処理部１１ａが、通信端末を注視している人物が歩行していない判断した場合、Ｓ２０１の処理に戻る。

Ｓ２０４において、端末処理部１１ｃは、カメラ１０が撮像した画像内に写っている通信端末の識別情報を特定し、Ｓ２０５の処理に進む。Ｓ２０５において、通信部１２は、Ｓ２０４において特定した通信端末にカメラ１０が撮像した画像を送信し、Ｓ２０６の処理に進む。

Ｓ２０６において、ナビゲーション部１１ｄは、車両が目的地に到着したか否か判断する。そして車両が目的地に到着していない場合、Ｓ２０１の処理に戻り、車両が目的地に到着した場合、処理を終了する。

このように、本実施の形態の車載映像システムは、車両が走行する進路を判断する進路判断部１１ｂを更に備え、進路判断部１１ｂの判断に基づいて、幅の狭い道路で通信端末に注視しながら歩いている人物の存在がいると判断した場合、撮像した画像を通信端末に送信することにより、細い街路のように車両と歩行者とが接近する場所において、車両の接近に気づいていない歩行者に注意を促すことができる。

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、ナビゲーション部と情報処理部とは同一のＣＰＵ、メモリとしても良いし、別個としても良い。例えば、既存のナビゲーションシステムに付加する構成とすることも可能である。

また、カメラが撮像する方向は車両の前方を撮影する以外にも適用できる。例えば、車両の後方を撮影するカメラを設置し、車両が後進する場合に、後方を撮影するカメラと連動して、車両の後方で通信端末を操作している人に撮影した画像を送信しても良い。また、車両の側方を撮影するカメラを設置し、車両が右折または左折する場合に対応する方向で撮影した画像を、通信端末を操作している人に送信しても良い。

また、右折、左折の判断と、細い街路を走行の判断と、後進の判断とは、同時または順に判断するように組み合わせても良い。

また、本実施の形態の車載映像システムの各動作については、ＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェアまたはソフトウェアで実施できる。また、処理の一部をソフトウェアで実施し、それ以外をハードウェアで実施することとしても良い。ソフトウェアで実施する際には、マイクロプロセッサ等の１つあるいは複数のＣＰＵ（Central Processing Unit）を有するコンピュータシステムに機能ブロックの処理に関するプログラムを実行させればよい。これらのプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、ＤＶＤ−ＲＯＭ（Digital Versatile Disc Read Only Memory）、ＤＶＤ−Ｒ（DVD Recordable）、ＤＶＤ−ＲＤＬ（DVD-R Dual Layer)、ＤＶＤ−ＲＷ（DVD ReWritable）、ＤＶＤ−ＲＡＭ、ＤＶＤ＋Ｒ、ＤＶＲ＋ＲＤＬ、ＤＶＤ＋ＲＷ、ＢＤ−Ｒ（Blu-ray（登録商標） Disc Recordable）、ＢＤ−ＲＥ（Blu-ray Disc Rewritable）、ＢＤ−ＲＯＭ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

１車載映像システム
２基地局装置
３ネットワーク
１０カメラ
１１情報処理部
１１ａ画像処理部
１１ｂ進路判断部
１１ｃ端末処理部
１１ｄナビゲーション部
１２通信部
１３測位部
１４入力部
１５表示部
１６音響出力部

Claims

車両の周囲を撮像する撮像部と、
前記撮像部が撮像した画像内の人物及び通信端末の存在を識別し、通信部および外部ネットワークを介して外部の通信端末の位置情報及び識別情報から前記画像内の通信端末の識別情報を特定する情報処理部と、
前記撮像部が撮像した画像を識別した前記通信端末に送信する通信部と、
を備える車載映像システム。
前記情報処理部は、前記撮像部が撮像した画像において前記人物が前記通信端末を注視する位置関係であるか否か判断し、
前記通信部は、前記情報処理部において、前記画像において前記人物が前記通信端末を注視していると判断した場合、前記撮像部が撮像した画像を前記通信端末に送信することを特徴とする請求項１に記載の車載映像システム。
前記情報処理部は、前記撮像部が撮像した画像において、エッジ検出を行い、エッジ検出を行った画像と、人物及び通信端末の形状とのパターンマッチングを行い、パターンマッチした人物画像の顔の角度及び視野から求められる視線の延長上に、パターンマッチした通信端末が位置する場合に、前記人物が前記通信端末を注視していると判断することを特徴とする請求項２に記載の車載映像システム。
前記情報処理部は、車両が走行する進路を判断する進路判断部を更に備え、
前記情報処理部は、前記進路判断部が判断した進路に基づいて、前記人物と前記車両が接近しているか否かと、前記撮像部が撮像した画像内において通信端末を注視している人物が歩行しているか否か、を判断し、
前記通信部は、前記情報処理部において、前記人物が歩行しておりかつ前記車両が接近すると判断した場合、前記撮像部が撮像した画像を前記通信端末に送信する請求項１から３のいずれかに記載の車載映像システム。
車両の周囲を撮像する撮像部と、前記撮像部が撮像した画像内の人物及び通信端末を識別し、通信部および外部ネットワークを介して外部の通信端末の位置情報及び識別情報から前記画像内の通信端末の識別情報を特定する情報処理部と、前記撮像部が撮像した画像を識別した前記通信端末に送信する通信部を備える車載映像システムと、
通信端末と、を有し、
前記通信端末は、前記車載映像システムから送信された画像を最前面で表示する表示手段を有することを特徴とする映像転送システム。
車両の周囲を撮像する撮像部と、前記撮像部が撮像した画像内の人物及び通信端末を識別し、通信部および外部ネットワークを介して外部の通信端末の位置情報及び識別情報から前記画像内の通信端末の識別情報を特定する情報処理部と、前記撮像部が撮像した画像を識別した前記通信端末に送信する通信部を備える車載映像システムにおいて、
車両の周囲を撮像し、前記撮像部が撮像した画像内の人物及び通信端末の存在を識別し、識別した前記通信端末の位置情報から前記通信端末を識別し、撮像部が撮像した画像を前記通信端末に送信する映像転送方法。
撮像部が撮像した画像内の人物及び通信端末の存在を識別し、通信部および外部ネットワークを介して外部の通信端末の位置情報及び識別情報から前記画像内の通信端末の識別情報を特定する情報処理ステップと、
前記撮像部が撮像した画像を、通信部から、前記画像内で識別された前記通信端末に送信する通信ステップを備える映像転送プログラム。