JP6788447B2 - 映像出力システム - Google Patents

Description

本発明は、映像出力システムに関する。

近年、交通事故の減少、渋滞の削減、効率的な走行によるCO2削減に向けて、自動運転の技術開発が盛んである。自動運転されている車両において、ユーザが車両の動作に違和感を与えないように、車両が備えるセンサによる周囲環境の認識状況をその車両の乗員へ提示することが考えられる。また、問題が発生した場合の事後解析のために、車両が備えるセンサの出力を記録することも有用である。
特許文献１には、車両に搭載される外部の機器から複数の種類のデータを常時取得するデータ取得手段と、取得した複数の種類のデータを一時的に保管するメモリバッファと、取得した複数の種類のデータのうち、所定の条件の基に、所定の種類のデータのみ選択
するデータ記録手段と、所定の種類のデータのうち、前記データ記録手段によって選択されたデータを記録するデータ記憶領域と、前記メモリバッファに一時的に蓄積された情報から、車両自体及び周辺の複数の場面や状況を判断する場面・状況判断手段と、前記場面・状況判断手段によって判断された前記複数の場面・状況を前記所定の条件として、前記データ記録領域に記録させるデータの種類を前記データ記録手段に対して指定する取得データ切り替え手段とを備えたことを特徴とする車載情報蓄積装置が開示されている。
特許文献２には、車両の運転中に操作可能な車両搭載用映像装置であって、上記車両の周囲状況を撮像して、映像信号を出力する撮像手段と、上記映像信号を記録する映像記録手段と、上記映像信号、または撮像条件を上記車両の所定部位に表示する表示手段と、記撮像手段を制御する撮像操作手段とを具備し、上記撮像操作手段が、上記撮像手段のズーム、および撮像光軸方向の設定操作が可能である車両搭載用映像装置が開示されている。

特開２０１１−１４１６５５号公報 特開平９−６３０００号公報

ところで自動運転に用いられるセンサの代表的なものとして、画像センサが挙げられる。たとえば、画像センサを用いたカメラにより車両周囲の映像を撮影し、その映像を利用して周囲環境の認識状況を乗員へ提示したり、カメラから出力された映像を記録したりすることが考えられる。しかしながら、カメラの撮影映像をそのまま乗員に提示しても、乗員は周囲環境の認識状況を把握することが難しく、またカメラの撮影映像をそのまま記録すると、情報量が膨大になる。そのため、カメラの撮影映像から所定の条件に合致する映像を得ることが求められる。
特許文献１に記載されている発明では、所定の条件を満たす映像を出力することができない。また特許文献２に記載されている発明では、ユーザが手動で撮像操作手段を操作することが前提となっており所定の条件に該当する映像をユーザの手動操作なしで得ることができない。

本発明の第１の態様による映像出力システムは、カメラおよびインタフェース装置を備える映像出力システムであって、前記インタフェース装置は、映像が選択される条件を前記カメラに指示する条件格納部と、前記カメラから受信する撮影映像を出力する映像出力部とを備え、前記カメラは、イメージセンサと、前記イメージセンサの出力に基づき撮影映像を生成する映像生成部と、前記インタフェース装置から前記条件を取得する条件取得部と、前記映像生成部が生成する撮影映像が前記条件に合致するか否かを判断し、前記条件に合致すると判断した撮影映像における前記条件に応じた認識対象の認識結果に基づく識別情報を生成する認識比較部と、前記映像生成部が生成する撮影映像のうち少なくとも前記認識比較部が前記条件に合致すると判断した撮影映像、および前記識別情報を前記インタフェース装置に出力するカメラ演算部と、を備え、前記インタフェース装置は、前記カメラが出力する前記識別情報に基づいて、前記カメラから受信する撮影映像において前記条件に合致する先頭フレームおよび前記条件に合致する末尾フレームを示す条件合致情報を生成する合致情報生成部をさらに備え、前記合致情報生成部は、前記条件合致情報を出力する。
本発明の第２の態様による映像出力システムは、カメラ、センサ装置およびインタフェース装置を備える映像出力システムであって、前記インタフェース装置は、映像が選択される条件を前記カメラに指示する条件格納部と、前記カメラから受信する撮影映像を出力する映像出力部とを備え、前記カメラは、イメージセンサと、前記イメージセンサの出力に基づき撮影映像を生成する映像生成部と、前記インタフェース装置から前記条件を取得する条件取得部と、前記映像生成部が生成する撮影映像が前記条件に合致するか否かを判断し、前記条件に合致すると判断した撮影映像における前記条件に応じた認識対象の認識結果に基づく識別情報を生成する認識比較部と、前記映像生成部が生成する撮影映像のうち少なくとも前記認識比較部が前記条件に合致すると判断した撮影映像、および前記識別情報を前記インタフェース装置に出力するカメラ演算部と、を備え、前記センサ装置は、周囲情報を取得するセンサ部と、前記インタフェース装置から前記条件を取得するセンサ装置条件取得部と、前記センサ部が取得する前記周囲情報が前記条件に合致するか否かを判断し、前記条件に合致するか否かを示す補助認識信号を生成し、前記補助認識信号を前記インタフェース装置に出力するセンサ付加情報生成部とを備え、前記インタフェース装置は、前記センサ装置から出力される前記補助認識信号を前記カメラに送信する補助認識信号転送部をさらに備え、前記カメラの前記認識比較部は、前記補助認識信号に基づき前記映像生成部が生成する撮影映像が前記条件に合致するか否かを判断する。

本発明によれば、カメラの撮影映像から条件に合致する映像を得ることができる。

第１の実施の形態における映像出力システムの構成を示す図 記録条件テーブルの一例を示す図 センサ用ＵＩの一例を示す図 処理テーブルの一例を示す図 映像出力システムの動作の概要を示す図 第１の実施の形態におけるカメラの認識部、比較部、およびカメラ演算部の動作を表すフローチャート 記録装置の動作を表すフローチャート 変形例１におけるカメラの認識部、比較部、およびカメラ演算部の動作を表すフローチャート 第２の実施の形態における映像出力システムの構成を示す図 第３の実施の形態における映像出力システムの構成を示す図 第１カメラの構成、および第１カメラとインタフェース装置との関係を示す図 第３の実施の形態における動作例を示す図 補助認識情報テーブルの一例を示す図

（第１の実施の形態）
以下、図１〜図７を参照して、映像出力システム１００の第１の実施の形態を説明する。
（構成）
図１は、車両に搭載される映像出力システム１００の構成を示す図である。映像出力システム１００は、カメラ１と、インタフェース装置２と、記録装置３と、車載装置４とを備える。車両は車載ネットワーク、たとえばＣＡＮ（Controller Area Network）を備え、ＣＡＮはカメラ１に接続される。

カメラ１は、車両の周囲を撮影するイメージセンサ５、ＣＰＵ、ＲＯＭ，およびＲＡＭを備える。ＣＰＵはＲＯＭに格納される不図示のプログラムをＲＡＭに展開して実行することにより、イメージセンサ５の出力に基づき撮影映像を生成する映像生成部６と、撮影映像に撮影されている被写体などを認識し識別情報および付加情報を出力する認識部７と、インタフェース装置２から後述する記録条件ＩＤを取得する条件取得部８と、認識部７による認識結果と記録条件を比較する比較部９と、撮影映像、付加情報、および識別情報をインタフェース装置２に出力するカメラ演算部１０として機能する。

イメージセンサ５は、車両の周囲を撮影して得られた信号を映像生成部６に出力する。イメージセンサ５は、カメラ１の電源がオンになると動作を開始する。
映像生成部６は、イメージセンサ５の出力に基づき撮影映像を生成する。映像生成部６は、生成した撮影映像を認識部７およびカメラ演算部１０に出力する。撮影映像は時系列順に並べられた画像の集合であり、撮影映像を構成する画像を以下では「フレーム」とも呼ぶ。また、基準となるタイミング、たとえば撮影開始時からの撮影枚数を「フレーム番号」とも呼ぶ。たとえば撮影開始から１０枚目のフレームは、「１０フレーム目」、または「フレーム番号が１０のフレーム」と呼ぶ。

認識部７は、映像生成部６から撮影映像が入力され、条件取得部８から認識手法、撮影映像の補正に関する情報、および付加情報の種類が入力される。認識部７は、歩行者、車両、二輪車、標識、道路区画線などの対象物や、昼間、夜間、逆光状態などの環境を認識対象として認識処理を行うものであり、これらの認識対象を撮影映像において認識するのに適したそれぞれの認識手法を備える。認識部７は撮影映像を構成するフレームのそれぞれを対象として条件取得部８から指定された認識手法で認識処理を行い、その認識手法に対応する認識対象の対象物や環境を処理対象のフレーム内で認識した場合には、識別情報および付加情報をカメラ演算部１０に出力する。ただし認識部７は、識別情報を比較部９にも出力する。認識部７はたとえば、処理対象のフレームに歩行者、二輪車などの対象物が撮影されていることや、処理対象のフレームが撮影された環境が昼間や逆光状態であることなどを識別して、それぞれに対応する識別情報を出力する。識別情報とは、たとえばあらかじめ定められた３桁の整数であり、歩行者が認識された場合は「００１」、二輪車が認識された場合は「００２」、逆光状態であると認識された場合は「００４」がそれぞれ識別情報として出力される。複数の対象物や複数種類の環境の認識が同時に行われた場合は、たとえばそれぞれの認識に対応する識別情報を連結したものが１つの識別情報として出力される。付加情報とは、認識部７が撮影映像において認識した認識対象に関する情報であり、たとえば歩行者や車両などの対象物を認識対象として認識した場合は、その対象物の座標が付加情報としてそれぞれ出力される。ただし認識部７は、フレームごとではなく所定のフレーム数ごと、たとえば１０フレームごとに認識処理を行ってもよい。

条件取得部８は、処理テーブル８１を備える。処理テーブル８１には、撮影映像を記録装置３が記録する複数の条件、条件ごとの認識手法、出力する撮影映像への補正、および出力する付加情報が格納される。処理テーブル８１に格納される複数の条件のうち、いずれの条件が現在有効であるかはインタフェース装置２から取得する記録条件ＩＤにより特定される。処理テーブル８１については後述する。条件取得部８は、処理テーブル８１および記録条件ＩＤに基づき、撮影映像を記録装置３が記録する条件である記録条件を比較部９に出力し、撮影映像の補正に関する情報をカメラ演算部１０に出力し、認識手法および付加情報の種類を認識部７に出力する。

比較部９は、前述の認識処理において認識部７が特定の対象物や環境を認識した撮影画像のフレームについて、認識部７が出力する識別情報、およびＣＡＮから得られる車両の動作状況に基づき、当該フレームが条件取得部８から出力された記録条件を満たすか否かを判断する。ＣＡＮから得られる車両の動作状況とはたとえば、エンジンの回転数、車速、ブレーキの動作、加速度などである。比較部９は、記録条件を満たすと判断する場合は条件を満たすことを示す成否情報、たとえば値が「１」である成否情報をカメラ演算部１０に出力し、記録条件を満たさないと判断する場合は条件を満たさないことを示す成否情報、たとえば値が「０」である成否情報をカメラ演算部１０に出力する。

カメラ演算部１０は、映像生成部６が出力する撮影映像をインタフェース装置２に出力する。さらに、認識部７が識別情報および付加情報を出力し、かつ比較部９が記録条件を満たすと判断した場合には、撮影映像に識別情報および付加情報を付与してインタフェース装置２に出力する。一方、識別部７が識別情報および付加情報を出力しない場合や、比較部９が記録条件を満たさないと判断した場合には、識別情報および付加情報を付与せず、撮影映像のみをインタフェース装置２に出力する。ただし識別情報および付加情報を付与する場合は、カメラ演算部１０は撮影映像を条件取得部８の指示に基づき補正、たとえばガンマ値の補正を行ったうえで出力する。なおカメラ演算部１０は、認識部７が出力する付加情報に基づき、認識部７が認識した対象物が容易に識別できるように撮影映像を加工してもよい。たとえばカメラ演算部１０は、認識部７が認識した対象物を○や矩形で囲む加工を行う。

インタフェース装置２は、ＣＰＵ、ＲＯＭ，ＲＡＭ，および不揮発性メモリを備える。ＣＰＵはＲＯＭに格納される不図示のプログラムをＲＡＭに展開して実行することにより、合致情報生成部２０と、映像出力部２１と、条件格納部２２として機能する。
合致情報生成部２０は、撮影映像のうち撮影条件に合致するフレームの先頭フレームおよび末尾フレームを示す条件合致情報を、識別情報に基づき生成する。合致情報生成部２０は、生成した条件合致情報を記録装置３および車載装置４に出力する。
映像出力部２１は、カメラ１から撮影映像、識別情報、および付加情報が入力される。映像出力部２１は、入力された撮影映像、識別情報、および付加情報を記録装置３に出力する。映像出力部２１は、入力された撮影映像を車載装置４にも出力する。

条件格納部２２は、記録条件テーブル２２１を備えており、車載装置４から記録条件が入力されると、この記録条件に対応する記録条件ＩＤを記録条件テーブル２２１から特定して不揮発性メモリに格納するとともに、記録条件ＩＤをカメラ１に出力する。ただし条件格納部２２は、適切なタイミング、たとえばカメラ１が起動したことを検出した際に不揮発性メモリに格納されている記録条件ＩＤをカメラ１に出力してもよい。記録条件ＩＤのカメラ１への出力は、たとえばシリアル通信においてインタフェース装置２がマスター、カメラ１がスレーブとなり、インタフェース装置２がクロックとデータをスレーブに送出することで実現される。

記録装置３は、ＣＰＵ、ＲＯＭ，ＲＡＭ，および不揮発性メモリを備える、たとえばドライブレコーダである。ＣＰＵはＲＯＭに格納される不図示のプログラムをＲＡＭに展開して実行することにより、記録制御部３０として機能する。記録制御部３０は、インタフェース装置２から受信する条件合致情報に基づき、記録バッファ３１に一時的に格納された撮影映像の一部を記憶部３２に格納させる。前述のとおり条件合致情報は、記録条件に合致する先頭フレームと末尾フレームを示す情報なので、その先頭フレームから末尾フレームまでを記憶部３２に格納させる。ただし記録制御部３０は、後述するレコーダ用ＵＩ４１から記録指示を受信すると、その指示が継続している間は条件合致情報に関わらず、インタフェース装置２から受信する撮影映像を記憶部３２に記憶させる。

記録バッファ３１は、ＲＡＭの領域を用いて実現され、インタフェース装置２から受信する撮影映像、識別情報、および付加情報を一時的に格納する。記憶部３２は不揮発性メモリの領域を用いて実現され、記録制御部３０の指示に基づき撮影映像の一部を格納する。記憶部３２はさらに、記録バッファ３１に格納される識別情報、および付加情報を格納する。

車載装置４は、表示部４３、および不図示のＣＰＵ、ＲＯＭ，ＲＡＭ、入力部を備える、たとえばカーナビゲーション装置である。ＣＰＵはＲＯＭに格納される不図示のプログラムをＲＡＭに展開して実行することにより、センサ用ユーザインタフェース（以下、「センサ用ＵＩ」と呼ぶ）４０、レコーダ用ユーザインタフェース（以下、「レコーダ用ＵＩ」と呼ぶ）４１、および表示制御部４２として機能する。センサ用ＵＩ４０は、記録条件を設定するためのユーザインタフェースである。ユーザがセンサ用ＵＩ４０を操作して記録条件を設定すると、インタフェース装置２にその設定が出力される。

レコーダ用ＵＩ４１は、ユーザの操作に基づき記録装置３に記録開始指令および記録終了指令を出力する。たとえば、ユーザが不図示のボタンを押下すると車載装置４は記録開始指令を出力し、ユーザがボタンの押下を終了すると記録終了指令を出力する。
表示部４３は、表示制御部４２が出力する映像を表示する。表示制御部４２は、インタフェース装置２から撮影映像および条件合致情報が入力される。表示制御部４２は、インタフェース装置２から受信する条件合致情報に基づき、記録条件に合致する撮影映像を表示部４３に出力する。すなわち、前述の記録開始指令を除外すれば、表示部４３に表示される撮影映像と、記憶部３２に記録される撮影映像は同じである。

（記録条件テーブル）
図２は、記録条件テーブル２２１の一例を示す図である。記録条件は、環境条件と対象物条件の組み合わせである。記録条件テーブル２２１は、記録条件ＩＤと、環境条件および対象物条件の組み合わせとの対応を示すテーブルである。環境条件とは、撮影映像の環境に関する条件であり、たとえば「夜間で照明が少ない」や「昼」などである。対象物条件とは、撮影映像の被写体、すなわち撮影映像において撮影されている対象物に関する条件であり、たとえば「歩行者」、「二輪車」が撮影されていることである。また対象物の条件には、特定の物体が撮影されていることだけでなく、車線変更や急ブレーキなどの対象イベントが車両で行われたことも含まれる。対象イベントが行われたか否かは、撮影映像における被写体の時間的な前後関係から推測される状況や、ＣＡＮから得られる車両の動作状況などに基づいて判断される。

記録条件ＩＤは環境条件と対象物条件の組み合わせごとに定義される。たとえば図２に示すように、記録条件ＩＤ「０００１」は、「夜間で照明が少ない」という環境条件と、撮影対象が「歩行者」であるという対象物条件の組み合わせに対応する。

（センサ用ＵＩ）
図３は、センサ用ＵＩ４０の一例を示す図である。図３に示すセンサ用ＵＩ４０は、記録条件を構成する環境条件と対象物条件とを独立して選択可能に構成される。図３には、環境条件と対象物条件が３組選択可能であるセンサ用ＵＩ４０の例を示しているが、少なくとも１組の環境条件と対象物条件を選択すればよい。ユーザが所望の環境条件および対象物条件を選択すると、それぞれの条件が条件格納部２２に出力される。条件格納部２２は、記録条件テーブル２２１を参照し、出力された条件に対応する記録条件ＩＤを特定し、その記録条件ＩＤを保存するとともにカメラ１に出力する。

（処理テーブル）
図４は、処理テーブル８１の一例を示す図である。図４に示す処理テーブル８１は、条件と、撮影映像の認識手法と、出力に関する情報の組み合わせを示すものである。条件は「記録条件ＩＤ」、「環境条件」、および「対象物条件」のフィールドから構成され、撮影映像の認識手法は「認識手法」のフィールドから構成され、出力に関する情報は「映像補正」、および「付加情報」のフィールドから構成される。「記録条件ＩＤ」のフィールドには、条件格納部２２から出力される記録条件ＩＤの値が格納される。処理テーブル８１には複数のレコードが格納されるので、条件取得部８は、インタフェース装置２から記録条件ＩＤの値を取得して現在有効なレコードを判断する。「記録条件ＩＤ」、「環境条件」、および「対象物条件」のフィールドに格納される値は、図２に示した記録条件テーブル２２１と同様である。「認識手法」のフィールドには、記録する条件を判断するために撮影映像に対して実行する認識手法を特定する情報が格納される。

たとえば、記録条件ＩＤが「０００１」である場合は、撮影画像が夜間の照明が少ない環境であり歩行者が撮影されていれば記録条件を満たしていると認識部７が判断し、この判断のために輝度値の評価および歩行者認識処理を実行するべきであることが示されている。そして記録条件を満たしている場合は、カメラ演算部１０が撮影映像にガンマ補正を施してインタフェース装置２に出力するとともに、歩行者の座標を付加情報として出力する。またカメラ演算部１０は、前述のとおり認識部７が識別したものを示す識別情報も併せて出力する。

（動作例）
図５は、映像出力システム１００の動作の概要を示す図である。図５では図示上部から下部に向かって時間が経過している。図中の四角は各装置が動作していることを示す。
始めにユーザが車載装置４を操作し、カメラ１、インタフェース装置２、および記録装置３を起動する（Ｓ１０１）。次にユーザがセンサ用ＵＩ４０を操作して環境条件および対象物条件を設定すると（Ｓ１０２）、インタフェース装置２は記録条件テーブル２２１を参照して該当する記録条件ＩＤを検索し、これを記録するとともにカメラ１へ記録条件ＩＤを出力する（Ｓ１０３）。

次にカメラ１が撮影を行い（Ｓ１０４）、認識部７と比較部９により撮影映像が記録条件に合致すると判断されると、カメラ演算部１０は撮影映像、識別情報、および付加情報をインタフェース装置２に出力する（Ｓ１０５）。これを受信したインタフェース装置２は、識別情報に基づき条件合致情報を作成する。そしてインタフェース装置２は、記録装置３に撮影映像、条件合致情報、識別情報、および付加情報を出力する（Ｓ１０６）とともに、車載装置４に撮影映像、および条件合致情報を出力する（Ｓ１０７）。
なお、カメラ１は撮影映像が記録条件に合致しないと判断すると、撮影映像をインタフェース装置２に出力するが、識別情報や付与情報は出力しない。この場合、インタフェース装置２は条件合致情報を生成しないので、車載装置４における撮影映像の表示は行われない。また、車載装置４のレコーダＵＩ４１から記録開始指令が出力された場合を除いて、記録装置３における撮影映像の記録は行われない。

（フローチャート）
図６は、カメラ１の認識部７、比較部９、およびカメラ演算部１０の動作を表すフローチャートである。以下に説明する各ステップの実行主体はカメラ１に備えられる不図示のＣＰＵである。カメラ１の電源がオンになり映像生成部６が撮影映像を生成すると、以下に説明する動作が開始される。なお以下のフローチャートには記載されていないが、映像生成部６による撮影映像の生成、すなわち撮影映像の新たなフレームの生成は随時行われている。

ステップＳ２０１では、認識部７は条件取得部８の出力に基づき、指定された記録条件に応じた認識対象の認識処理に用いる認識手法を設定すると共に、どの情報を付加情報として出力するかを設定する。続くステップＳ２０２では、認識部７は撮影映像として生成された新たなフレームを対象として認識処理を実行し、識別情報および付加情報を生成する。続くステップＳ２０３では、比較部９は認識部７が生成した識別情報と記録条件を比較する。このとき、前述のように車線変更や急ブレーキなどの対象イベントが車両で行われたことが記録条件として指定された場合には、ＣＡＮから得られる車両の動作状況なども必要に応じて使用して、ステップＳ２０３の比較処理が行われる。続くステップＳ２０４では、ステップＳ２０３における比較により識別情報が記録条件と一致すると判断する場合はステップＳ２０５に進み、一致しないと判断する場合はステップ２０７に進む。ステップＳ２０５では、カメラ演算部１０は、条件取得部８の出力に基づき撮影映像を補正する。続くステップＳ２０６では、カメラ演算部１０は、ステップＳ２０５において補正した撮影映像と、認識部７が生成した識別情報および付加情報とをインタフェース装置２に出力してステップＳ２０８に進む。

ステップＳ２０４において否定判定されると実行されるステップＳ２０７では、映像生成部６が生成した撮影映像をインタフェース装置２に出力してステップＳ２０８に進む。このとき、ステップＳ２０６で撮影映像に付与して出力される識別情報や付加情報の代わりに、記録条件を満たさないことを示す情報を撮影映像に付与して出力してもよい。ステップＳ２０８では、電源がオフに変更されたか否かを判断し、電源がオフにされたと判断する場合は図６に示すフローチャートを終了し、電源がオフにされていないと判断する場合はステップＳ２０１に戻る。

図７は、記録装置３の動作を表すフローチャートである。以下に説明する各ステップの実行主体は記録制御部３０、すなわち記録装置３に備えられる不図示のＣＰＵである。記録制御部３０は、記録装置３の電源がオンになると以下に説明する動作を開始する。なお以下のフローチャートには記載されていないが、インタフェース装置２および車載装置４からの情報の受信は随時行われている。

ステップＳ３０１では、車載装置４のレコーダ用ＵＩ４１から記録開始指令を受信したか否かを判断する。記録開始指令を受信したと判断する場合はステップＳ３０２に進み、記録開始指令を受信していないと判断する場合はステップＳ３０５に進む。ステップＳ３０２ではインタフェース装置２から受信する撮影映像、識別情報、付加情報の記憶部３２への記録を開始する。ただし、インタフェース装置２から撮影映像が出力されているが、識別情報および付加情報が出力されていない場合には、撮影映像のみを記憶部３２に記録する。前述のとおり、インタフェース装置２からの情報の受信は随時行われており、後述するステップＳ３０４が実行されるまでこの記録は継続される。ステップＳ３０３では、レコーダ用ＵＩ４１から記録終了指令を受信したか否かを判断する。受信したと判断する場合はステップＳ３０４に進み、記録終了指令を受信していないと判断する場合はステップＳ３０３に留まる。ステップＳ３０４では、記憶部３２への記録を終了してステップＳ３０５に進む。

ステップＳ３０５では、インタフェース装置２から条件合致情報を受信したか否かを判断する。条件合致情報を受信したと判断する場合はステップＳ３０６に進み、条件合致情報を受信していないと判断する場合はステップＳ３１０に進む。ステップＳ３０６では、条件合致情報から特定される撮影映像の先頭フレームを受信したか否かを判断する。先頭フレームを受信したと判断する場合はステップＳ３０７に進み、先頭フレームを受信していないと判断する場合はステップＳ３０６に留まる。ステップＳ３０７では、インタフェース装置２から受信する撮影映像、識別情報、付加情報の記憶部３２への記録を開始する。続くステップＳ３０８では、条件合致情報から特定される撮影映像の末尾フレームを受信したか否かを判断する。末尾フレームを受信したと判断する場合はステップＳ３０９に進み、末尾フレームを受信していないと判断する場合はステップＳ３０８に留まる。ステップＳ３０９では、記憶部３２への記録を終了してステップＳ３１０に進む。ステップＳ３１０では、電源がオフに変更されたか否かを判断し、電源がオフにされたと判断する場合は図７に示すフローチャートを終了し、電源がオフにされていないと判断する場合はステップＳ３０１に戻る。

上述した第１の実施の形態によれば、次の作用効果が得られる。
（１）映像出力システム１００は、カメラ１およびインタフェース装置２を備える。インタフェース装置２は、映像が選択される条件である記録条件をカメラ１に指示する条件格納部２２と、カメラ１から受信する撮影映像を出力する映像出力部２１とを備える。カメラ１はイメージセンサ５と、イメージセンサ５の出力に基づき撮影映像を生成する映像生成部６と、インタフェース装置２から記録条件を取得する条件取得部８と、映像生成部６が生成する撮影映像が記録条件に合致するか否かを判断し、記録条件に合致すると判断した撮影映像における記録条件に応じた認識対象の認識結果に基づく識別情報を生成する認識比較部、すなわち認識部７および比較部９と、映像生成部６が生成する撮影映像のうち少なくとも比較部９が記録条件に合致すると判断した撮影映像、および識別情報をインタフェース装置２に出力するカメラ演算部１０と、を備える。そのため、カメラ１の撮影映像から記録条件に合致する映像を得ることができる。

（２）インタフェース装置２は、カメラ１が出力する識別情報に基づいて、カメラ１から受信する撮影映像において条件に合致する先頭フレームおよび条件に合致する末尾フレームを示す条件合致情報を生成する合致情報生成部２０を備える。合致情報生成部２０は、条件合致情報を出力する。
そのため、出力される撮影映像のうち記録条件に合致するフレームを判別することができる。さらに、インタフェース装置がデータの出力先である記録装置３や車載装置４においてあらかじめ定められているデータフォーマットにあわせて条件合致情報を作成することができる。

（３）映像出力システム１００は、記録装置３を備える。記録装置３は、映像が記憶される記憶部３２と、条件合致情報に基づきインタフェース装置２の映像出力部が出力する撮影映像を記憶部３２に記録する記録制御部３０とを備える。そのため記録装置３は、記録条件に合致する撮影映像を記録することができる。

（４）映像出力システム１００は、表示装置でもある車載装置４を備える。車載装置４は、映像が表示される表示部４３と、条件合致情報に基づきインタフェース装置２の映像出力部２１が出力する撮影映像を表示部４３に表示する表示制御部４２とを備える。そのため車載装置４は、記録条件に合致する撮影映像を表示することができる。たとえば車両が自動運転されている場合に、その車両が動作する契機となる事象を撮影条件に指定することにより、車両の乗員は表示部４３の表示を見て車両の動きを事前に想定することができ、安心感が得られる。具体的には、自動運転において歩行者を検出したら停車するアルゴリズムが含まれる場合に、撮影条件を「歩行者の検出」に設定することで、車両が停車した際に歩行者の映像が表示部４３に表示される。

（５）撮影条件には、環境条件、および対象物条件の少なくとも一方が含まれる。認識部７は、認識対象に関する付加情報をさらに出力し、カメラ演算部１０は、付加情報に基づき撮影映像を加工して出力する。
そのため認識部７の認識結果に基づき撮影映像を加工して出力することができる。

（６）映像出力システム１００は、ユーザが記録条件を入力する車載装置４を備える。ユーザが車載装置４において入力された記録条件は、インタフェース装置２の条件格納部２２に格納される。そのため、ユーザが記録条件を任意に設定することができる。

上述した第１の実施の形態は、以下のように変形してもよい。
（変形例１）
カメラ１は、比較部９が記録条件を満たすと判断した場合のみ、撮影映像を出力してもよい。なお、比較部９が記録条件を満たさないと判断した場合には、カメラ演算部１０は、記録条件を満たさないことを示す情報を出力してもよいし、出力しなくてもよい。また、その場合は、映像信号そのものを出力しなくてもよいし、黒の塗りつぶしや白の塗りつぶしの映像を出力してもよい。また本変形例では、映像出力部２１は条件合致条件を出力しなくてもよい。

車載装置４の表示制御部４２は、条件合致情報を受信しても特段の処理を行わない。そして表示制御部４２は、インタフェース装置２から撮影映像を受信すると、第１の実施の形態のような条件合致情報に基づく映像の取捨選択を行うことなく、表示部４３に撮影映像を表示させる。
図８は、変形例１におけるカメラ１の認識部７、比較部９、およびカメラ演算部１０の動作を表すフローチャートである。第１の実施の形態における図６に示したフローチャートとの相違点は、ステップＳ２０７が存在しない点である。すなわち本変形例では、ステップＳ２０４において否定判定された場合に撮影映像などを出力することなくステップＳ２０８に進む。

この変形例１によれば、第１の実施の形態における作用効果に加えて、次の作用効果が得られる。
（７）映像出力システム１００は、インタフェース装置２が出力する撮影映像を表示する表示部４３を備える車載装置４を備える。カメラ演算部１０は、映像生成部６が生成する撮影映像のうち比較部９が記録条件に合致すると判断した撮影映像のみを出力する。映像出力部２１は、カメラ演算部１０から受信する撮影映像を出力する。
そのため、カメラ１は記録条件に合致する撮影映像しか出力しないので、カメラ１からインタフェース装置２へ送信するデータ量を削減することができる。通信量の削減は、特にインタフェース装置２に複数の装置が接続されている場合に効果が高い。

（変形例２）
記録装置３の記録制御部３０が識別情報や付加情報に基づき撮影映像の各フレームの記録の要否を判断できる場合、または車載装置４の表示制御部４２が識別情報や付加情報に基づき表示の可否を判断できる場合は、インタフェース装置２は条件合致情報を生成せずに、条件合致情報に代えて識別情報や付加情報を出力してもよい。すなわちインタフェース装置２は、合致情報生成部２０を備えなくてもよく、この場合はカメラ１から出力された識別情報や付加情報を撮影映像と併せてそのまま記録装置３および車載装置４に出力する。
この変形例２によれば、第１の実施の形態における作用効果に加えて、次の作用効果が得られる。
（８）映像出力部２１は、カメラ１から受信する撮影映像および識別情報を出力する。
そのため、インタフェース装置２の構成を簡素化することができる。
（９）表示制御部４２は、付加情報を用いて、例えば、歩行者に○や矩形で囲むことができるため、ドライバに注意喚起する対象物の箇所を明示的に知らせることができる。

（変形例３）
認識部７は、原則として付加情報を生成せず、比較部９から要求を受けた場合のみ付加情報を生成してもよい。この場合は、比較部９は記録条件を満たすと判断すると認識部７に付加情報の生成を要求する。

（変形例４）
映像出力システム１００における、カメラ１、インタフェース装置２、記録装置３、および車載装置４の構成、およびこれらの機能分担は便宜的に定めたものであり、異なる構成や異なる機能分担であってもよい。たとえばインタフェース装置２が、カメラ１、記録装置３、または車載装置４と一体に構成されてもよい。また、撮影映像の補正をカメラ１以外の装置、たとえばインタフェース装置２の映像出力部２１が行ってもよい。

（変形例５）
カメラ１において、映像生成部６、認識部７、条件取得部８、比較部９、およびカメラ演算部１０の構成およびこれらの機能分担は便宜的に定めたものであり、異なる構成や異なる機能分担であってもよい。たとえば、認識部７と比較部９が一体に構成されてもよいし、撮影映像の補正を映像生成部６が行ってもよい。すなわち、カメラ１が映像生成部６、認識部７、条件取得部８、比較部９、およびカメラ演算部１０の機能を有していればどのような構成でもよい。

（変形例６）
センサ用ＵＩ４０、レコーダ用ＵＩ４１、表示部４３は、それぞれ独立した装置として構成されてもよい。
（変形例７）
記録条件を構成する環境条件と対象物条件には、それぞれ「条件なし」が含まれてもよい。たとえば環境条件が「条件なし」、対象物条件が「歩行者」の場合は、歩行者が検出されたことのみをもって記録条件が満たされたと判断される。

（変形例８）
映像出力システム１００が複数のカメラ１を備え、インタフェース装置２は複数のカメラ１と接続されてもよい。この場合は、たとえばインタフェース装置２はカメラ１の数に対応する接続ポートを備えることにより対応が可能である。そのため、記録装置３や車載装置４の構成を変更することなく複数のカメラ１を備える映像出力システム１００を実現することができる。

（変形例９）
カメラ演算部１０は、比較部９が出力する成否情報を撮影映像とともに出力してもよい。この場合は、映像出力部２１は受信した成否情報を撮影映像とともに出力する。そして記録装置３および車載装置４は、この成否情報に基づき撮影映像などの記録や表示を行うか否かを判断してもよい。記録装置３および車載装置４が成否情報に基づき撮影映像などの記録や表示を行うか否かを判断する場合は、インタフェース装置２は合致情報生成部２０を備えなくてもよい。

（第２の実施の形態）
図９を参照して、映像出力システム１００の第２の実施の形態を説明する。以下の説明では、第１の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第１の実施の形態と同じである。本実施の形態では、主に、車載装置がデータベース機能を備える点で、第１の実施の形態と異なる。

（構成）
図９は、第２の実施の形態における映像出力システムの構成を示す図である。第１の実施の形態との相違点は、車載装置４がデータベース４５をさらに備える点である。なお図９ではレコーダ用ＵＩ４１の図示を省略している。
データベース４５には、合致情報生成部２０から条件合致情報が入力され、映像出力部２１から識別情報、および付加情報が入力される。ただしデータベース４５には撮影映像は入力されない。データベース４５には、入力されたこれらの情報に基づいて、撮影映像において記録条件に合致するフレームの情報と、その記録条件の情報とを含む記録制御情報が蓄積される。データベース４５の形式は、リレーショナルデータベースでもよいし、カラムストアデータベースでもよいし、その他の形式でもよく、形式は問わない。

上述した第２の実施の形態によれば、第１の実施の形態における作用効果に加えて、次の作用効果が得られる。
（１０）映像出力システム１００は、データベース４５を備える車載装置４を備える。カメラ１の認識部７は、撮影映像が記録条件のいずれと一致するかを示す認識情報を出力する。映像出力部２１は、カメラ１から入力される認識情報を車載装置４に出力する。データベース４５には、条件合致情報および識別情報に基づき、撮影映像において記録条件に該当するフレームの情報および記録条件の情報を含む記録制御情報が記録される。
そのため、記録装置３に記録される撮影映像の情報がデータベース４５に蓄積されるので、データベース４５を検索することにより所望の撮影映像に容易にアクセスできる。

（第３の実施の形態）
図１０〜図１２を参照して、映像出力システム１００の第３の実施の形態を説明する。以下の説明では、第１の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第１の実施の形態と同じである。本実施の形態では、主に、インタフェース装置に２台のカメラが接続されカメラ間で情報が共有される点で第１の実施の形態と異なる。

（構成）
図１０は、第３の実施の形態における映像出力システムの構成を示す図である。第１の実施の形態との相違点は、カメラ１に代えて第１カメラ１Ａおよび第２カメラ１Ｂを備える点である。第１カメラ１Ａと第２カメラ１Ｂの構成は同一であり、後述するようにカメラが撮影する範囲が異なる。
インタフェース装置２の映像出力部２１は、第１の実施の形態における動作に加えて、入力された識別情報を他のカメラに出力する。たとえば、第１カメラ１Ａから識別情報が入力された場合は、その識別情報を第２カメラ１Ｂに出力する。
図１１は、第１カメラ１Ａの構成、および第１カメラ１Ａとインタフェース装置２との関係を示す図である。前述のとおり第１カメラ１Ａと第２カメラ１Ｂの構成は同一なので、第２カメラ１Ｂの説明は省略する。第１カメラ１Ａの構成は、第１の実施の形態におけるカメラ１と略同一であり、相違点は認識部７の動作である。

認識部７は、インタフェース装置２から識別情報が入力されると、その識別情報を考慮して、撮影映像の認識処理を実行する。たとえば、既知である第１カメラ１Ａと第２カメラ１Ｂの位置関係に基づき、第２カメラ１Ｂにおいて認識された物体が第１カメラ１Ａにおいて撮影される確からしさを算出し、物体の認識において考慮する。また、撮影映像から何らかの物体が検出された際に、他のカメラによる認識結果を用いない場合はノイズではないことを確認するために数フレームにわたって確認をすることも考えられる。しかし第２カメラ１Ｂにおいて同一の物体が検出されている場合は、数フレームにわたる確認を省略して物体を認識したと判断して識別情報を出力することができる。

（動作例）
図１２は、第３の実施の形態における動作例を示す図である。
まず動作例の状況を説明する。
映像出力システム１００は、車両４１０に搭載される。車両４１０は左前方に第１カメラ１Ａを備え、中央部に第２カメラ１Ｂを備える。第１カメラ１Ａの視野４３１は車両４１０の左前方、第２カメラ１Ｂの視野４３２は車両４１０の前方である。車両４１０が走行する隣の走行レーンには、車両４１１と車両４１２が停まっている。これらの車両の間から歩行者４２０が車両４１０の方向に向かって歩いている。歩行者４２０の現在位置は第１カメラ１Ａの視野４３１の範囲内であるが、第２カメラ１Ｂの視野４３２の範囲外である。この状況における映像出力システム１００の動作を説明する。

歩行者４２０は図示左側から現在の位置まで移動したので、現在までに第１カメラ１Ａの複数のフレームで歩行者４２０が撮影されている。そのため第１カメラ１Ａの認識部７は、撮影画像の複数フレームにわたる解析結果から歩行者４２０を認識したと判断し、歩行者を示す識別情報をカメラ演算部１０を経由してインタフェース装置２の映像出力部２１に出力する。映像出力部２１は、第１カメラ１Ａから受信した識別情報を、第２カメラ１Ｂの認識部７に出力する。第２カメラ１Ｂは、歩行者を示す識別情報が入力されるので、他の対象物に比べて歩行者を検出する可能性が高いことを考慮して撮影映像の認識処理を行う。そのため、歩行者４２０が第２カメラ１Ｂの視野４２３の範囲内に入ると、迅速に歩行者を認識することができる。

上述した第３の実施の形態によれば、第１の実施の形態における作用効果に加えて、次の作用効果が得られる。
（１０）映像出力システム１００は、第１カメラ１Ａと第２カメラ１Ｂとを備える。第１カメラ１Ａは、周囲情報を取得するイメージセンサ５と、インタフェース装置２から条件を取得する条件取得部８と、イメージセンサ５が取得する周囲情報が条件に合致するか否かを判断し、条件に合致するか否かを示す補助認識信号、すなわち識別情報を生成し、識別情報をインタフェース装置２に出力するセンサ付加情報生成部、すなわち認識部７、比較部９、およびカメラ演算部１０を備える。インタフェース装置２は、第１カメラ１Ａから出力される識別信号を第２カメラ１Ｂに送信する補助認識信号転送部、すなわち映像出力部２１を備える。第２カメラ１Ｂの認識部７は、第２カメラ１Ｂの映像生成部６が生成する撮影映像、およびインタフェース装置２から送信された第１カメラ１Ａの識別情報に基づき第２カメラ１Ｂの映像生成部６が生成する撮影映像が条件に合致するか否かを判断する。
そのため、他のカメラの認識結果を用いることで、撮影映像の早期の認識や認識精度向上を実現できる。

（第３の実施の形態の変形例１）
第１カメラ１Ａおよび第２カメラ１Ｂの認識部７は、立体物を認識した際に識別情報に加えて補助認識情報を出力してもよい。補助認識情報とは、立体物の種類、位置、移動方向、移動速度、距離を組み合わせた情報である。補助認識情報はたとえば、あらかじめ定めた補助認識情報テーブルに基づき補助認識ＩＤを用いて伝達することができる。
図１３は、補助認識情報テーブルの一例を示す図である。補助認識情報テーブルは、補助認識ＩＤ、立体物、位置、移動方向、移動速度、距離のフィールドから構成される。「補助認識ＩＤ」のフィールドには４桁の整数が格納される。「立体物」のフィールドには、認識した立体物の種類を示す情報が格納される。「位置」のフィールドには、あらかじめ定義された位置関係を示す情報が格納される。たとえばＡ１は左前方、Ａ２は右前方を示す。「移動方向」のフィールドには、立体物が移動している方向を示す情報が格納される。「移動速度」のフィールドには、立体物の移動速度を示す情報が格納される。「距離」のフィールドには、立体物までの距離を示す情報が格納される。

この補助認識情報テーブルは第１カメラ１Ａおよび第２カメラ１Ｂに記憶される。認識部７は、認識した立体物が補助認識情報テーブルに記載されたいずれかの条件に該当すると、識別情報に加えて該当する補助認識ＩＤを補助識別情報として出力する。インタフェース装置２は、識別情報と同様に、いずれかのカメラから補助認識情報を受信すると、他のカメラの認識部７に補助認識情報を出力する。インタフェース装置２から補助認識情報が入力された認識部７は、識別情報に加えて補助認識情報を考慮して撮影映像を認識する。
この変形例によれば、他のカメラで認識した立体物の詳細な情報を得ることができるので、撮影映像の早期の認識や認識精度向上により効果的である。

（第３の実施の形態の変形例２）
インタフェース装置２に接続されるセンサはカメラに限定されない。レーザレーダや超音波センサなど、周囲情報を取得できるセンサであればセンサの種類は問わない。また、インタフェース装置２に接続されるセンサの数は２に限定されず３以上であってもよい。この場合にインタフェース装置２は、あるセンサにより取得された情報を全ての他のセンサに出力してもよいし、特定のセンサのみに出力してもよい。また、取得された情報に応じていずれのセンサに出力するかを決定してもよい。

カメラ１およびインタフェース装置２のプログラムは不図示のＲＯＭに格納されるとしたが、プログラムは不揮発性メモリに格納されていてもよい。また、カメラ１やインタフェース装置２が不図示の入出力インタフェースを備え、必要なときに入出力インタフェースが利用可能な媒体を介して、他の装置からプログラムが読み込まれてもよい。ここで媒体とは、例えば入出力インタフェースに着脱可能な記憶媒体、または通信媒体、すなわち有線、無線、光などのネットワーク、または当該ネットワークを伝搬する搬送波やディジタル信号、を指す。また、プログラムにより実現される機能の一部または全部がハードウエア回路やＦＰＧＡにより実現されてもよい。
上述した各実施の形態および変形例は、それぞれ組み合わせてもよい。
上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。

１ … カメラ
２ … インタフェース装置
３ … 記録装置
４ … 車載装置
５ … イメージセンサ
６ … 映像生成部
７ … 認識部
８ … 条件取得部
９ … 比較部
１０ … カメラ演算部
２０ … 合致情報生成部
２１ … 映像出力部
２２ … 条件格納部
３０ … 記録制御部
３２ … 記憶部
４２ … 表示制御部
４３ … 表示部
４５ … データベース
１００ … 映像出力システム

Claims (5)

1. カメラおよびインタフェース装置を備える映像出力システムであって、
   前記インタフェース装置は、
   映像が選択される条件を前記カメラに指示する条件格納部と、
   前記カメラから受信する撮影映像を出力する映像出力部とを備え、
   前記カメラは、
   イメージセンサと、
   前記イメージセンサの出力に基づき撮影映像を生成する映像生成部と、
   前記インタフェース装置から前記条件を取得する条件取得部と、
   前記映像生成部が生成する撮影映像が前記条件に合致するか否かを判断し、前記条件に合致すると判断した撮影映像における前記条件に応じた認識対象の認識結果に基づく識別情報を生成する認識比較部と、
   前記映像生成部が生成する撮影映像のうち少なくとも前記認識比較部が前記条件に合致すると判断した撮影映像、および前記識別情報を前記インタフェース装置に出力するカメラ演算部と、を備え、
   前記インタフェース装置は、前記カメラが出力する前記識別情報に基づいて、前記カメラから受信する撮影映像において前記条件に合致する先頭フレームおよび前記条件に合致する末尾フレームを示す条件合致情報を生成する合致情報生成部をさらに備え、
   前記合致情報生成部は、前記条件合致情報を出力する映像出力システム。
2. 請求項１に記載の映像出力システムにおいて、
   記録装置をさらに備え、
   前記記録装置は、
   映像が記憶される記憶部と、
   前記条件合致情報または前記識別情報に基づき前記インタフェース装置の前記映像出力部が出力する撮影映像を前記記憶部に記録する記録制御部とを備える映像出力システム。
3. 請求項１に記載の映像出力システムにおいて、
   表示装置をさらに備え、
   前記表示装置は、
   映像が表示される表示部と、
   前記条件合致情報または前記識別情報に基づき前記インタフェース装置の前記映像出力部が出力する撮影映像を前記表示部に表示する表示制御部とを備える映像出力システム。
4. 請求項１に記載の映像出力システムにおいて、
   データベース記憶部を備えるデータベース装置をさらに備え、
   前記映像出力部は、前記識別情報を前記データベース装置に出力し、
   前記データベース記憶部には、前記条件合致情報および前記識別情報に基づき、前記撮影映像において前記条件に合致するフレームの情報および前記条件の情報を含む記録制御情報が記録される映像出力システム。
5. カメラ、センサ装置およびインタフェース装置を備える映像出力システムであって、
   前記インタフェース装置は、
   映像が選択される条件を前記カメラに指示する条件格納部と、
   前記カメラから受信する撮影映像を出力する映像出力部とを備え、
   前記カメラは、
   イメージセンサと、
   前記イメージセンサの出力に基づき撮影映像を生成する映像生成部と、
   前記インタフェース装置から前記条件を取得する条件取得部と、
   前記映像生成部が生成する撮影映像が前記条件に合致するか否かを判断し、前記条件に合致すると判断した撮影映像における前記条件に応じた認識対象の認識結果に基づく識別情報を生成する認識比較部と、
   前記映像生成部が生成する撮影映像のうち少なくとも前記認識比較部が前記条件に合致すると判断した撮影映像、および前記識別情報を前記インタフェース装置に出力するカメラ演算部と、を備え、
   前記センサ装置は、
   周囲情報を取得するセンサ部と、
   前記インタフェース装置から前記条件を取得するセンサ装置条件取得部と、
   前記センサ部が取得する前記周囲情報が前記条件に合致するか否かを判断し、前記条件に合致するか否かを示す補助認識信号を生成し、前記補助認識信号を前記インタフェース装置に出力するセンサ付加情報生成部とを備え、
   前記インタフェース装置は、前記センサ装置から出力される前記補助認識信号を前記カメラに送信する補助認識信号転送部をさらに備え、
   前記カメラの前記認識比較部は、前記補助認識信号に基づき前記映像生成部が生成する撮影映像が前記条件に合致するか否かを判断する映像出力システム。

Images