JP7367014B2

JP7367014B2 - 信号処理装置、信号処理方法、プログラム、及び、撮像装置

Info

Publication number: JP7367014B2
Application number: JP2021522207A
Authority: JP
Inventors: 和弘星野; 康之加藤
Original assignee: Sony Corp; Sony Semiconductor Solutions Corp; Sony Group Corp
Current assignee: Sony Corp; Sony Semiconductor Solutions Corp; Sony Group Corp
Priority date: 2019-05-28
Filing date: 2020-05-15
Publication date: 2023-10-23
Anticipated expiration: 2040-05-15
Also published as: CN113841187A; WO2020241292A1; JPWO2020241292A1; US20220309848A1; DE112020002741T5

Description

本技術は、信号処理装置、信号処理方法、プログラム、及び、撮像装置に関し、特に、異常を迅速に通知できるようにした信号処理装置、信号処理方法、プログラム、及び、撮像装置に関する。

近年、ドライブレコーダや監視カメラにより事故現場の状況が撮影及び記録され、記録された画像が事故原因の解析等に用いられている。

また、従来、画像内の物体を含む領域を矩形枠で表示し、当該領域が指定された場合、当該物体の特徴点データを抽出し、特徴点データに基づいて情報データベースの検索を行い、取得した当該物体の関連情報を表示することが提案されている（例えば、特許文献１参照）。

特開２０１７－９０２２０号公報

しかしながら、ドライブレコーダや監視カメラでは、事故現場の画像が記録されるものの、事故の発生や状況の警察や病院等への通知は行われない。また、例えば、撮影した画像を警察や病院等に送信することが考えられるが、画像の解析が必要になり、事故の発生や状況が伝わるのが遅れてしまう。

これに対して、特許文献１に記載の発明では、事故の発生や状況を通知することは検討されていない。

本技術は、このような状況に鑑みてなされたものであり、事故等の異常を迅速に通知できるようにするものである。

本技術の一側面の信号処理装置は、撮像部により撮像された撮像画像の内容を認識する認識部と、認識された前記撮像画像の内容を文字で表したデータを含むテキスト情報を生成するテキスト情報生成部と、自身の通知先に対して、前記テキスト情報の送信を制御する送信制御部とを備え、前記送信制御部は、自身の通知先への前記テキスト情報の送信が不可能であった場合、周囲の他の車両に対して、自身の通知先への前記テキスト情報の送信を制御し、周囲の他の車両から、他の車両の通知先への前記テキスト情報を受けた場合、他の車両の通知先に対して、他の車両の通知先への前記テキスト情報の送信を制御する。

本技術の一側面の信号処理方法は、撮像部により撮像された撮像画像の内容を認識し、認識された前記撮像画像の内容を文字で表したデータを含むテキスト情報を生成し、自身の通知先に対して、前記テキスト情報の送信を制御し、自身の通知先への前記テキスト情報の送信が不可能であった場合、周囲の他の車両に対して、自身の通知先への前記テキスト情報の送信を制御し、周囲の他の車両から、他の車両の通知先への前記テキスト情報を受けた場合、他の車両の通知先に対して、他の車両の通知先への前記テキスト情報の送信を制御する。

本技術の一側面のプログラムは、撮像部により撮像された撮像画像の内容を認識し、認識された前記撮像画像の内容を文字で表したデータを含むテキスト情報を生成し、自身の通知先に対して、前記テキスト情報の送信を制御し、自身の通知先への前記テキスト情報の送信が不可能であった場合、周囲の他の車両に対して、自身の通知先への前記テキスト情報の送信を制御し、周囲の他の車両から、他の車両の通知先への前記テキスト情報を受けた場合、他の車両の通知先に対して、他の車両の通知先への前記テキスト情報の送信を制御する処理をコンピュータに実行させる。

本技術の一側面においては、撮像部により撮像された撮像画像の内容が認識され、認識された前記撮像画像の内容を文字で表したデータを含むテキスト情報が生成され、自身の通知先に対して、前記テキスト情報の送信が制御される。自身の通知先への前記テキスト情報の送信が不可能であった場合、周囲の他の車両に対して、自身の通知先への前記テキスト情報の送信が制御され、周囲の他の車両から、他の車両の通知先への前記テキスト情報を受けた場合、他の車両の通知先に対して、他の車両の通知先への前記テキスト情報の送信が制御される。

本技術を適用した車両制御システムの構成例を示すブロック図である。信号処理システムの第１の実施の形態を示すブロック図である。異常通知処理の第１の実施の形態を説明するためのフローチャートである。信号処理システムの第２の実施の形態を示すブロック図である。異常通知処理の第２の実施の形態を説明するためのフローチャートである。コンピュータの構成例を示す図である。

以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
１．車両制御システムの構成例
２．第１の実施の形態
３．第２の実施の形態
４．変形例
５．その他

＜＜１．車両制御システムの構成例＞＞
図１は、本技術が適用され得る移動体制御システムの一例である車両制御システム１００の概略的な機能の構成例を示すブロック図である。

なお、以下、車両制御システム１００が設けられている車両１０を他の車両と区別する場合、自車又は自車両と称する。

車両制御システム１００は、入力部１０１、データ取得部１０２、通信部１０３、車内機器１０４、出力制御部１０５、出力部１０６、駆動系制御部１０７、駆動系システム１０８、ボディ系制御部１０９、ボディ系システム１１０、記憶部１１１、及び、自動運転制御部１１２を備える。入力部１０１、データ取得部１０２、通信部１０３、出力制御部１０５、駆動系制御部１０７、ボディ系制御部１０９、記憶部１１１、及び、自動運転制御部１１２は、通信ネットワーク１２１を介して、相互に接続されている。通信ネットワーク１２１は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）、又は、ＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークやバス等からなる。なお、車両制御システム１００の各部は、通信ネットワーク１２１を介さずに、直接接続される場合もある。

なお、以下、車両制御システム１００の各部が、通信ネットワーク１２１を介して通信を行う場合、通信ネットワーク１２１の記載を省略するものとする。例えば、入力部１０１と自動運転制御部１１２が、通信ネットワーク１２１を介して通信を行う場合、単に入力部１０１と自動運転制御部１１２が通信を行うと記載する。

入力部１０１は、搭乗者が各種のデータや指示等の入力に用いる装置を備える。例えば、入力部１０１は、タッチパネル、ボタン、マイクロフォン、スイッチ、及び、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。また、例えば、入力部１０１は、赤外線若しくはその他の電波を利用したリモートコントロール装置、又は、車両制御システム１００の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器であってもよい。入力部１０１は、搭乗者により入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム１００の各部に供給する。

データ取得部１０２は、車両制御システム１００の処理に用いるデータを取得する各種のセンサ等を備え、取得したデータを、車両制御システム１００の各部に供給する。

例えば、データ取得部１０２は、自車の状態等を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ジャイロセンサ、加速度センサ、慣性計測装置（ＩＭＵ）、及び、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、若しくは、車輪の回転速度等を検出するためのセンサ等を備える。

また、例えば、データ取得部１０２は、自車の外部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ、及び、その他のカメラ等の撮像装置を備える。また、例えば、データ取得部１０２は、天候又は気象等を検出するための環境センサ、及び、自車の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等からなる。周囲情報検出センサは、例えば、超音波センサ、レーダ、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ソナー等からなる。

さらに、例えば、データ取得部１０２は、自車の現在位置を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号を受信するＧＮＳＳ受信機等を備える。

また、例えば、データ取得部１０２は、車内の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、運転者を撮像する撮像装置、運転者の生体情報を検出する生体センサ、及び、車室内の音声を集音するマイクロフォン等を備える。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座っている搭乗者又はステアリングホイールを握っている運転者の生体情報を検出する。

通信部１０３は、車内機器１０４、並びに、車外の様々な機器、サーバ、基地局等と通信を行い、車両制御システム１００の各部から供給されるデータを送信したり、受信したデータを車両制御システム１００の各部に供給したりする。なお、通信部１０３がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部１０３が、複数の種類の通信プロトコルをサポートすることも可能である。

例えば、通信部１０３は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）、又は、ＷＵＳＢ（Wireless USB）等により、車内機器１０４と無線通信を行う。また、例えば、通信部１０３は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（High-Definition Multimedia Interface、登録商標）、又は、ＭＨＬ（Mobile High-definition Link）等により、車内機器１０４と有線通信を行う。

さらに、例えば、通信部１０３は、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）との通信を行う。また、例えば、通信部１０３は、Ｐ２Ｐ（Peer To Peer）技術を用いて、自車の近傍に存在する端末（例えば、歩行者若しくは店舗の端末、又は、ＭＴＣ（Machine Type Communication）端末）との通信を行う。さらに、例えば、通信部１０３は、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、自車と家との間（Vehicle to Home）の通信、及び、歩車間（Vehicle to Pedestrian）通信等のＶ２Ｘ通信を行う。また、例えば、通信部１０３は、ビーコン受信部を備え、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行規制又は所要時間等の情報を取得する。

車内機器１０４は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、自車に搬入され若しくは取り付けられる情報機器、及び、任意の目的地までの経路探索を行うナビゲーション装置等を含む。

出力制御部１０５は、自車の搭乗者又は車外に対する各種の情報の出力を制御する。例えば、出力制御部１０５は、視覚情報（例えば、画像データ）及び聴覚情報（例えば、音声データ）のうちの少なくとも１つを含む出力信号を生成し、出力部１０６に供給することにより、出力部１０６からの視覚情報及び聴覚情報の出力を制御する。具体的には、例えば、出力制御部１０５は、データ取得部１０２の異なる撮像装置により撮像された画像データを合成して、俯瞰画像又はパノラマ画像等を生成し、生成した画像を含む出力信号を出力部１０６に供給する。また、例えば、出力制御部１０５は、衝突、接触、危険地帯への進入等の危険に対する警告音又は警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部１０６に供給する。

出力部１０６は、自車の搭乗者又は車外に対して、視覚情報又は聴覚情報を出力することが可能な装置を備える。例えば、出力部１０６は、表示装置、インストルメントパネル、オーディオスピーカ、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ、ランプ等を備える。出力部１０６が備える表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、ＡＲ（Augmented Reality）表示機能を有する装置等の運転者の視野内に視覚情報を表示する装置であってもよい。

駆動系制御部１０７は、各種の制御信号を生成し、駆動系システム１０８に供給することにより、駆動系システム１０８の制御を行う。また、駆動系制御部１０７は、必要に応じて、駆動系システム１０８以外の各部に制御信号及びエラー信号を供給し、駆動系システム１０８の制御状態及び異常の通知等を行う。

駆動系システム１０８は、自車の駆動系に関わる各種の装置を備える。例えば、駆動系システム１０８は、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ＡＢＳ（Antilock Brake System）、ＥＳＣ（Electronic Stability Control）、並びに、電動パワーステアリング装置等を備える。

ボディ系制御部１０９は、各種の制御信号を生成し、ボディ系システム１１０に供給することにより、ボディ系システム１１０の制御を行う。また、ボディ系制御部１０９は、必要に応じて、ボディ系システム１１０以外の各部に制御信号及びエラー信号を供給し、ボディ系システム１１０の制御状態及び異常の通知等を行う。

ボディ系システム１１０は、車体に装備されたボディ系の各種の装置を備える。例えば、ボディ系システム１１０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、パワーシート、ステアリングホイール、空調装置、エアバッグ、シートベルト、及び、各種ランプ（例えば、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカ、フォグランプ等）等を備える。

記憶部１１１は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイス等を備える。記憶部１１１は、車両制御システム１００の各部が用いる各種プログラムやデータ等を記憶する。例えば、記憶部１１１は、ダイナミックマップ等の３次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ、及び、自車の周囲の情報を含むローカルマップ等の地図データを記憶する。

自動運転制御部１１２は、自律走行又は運転支援等の自動運転に関する制御を行う。具体的には、例えば、自動運転制御部１１２は、自車の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、自車の衝突警告、又は、自車のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行う。また、例えば、自動運転制御部１１２は、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行う。自動運転制御部１１２は、検出部１３１、自己位置推定部１３２、状況分析部１３３、計画部１３４、及び、動作制御部１３５を備える。

検出部１３１は、自動運転の制御に必要な各種の情報の検出を行う。検出部１３１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３を備える。

車外情報検出部１４１は、車両制御システム１００の各部からのデータ又は信号に基づいて、自車の外部の情報の検出処理を行う。例えば、車外情報検出部１４１は、自車の周囲の物体の検出処理、認識処理、及び、追跡処理、並びに、物体までの距離の検出処理を行う。検出対象となる物体には、例えば、車両、人、障害物、構造物、道路、信号機、交通標識、道路標示等が含まれる。また、例えば、車外情報検出部１４１は、自車の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、及び、路面の状態等が含まれる。車外情報検出部１４１は、検出処理の結果を示すデータを自己位置推定部１３２、状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３、並びに、動作制御部１３５の緊急事態回避部１７１等に供給する。

車内情報検出部１４２は、車両制御システム１００の各部からのデータ又は信号に基づいて、車内の情報の検出処理を行う。例えば、車内情報検出部１４２は、運転者の認証処理及び認識処理、運転者の状態の検出処理、搭乗者の検出処理、及び、車内の環境の検出処理等を行う。検出対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線方向、酩酊度等が含まれる。検出対象となる車内の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。車内情報検出部１４２は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。

車両状態検出部１４３は、車両制御システム１００の各部からのデータ又は信号に基づいて、自車の状態の検出処理を行う。検出対象となる自車の状態には、例えば、速度、加速度、舵角、異常の有無及び内容、運転操作の状態、パワーシートの位置及び傾き、ドアロックの状態、エアバッグの状態、外部からの衝撃の大きさ、並びに、その他の車載機器の状態等が含まれる。車両状態検出部１４３は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。

自己位置推定部１３２は、車外情報検出部１４１、及び、状況分析部１３３の状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車の位置及び姿勢等の推定処理を行う。また、自己位置推定部１３２は、必要に応じて、自己位置の推定に用いるローカルマップ（以下、自己位置推定用マップと称する）を生成する。自己位置推定用マップは、例えば、ＳＬＡＭ（Simultaneous Localization and Mapping）等の技術を用いた高精度なマップとされる。自己位置推定部１３２は、推定処理の結果を示すデータを状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３等に供給する。また、自己位置推定部１３２は、自己位置推定用マップを記憶部１１１に記憶させる。

状況分析部１３３は、自車及び周囲の状況の分析処理を行う。状況分析部１３３は、マップ解析部１５１、交通ルール認識部１５２、状況認識部１５３、及び、状況予測部１５４を備える。

マップ解析部１５１は、自己位置推定部１３２及び車外情報検出部１４１等の車両制御システム１００の各部からのデータ又は信号を必要に応じて用いながら、記憶部１１１に記憶されている各種のマップの解析処理を行い、自動運転の処理に必要な情報を含むマップを構築する。マップ解析部１５１は、構築したマップを、交通ルール認識部１５２、状況認識部１５３、状況予測部１５４、並びに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。

交通ルール認識部１５２は、自己位置推定部１３２、車外情報検出部１４１、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車の周囲の交通ルールの認識処理を行う。この認識処理により、例えば、自車の周囲の信号の位置及び状態、自車の周囲の交通規制の内容、並びに、走行可能な車線等が認識される。交通ルール認識部１５２は、認識処理の結果を示すデータを状況予測部１５４等に供給する。

状況認識部１５３は、自己位置推定部１３２、車外情報検出部１４１、車内情報検出部１４２、車両状態検出部１４３、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車に関する状況の認識処理を行う。例えば、状況認識部１５３は、自車の状況、自車の周囲の状況、及び、自車の運転者の状況等の認識処理を行う。また、状況認識部１５３は、必要に応じて、自車の周囲の状況の認識に用いるローカルマップ（以下、状況認識用マップと称する）を生成する。状況認識用マップは、例えば、占有格子地図（Occupancy Grid Map）とされる。

認識対象となる自車の状況には、例えば、自車の位置、姿勢、動き（例えば、速度、加速度、移動方向等）、並びに、異常の有無及び内容等が含まれる。認識対象となる自車の周囲の状況には、例えば、周囲の静止物体の種類及び位置、周囲の動物体の種類、位置及び動き（例えば、速度、加速度、移動方向等）、周囲の道路の構成及び路面の状態、並びに、周囲の天候、気温、湿度、及び、明るさ等が含まれる。認識対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線の動き、並びに、運転操作等が含まれる。

状況認識部１５３は、認識処理の結果を示すデータ（必要に応じて、状況認識用マップを含む）を自己位置推定部１３２及び状況予測部１５４等に供給する。また、状況認識部１５３は、状況認識用マップを記憶部１１１に記憶させる。

状況予測部１５４は、マップ解析部１５１、交通ルール認識部１５２及び状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車に関する状況の予測処理を行う。例えば、状況予測部１５４は、自車の状況、自車の周囲の状況、及び、運転者の状況等の予測処理を行う。

予測対象となる自車の状況には、例えば、自車の挙動、異常の発生、及び、走行可能距離等が含まれる。予測対象となる自車の周囲の状況には、例えば、自車の周囲の動物体の挙動、信号の状態の変化、及び、天候等の環境の変化等が含まれる。予測対象となる運転者の状況には、例えば、運転者の挙動及び体調等が含まれる。

状況予測部１５４は、予測処理の結果を示すデータを、交通ルール認識部１５２及び状況認識部１５３からのデータとともに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。

ルート計画部１６１は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、目的地までのルートを計画する。例えば、ルート計画部１６１は、グローバルマップに基づいて、現在位置から指定された目的地までのルートを設定する。また、例えば、ルート計画部１６１は、渋滞、事故、通行規制、工事等の状況、及び、運転者の体調等に基づいて、適宜ルートを変更する。ルート計画部１６１は、計画したルートを示すデータを行動計画部１６２等に供給する。

行動計画部１６２は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、ルート計画部１６１により計画されたルートを計画された時間内で安全に走行するための自車の行動を計画する。例えば、行動計画部１６２は、発進、停止、進行方向（例えば、前進、後退、左折、右折、方向転換等）、走行車線、走行速度、及び、追い越し等の計画を行う。行動計画部１６２は、計画した自車の行動を示すデータを動作計画部１６３等に供給する。

動作計画部１６３は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、行動計画部１６２により計画された行動を実現するための自車の動作を計画する。例えば、動作計画部１６３は、加速、減速、及び、走行軌道等の計画を行う。動作計画部１６３は、計画した自車の動作を示すデータを、動作制御部１３５の加減速制御部１７２及び方向制御部１７３等に供給する。

動作制御部１３５は、自車の動作の制御を行う。動作制御部１３５は、緊急事態回避部１７１、加減速制御部１７２、及び、方向制御部１７３を備える。

緊急事態回避部１７１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３の検出結果に基づいて、衝突、接触、危険地帯への進入、運転者の異常、車両の異常等の緊急事態の検出処理を行う。緊急事態回避部１７１は、緊急事態の発生を検出した場合、急停車や急旋回等の緊急事態を回避するための自車の動作を計画する。緊急事態回避部１７１は、計画した自車の動作を示すデータを加減速制御部１７２及び方向制御部１７３等に供給する。

加減速制御部１７２は、動作計画部１６３又は緊急事態回避部１７１により計画された自車の動作を実現するための加減速制御を行う。例えば、加減速制御部１７２は、計画された加速、減速、又は、急停車を実現するための駆動力発生装置又は制動装置の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。

方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された自車の動作を実現するための方向制御を行う。例えば、方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された走行軌道又は急旋回を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。

＜＜２．第１の実施の形態＞＞
次に、図２及び図３を参照して、本技術の第１の実施の形態について説明する。

＜信号処理システム２０１の構成例＞
図２は、本技術を適用した信号処理システム２０１の構成例を示している。

信号処理システム２０１は、撮像した画像の内容を認識し、認識結果等に基づいて異常の検出処理を行い、異常を検出した場合、認識結果等を文字で表したデータ（以下、文字データと称する）を含むテキスト情報を所定の通知先に送信するシステムである。

なお、文字データは、いわゆるテキストデータ以外にも、例えば、文字により表されるデータを画像化したデータ等も含む。

また、図２は、信号処理システム２０１が、車両１０に設けられ、車両１０及び車両１０の周囲の少なくとも一方の異常（例えば、事故、運転者の異常等）の検出処理を行う場合の例を示している。

信号処理システム２０１は、撮像部２１１、受信部２１２、信号処理部２１３、送信部２１４、及び、記憶部２１５を備える。

撮像部２１１は、例えば、車両１０の周囲及び内部のうち少なくとも一方の撮像を行う。撮像部２１１は、撮像した画像（以下、撮像画像と称する）を含む画像データを信号処理部２１３に供給したり、記憶部２１５に記憶させたりする。撮像部２１１は、例えば、車両制御システム１００のデータ取得部１０２の一部を構成する。

受信部２１２は、異常の検出及びテキスト情報の生成に用いるデータを、車外、及び、通信ネットワーク１２１を介して車内から受信し、受信データを信号処理部２１３に供給する。受信部２１２は、例えば、車両制御システム１００の通信部１０３の一部、及び、自動運転制御部１１２の図示せぬ通信部の一部を構成する。

信号処理部２１３は、画像データ及び受信データに基づいて、異常の検出処理を行い、異常を検出した場合、テキスト情報を生成し、送信部２１４に供給する。信号処理部２１３は、例えば、車両制御システム１００の自動運転制御部１１２の検出部１３１及び状況認識部１５３の一部を構成し、認識部２２１、テキスト情報生成部２２２、異常検出部２２３、及び、送信制御部２２４を備える。

認識部２２１は、撮像画像の内容の認識処理を行い、認識結果を示す認識データをテキスト情報生成部２２２及び異常検出部２２３に供給する。認識部２２１には、例えば、ディープラーニング等の機械学習により構築される認識モデルが用いられる。

テキスト情報生成部２２２は、撮像画像（認識データ）の内容及び受信データの内容を表す文字データを含むテキスト情報を生成し、記憶部２１５に記憶させる。

異常検出部２２３は、認識データ及び受信データに基づいて、異常の検出処理を行い、検出結果を示すデータを送信制御部２２４に供給する。

送信制御部２２４は、異常の検出結果に基づいて、送信部２１４によるテキスト情報の送信を制御する。

送信部２１４は、送信制御部２２４の制御の下に、車外の所定の通知先にテキスト情報を送信する。なお、送信部２１４の通信方法は、特に限定されない。送信部２１４は、例えば、車両制御システム１００の通信部１０３の一部を構成する。

記憶部２１５は、車両制御システム１００の記憶部１１１の一部を構成する。

＜異常通知処理＞
次に、図３のフローチャートを参照して、信号処理システム２０１により実行される異常通知処理について説明する。

この処理は、例えば、信号処理システム２０１の電源がオンされたとき開始され、オフされたとき終了する。

ステップＳ１において、撮像部２１１は、撮像処理を開始する。具体的には、撮像部２１１は、撮像を開始し、得られた撮像画像を含む画像データを認識部２２１に供給するとともに、記憶部２１５に記憶させる処理を開始する。なお、記憶部２１５に記憶された画像データは、例えば、所定の時間後（例えば、１時間後）に消去される。

ステップＳ２において、認識部２２１は、認識処理を開始する。具体的には、認識部２２１は、撮像画像の内容の認識処理を行い、認識結果を示す認識データをテキスト情報生成部２２２及び異常検出部２２３に供給する処理を開始する。

認識対象となる撮像画像の内容は、例えば、異常検出部２２３の検出対象となる異常に関する情報（例えば、異常の検出及び解析に用いられる情報）を含む。

例えば、撮像画像が車両１０の周囲を撮像したものである場合、周囲の車両の特徴及び状態、周囲の車両の運転者の特徴、周囲の歩行者（二輪車を含む）の特徴及び位置、並びに、周囲の状況等が認識対象となる。

周囲の車両の特徴は、例えば、車種、色、ナンバープレートの内容等を含む。

周囲の車両の状態は、例えば、速度、進行方向等を含む。

周囲の車両の運転者及び歩行者の特徴は、例えば、性別、年齢、体格、髪型、肌の色、服装、装着物（例えば、帽子、メガネ等）等を含む。なお、例えば、撮像画像に基づく顔認識等により得られた個人情報が含まれてもよい。

周囲の状況は、例えば、天候、路面の状態、障害物の有無、事故の発生の有無、事故の状況等を含む。事故の状況は、例えば、事故の種類（例えば、単独事故、物損事故、対人事故等）、けが人の有無、車両の破損状況、火災の発生の有無等を含む。

また、例えば、撮像画像が車両１０の内部を撮像したものである場合、車両１０の運転者の特徴及び状態等が認識対象となる。

車両１０の運転者の特徴は、例えば、上述した車両１０の周囲の車両の運転者の特徴と同様とされる。

車両１０の運転者の状態は、例えば、体調、覚醒度（例えば、居眠りの有無）、集中度、疲労度、視線方向、酩酊度（例えば、飲酒の可能性）、シートベルトの装着の有無等を含む。なお、運転者の状態は、例えばＤＭＳ（Driver Monitoring System）等により認識される。飲酒の可能性は、例えば瞳孔サッカード等により認識される。

ステップＳ３において、受信部２１２は、受信データの受信を開始する。具体的には、受信部２１２は、車外、及び、通信ネットワーク１２１を介して車内から受信データを受信し、テキスト情報生成部２２２及び異常検出部２２３に供給する処理を開始する。

受信データは、例えば、異常検出部２２３の検出対象となる異常に関する情報（例えば、異常の検出及び解析に用いられる情報）を含む。例えば、車外からの受信データは、通信部１０３が車内機器１０４、外部ネットワーク上に存在する機器、車両１０の近傍に存在する端末及び基地局、他の車両、歩行者、道路の付帯設備、自宅等から受信したデータを含む。例えば、車内からの受信データは、上述した車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３の検出処理の結果を示すデータ、並びに、入力部１０１が備えるマイクロフォンにより取得された車両１０内の音声データを含む。

ステップＳ４において、異常検出部２２３は、認識データ及び受信データに基づいて、異常の検出処理を開始する。

例えば、異常検出部２２３は、車両１０のエアバッグの状態、及び、車両１０に対する外部からの衝撃の大きさ等に基づいて、車両１０が関わる事故の検出処理を行う。また、例えば、異常検出部２２３は、車両１０の周囲の状況に関する情報に基づいて、車両１０の周囲における事故の検出処理を行う。なお、車両１０の周囲における事故は、必ずしも、車両１０が関わっていなくてもよく、他車同士の事故を含んでいてもよい。さらに、例えば、異常検出部２２３は、運転者の状態に関する情報に基づいて、運転者の異常の検出処理を開始する。検出対象となる運転者の異常は、例えば、居眠り、酩酊状態、失神、痙攣、出血等を含む。

ステップＳ５において、テキスト情報生成部２２２は、テキスト情報の生成を開始する。具体的には、テキスト情報生成部２２２は、撮像画像（認識データ）の内容、車外からの受信データの内容、及び、車内からの受信データの内容のうち少なくとも１つを表す文字データを含むテキスト情報を生成し、記憶部２１５に記憶させる処理を開始する。これにより、異常の検出結果に変わらず、テキスト情報が継続して生成される。なお、記憶部２１５に記憶されたテキスト情報は、例えば、所定の時間後（例えば、１分後）に消去される。

テキスト情報は、例えば、異常検出部２２３の検出対象となる異常に関する情報を含む。

異常に関する情報は、例えば、異常の内容を示す情報、異常の危険性を示す情報、及び、異常の解析に用いられる情報を含む。

具体的には、例えば、テキスト情報は、上述した車両１０の周囲の車両の特徴及び状態、周囲の車両の運転者の特徴、周囲の歩行者の特徴及び位置、周囲の状況、並びに、車両１０の運転者の特徴及び状態を表す文字データを含む。

なお、テキスト情報は、例えば、事故が発生した場合に、事故を起こした車両だけでなく、それ以外の周囲の車両に関する情報（例えば、ナンバープレートの内容）を表す文字データを含んでもよい。これにより、例えば、後で周囲の車両の運転者等から事故の目撃情報を収集することが可能になる。

例えば、テキスト情報は、車両１０に関する情報、例えば、車両１０の特徴及び状態を表す文字データを含む。車両１０の特徴及び状態は、例えば、上述した車両１０の周囲の車両の特徴及び状態と同様とされる。

例えば、テキスト情報は、事故が発生した場合に、事故の状況に関する情報を表す文字データを含む。事故の状況は、例えば、発生時刻、発生場所、事故の種類、けが人の有無、車両の破損状況、火災の発生の有無等を含む。

例えば、テキスト情報は、車両１０内の音声データを音声認識した内容（すなわち、音声の内容）の文字データを含む。

ステップＳ６において、異常検出部２２３は、異常の検出処理の結果に基づいて、異常を検出したか否かを判定する。ステップＳ６の判定処理は、異常を検出したと判定されるまで繰り返し実行される。そして、異常を検出したと判定された場合、処理はステップＳ７に進む。

ステップＳ７において、信号処理システム２０１は、テキスト情報の送信を開始する。具体的には、異常検出部２２３は、異常の発生を送信制御部２２４に通知する。

送信制御部２２４は、異常が検出される所定の時間前（例えば、１０秒前）から異常が検出されるまでに生成されたテキスト情報を記憶部２１５から読み出し、送信部２１４を介して所定の通知先に送信する。また、送信制御部２２４は、テキスト情報生成部２２２により生成された最新のテキスト情報を記憶部２１５から読み出して、所定の通知先に送信する処理を開始する。

通知先は、例えば、所定のセンタとされる。そして、例えば、センタから警察、病院、保険会社、警備会社等の関係各所に対して、必要に応じてテキスト情報が転送されたり、テキスト情報に基づく通知が行われたりする。なお、例えば、通知先を直接関係各所に設定するようにしてもよい。

ステップＳ８において、異常検出部２２３は、異常の検出処理の結果に基づいて、異常が終了したか否かを判定する。ステップＳ８の判定処理は、異常が終了したと判定されるまで、繰り返し実行され、異常が終了したと判定された場合、処理はステップＳ９に進む。

ステップＳ９において、信号処理システム２０１は、テキスト情報の送信を停止する。具体的には、異常検出部２２３は、異常の終了を送信制御部２２４に通知する。

送信制御部２２４は、テキスト情報の送信を停止する。

なお、例えば、送信制御部２２４は、異常が終了したと判定されてから所定の時間の間、テキスト情報の送信を継続するようにしてもよい。

その後、処理はステップＳ６に戻り、ステップＳ６以降の処理が実行される。

以上のようにして、事故や運転者の異常等が発生した場合、発生した異常に関する情報を表す文字データを含むテキスト情報が所定の通知先に送信される。

これにより、通知先、及び、その転送先において画像の解析等を行うことなく、テキスト情報を利用することができる。その結果、迅速に異常の発生や状況が把握され、異常に対する行動が実行されるようになる。例えば、けが人がいる場合、救急車がすぐに事故現場に向かうことができる。例えば、火災が発生している場合、消防車がすぐに事故現場に向かうことができる。例えば、事故車が逃走した場合、迅速に警察が追跡したり、取り締まりを行ったりすることができる。

＜＜３．第２の実施の形態＞＞
次に、図４及び図５を参照して、本技術の第２の実施の形態について説明する。

第２の実施の形態では、必要に応じてテキスト情報の生成が開始されたり、停止されたりする。

＜信号処理システム３０１の構成例＞
図４は、本技術を適用した信号処理システム３０１の構成例を示している。なお、図４は、図２と同様に、信号処理システム３０１が、車両１０に設けられ、車両１０及び車両１０の周囲の少なくとも一方の異常（例えば、事故、運転者の異常等）の検出処理を行う場合の例を示している。また、図中、図２の信号処理システム２０１と対応する部分には同じ符号を付してあり、その説明は適宜省略する。

信号処理システム３０１は、信号処理システム２０１と比較して、撮像部２１１、受信部２１２、送信部２１４、及び、記憶部２１５を備える点で一致し、信号処理部２１３の代わりに信号処理部３１１を備える点が異なる。信号処理部３１１は、信号処理部２１３と比較して、認識部２２１を備える点で一致し、異常検出部２２３、テキスト情報生成部２２２、及び、送信制御部２２４の代わりに、異常検出部３２１、テキスト情報生成部３２２、及び、送信制御部３２３を備える点が異なる。

異常検出部３２１は、信号処理システム２０１の異常検出部３２１と比較して、認識データ及び受信データに基づいて、異常の検出処理を行う点で一致し、さらに異常の兆候の検出処理を行う点が異なる。異常検出部３２１は、検出結果を示すデータをテキスト情報生成部３２２に供給する。

テキスト情報生成部３２２は、テキスト情報生成部２２２と同様に、認識データ及び受信データに基づいて、テキスト情報を生成する。ただし、テキスト情報生成部３２２は、テキスト情報生成部２２２と異なり、異常の兆候及び異常の検出結果に基づいて、テキスト情報の生成を開始したり停止したりする。テキスト情報生成部３２２は、生成したテキスト情報を送信制御部３２３に供給するとともに、記憶部２１５に記憶させる。

送信制御部３２３は、テキスト情報生成部３２２からテキスト情報を所得した場合、送信部２１４を介して、取得したテキスト情報を所定の通知先に送信する。

＜異常通知処理＞
次に、図５のフローチャートを参照して、信号処理システム３０１により実行される異常通知処理について説明する。

この処理は、例えば、信号処理システム３０１の電源がオンされたとき開始され、オフされたとき終了する。

ステップＳ１０１乃至ステップＳ１０３において、図３のステップＳ１乃至ステップＳ３と同様の処理が実行される。

ステップＳ１０４において、異常検出部３２１は、異常の検出処理を開始する。具体的には、異常検出部３２１は、図３のステップＳ７の異常検出部２２３の処理と同様に異常の検出処理を開始するとともに、異常の兆候の検出処理も開始する。

検出対象となる異常の兆候は、例えば、事故につながる危険要因、及び、事故を回避するための動作等を含む。事故につながる危険要因は、例えば、車両１０及び周囲の車両の危険運転、危険な歩行者（二輪車を含む）、運転者の異常、及び、周囲の危険な状況を含む。

車両１０及び周囲の車両の危険運転は、例えば、居眠り運転、酒酔い運転、無灯火運転、脇見運転、蛇行運転、逆走、信号無視、煽り運転、スピード超過、スリップ、急発進、急加速、急ブレーキ、急ハンドル等を含む。

危険な歩行者は、例えば、飛び出している（飛び出す可能性のある）歩行者、車両１０の運転者の死角にいる歩行者、信号無視をしている歩行者、車道内にいる歩行者、蛇行している歩行者等を含む。

周囲の危険な状況は、例えば、地震、濃霧、洪水、暴風、吹雪、火災、落石、障害物、道路の陥没、道路の凍結等を含む。

事故を回避するための動作は、例えば、急ブレーキ、急ハンドル等を含む。

ステップＳ１０５において、異常検出部３２１は、異常の兆候を検出したか否かを判定する。異常の兆候を検出していないと判定された場合、処理はステップＳ１０６に進む。

ステップＳ１０６において、図３のステップＳ６の処理と同様に、異常を検出したか否かが判定される。異常を検出していないと判定された場合、処理はステップＳ１０５に戻る。

その後、ステップＳ１０５において、異常の兆候が検出されたと判定されるか、ステップＳ１０６において、異常が検出されたと判定されるまで、ステップＳ１０５及びステップＳ１０６の処理が繰り返し実行される。

一方、ステップＳ１０５において、異常の兆候が検出されたと判定された場合、すなわち、異常が発生する危険性が高まった場合、ステップＳ１０６の処理はスキップされ、処理はステップＳ１０７に進む。

また、ステップＳ１０６において、異常が検出されたと判定された場合、処理はステップＳ１０７に進む。これは、異常の兆候が検出されずに、いきなり異常が検出された場合である。

ステップＳ１０７において、信号処理システム３０１は、テキスト情報の生成及び送信を開始する。具体的には、異常検出部３２１は、異常の兆候又は異常を検出したことをテキスト情報生成部３２２に通知する。

テキスト情報生成部３２２は、図３のステップＳ５のテキスト情報生成部２２２の処理と同様に、テキスト情報の生成を開始する。また、テキスト情報生成部３２２は、生成したテキスト情報を送信制御部３２３に供給するとともに、記憶部２１５に記憶させる処理を開始する。なお、記憶部２１５に記憶されたテキスト情報は、例えば、所定の時間後（例えば、１分後）に消去される。

なお、異常の兆候が検出された場合、テキスト情報は、例えば、異常の兆候に関する情報を表す文字データを含む。異常の兆候に関する情報は、例えば、異常の兆候の内容、並びに、異常の兆候の発生時刻及び発生場所を含む。

例えば、異常の兆候の一つである危険運転に関する情報をテキスト情報に含めることにより、事故が発生した場合に事故の解析精度が向上し、事故の原因等を正確に特定することができるようになる。

送信制御部３２３は、テキスト情報生成部３２２から取得したテキスト情報を、送信部２１４を介して所定の通知先に送信する処理を開始する。

ステップＳ１０８において、異常検出部３２１は、異常の兆候又は異常が終了したか否かを判定する。この判定処理は、異常の兆候又は異常が終了したと判定されるまで、繰り返し実行される。そして、異常の兆候又は異常が終了したと判定された場合、処理はステップＳ１０９に進む。これは、異常の兆候が検出された後、異常が検出され、その後、異常が検出されなくなった場合、異常の兆候が検出された後、異常が検出されることなく異常の兆候が検出されなくなった場合、又は、異常の兆候が検出されずに異常が検出された後、異常が検出されなくなった場合を含む。

ステップＳ１０９において、信号処理システム３０１は、テキスト情報の生成及び送信を停止する。具体的には、異常検出部３２１は、異常の兆候又は異常が終了したことをテキスト情報生成部３２２に通知する。

テキスト情報生成部３２２は、テキスト情報の生成を停止する。送信制御部３２３は、テキスト情報を送信する処理を停止する。

なお、例えば、テキスト情報生成部３２２及び送信制御部３２３は、異常の兆候又は異常が終了したと判定されてから所定の時間の間、テキスト情報の生成及び送信を継続するようにしてもよい。

その後、処理はステップＳ１０５に戻り、ステップＳ１０５以降の処理が実行される。

以上のようにして、異常の兆候が検出され、異常の発生の危険性が高まってから、テキスト情報が生成されるため、信号処理システム３０１の処理を軽減することができる。

また、異常が検出された場合に加えて、異常の兆候が検出された場合にも、テキスト情報が生成され、送信される。これにより、テキスト情報の通知先において、事前に異常の発生に備えることができ、異常が発生した場合に迅速に対応することができる。また、異常の解析をより正確かつ詳細に行うことが可能になる。

＜＜４．変形例＞＞
以下、上述した本技術の実施の形態の変形例について説明する。

信号処理システム２０１及び信号処理システム３０１は、例えば、１つの半導体チップにより構成してもよいし、複数の半導体チップにより構成してもよい。

例えば、信号処理システム２０１の撮像部２１１をイメージセンサに設け、その他の部分を他の半導体チップ（例えば、ＡＤＡＳ用の半導体チップ）に設けるようにしてもよい。例えば、撮像部２１１と信号処理部２１３の一部（例えば、認識部２２１）又は全部とをイメージセンサに設け、その他の部分を他の半導体チップ（例えば、ＡＤＡＳ用の半導体チップ）に設けるようにしてもよい。例えば、信号処理システム２０１を１つのイメージセンサにより構成するようにしてもよい。

同様に、例えば、信号処理システム３０１の撮像部２１１をイメージセンサに設け、その他の部分を他の半導体チップ（例えば、ＡＤＡＳ用の半導体チップ）に設けるようにしてもよい。例えば、撮像部２１１と信号処理部３１１の一部（例えば、認識部２２１）又は全部とをイメージセンサに設け、その他の部分を他の半導体チップ（例えば、ＡＤＡＳ用の半導体チップ）に設けるようにしてもよい。例えば、信号処理システム３０１を１つのイメージセンサにより構成するようにしてもよい。

また、例えば、信号処理システム２０１及び信号処理システム３０１は、１つの装置により構成してもよいし、筺体が異なる複数の装置により構成してもよい。

例えば、信号処理システム２０１を１つの撮像装置により構成するようにしてもよい。例えば、信号処理システム２０１の撮像部２１１を撮像装置に設け、その他の部分を車両のＡＤＡＳ用のＥＣＵ（Electronic Control Unit）に設けるようにしてもよい。

同様に、例えば、信号処理システム３０１を１つの撮像装置により構成するようにしてもよい。例えば、信号処理システム３０１の撮像部２１１を撮像装置に設け、その他の部分を車両のＡＤＡＳ用のＥＣＵに設けるようにしてもよい。

さらに、例えば、第１の実施の形態において、第２の実施の形態と同様に、異常の兆候が検出された場合、テキスト情報の生成が開始され、異常の兆候及び異常が終了した場合、テキスト情報の生成が停止されるようにしてもよい。

また、例えば、第２の実施の形態において、第１の実施の形態と同様に、異常が検出された場合に、テキスト情報の送信が開始されるようにしてもよい。さらに、例えば、第１の実施の形態と同様に、異常が検出される所定の時間前から異常が検出されるまでに生成されたテキスト情報が送信されるようにしてもよい。

また、例えば、異常が検出されてから所定の時間の間、テキスト情報が送信された後、異常が終了しているか否かに関わらず、テキスト情報の送信が停止されるようにしてもよい。

さらに、例えば、車両１０が、故障等により通知先までテキスト情報を送信できなくなった場合、もし近距離通信により周囲の車両との通信が可能であれば、周囲の車両までテキスト情報を送信し、周囲の車両が通知先への送信を代行するようにしてもよい。

また、例えば、信号処理システム２０１及び信号処理システム３０１を固定された場所に設置し、所定の監視領域内の交通事故等の異常の監視に用いてもよい。対象となる監視領域としては、例えば、交差点、幹線道路、踏切等が想定される。

この場合、テキスト情報は、例えば、監視領域の状況に関する情報を表す文字データを含む。監視領域の状況に関する情報は、例えば、監視領域内の車両、運転者、歩行者、天候、路面の状態、障害物の有無、事故の発生の有無、事故の状況、監視領域内の音声データを音声認識した内容等を含む。

さらに、信号処理システム２０１及び信号処理システム３０１を車両以外の移動体に設けて、移動体の各種の異常の通知に用いてもよい。対象となる移動体としては、例えば、自動二輪車、自転車、パーソナルモビリティ、飛行機、船舶、建設機械、農業機械（トラクター）等が想定される。また、例えば、ドローン、ロボット等のユーザが搭乗せずにリモートで運転（操作）する移動体も含まれる。通知対象となる異常としては、例えば、事故、転倒、破壊、故障等が想定される。

この場合、テキスト情報は、例えば、移動体、移動体の運転者（運転者が存在する場合）、及び、異常（例えば、事故等）の状況に関する情報を表す文字データや、移動体内の音声データを音声認識した内容を表す文字データを含む。また、移動体が関わる事故が発生し、事故の相手が存在する場合、テキスト情報は、例えば、事故の相手に関する情報を表す文字データを含む。

さらに、信号処理システム２０１及び信号処理システム３０１を所定の監視領域に設けて、防犯や防災等の用途に用いてもよい。対象となる監視領域には、例えば、各種の施設（例えば、店舗、会社、学校、工場、駅、空港、倉庫等）内や敷地内、街頭、駐車場、住居、自然災害の発生が想定される場所等が想定される。通知対象となる異常としては、例えば、不審者の侵入、盗難、破壊、不審な行動、火災、自然災害（例えば、洪水、津波、噴火等）等が想定される。

この場合、テキスト情報は、例えば、監視領域の状況に関する情報を表す文字データを含む。監視領域の状況に関する情報は、例えば、監視領域内の人、物体、天候、異常の発生の有無、異常の状況、監視領域内の音声データを音声認識した内容等を含む。

また、例えば、テキスト情報の内容は、状況に応じて変更されてもよい。また、例えば、テキスト情報を複数回に分けて送信するようにしてもよい。

また、例えば、受信データを用いずに、画像データのみを用いて上述した処理を行うようにしてもよい。

さらに、テキスト情報は、例えば、自動運転に用いるダイナミックマップに用いることが可能である。ダイナミックマップは、例えば、路面、車線、構造物等の時間変化の少ない静的情報、管理交通規制予定、道路工事予定等の準静的情報、事故、渋滞等の準動的情報、及び、周辺車両、信号情報等の動的情報を含む。そして、テキスト情報は、例えば、通知先のセンタ等において、準動的情報の更新に用いられる。

＜＜５．その他＞＞
＜コンピュータの構成例＞
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

コンピュータ１０００において、CPU（Central Processing Unit）１００１，ROM（Read Only Memory）１００２，RAM（Random Access Memory）１００３は、バス１００４により相互に接続されている。

バス１００４には、さらに、入出力インタフェース１００５が接続されている。入出力インタフェース１００５には、入力部１００６、出力部１００７、記録部１００８、通信部１００９、及びドライブ１０１０が接続されている。

入力部１００６は、入力スイッチ、ボタン、マイクロフォン、撮像素子などよりなる。出力部１００７は、ディスプレイ、スピーカなどよりなる。記録部１００８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１００９は、ネットワークインタフェースなどよりなる。ドライブ１０１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア１０１１を駆動する。

以上のように構成されるコンピュータ１０００では、CPU１００１が、例えば、記録部１００８に記録されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ１０００（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータ１０００では、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記録部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記録部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記録部１００８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

さらに、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

＜構成の組み合わせ例＞
本技術は、以下のような構成をとることもできる。

（１）
撮像部により撮像された撮像画像の内容を認識する認識部と、
認識された前記撮像画像の内容を文字で表したデータを含むテキスト情報を生成するテキスト情報生成部と、
前記テキスト情報の送信を制御する送信制御部と
を備える信号処理装置。
（２）
前記信号処理装置は、車両に設けられ、
前記テキスト情報生成部は、認識された前記撮像画像の内容、並びに、車内及び車外の少なくとも一方からの受信データの内容に基づいて、前記テキスト情報を生成する
前記（１）に記載の信号処理装置。
（３）
前記テキスト情報は、前記車両及び前記車両の周囲の少なくとも一方の異常に関する情報を文字で表したデータを含む
前記（２）に記載の信号処理装置。
（４）
前記異常に関する情報は、前記車両の周囲の他の車両の特徴、前記他の車両の状態、前記他の車両の運転者の特徴、事故の状況、前記車両の特徴、前記車両の状態、前記車両の運転者の特徴、及び、前記車両の運転者の状態のうち少なくとも１つを含む
前記（３）に記載の信号処理装置。
（５）
前記他の車両の特徴は、前記他の車両のナンバープレートの内容を含む
前記（４）に記載の信号処理装置。
（６）
認識された前記撮像画像の内容に基づいて異常の検出処理を行う異常検出部を
さらに備え、
前記送信制御部は、前記異常の検出結果に基づいて、前記テキスト情報の送信を制御する
前記（１）乃至（５）のいずれかに記載の信号処理装置。
（７）
前記送信制御部は、前記異常が検出された場合、前記テキスト情報の送信を開始する
前記（６）に記載の信号処理装置。
（８）
前記テキスト情報生成部は、前記異常の検出結果に関わらず、前記テキスト情報を継続して生成し、
前記送信制御部は、前記異常が検出された場合、前記テキスト情報の送信を開始するとともに、所定の時間前から前記異常が検出されるまでの間の前記テキスト情報を送信する
前記（７）に記載の信号処理装置。
（９）
前記テキスト情報生成部は、前記異常の兆候が検出された場合、前記テキスト情報の生成を開始する
前記（７）に記載の信号処理装置。
（１０）
前記テキスト情報生成部は、前記異常の兆候が検出された場合、前記テキスト情報の生成を開始し、
前記送信制御部は、前記異常の兆候が検出された場合、前記テキスト情報の送信を開始する
前記（６）に記載の信号処理装置。
（１１）
前記テキスト情報は、前記異常の兆候に関する情報を文字で表したデータを含む
前記（１０）に記載の信号処理装置。
（１２）
前記信号処理装置は、車両に設けられ、
前記異常の兆候は、前記車両の事故の危険要因、及び、前記車両が事故を回避するための動作のうち少なくとも１つを含む
前記（１０）に記載の信号処理装置。
（１３）
前記テキスト情報は、前記異常に関する情報を文字で表したデータを含む
前記（６）乃至（１２）のいずれかに記載の信号処理装置。
（１４）
前記異常に関する情報を含む受信データを受信する受信部を
さらに備え、
前記テキスト情報は、前記受信データの内容を文字で表すデータをさらに含む
前記（６）乃至（１３）のいずれかに記載の信号処理装置。
（１５）
前記異常検出部は、さらに前記受信データに基づいて、前記異常の検出処理を行う
前記（１４）に記載の信号処理装置。
（１６）
前記受信データは、音声データを含み、
前記テキスト情報は、前記音声データを音声認識した内容を文字で表すデータを含む
前記（１４）又は（１５）に記載の信号処理装置。
（１７）
前記撮像部は、所定の監視領域の撮像を行い、
前記テキスト情報は、前記監視領域の状況に関する情報を文字で表したデータを含む
前記（１）に記載の信号処理装置。
（１８）
前記撮像部を
さらに備える前記（１）乃至（１７）のいずれかに記載の信号処理装置。
（１９）
前記撮像部及び前記認識部を備えるイメージセンサを
さらに備える前記（１８）に記載の信号処理装置。
（２０）
撮像部により撮像された撮像画像の内容を認識し、
認識された前記撮像画像の内容を文字で表したデータを含むテキスト情報を生成し、
前記テキスト情報の送信を制御する
信号処理方法。
（２１）
撮像部により撮像された撮像画像の内容を認識し、
認識された前記撮像画像の内容を文字で表したデータを含むテキスト情報を生成し、
前記テキスト情報の送信を制御する
処理をコンピュータに実行させるためのプログラム。
（２２）
撮像部と、
前記撮像部により撮像された撮像画像の内容を認識する認識部と、
認識された前記撮像画像の内容を文字で表したデータを含むテキスト情報を生成するテキスト情報生成部と、
前記テキスト情報の送信を制御する送信制御部と
を備える撮像装置。

なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。

１０車両，１００車両制御システム，１０１入力部，１０２データ取得部，１０３通信部，１４１車外情報検出部，１４２車内情報検出部，１４３車両状態検出部，１５３状況認識部，２０１信号処理システム，２１１撮像部，２１２受信部，２１３信号処理部，２１４送信部，２２１認識部，２２２テキスト情報生成部，２２３異常検出部，２２４送信制御部，３０１信号処理システム，３１１信号処理部，３２１異常検出部，３２２テキスト情報生成部，３２３送信制御部

Claims

撮像部により撮像された撮像画像の内容を認識する認識部と、
認識された前記撮像画像の内容を文字で表したデータを含むテキスト情報を生成するテキスト情報生成部と、
自身の通知先に対して、前記テキスト情報の送信を制御する送信制御部と
を備え、
前記送信制御部は、自身の通知先への前記テキスト情報の送信が不可能であった場合、周囲の他の車両に対して、自身の通知先への前記テキスト情報の送信を制御し、
周囲の他の車両から、他の車両の通知先への前記テキスト情報を受けた場合、他の車両の通知先に対して、他の車両の通知先への前記テキスト情報の送信を制御する
信号処理装置。
前記信号処理装置は、車両に設けられ、
前記テキスト情報生成部は、認識された前記撮像画像の内容、並びに、車内及び車外の少なくとも一方からの受信データの内容に基づいて、前記テキスト情報を生成する
請求項１に記載の信号処理装置。
前記テキスト情報は、前記車両及び前記車両の周囲の少なくとも一方の異常に関する情報を文字で表したデータを含む
請求項２に記載の信号処理装置。
前記異常に関する情報は、前記車両の周囲の他の車両の特徴、前記他の車両の状態、前記他の車両の運転者の特徴、事故の状況、前記車両の特徴、前記車両の状態、前記車両の運転者の特徴、及び、前記車両の運転者の状態のうち少なくとも１つを含む
請求項３に記載の信号処理装置。
前記他の車両の特徴は、前記他の車両のナンバープレートの内容を含む
請求項４に記載の信号処理装置。
認識された前記撮像画像の内容に基づいて異常の検出処理を行う異常検出部を
さらに備え、
前記送信制御部は、前記異常の検出結果に基づいて、前記テキスト情報の送信を制御する
請求項１に記載の信号処理装置。
前記送信制御部は、前記異常が検出された場合、前記テキスト情報の送信を開始する
請求項６に記載の信号処理装置。
前記テキスト情報生成部は、前記異常の検出結果に関わらず、前記テキスト情報を継続して生成し、
前記送信制御部は、前記異常が検出された場合、前記テキスト情報の送信を開始するとともに、所定の時間前から前記異常が検出されるまでの間の前記テキスト情報を送信する請求項７に記載の信号処理装置。
前記テキスト情報生成部は、前記異常の兆候が検出された場合、前記テキスト情報の生成を開始する
請求項７に記載の信号処理装置。
前記テキスト情報生成部は、前記異常の兆候が検出された場合、前記テキスト情報の生成を開始し、
前記送信制御部は、前記異常の兆候が検出された場合、前記テキスト情報の送信を開始する
請求項６に記載の信号処理装置。
前記テキスト情報は、前記異常の兆候に関する情報を文字で表したデータを含む
請求項１０に記載の信号処理装置。
前記信号処理装置は、車両に設けられ、
前記異常の兆候は、前記車両の事故の危険要因、及び、前記車両が事故を回避するための動作のうち少なくとも１つを含む
請求項１０に記載の信号処理装置。
前記テキスト情報は、前記異常に関する情報を文字で表したデータを含む
請求項６に記載の信号処理装置。
前記異常に関する情報を含む受信データを受信する受信部を
さらに備え、
前記テキスト情報は、前記受信データの内容を文字で表すデータをさらに含む
請求項６に記載の信号処理装置。
前記異常検出部は、さらに前記受信データに基づいて、前記異常の検出処理を行う
請求項１４に記載の信号処理装置。
前記受信データは、音声データを含み、
前記テキスト情報は、前記音声データを音声認識した内容を文字で表すデータを含む
請求項１４に記載の信号処理装置。
前記撮像部は、所定の監視領域の撮像を行い、
前記テキスト情報は、前記監視領域の状況に関する情報を文字で表したデータを含む
請求項１に記載の信号処理装置。
前記撮像部を
さらに備える請求項１に記載の信号処理装置。
前記撮像部及び前記認識部を備えるイメージセンサを
さらに備える請求項１８に記載の信号処理装置。
撮像部により撮像された撮像画像の内容を認識し、
認識された前記撮像画像の内容を文字で表したデータを含むテキスト情報を生成し、
自身の通知先に対して、前記テキスト情報の送信を制御し、
自身の通知先への前記テキスト情報の送信が不可能であった場合、周囲の他の車両に対して、自身の通知先への前記テキスト情報の送信を制御し、
周囲の他の車両から、他の車両の通知先への前記テキスト情報を受けた場合、他の車両の通知先に対して、他の車両の通知先への前記テキスト情報の送信を制御する
信号処理方法。
撮像部により撮像された撮像画像の内容を認識し、
認識された前記撮像画像の内容を文字で表したデータを含むテキスト情報を生成し、
自身の通知先に対して、前記テキスト情報の送信を制御し、
自身の通知先への前記テキスト情報の送信が不可能であった場合、周囲の他の車両に対して、自身の通知先への前記テキスト情報の送信を制御し、
周囲の他の車両から、他の車両の通知先への前記テキスト情報を受けた場合、他の車両の通知先に対して、他の車両の通知先への前記テキスト情報の送信を制御する
処理をコンピュータに実行させるためのプログラム。
撮像部と、
前記撮像部により撮像された撮像画像の内容を認識する認識部と、
認識された前記撮像画像の内容を文字で表したデータを含むテキスト情報を生成するテキスト情報生成部と、
自身の通知先に対して、前記テキスト情報の送信を制御する送信制御部と
を備え、
前記送信制御部は、自身の通知先への前記テキスト情報の送信が不可能であった場合、周囲の他の車両に対して、自身の通知先への前記テキスト情報の送信を制御し、
周囲の他の車両から、他の車両の通知先への前記テキスト情報を受けた場合、他の車両の通知先に対して、他の車両の通知先への前記テキスト情報の送信を制御する
撮像装置。