JP7289166B2

JP7289166B2 - システム及びプログラム等

Info

Publication number: JP7289166B2
Application number: JP2022175770A
Authority: JP
Inventors: 圭三高橋; 隆浅野; 哲也服部; 勇治野中; 孝平庄司; 勇規依藤; 聡柵木; 智昭小川; 茂小池; 三千洋上; 彰須野原; 勇喜清水; 要岩佐
Original assignee: 株式会社ユピテル
Priority date: 2018-05-24
Filing date: 2022-11-01
Publication date: 2023-06-09
Anticipated expiration: 2038-05-24
Also published as: JP2023029831A

Description

本発明は、例えば、車両等に取り付けられたカメラ等で撮像された画像を処理するシステム及びプログラム等に関する。

下記の特許文献１に、ドライブレコーダ等に適用されるシステムが開示されている。このシステムは、映像データを記録領域に記録していくサイクルを繰り返す。所定のサイクル終了条件が満たされると、現在進行中のサイクルを終了し、終了したサイクルで記録された映像データを古い順番に新しい映像データで上書きしていく新しいサイクルを開始する。現在進行中のサイクルで記録された映像データの容量、及び直前のサイクルで記録された映像データのうち上書きされていない映像データの容量の少なくとも一方に基づく、上書きしている位置についての情報を出力手段に出力させる。

特開２０１８－６９６９号公報

ドライブレコーダによって記録された画像は、事故等の発生原因を特定するために有効利用される。車両等に取り付けられたカメラで取得された画像を、従来よりもさらに事故原因の特定に役立てるとともに、事故原因の特定に限定されず、より有効に活用することが望まれている。

本願の発明の目的はこれに限定されず、本明細書及び図面等に開示される構成の部分から奏する効果を得ることを目的とする構成についても分割出願・補正等により権利取得する意思を有する。例えば本明細書において「～できる」と記載した箇所を「～が課題である」と読み替えた課題が本明細書には開示されている。課題はそれぞれ独立したものとして記載しているものであり、この課題を解決するための構成についても単独で分割出願・補正等により権利取得する意思を有する。課題が明細書の記載から黙示的に把握されるものであっても、本出願人は本明細書に記載の構成の一部を補正または分割出願にて特許請求の範囲とする意思を有する。またこれら独立の課題を組み合わせた課題も開示されている。

（１）車両に取り付けられたカメラで撮像された画像を記録する機能、及び
前記カメラで撮像された画像の画像解析を行い、解析結果に基づいて、解析結果に対応する処理を実行する機能
を持つ処理手段を有するシステムとするとよい。

車両に取り付けられたカメラで撮像された画像を記録するのみではなく、その画像をより有効に活用することができる。

車両の例として、例えば乗用車、貨物自動車、特殊自動車等が挙げられる。カメラは、例えば、車両の車内及び車外の少なくとも一方を撮像するとよい。次に、「車内」及び「車外」については、例えば以下のように解釈するとよい。

車両のボディによって内部の空間と外部の空間とが明確に区分される場合には、ボディの内部を「車内」と呼び、ボディの外部を「車外」と呼ぶとよい。例えば、乗員スペースと積荷スペースとが連続しているバンの場合、連続する乗員スペースと積荷スペースとを車内と呼ぶとよい。乗員スペースと積荷スペースとが仕切られているセダンの場合も、乗員スペース及び積荷スペースの両方を車内と呼ぶとよい。密閉構造の荷台を持つ有蓋貨物自動車においては、乗員スペース及び密閉された荷台の内部を車内と呼ぶとよい。開放された荷台を持つ無蓋貨物自動車（平ボディ車）においては、荷台の上の積荷を収容する空間と、その周囲の空間とを明確に区分することが困難であるが、開放された積荷を収容する空間も車内と呼ぶとよい。なお、無蓋貨物自動車の乗員スペースも車内と呼ぶとよい。フォークリフト等の一部の特殊自動車では、乗員スペース及び積荷スペースの両方が開放されており、乗員スペース及び積荷スペースを、その周囲の空間と明確に区分することが困難な場合がある。このような場合であっても、乗員スペース及び積荷スペースの両方を車内と呼ぶとよい。例えば、乗員が着座するシートの上の空間、及び積荷を保持して昇降するフォークの上方の空間を車内と呼ぶとよい。このように、車両の移動に伴って、車両とともに移動すると考えることができる空間を車内と呼び、その周囲の空間を車外と呼ぶとよい。

「車両に取り付けられたカメラ」として、通常の使用状態で車両に対する相対位置及び姿勢が固定されているカメラを用いるとよい。また、「車両に取り付けられたカメラ」として、半天球型または全天球型の３６０度カメラを用いるとよい。半天球型または全天球型の３６０度カメラを用いると、通常のカメラを用いる場合と比べて、より広い範囲の画像を取得することができる。例えば、１台のカメラで車内と車外との両方の画像を取得することができる。なお、３６０度カメラに代えて、複数台の通常のカメラを車両に取り付けてもよい。

カメラで撮像される画像を、動画とするとよい。カメラで撮像される画像を動画とすると、処理手段は、画像解析を行うことによって、被写体の動き、ある時点の前後における被写体の有無等を容易に判定することが可能になる。

カメラで撮像された画像を記録する機能は、カメラが搭載された車両の車載装置と通信するサーバで実現してもよいが、車載装置で行うとさらによい。記録媒体として、ＳＤカード等のリムーバブルメディアを用いるとよい。記録媒体としてリムーバブルメディアを用いると、画像が記録されたリムーバブルメディアを車載装置から取り外して、パソコン等の他の端末で画像を表示することができる。

カメラで撮像された画像を解析する機能は、カメラが搭載された車載装置と通信するサーバで実現してもよいが、車載装置で行うとさらによい。車載装置が画像の解析を行うと、解析結果に対応する処理を車両において迅速に実行することができる。

処理手段は、１つの装置で構成してもよく、複数の装置で構成してもよい。例えば、ドライブレコーダは、カメラで撮像された画像を記録する機能を持っている。本システムの処理手段の機能は、このドライブレコーダに内蔵されたマイクロコンピュータ及びメモリに記憶されたアプリケーションプログラムにより実現するとよい。また、例えば、処理手段を車載装置とサーバとの２つの装置で構成し、画像の記録を車載装置が行い、画像の解析をサーバが行うようにするとよい。

なお、車両以外の物に取り付けられたカメラで撮像された画像を記録する機能、及び前記カメラで撮像された画像の画像解析を行い、解析結果に基づいて、解析結果に対応する処理を実行する機能を持つ処理手段を有するシステムとしてもよい。ただし特に（１）のようにするとよい。

（２）前記処理手段は、前記画像解析の機能として画像内の人物の動きが、予め登録された特定の動きに該当するか否かを判別する機能を持ち、人物の動きが特定の動きに該当するものであるとき、解析結果に対応する処理として、人物の特定の動きを撮像した画像の記録、特定の動きを撮像した画像のサーバへの送信、人物が特定の動きをしたことの通報、及び警報の発出の少なくとも１つの処理を実行する請求項１に記載のシステムとするとよい。

例えば、記録された画像、またはサーバに送信された画像は、人物が特定の動きをしていたことの証拠として利用することができる。例えば、人物が特定の動きをしたことを通報することにより、特定の動きをする人物がいることを外部の人に知らせることができる。例えば、発出された警報により、特定の動きをしていた人物は、自分に対して警報が発出されていることに気付くことにより、特定の動きを止めるように動機付けされる。

特定の動きをする人物として、例えば車両の運転者とするとよい。特定の動きとして、例えば運転者の運転以外の動作とするとよい。例えば、スマートフォン等の携帯端末を見る動作、食べ物を食べる動作、よそ見やわき見の動作、居眠り等とするとよい。例えば、わき見の動作の有無は、運転者の目の位置の検知結果に基づいて判定するとよい。記録された画像は、運転者の意識向上、事故原因の分析等に用いることができる。処理手段は、運転者がスマートフォン等の携帯端末を操作していることを検知すると、運転中は携帯端末を持たないように注意を促す警報を発出するようにするとよい。運転者が警報に気付いて特定の動きを止めると、危険を事前に回避することができる。データ送信先のサーバとして、車両の管理者のサーバ、または警察のサーバとするとよい。車両の管理者は、送信されたデータに基づいて、運転者の運転態度を評価することができる。警察は、送信された画像に基づいて、運転者の運転態度の評価、事故の原因分析等を行うことができる。

特定の動きをする人物として、例えば車外の不審者とし、特定の動きとして、例えば車内に不法侵入しようとする動作、例えば、ハンマーを持ってガラス窓を割ろうとする動作、車内を覗き込む動作等とするとよい。警報を発出することにより、不法侵入しようとする不審者に、車内への侵入を思いとどまらせることができる。記録された画像、またはサーバに送信された画像は、車上狙いの犯罪が発生した後に窃盗犯逮捕のための有益な情報として利用することができる。人物が特定の動きをしたことを車両の所有者や運転者に通知することにより、所有者や運転者が直ちに車両に戻り、車上狙いの被害を未然に防ぐことができる場合がある。また、通知を受けた運転者や所有者は、警察に通報することも可能である。このように、この機能を防犯に役立てることができる。

特定の動きをする人物として、例えば車内の不審者とし、特定の動きとして、種々の車上狙いの手口、例えば駐車中の車内への不法侵入、駐車中の車内での不審者の動き、車内の装置の取り外しの動作等とするとよい。警報を発出することによって窃盗犯が慌てて退散すると、車上狙いの被害が軽減されるという効果が得られる。記録された画像、またはサーバに送信された画像は、車上狙いの犯罪が発生した後に窃盗犯逮捕のための有益な情報として利用することができる。人物が特定の動きをしたことを車両の所有者や運転者に通知することにより、所有者や運転者が直ちに車両に戻ったり、警察に通報したりすることにより、車上狙いの被害を軽減させることが可能になる。外部への通報の例として、不審者が写った画像を添付した電子メールの送信等が挙げられる。電子メールの送信先として、車両の管理者、運転者、所有者、警察等とするとよい。

特定の動きをする人物として、例えば不特定の人物が乗車する営業車両の乗客とし、特定の動きとして、強盗の種々の手口、例えば刃物をちらつかせる動作、拳銃を構える動作、暴力を振るう動作等とするとよい。処理手段が警報を発出する処理を実行することにより、強盗犯が犯罪を思い止まると、被害を未然に防ぐことができる。記録された画像、またはサーバに送信された画像は、強盗犯逮捕のための有益な情報として利用することができる。人物が特定の動きをしたことを車両の管理者に通報することにより、管理者が強盗の発生に気付き、警察に通報することができる。また、処理手段が通信機能を用いて警察に通報する機能を持つとよい。

特定の動きをする人物として、例えば同乗している車内の乳幼児とし、特定の動きとして、例えば睡眠から目覚めたときの動きとするとよい。画像解析で乳幼児の目覚めを検知すると、処理手段は、電子メール等で保護者に通知するとよい。走行中に乳幼児が車内で眠ってしまって、エンジンをかけたままちょっと買い物に行ったり、用事を済ませたりしたい場合がある。このとき、乳幼児を無理やり起こすと機嫌が悪くなってしまうため、そのまま眠らせておきたいという要望がある。ただし、保護者は、車両から離れている時、乳幼児が目を覚ましていないか気になる。本システムを利用すると、乳幼児が目を覚ました時点で保護者の携帯端末に電子メールが送られてくるため、親は、直ちに車両に駆け付けて乳幼児の目覚めに対処することができる。

特定の動きをする人物として、例えば、車外の要介護者、要救助者とし、特定の動きとして、例えば要介護者に特有の動作、救助が必要と思われる状況に該当する動作とするとよい。例えば、要介助者の特有の動作の例として、例えば杖をついて、腰が曲がって、よたよた歩く動作が挙げられる。救助が必要と思われる状況に該当する動作の例として、倒れて口から泡を噴いて倒れている状況に該当する動作等が挙げられる。

特定の動きをする人物を検知する機能に、車両の前方の画像、車両の後方の画像、車内の画像のうち少なくとも１つの画像を選択する機能を含め、選択された画像から該当の人物を検知するようにするとよい。少なくとも１つの画像の選択は、ユーザが指定できるようにするとよい。これにより、処理手段が、不要なまたは重要性の低い画像の解析を行わなくなるため、処理手段に過度な処理能力を持たせる必要がなくなる。

特定の動きをする人物を検知する機能に、運転者の眠気を検知する機能を含ませるとよい。例えば、運転者の皮膚の赤味の変動具合から脈拍を測定し、脈拍の変動に基づいて、運転者の眠気の有無を判定するとよい。サーモカメラによる体温の測定、マイクロ波による脈拍の測定等を連携させて、眠気の検知精度を高めるとよい。本システムの処理手段が眠気を検知したら、エアコンの設定温度を下げたり、音声や音で警告を発出したりするとよい。

（３）前記処理手段は、前記画像解析の機能として画像内の人物が、予め登録された特定の特徴を有するか否かを判別する機能を持ち、解析結果に対応する処理として、画像内の人物が持つ特定の特徴に応じた処理を実行するシステムとするとよい。

画像に写り込んだ人物の特徴に応じて、適切な処理を行うことができる。

画像内の人物が特定の特徴を有するか否かを判別する機能に、例えば顔認証機能を含めるとよい。例えば、運転席に着座した人物の顔認証を行い、運転席に着座した人物が予め登録された人物に該当しない場合、処理手段は、車両にアクセスしてエンジンの始動ができないようにするとよい。例えば、処理手段からエンジンコントロールユニット（ＥＣＵ）に対して、エンジンの始動を禁止する信号を送信するとよい。これにより、予め運転可能な人物を登録しておき、登録されていない人物による車両の運転を禁止することができる。その結果、車両の防犯機能を高めることができる。また、子供のいたずら対策としても有効である。エンジンの始動を禁止する処理の他に、アクセルを踏めないようにする、サイドブレーキ（パーキングブレーキ）を解除できないようにする、シフトレバーがドライブ位置に入らないようにする、警報を鳴らす、登録したメールアドレスに画像とともに電子メールを送信する等の処理を行ってもよい。

その他に、例えば車外の人物の顔認証を行い、車外の人物が予め登録された人物に該当する場合、処理手段が車両を制御してドアロックを解除するようにするとよい。例えば、車両がカーシェアリングサービスに提供されるものである場合、カーシェアリングサービスの登録会員を予め登録しておくとよい。登録会員は、車両に近づいて車両のカメラの画角内に自分の顔を移動させることもより、カードキー等を所持していなくても、車両を利用することが可能になる。これにより、カーシェアリングサービスの車両の使い勝手がよくなる。

車両が、不特定の人物が乗り込む営業車両であり、処理手段は、乗客が手配中の犯罪者であるか否かを顔認証機能により判定するとよい。手配中の犯罪者の顔写真は、警察のデータベースからＬＴＥや無線ＬＡＮ等を介した通信により本システムの処理手段に伝送し、予め処理手段に登録しておくとよい。処理手段は、乗客が手配中の犯罪者であると判定した場合には、車両の管理者への通知、警察への通知等を、通信装置及び通信ネットワークを介して行うとよい。さらに、処理手段は、乗客に悟られない方法で運転者に通知するとよい。車両の管理者、警察、運転者等は、手配中の犯罪者が車両に乗り込んだことを認識し、迅速に適切な対応を取ることができる。

例えば、タクシーは、乗務員と乗客のみが乗車した密室状態になるため、乗務員の安全確保という点で、このシステムの需要が多いと思われる。犯罪者がタクシーに乗車したことを処理手段が検知すると、タクシー会社や警察に、犯罪者の乗車を通知するとよい。また、本システムによると、犯罪者が実際に車両内で犯罪行為を行う前に、犯罪者が車両に乗り込んだ時点で犯罪者の乗車を検知することができる。このため、犯罪を未然に回避することも可能になる。

画像内の人物が特定の特徴を有するか否かを判別する機能に、例えば画像内の人物の外見を、予め登録された特定の外見と比較し、両者が一致するか否かを判別する機能（以下、外見認証機能という。）を含めるとよい。特定の外見として、徘徊者に特有の外見、犯罪者に特有の外見等をあらかじめ登録しておくとよい。犯罪者に特有の外見の例として、例えば路上で刃物を持っていること、危険物を持っていること等が挙げられる。また、赤外線カメラ、紫外線カメラ等の画像と、通常のカメラの画像とを組み合わせて、違法薬物を所持している人物を検知できるようにするとよい。処理手段は、画像内に特定の外見を持つ人物を検知したら、通信装置及び通信ネットワークを介して警察や車両の管理者に通知するとよい。

特定の行方不明者、徘徊者を見つけたい場合には、例えば行方不明になった時点の外見を、捜索情報として個別に処理手段に登録しておくとよい。例えば、男女の別、身長、服装の種別、服装の色、帽子着用の有無、杖を持っているか否か、腰が曲がっているか否かという個別の捜索情報を登録するとよい。さらに、徘徊していると思われる地域（捜索対象地域）を登録するとよい。処理手段は、捜索対象地域に車両が位置するときに、個別の捜索情報に合致する人物の検知処理を実行するとよい。このような個別の捜索情報は、警察、地域の支援センター等のデータベース（サーバ）から本システムの処理手段に送信するとよい。画像内の人物が特定の特徴を有するか否かを判別する機能を車載装置で行い、車両が捜索地域に進入したら、サーバから車両の処理手段に捜索情報をダウンロードするようにするとよい。

画像内の人物が特定の特徴を有するか否かを判別する機能に、例えば助手席または後席に座っている人物がシートベルトを着用しているか否かを判別する機能（以下、外見認証機能という。）を含めるとよい。本システムの処理手段は、シートベルト未装着の人物を検出すると、シートベルトを装着するように促すメッセージを発出するとよい。

特に、後席の人物がシートベルト未装着の状態で高速道路の入り口に近づいたときに、シートベルトの装着を促すメッセージを発出するとよい。例えば、車両の現在位置から高速道路の入り口までの距離が基準の距離以下になったら、高速道路の入り口に近づいたと判定するとよい。その他に、ＥＴＣカード挿入忘れチェック用の信号を受信したら、高速道路の入り口に近づいたと判定するとよい。また、車両前方の画像を解析して、画像内に高速道路の入り口を検知すると、高速道路の入り口に近づいたと判定するとよい。

（４）前記処理手段は、前記画像解析の機能として画像内の人数を計数する機能を持ち、解析結果に対応する処理として、画像内の人数データを記録または送信する処理を実行するシステムとするとよい。

人数を計数するための特別の装置を用いることなく、本システムにより人数を計数することができる。

例えば、カメラをバスに取り付けて、人数を計数する元となる画像として車内の画像を採用するとよい。処理手段は、計数結果を表示して、乗務員に知らせるとよい。乗務員は、車両に乗車している乗客（搭乗者）の人数を容易に把握することができる。この機能を、ツアーの点呼に代えて利用することができる。乗客が全員降車すべきときに、乗客の人数の計数結果が０にならないとき、乗務員は車内に取り残されている人がいることを知ることができる。例えば、赤ちゃんのように自らの意思を発することができない人、障害者のように自ら降りることができない人等の居残りを検知することができる。

例えば、カメラを取り付ける車両が、乗客の人数が予め決まっている種類の車両、例えば観光バス、長距離高速バス等であり、予め決められた乗客の人数を本システムの処理手段に登録しておくとよい。処理手段は、人数の計数結果と、登録されている人数とを比較し、過不足がある場合には、乗務員に対して過不足を警告するとよい。これにより、乗客の人数が不足したまま発車してしまうことが防止される。また、乗車する資格を持たない人が乗車してしまっていることを容易に把握し、降車を促すことができる。

例えば、路線バスの車内にカメラ（例えば、天井に半天球カメラ）を取り付け、処理手段が画像解析を行って、乗車人数、立っている乗客の人数、座っている乗客の人数を計数する機能を持つとよい。さらに、バスの現在位置情報、バスの扉の開閉信号、バスの降車ブザー、バスの乗降時のＩＣカードのタッチ、料金箱の信号を処理手段が取得して、それぞれをトリガとして記録する機能を持つとよい。これらの情報をデータレイクに蓄積し、どこで乗った人がどこで降り、その間の車内の着席状況はどうだったかをビッグデータ解析することが可能になる。このようなデータは、都市計画等を行うコンサルタント会社にとって、貴重な情報となり得る。さらに、ＣＡＮ等の車載ネットワークを伝送されている情報、運転者のバイタル情報を合わせて取得するとよい。これらの情報は、車両に何らかの異常が発生したときに、その異常が運転要因か、乗客要因か、運転者自身の要因か、車両要因か等の因果関係の特定に利用することができる。

例えば、人数を計数する元となる画像として車外の画像を採用するとよい。本システムの処理手段は、計数結果を人数データとして記録するとよい。記録された人数データに基づいて、多くの人出があった場所を容易に抽出することができる。計数結果をトリガとして、計数の元となった画像を記録するとよい。例えば、人数が予め決められたしきい値以上のときに、画像を記録するようにするとよい。

（５）前記処理手段は、前記画像解析の機能として、車内の画像から車両の表示機器の表示内容または車両の操作機器の操作状況を検知する機能を持ち、解析結果に対応する処理として、前記表示機器の表示内容または前記操作機器の操作状況に応じた処理を実行するシステムとするとよい。

表示機器の表示内容の基礎となるデータを取得する機器、または操作装置の操作状況に応じたデータを取得する機器を後付けすることなく、本システムでこれらのデータを取得することができる。例えば、ＯＢＤコネクタに後付けの機器を接続することなく、これらのデータを取得することができる。特に、ＯＢＤコネクタにサードパーティ製品を接続することを車両メーカが禁止している場合でも、本システムによって、これらのデータを取得することができる。この表示機器に、種々の計器、車内の警告灯（警告ランプ）、フロントガラス等に画像を映し出すヘッドアップディスプレイ等を含めるとよい。

検知対象となる表示機器の表示内容として、例えば、速度計に表示された車速とするとよい。処理手段は、アナログ速度計の針の位置をパターン認識し、文字盤の数字を文字認識して車速データを取得するとよい。また、デジタル速度計に表示された数字を文字認識して車速データを取得するとよい。取得された車速データは、種々の処理に利用することができる。以下、車速データの利用形態の一例について説明する。

処理手段は、画像認識により、速度計を自動的に検知する機能を持つとよい。この機能により、処理手段は、車種に依存することなく、種々の車両において速度計を検知することができる。その他に、処理手段に、当該処理手段が搭載された車両の速度計の、画像内における位置及び形状を予め登録しておくとよい。これにより、処理手段は、容易に速度計を検知することができる。

スタンドアロン型のカーナビゲーション機器は、現在位置を取得するためにＧＰＳによる位置情報を利用している。トンネル等、ＧＰＳ信号を受信できない場合には、他の方法で車両の現在位置を決定しなければならない。一例として、ＧＰＳ信号ロスト直前の速度の約８０％の一定速度で５分間、地図内における自車の現在位置を移動させる。このような処理を行うモードをトンネルモードということとする。トンネルモードは、トンネルに進入した場合のみならず、高架下を走行している場合でも有効である。ところが、トンネルモードで処理を行っているときに渋滞に出くわしたりすると、一定速度で走行していると仮定する方法では、現在位置の誤差が過度に大きくなってしまい、実質的に使い物にならない。車両に加速度センサを取り付けて、加速度センサからの加速度データを利用すれば、トンネルモードにおける現在位置情報の精度を高めることができる。ところが、ユーザにとって加速度センサの取り付けは困難であり、費用がかかるため、現実的ではない。

速度計の表示内容から自車速度を読み取り、この読み取った速度に基づき、カーナビゲーションシステムに実装されているマップマッチング機能を利用して自車の現在位置情報を更新するとよい。これにより、自車の現在位置情報の精度を高めることができる。

トンネル内の道路と地上道とが並走している場所、高架道と高架下の地上道とが並走している場所では、トンネルモードの起動の有無に基づいて、どちらの道路にマッチングさせるか選択するとよい。例えば、トンネルモードが起動されているときは、自車位置をトンネル内の道路または高架下の地上道にマッピングさせ、トンネルモードが起動されていないときは、自車位置をトンネル内の道路に並走している地上道または高架道にマッピングさせるとよい。

検知対象となる表示機器の表示内容として、例えば、燃料計に表示された燃料残量とするとよい。処理手段は、燃料計の画像認識を行うことにより、燃料の残量を検知するとよい。処理手段は、燃料の残量が所定の基準値を下回ったことを検知すると、運転者に給油を促すメッセージを通知するとよい。例えば、自車の現在位置情報と連動させて、外出先から自宅または会社の車両保管場所近くまで戻ってきたときに、燃料の残量が基準値、例えば満タン時の１／４以下だと、処理手段が警告を発出し、給油を促すとよい。また、カーナビゲーション機器と本システムとを連動させ、処理手段が、目的地までの距離と燃料の残量とを比較し、比較結果に基づいて出発時または目的地までの経路の途中で給油を促すとよい。例えば、経路途中のガソリンスタンドの近くで、現在地の近くのガソリンスタンドで給油を促すメッセージを出力するとよい。

画像の中から速度計及び燃料計を抽出する機能は、本システムの処理手段に搭載する人工知能（ＡＩ）により実現するとよい。人工知能により画像から速度計や燃料計を抽出することが困難な場合には、予め画像内の速度計や燃料計の位置及び画像情報を処理手段に登録しておくとよい。

処理手段は、カーシェアリングサービスに提供されている車両の燃料計を読み取って、残量が所定の基準値未満であることを検知すると、給油を行うとカーシェアリングサービスの特典を受けることができることを運転者に通知するとよい。例えば、「今給油すると、１５分に相当する金額の割引を受けることができます。」といったメッセージを発出するとよい。

検知対象となる表示機器の表示内容として、例えば、インストルメントパネル内の警告灯の点灯の有無とするとよい。点灯の有無を判定する対象となる警告灯に、ヘッドライトの点灯インジケータ、ウインカインジケータ、ハイビームインジケータ（ハイビーム警告灯）、パーキンブブレーキインジケータ、半ドア警告灯、燃料警告灯等を含めるとよい。本システムの処理手段は、これらの警告灯の点灯の有無を判定することにより、警告灯に対応する車両の状態を検知することができる。

検知対象となる表示機器の表示内容として、例えば、ヘッドアップディスプレイによって表示された警告情報とするとよい。処理手段は、ヘッドアップディスプレイによって表示された画像の変化をとらえて警告内容を検知し、警告内容に応じた所定の処理を実行するとよい。例えば、音や音声によって警告を発出するとよい。視覚情報による警告を、聴覚情報に変えて発出することにより、運転者が警告に気付きやすくなるという効果が得られる。

例えば、車外の明るさ情報や、車両の現在位置情報と連携させて、本システムの処理手段は、ヘッドライトを点灯させるべき状況であるにもかかわらず、ヘッドライトの点灯インジケータが点灯していないことを検知すると、ヘッドライトを点灯するように運転者に通知するとよい。ヘッドライトを点灯させるべき状況には、例えば車外がある明るさよりも暗い状況、車両の現在位置がトンネル内または暗渠道内である状況等が含まれる。ヘッドライトを点灯させるべき状況が解消したにもかかわらずヘッドライトの点灯インジケータが点灯したままであるとき、本システムの処理手段は、ヘッドライトを消灯するように運転者に通知するとよい。照明によって内部が明るいトンネルも存在するため、車外の明るさ情報のみからヘッドライトを点灯させるべき状況であるか否かを判定すると、トンネル内であるにもかかわらずヘッドライトを点灯させるべき状況ではないと誤判定されてしまう事態が生じ得る。車両の現在位置情報に基づいてトンネル内か否かを判定することにより、このような誤判定を回避することができる。また、ヘッドライトのみならず、車幅灯（スモールライト）を点灯させるべき状況であるにもかかわらず、車幅灯の点灯インジケータが点灯していないことを検知すると、車幅灯を点灯させるように運転者に通知するとよい。

本システムの処理手段は、車両前方の画像から対向車の有無を判定し、対向車があるにもかかわらずハイビームインジケータが点灯していることを検知すると、ロービームに変更するように運転者に警告するとよい。車種によって、ビームのハイロー切替操作が異なるため、運転者は、常用する車種と異なる車種の車両を運転しているときに、ロービームにしたつもりがハイビームのままであるといった事象が発生しやすい。このような場合に、この警告を発出する機能が特に有効である。

本システムの処理手段は、車外が暗いときに車外の画像からウインカが点滅していることを検知し、ウインカの点滅周期と同期して車内で点滅しているインジケータを、ウインカインジケータとして認識するとよい。このようにすることで、処理手段は、インストルメントパネル内のウインカインジケータを容易に見つけ出すことができる。

本システムの処理手段は、車内の画像から車内に誰もいないことを検知したにも関わらず、ヘッドライトや車幅灯が点灯していることを検知すると、車外の運転者や車両の管理者に、消灯忘れであることを通知するとよい。この通知は、例えば予め登録されているメールアドレス宛に電子メールを送信することにより行うとよい。その他に、処理手段は、ハザードランプの消灯忘れ、ルームライトの消灯忘れを電子メール等で通知するようにするとよい。ハザードランプの点灯状態は、ウインカインジケータの点滅状態から検知するとよい。ルームライトの点灯状態は、画像に写り込んでいるルームライトの明るさから検知するとよい。

ルームライトの設定には、一般的に、常時点灯モード、常時消灯モード、ドア開閉状態連動モード（以下、単に連動モードという。）の３種類がある。多くの車両においては、この３種類のモードは、ルームライトオンオフスイッチを１回押下するごとに循環更新される。暗い所で（夜間に）エンジンを停止させるとルームライトが点灯し、しばらくしてから（例えば数秒経過すると）自動的に消える機能を持つ車両がある。エンジンを停止させてから降車の準備をするために、もっと長い時間ルームライトを点灯させておきたい場合もある。例えば、エンジンを停止させた後に、購入した品物の整理と取り出し、携帯端末の取り出し等を行う期間は、ルームライトを点灯させておきたい。このようなとき、運転者は、エンジン停止から一定期間経過時にルームライトが自動消灯しないようにするために、ルームライトの設定を連動モードまたは常時点灯モードに切り替える。ところが、ドアが開いた状態では、現在のルームライトの設定が常時点灯モードなのか連動モードなのか判別することが困難である。現在のルームライトの設定が常時点灯モードであるにも関わらず、連動モードであると勘違いしてそのまま降車すると、ルームライトが付いたままになってしまう。本システムを利用することにより、運転者や管理者がルームライトの消灯忘れに気付き、ルームライトを消灯することにより、ルームライトの長時間点灯による車両のバッテリ上がりを防止することができる。操作スイッチを見ただけでは、ルームライトの現在の設定がどのモードになっているのかわからない構造、例えば押しボタンを押す度にルームライトの設定が循環的に切り替わるような構造の操作スイッチを持つ車両において、本システムのこの機能が特に有益である。

ルームライトの設定が連動モードであるとき、どこかのドアが開いているか半ドア状態であれば、ルームライトは点灯したままになる。ルームライトが点灯していることを通知された運転者や管理者は、半ドア状態になっているか、または見えづらい側のドアが開いている可能性があることに気付くことができる。

ルームライトの設定が連動モードのとき、ドアを閉めてから一定の時間（消灯遅延時間）が経過するまでは、ルームライトを点灯させたままにする機能を持つ車両がある。このような車両においては、本システムの処理手段は、ドアが閉じられたことを検知してから消灯遅延時間が経過するまでは、消灯忘れか否かの判定をしないようにするとよい。消灯遅延時間は、本システムがユーザからの入力に基づいて設定するようにするとよい。

また、処理手段は、車内に誰もいなくなってから一定時間が経過しても、ルームライトが点灯したままであることを検知すると、車両のコントローラに対してルームライトを消灯させる信号を送信するとよい。

本システムの処理手段は、ヘッドライト、車幅灯、ハザードライト、ルームライト等が点灯または点滅の状態で、車両のドアが開けられたことを検知すると、いずれかのライトが点灯したままであることを通知する警報を発出する機能を持つとよい。これにより、運転者は車外に出てしまう前に消灯忘れに気付き、消灯忘れを未然に防止することができる。

本システムの処理手段は、パーキングブレーキインジケータの点灯に基づいて、パーキングブレーキがかかっている状態であることを検知すると、運転者の画像から運転者が居眠りをしていることを検知しても警報を発出しないようにするとよい。その他に、パーキングブレーキがかかっている状態のときに、運転者が携帯端末を見る等の、運転中であれば危険な動作とみなされる動作をしていることを検知しても、警報を発出しないようにするとよい。

本システムの処理手段は、早期に点検または修理を行う必要があることを知らせる警告灯が、一定期間点灯した状態のままであることを検知すると、当該車両のディーラーや登録している修理業者に車両の状態を通知する機能を持つとよい。例えば、自動車に興味がないユーザは、警告灯が点灯していても走行可能な場合には、警告灯の点灯に気づかず、放置してしまう場合が多い。例えば、エンジン自体の警告灯が点灯すると、通常は走行不能になるが、エンジンオイルの異常を知らせる警告灯が点灯していてもそのまま走行できてしまう。また、Ｏ_２センサ異常の場合には、燃費が悪くなるが走行自体は可能である。走行が可能な場合に、点検修理を行わず、走行を継続すると、軽度の故障が重度化してしまう場合がある。ディーラーや修理業者にとって警告灯点灯の通知は、警告灯が点灯した車両の所有者に点検修理の営業活動を行うための有益な情報となる。また、車両の所有者は、早期に点検整備を行うことにより、故障の重度化を予防することができる。

検知対象となる表示機器の表示内容として、例えば、車外温度を測定する温度センサによって測定された温度測定値を表示するインストルメントパネル内の温度表示領域に表示された温度とするとよい。処理手段は、画像解析の機能として、インストルメントパネルの温度表示領域に表示された画像から、文字認識により温度を読み取る機能を持つとよい。処理手段は、解析結果に対応する処理として、通信装置及び通信ネットワークを介して外部のサーバに温度情報を送信する処理を実行するとよい。

例えば、花粉飛散に関するデータを取得するために、一般ユーザの住宅にセンサを設置し、センサから測定データを収集することにより、きめ細かい花粉飛散状況を予測し、花粉飛散情報を配信するサービスが株式会社ウェザーニューズ等から提供されている。また、一般ユーザから投稿された屋外写真や、一般家庭の住宅に設置した屋外ライブカメラから収集された画像が天気予報に取り入れられている。また、これらの画像を配信するサービス（例えばウェザーニュースＳＯＬｉＶＥ２４等）が提供されている。これらの気象情報サービスを提供するシステムは、多くの車両で測定された外気温情報を収集することにより、多くの車両を温度の測定プローブとして利用することができる。温度情報を送信する多くの車両が広い範囲に分布すると、多くの車両から収集した温度情報をスポット的な情報として役立てることができる。例えば、一般的な気象情報では表せないスポット的な熱中症警報等を出すことが可能になる。

このような気象情報サービスを提供する会社にとっては、自社で温度センサを設置することなく、広い範囲に亘って温度情報を収集することができるという効果が得られる。温度情報の提供を受けた会社は、温度情報を提供した車両の所有者等に返礼として、会社が提供する有料の気象情報サービスの無料提供または割引提供等を行うとよい。

インストルメントパネル内の温度表示領域から読み取った温度情報のみならず、カメラで取得された画像に移り込んでいる道路脇の温度表示標識に表示された数字を文字認識することにより、外気温情報を取得するとよい。温度表示標識の検知は、例えば、標識内の「只今の温度」という文字等を認識することにより行うとよい。取得した外気温情報は、インストルメントパネル内の温度表示領域から取得した温度情報と同様に、本システムの処理手段が外部のサーバに送信するとよい。

画像解析によって操作機器の操作状況を検知する機能に、アクセルペダル及びブレーキペダルに対する運転者の足の位置を検知する機能を含めるとよい。前記操作機器の操作状況に応じた処理として、運転者の足がアクセルペダルの位置にあるか、ブレーキペダルの位置にあるかを運転者が容易に認識できるように、運転者に通知する処理を実行するとよい。例えば、足がアクセルペダルの位置にあるときと、ブレーキペダルの位置にあるときとを、発光素子による発光色を変えることによって運転者に通知するとよい。アクセルペダルに足がかかっているか、ブレーキペダルに足がかかっているかを検知して、検知結果を表示器に視覚情報として表示する機能を持つ車両に本システムを搭載し、本システムの処理手段が、この表示器に表示された内容を画像解析し、アクセルペダル及びブレーキペダルに対する運転者の足の位置を検知するとよい。

さらに、画像解析によって前方に障害物を検知しているにも関わらず、足がアクセルペダルの位置にあるとき、音等で警報を発出するとよい。運転者が警報に気付くことにより、アクセルペダルとブレーキペダルとの踏み間違いの発生を抑制することができる。

画像解析によって操作機器の操作状況を検知する機能に、ステアリングホイール（ハンドル）の回転角を検知する機能を含めるとよい。前記操作機器の操作状況に応じた処理として、ステアリングホイールの回転角と車速とに基づいて、車両の進行方向及び走行距離を求める処理を実行するとよい。処理結果を、例えば、スタンドアロン型カーナビゲーション機器に与えるとよい。スタンドアロン型カーナビゲーション機器は、本システムから与えられた進行方向及び走行距離に関する情報に基づいて、ＧＰＳ信号を受信できない状況においても、車両の走行経路を算出することができる。

画像解析を行う機能に、車両が自動運転中（自動運転レベル１～５を含む）か、手動運転中（自動運転レベル０）かを検知する機能を含めるとよい。この検知は、例えばインストルメントパネルに表示されている自動運転の種々の機能が動作中か否かを示すインジケータの表示状態を画像から認識することにより行うとよい。解析結果に対応する処理として、例えば、自動運転機能が解除されたことを検知すると、自動運転機能が解除されたことを運転者に通知する処理を実行するとよい。また、自動運転機能が解除されたにもかかわらず、運転者がステアリングホイールに手をかけていないことを検知すると、処理手段は、ステアリングホイールを操作するように運転者に注意を促す警告を発出するとよい。さらに、自動運転機能が解除されたこと、及び運転者がステアリングホイールに手をかけていないことをトリガとして、処理手段は、カメラで撮像された画像を記録するとよい。記録された画像は、運転者の操作が不適切であったことを示す証拠として利用することができる。

レーダー探知機を搭載した車両において、処理手段は、自動運転の機能が有効であるときは、レーダー探知機の機能を無効にするとよい。これにより、レーダー探知機からの不要なアラームの発生を無くすことができる。自動運転の状態が無効であるときは、処理手段は、レーダー探知機の機能を有効にするとよい。

車両が自動運転中か手動運転中か、自動運転のレベル（モード）はどのレベル（モード）であるかを、インジケータやステアリングホイールの動き、運転者の手の位置、運転者の頭の向いている方向等から判定するとよい。

（６）前記処理手段は、前記画像解析の機能として、車内の画像から車両に貼り付けられたステッカーに表示されている文字を認識する機能を持ち、解析結果に対応する処理として、認識した文字で示される情報に応じて注意喚起を行う処理を実行するシステムとするとよい。

注意喚起されることにより、車両の運転者、管理者または所有者は、車両に貼り付けられたステッカーの文字情報に注意が向けられ、文字情報に応じた適切な処理を行うことができる。

例えば、画像解析対象となるステッカーに、検査標章（車検ステッカー）を含めるとよい。検査標章の車内側の面には、車検の有効期間が満了する年月日が表示されている。処理手段は、車検の有効期間が満了する年月日の情報を文字認識により読み取り、現時点から車検の有効期間の満了日（車検の期限）までの期間が所定の期間より短くなったら、車検を受けるように注意喚起するとよい。例えば、処理手段は、「車検有効期間の満了日が近づいています。」という音声を発出することにより注意喚起を行うとよい。車検の有効期間の満了日までの期間がさらに短くなると、例えば、処理手段は、「車検を受けてください。」という音声で警告を発出するとよい。

例えば、画像解析対象となるステッカーに、整備点検済ステッカーを含めるとよい。整備点検済ステッカーには、次回の定期点検を行う期限が年月日で表示されている。処理手段は、定期点検の期限を示す年月日の情報を文字認識により読み取り、現時点から定期点検の期限までの期間が所定の期間より短くなったら、定期点検を受けるように注意喚起するとよい。例えば、処理手段は、「定期点検の期限が近づいています。」という音声を発出することにより注意喚起を行うとよい。定期点検の期限までの期間がさらに短くなると、例えば、処理手段は、「定期点検を受けてください。」という音声で警告を発出するとよい。

画像解析の機能に、カメラで撮像された画像に検査標章が写っているか否かを判定する機能を含めるとよい。解析結果に対応する処理として、画像に検査標章が写っていない場合には、処理手段は、検査標章が写り込むようにカメラの取り付け位置及び姿勢を調整するように注意喚起する処理を実行するとよい。例えば、処理手段は、「検査標章が写っていません。検査標章が写るようにカメラの位置及び姿勢を調整してください。」という音声を発出するとよい。これにより、カメラの設置時に、その位置及び姿勢を容易に調整することができる。処理手段が車両内の表示機器、例えば速度計、燃料計等に表示された内容を読み取る機能を持ち、車両内の表示機器が画像に写り込むように注意喚起する機能を持つとさらによい。

画像解析の機能に、フロントガラス、運転席及び助手席のサイドウィンドウに、法令で認められたステッカー以外のステッカーが貼られているか否かを判定する機能を含めるとよい。解析結果に対応する処理として、法令で認められたステッカー以外のステッカーが貼られていると判定した場合に、ステッカーを剥がすように運転者等に通知する処理を実行するとよい。

（７）前記処理手段は、前記画像解析の機能として、助手席が写り込む領域の画像を解析する機能を含み、解析結果に対応する処理として、助手席の状況に応じた処理を実行するシステムとするとよい。

例えば、助手席に人が乗車しているか否か、助手席に物が置かれているか否かに応じて、適切な処理を実行することができる。

処理手段を、助手席に座っている人がシートベルトを着用していないときに警告を発出する機能を持つ車両に搭載するとよい。処理手段は、画像解析の機能として、助手席が写り込む領域の画像から、助手席に人が座っているか否かを判定する機能を持つとよい。解析結果に対応する処理として、処理手段は、助手席に人が座っていないことを検知すると、助手席のシートベルト未着用の警告を発出する機能を無効化させるとよい。処理手段は、画像解析の機能として、助手席に物が置かれているか否かを判定する機能を持つとよい。解析結果に対応する処理として、処理手段は、助手席に物が置かれているときは、助手席のシートベルト未着用の警告を発出する機能を無効化させる処理を実行するとよい。

車両は、助手席に人間の体重相当の物が置かれているときに人が乗車していると誤判定し、シートベルト未装着の警告を発出してしまう場合がある。本システムを車両に取り付けると、助手席に物が置かれている場合には、車両がシートベルト未装着の警告を発出しないようになる。このため、運転者が警告に惑わされることがなくなる。特に、助手席に重いものが置かれているとき、警告ブザーが鳴り続ける仕様を持つ車両において、この機能は有効である。車両に対してシートベルト未装着の警告を発出させないようにするには、例えば、処理手段が車内ネットワーク（ＣＡＮ）を通して車両のコントローラに、警告の発出を無効化させる信号を送信するとよい。

後部座席についても、同様の機能を持つ車両においては、後部座席に物が置かれていることを検知すると、処理手段がシートベルト未装着警告機能をキャンセルするとよい。

（８）前記処理手段は、前記画像解析の機能として、現時点の車内の画像と、過去の車内の画像とを比較する機能を持ち、解析結果に対応する処理として、現時点の車内の画像と、過去の車内の画像との不一致度合いが所定のレベルを超えたら通知する処理を実行するシステムとするとよい。

車両の所有者または管理者が通知を受けることにより、車内の状況が一定レベルを超えて変化したことを知ることができる。過去の車内の画像として、予め車両に付属している物以外の物が車内に持ち込まれていない状態の画像を用いるとよい。この画像と、現時点の車内の画像とを比較することにより、車内に持ち込まれたものがあるか否かを判定することができる。

過去の複数の時点の画像と、現時点の画像とを比較することにより、車内に持ち込まれたものが車内にそのまま存在する時間を算出するとよい。処理手段は、車内に長時間載せたままになっているものが検知されると、その物をお知らせする機能を持つとよい。

例えば、車両に荷物を積んでいない状態で、できれば運転者のみが乗車している状態で、本システムの初期設定ボタンを押し、車両を走行させる。処理手段は、車両速度に相当するオプティカルフローがある画像内の部分は、窓と認識する。それ以外の動きがある部分は、運転者と認識する。窓及び運転者と認識した部分以外の部分は、物を置く可能性がある領域と認識し、車両に荷物を積んでいない無荷物状態画像（無荷物状態映像）として記録する。ここまでの処理で初期設定の処理が完了する。以後、エンジン始動時、エンジン停止時などに、無荷物状態画像と現在の画像との差分をとり、車内に持ち込まれた物体の存在を特定する。車内に持ち込まれたと特定された物体の位置の変化が一定期間無い場合に、警告を発する。これにより、車内に長期間置き去りになっている物体を運転者等に認識させることができる。この機能は、特に、車内がすぐゴミだらけになる人にとって有効である。

（９）前記処理手段は、前記画像解析の機能として、予め登録された物が車内の画像に写っているか否かを判定する機能を持ち、解析結果に対応する処理として、予め登録された物が車内の画像に写っているときに警報を発出する処理を実行するシステムとするとよい。

運転者等は、警報により、車内に予め登録されたものが存在することに気付くことができる。例えば、忘れ物チェックをしてほしい物（特定のバッグ、財布等）の画像を処理手段に登録しておくとよい。処理手段は、車内に誰もいなくなった状態で、登録されている物が画像に写り込んでいることを検知すると、警報の発出または忘れ物の通知を行うとよい。警報の発出例として、例えば車内に取り付けたブザー等を鳴らすとよい。忘れ物の通知の例として、例えば無線で運転者等のスマートフォンや携帯電話等に、電子メール等で通知するとよい。

処理手段は、例えば、車内に忘れ物を検知し、かつドアを開ける動きを検知すると、警報を発出するとよい。警報により、運転者等は車両から離れる前に忘れ物に気付くことができる。処理手段は、例えば、車内に忘れ物を検知し、かつドアを閉める動きを検知すると、電子メール等で運転者等に忘れ物があることを通知するとよい。運転者等は、車両から離れた後に、忘れ物があることに気付くことができる。ドアを開閉する動きの検知は、例えばオプティカルフローを検知することにより行うとよい。

処理手段は、オプティカルフローを検知することにより、車内におけるその他の動きを検知する機能を持つとよい。例えば、処理手段は、画像解析の機能として、ドアの開閉の動き、窓の開閉の動き、ウインカの操作、ステアリングホイールの操作、サンバイザの上げ下げの操作等を検知するとよい。本システムは、車両の車内ネットワークのコネクタ（例えばＯＢＤコネクタ）に接続することなく、これらの情報を取得することができる。

サンバイザが降りている状態では、特にフロントガラスに取り付けた３６０度カメラなどで運転者側を撮像する場合、サンバイザが邪魔になってその方向の画像が全く得られなくなってしまう。そこで、車両の前方が、サンバイザが不要と判断される明るさであるにも関わらず、処理手段が、サンバイザが降りていることを検知すると、警告を発出するとよい。サンバイザが降りているか否かは、サンバイザの領域が画像に占める割合に基づいて処理手段が判定するとよい。

（１０）前記処理手段は、前記画像解析の機能として、ユーザが前記カメラに近付けた物を撮像して画像認識する機能を持ち、解析結果に対応する処理として、ユーザが前記カメラに近付けた物に記された情報に応じた処理を実行するシステムとするとよい。

ユーザは、所持している物をカメラに近付けることにより、その物に記された情報に応じた処理を実行させることができる。

例えば、カメラに近付けるものとして、運転者の運転免許証とするとよい。処理手段は、運転免許証に記載されている有効年月日を文字認識し、現時点から有効年月日までの期間が所定期間より短いとき、運転免許証の更新期日が近づいていることをユーザに知らせるとよい。

例えば、カメラに近付けるものとして、ガソリンスタンドのレシートとするとよい。処理手段は、レシートに表示された日付、給油量、及び金額を文字認識し、これらの情報を記録してデータベース化するとよい。

例えば、カメラに近付けるものとして、身分証明書（例えば、運転免許証、社員証、住基カード等）とするとよい。処理手段は、身分証明書に記載された氏名等を文字認識し、予め登録されている人物か否かを判定するとよい。身分証明書の人物が登録されていない場合には、エンジンの始動を禁止する処理を行うとよい。これにより、車両を運転することができる人を、予め登録されている人に限定することができる。さらに、処理手段は、身分証明書の人物の氏名等を記録するとよい。記録された情報は、車両の運行管理を行う際に運転者を特定するために利用することができる。

処理手段は、画像認識する機能として、車外においてユーザがカメラに近づけたものを認識する機能を持つとよく、車内においてユーザがカメラに近づけたものを認識する機能を持つとさらによい。例えば、処理手段は、通常の画像と比較して、通常の画像にはないものがカメラの画角内の所定の範囲より広い部分を占めているとき、カメラに近づけられたものがあると認識するとよい。特に、処理手段は、カメラの画角内の所定の範囲より広い部分を占めているものをユーザが手に持っていると認識すると、そのものをユーザがカメラに近づけたと判定するとよい。

（１１）前記処理手段は、前記画像解析の機能として、前方の画像に写り込んだ物の画像解析を行う機能を持ち、解析結果に対応する処理として、車両の走行に関して注意すべき情報を運転者に提供する処理を実行するシステムとするとよい。

前方の状況に応じて運転者に注意を促すことにより、車両が前方に進行することにより将来的に生じ得る事故の発生を抑制することができる。

画像解析の機能に、前方の車両との車間距離及び相対速度の少なくとも一方を算出する機能を含めるとよい。車間距離または相対速度に基づいて、衝突の危険性が高い状況を検知し、衝突の危険性が高いことを警報の発出等によって運転者に通知するとよい。車間距離は、画像内の前方車両の大きさ、例えばナンバープレートの大きさ、トレッド（タイヤ間隔）の大きさ、テールランプの幅等の情報から算出するとよい。相対速度は、車間距離の変化の割合から算出するとよい。

画像解析の機能に、前方の信号機の色を検知する機能を含めるとよい。処理手段は、信号機が赤色点灯状態のとき、運転者に停止を促すように通知するとよい。

画像解析の機能に、前方の道路標識を認識する機能を含めるとよい。処理手段は、道路標識の示す情報に応じて、運転者に注意を促すとよい。例えば、道路標識が制限速度を示すものである場合、処理手段は、文字認識により現在の地点の制限速度を取得し、制限速度を運転者に通知するとよい。道路標識が侵入禁止を示すものである場合、処理手段は、進入禁止の道路に進入しようとしたら、警報を発出して運転者に通知するとよい。例えば、車両が、道路標識で示された交通ルールに反する走行をしようとしているか、または交通ルールに反する走行をしていることを検知すると、ルール違反であることを運転者に通知するとよい。これにより、交通ルール違反の発生を防止、または抑制することができる。例えば、処理手段は、道路標識の文字列を認識することによって、現在走行中の区間が自動速度取締機設置区間であることを示す標識を検知した場合、運転者に速度の出し過ぎを注意するように通知するとよい。

画像解析の機能に、自車走行車線に隣接する車線の渋滞状況を検知する機能を含めるとよい。例えば、渋滞が発生しているか否かは、隣接する車線の車両の平均走行速度、及び車間距離に基づいて判定するとよい。例えば、隣接する車線の車両の走行速度が所定の基準値以下であり、車間距離が所定の基準値以下で所定の台数の車両が並んでいるときに、渋滞が発生していると判定するとよい。解析結果に対応する処理として、自車走行車線に隣接する車線に渋滞が発生していることを検知すると、渋滞中の車両の間からの飛び出しに注意するように、運転者に注意喚起する処理を実行するとよい。自車走行車線に隣接する車線には、対向車線、及び自車と同一方向に走行する隣の車線を含めるとよい。特に、ショッピングモール、テーマパーク、駅等の人が集まる場所、ガソリンスタンドのように車両が出入りする場所では、自車走行車線に隣接する同一方向車線も渋滞する可能性が高い。このような場合、自車と同一方向に走行する隣の車線の渋滞を検知することが有効である。これにより、飛び出しによる事故の発生を抑制することができる。例えば、自車の走行速度が所定速度未満、例えば時速３０ｋｍ未満のときには、飛び出し注意の警告音を出さないようにするとよい。これにより、不要な警告音の発生を回避することができる。そのほかに、前方の画像から、飛び出しの危険が高い状況を検知して、注意喚起するとよい。例えば、道路わきに連続して駐車車両がある場合、パーキングメータが設置されたパーキングロットに駐車車両がある場合等に、飛び出しに対する注意喚起を行うとよい。

例えば、カーナビゲーション機器に、渋滞プローブ情報、一般道高速走行情報、周辺施設情報（住宅地や学校等）に基づいて、運転者に走行注意を促す機能が付けられているものがある。本システムを利用することにより、渋滞プローブ情報が得られない場所においても、渋滞に起因して注意喚起を行うことができる。

画像解析の機能に、発進前に、車両の周りにいる動物（犬、猫、タヌキ、イノシシ等）や人を検知する機能を含めるとよい。処理手段は、車両の周りに動物や人を検知すると、車両の周りに動物等がいることを運転者に知らせるとよい。これにより、発進直後の事故の発生を抑制することができる。

画像解析の機能に、周囲の景色の流れから車両がゆっくり前進していることを検知する機能を含めるとよい。処理手段は、車両がゆっくり前進していることを検知すると、警報を発出するとよい。例えば、車両が一旦停止した後、ブレーキペダルを踏む力の緩みによって、クリープ現象で車両が少しずつ動き出した場合に、車両が動いていること、及び追突の危険性があることを運転者に知らせることができる。例えば、車速がクリープ現象で前進する程度の速度で移動しているときに、車両がゆっくり前進していると判定するとよい。周囲の風景の流れの速度は、オプティカルフローを検知することにより行うとよい。

画像解析の機能に、前走車が大型車両、例えばバス、荷台がアルミ製の箱型トラック等であるか否かを判定する機能を含めるとよい。処理手段は、前走車が大型車両であって、信号機に近づいたことを検知すると、信号機の存在を運転者に通知するとよい。例えば、「信号注意」といった音声を発出するとよい。信号機の有無は、予めＰＯＩ情報として処理手段に登録しておくとよい。例えば、前方に大型車両が走行しているときは、進行方向の信号機が見えにくくなる。反対車線の信号機や歩行者用信号機を見て、信号機の存在を予測したり、十分な車間距離をとって進行方向の信号機が容易に見えるようにしたりすることが好ましい。ところが、このような注意を怠ると、進行方向の信号機を見落としてしまう危険性がある。また、田舎では、反対車線の信号機や歩行者用信号機が設置されていない場合もある。前走車が大型車両であるときに、信号機の存在を通知することにより、運転者が信号機を見落とす危険性を低減させることができる。また、信号機の存在を直接的に知らせる代わりに、処理手段は、信号機の見落としの危険性が低下するような走行を行うように注意喚起するとよい。例えば、「十分な車間距離をとってください。」といった音声を発出するとよい。例えば、信号機が設置された交差点までの距離が、自車の安全停止距離よりも長い段階で、注意喚起を行うとよい。自車の安全停止距離は、自車速度、天候（雨天か否か）で変わってくる。安全停止距離として、自車速度、天候（雨天か否か）に基づいて適切な距離を設定するとよい。例えば、晴天時の安全停止距離が５０ｍである場合、処理手段は、現在の天候が晴天で、前走の大型車両との距離が５０ｍ未満で、カーナビゲーション機器でいうところの市街地エリア外で、進行方向に１００ｍ以内に信号機が設置された交差点があるとき、注意喚起を行うようにするとよい。

画像解析の機能に、前方の道路が坂になっているか否かを判定し、坂になっている場合には、傾斜の度合いを検知する機能を含めるとよい。処理手段は、坂の傾斜の度合いによって、スピードの出し過ぎ、スピードの低下、ヒルクライムモードに設定等の注意を促すとよい。

車両が、荷物を取り扱うもの、例えばフォークリフト、トラック等であり、処理手段は、撮像された画像から、荷物に表示された文字列、バーコード等の標識を認識し、自車両が取り扱うべき荷物か否かを判定する機能を持つとよい。自車両で取り扱うべき荷物に付された標識が表す情報を、予め処理手段に登録しておくとよい。処理手段は、自車両が取り扱うべき荷物でない荷物を積載しようとしていることを検知すると、警報を発出する処理を実行するとよい。

処理手段は、オプティカルフローから、画像中の窓の領域を検知する機能を持つとよい。さらに、処理手段は、オプティカルフローから、車両がトンネルに進入したか、車両がトンネルから退出したか、トンネル内を走行中か否かを判定する機能を持つとよい。その他に、処理手段は、オプティカルフローから、車両が高架下（上下並行道路の下）を走行中か否かを判定する機能を持つとよい。さらに、処理手段は、オプティカルフローから、ガードレールの有無、側溝注意要否の判定を行う機能を持つとよい。

（１２）前記処理手段は、前記画像解析の機能として、車外の画像に写り込んだ他の車両のナンバープレートに記された文字を認識する機能を持ち、解析結果に対応する処理として、文字認識によって特定されたナンバープレートの情報を記録する処理及びネットワークを介して送信する処理の少なくとも一方を実行するシステムとするとよい。

本システムの処理手段の機能を持つ車載器を搭載した車両の近くを走行しているか、または近くに停車している他の車両のナンバープレートの情報を特定することができる。処理手段は、この車載器を搭載した車両の現在位置情報とナンバープレートを撮像した時の日時情報とを、特定されたナンバープレートの情報に関連付けて送信するとよい。位置情報及び日時情報とともに取得されたナンバープレートの情報は、道路に設置されている自動車ナンバー自動読取装置（Ｎシステム）によって取得されるナンバープレートの情報とともに、多くの車両の走行経路を知るための有益な情報となる。このように、車両のナンバーとＧＰＳ情報とを紐付けることにより、広域移動Ｎシステムともいえるシステムを構築することができる。

複数の車両にそれぞれ搭載された本システムからネットワークを介して、位置情報、日時情報、及びナンバープレート情報を関連付けて収集するセンタシステムを構築するとよい。このセンタシステムは、特定のナンバープレート情報を持つ車両の位置情報及び日時情報を抽出して当該車両の走行経路を特定する機能を持つとよい。

（１３）前記処理手段は、前記画像解析の機能として、車両の窓部分に、窓ガラスの縁が存在するか否かを判定する機能を持ち、解析結果に対応する処理として、窓部分に窓ガラスの縁を検知したら、通知処理を実行するシステムとするとよい。

窓部分に窓ガラスの縁が存在することは、窓ガラスの閉め忘れを意味する。運転者等は、本システムからの通知を受けることにより、窓ガラスの閉め忘れに気付くことができる。窓ガラスの縁の検知には、例えば、窓ガラスと大気との屈折率の差による画像の不連続を検知することにより行うとよい。通知処理として、例えば、運転者の携帯端末等への無線による通知や電子メールによる通知等の処理を行うとよい。その他に、車両に取り付けられたブザーを鳴らすことにより通知の処理を行うとよい。処理手段が搭載された車両の窓にスモークフィルムが貼り付けられており、処理手段は、窓が開いている領域と、窓ガラスのスモーク領域との画像の明るさの差に基づいて、窓が開いていることを検知するとよい。

（１４）前記処理手段は、前記画像解析の機能として、ワイパーの動作の有無、またはフロントガラスに付着する雨滴の増減の有無を検知して雨が降っているか否かを判定する機能を持ち、解析結果に対応する処理として、雨が降っていると判定した場合に、雨が降っていることを通知する情報を通信装置から送信する処理を実行するシステムとするとよい。

本システムから送信された情報を受信することにより、車両が走行している地域に雨が降っているか否かを知ることができる。処理手段は、雨が降っていることをサーバ等の外部機器に通知するとともに、車両の現在位置情報を通知するとよい。外部機器は、複数の車両から情報を収集することにより、雨が降っている地域のマップを作成することができる。さらに、処理手段は、雨が降っていることを通知するとともに、現在の時刻情報を通知するとよい。これにより、外部機器は、雨が降っている地域の時間的な変化に関する情報を取得することができる。

外部機器として、例えば気象に関する情報を提供する団体のサーバとするとよい。処理手段は、ワイパーが写り込んでいないタイミング、例えばワイパーが下がったタイミングの画像をサーバにアップロードするとよい。サーバにアップロードされた画像から、降雨に関する情報、例えば雨量等を取得することができる。サーバは、車両から収集した雨量等のデータを、ビッグデータとして種々の応用分野で活用することができる。例えば、局地的なゲリラ豪雨の予測等に活用することができる。処理手段は、フロントガラスに雨滴が付着しているが、その多さ（個数）に増減が無い場合、雨が止んだと判定するとよい。処理手段は、雨が止んだと判定したら、雨が止んだことをサーバに通知するとよい。サーバは、降雨に関するより詳細な情報を取得することができる。

（１５）前記処理手段は、前記画像解析の機能として、画像に写り込んだ空の状況から天候を判定する機能を持ち、解析結果に対応する処理として、天候に関する情報を通信装置から送信する処理を実行するシステムとするとよい。

複数の車両から収集された天候に関する情報は、気象情報に関するビッグデータとして活用することができる。例えば、画像に写り込んだ空の色、雲の有無等から、快晴、晴れ、曇り等の天気の判定を行うとよい。さらに、太陽の高さ及び空の明るさから、朝日や西日の強さを検知し、朝日や西日が強いという情報を送信するとよい。天候に関する情報とともに、車両の現在位置情報を送信するとよい。この情報を収集した外部装置は、朝日や西日が強いという情報、及び車両の現在位置情報を、これからその地点に向かう他の車両の運転者に提供するとよい。この情報の提供を受けた運転者は、朝日または西日に注意が必要であることに気付くことができる。

（１６）前記処理手段は、車両に搭載されたマイクからの音情報を検知する機能を持ち、音情報の検知結果と前記画像解析の機能の解析結果とを関連付けて、関連付けの結果に応じた処理を実行するシステムとするとよい。

音情報の検知結果、または画像の解析結果のみに応じた処理を実行する場合と比べて、両者を関連付けることにより、より適切な処理を行うことが可能になる。

処理手段は、画像解析の機能として、車内に搭載された表示部を持つ機器の表示部の状態の変化を検知する機能を持ち、解析結果に対応する処理として、検知された音情報と、表示部の状態の変化とが同期している時、検知された音情報と、表示部の状態が変化した機器とを関連付けて記憶する処理を実行するとよい。

処理手段は、マイクからの音情報を検知すると、音情報と表示部の状態の変化とが関連付けられて記憶されている情報に基づいて、音を発出した機器を特定することができる。例えば、処理手段は、音声認識機能を持ち、マイクからの音情報が特定の機器から発出されたものであるか否かを判定し、特定の機器から発出されたものである場合には音声認識機能をキャンセルするとよい。これにより、不要な音声認識処理の実行を回避することができる。また、処理手段は、マイクからの音情報が特定の機器から発出されたものであると判定した場合、車内の画像のうち音を発生した機器の領域を他の領域から区別可能な情報を付加して記録する機能を持つとよい。例えば、音を発生した機器が写っている領域を囲む矩形や任意の形状の閉曲線の画像をもとの画像に重ねて記録するとよい。または、音を発生した機器が写っている領域に、半透明の幾何学的模様を重ねて記録するとよい。

処理手段は、画像解析の機能として、画像に緊急車両、例えば救急車、消防車、パトカー等が写り込んでいるか否かを判定する機能を持つとよい。処理手段は、マイクから緊急車両のサイレンの音を検知し、かつ画像内に緊急車両を検知すると、両者を関連付けて自車両の近傍に緊急車両がいると判定するとよい。処理手段は、緊急車両がいると判定すると、運転者に注意を促すメッセージを通知するとよい。

（１７）車内に取り付けられたカメラが複数個あり、
前記処理手段は、前記画像解析の機能として、画像に写り込んだ他のカメラの位置を検知する機能を持ち、解析結果に対応する処理として、複数のカメラの位置関係を特定する処理を実行するシステムとするとよい。

１台のカメラでは撮像しにくい車内の広い領域の画像を得ることができる。複数のカメラの位置関係が特定されると、各カメラで撮像された画像の位置関係を特定することができる。

処理手段は、画像に写り込んでいる他のカメラの機種を特定し、機種から画角を特定する機能を持つとよい。処理手段は、複数のカメラで撮像された画像を合成する機能を持つとよい。画像を合成することにより、カメラの個々の画像を表示する場合と比べて、直感的に車内の状況を把握することができる。

例えば、処理手段の少なくとも一部の機能をパソコン等のビューワで実現するとよい。表示する画像内に、カメラの位置がわかるようにカメラのアイコン等の標識を表示するとよい。カメラの車内における位置は、当該カメラ（自己）が撮像した画像から特定することは困難である。当該カメラが写り込んでいる他のカメラの画像から、当該カメラの車内における位置を検知するとよい。例えば、３台のカメラで撮像した画像を合成して表示するとき、合成された画像内に３台のカメラの位置をアイコン等で表示するとよい。カメラの機種または画角に応じてアイコンを異ならせるとよい。

処理手段は、各カメラで撮像された画像を表示するとともに、その画像内にカメラの位置、及びそのカメラの画角（そのカメラが撮像している領域）を表示する機能を持つとよい。例えば、全天球３６０度カメラ、半天球３６０度カメラ、広角カメラ等の機能に応じて、そのカメラの画角を画像内に表示するとよい。画像を見たユーザは、各カメラがその領域を撮像しているのかを直感的に把握することができる。

（１８）前記カメラは、撮像面の対角線の長さよりも小さなイメージサークルを持つ３６０度カメラであり、
前記処理手段は、前記画像解析の機能として、画像の特徴量を算出するための基本パターンを、前記イメージサークル内の位置に応じて変形させる機能を有するシステムとするとよい。

イメージサークル内の画像の歪みを補正することなく、基本パターンを用いて画像の特徴量を算出するとよい。これにより、処理手段の負荷を軽減することができる。基本パターンは、標準レンズ（一般的な広角レンズ）を用いて撮像して得られる画像に対して定義される。イメージサークルを得る射影方式には、例えば、正射影、等距離射影、立体射影、等立体角射影等の射影方式があり、これらの射影方式に応じて、基本パターンを変形させるとよい。イメージサークルを得るためには、円周魚眼レンズを用いるとよい。カメラの撮像面が長方形であり、イメージサークルの直径は、長辺より短くするとよく、短辺と等しいかまたは短辺より短くするとさらによい。

例えば、基本パターンとして、検出したい画像のテンプレートパターンを予め準備しておくとよい。この場合、テンプレートパターンを、イメージサークル内の位置に応じて変形するとよい。その他に、例えば、ハーライク特徴を用いて画像の認識を行う場合、ハーライク特徴量を求めるための複数の矩形パターンの各々をイメージサークル内の位置に応じて変形させるとよい。

画像認識を行う場合には、イメージサークル内の領域うち、検知したい特定の物が写り込んでいる領域を限定しておき、限定された領域内について画像解析を行うとよい。例えば、本システムの車載機の機能をドライブレコーダで実現するとよい。一般的に、ドライブレコーダの推奨設置位置が予め決められているため、イメージサークル内の、運転者が写り込む領域、信号機が写り込む領域、後部座席の人が写り込む領域等がほぼ決まっている。このため、検出すべき人または物に応じて、その人または物を検知するために画像解析を行う領域を、その人または物が写り込む領域に限定するとよい。例えば、車両の前方の画像を解析する場合には、フロントガラスが写り込む領域について解析するとよい。

その他に、例えば、イメージサークルの特定の領域を平面画像（平行投影画像）に変換し、変換後の平面画像について通常の基本パターンを用いてマッチングを行うとよい。

また、イメージサークル内の画像を所定の変換関数を用いて球面にマッピングさせ、球面にマッピングされた画像の一部分にズームし、歪みを無視して平面画像として画像解析を行うとよい。特定の物、例えば道路標識を検知したい場合、その特定の物が写り込む領域にズームして画像解析を行うとよい。道路標識を検知したい場合には、前方の画像のうち道路標識が写り込む領域にズームして画像解析を行うとよい。

（１９）前記処理手段は、前記画像解析の機能として、プライバシー保護の観点から、画像のうち公開すべきでない領域をプライバシー保護領域として特定する機能を有し、解析結果に対応する処理として、前記プライバシー保護領域に写り込んでいる人物を外観によって特定することができない画像を、前記カメラで撮像された画像から生成する処理を実行するシステムとするとよい。

人物を特定することができなくすることにより、その人物のプライバシーを保護することができる。公開すべきでない領域として、例えば車内が写り込む領域とするとよい。特に、全天球カメラを用いて画像を取得する場合には、車内が撮像されてしまうが、車内の画像は残したくない場合もあり得る。このような場合は、例えば車内の領域を黒塗りにするか、または車内の領域にモザイクをかけ、車外の画像はそのまま記録するとよい。処理手段は、例えば画像解析を行うことにより、車内が写っている領域と車外が写っている領域とを区別するとよい。例えば、車速に相当する速さでオプティカルフローが生じている領域を車外とするとよい。処理手段は、ユーザがプライバシー保護領域を予め設定しておくことができる機能を持つとよい。

プライバシー保護領域内の人物を特定することが可能な画像を記録する通常モードと、プライバシー保護領域に写り込んでいる人物を外観によって特定することができない画像を記録するプライバシーモードとをユーザが選択できるようにするとよい。ユーザは、車両の使用目的や使用状況に応じて、通常モードとプライバシーモードとを切り替えることができる。

プライバシー領域を、人物が写っている領域とするとよい。例えば、処理手段は、画像解析を行うことにより人物を検知し、検知された人物の輪郭線で囲まれた領域をプライバシー領域とするとよい。または、検知された人物の顔の部分のみをプライバシー領域とするとよい。このとき、人物をシルエットで表示するするとよい。または、人物の輪郭線のみを表示し、輪郭線の内側には人物がいないときの画像を表示するとよい。このとき、人物は透明に見える。人物の輪郭として、例えば動きがあるもののエッジを表示するとよい。

処理手段は、人物が写っている領域に、人物に代えてアバターを表示するとよい。表示するアバターは、元の人物に似たものとするとよい。例えば、性別、体形、顔の外形等に応じて、その特徴を反映したアバターを表示するとよい。予め、人物とアバターとを関連付けておき、処理手段は、画像に写っている人物を特定し、その特定された人物に関連付けられているアバターを表示するとよい。アバターは、人物ごとに予め作成しておくとよい。人物の動きに合わせてアバターを動かすとよい。例えば、人物が手を挙げたときには、アバターの手を挙げさせ、人物が横を向いたときは、アバターも横を向かせるとよい。人物の表情に応じて、アバターの表情を変化させるとよい。例えば、処理手段は、人物が笑っている、悲しんでいる、怒っているといった表情を検知すると、アバターの表情を、それぞれ笑った表情、悲しんでいる表情、怒っている表情に変化させるとよい。処理手段は、人物の感情を読み取り、人物の感情に応じてアバターの色を変化させるとよい。例えば、人物が怒っていると検知したときは、アバターの色を怒っていることを表す色、例えば赤色に変えるとよい。

処理手段は、画像を記録する前に、カメラで撮像された画像から、プライバシー保護領域に写り込んでいる人物を外観によって特定することができない画像を生成し、生成された画像を記録するとよい。また、カメラで撮像された画像を再生するときに、プライバシー保護領域に写り込んでいる人物を外観によって特定することができない画像に変換して表示するとよい。

（２０）前記処理手段は、解析結果に対応する処理として、画像解析の結果をテキストデータ化またはコード化して記録する処理を実行するシステムとするとよい。

テキストデータ化またはコード化することにより、記録された画像から所望の画像を容易に見つけ出すことが可能になる。例えば、画像内に人物を検知したときのテキストデータとして「人物検知」、画像内に赤信号を検知したときのテキストデータとして「赤信号」を生成するとよい。生成されたテキストデータは、そのテキストデータ生成の元となった画像と関連付けて記録するとよい。テキストデータに代えて、画像解析結果とコードとを対応付けて、画像解析結果をコード化（バイナリデータ化）するとよい。

（２１）前記処理手段は、前記画像解析の機能として、画像内の黒ツブレしている領域を検知する機能を有し、解析結果に対応する処理として、画像の黒ツブレしている領域を明るく復元して表示画面に表示させる処理を実行するシステムとするとよい。

画像を見たユーザは、黒ツブレしている領域内の物や人を認識しやすくなる。特に、全天球カメラを用いて画像を取得する場合には、画像内に明るい車外の景色と、暗い車内が同時に撮像されるため、車内が写り込んでいる領域が黒ツブレしやすい。黒ツブレした領域を検知して、明るく復元して表示させる処理は、全天球カメラを使用して画像を取得する場合に特に有効である。明るく復元する処理として、例えばガンマ補正、色補正、白黒画像への変換、コントラスト強調等を行うとよい。

（２２）前記処理手段は、ユーザに、前記カメラで撮像される撮像範囲から複数の区画に区分させる機能、及び前記区画ごとに重み付けさせる機能を有し、前記区画の各々の明るさと、当該区画に付された重みとに基づいて撮像条件を決定し、決定された撮像条件で前記カメラに撮像させる機能を有するシステムとするとよい。

ユーザは、画像内の見たい区画の重みを重くし、見る必要のない区画の重みを軽くすることにより、見たい領域に適した撮像条件で画像を取得することができる。ユーザは、見たい領域や見る必要が無い領域の形状に合わせて、撮像範囲を任意の形状に区分することができる。このため、例えば、画像の内容によらず一律に正方格子状に区分された区画に重み付けする場合に比べて、ユーザにとってより適切な重み付けを行うことが可能になる。

特に、３６０度カメラを用いて撮像すると、一般のカメラを用いる場合と比べて、車種ごとに、車両の部分が写る撮像範囲内の位置の差が大きくなる。このため、事前に、処理手段のファームウェアに設定した汎用的な重み付けテーブルと、実際に期待した撮像範囲の区画との関係が一致しない可能性が高まる。汎用的な重み付けテーブルを使用するのではなく、ＰＣブラウザソフト等を用いて重み付けを決定できるようにする機能は、３６０度カメラを使用する場合に、特に顕著な効果が得られる。例えば、重み付けをしていない状態で、カメラで撮像した画像を、ＰＣのＡＩソフト等を用いて解析し、撮像範囲のどの部分に何が写っているかを推定し、例えば、道路の部分に重み「５」を付し、顔の部分に重み「３」を付し、インストルメントパネルの部分に重み「１」を付し、丸画像の範囲外に重み「０」を付すとよい。

処理手段は、撮像条件として、例えばゲイン、露光時間等を決定するとよい。２つの半天球カメラの背面同士を対向させて全天球カメラを構成し、２つの半天球カメラの撮像条件を同一にするとよい。これにより、２つの半天球カメラで撮像された画像を合成したときに、２つの画像の境界がわかりにくくなるという効果が得られる。

処理手段は、ユーザに区分させる際に、撮像範囲内の一部の領域を閉曲線で囲ませ、閉曲線で囲まれた内側の領域を１つの区画とするとよい。ユーザが、閉曲線で囲まれた内側の領域を曲線で２分割すると、分割された領域の各々を１つの区画とするとよい。処理手段は、設定された区画ごとに、ユーザに数値で重みを入力させるとよい。入力すべき数値は、プルダウンまたはポップアップ等のリストから選択させるようにするとよい。

処理手段は、重みを数値で入力させる機能の代わりに、または数値で入力させる機能に加えて、区画の種別を入力させる機能を持つとよい。区画の種別には、予め重みが対応付けられており、区画の種別が入力されると、処理手段は、当該種別に対応付けられている重みを、当該区画に対応付けるとよい。区画の種別として、例えば、運転者、メータパネル、カーナビゲーション画面、フロントガラス、後席、助手席等の種別を設けるとよい。処理手段は、区画の種別と重みとの対応関係をユーザが変更できる機能を持つとよい。区画の種別の一覧は、予めユーザが登録できるようにするとよい。

処理手段は、ユーザに、区画ごとに重み付けさせる機能として、例えば、撮像範囲内の見たい領域を指定させることにより、区画を設定する機能を持つとよい。ユーザが指定した見たい区画の重みを、その他の領域の重みより大きくするとよい。この機能は、ユーザに区画の種別を入力させる機能において、区画を、ユーザが見たい区画と、その他の区画との２つの種別に区分する例に相当する。

処理手段は、対話形式（ウィザード形式）で、ユーザに撮像範囲を区分させるとよい。例えば、処理手段は、「不要な領域を取り囲んでください。」、または「不要な領域を塗りつぶしてください。」というメッセージを出力し、ユーザが取り囲んだ領域、または塗りつぶした領域を、「不要な領域」として認識するとよい。その他に、処理手段は、「運転者の領域を塗りつぶしてください。」、「道路の部分を塗りつぶしてください。」というメッセージを出力し、塗りつぶした領域を、運転者の種別を持つ区画、または道路の種別を持つ区画として認識するとよい。閉曲線で取り囲む操作、または塗りつぶす操作は、例えばタッチパネルやマウス等のポインティングデバイスを用いて行うようにするとよい。

処理手段は、撮像された画像に基づいて撮像範囲を複数の区画に区分する機能を、人工知能（ＡＩ）により実現するとよい。例えば、画像から、車内と車外、座席、ダッシュボード、インストルメントパネル等を自動判別し、自動判別した構成部分ごとに撮像範囲を区分するとよい。処理手段は、区分した結果を表示画面に表示し、この区分で問題ないかユーザに判定させるとよい。ＡＩが行った区分が間違っているとユーザが判定すると、処理手段は、ユーザに区分を修正させる機能を持つとよい。区画と、当該区画に対応する重みまたは種別が間違っているとユーザが判定すると、処理手段は、プルダウンやポップアップさせたリストから正しい種別をユーザに選択させるとよい。

（２３）前記処理手段は、ユーザに、前記カメラで撮像される撮像範囲から複数の区画に区分させる機能、及び前記区画ごとに重み付けさせる機能を有し、解析結果に対応する処理として、重みが相対的に小さな区画の圧縮時のブロックを、重みが相対的に大きな区画の圧縮時のブロックより大きくして圧縮を行う処理を実行するシステムとするとよい。

ユーザは、重要度の高い区画の重みを重くし、重要度の低い区画の重みを軽くすることにより、重要度の低い区画の圧縮度を高めることができる。その結果、画像全体を一律に圧縮する場合と比べて、重要度の高い区画の画像の品質を高く維持したまま、画像データの容量を減らすことができる。例えば、処理手段は、重みの思い区画では、８×８個の画素を１つのブロックとし、重みの軽い区画では、１６×１６個の画素を１つのブロックとして圧縮を行うとよい。

カメラの矩形の撮像面に形成された丸画像の外側の領域には、レンズの鏡筒部分の画像が写り込む場合がある。丸画像の外側の画像は不要であるため、この部分を黒く塗りつぶすとよい。これにより、丸画像の外側の画素を含む画像データの容量を減らすことができる。また、丸画像より外側の画素を除いて、丸画像の内側の画素のみをラスタスキャンして画像データを取得するとよい。これにより、画像データの容量を減らすことができる。

（２４）前記処理手段は、前記画像解析の機能として、後続車両を検知する機能及び後続車両までの距離を検知する機能を持ち、解析結果に対応する処理として、後続車両までの距離に基づいて後続車両のあおり運転を検知する処理を実行するシステムとするとよい。

処理手段は、判定結果に応じた処理を実行することにより、あおり運転に対して適切な対処を行うことが可能になる。例えば、車両の速度が所定の基準値以上であるにもかかわらず、所定の判定距離以内に同一の後続車両が所定の判定時間以上継続して存在するとき、後続車両があおり運転を行っていると判定するとよい。

カメラとして、画素ごとに対象物までの距離を測定する機能を有するものを用いるとよい。例えば、カメラの画像センサとして、裏面照射型タイムオブフライト方式距離画像センサを用いるとよい。

処理手段は、後続車両があおり運転を行っていると判定したとき、判定結果に応じた処理として、例えば運転者への通知、後方の画像の記録、運転者への助言、交通取り締まり機関（例えば警察）への通報等の処理を行うとよい。交通取り締まり機関に通報する際には、あおり運転をしている車両及びその運転者の画像を添付するとよい。処理手段は、画像解析によって、あおり運転を行っている車両が自車両を追い抜き、自車両の前に回り込んだことを検知すると、急停車による嫌がらせをされる可能性があることを運転者に通知するとよい。

処理手段は、車両周囲の人及び車両を検知し、人及び車両までの距離に応じて車両の制御を行うとよい。例えば、処理手段は、自車の速度と、前方の人までの距離と、人が自車の走行予定経路上にいるか否かの判定結果とに基づいて、人への接触の可能性が高いと判定したら、車両を停止させる制御を行うとよい。

（２５）上述の（１）～（２４）のいずれか１つに記載の処理手段の機能をコンピュータに実現させるためのプログラムとするとよい。

上述した（１）から（２４）に示した発明は、任意に組み合わせることができる。例えば、（１）に示した発明の全てまたは一部の構成に、（２）以降の少なくとも１つの発明の少なくとも一部の構成を加える構成としてもよい。特に、（１）に示した発明に、（２）以降の少なくとも１つの発明の少なくとも一部の構成を加えた発明とするとよい。また、（１）から（２４）に示した発明から任意の構成を抽出し、抽出された構成を組み合わせてもよい。本願の出願人は、これらの構成を含む発明について権利を取得する意思を有する

本願の発明の効果はこれに限定されず、本明細書および図面等に開示される構成の部分から奏する効果についても開示されており、当該効果を奏する構成についても分割出願・補正等により権利取得する意思を有する。例えば本明細書において「～できる」と記載した箇所などは奏する効果を明示する記載であり、また「～できる」と記載がなくとも効果を示す部分が存在する。またこのような記載がなくとも当該構成よって把握される効果が存在する。

図１は、第１実施例によるシステムとしてのドライブレコーダが車両に搭載された状態の車内のフロントガラス、ダッシュボード等を示す図である。図２は、第１実施例によるシステムとしてのドライブレコーダのブロック図である。図３は、処理部の機能を、車載装置とサーバとの２つの装置で実現した変形例によるシステムのブロック図である。図４は、処理部の機能を、車載装置とパソコン等の外部機器とで実現した変形例によるシステムのブロック図である。図５は、比較例による方法で撮像範囲を複数の区画に区分する方法を説明するための撮像面の図である。図６は、第２２実施例によるシステムにおいて撮像範囲を複数の区画に区分する方法を説明するための撮像面の図である。

［第１実施例］
図１及び図２を参照して、本発明の第１実施例によるシステムについて説明する。本システムの機能は、車両に取り付けられるドライブレコーダにより実現される。

図１は、ドライブレコーダ１が車両に搭載された状態の車内のフロントガラス、ダッシュボード等を示す図である。ドライブレコーダ１が搭載された車両は乗用車である。ドライブレコーダ１は、車両のフロントガラス２の上部であって左右方向中央付近のルームミラー３に隣接する助手席側の位置に取り付けられる。ドライブレコーダ１は、両面テープ等の取り付け部材によりフロントガラス２の内面に貼りつけて固定されている。ドライブレコーダ１は、電源ケーブル４を介して車両のシガーソケット５に接続されている。車両のアクセサリ電源がオンにされると、シガーソケット５からドライブレコーダ１に電力が供給される。ドライブレコーダ１は、本体１０と、３６０度全天球カメラ１１とを含んでいる。カメラ１１は、通常の使用状態で車両に対して相対位置及び姿勢が固定されている。

図２は、第１実施例によるシステムとしてのドライブレコーダ１のブロック図である。ドライブレコーダ１は、処理部２０、カメラ１１、ＧＰＳ受信機１２、ＳＤカードリーダ１３、加速度センサ１４、スピーカ１５、ディスプレイ１６、及び操作ボタン１７含む。なお、ＳＤカードリーダ１３は、厳密には「ＳＤカードリーダライタ」というべきであるが、本明細書において、単に「ＳＤカードリーダ」という。

スピーカ１５及びディスプレイ１６は、ユーザに種々の情報を報知するための出力手段として機能する。スピーカ１５は、処理部２０による制御に基づいて、音や音声により警報や種々の情報を発出する。ディスプレイ１６は、処理部２０による制御に基づいて種々の情報を画像で表示する。操作ボタン１７は、ユーザがドライブレコーダ１に対して種々の指令を与える入力手段として機能する。

カメラ１１は、３６０度全天球カメラであり、車両の前後方向、上下方向、左右方向の全域を動画として撮像する。このため、カメラ１１は、フロントガラス、リアガラス、及びサイドウィンドウを通して車外を撮像するとともに、運転席、助手席、後部座席、インストルメントパネル、センターコンソール等を含む車内も撮像する。カメラ１１によって撮像された動画が画像データとして処理部２０に取り込まれる。処理部２０は、カメラ１１から入力された画像データに基づいて、ＳＤカードリーダ１３に接続されたＳＤカードに画像の記録を行う。

ＧＰＳ受信機１２は、処理部２０の指示に基づいて現在時刻における自車の位置情報を検出する。位置情報は、ＧＰＳ衛星からの信号に基づいて求められた時刻、自車の速度、経度、緯度、高度等の情報を含む。処理部２０は、これらの位置情報の履歴を記録する処理を行う。

ＳＤカードリーダ１３は、処理部２０による制御に基づいて、ＳＤカード挿入口に挿入されているＳＤカードのデータを読み取り、またはＳＤカードにデータを記録する。

加速度センサ１４として、３軸（ｘ軸、ｙ軸、ｚ軸）それぞれの方向の加速度及び傾きを検出する３軸タイプのセンサが用いられる。加速度センサ１４が、常時、検出値を処理部２０に出力する。処理部２０は、例えば１０ｍｓごとに３軸の加速度情報を取得する。

処理部２０は、周知のＣＰＵ２０ａ、ＲＯＭ２０ｂ及びＲＡＭ２０ｃ等のメモリ、タイマ２０ｄ、その他の周辺回路等を有する。処理部２０のＲＯＭ２０ｂ内に各種プログラムが記憶されている。処理部２０はこれらのプログラムを実行することにより各種の機能を実現する。各種プログラムには、オペレーティングシステム（ＯＳ）、ＧＰＳ情報処理プログラム、画像解析プログラム等が含まれる。

処理部２０はＧＰＳ情報処理プログラムを実行することにより、ＧＰＳ受信機１２で受信されたＧＰＳ情報を、ＳＤカードリーダ１３に接続されたＳＤカードに保存する。処理部２０は画像処理プログラムを実行することにより、カメラ１１が撮像した動画を、時刻情報と位置情報とに関連付けた画像データをＳＤカードの所定の記録領域に常時録画する。

処理部２０は、画像解析プログラムを実行することにより、カメラ１１で撮像された画像の画像解析を行う。さらに、処理部２０は、解析結果に対応する種々の処理を実行する。

第１実施例によるシステムを車両に搭載することにより、車両に取り付けられたカメラで撮像された画像を記録するのみではなく、その画像をより有効に活用することができる。カメラ１１で撮像される画像を動画にすると、動画の画像解析を行うことによって、被写体の動き、ある時点の前後における被写体の有無等を容易に判定することが可能になる。

次に、第１実施例の変形例について説明する。
第１実施例では、ドライブレコーダ１を乗用車に取り付けたが、変形例では、他の種類の車両、例えば貨物自動車や特殊自動車に取り付ける。また、第１実施例では、カメラ１１が車内及び車外の両方を撮像したが、変形例では、カメラ１１が車内及び車外の少なくとも一方を撮像する。「車内」及び「車外」については、例えば以下のように解釈するとよい。

第１実施例ではカメラ１１に３６０度全天球カメラを用いたが、３６０度半天球カメラを用いてもよく、通常の広角カメラを用いてもよい。広角カメラを用いる場合には、複数台のカメラを車両に取り付けて広範な領域を撮像可能にするとよい。

第１実施例では、カメラ１１で撮像された画像を記録する機能を車載装置で実現したが、車載装置と通信するサーバで実現してもよい。また、第１実施例では、カメラで撮像された画像を解析する機能を車載装置で実現したが、車載装置と通信するサーバで実現してもよい。

上述のように、本システムの処理部２０は、１つの車載装置で構成してもよく、複数の装置で構成してもよい。第１実施例のように、処理部２０の機能は、ドライブレコーダ１に内蔵されたマイクロコンピュータ及びメモリに記憶されたアプリケーションプログラムにより実現するとよい。その他に、例えば、処理部２０の機能を車載装置とサーバとの２つの装置で実現し、画像の記録を車載装置が行い、画像の解析をサーバが行うようにするとよい。また、処理部２０の機能を車載装置とパソコン等の外部機器で実現し、画像の記録を車載装置が行い、画像の解析及び表示を外部機器が行うようにするとよい。

図３は、処理部の機能を、車載装置とサーバとの２つの装置で実現した変形例によるシステムのブロック図である。車載用のドライブレコーダ１が通信装置２１を含む。サーバ３０が、処理部３１、通信装置３２、入力装置３３、及びディスプレイ３４を含む。ドライブレコーダ１の通信装置２１と、サーバ３０の通信装置３２とは、共に通信ネットワーク４０に接続されて、通信ネットワーク４０を介して他の装置とデータの送受信を行う。ドライブレコーダ１の処理部２０とサーバ３０の処理部３１とが、通信ネットワーク４０を介して相互にデータ通信を行う。

入力装置３３は、ユーザに操作されることにより処理部３１に種々のコマンドやデータを入力する。処理部３１は、ディスプレイ３４に処理結果や、ユーザに対する種々のメッセージを表示させる。

図４は、処理部の機能を、車載装置とパソコン等の外部機器５０とで実現した変形例によるシステムのブロック図である。外部機器５０が、処理部５１、ＳＤカードリーダ５２、入力装置５３、及びディスプレイ５４を含む。ドライブレコーダ１のＳＤカードリーダ１３で画像データが記録されたＳＤカード６０を、外部機器５０のＳＤカードリーダ５２に装着することにより、外部機器５０の処理部５１がＳＤカード６０に記録されている画像データにアクセスすることができるようになる。

処理部５１は、入力装置５３から入力されたコマンドに基づいて、ＳＤカード６０に記録されている画像データを読み込み、画像解析または画像処理を行う。処理部５１は、解析結果または処理結果をディスプレイ５４に表示させる。

次に、第２実施例～第２４実施例について説明する。以下、第１実施例によるシステムと共通の構成については重複した説明を省略する。また、以下に説明する種々の実施例によるシステムは、一例として、図２、図３、及び図４に示したブロック図のいずれかの態様で実現される。

［第２実施例］
次に、第２実施例について説明する。第２実施例では、システムの処理部が、画像解析の機能として画像内の人物の動きが予め登録された特定の動きに該当するか否かを判別する機能を持つ。人物の動きが特定の動きに該当するものであるとき、処理部は、解析結果に対応する処理として、人物の特定の動きを撮像した画像の記録、特定の動きを撮像した画像のサーバ３０（図３）への送信、人物が特定の動きをしたことの通報、及び警報の発出の少なくとも１つの処理を実行する。

記録された画像、またはサーバに送信された画像は、人物が特定の動きをしていたことの証拠として利用することができる。人物が特定の動きをしたことを通報することにより、特定の動きをする人物がいることを外部の人に知らせることができる。発出された警報により、特定の動きをしていた人物は、自分に対して警報が発出されていることに気付くことにより、特定の動きを止めるように動機付けされる。

次に、「特定の動きをする人物」の例について説明する。
特定の動きをする人物として、例えば車両の運転者とする。特定の動きとして、例えば運転者の運転以外の動作とする。例えば、スマートフォン等の携帯端末を見る動作、食べ物を食べる動作、よそ見やわき見の動作、居眠り等とする。例えば、わき見の動作の有無は、運転者の目の位置の検知結果に基づいて判定する。記録された画像は、運転者の意識向上、事故原因の分析等に用いることができる。処理部は、運転者がスマートフォン等の携帯端末を操作していることを検知すると、運転中は携帯端末を持たないように注意を促す警報を発出する。運転者が警報に気付いて特定の動きを止めると、危険を事前に回避することができる。データ送信先のサーバ３０は、例えば、車両の管理者のサーバ、または警察のサーバである。車両の管理者は、送信されたデータに基づいて、運転者の運転態度を評価することができる。警察は、送信された画像に基づいて、運転者の運転態度の評価、事故の原因分析等を行うことができる。

特定の動きをする人物として、例えば車外の不審者とする。特定の動きは、例えば車内に不法侵入しようとする動作、例えば、ハンマーを持ってガラス窓を割ろうとする動作、車内を覗き込む動作等である。警報を発出することにより、不法侵入しようとする不審者に、車内への侵入を思い止まらせることができる。記録された画像、またはサーバ３０に送信された画像は、車上狙いの犯罪が発生した後に窃盗犯逮捕のための有益な情報として利用することができる。人物が特定の動きをしたことを車両の所有者や運転者に通知することにより、所有者や運転者が直ちに車両に戻り、車上狙いの被害を未然に防ぐことができる。また、通知を受けた運転者や所有者は、警察に通報することも可能である。このように、この機能を防犯に役立てることができる。

特定の動きをする人物として、例えば車内の不審者とする。特定の動きとして、種々の車上狙いの手口、例えば駐車中の車内への不法侵入、駐車中の車内での不審者の動き、車内の装置の取り外しの動作等とする。警報を発出することによって窃盗犯が慌てて退散すると、車上狙いの被害が軽減されるという効果が得られる。記録された画像、またはサーバ３０に送信された画像は、車上狙いの犯罪が発生した後に窃盗犯逮捕のための有益な情報として利用することができる。人物が特定の動きをしたことを車両の所有者や運転者に通知することにより、所有者や運転者が直ちに車両に戻ったり、警察に通報したりすることにより、車上狙いの被害を軽減させることが可能になる。外部への通報の例として、不審者が写った画像を添付した電子メールの送信等が挙げられる。電子メールの送信先は、例えば、車両の管理者、運転者、所有者、警察等である。

特定の動きをする人物として、例えば不特定の人物が乗車する営業車両の乗客とする。特定の動きとして、強盗の種々の手口、例えば刃物をちらつかせる動作、拳銃を構える動作、暴力を振るう動作等とする。処理部が警報を発出する処理を実行することにより、強盗犯が犯罪を思い止まると、被害を未然に防ぐことができる。記録された画像、またはサーバに送信された画像は、強盗犯逮捕のための有益な情報として利用することができる。人物が特定の動きをしたことを車両の管理者に通報することにより、管理者が強盗の発生に気付き、警察に通報することができる。また、処理部は、通信機能を用いて、強盗事件の発生を警察に通報する機能を持つ。

特定の動きをする人物として、例えば同乗している車内の乳幼児とする。特定の動きとして、例えば睡眠から目覚めたときの動きとする。画像解析で乳幼児の目覚めを検知すると、処理部は、電子メール等で保護者に通知する。走行中に乳幼児が車内で眠ってしまって、エンジンをかけたままちょっと買い物に行ったり、用事を済ませたりしたい場合がある。このとき、乳幼児を無理やり起こすと機嫌が悪くなってしまうため、そのまま眠らせておきたいという要望がある。ただし、保護者は、車両から離れている時、乳幼児が目を覚ましていないか気になる。本システムを利用すると、乳幼児が目を覚ました時点で保護者の携帯端末に電子メールが送られてくるため、親は、直ちに車両に駆け付けて乳幼児の目覚めに対処することができる。

特定の動きをする人物として、例えば、車外の要介護者、要救助者とする。特定の動きとして、例えば要介護者に特有の動作、救助が必要と思われる状況に該当する動作とする。要介助者の特有の動作の例として、例えば杖をついて、腰が曲がって、よたよた歩く動作が挙げられる。救助が必要と思われる状況に該当する動作の例として、倒れて口から泡を噴いて倒れている状況に該当する動作等が挙げられる。

処理部は、特定の動きをする人物を検知する機能として、車両の前方の画像、車両の後方の画像、車内の画像のうち少なくとも１つの画像を選択する機能、及び選択された画像から該当の人物を検知する機能を有する。さらに、処理部は、少なくとも１つの画像をユーザに指定させる機能を有する。これにより、処理部が、不要なまたは重要性の低い画像の解析を行わなくなるため、処理部に過度な処理能力を持たせる必要がなくなる。

処理部は、特定の動きをする人物を検知する機能として、運転者の眠気を検知する機能を有する。例えば、処理部は、運転者の皮膚の赤味の変動具合から脈拍を測定し、脈拍の変動に基づいて、運転者の眠気の有無を判定する。さらに、処理部は、サーモカメラによる体温の測定、マイクロ波による脈拍の測定等を連携させて、眠気の検知精度を高める機能を持つ。本システムの処理部が眠気を検知したら、エアコンの設定温度を下げる処理、または音声や音で警告を発出する処理を実行する。

［第３実施例］
次に、第３実施例について説明する。第３実施例によるシステムの処理部は、画像解析の機能として画像内の人物が、予め登録された特定の特徴を有するか否かを判別する機能を持ち、解析結果に対応する処理として、画像内の人物が持つ特定の特徴に応じた処理を実行する。

第３実施例によるシステムは、画像に写り込んだ人物の特徴に応じて、適切な処理を行うことができる。

処理部は、画像内の人物が特定の特徴を有するか否かを判別する機能として、顔認証機能を有する。処理部は、運転席に着座した人物の顔認証を行い、運転席に着座した人物が予め登録された人物に該当しない場合、車両にアクセスしてエンジンの始動ができないようにする。例えば、処理部は、車載ネットワーク、例えばＣＡＮを介してエンジンコントロールユニット（ＥＣＵ）に対して、エンジンの始動を禁止する信号を送信する。これにより、予め運転可能な人物を登録しておき、登録されていない人物による車両の運転を禁止することができる。その結果、車両の防犯機能を高めることができる。また、子供のいたずら対策としても有効である。

第３実施例の変形例によると、処理部は、アクセルを踏めないようにする、サイドブレーキ（パーキングブレーキ）を解除できないようにする、シフトレバーがドライブ位置に入らないようにする、警報を鳴らす、登録したメールアドレスに画像とともに電子メールを送信する等の処理の少なくとも１つの処理を行う機能を持つ。

第３実施例の他の変形例によると、処理部は、車外の人物の顔認証を行い、車外の人物が予め登録された人物に該当する場合、車両を制御してドアロックを解除する機能を持つ。例えば、車両がカーシェアリングサービスに提供されるものである場合、カーシェアリングサービスの登録会員が予め処理部に登録されている。登録会員は、車両に近づいて車両のカメラの画角内に自分の顔を移動させることもより、カードキー等を所持していなくても、車両を利用することが可能になる。これにより、カーシェアリングサービスの車両の使い勝手がよくなる。

第３実施例のさらに他の変形例によると、車両が、不特定の人物が乗り込む営業車両であり、処理部は、乗客が手配中の犯罪者であるか否かを顔認証機能により判定する機能を持つ。手配中の犯罪者の顔写真は、警察のデータベースからＬＴＥや無線ＬＡＮ等を介した通信により本システムの処理部に伝送される。処理部は、受信した顔写真を登録しておく機能を持つ。処理部は、乗客が手配中の犯罪者であると判定した場合には、車両の管理者への通知、警察への通知等を、通信装置２１（図３）及び通信ネットワーク（図３）を介して行う。さらに、処理部は、乗客に悟られない方法で運転者に通知する機能を持つ。車両の管理者、警察、運転者等は、手配中の犯罪者が車両に乗り込んだことを認識し、迅速に適切な対応を取ることができる。

例えば、タクシーは、乗務員と乗客のみが乗車した密室状態になるため、乗務員の安全確保という点で、このシステムの需要が多い。犯罪者がタクシーに乗車したことを処理部が検知すると、タクシー会社や警察に、犯罪者の乗車を通知する。また、本システムによると、犯罪者が実際に車両内で犯罪行為を行う前に、犯罪者が車両に乗り込んだ時点で犯罪者の乗車を検知することができる。このため、犯罪を未然に回避することも可能になる。

第３実施例のさらに他の変形例によると、処理部は、画像内の人物が特定の特徴を有するか否かを判別する機能として、画像内の人物の外見を、予め登録された特定の外見と比較し、両者が一致するか否かを判別する機能（以下、外見認証機能という。）を持つ。特定の外見として、徘徊者に特有の外見、犯罪者に特有の外見等が予め処理部に登録されている。犯罪者に特有の外見の例として、例えば路上で刃物を持っていること、危険物を持っていること等が挙げられる。また、処理部は、赤外線カメラ、紫外線カメラ等の画像と、通常のカメラの画像とを組み合わせて、違法薬物を所持している人物を検知する機能を持つ。処理部は、画像内に特定の外見を持つ人物を検知したら、通信装置２１（図３）及び通信ネットワーク４０（図３）を介して警察や車両の管理者に通知する。

第３実施例のさらに他の変形例によると、処理部は、特定の行方不明者、徘徊者等の行方不明になった時点の外見を、捜索情報として個別に登録する機能を持つ。例えば、男女の別、身長、服装の種別、服装の色、帽子着用の有無、杖を持っているか否か、腰が曲がっているか否かという個別の捜索情報を登録する機能を持つ。さらに、処理部は、徘徊していると思われる地域（捜索対象地域）を登録する機能を持つ。処理部は、捜索対象地域に車両が位置するときに、個別の捜索情報に合致する人物の検知処理を実行する。このような個別の捜索情報は、警察、地域の支援センター等のデータベース（サーバ）から本システムの処理部が受信する。本システムにおいては、画像内の人物が特定の特徴を有するか否かを判別する機能を車載装置の処理部が行い、車両が捜索地域に進入したら、サーバ３０（図３）から車両の処理部に捜索情報をダウンロードする。

第３実施例のさらに他の変形例によると、処理部は、画像内の人物が特定の特徴を有するか否かを判別する機能として、助手席または後席に座っている人物がシートベルトを着用しているか否かを判別する機能（以下、外見認証機能という。）を持つ。本システムの処理部は、シートベルト未装着の人物を検出すると、シートベルトを装着するように促すメッセージを発出する。

さらに、処理部は、後席の人物がシートベルト未装着の状態で高速道路の入り口に近づいたときに、シートベルトの装着を促すメッセージを発出する機能を持つ。処理部は、車両の現在位置から高速道路の入り口までの距離が基準の距離以下になったら、高速道路の入り口に近づいたと判定する。他の例として、処理部は、ＥＴＣカード挿入忘れチェック用の信号を受信したら、高速道路の入り口に近づいたと判定する。さらに他の例として、処理部は、車両前方の画像を解析して、画像内に高速道路の入り口を検知すると、高速道路の入り口に近づいたと判定する。

［第４実施例］
次に第４実施例について説明する。第４実施例によるシステムの処理部は、画像解析の機能として画像内の人数を計数する機能を持ち、解析結果に対応する処理として、画像内の人数データを記録または送信する処理を実行する。

第４実施例によるシステムにより、人数を計数するための特別の装置を用いることなく人数を計数することが可能になる。

第４実施例の変形例によると、カメラをバスに取り付けて、処理部は、人数を計数する元となる画像として車内の画像を採用する。処理部は、ディスプレイ１６（図２）に計数結果を表示して、乗務員に知らせる。乗務員は、車両に乗車している乗客（搭乗者）の人数を容易に把握することができる。この機能を、ツアーの点呼に代えて利用することができる。乗客が全員降車すべきときに、乗客の人数の計数結果が０にならないとき、乗務員は車内に取り残されている人がいることを知ることができる。例えば、赤ちゃんのように自らの意思を発することができない人、障害者のように自ら降りることができない人等の居残りを検知することができる。

第４実施例の他の変形例によると、カメラを取り付ける車両が、乗客の人数が予め決まっている種類の車両、例えば観光バス、長距離高速バス等であり、本システムの処理部は、予め決められた乗客の人数を登録する機能を持つ。処理部は、人数の計数結果と、登録されている人数とを比較し、過不足がある場合には、乗務員に対して過不足を警告する。この警告は、スピーカ１５（図２）の警告音の発生、またはディスプレイ１６（図２）への警告メッセージの表示により行う。これにより、乗客の人数が不足したまま発車してしまうことが防止される。また、乗車する資格を持たない人が乗車してしまっていることを容易に把握し、降車を促すことができる。

第４実施例のさらに他の変形例によると、路線バスの車内にカメラ（例えば、天井に半天球カメラ）を取り付け、処理部が画像解析を行って、乗車人数、立っている乗客の人数、座っている乗客の人数を計数する機能を持つ。さらに、バスの現在位置情報、バスの扉の開閉信号、バスの降車ブザー、バスの乗降時のＩＣカードのタッチ、料金箱の信号を処理部が取得して、それぞれをトリガとして、これらのイベント及びイベント発生時の画像を関連付けて記録する機能を持つ。これらの情報をサーバ３０（図３）がデータレイクに蓄積する。このデータレイクを用いて、どこで乗った人がどこで降り、その間の車内の着席状況はどうだったかをビッグデータ解析することが可能になる。このようなデータは、都市計画等を行うコンサルタント会社にとって、貴重な情報となり得る。さらに、処理部は、ＣＡＮ等の車載ネットワークを伝送されている情報、運転者のバイタル情報を合わせて取得する機能を持つ。これらの情報は、車両に何らかの異常が発生したときに、その異常が運転要因か、乗客要因か、運転者自身の要因か、車両要因か等の因果関係の特定に利用することができる。

第４実施例のさらに他の変形例によると、処理部は、人数を計数する元となる画像として車外の画像を採用する。本システムの処理部は、計数結果を人数データとして記録する機能を持つ。記録された人数データに基づいて、多くの人出があった場所を容易に抽出することができる。処理部は、計数結果をトリガとして、計数の元となった画像を記録する機能を持つ。例えば、人数が予め決められたしきい値以上のときに、画像を記録する機能を持つ。

［第５実施例］
次に、第５実施例について説明する。第５実施例によるシステムの処理部は、画像解析の機能として、車内の画像から車両の表示機器の表示内容または車両の操作機器の操作状況を検知する機能を持ち、解析結果に対応する処理として、表示機器の表示内容または操作機器の操作状況に応じた処理を実行する。

表示機器の表示内容の基礎となるデータを取得する機器、または操作装置の操作状況に応じたデータを取得する機器を後付けすることなく、本システムでこれらのデータを取得することができる。例えば、ＯＢＤコネクタに後付けの機器を接続することなく、これらのデータを取得することができる。特に、ＯＢＤコネクタにサードパーティ製品を接続することを車両メーカが禁止している場合でも、本システムによって、これらのデータを取得することができる。車両の表示機器として、種々の計器、車内の警告灯（警告ランプ）、フロントガラス等に画像を映し出すヘッドアップディスプレイ等が挙げられる。

第５実施例の変形例では、システムの処理部が、表示機器の表示内容として、速度計に表示された車速を検知する機能を持つ。処理部は、アナログ速度計の針の位置をパターン認識し、文字盤の数字を文字認識して車速データを取得する機能を持つ。さらに、処理部は、デジタル速度計に表示された数字を文字認識して車速データを取得する機能を持つ。取得された車速データは、種々の処理に利用することができる。以下、車速データの利用形態の一例について説明する。

処理部は、画像認識により、速度計を自動的に検知する機能を持つ。この機能により、処理部は、車種に依存することなく、種々の車両において速度計を検知することができる。その他に、処理部は、処理部が搭載された車両の速度計の、画像内における位置及び形状を予め登録しておく機能を持つ。これにより、処理部は、容易に速度計を検知することができる。

一般的なスタンドアロン型のカーナビゲーション機器は、現在位置を取得するためにＧＰＳによる位置情報を利用している。トンネル等、ＧＰＳ信号を受信できない場合には、他の方法で車両の現在位置を決定しなければならない。一例として、ＧＰＳ信号ロスト直前の速度の約８０％の一定速度で５分間、地図内における自車の現在位置を移動させる。このような処理を行うモードをトンネルモードということとする。トンネルモードは、トンネルに進入した場合のみならず、高架下を走行している場合でも有効である。ところが、トンネルモードで処理を行っているときに渋滞に出くわしたりすると、一定速度で走行していると仮定する方法では、現在位置の誤差が過度に大きくなってしまい、実質的に使い物にならない。車両に加速度センサを取り付けて、加速度センサからの加速度データを利用すれば、トンネルモードにおける現在位置情報の精度を高めることができる。ところが、ユーザにとって加速度センサの取り付けは困難であり、費用がかかるため、現実的ではない。

本システムは、スタンドアロン型カーナビゲーションの機能を持つ。処理部は、速度計の表示内容から自車速度を読み取り、この読み取った速度情報に基づき、マップマッチング機能を利用して自車の現在位置情報を更新する機能を持つ。これにより、自車の現在位置情報の精度を高めることができる。

処理部は、トンネル内の道路と地上道とが並走している場所、高架道と高架下の地上道とが並走している場所では、トンネルモードの起動の有無に基づいて、どちらの道路にマッチングさせるか選択する機能を持つ。例えば、トンネルモードが起動されているときは、自車位置をトンネル内の道路または高架下の地上道にマッピングさせ、トンネルモードが起動されていないときは、自車位置をトンネル内の道路に並走している地上道または高架道にマッピングさせる機能を持つ。

第５実施例の他の変形例では、処理部が、検知対象となる表示機器の表示内容として、燃料計に表示された燃料残量を検知する機能を持つ。処理部は、燃料計の画像認識を行うことにより、燃料の残量を検知する。処理部は、燃料の残量が所定の基準値を下回ったことを検知すると、運転者に給油を促すメッセージを通知する。例えば、自車の現在位置情報と連動させて、外出先から自宅または会社の車両保管場所近くまで戻ってきたときに、燃料の残量が基準値、例えば満タン時の１／４以下だと、処理部が警告を発出し、給油を促す。また、カーナビゲーション機器と本システムとを連動させ、処理部が、目的地までの距離と燃料の残量とを比較し、比較結果に基づいて出発時または目的地までの経路の途中で給油を促す。例えば、経路途中のガソリンスタンドの近くで、現在地の近くのガソリンスタンドで給油を促すメッセージを出力する。

画像の中から速度計及び燃料計を抽出する機能は、本システムの処理部に搭載される人工知能（ＡＩ）により実現される。処理部は、さらに、予め画像内の速度計や燃料計の位置及び画像情報を登録しておく機能を持つ。人工知能により画像から速度計や燃料計を抽出することが困難な場合には、処理部は、登録されている画像情報を利用して、画像の中から速度計及び燃料計を抽出する

処理部は、カーシェアリングサービスに提供されている車両の燃料計を読み取って、残量が所定の基準値未満であることを検知すると、給油を行うとカーシェアリングサービスの特典を受けることができることを運転者に通知する機能を持つ。例えば、「今給油すると、１５分に相当する金額の割引を受けることができます。」といったメッセージを発出する。

第５実施例のさらに他の変形例では、処理部が、インストルメントパネル内の警告灯の点灯の有無を判定する機能を持つ。点灯の有無を判定する対象となる警告灯に、ヘッドライトの点灯インジケータ、ウインカインジケータ、ハイビームインジケータ（ハイビーム警告灯）、パーキンブブレーキインジケータ、半ドア警告灯、燃料警告灯等を含める。本システムの処理手段は、これらの警告灯の点灯の有無を判定することにより、警告灯に対応する車両の状態を検知することができる。

第５実施例のさらに他の変形例では、処理部が、ヘッドアップディスプレイによって表示された警告情報を検知する機能を持つ。処理部は、ヘッドアップディスプレイによって表示された画像の変化をとらえて警告内容を検知し、警告内容に応じた所定の処理を実行する。例えば、音や音声によって警告を発出する。視覚情報による警告を、聴覚情報に変えて発出することにより、運転者が警告に気付きやすくなるという効果が得られる。

第５実施例のさらに他の変形例では、処理部は、車外の明るさ情報や、車両の現在位置情報と連携させて、ヘッドライトを点灯させるべき状況であるにもかかわらず、ヘッドライトの点灯インジケータが点灯していないことを検知すると、ヘッドライトを点灯するように運転者に通知する機能を持つ。ヘッドライトを点灯させるべき状況として、例えば車外がある明るさよりも暗い状況、車両の現在位置がトンネル内または暗渠道内である状況等が含まれる。ヘッドライトを点灯させるべき状況が解消したにもかかわらずヘッドライトの点灯インジケータが点灯したままであるとき、処理部は、ヘッドライトを消灯するように運転者に通知する機能を持つ。照明によって内部が明るいトンネルも存在するため、車外の明るさ情報のみからヘッドライトを点灯させるべき状況であるか否かを判定すると、トンネル内であるにもかかわらずヘッドライトを点灯させるべき状況ではないと誤判定してしまう事態が生じ得る。処理部は、車両の現在位置情報に基づいてトンネル内か否かを判定することにより、このような誤判定を回避することができる。さらに、処理部は、ヘッドライトのみならず、車幅灯（スモールライト）を点灯させるべき状況であるにもかかわらず、車幅灯の点灯インジケータが点灯していないことを検知すると、車幅灯を点灯させるように運転者に通知する機能を持つ。

第５実施例のさらに他の変形例では、処理部は、車両前方の画像から対向車の有無を判定し、対向車があるにもかかわらずハイビームインジケータが点灯していることを検知すると、ロービームに変更するように運転者に警告する機能を持つ。車種によって、ビームのハイロー切替操作が異なるため、運転者は、常用する車種と異なる車種の車両を運転しているときに、ロービームにしたつもりがハイビームのままであるといった事象が発生しやすい。このような場合に、この警告を発出する機能が特に有効である。

第５実施例のさらに他の変形例では、処理部は、車外が暗いときに車外の画像からウインカが点滅していることを検知し、ウインカの点滅周期と同期して車内で点滅しているインジケータを、ウインカインジケータとして認識する機能を持つ。このようにすることで、処理部は、インストルメントパネル内のウインカインジケータを容易に見つけ出すことができる。

第５実施例のさらに他の変形例では、処理部は、車内の画像から車内に誰もいないことを検知したにも関わらず、ヘッドライトや車幅灯が点灯していることを検知すると、車外の運転者や車両の管理者に、消灯忘れであることを通知する機能を持つ。この通知は、例えば予め登録されているメールアドレス宛に電子メールを送信することにより行う。その他に、処理部は、ハザードランプの消灯忘れ、ルームライトの消灯忘れを電子メール等で通知する機能を持つ。ハザードランプの点灯状態は、ウインカインジケータの点滅状態から検知する。ルームライトの点灯状態は、画像に写り込んでいるルームライトの明るさから検知する。

ルームライトの設定が連動モードのとき、ドアを閉めてから一定の時間（消灯遅延時間）が経過するまでは、ルームライトを点灯させたままにする機能を持つ車両がある。このような車両においては、本システムの処理部は、ドアが閉じられたことを検知してから消灯遅延時間が経過するまでは、消灯忘れか否かの判定をしないようにする機能を持つ。処理部は、ユーザからの入力に基づいて消灯遅延時間を設定する機能を持つ。

また、処理部は、車内に誰もいなくなってから一定時間が経過しても、ルームライトが点灯したままであることを検知すると、車両のコントローラに対してルームライトを消灯させる信号を送信する機能を持つ。

第５実施例のさらに他の変形例では、処理部は、ヘッドライト、車幅灯、ハザードライト、ルームライト等が点灯または点滅の状態で、車両のドアが開けられたことを検知すると、いずれかのライトが点灯したままであることを通知する警報を発出する機能を持つ。これにより、運転者は車外に出てしまう前に消灯忘れに気付き、消灯忘れを未然に防止することができる。

第５実施例のさらに他の変形例では、処理部は、パーキングブレーキインジケータの点灯に基づいて、パーキングブレーキがかかっている状態であることを検知すると、運転者の画像から運転者が居眠りをしていることを検知しても警報を発出しないようにする機能を持つ。その他に、パーキングブレーキがかかっている状態のときに、運転者が携帯端末を見る等の、運転中であれば危険な動作とみなされる動作をしていることを検知しても、警報を発出しない機能を持つ。

第５実施例のさらに他の変形例では、処理部は、早期に点検または修理を行う必要があることを知らせる警告灯が、一定期間点灯した状態のままであることを検知すると、当該車両のディーラーや登録している修理業者に車両の状態を通知する機能を持つ。例えば、自動車に興味がないユーザは、警告灯が点灯していても走行可能な場合には、警告灯の点灯に気づかず、放置してしまう場合が多い。例えば、エンジン自体の警告灯が点灯すると、通常は走行不能になるが、エンジンオイルの異常を知らせる警告灯が点灯していてもそのまま走行できてしまう。また、Ｏ_２センサ異常の場合には、燃費が悪くなるが走行自体は可能である。走行が可能な場合に、点検修理を行わず走行を継続すると、軽度の故障が重度化してしまう場合がある。ディーラーや修理業者にとって警告灯点灯の通知は、警告灯が点灯した車両の所有者に点検修理の営業活動を行うための有益な情報となる。また、車両の所有者は、早期に点検整備を行うことにより、故障の重度化を予防することができる。

第５実施例のさらに他の変形例では、処理部は、車外温度を測定する温度センサによって測定された温度測定値を表示するインストルメントパネル内の温度表示領域に表示された温度を検知する機能を持つ。処理部は、画像解析の機能として、インストルメントパネルの温度表示領域に表示された画像から、文字認識により温度を読み取る機能を持つ。処理部は、解析結果に対応する処理として、通信装置及び通信ネットワークを介して外部のサーバに温度情報を送信する処理を実行する。

処理部は、さらに、インストルメントパネル内の温度表示領域から読み取った温度情報のみならず、カメラで取得された画像に移り込んでいる道路脇の温度表示標識に表示された数字を文字認識することにより、外気温情報を取得する機能を持つ。温度表示標識の検知は、標識内の「只今の温度」という文字等を認識することにより行う。取得した外気温情報は、インストルメントパネル内の温度表示領域から取得した温度情報と同様に、処理部が外部のサーバに送信する。

第５実施例のさらに他の変形例では、処理部は、画像解析によって操作機器の操作状況を検知する機能として、アクセルペダル及びブレーキペダルに対する運転者の足の位置を検知する機能を持つ。操作機器の操作状況に応じた処理として、処理部は、運転者の足がアクセルペダルの位置にあるか、ブレーキペダルの位置にあるかを運転者が容易に認識できるように、運転者に通知する処理を実行する。例えば、足がアクセルペダルの位置にあるときと、ブレーキペダルの位置にあるときとを、発光素子による発光色を変えることによって運転者に通知する。

第５実施例のさらに他の変形例では、アクセルペダルに足がかかっているか、ブレーキペダルに足がかかっているかを検知して、検知結果を表示器に視覚情報として表示する機能を持つ車両に本システムが搭載される。本システムの処理部は、この表示器に表示された内容を画像解析し、アクセルペダル及びブレーキペダルに対する運転者の足の位置を検知する機能を持つ。

第５実施例のさらに他の変形例では、処理部は、画像解析によって前方に障害物を検知しているにも関わらず、足がアクセルペダルの位置にあるとき、音等で警報を発出する機能を持つ。運転者が警報に気付くことにより、アクセルペダルとブレーキペダルとの踏み間違いの発生を抑制することができる。

第５実施例のさらに他の変形例では、処理部は、画像解析によって操作機器の操作状況を検知する機能として、ステアリングホイール（ハンドル）の回転角を検知する機能を持つ。処理部は、操作機器の操作状況に応じた処理として、ステアリングホイールの回転角と車速とに基づいて、車両の進行方向及び走行距離を求める処理を実行する。処理部は、処理結果を、スタンドアロン型カーナビゲーション機器に与える。スタンドアロン型カーナビゲーション機器は、本システムから与えられた進行方向及び走行距離に関する情報に基づいて、ＧＰＳ信号を受信できない状況においても、車両の走行経路を算出することができる。

第５実施例のさらに他の変形例では、処理部は、画像解析を行う機能として、車両が自動運転中（自動運転レベル１～５を含む）か、手動運転中（自動運転レベル０）かを検知する機能を持つ。この検知は、処理部が、インストルメントパネルに表示されている自動運転の種々の機能が動作中か否かを示すインジケータの表示状態を画像から認識することにより行う。処理部は、解析結果に対応する処理として、自動運転機能が解除されたことを検知すると、自動運転機能が解除されたことを運転者に通知する処理を実行する。また、自動運転機能が解除されたにもかかわらず、運転者がステアリングホイールに手をかけていないことを検知すると、処理部は、ステアリングホイールを操作するように運転者に注意を促す警告を発出する。さらに、自動運転機能が解除されたこと、及び運転者がステアリングホイールに手をかけていないことをトリガとして、処理部は、カメラで撮像された画像を、常時記録とは別にイベント記録として記録する機能を持つ。記録された画像は、運転者の操作が不適切であったことを示す証拠として利用することができる。

処理部は、レーダー探知機を搭載した車両において、自動運転の機能が有効であるときは、レーダー探知機の機能を無効にする機能を持つ。これにより、レーダー探知機からの不要なアラームの発生を無くすことができる。自動運転の状態が無効であるときは、処理部は、レーダー探知機の機能を有効にする。

車両が自動運転中か手動運転中か、自動運転のレベル（モード）はどのレベル（モード）であるかは、処理部が、インジケータやステアリングホイールの動き、運転者の手の位置、運転者の頭の向いている方向等から判定する。

［第６実施例］
次に、第６実施例について説明する。第６実施例によるシステムの処理部は、画像解析の機能として、車内の画像から車両に貼り付けられたステッカーに表示されている文字を認識する機能を持ち、解析結果に対応する処理として、認識した文字で示される情報に応じて注意喚起を行う処理を実行する。

第６実施例の変形例においては、処理部は、検査標章（車検ステッカー）に表示されている文字を認識する機能を持つ。検査標章の車内側の面には、車検の有効期間が満了する年月日が表示されている。処理部は、車検の有効期間が満了する年月日の情報を文字認識により読み取り、現時点から車検の有効期間の満了日（車検の期限）までの期間が所定の期間より短くなったら、車検を受けるように注意喚起する。例えば、処理部は、「車検有効期間の満了日が近づいています。」という音声を発出することにより注意喚起を行う。車検の有効期間の満了日までの期間がさらに短くなると、例えば、処理部は、「車検を受けてください。」という音声で警告を発出する。

第６実施例の他の変形例においては、処理部は、整備点検済ステッカーに表示されている文字を認識する機能を持つ。整備点検済ステッカーには、次回の定期点検を行う期限が年月日で表示されている。処理部は、定期点検の期限を示す年月日の情報を文字認識により読み取り、現時点から定期点検の期限までの期間が所定の期間より短くなったら、定期点検を受けるように注意喚起する。例えば、処理部は、「定期点検の期限が近づいています。」という音声を発出することにより注意喚起を行う。定期点検の期限までの期間がさらに短くなると、例えば、処理部は、「定期点検を受けてください。」という音声で警告を発出する。

第６実施例のさらに他の変形例においては、処理部は、画像解析の機能として、カメラで撮像された画像に検査標章が写っているか否かを判定する機能を持つ。解析結果に対応する処理として、画像に検査標章が写っていない場合には、処理部は、検査標章が写り込むようにカメラの取り付け位置及び姿勢を調整するように注意喚起する処理を実行する。例えば、処理部は、「検査標章が写っていません。検査標章が写るようにカメラの位置及び姿勢を調整してください。」という音声を発出するとよい。これにより、カメラの設置時に、その位置及び姿勢を容易に調整することができる。処理部は、車両内の表示機器、例えば速度計、燃料計等に表示された内容を読み取る機能を持ち、車両内の表示機器が画像に写り込むように注意喚起する機能を持つ。

第６実施例のさらに他の変形例においては、処理部は、画像解析の機能として、フロントガラス、運転席及び助手席のサイドウィンドウに、法令で認められたステッカー以外のステッカーが貼られているか否かを判定する機能を持つ。解析結果に対応する処理として、処理部は、法令で認められたステッカー以外のステッカーが貼られていると判定した場合に、ステッカーを剥がすように運転者等に通知する処理を実行する。

［第７実施例］
次に、第７実施例について説明する。第７実施例によるシステムの処理部は、画像解析の機能として、助手席が写り込む領域の画像を解析する機能を持ち、解析結果に対応する処理として、助手席の状況に応じた処理を実行する。

第７実施例の変形例においては、ドライブレコーダ１（図１）を、助手席に座っている人がシートベルトを着用していないときに警告を発出する機能を持つ車両に搭載する。処理部は、画像解析の機能として、助手席が写り込む領域の画像から、助手席に人が座っているか否かを判定する機能を持つ。解析結果に対応する処理として、処理部は、助手席に人が座っていないことを検知すると、助手席のシートベルト未着用の警告を発出する機能を無効化させる。処理部は、さらに、画像解析の機能として、助手席に物が置かれているか否かを判定する機能を持つ。解析結果に対応する処理として、処理部は、助手席に物が置かれているときは、助手席のシートベルト未着用の警告を発出する機能を無効化させる処理を実行する。

車両は、助手席に人間の体重相当の物が置かれているときに人が乗車していると誤判定し、シートベルト未装着の警告を発出してしまう場合がある。本システムを車両に取り付けると、助手席に物が置かれている場合には、車両がシートベルト未装着の警告を発出しないようになる。このため、運転者が警告に惑わされることがなくなる。特に、助手席に重いものが置かれているとき、警告ブザーが鳴り続ける仕様を持つ車両において、この機能は有効である。車両に対してシートベルト未装着の警告を発出させないようにするために、処理部は、車内ネットワーク（ＣＡＮ）を通して車両のコントローラに、警告の発出を無効化させる信号を送信する。

後部座席についても同様の機能を持つ車両においては、処理部は、後部座席に物が置かれていることを検知すると、処理手段がシートベルト未装着警告機能をキャンセルする。

［第８実施例］
次に、第８実施例について説明する。第８実施例によるシステムの処理部は、画像解析の機能として、現時点の車内の画像と、過去の車内の画像とを比較する機能を持ち、解析結果に対応する処理として、現時点の車内の画像と、過去の車内の画像との不一致度合いが所定のレベルを超えたら通知する処理を実行する。

車両の所有者または管理者が通知を受けることにより、車内の状況が一定レベルを超えて変化したことを知ることができる。

第８実施例の変形例においては、処理部は、過去の車内の画像として、予め車両に付属している物以外の物が車内に持ち込まれていない状態の画像を用い、この画像と、現時点の車内の画像とを比較することにより、車内に持ち込まれたものがあるか否かを判定する機能を持つ。

処理部は、さらに、過去の複数の時点の画像と、現時点の画像とを比較することにより、車内に持ち込まれたものが車内にそのまま存在する時間を算出する機能を持つ。処理部は、車内に長時間載せたままになっているものが検知されると、その物をお知らせする機能を持つ。

次に、処理部の具体的な処理について説明する。まず、車両に荷物を積んでいない状態で、できれば運転者のみが乗車している状態で、本システムの初期設定ボタンを押し、車両を走行させる。処理部は、車両速度に相当するオプティカルフローがある画像内の部分は、窓と認識する。それ以外の動きがある部分は、運転者と認識する。窓及び運転者と認識した部分以外の部分は、物を置く可能性がある領域と認識し、車両に荷物を積んでいない無荷物状態画像（無荷物状態映像）として記録する。ここまでの処理で初期設定の処理が完了する。

以後、エンジン始動時、エンジン停止時などに、処理部は、無荷物状態画像と現在の画像との差分をとり、車内に持ち込まれた物体の存在を特定する。車内に持ち込まれたと特定された物体の位置の変化が一定期間無い場合に、処理部は警告を発する。これにより、車内に長期間置き去りになっている物体を運転者等に認識させることができる。この機能は、特に、車内がすぐゴミだらけになる人にとって有効である。

［第９実施例］
次に、第９実施例について説明する。第９実施例によるシステムの処理部は、画像解析の機能として、予め登録された物が車内の画像に写っているか否かを判定する機能を持ち、解析結果に対応する処理として、予め登録された物が車内の画像に写っているときに警報を発出する処理を実行する。

運転者等は、警報により、車内に予め登録されたものが存在することに気付くことができる。

第９実施例の変形例においては、処理部は、忘れ物チェックをしてほしい物（特定のバッグ、財布等）の画像を登録しておく機能を持つ。処理部は、車内に誰もいなくなった状態で、登録されている物が画像に写り込んでいることを検知すると、警報の発出または忘れ物の通知を行う。警報の発出例として、例えば車内に取り付けたブザー等を鳴らす。忘れ物の通知の例として、例えば無線で運転者等のスマートフォンや携帯電話等に、電子メール等で通知する。

第９実施例の他の変形例においては、処理部は、車内に忘れ物を検知し、かつドアを開ける動きを検知すると、警報を発出する機能を持つ。警報により、運転者等は車両から離れる前に忘れ物に気付くことができる。処理部は、さらに、車内に忘れ物を検知し、かつドアを閉める動きを検知すると、電子メール等で運転者等に忘れ物があることを通知する機能を持つ。運転者等は、車両から離れた後に、忘れ物があることに気付くことができる。ドアを開閉する動きの検知は、例えばオプティカルフローを検知することにより行う。

第９実施例のさらに他の変形例においては、処理部は、オプティカルフローを検知することにより、車内におけるその他の動きを検知する機能を持つ。例えば、処理部は、画像解析の機能として、ドアの開閉の動き、窓の開閉の動き、ウインカの操作、ステアリングホイールの操作、サンバイザの上げ下げの操作等を検知する機能を持つ。本システムは、車両の車内ネットワークのコネクタ（例えばＯＢＤコネクタ）に接続することなく、これらの情報を取得することができる。

サンバイザが降りている状態では、特にフロントガラスに取り付けた３６０度カメラなどで運転者側を撮像する場合、サンバイザが邪魔になってその方向の画像が全く得られなくなってしまう。そこで、車両の前方が、サンバイザが不要と判断される明るさであるにも関わらず、処理部が、サンバイザが降りていることを検知すると、警告を発出する。サンバイザが降りているか否かは、サンバイザの領域が画像に占める割合に基づいて処理部が判定する。

［第１０実施例］
次に、第１０実施例について説明する。第１０実施例によるシステムの処理部は、画像解析の機能として、ユーザがカメラに近付けた物を撮像して画像認識する機能を持ち、解析結果に対応する処理として、ユーザがカメラに近付けた物に記された情報に応じた処理を実行する。

第１０実施例の変形例においては、処理部は、運転者の運転免許証の画像認識を行う機能を持つ。処理部は、運転免許証に記載されている有効年月日を文字認識し、現時点から有効年月日までの期間が所定期間より短いとき、運転免許証の更新期日が近づいていることをユーザに知らせる。

第１０実施例の他の変形例においては、処理部は、ガソリンスタンドのレシートの画像認識を行う機能を持つ。処理部は、レシートに表示された日付、給油量、及び金額を文字認識し、これらの情報を記録してデータベース化する。

第１０実施例のさらに他の変形例においては、処理部は、身分証明書（例えば、運転免許証、社員証、住基カード等）の画像認識を行う機能を持つ。処理部は、身分証明書に記載された氏名等を文字認識し、予め登録されている人物か否かを判定する。処理部は、身分証明書の人物が登録されていない場合には、エンジンの始動を禁止する処理を行う。これにより、車両を運転することができる人を、予め登録されている人に限定することができる。さらに、処理部は、身分証明書の人物の氏名等を記録する。記録された情報は、車両の運行管理を行う際に運転者を特定するために利用することができる。

第１０実施例のさらに他の変形例においては、処理部は、画像認識する機能として、車外においてユーザがカメラに近づけたものを認識する機能、及び車内においてユーザがカメラに近づけたものを認識する機能を持つ。例えば、処理部は、通常の画像と比較して、通常の画像にはないものがカメラの画角内の所定の範囲より広い部分を占めているとき、カメラに近づけられたものがあると認識する。特に、処理部は、カメラの画角内の所定の範囲より広い部分を占めているものをユーザが手に持っていると認識すると、そのものをユーザがカメラに近づけたと判定する。

［第１１実施例］
次に、第１１実施例について説明する。第１１実施例によるシステムの処理部は、画像解析の機能として、前方の画像に写り込んだ物の画像解析を行う機能を持ち、解析結果に対応する処理として、車両の走行に関して注意すべき情報を運転者に提供する処理を実行する。

第１１実施例の変形例においては、処理部は、画像解析の機能として、前方の車両との車間距離及び相対速度の少なくとも一方を算出する機能を持つ。処理部は、車間距離または相対速度に基づいて、衝突の危険性が高い状況を検知し、衝突の危険性が高いことを警報の発出等によって運転者に通知する。車間距離は、画像内の前方車両の大きさ、例えばナンバープレートの大きさ、トレッド（タイヤ間隔）の大きさ、テールランプの幅等の情報から算出する。相対速度は、車間距離の変化の割合から算出する。

第１１実施例の他の変形例においては、処理部は、画像解析の機能として、前方の信号機の色を検知する機能を持つ。処理部は、信号機が赤色点灯状態のとき、運転者に停止を促すように通知する。

第１１実施例のさらに他の変形例においては、処理部は、画像解析の機能として、前方の道路標識を認識する機能を持つ。処理部は、道路標識の示す情報に応じて、運転者に注意を促す。例えば、道路標識が制限速度を示すものである場合、処理部は、文字認識により現在の地点の制限速度を取得し、制限速度を運転者に通知する。道路標識が侵入禁止を示すものである場合、処理部は、進入禁止の道路に進入しようとしたら、警報を発出して運転者に通知する。処理部は、車両が、道路標識で示された交通ルールに反する走行をしようとしているか、または交通ルールに反する走行をしていることを検知すると、ルール違反であることを運転者に通知する。これにより、交通ルール違反の発生を防止、または抑制することができる。処理部は、道路標識の文字列を認識することによって、現在走行中の区間が自動速度取締機設置区間であることを示す標識を検知した場合、運転者に速度の出し過ぎを注意するように通知する。

第１１実施例のさらに他の変形例においては、処理部は、画像解析の機能として、自車走行車線に隣接する車線の渋滞状況を検知する機能を持つ。渋滞が発生しているか否かは、処理部が、隣接する車線の車両の平均走行速度、及び車間距離に基づいて判定する。隣接する車線の車両の走行速度が所定の基準値以下であり、車間距離が所定の基準値以下で所定の台数の車両が並んでいるときに、処理部は、渋滞が発生していると判定する。処理部は、解析結果に対応する処理として、自車走行車線に隣接する車線に渋滞が発生していることを検知すると、渋滞中の車両の間からの飛び出しに注意するように、運転者に注意喚起する処理を実行する。自車走行車線に隣接する車線には、対向車線、及び自車と同一方向に走行する隣の車線を含める。特に、ショッピングモール、テーマパーク、駅等の人が集まる場所、ガソリンスタンドのように車両が出入りする場所では、自車走行車線に隣接する同一方向車線も渋滞する可能性が高い。このような場合、自車と同一方向に走行する隣の車線の渋滞を検知することが有効である。これにより、飛び出しによる事故の発生を抑制することができる。処理部は、自車の走行速度が所定速度未満、例えば時速３０ｋｍ未満のときには、飛び出し注意の警告音を出さない処理を実行する。これにより、不要な警告音の発生を回避することができる。そのほかに、処理部は、前方の画像から、飛び出しの危険が高い状況を検知して、注意喚起する機能を持つ。例えば、処理部は、道路わきに連続して駐車車両がある場合、パーキングメータが設置されたパーキングロットに駐車車両がある場合等に、飛び出しに対する注意喚起を行う。

第１１実施例のさらに他の変形例においては、処理部は、画像解析の機能として、発進前に、車両の周りにいる動物（犬、猫、タヌキ、イノシシ等）や人を検知する機能を持つ。処理部は、車両の周りに動物や人を検知すると、車両の周りに動物等がいることを運転者に知らせる。これにより、発進直後の事故の発生を抑制することができる。

第１１実施例のさらに他の変形例においては、処理部は、画像解析の機能として、周囲の景色の流れから車両がゆっくり前進していることを検知する機能を持つ。処理部は、車両がゆっくり前進していることを検知すると、警報を発出する。例えば、車両が一旦停止した後、ブレーキペダルを踏む力の緩みによって、クリープ現象で車両が少しずつ動き出した場合に、車両が動いていること、及び追突の危険性があることを運転者に知らせることができる。処理部は、車速がクリープ現象で前進する程度の速度で移動しているときに、車両がゆっくり前進していると判定する。周囲の風景の流れの速度は、処理部がオプティカルフローを検知することにより行う。

第１１実施例のさらに他の変形例においては、処理部は、画像解析の機能として、前走車が大型車両、例えばバス、荷台がアルミ製の箱型トラック等であるか否かを判定する機能を持つ。処理部は、前走車が大型車両であって、信号機に近づいたことを検知すると、信号機の存在を運転者に通知する。例えば、「信号注意」といった音声を発出する。信号機の有無は、予めＰＯＩ情報として処理部に登録されている。例えば、前方に大型車両が走行しているときは、進行方向の信号機が見えにくくなる。反対車線の信号機や歩行者用信号機を見て、信号機の存在を予測したり、十分な車間距離をとって進行方向の信号機が容易に見えるようにしたりすることが好ましい。ところが、このような注意を怠ると、進行方向の信号機を見落としてしまう危険性がある。また、田舎では、反対車線の信号機や歩行者用信号機が設置されていない場合もある。前走車が大型車両であるときに、信号機の存在を通知することにより、運転者が信号機を見落とす危険性を低減させることができる。また、信号機の存在を直接的に知らせる機能他に、処理部は、信号機の見落としの危険性が低下するような走行を行うように注意喚起する機能を持つ。例えば、処理部は、「十分な車間距離をとってください。」といった音声を発出する。例えば、信号機が設置された交差点までの距離が、自車の安全停止距離よりも長い段階で、注意喚起を行う。自車の安全停止距離は、自車速度、天候（雨天か否か）で変わってくる。処理部は、安全停止距離として、自車速度、天候（雨天か否か）に基づいて適切な距離を設定する。例えば、晴天時の安全停止距離が５０ｍである場合、処理部は、現在の天候が晴天で、前走の大型車両との距離が５０ｍ未満で、カーナビゲーション機器でいうところの市街地エリア外で、進行方向に１００ｍ以内に信号機が設置された交差点があるとき、注意喚起を行う。

第１１実施例のさらに他の変形例においては、処理部は、画像解析の機能として、前方の道路が坂になっているか否かを判定し、坂になっている場合には、傾斜の度合いを検知する機能を持つ。処理部は、坂の傾斜の度合いによって、スピードの出し過ぎ、スピードの低下、ヒルクライムモードに設定等の注意を促す。

第１１実施例のさらに他の変形例においては、車両が、荷物を取り扱うもの、例えばフォークリフト、トラック等であり、処理部は、撮像された画像から、荷物に表示された文字列、バーコード等の標識を認識し、自車両が取り扱うべき荷物か否かを判定する機能を持つ。自車両で取り扱うべき荷物に付された標識が表す情報は、予め処理部に登録されている。処理部は、自車両が取り扱うべき荷物でない荷物を積載しようとしていることを検知すると、警報を発出する処理を実行する。

第１１実施例のさらに他の変形例においては、処理部は、オプティカルフローから、画像中の窓の領域を検知する機能を持つ。さらに、処理部は、オプティカルフローから、車両がトンネルに進入したか、車両がトンネルから退出したか、トンネル内を走行中か否かを判定する機能を持つ。その他に、処理部は、オプティカルフローから、車両が高架下（上下並行道路の下）を走行中か否かを判定する機能を持つ。さらに、処理部は、オプティカルフローから、ガードレールの有無、側溝注意要否の判定を行う機能を持つ。

［第１２実施例］
次に、第１２実施例について説明する。第１２実施例によるシステムの処理部は、画像解析の機能として、車外の画像に写り込んだ他の車両のナンバープレートに記された文字を認識する機能を持ち、解析結果に対応する処理として、文字認識によって特定されたナンバープレートの情報を記録する処理及びネットワークを介して送信する処理の少なくとも一方を実行する。

本システムの処理部の機能を持つ車載器を搭載した車両の近くを走行しているか、または近くに停車している他の車両のナンバープレートの情報を特定することができる。処理部は、この車載器を搭載した車両の現在位置情報とナンバープレートを撮像した時の日時情報とを、特定されたナンバープレートの情報に関連付けて送信する。位置情報及び日時情報とともに取得されたナンバープレートの情報は、道路に設置されている自動車ナンバー自動読取装置（Ｎシステム）によって取得されるナンバープレートの情報とともに、多くの車両の走行経路を知るための有益な情報となる。このように、車両のナンバーとＧＰＳ情報とを紐付けることにより、広域移動Ｎシステムともいえるシステムを構築することができる。

第１２実施例の変形例においては、複数の車両にそれぞれ搭載された本システムからネットワークを介して、位置情報、日時情報、及びナンバープレート情報を関連付けて収集するセンタシステムを構築する。このセンタシステムは、特定のナンバープレート情報を持つ車両の位置情報及び日時情報を抽出して当該車両の走行経路を特定する機能を持つ。

［第１３実施例］
次に、第１３実施例について説明する。第１３実施例によるシステムの処理部は、画像解析の機能として、車両の窓部分に、窓ガラスの縁が存在するか否かを判定する機能を持ち、解析結果に対応する処理として、窓部分に窓ガラスの縁を検知したら、通知処理を実行する。

窓部分に窓ガラスの縁が存在することは、窓ガラスの閉め忘れを意味する。運転者等は、本システムからの通知を受けることにより、窓ガラスの閉め忘れに気付くことができる。処理部は、窓ガラスと大気との屈折率の差による画像の不連続を検知することにより、窓ガラスの縁を検知する。処理部は、通知処理として、運転者の携帯端末等への無線による通知や電子メールによる通知等の処理を行う。その他に、処理部は、車両に取り付けられたブザーを鳴らすことにより通知の処理を行う。処理部が搭載された車両の窓にスモークフィルムが貼り付けられているとき、処理部は、窓が開いている領域と、窓ガラスのスモーク領域との画像の明るさの差に基づいて、窓が開いていることを検知する。

［第１４実施例］
次に、第１４実施例について説明する。第１４実施例によるシステムの処理部は、画像解析の機能として、ワイパーの動作の有無、またはフロントガラスに付着する雨滴の増減の有無を検知して雨が降っているか否かを判定する機能を持ち、解析結果に対応する処理として、雨が降っていると判定した場合に、雨が降っていることを通知する情報を通信装置から送信する処理を実行する。

本システムから送信された情報を受信することにより、車両が走行している地域に雨が降っているか否かを知ることができる。処理部は、雨が降っていることをサーバ等の外部機器に通知するとともに、車両の現在位置情報を通知する機能を持つ。外部機器は、複数の車両から情報を収集することにより、雨が降っている地域のマップを作成することができる。さらに、処理部は、雨が降っていることを通知するとともに、現在の時刻情報を通知する機能を持つ。これにより、外部機器は、雨が降っている地域の時間的な変化に関する情報を取得することができる。

第１４実施例の変形例においては、外部機器が、気象に関する情報を提供する団体のサーバである。処理部は、ワイパーが写り込んでいないタイミング、例えばワイパーが下がったタイミングの画像をサーバにアップロードする機能を持つ。サーバは、アップロードされた画像から、降雨に関する情報、例えば雨量等を取得する機能を持つ。サーバは、車両から収集した雨量等のデータを、ビッグデータとして種々の応用分野で活用する機能を持つ。例えば、サーバは、局地的なゲリラ豪雨の予測等に活用する。処理部は、フロントガラスに雨滴が付着しているが、その多さ（個数）に増減が無い場合、雨が止んだと判定する。処理部は、雨が止んだと判定したら、雨が止んだことをサーバに通知する。サーバは、降雨に関するより詳細な情報を取得することができる。

［第１５実施例］
次に、第１５実施例について説明する。第１５実施例によるシステムの処理部は、画像解析の機能として、画像に写り込んだ空の状況から天候を判定する機能を持ち、解析結果に対応する処理として、天候に関する情報を通信装置から送信する処理を実行する。

複数の車両から収集された天候に関する情報は、気象情報に関するビッグデータとして活用することができる。これらの情報を収集したサーバは、画像に写り込んだ空の色、雲の有無等から、快晴、晴れ、曇り等の天気の判定を行う。さらに、処理部は、太陽の高さ及び空の明るさから、朝日や西日の強さを検知し、朝日や西日が強いという情報を送信する機能を持つ。処理部は、天候に関する情報とともに、車両の現在位置情報を送信する。この情報を収集したサーバは、朝日や西日が強いという情報、及び車両の現在位置情報を、これからその地点に向かう他の車両の運転者に提供する機能を持つ。この情報の提供を受けた運転者は、朝日または西日に注意が必要であることに気付くことができる。

［第１６実施例］
次に、第１６実施例について説明する。第１６実施例によるシステムの処理部は、車両に搭載されたマイクからの音情報を検知する機能を持ち、音情報の検知結果と前記画像解析の機能の解析結果とを関連付けて、関連付けの結果に応じた処理を実行する。

第１６実施例の変形例においては、処理部は、画像解析の機能として、車内に搭載された表示部を持つ機器の表示部の状態の変化を検知する機能を持ち、解析結果に対応する処理として、検知された音情報と、表示部の状態の変化とが同期している時、検知された音情報と、表示部の状態が変化した機器とを関連付けて記憶する処理を実行する。

第１６実施例の他の変形例においては、処理部は、マイクからの音情報を検知すると、音情報と表示部の状態の変化とが関連付けられて記憶されている情報に基づいて、音を発出した機器を特定する機能を持つ。例えば、処理部は、音声認識機能を持ち、マイクからの音情報が特定の機器から発出されたものであるか否かを判定し、特定の機器から発出されたものである場合には音声認識機能をキャンセルする。これにより、不要な音声認識処理の実行を回避することができる。また、処理部は、マイクからの音情報が特定の機器から発出されたものであると判定した場合、車内の画像のうち音を発生した機器の領域を他の領域から区別可能な情報を付加して記録する機能を持つ。例えば、音を発生した機器が写っている領域を囲む矩形や任意の形状の閉曲線の画像をもとの画像に重ねて記録する。または、音を発生した機器が写っている領域に、半透明の幾何学的模様を重ねて記録する。

第１６実施例のさらに他の変形例においては、処理部は、画像解析の機能として、画像に緊急車両、例えば救急車、消防車、パトカー等が写り込んでいるか否かを判定する機能を持つ。処理部は、マイクから緊急車両のサイレンの音を検知し、かつ画像内に緊急車両を検知すると、両者を関連付けて自車両の近傍に緊急車両がいると判定する。処理部は、緊急車両がいると判定すると、運転者に注意を促すメッセージを通知する。

［第１７実施例］
次に、第１７実施例について説明する。第１７実施例では、車内に取り付けられたカメラが複数個あり、処理部は、画像解析の機能として、画像に写り込んだ他のカメラの位置を検知する機能を持ち、解析結果に対応する処理として、複数のカメラの位置関係を特定する処理を実行する。

第１７実施例の変形例によると、処理部は、画像に写り込んでいる他のカメラの機種を特定し、機種から画角を特定する機能を持つ。処理部は、さらに、複数のカメラで撮像された画像を合成する機能を持つ。画像を合成することにより、カメラの個々の画像を表示する場合と比べて、直感的に車内の状況を把握することができる。

第１７実施例の他の変形例によると、処理部の少なくとも一部の機能がパソコン等のビューワで実現される。処理部は、表示する画像内に、カメラの位置がわかるようにカメラのアイコン等の標識を表示する。カメラの車内における位置は、当該カメラ（自己）が撮像した画像から特定することは困難である。処理部は、当該カメラが写り込んでいる他のカメラの画像から、当該カメラの車内における位置を検知する。処理部は、例えば３台のカメラで撮像した画像を合成して表示するとき、合成された画像内に３台のカメラの位置をアイコン等で表示する。さらに、カメラの機種または画角に応じてアイコンを異ならせる。

第１７実施例のさらに他の変形例によると、処理部は、各カメラで撮像された画像を表示するとともに、その画像内にカメラの位置、及びそのカメラの画角（そのカメラが撮像している領域）を表示する機能を持つ。例えば、全天球３６０度カメラ、半天球３６０度カメラ、広角カメラ等の機能に応じて、そのカメラの画角を画像内に表示する。画像を見たユーザは、各カメラがその領域を撮像しているのかを直感的に把握することができる。

［第１８実施例］
次に、第１８実施例について説明する。第１８実施例では、車両に搭載されるカメラが、撮像面の対角線の長さよりも小さなイメージサークルを持つ３６０度カメラであり、処理部は、画像解析の機能として、画像の特徴量を算出するための基本パターンを、イメージサークル内の位置に応じて変形させる機能を有する。

処理部は、イメージサークル内の画像の歪みを補正することなく、基本パターンを用いて画像の特徴量を算出する機能を持つ。これにより、処理部の負荷を軽減することができる。基本パターンは、標準レンズ（一般的な広角レンズ）を用いて撮像して得られる画像に対して定義される。イメージサークルを得る射影方式には、例えば、正射影、等距離射影、立体射影、等立体角射影等の射影方式があり、処理部は、これらの射影方式に応じて、基本パターンを変形させる。カメラのレンズとして、イメージサークルを得るために円周魚眼レンズを用いる。カメラの撮像面が長方形であり、イメージサークルの直径は、長辺より短く、短辺と等しいかまたは短辺より短い。

基本パターンとして、検出したい画像のテンプレートパターンが、処理部に予め登録されている。処理部は、テンプレートパターンを、イメージサークル内の位置に応じて変形させる。その他に、処理部は、例えば、ハーライク特徴を用いて画像の認識を行う機能を持ち、ハーライク特徴量を求めるための複数の矩形パターンの各々をイメージサークル内の位置に応じて変形させる機能を持つ。

第１８実施例の変形例においては、処理部は、画像認識を行う場合に、イメージサークル内の領域うち、検知したい特定の物が写り込んでいる領域を限定する機能を持ち、限定された領域内について画像認識を行う。この機能は、ドライブレコーダで実現される。一般的に、ドライブレコーダの推奨設置位置が予め決められているため、イメージサークル内の、運転者が写り込む領域、信号機が写り込む領域、後部座席の人が写り込む領域等がほぼ決まっている。このため、検出すべき人または物に応じて、その人または物を検知するために画像解析を行う領域を、その人または物が写り込む領域に限定する。例えば、車両の前方の画像を解析する場合には、処理部は、フロントガラスが写り込む領域について解析を行う。

第１８実施例の他の変形例においては、処理部は、イメージサークルの特定の領域を平面画像（平行投影画像）に変換し、変換後の平面画像について通常の基本パターンを用いてマッチングを行う。

第１８実施例のさらに他の変形例においては、処理部は、イメージサークル内の画像を所定の変換関数を用いて球面にマッピングさせ、球面にマッピングされた画像の一部分にズームし、歪みを無視して平面画像として画像解析を行う。特定の物、例えば道路標識を検知したい場合、その特定の物が写り込む領域にズームして画像解析を行う。道路標識を検知したい場合には、前方の画像のうち道路標識が写り込む領域にズームして画像解析を行う。
［第１９実施例］
次に、第１９実施例について説明する。第１９実施例では、処理部は、画像解析の機能として、プライバシー保護の観点から、画像のうち公開すべきでない領域をプライバシー保護領域として特定する機能を有し、解析結果に対応する処理として、プライバシー保護領域に写り込んでいる人物を外観によって特定することができない画像を、カメラで撮像された画像から生成する処理を実行する。

人物を特定することができなくすることにより、その人物のプライバシーを保護することができる。処理部は、車内が写り込む領域と公開すべきでない領域とする機能を持つ。特に、全天球カメラを用いて画像を取得する場合には、車内が撮像されてしまうが、車内の画像は残したくない場合もあり得る。このような場合は、処理部は、車内の領域を黒塗りにする機能、または車内の領域にモザイクをかけ、車外の画像はそのまま記録する機能を持つ。処理部は、画像解析を行うことにより、車内が写っている領域と車外が写っている領域とを区別する機能を持つ。一例として、処理部は、車速に相当する速さでオプティカルフローが生じている領域を車外と判定する機能を持つ。処理部は、ユーザがプライバシー保護領域を予め設定しておくことができる機能を持つ。

第１９実施例の変形例においては、処理部は、プライバシー保護領域内の人物を特定することが可能な画像を記録する通常モードと、プライバシー保護領域に写り込んでいる人物を外観によって特定することができない画像を記録するプライバシーモードとをユーザが選択できるようにする機能を持つ。ユーザは、車両の使用目的や使用状況に応じて、通常モードとプライバシーモードとを切り替えることができる。

第１９実施例の他の変形例によると、処理部は、人物が写っている領域をプライバシー領域とする機能を持つ。処理部は、画像解析を行うことにより人物を検知し、検知された人物の輪郭線で囲まれた領域をプライバシー領域とする機能を持つ。さらに、処理部は、検知された人物の顔の部分のみをプライバシー領域とする機能を持つ。このとき、処理部は、人物をシルエットで表示する機能を持つ。または、処理部は、人物の輪郭線のみを表示し、輪郭線の内側には人物がいないときの画像を表示する機能を持つ。このとき、人物は透明に見える。処理部は、人物の輪郭として、動きがあるもののエッジを表示する機能を持つ。

第１９実施例のさらに他の変形例として、処理部は、人物が写っている領域に、人物に代えてアバターを表示する機能を持つ。表示するアバターは、元の人物に似たものとする。例えば、性別、体形、顔の外形等に応じて、その特徴を反映したアバターを表示する。予め、人物とアバターとを関連付けておき、処理部は、画像に写っている人物を特定し、その特定された人物に関連付けられているアバターを表示する機能を持つ。アバターは、人物ごとに予め作成しておき、処理部に登録されている。処理部は、人物の動きに合わせてアバターを動かす機能を持つ。例えば、人物が手を挙げたときには、アバターの手を挙げさせ、人物が横を向いたときは、アバターも横を向かせる。処理部は、人物の表情に応じて、アバターの表情を変化させる機能を持つ。例えば、処理部は、人物が笑っている、悲しんでいる、怒っているといった表情を検知すると、アバターの表情を、それぞれ笑った表情、悲しんでいる表情、怒っている表情に変化させる機能を持つ。処理部は、人物の感情を読み取り、人物の感情に応じてアバターの色を変化させる機能を持つ。例えば、人物が怒っていると検知したときは、アバターの色を怒っていることを表す色、例えば赤色に変える。

第１９実施例のさらに他の変形例として、処理部は、画像を記録する前に、カメラで撮像された画像から、プライバシー保護領域に写り込んでいる人物を外観によって特定することができない画像を生成し、生成された画像を記録する機能を持つ。さらに、処理部は、カメラで撮像された画像を再生するときに、プライバシー保護領域に写り込んでいる人物を外観によって特定することができない画像に変換して表示する機能を持つ。

［第２０実施例］
次に、第２０実施例について説明する。第２０実施例では、処理部は、解析結果に対応する処理として、画像解析の結果をテキストデータ化またはコード化して記録する処理を実行する。

テキストデータ化またはコード化することにより、記録された画像から所望の画像を容易に見つけ出すことが可能になる。例えば、処理部は、画像内に人物を検知したときのテキストデータとして「人物検知」、画像内に赤信号を検知したときのテキストデータとして「赤信号」を生成する。処理部は、生成されたテキストデータは、そのテキストデータ生成の元となった画像と関連付けて記録する機能を持つ。さらに他の変形例では、処理部は、テキストデータに代えて、画像解析結果とコードとを対応付けて、画像解析結果をコード化（バイナリデータ化）する機能を持つ。

［第２１実施例］
次に、第２１実施例について説明する。第２１実施例では、処理部は、画像解析の機能として、画像内の黒ツブレしている領域を検知する機能を有し、解析結果に対応する処理として、画像の黒ツブレしている領域を明るく復元して表示画面に表示させる処理を実行する。

画像を見たユーザは、黒ツブレしている領域内の物や人を認識しやすくなる。特に、全天球カメラを用いて画像を取得する場合には、画像内に明るい車外の景色と、暗い車内が同時に撮像されるため、車内が写り込んでいる領域が黒ツブレしやすい。黒ツブレした領域を検知して、明るく復元して表示させる処理は、全天球カメラを使用して画像を取得する場合に特に有効である。明るく復元する処理として、処理部は、例えばガンマ補正、色補正、白黒画像への変換、コントラスト強調等を行う。

［第２２実施例］
次に、第２２実施例について説明する。第２２実施例では、処理部は、ユーザに、カメラで撮像される撮像範囲から複数の区画に区分させる機能、及び区画ごとに重み付けさせる機能を有し、区画の各々の明るさと、当該区画に付された重みとに基づいて撮像条件を決定し、決定された撮像条件で前記カメラに撮像させる機能を有する。

ユーザは、画像内の見たい区画の重みを重くし、見る必要のない区画の重みを軽くすることにより、見たい領域に適した撮像条件で画像を取得することができる。ユーザは、見たい領域や見る必要が無い領域の形状に合わせて、撮像範囲を任意の形状に区分することができる。

図５に、比較例による方法で撮像範囲を複数の区画に区分する方法を説明するための撮像面の図を示す。前方用の３６０度カメラの長方形または正方形の撮像面７１にイメージサークル７３が形成され、後方用の３６０度カメラの長方形または正方形の撮像面７２にイメージサークル７４が形成される。前方を撮像するイメージサークル７３内に、フロントウィンドウを通して前方の景色が写り込むとともに、車内のダッシュボード、インストルメントパネル、カーナビゲーションシステムの表示画面等が写り込んでいる。後方を撮像するイメージサークル７４内に、車内の運転者、助手席、後席、天井が写り込むとともに、サイドウィンドウ及びリアウィンドウを通して、車両の側方及び後方の景色が写り込んでいる。

撮像面７１、７２が、四角格子によって複数の区画に区分されている。ユーザは、区画ごとに重み付けを行うことができる。

図６に、第２２実施例によるシステムにおいて撮像範囲を複数の区画に区分する方法を説明するための撮像面の図を示す。図５に示した例と同様に、前方用の３６０度カメラの撮像面７１にイメージサークル７３が形成され、後方用の３６０度カメラの撮像面７２にイメージサークル７４が形成される。

処理部５１（図４）は、ユーザに区分させる際に、撮像範囲内の一部の領域を閉曲線７５で囲ませ、閉曲線７５で囲まれた内側の領域を１つの区画として設定する。ユーザは、複数の閉曲線７５を描画することにより、複数の区画を設定する。ユーザが、閉曲線で囲まれた内側の領域を曲線で２分割すると、分割された領域の各々を１つの区画とする。

図５に示した比較例のように、画像の内容によらず一律に四角格子状に区分された区画に重み付けする場合に比べて、ユーザにとってより適切な重み付けを行うことが可能になる。

特に、３６０度カメラを用いて撮像すると、一般のカメラを用いる場合と比べて、車種ごとに、車両の部分が写る撮像範囲内の位置の差が大きくなる。このため、事前に、処理部のファームウェアに設定した汎用的な重み付けテーブルと、実際に期待した撮像範囲の区画との関係が一致しない可能性が高まる。汎用的な重み付けテーブルを使用するのではなく、ＰＣブラウザソフト等を用いて重み付けを決定できるようにする機能は、３６０度カメラを使用する場合に、特に顕著な効果が得られる。

処理部は、撮像条件として、例えばゲイン、露光時間等を決定する。２つの半天球カメラの背面同士を対向させて全天球カメラとした構成では、処理部は、２つの半天球カメラの撮像条件を同一にする。これにより、２つの半天球カメラで撮像された画像を合成したときに、２つの画像の境界がわかりにくくなるという効果が得られる。

第２２実施例の変形例では、処理部（例えばＰＣのＡＩソフト）が、重み付けをしていない状態で、カメラで撮像した画像を解析し、撮像範囲のどの部分に何が写っているかを推定する機能を持つ。例えば、処理部は、道路の部分に重み「５」を付し、顔の部分に重み「３」を付し、インストルメントパネルの部分に重み「１」を付し、丸画像の範囲外に重み「０」を付す。

処理手段は、ユーザに区分させる際に、撮像範囲内の一部の領域を閉曲線で囲ませ、閉曲線で囲まれた内側の領域を１つの区画とするとよい。処理手段は、設定された区画ごとに、ユーザに数値で重みを入力させるとよい。入力すべき数値は、プルダウンまたはポップアップ等のリストから選択させるようにするとよい。

第２２実施例の他の変形例では、処理部は、重みを数値で入力させる機能の代わりに、または数値で入力させる機能に加えて、区画の種別を入力させる機能を持つ。区画の種別には、予め重みが対応付けられており、区画の種別が入力されると、処理部は、当該種別に対応付けられている重みを、当該区画に対応付ける。区画の種別として、例えば、運転者、メータパネル、カーナビゲーション画面、フロントガラス、後席、助手席等の種別が設けられている。処理部は、区画の種別と重みとの対応関係をユーザが変更できる機能を持つ。区画の種別の一覧は、予めユーザが処理部に登録しておくことができる。

第２２実施例のさらに他の変形例では、処理部がユーザに、区画ごとに重み付けさせる機能として、撮像範囲内の見たい領域を指定させることにより、区画を設定する機能を持つ。ユーザが指定した見たい区画の重みを、その他の領域の重みより大きくする。この機能は、ユーザに区画の種別を入力させる機能において、区画を、ユーザが見たい区画と、その他の区画との２つの種別に区分する例に相当する。

第２２実施例のさらに他の変形例では、処理部は、対話形式（ウィザード形式）で、ユーザに撮像範囲を区分させる機能を持つ。処理部は、「不要な領域を取り囲んでください。」、または「不要な領域を塗りつぶしてください。」というメッセージを出力し、ユーザが取り囲んだ領域、または塗りつぶした領域を、「不要な領域」として認識する。さらに、処理部は、「運転者の領域を塗りつぶしてください。」、「道路の部分を塗りつぶしてください。」というメッセージを出力し、塗りつぶした領域を、運転者の種別を持つ区画、または道路の種別を持つ区画として認識する。処理部は、閉曲線で取り囲む操作、または塗りつぶす操作を、ユーザに、タッチパネルやマウス等のポインティングデバイスを用いて行わせる機能を持つ。

第２２実施例のさらに他の変形例では、処理部は、撮像された画像に基づいて撮像範囲を複数の区画に区分する機能を、人工知能（ＡＩ）により実現する。処理部は、画像から、車内と車外、座席、ダッシュボード、インストルメントパネル等を自動判別し、自動判別した構成部分ごとに撮像範囲を区分する機能を持つ。処理部は、区分した結果を表示画面に表示し、この区分で問題ないかユーザに判定させる。処理部は、ユーザに区分を修正させる機能を持つ。ＡＩが行った区分が間違っているとユーザが判定すると、ユーザは区分を修正することができる。処理部は、プルダウンやポップアップさせたリストから正しい種別をユーザに選択させる機能を持つ。区画に対応する重みまたは種別が間違っているとユーザが判定すると、ユーザは、容易に重みまたは種別を訂正することができる。

［第２３実施例］
次に、第２３実施例について説明する。第２３実施例では、処理部は、ユーザに、カメラで撮像される撮像範囲から複数の区画に区分させる機能、及び区画ごとに重み付けさせる機能を有し、解析結果に対応する処理として、重みが相対的に小さな区画の圧縮時のブロックを、重みが相対的に大きな区画の圧縮時のブロックより大きくして圧縮を行う処理を実行する。

ユーザは、重要度の高い区画の重みを重くし、重要度の低い区画の重みを軽くすることにより、重要度の低い区画の圧縮度を高めることができる。その結果、画像全体を一律に圧縮する場合と比べて、重要度の高い区画の画像の品質を高く維持したまま、画像データの容量を減らすことができる。例えば、処理部は、重みの思い区画では、８×８個の画素を１つのブロックとし、重みの軽い区画では、１６×１６個の画素を１つのブロックとして圧縮を行う。

第２３実施例の変形例においては、処理部は、イメージサークルの外側の領域を黒く塗りつぶす機能を持つ。カメラの矩形の撮像面に形成されたイメージサークルの外側の領域には、レンズの鏡筒部分の画像が写り込む場合がある。イメージサークルの外側の領域の不要な画像を黒く塗りつぶすことにより、イメージサークルの外側の画素を含む画像データの容量を減らすことができる。他の変形例においては、処理部は、イメージサークルより外側の画素を除いて、イメージサークルの内側の画素のみをラスタスキャンして画像データを取得する機能を持つ。これにより、画像データの容量を減らすことができる。

［第２４実施例］
次に、第２４実施例について説明する。第２４実施例では、処理部は、画像解析の機能として、後続車両を検知する機能及び後続車両までの距離を検知する機能を持ち、解析結果に対応する処理として、後続車両までの距離に基づいて後続車両のあおり運転を検知する処理を実行する。

処理部は、判定結果に応じた処理を実行することにより、あおり運転に対して適切な対処を行うことが可能になる。処理部は、例えば、車両の速度が所定の基準値以上であるにもかかわらず、所定の判定距離以内に同一の後続車両が所定の判定時間以上継続して存在するとき、後続車両があおり運転を行っていると判定する。

第２４実施例の変形例においては、カメラとして、画素ごとに対象物までの距離を測定する機能を有するものを用いる。例えば、カメラの画像センサとして、裏面照射型タイムオブフライト方式距離画像センサを用いる。

第２４実施例の他の変形例においては、処理部は、後続車両があおり運転を行っていると判定したとき、判定結果に応じた処理として、例えば運転者への通知、後方の画像の記録、運転者への助言、交通取り締まり機関（例えば警察）への通報等の処理を行う。交通取り締まり機関に通報する際には、処理部は、あおり運転をしている車両及びその運転者の画像を添付する。処理部は、画像解析によって、あおり運転を行っている車両が自車両を追い抜き、自車両の前に回り込んだことを検知すると、急停車による嫌がらせをされる可能性があることを運転者に通知する。

第２４実施例のさらに他の変形例においては、処理部は、車両周囲の人及び車両を検知し、人及び車両までの距離に応じて車両の制御を行う機能を持つ。例えば、処理部は、自車の速度と、前方の人までの距離と、人が自車の走行予定経路上にいるか否かの判定結果とに基づいて、人への接触の可能性が高いと判定したら、車両を停止させる制御を行う。

本発明の範囲は，明細書に明示的に説明された構成や限定されるものではなく，本明細書に開示される本発明の様々な側面の組み合わせをも，その範囲に含むものである。本発明のうち，特許を受けようとする構成を，添付の特許請求の範囲に特定したが，現在の処は特許請求の範囲に特定されていない構成であっても，本明細書に開示される構成を，将来的に特許請求の範囲とする意思を有する。

本願発明は上述した実施の形態に記載の構成に限定されない。上述した各実施の形態や変形例の構成要素は任意に選択して組み合わせて構成するとよい。また各実施の形態や変形例の任意の構成要素と，発明を解決するための手段に記載の任意の構成要素または発明を解決するための手段に記載の任意の構成要素を具体化した構成要素とは任意に組み合わせて構成するとよい。これらについても本願の補正または分割出願等において権利取得する意思を有する。

また，意匠出願への変更出願により，全体意匠または部分意匠について権利取得する意思を有する。図面は本装置の全体を実線で描画しているが，全体意匠のみならず当該装置の一部の部分に対して請求する部分意匠も包含した図面である。例えば当該装置の一部の部材を部分意匠とすることはもちろんのこと，部材と関係なく当該装置の一部の部分を部分意匠として包含した図面である。当該装置の一部の部分としては，装置の一部の部材としても良いし，その部材の部分としても良い。全体意匠はもちろんのこと，図面の実線部分のうち任意の部分を破線部分とした部分意匠を，権利化する意思を有する。

１ドライブレコーダ
２フロントガラス
３ルームミラー
４電源ケーブル
５シガーソケット
１０ドライブレコーダの本体
１１カメラ
１２ＧＰＳ受信機
１３ＳＤカードリーダ
１４加速度センサ
１５スピーカ
１６ディスプレイ
１７操作ボタン
２０処理部
２１通信装置
３０サーバ
３１処理部
３２通信装置
３３入力装置
３４ディスプレイ
４０通信ネットワーク
５０外部機器
５２ＳＤカードリーダ
５３入力装置
５４ディスプレイ
６０ＳＤカード
７１、７２撮像面
７３、７４イメージサークル
７５閉曲線

Claims

車両に取り付けられて、車内のアクセルペダル及びブレーキペダルが撮像範囲に含まれるカメラで取得された画像の画像解析、及び車外を撮像するカメラで取得された画像の画像解析を行い、解析結果に基づいて、解析結果に対応する処理を実行する機能を持つ処理手段を有するシステムであって、
前記処理手段は、前記画像解析の機能として、アクセルペダル及びブレーキペダルに対する運転者の足の位置を検知する機能を持ち、
前記解析結果に対応する処理として、運転者の足がアクセルペダルの位置にあるか、ブレーキペダルの位置にあるかを運転者が認識できるように通知する処理を実行し、前方に障害物を検知しているにも関わらず、足がアクセルペダルの位置にあるとき、警報を発出する処理を実行するシステム。
請求項１に記載の処理手段の機能をコンピュータに実現させるためのプログラム。