JP7240781B2 - 情報処理システム及びプログラム等 - Google Patents

情報処理システム及びプログラム等 Download PDF

Info

Publication number
JP7240781B2
JP7240781B2 JP2022166652A JP2022166652A JP7240781B2 JP 7240781 B2 JP7240781 B2 JP 7240781B2 JP 2022166652 A JP2022166652 A JP 2022166652A JP 2022166652 A JP2022166652 A JP 2022166652A JP 7240781 B2 JP7240781 B2 JP 7240781B2
Authority
JP
Japan
Prior art keywords
vehicle
camera
photographing
image
interior
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022166652A
Other languages
English (en)
Other versions
JP2023009057A (ja
Inventor
圭三 高橋
哲也 服部
勇喜 清水
英樹 石橋
尚樹 細川
Original Assignee
株式会社ユピテル
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ユピテル filed Critical 株式会社ユピテル
Publication of JP2023009057A publication Critical patent/JP2023009057A/ja
Priority to JP2023028069A priority Critical patent/JP7403196B2/ja
Application granted granted Critical
Publication of JP7240781B2 publication Critical patent/JP7240781B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Emergency Alarm Devices (AREA)
  • Time Recorders, Dirve Recorders, Access Control (AREA)

Description

本発明は、情報処理システム及びプログラム等に関する。
本技術分野の背景技術として、特開2018-160135号公報(特許文献1)がある。この公報には、「車時注意喚起装置10は、自動運転車両に搭載されるシステムであり、前方車外音響取得用マイク22、後方車外音響取得用マイク23、前方カメラ24、後方カメラ25、カメラ26、前部車外音響用スピーカ31、後部車外音響用スピーカ32、第1表示器33、第2表示器34を備え、車両からの搭乗者の降車時の注意喚起を、車内または車外に報知するために用いられる。」と記載されている(要約参照)。
特開2018-160135号公報
前記特許文献1には、例えばリア側から車室内を撮影する仕組みについて検討がなされていないなど、従来のシステムには様々な課題があった。
そこで、本発明は、例えば、リア側から車室内を撮影する仕組みなど、従来よりも優れたシステム等を提供する。
本発明の目的はこれに限定されず、本明細書及び図面等に開示される構成の部分から奏する効果を得ることを目的とする構成についても分割出願・補正等により権利取得する意思を有する。例えば本明細書において「~できる」「~可能である」などと記載した箇所を「~が課題である」と読み替えた課題が本明細書には開示されている。課題はそれぞれ独立したものとして記載しているものであり、各々の課題を解決するための構成についても単独で分割出願・補正等により権利取得する意思を有する。課題が明細書の記載から黙示的に把握されるものであっても、本出願人は本明細書に記載の構成の一部を補正又は分割出願にて特許請求の範囲とする意思を有する。またこれら独立の課題を組み合わせた課題を解決する構成についても開示しているものであり、権利取得する意思を有する。
上記課題を解決するために、例えば特許請求の範囲に記載の構成を採用する。
本願は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、車両後方から車両前方に向かって撮影した車室内の映像データを処理することを特徴とし、例えば、車両後方から車両前方に向かって撮影した車室内の映像データと、車両後方から車両後方外部を撮影した車外の映像データと、を処理する、ことを特徴とする。
本発明によれば、例えば、リア側から車室内を撮影する等の仕組みなど、従来よりも優れたシステム等を提供することができる。
上記した以外の課題、構成及び効果は、以下の実施例の説明により明らかにされる。
なお、本願の発明の効果はこれに限定されず、本明細書及び図面等に開示される構成の部分から奏する効果についても開示されており、当該効果を奏する構成についても分割出願・補正等により権利取得する意思を有する。例えば本明細書において「~できる」「~可能である」などと記載した箇所などは奏する効果を明示する記載であり、また「~できる」「~可能である」などといった記載がなくとも効果を示す部分が存在する。またこのような記載がなくとも当該構成よって把握される効果が存在する。
図1は、本実施の形態の車両10内の撮影機器101R及び車室内撮影用リ アカメラ102の設置位置及び撮影方向を説明する説明図の例である。 図2は、撮影機器101F、101R、車室内撮影用リアカメラ102、ユ ーザ端末103、外部サーバ104の接続図の例である。 図3は、車室内撮影用リアカメラ102と接続した撮影機器101Rのハー ドウェア構成の例である。 図4は、車室内撮影用リアカメラ102の画像の処理フロー400の例であ る。 図5は、2つのカメラを設置した実施例である。 図6は、図1の実施例のカメラの撮影方向が変更可能な実施例である。 図7は、図1の撮影機器101R及び車室内撮影用リアカメラ102が1つ の広角カメラにより構成されている実施例である。 図8は、撮影機器101R及び車室内撮影用リアカメラ102を救急車両の リアハッチ取り付けた実施例である 図9は、撮影機器101R及び車室内撮影用リアカメラ102を福祉車両の リアハッチ取り付けた実施例である 図10は、車室内撮影用リアカメラ102で撮影される画像を説明する図 である。 図11は、車室内撮影用リアカメラ102で撮影される画像を説明する図 である。 図12は、取付具を用いた撮影機器101R及び車室内撮影用リアカメラ 102の接続を説明する説明図の例である。 図13は、取付具を用いた撮影機器101R及び車室内撮影用リアカメラ 102の接続を説明する説明図の別の例である。 図14は、取付具を用いた撮影機器101R及び車室内撮影用リアカメラ 102の接続を説明する説明図の更に別の例である。 図15は、取付具のバリエーションの例である。 図16は、その他の取付具のバリエーションの例である。 図17は、ピンプラグを有する車室内撮影用リアカメラ102の例である 。 図18は、図17のカメラの別の回転防止構造の拡大図の例である。 図19は、図17のカメラを円筒形の撮影機器に取り付けた実施例である 。 図20は、図17のカメラをデジカメ型の撮影機器に取り付ける手順を説 明する説明図の例である。 図21は、分岐ケーブル1804を用いて図17のカメラを2つ、デジカ メ型の撮影機器に取り付けた実施例である。 図22は、別の広角カメラ100の例である。 図23は、投光器の光を遮断するカメラの例である。 図24は、撮影機器101Fの外観構成の一例を示す図である。 図25は、ブラケット600の構成を示す図である。 図26は、撮影機器101Fの電気的構成を示すブロック図である。 図27は、撮影機器101Fが表示する画面の説明図である。 図28は、ビュアーの一例の説明図である。 図29は、図28のビュアーに含まれる表示要素の説明図である。 図30は、図28のビュアーに含まれる表示要素の説明図である。 図31は、図28のビュアーに含まれる表示要素の説明図である。 図32は、ビュアーの一例の説明図である。 図33は、車室内撮影用リアカメラ102の図11とは別の例を示す図で ある。
以下、図面を参照して本発明を実施するための形態について説明する。なお、以下に示す実施例は、本発明を提供した一つの実施例であり、以下の記載に基づいて本願発明の内容が限定して解釈されるものではない。
また、以下の説明では、車両後方から車両前方に向かって撮影した車室内の映像データと、車両後方から車両後方外部を撮影した車外の映像データと、を処理する、情報処理システムにおける、個々の構成要素について具体的に説明するが、本システムの構成要素は、それらに限定されるものではなく、個々の構成要素に関連して説明した機能を実行できるものであれば、別の構成や様態であっても構わない。
また、映像データは、静止画映像及び動画映像のいずれを構成するデータであってもよいが、動画映像とすると特によい。以下の説明における「映像」なる用語は、人の目で見る静止画映像(静止画画像ともいう。)又は動画映像(動画画像ともいう。)とするとよいが、技術内容と整合する限り「映像データ」、「画像」、「画像情報」と読み替えることも可能である。
図1は、本実施の形態の車両10内の撮影機器101R及び車室内撮影用リアカメラ102の設置位置及び撮影方向を説明する説明図の例である。
図1(a)は車両10の側面図であり、図1(b)は車両10の上面図である。
図1(a)及び図1(b)に示すように、車両10は車室の後方に撮影機器101Rを有している。撮影機器101Rは撮影機能を有する電子機器であり、防犯や監視或いはその他のセンシング目的で設けられたカメラ等であってもよいが、ドライブレコーダと協働するリアカメラとするとよく、もっともよいのはドライブレコーダそのものである。
図1の例では撮影機器101Rには、車両10の後方から車内を撮影する車室内撮影用リアカメラ102が車両の左右方向に並んで取付られた様子が図示されている。車室内撮影用リアカメラ102は、車両10における後方側に取り付けられ、例えば、車両10の前後方向で見て少なくとも車両10の車室内において、前後方向における中心よりも後方側に取り付けられるとよい。車両10の車両室内の後方側は、特には後部座席のヘッドレストや背もたれの位置からリアガラスの間の範囲に、配置されていると有利であり、リアガラスに取り付ける位置とすると特によい。しかしながら、撮影機器101Rへの車室内撮影用リアカメラ102の取付方法はこれに限定されるものではない。撮影機器101R及び車室内撮影用リアカメラ102は、後述する様々な様態で取付可能である。例えば、車室内撮影用リアカメラ102及び撮影機器101Rを結合する取付具によって接続する構成とするとよい。
図1の例では撮影機器101Rと車室内撮影用リアカメラ102は直接隣接して図示されているが、取付具を介して接続する構造としてもよく、このとき撮影機器101Rと車室内撮影用リアカメラ102の間から、例えばL字のケーブルで、撮影機器101Rと車室内撮影用リアカメラ102の両方のケーブルを引き出し、1本のケーブルに統合した後、電源等に接続する既存のラインと接続すると、配線が目立つことなく車室内の美観を損なわずに車室内撮影用リアカメラ102を追加することができる。
また同様に、車内に更にフロント側の撮影機器が存在し、リア側の撮影機器101Rとフロント側の撮影機器の間に、電源及びデータを通信するためのケーブル接続が存在する構成でも、空間から引き出した両方のケーブルを統合し、フロント側の撮影機器との接続ケーブルに接続することも可能である。
リア後方とリア車内の2カメラを一体化してもよい。このような構成であると、撮影機器101Rと車室内撮影用リアカメラ102を一体として取り扱うことができ、ユーザにとって取り付けが容易などの便利さがあるメリットがある。例えば、リア車内のレンズをリア後方のレンズより上にくるようにするとよい(例:カメラ縦配置)。特にリア後方のレンズによってリアウインドウ越しに後方を撮影できる位置に設置した際に、リア車内のレンズはその背面側がリアウインドウ上部のガラスでない部分、特にリアウインドウ越しに後方を撮影できない部分に当たる位置に設置する取付具によって取り付ける構成とするとよい。
また、そのような構成では撮影機器101Rと車室内撮影用リアカメラ102は、更に、例えば設計及び製造段階でそれぞれの撮影画像の中心軸を予め一致させる構成とするとよく、このようにすれば、それぞれのカメラからの映像の比較等の処理を容易に行うことができる。
撮影機器101Rと車室内撮影用リアカメラ102が縦に配置されて一体化された構成であって、両者の中心軸を予め一致した構成とすることで、ユーザは、カメラ縦配置の一体化構成のカメラを1つ配置するだけで、互いに中心が揃った状態の車室内の画像及び車両後方の車両外部の画像を獲得することができる。
2カメラ一体型の別の実施例では、車内撮影用の車室内撮影用リアカメラ102を上下方向に回転させて、撮影方向の上下角度を変える構造としてもよい。更に、車内撮影用の車室内撮影用リアカメラ102を左右方向に回転させて、撮影方向を上下左右に角度を変えられる構造とすると、所望の撮影方向をより広い範囲で設定することができる。
さらに、ユーザが、自身のユーザ端末や、車両に備え付けられたユーザ端末、リモコン等を用いて、ユーザ端末のディスプレイ等で映像を確認しながら、車内撮影用の車室内撮影用リアカメラ102の撮影方向の角度調整を行う構成としてもよい。
別の実施例では、撮影機器101Rと車室内撮影用リアカメラ102が1つの広角カメラによって構成されていてもよく、この構成で撮影される映像には、後方から前方に向かって車室内及び車両後方の双方が映されているとよい。そのような実施例については図7でより詳細に説明する。
別の実施例では、撮影機器101R及び車室内撮影用リアカメラ102を物理的に独立した2つのリア側カメラとする構成(例えば、それぞれ別個の筐体とする構成)とし、車両10のリア側の異なる位置に取り付けられる構成としてもよい。特に、2つのリア側カメラは、車両の車室内の両サイド寄りに取り付けられるよく、特に、その一方が車両10の後方側の一方のピラーの位置に取り付けられ、他方が車両10の後方側の他方のピラーの位置に取り付けられるとよい。ピラーの位置は、ピラーの車室側の部位とするとよい。このようにすると、車両10の乗員の視界に入りにくく、また、車両10の後方車両の運転手等の乗員の視界に入りにくくすることができる。
いずれの実施例においても、撮影機器101Rと車室内撮影用リアカメラ102を用いることで、後方から前方に向かって車室内を撮影した映像及び車両後方の映像の双方、を記録する構成とすることが有利である。また、車両側方の外部や車両後方の遠方外部の映像も記録する構成とするとよい。
以上、撮影機器101R及び車室内撮影用リアカメラ102の配置や撮影方向等の例について説明した。以下では、撮影機器101R及び車室内撮影用リアカメラ102の機能や役割等の例について説明する。
車室内撮影用リアカメラ102は、ISP(Image Signal Processor)による処理や圧縮処理を実行する車両後方に設置された撮影機器101Rに接続している。この撮影機器101Rをメインユニットとして使用することは、車両前方、例えばフロントガラスに取り付けられたフロント前方撮影カメラをメインユニットとする構成と比べて、格段に有利である。フロント前方撮影カメラは、車両10のフロント側に設置され、車両10の前方を撮影するカメラである。
フロント前方撮影カメラは、その取り付け位置の関係で、太陽光による直射及びそれによる熱の影響を受けやすかった。一方、フロント前方撮影カメラは、フロントガラス等に設置されるため、車両前方に視界が開けていなければならないという機能面での制限から、有効な遮光措置を採用することが困難であった。
これに対し、車両のリアガラスに取り付けられたリア後方撮影カメラは、フロント前方撮影カメラに比べて、その取り付け位置での太陽光による直射及びそれによる熱の影響を低減させやすいという効果がある。また、フロントガラスに比べ、リアガラスはある程度の遮光加工を施してもよく、さらに太陽光による直射や熱の影響を低減することができる。
またミニバンのように、多くの車ではリアガラスはフロントガラスよりも垂直に近い。そのため、フロントガラス位置よりもリアガラス位置のほうがドライブレコーダに直射日光(特に太陽の位置が高くなり暑くなる時間帯の直射日光)が入射しにくいというメリットもある。リア後方撮影カメラは、車両10のリア側に設置され、車両10の後方を撮影するカメラである。
太陽光の直射や熱の影響の少ないリア後方撮影カメラをメインユニットとし、このリア後方撮影カメラが、増設した車室内撮影用カメラの映像やフロント前方撮影カメラの映像を処理し、記録する構成とすることで、システム全体が故障しにくくなり、又熱による誤動作を低減することが可能となる。
図1に示すような車室内撮影用リアカメラ102を用いることで、以下のような撮影が可能となる。
車室内撮影用リアカメラ102は、車内を後ろから撮影することで、人の顔を撮影せずプライバシーを守りながら行動を撮影し、解析し、検知する構成とするとよい。
車室内撮影用リアカメラ102は、車内の後方からサイドの窓ガラス越しに車両外部を撮影して車両周辺の様子を検知する構成とするとよい。
車室内撮影用リアカメラ102は、車両天井に設置されているものの状態を検出する構成とするとよい。
車室内撮影用リアカメラ102は、荷台や座席上等の荷物を検出する構成とするとよい。
車室内撮影用リアカメラ102は、車両の表示部、例えば座席背面に設けられたモニタや天井に設けられたモニタ等の状態を検出する構成とするとよい。
車室内撮影用リアカメラ102は、車内、特に車両後部空間に人がいるかを検知する構成とするとよい。
車室内撮影用リアカメラ102は、車内の人の有無に基づき駐車状態を検知する構成とするとよい。
これらの点については、図4との関連でより詳細に説明する。
乳児専用タイプや後ろ向きに取り付けタイプのチャイルドシートを利用している状態では、従来のフロント側の車室カメラでは、前方座席の死角となり、チャイルドシート内の乳児の状態を確認することは非常に困難であった。しかしながら、リア側からの車室を撮影する車室内撮影用リアカメラ102は、そのようなチャイルドシート内の乳児の状態も非常に良好に撮影することが可能である。それどころか、上述のように車室内撮影用リアカメラ102の撮影映像を例えば手元の端末確認しながら撮影方向を調整することで、車室内撮影用リアカメラ102の撮影映像の中心に、乳児を置くことさえ可能である。
それにより車室内撮影用リアカメラ102からの映像に基づき、撮影機器101Rの制御部303が、チャイルドシート内の乳児を良好に識別し、置き去りの発生等を確実に検出することができる。このような置き去りの検出及びその警告は、後述する人検知センサを備えた構成により更に確実に実行できる。
また、車室内撮影用リアカメラ102の映像を、その他のカメラの映像と組み合わせて、リア後方・リア車内の左右側映像・フロント車内の左右側映像・フロント前方の映像をつなげて、車の周りをぐるっと回せる(例えば一周回る)映像を生成する機能をドライブレコーダに備えるとよい。あるいは、これらの映像を記録した記録媒体のデータを再生するパソコン用あるいはスマホ、タブレット等の情報処理装置用のビュアープログラムとするとよい。リア車内の映像とフロント車内の映像から車内をぐるっと回せる(例えば一周回る)映像を生成する機能を備えるとよい。
例えば、リア後方カメラである撮影機器101R及び車室内撮影用リアカメラ102がそれぞれ180°の撮影範囲をカバーしている構成では、更に、撮影機器101Rが撮影した後方からの急接近、後方煽り、及び、車室内撮影用リアカメラ102が車室の窓ガラス越しに撮影した、側方煽り、危険な追い抜き、を途切れなく連続的に記録する構成とするとよい。
車室内撮影用リアカメラ102により撮影された映像では、車両のリア側から車内が見えることに加えて、運転席と助手席も映る画角・設置位置等の構成とするとよく、このようにすれば、横からの幅寄せ煽り運転や、車から降りてきて威嚇したり暴行を加えたりする行為を録画することも可能である。このような状況においては、録画を開始したことが知られると状況が悪化する恐れがあるため、そのような状況の発生を判定した場合、自動で録画が開始されるか、ユーザが自身で録画を開始したことが簡単に知られないように、微弱リモコンやIRリモコン等でイベント録画する構成であると有利である。
車室内撮影用リアカメラ102は、車両後方(リア側)から車室内を撮影するものであるので、車両前方(フロント側)から車室を撮影する従来の車室内カメラと比べて、運転席、助手席、及びその他の車席に乗る人を正面から撮影する機会が著しく減少する。それにより、車内の人のプライバシー保護が可能となる。これは、タクシーやバス等での利用において特に有利である。
置き去りの高精度の検知、他車両による危険運転のシームレスな記録、プライバシーの保護等の効果は、例えば360°カメラ等の広角カメラをリアに取り付けることでも実現できる。
例えば、後方車両がリアから接近し、車線変更し、仮に幅寄せされた状況でも、360°カメラを用いて、状況変化を切れ目なく録画する構成とするとよい。
また、通常360°カメラでは視野角が大きく画像が小さいが、車室内に合わせた視野角(運転席、助手席の外が見える)にしてなるべく画角を広く設定した構成とするとよい。
例えば、フロント側のドライブレコーダの近傍に取り付けられた、従来のフロント側車室カメラでは、フロントミラーが不必要に画面の広範囲を占めてしまう問題があり、広角、超広角の撮影範囲を有する車室内カメラを利用することが避けられる場合があった。
上記の実施例では、車室内の映像データを取得する車室内撮影用リアカメラ102と、車外の映像データを取得する撮影機器101Rを、撮影目的等に応じて、それぞれ別々に且つより柔軟に設計することが可能である。
車室内撮影用リアカメラ102は、更に、車内後方から前方左右の映像も窓越しに取得する構成とするとよい。撮影機器101Rは、それらの映像を他のカメラの映像と組み合わせた処理を実行する構成とするとよい。例えば、後方車両の危険な接近及び追い抜きの際には、後部座席同乗者の目線での映像に基づき、リア側から後方を撮影する撮影機器101Rの映像と組み合わせて、従来よりも多角的に危険度の判定を実行することが可能となる。
特に、車両外部で車両の左右に取り付けられた車外監視用のカメラとは異なり、車室内撮影用リアカメラ102は、例えば側方から煽りの様子と、その際の車室内の様子を共に撮影することが可能である。
図1のユーザ端末103は、例えば、スマートフォン、タブレット、携帯電話機、携帯情報端末(PDA)などの携帯端末(モバイル端末)でもよいし、メガネ型や腕時計型、着衣型などのウェアラブル端末でもよい。また、据置型または携帯型のコンピュータや、クラウドやネットワーク上に配置されるサーバでもよい。また、機能としてはVR(仮想現実:Virtual Reality)端末、AR(拡張現実:Augmented Reality)端末、MR(複合現実:Mixed Reality)端末でもよい。あるいは、これらの複数の端末の組合せであってもよい。例えば、1台のスマートフォンと1台のウェアラブル端末との組合せが論理的に一つの端末として機能し得る。またこれら以外の情報処理端末であってもよい。
ユーザ端末103は、それぞれオペレーティングシステムやアプリケーション、プログラムなどを実行するプロセッサと、RAM(Random Access Memory)等の主記憶装置と、ICカードやハードディスクドライブ、SSD(Solid State Drive)、フラッシュメモリ等の補助記憶装置と、ネットワークカードや無線通信モジュール、モバイル通信モジュール等の通信制御部と、タッチパネルやキーボード、マウス、音声入力、カメラ部の撮像による動き検知による入力などの入力装置と、モニタやディスプレイ、スピーカ等の出力装置と、を備える。なお、出力装置は、外部のモニタやディスプレイ、スピーカ、プリンタ、機器などに、出力するための情報を送信する装置や端子であってもよい。
図1において、車室内撮影用リアカメラ102は、車室の後方の撮影機器101Rと電気的に接続しており、車両後方にて、車両後方から車両前方に向かって撮影した映像データを撮影機器101Rへ伝送する。撮影機器101R及び車室内撮影用リアカメラ102は更に、前方の撮影機器101Fや前方の車室カメラと接続されていてもよい。
そのような構成では、車室内撮影用リアカメラ102が、更に、前方及び後方の撮影機器101F、101Rとは、異なるアスペクト比を有する構成とするとよい。
例えば、前方及び後方の撮影機器101F、101Rは、横配置(カメラ用語でいう横位置)で映像を撮影し、車室内撮影用リアカメラ102は縦配置(カメラ用語でいう縦位置)で映像を撮影するとよい。つまり、車室内撮影用リアカメラ102は、映像の長手方向が当該映像の縦方向(つまり、天地方向)になり、短手方向が天地方向に直交する方向になるように、画像を撮影する構成とするとよい。例えば、車室内撮影用リアカメラ102はリア左右方向のセンターから車内を撮影する構成とするとよい。
一方、リア車外、フロント車外、フロント車内は、横配置の構成とするとよい。つまり、リア車外、フロント車外、フロント車内を撮影するカメラは、映像の長手方向が当該映像の横方向になるように、映像を撮影する。
車室内撮影用リアカメラ102は、普通車であれば4:3、バンなど車室が前後に長い車であれば16:9のイメージセンサを使用して、縦配置で映像を撮影する構成とするとよい。
フロントから車内を撮影するフロント車内撮影カメラを縦配置にしてもよい。ただしリアから車内を撮影するカメラはセンターに取り付けやすいのでなおよい。センターに取り付けることで、7人乗りなどの車でセンターの通路部分を介して前方まで広い範囲を撮影する構成とするとよい。
フロント側及びリア側の双方に車内カメラが取り付けられている構成では、フロント側の車内カメラは、更に、リア側の車内カメラよりも鮮明でない映像を記録する構成とするとよい。それによりプライバシーが保護されるとともに、記録をみて車内の状態をより把握しやすくなる。
これは例えば、
・フロント車内撮影カメラより、車室内撮影用リアカメラのほうが解像度が高いカメラとしたこと(ピクセル数が多い)、
・フロント車内撮影カメラは熱画像カメラとし、車室内撮影用リアカメラは可視光カメラとしたこと、
・フロント車内撮影カメラは白黒映像のカメラ(赤外カメラ)とし、車室内撮影用リアカメラは可視光カメラとしたこと
などの措置を採用することによって、実現する構成とするとよい。
また、車内カメラは、車内の音声を記録する(録音ともいう。)構成とするとよい。
車両の前方に取り付けられ車室内を前方から後方に向かって撮影する車室内撮影カメラの映像の場合、ルームミラーによって画角の一部が死角となっているので、運転手席や助手席の後に積み上げられた荷物などの状態を確認することは不可能或いは非常に困難であった。
車室内撮影用リアカメラ102は、車両の車室を後方から前方に向かって撮影するものであるので、運転手席や助手席の後等の従来のフロント車内撮影カメラやルームミラーでは死角となる車室領域をカバーした撮影を行う構成とするとよい。
また、車室内撮影用リアカメラ102の撮影方向を車両後方へ変更できる構成とするとよい。このような実施例については図6を用いて後述する。
図2は、撮影機器101F、101R、車室内撮影用リアカメラ102、ユーザ端末103、外部サーバ104、の接続図の例である。
撮影機器101F、101Rと、ユーザ端末103と、外部サーバ104とは、それぞれがネットワーク105を介して接続されている。なお、ネットワーク105は有線、無線を問わず、それぞれのユーザ端末103はネットワーク105を介して情報を送受信する構成とするとよい。ネットワーク105はインターネットに限られず、また異なるプロトコルのネットワークの組み合わせであってもよい。
撮影機器101F、101Rは、例えば車両に搭載され、運転中等の映像を記録(録画ともいう。)する機器である。
但し、搭載対象の車両は本実施例では四輪の自動車であるが、四輪自動車に限定されるものではなく、撮影機器101F、101Rを設置することが可能な車両であればよい。例えば、バス、トラック等の四輪以上の大型輸送車、自動二輪車や自転車等の二輪車、その他の車両が対象となり得る。また例えば、電車、モノレール、リニアモーターカー等の交通機関の乗り物も搭載の対象となり得る。
撮影機器101F、101Rは、取得した各種情報や後述のイベント判定の結果に関する情報等をネットワーク105経由でユーザ端末103に送信する構成とするとよい。
ユーザ端末103は、例えば自動車を運転するユーザが使用する端末である。ユーザ端末103は、モバイルデータ通信網や自動車のWi-Fi(登録商標)等の車載ネットワークにより撮影機器101F、101Rと接続され、撮影機器101F、101Rを操作する構成とするとよい。
また、ユーザ端末103は、これらのネットワーク105経由で外部サーバ104と接続され、外部サーバ104に各種情報を送信する構成とするとよい。
図3は、車室内撮影用リアカメラ102と接続した撮影機器101Rのハードウェア構成の例である。
撮影機器コントローラ304(DVRコントローラ304)は、特には車両直後を含む主に車両外部の後方映像を撮影するカメラ302、加速度センサ305、SDカード306、GNSSセンサ307、入出力部315、図示しないその他センサ等と接続されており、これらを制御する。また、これらの要素から受信した情報に基づいて、撮影機器コントローラ304が、撮影機器コントローラ304の状態を示すステータス情報を生成する。また、撮影機器コントローラ304は生成したステータス情報をマイコン301に送信する。
撮影機器コントローラ304は、入出力部315を介して、カメラ302とは異なる、後方から前方に向かって車内を撮影する車室内撮影用リアカメラ102と接続されている。
マイコン301は、例えば以下の各種処理を行う。
・通信処理部314を制御する。
・通信処理部314が取得した位置情報を撮影機器コントローラ304に通知する。
・撮影機器コントローラ304から取得したステータス情報や、通信処理部314から取得した位置情報を例えば16byteのデータに変換する。
・二次電池駆動時にスリープ制御を行う。
・製造、試験時のテストモードを実行する。
マイコン301はプログラム可能であり、マイコン301には上記のような各種処理を実行するためのプログラムが記憶されており、このプログラムをマイコン301の処理部が実行することで、上記の各種処理を実現する。本実施例においては、このマイコン301の処理部やマイコン301自体を制御部と呼ぶこともある。
なお、撮影機器コントローラ304、マイコン301、通信処理部314は、それぞれSoC(System on a chip)等の集積回路(チップ)で実装することが可能であり、またこれらの複数をまとめて一つのチップに実装する構成であってもよい。特に、本実施例では撮影機器コントローラ304及びマイコン301が連携して動作するため、これらを合わせて1つのチップで実装してもよい。
また、撮影機器コントローラ304の一部の機能をマイコン301が実行する構成としてもよいし、マイコン301の一部の機能を撮影機器コントローラ304が実行する構成としてもよい。本実施例においては、撮影機器コントローラ304とマイコン301をあわせて制御部303と呼ぶ。制御部303は1つのチップであってもよいし、撮影機器コントローラ304とマイコン301の機能を分けた複数のチップからなる構成であってもよい。
なお、カメラ302のイメージセンサに前処理を行うAI処理機能を搭載することで、通常の撮影画像の生成と共に、又はそれに変えて、例えば以下の出力を行う構成とするとよい。AI処理機能は、これらのカメラで撮影した映像に基づいて画像認識を行う機能を有する。
・画像の中から対象物をメタデータで出力する。
・ISP(Image Signal Processor)出力形式の例えばYUVやRGBの画像を出力する。
・特定領域のみ切り出した画像を出力する。
上記のAI処理機能は、車室内撮影用リアカメラ102から伝送された映像データに対しても同様の処理を実行する構成とするとよい。
このようにイメージセンサ側で前処理を行うことで、データ量の削減や、高速AI処理による対象物のリアルタイムトラッキングが可能となる。
例えば、撮影機器101Rが、カメラ302のイメージセンサに前処理を行うAI処理機能を搭載している場合では、撮影機器101Rが独自に映像処理や画像処理を実行し、撮影機器101Rが、理想的な画質の画像情報を作成する構成とするとよい。
同様の処理は、車室内撮影用リアカメラ102から伝送された映像データに対しても実行可能であり、撮影機器101Rの更新により、接続する車室内撮影用リアカメラ102の機種や種類に応じた処理を追加できる構成としてもよい。
加速度センサ305は、加速度を検出し加速度情報を生成する。例えば衝撃、急ハンドル、急停車等に応じて加速度の急激な変化が生じた場合に、制御部303がイベント発生を検知する。制御部303は、この加速度情報の変化を解析することで自動車等に起きた事故等の状況を推測する構成とするとよい。
SDカード306は、画像情報や、その画像情報に対応する録画情報等、各種情報を記録する記憶装置である。なお、SDカードに限られず、データを記憶できる構成であればよいが、車載のために耐振動性の高いフラッシュメモリが好ましい。
通信処理部314は、無線通信アンテナ308を介して、ネットワーク経由で、撮影機器101Rの情報をユーザ端末103に送信する。
GNSSセンサ307は集積回路等で実装された位置情報取得部を有し、GPS(Global Positioning System)等のGNSS(Global Navigation Satellite System、全球測位衛星システム)に対応したGNSSアンテナから受信した信号に基づいて、位置情報を取得する。また、位置情報取得部は、時刻情報や移動速度情報や移動方位情報を取得する構成とするとよい。
撮影機器101Rは、車両電源310に接続される電源311を有する。
電源311は、車両電源310から受信(又は受電と呼ぶこともある)した電力を撮影機器コントローラ304に供給し、また二次電池312を充電する。なお、後述の入出力部315が電力の供給も行える構成としてもよく、この場合、撮影機器101Rは、入出力部315を介して、車両電源310を受電する。
二次電池312は、例えばリチウムイオン電池、ニッケルカドミウム電池、ニッケル水素電池、鉛蓄電池等の充電可能な電池である。但し、充電式ではない一次電池であっても構わない。アクセサリ電源(ACC電源)がOFFになった場合や、事故による断線や配線が外れるなどの障害により、車両電源310から撮影機器101Rの電源311への電力の供給が途切れた場合、又は電源311が故障等して電源供給できなくなった場合に、二次電池がマイコン301や通信処理部314等へ電力を送信(又は送電や給電と呼ぶこともある)し、撮影機器101Rの少なくとも一部の機能を維持する。
制御部303は、撮影機器101Rのカメラ302からの画像情報を取得し、SDカード306等の記憶装置に記憶する。なお、本明細書において「記憶」は「記録」と呼ぶこともある。
入出力部315は、カメラ402や車室内撮影用リアカメラ102で撮影した映像データ、及び/又はSDカード306等の記憶部に記憶された映像データの入力及び/又は出力を行う。映像データの入力及び/又は出力は、基本的にはデジタル方式で行うが、これに限定されるものではない。
入出力部315は、撮影機器コントローラ304に接続されるが、その代わりにマイコン301に接続される構成としてもよい。
入出力部315は直接ネットワーク105に接続されているが、車室内撮影用リアカメラ102を介して、ネットワーク105に接続される構成であってもよい。
また、上述の通り、入出力部315は車両電源310からの電力の入出力ができる構成としてもよい。
車室内撮影用リアカメラ102は、入出力部315を介して撮影機器101Rに接続された追加のカメラである。
車室内撮影用リアカメラ102は、車室内撮影用リアカメラ102が撮影した映像データを、入出力部315を介して、撮影機器101Rの撮影機器コントローラ304に送信する。
また、車室内撮影用リアカメラ102は、撮影機器101Rから入力された映像データをネットワーク105に出力する構成としてもよい。また、車室内撮影用リアカメラ102は、車両電源310から入力された電力を出力する構成としてもよい。
車室内撮影用リアカメラ102が映像データや電力を入出力できる構成とすることで、入出力部315を有する撮影機器101Rに、車室内撮影用リアカメラ102を接続するだけで、映像データや電力を外部にパススルーすることができ、既存の撮影機器101Rの構成を変える必要が無く新たなカメラを追加することが可能となり便利である。
図4は、車室内撮影用リアカメラ102の画像を処理するための処理フロー400の例である。
撮影機器101Rの制御部303は、処理フロー400に従い、以下の処理を実行する。以下の説明では、撮影機器101Rの制御部303による画像処理や映像処理の具体的なアルゴリズムや設定等の説明は省略する。
制御部303は、車室内撮影用リアカメラ102から、画像(例えば、静止画像や動画像等の映像データ)を取得し(S410)、解析する(S420)。
制御部303は、解析結果に基づき、後述する設定された個々の状況についての判定を行う(S430)。
制御部303は、判定結果に基づき、後述する出力を行う(S430)。
なお、以下の説明では、各ステップS410~S440における処理の主体が制御部303である例について説明するが、個々のステップは、例えば制御部303内の又は制御部303とデータ接続状態にある個々のモジュールが行ってもよい。
例えば、画像取得モジュールが画像取得処理ステップS410を実行し、画像解析モジュールが画像解析ステップS420を実行し、判定モジュールが判定ステップS430を実行し、出力モジュールが出力処理ステップS440を実行し、制御部303がそれぞれのモジュールと連携する構成としてもよい。
更に、個々のモジュールはハードウェア的に実装されていてもよいし、ソフトウェア的に実装されていてもよい。
以下、処理フロー400に従い実行可能となる処理の具体例を説明する。
第1の例
想定されるケース
後ろから車内を撮影して人物を検出して、フィルタをかける。
入力例
人物を確認できる画像
出力例
人物に映像フィルタをかけた画像等
制御部303は、リアから車室内を撮った映像に対して顔位置(体位置)を認識して映像フィルタをかける機能を備えている。
制御部303は、S410で車室内撮影用リアカメラ102により撮影された画像を取得し、S420で撮影された画像を解析し、S430で人物が写っているか、写っている人物の顔が識別できるか或いは背面しか写っていないか、等を判定する。
S440では、制御部303は、写っている人物の顔を識別すると、顔の範囲に例えば動物の顔をモチーフとしたフィルタをかけた画像を作成し出力する。
制御部303は、S440において人物の顔にフィルタをかける上記の処理に加えて、リアから車室内を撮った映像が、人物の背後から顔位置(体位置)を撮影したものであると認識した場合には、猫等の動物の背面の顔(体)をフィルタとしてかぶせる処理を施した映像を作成し出力する構成とするとよい。
つまり、画像を解析し、前から撮った映像には動物の正面の顔のフィルタ、及び、後ろから撮った映像には動物の後頭部のフィルタを映像としてかぶせる処理を施す。
制御部303は、映像内の人物に対して、3Dモデルとして、(覆面のように)顔全体にかぶせ、顔の向きによって、表示位置を変化させる構成とするとよいが、そのような処理は演算負荷が高いため、前からのカメラは正面、後ろからのカメラは背面の側の絵をかぶせるような構成とすると、処理に掛かる演算負荷を格段に低下させることができる。
このケースでは、車内を後ろから撮影することで、人の顔が撮影される機会を減少させ、更に、撮影された顔の部分にフィルタをかけることで従来よりも車内の人物のプライバシーを守りながら行動を撮影、記録することができる。
更に、人物の顔等にフィルタをかけることにより、より一層車内の人物のプライバシーに配慮した映像を作成することができる。これにより例えばバスやタクシー等の利用者が感じる、自身の映像が記録されることに対する抵抗感を、低減させることができる。そのような抵抗感は、例えば車内モニタにフィルタのかかった状態の映像を表示し、乗客自身が確認できるようにすることで、より一層低減させることができる。この構成では、事件事故等で警察等の要請が認められた場合に、フィルタを外した映像を確認できるように設定することもできる。
第2の例
想定されるケース
車両周辺の様子を検知して、その状態に基づいて通知や警告等を行う。
入力例
車両周辺の様子を撮影した画像
出力例
車両周辺の様子についての通知や警告等
このケースでは、撮影機器101Rは、車内の後方からサイド(車両側方)の窓ガラスから外を撮影した車両周辺の様子を撮影し、記録する構成とするとよい。
制御部303は、後ろから撮影された車室内撮影用リアカメラ102の映像データを解析し、例えばサイドの車検知、人検知、障害物検知を実行する構成とするとよい。この構成では更に、車室内撮影用リアカメラ102が広角カメラであるとよく、180°カメラ、半球カメラ、天球カメラであってもよい。
例えば、予め窓ガラスの輪郭を指定することにより、制御部303は、車内の様子と車両周辺の様子(車両外部の様子)を切り分けて判定することが可能となり、状況に応じてそれぞれの部分の映像データのみを解析することにより、より低い演算負荷で状況を識別する構成とするとよい。
制御部303は、S410で車室内撮影用リアカメラ102により撮影された画像を取得し、S420で撮影された映像データを解析し、S430で撮影された映像データのどの部分が車内の映像であり、どの部分が車外の映像であるか、車外の映像内に他車両が写っているか、他車両による危険運転が認められるか、その他予め設定された通知や警告の対象となる状況が存在するか、等を判定する。
予め設定された通知や警告の対象となる状況とは、例えば、
・方向指示器を出したときに、サイドに車や人、障害物がいる状況、
・車内に人がいない状態で駐車している自車両に不自然に接近する者がいる状況、
・そのような者が車内を覗き込んでいるような状況、
・エンジン始動時、徐行時、走行時等に車両の周囲に、人、特に子供が存在する、接近する或いは遊んでいるような状況、
・車両の後方や側方からの煽りを受けているような状況、
等である。
S440では、制御部303は、判定された状況が発生した場合には映像や、音声により、通知や警告を出力する。また、判定されたそれぞれの状況に応じてカスタマイズされた車両周辺の様子についての通知や警告を出力してもよい。
フロントに設置された車内撮影カメラでは、前方のシート(運転席、助手席)が邪魔をして、後部座席の窓ガラスからの横の撮影が難しく、高精度の判定は困難であった。一方、本実施例のように、車両の後ろ側に設置された車室内撮影用リアカメラ102から前方を撮影する構成であると、車両サイド、前方サイドを良好に撮影することができるので、制御部303がこれらの状況を高精度で判定することが可能となる。
例えば制御部303が、映像データを解析することにより他車両による側方煽りの存在を判定すると、制御部303は車内のスピーカから警告音あるいは「車両後方から側方煽りを受けています」等の音声を出力させる。ドライバーが車両後方からの側方煽りの発生を即座に認識する構成とすると、時間的にもまた心理的にも、ドライバーに対して余裕を与えることを可能とするため、安全運転の観点でも非常に有利である。
制御部303は、映像データを解析することにより、ドライバーや同乗者が車内を留守にしている間に駐車中の自車両に不審な接近者の存在を判定すると、上記の接近者や不審者についての通知や警告を、スマートフォン等のユーザ端末へ送信する構成とするとよい。特に、制御部303は、フロントの車室カメラと前方の座席(運転手席、助手席)の直線上に存在するフロントカメラの死角で、車室を覗き込むような不審者を判定する構成とするとよい。この処理は、例えば後述の第7の例と組み合わせて行ってもよい。
車内の後方に広角の車室内撮影用リアカメラ102を取り付けた構成では、車内の様子が記録できることに加え、両サイドの窓ガラスから車両周辺の様子も良好に記録することもできる。この構成では、前列シートが邪魔にならずに運転席/助手席/後部座席の窓の外が撮影できる。
第3の例
想定されるケース
車両天井に設置されているものの状態を検出して、その状態に基づいて通知や警告等を行う。
入力例
車両天井の設置物が撮影された画像
出力例
車両天井の設置物の状態についての通知や警告等
制御部303は、撮影された映像データを解析することにより、車両天井の設置物、例えば、車両の天井に設けられたルームランプ、ネット、プロジェクタ、フリップダウンモニタ等の状態を識別する構成とするとよい。
制御部303は、S410で車室内撮影用リアカメラ102により撮影された画像を取得し、S420で撮影された画像を解析し、S430で車両天井の設置物が写っているか、写っている車両天井の設置物が適切な位置や状態であるか、車両天井の設置物が乗客、特には乗客の頭部と接触していないかあるいは接触の危険はないか、等を判定する。
S440では、制御部303は、車両天井の設置物が適切な位置や状態にないこと、車両天井の設置物が乗客、特には乗客の頭部と接触している状態あるいは接触の危険がある状態であること、等を判定するとその点についての警告を出力する。
例えば、制御部303は、映像データを解析することにより、ルームランプの点灯状態及び車内の人の有無を判定する構成とするとよい。制御部303は、ドアを締めてしばらくしてもルームランプが点灯したままであり、且つ、車内から人がいなくなっている状態であることを判定すると、車内のスピーカやドライバーが携帯しているユーザ端末等から警告を発生させる。これにより、バッテリ上がりの発生を効果的に防止することができる。
別の例では、制御部303は、映像データを解析することにより、天井に設けられたネットの状態、例えば、ネットが荷物の入れ過ぎによりたわんでいないか、左右の留め具の固定等が外れていないか、等を判定する構成とするとよい。制御部303は、ネットが荷物の入れ過ぎによりたわんでいること、左右の留め具の固定等が外れていること等を判定すると、車内のスピーカ等から警告音や「ネットの状態が異常です」等の警告音声を出力する。これにより、ユーザは、ネットが破損する前に、ネットから荷物が落下する前に、或いは、ネットの固定が予期せず外れる前に、事前に最適な状態に調整することができる。
更に別の例では、制御部303は、映像データを解析することにより、天井に設けられたプロジェクタの向きや状態、プロジェクタの映像の位置や状態、プロジェクタと後部座席の乗客の位置関係等を判定する構成とするとよい。
例えば、制御部303は、
・プロジェクタが所望の位置あるいは方向に調整されているか、
・乗客を乗せていない等の状態でプロジェクタが起動しているか又は逆に乗客を乗せている状態でプロジェクタが起動していないか、
・画像が投影されている状態で、画像とスクリーンの位置関係は適切であるか、
・乗客がプロジェクタに頭をぶつけていないか、
等を判定する構成とするとよい。
制御部303が、これらの状況の発生を判定すると、制御部303は、車内のスピーカやモニタ等から警告音や「プロジェクタの状態が異常です」等の警告音声や、警告画像を出力するとよい。
なお、この例におけるプロジェクタは、例えばタクシー等の車両のサイドの窓ガラスに配置されたスクリーンに広告等を投影する構成とするとよい。
ドライバーは、これらの警告に基づいて、プロジェクタの位置や状態、設定等を適宜修正することが可能である。例えば、乗客がいない状態ではプロジェクタを利用して車外へ向けて広告映像を確実に投射し、車内に乗客がいる状態では映像の投射を辞め乗客にとっての快適性を担保することができる。また、乗客がいない状態ではプロジェクタを利用して車外へ向けて広告映像を確実に投射し、車内に乗客がいる状態ではその乗客向けの映像の投射を行い、広告宣伝効果を高めることができる。
更に別の例では、制御部303は、映像データを解析することにより、天井に設けられたフリップダウンモニタの開閉状態や、映像が出ているか否かの起動状態等を判定する構成とするとよい。
例えば、制御部303は、
・乗客を乗せている状態でフリップダウンモニタが映像を停止していることあるいは閉状態にあること、
・逆に乗客を乗せていない状態でフリップダウンモニタが映像を再生していること或いはフリップダウンモニタが開状態であること、
等を判定する構成とするとよい。
制御部303がそれらの状況の発生を判定すると、制御部303は、車内のスピーカやモニタ等から警告音や「フリップダウンモニタの状態を確認してください」等の警告音声や警告画像を出力する。
ドライバーは、このような警告に基づいて、フリップダウンモニタの状態、設定等を適宜修正することが可能である。これにより、例えばタクシーなどでは、乗客がいない状態ではフリップダウンモニタの映像再生を停止して電力消費を抑えつつ、車内に乗客がいる状態では広告映像等を確実に再生することができる。
また、車両リア側に設けられた車室内撮影用リアカメラ102は、フリップダウンモニタに映されている映像を良好に認識することが可能であるので、制御部303は、映像ごとに乗客がフリップダウンモニタの方向を向いていた時間の長さ等のデータを分析することにより、広告映像ごとに乗客の興味や関心の度合いを記録することができる。
また、制御部303が、そのような記録を分析した結果を、乗客がより興味をもつ傾向が高い広告映像を再生するために利用する構成や、ネットワーク105を介して、広告映像を提供する企業の外部サーバ104へ分析結果を送信する構成とすることもできる。
第4の例
想定されるケース
荷台や座席上等の荷物の状態を検出して、その状態に基づいて通知や警告等を行う。
入力例
荷物の状態が撮影された画像
出力例
荷物の安定性についての通知や警告等
このケースでは、制御部303は、映像データを解析することにより、例えば運転手席の後ろに置かれた荷物の状態を検知する構成とするとよい。
制御部303は、S410で車室内撮影用リアカメラ102により撮影された画像を取得し、S420で撮影された画像を解析し、S430で荷台や座席上等に置かれたあるいは積まれた荷物の状態、例えば荷台や座席と荷物の位置関係、推定される荷物の重心の位置、複数の荷物の重心位置の位置関係、車両の速度や加速度及びそれらの変化に関連した荷物の位置の変化、等を判定する。荷物の重心は、例えば画面内で荷物として認識された2次元的な形状の中心点として簡易的に推定する構成とするとよいが、その他の方法で推定してもよい。
S440では、制御部303は、例えば、荷物が荷台や座席から落下する危険がある状態、積み上げられた荷物が崩れる危険がある状態、荷台や座席上での荷物の滑りが設定値よりも大きい状態等を判定すると、その点についての警告を出力する。制御部303は、そのような警告を、車両の運転中に出力してもよいし、車両に人が乗ってきたときに、荷物の状態を検知し、その状態に応じた報知を出力してもよい。
後方から撮影した車内画像では、後部座席付近に置いた荷物の状態を特に良好に撮影することができる。従って、そのような車内画像は、万が一他車両による事故等に巻き込まれた場合、荷物の破損の原因が事故を起こした他車両にあることを示す有力な証拠となり、交通事故の損害の算定を円滑且つ正確に行うことができる。特に制御部303が、荷物が車内で確実且つ安定的に置かれていたかどうかを判定する構成であると、証拠としての信頼度が向上し、更に有利である。
更に、例えば第2のケースと組み合わせて、制御部303は、映像データを解析することにより、荷物の崩れと後方から撮影した車内の窓越しに撮影された他車両による煽りや接触の関連性を判定する構成とするとよい。
例えば、他車両による後方からの急な側方煽りに対応するためにドライバーがハンドルを切ったことにより、他車両との接触事故は回避できたものの、車両に積み込んだ荷物が崩れ、損害が発生した場合などには、車室内撮影用リアカメラの映像には、側方から急接近する他車両、それに対応するドライバーの運転、その際の他車両の運転軌道、及び、どのタイミングで荷物が崩れたか、等が1つの映像データに記録されるので、事故や発生した事象の解析に非常に有利である。
従来から買ったものが崩れることが気になり事故が引き起こされるケースは頻繁に発生している。例えば、会社のお昼の弁当を買い出しに行った人が弁当を気にして見た瞬間に事故を起こしたというようなケースは、多くのドライバーにとって非常に身近で起こり得る事態である。そのため、上記の構成により、荷物が崩れそうな状態であることを検知して予め報知することで、ユーザに対して、より安全な運転状態やドライバーが運転に集中できる状態を提供することができる。
また、制御部303は、映像データを解析することにより、荷物の状態と人の状態とを検知する構成としてもよい。制御部303は、例えば、荷物の状態と人の状態との関連性を検知し、その検知した結果に応じて、警告や通知等の出力をするとよい。制御部303は、例えば、荷物が人の居る方向に崩れたことを検知するとよい。制御部303は、例えば、崩れた荷物と人との距離が所定距離以下であることを検知するとよい。制御部303は、これら両方を検知すると尚良く、例えば、崩れた荷物と人との距離が所定距離以下で、かつ、荷物が人の居る方向に崩れたことを検知するとよい。制御部303は、荷物と人との位置関係に応じて警告や通知等の出力の内容を変化させるとよく、例えば、荷物が人に与える危険度合いといった、人への影響度合いが高いほど、レベルを上げた警告や通知等を出力するとよい。警告や通知等の出力先は、崩れた荷物に衝突とする可能性のある人とすると、その人に危険があることを知らせたり適切な対処を促したりことができる。
第5の例
想定されるケース
車両の表示部の状態を検出して、その状態に基づいて通知や命令等を行う。
入力例
車両の表示部を撮影した画像
出力例
表示部の状態についての通知、表示部の状態に応じた命令等
このケースでは、表示部は、車両に配置された表示部、特に座席背面に設けられたモニタ、天井に設けられたモニタ等であり、制御部303は、映像データを解析することにより、これらの状態を検出する。また、例えば、運転席と助手席の間の前方のセンター付近に設置されたモニタ(以下「センターモニタ」と称する)の表示内容や操作の有無についても良好に撮影する構成とするとよい。なお、表示部は、車両に固定的に取り付けられた表示部に限らず、車両に関する情報を表示するユーザ端末103であってもよい。
センターモニタの画面は、フロント側に設置された車内撮影カメラの位置からは死角になりやすい傾向にある。それに対し、車両後方に設けられた車室内撮影用リアカメラ102は、車両後方からのセンターモニタの画面の撮影に非常に適している。
制御部303は、S410で車室内撮影用リアカメラ102により撮影された画像を取得し、S420で撮影された画像を解析し、S430で車両の表示部の状態、特に座席背面に設けられたモニタ、天井に設けられたモニタの状態、センターモニタの表示内容や操作の有無、車両後部座席の乗客の有無、等を判定する。
S440では、制御部303が例えば車両後部座席に乗客がいない状態で座席背面に設けられたモニタが映像を再生していること等を判定すると、制御部303は、車内のスピーカやモニタ等から警告音や「背面モニタがオンです」等の報告音声や警告画像を出力する。
また、後述の第9の例と組み合わせて、制御部303は、例えば後部座席の子供が眠っていると判定した場合、モニタの表示を一時停止或いは非表示にする命令を出力することもできる。
この実施例は、センターモニタが車両の操作や制御に関連する入力を受け付けるタッチパネル式ディスプレイである構成では、更に有利な効果をもたらす。制御部303は、センターモニタに人の身体の一部が重なったと判定した場合、その判定結果をトリガとして、車内映像の録画を開始する構成とするとよい。例えばタッチパネル式ディスプレイの操作(モニタ操作)の前後10秒程度映像を記録しておけば、仮に事故等に見舞われた場合でも、運転手によるモニタ操作のタイミングが、事故のタイミングとはずれていることが立証できれば、モニタ操作が事故の原因ではないということを証明することができる。
あるいは、ユーザは、映像が残っていないことを、少なくとも事故当時の運転中にモニタ操作と判定される行為はなかったことを証明する手段とすることができる。その場合は、制御部303が、記録映像の削除履歴等を記録する構成であるとなおよい。
制御部303は、具体的な操作の内容を判定及び記録する構成とするとよい。特にセンターモニタが自動運転車両の操作コンソール等を兼ねている構成では、記録されている映像内は、映像記録時の車両が自動運転中であるか、手動運転中であるか、が画面中に示されている様子を、良好に撮影し記録する構成であるとよりよい。
そのため、ドライバーの適切な運転操作中に事故等に巻き込まれた場合、本情報処理システムの撮影機器101Rは、
・事故が端末の操作時に発生したものではないこと、
・事故が端末の誤操作によるものではないこと、
・事故が自動運転中に起きたものであるか手動運転中に起きたものであるか、
等についての、客観的証拠を提供する構成とするとよい。
なお、前後の車内カメラの映像から上記の各状態を総合的に判断する構成は、判断の精度の向上させることまた客観的証拠を増やすことができるので、更に有利である。
更に、制御部303が事故の発生を判定した場合に、その前後の映像データを外部サーバへ送信する構成とするとよい。このようにすることで、映像データの改ざんを疑う余地がなくなり、映像データの証拠能力は更に向上する。外部サーバは例えば撮影機器を製造販売した会社等の事故とは無関係な中立的な立場の組織により運営されているものであるとよりよい。
第6の例
想定されるケース
撮影映像に頭が映ってばかりの状態を検出して、その状態に基づいて通知や警告等を行う。
入力例
人物、特に頭部の状態が映っている画像
出力例
撮影映像に頭が映ってばかりであることの通知や警告等
制御部303は、例えば画面の大部分が頭部であるときには、その旨を警告する。あるいは設置位置を変更するように警告する。
制御部303は、S410で車室内撮影用リアカメラ102により撮影された画像を取得し、S420で撮影された画像を解析し、S430で撮影された映像の画面内に頭部が写っているか、写っている頭部の画面内に占める割合がどの程度であるか、等を判定する、あるいは事前にそのような事態が想定される設置状態にあるか、等を判定する。
頭部が画面内に占める割合は例えば画面全体の50%以上等に設定できる構成とするとよい。また、例えば10分等に設定した時間間隔のうち、合計5分以上の時間、頭部が画面全体の50%以上を占めている場合に、通知や警告を行うように設定してもよい。更に、車両への乗り降りの際には、頭部が画面内に占める割合が大きくなる傾向があるので、車両のドアが開いている間は、この判定を停止するように設定する構成とするとよい。
S440では、制御部303は、頭部が写っており、写っている頭部の割合が設定値以上であることを判定すると、撮影映像内に占める頭部の割合が大きいこと、あるいは、車室内撮影用リアカメラ102がそのような事態が想定される設置状態にあること、を警告する通知を出力する。
それにより、制御部303は、ユーザに対して車室内撮影用リアカメラ102により撮影する映像の状態を所望の状態に修正するきっかけを適切なタイミングで提供することができる。
このケースでは、車種や取り付けの場所によっては、後部座席に人が座ったとき、その人の後頭部が画面全体にずっと映っている(画面全体が真っ黒な絵)ことを回避することができる。
第7の例
想定されるケース
駐車状態を検出、その状態に基づいて撮影モードの切り替え命令等を行う。
入力例
人物が撮影された画像
出力例
駐車監視モードへの切り替え命令等
制御部303は、人物が撮影された画像から、人が車内にいるかを検知し、人が車内にいなくなったことを検知したら、自動的に駐車監視モードに切り替わる機能を備えている。
制御部303は、S410で車室内撮影用リアカメラ102により撮影された画像を取得し、S420で撮影された画像を解析し、S430で撮影された映像内に人物がいるか、車両が駐車状態であるか、等を判定する。
S440では、制御部303は、車両が駐車状態であると判定した場合、車室内撮影用リアカメラ102の撮影モードを駐車監視モードに切り替える命令を出力する。
制御部303は、駐車監視モードでは、例えば車両のフロントガラス、リアガラス、サイドの窓ガラスの領域内から、不審な接近者を判別するための処理を優先的に実行し、例えば、上記の第1の例等の人物にフィルタをかける処理を停止する。
この構成は、後述の第8の置き去り検知の例と合わせることもでき、駐車監視モードの場合に、置き去り検知が起動するようにするとよい。また、例えば上記の第2の例と組み合わせて、駐車監視モードの場合に、車両周辺の状態検知を起動するようにするとよい。
それにより、車両が駐車状態にある場合、制御部は、例えば車両のフロントガラス、リアガラス、サイドの窓ガラスの領域内から不審な接近者を判別するための処理に、演算能力を優先的に割り当てることができるので、ユーザは、より効率的な情報処理システムを使用することができる。
第8の例
想定されるケース
車内での人物の置き去り等の状態を検出、その状態に基づいて通知や警告等を行う。
入力例
人物が撮影された画像
出力例
置き去り等についての通知や警告等
制御部303は、人物が撮影された画像から、車両内に例えば子供や障碍者といった人物が置き去りにされていないかを判定し、置き去りが生じた場合にはその旨を警告する構成とするとよい。この処理は上記の第7の例における処理と合わせて行うとなおよい。
制御部303は、S410で車室内撮影用リアカメラ102により撮影された画像を取得し、S420で撮影された画像を解析し、S430で撮影された映像内に人物がいるか、映像内の人物が子供や障碍者であるか、子供や障碍者以外の人物が乗車しているか、車両が駐車状態であるか、置き去りの状態であるか、等を判定する。
S440では、制御部303は、置き去りの状態であると判定した場合、ドライバーが携帯している端末や、車両のスピーカやモニタ等から、置き去りの状態にあることを知らせる警報や警報画像を出力する。制御部303は、置き去り経過時間や置き去りにされた人物の状態に基づいて、警告の出力先や出力方法を変更してもよい。例えば、制御部303は、最初は、ドライバーが携帯している端末のみに警告を出力し、その後、置き去りの状態が解消されなければ、ドライバーが携帯している端末及び車両のスピーカやモニタの両方に警告音声や画像を出力する構成とするとよい。
これにより、ドライバー自身が発生している置き去りに対応可能な状況では、最小限の警告のみで置き去りを解消することが可能であるし、ドライバーが自身で置き去りに対応することができない状況では、周囲に対して置き去りの状況を知らせることができる。
この構成では、更に、車室内撮影用リアカメラである車室内撮影用リアカメラ102が、カメラ以外の人検出可能なセンサを備え、人検出可能なセンサと車室内撮影用リアカメラの映像とに基づいて子供、障碍者等の置き去りを検知する構成としてもよい。
人検出可能なセンサとは、例えば焦電型赤外線センサやサーモセンサである。人検出可能なセンサを用いる構成は、映像データをAI処理するよりも低負荷で、子供、障碍者等を識別することができる。常に映像データ処理を実行することは大きな演算負荷を必要とするので、別個の人検出可能なセンサを用いて人の存在を検出し、人検出可能なセンサによる車内での人の検知結果を、車室内撮影用リアカメラ102の画像に基づく人検知処理を開始するトリガとして利用することが、演算負荷の低減及び高精度の人検知の観点で有利である。
例えば人検出可能なセンサの検知範囲を車両の後部領域あるいは後部座席付近に限定し、運転手と乗客とを、高精度に分けて判別する構成とするとよい。
上記の構成により、車両のリア側から撮影した映像により、人の検出、子供、障碍者等とドライバーの分別、子供、障碍者等の置き去りの判定を非常に高精度に実行することができるので、車両に対して、高精度なリア側からの置き去り防止機能を提供することが可能となる。
既に説明した通り、車両後方から車内を撮影する車室内撮影用リアカメラ102は、前方座席の後方で、後ろ向きに取り付けられた乳児専用タイプのチャイルドシート内の乳児も良好に撮影及び識別することが可能であるので、そのような状況では、この実施例では、制御部303は、特に高精度なリア側からの置き去り防止機能を提供することができる。更に、人検出可能なセンサがサーモセンサであれば、乳児の体温を正確に把握し、必要に応じて最大限の注意を払った警告を出力することができる。
第8の例の変形例として、車両のリア側から撮影した映像により、子供等の人を検出することは、置き去りの判定以外の判定をすることとしてもよい。例えば、撮影機器101Rの制御部303は、車室内撮影用リアカメラ102の撮影画像に基づいて、チャイルドシートからはみ出た位置に子供の頭部を認識した場合には、警告又は通知を出力するとよい。はみ出た位置は、例えば、チャイルドシートよりも上方の位置とするとよい。車室内撮影用リアカメラ102が、チャイルドシートに子供が座っている場合に撮影画像にその子供の頭部が映らないように設置されているとする。この場合において、撮影画像に子供の頭部が写っている場合には、その子供が立ち上がっている可能性があり、子供にとって危険な状況であると考えられるからである。
警告又は通知の出力先は、車両10の内部の搭乗者向けとするとよいが、ドライバーが携帯している端末等(例えば、ユーザ端末103)の外部の端末としてもよい。警告としては、警告音の出力とするとよいが、発光や表示等を用いた警告の出力であってもよい。制御部303は、チャイルドシートからはみ出た頭部の移動方向や、頭部の移動量等に基づいて警告又は通知を出力するかどうかを判定したり、警告又は通知の内容を変化させたりしてもよい。このような第8の例の変形例によると、リア側から撮影した画像を用いて、子供の立ち上がりという危険な状況を、搭乗者等に把握させることができる。
第9の例
想定されるケース
車内の人物の居眠り、睡眠を検出して、それに基づいて、通知や警告等を行う。
入力例
人物が撮影された画像
出力例
居眠りや睡眠についての通知、警告等
制御部303は、後方から撮影した映像から、車内の人物の状態、特に居眠り、睡眠の状態を判定し、警告又は通知を行う構成とするとよい。
制御部303は、S410で車室内撮影用リアカメラ102により撮影された画像を取得し、S420で撮影された画像を解析し、S430で撮影された映像内に人物がいるか、映像内の人物がドライバーであるか或いは同乗者であるか、ドライバーの頭部が写っているか、頭部の状態が例えばコクリコクリと動くような居眠りに関する警告のパターンを示しているか、後部座席の同乗者の顔や頭部が写っているか、顔や頭部の状態が睡眠状態のパターンを示しているか、等を判定する。
従来の車両前方に設けられた車内撮影用のカメラで撮影された映像では、特に後部座席の同乗者の睡眠状態を判定することは、前方座席等が死角になり困難であった。本実施例では、制御部303は、これらの判定を、後方からの撮影した映像を用いることで、有効に実行する構成とするとよい。制御部303は、後方からの居眠り、睡眠状態の判定するために、顔正面の映像が示す睡眠パターンに加えて、頭部の動きや、身体の動き、例えば頭部が窓ガラスに接触し続けている等の身体と車両の位置関係、等が示す睡眠パターン等を記憶している。
S440では、制御部303は、映像データを解析することにより、記憶された睡眠パターンに合致することを検知してドライバーの居眠りを判定した場合、それをイベントトリガとして車両のスピーカ等から、居眠り状態にあることを警告する警報を出力する。そのような構成により、制御部303は、車線逸脱警報システム(LDWS:lane departure warning system)との組み合わせで、ドライバーの居眠りをより高精度に判定することもできる。
また、制御部303は、S440で、後部座席の子供が睡眠状態であることを判定した場合、車両のスピーカ等から「お子さまがお休み中です」等の通知音声を出力させる構成とするとよい。それにより、制御部303は、ドライバーに対して寝付いた子供を起こさないように注意した運転を開始するきっかけを提供することができる。また別のケースでは、制御部303は、後部座席の子供が睡眠状態であることを判定した場合、自動運転車両の走行モードを、より優しい、加速や減速がより緩やかな走行モードへ、変更する命令を出力する構成とするとよい。
第10の例
想定されるケース
車両に人が乗っている場合に撮影する
入力例
人を確認できる画像等の車両に人が乗っていることを判定するための情報
出力例
撮影した画像の画像情報
制御部303は、車両に人が乗っている場合に撮影する機能を備えている。特に、制御部303は、車両のエンジンのオン/オフ、又はアクセサリ電源のオン/オフに関係なく、車両に人が乗っている場合に撮影する機能を有するとよい。車両のエンジンのオン/オフ、又はアクセサリ電源のオン/オフに関係なく撮影することは、どちらの場合でも撮影することをいうとよい。そのための電源制御としては、例えば以下のようにするとよい。撮影機器101Rは、充電機能を有する不図示のバッテリユニット(電源装置の一例)と電気的に接続されている。
撮影機器101Rは、車両のエンジンがオン又はアクセサリ電源がオンされている期間は、車両のバッテリからの電力の供給を受けて動作するとよい。撮影機器101Rは、車両のエンジンがオフ又はアクセサリ電源がオフされている期間は、バッテリユニットからの電力の供給を受けて動作するとよい。バッテリユニットは、撮影機器101Rと車両のバッテリとの間に電気的に接続されている。バッテリユニットは、車両のバッテリからの電力の供給を受けている期間は、その電力に基づいて充電するとよい。
バッテリユニットは、車両からの電力の供給が停止し、その後も撮影機器101Rに電力を供給する場合は、充電した電力を撮影機器101Rに供給するとよい。撮影機器101Rは、内部の電源として、上述したようなバッテリユニットに相当する機能を有してもよい。車両に常時電源(+Bとも呼ばれる。)が搭載されている場合は、撮影機器101Rは、常時電源からの電力の供給を受けて、車両のエンジンのオン/オフ、又はアクセサリ電源のオン/オフに関わらず、動作するとよい。また、撮影機器101Rは、二次電池312等の内部の電源等を有していて、この内部の電源を用いて、車両のエンジンのオン/オフ、又はアクセサリ電源のオン/オフに関わらず、動作できるようにしてもよい。
制御部303は、車室内に人が存在することを検出した場合に、車両に人が乗っていると判定するとよい。車室内に人が存在することを検出するための情報は、例えば車室内の人を確認できる画像、例えば車室内撮影用リアカメラ102により撮影された画像とするとよい。制御部303は、S410で、車室内撮影用リアカメラ102により撮影された画像の画像情報を取得し、S420で撮影された画像を解析し、S430で人が写っているかどうかを判定する。制御部303は、例えば、人物の頭部や顔、身体の一部等が写っていることを認識した場合に、車室内に人が存在することを検出するとよい。
S440では、制御部303は、車両に人が乗っていると判定した場合に、車室内撮影用リアカメラ102により撮影された画像を示す画像情報を、所定の出力先に出力するとよい。例えば、制御部303は、その画像情報を、SDカード306等の記憶装置を出力先として、当該記憶装置に画像情報を記録するとよい。この画像情報の記録は、車両に人が乗っていると判定したことをトリガとしたイベント録画といってもよい。
画像情報を所定の出力先に出力する場合、マイクロホンにより収音した音声の音声情報もその出力先に出力してもよいことは、もちろんである。例えば、画像情報を記録する(つまり、録画する)場合は、音声情報の記録である録音も同時に行うとよい。このことは、特に断りのない限り、他の構成例においても同様である。マイクロホンは、車室内の音声を収音できる位置又は数で配置されるよい。撮影機器101Rがマイクロホンを有してもよいが、撮影機器101Rの外部にマイクロホンが配置されてもよい。制御部303は、外部の装置を出力先としてもよい。制御部303は、例えば、通信処理部314を用いて、画像情報を外部の装置に送信(つまり、送信出力)させるとよい。外部の装置は、例えば、画像情報記録用のサーバ装置、ユーザ端末103、複数の車両で撮影された画像情報を統括的に管理する管理センターのコンピュータ装置等とするとよい。
制御部303は、車両に人が乗っていると判定していない場合、又は車両に人が乗っていないと判定した場合には、S440では、車室内撮影用リアカメラ102により撮影された画像を示す画像情報を、所定の出力先に出力しないようにするとよい。
このようにすると、車両に人が乗っているときの様子を撮影画像から把握しやすくすることができる。車両の車室内において、トラブルや何らかの事象が発生するのは、車両に人が乗っている状況であることもよくあるから、車両に人が乗っているときの様子を把握しやすくすることは、そのような事象の発生の有無や発生の状況を確認する上で、有用である。車両に乗っている人は、運転手やその同乗者といった車両の正規の利用者である場合もあれば、不正に車両に乗った人(例えば、盗難者)である場合もあり得る。特に、車両に人が乗っている状況であれば、車両の駆動源又は車両の電源がオンかオフかに関わらず、車両の車室内においてトラブルや何らかの事象が発生する可能性はある。そのため、車両のエンジン又は車両のアクセサリ電源がオンかオフかに関わらず、車両に人が乗っているときの様子を把握しやすくすることは、そのような事象の発生の有無や発生の状況をより確実に確認できるようにする上で、有用である。
さらに、以下のような構成が採用されてもよい。
制御部303は、車両に人が乗っていると判定した期間のみの画像情報を、所定の出力先に出力してもよいが、その期間の前、後又はこれらの両方である期間(以下「前後期間」という。)の画像情報を出力すると尚良い。前後期間は、固定の時間長(例えば、前5分、後5分)としてもよいが、ユーザが設定できるように撮影機器101Rが構成されてもよい。このようにすると、車両に人が乗っている期間の前後の画像情報も出力されるため、例えば車両に人が乗ってきたときの様子、又は降りたときの様子も、撮影画像から把握できるようにすることができる。
車両に人が乗っていることを判定するための情報として、人を確認できる画像以外の情報が用いられてもよい。例えば、上述した人検知センサによる検知信号が用いられてもよい。制御部303は、この検知信号に基づいて、車両に人が乗っているかどうかを判定するとよい。
制御部303は、車両に人が乗っていると判定していない期間、又は車両に人が乗っていないと判定した場合には期間は、車室内撮影用リアカメラ102による撮影を停止してもよい。この場合、制御部303は、車両に人が乗っていることを判定した場合は、車室内撮影用リアカメラ102による撮影を開始して画像情報を取得し、所定の出力先に出力するとよい。また、ここまでは、車両のエンジンのオン/オフ、又はアクセサリ電源のオン/オフに関係なく、車両に人が乗っていると判定した場合に撮影する機能について説明したが、車両のエンジンがオン又はアクセサリ電源がオンされている期間にのみ撮影する機能としてもよい。
第11の例
想定されるケース
人がしゃべった場合に撮影する
入力例
人の音声等の人がしゃべったことを判定するための情報
出力例
撮影した画像の画像情報
制御部303は、人がしゃべった場合に撮影する機能を備えている。人がしゃべったことは、人が話したこと、人の音声を検知したこと、等と読み替えてもよい。制御部303は、車両のエンジンのオン/オフ、又はアクセサリ電源のオン/オフに関係なく、人がしゃべった場合に撮影してもよいが、車両のエンジンのオン、又はアクセサリ電源のオンの期間にのみ撮影してもよい。車両のエンジンのオン/オフ、又はアクセサリ電源のオン/オフに関係なく行う場合は、第10の例と同様の電源制御が行われるとよい。
人がしゃべったことを判定するための情報は、例えば、車室内に配置されたマイクロホンに入力された音声の音声情報とするとよい。マイクロホンは、車室内の音声を収音するのに適した場所とするよい。撮影機器101Rがマイクロホンを有してもよいが、撮影機器101Rの外部にマイクロホンが配置されてもよい。制御部303は、S410で、マイクロホンに入力された音声を示す音声情報を取得し、S420で音声情報を解析し、S430で人がしゃべったかどうかを判定するとよい。人がしゃべったかどうかの判定方法は特に問わないが、制御部303は、例えば、音声情報の信号波形に基づいて判定してもよいし、音声情報における人の音声が属する周波数帯域の成分に基づいて判定してもよい。
制御部303は、独り言のような一人の人の音声を検出した場合に、人がしゃべったと判定してもよいが、会話(対話)のような二人以上の人の音声を検出した場合に、人がしゃべったと判定してもよい。人がしゃべったと判定する条件は、言語として認識できる音声を認識したこととしてもよいが、特に、対話形式の人の音声を認識したこと、例えば発話とそれに対する応答を検出したこととしてもよい。人がしゃべったと判定する条件は、パワーハラスメント、セクシャルハラスメント、モラルハラスメントといったハラスメント行為が行われたとき、暴言が発せられたときその他トラブルが発生したことを推測させる音声(例えば、音声キーワード)を検出したこととしてもよい。
S440では、制御部303は、車室内において人がしゃべったと判定した場合に、車室内撮影用リアカメラ102により撮影された画像を示す画像情報を、所定の出力先に出力するとよい。所定の出力先は、第10の例と同様とするとよい。例えば、制御部303が画像情報を、SDカード306等の記憶装置を出力先として画像情報を記録する場合、この画像情報の記録は、車室内において人がしゃべったと判定したことをトリガとしたイベント録画といってもよい。制御部303は、車室内において人がしゃべったと判定していない場合、又は車室内において人がしゃべっていないと判定した場合には、S440では、画像情報を所定の出力先に出力しないようにするとよい。
このようにすると、車室内の人がしゃべったときの様子を撮影画像から把握しやすくすることができる。例えば、車室内は密室ともいえる場合もあり、ハラスメント行為等のトラブルや何らかの事象が発生する可能性があると考えられる。この場合に、そのような事象に関することを、車室内の人がしゃべる可能性がある。また、例えば、仲間同士で旅行に出かけたような場合に、そのしゃべった期間の様子を撮影しておくことで、撮影画像を思い出として残しておきたい場合がある。このように、人がしゃべったときの車室内の様子を把握しやすくすることは、そのような事象の発生の有無や発生の状況を確認する上で、有用である。
さらに、以下のような構成が採用されてもよい。
制御部303は、車室内において人がしゃべった期間の前、後又はそれらの両方である前後期間の画像情報を、出力するとよい。前後期間は、固定の時間長としてもよいが、ユーザが設定できるように撮影機器101Rが構成されてもよい。このようにすると、車室内において人がしゃべった期間の前後の画像情報も出力されるため、そのしゃべった期間の前後の様子も撮影画像から把握できるようにすることができる。
人がしゃべったことを判定するための情報として、人の音声以外の情報が用いられてもよい。制御部303は、例えば車室内撮影用リアカメラ102により撮影された画像を解析して、人がしゃべっている動作を認識した場合に、人がしゃべったと判定してもよい。
制御部303は、どの人がしゃべった場合も画像情報を所定の出力先に出力してもよいが、特定の人がしゃべった場合に画像情報を所定の出力先に出力し、それ以外の人がしゃべった場合は画像情報を所定の出力先に出力しないようにしてよい。この場合、制御部303は、音声解析技術を用いて、しゃべった人を特定するとよい。特定の人としては、運転手やその同乗者といった正規の利用者としてもよいし、正規の利用者以外の人(例えば、盗難者等の不正に乗車した人)としてもよい。しゃべった人の顔を撮影した画像を取得できる場合は、制御部303は、その画像を解析して、しゃべった人を特定してもよい。
複数の同乗者がいる場合の対話中に、制御部303が、上記の音声解析技術を用いて、音声に各種のハラスメント行為に割り当てられた特定の情報、例えば意味的にハラスメント行為と認識される音声や、あるいは波形的にハラスメント行為と識別される音声、が含まれることを判定した場合、制御部303は、画像情報にしゃべった人や割り当てられたハラスメント行為に関する情報を追加して出力してもよい。また、各種のハラスメント行為に割り当てられた特定の情報は、ユーザにより設定、選択、追加できるとよい。
第12の例
想定されるケース
車内の人が手を伸ばした場合に撮影する
入力例
人を確認できる画像等の車内の人が手を伸ばしたことを判定するための情報
出力例
撮影した画像の画像情報
制御部303は、車室内において人が手を伸ばした場合に撮影する機能を備えている。人が手を伸ばすことは、人が腕を伸ばしたことと、と読み替えてもよい。制御部303は、車両のエンジンのオン/オフ、又はアクセサリ電源のオン/オフに関係なく、車室内において人が手を伸ばした場合に撮影してもよいが、車両のエンジンのオン、又はアクセサリ電源のオンの期間にだけ行うようにしてもよい。車両のエンジンのオン/オフ、又はアクセサリ電源のオン/オフに関係なく行う場合は、第10の例と同様の電源制御が行われるとよい。
車室内において人が手を伸ばしたことを判定するための情報は、例えば、車室内撮影用リアカメラ102により撮影された画像とするとよい。制御部303は、S410で、人物を確認できる画像、例えば車室内撮影用リアカメラ102により撮影された画像の画像情報を取得し、S420で撮影された画像を解析し、S430で車内の人が手を伸ばしたかどうかを判定するとよい。制御部303は、運転席に座っている人(つまり運転手)が助手席側に向かって手を伸ばした場合に、人が手を伸ばしたと判定してもよいし、助手席に座っている人が運転席側に向かって手を伸ばした場合に、人が手を伸ばしたと判定してもよいし、これらの両方としてもよい。人の身体の部位として、手は比較的長尺の部位である。制御部303は、例えば、その部位の特徴に基づいて、手を伸ばしたことを判定するとよい。
制御部303は、運転席に座っている人(つまり運転手)が、例えばシフトレバーの可動範囲やセンターコンソールの範囲を超えて、助手席側に向かって手や手で持っているものを伸ばした場合に、人が手を伸ばしたと判定してもよい。同様に、制御部303は、助手席に座っている人が、例えばシフトレバーの可動範囲まであるいはセンターコンソールの範囲を超えて、運転席側に向かって手や手で持っているものを伸ばした場合に、人が手を伸ばしたと判定してもよい。
上記のようにシフトレバーの可動範囲やセンターコンソールの範囲等は、人が手を伸ばしたと判定するための基準として利用することができるが、ユーザは、車室内撮影用リアカメラ102により撮影された画像を用いて、例えば運転席と助手席の間の任意の位置に、人が手を伸ばしたと判定するための基準を、独自に設定でき、更に、その基準を必要に応じて変更や調整できる構成とするとよい。
S440では、制御部303は、車室内において人が手を伸ばしたと判定した場合に、車室内撮影用リアカメラ102により撮影された画像を示す画像情報を、所定の出力先に出力する。出力先としては、第10の例と同様とするとよい。例えば、制御部303が画像情報を、SDカード306等の記憶装置を出力先として画像情報を記録する場合、この画像情報の記録は、車室内において人が手を伸ばしたと判定したことをトリガとしたイベント録画といってもよい。制御部303は、車室内において人が手を伸ばしたと判定していない場合、又は車内の人が手を伸ばしていないと判定した場合には、S440では、画像情報を所定の出力先に出力しないようにするとよい。
このようにすると、車室内の人が手を伸ばしたときの様子を撮影画像から把握しやすくすることができる。例えば、車両の車室内は、密室ともいえる場合もあり、ハラスメント行為等のトラブルや何らかの事象が発生した場合は、暴力行為や威嚇行為が行われる可能性があると考えられる。人が腕を伸ばす行為があった場合、殴るなどの行為の発生が疑われる。車室内において人が手を伸ばしたときの車室内の様子を把握しやすくすることは、そのような事象の発生の有無や発生の状況を確認する上で、有用である。
さらに、以下のような構成が採用されてもよい。
制御部303は、車室内において人が手を伸ばした期間の前、後又はそれらの両方である前後期間の画像情報を、出力するとよい。前後期間は、固定の時間長としてもよいが、ユーザが設定できるように撮影機器101Rが構成されてもよい。このようにすると、車室内の人が手を伸ばした期間の前後の画像情報も出力されるため、人が手を伸ばした期間の前後の様子も把握できるようにすることができる。
制御部303は、どの人が手を伸ばした場合も画像情報を所定の出力先に出力してもよいが、特定の人が手を伸ばした場合に画像情報を所定の出力先に出力し、それ以外の人が手を伸ばした場合は画像情報を所定の出力先に出力しないようにしてよい。制御部303は、第11の例で説明したような方法で、人を特定するとよい。
また、人が単に物を取ったり、物を置いたりする場合も、その人が手を伸ばすことはある。そこで、制御部303は、マイクロホンで収音された音声やその他の情報を用いて、車室内において人が手を伸ばした状況を特定し、その状況に応じて、画像情報を所定の出力先に出力するかどうかを判定してもよい。例えば、制御部303は、トラブルの発生に関する所定の音声を検出したと判定したり、その他のトラブルの発生を把握するための情報を取得したりした場合は、画像情報を出力し、それ以外の場合は画像情報を出力しないようにしてもよい。
車室内において人が手を伸ばしたことは、後部座席から運転席又は助手席に手を伸ばしたこととしてもよい。例えば、タクシー等においては、乗客と偽った人が運転手に向かって暴力行為や威嚇行為をはたらくこともありうる。このようにすると、トラブルが発生したときの様子を撮影画像から把握しやすくすることができる。車室内において人が手を伸ばしたことは、運転席又は助手席に座っている人が後部座席側に手を伸ばしたこととしてもよく、人の位置については様々な変形が可能である。
第10の例、第11の例、及び第12の例において、制御部303は、S440の処理を行う場合に、さらに、警告又は通知を行う構成としてもよい。警告又は通知は、例えば、撮影機器101Rに設けられた発光体を発光したり、撮影機器101Fに設けた発光体を発光させたりするよいが、警告又は通知は人が知覚可能な方法で行われればよい。ただし、防犯等の目的で撮影機器101Rを用いるような場合、車外に向けた警告又は通知に行われてもよいし、よりレベルを上げた警告又は通知が行われてもよい。
図5は、2つのカメラを設置した実施例である。
図5(a)の実施例では、車両10には、撮影機器101Rの他に、2つの車室内撮影用リアカメラ102a、102bが設置されている。また、図5(b)の実施例では、車両10には、撮影機器101Rの他に、2つの車室内撮影用リアカメラ102c、102dが設置されている。
図5(a)、図5(b)のどちらの実施例でも車室内撮影用リアカメラ102a、102b又は車室内撮影用リアカメラ102c、102dは、車両後方から車両前方へ向かう方向に撮影しているが、それらの一方又は両方を後方に向けることも可能である。また、車室内撮影用リアカメラ102の1つを、撮影機器101Rに置き換える構成でもよい。車室内撮影用リアカメラ102は2つではなく、どちらか1つだけの構成であってもよい。車室内撮影用リアカメラ102c、102dは、車両10のピラーの位置(ここでは、車室側の部位)に取り付けられるようにするとよい。
また、2つの車室内撮影用リアカメラ102a、102b又は車室内撮影用リアカメラ102c、102dの取り付け位置は、車両の後方、特には後部座席後方からリアガラスの間の範囲であることが有利である。
1つの撮影機器101Rと2つの追加の車室内撮影用リアカメラ102a、102b又は102c、102dは、有線または無線で接続されており、2つの追加の車室内撮影用リアカメラ102a、102b又は102c、102dで撮影された映像データは、撮影機器101Rで画像処理されるとよい。
図5(b)の実施例では、車室内撮影用リアカメラ102c、102dの映像は、それぞれが直接撮影機器101Rへ送られてもよいし、例えば車室内撮影用リアカメラ102cの映像が、車室内撮影用リアカメラ102dを経由して、撮影機器101Rへ送られてもよい。
車両後方に取り付けられたカメラは、例えばバスなどでは、最後部の座席に座った乗客の様子も良好に撮影することを可能とする。
リアカメラは、電線をガラスにつける部分から出すように設計されたコネクタを実装してもよい。このようなコネクタは、車内でケーブルがより目立たなくなるような位置にあるとよく、車両の種類やデザインに応じて取り付け位置の調整する構成とするとなおよい。
車室内撮影用リアカメラ102c、102dは、例えば天球カメラ(半天球カメラ)、180°カメラ、360°カメラ等である構成であるとよい。このような構成では、更に、車室内撮影用リアカメラ102c、102dの向きを変更することなしに、車両の後方から車両の前方に向かって撮影した車内の映像に加えて、車両後方から車両外部をぐるりと見渡すことができる映像を撮影する構成であるとよい。そのような構成で撮影された映像を、フロントカメラで撮影された映像と組みあわせて解析する構成とするとよい。
これらの映像データが、第5世代移動通信システム(5G)を用いて伝送される構成であると、例えばたくさんの天球カメラを取り付けた場合でもデータの伝送をスムーズに行うことができる。
図6は、図1の実施例の車室内撮影用リアカメラ102の撮影方向が変更可能な実施例である。なお、図6(a)の車室内撮影用リアカメラ102eと図6(b)102dは、同一のカメラであって異なる撮影方向を向いた状態を表すものである。
図6に示すように、例えば車室内撮影用リアカメラ102eは、撮影機器101Rに対してその長手軸の周りで180°回転させることで、車室内撮影用リアカメラ102dの状態に撮影方向を変更可能である。このように車室内撮影用リアカメラ102dの撮影方向を変え、車両10の後方を撮影する構成とすることで、撮影機器101Rと、車室内撮影用リアカメラ102dの2カメラで車両後方を撮影することができ、例えば後方車両などの後方の物体までの正確な距離を測定することができる。
この実施例では、2つのカメラの間の距離は互いに1mmも離れていれば、正確な距離を測定することが可能となる。さらに、約10cm程度距離が離れていると非常に高精度な距離測定が可能となる。このような構成では、更に、車室内撮影用リアカメラ102dからの映像を用いて、後方車両の距離を正確に検出できるので、検出された正確な距離に基づいて、煽り運転、後方車両の危険な車線変更等の判定をより正確に実行する構成であるとよい。
この構成では、撮影機器101Rに1つの車室内撮影用リアカメラ102を追加することで、併せて車両後方を2カメラで撮影することが可能となり、車両内のカメラシステムに格段の拡張性を提供することができる。
なお、上記のような正確な距離の測定は、側方を撮影する2つのカメラを用いることで、側方車両に対しても同様に実行することができる。例えば、上記の第2の例などで、側方煽りの危険度をより正確に判定するために利用する構成とするとよい。
なお、車室内撮影用リアカメラ102が、カメラの方向の調整に連動する投光方向を持つ例えばLEDライト(例えば赤外光LEDライト)などの投光器を備え、車外に車室内撮影用リアカメラ102を向けたとき投光器の光を電気的遮断(例えば、スイッチをオフする)または機械的遮蔽(例えば、カバーで発光部を覆う)することによって、投光器の光が車外に見えないような構成とするとよい。
このような構成では、更に、車室内撮影用リアカメラ102を内に向けた場合には、撮影用ライトの光により夜間等の暗い環境下においても明瞭な車室内の映像を撮影することができ、又は、インジケータのライトの光により車室内撮影用リアカメラ102の駆動状況が確認できる構成であるとよい。一方、車室内撮影用リアカメラ102を車外に向けた場合には、撮影用ライトやインジケータ等の投光器からの光の発光を停止し、車外に不要な光が漏れることを防止することができる。
図20は、投光器の光を遮断するカメラの例である。
(a)は、車室内撮影用リアカメラ102の概観を示すものであり、筐体2001にレンズ2004があり、2つのLEDランプ2003がレンズ2004の左右についている構成である。なお、LEDランプの位置はこの部分に限られず、筐体2001の別の位置にあってもよい。
(b)は本実施例における投光器の光を遮断するカバー2002が取り付けられている状態を示す図の例である。リアウインドウ等に取り付けられた車室内撮影用リアカメラ102は、そのレンズ2004の方向を図10や図16のように、車両後方側に180°回転することが可能である。この様に、車両後方の車外を撮影する場合には、LEDランプ2003の光が遮られる様にカバー2002がLEDランプ2003を覆う構成になっている。この様に機械的にLEDランプ2003を覆うことで、レンズ2004が車外を向いているときに、車外に向けて発光されてしまうことを防止することができる。
(c-1)(c-2)は、(b)に対してそのレンズ2004を180°回転し、車室内を撮影する構成を示す図の例である。(c-1)はそれを車両後方から見た図であり、レンズ2004は図の紙面奥側に存在していて、車室内を撮影している。(c-2)は、それを車室内から見た図であり、レンズ2004が車室内を撮影している場合には、その左右にあるLEDランプ2003は遮蔽されておらず、車室内に向かって投光する構成となっている。
車室内撮影用リアカメラ102がカメラの方向を調整可能な構成でない場合にも、上述した投光器の遮断構成を適用する構成とすることができる。例えば、カメラの投光器を車内向けに付けるようにするが、車外向けには付けないようにするとよい。または、カメラの投光器は、車外向けに付ける場合であっても、車両10の後方に向かって発光しないようにするとよい。例えば、投光器の光を電気的遮断または機械的遮蔽する構成を採用することができる。
車室内撮影用リアカメラ102e、102dが270°以上回転できる構造であるとよく、そのような構成では、車両の形状、撮影機器101Rや車室内撮影用リアカメラ102の取り付け位置、に応じて柔軟に撮影方向を調整することができる。
図7は、図1の撮影機器101R及び車室内撮影用リアカメラ102が1つの広角カメラにより構成されている実施例である。
図7(a)の広角カメラ700は広角レンズを有している。広角レンズは、標準のレンズよりも画角が広いレンズである。広角レンズは、標準のレンズよりも焦点距離が短い。広角カメラ700は広角レンズを用いて撮影する撮影手段を有する。広角カメラ700の撮影手段は、撮影し、撮影した画像を示す画像データを生成する。
画像は、動画像及び静止画像のいずれでもよいが、典型的には動画像である。広角レンズを用いて撮影された画像においては、広角レンズに起因する歪み(画像歪みともいう。)が含まれる。この画像においては、画像中央部から端部に近づくにつれて歪みが大きくなる。本実施の形態では、広角レンズは、広角カメラ700が車両のリアガラスやリアルーフに取り付けられるべき姿勢で取り付けられたとき、鉛直下方向を挟んだ両側にわたり240°の画角を有する。これにより、広角カメラ700は、鉛直下方向を挟んだ両側にわたる広範な領域を撮影できる。
図7(a)の広角カメラ700は、半球カメラであり、その画角X°は240°である。これにより、半球カメラは、車両後方から前方に向かって撮影した車内の映像、車両直後の映像、車両前方の映像、車両前方及び車両後方の仰角方向の映像等を1つの映像データとして撮影することができる。車種に応じて適切な画角の半球カメラを選択し、また、適切な位置に接しすることにより、上記の映像データには、車両の前方及び後方の信号の状態も記録することが可能となる。
画角X°は、180°よりも大きい画角で、例えば220°、270°、360°またはその他の画角でもよい。広角レンズ114は魚眼レンズでもよい。広角レンズの画角は各方向で均一である必要はなく、例えば、車両の前後方向の画角が車両の幅方向の画角よりも大きくなる特性を有するレンズであってもよい。
図7(b)は、図7(a)の広角カメラ700の拡大図を示している。
広角カメラ700は、レンズの方向に投光器701を有しており、この投光器701の向きはレンズの向きと連動して変化する。広角カメラ700は、その車両後方側半分がフィルタ702で覆われている。図7(b)の実施例では、フィルタ702は、広角カメラ700を覆うハウジングカバーに取り付けられている。
投光器701からの光は、車室内を明るく撮影するための補助光や、インジケータのLEDライトからの光が想定されるが、レンズの向きが車両後方に向いた場合には、フィルタ702によって、投光器701から発せられる光を遮蔽する構成であるとよく、それによりリアガラス越しに車外の人物に光が認識されることを確実に避けることができる。
投光器701からの光が赤外光であり、広角カメラ700がIRカメラであると、夜間等にも車室内を明瞭に撮影することができる。
広角カメラ700は、車両後方及び車両前方に取り付けることもできる。広角カメラ700を半球カメラとして、フロントガラスの真ん中、リアガラスの真ん中ではなく、車両の対角線上の隅に設置して、車両内外をぐるりと見ることができる構成にすることもできる。
図19は、別の広角カメラ100の例であり、広角カメラ100を側面方向から見たときの、操作面120が有する平坦面と広角レンズ114の光軸114Aとの位置関係を示す図である。図19に示す状態において、広角カメラ100は正姿勢である。
操作面120が有する平坦面の法線は水平方向120Hを向いており、広角レンズ114の光軸114Aが鉛直下方向に対して操作面120が存在する側とは反対側に所定の角度θ傾いている。
本実施例では、広角レンズ114の光軸114Aが、ユーザが目測で確認可能な方向である鉛直下方向に対して車両のリアガラスがある後ろ方向に所定の角度θ傾いている。ケース116が車両のリアガラスに取り付けられたときのこの姿勢が正姿勢である。また、画角X1°は、ケース116が正姿勢にあるときに、鉛直下方向に対して操作面120が存在する側の画角であり、画角X2°は、ケース116が正姿勢にあるときに、鉛直下方向に対して操作面120が存在する側とは反対側の画角である。画角X°と、画角X1°と、画角X2°とは、X°=X1°+X2°という関係を満たす。広角レンズ114は、ケース116に対して角度が固定されている。
角度θは、広角レンズ114の画角X°に対して、次の式(1)を満たす。
θ=((X-200)×0.5)° ・・・(1)
式(1)を満たすように所定の角度θを設定することにより、広角カメラ100は、広角レンズ114の光軸114Aが、鉛直下方向に対して操作面120の存在する側とは反対側に((X-200)×0.5)°傾き、水平方向120Hよりも上の(X-190)°の領域を含む、上下に広範な領域を撮影できる。
例えば、広角レンズ114の画角X°が240°のときは、所定の角度θは20°、画角X1°は100°、画角X2°は140°となり、広角カメラ100は、水平方向120Hよりも上の50°の領域を含む、上下に広範な領域を撮影できる。広角レンズ114で撮影すると、撮影された像の端が歪むため、歪みを小さく撮影できる画角として10°小さい画角を設定したとしても、広角カメラ100は、水平方向120Hよりも上の40°の領域まで撮影できる。広角カメラ100が正姿勢のとき、撮影領域には、車両の後方向及び車室内が含まれる。撮影領域に車両の側方側の領域が含まれるとなおよい。
なお、広角レンズ114は、ケース116に対して、鉛直下方向を挟んだ両側に所定の可変角度範囲内で角度調整が可能でもよい。例えば、車両のリアガラスに取り付けられた広角カメラ100において鉛直下方向を挟んだ両側とは、車両の前後方向でもよい。また、所定の可変角度範囲とは、例えば、広角カメラ100が上下に広範な領域を撮影できるように、広角レンズ114の光軸114Aを中心として、広角レンズ114の画角X°との関係で設定される可変角度の範囲でもよい。可変角度範囲は、例えば、広角レンズ114の画角が240°であり、広角レンズ114の光軸114Aの中心が20°傾いているときは、-20°<可変角度≦20°の範囲等でもよい。このとき、広角レンズ114は、ケース116に対して、鉛直下方向に対して操作面120の存在する側とは反対側に0°から40°の範囲内で角度調整が可能である。
なお、可変角度範囲は、鉛直下方向を挟んで両側を含む範囲であればよく、例えば鉛直下方向を挟んで車両の前後に非対称の角度範囲でもよい。また、可変角度範囲は鉛直下方向から車両の前方向のみを範囲に含んでもよく、このように、鉛直下方向を挟んだ両側は、当該両側の一方が鉛直下方向である場合を含んでもよい。
この様にリア側を1つのカメラで実装すると、リア側のカメラを室内側のカメラと後方側のカメラの2つのカメラとする場合に比べて、コストダウン、設置の手間の軽減、小型化が可能となる。
図8は、撮影機器101R及び車室内撮影用リアカメラ102を救急車両のリアハッチ取り付けた実施例である。
図8(a)は、救急車両のリアハッチが閉じた状態を示しており、図8(b)は、救急車両のリアハッチが開いた状態を示している。図8(b)の状態では、車室内撮影用リアカメラ102は、ストレッチャーや担架の救急車両内へ移動や、停車中の周囲の環境等を良好に撮影することができる。
リアハッチは、車両後方に設けられた開口部を開閉する後方開閉部の一例である。リアハッチは、ハッチバックドア、リアハッチゲート、バックドア等とも呼ばれることもある。リアハッチは、閉状態では開口部を閉じ、開状態では開口部を開放する。開口部は、車両の内外を通じさせ、例えば、人の乗降や、荷物の出し入れ等に用いられる。図8に示されるようなリアハッチは、跳ね上げ式のリアハッチとも呼ばれ、上方へ開くタイプである。
図8では、撮影機器101R及び車室内撮影用リアカメラ102が図示されているが、それらに代えて天球カメラ、或いは図7で説明したそれに準じる広角カメラを用いてもよい。
リアハッチなど跳ね上げ式のドアの内側に、例えば天球カメラ、或いはそれに準じる広角カメラ、を取りつけることにより、ハッチが開いた状態で、上からちょうど路上においたストレッチャーや担架の状態を撮影する構成とするとよい。
また、その後、ストレッチャーや担架に載せた人(患者)を車内に積み込む様子も半天球映像として撮影する構成とするとよい。
この実施例では、例えば救急車の出動時から現地への到着までは車室内撮影用リアカメラ102を作動させず、制御部303がハッチの開放を検出したことをトリガとして、車室内撮影用リアカメラ102による記録を開始する構成や、又は、撮影の設定や使用するレンズを変更する構成とするとよい。
この積み込みの折、路上あるいは担架上で、搬送する人(患者)の身元確認と、事故・病状の確認が行われるが、これは正確に伝わらないことが多く、また、往々にして結局最後まで事故状況は間違って伝わってしまうことも多い。
車室内撮影用リアカメラ102で撮影したビデオを病院や消防司令へ5G等で伝送することで、正確な情報を映像や音声で伝えることが可能となる。また、音声認識で自動的に文字起こしすることも有効である。
車室内撮影用リアカメラ102が各種の生体反応を検出するセンサを有していると更に有利である。そのような構成では、更に、例えば患者に対して各種の医療モニタデバイスを取り付ける前でも、制御部303は、例えばサーモセンサによって検出された患者の体温データをいち早く医療モニタ802へ送信する構成とするとよい。また、制御部303が、映像データに同期して、それらの生体反応データを記憶すると更に有利である。
車室内撮影用リアカメラ102を用いて、ハッチが閉じた状態から、ハッチを空けて担架をおろし、担架に患者を載せ、患者を車内に運び入れ、ハッチを閉じ、車を動かして搬送するという一連の流れをすべて撮影する構成とするとよい。それにより、例えば患者を載せながら質問が行われたとしてもすべての状況を連続して撮影できる。
加えて、事故時に周囲にいた人も撮影できるので、事故原因の特定、犯人の特定にも利用できる。
病院に到着して、救急車から患者を下ろすときもそのおろし方が適正だったか後から検証できるとともに、病院側への申し送り等が適切になされているか検証でき後にトラブルが起きたとき責任の主体を特定することが容易となる。
天球カメラを跳ね上げ式のハッチに取り付ける構成では、ハッチを閉じたときは車内方向を中心軸とした180度天球を撮影し、ハッチを開いたときは天井から下方向を中心軸とした180度天球を撮影する構成とするとよい。
制御部303が、ハッチを開いた状態か、閉じた状態かを判定して、その時点を記録する機能を備えるとよい。望ましくはハッチを空けている途中か、締めている途中かも判定して記録する構成とするとよい。
更に、ハッチを開いた状態か、閉じた状態かに応じて、記録方式やカメラの設定を切り替える構成とするとよい。つまり、ハッチを開いた状態では屋外用の記録方式やカメラの設定を適用し、ハッチを閉じた状態では屋内用の記録方式やカメラの設定を適用するように、切り替えが行われることが好ましい。それにより、撮影環境や撮影状況の変化が大きい場合にも、確実に良好な映像データを記録することが可能となる。
全天球カメラの場合、ハッチへの取り付け位置は、ハッチの窓部から一方のカメラが外側を撮影できる透明窓部にくるように、取り付けるとよく、例えば本体は窓のすぐ下の車内車体部分、カメラは上に飛び出して透明窓部分にくるような構成などにするとよい。左右方向は中央部とするとよい。
このようにすれば、ハッチを閉じている状態(図8(a))では、一方のカメラが車内を撮影するとともに、他方のカメラが後方などの車外を撮影する。このときハッチの厚み部分がちょうど両カメラの堺に近くなるのでそれぞれのカメラ毎に映像をきれいに、例えば露出等を適正に、撮影することが容易になる。なおその際、両者の露出は合わせないようするとよい。
また、ハッチを開けた状態では一方のカメラはハッチ下で行われる様子を含め周囲の様子を撮影することができる。
他方のカメラは、空の方を撮影することになるが、火災や飛び降りなどでは上空方向の現場状況や、天気の状況を撮影することができる。
図8の構成において、半天球カメラを利用することも可能である。
半天球カメラの場合、ハッチへの取り付け位置は、ハッチの窓部のすぐ下の位置で、左右方向中央部とするとよい。
このようにすれば、ハッチを開いているときは、風雨の影響を受けにくいとともに、ハッチの下で行われる様子を含め周囲の様子を撮影することができる。
車室内撮影用リアカメラ102からのデータは、他のカメラ(車内天井、隊員のウェアラブル、担架などに設けたカメラ)と同期をとって再生可能に記録ないし5G等でデータ伝送する構成とすることもできる。
なお、車室内撮影用リアカメラ102は、車両後方外部を撮影する用途でも使用されることがあるが、少なくとも車室内を撮影する用途で使用されるから、「車室内撮影用リアカメラ」と称している。このような車室内撮影用リアカメラは、「車室内/車両後方外部兼用」として把握されてもよい。また、車室内撮影用リアカメラ102が第1のカメラ、カメラ402が第2のカメラとして把握されてもよい。なお、撮影機器101Fのカメラは第3のカメラとして把握されてもよい。
以上、車両が救急車であることを想定して説明を行ったが、本実施例の車両は、例えば、リアハッチなど跳ね上げ式の扉を跳ね上げて荷物や人を乗せる業務用車両や、キャッピングカーなどであってもよい。業務用車両としては、例えば、デイサービス(通所介護)等の所定の施設の利用者(例えば、高齢者や障碍者)の送迎に用いられる福祉車両や、パトカー等の緊急車両、郵便車両等の車両がある。また、キャッピングカーなどに例示されるように、リアハッチは、一般ユーザ向けの車両にも搭載されることもある。
リアハッチは、例えば、ミニバンやハッチバック、ステーションワゴン等の車両に搭載されることがある。このような場合に、「患者」を「荷物」または「運転者など患者以外の搭乗者」等に置き換えるとよい。「運転者など患者以外の搭乗者」としては、例えば、車両が福祉車両である場合、所定の施設の利用者である。搭乗者の属性については、車両の用途によっても様々である。
それらの構成においても、荷物の積み込み時の状況、積み込まれた荷物の状態の変化、または、運転者など患者以外の搭乗者等の乗車時の状況、リアハッチを開放した状態で行っていた作業の様子等を記録する構成とするとよい。
<リアハッチに設けられた撮影機器の他の実施の形態>
例えば、図8で説明した実施の形態と共通する思想に基づく実施の形態として、以下のようなものがある。続いて、図9を参照して、福祉車両である車両500を用いて、デイサービスの利用者U1の送迎を行う場合の実施の形態を説明する。図9では、車両500は、車椅子仕様の福祉車両である。撮影機器101Rのカメラは、半天球カメラ、或いはそれに準じる広角カメラで、その撮影範囲が図8(a)、(b)と同様である場合を例に挙げて説明する、車両500は、スロープやリフトによって車椅子を乗せる作業をスムーズにするための仕組みを有するとよいが、図示は省略してある。
図9(a)は、利用者U1が車両500に乗る前の様子を示す図である。利用者U1は車椅子501に座っている。支援者U2は、例えば老人ホームや病院といった施設の職員である。支援者U2は、例えば介護者、介助者又は看護師等である。支援者U2は、車椅子501を押したり、車椅子501とともに利用者U1を車両500に乗せたりする等、利用者U1を支援する。支援者U2は、例えば、利用者U1の自宅から車椅子501を押したまま、車両500の後方に移動する。
図8で説明したのと同様に、車両500のリアハッチに設けられたバックガラス11の車室側に、撮影機器101Rが取り付けられている。撮影機器101Rの車室内撮影用リアカメラ102は、リアハッチが閉じられた閉状態では、車両500の車内方向に向けて、具体的には、車両後方から車両前方を撮影する。車室内撮影用リアカメラ102は、車内を後方から撮影することで、人の顔を撮影せずプライバシーを守りながら行動を撮影し、プライバシーに配慮した面もある。この実施の形態も、図8で説明したのと同様、積極的に人の挙動を撮影し、記録するという使い方をしている。
図9(b)は、支援者U2が利用者U1を車両500に乗せようとする(つまり、乗車しようとする)ときの様子を示す図である。車両500のリアハッチが開けられた開状態となると、車室内撮影用リアカメラ102の撮影方向が変化する。車室内撮影用リアカメラ102は、リアハッチが開状態であるときは、車両500の後方外部を、下方に向けて撮影する。そのため、車室内撮影用リアカメラ102は、上からちょうど車両500の後方にいる利用者U1及び支援者U2の状態を撮影する。このように、支援者U2が利用者U1を車両500に乗せるときに、リアハッチが開状態になると、自ずと乗車時の状況を撮影、さらには記録するのに適切な範囲を撮影することができる。このような撮影画像は、例えば、利用者U1が暴れて転倒したとか、支援者U2の対応が適切であったかどうかを検証するのに有用である。
なお、図9(a)及び図9(b)では、支援者U2が利用者U1を車両500に乗せようとするときに、ドアハッチが開けられる場合を説明したが、図9(a)に示す段階でリアハッチが既に開状態とされる場合もある。この場合、もう少し早い段階から、車室内撮影用リアカメラ102が利用者U1及び支援者U2を撮影できる可能性がある。
図9(c)は、利用者U1が車椅子501に座ったまま車両500に乗せられた後の様子を示す図である。車椅子501は台502の上に載せられる。台502には、車椅子をロックする(つまり、固定する)ための不図示の機構が設けられている。車椅子501は、その機構で台502に固定されることで、車両500の走行中に移動しないようになっている。利用者U1が車両500に乗せられた後は、車両500のリアハッチが閉じられ、閉状態となる。
上述したように、車室内撮影用リアカメラ102は、リアハッチが閉じられた状態では、車両500の車内方向に向けて撮影する。この撮影範囲には、利用者U1が少なくとも含まれる。そのため、撮影機器101Rは、車室内撮影用リアカメラ102を用いて、移動中の利用者U1の様子を撮影し、さらには記録することができる。例えば、車両500の施設(例えば、老人ホームや病院)までの移動中に車内の状態を撮影、記録しておくことで、利用者U1と支援者U2との会話等のやりとりを、記録することができる。そのため、仮に、車両500での移動中に、暴言等の発言、ハラスメント行為といった何らかのトラブルが発生した場合であっても、後程その撮影画像を用いてそのトラブルを検証することができる。
図9で説明した実施の形態によると、リアハッチに取り付けられた撮影機器101Rの車室内撮影用リアカメラ102により、そのときどきの状況に応じて適切な範囲を撮影することができる。ここでは、利用者U1を車両500に乗せるときの制御を説明したが、例えば施設への到着後、利用者U1を車両500から降ろすときにも、同様である。この場合、撮影機器101Rは、車室内撮影用リアカメラ102を用いて、利用者U1を降車させるときの状況を撮影し、記録することができる。
さらに、以下のような構成が採用されてもよい。
(A)図9(b)から図9(c)で説明した期間、つまり、利用者U1及び車椅子501が車両500に乗せられる期間においては、車両500のエンジンがオンされていることもあれば、オフされていることもある。そのような場合でも、例えば、上述した第10の例で説明した電源制御が行わる構成とすることで、撮影機器101Rは、車室内撮影用リアカメラ102を用いて、車両500のエンジンのオン/オフ、又はアクセサリ電源のオン/オフに関係なく、撮影し、記録をすることができる。
(B)例えば撮影機器101Rが常時録画を行う場合のように、図9(a)~図9(c)で説明した期間にわたって、撮影及び記録をするようにしてよいが、図9(b)~(c)で説明した場合のように、車両500に乗車しようとするとき以降の様子を撮影及び記録するように構成してもよい。後者の場合、撮影機器101Rにおいて制御部303は、リアハッチが閉状態から開状態に変化した場合に、車室内撮影用リアカメラ102が撮影した画像の画像情報を記録するとよい。
その記録の開始前に、撮影機器101Rの電源がオフされている状態、又は電源はオンされているが、撮影及び記録をすぐには開始できない状態(例えば、省電力モードの状態)である場合等には、制御部303は、まず、撮影機器101Rの電源をオンし、又は撮影及び記録を開始できる状態(例えば、通常動作モードの状態)に遷移させるとよい。その後、制御部303は、撮影及び記録を開始するとよい。あらかじめ撮影機器101Rの電源がオンされており、記録をすぐに開始できる状態である場合は、制御部303はその記録を直ちに開始させるよい。
リアハッチが閉状態から開状態に変化したことの判定方法を説明する。制御部303は、例えば、リアハッチのドア開検出信号に基づいて、リアハッチが閉状態から開状態に変化したと判定するとよい。リアハッチのドア開検出信号は、車両500のアクセサリ電源がオンされている場合において、リアハッチが開状態であることが検出されたときに、OBDII(「II」は「2」のローマ数字である。)コネクタから出力される信号である。又は、制御部303の外部又は内部に所定の回路を組んでおく等して、制御部303はリアハッチが閉状態から開状態に変化したことを判定してもよい。
制御部303は、例えば、加速度センサ305により検出された加速度に基づいて、リアハッチが閉状態から開状態に変化したことを判定してもよい。制御部303は、加速度情報を取得し、その加速度情報がリアハッチが開状態であるときの加速度を示した場合、又はその加速度情報がリアハッチが閉状態から開状態に変化するときの加速度の時間的な変化を示した場合に、リアハッチが閉状態から開状態に変化したと判定してもよい。このようにドア開検出信号によらない方法とすると、アクセサリ電源がオフされている場合でも、制御部303はリアハッチが閉状態から開状態に変化した場合に、撮影及び記録を行うことができる。例えば、リアハッチが開状態になる前に、アクセサリ電源がオフであったとしても、利用者U1の乗り入れの際の様子を撮影し、記録することができる。
リアハッチが閉状態から開状態に変化したことを判定するための構成として、以下の構成を採用してもよい。車室内撮影用リアカメラ102にGセンサを設け、同じリアハッチに取り付けた後方向けカメラである撮影機器101RにGセンサ(例えば、加速度センサ305)を設けおく。そして、制御部303は、リアハッチが閉状態のときと開状態のときのGセンサの重力加速度方向(例えば、停車が前提で計測する)との一致度と、一致している時間(つまり、安定時間)から、リアハッチが開状態か、又は閉状態かを判定するとよい。又は、制御部303は、リアハッチが開けられるとき、又は閉じられるときの特徴的なGセンサの値の変化に基づいて、リアハッチが開いたこと、又は閉じたことを判定するとよい。特徴的なGセンサの値は、特に3次元的な値とするとよく、例えば3軸方向の加速度とするとよい。
(C)(B)で説明した構成において、制御部303は、リアハッチが閉状態から開状態に変化したと判定した場合に、撮影機器101Rの電源オンから開始してもよいが、予め撮影機器101Rの電源がオンされていると、速やかに記録を開始することができる点で、望ましい。そのための構成として、撮影機器101Rは、録画待機機能を利用するとよい。録画待機機能は、指定した時間帯(以下「指定時間帯」という。)において撮影機器101Rが電源オンしており、所定のトリガがあった場合には、撮影画像の記録(以下「指定時間帯の録画」ということがある。)を開始するように待機する機能である。
録画待機機能を利用すると、アクセサリ電源がオンからオフに変化した場合、それまでに行っていた録画(例えば、常時録画)が停止するが、一方で、少なくとも指定時間帯内においては撮影機器101Rの電源がオフしない。アクセサリ電源がオフでも電源オンしておくために、撮影機器101Rは、常時電源からの電力供給を受けるとよいが(つまり、+B運用とするが)、二次電池312等の内部の電源や、外部のバッテリユニット等で、代替又はこれらを併用してもよい。
本実施形態では、録画待機機能の指定時間帯を、利用者U1を送迎する時間帯を含むように、あらかじめ指定(つまり設定)しておくとよい。そして、制御部303は、録画待機機能を動作させておき、指定時間帯内において、リアハッチが閉状態から開状態になったと判定した場合には、撮影画像の記録を開始するとよい。このように、リアハッチが閉状態から開状態に変化したことをトリガとして、速やかに撮影画像の記録を開始することで、送迎時の状況をより確実に撮影することができる。
(D)(C)の構成に代えて又は加えて、以下の構成により、送迎時の状況をより確実に撮影し、記録できるようにしてもよい。制御部303は、アクセサリ電源がオンされているときに撮影画像を記録している場合に(例えば、常時録画等)、アクセサリ電源がオフされると、直ちに車室内撮影用リアカメラ102により撮影した画像の記録を終了するのではなく、指定時間長だけ延長して画像を記録する(以下「指定時間延長録画」という。)とよい。指定時間の起算点は、例えばアクセサリ電源がオフされた時点とするとよい。車両500のバッテリへの悪影響を抑える上では、この方法が有利な場合がある、と発明者は考えた。
次に、実際の利用シーンを例示しつつ説明する。車両500が利用者U1の自宅に到着した場合、車両500のアクセサリ電源がオンからオフに変化させられたとする。この場合、撮影機器101Rの制御部303は、アクセサリ電源がオフになったことをトリガに、指定時間延長録画を開始する。このようにすると、これから乗車、又は降車しようという利用者U1や支援者U2の状況を、車室内撮影用リアカメラ102を用いて撮影し、記録することができる。指定時間は、例えば、製品出荷段階で予め指定されるとよい。
例えば、指定時間は、アクセサリ電源がオフされてから、利用者U1を車両500に乗せて、再びアクセサリ電源がオンされるまでに要する時間を考慮して指定されるとよい。指定時間は、例えば標準的な乗降に時間(例えば、エンジンを切って停車する停車時間)を考慮して指定されるとよい。例えば、デイサービスの送迎における停車時間としては、5分~10分程度掛かることが考えられる。ただし、車椅子用のスロープを作成して、乗降後車椅子を固定するロックを操作したり、利用者UIの家族と会話をしたり等、時間が長くなる要素が色々あることも考えられる。よって、指定時間は、支援者U2等の施設の職員等により、撮影機器101Rに対して指定する構成が採用されてもよい。
指定時間延長録画は、以下のようにしてもよい。制御部303は、延長した指定時間内に、リアハッチが閉状態から開状態に変化したと判定した場合には、第1の指定時間長だけ延長した指定時間延長録画を行い、開状態にならず閉状態のままである場合は、第1の指定時間よりも短い第2の指定時間長だけ延長した指定時間延長録画を行ってもよい。第2の指定時間だけ行う指定時間延長録画は、第1の指定時間の指定時間延長録画を途中で打ち切る処理としてもよい。リアハッチが開状態にならない場合は、車両後方側の開口部を利用した乗車又は降車がないと推測され、車室内撮影用リアカメラ102の撮影画像を記録しなくてもよい状況であるともいえるからである。
(E)(C)又は(D)の構成のもとで、制御部303は、指定時間帯の録画、又は指定時間延長録画を行った場合は、指定時間帯の録画、又は指定時間延長録画であるか否かを識別するための識別情報を、撮影画像の画像情報に関連付けて(例えば、画像情報に付加して)、記録しておくようにするとよい。ビュアー等の、録画した映像を再生する機能を有するソフトウェアは、識別情報に基づいて、指定時間帯の録画、又は指定時間延長録画であるか否かをユーザに通知するための情報を出力する機能を備えるとよい。通知するための情報は、例えば表示情報とするよく、再生した映像の表示中に、その映像に重ねて又は同じ画面上に表示されるとよい。又は、このソフトウェアは、指定時間帯の録画、又は指定時間延長録画をした期間の画像を、検索可能にする機能を有するとよい。
(F)(D)の構成のもとで、撮影機器101Rは、アクセサリ電源のオフ後に指定時間延長録画をするか否かを、ユーザが設定可能な構成を備えるとよい。制御部303は、その設定に従って、アクセサリ電源のオフ後に、指定時間延長録画をするか否かを制御する。設定は、事前設定としておくとユーザの負担が少なくてよいが、アクセサリ電源をオフした機会毎にユーザが設定できるようにしてもよい。
(G)(D)の構成のもとで、制御部303は、リアハッチが閉状態から開状態になった場合において、開口部を介して人の降車があると判定したときは、車室内撮影用リアカメラ102を用いて、指定時間延長録画を行うようにしてもよい。送迎時で考えると、車室内撮影用リアカメラ102を使用して、支援者U2が利用者U1の座った車椅子501を押して移動する様子を撮影することができるという意味がある。これは、車室内撮影用リアカメラ102により車室内で撮影していた対象を、後方車外方向でも引き続き撮影したい(つまり、見たい)という考えに基づく。
制御部303は、アクセサリ電源がオンした状態で車両500が停車しているときに、リアハッチが閉状態から開状態になった場合、又はリアハッチが開状態から閉状態になった場合に、開口部を介して人の降車があると判定するとよい。また、後述するように、制御部303は、福祉車両である車両500に設けられた機構からの信号に基づいて、開口部を介して人の降車があると判定してもよい。
制御部303は、開口部を介して人の降車があると判定したときと、人の乗車があると判定したときとで、指定時間延長録画の態様を異ならせてもよい。例えば、制御部303は、両者の記録時間を異なるようにするとよく、特に、乗車した場合は、降車した場合よりも、記録時間を短くするとよい。これは、降車時のほうが車外に人が居て、事故等が発生する可能性が相対的に高いため、そのような記録をより確実にするという考えに基づく。また、制御部303は、乗車した場合は、降車した場合よりも、品質の高い撮影画像を記録してもよい。品質としては、例えば、フレームレートや解像度等がある。
ところで、降車時における閉状態から開状態になったこと、又は降車時における開状態から閉状態になったことを判定するドアは、リアハッチ以外のドア、例えば運転席側のドア、又は助手席側のドアとしてもよい。このようにすると、搭乗者である支援者U2の後者に基づいて、指定時間延長録画を行うことができ、より利用者U1の乗降の際の様子を確実に撮影できる可能性がある。
(H)(D)の構成のもと、制御部303は、指定時間を設定する機能を有してもよい。ここでの指定時間の設定は、いわゆる自動設定である。制御部303は、例えば、降車時における車内又は車両周辺の状況を、車室内撮影用リアカメラ102で撮影された画像を認識することにより、特定するとよい。例えば制御部303は、車室内撮影用リアカメラ102により撮影された画像を画像認識することにより、車両500のリアハッチは開状態及び閉状態のどちらであるかを判定するとよい。また、制御部303は、車室内撮影用リアカメラ102により撮影された画像を画像認識することにより、利用者U1及び支援者U2の乗降に係る動作が行われているか否かや、その動作が終了したことを判定してもよい。制御部303は、これらの判定結果に基づいて、指定時間延長録画における指定時間を設定するとよい。
(I)制御部303は、車室内撮影用リアカメラ102で撮影された画像を認識することにより、車両500の車室内の搭乗者の有無の情報を、記録する画像情報に関連付けて(例えば、付加して)記録するとよい。制御部303は、記録する画像情報に、搭乗者の画像中の位置を示す情報を付加してもよい。その位置を示す情報は、例えば、搭乗者を指し示す矢印や、搭乗者の位置を囲む丸印などの図形等とするとよい。また、車椅子501が台502に固定されている等して、搭乗者が固定の位置に居る場合でも、搭乗者の画像中の位置が、リアハッチが開いているとき閉じているときとで異なる。よって、実際の搭乗者の位置(車椅子501の位置)を示す情報が記録されたり、表示されたりすると、ユーザにとっては画像から搭乗者の状況を把握しやすい。なお、搭乗者の位置については、上述した人検出センサを用いて検出されてもよい。
(J)撮影機器101Rにおける指定時間帯の録画や、指定時間延長録画の録画終了条件としては、主に、指定時間帯が経過したこと、又は指定時間延長が経過したこととするとよいが、それ以外の条件があってもよい。条件としては、例えば、指定時間帯又は延長指定時間内に、ドアが開状態から閉状態になったこととするとよい。車室内を撮影し記録しない場合は、そのような運用としてもよい。また、指定時間帯の録画の記録時間が、利用者U1を車両500に乗せて、再びアクセサリ電源がオンされるまでに要する時間を考慮して指定されてもよい。例えば標準的な乗降に時間(例えばエンジンを切って停車する停車時間)を考慮した記録時間としてもよい。
(K)(C)で説明した指定時間帯の録画に関し、制御部303が指定時間帯を設定してもよい。利用者UIの自宅と施設のような、車両の異なる拠点同士の往復のパターンが決まっており、車両の運行のスケジュールが決まっている場合、又は運行予約の予約データが存在したりする場合等には、制御部303は、そのスケジュール又は予約データに基づいて、拠点への到着予定時刻を指定時間帯に含めるように設定してもよい。
(L)(C)で説明した指定時間帯の録画は、上述した送迎以外の用途にも適用することができる。例えば、車両が所定の場所(例えば、施設)に立ち寄る時刻又はその目安の時刻が決まっているような用途とするとよい。例えば、荷物の宅配を行う配送員は、決められたルート従って配送を行うルート配送を行うことがある。この場合、配送員が荷物を取り出すときにリアハッチが開状態となり、開状態としたまま配送員が荷物を配達にしに行った場合にも、車両外側後方の状況を撮影し、記録することができ、荷物の防犯上望ましい。なお、この場合の車両は、配送員が自ら押し動かすカートや荷台を備えた自転車等であってもよく、そのような構成では、リアハッチはカートや荷台に付属のカバー部材や蓋部材に読み替えられる。
(M)図10及び図11は、車室内撮影用リアカメラ102で撮影される画像を説明する図である。図10(a)及び図11には、軽ワゴンのリアハッチに、図8、9で説明したようにして、車室内撮影用リアカメラ102を取り付けられた場合の撮影画像の一例が示してある。図10(a)は、リアハッチを閉状態としたときの撮影画像を示す図である。図10(b)は、リアハッチを閉状態としたときの撮影範囲を示す図である。
図10(a)に示すように、リアハッチを閉状態とした場合、車室内を後方から車内向けに撮影することで、人の顔を撮影せずに、プライバシーを守りながら、その人の行動を撮影することができる。運転席の上方にはみ出した頭部が写っているので、その車内の人の状況を撮影画像から把握することができる。図10(b)に示すように、リアハッチが開状態である場合、ほぼ鉛直方向に、車室内撮影用リアカメラ102の光軸方向が延びており、略円錐形状の撮影範囲が確保される。ただし、車室内側は、車両の床が地面よりも高い位置に存在するため、床の高さ位置までの撮影範囲となっている。図10からも分かるように、リアハッチが開状態であるときも、撮影機器101Rは風雨の影響を受けにくくして、車室内撮影用リアカメラ102を用いてリアハッチの下方の様子を含む車両外側後方の様子を撮影することができる。
図11は、リアハッチを開状態としたときの車室内撮影用リアカメラ102の撮影画像を示す図である。図11(a)はリアハッチ開状態時(横寸法)、図11(b)はリアハッチ開状態時(縦寸法車外)、図11(c)はリアハッチ開状態時(縦寸法車内)を示す図である。このように、開状態においては、リアハッチの下方、及び車内の後方側寄りの部分が撮影範囲に含まれていることが分かる。このように、車室内撮影用リアカメラ102を用いて、車外のリアハッチの下方、及び車内の後方側寄りの部分を撮影することができる。
車両の前方からフロントから撮影する室内カメラや半球カメラでは、運転者前方から撮影されるため、搭乗者は、自身が監視されているような感覚になることがある。また、車両にはルームミラーが設けられているため、ルームミラー越しのサイドガラスからは映像は見えない、又は見えにくい。これら解消するため、車室内を後方側から撮影している。車室内撮影用リアカメラ102では、搭乗者は後ろから撮影されているため、監視されている感がなく、車内の映像を記録でき、サイドガラスから外の映像は物の干渉が少なくはっきりとした撮影ができる。
さらに、図10、図11に示すように、車室内撮影用リアカメラ102は、360度カメラ等と比較すると、視野角が狭い場合がある。そのため、車室内撮影用リアカメラ102で撮影した運転席と助手席の窓の外の映像は、360度カメラ等を用いた場合よりも、映像が大きく、解像度も高く、ユーザにとっては、撮影画像の内容を見やすくなることが考えられる。
(N)リアハッチへの車室内撮影用リアカメラ102に関する訴求について
例えば、リアハッチへの車室内撮影用リアカメラ102に関する訴求については、例えば、以下のようなものがある。
撮影機器101R(車室内撮影用リアカメラ102)を取り付ける車両は、上述した救急車や福祉車両のほか、パトカー等の緊急車両、荷物の配送業者の車両(配送車両)、郵便車両等としてもよい。このようにすると、車両後方で人や荷下ろしをする車両にて、リアハッチを開けると、荷物や人の荷下ろしをするところが撮影される。また、荷物の宅配を行う配送員が荷物を取り出すときにリアハッチが開状態となり、開状態としたまま配送員が荷物を配達にしに行った場合にも、車両外側後方の状況を撮影し、記録することができ、荷物の防犯上望ましい。また、郵便局員が荷物おろしをしているときにひったくりがあったような場合でも、撮影されているため、犯人逮捕に貢献することもできる。
また、一般ユーザにおいても同様に荷物下ろしをしているときにひったくりがあったような場合でも撮影できる。また、例えばスーパーの駐車場で荷物を運ぶのに、リアハッチを開けたまま、離れた場所に行くことがある。例えば、一般ユーザが、離れた場所に荷物を取りに行く、自宅から持ってきたダンボール箱を処分しに行ったり、スーパーから戻ってきて車両に荷物を運んだり場合がある。このような場合、数分リアハッチが開状態のままのいなっていることもよくある。このような利用がなされた場合でも、撮影機器101Rの存在による防犯効果が期待できるので、いわゆるコンシューマ向けでの利用のメリットも十分に想定される。
(O)さらに、以下のような構成が採用されてもよい。
(O-1)撮影機器101Rのカメラ402、車室内撮影用リアカメラ102、及び撮影機器101Rのカメラ(図示略)は、例えば、それぞれFULL HDの画質として、1080Pの解像度で画像を記録するとよい。このようにすると、3つのカメラで均質な画像、例えば高解像度の画像を記録することができる。
(O-2)撮影機器101Rのカメラ402、車室内撮影用リアカメラ102、及び撮影機器101Rという、画角の異なるカメラの映像を時刻同期して再生する機能を備えるビュアーにおいて、最も狭い画角のカメラの画角に他のカメラの映像の再生時の画角を合わせるボタンを備えたビュアーが提供されるとよい。
ビュアーは、これら3つのカメラのうち、カメラ402(車両後方の撮影用)の画角が一番狭いとすると、ボタンを押すと、撮影機器101Fと、車室内撮影用リアカメラ102の映像の画角が、カメラ402)の画角に変化するようにするとよい。このようにすると、各カメラの見えている範囲の対応関係が分かりづらいという課題を解決できる。
(O-3)ビュアーは、再生中の映像の画角を変更する機能を備えるビュアーであって、現在最も狭い画角に設定されているカメラの映像の画角に他のカメラの映像の画角を1ボタンで変更する機能を備えるビュアーが提供されるとよい。
(O-4)上述した説明において「ビュアー」としたところは、ルームミラーに取り付けて使用されるルームミラー型のドライブレコーダ本体と読み替えてもよく、(O-1)~(O-3)は種々の装置に適用可能である。
(P)車両の開閉部の開閉動作をトリガとした映像の撮影又は記録の設定の変更
上述したような、車両の開閉部の開閉動作をトリガとして、映像の撮影又は記録の設定を変更することに関し、以下のような構成が採用されるとよい。映像の撮影又は記録の設定に関しては、どのカメラで撮影した画像を記録するのかという録画の有無と、どのカメラをどのようなフレームレート、解像度等の品質で記録するのかという録画の品質、という観点がある。
状況としては、(P-1)リアハッチの開閉動作、(P-2)車両が走行中、(P-3)車両の前方側を撮影したい場合、(P-4)車両のエンジンがオン又はアクセサリ電源がオンである場合、(P-5)車両のエンジンがオフ又はアクセサリ電源がオフであるが、指定時間帯内の録画を行う場合、(P-6)車両のエンジンオフ又はアクセサリ電源オフからの指定時間延長録画の場合、(P-7)車両のエンジンがオン又はアクセサリ電源がオンであるが、指定時間帯内の録画を行う場合等がある。
制御部303は、これらの状況のうちの全部又は一部について、状況毎に、映像の撮影又は記録の設定を行う機能を有するとよい。また、制御部303は、これらのうち2つ以上の状況について共通の設定を行う機能を有してもよい。映像の撮影又は記録の設定は、ユーザにより手動で設定されてもよいが、予め又は製品出荷段階後にユーザの手動設定ではない方法で設定(例えば、自動設定)されてもよい。
ユーザの手動設定ではない方法で設定する場合、例えば、以下のように、映像の撮影又は記録の設定が行われるとよい。以下の説明において、相対的に高い品質で録画するカメラが2つある場合、又は相対的に低い品質で録画するカメラが2つある場合、それらの品質は同一とするとよいが、異なっていてもよい。以下では、制御部303が品質の判断等の録画に関する制御を司るが、撮影機器101Fの制御部(例えば、後述する制御部5511)等が行ったり、別の主体が行ったりしてもよい。
(P-1)リアハッチの開閉動作
リアハッチが開状態のときには、リアハッチの周辺を後で確認したい状況が生じることがあるから、リアハッチの周辺を品質良く録画するとよい。そのために、車室内撮影用リアカメラ102での録画の品質を相対的に高くして録画するとよい。例えば、リアハッチが開状態のときは、撮影機器101Fは前方を、撮影機器101Rは後方を相対的に低い品質で(例えば、粗く)撮影して、車室内撮影用リアカメラ102は、相対的に高い品質で(例えば、細かく)撮影するとよい。撮影機器101F及び101Rのカメラ402、車室内撮影用リアカメラ102よりも品質の低い録画を行うようにすると、車両の周辺の状況を広範囲で確認できる。
撮影機器101F及び101Rの少なくとも一方が、録画を停止してもよい。撮影機器101Rのカメラ402は、車両の外側後方を撮影する機器であることから、その撮影画像については、車室内撮影用リアカメラ102よりも低い品質で録画を継続してもよい。又は、撮影機器101Rはその撮影方向が真上付近となるから、撮影機器101Rのカメラ402の撮影画像については録画を停止し、撮影機器101Fは録画をするようにしてもよい。
(P-2)車両の走行中
車両の走行中は、車両の外、本実施形態では、車両の前方、後方又はこれらの両方を後で確認した状況が生じる必要性が高いから、車両の外を品質良く録画するとよい。そのために、撮影機器101F、及び撮影機器101Rのカメラ402の撮影画像の品質を相対的に高くして録画するとよい。例えば、車両の走行中は、撮影機器101Fは前方を、撮影機器101Rのカメラ402は後方を相対的に高い品質で(例えば、細かく)撮影するとよい。
車両の走行中は、典型的には、リアハッチは閉状態である。そこで、車室内撮影用リアカメラ102は、車室内を相対的に低い品質で(例えば、粗く)撮影するとよい。車両が走行であることは、制御部303が車両の車両速度に基づいて特定するとよい。制御部303は、例えば、GNSSセンサ307を用いて取得した位置情報の変化に基づいて車両速度を特定し、車両速度が所定速度(例えば、8km)以上である場合に、走行中と判定してもよい。また、制御部303は、車両から情報を取得できる場合は、OBDIIコネクタを介して車両速度を取得するとよい。
(P-3)車両の前方側を撮影したい場合
車両の前方側としては、車両の車室内における前方側の領域、車両の外の前方側の領域、又はこれらの両方を含む領域がある。例えば、車両の運転席及び助手席の周辺、又は/及び車両の外の前方側の領域の状況を後で確認したい場合がある。そこで、車両前方側を品質良く録画するとよい。そのために、車室内における前方側の領域を相対的に品質良く録画したい場合は、車室内撮影用リアカメラ102は、撮影機器101F及び撮影機器101Rのカメラ402よりも、高い品質で撮影画像を録画するとよい。
車両の外の前方側の領域を相対的に品質良く録画したい場合は、撮影機器101Fは、車室内撮影用リアカメラ102及び撮影機器101Rのカメラ402よりも、高い品質の撮影画像を録画してもよい。車両の車室内における前方側の領域、及び車両の外の前方側の領域を相対的に品質良く録画したい場合は、撮影機器101F及び車室内撮影用リアカメラ102は、撮影機器101Rのカメラ402よりも、高い品質の撮影画像を録画してもよい。撮影機器101Rは録画を停止してもよいが、相対的に低い品質で録画をしてもよい。
(P-4)車両のエンジンがオン又はアクセサリ電源がオンである場合
車両のエンジンがオン又はアクセサリ電源がオンである場合において、車両が走行中でないときは、車両が停車中、例えば駐車中であることが考えられる。そこで、車両の外を品質良く録画するとよい。そのために、撮影機器101F、及び撮影機器101Rのカメラ402の撮影画像の品質を相対的に高くして録画するとよい。車室内撮影用リアカメラ102は、録画を停止してもよいが、車室内を相対的に低い品質で撮影するとよい。
(P-5)車両のエンジンがオフ又はアクセサリ電源がオフであるが、指定時間帯内の録画を行う場合
車両のエンジンがオフ又はアクセサリ電源がオフであるが、指定時間帯内の録画を行う場合、上述したように、送迎等の目的で、リアハッチの周辺の状況を後で確認したい場合があるから、リアハッチの周辺の撮影画像を品質良く録画するとよい。そのために、車室内撮影用リアカメラ102の撮影画像の品質を相対的に高くして録画するとよい。例えば、車室内撮影用リアカメラ102は相対的に高い品質で撮影して、撮影機器101F及びカメラ402は、相対的に低い品質の撮影画像を録画するとよい。撮影機器101F及びカメラ402の少なくとも一方の撮影画像の録画を停止してもよい。
また、車両のエンジンがオフ又はアクセサリ電源がオフであるから、電力の消費を抑えるために、(P-4)で説明した場合よりも、少なくとも一つのカメラについて低品質の録画にして、低消費電力化を実現してもよい。
(P-6)車両のエンジンオフ又はアクセサリ電源オフからの指定時間延長録画の場合
車両の駆動源がオフ又はアクセサリ電源がオフからの指定時間延長録画を行う場合も、上述したように、送迎等の目的で、リアハッチの周辺の状況を後で確認したい場合があるから、リアハッチの周辺を品質良く録画するとよい。その録画制御については、例えば(P-5)と同じとするとよいが、異なっていてもよい。
(P-7)車両のエンジンがオン又はアクセサリ電源がオンであるが、指定時間帯内の録画を行う場合
車両のエンジンがオン又はアクセサリ電源がオンであるが、指定時間帯内の録画を行う場合も、上述したように、送迎等の目的で、リアハッチの周辺の状況を後で確認したい場合があるから、リアハッチの周辺を品質良く録画するとよい。その場合、録画制御については、例えば(P-5)と同じとするとよいが、異なっていてもよい。又は、指定時間帯内である場合に、車両の駆動源がオン又はアクセサリ電源がオンである場合は、車両からの電力の供給を受けられるため、(P-6)の場合よりも少なくとも一部のカメラについて高品質の録画をしてもよい。
このように、制御部303は、いろいろな組み合わせによって映像の品質を可変する機能を備えるとよい。なお、制御部303は、(P-1)~(P-7)で説明したような複数の状況のうち、2つ以上の状況を同時に満たした場合は、ユーザの指定より又はその指定なしにいずれかの状況に応じた制御を行ってもよい。又は、制御部303は、2つ以上の状況を同時に満たした場合は、より品質の高い録画を優先してもよい。
(Q)車室内の音声を収音するためのマイクロホンが、前方本体である撮影機器101Fと、撮影機器101R及び車室内撮影用リアカメラ102の一方または両方とに搭載されるとよい。そして、制御部303は、撮影機器ごと又はカメラごとに、記録する音声の設定を行ってもよい。記録する音声の設定は、ユーザにより手動で設定されてもよいが、予め又は製品出荷段階後にユーザの手動設定ではない方法で設定(例えば自動設定)されてもよい。予め又は製品出荷段階後にユーザの手動設定ではない方法で設定する場合、例えば、以下のように、設定が行われるとよい。
(Q-1)制御部303は、車両に人が乗っていると判定した場合には、乗っていると判定しなかった場合、又は乗っていないと判定した場合よりも、高品質の録音をするように設定するとよい(例えば、細かくとって録音するとよい)。このようにすると、人の音声を高品質に録音できるので、後でその音声の内容を確認しやすい、
(Q-2)(Q-1)の構成のもと、制御部303は、例えば、カメラ又はマイクの位置から、所定範囲内に人が乗っていると判定した場合には、その所定範囲内に人が乗っていると判定しなかった場合、又は乗っていないと判定した場合よりも、高品質の録音をするように設定してもよい。このようにすると、車室内が大きいような場合であっても、人の音声が収音できる状況で高品質に録音することができる。
(Q-3)映像を再生する機能を有するビュアー等のプログラムは、すべてのマイクに入力された音声を同時に記録しておき、記録した映像の再生時には、どのマイクを用いて録音した音声を出力するかを選択する機能を備えるとよい。選択は、ユーザによる手動選択でもよいが、手動選択無しに選択(例えば、自動選択)としてもよい。後者の場合、プログラムは、高品質の録音をしたマイクロホンの音声を選択して出力するとよい。
(Q-4)リアハッチが開状態である場合、撮影機器101Rのカメラ402又は車室内撮影用リアカメラ102のマイクロホンを中心に録音し、リアハッチが閉状態である場合、特に、車両の走行中である場合は、撮影機器101Fを中心に録音するとよい。中心に録音することは、そのマイクロホンのみで録音することとしてもよいが、それ以外のマイクロホンを使用しての録音も行い、録音するときのレベルについては中心とするマイクロホンの音声のレベルが相対的に高くなるようにしてもよい。なお、録音するときのレベルの調整について説明したが、再生時にレベルを調整してもよい。
図12は、取付具を用いた撮影機器101R及び車室内撮影用リアカメラ102の接続を説明する説明図の例である。
取付具901は、第1の取り付け部位902、第2の取り付け部位903、固定手段904を有している。
第1の取り付け部位902は、C形状の断面を有しており、C形状部分の弾性力に基づいて撮影機器101Rをクランプする構成とするとよい。
第2の取り付け部位903はパイプ状に形成されており、その内径は車室内撮影用リアカメラ102の外形よりもわずかに大きく形成されている。第2の取り付け部位903内に挿入された車室内撮影用リアカメラ102は、円周方向及び上下方向で容易に方向調整可能であり、ユーザは、例えば螺子などの固定手段904を用いて、所望の状態で車室内撮影用リアカメラ102を固定することができる。
この構成では、ユーザは非常に容易に、既存の撮影機器101Rに対して、車室内撮影用リアカメラ102を取り付け、固定することができる。
また、取り付け部位902がパイプ状に形成されているため、例えばリアウインドウに接着した撮影機器101Rに対して、取付具901をパイプの軸に対して回転させることで、取付具901の方向を変更することが可能である。
また、取り付け部位903がパイプ状に形成されているため、取付具901に対して、車室内撮影用リアカメラ102をパイプの軸に対して回転させることで、撮影方向を変更することが可能である。
図13は、取付具を用いた撮影機器101R及び車室内撮影用リアカメラ102の接続を説明する説明図の別の例である。
図示されたパイプ状の取付具1001は、3つのジョイント部(開口部)1002を有しており、それらのジョイント部1002のそれぞれは、円筒形のカメラを差し込むことができるように、各々の円弧部分を有するリアカメラの少なくとも一方の端の外径をパイプジョイントの内径と一致するかやや大きく設定すると有利である。それにより、穴にリアカメラを嵌めることができる。例えば穴が2つパイプ状の取付具には2台、3つのパイプ状の取付具には2台か3台のリアカメラを取り付けることができる。
図12の場合と同様に、車室内撮影用リアカメラ102は円周方向及び上下方向で容易に位置や方向を調整可能である。
図13の実施例では、撮影機器101Rへ車室内撮影用リアカメラ102の取り付けにいわゆるパイプジョイント方式を採用することが可能となり、ユーザは完結且つ直感的に情報処理システム対して追加の車室内撮影用リアカメラ102を取り付けることが可能となる。また、追加の車室内撮影用リアカメラ102の撮影機器101Rに対する相対位置又は追加の車室内撮影用リアカメラ102の撮影方向を変更することで、容易に所望の映像を撮影できるように調整することが可能となる。
パイプ状の取付具1001の内部に、カメラ間の電気的な接続を担うケーブルを収容してもよい。それにより、ケーブルが露出した構成に比べて、不測の接触等によりケーブルが抜ける事態避けることができる。
取付具1001には、様々な形状や開口部の位置関係が設計可能であり、また、望まれる取付状態によっては延長パイプを用いることもできる。取付具1001の好ましい形状については、図15に図示する。
パイプ状の取付具1001は、そのままビス止めや貼り付けで固定する構成としてもよいが、ジョイントのための開口部以外のところから、取付部材側に連なる部分(例えばボールジョイント)を設ける構成とするとなおよい。例えば図中のビスのある部分にボールジョイントを設けることができる。
図14は、取付具を用いた撮影機器101R及び車室内撮影用リアカメラ102の接続を説明する説明図の更に別の例である。
図14の取付具1101は、自由雲台状の取付具1101であり、撮影機器101R及び車室内撮影用リアカメラ102が自由雲台状の取付具1101を介して互いに接続している構成が特に有利である。このように、車両10に取り付けられた撮影機器101R及び車室内撮影用リアカメラ102のみがくるくる回るようなイメージのカメラの構成とすることができる。
取付具1101は、ダボネジ部1102、1103を有しており、ダボネジ部1102、1103を撮影機器101Rや車室内撮影用リアカメラ102の筐体部に設けられたダボネジ穴1105、1106へ螺入することにより、撮影機器101R、車室内撮影用リアカメラ102、取付具1101を互いに接続する構成とするとよい。また、撮影機器101R及び車室内撮影用リアカメラ102の間の位置関係の調整後、固定部1104をネジ締めすることで、両者を固定する構成とするとよい。
この実施例により、車室内撮影用リアカメラ102をくるくると回して撮影方向を調整することも、撮影方向を仰角方向や俯角方向へ調整することも、容易に実行することができる。車室内撮影用リアカメラ102自体が、撮影方向(レンズの方向)を調整する機能を有する構成でも、取付具1101を用いて、撮影方向の調整可能な範囲を更に拡張することができる。
また、車室内撮影用リアカメラ102を車内撮影位置から、後方又は左右といった車外撮影位置へ移動させる場合でも、撮影機器101R及び車室内撮影用リアカメラ102の取付状態を安定して維持することが可能である。
図15は、取付具のバリエーションの例である。
図15に示す取付具1201~1208を用いて、円筒形のカメラを複数、簡潔且つ容易に取り付け、組み合わせることができる構成とするとよい。特に、円筒形のカメラの外形の一部及び取付具1201~1208の開口部1210、1220の形状を規格化することで、カメラシステムに対して幅広い拡張性を安価に提供することができる。パイプ状の取付具1201~1208には、円筒形のカメラが取り付けられる開口部1210が円形であるものもあれば、開口部1220のようにパイプの側方側が開放しているもの(例えば、断面形状がC状である)もある。
パイプ状の取付具1201~1208の開口部1210、1220の内径は、円筒形のカメラの外形と同じとするか、わずかに大きくするとよい。
また、取付具1201~1208の円形の開口部1210は、パイプの一部に切込みを入れた形状にしてもよい。
パイプ状の取付具1201~1208を用いる構造では、取り付けられたカメラの角度や位置が調整可能でありまた調整後固定可能である。
パイプ状の取付具1201~1208を、いわゆるパイプジョイントとすることで、容易かつ簡潔な構成及び良好な発展性を、車内カメラの取付に適用することができる。
更に、パイプジョイント用のパイプキャップの上に円筒形のカメラやドライブレコーダを貼り付けた(あるいは一体化した)構造とするとよい。
このようにパイプジョイントの規格を共通化すれば、車両内で用いられていた円筒形のドライブレコーダや車室内撮影用リアカメラ102を取り外し、パイプを組み合わせた棚や柵(囲い)、カートなどのパイプに差し込むだけで、工場や展示会等でも車室内撮影用リアカメラ102を流用して簡単にカメラを取り付けることができる。
また、カメラを取り付けた箇所には、パイプキャップを取り付ける必要がなくなる。
上述の通り、撮影機器101R及び車室内撮影用リアカメラ102が共に円筒形状のハウジングを有している構成では、車室内撮影用リアカメラ102の撮影機器101Rへの取り付けをより簡潔且つ容易に実行できるので有利である。
取付具は、その種類に応じて複数のジョイント部(開口部)を有しており、複数のジョイント部(開口部)に、それぞれ別のリアカメラを差し込めるよう、各々の円弧部分を有するリアカメラの少なくとも一方の端の外径は、取付具の内径と一致するかやや大きく設定されている。
図16は、その他の取付具のバリエーションの例である。
図16(a)は、2つのカメラを接続するための別の取付具1301を図示している。
図16(b)は、2つのカメラを接続するための更に別の取付具1311を図示している。
別の取付具1301及び更に別の取付具1311の開口部のそれぞれには、円筒形のカメラを取り付けることができる。
図16(a)の別の取付具1301は、第1固定部1302、第2固定部1303、及び、それらを回転可能に接続する接続ジョイント1310から構成されている。
図16(a-1)は、第1固定部1302及び第2固定部1303の開口部が共に同一の方向を向いている状態を示している。
図16(a-2)は、図16(a-1)の別の取付具1301を回転軸1307の周りで90°回転した状態を示している。
接続ジョイント1310は回転軸1307の方向に取り付けられたネジ等を有しており、それを締めることで、第1固定部1302及び第2固定部1303を互いに回転不能に固定する構成とするとよい。
第1固定部1302及び第2固定部1303はそれぞれ、2つの固定部部材1305a、1305b、1306a、1306b、及び、それらを互いに回動可能に接続する回動接続部1304から構成されている。回動接続部1304のネジを緩め、固定部部材1305a、1305b、1306a、1306bを開き、カメラを取り付け、再度固定部部材1305a、1305b、又は、1306a、1306bを閉じることで、第1固定部1302及び第2固定部1303にカメラを取り付ける構成とするとよい。
図16(b)の更に別の取付具1311は、第1固定部1312、第2固定部1313、及び、それらを回転可能に接続する回動接続部1314から構成されている。
図16(b-1)は、第1固定部1312及び第2固定部1313の開口部が共に同一の方向を向いている状態を示している。
図16(b-2)は、図16(b-1)の取付具1311の第1固定部1312を回動接続部1314の周りで回動させた状態を示している。ユーザは所望の角度で回動接続部1314をネジ締めすることで、第1固定部1312、第2固定部1313、を互いに回転不能に固定することができる。
回動接続部1314を開いた状態にすると同一方向を向いていたカメラの片方が180度反対方向を向くことになるため、例えばある時には、1つのカメラを車両後方向け、1つのカメラを車室内向けとし、ある時には、2つのカメラを車両後方向けに設置する構成とするとよい。
第1固定部1312及び第2固定部1313の開口部へのカメラの取り付けや固定は、図15との関連で説明した方法で行うことができる。
図17は、ピンプラグを有する車室内撮影用リアカメラ102の例である。
図17の実施例では、車室内撮影用リアカメラ102は、ピンプラグ1401を有しており、このピンプラグ1401は、ドライブレコーダ等の撮影機器101Rや他の追加カメラのプラグジャックに挿入可能である。
ピンプラグ1401には、Oリング1403が取り付けられており、ピンプラグ1401をピンジャック内へ挿入した場合に、Oリング1403の摩擦力に基づき、車室内撮影用リアカメラ102の固定を確実なものとする。
車室内撮影用リアカメラ102が、例えば撮影機器101Rの接合面にかみ合うように、回転防止構造1402として円周内側に三角突起を有する構成とするとなおよい。この回転防止構造1402が、0°、30°、45°、90°、180°、等のあらかじめ決められた角度で撮影機器101Rとかみ合うようにすると、容易に車室内撮影用リアカメラ102の角度を変更できで便利である。
更に、車室内撮影用リアカメラ102が、例えば別の追加カメラとの接合面に、回転防止構造1405として円周外側に三角突起を有する構成とするとよい。
これらの構成は、振動による望まれない回転を防止するのに有利である。
なお、車室内撮影用リアカメラ102に対して同種の別の車室内撮影用リアカメラ102を取り付ける場合、車室内撮影用リアカメラ102の回転防止構造1402と、別の車室内撮影用リアカメラ102の回転防止構造1405とが互いに係合すると有利である。
図18は、図17のカメラの別の回転防止構造の拡大図の例である。
図18は、図17の車室内撮影用リアカメラ102を、撮影機器101Rに取り付けた場合の回転防止構造周辺の拡大図を図示している。
図18には、図17のカメラの回転防止構造1402を車室内撮影用リアカメラ側の回転防止構造1501として図示し、更に、それと係合する撮影機器101R側の回転防止構造1502として図示している。
回転を防止する車室内撮影用リアカメラ側の回転防止構造1501、1502は、撮影機器101R側に形成された鋸歯状の撮影機器側凹凸部1504と、車室内撮影用リアカメラ102側に形成され、撮影機器側凹凸部1504に咬合された弾性体のカメラ側爪部1503とからなり、撮影機器側凹凸部1504の凹部に咬合されたカメラ側爪部1503は、車室内撮影用リアカメラ102に所定以上の回転トルクが付与されない場合は、凹部に保持され、所定以上の回転トルクが付与された場合は、カメラ側爪部1503が、撮影機器側凹凸部1504の凹部から凸部を乗り越えて隣接する凹部に移動可能である。
この構造は、車室内撮影用リアカメラ102を任意の回動位置に容易に保持するのに適している。
このようにして、車室内撮影用リアカメラ102の確実な固定と、車室内撮影用リアカメラ102の回転による撮影方向の容易な変更の両方を達成することが可能となる。またこの場合、車室内撮影用リアカメラ102は、360°以内の所定範囲に保持され、車内後方を撮影する撮影機器101Rが撮像する同一の被写体を異なる角度で撮像可能となる。
図19は、図17のカメラを円筒形の撮影機器に取り付けた実施例である。
図19(a)の取付状態から、車室内撮影用リアカメラ102を一定以上の力でカチカチと回転させると、図19(b)の状態となる。
図19の実施例では、車室内撮影用リアカメラ102は、図17、図18と関連して説明した方法で、車両後方を撮影する撮影機器101Rに接続されている。車室内撮影用リアカメラ102は、図19(b)では、レンズ1601を、撮影機器101Rと同様に後方へ向けた状態で固定されている。反対に図19(a)では、不図示のレンズ1601は、車内に向けられており、車両後方から車両前方に向かって車内を撮影する。
車室内撮影用リアカメラ102は、図17、図18と関連して説明した回転防止構造1602を有している。この回転防止構造1602により、車室内撮影用リアカメラ102と撮影機器101Rの間の回転可能であり且つ確実な固定を達成する構成とするとよい。
図19の撮影機器101Rは、第1ハウジング1603、第2ハウジング1604、レンズ1605、ブラケット1606、滑り止め1607、支持脚部1608、取り付け面1609、取り付けプレート1610等を有するものである。
撮影機器101Rと車室内撮影用リアカメラ102が、同一の外径を有する円筒上のハウジングを有する構成であると、外見上の一体感が向上し、外観的に好ましい。
なお、車室内撮影用リアカメラ102を撮影機器101Rに外付けする構成で説明したが、図19を予め一体に整形され、レンズの方向を変更可能な1つの機器として構成することもできる。
同様の車室内撮影用リアカメラ102を前方の撮影機器101Fに取り付けることも可能である。また、図17から図19に従う車室内撮影用リアカメラ102は、ピンプラグを差し込むことができるピンジャックを有する様々なタイプのカメラ、例えばデジカメ型/円筒型のカメラ、に取り付けることができる構成とするとよい。
また上記の通り、車内用カメラはフロント/リアのどちらのカメラにも接続可能であり、接続したカメラを検出することで、前方からの車内画像、後方からの車内画像に合わせて画像調整を設定される構成であるとよい。
特に、車室内撮影用リアカメラ102はIPSによる処理や圧縮処理を施したデータを出力するものであると有利であるが、RAWデータをそのまま出力するものであってもよい。
車内用カメラのピンジャックのピン形状及びピン配置は、既存のリアカメラ用のピンジャックのピン形状及びピン配置と互換性のあるものとすると有利である。この構成では、ユーザは、既に車両に取り付けられている既存の撮影機器101Rのピンジャックを介して、車室内撮影用リアカメラ102を容易に取り付けることができる。
また、車室内撮影用リアカメラ102の画角を、撮影機器101Rの車両後方向けカメラの画角よりも、狭く選択する構成とするとよい。このような構成では、車室内の様子をより良好に撮影することができる。
上記の構成において、ドライブレコーダの異なる面、特には異なる側面や底面、に前記互換性のあるコネクタを差し込むことができるプラグジャックを備え、異なる面に備えた互換性のあるプラグジャックに差し込まれたカメラの映像のすべてを時刻同期して再生可能に記録可能なドライブレコーダとすると更に有利である。
そのような構成では、ユーザは、追加するカメラの総数や撮影方向、画角や撮影方式等のカメラの諸元に応じて、撮影範囲、撮影目的、制御機能に関する所望の拡張を容易に実現することができる。
図17から図19では、車室内撮影用リアカメラ102は、丸ピンプラグのオスが本体から突出する形だが、これを通常のメスとし、オスオスの丸ピンプラグを用いて、車室内撮影用リアカメラ102とメインカメラである撮影機器101R等の他のカメラを接続する構成もよい。この構成では、オスオスの丸ピンプラグが、車室内撮影用リアカメラ102と撮影機器101Rの間の電気的な接続に加えて、機械的な接続及び固定の役割を担うことが好ましい。
上記のようなZ形状のオスオスの丸ピンプラグを使用すると、車室内撮影用リアカメラ102を撮影機器101Rに対して、より大きな回転半径の軌道上で回転させ、位置調整することが可能となる。車室内撮影用リアカメラ102は軽量であるので、上記のプラグの他に、車室内撮影用リアカメラ102を撮影機器101Rに取り付け、位置決めし、固定するために、追加の取付具を排除することができる。
更に、オスオスの丸ピンプラグを使用する構成では、車室内撮影用リアカメラ102からピンプラグが突出することがなく端子の静電気等の電気的衝撃・端子を曲げる力などの物理的な衝撃等による輸送・保管時の破壊の防止を図ることができるとともに、車室内撮影用リアカメラ102を直接他のカメラに接続せずに、単体で別の場所に配置した際に、接続するケーブル端がメスコネクタとなって大きくなってしまうことを防止できる。また車室内撮影用リアカメラ102を車外用カメラとして使用することも容易となる。
更に別の接続及び固定具としては、撮影機器101Rと車内用カメラとの端子を同一軸上(同一直線上)ではない位置で、両カメラの位置を回転調整可能かつ(半)固定可能な固定具を用いて接続する構成とすることができる。このようにすることで、両端がI字のケーブルの両Iの軸がずれるため、Iプラグ同士を平行に配置でき、両者間の幅を小さくできる。言い換えれば、通常互いに一直線に並んで設計されている各オス部分の軸線をずらした構成とすることが望ましい。例えば、オスオスの丸ピンプラグを、Z形状、ハンドル形状あるいはクランク形状等に形成する構成とするとよい。これらの接続及び固定具により、車内用カメラとメインカメラの間の間隔を減少することができる。同様の構成は、L字端子のI部分にも同様に採用することができる。
図20は、図17のカメラをデジタルカメラ型の撮影機器101Rに取り付ける手順を説明する説明図の例である。
図20(a)は、デジタルカメラ型ドライブレコーダである車両の後方を撮影する撮影機器101Rが、車両内に設置され、ケーブル1703により電源やフロントカメラに接続されている状態を示している。ケーブル1703は1本で、電力の供受給及びデータの送受信の役割を担う構成とするとよく、そのような構成では、配線を簡潔にすることが可能となり有利である。
図20(b)は、図20(a)の撮影機器101R、ケーブル1703、電源やフロントカメラの間の接続を解除し、撮影機器101Rとケーブル1703の間に、図17に従う車室内撮影用リアカメラ102を取り付ける直前の状態を示している。
車室内撮影用リアカメラ102のピンプラグ1705及びピンジャック1706は、それぞれ撮影機器1701のピンジャック1704及びケーブル1703のピンプラグ1707の規格に対応するものである。
なお、図20では、ケーブル1703のピンプラグ1707は、ケーブル1703の外径よりも大きく記載されているが、これは単に見やすさのためであり、ピンプラグ1707の外径はケーブル1703の外径よりも小さくても構わない。
図20(c)は、撮影機器1701とケーブル1703の間に、図17に従う追加の車室内撮影用リアカメラ102を取り付けた状態を示している。撮影機器101R及び追加の車室内撮影用リアカメラ102は、ケーブル1703を介した電源からの給電、フロントカメラとの撮影データの送受信が可能な状態にある。言い換えれば、ケーブル1703は、デジタルのデータを伝送する役割に加えて、個々のカメラに対して電力を供給する役割も担っている。そのため、車室内撮影用リアカメラ102を追加しても、新たな配線は不要であり、1本のケーブルを用いた簡潔な取り回しが可能となる。このケーブルは特には同軸型のケーブルを用いるとよい。
図20(c)では、車室内撮影用リアカメラ102を既存の撮影機器101Rへ容易に取り付けることが可能となる。既存の撮影機器101Rは一般に、規格化されたピンジャックを有しているので、車室内撮影用リアカメラ102に対応する規格化されたピンプラグを設けることで、様々な撮影機器101Rを本情報処理システムに採用することができる。
図20(c)では、撮影機器101Rとケーブル1703の間には、1つの追加の車室内撮影用リアカメラ102のみが取り付けられているが、複数の追加の車室内撮影用リアカメラ102を直列に取り付けることも可能である。更に、ユーザは複数の追加の車室内撮影用リアカメラ102を分岐ケーブルを用いて取り付ける構成であるとよく、そのような構成については図21で説明する。
図20(c)の構成では、撮影機器101Rは車両後方外部を撮影するように、そして、車室内撮影用リアカメラ102は車室内を撮影するように、それぞれ撮影方向を設定されている。
車室内撮影用リアカメラ102は、ケーブル1703を介してフロントカメラからの映像データを受け取り、受け取ったフロントカメラからの映像データ及び車室内撮影用リアカメラ102自体が撮影した映像データの双方を、撮影機器101Rへ送る構成であるとよい。上述の通りケーブル1703は、撮影機器101R及び車室内撮影用リアカメラ102への給電にも利用可能な構成であるとなおよい。
フロントカメラ及び車室内撮影用リアカメラ102から撮影機器101Rへ送られるデータは、フロントカメラ及び車室内撮影用リアカメラ102のそれぞれでISP(Image Signal Processor)による処理や圧縮処理を施したデータであってもよいし、RAWデータであってもよい。
フロントカメラ及び車室内撮影用リアカメラ102がRAWデータをそのまま送信する構成では、更に、撮影機器101Rが、それらのRAWデータに対して、ISPによる処理や圧縮処理を行う構成であるとよい。
車室内撮影用リアカメラ102は、撮影機器101Rからの映像データを受け取り、受け取った撮影機器101Rからの映像データ及び車室内撮影用リアカメラ102自体が撮影した映像データの双方を、フロントカメラへ送る構成であるとよい。そのような構成では、撮影機器101R及び車室内撮影用リアカメラ102からフロントカメラへ送られるデータは、撮影機器101R及び車室内撮影用リアカメラ102のそれぞれでISPによる処理や圧縮処理が行われたデータであるとよりよいが、RAWデータであってもよい。
撮影機器101R及び車室内撮影用リアカメラ102が、RAWデータをそのまま送信する構成では、フロントカメラがそれらのRAWデータに対して、ISPによる処理や圧縮処理を行うこともできる。
撮影機器101R、車室内撮影用リアカメラ102、フロントカメラのそれぞれがIPSによる処理や圧縮処理を実行する構成では、1つのカメラにISP処理等が集中しないため、例えば撮影機器101Rの制御部303は、例えば図4に関連して説明した画像解析や状況判定に対して、より多くの演算処理能力を割り当てることが可能となる。それにより、より高速あるいはより高精度に画像解析や状況判定を実行することができる。
車室内撮影用リアカメラ102やフロントカメラがRAWデータを撮影機器101Rへ送り、撮影機器101Rが、車載カメラシステムを構成する個々のカメラの映像データの全てのIPS処理や圧縮処理を実行する構成では、メインユニットである撮影機器101Rを高性能にし、それ以外を安価なユニットで構成することが可能となり、システム全体を安価に製造することができる。
上記の構成では、更に、映像の記録媒体は、フロントのみ/フロント及びリア/リアのみ、の3通りから、選択可能な構成とするとよい。
記録媒体をフロント及びリアの双方に設けた構成では、記録媒体が両方に分かれていることにより、大事故時に、例え一方のカメラが破損したとしても、取り残しを防ぐことができる。
記録媒体がフロント+リアの2つになっている場合、お互い通信や電気信号等でフレームの同期をとる構成であるとよい。なお、この構成における同期はある程度ずれていてもよい。
記録媒体がフロント+リアの2つになっている場合、互いの映像の時刻を合せる機能を持つと良い。
記録媒体がフロント+リアの2つになっている場合、イベントトリガを両方で検知すると良い。またこの構成では更に、イベントトリガはOR、ANDなどの条件で決定、設計する構成であるとよい。
図21は、分岐ケーブル1804を用いて図17のカメラを2つ、デジカメ型の撮影機器に取り付けた実施例である。
図21の実施例では、別の装置に2つ以上のカメラの映像を伝送することが可能となる。別の装置とは、図21の実施例では例えばデジカメ型ドライブレコーダである撮影機器101Rである。撮影機器101Rには、二股の分岐ケーブル1804を介して、2つの車室内撮影用リアカメラ102が接続されている。
車室内撮影用リアカメラ102はそれぞれ不図示の位置固定手段で車両の所望の位置に、特に車両の後方領域に、取り付けられている。
図21の実施例には、2つの車室内撮影用リアカメラ102、すなわち第1の追加カメラ1802a及び第2の追加カメラ1802b、が設けられている。例えば第1の追加カメラ1802aが車両の後方から前方に向かって車室を撮影し、第2の追加カメラ1802bが車両の側方を車両後部から撮影する構成とすると有利である。
撮影機器1801は、更に別のピンジャックを有していてもよく、そのような構成では2つの分岐ケーブルを用いて、更に2つの追加のカメラを接続することも可能である。
また、分岐ケーブルは、二股に限らず三股以上に分岐していてもよい。
この実施例では、追加の車室内撮影用リアカメラ102は、例えば、車室内撮影用リアカメラ102自体が撮影した映像データ、及び、撮影機器101Rからの映像データを外部にパススルーする構成であるとよい。
また、第1の追加カメラ1802aは、ケーブル1803からの電力供給をパススルーすることができ、第2の追加カメラ1802b及び、撮影機器101Rに、分岐ケーブル1804を介して電力を提供する構成であるとよい。
車室内撮影用リアカメラ102は、ケーブルを介して、車室内撮影用リアカメラ102自体が撮影した映像データ、撮影機器101Rが撮影した映像データ、及び電力を、外部に送ることもできるし、ケーブルを介して外部から送られてきた映像データ、車室内撮影用リアカメラ102自体が撮影した映像データ、及び電力を、撮影機器101Rへ送ることもできるような構成であるとよい。
車室内撮影用リアカメラ102が、室内の撮影でIRLEDを点灯させるIRカメラである構成は、夜間等にも車室内を明瞭に撮影することができる。車内撮影用のカメラがIRカメラである構成は、車外/夜間の撮影にも良好に対応することができる。
上記の構成では、IRフィルタを自動で挿入/非挿入するレンズを使用する構成であるとよりよい。
車内撮影用のカメラが、RGB-IRカメラであり、RGB撮影モードとIR撮影モードを適宜切り替える構成とすることもできる。これにより車内撮影用のカメラは、夜間等の低照度の状況ではIR撮影モードで撮影を行い、十分な照度の状況ではRGB撮影モードでの撮影に切り替えることができる。
車室内撮影用リアカメラ102が、車外にも向けられるカメラとカメラの方向の調整に連動する投光方向を持つ投光器を備える車内撮影用カメラであって、車外にカメラを向けたとき投光器の光を電気的遮断または機械的遮蔽によって光が車外に見えない状態とすることができる構成とするとよい。
例えばカメラの回転と連動して、カメラが後ろを向いたら、投光器が機械的に遮蔽又は電気的に遮断する構成であるとよい。
この構成により、一方では、車内の撮影に必要な光量を確保することが可能であり、他方では、車外の撮影時には、投光器の光を車外から確認することができない構成が達成される。
更に、カメラの回転と連動して、例えば使用するレンズを変更し、撮影する映像の画角を変更する構成であるとよい。例えば、車内撮影では標準から中望遠(例えば35mmフィルムカメラ換算で50mm~80mmの焦点距離)、車外撮影では超広角(例えば35mmフィルムカメラ換算で10mm~20mmの焦点距離)といった変更や、車内撮影では広角(例えば35mmフィルムカメラ換算で24mm~28mmの焦点距離)、車外撮影では超広角(例えば35mmフィルムカメラ換算で10mm~20mmの焦点距離)といった変更が可能である。
制御部303は、これらの措置を後方撮影モードとして実行することができる。制御部303は、例えばカメラの回転と連動して、後方撮影モードへの切り替えを実行し、これにより、例えば赤外LED等の投光器の光を電気的遮断または機械的遮蔽や、レンズの変更が行われるとよい。また、制御部303は、後方撮影モードへの切り替えが行われたことや後方撮影モードであることを通知する情報を、例えばユーザ端末に対して出力する構成であるとよい。
上記の車内撮影用カメラが、上記の後方側を向けたときのレンズの前にガラス面ごしに良く映るようにしたフィルタを備える構成であるとよい。フィルタとしては、NDフィルタ、PLフィルタや、添付のポジカフィルムなどを用いるとより有利である。
上記のフィルタを、車両後方に取り付けられた半天球カメラの後ろ側の部分に施す構成とするとよく、特に後ろ側の半分にだけ施す構成もよい。このような構成でも、車内の撮影に必要な光量を確保することが可能であり、車外の撮影時には、投光器の光を車外から確認することができない構成を達成できる。
さらに、以下のようにしてもよい。
自動車の後退時に発生する事故に対する安全対策の更なる強化が求められている。これに関連して、車両10のリア側から車両10の後方を2カメラで撮影し、距離を得る情報処理システムの用途として、以下のようにしてもよい。以下の構成は、例えば、上述した、撮影機器101Rと、車室内撮影用リアカメラ102との2カメラ(以下では、「後方側を撮影するカメラ」などと称することがある。)で車両後方を撮影して、後方車両などの後方の物体までの距離を測定する情報処理システムに適用できる。
1.情報処理システムは、運転者から視認可能な位置に設置するディスプレイを有する機器に、有線または無線を介して直接あるいは間接的にリア寄りに設置された後方側を撮影するカメラを接続し、その後方側を撮影するカメラの映像を取得して運転者が視認可能に表示するシステムとするとよい。
ディスプレイを有する機器の設置位置は、ダッシュボード上、ルームミラー、Aピラー、サンバイザーの位置とするとよく、これらの取付具のうち少なくとも3つが同一の前記ディスプレイを有する機器に取付可能な取付部を当該機器に備えるとよい。
また、当該機器に取付可能な前記少なくとも3つの取付具と当該機器とが梱包材の中に同梱された状態で出荷される構成とするとよい。
カメラと当該機器と当該少なくとも3つの取付具が同梱された状態とするとよい。
複数の異なるカメラの映像を入力して、ディスプレイに対して表示するカメラの映像を選択あるいは1画面に合成する機能を備えるとよい。
いずれのカメラの映像あるいは合成した映像である合成映像が表示されている状態でも音声認識またはワンタッチで、カメラの映像としては後方を撮影するカメラの映像を1画面内に表示し、他のカメラの映像は当該1画面内には表示しない状態へ遷移させる機能を備えるとよい。
前記遷移の前の状態を記憶しておき、一定時間経過したら、当該記憶された前記遷移前のカメラの選択状態へ戻る機能を備えるとよい。
車両が後退状態に切り替えられたことを検知する機能を備え、車両が後退状態に切り替えられたときには、少なくとも車両のリア側から車両の後方を撮影範囲とする映像を前記ディスプレイに表示させた状態にする機能を備えるとよい。
ただし、このタイミングでは、バック開始が検出されてから画面に車両後方の映像が表示された状態となるケースが多いので、バックしようとしたときの状態の確認には使えないケースが出てくる。
そこで、運転者が車両を後退させる指示を入力したときに、少なくとも車両のリア側から車両の後方を撮影範囲とする映像を前記ディスプレイに表示させた状態にする機能を備えるとよい。
運転者が車両を後退させる指示は、音声認識で入力するようにするとよい。ボタン押下の検出とするようにしてもよい。
ハザードランプの点灯を検出するようにしてもよい。運転者のギヤ操作を検出するようにしてもよい。
特にこれらのいずれかと「停車状態である」ことの検出が両方成立したときに、少なくとも車両のリア側から車両の後方を撮影範囲とする映像を前記ディスプレイに表示させた状態にする機能を備えるとよい。
ハザードランプの点灯の検出は、(リアから)車室内向けのカメラで撮影した映像内での運転者のハザードランプ点灯ボタンの操作の検出、ハザードランプの点灯状態を示すランプの点灯状態の検出、例えば方向指示ランプの左右両側の点灯の検出等で行うとよい。
運転者のギヤ操作の検出は、(リアから)車室内向けのカメラで撮影した映像内での運転者のギヤの操作の検出等で行うとよい。
ハザードランプの操作ボタン、ギヤ操作レバー等は、車両の左右中央部に設けられている車両が多く、リア側から車室内を撮影するカメラによって良好に状態が取得できる。
2.情報処理システムは、車両が後退状態に切り替えられたことを検知する機能を備え、後退状態に切り替えられたことに応じたトリガの前の時間を含む車室内の映像と、後退状態に切り替えられたことに応じたトリガの前の時間を含むリアから後方を撮影した映像とを記録する機能を備えるとよい。この映像には、再生時に他のイベントと区別できる情報を関連付けて記録するとよい。
3.上記1.2.等の車両が後退状態に切り替えられたことを検知する機能は、Gセンサの前後方向の加速度の方向の変化を用いて検知する方法、GPS等から取得した車両の進行方向の変化を検知する方法、カメラの映像の変化を用いる方法のいずれかを用いるとよく特に少なくともいずれか2つを用いて検知するとよい。
カメラの映像としては、前方を撮影するカメラ、後方を撮影するカメラ、側方を撮影するカメラのいずれかとするとよいが、特に側方を撮影領域に含むカメラとするとよく、特に下向きに設置した半天球カメラの周辺部の映像の流れる方向の変化を用いるとよく、特に円周方向に流れる映像の方向の転換を検知する構成とするとよい。
4.情報処理システムは、リア側に設置され車両の後方を撮影するカメラの映像から車両の後方の物体までの距離を求め、当該距離に基づく警報を行う機能を備えるとよい。
情報処理システムは、1台のカメラから車両の後方を撮影する映像が取得されているときには単眼カメラによる距離推定によって車両後方の障害物までの距離を推定し、2台のカメラから車両の後方を撮影する映像が取得されているときにはステレオカメラによる距離推定によって車両後方の障害物までの距離を推定するように切り替える切替機能を備えるとよい。
この切替は予め設定画面や機器に備えるスイッチ等で設定しておき、この設定状態に応じて切り替えるようにしてもよいが、入力される映像の状態、機器の設置状態によって、自動的に切替を行う機能を備えるとするとよい。
情報処理システムは、自動切り替えするか、手動設定するかを選択しておく、機能を備えるとよい。
5.情報処理システムは、車室内を撮影するカメラの映像中(例えば1フレームの映像領域中、一枚の静止画の領域の中)から次の部分の領域を弁別して求める機能を備えるとよい。
(1)車の構造物の領域(座席、ピラー等)、(2)車の外の領域(例えば窓越しに見えている領域)、(3)車の中の人や荷物のように移動可能なものの領域
情報処理システムは、車両内の人を検知する機能を備え、人がいないと判定されたときの映像を保持しておき、保持した映像の差分から(1)(2)の領域を求めるとよい。
特にカメラの映像以外から車両内の人を検知する機能を備え、これに基づいてこの処理を行うとよい。
熱画像センサ、焦電センサ等を車室内に設置し、情報処理システムは、こうしたセンサがガラス越しの人は検知しない特性を用いて車室内に人がいるか否かを検知する機能を備えるとよい。
情報処理システムは、車室内を撮影するカメラの映像を、予め学習した学習モデルを用いて推論させセグメンテーション結果を得て、上記(1)から(3)の領域を求める機能を備えるとよい。
情報処理システムは、セグメンテーションではない物体検出機能を備え、人や物が車外のものか車内のものかを弁別する機能を備え、車内か車外かによって警報を行うか否か、または、警報の態様(例えば警報の内容やレベル等)を変える機能を備えるとよい。
6.情報処理システムは、リア側カメラの撮影範囲を自動的に推定する機能を備えるとよい。情報処理システムは、特に1枚の映像領域中での後方側の範囲を決定する機能を備え、その範囲の映像を前記ディスプレイに表示させる機能を備えるとよい。
7.情報処理システムは、車両のリア側から車両の後方側を撮影した映像から、後方車両までの距離を求める機能を備え、バック時(後退時)には、前記後方車両までの距離を用いて警報を行う機能と、前進時には、前記後方車両までの距離に基づき後方車両のあおり運転を検出する機能を備えるとよい。
8.情報処理システムは、車両のリア側から車両の後方側を撮影した映像から、後方の物までの距離を求める機能を備え、前進時とバック時(後退時)とで、後方の物までの距離の算出処理内容を変更する機能を備えるとよい。
情報処理システムは、バック時には0から数メートル範囲で精度よく算出するように検出範囲のレンジを設定する一方、前進時には数メートルから数十メートル範囲を精度よく算出するように検出範囲のレンジを設定する等、そのレンジを変更する機能を備えるとよい。
上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、SSD(Solid State Drive)等の記憶装置、または、ICカード、SDカード、DVD等の記録媒体に置くことができる。
本発明を適用しうる車両やその他の場所として、以下のようなものもある。
幼稚園・養護学校送迎バス。お迎えの先生は同乗しているが、何か事故やトラブルがあったときに、運転手、先生、子供たちの動きが確認できる。幼稚園児がバスに取り残されてしまうことの事故の防止に寄与することが期待できる。
観光バス、ホテル送迎バス、電車内など、人を運ぶ車両への装着。
飛行機内。操縦室から客室の様子が分からない可能性がある。その場合、キャビン、貨物室に装着したカメラの映像を、コクピットや、ギャレー(例えばCAエリア)で映像を確認できると、トラブルや、事件を事前防止で役に立つと考えられる。これらは監視カメラ類に近い用途である。
リアハッチは、上方へ開く跳ね上げ式のタイプのものが多いが、車種によっては、リアハッチが、横方向への片開きするもの、又は観音開きするものもある。このようなリアハッチの場合は、車室内撮影用リアカメラ102は、開状態において、横方向から車両500の後方を撮影することとなる。リアハッチは、手動で開閉するもののほか、電動で開閉するものであってもよい。また、上述した各構成において、車両後方の開口部を開閉する後方開閉部の一例であるリアハッチとして説明したところは、適宜、車両の開口部を開閉する開閉部として読み替えられてもよい。例えば車両後方以外の部位に設けられた開閉部に同様の構成を採用することも考えられる。
なお、既に「車両後方から車両前方に向かって撮影した車室内の映像データを処理することを特徴とし、例えば、車両後方から車両前方に向かって撮影した車室内の映像データと、車両後方から車両後方外部を撮影した車外の映像データと、を処理する、ことを特徴とする。」と説明しているように、また、ここまでの実施の形態の説明からも分かるように、車両の後方側に設けられる撮影機器は、少なくとも車両後方から車両前方に向かって撮影する機能を有する撮影機器として把握することができ、例えば、車両後方から車両後方外部を撮影する機能を有しない撮影機器として把握することができる。例えば、撮影機器101Fが、カメラ402を有さず、車室内撮影用リアカメラ102を用いて撮影した車室内の映像データを処理する構成としてもよい。
[a.撮影機器101Fの構成例]
撮影機器101Fは、例えば、以下の構成とするとよい。
<a-1.撮影機器101Fの外観構成>
図24は、撮影機器101Fの外観構成の一例を示す図である。図24(a)は、撮影機器101Fを前方側の右斜め上方向から見た図である。図24(b)は、撮影機器101Fを後方側の右斜め上方向から見た図である。撮影機器101Fは、筐体1010を有する。筐体1010は、上下方向よりも左右方向に長く、かつ厚みは比較的小さい直方体状である。筐体1010は、車両に取り付けられたときに上方を向く上面1011と、第2の側面1012と、第1の側面1013と、第1の側面1013の反対側に位置する第3の側面1014と、第2の側面1012の反対側に位置する第4の側面1015と、を有する。
上面1011には、ジョイントレール552と、カメラジャック5591と、が設けられている。ジョイントレール552は、撮影機器101Fを車両の所定の取付位置に取り付けるためのブラケット(例えば、後述するブラケット600)を着脱可能である。取付位置は、例えば、車両フロントガラス(例えば、フロントガラスにおける上端付近)、又は車両のルームミラーや車室内の天井等としてもよい。撮影機器101Fが車両に取りけられたとき、第2の側面1012が車両の前方側を向く。このとき、第1の側面1013は、車両の後方側から見て右側を向く。第3の側面1014は、車両の後方側から見て左側を向く。第4の側面1015は、車両の後方側を向く。
カメラジャック5591は、撮影機器101Rと電気的に接続するためのケーブルの一端が接続される端子である。ケーブルは、例えば、撮影機器101Rとの間で各種信号(例えば、映像信号)を送受信するための信号線と、撮影機器101F側から撮影機器101R側に電力を供給するための電源線と、を有する。例えば、撮影機器101Fは、撮影機器101Rからケーブルを介して、撮影機器101Rで撮影された画像を特定する映像信号を取得したり、ケーブルを介して、撮影機器101Rに電力を供給したりするとよい。カメラジャック5591は、例えばUSB TypeCの規格に対応し、撮影機器101Fが撮影機器101Rとイーサネット規格の通信を行うための端子としてもよい。
第2の側面1012には、撮像レンズ5551と、放音孔553と、マイク孔554と、が設けられている。撮像レンズ5551は、撮影機器101Fが備える撮影部(後述するカメラ5515。第3のカメラの一例)が有する集光用のレンズである。放音孔553は、撮像レンズ5551の上方に設けられ、撮影機器101Fが有する音声出力部(後述する音声出力部5514)が出力した音声を、筐体1010の内部から外部に透過させる孔である。マイク孔554は、撮像レンズ5551の下方に設けられ、外部からの音を筐体1010の外部から内部に透過させる孔である。筐体1010の内部に透過した音は、撮影機器101Fが有するマイクロホン(後述するマイクロホン5521)に入力される。
第1の側面1013には、イベント録画ボタン5522が設けられている。イベント録画ボタン5522は、右ハンドルの車両の運転者が操作しやすいように、運転者席側を向く第1の側面1013に設けられている。イベント録画ボタン5522は、カメラ5515が撮影した画像の記録(つまり録画)の開始、又はその記録の終了を指示するための操作手段である。イベント録画(イベント記録ともいう。)が行われていないときに、ユーザによりイベント録画ボタン5522が操作されると、撮影機器101Fはイベント録画を開始する。イベント録画について詳しくは後述する。
イベント録画ボタン5522は、記憶媒体5500(図26を参照のこと。)に記憶された画像が再生(言い換えると画像が表示)されている期間においては、表示面5531に表示する画像を切り替るためのボタンとして機能する。この場合、イベント録画ボタン5522が操作されると、表示面5531に表示される画像は、撮影機器101Fのカメラ5515により撮影された画像(図27(a)において「フロント」と示す画像)、撮影機器101Rのカメラ402により撮影された画像(図27(a)において「リア後方」と示す画像)、撮影機器101Rの車室内撮影用リアカメラ102により撮影された画像(図27(a)において「リア室内」と示す画像)、撮影機器101Fのカメラ5515により撮影された画像(図27(a)に「フロント」と示す画像)・・・(以降、ループ)という順で切り替わるようになっている。
第3の側面1014には、端子5592と、記憶媒体挿入口5581と、が設けられている。端子5592は、外部の機器から電力の供給を受けるための端子である。端子5592は、例えばDCジャックである。端子5592は、電源用のコード(例えば、シガープラグコード)の一端側のコネクタが接続される。電源用コードの他端側のコネクタは、例えば車両側に設けられた給電用の端子(例えば、シガーソケット)に接続される。
端子5592は、車両のOBDII(「II」は「2」のローマ数字である。)コネクタに接続可能なOBDIIアダプタが接続されてもよい。OBDIIコネクタは、故障診断コネクタの一例で、車両のECU(Engine Control Unit)に接続され、所定の期間毎(例えば、0.5秒毎)に各種の車両情報が出力される端子である。端子5592が、図示せぬOBDIIアダプタを用いてOBDIIコネクタと接続されることで、撮影機器101Fは、車両から動作用の電力の供給を受けるとともに、車両から車両情報を取得する。
車両情報は、車両の状態に関する情報である。車両情報は、例えば、車両の速度(車速)、エンジン回転数、エンジン負荷率、スロットル度、点火時期、残り燃料の割合、インテークマニホールドの圧力、吸入空気量(MAF)、インジェクション開時間、エンジン冷却水の温度(冷却水温度)、エンジンに吸気される空気の温度(吸気温度)、車外の気温(外気温度)、燃料タンクの残り燃料の量(残燃料量)、燃料流量、瞬間燃費、アクセル開度、ウインカー情報(左右のウインカーの動作(ON/OFF))、ブレーキ開度、ハンドルの回転操舵角、ギヤポジション、及びドア開閉状態の情報等の少なくとも1つ以上とするとよい。
記憶媒体挿入口5581は、外部の記憶手段としての記憶媒体5500を、撮影機器101Fの内部に挿入するための挿入口である。記憶媒体5500は、例えば撮影機器101F又は撮影機器101Rで撮影された画像が記録される記憶媒体で、例えばSDカードである。SDカードは、例えば、SDメモリカード、miniSDカード、及びmicroSDカード等のいずれの形状も含む。記憶媒体5500は、さらに、記憶した画像をパーソナルコンピュータ等の情報処理装置で再生するためのビュアー(例えば、専用ビュアー)のプログラムを記憶してもよい。
第4の側面1015には、操作部5523と、表示面5531と、発光部5525と、が設けられている。操作部5523は、第1のボタン5523Aと、第2のボタン5523Bと、第3のボタン5523Cと、第4のボタン5523Dと、を有する。第1のボタン5523A、第2のボタン5523B、第3のボタン5523C、及び第4のボタン5523Dは、表示面5531の右側の一辺に沿って上下に並べて配置される。これら各ボタンに割り当てられる機能としては、例えば以下の機能がある。
第1のボタン5523Aは、長押しされた場合に画像を切り替るためのボタンとして機能し、短押しされた場合に記憶媒体5500のフォーマットを指示するためのボタンとして機能する。
長押しされた場合に表示面5531に表示される画像は、例えば、撮影機器101Fで現在撮影されている画像、及び撮影機器101R(例えば、カメラ402、及び車室内撮影用リアカメラ102)で現在撮影されている画像の一部又は全てである。長押しされた場合、図27(b)に示すように、撮影機器101Fのカメラ5515により撮影されている画像(図27(b)において「フロント」と示す画像)、撮影機器101Rのカメラ402により撮影されている画像(図27(b)において「リア後方」と示す画像)、撮影機器101Rの車室内撮影用リアカメラ102により撮影されている画像(図27(b)において「リア室内」と示す画像)、これら3つのカメラにより撮影されている画像(図27(b)において「フロント+リア」と示す画像)、これら3つのカメラにより撮影されている画像を表示せずに表示をOFFした画面(図27(b)において「画面OFF」と示す画面)、撮影機器101Fのカメラ5515(図27において「フロント」と示す画像)・・・(以降、ループ)という順で、切り替わるようになっている。図27(b)に示す「フロント+リア」と示す画像においては、カメラ5515で撮影された画像の表示領域が、カメラ402及び車室内撮影用リアカメラ102のそれぞれで撮影された画像の表示領域よりも大きく、かつL字形状の領域によって特定される。カメラ402及び車室内撮影用リアカメラ102のそれぞれで撮影された画像の表示領域は、それぞれ矩形の領域であり、例えば互いに同じサイズの領域とするとよい。
記憶媒体5500をフォーマットすることは、記憶媒体5500を初期化することであり、例えば、記憶媒体5500に記憶された画像等のデータを消去すること、撮影機器101Fが記憶媒体5500を使用できる状態にする(例えば、画像の記録及び読み出しをすることができる状態にする)ために、動作設定の内容を示す設定情報を記憶媒体5500に書き込むこと、及び記憶媒体5500を特定のファイル状態にすること、の少なくともいずれかとして把握される。
第2のボタン5523Bは、撮影機器101Fが再生する画像を選択する選択画面を表示するためのボタンである。第3のボタン5523Cは、撮影機器101F、及び撮影機器101Rの設定に関するメニューを表示するためのボタンである。第4のボタン5523Dは、画像の記録の開始、及び停止を指示するためのボタンである。例えば、後述する常時録画機能による録画中に、第4のボタン5523Dが短押しされた場合、その記録が一時停止する。その一時停止中に、第4のボタン5523Dが短押しされた場合、常時録画機能による画像の記録が再開する。第4のボタン5523Dが長押しされた場合、画像を記録する際のフレームレートを変更することができる。
表示面5531は、撮影機器101Fが有する表示部(後述する表示部5513)が表示する画像が表示される領域である。表示面5531は、例えば、長方形又は正方形の領域である。表示面5531に重ねてユーザのタッチ操作を検出するためのタッチセンサ5524が設けられている。
発光部5525は、第1のボタン5523Aよりも上方に設けられ、所定の色で発光する。
<a-2.ブラケットの構成>
図25は、ブラケット600の構成を示す図である。図25(a)は、ブラケット600を前方側の右斜め上方向から見た図である。図25(b)は、ブラケット600を側面側から見た図である。図25(c)は、ブラケット600を前方側の右斜め下方向から見た図である。ブラケット600は、撮影機器101Fを車両に取り付ける取付部材の一例である。
ブラケット600は、ボールジョイント機構を用いた取付部材である。ブラケット600において、平板状のベース部610は、車両のフロントガラスに貼り付ける取付面611を有する。ベース部610は、ボールスタッド620の支柱に対して所定角度だけ傾斜する。取付面611に両面テープ等の接着部材を貼り付け、その接着部材を介して、車両のフロントガラス等に貼り付けられる。
ボールスタッド620は、ベース部610のうち取付面611とは反対側の面から起立した部位である。ソケット部630は、ボールスタッド620のボール部621が装着される。ナット640は、ソケット部630の周囲に着脱自在に取り付けられる。ソケット部630の外周には、ネジ溝が形成されている。ソケット部630の外周に当該ネジ溝に嵌め合うナット640が装着される。ボールスタッド620のボール部621がソケット部630内に装着された状態で、ナット640が締め付けられる前は、ソケット部630はボール部621の周面に沿って所望の方向に回転して、ベース部650の姿勢及び位置を変位可能である。ナット640が締め付けられると、ベース部650の姿勢及び位置が固定される。
ベース部650は、ソケット部630と一対に形成され、撮影機器101Fに装着するための部位である。ベース部650は、一対のガイドレール651を下面に有する。一対のガイドレール651は、撮影機器101Fのジョイントレール5502に沿ってスライド可能に構成される。ベース部650の先端部には爪状の先端部652が設けられている。先端部652が、ジョイントレール5502の撮影機器101Fの前方側の端部付近に引っ掛けられることで、ブラケット600が撮影機器101Fに取り付けられる。
<a-3.撮影機器101Fの電気的構成>
図26は、撮影機器101Fの電気的構成を示すブロック図である。制御部5511は、撮影機器101Fの各部を制御する。制御部5511は、例えば、プロセッサ5511A、及びメモリ5511Bを含むコンピュータである。プロセッサ5511Aは、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、GPU(Graphics Processing
Unit)、ASIC(Application-Specific Integrated Circuit)、及びFPGA(Field Programmable Gate Array)等を有する。メモリ5511Bは、例えば、RAM(Random
Access Memory)、及びROM(Read Only Memory)等を有する主記憶装置である。プロセッサ5511Aは、メモリ5511BのROMから読み出したプログラムをRAMに一時的に記憶させる。メモリ5511BのRAMは、プロセッサ55511Aに作業領域を提供する。プロセッサ5511Aは、プログラムの実行中に生成されるデータをRAMに一時的に記憶させながら演算処理を行うことにより、各種の制御を行う制御部5511は、さらに、時刻を計る計時部5511Cを備える。計時部5511Cは、例えばリアルタイムクロックである。計時部5511Cは、プロセッサ5511Aのマザーボードに実装されていていてもよいし、プロセッサ5511Aに外付けされてもよい。
入力部5512は、ユーザからの情報の入力を受け付ける。入力部5512は、例えば、上述したマイクロホン5521、イベント録画ボタン5522、操作部5523、及びタッチセンサ5524を有する。マイクロホン5521は、マイク孔554等を介して入射した音を電気信号に変換する。マイクロホン5521は、例えばコンデンサマイクである。タッチセンサ5524は、表示面5531においてユーザによりタッチされた位置を検出する。タッチセンサ5524は、例えば静電容量方式である。
表示部5513は、表示面5531に画像を表示する。表示部5513は、例えば液晶ディスプレイ(LCD;Liquid Crystal Display)である。
音声出力部5514は、音声を出力する。この音声としては、例えば、報知音や、BGM、音声メッセージ等がある。音声出力部5514は、例えば音声処理回路及びスピーカを有する。
カメラ5515は、撮影し、撮影により得られた映像データを生成する、カメラ5515は、例えば、撮像レンズ5551、及び撮像レンズ5551により集光された光を撮像する撮像素子を有する。撮像素子は、例えば、CMOS(Complementary MOS)又はCCD(Charge Coupled Device)とする。カメラ5515は、例えば赤(R)、緑(G)、青(B)の色成分からなるカラー(多色)の画像を生成する。
通信部5516は、外部の装置と通信する。通信部5516は、例えば、Wi-Fi(登録商標)、Bluetooth(登録商標)その他の無線LAN(Local Area Network)通信や近距離無線通信により、外部の装置と無線通信するための通信回路を有する。通信部5516は、例えば、LTE(Long Term Evolution)、4G、5G等の移動通信システムの規格等に準拠した通信を行うための通信回路を有してもよい。
センサ部5517は、各種のセンサを有する。センサ部5517は、例えば、加速度センサ、ジャイロセンサ、気圧センサ、及び照度センサの少なくともいずれかを有する。加速度センサは、例えば車両の前後、左右、上下の加速度を検出する3軸の加速度センサである。ジャイロセンサは、撮影機器101Fの傾きを検出するセンサである。加速度センサ及びジャイロセンサは、例えば、GNSS衛星からの信号が受信できない場合に、自律航法により車両の位置を推測するのに使用されてもよい。気圧センサは、気圧を測定する。気圧センサは、例えば、高低差を検知して、高速道と一般道を判定するために用いられる。照度センサは、撮影機器101Fの周辺である車室内の明るさを示す照度を検知するセンサである。照度センサは、例えば表示部5513の表示の輝度の調整に使用される。
リーダライタ5518は、記憶媒体挿入口5581から撮影機器101Fの内部に挿入された記憶媒体5500を保持する媒体保持部として機能する。リーダライタ5518は、記憶媒体5500にデータを書き込んだり、記憶媒体5500からデータを読み出したりする。リーダライタ5518は、記憶媒体5500を1つだけ保持するものでもよいが、2つ以上の記憶媒体5500を同時に保持することが可能に構成されてもよい。
端子部5519は、外部の装置と電気的に接続するための端子を有する。端子部5519は、上述した、カメラジャック5591及び端子5592を有する。端子部5519に接続される装置として、車両側からの給電がなくても、撮影機器101F及び撮影機器101Rが動作できるように、外付けのバッテリが用いられてもよい。端子部5519に接続される装置は、例えば、ユーザの安全運転を支援する機能を有する装置であってもよい。このような装置として、例えば、運転手(例えば顔)を撮影して、わき見及び居眠り運転に例示される運転手の状態を検出して報知する機能を有する装置や、車両の周辺の障害物を検知して報知する機能を有する装置(例えば、前方車両追突警報システム(FCWS:Forward vehicle Collision Warning Systems)のための車両検知に使用される装置)がある。端子部5519に接続される装置は、その他にも、レーダー探知機、レーザー探知機、カーナビゲーション装置、ディスプレイ装置等の車載装置としてもよい。
位置情報取得部5520は、撮影機器101Fの位置(より具体的には、現在位置)を示す位置情報を取得する。撮影機器101Fの位置は、撮影機器101Fが配置された車両の位置、車両に配置された撮影機器101Rの位置、及び車両に乗車している運転手その他の人の位置と同視することができる。位置情報取得部5520は、例えば、GNSSの一つであるGPSからの信号に基づき、撮影機器101Fの位置情報(緯度情報、及び経度情報)を取得する。位置情報取得部5520は、QZSS(Quasi-Zenith Satellite System:準天頂衛星システム)として、みちびきを併せて利用してもよい。
発光部5525は、所定の色で発光する。発光部5525は、例えば、発光ダイオードを有する。
電源制御部5526は、撮影機器101Fの各部や、撮影機器101Rへの電力の供給を制御する。電源制御部5526は、例えば、電源スイッチや電源制御回路を有する。電源制御部5526は、端子部5519を介して車両側から供給された電力を、撮影機器101Fの各部や、撮影機器101Rへ供給する。電源制御部5526は、さらに、蓄電手段として、二次電池やボタン電池、電気二重層コンデンサ(スーパーキャパシタとも呼ばれる。)を有してもよい。
撮影機器101Fは、さらに、フラッシュメモリ(例えばeMMC、SSD)に例示される補助記憶装置を内部の記憶手段として有してもよい。補助記憶装置としては、光学式記憶媒体、磁気記憶媒体、及び半導体記憶媒体に例示される各種の記憶媒体を用いることができる。
<a-4.撮影機器101Fの録画機能>
撮影機器101Fは、録画機能として、以下の1つまたは2つ以上の機能を有するとよい。録画機能は、撮影機器101Fが撮影した画像を、所定のファイル形式の映像データとして記録(つまり、録画)する機能である。映像データは、動画形式の映像データとするとよく、例えばMPEG(Moving Picture Experts Group)形式(例えば、MPEG2、MPEG4)であるが、AVI、MOV、WMV等である。
(a-4-1.常時録画機能)
常時録画機能(常時記録機能ともいう。)は、撮影機器101Fの動作中は、撮影機器101Fのカメラ5515、並びに撮影機器101Rのカメラ402及び車室内撮影用リアカメラ102の一部又は全部により撮影された画像を継続して(つまり、常時)記録する機能である。制御部5511は、常時録画機能を実行しているときには、車両のエンジンの始動から停止までに撮像した映像データを記憶させる。
(a-4-2.イベント録画機能)
イベント録画機能(イベント記録機能ともいう。)は、特定のイベントが発生したことに応じて、撮影機器101Fのカメラ5515、並びに撮影機器101Rのカメラ402及び車室内撮影用リアカメラ102の一部又は全部により撮影された画像を記録する機能である。イベントは、画像の記録を行う条件(つまり、トリガー)となる事象であり、例えば、車両の走行中におけるユーザの急ハンドル、急ブレーキ等の操作時、車両の他の物体との衝突時等とするとよい。制御部5511は、イベントが発生したことを、例えば、センサ部5517の加速度センサによる計測値に基づいて、判定する。具体的には、制御部5511は、加速度センサの計測値が所定の閾値以上となった場合又は所定の時間的変化を示した場合に、イベントが発生したと判定する。イベントの発生の判定条件はこれに限られない。制御部5511は、車両情報に基づいて、例えば車速や操舵状態等の車両の状態が所定の条件を満たした場合に、イベントが発生したと判定してもよい。制御部5511は、カメラ5515、カメラ402、及び車室内撮影用リアカメラ102の少なくともいずれかにより撮影された画像を解析して、イベントの発生を判定してもよい。制御部5511は、例えば、車両又は他車両の危険運転(例えば煽り運転、接近、又は異常接近)を検知した場合に、イベントが発生したと判定してもよい。制御部5511は、イベント録画ボタン5522が操作された場合にも、イベントが発生したと判定する。
制御部5511は、イベントが発生したと判定した場合、そのイベントの発生前後の所定期間(以下「イベント録画期間」という。)において撮影された画像を、記憶媒体5500に記録する。制御部5511は、例えば、カメラ5515、カメラ402、及び車室内撮影用リアカメラ102により撮影された画像をメモリ5511B(例えば、RAM)に一時的に記録しておく。制御部5511は、イベントが発生したと判定した場合は、メモリ5511Bから読み出したイベント録画期間の画像を記憶媒体5500に記録するとよい。制御部5511は、例えば、カメラ5515、カメラ402、及び車室内撮影用リアカメラ102のそれぞれについて、イベントの発生前20秒、及びイベントの発生後20秒の合計40秒の画像を1つのファイルとして生成するとよい。このイベント録画期間は一例であり、イベントの種類に応じて異なっていてもよいし、撮影機器101F及び101Rは、イベント録画期間をユーザが変更可能に構成されてもよい。制御部5511は、カメラ5515、カメラ402、及び車室内撮影用リアカメラ102のうちの一部またはすべてについて、イベント録画期間を異ならせてもよいが、全てについて同じ長さのイベント録画期間としてもよい。制御部5511は、さらに、イベントの種類を特定する情報や、イベント録画期間にセンサ部5517で計測された値(例えば、3軸の各方向の加速度)や、位置情報取得部5520で取得された位置情報を、画像と関連付けて、記憶媒体5500に記録してもよい。
制御部5511は、カメラ5515、カメラ402、及び車室内撮影用リアカメラ102のうちの一部またはすべてについて、イベント録画を行う条件を異ならせてもよい。制御部5511は、例えば、センサ部5517で計測された値が所定の条件を満たした場合(例えば、閾値以上となった場合)において、イベント録画を行うときに、その条件を、カメラ5515、カメラ402、及び車室内撮影用リアカメラ102のうちの一部またはすべてで異ならせてもよい。条件は、3軸の加速度のいずれかの加速度、又は3軸の加速度の絶対値が閾値以上となったこととするとよい。イベント録画を行う条件は、カメラ5515、カメラ402、及び車室内撮影用リアカメラ102のそれぞれについてユーザが設定できるように構成されてもよい。撮影機器101F側(具体的には、カメラ5515)で生じた加速度はセンサ部5517を用いて計測され、撮影機器101R側(具体的には、カメラ402、及び車室内撮影用リアカメラ102)で生じた加速度は加速度センサ305を用いて計測されると、各カメラの位置で発生した加速度をより正確に計測して、その計測結果をトリガとしたイベント録画を行うことができる。
(a-4-3.駐車監視機能)
駐車監視機能は、車両の駐車中に、撮影機器101Fのカメラ5515、並びに撮影機器101Rのカメラ402及び車室内撮影用リアカメラ102の一部又は全部により撮影された画像を記録する機能である。駐車監視機能は、駐車中の車両の内部又は車両の周辺の外部を監視するための機能である。制御部5511は、車両からの電力の供給を受けない状態では、外付けバッテリからの電力の供給を受けて、記憶媒体5500に画像を記録するとよい。車両の駐車中であるか否かについて、制御部5511は、例えば、アクセサリ電源がオフされたこと、エンジンがオフされたこと、外付けバッテリからの電源供給が開始されたこと、車速が0km/h又は所定速度以下であること、及び位置情報取得部5520が取得した位置情報が所定の位置情報(例えば、自宅や勤務先、駐車場の位置情報)であること、の1つ又は複数に基づいて判定するとよい。これに限られず、制御部5511は、既に説明したような、車室内撮影用リアカメラ102により撮影された画像を解析する方法で、駐車中であるか否かを判定してもよい。
駐車監視機能は、タイムラプスモード、及び動体検知モードを有するとよい。この場合の制御部5511は、タイムラプスモードがユーザにより選択された場合、常時録画機能及びイベント録画機能等の他の画像記録機能よりも、フレームレートを間引いて録画するとよい。例えば、他の画像記録機能のフレームレートが20~30フレーム/秒であるのに対して、タイムラプスモードのフレームレートは1フレーム/秒とするとよい。
動体検知モードは、移動体(つまり、物体の動き)を検知したことに応じて画像を記録するモードである。移動体としては、人や他車両等がある。具体的には、制御部5511は、動体検知モードがユーザにより選択された場合、カメラ5515、カメラ402、及び車室内撮影用リアカメラ102の少なくともいずれかにより撮影された画像の変化に基づき移動体を検知したときは、その検知前後の所定期間に撮影された画像を記録するとよい。制御部5511が、少なくともいずれかのカメラにより撮影された画像に基づいて移動体を検知した場合に、カメラ5515、カメラ402、及び車室内撮影用リアカメラ102のすべてのカメラで撮影された画像を記録すると、そのときの車両前方、車両後方、及び車室内という広範囲の様子を後で確認できるようにすることができる。制御部5511が、移動体を検知したカメラのみを対象として、そのカメラで撮影された画像を記録すると、その移動体を撮影した画像を記録しつつ、記憶媒体5500等の記憶容量を節約することができる。なお、フレームレートは、常時録画機能及びイベント録画機能等と同じフレームレートとするとよい。
動体検知モードにおいて、カメラ5515、カメラ402、及び車室内撮影用リアカメラ102のうちの一部またはすべてについて、撮影された画像を記録する条件(つまり、トリガーとなる条件)を異ならせてもよい。制御部5511は、例えば、動体検知の感度を、カメラ5515、カメラ402、及び車室内撮影用リアカメラ102のうちの一部またはすべての条件を異ならせてもよい。画像を記録する条件は、カメラ5515、並びにカメラ402、及び車室内撮影用リアカメラ102のそれぞれについてユーザが設定できるように構成されていてもよく、例えば、動体検知モードの「OFF」(つまり、動体検知に応じて画像を記録しないこと)、「低」、「普通」、及び「高」のいずれかをユーザが選択できるように構成されているとよい。後者ほどわずかな移動体の動きでも録画されやすい。デフォルトでは、カメラ5515、カメラ402、及び車室内撮影用リアカメラ102のそれぞれについて、感度が「普通」に設定されているとよい。
なお、撮影機器101Fとして、表示部5513を有しない撮影機器が用いられてもよい。また、撮影機器101Fの筐体は、直方体状のものでなくてもよく、例えば円筒状等の撮影機器であってもよい。また、記憶媒体5500にデータを記録する処理は、例えば、記憶媒体5500以外の記憶装置にデータを記録する処理や、外部の装置にデータを送信する処理と置き換え可能、又は組み合わせ可能である。
[b.ビュアー及びそれに関する機能について]
図28は、撮影機器101Fのカメラ5515、並びに撮影機器101Rのカメラ402、及び車室内撮影用リアカメラ102で撮影された画像を再生するためのビュアーの画面の一例を示す図である。このビュアーは、上述した、パソコン用あるいはスマホ、タブレット等の情報処理装置用のビュアープログラムにより実現されるとよいが、撮影機器101Fでの画像の表示に使用されるビュアープログラムにより実現されてもよい。図29~図31は、ビュアーの画面に含まれる各表示要素を説明する図である。図29において丸印で囲んだ数字と、図30及び図31の表に示す「No.」の欄の数字とが対応している。ビュアーの画面に含まれる各表示要素は、図30及び図31の表に示す表示名の表示要素で、図30及び図31で説明されている機能を発揮する表示要素である。なお、図30及び図31の「フロントカメラ」はカメラ5515に対応し、「リア後方カメラ」はカメラ402に対応し、「リア室内カメラ」は車室内撮影用リアカメラ102に対応する。
図28に示すように、車両の前方を撮影するカメラ5515により撮影された画像が最も大きなサイズで、矩形の領域T1に表示される。領域T1よりも右側には、それよりも小さなサイズで、撮影機器101Rのカメラ402で撮影された画像が矩形の領域T2に表示され、車室内撮影用リアカメラ102で撮影された画像が矩形の領域T3に表示される。ビュアーは、カメラ5515、カメラ402、及び車室内撮影用リアカメラ102で撮影された画像を同期させて再生する機能を有するとよい。このようにすると、ユーザが、各時点の車両の前方、後方、及び車室内の様子を同時に確認することができる。なお、図32(a)に示すように、デフォルトではビュアーの画面に再生リストLが表示されるが、ユーザの操作に応じて、図32(b)に示すように、再生リストLに代えて、撮影地点を表示するための地図Mが表示されてもよい。
また、ビュアーのプログラムは、カメラ402で撮影する画像については、撮影した画像をそのまま表示するモード(つまり、上下左右を見たままの画像とする正像を表示するモード)と、撮影した画像を左右反転した画像を表示するモード(つまり、鏡像を表示するモード)と、を有するとよい。カメラ402と車室内撮影用リアカメラ102とは互いに反対方向を撮影することがある。この場合、これらのカメラで撮影された画像同士では、左右の関係が反対になる。そのため、撮影された画像をそのまま表示するのか(つまり、正像で表示するのか)、又は鏡像を表示して左右を揃えるのかをユーザが選択できるように構成されているとよい。
撮影機器101Fにより記憶媒体5500に記録される各カメラの画像は正像で固定されているとよいが、例えば、カメラ5515又は車室内撮影用リアカメラ102で撮影された鏡像で記録することが可能な構成としてもよい。また、車室内撮影用リアカメラ102により撮影された画像は正像の表示に固定されているが、左右を判定した鏡像を表示するモードがビュアーのプログラムに備えられてもよい。このようにすると、画像の記録、及び表示の自由度が向上する効果が期待できる。
[c.車室内撮影用リアカメラ102の撮影画像の他の例]
図33は、車室内撮影用リアカメラ102の撮影画像の図11とは別の例を示す図である。図33に示すように、車室内撮影用リアカメラ102によると、車両後方から車両前方に向かって見た場合の左右の状況を広角に撮影、記録できることが見て取れる。また、領域T4、T5に示すように、車両の左右の状況、より具体的には、車幅方向における外側に位置する側道や隣車線等の周囲の状況を撮影、記録できることが見て取れる。また、領域T6に示すように、搭乗者の顔が写らない、又は写りにくいプライバシーに配慮した撮影が可能である。
[d.前方車接近警告機能と撮影画像の記録との関係について]
撮影機器101Fは、前方車接近警告機能を有するとよい。前方車接近警告機能は、車両の走行中、前方車両(つまり、先行車)と接近した場合に、警告する機能である。前方車接近警告機能は、例えば、運転者による前方車両に対する意図しない煽り運転や、前方車両への衝突を回避するための機能である。前方車両との接近の検知は、例えば、制御部5511がカメラ5515により撮影された画像を解析して検知する方法や、レーザー測距センサ等のセンサ類を用いて検知する方法で行われるとよい。警告は、警報や報知等と読み替えられてもよく、音、音声、表示、発光その他の人間(例えば、運転者)が知覚可能な方法により行われるとよい。
この構成の下、撮影機器101Fの制御部5511は、前方車接近警告機能による警告をする場合に、カメラ5515、カメラ402、及び車室内撮影用リアカメラ102のカメラで撮影された画像を記録するとよい。このようにすると、前方車両と接近したときの車両前方、車両後方、及び車室内という広範囲の様子を後で確認できるようにすることができる。画像を記録する期間は、前方車接近警告機能による警告をしている期間と一致させてもよいが、その期間の前、後、又は前後の所定時間長の期間を含むようにするとよい。このようにすると、前方車両に接近した期間付近の車両前方、車両後方、及び車室内の様子を後で確認できるようにすることができる。カメラ5515、カメラ402、及び車室内撮影用リアカメラ102の撮影画像の記録期間の時間長は同一であってもよいが、少なくとも一部が他と異なっていてもよく、例えばカメラ5515の記録期間の時間長を、カメラ402、及び車室内撮影用リアカメラ102の記録期間の時間長よりも大きくすると、記憶媒体5500等の記録容量を節約しつつ、特に車両前方の様子を後で詳細に把握するのに役立つ。
なお、ここでは、前方車接近警告機能と、カメラ5515、カメラ402、及び車室内撮影用リアカメラ102のカメラで撮影された画像の記録との関係を説明したが、前方車接近警告機能は、車線逸脱警告機能、又は前方車発進警告機能と置き換え可能、又は組み合わせ可能である。車線逸脱警告機能は、車両の走行中、自車両が走行車線からはみ出した場合に、警告する機能である。前方車発進警告機能は、自車両の停車中に前方車両が発進しても自車両が発進しない場合に警告する機能である。車線逸脱警告機能において車線逸脱を検知する方法や、前方車発進警告機能において自車両の停車中に前方車両が発進したことを検知する方法については、制御部5511がカメラ5515により撮影された画像を解析して検知する方法や、その他の周知の方法で行われるとよい。
[e.後方車接近記録・警告機能と撮影画像の記録との関係について]
撮影機器101Fは、後方車接近記録・警告機能を有するとよい。後方車接近記録・警告機能は、車両の走行中、後方車両(つまり、後続車)と接近した場合に、警告する機能である。後方車接近記録・警告機能は、例えば、後方車両による煽り運転(車間距離不保持)等の危険運転を検知して、少なくともカメラ402の撮影画像を記録するとともに警告する機能である。後方車両との接近の検知は、例えば、制御部5511がカメラ402により撮影された画像を解析して検知する方法や、レーザー測距センサ等のセンサ類を用いて検知する方法で行われるとよい。警告は、警報や報知等と読み替えられてもよく、音、音声(例えば、「後方危険運転を検知しました!」というメッセージの出力)、表示、発光その他の人間(例えば、運転者)が知覚可能な方法により行われるとよい。
この構成の下、撮影機器101Fの制御部5511は、後方車接近記録・警告機能による警告をする場合に、カメラ5515、カメラ402、及び車室内撮影用リアカメラ102のカメラで撮影された画像を記録するとよい。このようにすると、後方車両が接近してきたときの車両前方、車両後方、及び車室内という広範囲の様子を後で確認できるようにすることができる。画像を記録する期間は、後方車接近記録・警告機能による警告をしている期間と一致させてもよいが、その期間の前、後、又は前後の所定時間長の期間を含むようにするとよい。このようにすると、後方車両に接近した期間付近の車両前方、車両後方、及び車室内の様子を後で確認できるようにすることができる。カメラ5515、カメラ402、及び車室内撮影用リアカメラ102の撮影画像の記録期間の時間長は同一であってもよいが、少なくとも一部が他と異なっていてもよく、例えばカメラ402、及び車室内撮影用リアカメラ102の記録期間の時間長を、カメラ5515の記録期間の時間長よりも大きくすると、記憶媒体5500等の記録容量を節約しつつ、特に車両後方の様子を後で詳細に把握するのに役立つ。なお、ここでは、「後方車接近記録・警告機能」として説明したが、警告については行わない「後方車接近記録機能」に置き換えてもよい。
上述した実施形態で「エンジン」、「アクセサリ電源」として説明した箇所は、「駆動源」、「車両の電源」と読み替えられてもよい。車両としては、例えば、エンジンを駆動源として有する内燃機関車両、エンジンと走行モータとを駆動源として有するハイブリット車両、走行モータを駆動源として有する電気自動車等とするとよい。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
なお、上述の実施例は少なくとも特許請求の範囲に記載の構成を開示している。
なお、本発明の範囲は、明細書に明示的に説明された構成や限定されるものではなく、本明細書に開示される本発明の様々な側面の組み合わせをも、その範囲に含むものである。本発明のうち、特許を受けようとする構成を、添付の特許請求の範囲に特定したが、現在の処は特許請求の範囲に特定されていない構成であっても、本明細書に開示される構成を、将来的に特許請求の範囲とする意思を有する。
本願発明は上述した実施の形態に記載の構成に限定されない。上述した各実施の形態や変形例の構成要素は任意に選択して組み合わせて構成するとよい。また各実施の形態や変形例の任意の構成要素と、発明を解決するための手段に記載の任意の構成要素又は発明を解決するための手段に記載の任意の構成要素を具体化した構成要素とは任意に組み合わせて構成するとよい。これらについても本願の補正又は分割出願等において権利取得する意思を有する。「~の場合」「~のとき」という記載があったとしてもその場合やそのときに限られる構成として記載はしているものではない。これらの場合やときでない構成についても開示しているものであり、権利取得する意思を有する。また順番を伴った記載になっている箇所もこの順番に限らない。一部の箇所を削除したり、順番を入れ替えた構成についても開示しているものであり、権利取得する意思を有する。
また、意匠登録出願への変更により、全体意匠又は部分意匠について権利取得する意思を有する。図面は本装置の全体を実線で描画しているが、全体意匠のみならず当該装置の一部の部分に対して請求する部分意匠も包含した図面である。例えば当該装置の一部の部材を部分意匠とすることはもちろんのこと、部材と関係なく当該装置の一部の部分を部分意匠として包含した図面である。当該装置の一部の部分としては、装置の一部の部材としても良いし、その部材の部分としても良い。全体意匠はもちろんのこと、図面の実線部分のうち任意の部分を破線部分とした部分意匠を、権利化する意思を有する。また、装置の筐体の内部のモジュール・部材・部品、画像等についても、図面に表示されているものは、いずれも独立して取引の対象となるものであって、同様に、意匠登録出願への変更を行って権利化を行う意思を有するものである。
なお、上述の実施例は少なくとも以下の構成を開示している。
〔構成1〕
本情報処理システムは、
車両後方から車両前方に向かって撮影した車室内の映像データを処理するとよい。
このようにすれば、車両後方から車両前方に向かって撮影した車室内の映像データを処理することができる。例えば、従来の車両前方から車両後方に向かって撮影した車室内の映像データでは、死角に位置しており、処理対象とすることが不可能であった或いは困難であった対象、要素、イベント等を、車室内を従来とは異なる方向から撮影することにより、すなわち、車両後方から車両前方に向かって撮影することによって、良好に検知、識別、認識、判定等の処理を行うことが可能となるので、ユーザは、それらの処理に基づいて新たに提供される機能を利用することができる。
〔構成2〕
本情報処理システムは、
車両後方から車両前方に向かって撮影した車室内の映像データと、車両後方から車両後方外部を撮影した車外の映像データと、を処理するとよい。
このようにすれば、車両後方から車両前方に向かって撮影した車室内の映像データと、車両後方から車両後方外部を撮影した車外の映像データと、を処理することができる。例えば、従来の車両前方から車両後方に向かって撮影した車室内の映像データでは、死角に位置しており、処理対象とすることが不可能であった或いは困難であった対象、要素、イベント等を、車室内を従来とは異なる方向から撮影することにより、すなわち、車両後方から車両前方に向かって撮影することによって、良好に検知、識別、認識、判定等の処理を行うことが可能となるので、ユーザは、それらの処理に基づいて新たに提供される機能を利用することができる。
〔構成3〕
本発明に係る情報処理システムは、
前記車室内の映像データを解析し、解析の結果に基づき状況を判定する制御部を、有するようにするとよい。
このようにすれば、制御部が、従来とは異なる方向から撮影された車室内の映像データを解析することで、様々な状況について新たに或いは従来と比べてより正確に判定処理を行うことが可能となり、ユーザは新たにより正確な判定に基づく新たな機能を利用することができる。
〔構成4〕
本発明に係る情報処理システムは、
前記制御部が、前記車室内の映像データに基づき前記車室内の人物の有無を判定し、前記人物に対してフィルタをかけた映像データを作成し、出力するようにするとよい。
このようにすれば、車内を車両後方から車両前方に向かって撮影することで、人の顔が撮影される機会自体が減少していることに加え、更に、撮影された人物にフィルタをかけることで従来よりも車内の人物のプライバシーに配慮しながら行動を撮影、記録することができる。これによりユーザは、例えばバスやタクシー等の利用者が感じる、自身の映像が記録されることに対する抵抗感を、低減させることができる。
〔構成5〕
本発明に係る情報処理システムは、
前記制御部が、前記車室内の映像データに基づき当該映像データに写った前記車両の外部の対象の状態を判定し、前記対象の状態に関する情報を出力するようにするとよい。
このようにすれば、制御部は、例えば、方向指示器を出したときに、サイドに車や人、障害物がいる状況や、車内に人がいない状態で駐車している自車両に不自然に接近する者がいる状況や、そのような者が車内を覗き込んでいるような状況や、エンジン始動時、徐行時、走行時等に車両の周囲に、人、特に子供が存在する、接近する或いは遊んでいるような状況や、車両の後方で側方からの煽りを受けているような状況等について、判定することができる。また、制御部は、それらの状況の判定結果に応じて、適切な通知や警告を、ドライバー等に出力することができるので、ユーザは車両や車両周辺の異常や危険にいち早く気が付き、それに対応することができる。
〔構成6〕
本発明に係る情報処理システムは、
前記制御部が、前記車室内の映像データに基づき前記車両の天井の設置物の異常を判定し、前記異常に関する情報を出力するようにするとよい。
このようにすれば、制御部は、例えば、ルームランプの点灯状態及び車内の人の有無や、ネットが荷物の入れ過ぎによりたわんでいないか、左右の留め具の固定等が外れていないか、プロジェクタの向きや状態、プロジェクタの映像の位置や状態、プロジェクタと後部座席の乗客の位置関係等が適切であるか、フリップダウンモニタの開閉状態や、映像が出ているか否かの起動状態が適切であるか、等を判定することができる。また、制御部は、それらの状況の判定結果に応じて、適切な通知や警告を、ドライバー等に出力することができるので、ユーザは容易に車両を適切な状態に維持することができる、また、車両の異常にいち早く気がつくことができる。
〔構成7〕
本発明に係る情報処理システムは、
前記制御部が、前記車室内の映像データに基づき前記車両の荷物の状態を判定し、前記荷物の状態に関する情報を出力するようにするとよい。
このようにすれば、制御部は、例えば、運転手席の後ろに置かれた荷物の状態、荷台や座席と荷物の位置関係、推定される荷物の重心の位置、複数の荷物の重心位置の位置関係、車両の速度や加速度及びそれらの変化に関連した荷物の位置の変化、荷物が荷台や座席から落下する危険性の高さ、積み上げられた荷物が崩れる危険性の高さ、荷台や座席上での荷物の滑り具合、荷物の崩れと後方から撮影した車内の窓越しに撮影された他車両による煽りや接触の関連性、等を判定することができる。また、制御部は、荷物の状態の判定結果に応じて、適切な通知や警告を、ドライバー等に出力することができる。それによりドライバーは、荷物の荷崩れ等を心配せずに運転に集中することができる。
〔構成8〕
本発明に係る情報処理システムは、
前記制御部が、前記車室内の映像データに基づき車両に配置された表示部の状態を判定し、前記表示部の状態に関する情報を出力するようにするとよい。
このようにすれば、表示部は、例えば座席背面に設けられたモニタ、天井に設けられたモニタの状態、運転席と助手席の間の前方のセンター付近に設置されたセンターモニタの表示内容や操作の有無、表示部に対して行われた具体的な操作の内容、映像記録時の車両が自動運転中であるか、手動運転中であるか、等の状態を判定することができる。また、制御部は、それらの状況の判定結果に応じて、適切な通知や警告を、ドライバー等に出力することができる。またユーザは、ドライバーの適切な運転操作中に事故等に巻き込まれた場合に、事故が端末の操作時に発生したものではないこと、事故が端末の誤操作によるものではないこと、事故が自動運転中に起きたものであるか手動運転中に起きたものであるか、等についての、客観的証拠を提供することができる。
〔構成9〕
本発明に係る情報処理システムは、
前記制御部が、前記映像データに基づき人の頭部を判定し、前記映像データ内で前記頭部が占める割合に関する情報を出力するようにするとよい。
このようにすれば、表示部は、例えば映像の画面内に頭部が写っているか、写っている頭部の画面内に占める割合がどの程度であるか、そのような事態が想定される設置状態にあるか、等を判定することができる。また、制御部は、それらの状況の判定結果に応じて、適切な通知や警告を、ドライバー等に出力することができる。それにより、ユーザは、後部座席に人が座ったとき、その人の後頭部が画面全体にずっと映っているような映像データばかりが記録されることを回避できる。
〔構成10〕
本発明に係る情報処理システムは、
前記制御部が、前記映像データに基づき前記車両が駐車状態にあるかを判定し、前記車両が前記駐車状態にある場合、駐車監視モードへの切り替え命令を出力するようにするとよい。
このようにすれば、制御部は、人が車内にいるか、人が車内からいなくなったか、車両が駐車状態であるか、等を判定することができる。制御部は、車両が駐車状態であると判定した場合、撮影モードを駐車監視モードに切り替える命令を出力する。それにより、車両が駐車状態にある場合、制御部は、例えば車両のフロントガラス、リアガラス、サイドの窓ガラスの領域内から不審な接近者を判別するための処理に、演算能力を優先的に割り当てることができるので、ユーザは、より効率的な情報処理システムを使用することができる。
〔構成11〕
本発明に係る情報処理システムは、
前記制御部が、前記映像データに基づき車内の人物の状態を判定し、前記車内の人物の状態に関する情報を出力するようにするとよい。
このようにすれば、制御部は、車内の人物の状態、特に車両後方の人物の状態を、従来よりも高い精度で判定することができる。また、ユーザは、人物の状況の判定結果に応じて、適切な通知や警告を受け取ることができる。
〔構成12〕
本発明に係る情報処理システムは、
前記制御部が、前記映像データに基づき車内の人物の置き去り状態を判定し、前記置き去り状態に関する情報を出力するようにするとよい。
このようにすれば、制御部は、映像内に人物がいるか、映像内の人物が子供や障碍者であるか、子供や障碍者以外の人物が乗車しているか、車両が駐車状態であるか、子供や障碍者等の置き去りの状態であるか、等を判定する。また、制御部は、置き去りの状況の判定結果に応じて、適切な通知や警告を、ドライバーや車両周囲等に出力することができる。これにより、ユーザは、高精度なリア側からの置き去り防止機能を利用することができる。
〔構成13〕
本発明に係る情報処理システムは、
前記制御部が、前記映像データに基づき車内の人物の居眠り又は睡眠状態を判定し、前記居眠り又は睡眠状態に関する情報を出力するようにするとよい。
このようにすれば、制御部は、映像内に人物がいるか、映像内の人物がドライバーであるか或いは同乗者であるか、ドライバーの頭部が写っているか、頭部の状態が居眠りに関する警告のパターンを示しているか、後部座席の同乗者の顔や頭部が写っているか、顔や頭部の状態が睡眠状態のパターンを示しているか、等を判定する。また、制御部は、置き去りの状況の判定結果に応じて、適切な通知や警告を、ドライバーや車両周囲等に出力することができる。それによりドライバーは、自身の居眠りの兆候を確認や、同乗者の睡眠状態に配慮して運転のきっかけを得ることが容易になる。
〔構成14〕
本発明に係る情報処理システムは、
人検知センサを有し、前記人検知センサによる検知信号を、少なくとも、前記判定を開始するトリガとするか、又は、前記判定に利用するようにするとよい。
このようにすれば、例えば焦電型赤外線センサやサーモセンサを用いることで、映像データをAI処理するよりも低負荷で、子供、障碍者等を識別することができる。常にAIによる処理を実行することは大きな演算負荷を必要とするので、別個の人検出可能なセンサを用いて人の存在を検出し、人検出可能なセンサによる車内での人の検知結果を、映像データに基づく人検知処理を開始するトリガとして利用することが、演算負荷の低減及び高精度の人検知の観点で有利である。更に、例えば人検出可能なセンサの検知範囲を車両の後部領域あるいは後部座席付近に限定することで、運転手と乗客とを、高精度に分けて判別することができる。それによりユーザは、同乗者に起こり得るリスクを低減させることができる。
〔構成15〕
本発明に係る情報処理システムは、
異なる複数の位置で、車両後方から車両前方に向かって前記車室内を撮影するようにするとよい。
このようにすれば、例えば広角カメラにより複数の位置で撮影された映像データを組み合わせることで、ユーザは、車両内外の映像をぐるりと見渡すことができる。
〔構成16〕
本発明に係る情報処理システムは、
前記車両の開閉部の開閉動作をトリガとして、映像の撮影又は記録を開始する、又は、映像の撮影又は記録の設定を変更するようにするとよい。
このようにすれば、ハッチ等の開閉動作をきっかけとして、映像の撮影又は記録の開始、映像の撮影又は記録の設定の変更を行うことで、ユーザは、撮影環境や撮影状況の変化が大きい場合にも、確実に適切な設定で撮影された映像データを獲得することが可能なる。
〔構成17〕
本発明に係る情報処理システムは、
前記車両の開閉部の開閉動作に加え、前記車両の走行状態、前記車両の駆動源の状態、及び前記車両の電源の状態の少なくともいずれかをトリガとして、
映像の撮影又は記録を開始する、又は、
映像の撮影又は記録の設定を変更するとよい。
このようにすると、車両の開閉部の開閉動作に加え、車両の走行状態、車両の駆動源の状態、及び車両の電源の状態という少なくともいずれかの状況に応じた方法で、映像の撮影又は記録を開始し、又は設定を変更できる。
〔構成18〕
本発明に係る情報処理システムは、
前記車両の複数箇所に設けられた収音手段の少なくともいずれかにより収音された音を、撮影した映像とともに記録し、
前記車両の開閉部の開閉動作をトリガとして、記録する音声の設定を変更するとよい。
このようにすると、車両の開閉部の開閉動作をトリガとして、記録する音声の設定を変更することができる。
〔構成19〕
本発明に係る情報処理システムは、
前記車両の開閉部として、前記車両後方に設けられた開口部を開閉する後方開閉部があり、
前記後方開閉部に設けられた撮影機器のカメラが、前記開閉部が開状態である場合、前記車両後方外部を撮影し、前記後方開閉部が閉状態である場合、前記車両後方から車両前方に向けて撮影するとよい。
このようにすると、車両後方に設けられた開口部の開閉状態に応じて撮影方向が変化し、後方開閉部が開状態であるときは車両後方外部を撮影し、閉状態であるときは車両後方から車両前方を撮影するという具合に、開閉状態に応じて適切な方向を撮影することができる。
〔構成20〕
本発明に係る情報処理システムは、
前記後方開閉部は、上方へ開き、
前記撮影機器のカメラは、前記後方開閉部が開状態である場合、前記車両後方外部を下方に向けて撮影し、前記後方開閉部が閉状態である場合、前記車両後方から車両前方に向けて撮影するとよい。
このようにすると、上方へ開く開口部の開閉状態に応じて撮影方向が変化し、後方開閉部が開状態であるときは車両後方外部を下方に向けて撮影し、閉状態であるときは車両後方から車両前方を撮影するという具合に、開閉状態に応じて適切な方向を撮影することができる。
〔構成21〕
本発明に係る情報処理システムは、
前記後方開閉部が閉状態から開状態に変化した場合、前記撮影機器のカメラが撮影した画像の所定の記録を開始させるとよい。
このようにすると、後方開閉部が閉状態から開状態に変化した場合に、撮影機器が撮影した画像の所定の記録を開始させることができる。後方開閉部が閉状態から開状態が変化した場合として、人が乗降する場合が考えられるから、人が存在することで発生する事象を撮影し、確認できるようにすることができる。
〔構成22〕
本発明に係る情報処理システムは、
前記撮影機器は、前記車両の駆動源又は電源がオフされた場合に、外部からの電力の供給を受けて又は内部の電源により動作可能であり、
前記車両の駆動源又は電源がオフされているときに前記後方開閉部が開状態になった場合、前記撮影機器が撮影した画像の所定の記録を開始させるとよい。
このようにすると、後方開閉部が閉状態から開状態に変化した場合に、撮影機器が撮影した画像の所定の記録を行うことができる。後方開閉部が閉状態から開状態に変化した場合には、人の乗降や物の出し入れ等の事象が発生する可能性があると考えられるが、その様子を撮影することができる。
〔構成23〕
本発明に係る情報処理システムは、
前記撮影機器は、指定時間帯内において、当該撮影機器の電源をオンした状態で待機しており、
前記指定時間帯内において、前記後方開閉部が閉状態から開状態に変化した場合、前記所定の記録を開始させるとよい。
このようにすると、後方開閉部が閉状態から開状態に変化した場合に、速やかに撮影機器が撮影した画像の所定の記録を開始させることができ、後方開閉部が開状態に変化したときの状況をより確実に撮影し記録することができる。
〔構成24〕
本発明に係る情報処理システムは、
前記撮影機器は、前記後方開閉部が閉状態で、前記車両の駆動源又は電源がオンされている場合、前記カメラで撮影しており、前記後方開閉部が開状態となった場合には、前記車両の駆動源又は電源がオフされた後も、前記カメラによる撮影を指定時間長だけ延長して、撮影した画像の記録を行うとよい。
このようにすると、車両後方から車両前方に向けた撮影をしており、後方開閉部が閉状態から開状態に変化した場合に、指定時間長だけ延長して撮影した画像を記録するので、車両の駆動源又は電源がオフされた後も、後方開閉部が開状態に変化したときの状況を撮影し記録することができる。
〔構成25〕
本発明に係る情報処理システムは、
前記撮影機器は、前記後方開閉部が開状態となった場合において、前記開口部を介して人の降車があると判定したときは、前記指定時間長だけ延長して撮影した画像の記録を行うとよい。
このようにすると、後カメラで車室内で撮影していた対象を、後方車外方向でも引き続き撮影することができる。
〔構成26〕
本発明に係る情報処理システムは、
前記車室内の映像データと前記車外の映像データとを1つのカメラで撮影するようにするとよい。
このようにすれば、少なくとも、車両後方から前方に向かって撮影した車内の映像と車両後方から車両後方外部の映像を1つの映像データとして撮影することができる。適切な画角や取り付け位置を選択することにより、映像データに、車両直後の映像、車両前方の映像、車両前方及び車両後方の仰角方向の映像等を含ませることも可能となる。それによりユーザは1つの広角カメラを車両後方に設けることで、車両に様々な機能を追加することができる。また、リア側を1つのカメラで実装すると、リア側のカメラを室内側のカメラと後方側のカメラの2つのカメラとする場合に比べて、コストダウン、設置の手間の軽減、小型化が可能となる
〔構成27〕
本発明に係る情報処理システムは、
前記1つのカメラは半天球カメラであるようにするとよい。
このようにすれば、一般的な広角カメラよりもより広範囲の撮影範囲をカバーすることができる。例えば240°以上の画角を有する半球カメラは、車両後方から前方に向かって撮影した車内の映像、車両直後の映像、車両前方の映像のみならず、車両前方及び車両後方の仰角方向の映像等を1つの映像データとして撮影することができるので、ユーザは、映像データから、例えば目的の時点での車両の前方及び後方の信号の状態も確認すること
〔構成28〕
本発明に係る情報処理システムは、
前記車両に人が乗っていると判定した場合に、前記車室内を撮影した画像の画像情報を所定の出力先に出力するとよい。
このようにすると、車両に人が乗っているときの様子を撮影画像から把握しやすくすることができる。車両の車室内において、例えば、トラブルや何らかの事象が発生するのは、車両に人が乗っている状況であることもよくある。車両に人が乗っているときの様子を把握しやすくすることは、そのような事象の発生の有無や発生の状況を確認する上で、有用である。
〔構成29〕
本発明に係る情報処理システムは、
前記車両に人が乗っていると判定した場合には、前記車両の駆動源又は前記車両の電源がオンかオフかに関わらず、前記車室内を撮影した画像の画像情報を前記所定の出力先に出力するとよい。
このようにすると、車両の駆動源又は車両の電源がオンかオフかに関わらず、車両に人が乗っているときの様子を撮影画像から把握しやすくすることができる。例えば、車両に人が乗っている状況であれば、車両の駆動源又は車両の電源がオンかオフかに関わらず、車両の車室内においてトラブルや何らかの事象が発生する可能性はある。そのため、車両の駆動源又は車両の電源がオンかオフかに関わらず、車両に人が乗っているときの様子を把握しやすくすることは、そのような事象の発生の有無や発生の状況を確認する上で、有用である。
〔構成30〕
本発明に係る情報処理システムは、
前記車室内において人がしゃべったと判定した場合に、前記車室内を撮影した画像の画像情報を所定の出力先に出力するとよい。
このようにすると、車室内の人がしゃべったときの様子を撮影画像から把握しやすくすることができる。例えば、車両の車室内において、トラブルや何らかの事象が発生した場合は、それに関することを人がしゃべることがある。人がしゃべったときの車室内の様子を把握しやすくすることは、そのような事象の発生の有無や発生の状況を確認する上で、有用である。
〔構成31〕
本発明に係る情報処理システムは、
前記車両において人が手を伸ばしたと判定した場合に、前記車両の内部を撮影した画像の画像情報を所定の出力先に出力するとよい。
このようにすると、車室内の人が手を伸ばしたときの様子を撮影画像から把握しやすくすることができる。例えば、車両の車室内において、トラブルや何らかの事象が発生した場合は、暴力行為や威嚇行為が行われる可能性があると考えられる。人が腕を伸ばす行為があった場合、殴るなどの行為の発生が疑われる。車室内において人が手を伸ばしたときの車室内の様子を把握しやすくすることは、そのような事象の発生の有無や発生の状況を確認する上で、有用である。
〔構成32〕
本発明に係る情報処理システムは、
前記車室内の映像データを取得する第1のカメラと、前記車外の映像データを取得する第2のカメラを有する撮影機器と、を含むようにするとよい。
このようにすれば、車室内の映像データを取得するカメラと、車外の映像データを取得する撮影機器を、撮影目的等に応じて、それぞれ別々に且つより柔軟に設計することが可能となる。また、ユーザはカメラと撮影機器の位置関係の調整をより柔軟に行うことが可能となる。
〔構成33〕
本発明に係る情報処理システムは、
車両後方から車両前方に向かって車室内を撮影する前記第1のカメラの撮影方向を、車両後部から車両外後方への方向へ変更可能であるようにするとよい。
このようにすれば、車内撮影用のカメラを、後方撮影用のカメラと共に後方車両の正確距離を測定できるカメラとしても利用することができる。ユーザは、本情報処理システムに1つのカメラを追加することで、車室内の映像を解析や判定する機能に加え、車両外の映像を解析や判定する新たな機能を追加することができる。
〔構成34〕
本発明に係る情報処理システムは、
前記第1のカメラの回転により、撮影方向を、車両後部から車室への方向から、車両後部から車両外後方への方向へ変更可能であるようにするとよい。
このようにすれば、ユーザは、簡単且つ迅速な撮影方向の変更作業で、車内撮影用のカメラを、後方撮影用のカメラと共に後方車両の正確距離を測定できるカメラとしても利用することができる。本情報処理システムは、1つのカメラを追加することで、車室内の映像を解析や判定する機能に加え、車両外の映像を解析や判定する新たな機能を提供することができる。
〔構成35〕
本発明に係る情報処理システムは、
前記第1のカメラが前記撮影方向の調整に連動する投光方向を持つ投光器を備え、前記撮影方向の変更に応じて、前記投光器の光を、電気的に遮断または機械的に遮蔽するようにするとよい。
このようにすれば、夜間等の暗い環境下においても明瞭な車室内の映像を撮影することができる一方で、ユーザは、投光器から、車両外の人物が認識できる光が、発せられないことが確実な状態で車両を使用することができる。
〔構成36〕
本発明に係る情報処理システムは、
円筒形状部を有する取付具を含み前記円筒形状部内に前記第1のカメラを挿入することによって、前記第1のカメラを前記撮影機器に取り付け可能であるようにするとよい。
このようにすれば、カメラ及び撮影機器へのカメラの取り付けにいわゆるパイプジョイント方式を採用することが可能となり、ユーザは完結且つ直感的に情報処理システム対して追加のカメラを取り付けることが可能となる。
〔構成37〕
本発明に係る情報処理システムは、
前記円筒形状部内に前記第1のカメラを挿入したまま、前記撮影機器に対する前記第1のカメラの相対位置、又は、前記第1のカメラの撮影方向、を変更可能であるようにするとよい。
このようにすれば、ユーザは完結且つ直感的に情報処理システム対して追加のカメラを取り付けることが可能であるだけでなく、追加のカメラの撮影機器に対する相対位置又は前記第1のカメラの撮影方向を変更することで、ユーザは所望の映像を撮影できるようなカメラの調整を容易に行うことができる。
〔構成38〕
本発明に係る情報処理システムは、
記第1のカメラがピンプラグを有し、前記ピンプラグを前記撮影機器に挿入可能なようにするとよい。
このようにすれば、追加の第1のカメラを既存の撮影機器へ容易に取り付けることが可能となる。既存の撮影機器は一般に、規格化されたピンジャックを有しているので、追加の第1のカメラに対応する規格化されたピンプラグを設けることで、ユーザは様々な撮影機器を本情報処理システムに採用することができる。
〔構成39〕
本発明に係る情報処理システムは、
第3のカメラが撮影した別の映像データを、前記第3のカメラから前記第1のカメラへ、入力可能であり、前記第1のカメラが撮影した像データ、及び、前記第3のカメラが撮影した前記別の映像データを、前記第1のカメラから前記撮影機器へ、出力可能とするとよい。
このようにすれば、第1のカメラは、第1のカメラ自体が撮影した映像データを、撮影機器へ出力することができるのみならず、他の第3のカメラが撮影した別の映像データも同様に、撮影機器へ出力することができるので、ユーザは1本のケーブルを用いた簡潔な取り回しで本システムを導入することができる。
〔構成40〕
上記目的を達成するためのプログラムは、
情報処理システムに上記の各機能を実現させるためのプログラムとするとよい。
このようにすれば、既存の情報処理システムに対して、プログラムの提供を行うことによって、上記機能の提供を行うことができる。
上述した〔構成1〕から〔構成40〕に示した発明は、任意に組み合わせることができる。例えば、〔構成1〕に示した発明の全て又は一部の構成に、〔構成2〕以降の少なくとも1つの発明の少なくとも一部の構成を加える構成としてもよい。特に、〔構成1〕に示した発明に、〔構成2〕以降の少なくとも1つの発明の少なくとも一部の構成を加えた発明とするとよい。また、〔構成1〕から〔構成40〕に示した発明から任意の構成を抽出し、抽出された構成を組み合わせてもよい。本願の出願人は、これらの構成を含む発明について権利を取得する意思を有する。また「~の場合」「~のとき」という記載があったとしても、その場合やそのときに限られる構成として記載はしているものではない。これらはよりよい構成の例を示しているものであって、これらの場合やときでない構成についても権利取得する意思を有する。また順番を伴った記載になっている箇所もこの順番に限らない。一部の箇所を削除したり、順番を入れ替えたりした構成についても開示しているものであり、権利取得する意思を有する。
10…車両、101F、101R…撮影機器、102…車室内撮影用リアカメラ、103…ユーザ端末、104…外部サーバ、105…ネットワーク

Claims (9)

  1. 車両内に人が置き去りにされていないかを判定し、警告をする機能を備えた情報処理システムであって、
    前記車両内に人が置き去りの状態であると判定した場合、最初はドライバーが携帯している端末から警告を出力し、その後時間が経過しても置き去りの状態が解消されなければ、車両において警告音声を出力する機能を備えたこと
    を特徴とする情報処理システム。
  2. 前記車両内に人が置き去りの状態であるとの判定は、人検出可能なセンサとカメラの画像とに基づく検知により行うこと
    を特徴とする請求項1に記載のシステム。
  3. 前記車両内に人が置き去りの状態であるとの判定は、人検出可能なセンサによる車両内での人の検知結果をカメラの画像に基づく人検知を開始するトリガとして利用して行うこと
    を特徴とする請求項1または2に記載のシステム。
  4. 前記人検可能なセンサの検知範囲を前記車両の後部領域とすることにより、運転手と乗客とを分けて判別する機能を備えたこと
    を特徴とする請求項2または3に記載のシステム。
  5. 前記人検可能なセンサとして車室内に備えた熱画像カメラまたは焦電センサを備え、当該センサがガラス越しの人は検知しない特性を用いて車室内に人がいるか否かを検知する機能を備えること
    を特徴とする請求項2から4のいずれかに記載のシステム。
  6. 前記車両内に人が置き去りの状態であるとの判定は、カメラの画像に基づく検知により行い、
    前記画像は、車両のリア側から撮影した映像としたこと
    を特徴とする請求項1から5のいずれかに記載のシステム。
  7. チャイルドシートからはみ出た位置に子供の頭部を認識した場合に警告を出力する機能を備えたこと
    を特徴とする請求項1から6のいずれかに記載のシステム。
  8. 前記車内での子供の立ち上がりを認識した場合に警告を出力する機能を備えたこと
    を特徴とする請求項1から7のいずれかに記載のシステム。
  9. 請求項1から8のいずれかの機能をコンピューターに実現させるためのプログラム。
JP2022166652A 2021-06-30 2022-10-18 情報処理システム及びプログラム等 Active JP7240781B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023028069A JP7403196B2 (ja) 2021-06-30 2023-02-27 情報処理システム及びプログラム等

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2021109726 2021-06-30
JP2021109726 2021-06-30
JP2021162386 2021-09-30
JP2021162386 2021-09-30
JP2021196968A JP2023007334A (ja) 2021-06-30 2021-12-03 情報処理システム及びプログラム等

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2021196968A Division JP2023007334A (ja) 2021-06-30 2021-12-03 情報処理システム及びプログラム等

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023028069A Division JP7403196B2 (ja) 2021-06-30 2023-02-27 情報処理システム及びプログラム等

Publications (2)

Publication Number Publication Date
JP2023009057A JP2023009057A (ja) 2023-01-19
JP7240781B2 true JP7240781B2 (ja) 2023-03-16

Family

ID=85106865

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2021196968A Pending JP2023007334A (ja) 2021-06-30 2021-12-03 情報処理システム及びプログラム等
JP2022166652A Active JP7240781B2 (ja) 2021-06-30 2022-10-18 情報処理システム及びプログラム等
JP2023028069A Active JP7403196B2 (ja) 2021-06-30 2023-02-27 情報処理システム及びプログラム等

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2021196968A Pending JP2023007334A (ja) 2021-06-30 2021-12-03 情報処理システム及びプログラム等

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023028069A Active JP7403196B2 (ja) 2021-06-30 2023-02-27 情報処理システム及びプログラム等

Country Status (1)

Country Link
JP (3) JP2023007334A (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019205078A (ja) 2018-05-24 2019-11-28 株式会社ユピテル システム及びプログラム等
JP2020201108A (ja) 2019-06-10 2020-12-17 株式会社ミツバ 車両用警報装置
JP2021066275A (ja) 2019-10-18 2021-04-30 株式会社デンソー 車両制御装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002281486A (ja) 2001-03-16 2002-09-27 Dd Marketing:Kk 画像取得システム
JP2003138817A (ja) 2001-10-31 2003-05-14 Denso Corp 車両のキーレスエントリーシステム、個人識別方法及び個人識別システム
JP2008260474A (ja) 2007-04-13 2008-10-30 Denso Corp 車両用撮影装置
JP6127659B2 (ja) 2013-03-29 2017-05-17 富士通株式会社 運転支援装置及び運転支援方法
JP2017007453A (ja) 2015-06-19 2017-01-12 株式会社東海理化電機製作所 動体検知警告装置
US9942522B2 (en) 2015-08-19 2018-04-10 Faraday&Future Inc. In-vehicle camera system
JP6862629B2 (ja) 2017-03-30 2021-04-21 株式会社日本総合研究所 見守り送迎システムにおける車両管理サーバ、車載端末、見守り方法、及びプログラム
JP2019123354A (ja) 2018-01-16 2019-07-25 株式会社デンソー 乗員検知装置
JP2019168815A (ja) 2018-03-22 2019-10-03 東芝メモリ株式会社 情報処理装置、情報処理方法、及び情報処理プログラム
JP7110947B2 (ja) 2018-11-29 2022-08-02 トヨタ自動車株式会社 車両及び乗客輸送システム
JP2020157938A (ja) 2019-03-27 2020-10-01 三菱電機株式会社 車載監視制御装置
JP2021005402A (ja) 2020-09-15 2021-01-14 株式会社ユピテル 車載機器

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019205078A (ja) 2018-05-24 2019-11-28 株式会社ユピテル システム及びプログラム等
JP2020201108A (ja) 2019-06-10 2020-12-17 株式会社ミツバ 車両用警報装置
JP2021066275A (ja) 2019-10-18 2021-04-30 株式会社デンソー 車両制御装置

Also Published As

Publication number Publication date
JP2023007334A (ja) 2023-01-18
JP7403196B2 (ja) 2023-12-22
JP2023078159A (ja) 2023-06-06
JP2023009057A (ja) 2023-01-19

Similar Documents

Publication Publication Date Title
KR102254043B1 (ko) 차량의 내부 상태의 결정 및 그에 대한 응답
US20180154908A1 (en) Multi-purpose vehicle smart monitoring system and method
US9460601B2 (en) Driver distraction and drowsiness warning and sleepiness reduction for accident avoidance
US7378949B2 (en) Vehicle safety system and vehicle having the same
US20200396413A1 (en) Recording control device, recording control system, recording control method, and recording control program
US10346689B2 (en) Apparatus and method for connecting a mobile device camera
WO2021244591A1 (zh) 行车辅助设备、方法、车辆及存储介质
US20190152392A1 (en) Vehicle mounted collision avoidance systems and related methods
KR20140137774A (ko) 알에프아이디 태그를 이용한 차량운행안전시스템
JP2023036872A (ja) システム及びプログラム
TW201328340A (zh) 乘客攔車提示系統及方法
JP2023116446A (ja) システム等
KR101580567B1 (ko) 이벤트 영상 촬영 녹화 장치, 이벤트 영상 제공 방법
JP7240781B2 (ja) 情報処理システム及びプログラム等
CN103569084A (zh) 驾驶侦测装置及其方法
JP2021060676A (ja) システムおよびプログラム等
CN208585171U (zh) 一种流媒体后视镜系统及汽车
JP2022052193A (ja) 画像処理装置、及び画像処理プログラム
US20200275022A1 (en) Automotive driving recorder
JP2021096530A (ja) 運転支援装置、運転支援プログラムおよび運転支援システム
JP2024033135A (ja) 撮影装置、システム、及びプログラム等
WO2022064774A1 (ja) 画像処理装置、及び画像処理プログラム
JP7386568B1 (ja) システム等
JP2023125811A (ja) 情報処理システム及びプログラム等
JP2023126102A (ja) 情報処理システム及びプログラム等

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221018

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20221018

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221121

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230221

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230227

R150 Certificate of patent or registration of utility model

Ref document number: 7240781

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150