JP7735948B2 - 画像記憶システムおよび画像記憶方法 - Google Patents

Description

本発明は、周辺環境を撮像した撮像画像を加工して記憶する技術に関する。

特許文献１に記載のドライブレコーダは、車両に搭載されたカメラによって撮影された画像から他車両が写された領域を抽出する画像抽出部と、他車両が写された領域に対して、車両の種別に関連する特徴を反映した車両特徴画像に変換し、車両の乗員の特徴を反映した乗員特徴画像を、車両特徴画像に重畳する画像処理部と、を備える。車両の乗員は、大人の男性や大人の女性に分類される。

特開２０２１－１７６２３５号公報

撮像画像上に道路上にいる対象者が含まれる場合、対象者のプライバシー保護のため対象者の顔をマスクすることが望ましいが、対象者の顔をマスクすることによって対象者の今後の進行方向を示す意図を読み取ることが困難になる。

本発明の目的は、対象者の顔をマスクしつつも、対象者の行動予測に有用な情報を残す技術を提供することにある。

上記課題を解決するために、本発明のある態様の画像記憶システムは、周辺環境をカメラによって撮像した撮像画像、および光を照射して受光する光測距装置によって対象物の距離を測定した３次元情報を取得する取得部と、撮像画像に含まれる対象者の顔を検出し、検出した対象者の顔の向きを３次元情報から導出する導出部と、撮像画像に含まれる対象者の顔をマスクし、その顔の向きを示す情報を撮像画像のデータに付加した加工画像を生成する画像加工部と、画像加工部によって生成された加工画像のデータを記憶する記憶部と、を備える。撮像画像および３次元情報は、撮像画像および３次元情報にそれぞれ付加された検出時刻を示すタイムスタンプをもとに対応付けられる。導出部は、３次元情報をもとに対象者の顔の部位を導出し、導出した顔の部位の位置に応じて顔の向きを導出する。画像加工部は、加工画像のデータに対象者の位置情報を付加する。付加される対象者の位置情報は、車両の位置情報と、３次元情報に示す対象者の前記車両からの距離および方向とをもとに算出される。

本発明の別の態様は、画像記憶方法である。この方法は、コンピュータによって各ステップを実行される画像記憶方法であって、周辺環境をカメラによって撮像した撮像画像、および光を照射して受光する光測距装置によって対象物の距離を測定した３次元情報を取得するステップと、撮像画像に含まれる対象者の顔を検出し、検出した対象者の顔の向きを３次元情報から導出するステップと、撮像画像に含まれる対象者の顔をマスクし、その顔の向きを示す情報を撮像画像のデータに付加して加工画像を生成するステップと、生成された加工画像のデータを記憶するステップと、を含む。取得される撮像画像および３次元情報は、撮像画像および３次元情報にそれぞれ付加された検出時刻を示すタイムスタンプをもとに対応付けられる。導出するステップでは、３次元情報をもとに対象者の顔の部位を導出し、導出した顔の部位の位置に応じて顔の向きを導出する。加工画像を生成するステップでは、加工画像のデータに対象者の位置情報を付加する。付加される対象者の位置情報は、車両の位置情報と、３次元情報に示す対象者の前記車両からの距離および方向とをもとに算出される。

本発明によれば、対象者の顔をマスクしつつも、対象者の行動予測に有用な情報を残す技術を提供できる。

車両の周辺環境を撮像した撮像画像を示す図である。 図１に示す撮像画像を加工した加工画像を示す図である。 画像記憶システムの機能構成を示す図である。 顔画像を示し、顔の向きを導出する処理について説明するための図である。 図１に示す撮像画像を加工した変形例の加工画像を示す図である。 実施例の画像記憶処理のフローチャートである。

図１は、車両の周辺環境を撮像した撮像画像１０を示す図である。撮像画像１０は、車両に搭載されたカメラによって車両前方を撮像して生成されたものである。図１では、車両前方の撮像画像１０を示すが、これに限られず、車両後方や車両側方の撮像画像であってよい。

撮像画像１０には、対象者１２および対象者１４が写り込んでいる。対象者１２は、歩道に沿って正面に向かっており、対象者１４は、歩道から道路に向かっている。撮像画像１０は顔認識処理を施されており、対象者１２の顔を囲む検出枠１６と、対象者１４の顔を囲む検出枠１８が付加されている。

撮像画像１０は、加工されてサーバ装置に送信され、車両の運転支援に用いられる。例えば、対象者１４が道路に出ようとしていることが推定された場合に、運転支援情報として運転者に対象者１４の存在を示す情報が通知される。運転支援情報は、スピーカやディスプレなどによって出力される。車両は自動運転可能であってよく、撮像画像１０をもとに自動運転のための運転支援情報が生成されてよい。

図２は、図１に示す撮像画像１０を加工した加工画像１１を示す図である。図２では図１に示す撮像画像１０の対象者１２に着目した拡大図である。加工画像１１に含まれる対象者１２は、顔が位置していた箇所にマスキング処理を施してマスク領域２０としている。これにより、車両を含むシステムが撮像画像１０を利用する際に、撮像画像１０に写り込んだ対象者を特定しづらくでき、個人情報を保護することができる。

対象者は進行方向に顔を向けることが多く、顔の向きを示す情報は衝突判定などに有用である。対象者１２の顔はマスク領域２０として特定不能にされている一方、対象者１２の顔の向きを示す顔方向情報２２が加工画像１１に付加されている。これにより、車両のシステムが、対象者１２の顔をマスクしても、対象者１２の顔を向きが把握可能となり、顔方向情報２２をもとに対象者１２の進行方向を予測しやすくできる。このように撮像画像１０を加工することによって、撮像画像１０に写る対象者１２の個人情報を保護しつつ、対象者１２の行動予測をしやすくできる。図１および図２では、対象者１２が歩行者である例を示したが、自転車の運転者であってもよい。

図３は、画像記憶システム１の機能構成を示す図である。画像記憶システム１の各機能は、ハードウェア的には、回路ブロック、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、メモリにロードされたシステムソフトウェアやアプリケーションプログラムなどによって実現される。したがって画像記憶システム１の各機能はハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

画像記憶システム１は、画像記憶装置２４、カメラ２６、光学センサ２８およびサーバ装置３０を備える。画像記憶装置２４は、取得部３２、位置情報取得部３４、処理部３６、地図情報保持部３８、記憶部４０および通信部４２を備える。

カメラ２６は、車両に搭載され、車両の周辺環境を撮像し、撮像画像を画像記憶装置２４に送る。カメラ２６は、車両前方だけでなく、車両の後方および側方を撮像してよい。

光学センサ２８は、例えばＬｉＤＡＲ（light detection and ranging）であり、光測距装置である。光学センサ２８は、測定範囲にある対象物に対してレーザ等の照射光を照射し、照射光の照射に応じた対象物からの反射光を受光し、受光状態に応じた信号をもとに対象物までの距離を測定する。対象物までの距離は、照射光を照射した時刻と反射光を受光した時刻により算出される。対象物の方向は、照射光を照射した方向によって定まる。このように、光学センサ２８は、車両の進行方向の対象物に対して照射することで、車両からの対象物の距離および方向を測定する。光学センサ２８によって車両からの距離および方向を示す点群からなる３次元情報が得られる。カメラ２６および光学センサ２８は、検出結果を画像記憶装置２４に送る。カメラ２６および光学センサ２８の検出結果には時刻同期されたタイムスタンプが付与されており、タイムスタンプによって両データを関連付けることができる。

画像記憶装置２４は、カメラ２６から撮像画像１０を受け取って、撮像画像１０にマスキング処理を施して加工画像１１を生成し、加工画像１１をサーバ装置３０に送信する。画像記憶装置２４から送信される情報は、加工画像１１だけでなく、不図示の車載センサで検出した車両走行情報および周辺環境情報を含む。車載センサは、例えば、車速センサ、シフトポジション検出センサ、舵角センサ、ミリ波レーダ、超音波センサなどであってよい。サーバ装置３０は、画像記憶装置２４から受け取った加工画像１１を解析して、運転支援情報を生成する。

画像記憶装置２４の取得部３２は、カメラ２６から撮像画像を取得し、光学センサ２８から３次元情報を取得する。撮像画像および３次元情報には、検出時刻を示すタイムスタンプが付加されている。そのため、撮像画像とほぼ同時刻で検出された３次元情報をその撮像画像に対応付けることができる。

位置情報取得部３４は、全球測位衛星システム（ＧＮＳＳ）を用いて車両の位置情報を取得する。車両の位置情報にはタイムスタンプが付加される。車両の位置情報は緯度および経度で示される。地図情報保持部３８は、住所や道路を示す地図情報を緯度および経度に関連付けて保持する。そのため、位置情報取得部３４によって取得された位置情報から車両がいずれの道路を走行しているか導出できる。また、地図情報には、車両、歩道、横断歩道などの道路属性情報が含まれる。

処理部３６は、画像処理を実行し、導出部４４および画像加工部４６を有する。導出部４４は、撮像画像１０に含まれる対象者の顔を検出し、検出した対象者の顔の向きを３次元情報から導出する。対象者の顔は、撮像画像１０を既知の顔認識処理で解析することで検出する。撮像画像１０から対象者の顔を検出する処理は、パターンマッチングの手法であってよく、機械学習によって学習したモデルによって実行されてよい。導出部４４は、対象者の顔を検出して図１に示すように検出枠１６，１８を生成する。

図４は、顔画像５０を示し、顔の向きを導出する処理について説明するための図である。導出部４４は、３次元情報を用いて、検出した対象者の顔の向きを導出する。導出部４４は、点群からなる３次元情報を用いて、対象者の顔の部位を導出する。導出部４４は、例えば、顔に含まれる点群のうち最も隆起している部分を鼻であると導出し、窪んでいる部分を目であると導出する。導出部４４は、顔の部位の位置関係を示す情報を用いてよく、特定の顔の部位が導出されれば、他の凹凸を示す点群の領域と顔の位置関係を示す情報とをもとに他の顔の部位を導出する。導出部４４は、顔画像５０に含まれる鼻５２ａ、目５２ｂ、口５２ｃ、耳５２ｄを導出する。なお、導出部４４は、鼻５２ａのみ導出してもよい。鼻５２ａは、隆起を示す点群領域の中央位置であってよい。

導出部４４は、顔画像５０の基準位置５４を設定し、基準位置５４からの顔の部位との位置関係を導出し、導出した位置関係をもとに顔の向きを導出する。基準位置５４は、顔の中心位置に設定されてよく、真正面を向いた顔における平均的な鼻５２ａの位置に設定されてよい。簡単には、導出部４４は、鼻５２ａと基準位置５４との位置関係をもとに顔の向きを導出する。仮に鼻５２ａと基準位置５４の位置が同じならば顔は真正面を向いている。

図４に示すように、左右方向において鼻５２ａが基準位置５４よりも左側に位置すれば顔は右側を向いており、上下方向において鼻５２ａが基準位置５４と同じ高さに位置すれば顔は水平を向いている。このように、導出部４４は、鼻５２ａと基準位置５４の位置関係によって３次元方向の顔の向きを導出する。なお、導出部４４は、２つの目５２ｂの中間位置と基準位置との位置関係によって顔の向きを導出してよく、口５２ｃと基準位置との位置関係によって顔の向きを導出してよい。基準位置は、顔の部位毎に設定されてよい。導出部４４は、複数の顔の部位の位置と、それぞれの部位に設定した基準位置との位置関係によって顔の向きを導出してよい。いずれにしても、導出部４４は、３次元情報をもとに対象者の顔の部位を導出し、導出した顔の部位の位置に応じて顔の向きを導出する。導出部４４は、鼻５２ａと基準位置５４との位置関係と顔の向きとを関連付けたマップまたは関数を保持し、そのマップまたは関数を鼻５２ａと基準位置５４との位置関係を入力して顔の向きを導出する。

なお、光学センサ２８の検出可能な距離は数１０メートルであり、光学センサ２８で検出できない距離に位置する人は、対象者から外れ、本処理から除かれる。

図３に戻る。画像加工部４６は、撮像画像１０に含まれる対象者の顔をマスクし、その顔の向きを示す情報を撮像画像１０のデータに付加し、図２に示す加工画像１１を生成する。対象者の顔をマスクするマスキング処理は、塗りつぶし処理、ぼかし処理、コンピュータグラフィックスの顔画像に変換する処理などであってよい。図２では、マスク領域２０に塗りつぶし処理を施している。また、マスク領域２０は、図１に示す顔認識処理で設定された検出枠１６，１８の内側の領域であってよい。対象者の顔画像はマスクされているものの、対象者の肩から下の体はそのまま加工せずに残されている。

画像加工部４６は、撮像画像１０に対して、対象者の顔をマスクしつつ、顔の向きを示す情報、すなわち３次元方向のベクトル情報を付加し、加工画像１１を生成する。顔の向きを示す情報は、ヨー角、ピッチ角、ロール角が定められたベクトルであってよい。導出部４４および画像加工部４６は、１フレームの撮像画像毎に加工画像を生成する処理を実行する。図２では加工画像１１に付加された顔の向きを示す情報を矢印で示すが、対象者１２と関連付けたベクトルであってよい。

画像加工部４６は、生成した加工画像１１を記憶部４０に送り、記憶部４０は、画像加工部４６によって生成された加工画像１１のデータを記憶する。通信部４２は、記憶部４０に記憶された加工画像１１をサーバ装置３０に送信する。これにより、対象者を特定しづらくした加工画像１１を送信できる。また、サーバ装置３０は、対象者の顔の向きをもとに、対象者の将来の行動予測を精度良く推定できる。通信部４２は、加工画像１１を、プローブ情報に含ませてサーバ装置３０に送信してよい。プローブ情報とは、車両ＩＤ、時刻、車速、車両加速度、車両位置情報などであり、周期的にサーバ装置３０に送信されている。

図５は、図１に示す撮像画像１０を加工した変形例の加工画像５６を示す図である。図５に示す加工画像５６は、図２に示す加工画像１１と比べて、目線情報５８と移動方向情報６０とが付加されている点で相違する。

導出部４４は、撮像画像１０を解析して目における虹彩の位置をもとに目線情報５８を導出する。また、導出部４４は、時系列順の撮像画像１０をもとに対象者１２の移動方向を導出する。時系列順の撮像画像１０に含まれる対象者１２を追跡して、対象者１２の移動方向を導出する。導出部４４は、対象者毎にＩＤを付与して追跡する。画像加工部４６は、加工画像５６のデータに、対象者１２の目線情報５８と、対象者１２の移動方向情報６０とを付加する。これにより、対象者１２が歩行中であるか、静止しているのか判別でき、対象者１２の将来的な行動予測を精度よくできる。

画像加工部４６は、加工画像５６のデータに対象者１２の位置情報を付加してよい。対象者１２の位置情報は、車両の位置情報と、３次元情報に示す対象者の車両からの距離および方向とをもとに算出される。対象者１２の位置情報は、緯度および経度だけでなく、車道、歩道、横断歩道などの道路属性情報を含んでよい。つまり、対象者１２が道路上のどこにいるのか示す情報を対象者１２の位置情報に含ませる。道路属性情報は、地図情報をもとに算出する。これにより、対象者１２の位置情報をもとに、車両との衝突可能性を精度よく算出できる。また、運転者に通知する運転支援情報を地理的名称を用いて生成できる。

図６は、実施例の画像記憶処理のフローチャートである。取得部３２は、カメラ２６から車両の周辺環境を撮像した撮像画像を取得し（Ｓ１０）、光学センサ２８から車両の周辺環境を検出した３次元情報を取得する（Ｓ１２）。

導出部４４は、撮像画像に対して顔認識処理を実行し、対象者の顔の画像を検出する（Ｓ１４）。導出部４４は、対象者有りであるか、つまり対象者の顔画像が検出されたか判定する（Ｓ１６）。また、対象者は３次元情報で検出されたものに限定してもよく、導出部４４は、顔画像に対応する３次元情報が検出された対象者がいるか判定してもよい。

対象者がいない場合（Ｓ１６のＮ）、画像加工部４６は撮像画像を加工することなく、通信部４２は撮像画像をサーバ装置３０に送信する（Ｓ２４）。対象者がいる場合（Ｓ１６のＹ）、導出部４４は３次元情報をもとに対象者の顔の部位を導出し、導出した顔の部位の位置に応じて顔の向きを導出する（Ｓ１８）。

画像加工部４６は、撮像画像のうち顔画像をマスクするマスキング処理を実行し（Ｓ２０）、顔の向きを示す情報を付加して加工画像を生成する（Ｓ２２）。通信部４２は、生成された加工画像をサーバ装置３０に送信する（Ｓ２４）。この処理は撮像画像毎に繰り返される。

以上、本開示を実施例をもとに説明した。本開示は、上述の実施例に限定されるものではなく、当業者の知識に基づいて各種の設計変更等の変形を加えることも可能である。

例えば、実施例ではサーバ装置３０が加工画像を受け取って運転支援情報を生成し、その運転支援情報を車両に送信する態様を示したが、この態様に限られない。例えば、サーバ装置３０は、加工画像を事後的に解析して運転者の運転スキルや運転傾向を算出してもよい。

また、実施例では光学センサ２８がＬｉＤＡＲである態様を示したが、この態様に限られない。例えば、光学センサ２８はステレオカメラであってよい。いずれにしても光学センサ２８の検出結果をもとに、対象者の顔の奥行きを算出して、顔の部位を特定できる。

また、実施例では車両側で加工画像を生成する態様を示したが、この態様に限られず、サーバ装置３０側で加工画像を生成してもよい。

１ 画像記憶システム、 １０ 撮像画像、 １１ 加工画像、 １２，１４ 対象者、 １６，１８ 検出枠、 ２０ マスク領域、 ２２ 顔方向情報、 ２４ 画像記憶装置、 ２６ カメラ、 ２８ 光学センサ、 ３０ サーバ装置、 ３２ 取得部、 ３４ 位置情報取得部、 ３６ 処理部、 ３８ 地図情報保持部、 ４０ 記憶部、 ４２ 通信部、 ４４ 導出部、 ４６ 画像加工部。

Claims (5)

1. 周辺環境をカメラによって撮像した撮像画像、および光を照射して受光する光測距装置によって対象物の距離を測定した３次元情報を取得する取得部と、
   撮像画像に含まれる対象者の顔を検出し、検出した対象者の顔の向きを３次元情報から導出する導出部と、
   撮像画像に含まれる対象者の顔をマスクし、その顔の向きを示す情報を撮像画像のデータに付加した加工画像を生成する画像加工部と、
   前記画像加工部によって生成された加工画像のデータを記憶する記憶部と、を備え、
   取得される撮像画像および３次元情報は、撮像画像および３次元情報にそれぞれ付加された検出時刻を示すタイムスタンプをもとに対応付けられ、
   前記導出部は、３次元情報をもとに対象者の顔の部位を導出し、導出した顔の部位の位置に応じて顔の向きを導出し、
   前記画像加工部は、加工画像のデータに対象者の位置情報を付加し、
   付加される対象者の位置情報は、車両の位置情報と、３次元情報に示す対象者の前記車両からの距離および方向とをもとに算出されることを特徴とする画像記憶システム。
2. 前記導出部は、３次元情報をもとに対象者の顔の部位を導出し、顔画像上に設定された基準位置からの、導出した顔の部位の位置関係をもとに顔の向きを導出することを特徴とする請求項１に記載の画像記憶システム。
3. 前記導出部は、時系列順の撮像画像をもとに対象者の移動方向を導出し、
   前記画像加工部は、加工画像のデータに対象者の移動方向を付加することを特徴とする請求項１または２に記載の画像記憶システム。
4. 付加される対象者の位置情報は、対象者が道路上のどこにいるのか示す道路属性情報を含むことを特徴とする請求項１または２に記載の画像記憶システム。
5. コンピュータによって各ステップを実行される画像記憶方法であって、
   周辺環境をカメラによって撮像した撮像画像、および光を照射して受光する光測距装置によって対象物の距離を測定した３次元情報を取得するステップと、
   撮像画像に含まれる対象者の顔を検出し、検出した対象者の顔の向きを３次元情報から導出するステップと、
   撮像画像に含まれる対象者の顔をマスクし、その顔の向きを示す情報を撮像画像のデータに付加して加工画像を生成するステップと、
   生成された加工画像のデータを記憶するステップと、を含み、
   取得される撮像画像および３次元情報は、撮像画像および３次元情報にそれぞれ付加された検出時刻を示すタイムスタンプをもとに対応付けられ、
   前記導出するステップでは、３次元情報をもとに対象者の顔の部位を導出し、導出した顔の部位の位置に応じて顔の向きを導出し、
   前記加工画像を生成するステップでは、加工画像のデータに対象者の位置情報を付加し、
   付加される対象者の位置情報は、車両の位置情報と、３次元情報に示す対象者の前記車両からの距離および方向とをもとに算出されることを特徴とする画像記憶方法。