JP7347464B2 - 画像処理装置 - Google Patents

Description

本開示は、画像処理装置に関する。

特許文献１は、車両の走行状況に応じてカメラのフレームレートを設定する装置を開示する。この装置は、センサからの検出信号が車両に危険が及ぶ可能性を示唆するものである場合にのみ画像センサのフレームレートを上昇させ、普段は画像センサの基準のフレームレートを維持することによって撮像画像のための処理量および記憶量を抑制する。

特開２００９－２０５３８６号公報

しかしながら、特許文献１記載の装置は、被写体に対して適切な画像処理ができない場合がある。例えば、被写体が歩行者である場合には計算コストの高い画像処理が要求される。センサからの検出信号が車両に危険が及ぶ可能性を示唆するものである場合、フレームレートが上昇し、入力される単位時間あたりのフレーム数が増加する。このため、１フレームあたりに許容される画像処理時間が短くなるので、高い計算コストが要求される歩行者に関する画像処理が行えない場合がある。また、被写体が車両などの歩行者よりも速度の速い移動体である場合には、被写体の移動速度に伴ってフレーム間で被写体が大きく位置を変化させてしまい、差分検出に影響を与えるおそれがある。本開示は、被写体に応じて適切に画像処理を行える技術を提供する。

本開示の一側面に係る画像処理装置は、センサの検出結果に基づいて車両周辺の物体の種別を認識する認識部と、認識部により認識された物体の種別に基づいて、単位時間あたりに画像処理される画像数を決定する決定部と、物体を被写体として連写された複数の画像を画像センサから取得する取得部と、決定部によって決定された単位時間あたりに画像処理される画像数に基づいて取得部によって取得された複数の画像から対象画像を選択し、対象画像に基づいて物体に関する情報を算出する算出部とを備える。

この画像処理装置においては、単位時間あたりに画像処理される画像数（以下、処理レートという）が、物体の種別に基づいて決定される。そして、対象画像が、処理レートに基づいて複数の画像から選択される。そして、物体に関する情報が対象画像に基づいて算出される。このように、画像処理装置は、被写体ごとに被写体に適した処理レートを決定できる。よって、画像処理装置は、被写体に応じて適切に画像処理を行える。

一実施形態においては、認識部は、画像センサの検出結果に基づいて車両周辺の物体の種別を認識してもよい。この場合、物体の認識と、物体に関する情報の算出とを単一の画像センサで実行できる。

一実施形態においては、決定部は、車両と物体との相対速度が閾値以上である場合には、決定された単位時間あたりに処理される画像数を増加させてもよい。車両と物体との相対速度が大きいほどフレーム間の物体の位置変化が大きくなる。このため、車両と物体との相対速度が閾値以上である場合、画像処理装置は、処理レートを上げることにより、フレーム間の物体の位置変化を抑えて適切な画像処理が行える。

一実施形態においては、決定部は、車両と物体との相対速度が閾値よりも小さい場合には、決定された単位時間あたりに処理される画像数を減少させてもよい。車両と物体との相対速度が小さいほどフレーム間の物体の位置変化が小さくなる。このため、車両と物体との相対速度が閾値より小さい場合には処理レートを下げることにより、画像処理装置は、１フレームあたりに許容される画像処理時間の減少を抑えることができる。

一実施形態においては、認識部は、物体の状態をさらに認識し、決定部は、認識部により認識された物体の種別及び状態に基づいて、単位時間あたりに画像処理される画像数を決定してもよい。この場合、画像処理装置は、物体の種別だけでなく物体の状態に応じた画像処理を行える。

本開示によれば、被写体に応じて適切に画像処理を行える。

実施形態に係る画像処理装置を含む車両の一例の機能ブロック図である。 （Ａ）は画像センサの検出結果、（Ｂ）は画像センサにおけるフレームレートの概要図、（Ｃ）は画像処理装置における高処理レートの概要図、（Ｄ）は画像処理装置における低処理レートの概要図である。 実施形態に係る画像処理装置の動作の一例を示すフローチャートである。 変形例に係る画像処理装置の動作の一例を示すフローチャートである。 変形例に係る画像処理装置の動作の一例を示すフローチャートである。

以下、図面を参照して、例示的な実施形態について説明する。なお、以下の説明において、同一又は相当要素には同一符号を付し、重複する説明は繰り返さない。

（車両及び画像処理装置の構成）
図１は、実施形態に係る画像処理装置を含む車両の一例の機能ブロック図である。図１に示されるように、画像処理装置１は、バス、タクシー、又は一般的な乗用車などの車両２に搭載される。車両２は、一例として、外部センサ３、内部センサ４、ＥＣＵ（Electronic Control Unit）５、ＨＭＩ（Human MachineInterface）６、及び、アクチュエータ７を備える。

外部センサ３は、車両２の外部環境の情報を検出する検出器である。外部環境とは、車両２の周辺の物体の位置、物体の状況などである。外部センサ３の検出結果には、車両２が走行する車道の前方の物体の位置、形状、色などが含まれる。物体には、車両、歩行者、信号機、路面ペイントなどが含まれる。外部センサ３は、一例としてカメラである。

カメラは、車両２の外部状況を撮像する撮像機器である。カメラは、一例として車両２のフロントガラスの裏側に設けられる。カメラは、車両２の外部状況に関する撮像情報を取得する。カメラは、単眼カメラであってもよく、ステレオカメラであってもよい。ステレオカメラは、両眼視差を再現するように配置された二つの撮像部を有する。ステレオカメラの撮像情報には、奥行き方向の情報も含まれる。カメラは、所定のフレームレートで撮像し、所定の物体を被写体として連写された画像を出力する。所定のフレームレートとは、単位時間あたりに生成（出力）される画像数である。例えば、フレームレートが３ｆｐｓである場合には、1秒間で生成（出力）されるフレーム数が３であることを示す。カメラは、連写された画像として動画を出力してもよい。

外部センサ３は、カメラに限定されず、レーダセンサなどであってもよい。レーダセンサは、電波（例えばミリ波）又は光を利用して車両２の周辺の物体を検出する検出器である。レーダセンサには、例えば、ミリ波レーダ又はライダー（LIDAR：Laser Imaging Detection and Ranging）が含まれる。レーダセンサは、電波又は光を車両２の周辺に送信し、物体で反射された電波又は光を受信することで物体を検出する。

内部センサ４は、車両２の走行状態を検出する検出器である。内部センサ４は、車速センサ、加速度センサ及びヨーレートセンサを含んでもよい。

ＥＣＵ５は、車両２の走行を制御する。ＥＣＵ５は、ＣＰＵ（CentralProcessing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＣＡＮ（Controller AreaNetwork）通信回路などを有する電子制御ユニットである。ＥＣＵ５は、例えばＣＡＮ通信回路を用いて通信するネットワークに接続され、上述した車両２の構成要素と通信可能に接続される。ＥＣＵ５は、例えば、ＣＰＵが出力する信号に基づいて、ＣＡＮ通信回路を動作させてデータを入出力し、データをＲＡＭに記憶し、ＲＯＭに記憶されているプログラムをＲＡＭにロードし、ＲＡＭにロードされたプログラムを実行することで、後述する機能を実現する。ＥＣＵ５は、複数の電子制御ユニットから構成されてもよい。

ＨＭＩ６は、車両２の乗員（運転者含む）と、ＥＣＵ５によって実現されるシステムとのインターフェイスである。ＨＭＩ６は、一例として、情報を表示可能であり、かつ、乗員の操作入力を受け付け可能なタッチディスプレイなどを含む。アクチュエータ７は、車両２の走行制御を実行する装置である。アクチュエータ７は、エンジンアクチュエータ、ブレーキアクチュエータ、及び操舵アクチュエータを少なくとも含む。

（ＥＣＵの各機能）
画像処理装置１は、機能的な構成として、認識部１０、決定部１１、取得部１２及び算出部１３を備える。

認識部１０は、外部センサ３の検出結果に基づいて車両周辺の物体の種別を認識する。認識部１０に用いられる外部センサ３は、画像センサであってもよいし、レーダセンサであっても構わない。なお、認識部１０は、画像センサの検出結果に基づいて車両周辺の物体の種別を認識することで、後段の処理とセンサを共通化できる。車両周辺とは、車両を基準として所定距離内のことである。物体の種別とは、認識対象として予め分類されたカテゴリのことであり、静止物、車両、歩行者など任意に分類される。図２の（Ａ）は、画像センサの検出結果である。図２の（Ａ）は、車両２の前方を撮像した画像であり、ここでは、車両８及び歩行者９が撮像されている。認識部１０は、パターンマッチング技術などに基づいて物体認識を行い、車両８及び歩行者９の種別を認識する。例えば、車両８は、種別「車両」であり、歩行者９は、種別「歩行者」と認識される。

決定部１１は、認識部１０により認識された物体の種別に基づいて、単位時間あたりに画像処理される画像数を決定する。単位時間あたりに画像処理される画像数とは、後段において動作する算出部１３の処理レートである。例えば、処理レートが３ｆｐｓである場合には、算出部１３は１秒間で３枚のフレームを画像処理する。決定部１１は、物体の種別と処理レートとの予め定められた関係に基づいて処理レートを決定する。物体の種別と処理レートとの予め定められた関係は、例えば、テーブル形式で定義されてもよい。一例として、種別「車両」と処理レートＲＡ（例えば３６ｆｐｓ）とが関連付けられ、種別「歩行者」と処理レートＲＢ（例えば９ｆｐｓ）とが関連付けられる。

種別「車両」の処理レートが種別「歩行者」に比べて高い理由は、車両は移動速度が歩行者よりも速い傾向にあり、単位時間あたりの位置変化が歩行者よりも大きく、処理レートを上げないと正確に位置を認識できないおそれがあるためである。一方、種別「歩行者」の処理レートが種別「車両」に比べて低い理由は、歩行者は移動速度が車両よりも遅い傾向にあるため、単位時間あたりの位置変化が車両よりも小さいことから、処理レートを上げる必要がないためである。さらに、歩行者は、交通参加者の中でも最優先に対処すべき対象であるため、画像処理装置は、認識を強化する必要がある。仮に処理レートを上げてしまうと、画像一枚あたりにかけられる処理時間が少なくなり、結果として認識結果が低下するおそれがある。このように、種別「車両」の処理レートは種別「歩行者」に比べて高く設定される。なお、種別は車両及び歩行者のみに限定されず、静止物や移動体など適宜分類されていてもよい。

取得部１２は、物体を被写体として連写された複数の画像を外部センサ３から取得する。取得部１２の取得元となる外部センサ３は、画像センサである。取得部１２は、認識部１０によって認識された物体（車両、歩行者など）を被写体として連写された複数の画像を取得する。取得部１２によって取得される複数の画像は、画像センサのフレームレートで出力された画像である。図２の（Ｂ）は画像センサにおけるフレームレートの概要図である。図２の（Ｂ）では、画像Ｇｎ（ｎは整数）が撮像タイミングに関する時系列で示されている。図２の（Ｂ）に示されるように、取得部１２は、所定の間隔で撮像された画像Ｇｎを取得する。間隔は一定であってもよいし、一定でなくてもよい。取得部１２は、画像センサから一枚ずつ取得してもよいし、画像センサからバッファなどに記録された複数の画像を、何回かに分けてあるいは一度に取得してもよい。

算出部１３は、決定部１１によって決定された処理レートに基づいて、取得部１２によって取得された複数の画像から対象画像を選択する。算出部１３は、決定部１１によって決定された処理レートに従って、取得部１２によって取得された複数の画像を間引き、残余の画像を対象画像として選択する。例えば、種別「車両」の処理レートＲＡが、種別「歩行者」の処理レートＲＢよりも速いとする。つまり、種別「車両」の処理レートＲＡが高処理レートであり、種別「歩行者」の処理レートＲＢが低処理レートである。図２の（Ｃ）は画像処理装置における高処理レートの概要図、図２の（Ｄ）は画像処理装置における低処理レートの概要図である。図２の（Ｃ）に示される高処理レートにおいては、算出部１３によって、画像Ｇ２、Ｇ３、Ｇ５、Ｇ６が間引かれ、画像Ｇ１、Ｇ４、Ｇ７が対象画像として選択される。図２の（Ｄ）に示される低処理レートにおいては、算出部１３によって、画像Ｇ２、Ｇ３、Ｇ４、Ｇ６、Ｇ７が間引かれ、画像Ｇ１、Ｇ５が対象画像として選択される。図２の（Ｃ）及び図２の（Ｄ）に示されるように、高処理レートでは、１秒あたりの画像処理数が低処理レートよりも多くなる。このように、画像処理装置１は、画像センサのフレームレートを変更することなく、処理レートを変更する。

算出部１３は、対象画像に基づいて物体に関する情報を算出する。物体に関する情報とは、複数の画像から取得できる物体の情報であり、例えば、物体の速度あるいは加速度、又は種別よりも細かい分類結果などである。種別よりも細かい分類結果とは、上述した種別をさらに細かく分類したカテゴリであり、車両であればバス、トラック、タクシーなどであり、歩行者であれば大人、子供、性別、髪型などである。図２の（Ｃ）に示されるように、物体（被写体）が車両であって高処理レートによる対象画像の選択をした場合、算出部１３は、画像Ｇ１、Ｇ４、Ｇ７に基づいて車両８に関する情報を取得する。また、図２の（Ｄ）に示されるように、物体（被写体）が歩行者であって低処理レートによる対象画像の選択をした場合、算出部１３は、画像Ｇ１、Ｇ５に基づいて歩行者９に関する情報を取得する。

ＥＣＵ５は、車両制御部１４をさらに備えてもよい。車両制御部１４は、例えば、画像処理装置１によって得られた物体に関する情報に基づいてアクチュエータ７を動作させて車両２を制御する。あるいは、車両制御部１４は、例えば、画像処理装置１によって得られた物体に関する情報に基づいてＨＭＩ６に情報を表示させる。

（画像処理装置の動作）
図３は、実施形態に係る画像処理装置の動作の一例を示すフローチャートである。図３に示されるフローチャートは、例えば車両２に備わる画像処理機能の開始ボタンがＯＮされたタイミングで、画像処理装置１によって実行される。なお、以下では、認識された物体は、歩行者及び車両の何れかであるとして説明する。

図３に示されるように、画像処理装置１の認識部１０は、ステップＳ１０として、センサの検出結果を取得する。認識部１０は、外部センサ３の検出結果を取得する。

続いて、認識部１０は、ステップＳ１２として、ステップＳ１０によって取得されたセンサの検出結果に基づいて物体の種別を認識する。認識部１０によって認識された物体の種別が歩行者である場合、画像処理装置１の決定部１１は、ステップＳ１４として、処理レートを低処理レートに設定する（図２の（Ｃ））。認識部１０によって認識された物体の種別が車両である場合、決定部１１は、ステップＳ１６として、処理レートを高処理レートに設定する（図２の（Ｄ））。

ステップＳ１４又はステップＳ１６が終了すると、画像処理装置１の取得部１２は、ステップＳ２８として、画像センサから複数の画像を取得する。

続いて、画像処理装置１の算出部１３は、ステップＳ３０として、画像処理を実行する。算出部１３は、ステップＳ１４で決定された処理レートに基づいて、ステップＳ２８で取得された複数の画像から対象画像を選択する。算出部１３は、選択された対象画像に基づいて物体に関する情報を算出する。

続いて、ＥＣＵ５は、ステップＳ３２として、後処理を実行する。例えば、ＥＣＵ５の車両制御部１４は、後処理として車両２を動作させる。なお、画像処理装置１が、後処理として、物体に関する情報をＥＣＵ５の記憶部に記憶してもよいし、物体に関する情報をＨＭＩ６に表示させてもよい。ステップＳ３２が終了すると、図３に示されるフローチャートは終了する。図３に示されるフローチャートが終了すると、終了条件が満たされるまで、再度、ステップＳ１０から処理が実行される。終了条件は、例えば画像処理機能の終了ボタンがＯＮされた場合などである。図３に示されるフローチャートが実行されることにより、被写体の種別に応じて処理レートが変更される。

（実施形態のまとめ）
画像処理装置１においては、一秒（単位時間の一例）あたりに画像処理される画像数である処理レートが、物体の種別に基づいて決定される。そして、対象画像が、処理レートに基づいて複数の画像から選択される。そして、物体に関する情報が対象画像に基づいて算出される。このように、画像処理装置１は、被写体ごとに被写体に適した処理レートを決定できる。よって、画像処理装置１は、被写体に応じて適切に画像処理を行える。

画像処理装置１の認識部１０においては、画像センサの検出結果に基づいて車両周辺の物体の種別を認識する。これにより、認識部１０と取得部１２との間で共通のセンサを利用できる。

（変形例）
以上、種々の例示的実施形態について説明してきたが、上述した例示的実施形態に限定されることなく、様々な省略、置換、及び変更がなされてもよい。

例えば、画像処理装置１の認識部１０は、物体の状態をさらに認識してもよい。物体の状態とは、外観変化の状態である。例えば、物体が歩行者であれば、手を振っている状態、手を振っていない状態であったり、帽子を被った状態、帽子を脱いだ状態などである。例えば物体が車両であれば、ブレーキランプ（レールランプ）の点灯状態、方向指示器の点灯状態などである。以下では、物体の状態が車両のブレーキランプの点灯状態である場合を一例として説明する。

画像処理装置１の決定部１１は、認識部１０により認識された物体の種別及び状態に基づいて、処理レートを決定する。決定部１１は、種別に応じて決定された処理レートを、物体の状態に応じて調整する。決定部１１は、例えば、種別「車両」の場合には、処理レートを高処理レートのみに設定するのではなく、高処理レート又は中処理レートに設定する。中処理レートは、種別「歩行者」に関連付けられた低処理レートよりも高い処理レートであって、種別「車両」に関連付けられた高処理レートよりも低い処理レートである。一例として、決定部１１は、認識部１０により認識された車両８のブレーキランプが点灯している場合には高処理レートとし、認識部１０により認識された車両８のブレーキランプが点灯していない場合には中処理レートとする。車両８のブレーキランプが点灯する場合には、車両８のブレーキランプが点灯していない場合よりも車両８と車両２との速度差が大きくなるおそれがある運転シーンである。このため、決定部１１は、車両８のブレーキランプが点灯している場合には高処理レート、車両８のブレーキランプが点灯していない場合には中処理レートと設定することで、よりきめ細やかに適切な処理レートの決定を行える。なお、中処理レートは予め定められていてもよいし、低処理レートにならない範囲で高処理レートから所定の処理レートを減算して求めてもよい。

図４は、変形例に係る画像処理装置の動作の一例を示すフローチャートである。図４に示されるフローチャートは、図３に示されるフローチャートと比較して、ステップＳ１５及びステップＳ１７が追加されている点が相違し、その他は同一である。

ステップＳ１２において物体の種別が車両と認識された場合、決定部１１は、ステップＳ１５としてブレーキランプが点灯しているか否かを判定する。決定部１１は、画像センサの検出結果に基づいてブレーキランプの点灯の有無を認識する。決定部１１は、ブレーキランプが点灯していると判定した場合（ステップＳ１５：ＹＥＳ）、ステップＳ１６として処理レートを高処理レートに設定する。決定部１１は、ブレーキランプが点灯していないと判定した場合（ステップＳ１５：ＮＯ）、ステップＳ１６として処理レートを中処理レートに設定する。その他の処理は図３と同一である。図４に示されるフローチャートが実行されることで、画像処理装置１は、物体の種別だけでなく物体の状態に応じた画像処理を行える。

さらなる変形例として、決定部１１は、車両２と物体との相対速度が閾値以上である場合には処理レートを増加させることもできる。決定部１１は、外部センサ３の検出結果に基づいて車両２と物体との相対速度を算出し、算出された相対速度と閾値とを比較する。閾値は、処理レートの増減を判定するために、予め定められた値である。決定部１１は、算出された相対速度が閾値以上である場合、フレーム間において物体の位置変化が大きいと判断し、処理レートを増加させる。例えば、決定部１１は、車両２と車両８との相対速度が閾値以上である場合には、種別「車両」の処理レートＲＡに予め決められた増加レート（例えば２ｆｐｓ）を加算する。なお、増加レートは、相対速度に比例して増加させてもよい。

決定部１１は、車両２と物体との相対速度が閾値以上でない場合には処理レートを減少させることもできる。決定部１１は、算出された相対速度が閾値以上でない場合、フレーム間において物体の位置変化が大きくないと判断し、処理レートを低下させる。例えば、決定部１１は、車両２と車両８との相対速度が閾値以上でない場合には、種別「車両」の処理レートＲＡに予め決められた減少レート（例えば２ｆｐｓ）を減算する。なお、減算レートは、相対速度に比例して絶対値を増加させてもよい。これにより、決定部１１は、きめ細やかに適切な処理レートの決定を行える。

図５は、変形例に係る画像処理装置の動作の一例を示すフローチャートである。図４に示されるフローチャートは、図３に示されるフローチャートと比較して、ステップＳ２２、ステップＳ２４及びステップＳ２６が追加されている点が相違し、その他は同一である。

決定部１１は、ステップＳ２２として車両２と物体との相対速度が閾値以上であるか否かを判定する。決定部１１は、相対速度が閾値以上である場合（ステップＳ２２：ＹＥＳ）、ステップＳ２４として処理レートを増加させる。決定部１１は、相対速度が閾値以上でない場合（ステップＳ２２：ＮＯ）、ステップＳ２６として処理レートを減少させる。図５に示されるフローチャートが実行されることで、画像処理装置１は、相対速度に応じて処理レートを調整できる。

また、図３において、画像処理装置１の決定部１１は、ステップＳ１２として物体の種別を判定する処理を実行しているが、物体の種別は車両及び歩行者に限定されない。図３において、物体の種別が車両及び歩行者の何れでもない場合には、予め設定された基準処理レートに設定してもよい。基準処理レートは、例えば低処理レートよりも高く、高処理レートよりも低く設定され得る。

１…画像処理装置、２…車両、１０…認識部、１１…決定部、１２…取得部、１３…算出部、１４…車両制御部。

Claims (5)

1. センサの検出結果に基づいて車両周辺の物体の種別を認識する認識部と、
   前記認識部により認識された前記物体の種別に基づいて、単位時間あたりに画像処理される画像数を決定する決定部であって、前記物体の種別が歩行者である場合には前記物体の種別が車両である場合と比べて単位時間あたりに画像処理される画像数を減少させる、前記決定部と、
   前記物体を被写体として所定のフレームレートで連写し、複数の画像を出力する画像センサと、
   前記画像センサから前記複数の画像を取得する取得部と、
   前記決定部によって決定された単位時間あたりに画像処理される画像数に基づいて前記取得部によって取得された前記複数の画像から対象画像を選択し、前記対象画像に基づいて前記物体に関する情報を算出する算出部と、
   を備える画像処理装置。
2. 前記認識部は、前記画像センサの検出結果に基づいて車両周辺の物体の種別を認識する、請求項１に記載の画像処理装置。
3. 前記決定部は、車両と物体との相対速度が閾値以上である場合には、前記決定された単位時間あたりに処理される画像数を増加させる、請求項１に記載の画像処理装置。
4. 前記決定部は、車両と物体との相対速度が閾値よりも小さい場合には、前記決定された単位時間あたりに処理される画像数を減少させる、請求項１～３の何れか一項に記載の画像処理装置。
5. 前記認識部は、前記物体の状態をさらに認識し、
   前記決定部は、前記認識部により認識された前記物体の種別及び状態に基づいて、単位時間あたりに画像処理される画像数を決定する、請求項１～４の何れか一項に記載の画像処理装置。

Images