JP6720510B2

JP6720510B2 - 移動体システム

Info

Publication number: JP6720510B2
Application number: JP2015227268A
Authority: JP
Inventors: 洋義関口; 栄太渡邊
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2015-01-09
Filing date: 2015-11-20
Publication date: 2020-07-08
Anticipated expiration: 2035-11-20
Also published as: JP2016131367A

Description

本発明は、移動体システムに関する。

従来から、移動体にステレオカメラを取り付けることで、移動体周辺の情報を取得する移動体システムが知られている。

移動体システムとしては、例えば車両に複数のステレオカメラをそれぞれ同一方向又は異なる方向を撮影するように固定した構成が開示されている（例えば、特許文献１参照）。

しかしながら、ステレオカメラがある方向に固定されている状態では、移動体が例えば左方向、右方向に進行方向を変更した場合、移動体周辺の情報を取得するまでの時間が長くなることがある。

そこで、本発明の一つの案では、移動体周辺の情報を取得するまでの時間の短縮を図ることを目的とする。

一つの案では、移動体に取り付けられた撮像装置と、前記撮像装置の視線方向を変更する視線方向変更機構と、前記移動体の進行方向の変化に応じて、前記撮像装置の視線方向を制御する制御部とを有し、前記制御部は、前記移動体の方向指示器のオン・オフの判定を行うように構成されており、前記制御部は、前記方向指示器がオンされた場合、前記方向指示器と対応する方向に前記撮像装置の視線方向が変化するように前記撮像装置を制御した後、前記移動体の進行方向の変化に応じて、前記撮像装置の視線方向を制御する、移動体システムが提供される。

一態様によれば、移動体周辺の情報を取得するまでの時間の短縮を図ることができる。

本発明の第１実施形態に係る移動体システムの概略構成図（その１）である。本発明の第１実施形態に係る移動体システムの制御ブロック図である。本発明の第１実施形態に係るステレオカメラのハードウェア構成を示すブロック図である。本発明の第１実施形態に係る移動体システムの動作の一例を示すフローチャートである。ステアリング操舵角とステレオカメラの視線方向との関係を例示するテーブルである。本発明の第１実施形態に係る移動体システムの動作の他の例を示すフローチャートである。車両の進行方向が前方向であるときに、車両が左方向に操舵された場合の移動体システムの動作を説明するための図である。車両の進行方向とステレオカメラの視線方向との関係を説明するための図である。車両の進行方向が前方向であるときに、車両が右方向に操舵された場合の移動体システムの動作を説明するための図である。本発明の第１実施形態に係る移動体システムの概略構成図（その２）である。車両の進行方向が後方向であるときに、車両が左方向に操舵された場合の移動体システムの動作を説明するための図である。車両の進行方向が後方向であるときに、車両が右方向に操舵された場合の移動体システムの動作を説明するための図である。本発明の第２実施形態に係るステレオカメラのハードウェア構成を示すブロック図である。本発明の第２実施形態に係る移動体システムの制御ブロック図である。本発明の第３実施形態に係る移動体システムの制御ブロック図である。ステレオカメラによる測距の原理を説明するための図である。ステレオカメラにおいて視差画像を生成するための処理工程を説明するための図である。視差探索による画像マッチングを説明するための図である。画像マッチングにより計算された非類似度を視差量に応じてプロットしたグラフである。

以下、本発明の実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することによって重複した説明を省く。

本発明の一実施形態に係る移動体システムは、移動体に取り付けられた撮像装置と、撮像装置の視線方向を変更する視線方向変更機構と、移動体の進行方向の変化に応じて、撮像装置の視線方向を制御する制御部とを有する。

以下、移動体の一例として車両を用いた場合の移動体システムについて説明するが、本発明はこの点において限定されるものではない。

［第１実施形態］
（移動体システムの構成）
本発明の第１実施形態に係る移動体システムについて説明する。図１は、本発明の第１実施形態に係る移動体システムの概略構成図（その１）である。図２は、本発明の第１実施形態に係る移動体システムの制御ブロック図である。なお、図１における矢印は、車両の進行方向を示す。

図１及び図２に示すように、移動体システムは、ステレオカメラ１００と、回転機構２００と、ＥＣＵ（Electronic Control Unit、電子制御ユニット）３００と、回転機構制御部４００とを有する。

ステレオカメラ１００は、撮像装置の一例である。ステレオカメラ１００は、視点の異なる少なくとも２つのカメラを備え、これらのカメラで撮像対象の人や物体を撮像することで、車両５００周辺の情報を取得する。具体的には、ステレオカメラ１００は、例えば車両５００と、車両５００の周囲から近づいてくる人や物との間の距離を測定する。ステレオカメラ１００は、例えば回転機構２００を介して車両５００の天井部（ルーフ）上に取り付けられており、回転機構２００が回転することにより回転機構２００と共に回転する。

なお、図１では、ステレオカメラ１００を撮像装置の一例として用いているが、本発明はこの点において限定されるものではなく、ステレオカメラ１００に代えて、単眼カメラを用いてもよい。この場合、画角を広く取るために多数の単眼カメラを並べて人や物体との距離を測定する形態としてもよく、また、位相シフト法を用いて人や物体との距離を測定する形態としてもよい。

また、図１では、ステレオカメラ１００が車両５００の天井部上に取り付けられているが、本発明はこの点において限定されるものではなく、例えば車両５００のボンネット上に取り付けられていてもよい。

ステレオカメラ１００のハードウェア構成について説明する。図３は、本発明の第１実施形態に係るステレオカメラ１００のハードウェア構成を示すブロック図である。

図３に示すように、ステレオカメラ１００は、ＣＰＵ（Central Processing Unit）１０１と、ＲＯＭ（Read Only Memory）１０２と、ＲＡＭ（Random Access Memory）１０３と、撮像部１０４と、画像処理部１０５とを備える。なお、ステレオカメラ１００の各部は、バス１０６を介して接続されている。

ＣＰＵ１０１は、ＲＯＭ１０２に記憶されたプログラムをＲＡＭ１０３を作業メモリに実行し、ステレオカメラ１００の制御を行う。

ＲＯＭ１０２は、不揮発性メモリであり、ＲＯＭインタフェース（Ｉ／Ｆ）１０７を介してバス１０６に接続されている。ＲＯＭ１０２は、ＣＰＵ１０１が実行するプログラム、データ等を格納する。

ＲＡＭ１０３は、ＤＲＡＭ（Dynamic Random Access Memory）、ＳＲＡＭ（Static Random Access Memory）等の主記憶装置である。ＲＡＭ１０３は、ＲＡＭインタフェース（Ｉ／Ｆ）１０８を介してバス１０６に接続されている。ＲＡＭ１０３は、各種プログラムがＣＰＵ１０１によって実行される際に展開される、作業領域として機能する。

撮像部１０４は、物体を撮像するカメラであり、画像処理部１０５に接続されている。撮像部１０４で撮像された画像（輝度画像）は、適宜、画像処理部１０５により画像処理される。また、撮像部１０４は、撮像部制御用インタフェース（Ｉ／Ｆ）１０９を介してバス１０６に接続されている。

画像処理部１０５は、撮像部１０４により撮像された物体の輝度画像に基づいて視差を算出し、算出した視差に基づいてステレオカメラ１００から人や物体までの距離を算出すると共に、視差画像を生成する。また、画像処理部１０５は、生成した視差画像及び輝度画像に基づいて、人や物体を認識する。画像処理部１０５により人や物体までの距離を算出（以下「測距」ともいう。）する方法については後述する。なお、視差は、距離についての関数であるため、距離情報の一態様として説明する。

回転機構２００は、視線方向変更機構の一例である。回転機構２００は、ステレオカメラ１００の視線方向を自由に変更させることが可能な機構である。なお、図１では、視線方向変更機構の一例として回転機構２００を用いているが、ステレオカメラ１００の視線方向を自由に変更させることが可能なものであれば特に限定されるものではない。

ＥＣＵ３００は、制御部の一例である。ＥＣＵ３００は、車両５００の進行方向を示す情報に基づいて、ステレオカメラ１００の視線方向を制御する。結果として、ＥＣＵ３００は、車両５００の進行方向の変化に応じて、ステレオカメラ１００の視線方向を制御する。なお、車両５００の進行方向を示す情報としては、ステアリング操舵角、ステアリング操舵速度、車輪傾斜角等のステアリング操舵に関する情報を用いることができる。具体的には、ＥＣＵ３００は、例えば車両５００のステアリング操舵角を取得（検出）し、取得したステアリング操舵角の変化に基づいて、ステレオカメラ１００の視線方向を制御する。ＥＣＵ３００は、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）等の車載ネットワークを介して回転機構制御部４００、車両５００に搭載された他のＥＣＵ等と通信可能に接続されている。

回転機構制御部４００は、車載ネットワークに接続されており、例えばＥＣＵ３００と通信することができる。回転機構制御部４００は、回転機構２００の回転角がＥＣＵ３００により指定された角度となるように、回転機構２００の動作を制御する。

（移動体システムの動作）
移動体システムの動作の一例について説明する。

ＥＣＵ３００は、図２に示すように、車両５００の進行方向を示す情報に基づいて、回転機構制御部４００に対して回転機構２００の回転角を決定し、回転機構制御部４００を介して回転機構２００の動作を制御する。回転機構２００が回転すると、回転機構２００に取り付けられているステレオカメラ１００が回転機構２００と共に回転するため、ステレオカメラ１００の視線方向が変更される。これにより、車両５００周辺の情報を取得するまでの時間の短縮を図ることができる。結果として、車両５００と人や物との衝突を防ぐことができる。

ＥＣＵ３００は、車両５００の進行方向の変化量に応じて、ステレオカメラ１００の視線方向と車両５００の進行方向との成す角を変更するように回転機構２００の回転角を決定することが好ましい。特に、ＥＣＵ３００は、車両５００の進行方向の変化量が大きいほど、ステレオカメラ１００の視線方向と車両５００の進行方向との成す角が大きくなるように回転機構２００の回転角を決定することが好ましい。これにより、運転者が車両５００の進行方向を短時間に大きく変化させた場合であっても、車両周辺情報を速やかに取得することができる。

ＥＣＵ３００は、車両５００の曲がる方向の内側に角度をつけた方向になるように、回転機構２００の回転角を決定することが好ましい。これにより、ステレオカメラ１００は、車両５００の進行方向に対して余分に角度をつけた内側方向に向くため、運転者の視野から外にある物体の存在を特に早く撮像及び認識することができる。

ＥＣＵ３００は、ステレオカメラ１００の視線方向を変更するために用いる情報として、車両５００の進行方向を示す情報に加えて、車両速度の情報を用いることが好ましい。具体的には、ＥＣＵ３００は、車両速度が速いときの回転機構２００の回転角が、車両速度が遅いときの回転機構２００の回転角よりも大きくなるように回転機構２００の回転角を決定することが好ましい。これにより、車両速度が速い場合には、移動する方向に対して余分に角度をつける必要のある角度量を大きくすることができ、車両速度が遅い場合には、移動する方向に対して余分に角度をつける必要のある角度量を小さく抑えることが可能である。

次に、ＥＣＵ３００が行う制御の一例について説明する。図４は、本発明の第１実施形態に係る移動体システムの動作の一例を示すフローチャートである。

図４に示すように、まず、ＥＣＵ３００は、方向指示器（ウィンカ）がオン（点滅）されているか否かを判定する（ステップＳ１１）。

ステップＳ１１において、方向指示器がオンされていると判定された場合、ＥＣＵ３００は、車両５００のステアリング操舵角を取得する（ステップＳ１２）。ステップＳ１１において、方向指示器がオンされていないと判定された場合、ステップＳ１１を繰り返す。

次いで、ＥＣＵ３００は、ステップＳ１２で取得したステアリング操舵角が所定角度以上であるか否かを判定する（ステップＳ１３）。

ステップＳ１３において、ステアリング操舵角が所定角度以上であると判定された場合、ＥＣＵ３００は、以下の式１により制御値としてのステレオカメラ１００の視線方向（角度）を算出する（ステップＳ１４）。

θ＝Ａ×Ｈ〔式１〕
式１において、θはステレオカメラ１００の視線方向、Ｈはステアリング操舵角、Ａは車種、カメラ設置位置、カメラ画角等に応じた定数である。ステップＳ１３において、ステアリング操舵角が所定角度より小さいと判定された場合、ステップＳ１１へ戻る。

次いで、ＥＣＵ３００は、ステップＳ１４において算出された制御値を用いて、算出された角度だけステレオカメラ１００の視線方向が変化するようにステレオカメラ１００を制御する（ステップＳ１５）。その後、ステップＳ１１へ戻る。

なお、図４では、方向指示器がオンされていると判定された場合にＥＣＵ３００が車両５００のステアリング操舵角を取得しているが、方向指示器のオン・オフの判定を行うことなく、ＥＣＵ３００が車両５００のステアリング操舵角を取得してもよい。ただし、車両５００が車線変更する際等に頻繁にステレオカメラ１００の視線方向θが変更されてしまうことを抑制できるという観点から、方向指示器のオン・オフの判定を行うことが好ましい。

また、式１では、ステレオカメラ１００の視線方向θがステアリング操舵角Ｈの１次関数であるが、これに限定されず、例えばステアリング操舵角Ｈの２次関数、３次関数等の高次関数であってもよい。

また、ＥＣＵ３００は、車種、カメラ設置位置、カメラ画角等に応じて予め定められたステアリング操舵角Ｈとステレオカメラ１００の視線方向θとの関係を示すテーブルに基づいて、ステレオカメラ１００を制御してもよい。図５は、ステアリング操舵角Ｈとステレオカメラ１００の視線方向θとの関係を例示するテーブルである。

図５（ａ）に示すテーブルでは、ステアリング操舵角Ｈが所定の閾値Ｔ以下の場合、ステレオカメラ１００の視線方向θが０度に制御される。また、ステアリング操舵角Ｈが所定の閾値Ｔよりも大きい場合、ステレオカメラ１００の視線方向θが９０度に制御される。

図５（ｂ）に示すテーブルでは、ステアリング操舵角Ｈが第１閾値Ｔ１以下の場合、ステレオカメラ１００の視線方向θが０度に制御される。また、ステアリング操舵角Ｈが第１閾値Ｔ１よりも大きく、第２閾値Ｔ２以下の場合、ステレオカメラ１００の視線方向θがθに依存させた角度に制御される。さらに、ステアリング操舵角Ｈが第２閾値Ｔ２よりも大きい場合、ステレオカメラ１００の視線方向θが９０度に制御される。なお、θに依存させた角度とは、例えば上述のθについての１次式や２次式にて規定される角度である。

次に、ＥＣＵ３００が行う制御の他の例について説明する。図６は、本発明の第１実施形態に係る移動体システムの動作の他の例を示すフローチャートである。

図６に示すように、まず、ＥＣＵ３００は、方向指示器がオンされているか否かを判定する（ステップＳ２１）。

ステップＳ２１において、方向指示器がオンされていると判定された場合、ＥＣＵ３００は、方向指示器と対応する方向に予め定められた角度だけステレオカメラ１００の視線方向が変化するようにステレオカメラ１００を制御する（ステップＳ２２）。例えば、方向指示器が左方向を指している場合には、ＥＣＵ３００は左方向に予め定められた角度だけステレオカメラ１００の視線方向が変化するようにステレオカメラ１００を制御する。ステップＳ２１において、方向指示器がオンされていないと判定された場合、ステップＳ２１を繰り返す。

次いで、ＥＣＵ３００は、車両５００のステアリング操舵角を取得する（ステップＳ２３）。

次いで、ＥＣＵ３００は、ステップＳ２３で取得したステアリング操舵角が所定角度以上であるか否かを判定する（ステップＳ２４）。

ステップＳ２４において、ステアリング操舵角が所定角度以上であると判定された場合、ＥＣＵ３００は、以下の式２により制御値としてのステレオカメラ１００の視線方向を算出する（ステップＳ２５）。

θ＝Ａ×Ｈ＋Ｗ〔式２〕
式２において、θはステレオカメラ１００の視線方向、Ｈはステアリング操舵角、Ａは車種、カメラ設置位置、カメラ画角等に応じた定数、Ｗは方向指示器がオンされたときに変更させるステレオカメラ１００の角度である。ステップＳ２４において、ステアリング操舵角が所定角度より小さいと判定された場合、ステップＳ２１へ戻る。

次いで、ＥＣＵ３００は、ステップＳ２５において算出された制御値を用いて、算出された角度だけステレオカメラ１００の視線方向が変化するようにステレオカメラ１００を制御する（ステップＳ２６）。その後、ステップＳ２１へ戻る。

図６では、運転者により方向指示器がオンされた時点で、ステレオカメラ１００の視線方向が方向指示器と対応する方向に向くように制御される。これにより、運転者がステアリング（ハンドル）を操作する前に、車両５００が進行する予定の方向の情報を取得することができるため、人、バイク等の巻き込みを特に抑制することができる。

なお、式２では、ステレオカメラ１００の視線方向θがステアリング操舵角Ｈの１次関数であるが、これに限定されず、例えばステアリング操舵角Ｈの２次関数、３次関数等の高次関数であってもよい。

また、図４の場合と同様に、ＥＣＵ３００は、車種、カメラ設置位置、カメラ画角等に応じて予め定められたステアリング操舵角Ｈとステレオカメラ１００の視線方向θとの関係を示すテーブルに基づいて、ステレオカメラ１００を制御してもよい。

以下、車両５００の進行方向が前方向であるときに、車両５００が左方向に曲がる場合を例として、ＥＣＵ３００による具体的な制御について説明する。

図７は、車両５００の進行方向が前方向であるときに、車両５００が左方向に操舵された場合の移動体システムの動作を説明するための図である。車両５００の進行方向が前方向であるときに、車両５００が左方向に曲がる場合（図７中「矢印ＦＬ」で示す。）、ＥＣＵ３００は車両５００の進行方向の変化に応じてステレオカメラ１００の視線方向を制御する。

以下、車両５００の進行方向が前方向から左方向に変わる場合の各地点における車両５００の進行方向とステレオカメラ１００の視線方向との関係について説明する。

図８は、車両５００の進行方向とステレオカメラ１００の視線方向との関係を説明するための図である。図８（ａ）は車両５００が左に曲がる場合の車両５００の軌跡と軌跡中の地点ａ，ｂ，ｃ，ｄ及びｅを示し、図８（ｂ）は図８（ａ）における地点ａ，ｂ，ｃ，ｄ及びｅでのステレオカメラ１００の視線方向を示している。なお、図８（ｂ）における白抜き矢印は車両５００の軌跡を表す。また、図８（ｂ）における実線矢印Ｅａ，Ｅｂ，Ｅｃ，Ｅｄ及びＥｅは地点ａ，ｂ，ｃ，ｄ及びｅにおけるステレオカメラ１００の視線方向を表し、破線Ｔｂ，Ｔｃ及びＴｄは地点ｂ，ｃ及びｄにおける車両５００の軌跡の接線を表す。

地点ａでは、運転者は方向指示器をオンさせているが、ステアリングを操作していない（切っていない）。よって、車両５００は前方向に直進している。このとき、車両５００の進行方向が変化していないため、ＥＣＵ３００は、ステアリングが切られていないという情報であるＨ＝０を取得し、式１によりステレオカメラ１００の視線方向θを算出し、ステレオカメラ１００の視線方向が車両５００の進行方向と同じ状態を維持するように（図８中「矢印Ｅａ」で示す。）、回転機構制御部４００を介して回転機構２００を制御する。これにより、ステレオカメラ１００の視線方向は、矢印Ｅａの方向となる。

地点ｂでは、運転者はステアリングを左回りに回転させている（左に切っている）。よって、車両５００は左方向に曲がるように進行している（図８中「矢印Ｔｂ」で示す。）。このとき、ＥＣＵ３００は、ステアリングが左に切られているという情報であるＨ＝ｈ１を取得し、式１によりステレオカメラ１００の視線方向θを算出し、ステレオカメラ１００の視線方向が車両５００の曲がる方向の内側に角度θｂをつけた方向になるように（図８中「矢印Ｅｂ」で示す。）、回転機構制御部４００を介して回転機構２００を制御する。これにより、ステレオカメラ１００の視線方向は、矢印Ｅｂの方向となる。

地点ｃでは、運転者は左に切っていたステアリングを徐々に元の状態に戻している。よって、車両５００は左方向に曲がるように進行している（図中「矢印Ｔｃ」で示す。）。このとき、ＥＣＵ３００は、ステアリングが左に切られているという情報であるＨ＝ｈ２（ｈ２＜ｈ１）を取得し、式１によりステレオカメラ１００の視線方向θを算出し、ステレオカメラ１００の視線方向が車両５００の曲がる方向の内側に角度θｃをつけた方向になるように（図８中「矢印Ｅｃ」で示す。）、回転機構制御部４００を介して回転機構２００を制御する。これにより、ステレオカメラ１００の視線方向は、矢印Ｅｃの方向となる。

地点ｄでは、運転者は左に切っていたステアリングを地点ｃよりも更に元の状態に戻し、まっすぐに近づけている。よって、車両５００は左方向に曲がるように進行している（図８中「矢印Ｔｄ」で示す。）。このとき、ＥＣＵ３００は、ステアリングが左に切られているという情報であるＨ＝ｈ３（ｈ３＜ｈ２）を取得し、式１によりステレオカメラ１００の視線方向θを算出し、ステレオカメラ１００の視線方向が車両５００の曲がる方向の内側に角度θｄをつけた方向になるように（図８中「矢印Ｅｄ」で示す。）、回転機構制御部４００を介して回転機構２００を制御する。これにより、ステレオカメラ１００の視線方向は、矢印Ｅｄの方向となる。

地点ｅでは、運転者は左に切っていたステアリングを元の状態（まっすぐ）に戻し、車両５００は左方向に直進している。このとき、車両５００の進行方向が変化していないため、ＥＣＵ３００は、ステアリングが切られていないという情報であるＨ＝０を取得し、式１によりステレオカメラ１００の視線方向θを算出し、ステレオカメラ１００の視線方向が車両５００の進行方向と同じ状態を維持するように（図８中「矢印Ｅｅ」で示す。）、回転機構制御部４００を介して回転機構２００を制御する。これにより、ステレオカメラ１００の視線方向は、矢印Ｅｅの方向となる。

以上に説明したように、ＥＣＵ３００は、車両５００のステアリング操舵角を取得し、取得したステアリング操舵角の変化に基づいて、ステレオカメラ１００の視線方向を制御する。すなわち、ＥＣＵ３００は、車両５００の進行方向の変化に応じて、ステレオカメラ１００の視線方向を制御する。このため、車両５００周辺の情報を取得するまでの時間の短縮を図ることができる。

なお、上記においては、ステアリング操舵角を利用しているが、これに限定されず、ステアリング操舵速度、車輪傾斜角等の情報によっても実現可能である。

なお、図９に示すように、車両５００の進行方向が前方向であるときに、車両５００が右方向に曲がる場合（図９中「矢印ＦＲ」で示す。）においても、ＥＣＵ３００は同様の制御を行うことが好ましい。

次に、車両５００の進行方向が後方向である場合を例として説明する。図１０は、本発明の第１実施形態に係る移動体システムの概略構成図（その２）である。図１１は、車両５００の進行方向が後方向であるときに、車両５００が左方向に操舵された場合の移動体システムの動作を説明するための図である。図１２は、車両５００の進行方向が後方向であるときに、車両５００が右方向に操舵された場合の移動体システムの動作を説明するための図である。なお、図１０における矢印は、車両５００の進行方向を示す。

図１０に示すように、車両５００の進行方向が後方向であるときに、車両５００が左方向に曲がる場合（図１１中「矢印ＲＬ」で示す。）、ＥＣＵ３００は、車両５００の進行方向の変化に応じてステレオカメラ１００の視線方向を制御する。このため、車両５００周辺の情報を取得するまでの時間の短縮を図ることができる。

また、図１２に示すように、車両５００の進行方向が後方向であるときに、車両５００が右方向に曲がる場合（図１２中「矢印ＲＲ」で示す。）においても、ＥＣＵ３００は同様の制御を行うことが好ましい。

以上に説明したように、本発明の第１実施形態に係る移動体システムは、車両に取り付けられたステレオカメラと、ステレオカメラの視線方向を変更する回転機構と、車両の進行方向の変化に応じて、ステレオカメラの視線方向を制御するＥＣＵとを有する。このため、車両周辺の情報を取得するまでの時間の短縮を図ることができる。その結果、左折の際の人、バイク等の巻き込み事故を抑制することができる。

［第２実施形態］
本発明の第２実施形態に係る移動体システムについて説明する。

本発明の第２実施形態に係る移動体システムは、ＥＣＵ３００が、車両５００の進行方向の変化に応じて、少なくともステレオカメラ１１０のフレームレートと認識処理レートのいずれか一方を変更する点で、本発明の第１実施形態に係る移動体システムと異なる。以下、第１実施形態と異なる点を中心に説明する。

図１３は、本発明の第２実施形態に係るステレオカメラ１１０のハードウェア構成を示すブロック図である。図１４は、本発明の第２実施形態に係る移動体システムの制御ブロック図である。

図１３に示すように、ステレオカメラ１１０は、車両情報インタフェース（Ｉ／Ｆ）１１１を有する。

車両情報インタフェース１１１は、ＥＣＵ３００と接続されている。このため、ＥＣＵ３００は、車両情報インタフェース１１１を介して、車両５００のステアリング操舵の情報、車両速度の情報等の車両情報をステレオカメラ１１０に送信することができる。車両情報インタフェース１１１としては、車両情報を受信することができるインタフェースであれば特に限定されるものではないが、例えばＣＡＮインタフェース（Ｉ／Ｆ）、ＬＩＮインタフェース（Ｉ／Ｆ）を用いることができる。

ＥＣＵ３００は、図１４に示すように、車両５００の進行方向を示す情報及び／又は車両速度の情報に基づいて、回転機構制御部４００に対して回転機構２００の回転角を決定し、回転機構制御部４００を介して回転機構２００の動作を制御する。車両５００の進行方向を示す情報としては、ステアリング操舵角、ステアリング操舵速度、車輪傾斜角等のステアリング操舵に関する情報を用いることができる。

ＥＣＵ３００は、車両５００の進行方向を示す情報及び／又は車両速度の情報をステレオカメラ１１０に送信し、少なくともステレオカメラ１１０の撮像部のフレームレートとステレオカメラ１１０の認識処理レートのいずれか一方を変更する。具体的には、ＥＣＵ３００は、ステレオカメラ１１０の視線方向が変更された場合、少なくともステレオカメラ１１０のフレームレートと認識処理レートのいずれか一方を高くすることが好ましい。これにより、認識処理に影響を与える画像フレーム間の時間差を短くすることができる。結果として、車両５００の運転者の視野外の範囲に関して、時間的に高密度な撮像及び認識を実行することができる。特に、隣接する画像フレームに撮像されている認識対象物のトラッキング精度が確保できるため、認識精度を向上させることができる。

また、車両５００の進行方向が元の状態に戻された場合には、ＥＣＵ３００は、変更されたステレオカメラ１１０のフレームレート又は認識処理レートを元に戻すことが好ましい。これにより、車両５００の進行方向が変更されていないときの消費電力及び発熱を抑制することができる。

以上に説明したように、本発明の第２実施形態に係る移動体システムは、車両に取り付けられたステレオカメラと、ステレオカメラの視線方向を変更する回転機構と、車両の進行方向の変化に応じて、ステレオカメラの視線方向を制御するＥＣＵとを有する。このため、車両周辺の情報を取得するまでの時間の短縮を図ることができる。

特に、第２実施形態では、ＥＣＵが、車両の進行方向の変化に応じて、少なくともステレオカメラのフレームレートと認識処理レートのいずれか一方を変更する。このため、ステレオカメラによる人や物体の認識精度を向上させることができる。

［第３実施形態］
本発明の第３実施形態に係る移動体システムについて説明する。

本発明の第３実施形態に係る移動体システムは、ステレオカメラ１００が認識した物体の情報に基づいて、ＥＣＵ３００がステレオカメラ１１０の動作及び／又は車両５００の動作を制御する点で、本発明の第２実施形態に係る移動体システムと異なる。以下、第２実施形態と異なる点を中心に説明する。

図１５は、本発明の第３実施形態に係る移動体システムの制御ブロック図である。

ＥＣＵ３００は、ステレオカメラ１１０により取得された視差情報に基づいて、ステレオカメラ１１０のフレームレートを変更する。具体的には、ＥＣＵ３００は、視差の大きい物体が視差情報に存在する場合のステレオカメラ１１０のフレームレートが視差の大きい物体が視差情報に存在しない場合のステレオカメラ１１０のフレームレートよりも高くなるように、ステレオカメラ１１０の動作を制御することが好ましい。これにより、車両５００からの距離が近い人や物体が存在するときの認識時間の間隔を短くし、隣接する画像フレームに撮像されている認識対象物のトラッキング情報が確保できるため、認識精度を向上させることができる。

なお、車両５００からの距離が近い人や物体が存在しない場合には、認識時間の間隔を短くする必要はないため、フレームレート及び認識処理レートを、車両５００の進行方向が変化していないときと同じ設定にしておくことが好ましい。これにより、車両５００の進行方向が変更されていないときの消費電力及び発熱を抑制することができる。

また、ＥＣＵ３００は、ステレオカメラ１１０により認識した人や物体の認識結果を取得して、自動ブレーキ等の車両制御を実行することが好ましい。これにより、車両５００が人や物体に衝突することを未然に防ぐことができる。

以上に説明したように、本発明の第３実施形態に係る移動体システムは、車両に取り付けられたステレオカメラと、ステレオカメラの視線方向を変更する回転機構と、車両の進行方向の変化に応じて、ステレオカメラの視線方向を制御するＥＣＵとを有する。このため、車両周辺の情報を取得するまでの時間の短縮を図ることができる。

特に、第３実施形態では、ステレオカメラが認識した物体の情報に基づいて、ＥＣＵがステレオカメラの動作を制御する。このため、ステレオカメラによる人や物体の認識精度を向上させることができる。

また、第３実施形態では、ステレオカメラが認識した物体の情報に基づいて、ＥＣＵが車両の動作を制御する。このため、車両が人や物体に衝突することを未然に回避することができる。

［測距の原理］
本発明の一実施形態において適用される測距の原理について説明する。ここでは、例えば、ステレオカメラから物体に対する視差を導き出し、この視差を示す視差値によって、ステレオカメラから物体までの距離を測定する原理について説明する。図１６は、撮像装置から物体までの距離を導き出す原理の説明図である。なお、以下では、説明を簡略化するため、所定領域ではなく、１画素単位により説明する。

（視差値算出）
まず、撮像装置１０ａ及び撮像装置１０ｂによって撮像された各画像を、それぞれ基準画像Ｉａ及び比較画像Ｉｂとする。なお、図１６では、撮像装置１０ａ及び撮像装置１０ｂが平行等位に設置されているものとする。図１６において、３次元空間内の物体Ｅ上のＳ点は、撮像装置１０ａ及び撮像装置１０ｂの同一水平線上の位置に写像される。

すなわち、各画像中のＳ点は、基準画像Ｉａ中の点Ｓａ（ｘ，ｙ）及び比較画像Ｉｂ中の点Ｓｂ（Ｘ，ｙ）において撮像される。このとき、視差値Δは、撮像装置１０ａ上の座標におけるＳａ（ｘ，ｙ）と撮像装置１０ｂ上の座標におけるＳｂ（Ｘ，ｙ）とを用いて、次式のように表される。

Δ＝Ｘ−ｘ〔式３〕
ここで、図１６のような場合には、基準画像Ｉａ中の点Ｓａ（ｘ，ｙ）と撮像レンズ１１ａから撮像面上におろした垂線の交点との距離をΔａとし、比較画像Ｉｂ中の点Ｓｂ（Ｘ，ｙ）と撮像レンズ１１ｂから撮像面上におろした垂線の交点との距離をΔｂとすると、視差値Δ＝Δａ＋Δｂとなる。

（距離算出）
また、視差値Δを用いることで、撮像装置１０ａ，１０ｂと物体Ｅとの間の距離Ｚを導き出すことができる。具体的には、距離Ｚは、撮像レンズ１１ａの焦点位置と撮像レンズ１１ｂの焦点位置とを含む面から物体Ｅ上の特定点Ｓまでの距離である。

図１６に示されるように、撮像レンズ１１ａ及び撮像レンズ１１ｂの焦点距離ｆ、撮像レンズ１１ａと撮像レンズ１１ｂとの間の長さである基線長Ｂ、及び視差値Δを用いて、次式により、距離Ｚを算出することができる。

Ｚ＝（Ｂ×ｆ）／Δ 〔式４〕
上記の式４により、視差値Δが大きいほど距離Ｚは小さく、視差値Δが小さいほど距離Ｚは大きくなることが分かる。

（視差計算手法）
図１７を用いて、視差計算手法について説明する。図１７は、ステレオカメラにおいて視差画像を生成するための処理工程を説明するための図である。

視差計算手法は、図１７に示すように、画像マッチング部が基準画像Ｉａ及び比較画像Ｉｂを用いて、非類似度であるコスト値を視差ごとに算出し、非類似度が低い位置の視差を算出する。そして、最終的に視差画像生成部により全ての画素における視差値を示す視差画像を導き出す方法である。なお、生成された視差画像は、輝度画像と共に視差画像生成部の後段に設けられる物体認識部による人や物体の認識に用いられる。

（コスト値の算出）
図１８及び図１９を用いて、コスト値Ｃ（ｐ，ｄ）の算出方法について説明する。

図１８は、視差探索による画像マッチングを説明するための図である。具体的には、図１８（ａ）は基準画像Ｉａにおける基準画素を示す概略図であり、図１８（ｂ）は図１８（ａ）の基準画素に対して比較画像Ｉｂにおける対応画素の候補を順次シフトしながら（ずらしながら）、シフト量（ズレ量）を算出する際の概略図である。ここで、対応画素とは、基準画像Ｉａ内の基準画素に最も類似する比較画像Ｉｂ内の画素のことをいう。

図１９は、シフト量ごとのコスト値を示すグラフである。具体的には、図１９における横軸はシフト量ｄを表し、縦軸はコスト値Ｃを表す。

図１８（ａ）に示すように、基準画像Ｉａ内の所定の基準画素ｐ（ｘ，ｙ）と、この基準画素ｐ（ｘ，ｙ）に対する比較画像Ｉｂ内におけるエピポーラ線ＥＬ上の複数の対応画素の候補ｑ（ｘ＋ｄ，ｙ）との各輝度値に基づいて、基準画素ｐ（ｘ，ｙ）に対する各対応画素の候補ｑ（ｘ＋ｄ，ｙ）のコスト値Ｃ（ｐ，ｄ）が算出される。ｄは、基準画素ｐと対応画素の候補ｑのシフト量（ズレ量）であり、本実施形態では、画素単位のシフト量が表されている。

すなわち、図１８では、対応画素の候補ｑ（ｘ＋ｄ，ｙ）を予め指定された範囲（例えば、０＜ｄ＜２５）において順次１画素分シフトしながら、対応画素の候補ｑ（ｘ＋ｄ，ｙ）と基準画素ｐ（ｘ，ｙ）との輝度値の非類似度であるコスト値Ｃ（ｐ，ｄ）が算出される。

このようにして算出されたコスト値Ｃ（ｐ，ｄ）は、例えば図１９に示すように、シフト量ｄごとに示されるグラフによって表すことができる。図１９では、コスト値Ｃは、シフト量ｄ＝１７で最小値となるため、視差値が１７と決まる。

以下、実施例において本発明を具体的に説明するが、本発明はこれらの実施例に限定して解釈されるものではない。

［実施例１］
移動体システムの一例として、車両５００のボンネット上に、ステレオカメラ１００の視線方向を変更するための回転機構２００を設け、回転機構２００上にステレオカメラ１００を取り付けた。回転機構２００は、車両５００のステアリング操舵角の情報を元にＣＡＮ情報を利用して制御可能となっている。車両５００の左折時に、人が左側から車両５００との距離が１０ｍ離れている状態で道路を横断する場合を想定して、実車でシミュレーションを行った。その結果、ステレオカメラ１００が運転者の視野に入っていない人を撮像して認識することができたため、その情報を受け取った車両５００は自動的にブレーキをかけ、未然に人との衝突を防ぐことができた。

［比較例１］
実施例１と同様の移動体システムを用いて、回転機構２００をＯＦＦにしてステレオカメラ１００の視線方向が動かない状態（車両５００の進行方向に固定されている状態）で、実施例１と同様の実車でシミュレーションを行った。その結果、車両５００に人の存在が伝えられなかったため、車両５００と人とが衝突しそうになった。

［実施例２］
実施例１と同様の移動体システムを用いて、車両５００の左折時に、他車両が左側から車両５００との距離が２０ｍ離れている状態で道路を横断する場合を想定して、実車でシミュレーションを行った。その結果、ステレオカメラ１００が運転者の視野に入っていない他車両を撮像して認識することができたため、その情報を受け取った車両５００は自動的にブレーキをかけ、未然に他車両との衝突を防ぐことができた。

［比較例２］
実施例２と同様の移動体システムを用いて、回転機構２００をＯＦＦにしてステレオカメラ１００の視線方向が動かない状態で、実施例２と同様の実車でシミュレーションを行った。その結果、車両５００に他車両の存在が伝えられなかったため、車両５００と他車両とが衝突しそうになった。

［実施例３］
移動体システムの一例として、車両５００のルーフ上に、ステレオカメラ１００の視線方向を変更するための回転機構２００を設け、回転機構２００上にステレオカメラ１００を取り付けた。回転機構２００は、車両５００の車輪傾斜角の情報を元にＣＡＮ情報を利用して制御可能となっている。車両５００の左折時に、人が左側から車両５００との距離が１０ｍ離れている状態で道路を横断する場合を想定して、実車でシミュレーションを行った。その結果、ステレオカメラ１００が運転者の視野に入っていない人を撮像して認識することができたため、その情報を受け取った車両５００は自動的にブレーキをかけ、未然に人との衝突を防ぐことができた。

［比較例３］
実施例３と同様の移動体システムを用いて、回転機構２００をＯＦＦにしてステレオカメラ１００の視線方向が動かない状態で、実施例３と同様の実車でシミュレーションを行った。その結果、車両５００に人の存在が伝えられなかったため、車両５００と人とが衝突しそうになった。

［実施例４］
実施例３と同様の移動体システムを用いて、車両５００の左折時に、他車両が左側から車両５００との距離が２０ｍ離れている状態で道路を横断する場合を想定して、実車でシミュレーションを行った。その結果、ステレオカメラ１００が運転者の視野に入っていない他車両を撮像して認識することができたため、その情報を受け取った車両５００は自動的にブレーキをかけ、未然に他車両との衝突を防ぐことができた。

［比較例４］
実施例４と同様の移動体システムを用いて、回転機構２００をＯＦＦにしてステレオカメラ１００の視線方向が動かない状態で、実施例４と同様の実車でシミュレーションを行った。その結果、車両５００に他車両の存在が伝えられなかったため、車両５００と他車両とが衝突しそうになった。

［実施例５］
実施例１の形態で、ステレオカメラ１００は１０ｍ離れている人についての視差を取得したため、ステレオカメラ１００のフレームレートを高くした。その結果、ステレオカメラ１００が運転者の視野に入っていない人を撮像して認識することができたため、その情報を受け取った車両５００は自動的にブレーキをかけ、余裕を持って衝突を防ぐことができた。

以上、移動体システムを実施形態により説明したが、本発明は上記実施形態に限定されるものではなく、本発明の範囲内で種々の変形及び改良が可能である。

上述の実施形態に係る移動体システムは、移動体の一例として車両の場合について説明したが、本発明はこの点において限定されるものではない。移動体としては、例えば操縦桿で操作されるヘリコプター、飛行機等の飛行体、無線操縦機で遠隔操作される無人飛行体であってもよい。また、移動体としては、船舶であってもよい。

移動体が操縦桿で操作される飛行体の場合、移動体システムの制御部は、操縦桿の操縦信号の変化に基づいて、撮像装置の視線方向を制御することが好ましい。

移動体が無線操縦機で遠隔操作される飛行体の場合、移動体システムの制御部は、無線操縦機の操縦信号又は撮像装置で撮像される画像情報に基づいて、撮像装置の視線方向を制御することが好ましい。撮像装置で撮像される画像情報に基づいて撮像装置の視線方向を制御する場合には、例えば画像情報に基づいて障害物が認識され、認識された障害物を避けるように移動体が制御される。このため、障害物を避けるためにいずれの方向に移動するかの移動信号が算出された際に、その移動信号に基づいて、撮像装置の視線方向が制御されれば良い。なお、画像情報に基づいて撮像装置の視線方向を変更する構成は飛行体において好適ではあるが、前述の車両等においても適用は可能である。

なお、移動体が飛行体の場合、撮像装置の視線方向の制御は、左右方向だけではなく、当然に上下方向にも行われる。

また、ステレオカメラに代えて、単眼カメラを使用してもよい。単眼カメラを使用する場合、レーザレーダ等により距離情報を取得することができる。ただし、取得した距離情報に基づいて人や物体を認識する場合、レーザレーダを用いると空間分解能がとりにくく認識精度が十分確保できない場合がある。よって、上述の移動体システムのような、移動体前方だけでなく移動体周辺の情報までを取得するシステムにおいては、空間分解能のより高いステレオカメラを用いることが好適である。

１００ステレオカメラ
２００回転機構
３００ＥＣＵ
５００車両

特開２０１３−９３０１３号公報

Claims

移動体に取り付けられた撮像装置と、
前記撮像装置の視線方向を変更する視線方向変更機構と、
前記移動体の進行方向の変化に応じて、前記撮像装置の視線方向を制御する制御部と
を有し、
前記制御部は、前記移動体の方向指示器のオン・オフの判定を行うように構成されており、
前記制御部は、前記方向指示器がオンされた場合、前記方向指示器と対応する方向に前記撮像装置の視線方向が変化するように前記撮像装置を制御した後、前記移動体の進行方向の変化に応じて、前記撮像装置の視線方向を制御する、
移動体システム。
前記制御部は、前記移動体の進行方向の変化量に応じて、前記撮像装置の視線方向と前記移動体の進行方向との成す角を変更するように、前記撮像装置の視線方向を制御する、
請求項１に記載の移動体システム。
前記制御部は、前記移動体のステアリング操舵角、ステアリング操舵速度、車輪傾斜角の少なくともいずれか１つの情報に基づいて、前記撮像装置の視線方向を制御する、
請求項１又は２に記載の移動体システム。
前記制御部は、前記移動体の進行方向の変化量が大きいほど、前記撮像装置の視線方向と前記移動体の進行方向との成す角が大きくなるように、前記撮像装置の視線方向を制御する、
請求項１に記載の移動体システム。
前記移動体が車両である、
請求項１乃至４のいずれか一項に記載の移動体システム。
前記制御部は、前記車両の曲がる方向の内側に角度をつけた方向になるように、前記撮像装置の視線方向を制御する、
請求項５に記載の移動体システム。
前記移動体が飛行体である、
請求項１乃至４のいずれか一項に記載の移動体システム。
前記移動体は、操縦桿で操作される飛行体であり、
前記制御部は、
前記操縦桿の操縦信号の変化に基づいて、前記移動体の進行方向の変化を検出し、前記撮像装置の視線方向を制御する、
請求項７に記載の移動体システム。
前記移動体は、無線操縦機で遠隔操作される飛行体であり、
前記制御部は、前記無線操縦機の操縦信号又は前記撮像装置で撮像される画像情報に基づいて、前記撮像装置の視線方向を制御する、
請求項７に記載の移動体システム。
前記制御部は、前記撮像装置の視線方向が変更された場合、少なくとも前記撮像装置のフレームレートと認識処理レートのいずれか一方を変更する、
請求項１乃至９のいずれか一項に記載の移動体システム。
前記制御部は、前記撮像装置の視線方向が変更された場合、少なくとも前記撮像装置のフレームレートと認識処理レートのいずれか一方を高くする、
請求項１０に記載の移動体システム。
前記制御部は、前記撮像装置の視線方向が変更された後、前記移動体の進行方向が直進に戻った場合、変更された前記撮像装置のフレームレート又は認識処理レートを元の値に戻す、
請求項１０又は１１に記載の移動体システム。
前記制御部は、前記撮像装置により取得された画像情報に基づき、距離が近い物体が前記移動体の周辺に存在する場合、前記距離が近い物体が前記移動体の周辺に存在しない場合よりも、前記撮像装置のフレームレートを高くする、
請求項１０乃至１２のいずれか一項に記載の移動体システム。
前記撮像装置は、ステレオカメラである、
請求項１乃至１３のいずれか一項に記載の移動体システム。