JPWO2014017104A1

JPWO2014017104A1 - 画像処理装置、撮像装置、移動体、プログラム、および領域設定方法

Info

Publication number: JPWO2014017104A1
Application number: JP2014526778A
Authority: JP
Inventors: 貴裕岡田; 圭俊中田
Original assignee: Kyocera Corp
Current assignee: Kyocera Corp
Priority date: 2012-07-27
Filing date: 2013-07-26
Publication date: 2016-07-07
Anticipated expiration: 2033-07-26
Also published as: EP2879112A4; CN104488011B; WO2014017104A1; EP2879112A1; US9990556B2; US20150178582A1; JP5986206B2; CN104488011A; EP2879112B1

Abstract

車両周辺を撮像装置で撮像した周辺画像から、車両速度、操舵角、および傾斜角などの移動体情報に応じてサイズおよび位置を変更した部分画像を抽出することが従来から提案されている。しかし、実際の車両の走行において認識すべき画像領域は、自車両の移動体情報のみならず、他の要因によっても変動し得る。本発明の画像処理装置１４は道路情報取得部２４と領域設定部２５とを有する。道路情報取得部２４は移動体の周辺の道路に関する情報を取得する。領域設定部２５は、交差点、踏切、横断歩道、スクールゾーン、トンネル、勾配、駅、バス停、駐車場、インターチェンジ、ジャンクション、前記移動体と異なる方向に進行する移動体の有無、および警告情報の少なくとも一つを含む道路に関する情報に基づいて、周辺画像から抽出する画像の領域を設定する。

Description

関連出願の相互参照

本出願は、２０１２年７月２７日に日本国に特許出願された特願２０１２−１６７７７８の優先権を主張するものであり、この先の出願の開示全体をここに参照のために取り込む。

本発明は、撮影可能な周辺画像における、使用する領域を設定する画像処理装置、撮像装置、移動体、プログラム、および領域設定方法に関する。

車両周辺を撮像装置で撮像し、撮像した画像に基づいて多様な分析を行う、車両に搭載する車両周辺認識システムが知られている。分析対象として撮像すべき画像のサイズおよび方向は一定ではないことが一般的である。

そこで、取得した周辺画像から、車両速度、操舵角、および傾斜角などの移動体情報に応じてサイズおよび位置を変更した部分画像を抽出することが提案されている（特許文献１参照）。

特開２００６−１７８６５２号公報

しかし、実際の車両の走行において認識すべき画像領域は、自車両の移動体情報のみならず、他の要因によっても変動し得る。特許文献１に記載の発明では、このような他の要因は、画像領域の決定に考慮されていなかった。

したがって、かかる事情に鑑みてなされた本発明の目的は、車両などの移動体の多様な状況に応じて用いる画像の領域を設定する画像処理装置、撮像装置、移動体、プログラム、および領域設定方法を提供することにある。

上述した諸課題を解決すべく、第１の観点による画像処理装置は、
移動体の周辺の道路に関する情報を取得する道路情報取得部と、
前記道路に関する情報に基づいて、前記移動体の周辺画像から抽出する画像の領域を設定する領域設定部とを備える
ことを特徴とするものである。

また、第２の観点による画像処理装置では、
前記道路に関する情報とは、交差点、踏切、横断歩道、スクールゾーン、トンネル、勾配、駅、バス停、駐車場、インターチェンジ、ジャンクション、前記移動体と異なる方向に進行する移動体の有無、および警告情報の少なくとも一つを含む
ことが好ましい。

また、第３の観点による画像処理装置では、
前記移動体の走行速度、操舵角、制動制御、照明方向、方向指示器の少なくとも一つを含む移動体情報を取得する移動体情報取得部を更に備え、
前記領域設定部は、前記移動体情報に基づいて前記領域を設定する
ことが好ましい。

また、第４の観点による画像処理装置では、
前記画像取得部が取得する画像の画素数は、前記画像処理装置が出力する画像の画素数より大きい
ことが好ましい。

また、第５の観点による画像処理装置では、
前記道路情報取得部は、現在地を取得し、取得した現在地に対応する道路に対する前記道路に関する情報を読出すことにより取得する。
ことが好ましい。

また、第６の観点による画像処理装置では、
前記移動体の周辺画像を取得する画像取得部を、さらに備え、
前記道路情報取得部は、前記周辺画像の画像解析により前記道路に関する情報を取得する
ことが好ましい。

また、第７の観点による撮像装置は、
移動体の周辺画像を取得する画像取得部と、前記移動体の周辺の道路に関する情報を取得する道路情報取得部と、前記道路に関する情報に基づいて、前記周辺画像から抽出する画像の領域を設定する領域設定部とを有する画像処理装置と、
前記移動体に搭載され、前記移動体の周辺を撮像した周辺画像を前記画像取得部に出力する撮像部とを備える
ことを特徴とするものである。

また、第８の観点による撮像装置は、
移動体の周辺画像を撮像する撮像部と、
前記移動体の現在地の周辺の道路に関する情報を取得する道路情報取得部と、
前記道路に関する情報に基づいて、前記撮像部における前記周辺画像を撮像する領域を設定する領域設定部とを備える
ことを特徴とするものである。

また、第９の観点による移動体は、
移動体の周辺画像を取得する画像取得部と、前記移動体の周辺の道路に関する情報を取得する道路情報取得部と、前記道路に関する情報に基づいて、前記周辺画像から抽出する画像の領域を設定する領域設定部とを有する画像処理装置と、前記移動体に搭載され、前記移動体の周辺を撮像した周辺画像を前記画像取得部に出力する撮像部とを有する撮像装置を備える
ことを特徴とするものである。

上述したように本発明の解決手段を装置として説明してきたが、本発明はこれらに実質的に相当する方法、プログラム、プログラムを記録した記憶媒体としても実現し得るものであり、本発明の範囲にはこれらも包含されるものと理解されたい。

例えば、本発明の第１０の観点によるプログラムは、
画像処理装置を、
移動体の周辺画像を取得する画像取得部と、
前記移動体の周辺の道路に関する情報を取得する道路情報取得部と、
前記道路に関する情報に基づいて、前記周辺画像から抽出する画像の領域を設定する域設定部として機能させる
ことを特徴とするものである。

また、本発明の第１１の観点による領域設定方法は、
移動体の周辺画像を取得する画像取得ステップと、
前記移動体の周辺の道路に関する情報を取得する道路情報取得ステップと、
前記道路に関する情報に基づいて、前記周辺画像から抽出する画像の領域を設定する領域設定ステップとを備える
ことを特徴としている。

上記のように構成された本発明に係る画像処理装置、撮像装置、移動体、プログラム、および領域設定方法によれば、車両などの移動体の多様な状況に応じて用いる画像の領域を設定可能である。

本発明の一実施形態に係る画像処理装置の車両内における配置図である。図１の撮像部の概略構成を示す機能ブロック図である。図１の画像処理装置の概略構成を示す機能ブロック図である。図３の領域設定部が周辺画像全体を抽出する領域に決める場合の、間引き読出しを説明する概念図である。図３の領域設定部が周辺画像の一部の領域を抽出する領域に決める場合の、全画素読出しを説明する概念図である。図３の制御部が実行する領域抽出処理を説明するフローチャートである。画像処理装置の第１の変形例の概略構成を示す機能ブロック図である。画像処理装置の第２の変形例の概略構成を示す機能ブロック図である。画像処理装置の第３の変形例の概略構成を示す機能ブロック図である。

以下、本発明の実施形態について、図面を参照して説明する。

まず、本発明の一実施形態に係る画像処理装置を有する撮像装置について説明する。図１は、本実施形態に係る画像処理装置を有する撮像装置の車両内における配置図である。

図１に示すように、撮像装置１０は、ＧＰＳ受信機１１および表示部１２とともに、移動体である車両１３内に設けられる。撮像装置１０を構成する画像処理装置１４、およびＧＰＳ受信機１１は、車両内の何処に設けてもよいが、本実施形態では、運転席近傍に設けられる。撮像装置１０を構成する撮像部１５も車両１３の何処に設けてもよいが、本実施形態では車両の前方の周辺画像を撮像するために、車両１３の前部に固定される。表示部１２は、運転席から視認可能に設けられる。

撮像装置１０は、画像処理装置１４および撮像部１５を含んで構成される。後述するように、撮像部１５は、車両の周辺画像を撮像する。また、後述するように、画像処理装置１４は、撮像部１５が撮像した周辺画像に画像処理を施す。画像処理装置１４は、画像処理を施した周辺画像を表示部１２に出力する。

ＧＰＳ受信機１１は、３個以上のＧＰＳ衛星からの信号を受信し、車両１３とＧＰＳ衛星間の距離と距離の変化率とを、衛星に対して測定することにより、車両１３の現在地、進行速度および進行方位を測定する。

表示部１２は例えばＬＣＤであり、撮像装置１０から出力される画像を表示する。表示部１２は、例えば、３０万画素、すなわちＶＧＡサイズで画像を表示する。

次に、撮像部１５の構成について、説明する。図２に示すように、撮像部１５は、光学系１６、撮像素子１７、ＡＦＥ（ＡｎａｌｏｇＦｒｏｎｔＥｎｄ）１８、および撮像素子駆動部１９を含んで構成される。

光学系１６は複数のレンズを有する。複数のレンズは、車両の前方の光学像を入射可能となるように、固定されている。光学系１６は、入射する光学像を撮像素子１７の受光面に結像させる。光学系１６は、深い被写界深度および広い画角を有する。

撮像素子１７は、例えばＣＣＤイメージセンサおよびＣＭＯＳイメージセンサであって、受光面に結像した周辺画像に相当する画像信号を生成する。撮像素子１７は、例えば１３０万画素であって、表示部１２が有する画素よりも大きな画素数を有する。したがって、撮像される周辺画像の解像度は、表示部１２に表示される画像の解像度より大きい。

ＡＦＥ１８は、撮像素子１７から取得する周辺画像に対してＣＤＳ／ＳＨ処理、ＡＧＣ処理、およびＡＤ変換処理を施す。ＡＦＥ１８は、ＡＤ変換処理を施した周辺画像を画像処理装置１４に出力する。

撮像素子駆動部１９は、撮像素子１７を駆動して、撮像を実行させ、画像信号を生成させる。撮像素子駆動部１９は、画像処理装置１４から取得する撮像の実行指令に基づいて、撮像素子１７を駆動する。

次に、画像処理装置１４の構成について説明する。図３に示すように、画像処理装置１４は、バス２０、画像取得部２１、移動体情報取得部２２、メモリ２３、道路情報取得部２４、領域設定部２５、領域抽出部２６、画像処理部２７、画像出力部２８、および制御部２９を含んで構成される。

バス２０は、画像取得部２１、移動体情報取得部２２、メモリ２３、道路情報取得部２４、領域設定部２５、領域抽出部２６、画像処理部２７、画像出力部２８、および制御部２９を接続し、データおよび指令を伝達する。

画像取得部２１は、撮像部１５から周辺画像を画像データとして取得する。

移動体情報取得部２２は、ＥＣＵ（ＥｌｅｃｔｒｏｎｉｃＣｏｎｔｒｏｌＵｎｉｔ）３０から、車両の走行速度、操舵角、制動制御、照明時の照明方向、方向指示器の点灯の少なくとも一つを含む移動体情報を取得する。

メモリ２３は、画像処理部２７が多様な機能を実行するために必要な情報を記憶する。例えば、メモリ２３は、ＧＰＳ受信機１１が測定する現在地に対応する道路、および道路に関する情報を道路毎に記憶する。道路に関する情報とは、交差点、踏切、横断歩道、スクールゾーン、トンネル、勾配、駅、バス停、駐車場、インターチェンジ、およびジャンクションの少なくとも一つを含む。

道路情報取得部２４は、ＧＰＳ受信機１１から車両１３の現在地を位置情報として取得する。道路情報取得部２４は、ＧＰＳ受信機１１から取得した現在地に対応する道路に対応する、道路に関する情報をメモリ２３から読出す。

領域設定部２５は、道路情報取得部２４が取得する現在地、道路情報取得部２４がメモリ２３から読出す道路に関する情報、および移動体情報取得部２２が取得した移動体情報に基づいて、画像取得部２１が取得した周辺画像において抽出する画像の領域を決定する。具体的には、以下に説明するように、領域設定部２５は、抽出する領域を設定する。

領域設定部２５は、道路に関する情報の直近の対象物までの現在地からの距離を算出する。領域設定部２５は、算出した距離が距離閾値以下であるときには、周辺画像全体を抽出する領域そのものに定める。領域設定部２５は、算出した距離が距離閾値より長いときには、さらに車両の速度および制動制御の少なくとも一方に基づいて、抽出する領域を設定する。

領域設定部２５は、車両の速度が速度閾値未満および制動制御が行われているときの少なくとも一方において、周辺画像全体を抽出する領域そのものに定める。領域設定部２５は、車両の速度が速度閾値以上であって、且つ制動制御が行われていないとき、周辺画像の２３％（≒３０万／１３０万）の大きさを、抽出する領域の大きさに定める。

領域設定部２５は、抽出する領域の大きさを定めたときには移動体情報取得部２２が取得する操舵角、方向指示器の点灯、および照明方向の少なくとも何れかに基づいて、抽出する領域の位置を定める。

例えば、操舵角および方向指示器の点灯に基づいて、車両の進行方向が直進方向、右方向、および左方向の何れかであることが判定可能である。領域設定部２５は、車両の進行方向が直進方向であるときには周辺画像の中心位置を領域の中心とすることにより、位置を定める。領域設定部２５は、車両の進行方向が右方向であるときには周辺画像の中心から右に移動させた位置を中心とすることにより、位置を定める。左方向であるときの位置の定め方は、右方向と同様である。

また、照明方向が遠距離方向即ちハイビームであるときには、注目すべき領域は周辺画像の中心付近であると想定される。一方、照明方向が近距離方向即ちロービームであるときには、注目すべき領域はハイビームより下方の領域であると想定される。それゆえ、領域設定部２５は、ハイビームであるときには周辺画像の中心位置を領域の中心とすることにより、位置を定める。また、領域設定部２５は、ロービームであるときには周辺画像の中心位置から下に移動させた位置を中心とすることにより、位置を定める。

領域抽出部２６は、画像取得部２１が取得した周辺画像から、領域設定部２５が設定した領域を抽出する。領域抽出部２６は、領域設定部２５が周辺画像全体を抽出する領域に定めたときには、周辺画像を構成する画素を間引いたり、互いに隣接する同じ色の画素を加算することにより、画素数を３０万画素に低下させた領域（図４参照）を抽出する。領域抽出部２６は、領域設定部２５が周辺画像の２３％の大きさの領域を抽出する領域の大きさに定めたときには、領域設定部２５が定めた位置の領域を構成する全画素をそのまま抽出する（図５参照）。

画像処理部２７は、領域抽出部２６が抽出した画像に所定の画像処理を施す。所定の画像処理は、たとえば、色補間処理、ホワイトバランス処理、輪郭強調処理、ガンマ補正処理である。

画像出力部２８は、画像処理部２７において所定の画像処理の施された画像データを表示部１２に出力する。

制御部２９は、画像処理装置１４を構成する各部位を制御する。また、制御部２９は、撮像部１５の撮像素子駆動部１９（図２参照）に、撮像の実行指令を出力する。

次に、第１の実施形態において制御部２９が実行する、領域抽出処理について、図６のフローチャートを用いて説明する。制御部２９は、画像取得部２１が周辺画像を取得する度に領域抽出処理を実行する。

ステップＳ１００において、制御部２９は、道路情報取得部２４に現在地を取得させる。現在地を取得すると、プロセスはステップＳ１０１に進む。

ステップＳ１０１では、制御部２９は、道路情報取得部２４に、現在地に対応する道路に関する情報を、メモリ２３から読出させる。道路に関する情報の読出しを終えると、プロセスはステップＳ１０２に進む。

ステップＳ１０２では、制御部２９は、領域設定部２５に、道路に関する情報の直近の対象物までの現在地からの距離を算出させる。また、制御部２９は、算出させた距離が距離閾値以下であるか否かを判別させる。算出した距離が距離閾値を越えるときには、プロセスはステップＳ１０３に進む。算出した距離が距離閾値以下であるときには、プロセスはステップＳ１０６に進む。

ステップＳ１０３では、制御部２９は、移動体情報取得部２２に車両の走行速度を、ＥＣＵ３０から取得させる。走行速度を取得すると、プロセスはステップＳ１０４に進む。

ステップＳ１０４では、制御部２９は、領域設定部２５に、ステップＳ１０３で取得した走行速度が速度閾値以上であるか否かを判別させる。走行速度が速度閾値以上であるときには、プロセスはステップＳ１０５に進む。走行速度が速度閾値未満であるときには、プロセスはステップＳ１０６に進む。

ステップＳ１０５では、制御部２９は、領域設定部２５に、車両が制動制御されているか否かを判別させる。車両が制動制御中であるときには、プロセスはステップＳ１０６に進む。車両が制動制御中でないときには、プロセスはステップＳ１０８に進む。

ステップＳ１０６では、制御部２９は、領域設定部２５に、抽出する領域を設定させる。領域設定部２５は、周辺画像全体を抽出する領域に設定する。抽出する領域を設定すると、プロセスはステップＳ１０７に進む。

ステップＳ１０７では、制御部２９は、領域抽出部２６に、周辺画像の間引き読出しを実行させ、画像のサイズをＶＧＡサイズに低下させる。間引き読出し後、領域抽出処理を終了する。

ステップＳ１０８では、制御部２９は、領域設定部２５に、抽出する領域を設定させる。領域設定部２５は、周辺画像の２３％の大きさの領域を抽出する領域の大きさに設定する。また、領域設定部２５は、操舵角、方向指示器の点灯、および照明方向の少なくとも何れかに基づいて、抽出する領域の位置を定める。大きさおよび位置の決定により、抽出する領域を設定すると、プロセスはステップＳ１０９に進む。

ステップＳ１０９では、制御部２９は、領域抽出部２６に、ステップＳ１０８において設定した領域の周辺画像からの全画素読出しを実行させる。全画素読出し後、領域抽出処理を終了する。

以上のような構成の本実施形態の画像処理装置によれば、道路に関する情報に基づいて、周辺画像から抽出する画像の領域を設定するので、速度などの移動体そのものの情報だけでなく、移動体の多様な状況に基づいて抽出する画像の領域を設定可能である。

また、本実施形態によれば、道路に関する情報のみならず、移動体情報にも基づいて抽出する領域を設定可能である。

また、本実施形態によれば、撮像される周辺画像の解像度は表示される画像の解像度より大きいので、周辺画像の一部を抽出するときに全画素読出しを実行し、周辺画像そのものを抽出するときには間引きまたは画素加算を実行することが可能である。このような構成により、周辺画像の一部を抽出する場合に、周辺画像そのものを抽出する場合に比べた解像度の劣化を、低減化させることが可能である。

また、本実施形態によれば、取得する周辺画像に基づいて抽出する領域を設定するので、汎用の撮像部と組合わせることが可能である。

本発明を諸図面や実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。

例えば、本実施形態において、領域設定部２５は、画像取得部２１が取得する周辺画像の中の抽出する領域を設定する構成であるが、撮像素子１７の受光面における周辺画像を撮像する領域を設定させる構成であってもよい。このような構成において、撮像素子１７の受光面全体を周辺画像を撮像する領域に設定する場合、制御部２９は間引き読出しで周辺画像を撮像する指令を撮像素子駆動部１９に出力する。また、撮像素子１７の受光面の一部を、周辺画像を撮像する領域に設定する場合、制御部２９は全読出しで周辺画像を撮像する指令を撮像素子駆動部１９に出力する。このような構成により、最終的に用いられない画素における読出し停止し、画像の読出し時間の短縮化を図ることが可能である。

また、本実施形態において、画像処理装置１４は、表示部１２に周辺画像を出力して周辺画像を表示する構成であるが、このような構成に限定されない。領域の設定に基づく画像を解析し移動体の制御および運転者への警告を行うなど、領域の設定に基づく画像を表示以外の他の用途に用いてもよい。

また、本実施形態において、道路情報取得部２４はＧＰＳ受信機１１から取得した現在地に対応する道路における当該道路に関する情報をメモリ２３から読出すことにより取得する構成であるが、道路に関する情報の取得方法は当該方法に限定されない。例えば、道路情報取得部２４が撮像部１５から取得する周辺画像の画像解析により、周辺画像に道路に関する情報（交差点、踏切、横断歩道、スクールゾーン、トンネル、勾配、駅、バス停、駐車場、インターチェンジ、およびジャンクション）の有無を判別することにより取得する構成であってもよい。また、道路情報取得部２４が、事故多発地点などの警告情報を、例えばナビゲーション装置を介してＶＩＣＳ（登録商標）から取得する構成であってもよい。また、道路情報取得部２４が路車間通信を行い、自移動体（車両１３）と異なる方向に進む移動体の存在の有無を、道路に関する情報として取得する構成であってもよい。

また、本実施形態において、道路情報取得部２４は道路情報に関する情報を画像処理装置１４が有するメモリ２４から読出す構成であるが、ナビゲーション装置などの外部機器３１０から読出す構成であってもよい（図７参照）。多数の道路に関する情報を、多数の道路に関連付けて記憶させるためには容量の大きなメモリ２３が必要であるが、ナビゲーション装置など道路に関する情報を有する外部機器３１から読出すことにより大容量のメモリ２３が不要となる。

また、本実施形態において、画像処理装置１４は撮像装置１０に含まれる構成であるが、このような態様に限定されない。例えば、図８に示すように、画像処理装置１４は、カーナビゲーション装置などのようにＣＡＮ３２１（ＣｏｎｔｒｏｌｌｅｒＡｒｅａＮｅｔｗｏｒｋ）に接続された車両１３に搭載の機器であってもよい。

また、本実施形態において、画像処理装置１４は撮像部１５から周辺画像を取得し、道路に関する情報などに基づいて抽出した領域の画像を表示部１２に出力する構成であるが、単に道路に関する情報などに基づいて抽出する領域を設定し、外部に出力する構成であってもよい。例えば、図９に示すように、カーナビゲーション装置として実施される画像処理装置１４２は、バス２０、移動体情報取得部２２、メモリ２３、道路情報取得部２４、領域設定部２５、および制御部２９２を有し、周辺画像を取得すること無く抽出する領域を設定し、制御部２９２からＣＡＮ３２１を介して抽出する領域を撮像部１５に通知する構成であってもよい。このような構成において、通知された領域を撮像部１５が抽出し、表示部１２に出力することによっても、最適な領域の画像を運転者に提示可能である。

１０撮像装置
１１ＧＰＳ受信機
１２表示部
１３車両
１４、１４２画像処理装置
１５撮像部
１６光学系
１７撮像素子
１８ＡＦＥ（ＡｎａｌｏｇＦｒｏｎｔＥｎｄ）
１９撮像素子駆動部
２０バス
２１画像取得部
２２移動体情報取得部
２３メモリ
２４道路情報取得部
２５領域設定部
２６領域抽出部
２７画像処理部
２８画像出力部
２９、２９２制御部
３０ＥＣＵ（ＥｌｅｃｔｒｏｎｉｃＣｏｎｔｒｏｌＵｎｉｔ）
３１０外部機器
３２１ＣＡＮ（ＣｏｎｔｒｏｌｌｅｒＡｒｅａＮｅｔｗｏｒｋ）

上述した諸課題を解決すべく、第１の観点による撮像装置は、
移動体の周辺の道路に関する情報を取得する道路情報取得部と、
前記移動体の速度または制動制御を含む移動体情報を取得する移動体情報取得部と、
前記道路に関する情報の直近の対象物までの現在地からの距離と、前記速度および前記制動制御の少なくとも一方とに基づいて、前記移動体の周辺画像から抽出する画像の領域を設定する領域設定部とを備える
ことを特徴とするものである。

また、第３の観点による画像処理装置では、
前記移動体情報取得部は、前記移動体の操舵角、照明方向、方向指示器の少なくとも一つを更に含む移動体情報を取得し、
前記領域設定部は、前記移動体情報に基づいて前記領域を設定する
ことが好ましい。

また、第４の観点による画像処理装置では、
前記移動体の周辺画像を取得する画像取得部を、更に備え、
前記画像取得部が取得する画像の画素数は、前記画像処理装置から出力する画像の画素数より大きい
ことが好ましい。

また、第６の観点による画像処理装置では、
前記道路情報取得部は、前記周辺画像の画像解析により前記道路に関する情報を取得する
ことが好ましい。

また、第７の観点による撮像装置は、
移動体の周辺の道路に関する情報を取得する道路情報取得部と、
前記移動体の速度または制動制御を含む移動体情報を取得する移動体情報取得部と、
前記道路に関する情報の直近の対象物までの現在地からの距離と、前記速度および前記制動制御の少なくとも一方とに基づいて、前記移動体の周辺画像から抽出する画像の領域を設定する領域設定部とを有する画像処理装置と、
前記移動体に搭載され、前記移動体の周辺を撮像した周辺画像を前記画像処理装置に出力する撮像部とを備える
ことを特徴とするものである。

また、第８の観点による撮像装置は、
移動体の周辺画像を撮像する撮像部と、
移動体の周辺の道路に関する情報を取得する道路情報取得部と、
前記移動体の速度または制動制御を含む移動体情報を取得する移動体情報取得部と、
前記道路に関する情報の直近の対象物までの現在地からの距離と、前記速度および前記制動制御の少なくとも一方とに基づいて、前記移動体の周辺画像から抽出する画像の領域を設定する領域設定部とを備える
ことを特徴とするものである。

また、第９の観点による移動体は、
移動体の周辺の道路に関する情報を取得する道路情報取得部と、前記移動体の速度または制動制御を含む移動体情報を取得する移動体情報取得部と、前記道路に関する情報の直近の対象物までの現在地からの距離と、前記速度および前記制動制御の少なくとも一方とに基づいて、前記移動体の周辺画像から抽出する画像の領域を設定する領域設定部とを有する画像処理装置と、
前記移動体に搭載され、前記移動体の周辺を撮像した周辺画像を前記画像処理装置に出力する撮像部とを有する
ことを特徴とするものである。

例えば、本発明の第１０の観点によるプログラムは、
画像処理装置を、
移動体の周辺の道路に関する情報を取得する道路情報取得部と、
前記移動体の速度または制動制御を含む移動体情報を取得する移動体情報取得部と、
前記道路に関する情報の直近の対象物までの現在地からの距離と、前記速度および前記制動制御の少なくとも一方とに基づいて、前記移動体の周辺画像から抽出する画像の領域を設定する領域設定部として機能させる
ことを特徴とするものである。

道路情報取得部、移動体情報取得部、及び領域設定部を備える画像処理装置における領域設定方法であって、
また、本発明の第１１の観点による領域設定方法は、
前記道路情報取得部により、移動体の周辺の道路に関する情報を取得する道路情報取得ステップと、
前記移動体情報取得部により、前記移動体の速度または制動制御に関する移動体情報を取得する移動体情報取得ステップと、
前記領域設定部により、前記道路に関する情報の直近の対象物までの現在地からの距離と、前記速度および前記制動制御の少なくとも一方とに基づいて、前記移動体の周辺画像から抽出する画像の領域を設定する領域設定ステップとを
実行することを特徴としている。

Claims

移動体の周辺の道路に関する情報を取得する道路情報取得部と、
前記道路に関する情報に基づいて、前記移動体の周辺画像から抽出する画像の領域を設定する領域設定部とを備える
ことを特徴とする画像処理装置。
請求項１に記載の画像処理装置であって、
前記道路に関する情報とは、交差点、踏切、横断歩道、スクールゾーン、トンネル、勾配、駅、バス停、駐車場、インターチェンジ、ジャンクション、前記移動体と異なる方向に進行する移動体の有無、および警告情報の少なくとも一つを含む
ことを特徴とする画像処理装置。
請求項１または請求項２に記載の画像処理装置であって、
前記移動体の走行速度、操舵角、制動制御、照明方向、方向指示器の少なくとも一つを含む移動体情報を取得する移動体情報取得部を更に備え、
前記領域設定部は、前記移動体情報に基づいて前記領域を設定する
ことを特徴とする画像処理装置。
請求項１から請求項３のいずれか１項に記載の画像処理装置であって、前記画像取得部が取得する画像の画素数は、前記画像処理装置から出力する画像の画素数より大きいことを特徴とする画像処理装置。
請求項１から請求項４のいずれか1項に記載の画像処理装置であって、
前記道路情報取得部は、現在地を取得し、取得した現在地に対応する道路に対する前記道路に関する情報を読出すことにより取得する。
ことを特徴とする画像処理装置。
請求項１から請求項４のいずれか1項に記載の画像処理装置であって、
前記移動体の周辺画像を取得する画像取得部を、さらに備え、
前記道路情報取得部は、前記周辺画像の画像解析により前記道路に関する情報を取得する
ことを特徴とする画像処理装置。
請求項１から請求項６のいずれか１項に記載の画像処理装置と、
前記移動体に搭載され、前記移動体の周辺を撮像した周辺画像を前記画像取得部に出力する撮像部とを備える
ことを特徴とする撮像装置。
移動体の周辺画像を撮像する撮像部と、
前記移動体の現在地の周辺の道路に関する情報を取得する道路情報取得部と、
前記道路に関する情報に基づいて、前記撮像部における前記周辺画像を撮像する領域を設定する領域設定部とを備える
ことを特徴とする撮像装置。
請求項７または請求項８に記載の撮像装置を備える移動体。
画像処理装置を、
移動体の周辺の道路に関する情報を取得する道路情報取得部と、
前記道路に関する情報に基づいて、前記移動体の周辺画像から抽出する画像の領域を設定する域設定部として機能させる
ことを特徴とするプログラム。
移動体の周辺の道路に関する情報を取得する道路情報取得ステップと、
前記道路に関する情報に基づいて、前記移動体の周辺画像から抽出する画像の領域を設定する領域設定ステップとを備える
ことを特徴とする領域設定方法。