JP6091658B2 - 情報処理装置及び情報処理方法及びプログラム - Google Patents
情報処理装置及び情報処理方法及びプログラム Download PDFInfo
- Publication number
- JP6091658B2 JP6091658B2 JP2015554612A JP2015554612A JP6091658B2 JP 6091658 B2 JP6091658 B2 JP 6091658B2 JP 2015554612 A JP2015554612 A JP 2015554612A JP 2015554612 A JP2015554612 A JP 2015554612A JP 6091658 B2 JP6091658 B2 JP 6091658B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- specific subject
- distance
- camera
- subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
- G01C3/06—Use of electric means to obtain final indication
- G01C3/08—Use of electric radiation detectors
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Electromagnetism (AREA)
- Computer Networks & Wireless Communication (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Description
本発明は、カメラで撮影された撮影画像を解析する技術に関する。
半透過のディスプレイ上で風景に重畳させて情報を表示させるＨＵＤ（Ｈｅａｄ Ｕｐ Ｄｉｓｐｌａｙ）技術を利用した車載機器の研究開発が盛んに行われている。
また、車の衝突を回避したり、衝撃を低減する技術の研究開発も盛んに行われている。
これらの技術は、車の周囲の状況を搭乗者に通知すること、または車の周囲の状況を把握して車を制御することを目的としている。
これらの技術では、センサ及びカメラを利用して車の周囲を３次元的に把握し、管理することが必要である。
車の周囲を把握する際に、３次元の情報を、ソリッドモデルまたはサーフェイスモデル、または多数の点（ドット）を利用して表現していることが多い。
これらソリッドモデル及びサーフェイスモデル等では、３次元情報の情報量が多くなる。
情報量を減らす方法として、ソリッドモデル及びサーフェイスモデルではなく、ワイヤーフレームモデルなどの情報量の少ない方式を利用することが考えられる。
引用文献１では、ワイヤーフレームモデルが用いられている。
また、車の衝突を回避したり、衝撃を低減する技術の研究開発も盛んに行われている。
これらの技術は、車の周囲の状況を搭乗者に通知すること、または車の周囲の状況を把握して車を制御することを目的としている。
これらの技術では、センサ及びカメラを利用して車の周囲を３次元的に把握し、管理することが必要である。
車の周囲を把握する際に、３次元の情報を、ソリッドモデルまたはサーフェイスモデル、または多数の点（ドット）を利用して表現していることが多い。
これらソリッドモデル及びサーフェイスモデル等では、３次元情報の情報量が多くなる。
情報量を減らす方法として、ソリッドモデル及びサーフェイスモデルではなく、ワイヤーフレームモデルなどの情報量の少ない方式を利用することが考えられる。
引用文献１では、ワイヤーフレームモデルが用いられている。
引用文献１では、撮影画像における特徴点設定処理及びパッチ設定処理を自動化した高画質な３次元画像の生成を可能にする３次元画像生成システムが開示されている。
このシステムでは、対象物の特性を検出し、データベースに格納した形状モデルに基づき３次元モデルの生成領域を自動抽出する。
また、抽出された生成領域に対して、データベースに格納した対象物の形状モデルの特徴点位置設定データに基づいて特徴点を自動的に設定する。
さらに、設定された特徴点に対して、モデルによる三角パッチを自動的に作成することによって、引用文献１の技術では、実際の対象物の形状と一致するワイヤーフレーム表現が可能となり、３次元モデル生成処理における各処理を自動化することができる。
このシステムでは、対象物の特性を検出し、データベースに格納した形状モデルに基づき３次元モデルの生成領域を自動抽出する。
また、抽出された生成領域に対して、データベースに格納した対象物の形状モデルの特徴点位置設定データに基づいて特徴点を自動的に設定する。
さらに、設定された特徴点に対して、モデルによる三角パッチを自動的に作成することによって、引用文献１の技術では、実際の対象物の形状と一致するワイヤーフレーム表現が可能となり、３次元モデル生成処理における各処理を自動化することができる。
従来、立体を表現するモデルとしてソリッドモデルまたはサーフェイスモデルが使用されている。
しかしながら、車載機器では、刻一刻と変化する状況をリアルタイムにモデルに反映する必要がある。
従来のように、ソリッドモデルまたはサーフェイスモデルを利用して３次元モデルを構築するのは処理が重たくなり、車の周囲の状況をリアルタイムに３次元モデルに反映できないという課題がある。
また、特許文献１のようにワイヤーフレームモデルを利用する場合も、ワイヤーフレームモデルの生成に先立ち、撮影画像を解析して、車の周囲の物体（被写体）とカメラとの距離を算出する処理が必要である。
特許文献１を含むワイヤーフレームモデルを利用する従来技術では、撮影画像の全体に対して距離算出処理を実施する。
撮影画像にはワイヤーフレームモデルの生成対象でない物体の画像も含まれるが、撮影画像の全体に対して距離算出処理が完了しないと、ワイヤーフレームモデルを生成することができない。
このように、３次元モデル構築におけるリアルタイム性を更に向上させるためには、この距離算出処理を効率化することが求められる。
しかしながら、車載機器では、刻一刻と変化する状況をリアルタイムにモデルに反映する必要がある。
従来のように、ソリッドモデルまたはサーフェイスモデルを利用して３次元モデルを構築するのは処理が重たくなり、車の周囲の状況をリアルタイムに３次元モデルに反映できないという課題がある。
また、特許文献１のようにワイヤーフレームモデルを利用する場合も、ワイヤーフレームモデルの生成に先立ち、撮影画像を解析して、車の周囲の物体（被写体）とカメラとの距離を算出する処理が必要である。
特許文献１を含むワイヤーフレームモデルを利用する従来技術では、撮影画像の全体に対して距離算出処理を実施する。
撮影画像にはワイヤーフレームモデルの生成対象でない物体の画像も含まれるが、撮影画像の全体に対して距離算出処理が完了しないと、ワイヤーフレームモデルを生成することができない。
このように、３次元モデル構築におけるリアルタイム性を更に向上させるためには、この距離算出処理を効率化することが求められる。
本発明は、このような事情に鑑みたものであり、３次元モデルの構築において、距離算出処理を効率化することを主な目的とする。
本発明に係る情報処理装置は、
カメラで撮影された撮影画像に含まれる被写体の画像のうち特定の被写体の画像を抽出する画像抽出部と、
前記撮影画像に含まれる被写体の画像を用いて前記カメラから被写体までの距離を算出する距離算出処理を、前記画像抽出部により抽出された前記特定の被写体の画像に限定して実行する距離算出処理実行部を有することを特徴とする。
カメラで撮影された撮影画像に含まれる被写体の画像のうち特定の被写体の画像を抽出する画像抽出部と、
前記撮影画像に含まれる被写体の画像を用いて前記カメラから被写体までの距離を算出する距離算出処理を、前記画像抽出部により抽出された前記特定の被写体の画像に限定して実行する距離算出処理実行部を有することを特徴とする。
本発明では、距離算出処理を、特定の被写体の画像に限定して実行するため、他の被写体に対する距離算出処理の完了を待つ必要がなく、距離算出処理を高速化することができ、３次元モデルの構築を高速に行うことができる。
実施の形態１．
図１は、本実施の形態に係る情報処理装置１００の構成例を示す。
本実施の形態に係る情報処理装置１００は、車両（移動体）に搭載されている。
情報処理装置１００は、車両に搭載されているカメラ２００から撮影画像を取得し、同じく車両に搭載されているセンサ３００から距離情報を取得する。
カメラ２００及びセンサ３００は、例えば、図２の例示のように、車両のフロント部分に近接して配置されている。
センサ３００は、カメラ２００の撮影に並行して、カメラ２００の撮影方向での測距を行う。
センサ３００は、例えば、ＬＩＤＡＲ（ＬＩｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ）である。
ＬＩＤＡＲは、例えば、図３の例示のように、レーザを水平方向に走査し、２４０度といった広範囲を０．４度程度の解像度で、車両の周囲の物体までの距離を測定する。
ＬＩＤＡＲによる距離の取得は水平方向のみであるが、他の種類のセンサ（例えば、ＰＭＤ（Ｐｈｏｔｏｎｉｃ Ｍｉｘｅｒ Ｄｅｖｉｃｅ））であれば高さ方向の距離も取得できる。
ＬＩＤＡＲのように、高さ方向の距離を取得できない場合は、カメラ２００により、ステレオカメラやモーションステレオ技術により高さ方向のｄｅｐｔｈｍａｐ（３次元画像）を作り、高さ方向の情報を取得できるようにする。
以下では、センサ３００がＬＩＤＡＲであることを前提にして説明を進める。
図１は、本実施の形態に係る情報処理装置１００の構成例を示す。
本実施の形態に係る情報処理装置１００は、車両（移動体）に搭載されている。
情報処理装置１００は、車両に搭載されているカメラ２００から撮影画像を取得し、同じく車両に搭載されているセンサ３００から距離情報を取得する。
カメラ２００及びセンサ３００は、例えば、図２の例示のように、車両のフロント部分に近接して配置されている。
センサ３００は、カメラ２００の撮影に並行して、カメラ２００の撮影方向での測距を行う。
センサ３００は、例えば、ＬＩＤＡＲ（ＬＩｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ）である。
ＬＩＤＡＲは、例えば、図３の例示のように、レーザを水平方向に走査し、２４０度といった広範囲を０．４度程度の解像度で、車両の周囲の物体までの距離を測定する。
ＬＩＤＡＲによる距離の取得は水平方向のみであるが、他の種類のセンサ（例えば、ＰＭＤ（Ｐｈｏｔｏｎｉｃ Ｍｉｘｅｒ Ｄｅｖｉｃｅ））であれば高さ方向の距離も取得できる。
ＬＩＤＡＲのように、高さ方向の距離を取得できない場合は、カメラ２００により、ステレオカメラやモーションステレオ技術により高さ方向のｄｅｐｔｈｍａｐ（３次元画像）を作り、高さ方向の情報を取得できるようにする。
以下では、センサ３００がＬＩＤＡＲであることを前提にして説明を進める。
情報処理装置１００において、撮影画像取得部１０１は、カメラ２００で撮影された撮影画像を取得する。
撮影画像取得部１０１は、例えば、図３の前方車両の後部が撮影された図４の撮影画像４００を取得する。
距離情報取得部１０２は、センサ３００で取得した物体までの距離が示される距離情報を取得する。
距離情報取得部１０２は、例えば、図５に例示する距離情報５００を取得する。
距離情報５００の同心円の中心がセンサ３００の位置に相当し、各同心円がセンサ３００からの距離を表している。
図５の距離情報５００には、カメラ２００による図４の撮影画像４００の撮影に並行してセンサ３００が測距した結果が示されている。
つまり、図３に示すように、センサ３００からのレーザは前方車両のバンパー部分を水平方向に走査しており、図５の距離情報５００の符号５０１の線は、図４の撮影画像４００の前方車両のバンパー部分との距離を表している。
なお、図５の距離情報５００は、センサ３００の測距結果を模式的に表現したものであり、撮影画像４００内の全ての被写体との距離を表現するものではない。
撮影画像取得部１０１は、例えば、図３の前方車両の後部が撮影された図４の撮影画像４００を取得する。
距離情報取得部１０２は、センサ３００で取得した物体までの距離が示される距離情報を取得する。
距離情報取得部１０２は、例えば、図５に例示する距離情報５００を取得する。
距離情報５００の同心円の中心がセンサ３００の位置に相当し、各同心円がセンサ３００からの距離を表している。
図５の距離情報５００には、カメラ２００による図４の撮影画像４００の撮影に並行してセンサ３００が測距した結果が示されている。
つまり、図３に示すように、センサ３００からのレーザは前方車両のバンパー部分を水平方向に走査しており、図５の距離情報５００の符号５０１の線は、図４の撮影画像４００の前方車両のバンパー部分との距離を表している。
なお、図５の距離情報５００は、センサ３００の測距結果を模式的に表現したものであり、撮影画像４００内の全ての被写体との距離を表現するものではない。
一致点検出部１０３は、撮影画像取得部１０１が取得した撮影画像と距離情報取得部１０２が取得した距離情報とを一致させる。
カメラ２００とセンサ３００は、撮影画像４００内の物体と測定された距離とを対応付けられるように、事前にキャリブレーションされている。
前述したように、距離情報５００の符号５０１の線は、撮影画像４００の前方車両のバンパー部分に相当しており、一致点検出部１０３は、符号５０１の線と撮影画像４００の前方車両のバンパー部分とを対応付ける。
図７は、一致点検出部１０３の処理イメージを示しており、撮影画像４００の前方車両のバンパー部分までの距離をセンサ３００が計測していることを表している。
図７の符号７０１で示す「ｘｘｘｘ」は、撮影画像４００の前方車両のバンパー部分にセンサ３００のレーザが照射されていることを表している。
なお、図７は一致点検出部１０３の処理を理解しやすくするための図であり、一致点検出部１０３が図７のような画像を作成するわけではない。
また、図１では、一致点検出部１０３は、撮影画像取得部１０１を介して撮影画像を取得し、距離情報取得部１０２を介して距離情報を取得している。
一致点検出部１０３がカメラ２００とのインタフェースを有し、また、一致点検出部１０３がセンサ３００とのインタフェースを有している場合は、一致点検出部１０３は、カメラ２００から直接撮影画像を取得してもよく、センサ３００から直接距離情報を取得するようにしてもよい。
カメラ２００とセンサ３００は、撮影画像４００内の物体と測定された距離とを対応付けられるように、事前にキャリブレーションされている。
前述したように、距離情報５００の符号５０１の線は、撮影画像４００の前方車両のバンパー部分に相当しており、一致点検出部１０３は、符号５０１の線と撮影画像４００の前方車両のバンパー部分とを対応付ける。
図７は、一致点検出部１０３の処理イメージを示しており、撮影画像４００の前方車両のバンパー部分までの距離をセンサ３００が計測していることを表している。
図７の符号７０１で示す「ｘｘｘｘ」は、撮影画像４００の前方車両のバンパー部分にセンサ３００のレーザが照射されていることを表している。
なお、図７は一致点検出部１０３の処理を理解しやすくするための図であり、一致点検出部１０３が図７のような画像を作成するわけではない。
また、図１では、一致点検出部１０３は、撮影画像取得部１０１を介して撮影画像を取得し、距離情報取得部１０２を介して距離情報を取得している。
一致点検出部１０３がカメラ２００とのインタフェースを有し、また、一致点検出部１０３がセンサ３００とのインタフェースを有している場合は、一致点検出部１０３は、カメラ２００から直接撮影画像を取得してもよく、センサ３００から直接距離情報を取得するようにしてもよい。
画像抽出部１０４は、撮影画像に含まれる被写体の画像のうち特定の被写体（ワイヤーフレームの作成対象の被写体、以下、対象被写体ともいう）の画像を抽出する。
撮影画像４００には、被写体としては、前方車両の他、樹木も含まれるが、ワイヤーフレームの作成の対象になるのは前方車両なので、画像抽出部１０４は、撮影画像４００に含まれる被写体の画像のうち前方車両の画像を抽出する。
画像抽出部１０４は、対象被写体の画像を抽出するにあたり、カメラスペック記憶部１０８に記憶されているカメラスペックを参照する。
カメラスペック記憶部１０８には、カメラ２００の仕様（焦点距離、Ｆ値、解像度等）が記憶されている。
撮影画像４００には、被写体としては、前方車両の他、樹木も含まれるが、ワイヤーフレームの作成の対象になるのは前方車両なので、画像抽出部１０４は、撮影画像４００に含まれる被写体の画像のうち前方車両の画像を抽出する。
画像抽出部１０４は、対象被写体の画像を抽出するにあたり、カメラスペック記憶部１０８に記憶されているカメラスペックを参照する。
カメラスペック記憶部１０８には、カメラ２００の仕様（焦点距離、Ｆ値、解像度等）が記憶されている。
距離算出処理実行部１０５は、対象被写体内の最近接点との距離を算出する。
最近接点とは、対象被写体内でカメラ２００と最も近接している点である。
距離算出処理実行部１０５は、カメラ２００から被写体までの距離を算出する距離算出処理を、画像抽出部１０４で抽出された対象被写体の画像に限定して実行する。
図４の例では、撮影画像４００のうち前方車両の画像が画像抽出部１０４により抽出されるが、距離算出処理実行部１０５は、前方車両の画像に限定して距離算出処理を実行する。
距離算出処理とは、例えば、ｄｅｐｔｈｍａｐ処理である。
従来では、撮影画像４００の全体に対してｄｅｐｔｈｍａｐ処理を行って、最近接点までの距離を導出していた。
つまり、従来は、撮影画像４００の最上段の左端から右端を走査し、次に、次段の左端から右端を走査し、以降、同様の動作を繰り返すというｄｅｐｔｈｍａｐ処理を行って、最近接点までの距離を導出していた。
このため、従来は、撮影画像４００中の前方車両以外の画像に対するｄｅｐｔｈｍａｐ処理に時間を要していた。
本実施の形態に係る距離算出処理実行部１０５は、画像抽出部１０４により抽出された前方車両の画像に限定してｄｅｐｔｈｍａｐ処理を行うので、処理時間を短縮することができる。
最近接点とは、対象被写体内でカメラ２００と最も近接している点である。
距離算出処理実行部１０５は、カメラ２００から被写体までの距離を算出する距離算出処理を、画像抽出部１０４で抽出された対象被写体の画像に限定して実行する。
図４の例では、撮影画像４００のうち前方車両の画像が画像抽出部１０４により抽出されるが、距離算出処理実行部１０５は、前方車両の画像に限定して距離算出処理を実行する。
距離算出処理とは、例えば、ｄｅｐｔｈｍａｐ処理である。
従来では、撮影画像４００の全体に対してｄｅｐｔｈｍａｐ処理を行って、最近接点までの距離を導出していた。
つまり、従来は、撮影画像４００の最上段の左端から右端を走査し、次に、次段の左端から右端を走査し、以降、同様の動作を繰り返すというｄｅｐｔｈｍａｐ処理を行って、最近接点までの距離を導出していた。
このため、従来は、撮影画像４００中の前方車両以外の画像に対するｄｅｐｔｈｍａｐ処理に時間を要していた。
本実施の形態に係る距離算出処理実行部１０５は、画像抽出部１０４により抽出された前方車両の画像に限定してｄｅｐｔｈｍａｐ処理を行うので、処理時間を短縮することができる。
３次元モデル生成部１０６は、距離算出処理実行部１０５により算出された最近接点までの距離等を用いて、ワイヤーフレームによる３次元モデルを生成する。
出力部１０７は、３次元モデル生成部１０６により生成された３次元モデルをＨＵＤ等に出力する。
出力部１０７は、３次元モデル生成部１０６により生成された３次元モデルをＨＵＤ等に出力する。
次に、本実施の形態に係る情報処理装置１００の動作例を、図６のフローチャートを参照して説明する。
先ず、撮影画像取得部１０１がカメラ２００から撮影画像４００を取得し、距離情報取得部１０２がセンサ３００から距離情報５００を取得する（Ｓ６０１）。
次に、一致点検出部１０３が、撮影画像４００と距離情報５００の一致点を検出する（Ｓ６０２）。
つまり、一致点検出部１０３は、図７のように、撮影画像４００と距離情報５００とを対応付ける。
つまり、一致点検出部１０３は、図７のように、撮影画像４００と距離情報５００とを対応付ける。
次に、画像抽出部１０４が、一致点検出部１０３により対応付けられた撮影画像４００と距離情報５００とを取得し、ワイヤーフレームの作成対象の被写体（前方車両）の画像を抽出する（Ｓ６０３）。
より具体的には、画像抽出部１０４は、図８に示すように、矩形の認識範囲８００を撮影画像４００上で走査して、車両の画像を抽出する。
認識範囲８００には、車両の後背面のシルエット（図８の破線の形状）が定義されている。
この認識範囲８００を撮影画像４００上で走査し、認識範囲８００のシルエットに適合する画像が見つかった場合に、その画像を車両の画像として抽出する。
Ｓ６０３の実現方法として、以下の２つの方法がある。
より具体的には、画像抽出部１０４は、図８に示すように、矩形の認識範囲８００を撮影画像４００上で走査して、車両の画像を抽出する。
認識範囲８００には、車両の後背面のシルエット（図８の破線の形状）が定義されている。
この認識範囲８００を撮影画像４００上で走査し、認識範囲８００のシルエットに適合する画像が見つかった場合に、その画像を車両の画像として抽出する。
Ｓ６０３の実現方法として、以下の２つの方法がある。
第１の方法は、図９に例示するように、トライアル・アンド・エラーにより対象被写体の画像を抽出する方法である。
つまり、画像抽出部１０４は、任意のサイズの認識範囲８０１で撮影画像４００を走査し、認識範囲８０１のシルエットに適合する画像が抽出できない場合に、画像抽出部１０４は、より大きなサイズの認識範囲８０２で走査する。
図９の例では、撮影画像４００内の前方車両の画像は、認識範囲８０２のシルエットに比べると大きいので、認識範囲８０２のシルエットに適合する画像は抽出できない。
最終的に、認識範囲８０３にて、撮影画像４００内の前方車両の画像を抽出することができる。
つまり、画像抽出部１０４は、任意のサイズの認識範囲８０１で撮影画像４００を走査し、認識範囲８０１のシルエットに適合する画像が抽出できない場合に、画像抽出部１０４は、より大きなサイズの認識範囲８０２で走査する。
図９の例では、撮影画像４００内の前方車両の画像は、認識範囲８０２のシルエットに比べると大きいので、認識範囲８０２のシルエットに適合する画像は抽出できない。
最終的に、認識範囲８０３にて、撮影画像４００内の前方車両の画像を抽出することができる。
第２の方法は、図１０に例示するように、センサ３００からの距離情報を用いて、撮影画像４００内の前方車両の画像に適合する認識範囲８０３を予測し、予測した認識範囲８０３を撮影画像４００上で走査して、前方車両の画像を抽出する方法である。
この方法の詳細は、図１１のフローチャートを参照して説明する。
この方法の詳細は、図１１のフローチャートを参照して説明する。
画像抽出部１０４は、先ず、カメラスペック記憶部１０８からカメラスペックを読み出す（Ｓ６０３１）。
具体的には、画像抽出部１０４は、カメラのレンズの歪の有無、撮影画像のサイズ、焦点距離、焦点距離での撮影サイズ等を読み出す。
具体的には、画像抽出部１０４は、カメラのレンズの歪の有無、撮影画像のサイズ、焦点距離、焦点距離での撮影サイズ等を読み出す。
次に、画像抽出部１０４は、対象被写体（前方車両）の幅長を算出する（Ｓ６０３２）。
Ｓ６０３２の処理を図１２を用いて説明する。
図１２は、センサ３００と前方車両のバンパー部分との位置関係を模式的に示している。
図１２の幅ｗ０は、車両のバンパー部分の現実の幅長であり、図５及び図７に示した前方車両の幅ｗ０（現実の幅）に対応する。
図１２の幅ｗ０の右端（バンパー部分の右端）とセンサ３００との距離はＬ１であり、図１２の幅ｗ０の左端（バンパー部分の左端）とセンサ３００との距離はＬ２である。
角度αは、センサ３００の正面方向と幅ｗ０の右端の方向との角度であり、角度βは、センサ３００の正面方向と幅ｗ０の左端の方向との角度である。
画像抽出部１０４は、ｗ０＝Ｌ１Ｓｉｎα−Ｌ２Ｓｉｎβを計算することにより、幅ｗ０の現実の長さ（例えば、１．５メートル等）を得ることができる。
Ｓ６０３２の処理を図１２を用いて説明する。
図１２は、センサ３００と前方車両のバンパー部分との位置関係を模式的に示している。
図１２の幅ｗ０は、車両のバンパー部分の現実の幅長であり、図５及び図７に示した前方車両の幅ｗ０（現実の幅）に対応する。
図１２の幅ｗ０の右端（バンパー部分の右端）とセンサ３００との距離はＬ１であり、図１２の幅ｗ０の左端（バンパー部分の左端）とセンサ３００との距離はＬ２である。
角度αは、センサ３００の正面方向と幅ｗ０の右端の方向との角度であり、角度βは、センサ３００の正面方向と幅ｗ０の左端の方向との角度である。
画像抽出部１０４は、ｗ０＝Ｌ１Ｓｉｎα−Ｌ２Ｓｉｎβを計算することにより、幅ｗ０の現実の長さ（例えば、１．５メートル等）を得ることができる。
次に、画像抽出部１０４は、Ｓ６０３２で得られた対象被写体（前方車両）の幅長、推定高さ、カメラスペックから認識範囲８０３のサイズを決定する（Ｓ６０３３）。
推定高さは、車両の推定車高であり、例えば、２メートルである。
ここでは、カメラスペックとして、（１）カメラ２００のレンズは歪がない、（２）カメラ２００の撮影画像のサイズが６４０×４８０、（３）カメラ２００の焦点距離がｆ、（４）焦点距離での撮影サイズの横の長さがｄ１、縦の長さがｄ２であると想定する。
この場合、ｄ１／６４０が焦点距離ｆにおける水平方向の１ピクセルあたりの距離、ｄ２／４８０が焦点距離ｆにおける垂直方向の１ピクセルあたりの距離となる。
水平方向の１ピクセルあたりの幅をｗ１とし、図１２に示すように、センサ３００の正面方向（焦点距離の方向）におけるセンサ３００と幅ｗ０（車両のバンパー部分）との距離をＬ（Ｌ＝Ｌ２ｃｏｓβ）とする。
画像抽出部１０４は、ｄ１／６４０：ｗ１＝ｆ：Ｌにより、水平方向の１ピクセルあたりの幅ｗ１を算出する。
また、画像抽出部１０４は、同様の比計算により、１ピクセルあたりの高さも算出する。
そして、画像抽出部１０４は、幅ｗ０を１ピクセルあたりの幅ｗ１で除算し、推定高さ：２メートルを１ピクセルあたりの高さで除算して、認識範囲８０３のサイズを決定する。
推定高さは、車両の推定車高であり、例えば、２メートルである。
ここでは、カメラスペックとして、（１）カメラ２００のレンズは歪がない、（２）カメラ２００の撮影画像のサイズが６４０×４８０、（３）カメラ２００の焦点距離がｆ、（４）焦点距離での撮影サイズの横の長さがｄ１、縦の長さがｄ２であると想定する。
この場合、ｄ１／６４０が焦点距離ｆにおける水平方向の１ピクセルあたりの距離、ｄ２／４８０が焦点距離ｆにおける垂直方向の１ピクセルあたりの距離となる。
水平方向の１ピクセルあたりの幅をｗ１とし、図１２に示すように、センサ３００の正面方向（焦点距離の方向）におけるセンサ３００と幅ｗ０（車両のバンパー部分）との距離をＬ（Ｌ＝Ｌ２ｃｏｓβ）とする。
画像抽出部１０４は、ｄ１／６４０：ｗ１＝ｆ：Ｌにより、水平方向の１ピクセルあたりの幅ｗ１を算出する。
また、画像抽出部１０４は、同様の比計算により、１ピクセルあたりの高さも算出する。
そして、画像抽出部１０４は、幅ｗ０を１ピクセルあたりの幅ｗ１で除算し、推定高さ：２メートルを１ピクセルあたりの高さで除算して、認識範囲８０３のサイズを決定する。
次に、画像抽出部１０４は、図１０に示したように、認識範囲８０３で撮影画像４００を走査する（Ｓ６０３４）。
認識範囲８０３に適合する画像を抽出できた場合は、対象被写体を認識できたので（Ｓ６０３５でＹＥＳ）、画像抽出部１０４は処理を終了する。
一方、認識範囲８０３に適合する画像を抽出できなかった場合は、対象被写体を認識できなかったので（Ｓ６０３５でＮＯ）、画像抽出部１０４は認識範囲を拡大して（Ｓ６０３６）、Ｓ６０３４以降の処理を繰り返す。
Ｓ６０３６では、例えば、既定の拡大率（５％拡大等）で認識範囲を拡大する。
一方、認識範囲８０３に適合する画像を抽出できなかった場合は、対象被写体を認識できなかったので（Ｓ６０３５でＮＯ）、画像抽出部１０４は認識範囲を拡大して（Ｓ６０３６）、Ｓ６０３４以降の処理を繰り返す。
Ｓ６０３６では、例えば、既定の拡大率（５％拡大等）で認識範囲を拡大する。
説明を図６のフローに戻す。
対象被写体の画像を抽出すると（Ｓ６０３）、次に、画像抽出部１０４は対象被写体（前方車両）の幅及び高さを算出する（Ｓ６０４）。
Ｓ６０３の処理が、図１０及び図１１の方式に従って行われる場合は、幅ｗ０は既に算出されているので、画像抽出部１０４は、対象被写体の高さのみを算出する。
図１０及び図１１の方式の場合は、推定高さ：２メートルを用いているが、対象被写体（前方車両）の正確な高さは算出していないので、画像抽出部１０４は、正確な高さを算出する。
具体的には、画像抽出部１０４は、抽出した前方車両の画像の高さ方向のピクセル数をカウントし、カウントしたピクセル数に１ピクセルあたりの高さを乗算して、前方車両の高さを算出する。
Ｓ６０３の処理が、図９の方式に従って行われる場合は、対象被写体（前方車両）の幅も高さも算出されていない。
幅については、画像抽出部１０４は、前述した幅ｗ０の算出方法（ｗ０＝Ｌ１Ｓｉｎα−Ｌ２Ｓｉｎβ）にて幅の長さを算出する。
高さについては、画像抽出部１０４は、図１１のＳ６０３３の説明で示した方法にて、１ピクセルあたりの高さを算出し、抽出した前方車両の画像の高さ方向のピクセル数をカウントし、カウントしたピクセル数に１ピクセルあたりの高さを乗算して、前方車両の高さを算出する。
対象被写体の画像を抽出すると（Ｓ６０３）、次に、画像抽出部１０４は対象被写体（前方車両）の幅及び高さを算出する（Ｓ６０４）。
Ｓ６０３の処理が、図１０及び図１１の方式に従って行われる場合は、幅ｗ０は既に算出されているので、画像抽出部１０４は、対象被写体の高さのみを算出する。
図１０及び図１１の方式の場合は、推定高さ：２メートルを用いているが、対象被写体（前方車両）の正確な高さは算出していないので、画像抽出部１０４は、正確な高さを算出する。
具体的には、画像抽出部１０４は、抽出した前方車両の画像の高さ方向のピクセル数をカウントし、カウントしたピクセル数に１ピクセルあたりの高さを乗算して、前方車両の高さを算出する。
Ｓ６０３の処理が、図９の方式に従って行われる場合は、対象被写体（前方車両）の幅も高さも算出されていない。
幅については、画像抽出部１０４は、前述した幅ｗ０の算出方法（ｗ０＝Ｌ１Ｓｉｎα−Ｌ２Ｓｉｎβ）にて幅の長さを算出する。
高さについては、画像抽出部１０４は、図１１のＳ６０３３の説明で示した方法にて、１ピクセルあたりの高さを算出し、抽出した前方車両の画像の高さ方向のピクセル数をカウントし、カウントしたピクセル数に１ピクセルあたりの高さを乗算して、前方車両の高さを算出する。
次に、距離算出処理実行部１０５が、対象被写体（前方車両）内の最近接点までの距離を算出する（Ｓ６０５）。
Ｓ６０５の処理の詳細を、図１３に示す。
距離算出処理実行部１０５は、画像抽出部１０４により抽出された対象被写体（前方車両）の画像を画像抽出部１０４から取得し、対象被写体（前方車両）の画像に限定してｄｅｐｔｈｍａｐ処理を行って、カメラ２００から対象被写体（前方車両）内の最近接点までの距離を算出する（Ｓ６０５１）。
次に、距離算出処理実行部１０５は、センサ３００からの距離情報を用いて、Ｓ６０５１で算出した最近接点までの距離を補正する（Ｓ６０５２）。
通常、ｄｅｐｔｈｍａｐ処理では高精度で距離を算出することはできないので、ここでは、Ｓ６０５２の補正により、最近接点までの距離を高精度に求めるようにしている。
なお、要求される精度に応じて、Ｓ６０５２の処理を省略してもよい。
Ｓ６０５の処理の詳細を、図１３に示す。
距離算出処理実行部１０５は、画像抽出部１０４により抽出された対象被写体（前方車両）の画像を画像抽出部１０４から取得し、対象被写体（前方車両）の画像に限定してｄｅｐｔｈｍａｐ処理を行って、カメラ２００から対象被写体（前方車両）内の最近接点までの距離を算出する（Ｓ６０５１）。
次に、距離算出処理実行部１０５は、センサ３００からの距離情報を用いて、Ｓ６０５１で算出した最近接点までの距離を補正する（Ｓ６０５２）。
通常、ｄｅｐｔｈｍａｐ処理では高精度で距離を算出することはできないので、ここでは、Ｓ６０５２の補正により、最近接点までの距離を高精度に求めるようにしている。
なお、要求される精度に応じて、Ｓ６０５２の処理を省略してもよい。
このように、Ｓ６０４により対象被写体（前方車両）の幅と高さが判明し、Ｓ６０５により対象被写体（前方車両）までの距離（最近接点までの距離）が判明した。
３次元モデル生成部１０６は、画像抽出部１０４から対象被写体（前方車両）の幅と高さを取得し、距離算出処理実行部１０５から対象被写体（前方車両）までの距離（最近接点までの距離）を取得し、図１４のように、ワイヤーフレームによる３次元モデルを作成する。
図１４において、ｘ、ｙ、ｚは、それぞれ、カメラ２００から最近接点までのｘ軸上の距離、ｙ軸上の距離、ｚ軸上の距離を示し、ｗとｈは、それぞれ、対象被写体（前方車両）の幅と高さを示す。
３次元モデル生成部１０６は、例えば、３次元モデルを図１５のようなテーブルとして保持する。
図１５のｘ（ｔ−１）、ｙ（ｔ−１）、ｚ（ｔ−１）、ｈ（ｔ−１）、ｗ（ｔ−１）は、時刻ｔ−１での撮影画像から算出したｘ、ｙ、ｚ、ｈ、ｗの値である。
図１５のｘ（ｔ）、ｙ（ｔ）、ｚ（ｔ）、ｈ（ｔ）、ｗ（ｔ）は、時刻ｔでの撮影画像から算出したｘ、ｙ、ｚ、ｈ、ｗの値である。
このように、３次元モデル生成部１０６は、取得される撮影画像からリアルタイムにワイヤーフレームによる３次元モデルを生成する。
３次元モデル生成部１０６は、画像抽出部１０４から対象被写体（前方車両）の幅と高さを取得し、距離算出処理実行部１０５から対象被写体（前方車両）までの距離（最近接点までの距離）を取得し、図１４のように、ワイヤーフレームによる３次元モデルを作成する。
図１４において、ｘ、ｙ、ｚは、それぞれ、カメラ２００から最近接点までのｘ軸上の距離、ｙ軸上の距離、ｚ軸上の距離を示し、ｗとｈは、それぞれ、対象被写体（前方車両）の幅と高さを示す。
３次元モデル生成部１０６は、例えば、３次元モデルを図１５のようなテーブルとして保持する。
図１５のｘ（ｔ−１）、ｙ（ｔ−１）、ｚ（ｔ−１）、ｈ（ｔ−１）、ｗ（ｔ−１）は、時刻ｔ−１での撮影画像から算出したｘ、ｙ、ｚ、ｈ、ｗの値である。
図１５のｘ（ｔ）、ｙ（ｔ）、ｚ（ｔ）、ｈ（ｔ）、ｗ（ｔ）は、時刻ｔでの撮影画像から算出したｘ、ｙ、ｚ、ｈ、ｗの値である。
このように、３次元モデル生成部１０６は、取得される撮影画像からリアルタイムにワイヤーフレームによる３次元モデルを生成する。
以上のように、本実施の形態に係る情報処理装置１００は、車両に搭載されたカメラ２００とセンサ３００からの情報を利用して、障害物たる対象被写体の最近接点までの距離（ｘ、ｙ、ｚ）、対象被写体の大きさを示す四角（ｗ、ｈ）を取得する。
そして、本実施の形態に係る情報処理装置１００は、対象被写体を最近接点とワイヤーフレームで表現する。
このように、本実施の形態に係る情報処理装置１００は、対象被写体を最近接点とワイヤーフレームで表現するため、ソリッドモデル及びサーフェイスモデルよりも計算量が少ないという効果が得られる。
また、本実施の形態に係る情報処理装置１００は、対象被写体の画像に限定して距離算出処理を行うため、最近接点までの距離を算出するための時間を短縮することができる。
また、本実施の形態に係る情報処理装置１００は、対象被写体の画像の抽出処理を、図１０及び図１１の方式で行うことにより、対象被写体の画像を抽出するための時間を短縮することができる。
そして、本実施の形態に係る情報処理装置１００は、対象被写体を最近接点とワイヤーフレームで表現する。
このように、本実施の形態に係る情報処理装置１００は、対象被写体を最近接点とワイヤーフレームで表現するため、ソリッドモデル及びサーフェイスモデルよりも計算量が少ないという効果が得られる。
また、本実施の形態に係る情報処理装置１００は、対象被写体の画像に限定して距離算出処理を行うため、最近接点までの距離を算出するための時間を短縮することができる。
また、本実施の形態に係る情報処理装置１００は、対象被写体の画像の抽出処理を、図１０及び図１１の方式で行うことにより、対象被写体の画像を抽出するための時間を短縮することができる。
実施の形態２．
以上の実施の形態１では、物体を囲む四角をワイヤーフレームで表現しているが、物体の大きさを表現する必要がなければ、最近接点とその対象被写体のＩＤ（Ｉｄｅｎｔｉｆｉｅｒ）で表現するようにしてもよい。
以上の実施の形態１では、物体を囲む四角をワイヤーフレームで表現しているが、物体の大きさを表現する必要がなければ、最近接点とその対象被写体のＩＤ（Ｉｄｅｎｔｉｆｉｅｒ）で表現するようにしてもよい。
図１６は、本実施の形態に係る情報処理装置１００の構成例を示す。
図１６では、図１の構成と比較して、ＩＤリスト記憶部１０９が追加されている。
ＩＤリスト記憶部１０９は、図１７に例示するＩＤリストを記憶している。
ＩＤリストには、物体（図１７の例では、人と車）ごとのＩＤが記述されている。
ＩＤリストに記述されているＩＤは、被写体種別ＩＤの例である。
ＩＤリスト記憶部１０９は、図１７に例示するＩＤリストを記憶している。
ＩＤリストには、物体（図１７の例では、人と車）ごとのＩＤが記述されている。
ＩＤリストに記述されているＩＤは、被写体種別ＩＤの例である。
実施の形態１との差異は、以下の通りである。
以下の点以外は、本実施の形態でも、実施の形態１と同様の動作が行われる。
以下の点以外は、本実施の形態でも、実施の形態１と同様の動作が行われる。
本実施の形態では、画像抽出部１０４は、ＩＤリスト記憶部１０９のＩＤリストにおいて対象被写体のＩＤを検索し、対象被写体のＩＤを３次元モデル生成部１０６に通知する。
画像抽出部１０４は、例えば、対象被写体の画像として、車両の画像を撮影画像４００から抽出した場合には、図１７のＩＤリストに基づき、ＩＤ：２を３次元モデル生成部１０６に通知する。
画像抽出部１０４は、本実施の形態では、ＩＤ通知部としても機能する。
３次元モデル生成部１０６は、距離算出処理実行部１０５から通知された最近接点までの距離と、画像抽出部１０４から通知されたＩＤとに基づき、最近接点までの距離とＩＤで構成される３次元モデルを生成する。
３次元モデル生成部１０６は、例えば、３次元モデルを図１８のようなテーブルとして保持する。
図１５のテーブルでは、ｈ及びｗの値が管理されているのに対して、図１８のテーブルでは、ｈ及びｗの値の代わりに、ＩＤが管理されている。
画像抽出部１０４は、例えば、対象被写体の画像として、車両の画像を撮影画像４００から抽出した場合には、図１７のＩＤリストに基づき、ＩＤ：２を３次元モデル生成部１０６に通知する。
画像抽出部１０４は、本実施の形態では、ＩＤ通知部としても機能する。
３次元モデル生成部１０６は、距離算出処理実行部１０５から通知された最近接点までの距離と、画像抽出部１０４から通知されたＩＤとに基づき、最近接点までの距離とＩＤで構成される３次元モデルを生成する。
３次元モデル生成部１０６は、例えば、３次元モデルを図１８のようなテーブルとして保持する。
図１５のテーブルでは、ｈ及びｗの値が管理されているのに対して、図１８のテーブルでは、ｈ及びｗの値の代わりに、ＩＤが管理されている。
以上のように、本実施の形態では、物体の大きさをワイヤーフレームで表現することがなくなるため、計算量がさらに減る効果を得られる。
最後に、実施の形態１及び２に示した情報処理装置１００のハードウェア構成例を図１９を参照して説明する。
情報処理装置１００はコンピュータであり、情報処理装置１００の各要素をプログラムで実現することができる。
情報処理装置１００のハードウェア構成としては、バスに、演算装置９０１、外部記憶装置９０２、主記憶装置９０３、通信装置９０４、入出力装置９０５が接続されている。
情報処理装置１００はコンピュータであり、情報処理装置１００の各要素をプログラムで実現することができる。
情報処理装置１００のハードウェア構成としては、バスに、演算装置９０１、外部記憶装置９０２、主記憶装置９０３、通信装置９０４、入出力装置９０５が接続されている。
演算装置９０１は、プログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。
外部記憶装置９０２は、例えばＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やフラッシュメモリ、ハードディスク装置である。
主記憶装置９０３は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である。
カメラスペック記憶部１０８及びＩＤリスト記憶部１０９は、外部記憶装置９０２又は主記憶装置９０３により実現される。
通信装置９０４は、例えばＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）である。
入出力装置９０５は、例えばキーやボタン等、ディスプレイ等である。
外部記憶装置９０２は、例えばＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やフラッシュメモリ、ハードディスク装置である。
主記憶装置９０３は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である。
カメラスペック記憶部１０８及びＩＤリスト記憶部１０９は、外部記憶装置９０２又は主記憶装置９０３により実現される。
通信装置９０４は、例えばＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）である。
入出力装置９０５は、例えばキーやボタン等、ディスプレイ等である。
プログラムは、通常は外部記憶装置９０２に記憶されており、主記憶装置９０３にロードされた状態で、順次演算装置９０１に読み込まれ、実行される。
プログラムは、図１及び図１６に示す「〜部」（カメラスペック記憶部１０８及びＩＤリスト記憶部１０９を除く、以下も同様）として説明している機能を実現するプログラムである。
更に、外部記憶装置９０２にはオペレーティングシステム（ＯＳ）も記憶されており、ＯＳの少なくとも一部が主記憶装置９０３にロードされ、演算装置９０１はＯＳを実行しながら、図１及び図１６に示す「〜部」の機能を実現するプログラムを実行する。
また、実施の形態１及び２の説明において、「〜の判断」、「〜の判定」、「〜の抽出」、「〜の検出」、「〜の走査」、「〜の算出」、「〜の補正」、「〜の生成」、「〜の取得」、「〜の出力」等として説明している処理の結果を示す情報やデータや信号値や変数値が主記憶装置９０３にファイルとして記憶されている。
また、カメラ２００から取得した撮影画像及びセンサ３００から取得された距離情報が主記憶装置９０３に記憶される。
プログラムは、図１及び図１６に示す「〜部」（カメラスペック記憶部１０８及びＩＤリスト記憶部１０９を除く、以下も同様）として説明している機能を実現するプログラムである。
更に、外部記憶装置９０２にはオペレーティングシステム（ＯＳ）も記憶されており、ＯＳの少なくとも一部が主記憶装置９０３にロードされ、演算装置９０１はＯＳを実行しながら、図１及び図１６に示す「〜部」の機能を実現するプログラムを実行する。
また、実施の形態１及び２の説明において、「〜の判断」、「〜の判定」、「〜の抽出」、「〜の検出」、「〜の走査」、「〜の算出」、「〜の補正」、「〜の生成」、「〜の取得」、「〜の出力」等として説明している処理の結果を示す情報やデータや信号値や変数値が主記憶装置９０３にファイルとして記憶されている。
また、カメラ２００から取得した撮影画像及びセンサ３００から取得された距離情報が主記憶装置９０３に記憶される。
なお、図１９の構成は、あくまでも情報処理装置１００のハードウェア構成の一例を示すものであり、情報処理装置１００のハードウェア構成は図１９に記載の構成に限らず、他の構成であってもよい。
また、実施の形態１及び２に示す手順により、本発明に係る情報処理方法を実現可能である。
１００ 情報処理装置、１０１ 撮影画像取得部、１０２ 距離情報取得部、１０３ 一致点検出部、１０４ 画像抽出部、１０５ 距離算出処理実行部、１０６ ３次元モデル生成部、１０７ 出力部、１０８ カメラスペック記憶部、１０９ ＩＤリスト記憶部、２００ カメラ、３００ センサ。
Claims (10)
- カメラの撮影に並行して前記カメラの撮影方向での測距を行うセンサの測距結果を用いて、前記カメラで撮影された撮影画像に含まれる被写体のうち特定の被写体の幅長を算出し、算出した前記特定の被写体の幅長に基づき、前記撮影画像における前記特定の被写体の画像の画像サイズを推定し、推定した前記特定の被写体の画像サイズにて前記撮影画像内の画像認識を行い、前記撮影画像から前記特定の被写体の画像を抽出する画像抽出部と、
前記撮影画像に含まれる被写体の画像を用いて前記カメラから被写体までの距離を算出する距離算出処理を、前記画像抽出部により抽出された前記特定の被写体の画像に限定して実行する距離算出処理実行部とを有することを特徴とする情報処理装置。 - 前記画像抽出部は、
前記画像サイズにて前記撮影画像内の画像認識を行った結果、前記特定の被写体の画像を抽出することができない場合に、前記画像サイズよりも大きな画像サイズにて前記撮影画像内の画像認識を行い、前記特定の被写体の画像を抽出することを特徴とする請求項１に記載の情報処理装置。 - 前記距離算出処理実行部は、
前記距離算出処理を前記特定の被写体の画像に限定して実行して、前記カメラから、前記特定の被写体内で前記カメラに最も近接している最近接点までの距離を算出し、
前記情報処理装置は、更に、
前記距離算出処理実行部により算出された前記カメラから前記最近接点までの距離を用いて、ワイヤーフレームによる前記特定の被写体の３次元モデルを生成する３次元モデル生成部を有することを特徴とする請求項１に記載の情報処理装置。 - 前記距離算出処理実行部は、
前記画像抽出部により抽出された前記特定の被写体の画像を解析して、前記特定の被写体の高さを算出し、
前記３次元モデル生成部は、
前記距離算出処理実行部により算出された前記カメラから前記最近接点までの距離と、前記画像抽出部により算出された前記特定の被写体の幅長と、前記距離算出処理実行部により算出された前記特定の被写体の高さと用いて、ワイヤーフレームによる前記特定の被写体の３次元モデルを生成することを特徴とする請求項３に記載の情報処理装置。 - 前記情報処理装置は、更に、
前記特定の被写体の種別を表す被写体種別ＩＤ（Ｉｄｅｎｔｉｆｉｅｒ）を前記３次元モデル生成部に通知するＩＤ通知部を有し、
前記３次元モデル生成部は、
前記距離算出処理実行部により算出された前記カメラから前記最近接点までの距離と、前記ＩＤ通知部により通知された被写体種別ＩＤとを用いて、ワイヤーフレームによる前記特定の被写体の３次元モデルを生成することを特徴とする請求項３に記載の情報処理装置。 - 前記距離算出処理実行部は、
前記距離算出処理として、ｄｅｐｔｈｍａｐ処理を実行することを特徴とする請求項１に記載の情報処理装置。 - 前記距離算出処理実行部は、
前記距離算出処理として、ｄｅｐｔｈｍａｐ処理と、前記センサの測距結果を用いて前記ｄｅｐｔｈｍａｐ処理の結果を補正する補正処理とを実行することを特徴とする請求項１に記載の情報処理装置。 - 前記画像抽出部は、
移動体に搭載されたカメラで撮影された前記移動体外の被写体の撮影画像から前記特定の被写体の画像を抽出することを特徴とする請求項１に記載の情報処理装置。 - コンピュータが、カメラの撮影に並行して前記カメラの撮影方向での測距を行うセンサの測距結果を用いて、前記カメラで撮影された撮影画像に含まれる被写体のうち特定の被写体の幅長を算出し、算出した前記特定の被写体の幅長に基づき、前記撮影画像における前記特定の被写体の画像の画像サイズを推定し、推定した前記特定の被写体の画像サイズにて前記撮影画像内の画像認識を行い、前記撮影画像から前記特定の被写体の画像を抽出し、
前記コンピュータが、前記撮影画像に含まれる被写体の画像を用いて前記カメラから被写体までの距離を算出する距離算出処理を、抽出された前記特定の被写体の画像に限定して実行することを特徴とする情報処理方法。 - コンピュータに、
カメラの撮影に並行して前記カメラの撮影方向での測距を行うセンサの測距結果を用いて、前記カメラで撮影された撮影画像に含まれる被写体のうち特定の被写体の幅長を算出し、算出した前記特定の被写体の幅長に基づき、前記撮影画像における前記特定の被写体の画像の画像サイズを推定し、推定した前記特定の被写体の画像サイズにて前記撮影画像内の画像認識を行い、前記撮影画像から前記特定の被写体の画像を抽出させ、
前記撮影画像に含まれる被写体の画像を用いて前記カメラから被写体までの距離を算出する距離算出処理を、抽出された前記特定の被写体の画像に限定して実行させることを特徴とするプログラム。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013268350 | 2013-12-26 | ||
| JP2013268350 | 2013-12-26 | ||
| PCT/JP2014/076011 WO2015098222A1 (ja) | 2013-12-26 | 2014-09-30 | 情報処理装置及び情報処理方法及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP6091658B2 true JP6091658B2 (ja) | 2017-03-08 |
| JPWO2015098222A1 JPWO2015098222A1 (ja) | 2017-03-23 |
Family
ID=53478102
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015554612A Active JP6091658B2 (ja) | 2013-12-26 | 2014-09-30 | 情報処理装置及び情報処理方法及びプログラム |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20160275359A1 (ja) |
| JP (1) | JP6091658B2 (ja) |
| CN (1) | CN105849770B (ja) |
| DE (1) | DE112014005376T5 (ja) |
| WO (1) | WO2015098222A1 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106573588B (zh) | 2014-08-21 | 2019-01-25 | 三菱电机株式会社 | 驾驶辅助装置、驾驶辅助方法和程序 |
| DE112015007054B4 (de) | 2015-11-20 | 2019-11-28 | Mitsubishi Electric Corp. | Fahrunterstützungsvorrichtung, fahrunterstützungssystem, fahrunterstützungsverfahren und fahrunterstützungsprogramm |
| EP3415943A1 (en) * | 2017-06-13 | 2018-12-19 | Veoneer Sweden AB | Error estimation for a vehicle environment detection system |
| DE102017211038A1 (de) * | 2017-06-29 | 2019-01-03 | Robert Bosch Gmbh | Verfahren zum Einstellen einer Kamera |
| JP6877636B2 (ja) * | 2018-04-23 | 2021-05-26 | 日立Astemo株式会社 | 車載カメラ装置 |
| SG10201902889VA (en) * | 2019-03-29 | 2020-10-29 | Nec Corp | System and Method for Adaptively Constructing a Three-Dimensional Facial Model Based on Two or More Inputs of a Two- Dimensional Facial Image |
| WO2020217377A1 (ja) * | 2019-04-25 | 2020-10-29 | 三菱電機株式会社 | 移動量推定装置、移動量推定方法、および移動量推定プログラム |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001195700A (ja) * | 2000-01-14 | 2001-07-19 | Matsushita Electric Ind Co Ltd | 車両情報検出装置 |
| JP2005062924A (ja) * | 2003-08-08 | 2005-03-10 | Omron Corp | 三次元物体認識装置およびその設定方法 |
| JP2009180662A (ja) * | 2008-01-31 | 2009-08-13 | Konica Minolta Holdings Inc | 距離計測装置 |
| WO2012117528A1 (ja) * | 2011-03-01 | 2012-09-07 | トヨタ自動車株式会社 | 状態推定装置 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1671216B1 (en) * | 2003-10-09 | 2016-12-07 | Honda Motor Co., Ltd. | Moving object detection using low illumination depth capable computer vision |
| WO2005088970A1 (ja) * | 2004-03-11 | 2005-09-22 | Olympus Corporation | 画像生成装置、画像生成方法、および画像生成プログラム |
| US8164628B2 (en) * | 2006-01-04 | 2012-04-24 | Mobileye Technologies Ltd. | Estimating distance to an object using a sequence of images recorded by a monocular camera |
| DE102009002626A1 (de) * | 2009-04-24 | 2010-10-28 | Robert Bosch Gmbh | Sensoranordnung für Fahrerassistenzsysteme in Kraftfahrzeugen |
-
2014
- 2014-09-30 JP JP2015554612A patent/JP6091658B2/ja active Active
- 2014-09-30 US US15/035,023 patent/US20160275359A1/en not_active Abandoned
- 2014-09-30 CN CN201480070577.8A patent/CN105849770B/zh active Active
- 2014-09-30 DE DE112014005376.7T patent/DE112014005376T5/de active Pending
- 2014-09-30 WO PCT/JP2014/076011 patent/WO2015098222A1/ja active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001195700A (ja) * | 2000-01-14 | 2001-07-19 | Matsushita Electric Ind Co Ltd | 車両情報検出装置 |
| JP2005062924A (ja) * | 2003-08-08 | 2005-03-10 | Omron Corp | 三次元物体認識装置およびその設定方法 |
| JP2009180662A (ja) * | 2008-01-31 | 2009-08-13 | Konica Minolta Holdings Inc | 距離計測装置 |
| WO2012117528A1 (ja) * | 2011-03-01 | 2012-09-07 | トヨタ自動車株式会社 | 状態推定装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| DE112014005376T5 (de) | 2016-08-11 |
| CN105849770B (zh) | 2019-04-26 |
| JPWO2015098222A1 (ja) | 2017-03-23 |
| US20160275359A1 (en) | 2016-09-22 |
| WO2015098222A1 (ja) | 2015-07-02 |
| CN105849770A (zh) | 2016-08-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6091658B2 (ja) | 情報処理装置及び情報処理方法及びプログラム | |
| US10891500B2 (en) | Method and apparatus for acquiring traffic sign information | |
| EP3754295B1 (en) | Three-dimensional measuring system and three-dimensional measuring method | |
| US10255480B2 (en) | Monitoring object shape and deviation from design | |
| CN108734742B (zh) | 摄像头参数组算出方法、程序及装置 | |
| JP6632208B2 (ja) | 情報処理装置、情報処理方法、プログラム | |
| CN113240734B (zh) | 一种基于鸟瞰图的车辆跨位判断方法、装置、设备及介质 | |
| JP6172432B2 (ja) | 被写体識別装置、被写体識別方法および被写体識別プログラム | |
| JP2016218694A (ja) | ３次元モデル生成装置、３次元モデル生成方法、及びプログラム | |
| JP2014183322A (ja) | 交差点認識装置及びコンピュータが実行可能なプログラム | |
| CN116168143A (zh) | 一种多视图三维重建的方法 | |
| KR101538014B1 (ko) | 3d 모델링을 통해 사진 이미지로부터 입체영상을 생성하는 방법 | |
| JP3862402B2 (ja) | ３次元モデル生成装置および３次元モデル生成プログラムを記録したコンピュータ読取可能な記録媒体 | |
| KR102410300B1 (ko) | 스테레오 카메라를 이용한 카메라 위치 측정 장치 및 방법 | |
| JP2008224323A (ja) | ステレオ写真計測装置、ステレオ写真計測方法及びステレオ写真計測用プログラム | |
| JP6121746B2 (ja) | 撮影位置決定装置、プログラム、および方法 | |
| JP6198104B2 (ja) | ３次元物体認識装置及び３次元物体認識方法 | |
| JP2020173584A (ja) | 物体検出装置 | |
| KR101837269B1 (ko) | 다중 마커 기반의 정합 가이드 방법 및 시스템 | |
| CN115222789A (zh) | 实例深度估计模型的训练方法、装置及设备 | |
| US20200364933A1 (en) | Image processing apparatus, image processing method and storage medium | |
| JP7298687B2 (ja) | 物体認識装置及び物体認識方法 | |
| JP6641313B2 (ja) | 領域抽出装置及びプログラム | |
| JP2014235063A (ja) | 情報処理装置および情報処理方法 | |
| US20240054747A1 (en) | Image processing apparatus, image processing method, and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170110 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170207 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6091658 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |