WO2016002418A1 - 情報処理装置 - Google Patents

情報処理装置 Download PDF

Info

Publication number
WO2016002418A1
WO2016002418A1 PCT/JP2015/065971 JP2015065971W WO2016002418A1 WO 2016002418 A1 WO2016002418 A1 WO 2016002418A1 JP 2015065971 W JP2015065971 W JP 2015065971W WO 2016002418 A1 WO2016002418 A1 WO 2016002418A1
Authority
WO
WIPO (PCT)
Prior art keywords
image processing
image
information
memory
control unit
Prior art date
Application number
PCT/JP2015/065971
Other languages
English (en)
French (fr)
Inventor
春樹 的野
善之 武藤
晋司 掛川
Original Assignee
日立オートモティブシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立オートモティブシステムズ株式会社 filed Critical 日立オートモティブシステムズ株式会社
Publication of WO2016002418A1 publication Critical patent/WO2016002418A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to an image processing apparatus.
  • Patent Document 1 JP-A-2007-200272 (Patent Document 1).
  • This publication describes, as a problem solving means, “In an apparatus including an image processing unit connected to a general-purpose bus, the image processing speed is improved without replacement with a high-performance general-purpose bus”.
  • a control unit 101 that generates expanded image data, a local bus 100A to which the control unit is connected, a plurality of independent general-purpose buses 100B and 100C, and a plurality of general-purpose buses that are connected to the expansion unit.
  • a plurality of image processing units 121 and 122 that perform image processing on the processed image data to generate processed image data
  • a plurality of bridges 107 and 108 that connect the local bus and the plurality of general-purpose buses
  • the local A storage unit 103 that is connected to a bus and stores the developed image data or the processed image data, and is generated by the control unit
  • the image data is described with the shared by a plurality of image processing unit by executing the image processing to store the processed image data in the storage unit.
  • an information processing apparatus As a main application of an information processing apparatus, for example, there is an apparatus that detects an obstacle from image data taken from two cameras.
  • this device When this device is used as a forward monitoring device for an automobile or the like, an application for detecting a front obstacle and avoiding a collision can be realized, and damage caused by a traffic accident can be reduced or avoided.
  • the response of the output result of the information processing apparatus is fast.
  • Patent Document 1 it is described that the image processing speed is improved without using a high-performance bus, but the point of improving the response of the output result is not taken into consideration.
  • an object of the present invention is to provide an information processing apparatus with improved responsiveness without using a high-performance bus. For example, three-dimensional information is generated by the first image processing apparatus, and space recognition that requires more information is executed by the second image processing apparatus. Thereby, a solid object can be detected early and a control signal can be generated.
  • a vehicle is controlled using an in-vehicle stereo camera which is an example of an information processing apparatus.
  • This embodiment is particularly effective when deploying a vehicle-mounted stereo camera to a plurality of vehicle types having different functions.
  • the in-vehicle stereo camera has two cameras, and measures the distance to the object shown on the screen by image processing for the images taken by the two cameras. If the distance of the object is known, the vehicle can be stopped by controlling the brake of the automobile based on the distance information to the object. As a result, accidents can be avoided, for example, when the driver has looked aside. Since the in-vehicle stereo camera knows the visible information of the visible light region and the three-dimensional position on the image, similar to the human eye, not only the object detection function described above but also signal detection, sign detection, etc. Can be detected with a single sensor. However, when the number of recognition objects increases, the amount of calculation increases, and real-time processing becomes difficult.
  • an LSI such as an ASIC
  • an ASIC In order to process the increasing amount of calculation in real time, an LSI such as an ASIC can be developed and solved.
  • the development of an ASIC as the number of functions increases causes problems in terms of cost and development period. is there.
  • the recognition function since the number of objects to be recognized increases, it takes time to develop the recognition function, and the function cannot be provided to the user in a timely manner.
  • FIG. 1 illustrates a specific configuration of the present embodiment.
  • the information processing apparatus shown in this embodiment implements a function of avoiding an obstacle by attaching an in-vehicle stereo camera to a car.
  • the first image processing apparatus including the sensor 101, the image processing unit 102, and the memory 103 is connected to the second image processing unit via the bus 130.
  • the sensor 101 there is a stereo camera in which two CMOS sensors are connected.
  • the type of sensor may be realized by a single camera or may be a TOF (Time of Flight) sensor, as long as the distance to the subject and an image can be acquired. Since the stereo camera can acquire two pieces of image data and has a large amount of information, the present invention is effective.
  • the image processing unit 102 performs processing necessary as preprocessing for recognition processing from the data output from the sensor 101.
  • the image processing unit 102 performs a process of calculating the parallax for each pixel. Luminance correction is performed to correct variations in luminance between the right image and the left image, and geometric correction is performed so that the left and right images are parallel.
  • Luminance correction and geometric correction are executed with reference to a calibration table and a coordinate conversion table that have been calibrated in advance.
  • the calibration table for luminance correction an offset amount and a magnification are set for each pixel
  • the coordinate conversion table for geometric correction has information on which coordinate is mapped for each pixel.
  • the image processing unit 102 performs corresponding point search on the parallelized left and right images, and calculates the distance from the reference point for each pixel.
  • the reference point can be arbitrarily set such as the center of the left and right cameras or the center tip of the vehicle.
  • Corresponding point search is performed as follows. First, one of the left and right images is set as a standard image, and the other is set as a reference image. For example, a block of 5 pixels vertically and 5 pixels horizontally is set as a window. Then, the reference image is searched horizontally with reference to the vertical 5 pixels and the horizontal 5 pixels around the target pixel of the standard image. At this time, SAD is used as the correlation value. SAD is an absolute value difference for each coordinate in a block of 5 pixels in the vertical direction and 5 pixels in the horizontal direction, and the difference values are added together. An area having the smallest correlation value is searched, and that point is called a matching position. The matching position is called parallax, which is the difference between the left and right appearance.
  • This calculation is performed for each pixel of the reference image, and a parallax image corresponding to the pixel of the reference image is generated. Since the parallax image generated by the corresponding point search can be converted into a three-dimensional position for each pixel, a three-dimensional object can be detected by grouping pixels at a close distance.
  • the external IF 110 receives data sent from the first image processing apparatus.
  • the data transmitted from the first image processing device includes a right camera image captured by the right camera, a left camera image captured by the left camera, an edge image obtained by calculating edge strength from the right camera image, Four types of distance images calculated by the camera are included.
  • the transfer control unit 111 transfers these data sent from the external IF 110 to the image processing unit 112 and the memory 113. As shown in FIG. 2, the transfer contents are set in advance in the transfer control unit 111 by the CPU 114 as shown in FIG. 2.
  • information such as an ID indicating the type of image, a transfer size, and an image size is transmitted.
  • the transfer control unit 111 refers to a transfer table set in advance by the CPU based on the ID, transfer size, and image size information, and cuts out and transfers the data to be sent to the data transfer destination.
  • the memory 113 is used as a temporary storage area for data transferred from the transfer control unit 111. It is also used as a memory for the program of the CPU 114 and the program work area.
  • the memory 113 and the transfer control unit 111 use a bus that is sufficiently faster than the bus 130.
  • the bus 130 is a band in which the transmitted distance image and edge image can be transferred, and the bus between the memory 113 and the transfer control unit 111 transfers the distance image and the edge image in addition to the CPU 114 or misrepresented image processing. Even if the bus 112 occupies the bus, it has a bandwidth that can transfer the distance image and the edge image without delay.
  • the CPU 114 performs recognition processing using the data transferred to the memory 113. For example, three-dimensional objects are detected by grouping points that are close to the distance image, and the distance and relative speed of the three-dimensional object are calculated. This calculation result is transmitted from the external communication unit 115 to the vehicle control unit 120 via the bus 132.
  • the vehicle control unit 120 determines whether or not there is a possibility of a collision with a three-dimensional object, and gives a command value to the brake control unit 121 and the engine control unit 122.
  • the alarm control unit 123 and the display unit 124 are controlled to alert the user.
  • the image processing unit 112 performs image processing on the data transferred from the transfer control unit 111 without going through the memory 113, and stores the result of the image processing in the memory 113. Therefore, since the image necessary for speeding up the recognition process can be generated during the image transfer from the first image processing apparatus to the second image processing apparatus, the recognition process, that is, the three-dimensional object detection process is executed at an early stage. The result can be output. Examples of the image types necessary for speeding up the recognition process include an edge intensity image obtained by calculating the edge intensity, a histogram result, and the like, and may be freely selected depending on the content of the recognition process. In consideration of the efficiency of image processing, if a calculation that can be processed with several lines is executed, it can be output to the memory 113 at a speed equivalent to the image transfer speed, which is more effective in real time.
  • the line buffer 301 is an area for temporarily storing a luminance image
  • the line buffer 302 is an area for temporarily storing a distance image.
  • the image reducing unit 303 generates a reduced image
  • the integrated image processing unit 304 generates an integrated image from the luminance image.
  • the histogram processing unit 305 generates a histogram from the parallax image. Therefore, it is only necessary to store images for the number of lines necessary for each image processing.
  • the transfer control unit 111 transfers the data to the line buffers 301 and 302 for each image type because the image type is known in advance from the transfer table of FIG.
  • the image reducing unit 303 performs a process of reducing the luminance image, and can simultaneously generate a plurality of images such as 1/2 times, 1/3 times, and 1/4 times the original image. Thereby, the reduction process can be omitted when the recognition process is performed, so that the recognition process can be performed at high speed. For example, it is effective when searching for a plurality of scales using a single template when performing pattern matching.
  • the integral image processing unit 304 can perform Equation 1 for each pixel of the luminance image.
  • Histogram 305 calculates a parallax image histogram.
  • the horizontal axis is the parallax value
  • the vertical axis is the Y axis of the parallax image
  • the position and number of parallaxes having the largest number of parallaxes in one line are known. If this image is used, the road surface height can be estimated by connecting points with a large number of parallaxes. Therefore, if the image is first calculated by the stereo camera, the process can proceed to the three-dimensional object detection process at high speed.
  • the Out buffer 306 is an area for temporarily outputting data of each image processing 303, 304, and 305, and the output control unit 307 transfers the image stored in the Out buffer 306 to the memory 113.
  • the size of the Out buffer 306 may be adjusted so that the processing can be continued even if the transfer is interrupted depending on the load state of the memory 113.
  • the transferred image is alternately output to the memory 113 as shown in FIG. By alternately outputting, the image transfer process and the recognition process by the CPU 114 can be pipelined.
  • FIG. 4 shows an example of a memory map of data stored in the memory 113, in which physical addresses of the memory 113 and image types corresponding to the physical addresses are described.
  • the images of ID1, ID3, and ID4 are data directly written from the transfer control unit 111. Transfer ON in FIG. 2 and memory in the transfer destination are transferred according to Area. Other integrated images, reduced images, and histogram results are storage areas for data transferred from the image processing unit 112.
  • the horizontal axis indicates time and the vertical axis indicates the processing content.
  • the image processing by the image processing unit 112 is executed in parallel with the image transfer, and the recognition process is executed in the CPU 114 in parallel with these processes.
  • the recognition process can be performed in a shorter time compared to the case where the conventional CPU performs various image processes and performs the recognition process.
  • image transfer and image processing are executed without intervention of the CPU, image processing can be performed without increasing the calculation amount of the CPU, so that the three-dimensional object detection can be output more quickly.
  • the bus 130 having the configuration of the first embodiment is low speed.
  • the bus 130 is low speed and real-time processing is required, it is necessary to reduce the transfer amount.
  • the type and area of the required image differs depending on the recognition process, for example, when detecting a sign, an area above the road is required, but when detecting a lane, a road is required. Near, that is, the lower area is required.
  • the CPU 114 can instruct the image processing unit 102 to transfer necessary data.
  • the image processing unit 102 selects and transfers the size and type of data to be transferred. Thereby, it can adjust with the transfer speed of the bus
  • this invention is not limited to the above-mentioned Example, Various modifications are included.
  • the above-described embodiments have been described in detail for easy understanding of the present invention, and are not necessarily limited to those having all the configurations described.
  • a part of the configuration of one embodiment can be replaced with the configuration of another embodiment, and the configuration of another embodiment can be added to the configuration of one embodiment.
  • each of the above-described configurations may be configured such that a part or all of the configuration is configured by hardware, or is realized by executing a program by a processor.
  • control lines and information lines indicate what is considered necessary for the explanation, and not all the control lines and information lines on the product are necessarily shown. Actually, it may be considered that almost all the components are connected to each other.
  • 101 Sensor, 102: Image processing unit, 103: Memory, 110: External IF, 111: Transfer control unit, 112: Image processing unit, 113: Memory, 114: CPU, 115: External communication unit, 120: Vehicle control unit 121: Brake control unit, 122: Engine control unit, 123: Alarm control unit, 124: Display unit, 130: Bus, 132: Bus

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

処理速度が高速な情報処理装置を提供する。　解決手段として、入力された画像に第一の画像処理を行う他の画像処理装置と、 ネットワークを介して接続される画像処理装置であって、 メモリと、　前記他の画像処理装置から送信された、少なくとも前記第一の画像処理により作成された情報を含むデータを制御し、前記メモリに出力する転送制御部と、　前記第一の画像処理により作成された情報に第二の画像処理を行う画像処理部と、　前記他の画像処理装置から送信されたデータのうち、要求したデータを前記メモリに出力するように、前記転送制御部を制御する制御部とを有する。

Description

情報処理装置
　本発明は、画像処理装置に関する。
　本技術分野の背景技術として、特開２００７－２００２３２号公報（特許文献１）がある。該公報には、課題として、「汎用バスに接続された画像処理部を備えた装置において、高性能な汎用バスに交換することなく、画像処理速度を向上させる。」と記載され、解決手段として、「展開された画像データを生成する制御部１０１と、前記制御部が接続されるローカルバス１００Ａと、複数の独立した汎用バス１００Ｂ，１００Ｃと、前記複数の汎用バスのそれぞれに接続され前記展開された画像データに画像処理を施して処理済み画像データを生成する複数の画像処理部１２１，１２２と、前記ローカルバスと前記複数の汎用バスとを接続する複数のブリッジ１０７，１０８と、前記ローカルバスに接続され、前記展開された画像データもしくは前記処理済み画像データを記憶する記憶部１０３と、を備え、前記制御部で生成された前記画像データに対して、前記複数の画像処理部で分担して画像処理を実行して前記記憶部に処理済み画像データを記憶させる。」と記載されている。
特開２００７－２００２３２号公報
　情報処理装置の主な用途として、例えば、２つのカメラから撮影された画像データから障害物を検知する装置がある。この装置を、自動車などの前方監視装置として使用すると、前方の障害物を検出して衝突を回避するといったアプリケーションを実現でき、交通事故の被害低減または回避することができる。ここで、確実に障害物を検出して、自動車を制御するためには情報処理装置の出力結果の応答性が速いことが好ましい。
　前記特許文献１では、高性能なバスを用いずに画像処理速度を向上させることが記載されているが、出力結果の応答性を向上させる点について考慮されていない。
　そこで、本発明は、高性能なバスを用いずに応答性を向上させた情報処理装置の提供を目的とする。例えば、第一の画像処理装置で３次元情報を生成し、第二の画像処理装置でより情報量多くの情報を必要とする空間認識を実行する。これにより、立体物を早期に検出でき、制御信号を生成できる。
　上記目的を解決するために、特許請求の範囲に記載の構成を採用する。
　本発明によれば、処理速度が高速で出力結果の応答性のよい画像処理装置を提供することができる。
全体構成図 転送テーブルの一例 第二の画像処理装置の一例 メモリマップの一例 データ転送と画像認識の動作タイミングを表すタイミングチャート 転送する画像領域を制限する場合のイメージ図
　以下、本発明の実施形態を図面を用いて説明する。
　本実施形態では、情報処理装置の一例である車載用ステレオカメラを使用して車両を制御する例を説明する。本実施形態は、車載用ステレオカメラを機能の異なる複数の車種に展開する際に、特に有効である。
　車載用ステレオカメラは２つのカメラを備え、２つのカメラで撮影された画像に対して、画像処理により画面に映っている物体までの距離を測定する。物体の距離がわかると、物体までの距離情報を元に、自動車のブレーキを制御して車を停車させることができる。これにより、運転手が万が一わき見などしてしまった場合など、事故を回避することができる。車載ステレオカメラは、人間の目と同じように、可視光の領域の見えの情報と、画像上の３次元位置がわかることから、前述した物体検知機能だけでなく、信号検知、標識検知など複数のアプリケーションをひとつのセンサで検出できる。しかしながら、認識対象物が増えると、計算量が増大するため、リアルタイム処理することが困難になる。増大する計算量をリアルタイム処理するためには、ＡＳＩＣなどのＬＳＩを開発して解決することができるが、機能が増えるごとにＡＳＩＣの開発をすることは、コスト面や開発期間の面で課題がある。また、認識する対象が増えることで、認識機能を開発する時間も必要となり、タイムリーにユーザに機能を提供することができない。
　そこで、２つのカメラから得られる画像から３次元位置を求める処理のように、基本的な画像処理を実行する回路と、さまざまな認識機能をリアルタイムに処理するために実現する回路を別々に持ち、認識機能部分の拡張に合わせて、認識のリアルタイム処理に必要な回路のみ更新する構成とすることで、最小限のコストでタイムリーに製品をユーザの元に届けることができる。また、高級車には多くの認識機能を搭載した高級車用モデルと、障害物のみを検出するといった最低限の機能を搭載した低価格帯向けモデルのように、ユーザのニーズに合わせてカスタマイズする場合にも、認識部分にかかわる回路のみ変更することで対応することができるため、多くの部品を共用化でき、効率がよい。
　図１に本実施形態の具体的な構成について説明する。本実施形態に示す情報処理装置は、車載ステレオカメラを自動車に取り付けて、障害物を回避する機能を実現するものである。
　センサ１０１と画像処理部１０２とメモリ１０３からなる第一の画像処理装置はバス１３０を介して第２の画像処理部に接続されている。センサ１０１は、一例として、ＣＭＯＳセンサを２つ接続したステレオカメラがある。センサの種類は、カメラ１つで実現してもよく、ＴＯＦ（Ｔｉｍｅ　ｏｆ　Ｆｒｉｇｈｔ）センサでもよく、被写体までの距離と画像が取得できるセンサあればよい。ステレオカメラは２つの画像データを取得でき、情報量が多いため、本発明が効果的である。
　画像処理部１０２は、センサ１０１から出力されたデータから認識処理の前処理として必要な処理を行う。ここでは、センサ１０１がステレオカメラの場合について説明する。画像処理部１０２では画素毎に視差を算出する処理を行う。右画像と左画像の輝度のばらつきを補正する輝度補正を行い、左右の画像が平行になるように幾何補正を行う。
　輝度補正および幾何補正は、あらかじめ校正された校正テーブルおよび座標変換テーブルを参照して実行される。輝度補正の校正テーブルは、画素毎にオフセット量と倍率が設定されており、幾何補正の座標変換テーブルは画素毎にどの座標にマッピングするかについての情報を持つ。
　次に、画像処理部１０２は、平行化された左右の画像に対して、対応点検索を行い、画素毎に基準点からの距離を算出する。基準点は左右のカメラの中央や車両の中央先端部分など、任意に設定することができる。
　対応点検索は、以下のように行われる。まず、左右どちらかの画像を基準画像、他方を参照画像として、例えば縦５画素、横５画素のブロックをウィンドウとして設定する。そして、基準画像の注目画素周辺の縦５画素、横５画素を基準として、参照画像を水平に探索する。このとき、相関値としてＳＡＤを用いる。ＳＡＤは縦５画素と横５画素のブロックにおいて、座標ごとに絶対値差分をとり、その差分値を足し合わせたものである。この相関値がもっとも小さいエリアを探索し、その点をマッチング位置と呼ぶ。マッチング位置は、左右の見え方の差である視差と呼ぶ。この計算を、基準画像の画素毎に計算し、基準画像の画素に対応した視差画像を生成する。この対応点探索によって生成される視差画像は画素毎に３次元位置に変換できるため、近い距離にある画素をグルーピングすることで立体物を検出することができる。
　外部ＩＦ１１０は第一の画像処理装置から送られてくるデータを受信する。第一の画像処理装置から送信されるデータは、右カメラで撮影した右カメラ画像と、左カメラで撮影した左カメラ画像と、右カメラの画像からエッジの強度を計算したエッジ画像と、左右のカメラ算出した距離画像と、の４種類が含まれている。転送制御部１１１は外部ＩＦ１１０から送られてくるこれらのデータを画像処理部１１２とメモリ１１３に転送する。転送内容は図２に示すように、あらかじめ転送テーブルをＣＰＵ１１４が転送制御部１１１に設定しておく。外部ＩＦ１１０と画像処理部１０２でのデータの送受信の手続きの中に、画像の種別を示すＩＤと転送サイズ、画像サイズといった情報を送信する。転送制御部１１１はこのＩＤや転送サイズ、画像サイズの情報から、事前にＣＰＵから設定された転送テーブルを参照して、データ転送先とデータ転送先に送るデータを切り出して転送する。
　メモリ１１３は、転送制御部１１１から転送されたデータの一時記憶領域として使用する。また、ＣＰＵ１１４のプログラムとプログラム作業用領域のメモリとしても利用する。メモリ１１３と転送制御部１１１はバス１３０に比べて十分高速なバスを使用する。バス１３０は、送信された距離画像とエッジ画像を転送できる帯域であり、メモリ１１３と転送制御部１１１の間のバスは、距離画像とエッジ画像を転送に加えて、ＣＰＵ１１４や誤述する画像処理１１２がバスを占有しても距離画像とエッジ画像を滞りなく転送できる帯域をもつ。
　ＣＰＵ１１４はメモリ１１３に転送されたデータを使用して認識処理を行う。例えば、距離画像から距離の近い点をグルーピングして立体物を検出し、立体物の距離や相対速度を計算する。この計算結果は外部通信部１１５からバス１３２を経由して車両制御部１２０に送信される。
　車両制御部１２０は立体物に対して衝突する可能性があるかどうかを判定し、ブレーキ制御部１２１、エンジンコントロール部１２２に指令値をだす。また、警報制御部１２３、表示部１２４を制御してユーザに対して注意喚起する。
　ここで、認識処理において、より早く車両制御部１２０に指示を出すことが重要であるため、認識処理を高速に処理する必要がある。そこで、画像処理部１１２の処理について詳しく説明する。
　画像処理部１１２は、メモリ１１３を介さずに転送制御部１１１から転送されたデータに画像処理を行い、画像処理の結果をメモリ１１３に格納する。したがって、第一の画像処理装置から第二の画像処理装置への画像転送中に認識処理の高速化に必要な画像を生成することができるため、認識処理すなわち立体物検出処理を早期に実行し結果を出力することができるようになる。認識処理の高速化に必要な画像の種類としては、例えば、エッジ強度を計算したエッジ強度画像やヒストグラム結果などがあり、認識処理の内容によって自由に選択してもよい。画像処理の効率を考慮すると、数ラインで処理できる計算を実行させると、画像転送速度と同等の速度でメモリ１１３に出力できるため、よりリアルタイム性が向上し、効果的である。
　また画像処理部１１２は複数の画像処理を並列して行うと、ＣＰＵの計算負荷をさらに低減できるためより効率的である。図３を用いて転送制御部１１１から画像処理部１１２がデータを受信し、複数の画像を生成する例について説明する。Ｌｉｎｅ　ｂｕｆｆｅｒ３０１は輝度画像を一時保存する領域であり、Ｌｉｎｅ　ｂｕｆｆｅｒ３０２は距離画像を一時保存する領域である。本例では、輝度画像から画像縮小部３０３が縮小画像を、積分画像処理部３０４が積分画像を生成する。また、視差画像からヒストグラム処理部３０５がヒストグラムを生成する。したがってそれぞれの画像処理で必要なライン数分の画像を蓄えられればよい。転送制御部１１１は画像の種別が図２の転送テーブルによってあらかじめわかっているため、画像の種類毎にＬｉｎｅ　ｂｕｆｆｅｒ３０１，３０２にデータを転送する。画像縮小部３０３は輝度画像を縮小する処理を行い、元の画像の１／２倍、１／３倍、１／４倍といった複数の画像を同時に生成することができる。これにより、認識処理を行う際に縮小処理を省略できるため、認識処理が高速に処理できる。例えば、パターンマッチングする際に、１つのテンプレートで複数のスケールで探索する場合に有効である。積分画像処理部３０４は輝度画像の各画素に対して数式１の計算を行うことができる。
  Ｓ（ｘ，ｙ）＝Ｉ（ｘ，ｙ）＋Ｉ（ｘ－１，ｙ）＋Ｉ（ｘ，ｙ－１）－Ｉ（ｘ－１，ｙ－１）　　数式１
　積分画像は、矩形領域内の輝度値の総和を求める際に、矩形内のすべての画素を読み出す必要がなく、積分画像の４点を読み出すことで計算できるため、輝度値の総和計算を高速に行うことができる。
　ヒストグラム３０５は視差画像のヒストグラム計算をする。横軸は視差値、縦軸は視差画像のＹ軸で、１ラインごとの視差値の出現した回数を値として記録した画像である。１ラインの中でもっとも視差が多かった視差の位置と数がわかる。この画像を使用すると視差の数が多い点をつなぐと路面高さを推定することできるため、ステレオカメラで最初に計算しておくと、高速に立体物検出処理に進むことができる。　また、ヒストグラム処理を視差の小さい部分に制限し細かい分解能にした遠方用ヒストグラムと視差の小さいところから大きいところまで荒い分解能の近傍用ヒストグラムの２種類を作成すると、遠方と近傍の両方を精度よく路面推定することができ、すべてを細かい分解能で生成するより画像サイズを抑えることができる。Ｏｕｔ　ｂｕｆｆｅｒ３０６は各画像処理３０３，３０４，３０５のデータを一時出力する領域で出力制御部３０７はメモリ１１３にＯｕｔ　ｂｕｆｆｅｒ３０６に蓄積された画像を転送する。メモリ１１３の負荷状況によって転送が中断されても処理が継続できるようにＯｕｔ　ｂｕｆｆｅｒ３０６のサイズを調整するとよい。転送された画像は図４のようにメモリ１１３にＡ面、Ｂ面交互に出力される。交互に出力することで、画像の転送処理とＣＰＵ１１４での認識処理をパイプライン処理できる。
　図４は、メモリ１１３に格納するデータのメモリマップ例を示し、メモリ１１３の物理アドレスとそれに対応する画像の種類が記載されている。ＩＤ１、ＩＤ３、ＩＤ４の画像は、転送制御部１１１から直接書き込まれるデータで、図２の転送ＯＮかつ転送先にメモリとなっているものがＡｒｅａに従って転送される。そのほかの積分画像、縮小画像、ヒストグラム結果は画像処理部１１２から転送されるデータの格納領域である。
　次に転送画像と認識処理の動作タイミングについて図５を用いて説明する。図５では横軸が時間で縦軸に処理する内容が記載されている。画像の転送と並行して画像処理部１１２による画像処理が実行され、これらの処理と並行して認識処理がＣＰＵ１１４にて実行されている様子を表す。これにより、従来ＣＰＵで各種画像処理をして認識処理をする場合に比べて、短時間で認識処理することができる。また、ＣＰＵを介在せずに画像転送と画像処理が実行されるため、ＣＰＵの計算量を増加させずに画像処理が行えるため、立体物検知をより早く出力できる。さらに、余ったＣＰＵのリソースを使用して複数のアプリケーションを動作させるといった使い方もできる。複数のアプリケーションをステレオカメラ１台で済ますことができれば、車両に搭載するセンサの数を減らすことができるため、ユーザに対して低価格で安全機能を提供することができる。
　本実施例では実施例１の構成のバス１３０が低速な場合の例について説明する。
バス１３０が低速な場合でかつリアルタイム処理が必要な場合、転送量を小さくする必要がある。また、認識処理によって、必要な画像の種類や領域が異なるため、例えば、標識を検知する場合は道路よりも撮像された画像のうち上方の領域が必要となるが、車線を検知する場合は道路付近、つまり下側の領域が必要となる。
　そこで図２の転送テーブルを参照してＣＰＵ１１４が画像処理部１０２に対して、必要なデータ転送を指示することができるようにする。画像処理部１０２は、外部ＩＦ１１０からの転送要求によって、転送するデータのサイズや種類を選択して転送する。これにより、バス１３０の転送速度や認識の処理周期、認識機能の数によって調整することができる。例えば、認識機能の少ないシステムを構築する場合、必要な画像の量も少ないので、バス１３０の負荷を減らした設定テーブルにする。例えば、図６のように画像の領域を中心部分に絞ると、面積比で転送負荷を削減することができ、バス１３０が低速であっても実現できる。また、突然画面内に飛び出してくる歩行者を検出したい場合、できるだけ応答性を上げるために処理周期を短くしたい。しかし、処理周期を短くすると、転送データ量が少なくなってしまうため、領域を制限することで対応できる。飛び出してくる歩行者の場合は、画面を縦方向を削り、できるだけ横方向に広くすると、早期に歩行者を検出できる利点がある。
　なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
　また、上記の各構成は、それらの一部又は全部が、ハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
　１０１：センサ、１０２：画像処理部、１０３：メモリ、１１０：外部ＩＦ、１１１：転送制御部、１１２：画像処理部、１１３：メモリ、１１４：ＣＰＵ、１１５：外部通信部、１２０：車両制御部、１２１：ブレーキ制御部、１２２：エンジンコントロール部、１２３：警報制御部、１２４：表示部、１３０：バス、１３２：バス

Claims (4)

  1. 　入力された画像に第一の画像処理を行う他の画像処理装置とネットワークを介して接続され、
    　メモリと、
    　前記第一の画像処理により作成された情報に第二の画像処理を行う画像処理部と、
    　前記他の画像処理装置から送信された、少なくとも前記第一の画像処理により作成された情報を含む複数の種類の情報を受信し、前記メモリと、前記画像処理部と、に出力する転送制御部と、
    　前記転送制御部を制御する制御部と、を備え、
    　前記転送制御部は、前記複数の種類の情報のうち、少なくとも前記第一の画像処理により作成された情報を前記メモリを介さずに前記画像処理部に出力し、
    　前記画像処理部は前記第二の画像処理により作成された情報を前記メモリに出力することを特徴とする画像処理装置。
  2. 　請求項１に記載の画像処理装置であって、
    　前記第一の画像処理により作成された情報は輝度画像と輝度画像に対応する距離情報とを含み、
    　前記転送制御部は、前記輝度画像と前記距離情報を前記メモリにも出力し、
    　前記画像処理部は、前記距離情報を基に路面推定処理を行い、当該路面推定処理の結果を前記メモリに出力することを特徴とする画像処理装置。
  3. 　請求項２記載の画像処理装置であって、
    　前記画像処理部は、前記路面推定処理の結果として水平方向画像座標毎に画素の距離の分布を示す情報を生成し、前記メモリに出力することを特徴とする画像処理装置。
  4. 　請求項３記載の画像処理装置であって、
    　前記画素の距離の分布を示す情報は、水平方向画像座標毎に近距離の画素に限定して生成した情報と、水平方向画像座標毎に遠距離の画素に限定して生成した情報と、があることを特徴とする画像処理装置。
PCT/JP2015/065971 2014-07-04 2015-06-03 情報処理装置 WO2016002418A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-138238 2014-07-04
JP2014138238A JP2016019009A (ja) 2014-07-04 2014-07-04 情報処理装置

Publications (1)

Publication Number Publication Date
WO2016002418A1 true WO2016002418A1 (ja) 2016-01-07

Family

ID=55018970

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/065971 WO2016002418A1 (ja) 2014-07-04 2015-06-03 情報処理装置

Country Status (2)

Country Link
JP (1) JP2016019009A (ja)
WO (1) WO2016002418A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111937035A (zh) * 2018-04-17 2020-11-13 日立汽车系统株式会社 外界识别装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07192199A (ja) * 1993-12-27 1995-07-28 Fuji Heavy Ind Ltd 車輌用走行案内装置
JP2001043377A (ja) * 1999-07-30 2001-02-16 Fuji Heavy Ind Ltd フェールセーフ機能を有する車外監視装置
JP2014119858A (ja) * 2012-12-14 2014-06-30 Fuji Heavy Ind Ltd 画像処理装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07192199A (ja) * 1993-12-27 1995-07-28 Fuji Heavy Ind Ltd 車輌用走行案内装置
JP2001043377A (ja) * 1999-07-30 2001-02-16 Fuji Heavy Ind Ltd フェールセーフ機能を有する車外監視装置
JP2014119858A (ja) * 2012-12-14 2014-06-30 Fuji Heavy Ind Ltd 画像処理装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111937035A (zh) * 2018-04-17 2020-11-13 日立汽车系统株式会社 外界识别装置

Also Published As

Publication number Publication date
JP2016019009A (ja) 2016-02-01

Similar Documents

Publication Publication Date Title
JP6202367B2 (ja) 画像処理装置、距離測定装置、移動体機器制御システム、移動体及び画像処理用プログラム
US20190028632A1 (en) Camera parameter set calculation apparatus, camera parameter set calculation method, and recording medium
US11527077B2 (en) Advanced driver assist system, method of calibrating the same, and method of detecting object in the same
US10242272B2 (en) Method for advanced and low cost cross traffic alert, related processing system, cross traffic alert system and vehicle
JP2019096072A (ja) 物体検出装置、物体検出方法およびプログラム
JP6406159B2 (ja) 車載表示制御装置、車載表示制御方法
US10306207B2 (en) Information processing system
WO2017022497A1 (ja) 運転者に支援画像を提示する装置及びその方法
CN106335502B (zh) 半导体器件、控制系统和观测方法
JP6601506B2 (ja) 画像処理装置、物体認識装置、機器制御システム、画像処理方法、画像処理プログラム及び車両
WO2016063545A1 (ja) ステレオカメラ装置及びステレオカメラ装置を備える車両
JPWO2016051981A1 (ja) 車載画像認識装置
JP2019168821A (ja) 車外環境認識装置
JP2015184907A (ja) 画像処理装置および画像処理プログラム
JP2017219427A (ja) 物体距離検出装置
JP6591188B2 (ja) 車外環境認識装置
Su et al. 3D AVM system for automotive applications
JP6427611B2 (ja) 車両画像処理装置、及び、車両画像処理システム
WO2016002418A1 (ja) 情報処理装置
JP2021092996A (ja) 計測システム、車両、計測方法、計測装置及び計測プログラム
JP6435660B2 (ja) 画像処理装置、画像処理方法、機器制御システム
JP2018077713A (ja) 区画線検出システム
JP4404047B2 (ja) 障害物衝突判定システム、判定装置、障害物衝突判定方法及びコンピュータプログラム
US20170078644A1 (en) Controller applied to a three-dimensional (3d) capture device and 3d image capture device
JP2013161187A (ja) 物体認識装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15816012

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15816012

Country of ref document: EP

Kind code of ref document: A1