JP3932379B2 - 画像処理装置と撮像素子 - Google Patents
画像処理装置と撮像素子 Download PDFInfo
- Publication number
- JP3932379B2 JP3932379B2 JP2001306528A JP2001306528A JP3932379B2 JP 3932379 B2 JP3932379 B2 JP 3932379B2 JP 2001306528 A JP2001306528 A JP 2001306528A JP 2001306528 A JP2001306528 A JP 2001306528A JP 3932379 B2 JP3932379 B2 JP 3932379B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- image
- data
- processing
- transfer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/60—Memory management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
Description
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置に係り、特に、ワークメモリに記憶された画像データに基づいて演算処理を行うに好適な画像処理装置に関する。
【０００２】
【従来の技術】
撮像素子によって得られた画像データを処理する画像処理技術は、不審者の侵入や異常を検知する監視システムや車の安全走行を支援する車載システムなどに適用され始めている。これらのシステムで画像処理技術を適用するには、画像処理装置の小スペース化および低価格化が求められている。小スペース化および低価格化を実現するには、限られたＣＰＵ(中央演算装置)の演算能力とハードウエア物量で画像処理を高速に行う工夫が必要である。画像処理装置を小型化する方式としては、例えばシングルチップを採用する方法がある。シングルチップとは、演算処理を行うＣＰＵ、プログラムを格納するＲＯＭ(Read Only Memory)、ワークメモリとして使用するＲＡＭ(Random Access Memory)、およびネットワーク、シリアルポートなどシステム構築に必要となる機能が１チップのパッケージに集約されたものである。このシングルチップを使用すると、これまで複数のデバイスを使用して構成していたシステムを１チップとし、小スペース化および低価格化できる。
【０００３】
一方、シングルチップを用いて高速な画像処理を行うには、シングルチップ内のメモリを使用して画像処理を行う必要がある。それは、ＣＰＵからシングルチップの外にある外部メモリへのアクセスがシングルチップ内部のローカルメモリ(ワークメモリ)へのアクセスに比べて一般的に遅いからである。そのため、外部メモリを使用して画像処理を行った場合、実用的な処理能力を出すことは困難となる。例えば、車載システムに採用されている白線認識機能については、ビデオレートでの認識が求められており、高速処理が必要である。しかし、外部メモリを使用して処理を行ったのでは要求性能を満足することは困難である。また自動車の制御などに用いられる耐環境型のシングルチップでは、シングルチップ内にあるメモリ容量は小さいので、高速処理を行うことのできるデータ量が限られている。
【０００４】
そこで、特開２００１−１０１３９６号公報に記載されているように、外部メモリに格納された画像データをプロセッサと１チップに統合されたローカルメモリにＤＭＡ(Direct Memory Access)転送で送り、高速に画像処理する方法が提案されている。また、特開平６−４６５１号公報に記載されているように、画像処理を高速に行うために、処理に使用する領域のデータだけを転送するようにしたものが提案されている。これら従来技術においては、どちらも外部メモリに画像データを格納しておいて、必要な画像データを必要になったときにローカルメモリに転送して処理する構成を採用している。
【０００５】
【発明が解決しようとする課題】
従来技術のうち前者のものでは、外部メモリに格納されている画像データの中から、画像処理に必要な画像データのみをローカルメモリに転送し、高速処理を実現している。
【０００６】
具体的には、撮像素子で得られた画像データを配線を介して画像処理用ＬＳＩに入力し、画像処理用ＬＳＩで処理された画像データをデータ転送手段によって、バスを介して外部メモリに転送し、外部メモリに格納された画像データをシングルチップのローカルメモリに転送するようになっている。この場合、１画面分の画像データを外部メモリに転送し、外部メモリに格納された画像データのうち必要な画像データのみをシングルチップのローカルメモリに転送し、高速な画像処理を行うようになっている。画像データを外部メモリに転送するに際して、１画面分の画像データをそのまま転送する方法を採用しているが、車載用画像処理装置において、道路上の白線を認識することを考慮すると、画面全体に白線が現われるわけではないので、白線が出現する領域の画像データを外部メモリに転送することも考えられる。しかし、従来技術では、画像処理アルゴリズムや車位置の変化によって白線を探索する領域が変わる可能性があることを考慮し、１画面全体の画像データを外部メモリに格納する構成を採用している。
【０００７】
しかし、このような構成では、外部メモリが十分な容量である場合には問題は発生しないが、低価格化を重視した装置では、外部メモリの容量が十分でないか、または、全くない場合も考えなければならない。このとき、シングルチップ内のローカルメモリが十分な容量を備えていない場合、画像データを格納しておく記憶手段がなくなるため、画像処理システムを構築することはできない。実際に、現在使用できるシングルチップでは、ローカルメモリの容量が小さいために、記憶手段としてのローカルメモリだけを搭載した画像処理装置で実用化できるアプリケーションは限られている。
【０００８】
一方、後者の従来技術においては、画像処理に使用するデータのみを転送して高速な処理を行うようにしているが、原画像に関するデータを格納するに十分なメモリがない場合には、画像データをメモリに格納できなくなり、画像処理システムを構築することはできない。
【０００９】
本発明の課題は、外部メモリを用いることなくローカルメモリとしての画像データ記憶手段を小容量化できる画像処理装置と、この画像処理装置に小容量化しやすい画像データを供給する撮像素子とを提供することである。
【００１０】
【課題を解決するための手段】
本発明は、上記課題を解決するために、転送による画像データを記憶する画像データ記憶手段と、前記画像データ記憶手段に記憶された画像データに基づいて演算処理を行う演算処理手段と、画像データを入力するとともに、入力した画像データのうち入力画像データの量よりも少ない複数の画像データを前記画像データ記憶手段に転送するデータ転送手段とを備え、前記データ転送手段が、前記複数の画像データとして、前記演算処理手段で演算処理の対象とする画面上の複数領域内の画像データを転送する画像処理装置を提案する。
【００１１】
本発明は、また、転送による画像データを記憶する画像データ記憶手段と、前記画像データ記憶手段に記憶された画像データに基づいて演算処理を行う演算処理手段と、被写体からの光の情報を電荷の情報に変換して一画面分の画像データを順次生成する撮像素子と、前記撮像素子から画像データを入力するとともに、入力した画像データのうち入力画像データの量よりも少ない複数の画像データを前記画像データ記憶手段に転送するデータ転送手段とを備え、前記画像データ記憶手段の物理的な記憶容量は、前記撮像素子から出力される画像データの量よりも少なく設定され、前記データ転送手段が、前記複数の画像データとして、前記演算処理手段で演算処理の対象とする画面上の複数領域内の画像データを転送する画像処理装置を提案する。
【００１２】
前記データ転送手段は、前記演算処理手段で演算処理の対象とする画面上の複数領域内の画像データを単一の領域の画像データ毎に複数回に分けて転送することを特徴とする画像処理装置。
【００１３】
前記データ転送手段は、前記複数の画像データとして、種類の相異なる画像データを種類別に転送してもよい。
【００１４】
前記データ転送手段は、画像データに対して輪郭強調のフィルタ処理によりエッジ部分の画像データを抽出し、画像中の濃度変化が一定以上となる複数のエッジ部分の画像データを転送するとともに、前記複数のエッジ部分の座標情報を転送することもできる。
【００１５】
前記データ転送手段は、画像データに対して輪郭強調のフィルタ処理によりエッジ部分の画像データを抽出し、前記演算処理手段で演算処理の対象とする画面上の複数領域内の画像データのうち画像中の濃度変化が一定以上となる複数のエッジ部分の画像データを転送するとともに、前記複数のエッジ部分の座標情報を転送することも可能である。
【００１６】
本発明は、さらに、転送による画像データを記憶する画像データ記憶手段と、前記画像データ記憶手段に記憶された画像データに基づいて演算処理を行う演算処理手段と、画像データを入力するとともに、入力した画像データのうち入力画像データの量よりも少ない複数の画像データを前記画像データ記憶手段に転送するデータ転送手段とを備え、前記データ転送手段が、前記複数の画像データとして、前記演算処理手段で演算処理の対象とする画面上の複数領域内の画像データを転送する画像処理装置に前記転送による画像データを供給する撮像素子であって、被写体からの光の情報を電荷の情報に変換して一画面分の画像データを順次生成する画像データ生成手段と、前記画像データ生成手段の生成による一画面分の画像データのうち前記複数領域に属する画像データを選択する領域選択手段とを備え、前記画像処理装置に転送する撮像素子を提案する。
【００１７】
前記領域選択手段により選択された複数の領域に属する画像データを、前記複数の領域を特定する領域情報とともに出力するデータ出力手段を備えることができる。
【００１８】
画像データを記憶する画像データ記憶手段に対して、前記データ出力手段の出力による画像データをＤＭＡ転送方法またはＳＲＡＭアクセスによる転送方法によって転送するデータ転送手段を備えるようにしてもよい。
前記一画面分の画像データを生成するための露光時間終了を検知する露光時間検知手段と、前記露光時間検知手段により露光時間終了の検知を条件に、画像データを記憶する画像データ記憶手段に対して、前記データ出力手段の出力による画像データを転送するデータ転送手段とを備えることも可能である。
【００１９】
この場合、前記露光時間検知手段により露光時間終了が検知されたときに、画像データを転送するための転送要求を転送先に出力する転送要求出力手段を備える。
【００２０】
上記いずれかの撮像素子において、前記画像データ生成手段の生成による画像データを一画面分の画素に対応づけて記憶する画像データ記憶手段を備え、前記画像データ記憶手段に記憶された画像データのアドレスを、前記画像データを演算処理するための演算処理手段のメモリ空間に関連づけてマッピングすることができる。
【００２１】
本発明は、転送による画像データを記憶する画像データ記憶手段と、前記画像データ記憶手段に記憶された画像データに基づいて演算処理を行う演算処理手段と、画像データを入力するとともに、入力した画像データのうち入力画像データの量よりも少ない複数の画像データを前記画像データ記憶手段に転送するデータ転送手段とを備え、前記データ転送手段が、前記複数の画像データとして、前記演算処理手段で演算処理の対象とする画面上の複数領域内の画像データを転送する画像処理装置に前記転送による画像データを供給す る撮像素子であって、被写体からの光の情報を電荷の情報に変換して一画面分の画像データを順次生成する画像データ生成手段と、前記画像データ生成手段の生成による一画面分の画像データのうち前記複数領域に属する画像データを単一の領域毎に順次選択する領域選択手段とを備え、前記画像処理装置に転送する撮像素子を提案する。
【００２２】
本発明は、また、転送による画像データを記憶する画像データ記憶手段と、前記画像データ記憶手段に記憶された画像データに基づいて演算処理を行う演算処理手段と、画像データを入力するとともに、入力した画像データのうち入力画像データの量よりも少ない複数の画像データを前記画像データ記憶手段に転送するデータ転送手段とを備え、前記データ転送手段が、前記複数の画像データとして、前記演算処理手段で演算処理の対象とする画面上の複数領域内の画像データを転送する画像処理装置に前記転送による画像データを供給する撮像素子であって、被写体からの光の情報を電荷の情報に変換して一画面分の画像データを順次生成する画像データ生成手段と、前記画像データ生成手段の生成による一画面分の画像データのうち複数の領域に属する画像データを単一の領域毎に順次選択する領域選択手段と、前記領域選択手段により選択された画像データを保持するとともに、保持された画像データを単一の領域毎に順次転送するデータ転送手段とを備え、前記画像処理装置に転送する撮像素子を提案する。
【００２３】
上記手段によれば、画像データを画像データ記憶手段に記憶する前に、演算処理に用いる画像データのうち入力画像データの量よりも少ない複数の画像データを選択し、選択された画像データのみを画像データ記憶手段に記憶するので、外部メモリを用いることなく、ローカルメモリ(ワークメモリ)としての画像データ記憶手段の記憶容量を少なくでき、小スペース化および低価格化できる。また、画像データ記憶手段に記憶される画像データの量が減るので、画像データを転送するバスの負荷が軽減され、その分、演算処理手段(ＣＰＵ)による高速処理が可能になる。さらに画像データ記憶手段への書き込み処理を最小限に削減できる。
【００２４】
また、画像データを転送する場合、画面上の複数領域の画像データまたは画像中の濃度変化が一定以上となる複数のエッジ部分の画像データを転送すると、データ量を削減できる。さらに、画面上の複数領域の画像データのうち画像中の濃度変化が一定以上となる複数のエッジ部分の画像データを座標情報とともに転送すると、さらにデータ量を減らすことができる。
【００２５】
また、本発明に係る撮像素子によれば、１画面分の画像データのうち複数の領域に属する画像データを選択して出力するようにしているため、撮像素子によって得られた画像データを転送するときの転送速度を高めることができる。さらに、撮像素子に画像データの選択・転送機能を付加して１チップモジュールとすれば、小スペース化および低価格化できる。
【００２６】
【発明の実施の形態】
次に、図面を参照して、本発明の一実施形態を説明する。図１は、本発明の一実施形態を示す画像処理装置であって、道路の白線を認識して自車位置を同定する画像処理装置のブロック構成図である。車載システムとしての画像処理装置は、小スペース化および低価格化が実用化の必須条件であり、しかも高い安全性が求められている自動車に適用されることを考慮し、本実施形態では、耐環境型のシングルチップを採用する。さらに、シングルチップを採用し、シングルチップ内の限られたローカルメモリを使用した画像処理装置によって、小さいハードウエア物量で高速な画像処理を実現する。図１を参照して、具体的な内容を説明する。
【００２７】
図１において、画像処理装置は、シングルチップ１、画像処理ＬＳＩ２、撮像素子３を備えて構成されており、シングルチップ１は画像処理ＬＳＩ２とバス４を介して接続され、画像処理ＬＳＩ２は撮像素子３に接続されている。
【００２８】
撮像素子３は、外界からの光、すなわち被写体からの光の情報を電荷の情報に変換し、１画面分の画像データを順次、例えば、１／６０ｓ毎にデジタルの画像データを生成する画像データ生成手段としての機能を備えており、一般的には、ＣＣＤ(Charge Coupled Device)とＣＭＯＳ(Complementary Metal-Oxide Semiconductor)のセンサを用いて構成されている。撮像素子３で生成されてデータ化された画像データは、撮像素子データ出力５として画像処理ＬＳＩ２に入力される。画像処理ＬＳＩ２では、入力された画像データが画像処理され、画像処理された画像データのうち特定の複数の画像データが処理データ量削減手段３０によって選択される。処理データ量削減手段３０によって転送すべき画像データを選択すると、データ転送量を削減する処理が行われる。
【００２９】
処理データ量削減手段３０によって選択された画像データは、データ転送手段２０によって、バス４を介してシングルチップ１にデータ転送６されるようになっている。この場合、撮像素子３により、図２に示すように、画面１００に関する１画面分の画像データが順次生成され、画像データが画像処理ＬＳＩ２に入力されたときに、領域１００よりも小さい領域Ａ１２０、領域Ｂ１３０内に属する画像データをバス４を介してシングルチップ１に転送する。領域Ａ１２０、領域Ｂ１３０の設定７は、シングルチップ１のＲＯＭ１３に格納されたプログラムによって決定され、この決定に従い制御信号がシングルチップ１からバス４を介して画像処理ＬＳＩ２に入力され、領域Ａ１２０、領域Ｂ１３０が設定される。
【００３０】
シングルチップ１は、画像データに基づいて演算処理を行う演算処理手段としてのＣＰＵ１１、ワークメモリまたはローカルメモリであって、転送による画像データを記憶する画像データ記憶手段としてのＲＡＭ１２、プログラムなどを記憶するＲＯＭ１３を備えて構成されており、ＣＰＵ１１は、ＲＡＭ１１に記憶された画像データを処理して、道路上の白線の認識を行うようになっている。白線を認識するプログラムは、ＲＯＭ１３に格納されており、ＲＯＭ１３に格納されたプログラムはＲＡＭ１２に格納された画像データと同様に、ＣＰＵ１１から高速なアクセスが可能になっている。
【００３１】
上記構成における画像処理装置においては、図３に示すように、まず、撮像素子３で被写体からの光を基に画像データを生成するために画像を取得し(ステップＳ１０)、生成した１画面分の画像データを画像処理ＬＳＩ２に順次転送し、画像処理ＬＳＩ２において、画像データを記憶するに先立って、処理データ量を削減する処理を行う(ステップＳ１１)。この処理データ量削減処理とは、シングルチップ１内のＲＡＭ１２に記録する画像データを処理するに必要となるデータに限定する処理のことであり、本実施形態では、図２に示す領域Ａ１２０、領域Ｂ１３０に属する画像データのみを選択して転送する処理のことである。領域Ａ１２０、領域Ｂ１３０にはそれぞれ白線１０１に関する画像データが含まれており、これらの画像データがシングルチップ１に転送されると、これらの画像データはシングルチップ１のＲＡＭ１２に格納される(ステップＳ１２)。このあと、ＲＡＭ１２に記憶された画像データに基づいてＣＰＵ１１による演算処理が開始され、白線１０１を認識する処理が実行される(ステップＳ１３)。
【００３２】
このように、本実施形態においては、画像データをＲＡＭ１２に格納する前に、撮像素子３から入力された画像データの量よりも少ない画像データを選択してデータ量を削減しているため、従来技術のように、画像データを全て格納する外部メモリが不要となり、小さいハードウエア物量でシステムを構成でき、ハードウエア物量の削減およびバス４の負荷を低減することが可能になる。
【００３３】
なお、本実施形態においては、処理データ量削減処理とデータ格納処理とを別々に処理しているが、実際には、入力データを１画像データずつ処理するに必要なデータか不必要なデータかを選別してＲＡＭ１２に書き込む処理を行っているため、パイプライン処理となっている。
【００３４】
次に、図４を参照して、データ転送手段２０の具体的構成を説明する。図４において、データ転送手段２０は、図２に示す領域Ａ１２０と領域Ｂ１３０に属する画像データをシングルチップ１のＲＡＭ１２に転送する機能を備えているとともに、領域Ａ１２０に属する画像データを選択する領域選択手段Ａ２１と、領域Ｂ１３０に属する画像データを選択する領域選択手段Ｂ２２を備えて構成されている。各領域選択手段Ａ２１、領域選択手段Ｂ２２には、配線５１を介して撮像素子３の出力による画像データが入力されるようになっており、領域選択手段Ａ２１と領域選択手段Ｂ２２は同一の機能であるため、ここでは、領域選択手段Ａ２１についてのみ説明する。配線５１を介して入力された画像データは、ライト制御手段２４で制御された書き込み信号によってデータバッファ２５に書き込まれる。ここで、ライト制御手段２４は、配線５１を介して入力された画像データの座標位置を同定する回路を保持しており、入力された画像データが領域Ａ１２０内の画像データであるか否かを判別する機能を備えて構成されている。そして、入力された画像データが領域Ａ１２０内の画像データであった場合は、データバッファ２５への書き込みを許可し、書き込み処理が行われる。その結果として、データバッファ２５には、領域Ａ１２０内の画像データのみが記録される。そしてデータバッファ２５に、ある一定数以上の画像データが格納されると、シングルチップ１内のＲＡＭ１２への転送要求がデータバッファ２５から発生し、ＲＡＭ１２への画像データの転送が開始される。このとき、リード制御手段２３は、シングルチップ１からのＤＭＡ転送に必要な読み出し制御を行い、データバッファ２５に格納された画像データを読み出す処理を制御する。そして読み出された画像データはＤＭＡ転送によってＲＡＭ１２へ転送される。
【００３５】
データバッファ２５からシングルチップ１に対して転送要求が出力されると、この転送要求はシングルチップ１のＣＰＵ１１に対して割込みとして処理される。図５を参照して、このときの処理フローを説明する。
【００３６】
まず、データバッファ２５からシングルチップ１のＣＰＵ１１に対して転送要求が出力されると、ＣＰＵ１１はデータバッファ２５からの転送要求を受けて、割込みを発生させる(ステップＳ２０)。ここで、シングルチップ１内のＣＰＵ１１は、割込み要因の解析を行う(ステップＳ２１)。すなわち、データバッファ２５に格納された画像データの数が一定数以上になったことに起因してデータバッファ２５から転送要求が入力された否かの解析を行い、データバッファ２５に格納された画像データの数が一定数以上になったことに起因して発生した転送要求のときには、転送元アドレスとしてデータバッファ２５の出力アドレスを設定する(ステップＳ２２)。次に、データの転送先アドレスを設定する(ステップＳ２３)。ここでは、図６に示すように、ＲＡＭ１２のメモリ空間１４０におけるメモリ空間Ａ１２１が領域Ａ１２０のデータを格納する領域と仮定し、メモリ空間Ａ１２１の先頭アドレスを転送先アドレスとして設定する。転送元アドレスの設定と転送先アドレスの設定が終了すると、データバッファ２５に格納されているデータの総数からＤＭＡ転送の転送回数を決定し、転送回数の設定を行う(ステップＳ２４)。最後に、ＤＭＡ転送を起動し(ステップＳ２５)、データバッファ２５の画像データをシングルチップ１のＲＡＭ１２のメモリ空間１２１へＤＡＭ転送する。これらの処理は、１画面分の画像データに関する画像処理が終了するまで繰り返し続けられる。
【００３７】
なお、領域選択手段Ｂ２２のデータバッファが転送要求を出した場合も、同様の処理フローによってＤＭＡ転送を実施する。この処理は、１画面分の画像処理が終了するまで繰り返し続けられる。
【００３８】
本実施形態によれば、処理に必要な画像データのみをシングルチップ１内のＲＡＭ(ローカルメモリ)１２に転送するので、データの記憶容量を小さくできる。また、転送量も小さいため、バスの負荷を低減し、ＣＰＵ１１の処理能力の低下を防止できる。さらに、複数のデータ転送手段を備えているため、複数の領域のデータを演算しやすいようにメモリ空間に転送することが可能である。これは、転送後の白線認識処理時に、データの並び替えなどの処理を行う必要がなく、演算量を削減できる。
【００３９】
前記実施形態では、シングルチップ１内のＲＡＭ１２に転送する画像データとして２つの領域に属する画像データについて述べたが、３つ以上の領域に属する画像データを転送する構成を採用することもできる。図７を参照して、３つ以上の領域に属する画像データを転送するときの実施形態を説明する。図７における実施形態では、半導体部品のリード線３１０の部分の検査を想定しており、リード線３１０の検査は、広い視野を用いながらも高い計測精度が要求されるアプリケーションである。リード線３１０を検査する画像処理装置は、計測精度を高くするために、画像３００を高精細画像で取得するようになっている。この画像３００の中には、チップ３０１の位置決めを行うためにチップ３０１に付されたマーカー３１１と、検査対象であってチップ３０１の端部から引き出されたリード線３１０がある。この検査の場合、画面全体の画像データを使用する訳ではなく、マーカー３１１とリード線３１０が存在する可能性のある領域３２０、３２１、３２２、３２３に属する画像データのみを使用する。これらの領域は、時間やロッド、部品によってばらつくので、一定ではなく、プログラムによって設定する必要がある。
【００４０】
本実施形態では、画像処理に使用する領域３２０、３２１、３２２、３２３に対応したメモリ空間３４１、３４２、３４３、３４４がＲＡＭ１２のメモリ空間３４０上に確保されており、それぞれの領域に属する画像データは各領域に対応したデータ転送手段によって、画像処理に必要な画像データとしてシングルチップ１上のＲＡＭ１２に転送される。この場合、ＣＰＵ１１において各リード線３１０の長さが認識され、リード線３１０の良否が判定される。
【００４１】
本実施形態によれば、高精細の画像データを使用しているにも関わらず、処理に必要な画像データのみを転送するようにしているため、小さい記憶容量で処理に必要なデータをＲＡＭに記録できる。また転送する領域の範囲をプログラムで制御することにより、任意の領域に属する画像データの転送が可能になる。さらに、各領域にはデータ転送手段が複数設けられているため、各データ転送手段を互いに重複させることも可能であり、アプリケーションに柔軟に適用できる。
【００４２】
本実施形態によれば、通常であれば大きな記憶容量が必要となる高精細画像を使用するアプリケーションにも、必要最小限の記憶容量しか持たない装置の適用が可能になる。
【００４３】
前記各実施形態においては、ＲＡＭ１２に記憶するデータ量を削減するに際して、処理する領域を限定することによって実現する方法を述べたが、以下の実施形態では、図８に示すように、白線のエッジ部分の情報を利用したデータ削減方法について説明する。
【００４４】
図８(ａ)に示すように、撮像素子３の生成による１画面分の画像データのうち領域１１０に属する画像データを基に白線を認識するに際しては、白線１０２を認識するために用いられた画像データに対して輪郭強調のフィルタ処理を行うと、白線１０２の両側をエッジ部分として抽出することが可能になる。すなわち、画像中の濃度変化(輝度変化)が一定以上となるエッジ部分の画像データを抽出することが可能になる。白線１０２の認識処理は、白線１０２の持つエッジ情報を利用して行っているため、処理にはエッジ部分の情報(画像データ)のみを使用している場合が多い。このエッジ部分の情報のみを認識処理に使用すると、記憶するデータ量は、領域１１０に属する画像データを全て記憶するよりも小さい(少ない)データ量でよいことになる。さらに、記録する情報としては、エッジ部分と判断された位置の座標情報を用いることもできる。図８(ｂ)では、エッジ部分の画像データのデータ転送処理に加えて、領域Ａ１２０、領域Ｂ１３０を特定する座標情報とを組合わせてデータ転送することで、すなわち種類の相異なる情報を種類別に転送することで、さらに処理に必要とされるデータの記憶容量を小さくできる。このときのデータ転送手段２０の具体的構成を図９に示す。
【００４５】
データ転送手段２０は、領域選択手段Ａ２１、領域選択手段Ｂ２２に加えて前処理手段４００を備えて構成されている。このデータ転送手段２０は、配線５３を介して入力された画像データに対して、前処理手段４００において白線を認識するための画像データに対して輪郭強調のフィルタ処理を行ってエッジ部分を抽出し、エッジ部分の情報(画像データ)のみを領域選択手段Ａ２１、領域選択手段Ｂ２２を用いてシングルチップ１内のＲＡＭ(ローカルメモリ)１２に転送する。このときの領域選択手段Ａ２１は図４に示す領域選択手段Ａ２１と同一のものを使用できる。ただし、ライト制御手段２４においては、入力された画像データの座標だけではなく、エッジ部分の画像データか否かを判断する機能が追加されている。
【００４６】
本実施形態によれば、エッジ部分の画像データのみを処理に使用するという前提で画像データに関するデータを転送すると、画像処理装置に必要な記憶容量を削減できる。さらに、処理する領域を画面上で限定することによって、領域を限定することによるデータ量の削減とともにエッジ部分の情報に限定する方法とを組合わせた効果を得ることができる。すなわち、処理に必要とされるデータの記憶容量をさらに小さくできる。
【００４７】
前記各実施形態では、撮像素子３は画像データを単純に出力するデバイスとして扱ってきたが、図１に示す処理データ量削減手段３０を撮像素子３に付加する構成を採用できる。図１０を参照して、この構成の実施形態を説明する。
【００４８】
図１０において、本実施形態における画像処理装置においては、撮像素子３に領域選択手段５１０が設けられており、画像処理ＬＳＩ２にデータ転送手段５００が設けられている。すなわち、撮像素子３は、被写体からの光の情報を電荷の情報に変換して１画面分の画像データを順次生成する画像データ生成手段と、生成された画像データのうち複数の領域に属する画像データを選択する領域選択手段と、選択された複数の領域に属する画像データを、各領域を特定する領域情報とともにバス５２０を介して出力するデータ出力手段としての機能を備えて構成されている。
【００４９】
領域選択手段５１０は、図１１に示すように、領域Ａ６５０と領域Ｂ６５１の領域を設定するための処理を実行し、画面１００に属する領域Ａ６５０を設定するに際しては、領域Ａ６５０の始点座標６００、幅６０１、高さ６０２に関するデータを設定し、領域Ｂ６５１に関する領域設定を行うに際しては、領域Ｂ６５１の始点座標６１０、幅６１１、高さ６１２に関するデータを設定する。各領域Ａ６５０、領域Ｂ６５１に関する始点座標、幅、高さに関するデータが設定されると、これらの領域情報は、図１１(ｂ)に示す領域記憶手段６２０、６２１にそれぞれ記録される。各領域記憶手段６２０、６２１に記録されたデータはセンサデータリード手段６３０によって読み出され、各領域を特定する領域情報とともに配線６３２を介して出力される。この場合、撮像素子３では、領域記憶手段６２０に記憶された画像データに基づいて画像データを出力する機能を持ったセンサデータリード手段６３０によって出力データの制御が行われる。
【００５０】
具体的には、ＣＭＯＳセンサの受光素子の配列をＳＲＡＭに見立てて、ＳＲＡＭアクセスの回路をセンサデータリード手段６３０に加えればよいことになる。このときは、座標値をアドレスにしてデータの読み取り処理を行う。またＣＭＯＳセンサからの出力をセンサデータリード手段６３０において、撮像素子３外部への出力が必要なものと不必要なものとに分け、必要なデータのみを出力するように制御することもできる。さらに、有効データおよび無効データを両方出力し、出力されているデータが有効か無効かを識別する信号を出力するようにすることもできる。
【００５１】
例えば、撮像素子３から複数の領域に関するデータを出力する場合、図１２に示すように、有効データ信号５２１が出力される毎に、領域Ａを特定する領域データ５２３とともに領域Ａに属する画像データとしての出力データ５２２を出力し、領域Ｂを特定する領域データ５２３を出力するとともに領域Ｂに属する画像データ(出力データ)５２２を出力する。ここで、領域Ａ、領域Ｂを特定する領域データ５２３は、出力データ５２２としてのＤＡＴＡａ、ＤＡＴＡｂがどの領域に属する出力データかを判断する情報であればよく、座標情報、領域のＩＤなどの情報を使用できる。
【００５２】
このように、本実施形態においては、撮像素子３で生成された画像データのうち特定の領域に属する画像データのみを配線５２０を介して画像処理ＬＳＩ２に出力し、画像処理ＬＳＩ２のデータ転送手段５００によってバス４を介してシングルチップ１に転送するに際して、シングルチップ１のＲＡＭ１２に記録する必要のあるデータの選択を撮像素子３で行っているので、画像処理ＬＳＩ２はデータの転送機能を備えるだけでよい。
【００５３】
したがって、本実施形態によれば、撮像素子３にデータの選択機能を付加させることにより、処理に使用するデータのみを高速に読み出すことが可能になる。
【００５４】
次に、図１３を参照して、画像処理ＬＳＩ２に設けられたデータ転送手段５００を撮像素子３に付加したときの実施形態を説明する。
【００５５】
本実施形態における撮像素子３は、データ転送手段５００と領域選択手段５１０の機能を備えて構成されている。本実施形態における画像処理装置は、シングルチップ１と撮像素子３から構成されており、前記実施形態よりもより小型化が可能になる。そして撮像素子３とシングルチップ１との間はバス４で接続され、シングルチップ１のメモリ空間に撮像素子３のレジスタなどがマッピングされている。このとき、撮像素子３のレジスタとは、図１１の領域記憶手段６２０に対応したものである。また撮像素子３が有する受光素子の１つ１つをシングルチップ１のメモリ空間にマッピングして、撮像素子３を外部メモリとして扱うこともできる。すなわちＲＡＭ１２に記憶された画像データのアドレスを、ＣＰＵ１１のメモリ空間に関連づけてマッピングできる。これは、ＤＭＡ転送を可能にする回路または図１１で説明した回路を付加すれば可能である。
【００５６】
本実施形態における撮像素子３から画像データをシングルチップ１のＲＡＭ１２に転送するに際しては、図１４に示すように、露光時間７００の終了検知を条件に行う。すなわち、撮像素子３は１／６０ｓ〜１ｓ毎に画像を取り込んで画像データを生成するに際して、露光時間７００を終了する毎に画像データを生成するようになっており、画像素子３にはこの露光時間７００を検知する露光時間検知手段が設けられている。そして露光時間検知手段によって露光時間の終了が検知されると、撮像素子３からシングルチップ１に対して割込み７０１が発生するようになっている。シングルチップ１のＣＰＵ１１は撮像素子３からの割込み７０１に応答して、ＤＭ転送７０２の開始を撮像素子３に指令し、データ転送手段５００の処理により、撮像素子３からシングルチップ１のＲＡＭ１２へのＤＭＡ転送が開始される。この場合ライン毎に割込みを発生させたときには、１ライン毎にＤＭＡ転送が発生する。またフィールド毎に割込みを発生させた場合は、フィールド毎にＤＭＡ転送を起動する。なお、図１４で示されているタイミングチャートは、画像の１ライン毎と定義してもよいし、フィールド毎と定義してもよい。特に、ＣＭＯＳセンサの場合は、図１３はライン毎のタイミングチャートとみることが現在のＣＭＯＳセンサの動作では一般的である。
【００５７】
本実施形態に係る撮像素子３によれば、画面中の指定の領域の画像データを転送する機能を備えて１チップモジュール化されているので、小スペース化および低価格化できる。
【００５８】
前記各実施形態においては、画像データを転送するに際して、複数の領域の画像データを一度に転送するものに述べたが、生成された一画面分の画像データの中から複数の領域の画像データを選択し、選択された画像データを単一の領域に分け、各単一の領域の画像データを複数回に分けて転送することもできる。
【００５９】
また、生成された一画面分の画像データの中から単一の領域の画像データを複数個選択し、選択された画像データを単一の領域毎に複数回に分けて順次転送することもできる。この場合、シングルチップのメモリに、単一の領域の画像データを複数回に分けて転送する処理プログラムを格納することで実現できる。例えば、処理プログラムの実行により、一回の露光で得られた一画面分の画像データに対して、複数回に分けてメモリに転送する領域を設定し、撮像素子から順次シングルチップ内のメモリに転送することで実現できる。
【００６０】
また、画像データを単一の領域毎に複数回転送する場合には、データ転送手段の領域選択手段としては、単一の領域選択手段によって単一の領域を複数回選択するものも使用できる。
【００６１】
さらに、一画面分の画像データのうち複数の領域の画像データを複数回に分けて転送することは、撮像素子がメモリの働きも兼ねることになり、撮像素子で生成された画像データを全て転送し終わるまでは、撮像素子が画像データを保持することになる。
【００６２】
【発明の効果】
以上説明したように、本発明によれば、画像データを画像データ記憶手段に記憶する前に、演算処理に用いる画像データのうち入力画像データの量よりも少ない複数の画像データを選択し、選択された画像データのみを画像データ記憶手段に記憶するようにしたため、外部メモリを用いることなく、ローカルメモリとしての画像データ記憶手段の記憶容量を少なくでき、小スペース化および低価格化できる。
【図面の簡単な説明】
【図１】 本発明の一実施形態を示す画像処理装置のブロック構成図である。
【図２】 白線認識に使用する画像データの概念図である。
【図３】 図１に示す装置の作用を説明するフローチャートである。
【図４】 データ転送手段のブロック構成図である。
【図５】 ＤＭＡ転送の処理を説明するフローチャートである。
【図６】 ＤＭＡ転送で転送先となるメモリ空間の構成説明図である。
【図７】 本発明の他の実施形態を示す図であって、(ａ)はチップの画像表示例を示す図、(ｂ)はメモリ空間の構成図である。
【図８】 (ａ)、(ｂ)はエッジ部分を利用した記憶容量の削減方法を説明する図である。
【図９】 データ転送手段の他の実施形態を示すブロック構成図である。
【図１０】 本発明の第２実施形態を示す画像処理装置のブロック構成図である。
【図１１】 (ａ)、(ｂ)は領域選択手段の構成説明図である。
【図１２】 撮像素子の出力による出力データの構成を説明するタイムチャートである。
【図１３】 本発明の第３実施形態を示す画像処理装置のブロック構成図である。
【図１４】 図１３に示す装置の作用を説明するタイムチャートである。
【符号の説明】
１ シングルチップ
２ 画像処理ＬＳＩ
３ 撮像素子
４ バス
５ 撮像素子データ出力
６ データ転送
７ 設定
１１ ＣＰＵ
１２ ＲＡＭ
１３ ＲＯＭ
２０ データ転送手段
３０ 処理データ量削減手段
【発明の属する技術分野】
本発明は、画像処理装置に係り、特に、ワークメモリに記憶された画像データに基づいて演算処理を行うに好適な画像処理装置に関する。
【０００２】
【従来の技術】
撮像素子によって得られた画像データを処理する画像処理技術は、不審者の侵入や異常を検知する監視システムや車の安全走行を支援する車載システムなどに適用され始めている。これらのシステムで画像処理技術を適用するには、画像処理装置の小スペース化および低価格化が求められている。小スペース化および低価格化を実現するには、限られたＣＰＵ(中央演算装置)の演算能力とハードウエア物量で画像処理を高速に行う工夫が必要である。画像処理装置を小型化する方式としては、例えばシングルチップを採用する方法がある。シングルチップとは、演算処理を行うＣＰＵ、プログラムを格納するＲＯＭ(Read Only Memory)、ワークメモリとして使用するＲＡＭ(Random Access Memory)、およびネットワーク、シリアルポートなどシステム構築に必要となる機能が１チップのパッケージに集約されたものである。このシングルチップを使用すると、これまで複数のデバイスを使用して構成していたシステムを１チップとし、小スペース化および低価格化できる。
【０００３】
一方、シングルチップを用いて高速な画像処理を行うには、シングルチップ内のメモリを使用して画像処理を行う必要がある。それは、ＣＰＵからシングルチップの外にある外部メモリへのアクセスがシングルチップ内部のローカルメモリ(ワークメモリ)へのアクセスに比べて一般的に遅いからである。そのため、外部メモリを使用して画像処理を行った場合、実用的な処理能力を出すことは困難となる。例えば、車載システムに採用されている白線認識機能については、ビデオレートでの認識が求められており、高速処理が必要である。しかし、外部メモリを使用して処理を行ったのでは要求性能を満足することは困難である。また自動車の制御などに用いられる耐環境型のシングルチップでは、シングルチップ内にあるメモリ容量は小さいので、高速処理を行うことのできるデータ量が限られている。
【０００４】
そこで、特開２００１−１０１３９６号公報に記載されているように、外部メモリに格納された画像データをプロセッサと１チップに統合されたローカルメモリにＤＭＡ(Direct Memory Access)転送で送り、高速に画像処理する方法が提案されている。また、特開平６−４６５１号公報に記載されているように、画像処理を高速に行うために、処理に使用する領域のデータだけを転送するようにしたものが提案されている。これら従来技術においては、どちらも外部メモリに画像データを格納しておいて、必要な画像データを必要になったときにローカルメモリに転送して処理する構成を採用している。
【０００５】
【発明が解決しようとする課題】
従来技術のうち前者のものでは、外部メモリに格納されている画像データの中から、画像処理に必要な画像データのみをローカルメモリに転送し、高速処理を実現している。
【０００６】
具体的には、撮像素子で得られた画像データを配線を介して画像処理用ＬＳＩに入力し、画像処理用ＬＳＩで処理された画像データをデータ転送手段によって、バスを介して外部メモリに転送し、外部メモリに格納された画像データをシングルチップのローカルメモリに転送するようになっている。この場合、１画面分の画像データを外部メモリに転送し、外部メモリに格納された画像データのうち必要な画像データのみをシングルチップのローカルメモリに転送し、高速な画像処理を行うようになっている。画像データを外部メモリに転送するに際して、１画面分の画像データをそのまま転送する方法を採用しているが、車載用画像処理装置において、道路上の白線を認識することを考慮すると、画面全体に白線が現われるわけではないので、白線が出現する領域の画像データを外部メモリに転送することも考えられる。しかし、従来技術では、画像処理アルゴリズムや車位置の変化によって白線を探索する領域が変わる可能性があることを考慮し、１画面全体の画像データを外部メモリに格納する構成を採用している。
【０００７】
しかし、このような構成では、外部メモリが十分な容量である場合には問題は発生しないが、低価格化を重視した装置では、外部メモリの容量が十分でないか、または、全くない場合も考えなければならない。このとき、シングルチップ内のローカルメモリが十分な容量を備えていない場合、画像データを格納しておく記憶手段がなくなるため、画像処理システムを構築することはできない。実際に、現在使用できるシングルチップでは、ローカルメモリの容量が小さいために、記憶手段としてのローカルメモリだけを搭載した画像処理装置で実用化できるアプリケーションは限られている。
【０００８】
一方、後者の従来技術においては、画像処理に使用するデータのみを転送して高速な処理を行うようにしているが、原画像に関するデータを格納するに十分なメモリがない場合には、画像データをメモリに格納できなくなり、画像処理システムを構築することはできない。
【０００９】
本発明の課題は、外部メモリを用いることなくローカルメモリとしての画像データ記憶手段を小容量化できる画像処理装置と、この画像処理装置に小容量化しやすい画像データを供給する撮像素子とを提供することである。
【００１０】
【課題を解決するための手段】
本発明は、上記課題を解決するために、転送による画像データを記憶する画像データ記憶手段と、前記画像データ記憶手段に記憶された画像データに基づいて演算処理を行う演算処理手段と、画像データを入力するとともに、入力した画像データのうち入力画像データの量よりも少ない複数の画像データを前記画像データ記憶手段に転送するデータ転送手段とを備え、前記データ転送手段が、前記複数の画像データとして、前記演算処理手段で演算処理の対象とする画面上の複数領域内の画像データを転送する画像処理装置を提案する。
【００１１】
本発明は、また、転送による画像データを記憶する画像データ記憶手段と、前記画像データ記憶手段に記憶された画像データに基づいて演算処理を行う演算処理手段と、被写体からの光の情報を電荷の情報に変換して一画面分の画像データを順次生成する撮像素子と、前記撮像素子から画像データを入力するとともに、入力した画像データのうち入力画像データの量よりも少ない複数の画像データを前記画像データ記憶手段に転送するデータ転送手段とを備え、前記画像データ記憶手段の物理的な記憶容量は、前記撮像素子から出力される画像データの量よりも少なく設定され、前記データ転送手段が、前記複数の画像データとして、前記演算処理手段で演算処理の対象とする画面上の複数領域内の画像データを転送する画像処理装置を提案する。
【００１２】
前記データ転送手段は、前記演算処理手段で演算処理の対象とする画面上の複数領域内の画像データを単一の領域の画像データ毎に複数回に分けて転送することを特徴とする画像処理装置。
【００１３】
前記データ転送手段は、前記複数の画像データとして、種類の相異なる画像データを種類別に転送してもよい。
【００１４】
前記データ転送手段は、画像データに対して輪郭強調のフィルタ処理によりエッジ部分の画像データを抽出し、画像中の濃度変化が一定以上となる複数のエッジ部分の画像データを転送するとともに、前記複数のエッジ部分の座標情報を転送することもできる。
【００１５】
前記データ転送手段は、画像データに対して輪郭強調のフィルタ処理によりエッジ部分の画像データを抽出し、前記演算処理手段で演算処理の対象とする画面上の複数領域内の画像データのうち画像中の濃度変化が一定以上となる複数のエッジ部分の画像データを転送するとともに、前記複数のエッジ部分の座標情報を転送することも可能である。
【００１６】
本発明は、さらに、転送による画像データを記憶する画像データ記憶手段と、前記画像データ記憶手段に記憶された画像データに基づいて演算処理を行う演算処理手段と、画像データを入力するとともに、入力した画像データのうち入力画像データの量よりも少ない複数の画像データを前記画像データ記憶手段に転送するデータ転送手段とを備え、前記データ転送手段が、前記複数の画像データとして、前記演算処理手段で演算処理の対象とする画面上の複数領域内の画像データを転送する画像処理装置に前記転送による画像データを供給する撮像素子であって、被写体からの光の情報を電荷の情報に変換して一画面分の画像データを順次生成する画像データ生成手段と、前記画像データ生成手段の生成による一画面分の画像データのうち前記複数領域に属する画像データを選択する領域選択手段とを備え、前記画像処理装置に転送する撮像素子を提案する。
【００１７】
前記領域選択手段により選択された複数の領域に属する画像データを、前記複数の領域を特定する領域情報とともに出力するデータ出力手段を備えることができる。
【００１８】
画像データを記憶する画像データ記憶手段に対して、前記データ出力手段の出力による画像データをＤＭＡ転送方法またはＳＲＡＭアクセスによる転送方法によって転送するデータ転送手段を備えるようにしてもよい。
前記一画面分の画像データを生成するための露光時間終了を検知する露光時間検知手段と、前記露光時間検知手段により露光時間終了の検知を条件に、画像データを記憶する画像データ記憶手段に対して、前記データ出力手段の出力による画像データを転送するデータ転送手段とを備えることも可能である。
【００１９】
この場合、前記露光時間検知手段により露光時間終了が検知されたときに、画像データを転送するための転送要求を転送先に出力する転送要求出力手段を備える。
【００２０】
上記いずれかの撮像素子において、前記画像データ生成手段の生成による画像データを一画面分の画素に対応づけて記憶する画像データ記憶手段を備え、前記画像データ記憶手段に記憶された画像データのアドレスを、前記画像データを演算処理するための演算処理手段のメモリ空間に関連づけてマッピングすることができる。
【００２１】
本発明は、転送による画像データを記憶する画像データ記憶手段と、前記画像データ記憶手段に記憶された画像データに基づいて演算処理を行う演算処理手段と、画像データを入力するとともに、入力した画像データのうち入力画像データの量よりも少ない複数の画像データを前記画像データ記憶手段に転送するデータ転送手段とを備え、前記データ転送手段が、前記複数の画像データとして、前記演算処理手段で演算処理の対象とする画面上の複数領域内の画像データを転送する画像処理装置に前記転送による画像データを供給す る撮像素子であって、被写体からの光の情報を電荷の情報に変換して一画面分の画像データを順次生成する画像データ生成手段と、前記画像データ生成手段の生成による一画面分の画像データのうち前記複数領域に属する画像データを単一の領域毎に順次選択する領域選択手段とを備え、前記画像処理装置に転送する撮像素子を提案する。
【００２２】
本発明は、また、転送による画像データを記憶する画像データ記憶手段と、前記画像データ記憶手段に記憶された画像データに基づいて演算処理を行う演算処理手段と、画像データを入力するとともに、入力した画像データのうち入力画像データの量よりも少ない複数の画像データを前記画像データ記憶手段に転送するデータ転送手段とを備え、前記データ転送手段が、前記複数の画像データとして、前記演算処理手段で演算処理の対象とする画面上の複数領域内の画像データを転送する画像処理装置に前記転送による画像データを供給する撮像素子であって、被写体からの光の情報を電荷の情報に変換して一画面分の画像データを順次生成する画像データ生成手段と、前記画像データ生成手段の生成による一画面分の画像データのうち複数の領域に属する画像データを単一の領域毎に順次選択する領域選択手段と、前記領域選択手段により選択された画像データを保持するとともに、保持された画像データを単一の領域毎に順次転送するデータ転送手段とを備え、前記画像処理装置に転送する撮像素子を提案する。
【００２３】
上記手段によれば、画像データを画像データ記憶手段に記憶する前に、演算処理に用いる画像データのうち入力画像データの量よりも少ない複数の画像データを選択し、選択された画像データのみを画像データ記憶手段に記憶するので、外部メモリを用いることなく、ローカルメモリ(ワークメモリ)としての画像データ記憶手段の記憶容量を少なくでき、小スペース化および低価格化できる。また、画像データ記憶手段に記憶される画像データの量が減るので、画像データを転送するバスの負荷が軽減され、その分、演算処理手段(ＣＰＵ)による高速処理が可能になる。さらに画像データ記憶手段への書き込み処理を最小限に削減できる。
【００２４】
また、画像データを転送する場合、画面上の複数領域の画像データまたは画像中の濃度変化が一定以上となる複数のエッジ部分の画像データを転送すると、データ量を削減できる。さらに、画面上の複数領域の画像データのうち画像中の濃度変化が一定以上となる複数のエッジ部分の画像データを座標情報とともに転送すると、さらにデータ量を減らすことができる。
【００２５】
また、本発明に係る撮像素子によれば、１画面分の画像データのうち複数の領域に属する画像データを選択して出力するようにしているため、撮像素子によって得られた画像データを転送するときの転送速度を高めることができる。さらに、撮像素子に画像データの選択・転送機能を付加して１チップモジュールとすれば、小スペース化および低価格化できる。
【００２６】
【発明の実施の形態】
次に、図面を参照して、本発明の一実施形態を説明する。図１は、本発明の一実施形態を示す画像処理装置であって、道路の白線を認識して自車位置を同定する画像処理装置のブロック構成図である。車載システムとしての画像処理装置は、小スペース化および低価格化が実用化の必須条件であり、しかも高い安全性が求められている自動車に適用されることを考慮し、本実施形態では、耐環境型のシングルチップを採用する。さらに、シングルチップを採用し、シングルチップ内の限られたローカルメモリを使用した画像処理装置によって、小さいハードウエア物量で高速な画像処理を実現する。図１を参照して、具体的な内容を説明する。
【００２７】
図１において、画像処理装置は、シングルチップ１、画像処理ＬＳＩ２、撮像素子３を備えて構成されており、シングルチップ１は画像処理ＬＳＩ２とバス４を介して接続され、画像処理ＬＳＩ２は撮像素子３に接続されている。
【００２８】
撮像素子３は、外界からの光、すなわち被写体からの光の情報を電荷の情報に変換し、１画面分の画像データを順次、例えば、１／６０ｓ毎にデジタルの画像データを生成する画像データ生成手段としての機能を備えており、一般的には、ＣＣＤ(Charge Coupled Device)とＣＭＯＳ(Complementary Metal-Oxide Semiconductor)のセンサを用いて構成されている。撮像素子３で生成されてデータ化された画像データは、撮像素子データ出力５として画像処理ＬＳＩ２に入力される。画像処理ＬＳＩ２では、入力された画像データが画像処理され、画像処理された画像データのうち特定の複数の画像データが処理データ量削減手段３０によって選択される。処理データ量削減手段３０によって転送すべき画像データを選択すると、データ転送量を削減する処理が行われる。
【００２９】
処理データ量削減手段３０によって選択された画像データは、データ転送手段２０によって、バス４を介してシングルチップ１にデータ転送６されるようになっている。この場合、撮像素子３により、図２に示すように、画面１００に関する１画面分の画像データが順次生成され、画像データが画像処理ＬＳＩ２に入力されたときに、領域１００よりも小さい領域Ａ１２０、領域Ｂ１３０内に属する画像データをバス４を介してシングルチップ１に転送する。領域Ａ１２０、領域Ｂ１３０の設定７は、シングルチップ１のＲＯＭ１３に格納されたプログラムによって決定され、この決定に従い制御信号がシングルチップ１からバス４を介して画像処理ＬＳＩ２に入力され、領域Ａ１２０、領域Ｂ１３０が設定される。
【００３０】
シングルチップ１は、画像データに基づいて演算処理を行う演算処理手段としてのＣＰＵ１１、ワークメモリまたはローカルメモリであって、転送による画像データを記憶する画像データ記憶手段としてのＲＡＭ１２、プログラムなどを記憶するＲＯＭ１３を備えて構成されており、ＣＰＵ１１は、ＲＡＭ１１に記憶された画像データを処理して、道路上の白線の認識を行うようになっている。白線を認識するプログラムは、ＲＯＭ１３に格納されており、ＲＯＭ１３に格納されたプログラムはＲＡＭ１２に格納された画像データと同様に、ＣＰＵ１１から高速なアクセスが可能になっている。
【００３１】
上記構成における画像処理装置においては、図３に示すように、まず、撮像素子３で被写体からの光を基に画像データを生成するために画像を取得し(ステップＳ１０)、生成した１画面分の画像データを画像処理ＬＳＩ２に順次転送し、画像処理ＬＳＩ２において、画像データを記憶するに先立って、処理データ量を削減する処理を行う(ステップＳ１１)。この処理データ量削減処理とは、シングルチップ１内のＲＡＭ１２に記録する画像データを処理するに必要となるデータに限定する処理のことであり、本実施形態では、図２に示す領域Ａ１２０、領域Ｂ１３０に属する画像データのみを選択して転送する処理のことである。領域Ａ１２０、領域Ｂ１３０にはそれぞれ白線１０１に関する画像データが含まれており、これらの画像データがシングルチップ１に転送されると、これらの画像データはシングルチップ１のＲＡＭ１２に格納される(ステップＳ１２)。このあと、ＲＡＭ１２に記憶された画像データに基づいてＣＰＵ１１による演算処理が開始され、白線１０１を認識する処理が実行される(ステップＳ１３)。
【００３２】
このように、本実施形態においては、画像データをＲＡＭ１２に格納する前に、撮像素子３から入力された画像データの量よりも少ない画像データを選択してデータ量を削減しているため、従来技術のように、画像データを全て格納する外部メモリが不要となり、小さいハードウエア物量でシステムを構成でき、ハードウエア物量の削減およびバス４の負荷を低減することが可能になる。
【００３３】
なお、本実施形態においては、処理データ量削減処理とデータ格納処理とを別々に処理しているが、実際には、入力データを１画像データずつ処理するに必要なデータか不必要なデータかを選別してＲＡＭ１２に書き込む処理を行っているため、パイプライン処理となっている。
【００３４】
次に、図４を参照して、データ転送手段２０の具体的構成を説明する。図４において、データ転送手段２０は、図２に示す領域Ａ１２０と領域Ｂ１３０に属する画像データをシングルチップ１のＲＡＭ１２に転送する機能を備えているとともに、領域Ａ１２０に属する画像データを選択する領域選択手段Ａ２１と、領域Ｂ１３０に属する画像データを選択する領域選択手段Ｂ２２を備えて構成されている。各領域選択手段Ａ２１、領域選択手段Ｂ２２には、配線５１を介して撮像素子３の出力による画像データが入力されるようになっており、領域選択手段Ａ２１と領域選択手段Ｂ２２は同一の機能であるため、ここでは、領域選択手段Ａ２１についてのみ説明する。配線５１を介して入力された画像データは、ライト制御手段２４で制御された書き込み信号によってデータバッファ２５に書き込まれる。ここで、ライト制御手段２４は、配線５１を介して入力された画像データの座標位置を同定する回路を保持しており、入力された画像データが領域Ａ１２０内の画像データであるか否かを判別する機能を備えて構成されている。そして、入力された画像データが領域Ａ１２０内の画像データであった場合は、データバッファ２５への書き込みを許可し、書き込み処理が行われる。その結果として、データバッファ２５には、領域Ａ１２０内の画像データのみが記録される。そしてデータバッファ２５に、ある一定数以上の画像データが格納されると、シングルチップ１内のＲＡＭ１２への転送要求がデータバッファ２５から発生し、ＲＡＭ１２への画像データの転送が開始される。このとき、リード制御手段２３は、シングルチップ１からのＤＭＡ転送に必要な読み出し制御を行い、データバッファ２５に格納された画像データを読み出す処理を制御する。そして読み出された画像データはＤＭＡ転送によってＲＡＭ１２へ転送される。
【００３５】
データバッファ２５からシングルチップ１に対して転送要求が出力されると、この転送要求はシングルチップ１のＣＰＵ１１に対して割込みとして処理される。図５を参照して、このときの処理フローを説明する。
【００３６】
まず、データバッファ２５からシングルチップ１のＣＰＵ１１に対して転送要求が出力されると、ＣＰＵ１１はデータバッファ２５からの転送要求を受けて、割込みを発生させる(ステップＳ２０)。ここで、シングルチップ１内のＣＰＵ１１は、割込み要因の解析を行う(ステップＳ２１)。すなわち、データバッファ２５に格納された画像データの数が一定数以上になったことに起因してデータバッファ２５から転送要求が入力された否かの解析を行い、データバッファ２５に格納された画像データの数が一定数以上になったことに起因して発生した転送要求のときには、転送元アドレスとしてデータバッファ２５の出力アドレスを設定する(ステップＳ２２)。次に、データの転送先アドレスを設定する(ステップＳ２３)。ここでは、図６に示すように、ＲＡＭ１２のメモリ空間１４０におけるメモリ空間Ａ１２１が領域Ａ１２０のデータを格納する領域と仮定し、メモリ空間Ａ１２１の先頭アドレスを転送先アドレスとして設定する。転送元アドレスの設定と転送先アドレスの設定が終了すると、データバッファ２５に格納されているデータの総数からＤＭＡ転送の転送回数を決定し、転送回数の設定を行う(ステップＳ２４)。最後に、ＤＭＡ転送を起動し(ステップＳ２５)、データバッファ２５の画像データをシングルチップ１のＲＡＭ１２のメモリ空間１２１へＤＡＭ転送する。これらの処理は、１画面分の画像データに関する画像処理が終了するまで繰り返し続けられる。
【００３７】
なお、領域選択手段Ｂ２２のデータバッファが転送要求を出した場合も、同様の処理フローによってＤＭＡ転送を実施する。この処理は、１画面分の画像処理が終了するまで繰り返し続けられる。
【００３８】
本実施形態によれば、処理に必要な画像データのみをシングルチップ１内のＲＡＭ(ローカルメモリ)１２に転送するので、データの記憶容量を小さくできる。また、転送量も小さいため、バスの負荷を低減し、ＣＰＵ１１の処理能力の低下を防止できる。さらに、複数のデータ転送手段を備えているため、複数の領域のデータを演算しやすいようにメモリ空間に転送することが可能である。これは、転送後の白線認識処理時に、データの並び替えなどの処理を行う必要がなく、演算量を削減できる。
【００３９】
前記実施形態では、シングルチップ１内のＲＡＭ１２に転送する画像データとして２つの領域に属する画像データについて述べたが、３つ以上の領域に属する画像データを転送する構成を採用することもできる。図７を参照して、３つ以上の領域に属する画像データを転送するときの実施形態を説明する。図７における実施形態では、半導体部品のリード線３１０の部分の検査を想定しており、リード線３１０の検査は、広い視野を用いながらも高い計測精度が要求されるアプリケーションである。リード線３１０を検査する画像処理装置は、計測精度を高くするために、画像３００を高精細画像で取得するようになっている。この画像３００の中には、チップ３０１の位置決めを行うためにチップ３０１に付されたマーカー３１１と、検査対象であってチップ３０１の端部から引き出されたリード線３１０がある。この検査の場合、画面全体の画像データを使用する訳ではなく、マーカー３１１とリード線３１０が存在する可能性のある領域３２０、３２１、３２２、３２３に属する画像データのみを使用する。これらの領域は、時間やロッド、部品によってばらつくので、一定ではなく、プログラムによって設定する必要がある。
【００４０】
本実施形態では、画像処理に使用する領域３２０、３２１、３２２、３２３に対応したメモリ空間３４１、３４２、３４３、３４４がＲＡＭ１２のメモリ空間３４０上に確保されており、それぞれの領域に属する画像データは各領域に対応したデータ転送手段によって、画像処理に必要な画像データとしてシングルチップ１上のＲＡＭ１２に転送される。この場合、ＣＰＵ１１において各リード線３１０の長さが認識され、リード線３１０の良否が判定される。
【００４１】
本実施形態によれば、高精細の画像データを使用しているにも関わらず、処理に必要な画像データのみを転送するようにしているため、小さい記憶容量で処理に必要なデータをＲＡＭに記録できる。また転送する領域の範囲をプログラムで制御することにより、任意の領域に属する画像データの転送が可能になる。さらに、各領域にはデータ転送手段が複数設けられているため、各データ転送手段を互いに重複させることも可能であり、アプリケーションに柔軟に適用できる。
【００４２】
本実施形態によれば、通常であれば大きな記憶容量が必要となる高精細画像を使用するアプリケーションにも、必要最小限の記憶容量しか持たない装置の適用が可能になる。
【００４３】
前記各実施形態においては、ＲＡＭ１２に記憶するデータ量を削減するに際して、処理する領域を限定することによって実現する方法を述べたが、以下の実施形態では、図８に示すように、白線のエッジ部分の情報を利用したデータ削減方法について説明する。
【００４４】
図８(ａ)に示すように、撮像素子３の生成による１画面分の画像データのうち領域１１０に属する画像データを基に白線を認識するに際しては、白線１０２を認識するために用いられた画像データに対して輪郭強調のフィルタ処理を行うと、白線１０２の両側をエッジ部分として抽出することが可能になる。すなわち、画像中の濃度変化(輝度変化)が一定以上となるエッジ部分の画像データを抽出することが可能になる。白線１０２の認識処理は、白線１０２の持つエッジ情報を利用して行っているため、処理にはエッジ部分の情報(画像データ)のみを使用している場合が多い。このエッジ部分の情報のみを認識処理に使用すると、記憶するデータ量は、領域１１０に属する画像データを全て記憶するよりも小さい(少ない)データ量でよいことになる。さらに、記録する情報としては、エッジ部分と判断された位置の座標情報を用いることもできる。図８(ｂ)では、エッジ部分の画像データのデータ転送処理に加えて、領域Ａ１２０、領域Ｂ１３０を特定する座標情報とを組合わせてデータ転送することで、すなわち種類の相異なる情報を種類別に転送することで、さらに処理に必要とされるデータの記憶容量を小さくできる。このときのデータ転送手段２０の具体的構成を図９に示す。
【００４５】
データ転送手段２０は、領域選択手段Ａ２１、領域選択手段Ｂ２２に加えて前処理手段４００を備えて構成されている。このデータ転送手段２０は、配線５３を介して入力された画像データに対して、前処理手段４００において白線を認識するための画像データに対して輪郭強調のフィルタ処理を行ってエッジ部分を抽出し、エッジ部分の情報(画像データ)のみを領域選択手段Ａ２１、領域選択手段Ｂ２２を用いてシングルチップ１内のＲＡＭ(ローカルメモリ)１２に転送する。このときの領域選択手段Ａ２１は図４に示す領域選択手段Ａ２１と同一のものを使用できる。ただし、ライト制御手段２４においては、入力された画像データの座標だけではなく、エッジ部分の画像データか否かを判断する機能が追加されている。
【００４６】
本実施形態によれば、エッジ部分の画像データのみを処理に使用するという前提で画像データに関するデータを転送すると、画像処理装置に必要な記憶容量を削減できる。さらに、処理する領域を画面上で限定することによって、領域を限定することによるデータ量の削減とともにエッジ部分の情報に限定する方法とを組合わせた効果を得ることができる。すなわち、処理に必要とされるデータの記憶容量をさらに小さくできる。
【００４７】
前記各実施形態では、撮像素子３は画像データを単純に出力するデバイスとして扱ってきたが、図１に示す処理データ量削減手段３０を撮像素子３に付加する構成を採用できる。図１０を参照して、この構成の実施形態を説明する。
【００４８】
図１０において、本実施形態における画像処理装置においては、撮像素子３に領域選択手段５１０が設けられており、画像処理ＬＳＩ２にデータ転送手段５００が設けられている。すなわち、撮像素子３は、被写体からの光の情報を電荷の情報に変換して１画面分の画像データを順次生成する画像データ生成手段と、生成された画像データのうち複数の領域に属する画像データを選択する領域選択手段と、選択された複数の領域に属する画像データを、各領域を特定する領域情報とともにバス５２０を介して出力するデータ出力手段としての機能を備えて構成されている。
【００４９】
領域選択手段５１０は、図１１に示すように、領域Ａ６５０と領域Ｂ６５１の領域を設定するための処理を実行し、画面１００に属する領域Ａ６５０を設定するに際しては、領域Ａ６５０の始点座標６００、幅６０１、高さ６０２に関するデータを設定し、領域Ｂ６５１に関する領域設定を行うに際しては、領域Ｂ６５１の始点座標６１０、幅６１１、高さ６１２に関するデータを設定する。各領域Ａ６５０、領域Ｂ６５１に関する始点座標、幅、高さに関するデータが設定されると、これらの領域情報は、図１１(ｂ)に示す領域記憶手段６２０、６２１にそれぞれ記録される。各領域記憶手段６２０、６２１に記録されたデータはセンサデータリード手段６３０によって読み出され、各領域を特定する領域情報とともに配線６３２を介して出力される。この場合、撮像素子３では、領域記憶手段６２０に記憶された画像データに基づいて画像データを出力する機能を持ったセンサデータリード手段６３０によって出力データの制御が行われる。
【００５０】
具体的には、ＣＭＯＳセンサの受光素子の配列をＳＲＡＭに見立てて、ＳＲＡＭアクセスの回路をセンサデータリード手段６３０に加えればよいことになる。このときは、座標値をアドレスにしてデータの読み取り処理を行う。またＣＭＯＳセンサからの出力をセンサデータリード手段６３０において、撮像素子３外部への出力が必要なものと不必要なものとに分け、必要なデータのみを出力するように制御することもできる。さらに、有効データおよび無効データを両方出力し、出力されているデータが有効か無効かを識別する信号を出力するようにすることもできる。
【００５１】
例えば、撮像素子３から複数の領域に関するデータを出力する場合、図１２に示すように、有効データ信号５２１が出力される毎に、領域Ａを特定する領域データ５２３とともに領域Ａに属する画像データとしての出力データ５２２を出力し、領域Ｂを特定する領域データ５２３を出力するとともに領域Ｂに属する画像データ(出力データ)５２２を出力する。ここで、領域Ａ、領域Ｂを特定する領域データ５２３は、出力データ５２２としてのＤＡＴＡａ、ＤＡＴＡｂがどの領域に属する出力データかを判断する情報であればよく、座標情報、領域のＩＤなどの情報を使用できる。
【００５２】
このように、本実施形態においては、撮像素子３で生成された画像データのうち特定の領域に属する画像データのみを配線５２０を介して画像処理ＬＳＩ２に出力し、画像処理ＬＳＩ２のデータ転送手段５００によってバス４を介してシングルチップ１に転送するに際して、シングルチップ１のＲＡＭ１２に記録する必要のあるデータの選択を撮像素子３で行っているので、画像処理ＬＳＩ２はデータの転送機能を備えるだけでよい。
【００５３】
したがって、本実施形態によれば、撮像素子３にデータの選択機能を付加させることにより、処理に使用するデータのみを高速に読み出すことが可能になる。
【００５４】
次に、図１３を参照して、画像処理ＬＳＩ２に設けられたデータ転送手段５００を撮像素子３に付加したときの実施形態を説明する。
【００５５】
本実施形態における撮像素子３は、データ転送手段５００と領域選択手段５１０の機能を備えて構成されている。本実施形態における画像処理装置は、シングルチップ１と撮像素子３から構成されており、前記実施形態よりもより小型化が可能になる。そして撮像素子３とシングルチップ１との間はバス４で接続され、シングルチップ１のメモリ空間に撮像素子３のレジスタなどがマッピングされている。このとき、撮像素子３のレジスタとは、図１１の領域記憶手段６２０に対応したものである。また撮像素子３が有する受光素子の１つ１つをシングルチップ１のメモリ空間にマッピングして、撮像素子３を外部メモリとして扱うこともできる。すなわちＲＡＭ１２に記憶された画像データのアドレスを、ＣＰＵ１１のメモリ空間に関連づけてマッピングできる。これは、ＤＭＡ転送を可能にする回路または図１１で説明した回路を付加すれば可能である。
【００５６】
本実施形態における撮像素子３から画像データをシングルチップ１のＲＡＭ１２に転送するに際しては、図１４に示すように、露光時間７００の終了検知を条件に行う。すなわち、撮像素子３は１／６０ｓ〜１ｓ毎に画像を取り込んで画像データを生成するに際して、露光時間７００を終了する毎に画像データを生成するようになっており、画像素子３にはこの露光時間７００を検知する露光時間検知手段が設けられている。そして露光時間検知手段によって露光時間の終了が検知されると、撮像素子３からシングルチップ１に対して割込み７０１が発生するようになっている。シングルチップ１のＣＰＵ１１は撮像素子３からの割込み７０１に応答して、ＤＭ転送７０２の開始を撮像素子３に指令し、データ転送手段５００の処理により、撮像素子３からシングルチップ１のＲＡＭ１２へのＤＭＡ転送が開始される。この場合ライン毎に割込みを発生させたときには、１ライン毎にＤＭＡ転送が発生する。またフィールド毎に割込みを発生させた場合は、フィールド毎にＤＭＡ転送を起動する。なお、図１４で示されているタイミングチャートは、画像の１ライン毎と定義してもよいし、フィールド毎と定義してもよい。特に、ＣＭＯＳセンサの場合は、図１３はライン毎のタイミングチャートとみることが現在のＣＭＯＳセンサの動作では一般的である。
【００５７】
本実施形態に係る撮像素子３によれば、画面中の指定の領域の画像データを転送する機能を備えて１チップモジュール化されているので、小スペース化および低価格化できる。
【００５８】
前記各実施形態においては、画像データを転送するに際して、複数の領域の画像データを一度に転送するものに述べたが、生成された一画面分の画像データの中から複数の領域の画像データを選択し、選択された画像データを単一の領域に分け、各単一の領域の画像データを複数回に分けて転送することもできる。
【００５９】
また、生成された一画面分の画像データの中から単一の領域の画像データを複数個選択し、選択された画像データを単一の領域毎に複数回に分けて順次転送することもできる。この場合、シングルチップのメモリに、単一の領域の画像データを複数回に分けて転送する処理プログラムを格納することで実現できる。例えば、処理プログラムの実行により、一回の露光で得られた一画面分の画像データに対して、複数回に分けてメモリに転送する領域を設定し、撮像素子から順次シングルチップ内のメモリに転送することで実現できる。
【００６０】
また、画像データを単一の領域毎に複数回転送する場合には、データ転送手段の領域選択手段としては、単一の領域選択手段によって単一の領域を複数回選択するものも使用できる。
【００６１】
さらに、一画面分の画像データのうち複数の領域の画像データを複数回に分けて転送することは、撮像素子がメモリの働きも兼ねることになり、撮像素子で生成された画像データを全て転送し終わるまでは、撮像素子が画像データを保持することになる。
【００６２】
【発明の効果】
以上説明したように、本発明によれば、画像データを画像データ記憶手段に記憶する前に、演算処理に用いる画像データのうち入力画像データの量よりも少ない複数の画像データを選択し、選択された画像データのみを画像データ記憶手段に記憶するようにしたため、外部メモリを用いることなく、ローカルメモリとしての画像データ記憶手段の記憶容量を少なくでき、小スペース化および低価格化できる。
【図面の簡単な説明】
【図１】 本発明の一実施形態を示す画像処理装置のブロック構成図である。
【図２】 白線認識に使用する画像データの概念図である。
【図３】 図１に示す装置の作用を説明するフローチャートである。
【図４】 データ転送手段のブロック構成図である。
【図５】 ＤＭＡ転送の処理を説明するフローチャートである。
【図６】 ＤＭＡ転送で転送先となるメモリ空間の構成説明図である。
【図７】 本発明の他の実施形態を示す図であって、(ａ)はチップの画像表示例を示す図、(ｂ)はメモリ空間の構成図である。
【図８】 (ａ)、(ｂ)はエッジ部分を利用した記憶容量の削減方法を説明する図である。
【図９】 データ転送手段の他の実施形態を示すブロック構成図である。
【図１０】 本発明の第２実施形態を示す画像処理装置のブロック構成図である。
【図１１】 (ａ)、(ｂ)は領域選択手段の構成説明図である。
【図１２】 撮像素子の出力による出力データの構成を説明するタイムチャートである。
【図１３】 本発明の第３実施形態を示す画像処理装置のブロック構成図である。
【図１４】 図１３に示す装置の作用を説明するタイムチャートである。
【符号の説明】
１ シングルチップ
２ 画像処理ＬＳＩ
３ 撮像素子
４ バス
５ 撮像素子データ出力
６ データ転送
７ 設定
１１ ＣＰＵ
１２ ＲＡＭ
１３ ＲＯＭ
２０ データ転送手段
３０ 処理データ量削減手段
Claims (4)
- 転送による画像データを記憶する画像データ記憶手段と、
前記画像データ記憶手段に記憶された画像データに基づいて演算処理を行う演算処理手段と、
被写体からの光の情報を電荷の情報に変換して一画面分の画像データを順次生成する撮像素子と、
前記撮像素子から画像データを入力するとともに、入力した画像データのうち入力画像データの量よりも少ない複数の画像データを前記画像データ記憶手段に転送するデータ転送手段とを備え、
前記画像データ記憶手段の物理的な記憶容量は、前記撮像素子から出力される画像データの量よりも少なく設定され、
前記データ転送手段が、前記複数の画像データとして、前記演算処理手段で演算処理の対象とする画面上の複数領域内の種類が相異なる画像データを種類別に転送することを特徴とする画像処理装置。 - 請求項１に記載の画像処理装置において、
前記データ転送手段は、前記演算処理手段で演算処理の対象とする画面上の複数領域内の画像データを単一の領域の画像データ毎に複数回に分けて転送することを特徴とする画像処理装置。 - 請求項１または２に記載の画像処理装置において、
前記データ転送手段は、画像データに対して輪郭強調のフィルタ処理によりエッジ部分の画像データを抽出し、画像中の濃度変化が一定以上となる複数のエッジ部分の画像データを転送するとともに、前記複数のエッジ部分の座標情報を転送することを特徴とする画像処理装置。 - 請求項１ないし３のいずれか一項に記載の画像処理装置において、
前記データ転送手段は、画像データに対して輪郭強調のフィルタ処理によりエッジ部分の画像データを抽出し、前記演算処理手段で演算処理の対象とする画面上の複数領域内の画像データのうち画像中の濃度変化が一定以上となる複数のエッジ部分の画像データを転送するとともに、前記複数のエッジ部分の座標情報を転送することを特徴とする画像処理装置。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001306528A JP3932379B2 (ja) | 2001-10-02 | 2001-10-02 | 画像処理装置と撮像素子 |
| US10/101,052 US7110613B2 (en) | 2001-10-02 | 2002-03-20 | Image processing apparatus and image pickup device |
| EP02008207A EP1300799A3 (en) | 2001-10-02 | 2002-04-17 | Image processing apparatus and image pickup device |
| CNB021057923A CN1318977C (zh) | 2001-10-02 | 2002-04-18 | 图象处理设备和图象拾取装置 |
| US11/500,977 US20070003148A1 (en) | 2001-10-02 | 2006-08-09 | Image processing apparatus and image pickup device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001306528A JP3932379B2 (ja) | 2001-10-02 | 2001-10-02 | 画像処理装置と撮像素子 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003115986A JP2003115986A (ja) | 2003-04-18 |
| JP3932379B2 true JP3932379B2 (ja) | 2007-06-20 |
Family
ID=19126151
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001306528A Expired - Lifetime JP3932379B2 (ja) | 2001-10-02 | 2001-10-02 | 画像処理装置と撮像素子 |
Country Status (4)
| Country | Link |
|---|---|
| US (2) | US7110613B2 (ja) |
| EP (1) | EP1300799A3 (ja) |
| JP (1) | JP3932379B2 (ja) |
| CN (1) | CN1318977C (ja) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3625460B2 (ja) | 2002-09-27 | 2005-03-02 | 三菱電機株式会社 | 車載用走行車線認識装置 |
| US7392330B2 (en) * | 2004-07-02 | 2008-06-24 | Mediatek Usa Inc. | Memory access bandwidth allocation and latency control in a digital camera |
| US8164773B2 (en) * | 2006-05-26 | 2012-04-24 | Marvell World Trade Ltd. | Wireless system-in-package and image processing control apparatus |
| JP5035284B2 (ja) * | 2009-03-25 | 2012-09-26 | 株式会社日本自動車部品総合研究所 | 車両周辺表示装置 |
| JP5388835B2 (ja) | 2009-12-24 | 2014-01-15 | キヤノン株式会社 | 情報処理装置及び情報処理方法 |
| US9286643B2 (en) | 2011-03-01 | 2016-03-15 | Applaud, Llc | Personalized memory compilation for members of a group and collaborative method to build a memory compilation |
| JP6403430B2 (ja) * | 2014-05-23 | 2018-10-10 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
| CN107562660B (zh) * | 2017-08-29 | 2020-07-17 | 深圳普思英察科技有限公司 | 一种视觉slam的片上系统及数据处理方法 |
| JP2019056971A (ja) | 2017-09-19 | 2019-04-11 | 株式会社東芝 | データ転送回路、データ転送方法及びプログラム |
| JP6456466B2 (ja) * | 2017-12-01 | 2019-01-23 | キヤノン株式会社 | イメージセンサー及びイメージセンサーの制御方法 |
| CN110758291B (zh) * | 2019-11-13 | 2021-04-27 | 合肥杰发科技有限公司 | 一种倒车影像系统的控制方法、控制器、系统及存储介质 |
Family Cites Families (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6234281A (ja) | 1985-08-08 | 1987-02-14 | Fanuc Ltd | 画像処理装置 |
| US4870500A (en) * | 1985-09-30 | 1989-09-26 | Canon Kabushiki Kaisha | Image signal processing apparatus |
| DE3582330D1 (de) * | 1985-10-10 | 1991-05-02 | Itt Ind Gmbh Deutsche | Fernsehempfaenger mit mehrfach-bildwiedergabe. |
| JPS6381688A (ja) * | 1986-09-26 | 1988-04-12 | Hitachi Ltd | 半導体記憶装置 |
| JPH01144171A (ja) * | 1987-11-30 | 1989-06-06 | Toshiba Corp | 電子ファイリング装置 |
| US5065447A (en) | 1989-07-05 | 1991-11-12 | Iterated Systems, Inc. | Method and apparatus for processing digital data |
| CN1017021B (zh) * | 1989-09-27 | 1992-06-10 | 邮电部兴安通信设备厂 | 图象输入机 |
| CN1060170A (zh) * | 1990-09-17 | 1992-04-08 | 北京科海高技术(集团)公司 | 运载工具标记识别系统 |
| US5465163A (en) * | 1991-03-18 | 1995-11-07 | Canon Kabushiki Kaisha | Image processing method and apparatus for processing oversized original images and for synthesizing multiple images |
| JP3002019B2 (ja) * | 1991-07-04 | 2000-01-24 | 富士通株式会社 | セル廃棄補償機能を有する画像符号化伝送方式 |
| JPH064651A (ja) | 1992-06-19 | 1994-01-14 | Mitsubishi Electric Corp | 画像処理装置 |
| US5539865A (en) * | 1992-11-10 | 1996-07-23 | Adobe Systems, Inc. | Method and apparatus for processing data for a visual-output device with reduced buffer memory requirements |
| WO1997036417A1 (fr) * | 1996-03-27 | 1997-10-02 | Omron Corporation | Technique et appareil de reconnaissance d'images et copieur et imprimante faisant appel a ceux-ci |
| JPH09312859A (ja) * | 1996-05-23 | 1997-12-02 | Sony Corp | カラー表示装置の画質測定装置及び画質測定方法 |
| JPH10143660A (ja) * | 1996-11-11 | 1998-05-29 | Hitachi Ltd | 欠陥判定処理方法およびその装置 |
| US6115420A (en) * | 1997-03-14 | 2000-09-05 | Microsoft Corporation | Digital video signal encoder and encoding method |
| CN1067205C (zh) | 1997-04-14 | 2001-06-13 | 鸿友科技股份有限公司 | 图像处理装置 |
| EP0884912B1 (en) * | 1997-06-09 | 2003-08-27 | Hitachi, Ltd. | Image sequence decoding method |
| US6192080B1 (en) * | 1998-12-04 | 2001-02-20 | Mitsubishi Electric Research Laboratories, Inc. | Motion compensated digital video signal processing |
| US6252577B1 (en) * | 1999-03-18 | 2001-06-26 | Intel Corporation | Efficient methodology for scaling and transferring images |
| JP3822380B2 (ja) * | 1999-03-26 | 2006-09-20 | 富士写真フイルム株式会社 | 画像信号処理装置 |
| JP2001101396A (ja) | 1999-09-30 | 2001-04-13 | Toshiba Corp | 画像歪み補正処理装置および方法、並びに画像歪み補正処理を行うプログラムを格納した媒体 |
| JP2002063778A (ja) * | 2000-08-18 | 2002-02-28 | Sony Corp | ディスクカートリッジおよびその製造方法ならびに記録再生システム |
| US7495690B2 (en) * | 2000-12-01 | 2009-02-24 | Nikon Corporation | Image data processing device |
| JP3797159B2 (ja) * | 2001-08-28 | 2006-07-12 | ソニー株式会社 | 撮像装置 |
| US7382405B2 (en) * | 2001-12-03 | 2008-06-03 | Nikon Corporation | Electronic apparatus having a user identification function and user identification method |
-
2001
- 2001-10-02 JP JP2001306528A patent/JP3932379B2/ja not_active Expired - Lifetime
-
2002
- 2002-03-20 US US10/101,052 patent/US7110613B2/en active Active
- 2002-04-17 EP EP02008207A patent/EP1300799A3/en not_active Withdrawn
- 2002-04-18 CN CNB021057923A patent/CN1318977C/zh not_active Expired - Lifetime
-
2006
- 2006-08-09 US US11/500,977 patent/US20070003148A1/en not_active Abandoned
Also Published As
| Publication number | Publication date |
|---|---|
| CN1318977C (zh) | 2007-05-30 |
| EP1300799A2 (en) | 2003-04-09 |
| US7110613B2 (en) | 2006-09-19 |
| US20070003148A1 (en) | 2007-01-04 |
| US20030063773A1 (en) | 2003-04-03 |
| EP1300799A3 (en) | 2004-01-02 |
| CN1410892A (zh) | 2003-04-16 |
| JP2003115986A (ja) | 2003-04-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20070003148A1 (en) | Image processing apparatus and image pickup device | |
| JP3853034B2 (ja) | 物体の境界決定方法および装置並びに物体の境界決定プログラムを記録した記録媒体 | |
| US8044964B2 (en) | Data processor | |
| JP3781634B2 (ja) | 画像処理装置および画像処理方法並びに携帯用映像機器 | |
| US8300101B2 (en) | Image processing method, image processing system, image pickup device, image processing device and computer program for manipulating a plurality of images | |
| JP2001101396A (ja) | 画像歪み補正処理装置および方法、並びに画像歪み補正処理を行うプログラムを格納した媒体 | |
| US20120269390A1 (en) | Image processing apparatus, control method thereof, and storage medium | |
| CN111340835A (zh) | 基于fpga的视频图像边缘检测系统 | |
| CN107958224A (zh) | Adas上基于isp的图像预处理系统及方法 | |
| US20030222877A1 (en) | Processor system with coprocessor | |
| US20210004667A1 (en) | Operation processing apparatus and operation processing method | |
| CN107478218B (zh) | 一种星敏感器可变更新率图像采集处理单元及方法 | |
| JP2005134976A (ja) | 外観検査装置用画像処理装置 | |
| JP4031996B2 (ja) | メモリ装置を備えたディジタル・スチル・カメラ | |
| EP2993612B1 (en) | Apparatus and method for detecting a feature in an image | |
| JP3776513B2 (ja) | 画像処理装置 | |
| CN112752086A (zh) | 用于环境映射的图像信号处理器、方法和系统 | |
| JP4299908B2 (ja) | 物体の境界決定方法および装置 | |
| US20040104904A1 (en) | Image display system and display device | |
| US20220392207A1 (en) | Information processing apparatus, information processing method, and non-transitory computer-readable storage medium | |
| JP4865021B2 (ja) | 画像処理装置および画像処理方法 | |
| JP3721681B2 (ja) | テンプレートマッチング方法及び装置 | |
| CN116258656A (zh) | 一种图像处理方法、装置及电子设备 | |
| JP2868533B2 (ja) | 図面読み取り装置 | |
| CN105631888B (zh) | 图像数据背景去除处理系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060425 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060626 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060822 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061023 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20061205 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070206 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070227 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3932379 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110330 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110330 Year of fee payment: 4 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110330 Year of fee payment: 4 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110330 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120330 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130330 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130330 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140330 Year of fee payment: 7 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |