JP3926312B2 - 画像処理システムにおけるインターフェース装置および方法 - Google Patents

画像処理システムにおけるインターフェース装置および方法 Download PDF

Info

Publication number
JP3926312B2
JP3926312B2 JP2003333632A JP2003333632A JP3926312B2 JP 3926312 B2 JP3926312 B2 JP 3926312B2 JP 2003333632 A JP2003333632 A JP 2003333632A JP 2003333632 A JP2003333632 A JP 2003333632A JP 3926312 B2 JP3926312 B2 JP 3926312B2
Authority
JP
Japan
Prior art keywords
image
signal
information
sensor
polarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003333632A
Other languages
English (en)
Other versions
JP2005020689A (ja
Inventor
イ、ヨン−チョル
カク、ブ−ドン
パク、サン−ヒョン
パク、ヒョン−マン
ジョン、ゾン−シク
Original Assignee
三星電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三星電機株式会社 filed Critical 三星電機株式会社
Publication of JP2005020689A publication Critical patent/JP2005020689A/ja
Application granted granted Critical
Publication of JP3926312B2 publication Critical patent/JP3926312B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/767—Horizontal readout lines, multiplexers or registers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/7795—Circuitry for generating timing or clock signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Description

本発明は画像処理システムにおけるインターフェース装置および方法に関する。さらに詳細には、画像処理機(image processor)を含むデジタルカメラなどの装置において製造会社および製品モデル別にそれぞれ異なってくる画像センサ(imaging sensor)の処理データにしたがって画像処理機をそれぞれ別途に設計しなければならない時間および費用上の問題を解決するために、画像センサの処理データにしたがって別途設計変更することなく、画像処理データに好適なデータ形態に画像センサの出力データを変更可能にする画像処理システムにおけるインターフェース装置および方法に関する。
一般に、画像処理機を含むデジタルカメラなどの装置またはシステムでは、レンズにより撮像されたイメージを検知する画像センサでアナログ画像データを獲得し、この獲得したデータをＡ／Ｄ(analog to digital)変換したのち、画像処理機に印加するために各フレームごとに同期信号を生成する。このように生成された同期信号に基づいて画像処理機は画像センサの画素データを獲得したのち、それぞれの画素データを画像処理を通じて画像圧縮符号化過程のためのデータフォーマットに転換して画像圧縮符号化過程(Image compression coding(ＪＰＥＧ、ＭＰＥＧ))に印加する。ついで、前記画像符号化過程を通じて符号化されたイメージをホストインターフェースを介してデジタルカメラのメモリまたはディスプレイ装置に伝達する。
かかる装置またはシステムに採用される画像センサとしては、通常、光学信号を電気信号に変換するＣＣＤ(charged coupled device)イメージセンサまたはＣＭＯＳ(complementary metal oxide semiconductor)イメージセンサを使用している。
とくに、ＣＣＤイメージセンサは、シリコンのウエハ上に超小型金属電極を多数配置したものであって、多数のフォトダイオードで構成され、ここに光が加えられると光学的エネルギーが電気に変換される。各画素ごとに存在するフォトダイオードから生成された電荷を垂直伝達ＣＣＤおよび水平伝達ＣＣＤを介して高い電位差にて増幅器に伝達するので、電力消耗は大きいものの、雑音に強く、均一に増幅される特長がある。
また、ＣＭＯＳイメージセンサは、各画素ごとにフォトダイオードおよび増幅器を設置したものであって、ＣＣＤイメージセンサに比べて電力消耗が少なく、小型化が可能であるものの、画質に劣るという短所がある。
このようなＣＣＤイメージセンサまたはＣＭＯＳイメージセンサは、さまざまな種別があり、また、各製造会社によって画像処理機のためのインターフェースおよび特性も異なっているので、画像処理機は特定のセンサに合わせて設計および製作しなければならない。その結果、特定のセンサの需給が困難となり新しいものに変更する場合には、その特質に合わせて画像処理のためのシステムも再設計しなければならないという負担があった。
そこで、特許文献１(発明の名称：タイミング信号発生装置)は、画素数の異なる複数種のＣＣＤに対して各種のタイミング信号を提供したり、または各種ＣＣＤへの対応が容易なタイミング信号発生装置を提案している。つまり、前記特許文献１には、それぞれタイミング信号が異なるＣＣＤに好適なタイミング信号を発生することによって、各種のＣＣＤに対応可能にするタイミング信号発生装置が開示されている。しかし、ＣＣＤは、製造会社および製品モデル別に異なるタイミング信号を有するとともに、その他の処理データおよび同期化信号も異なってくるので、前記特許文献１で開示しているタイミング信号発生装置だけではさまざまな種類のイメージセンサに対応することには限界があり、使用するＣＣＤに好適な画像処理システムを再設計しなければならないという問題は依然として残されていた。
図１は従来のデジタルカメラの画像信号処理システムの構成を示す。図１に示されるように、レンズ１０により撮像されたイメージは、画像センサ１１内でＡ／Ｄ変換されたのち、画像処理機１２に印加されるが、このとき、専用の画像処理機が内蔵されなかった画像センサの場合には、ベイヤーパターン(Bayer color filter array pattern)として出力されて画像処理機１２に印加される。
画像処理機１２では、色フィルタ配列補間(color filter array interpolation)、色マトリクス(color matrix)変換、色補正(color correction)、色向上(color enhancement)などの画像処理が行なわれる。このとき、各画像フレームの同期信号として使用される信号は、一つの画像フレームの開始を示す垂直同期化信号であるvsync(vertical synchronization)、フレーム内のライン別イメージの活性化状態を示す水平同期化信号であるhsync(horizontal synchronization)、および各画素データの同期化を示すピクセルクロック信号であるpixel_clkから構成され、実質的な画像に対するピクセルデータはpixel_dataの形に伝達される。画像処理されたデータはＣＣＩＲ ６５６またはＣＣＩＲ ６０１フォーマット(YUV space)に変換されたのち、ＹＶＵ ４：２：２またはＹＶＵ ４：２：０の形態に画像符号化部(ＭＰＥＧまたはＪＰＥＧ)１３の入力として印加されて画像符号化される。
符号化されたフレームデータはフレームバッファ１４に臨時に記憶されたのち、デジタルカメラやＰＣなどのホストインターフェース１５を介してデジタルカメラ、ＰＣなどの記憶装置またはディスプレイ装置に伝達される。
大部分の画像センサはvsync、hsync、pixel_clk、pixel_dataで構成される出力信号を有し、画像センサを制御するための両方向入出力信号が存在する。これらの信号は、デジタルカメラなどのシステムにおける画像センサと画像処理機とのあいだのインターフェースで活用される。
図７は画像センサのスペックを各製造会社別および各モデル別に表すものであって、各製造会社および製品モデル別にその処理されるデータの基準がそれぞれ設定されている。
図２は従来の画像センサ１１から画像処理機１２への信号伝達を概略的に示す図である。ここで、vsync、hsync、pixel_clk、pixel_dataのほか、画像センサの制御のための両方向制御信号は、画像センサ１１の製造会社または製品モデルによって異なってくる。
画像センサ１１の内部に専用の画像処理機が含まれていると、画像センサ１１の出力は画像処理された状態のＣＣＩＲ ６５６、またはＣＣＩＲ ６０１フォーマット(YVU space)に出力され、画像処理機１２はそれを単に画像符号化部１３の入力形態に変換させる役割だけを果たす。一方、画像センサ１１には内部レジスタが存在するが、大部分のセンサは主として２つまたは３つのワイヤを用いた直列通信方法を通じて画像センサの内部レジスタに対して読み書きできるようになっている。このレジスタにどんな値を書き込むかによって画像の特質が変わるため、レジスタに書き込まれるデータは画像の特質を制御する重要な手段となる。
前記のように、画像センサは、各製造会社別に画像フレームの同期信号、つまりhsync、vsync、pixel_clkの相違、pixel_arrayの大きさの相違、センサ内の専用画像処理機の存在有無、出力されるベイヤーパターンの相違、センサを制御する直列通信方法の相違といった違いをもつ。したがって、デジタルカメラなどの装置またはシステム内の画像処理機は特定のセンサに合わせて設計しなければならない。
したがって、使用する画像センサ１１が変更される場合、画像処理機１２内の根本的な画像処理アルゴリズムが変わらないにもかかわらず、単に画像処理機１２と画像センサ１１とのあいだの転送される信号が変更されるという理由から画像処理機を再設計しなければならないという負担があった。とくに、大部分の画像処理機はＬＳＩとして存在するので、その再設計には相当な費用と時間がかかるという問題があった。
特開２００３−４６８７８号公報
したがって、前述の問題を解決するための本発明の目的は、画像センサおよび画像処理機を含む画像処理システムにおいて、製造会社および製品モデル別に異なる多種の画像センサに対応可能な画像処理システムにおけるインターフェース装置および方法を提供することである。
本発明の他の目的は、さまざまな種類の画像センサに対応できるような画像処理機を提供することによって、それぞれの画像センサに対応する画像処理機を再設計することなく、デジタルカメラ用画像処理システムの製造コストおよび製造時間を減少させることのできる画像処理システムにおけるインターフェース装置および方法を提供することである。
前記の目的を達成するために、本発明は、製造会社別に異なる特質を有する画像センサに対して画像処理機を含む装置またはシステムが対応可能になるようにするインターフェース装置および方法を提供する。
すなわち、本発明の画像処理システムにおけるインターフェース装置は、イメージを撮像する画像センサと、前記撮像されたイメージを画像データとして出力するために処理する画像処理機と、前記画像センサと前記画像処理機とのあいだに接続されたセンサインターフェースとを備え、該センサインターフェースが、前記画像センサに関する情報を記憶するセンサタイプレジスタ、前記画像センサに関する情報を前記センサタイプレジスタに書き込み、前記画像センサを制御するマイクロコンピュータ、および前記画像センサからの出力信号を受信して、該出力信号を前記センサタイプレジスタに記憶された情報に基づいて出力端に連結された画像処理機の入力に好適なように変換し、この変換された信号を前記画像処理機に伝達するセンサ信号処理部を備えることを特徴としている。
前記画像センサからの出力信号が、垂直同期化信号、水平同期化信号、ピクセルクロック信号およびピクセルデータ信号を含むのが好ましい。
前記画像センサに関する情報が、垂直同期化信号の極性情報、水平同期化信号の極性情報、前記画像センサからの画像情報のピクセルクロック信号の極性情報、前記画像処理機の画像信号処理モード情報およびパターン信号情報、さらに前記撮像されたイメージの水平大きさ情報および前記撮像されたイメージの垂直大きさ情報を含むのが好ましい。
前記センサタイプレジスタが、センサ信号レジスタ、水平大きさレジスタ、および垂直大きさレジスタを含むのが好ましい。
前記センサ信号レジスタが、垂直同期化信号の極性情報、水平同期化信号の極性情報、ピクセルクロック信号の極性情報、画像信号処理モード情報およびパターン信号情報を含み、前記水平大きさレジスタが水平大きさ信号を含み、前記垂直大きさレジスタが垂直大きさ信号を含むのが好ましい。
前記センサ信号処理部が、垂直同期化信号の極性情報に基づいて、前記画像センサからの垂直同期化信号の極性を反転させるかまたは反転させない第１マルチプレクス、前記画像処理機の画像信号処理モード情報に基づいて、前記第１マルチプレクスの出力をバイパスさせるか、またはローレベル状態に前記画像処理機に伝達する第２マルチプレクス、水平同期化信号の極性情報に基づいて、前記画像センサからの水平同期化信号の極性を反転させるかまたは反転させない第３マルチプレクス、前記画像処理機の画像信号処理モード情報に基づいて、前記第３マルチプレクスの出力をバイパスさせるか、またはローレベル状態に前記画像処理機に伝達する第４マルチプレクス、前記画像センサからの画像情報のピクセルクロック信号の極性情報に基づいて、前記画像センサからのピクセルクロック信号の極性を反転させるかまたは反転させない第５マルチプレクス、前記画像処理機の画像信号処理モード情報に基づいて、前記第５マルチプレクスの出力をバイパスさせるか、またはローレベル状態に前記画像処理機に伝達する第６マルチプレクス、および前記画像処理機の画像信号処理モード情報に基づいて、ピクセルデータ信号をバイパスさせるか、またはローレベル状態に前記画像処理機に伝達する第７マルチプレクスを含むのが好ましい。
前記マイクロコンピュータが、前記画像センサと多目的Ｉ/Ｏ信号を送受信することによって前記画像センサを制御するのが好ましい。
また、本発明の画像処理システムにおけるインターフェース方法は、画像処理システムにおける画像センサと画像処理機とを接続するインターフェース方法であり、前記画像センサに関する情報をセンサタイプレジスタに書き込むステップ、前記画像センサの出力信号を受信するステップ、前記センサタイプレジスタに書き込まれた情報に基づいて、前記画像センサからの出力信号を前記画像処理機の出力に適切に変換するステップ、および前記変換された信号を前記画像処理機に伝達するステップを含むことを特徴としている。
前記画像センサの出力信号が、垂直同期化信号、水平同期化信号、ピクセルクロック信号およびピクセルデータ信号を含むのが好ましい。
前記画像センサに関する情報が、水平同期化信号の極性情報、垂直同期化信号の極性情報、ピクセルクロック信号の極性情報、前記画像処理機の画像信号処理モード情報およびパターン信号情報、さらに前記撮像されたイメージの水平大きさ情報および前記撮像されたイメージの垂直大きさ情報を含むのが好ましい。
前記センサタイプレジスタが、センサ信号レジスタ、水平大きさレジスタおよび垂直大きさレジスタを含むのが好ましい。
前記センサ信号レジスタが、垂直同期化信号の極性情報、水平同期化信号の極性情報、ピクセルクロック信号の極性情報、画像信号処理モード情報およびパターン信号情報を含み、前記水平大きさレジスタが水平大きさ信号を含み、前記垂直大きさレジスタが垂直大きさ信号を含むのが好ましい。
前記画像センサからの出力信号を画像処理機の出力に適切に変換するステップが、垂直同期化信号の極性情報に基づいて前記画像センサからの垂直同期化信号の極性を反転させるかまたは反転させない第１ステップ、前記画像処理機の画像信号処理モード情報に基づいて、前記第１ステップの反転させたかもしくは反転させなかった垂直同期化信号をバイパスさせるか、またはローレベル状態に前記画像処理機に伝達する第２ステップ、水平同期化信号の極性情報に基づいて、前記画像センサからの水平同期化信号の極性を反転させるかまたは反転させない第３ステップ、前記画像処理機の画像信号処理モード情報に基づいて、前記第３ステップの反転させたかもしくは反転させなかった水平同期化信号をバイパスさせるか、またはローレベル状態に前記画像処理機に伝達する第４ステップ、前記画像センサからの画像情報のピクセルクロック信号の極性情報に基づいて、前記画像センサからのピクセルクロック信号の極性を反転させるかまたは反転させない第５ステップ、前記画像処理機の画像信号処理モード情報に基づいて、前記第５ステップの反転させたかもしくは反転させなかったピクセルクロック信号をバイパスさせるか、またはローレベル状態に前記画像処理機に伝達する第６ステップ、および前記画像処理機の画像信号処理モード情報に基づいて、ピクセルデータ信号をバイパスさせるか、またはローレベル状態に前記画像処理機に伝達する第７ステップを含むのが好ましい。
本発明によれば、製造会社および製品モデル別に異なっているさまざまな種類の画像センサに対応可能な画像処理システムを提供することができる。
また、本発明によれば、１つの画像処理機を用いてさまざまな種類の画像センサに対応可能となるので、究極的に画像センサに対応する画像処理機を再設計しなくて済み、画像処理システムの製造コストおよび製造時間を減少させることができる。
以下、添付図面を参照しつつ本発明を詳細に説明する。
図３は本発明にかかわる画像処理システムにおけるインターフェース装置を概略的に示す図である。図３に示されるように、画像処理システムにおけるインターフェース装置は、画像センサ３０１、センサインターフェース３０２および画像処理機３０３を備えており、該画像センサ３０１と画像処理機３０３とのあいだにセンサインターフェース（インターフェース装置）３０２が配置されている。該センサインターフェース３０２は、センサ信号処理部３０４、センサタイプレジスタ３０５およびマイコン（マイクロコンピュータ）３０６を備えている。
本発明の一実施の形態において、画像処理機３０３は必ず信号処理のためのプロセッサを含むが、このプロセッサが以下に説明されるマイコン３０６の役割まで果してもよい。つまり、図３においてはマイコン３０６が画像処理機３０３と分離されて示されているが、マイコン３０６の役割を果たすために別途プロセッサおよびメモリを提供しなくとも、画像処理機３０３に含まれる特定のプロセッサおよびメモリがプログラムを通じてマイコン３０６の役割を代行してもよい。
画像センサ３０１は、レンズ(図示せず)により撮像されたイメージを検知してアナログ画像データを獲得してそのデータをＡ／Ｄ(Analog to Digital)変換し、このように変換したデータを各フレームごとに画像処理機３０３に印加するための同期信号を生成する。そして、前記同期信号に基づいて前記画像処理機３０３は画像センサ３０１の画素データを獲得したのち、画像処理を通じてそれぞれの画素データを画像符号化過程のためのデータフォーマットに転換させる。画像センサ３０１から出力される信号は、一つの画像フレームの開始を示す垂直同期化信号であるvsync(vertical synchronization)信号、フレーム内のライン別イメージの活性化状態を示す水平同期化信号であるhsync(horizontal synchronization)信号、各画素データの同期化を示すピクセルクロック信号であるpixel_clk信号、および各画素のデータを含むピクセルデータ信号であるpixel_data信号から構成される。
前記画像センサ３０１から出力される信号のうちvsync、hsync、およびpixel_clk信号は、撮像されたイメージの同期化のための信号であって、そのフレームの同期化のために各フレームがハイ(high)信号かロー(low)信号か、もしくは上昇エッジか下降エッジかに対する情報を含み、また、pixel_dataは各画素のデータを含む。
前記画像センサ３０１からの前記vsync、hsync、pixel_clk、およびpixel_dataは画像処理機３０３に入力される前にセンサインターフェース３０２のセンサ信号処理部３０４に入力される。
マイコン３０６は、内部にプロセッサおよび書込み/読出し可能メモリ(たとえば、ＲＡＭ)(図示せず)を含んでおり、前記メモリには使用する画像センサ３０１に関する情報および使用する画像センサ３０１の制御のためのプログラムが格納される。使用する画像センサ３０１にしたがって、メモリに記憶された画像センサ３０１に関する情報を変更し、画像センサを制御するためのプログラムを変更しなければならない。また、画像センサ３０１の内部動作制御は、マイコン３０６により制御されるＧＰＩＯ(General Purpose I/O)信号による。この信号は、２〜３ラインの信号で構成されており、同期クロック信号とデータ信号とからなって読出しまたは書込み動作を可能にする。本発明では、これらの信号を一般的な両方向出力としてマイコン３０６により制御可能に構成することによって異なる特質を有するさまざまな画像センサに対応可能にしている。なお、前記画像センサ３０１に関する情報としては、後述するように、たとえばvsync信号の極性情報、hsync信号の極性情報、画像センサ３０１からの画像情報のpixel_clk信号の極性情報、画像処理機３０３の画像信号処理（ＩＳＰ(Image Signal Processing)）モード情報およびパターン信号情報、さらに撮像されたイメージの水平大きさ情報および撮像されたイメージの垂直大きさ情報がある。
また、マイコン３０６は画像センサ３０１に関する情報をセンサタイプレジスタ３０５に書き込む。そうすると、センサ信号処理部３０４はマイコン３０６により書き込まれたセンサタイプレジスタ３０５の内容に基づいて画像センサから入力されるvsync、hsync、pixel_clk、およびpixel_data信号を現在使用する画像センサ３０１に好適に変換させる。このように変換された信号、つまり、vsync_1、hsync_1、pixel_clk_1、およびpixel_data_1は画像処理機３０３に入力される。
図３においてパターン信号は、画像センサ３０１が出力するベイヤーパターンの形態を画像処理機３０３に知らせるためのものである。画像センサ３０１内に所定の画像処理機が含まれていない場合、センサタイプレジスタ３０５から画像処理機３０３に伝達される信号はベイヤーパターンとなる。この場合、ベイヤーパターンはつぎのような形態例を有する。
00：rgrgrg....
gbgbgb....
01：bgbgbg....
grgrgr....
10：gbgbgb....
rgrgrg....
11：grgrgr....
bgbgbg....
また、画像センサ３０１内に前記所定の画像処理機が含まれている場合には、センサタイプレジスタ３０５から画像処理機３０３に伝達される信号はＹＶＵパターンとなり、パターン信号はＹＶＵパターンに対する情報を含んでいる。
センサタイプレジスタ３０５はこのようなパターンに対する情報を、たとえば、図４（ａ）に示した[ｂ１：ｂ０]ブロックに記憶する。マイコン３０６によりセンサタイプレジスタ３０５に書き込まれたパターンに対する情報は、パターン信号として画像処理機３０３に入力される。
これと同様に、画像センサ３０１から出力されるイメージの大きさに対する情報もまずマイコン３０６に入力されてから当該マイコン３０６によりセンサタイプレジスタ３０５に書き込まれる。センサタイプレジスタ３０５に書き込まれたイメージの大きさに対する情報は、センサタイプレジスタ３０５から画像処理機３０３にイメージの水平大きさに対する情報である水平大きさ信号のwidth信号およびイメージの垂直大きさに対する情報である垂直大きさ信号のheight信号の形態として画像処理機３０３に伝達される。
画像処理機３０３は前述したような入力信号、つまり、vsync_1、hsync_1、pixel_clk_1、pixel_data_1を内部の画像処理過程を通じて画像符号化過程(ＭＰＥＧまたはＪＰＥＧ)に対する入力としてvsync_2、hsync_2、ＹＶＵ信号(輝度および色差信号)を出力する。
図４（ａ）ないし図４（ｃ）は、それぞれセンサタイプレジスタ３０５における、センサ信号レジスタ４０１、水平大きさレジスタ４０２および垂直大きさレジスタ４０３の例示的な構成を示す図である。
図４（ａ）ないし図４（ｃ）に示されるように、センサ信号レジスタ４０１の[ｂ１：ｂ０]ブロックには補間パターンが記憶され、ｂ２ブロックにはピクセルクロック信号の極性、ｂ３ブロックにはvsync信号の極性、ｂ４ブロックにはhsync信号の極性、ｂ５ブロックにはＩＳＰ(Image Signal Processing)モード情報(画像処理機の動作モード情報、すなわち画像処理機がオン状態かオフ状態かに対する情報)が記憶される。水平大きさレジスタ４０２にはイメージの水平大きさに対する情報であるwidth信号が記憶され、垂直大きさレジスタ４０３にはイメージの垂直大きさに対する情報であるheight信号が記憶される。なお、図４（ａ）ないし図４（ｃ）に示したレジスタの構成は例示的なものであり、他の実施例によって変形可能である。
図５はセンサインターフェース３０２の内部構成を示す図である。以下、図５を参照しつつセンサインターフェース３０２内で行なわれる信号変換過程を詳細に説明する。
画像センサ３０１から入力される信号のうち、あるイメージのフレームの開始を示すvsync信号は、センサタイプレジスタ３０５で図４（ａ）のセンサ信号レジスタ４０１のｂ３ブロックに記憶されたvsyncの極性信号を制御信号５０１とする第１マルチプレクス５０２によりvsyncの極性が反転されるか、または反転されなかった形態のi_vsync信号となる。たとえば、制御信号５０１がハイならvsync信号がそのままバイパスされ、制御信号５０１がローならvsyncが反転されて出力される。i_vsync信号は、図４（ａ）のセンサ信号レジスタ４０１のｂ５ブロックに記憶されたＩＳＰモード信号を制御信号５０３とする第２マルチプレクス５０４によりバイパスされてvsync_1として出力されるか、またはローレベル状態となる。たとえば、i_vsync信号は、ＩＳＰモードがオン状態ならそのままバイパスされて画像処理機３０３に伝達され、ＩＳＰモードがオフ状態ならローレベル(接地)となる。
画像センサ３０１から入力される信号のうち、フレーム内のライン別イメージの活性化状態を示すhsync信号は、図４（ａ）のセンサ信号レジスタ４０１のｂ４ブロックに記憶されたhsyncの極性を制御信号５０５とする第３マルチプレクス５０６によりhsyncの極性が反転されるか、または反転されなかった形態のi_hsyncとして出力される。たとえば、制御信号５０５がハイならhsync信号がそのままバイパスされ、制御信号５０５がローならhsyncが反転されて出力される。i_hsync信号は、図４（ａ）のセンサ信号レジスタ４０１のｂ５ブロックに記憶されたＩＳＰモードを制御信号５０７とする第４マルチプレクス５０８によりバイパスされてhsync_1として出力されるか、またはローレベル状態となる。すなわち、i_hsync信号は、たとえば、ＩＳＰモードがオン状態ならそのままバイパスされて画像処理機３０３に伝達され、ＩＳＰモードがオフ状態ならローレベル(接地)となる。
これと同様に、画像センサ３０１から入力される信号のうち、各画素データの同期化を示すpixel_clk信号は、図４（ａ）のセンサ信号レジスタ４０１のｂ２ブロックに記憶されたpixel_clkの極性を制御信号５０９とする第５マルチプレクス５１０によりpixel_clkの極性が反転されるか、または反転されなかった形態のi_pixel_clkとして出力される。たとえば、制御信号５０９がハイならpixel_clk信号がそのままバイパスされ、制御信号５０５がローならpixel_clkが反転されてi_pixel_clkとして出力される。i_pixel_clk信号は、図４（ａ）のセンサ信号レジスタ４０１のＩＳＰモード信号を制御信号５１１とする第６マルチプレクス５１２によりバイパスされてpixel_clk_1として出力されるか、またはローレベル状態となる。すなわち、i_pixel_clk信号は、たとえば、ＩＳＰモードがオン状態ならそのままバイパスされて画像処理機３０３に伝達され、ＩＳＰモードがオフ状態ならばローレベル(接地)となる。
画像センサ３０１から入力される信号のうちpixel_data信号は、図４（ａ）のセンサ信号レジスタ４０１のｂ５ブロックに記憶されたＩＳＰモード信号を制御信号５１３とする第７マルチプレクス５１４によりバイパスされてpixel_data_1として出力されるか、またはローレベル状態となる。すなわち、pixel_data信号は、ＩＳＰモードがオン状態ならそのままバイパスされて出力され、ＩＳＰモードがオフ状態ならローレベル状態となる。
パターン信号は、センサタイプレジスタ３０５のうち、図４（ａ）のセンサ信号レジスタ４０１の、たとえば[ｂ１：ｂ０]ブロックに記憶された値を画像処理機３０３に伝達するためのものであって、画像センサ３０１のベイヤーパターンを示す信号であり、センサ信号レジスタ４０１のＩＳＰモード(ｂ５)がオン（ＯＮ)である場合に限り意味ある値となる。
水平大きさ、つまりwidth信号はセンサタイプレジスタ３０５のうち、図４（ｂ）の水平大きさレジスタ４０２の、たとえば[ｂ１５：ｂ０]ブロックに記憶された値であって、画像処理機に伝達されて画像センサ３０１が活性化される一つのフレームの水平大きさを示す。
垂直大きさ、つまりheight信号は、センサタイプレジスタ３０５のうち図４（ｃ）の垂直大きさレジスタ４０３の[ｂ１５：ｂ０]ブロックに記憶された値であって、画像処理機に伝達されて画像センサ３０１が活性される一つのフレームの垂直大きさを示す。
マイコン３０６は、現在使用する画像センサに対応する値をセンサタイプレジスタ３０５に書き込み、また、ＧＰＩＯ(多目的Ｉ/Ｏ：General Purpose I/O）信号を用いて画像センサ３０１と両方向通信を行ない、現在使用されている画像センサを制御する。
図６は画像処理機３０３の構成を示す図である。以下、図６を参照しつつ画像処理機３０３で行なわれる画像処理過程を説明する。
図３のセンサインターフェース３０２で処理されて出力されるvsync_1、hsync_1、pixel_clk_1、pattern、およびpixel_data信号は、画像処理機３０３の入力として伝達される。画像処理機３０３に入力されたvsync_1、hsync_1、pixel_clk_1、pattern、およびpixel_data信号は、補間のためにラインバッファ６０１に臨時に記憶される。
補間処理部６０２は、ラインバッファ６０１から受信したベイヤーパターンの各ピクセルをＲＧＢ形態に変換させる。そののち、前記ＲＧＢデータは色プロセシング部６０３を通じてＹＣｂＣｒまたはＹＶＵ形態に変換され、pixel_data2としてマルチプレクス６０４に伝達される。
マルチプレクス６０４は、ＹＣｂＣｒ、ＹＶＵフォーマッタ(formatter)６０５に入力され、図４ａのセンサ信号レジスタ４０１のｂ５ブロックに記憶されたＩＳＰモード信号を制御信号としてpixel_dataを選択する。たとえば、ＩＳＰモードがオン(ＯＮ)の場合には、色プロセシング部６０３から出力されたpixel_data２がＹＣｂＣｒ、ＹＶＵフォーマッタ６０５の入力として選択され、ＩＳＰモードがオフ(ＯＦＦ)の場合には、画像センサ３０１から直接出力されたpixel_dataがＹＣｂＣｒ、ＹＶＵフォーマッタ６０５の入力として選択される。
前記ＹＣｂＣｒ、ＹＶＵフォーマッタ６０５は、画像処理機の最終出力のためのものであって、ＩＳＰモードがオンの状態では図３のvsync_1、hsync_1、およびpixel_clk_1信号とマルチプレクス６０４の出力であるpixel_data_1を入力として受信し、ＩＳＰモードがオフの状態では、図３のi_vsync、i_hsync、およびi_pixel_clk信号と、ＩＳＰ処理過程を行なわなかったpixel_dataを受信し、さらにセンサタイプレジスタに記憶されたheight信号およびwidth信号を受信する。
そののち、前述したような信号を受信したＹＣｂＣｒ、ＹＶＵフォーマッタ６０５は画像符号化機に好適な入力として動作されるためのＣＣＩＲ ６５６（図２参照）、ＣＣＩＲ ６０１（図２参照）形態のＹＣｂＣｒ４：２：２もしくはＹＣｂＣｒ４：２：０形態、またはＭＰＥＧやＪＰＥＧなどの適切な形態に変換されたpixel_dataと、１つのフレームの垂直・水平信号であるvsync_2とhsync_2を出力する。
以上、本発明を特定の実施の形態と関連して図示および説明したが、当業者であれば、特許請求の範囲によって定められる発明の思想および領域から逸脱しない範囲内で様々な改造および変更が可能であることがわかるであろう。
従来の画像信号処理システムの構成を示す図である。 従来の画像センサから画像処理機に信号を伝達するための構成を示すブロック図である。 本発明の画像処理システムにおけるインターフェース装置を概略的に示す図である。 本発明にかかわるセンサタイプレジスタの例示的な構成を示す図である。 本発明にかかわるセンサインターフェースの内部構成を示す図である。 本発明にかかわる画像処理機の構成を示す図である。 画像センサが処理するデータのスペックを各製造会社および製品モデル別に示す図である。
符号の説明
３０１ 画像センサ
３０２ センサインターフェース
３０３ 画像処理機
３０４ センサ信号処理部
３０５ センサタイプレジスタ
３０６ マイコン
４０１ センサ信号レジスタ
４０２ 水平大きさレジスタ
４０３ 垂直大きさレジスタ

Claims (11)

  1. イメージを撮像する画像センサと、前記撮像されたイメージを画像データとして出力するために処理する画像処理機と、前記画像センサと前記画像処理機とのあいだに接続されたセンサインターフェースとを備え、
    該センサインターフェースが、
    前記画像センサに関する情報を記憶するセンサタイプレジスタ、
    前記画像センサに関する情報を前記センサタイプレジスタに書き込み、前記画像センサを制御するマイクロコンピュータ、および
    前記画像センサからvsync信号、hsync信号、pixel_clk信号、pixel_data信号を受信して、前記センサタイプレジスタに記憶された情報に基づいてvsync信号の極性、hsync信号の極性、pixel_clk信号の極性、pixel_data信号の極性を出力端に連結された画像処理機の入力に好適なように変換し、この変換された信号を前記画像処理機に伝達するセンサ信号処理部
    を備えることを特徴とする、画像処理システムにおけるインターフェース装置。
  2. 前記画像センサに関する情報が、垂直同期化信号の極性情報、水平同期化信号の極性情報、前記画像センサからの画像情報のピクセルクロック信号の極性情報、前記画像処理機の画像信号処理モード情報およびパターン信号情報、さらに前記撮像されたイメージの水平大きさ情報および前記撮像されたイメージの垂直大きさ情報を含む請求項１記載のインターフェース装置。
  3. 前記センサタイプレジスタが、センサ信号レジスタ、水平大きさレジスタ、および垂直大きさレジスタを含む請求項１記載のインターフェース装置。
  4. 前記センサ信号レジスタが、垂直同期化信号の極性情報、水平同期化信号の極性情報、ピクセルクロック信号の極性情報、画像信号処理モード情報およびパターン信号情報を含み、前記水平大きさレジスタが水平大きさ信号を含み、前記垂直大きさレジスタが垂直大きさ信号を含む請求項３記載のインターフェース装置。
  5. 前記センサ信号処理部が、
    垂直同期化信号の極性情報に基づいて、前記画像センサからの垂直同期化信号の極性を反転させるかまたは反転させない第１マルチプレクス、
    前記画像処理機の画像信号処理モード情報に基づいて、前記第１マルチプレクスの出力をバイパスさせるか、またはローレベル状態に前記画像処理機に伝達する第２マルチプレクス、
    水平同期化信号の極性情報に基づいて、前記画像センサからの水平同期化信号の極性を反転させるかまたは反転させない第３マルチプレクス、
    前記画像処理機の画像信号処理モード情報に基づいて、前記第３マルチプレクスの出力をバイパスさせるか、またはローレベル状態に前記画像処理機に伝達する第４マルチプレクス、
    前記画像センサからの画像情報のピクセルクロック信号の極性情報に基づいて、前記画像センサからのピクセルクロック信号の極性を反転させるかまたは反転させない第５マルチプレクス、
    前記画像処理機の画像信号処理モード情報に基づいて、前記第５マルチプレクスの出力をバイパスさせるか、またはローレベル状態に前記画像処理機に伝達する第６マルチプレクス、および
    前記画像処理機の画像信号処理モード情報に基づいて、ピクセルデータ信号をバイパスさせるか、またはローレベル状態に前記画像処理機に伝達する第７マルチプレクス
    を含む請求項１記載のインターフェース装置。
  6. 前記マイクロコンピュータが、前記画像センサと多目的Ｉ/Ｏ信号を送受信することによって前記画像センサを制御する請求項１記載のインターフェース装置。
  7. 画像処理システムにおける画像センサと画像処理機とを接続するインターフェース方法であり、
    前記画像センサに関する情報をセンサタイプレジスタに書き込むステップ、
    前記画像センサの出力信号を受信するステップ、
    前記センサタイプレジスタに書き込まれた情報に基づいて、前記画像センサから出力されるvsync信号の極性、hsync信号の極性、pixel_clk信号の極性、pixel_data信号の極性を前記画像処理機の出力に適切に変換するステップ、および
    前記変換された信号を前記画像処理機に伝達するステップ
    を含むことを特徴とする、画像処理システムにおけるインターフェース方法。
  8. 前記画像センサに関する情報が、水平同期化信号の極性情報、垂直同期化信号の極性情報、ピクセルクロック信号の極性情報、前記画像処理機の画像信号処理モード情報およびパターン信号情報、さらに前記撮像されたイメージの水平大きさ情報および前記撮像されたイメージの垂直大きさ情報を含む請求項７記載のインターフェース方法。
  9. 前記センサタイプレジスタが、センサ信号レジスタ、水平大きさレジスタおよび垂直大きさレジスタを含む請求項７記載のインターフェース方法。
  10. 前記センサ信号レジスタが、垂直同期化信号の極性情報、水平同期化信号の極性情報、ピクセルクロック信号の極性情報、画像信号処理モード情報およびパターン信号情報を含み、前記水平大きさレジスタが水平大きさ信号を含み、前記垂直大きさレジスタが垂直大きさ信号を含む請求項９記載のインターフェース方法。
  11. 前記画像センサからの出力信号を画像処理機の出力に適切に変換するステップが、
    垂直同期化信号の極性情報に基づいて前記画像センサからの垂直同期化信号の極性を反転させるかまたは反転させない第１ステップ、
    前記画像処理機の画像信号処理モード情報に基づいて、前記第１ステップの反転させたかもしくは反転させなかった垂直同期化信号をバイパスさせるか、またはローレベル状態に前記画像処理機に伝達する第２ステップ、
    水平同期化信号の極性情報に基づいて、前記画像センサからの水平同期化信号の極性を反転させるかまたは反転させない第３ステップ、
    前記画像処理機の画像信号処理モード情報に基づいて、前記第３ステップの反転させたかもしくは反転させなかった水平同期化信号をバイパスさせるか、またはローレベル状態に前記画像処理機に伝達する第４ステップ、
    前記画像センサからの画像情報のピクセルクロック信号の極性情報に基づいて、前記画像センサからのピクセルクロック信号の極性を反転させるかまたは反転させない第５ステップ、
    前記画像処理機の画像信号処理モード情報に基づいて、前記第５ステップの反転させたかもしくは反転させなかったピクセルクロック信号をバイパスさせるか、またはローレベル状態に前記画像処理機に伝達する第６ステップ、および
    前記画像処理機の画像信号処理モード情報に基づいて、ピクセルデータ信号をバイパスさせるか、またはローレベル状態に前記画像処理機に伝達する第７ステップ
    を含む請求項７記載のインターフェース方法。
JP2003333632A 2003-06-23 2003-09-25 画像処理システムにおけるインターフェース装置および方法 Expired - Fee Related JP3926312B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020030040753A KR100601460B1 (ko) 2003-06-23 2003-06-23 화상 센서와 영상 처리기 간의 인터페이스 장치 및 방법

Publications (2)

Publication Number Publication Date
JP2005020689A JP2005020689A (ja) 2005-01-20
JP3926312B2 true JP3926312B2 (ja) 2007-06-06

Family

ID=33516447

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003333632A Expired - Fee Related JP3926312B2 (ja) 2003-06-23 2003-09-25 画像処理システムにおけるインターフェース装置および方法

Country Status (5)

Country Link
US (1) US20040257453A1 (ja)
JP (1) JP3926312B2 (ja)
KR (1) KR100601460B1 (ja)
CN (1) CN1263282C (ja)
DE (1) DE10331292B3 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100586669B1 (ko) * 2003-08-27 2006-06-08 닛뽕빅터 가부시키가이샤 전송 시스템
JP4457613B2 (ja) 2003-09-04 2010-04-28 ソニー株式会社 固体撮像装置
JP2005142699A (ja) * 2003-11-05 2005-06-02 Mega Chips Corp 画像圧縮伸張装置
US20060039602A1 (en) * 2004-08-20 2006-02-23 Isakharov Svetlana M Data driven color conversion
JP4868576B2 (ja) 2006-01-27 2012-02-01 株式会社メガチップス 画像処理装置
US8009200B2 (en) 2007-06-15 2011-08-30 Microsoft Corporation Multiple sensor input data synthesis
CN101431618B (zh) * 2007-11-06 2010-11-03 联咏科技股份有限公司 具有行读取电路修补功能的图像传感器及其相关方法
JP5540002B2 (ja) * 2008-10-24 2014-07-02 エクストリーム リアリティー エルティーディー． 画像センサ式ヒューマンマシンインターフェイスを提供するための方法、システムと関連モジュール、およびソフトウエアコンポーネント
US8692873B2 (en) * 2009-01-15 2014-04-08 Alverix, Inc. Video-frame data receiver with low frame capture rate
CN101924885B (zh) * 2009-06-15 2014-01-15 鸿富锦精密工业（深圳）有限公司 图像采集接口电路
US8488055B2 (en) * 2010-09-30 2013-07-16 Apple Inc. Flash synchronization using image sensor interface timing signal
CN102256150A (zh) * 2011-07-14 2011-11-23 深圳市掌网立体时代视讯技术有限公司 一种双光路双传感器合成模组及三维成像装置
CN103974040A (zh) * 2014-05-09 2014-08-06 哈尔滨水星电子科技有限公司 一种接口共享的全景数字图像传感器及构建方法
CN104184963B (zh) * 2014-09-05 2017-10-13 无锡英斯特微电子有限公司 光电导航系统中高效资源利用的方法
US9819875B2 (en) * 2015-03-02 2017-11-14 Intel Corporation Multi-camera sync pulse synchronization
WO2016208209A1 (ja) * 2015-06-22 2016-12-29 オリンパス株式会社 撮像装置
CN106791415A (zh) * 2016-12-29 2017-05-31 中国科学院长春光学精密机械与物理研究所 一种智能图像处理装置
CN108702443A (zh) * 2017-08-24 2018-10-23 深圳市大疆创新科技有限公司 图像处理方法、设备及无人机
JP6648375B2 (ja) 2018-05-21 2020-02-14 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 撮像システム、及び移動体
KR102679016B1 (ko) * 2019-01-23 2024-06-28 에스케이하이닉스 주식회사 이미지 센서 칩, 전자 장치 및 이미지 센서 칩의 동작 방법

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5719624A (en) * 1989-07-18 1998-02-17 Canon Kabushiki Kaisha Image recording apparatus with arithmetic processing
US5040068A (en) * 1989-12-28 1991-08-13 Eastman Kodak Company Electronic imaging apparatus with interchangeable pickup units
US5896166A (en) * 1993-06-02 1999-04-20 Envision Medical Corporation Remote CCD video camera with non-volatile digital memory
DE69528918T2 (de) * 1994-02-28 2003-04-24 Canon K.K., Tokio/Tokyo Bildaufnahmegerät
JPH0969978A (ja) * 1995-08-30 1997-03-11 Sanyo Electric Co Ltd 撮像装置
US6573931B1 (en) * 1996-04-19 2003-06-03 Canon Kabushiki Kaisha Information transmission method and apparatus
US6593963B1 (en) * 1998-05-29 2003-07-15 Agilent Technologies, Inc. Programmable control of operational signals in a digital camera
JP2000050129A (ja) * 1998-07-31 2000-02-18 Minolta Co Ltd デジタルカメラ
JP2001238138A (ja) * 2000-02-21 2001-08-31 Matsushita Electric Ind Co Ltd 固体撮像素子のためのタイミングジェネレータ
JP2002077739A (ja) * 2000-08-30 2002-03-15 Chinon Ind Inc 固体撮像素子、レンズ装置および撮像装置
JP2003046878A (ja) * 2001-07-30 2003-02-14 Sony Corp タイミング信号発生装置
US7391437B2 (en) * 2002-12-18 2008-06-24 Marvell International Ltd. Image sensor interface

Also Published As

Publication number Publication date
US20040257453A1 (en) 2004-12-23
CN1574885A (zh) 2005-02-02
KR20050000163A (ko) 2005-01-03
CN1263282C (zh) 2006-07-05
KR100601460B1 (ko) 2006-07-14
DE10331292B3 (de) 2005-02-03
JP2005020689A (ja) 2005-01-20

Similar Documents

Publication Publication Date Title
JP3926312B2 (ja) 画像処理システムにおけるインターフェース装置および方法
CN101674400B (zh) 一种摄像系统及其方法
JP5266864B2 (ja) イメージセンサ、データ出力方法、撮像デバイス、及び、カメラ
CN101860682A (zh) 摄像设备
KR100771299B1 (ko) 색 보간용 라인 버퍼 및 라인 데이터 제공 방법
EP1763238B1 (en) Image processor, imaging device, and image processing system
EP1892664A1 (en) Image processing device and method
JP4343657B2 (ja) 画像記録装置
KR20100007628A (ko) 이미지 센서 인터페이스 장치 및 이를 구비하는 디지털촬영 장치
JP4717120B2 (ja) 撮像装置及びイメージプロセッサチップ
US20040201693A1 (en) Image processing system
JP2006042004A (ja) 画像処理装置及び画像処理方法
JPH0690435A (ja) 画像再生装置
JP2007221685A (ja) デジタルカメラ及びその制御方法
JP6232773B2 (ja) 画像形成システム、画像形成方法及びプログラム
JPH10327428A (ja) ディジタルカメラ
JP2006048226A (ja) 半導体集積回路及び撮像装置
JP2002094934A (ja) 信号処理装置およびカメラシステム
JP5206237B2 (ja) カメラ
CN118648297A (zh) 配置为生成raw图像的摄像装置、控制方法和程序
JP2009071473A (ja) データ処理回路
JPH11284916A (ja) デジタルカメラ
JP2010098587A (ja) 通信端末および通信システム
JP2004241813A (ja) 撮像装置およびデジタル画像処理方法
JP2006100912A (ja) ビデオ信号出力装置を備えた記録装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20061013

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061024

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070123

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070227

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110309

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees