JP4822507B2 - 画像処理装置および画像処理装置に接続される装置 - Google Patents

画像処理装置および画像処理装置に接続される装置 Download PDF

Info

Publication number
JP4822507B2
JP4822507B2 JP2005312806A JP2005312806A JP4822507B2 JP 4822507 B2 JP4822507 B2 JP 4822507B2 JP 2005312806 A JP2005312806 A JP 2005312806A JP 2005312806 A JP2005312806 A JP 2005312806A JP 4822507 B2 JP4822507 B2 JP 4822507B2
Authority
JP
Japan
Prior art keywords
data
image processing
processing apparatus
encapsulated
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005312806A
Other languages
English (en)
Other versions
JP2007124212A (ja
Inventor
元 佐々木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MegaChips Corp
Original Assignee
MegaChips Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MegaChips Corp filed Critical MegaChips Corp
Priority to JP2005312806A priority Critical patent/JP4822507B2/ja
Priority to US11/533,810 priority patent/US7787701B2/en
Publication of JP2007124212A publication Critical patent/JP2007124212A/ja
Application granted granted Critical
Publication of JP4822507B2 publication Critical patent/JP4822507B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H04N19/428Recompression, e.g. by spatial or temporal decimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Studio Devices (AREA)

Description

本発明は、JPEGやJPEG2000等の圧縮画像データのモジュール間転送技術に関する。
撮像装置の低価格化、縮小化に伴い、様々な電子機器にカメラ機能が付加されようになっている。たとえば、カメラ付携帯電話などである。図8は、従来のカメラ付携帯電話100のブロック図である。カメラ付携帯電話100は、ホスト制御モジュール101と画像処理モジュール102とを備えている。
ホスト制御モジュール101は、携帯電話の本来の機能である通話処理のほか、データ通信処理などを実行するモジュールである。画像処理モジュール102は、撮像素子(図示省略)から入力した画像データに各種の画像処理を実行するモジュールである。たとえば、色補間処理、色空間変換処理、ガンマ変換処理などを実行する。また、画像処理モジュール102は、画像データをJPEGやJPEG2000などで圧縮する機能を備えている。
このように、一般に、カメラ付携帯電話は、ホスト制御モジュールと画像処理モジュールとを備えている。つまり、携帯電話のメインの機能を処理するモジュールとは別に、撮像画像に画像処理を実行するモジュールを搭載するようにしている。このような構成がとられるのは、撮像素子や画像処理モジュールを製造する工程と、ホスト制御モジュールを製造する工程とを分離することが可能となるからである。たとえば、カメラメーカが撮像素子と画像処理モジュールとからなるカメラモジュールを製造し、携帯電話メーカがホスト制御モジュールを製造するという役割分担が可能となる。また、モジュールを分離することで、各モジュールに汎用性を持たせることが可能となる。
このように、カメラ付携帯電話では、画像処理モジュールとホスト制御モジュールとが別モジュールで構成されている。このため、画像処理モジュールにおいて処理された画像データをホスト制御モジュールに転送する仕組みが必要である。たとえば、カメラで撮影した画像データをメールで転送する場合には、まず、画像処理モジュールにおいてJPEGデータを生成し、そのJPEGデータをホスト制御モジュールに転送する必要が生じる。
ここで、従来のカメラ付携帯電話100では、図8に示すように、画像処理モジュール102が、SDRAM103にJPEGデータを記録し、ホスト制御モジュール101が、SDRAM103に記録されたJPEGデータを読み出すようにしていた。あるいは、ホストI/Fを用いて画像処理モジュール102からホスト制御モジュール101にJPEGデータを転送するようにしていた。
別の方法を図9に示す。この従来のカメラ付携帯電話110は、画像処理モジュール102とホスト制御モジュール101間を接続するYUVデータパス104を用いてJPEGデータを転送するようにしている。
ここで、画像処理モジュール102は、YUV画像データをJPEGデータに変換するが、連続的に入力されるYUV画像データに対して、JPEGデータは、時間方向で離散的に生成され、出力される。図10は、JPEG圧縮処理部に入力されるYUV画像データの信号列を示している。YUV画像データは、Y→U→Y→V→Y→U→Y→Vというように、1クロックごとに、Y信号とU信号(またはV信号)が交互に繰り返されるデータである。このように、1クロックごとに、1画素分のYUV画像データがJPEG圧縮処理部に供給されるのに対して、図11および図12に示すように、出力されるJPEGデータは、離散的である。図11および図12で示すDoutは、出力データを示しており、この中で網掛けした部分が、有効データ部分である。
このように、出力されるJPEGデータが時間方向で離散的となるのは、JPEG圧縮されることにより、YUV画像データに比べてJPEGデータのデータサイズが小さくなるからである。また、圧縮比率は、画像の内容によって変化するため、データの出力されるタイミングや、データサイズは一定ではない。
画素数の少ない画像データであれば、圧縮済みの1フレーム分のJPEGデータを、一旦、外部メモリに格納してから(つまり、離散的なデータの有効データ部分のみを外部メモリに記録してから)、YUVデータパス104に連続的に出力するという方法をとることが可能である。しかし、画素数が多くなると、一画面のJPEGデータを外部メモリに格納することができない。あるいは、非常に大きな容量の外部メモリを使用するとなると、コストを高くするとともに、消費電力を増大させることになる。最近の撮像素子は、画素数が非常に多くなっているため、これは避けられない問題である。
このような問題を解決する1つの方法として、従来、時間方向で離散的に生成されたJPEGデータを、そのままホスト制御モジュール101に対して転送し、VALID信号あるいは出力データクロックを利用して、ホスト制御モジュール側でJPEGデータを再製するようにしていた。
図11は、VALID信号を制御する方法を示す図である。図は、画像処理モジュール102からホスト制御モジュール101に対して転送されるピクセルクロック信号(PIXCLK)、フレームVALID信号(FRAME_VALID)、ラインVALID信号(LINE_VALID)、出力データ(Dout)を示す図である。この方法では、有効データ(JPEGデータ)が出力されるタイミングに同期して、ラインVALID信号をHighレベルに制御している。ホスト制御モジュール101は、このラインVALID信号を読み取り、Highレベル状態にあるタイミングで出力データをメモリに格納するのである。これにより、ホスト制御モジュール101は、ストリームデータの中から有効なデータのみをメモリに格納し、JPEGデータを再製するようにしている。
図12は、ピクセルクロック信号を用いる方法を示す図である。この方法では、有効データ(JPEGデータ)が出力されるタイミングに同期してピクセルクロック信号を出力し、有効データが出力されない期間、ピクセルクロック信号をゲーティングするようにしている。ホスト制御モジュール101は、このピクセルクロック信号を読み取り、ピクセルクロック信号を入力するタイミングで出力データをメモリに格納するのである。これにより、ホスト制御モジュール101は、ストリームデータの中から有効なデータのみをメモリに格納し、JPEGデータを再製するようにしている。
上述したように、従来のカメラ付携帯電話100は、SDRAM103を用いてJPEGデータを転送するようにしていたが、外部メモリを接続する構成であるため、コスト高となっていた。また、消費電力が増大するとともに、装置構成が大きくなるため、基板スペースを圧迫するという問題もあった。
また、従来のカメラ付携帯電話機110は、YUVデータパス104を用いてJPEGデータを転送するようにしていたが、この方法を実現するためには、ホスト制御モジュール101に対応する構成が必要となる。
たとえば、図11で示す方法であれば、ホスト制御モジュール101が、VALID信号のレベルに応じて入力信号を取得、あるいは破棄するといった制御を行う回路を備えている必要がある。しかし、一般的には、そのような回路を備えていないホスト制御モジュールが多い。
また、ホスト制御モジュール101が、ピクセルクロックのゲーティングを許さない場合には、図12で示す方法をとることができない。たとえば、ホスト制御モジュール101が、撮像装置からのピクセルクロックをPLLに入力して逓倍クロックを作っている場合などは、ピクセルクロックを停止させることができない。
しかし、ホスト制御モジュール101が、離散的に出力されたJPEGデータを、そのままYUVデータ同様にメモリに格納すると、有効データと無効データが混在した状態となるので、有効データだけを取り出してJPEGデータを再製することができない。
そこで、本発明は前記問題点に鑑み、装置構成を増大させることなく、低コストな構成で、かつ、VALID信号やクロック信号に特別の制御を加えることなく、モジュール間でJPEGデータを転送する技術を提供することを目的とする。
請求項1記載の発明は、撮像装置より得られた画像信号に画像処理を行う装置であって、画像信号を圧縮し、圧縮データを出力する処理手段と、非圧縮の画像信号を前記装置の外部に出力する出力インタフェースと、を備え、前記処理手段は、時間方向で離散的に出力される圧縮データのデータ有効部分の前後にマーカーを付加し、圧縮データをカプセル化する手段と、カプセル化データに、次のカプセル化データまでの間隔情報を埋め込む手段と、を含み、前記出力インタフェースは、カプセル化された圧縮データが時間方向で離散的に出現するストリームデータを前記装置の外部に出力することを特徴とする。
請求項2記載の発明は、請求項1に記載の画像処理装置において、前記処理手段は、圧縮データを一時的に格納するバッファ、を含み、前記処理手段は、前記バッファに格納された圧縮データのデータ有効部分のまとまりをカプセル化することを特徴とする。
請求項3記載の発明は、請求項1または2に記載の画像処理装置において、前記処理手段は、次のカプセル化データまでの間隔が定まらない場合、カプセル化データに、間隔が不定である旨の情報を埋め込むことを特徴とする
請求項4記載の発明は、撮像装置より得られた画像信号に画像処理を行う装置であって、画像信号を圧縮し、圧縮データを出力する処理手段と、非圧縮の画像信号を前記装置の外部に出力する出力インタフェースと、を備え、前記処理手段は、時間方向で離散的に出力される圧縮データのデータ有効部分の前後にマーカーを付加し、圧縮データをカプセル化する手段と、カプセル化データに、前のカプセル化データまでの間隔情報を埋め込む手段と、を含み、前記出力インタフェースは、カプセル化された圧縮データが時間方向で離散的に出現するストリームデータを前記装置の外部に出力することを特徴とする。
請求項5記載の発明は、請求項4に記載の画像処理装置において、前記処理手段は、圧縮データを一時的に格納するバッファ、を含み、前記処理手段は、前記バッファに格納された圧縮データのデータ有効部分のまとまりをカプセル化することを特徴とする。
請求項6記載の発明は、請求項4または5に記載の画像処理装置において、前記処理手段は、1フレームデータ領域のストリームデータの最後に、最終のカプセル化データまでの間隔情報を記録することを特徴とする。
請求項7記載の発明は、請求項4または5に記載の画像処理装置において、
前記処理手段は、1フレームデータ領域のストリームデータの最後に、最終のカプセル化データを記録することを特徴とする。
請求項8記載の発明は、請求項1ないし請求項7のいずれかに記載の画像処理装置において、前記処理手段は、最終のカプセル化データに、最終カプセルであることを示す情報を埋め込むことを特徴とする。
請求項記載の発明は、請求項ないし請求項のいずれかに記載の画像処理装置において、前記間隔情報は、カプセル化データの時間間隔情報またはメモリアドレス間隔情報、を含むことを特徴とする。
請求項10記載の発明は、請求項2または請求項5に記載の画像処理装置において、前記画像処理装置における動作周波数と、前記出力インタフェースから出力するデータの転送周波数が異なる場合、前記転送周波数に合わせて前記バッファからのデータの読み出しを制御することを特徴とする。
請求項11記載の発明は、請求項1ないし請求項10のいずれかに記載の画像処理装置と接続される装置であって、非圧縮の画像信号を入力する入力インタフェースと、制御手段と、メモリと、を備え、前記画像処理装置の前記出力インタフェースから出力されたストリームデータを、前記入力インタフェースから入力し、入力したストリームデータが、前記メモリに格納され、前記制御手段は、前記メモリに格納されたデータの中から前記マーカーをサーチすることにより、圧縮データを再製するか、前記カプセル化データに格納された前記間隔情報に基づいて、圧縮データを再製するかを選択して実行することを特徴とする画像処理装置に接続される。
本発明の画像処理装置は、時間方向で離散的に出力されるJPEGデータの有効データにマーカーを付加するので、無効データも含めたJPEGストリームデータをそのまま外部の装置に転送することができる。外部の装置は、マーカーをサーチしてJPEGデータを再製できるからである。これにより、画像処理装置は、容量の大きいメモリをJPEGデータの転送用に用意する必要がない。したがって、装置構成の縮小化と、低コスト化を図ることが可能である。
また、時間方向で離散的に出力されるJPEGデータの有効データに間隔情報を付加するので、無効データも含めたJPEGストリームデータをそのまま外部の装置に転送することができる。外部の装置は、間隔情報を利用してJPEGデータを再製できるからである。これにより、画像処理装置は、容量の大きいメモリをJPEGデータの転送用に用意する必要がない。したがって、装置構成の縮小化と、低コスト化を図ることが可能である。
{第1の実施の形態}
以下、図面を参照しつつ本発明の第1の実施の形態について説明する。図1は、実施の形態に係るカメラ付携帯電話1のブロック図である。カメラ付携帯電話1は、撮像装置2と、画像処理モジュール3と、ホスト制御モジュール4と、LCD5と、SDRAM6とを備えている。画像処理モジュール3は、本発明の画像処理装置の1つの実施の形態である。画像処理装置は、画像信号に圧縮処理を実行する機能を備えるものであるが、この実施の形態では、画像処理モジュール3は、圧縮処理機能として、JPEG圧縮機能を備えている場合を例に説明する。
撮像装置2は、CCD、CMOSなどの撮像素子21と、撮像素子21から出力されたアナログの画像データをデジタル変換するA/D変換器22を備えている。撮像装置2から出力されたデジタルの画像データは、画像処理モジュール3に転送される。
画像処理モジュール3は、フィルタ処理部31と、JPEG処理部32と、2つのラインメモリ33a,33bと、セレクタ34と、YUVインタフェース35とを備えている。
フィルタ処理部31は、撮像装置2から入力したデジタルの画像データに様々な画像処理を実行する。たとえば、画素補間処理やガンマ変換処理を実行する。また、撮像装置2から出力される画像データがRGBデータである場合には、YUV色空間データへの変換処理を行う。
フィルタ処理部31において処理された画像データは、以下に示す2つの方法でホスト制御モジュール4に転送される。1つは、ライブビュー用のため、YUV画像データとしてホスト制御モジュール4に転送される。もう1つは、記録用等のため、JPEGデータとしてホスト制御モジュール4に転送される。
まず、ライブビュー処理について説明する。フィルタ処理部31から出力されたYUV画像データは、2つのラインメモリ33a,33bを介して、セレクタ34へと出力される。フィルタ処理部31から出力されたYUV画像データは、ラインメモリ33a,33bの一方のラインメモリに蓄積される。そして、YUV画像データが蓄積された一方のラインメモリからセレクタ34にデータが転送されているタイミングで、他方のラインメモリがフィルタ処理部31から出力されたYUV画像データを蓄積するのである。このように、ラインメモリ33a,33bが交互にYUV画像データの蓄積と出力を切替えることにより、フィルタ処理部31から出力されたYUV画像データが連続的にセレクタ34へ出力される。
セレクタ34は、ライブビュー時には、ラインメモリ33a,33bから出力されるYUV画像データをYUVインタフェース35に出力するように制御されている。したがって、フィルタ処理部31、ラインメモリ33a,33bを介して連続的に出力されたYUV画像データが、YUVインタフェース35を介してホスト制御モジュール4に転送される。
ホスト制御モジュール4では、YUVインタフェース42が、ライブビュー用のYUV画像データを入力する。そして、CPU41や図示せぬLCDコントローラの制御により、連続的に入力するYUV画像データをLCD5に出力するのである。これにより、ユーザは、撮像素子2が撮像している画像をリアルタイムで参照することが可能である。
次に、本発明の特徴部分でもあるJPEGデータの転送方法について説明する。フィルタ処理部31から出力されたYUV画像データは、圧縮処理部322においてJPEG圧縮される。また、圧縮処理部322の前段には、2つのラインメモリ321a,321bが設けられている。ラインメモリ321a,321bは、それぞれ8ライン分のYUV画像データを保持することが可能であり、一方のラインメモリに8ライン分のYUV画像データが蓄積されているタイミングで、他方のラインメモリに蓄積されている8ライン分のYUV画像データが、圧縮処理部322に供給される。そして、圧縮処理部322は、8ライン分のYUV画像データを用いて、JPEG圧縮処理を実行するのである。JPEG圧縮処理は、8×8画素のブロック単位で処理が実行されるので、このように圧縮処理部322は、8ライン分のYUV画像データを保持可能なラインメモリ321a,321bのうち、いずれか一方のラインメモリから出力されたデータを用いてJPEG圧縮処理を実行可能としているのである。つまり、JPEG処理部32は、JPEG圧縮処理を実行するために、1画面分の全てのYUV画像データを保持しておく必要はない。
圧縮処理部322においてJPEG圧縮処理が実行されると、圧縮後のJPEGデータが出力される。2つのラインメモリ321a,321bから交互に出力されるYUV画像データは、時間方向で連続的なデータである。これに対して、圧縮処理部322から出力されるJPEGデータは、時間方向で離散的なデータである。圧縮処理部322は、この離散的に出力されたJPEGデータを、FIFO324に格納する。
図2は、FIFO324のブロック図である。FIFO324は、2バンクのバッファ324a,324bで構成されている。圧縮処理部322から出力されたJPEGデータは、バッファ324a,324bのうち一方のバッファに蓄積される。そして、一方のバッファにJPEGデータが蓄積されているタイミングで、他方のバッファに蓄積されていたJPEGデータがセレクタ34へと出力されるのである。
圧縮処理部322は、圧縮後のJPEGデータ、つまり、有効なデータ部分をバッファ324aあるいはバッファ324bに格納する。そして、有効データが所定データ量蓄積された時点で、カプセル化処理部323が、バッファ324aあるいはバッファ324bに格納されている有効データをカプセル化するのである。たとえば、カプセル化処理部323は、バッファ324aあるいはバッファ324bに8バイト分のJPEGデータ(有効データ)が蓄積された時点で、有効データをカプセル化するのである。具体的には、カプセル化処理部323は、バッファ324aあるいはバッファ324bからセレクタ34に対して出力される有効データのまとまりの先頭部分にスタートマーカーMAを付加し、有効データのまとまりの最終にエンドマーカーMBを付加するのである。図3は、バッファ324aあるいはバッファ324bから出力されるカプセル化データCDを含むストリームデータを示す図である。図に示すように、このストリームデータには、カプセル化データCDと、無効データ(図のNO DATAと表記した部分)が含まれている。そして、上記のようにカプセル化データCDは、スタートマーカーMAと、エンドマーカーMBと、これらマーカーMA,MBでカプセル化されたJPEGの有効データJD(図のDATA部分)とからなる。
JPEGデータの転送時、セレクタ34は、バッファ324a,324bから入力した信号をYUVインタフェース35へと出力するよう制御される。したがって、図3で示すようなストリームデータがYUVインタフェース35を介してホスト制御モジュール4に転送される。このように、本実施の形態において、画像処理モジュール3からホスト制御モジュール4に転送されるJPEGデータは、時間方向で離散的なデータであるが、その有効データ部分の前後にマーカーMA,MBが付加されているのである。
ホスト制御モジュール4では、YUVインタフェース42により、マーカー付のJPEGストリームデータを受け取る。そして、CPU41は、そのストリームデータを、そのままSDRAM6に格納する。図4は、SDRAM6に格納されたストリームデータのイメージ図である。図に示すように、SDRAM6には、カプセル化データCDが記録される領域と、無効データが記録される領域とが混在している。
そこで、CPU41は、SDRAM6に格納されているデータのスタートマーカーMAあるいはエンドマーカーMBをサーチして、カプセル化データCDを特定し、このカプセル化データCDからマーカーMA,MBを取り除いて有効データJDを得るのである。そして、全てのカプセル化データCDをサーチして、同様の処理を繰り返すことで、全ての有効データJDを取得し、JPEGデータを再製するのである。
このように、本実施の形態によれば、画像処理モジュール3は、時間方向で離散的に出力されるJPEGデータを、無効データも含めたストリームデータとして、ホスト制御モジュール4に転送する。したがって、画像処理モジュール3は、有効データ部分のみを集めてJPEGデータを生成する必要がないので、大きな容量のSDRAMなどを備える必要はない。したがって、画像処理モジュール3のモジュール構成の縮小化と低コスト化を実現可能である。そして、転送される有効データJDは、マーカーMA,MBが付加されてカプセル化されるので、ホスト制御モジュール4は、受け取ったストリームデータをそのままSDRAM6に格納した後で、JPEGデータを再製可能である。したがって、VALID信号を制御したり、ピクセルクロック信号をゲーティングしたりすることなく、JPEGデータを再製可能である。
なお、1フレーム分のJPEGストリームデータの中で、最終のカプセル化データCDには、最終のカプセル化データであることを示す情報を埋め込んでおくようにしてもよい。これにより、1フレームの最後のデータを明示的に示すことが可能であり、ホスト制御モジュール4における処理上、利便性がよい。
なお、画像処理モジュール3の動作周波数(処理クロック)と、ホスト制御モジュール4へのYUVインタフェースを用いた転送周波数(転送クロック)が異なる場合には、FIFO324において、タイミングを調整できるため、モジュール間でクロックが異なる場合にも、本実施の形態は、適用可能である。つまり、FIFO324において、転送周波数に合わせるようにカプセル化データCDを出力するタイミングを制御すればよい。
また、上述したライブビュー時のYUV画像データの処理であるが、撮像素子2の画素数の増大とともに、YUVインタフェースの転送周波数が非常に高くなるという問題がある。転送周波数が高くなると、消費電力が増大するとともに、S/N比が低下するという問題が生じるからである。さらには、ホスト制御モジュール4のYUVインタフェース42が、撮像素子2における画素信号の出力周波数に適応できない場合がある。
このような問題を解決するために、ライブビュー時には、画像処理モジュール3において、図5に示すように、YUV画像データをリサイズした上で、ホスト制御モジュール4に転送することとする。図中、P1は、撮像素子2から出力された画像であり、P2は、リサイズ後の画像を示している。そして、ホスト制御モジュール4に転送する1画面の画像データのサイズを小さくした上で、撮像素子2の画素信号の出力周波数よりも低い周波数で、YUV画像データを転送するようにするのである。この方法をとることにより、YUVインタフェースの転送周波数を低くすることが可能である。
また、撮像素子2の動作周波数とYUVインタフェースの動作周波数が異なる場合にも、YUV画像データをリサイズすることによって、転送周波数を低くし、対応することが可能である。
{第2の実施の形態}
次に、本発明の第2の実施の形態について説明する。第2の実施の形態における画像処理モジュール3は、第1の実施の形態における画像処理モジュール3の機能に加えて、カプセル化データCDの中に、カプセル化データCD間の間隔情報を記録する機能を備えている。ここで、間隔情報とは、JPEGストリームデータ中におけるカプセル化データCDの間隔を示している。つまり、図3において、無効データ(NO DATA)が転送されている時間、あるいは、図4において、無効データ(NO DATA)が格納されているメモリアドレスの幅を示している。
間隔情報D1は、図6に示すように、スタートマーカーMAの中に埋め込まれる。あるいは、エンドマーカーMBの中に埋め込まれてもよい。間隔情報D1は、カプセル化データCDの中のいずれかの場所に格納すればよく、たとえば、スタートマーカーMAと有効データJDとの間に挿入してもよい。
この間隔情報D1には、次のカプセル化データCDまでの情報が記録されている。間隔情報D1は、上述したように、カプセル化データCDが転送される時間間隔、あるいはカプセル化データCDがメモリに格納される際のアドレス間隔の情報である。
このように、カプセル化データCDに間隔情報D1が記録されることにより、ホスト制御モジュール4において、JPEGデータを再製する際の処理効率を向上させることが可能である。つまり、CPU41は、SDRAM6に格納されている先頭のカプセル化データCDを取得した後は、この間隔情報D1の内容を読み取り、間隔情報D1に従って、次のカプセル化データCDを取得すればよいので、全てのアドレスに格納されたデータに対してマーカーをサーチする場合と比べて処理を高速化させることが可能である。
しかし、JPEG処理部32において、出力されるJPEGデータのタイミングは、一定ではないことを前に説明した。したがって、全てのカプセル化データCDについて、次のカプセル化データCDまでの間隔を特定できるとは限らない。そこで、ある程度までは、カプセル化データCDの出力するタイミングを予測し、間隔情報D1を書き込むようにする。そして、予測が不可能となった際には、間隔情報D1として、間隔が不定であることを示す情報を記録するのである。ホスト制御モジュール4では、間隔情報D1として、次のカプセル化データCDまでの間隔を示す情報が記録されている場合には、この情報に従って、次のカプセル化データCDを取得すればよい。そして、間隔が不定であることを示す情報が含まれていた場合には、第1の実施の形態で説明したように、マーカーをサーチするようにすればよい。
また、ホスト制御モジュール4は、カプセル化データCDに埋め込まれた間隔情報D1を利用して、カプセル化データCDを取得するようにしてもよいし、第1の実施の形態と同様、マーカーMA,MBをサーチしてカプセル化データCDを取得するようにしてもよい。これらいずれの処理を実行するかを選択可能にしてもよい。
{第3の実施の形態}
次に、本発明の第3の実施の形態について説明する。第3の実施の形態における画像処理モジュール3は、第1の実施の形態における画像処理モジュール3の機能に加えて、カプセル化データCDの中に、カプセル化データCD間の間隔情報を記録する機能を備えている。ただし、第2の実施の形態とは異なり、前のカプセル化データCDとの間の間隔情報が記録される。
間隔情報D1は、第2の実施の形態と同様、図6に示すように、スタートマーカーMAあるいはエンドマーカーMBに埋め込まれる。あるいは、カプセル化データCD内のその他の部分に挿入されてもよい。
この間隔情報D1には、前のカプセル化データCDまでの間隔情報が記録されている。間隔情報としては、第2の実施の形態と同様、時間間隔あるいはアドレス間隔が指定されている。
このように、カプセル化データCDに間隔情報D1が記録されることにより、ホスト制御モジュール4において、JPEGデータを再製する際の処理効率を向上させることが可能である。つまり、CU41は、SDRAM6に格納されている最終のカプセル化データCDを取得した後は、この間隔情報D1に従って、前のカプセル化データCDを取得すればよいので、全てのアドレスに格納されたデータに対してマーカーをサーチする場合と比べて処理を高速化させることが可能である。
そして、第2の実施の形態とは異なり、この実施の形態においては、全てのカプセル化データCDについて、間隔情報D1として、次のカプセル化データCDまでの間隔を指定した情報を記録することが可能である。つまり、次のカプセル化データCDまでの間隔は、予測不可能な場合が生じるが、前のカプセル化データCDまでの間隔は、必ず特定できるからである。
また、この実施の形態においては、最終のカプセル化データCDを最初に取得する必要性がある。そこで、次のような方法をとることで、最終カプセル化データの取得処理の効率化を図るようにしてもよい。
1つの方法としては、1フレームデータ領域のストリームデータの最後に、最終のカプセル化データCDまでの間隔情報を記録するという方法である。つまり、図3で示したように、JPEGのストリームデータには、カプセル化データCDと無効データが含まれるが、このストリームデータの最後に、最終のカプセル化データCDまでの間隔情報を記録しておくのである。これにより、最終のカプセル化データCDについても、マーカーMA,MBをサーチすることなく、格納位置を特定することが可能である。なお、間隔情報とは、上記の間隔情報D1と同様、時間間隔あるいはアドレス間隔である。
また、別の方法としては、1フレームデータ領域のストリームデータの最後に、最終のカプセル化データCDを記録するという方法である。この方法であれば、1フレームデータの最終部分から即座に最終のカプセル化データCDを取得可能であり、やはり、最終のカプセル化データCDについても、マーカーMA,MBをサーチすることなく、格納位置を特定することが可能である。
ホスト制御モジュール4は、カプセル化データCDに埋め込まれた間隔情報D1を利用して、カプセル化データCDを取得するようにしてもよいし、第1の実施の形態と同様、マーカーMA,MBをサーチしてカプセル化データCDを取得するようにしてもよい。これらいずれの処理を実行するかを選択可能にしてもよい。
{第4の実施の形態}
第2および第3の実施の形態では、有効データJDにマーカーMA,MBを付加してカプセル化した上で、間隔情報D1を埋め込むようにした。これに対して、第4の実施の形態は、マーカーMA,MBを付加することなく、間隔情報D1のみを用いてカプセル化データCDを構成するものである。なお、有効データJDの前後にマーカーは付加されないが、有効データJD(あるいは、そのまとまり)に間隔情報D1が付加されることで、カプセル化されたと表現することとする。
マーカーを利用することなく、間隔情報D1のみを用いるこの実施の形態では、あらかじめカプセル化データCDのカプセルサイズが定められている。そして、画像処理モジュール3およびホスト制御モジュール4は、定められたカプセルサイズに従って処理を実行する。あるいは、明示的に、画像処理モジュール3が、カプセル化データCDのカプセルサイズをホスト制御モジュールに通知するようにする。そして、一定のデータサイズのカプセル化データCDを転送するのである。
カプセル化データCDのカプセルサイズを通知する方法としては、次の方法が挙げられる。間隔情報D1が、次のカプセル化データCDまでの間隔情報である場合には、先頭のカプセル化データCDにカプセルサイズを記録するようにする。図は、カプセル化データCD内に、間隔情報D1と、カプセルサイズD2が記録されているイメージを示す図である。これにより、ホスト制御モジュール4は、間隔情報D1によりカプセル化データCDの転送間隔を知ることができ、さらに、カプセルサイズを先頭のカプセル化データCDより得られるので、全てのカプセル化データCDを取得することができる。

間隔情報D1が、前のカプセル化データCDまでの間隔情報である場合には、最終のカプセル化データCDにカプセルサイズを記録するようにする。これにより、ホスト制御モジュール4は、間隔情報D1によりカプセル化データCDの転送間隔を知ることができ、さらに、カプセルサイズを最終のカプセル化データCDより得られるので、全てのカプセル化データCDを取得することができる。なお、第3の実施の形態で説明したように、1フレームデータ領域のストリームデータの最後に、最終のカプセル化データCDまでの間隔情報を記録するか、最終のカプセル化データCDを記録しておくことで、最終のカプセル化データCDは、取得可能である。
このような仕組みにより、ホスト制御モジュール4は、SDRAM6に格納されているカプセル化データCDの間隔情報D1を参照しながら、JPEGデータを再製するのである。さらに、具体的に説明すると、間隔情報D1として、次のカプセル化データCDまでの間隔情報が記録されている場合には、ホスト制御モジュール4は、最初のカプセル化データCDから、2番目のカプセル化データまでの間隔情報を得ることにより、2番目のカプセル化データCDの格納アドレスの開始位置を特定できる。そして、カプセル化データCDのデータサイズが決まっているので、そのデータサイズに従って、2番目のカプセル化データCDを特定することが可能である。このような処理を繰り返すことにより、全てのカプセル化データCDを取得可能である。ただし、この実施の形態においては、マーカーMA,MBが付加されていないので、この方法を取るためには、全てのカプセル化データCDについて、次のカプセル化データCDまでの間隔が特定できることが前提となる。
間隔情報D1として、前のカプセル化データCDまでの間隔情報が記録されている場合には、ホスト制御モジュール4は、最終のカプセル化データCDから、1つ前のカプセル化データまでの間隔情報を得ることにより、1つ前のカプセル化データCDの格納アドレスの開始位置を特定できる。そして、カプセル化データCDのデータサイズが決まっているので、そのデータサイズに従って、1つ前のカプセル化データCDを特定することが可能である。このような処理を繰り返すことにより、全てのカプセル化データCDを取得可能である。そして、上述したように、前のカプセル化データCDまでの間隔は、必ず特定することが可能であるので、カプセル化データCDのサイズを一定にすることで、間隔情報D1のみを用いてJPEGデータを再製可能である。
この実施の形態においては、マーカーを用いずに、JPEGデータを再製可能とするため、カプセル化データCDのカプセルサイズを固定とした。しかし、最終のカプセル化データCDは、最後の端数のデータで構成されるため、設定されたカプセルサイズと異なる場合が生じる。そこで、最終カプセル化データCDには、最終カプセル化データCDのデータサイズを記録するようにしてもよい。あるいは、最終カプセル化データCDに、1フレームデータ全体のデータサイズを記録するようにしてもよい。あるいは、最終カプセル化データCDのデータサイズと、1フレームデータ全体のデータサイズ両方を、最終カプセル化データCD内に記録するようにしてもよい。また、別の方法としては、最終カプセル化データCDのみ、そのカプセル化データの最後に、エンドマーカーMBを付加するようにしてもよい。これらの方法により、最終のカプセル化データCDのカプセルサイズが異なる場合であっても、JPEGデータを再製可能である。
なお、第2〜第4の実施の形態においても、1フレーム分のJPEGストリームデータの中で、最終のカプセル化データCDには、最終のカプセル化データであることを示す情報を埋め込んでおくようにしてもよい。これにより、1フレームの最後のデータを明示的に示すことが可能であり、ホスト制御モジュール4における処理上、利便性がよい。
実施の形態に係るカメラ付携帯電話のブロック図である。 2バンクのFIFOを示す図である。 カプセル化データを含むJPEGストリームデータを示す図である。 ホスト制御モジュールのメモリに格納されたJPEGストリームデータのイメージ図である。 リサイズされた画像データを示す図である。 マーカーに埋め込まれた間隔情報を示す図である。 カプセル化データに埋め込まれた間隔情報とカプセルサイズを示す図である。 SDRAMを介在させてJPEGデータを転送する構成を示す図である。 YUVデータパスを用いてJPEGデータを転送する構成を示す図である。 YUV画像データの信号列を示す図である。 VALID信号を制御して、JPEGデータを転送する方法を示す図である。 ピクセルクロック信号をゲーティングすることにより、JPEGデータを転送する方法を示す図である。
符号の説明
1 カメラ付携帯電話
3 画像処理モジュール
4 ホスト制御モジュール
CD カプセル化データ
D1 間隔情報
D2 カプセルサイズ
JD (JPEG)有効データ
MA スタートマーカー
MB エンドマーカー

Claims (11)

  1. 撮像装置より得られた画像信号に画像処理を行う装置であって、
    画像信号を圧縮し、圧縮データを出力する処理手段と、
    非圧縮の画像信号を前記装置の外部に出力する出力インタフェースと、
    を備え、
    前記処理手段は、
    時間方向で離散的に出力される圧縮データのデータ有効部分の前後にマーカーを付加し、圧縮データをカプセル化する手段と、
    カプセル化データに、次のカプセル化データまでの間隔情報を埋め込む手段と、
    を含み、
    前記出力インタフェースは、カプセル化された圧縮データが時間方向で離散的に出現するストリームデータを前記装置の外部に出力することを特徴とする画像処理装置。
  2. 請求項1に記載の画像処理装置において、
    前記処理手段は、
    圧縮データを一時的に格納するバッファ、
    を含み、
    前記処理手段は、前記バッファに格納された圧縮データのデータ有効部分のまとまりをカプセル化することを特徴とする画像処理装置。
  3. 請求項1または2に記載の画像処理装置において、
    前記処理手段は、次のカプセル化データまでの間隔が定まらない場合、カプセル化データに、間隔が不定である旨の情報を埋め込むことを特徴とする画像処理装置。
  4. 撮像装置より得られた画像信号に画像処理を行う装置であって、
    画像信号を圧縮し、圧縮データを出力する処理手段と、
    非圧縮の画像信号を前記装置の外部に出力する出力インタフェースと、
    を備え、
    前記処理手段は、
    時間方向で離散的に出力される圧縮データのデータ有効部分の前後にマーカーを付加し、圧縮データをカプセル化する手段と、
    カプセル化データに、前のカプセル化データまでの間隔情報を埋め込む手段と、
    を含み、
    前記出力インタフェースは、カプセル化された圧縮データが時間方向で離散的に出現するストリームデータを前記装置の外部に出力することを特徴とする画像処理装置。
  5. 請求項4に記載の画像処理装置において、
    前記処理手段は、
    圧縮データを一時的に格納するバッファ、
    を含み、
    前記処理手段は、前記バッファに格納された圧縮データのデータ有効部分のまとまりをカプセル化することを特徴とする画像処理装置。
  6. 請求項4または5に記載の画像処理装置において、
    前記処理手段は、1フレームデータ領域のストリームデータの最後に、最終のカプセル化データまでの間隔情報を記録することを特徴とする画像処理装置。
  7. 請求項4または5に記載の画像処理装置において、
    前記処理手段は、1フレームデータ領域のストリームデータの最後に、最終のカプセル化データを記録することを特徴とする画像処理装置。
  8. 請求項1ないし請求項7のいずれかに記載の画像処理装置において、
    前記処理手段は、最終のカプセル化データに、最終カプセルであることを示す情報を埋め込むことを特徴とする画像処理装置。
  9. 請求項1ないし請求項8のいずれかに記載の画像処理装置において、
    前記間隔情報は、
    カプセル化データの時間間隔情報またはメモリアドレス間隔情報、
    を含むことを特徴とする画像処理装置。
  10. 請求項2または請求項5に記載の画像処理装置において、
    前記画像処理装置における動作周波数と、前記出力インタフェースから出力するデータの転送周波数が異なる場合、前記転送周波数に合わせて前記バッファからのデータの読み出しを制御することを特徴とする画像処理装置。
  11. 請求項1ないし請求項10のいずれかに記載の画像処理装置と接続される装置であって、
    非圧縮の画像信号を入力する入力インタフェースと、
    制御手段と、
    メモリと、
    を備え、
    前記画像処理装置の前記出力インタフェースから出力されたストリームデータを、前記入力インタフェースから入力し、入力したストリームデータが、前記メモリに格納され、前記制御手段は、前記メモリに格納されたデータの中から前記マーカーをサーチすることにより、圧縮データを再製するか、前記カプセル化データに格納された前記間隔情報に基づいて、圧縮データを再製するかを選択して実行することを特徴とする画像処理装置に接続される装置。
JP2005312806A 2005-10-27 2005-10-27 画像処理装置および画像処理装置に接続される装置 Expired - Fee Related JP4822507B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2005312806A JP4822507B2 (ja) 2005-10-27 2005-10-27 画像処理装置および画像処理装置に接続される装置
US11/533,810 US7787701B2 (en) 2005-10-27 2006-09-21 Image processing apparatus and apparatus connected to image processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005312806A JP4822507B2 (ja) 2005-10-27 2005-10-27 画像処理装置および画像処理装置に接続される装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2011098988A Division JP5194242B2 (ja) 2011-04-27 2011-04-27 画像処理装置および画像処理装置に接続される装置

Publications (2)

Publication Number Publication Date
JP2007124212A JP2007124212A (ja) 2007-05-17
JP4822507B2 true JP4822507B2 (ja) 2011-11-24

Family

ID=37996365

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005312806A Expired - Fee Related JP4822507B2 (ja) 2005-10-27 2005-10-27 画像処理装置および画像処理装置に接続される装置

Country Status (2)

Country Link
US (1) US7787701B2 (ja)
JP (1) JP4822507B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5265139B2 (ja) * 2007-06-13 2013-08-14 オリンパスメディカルシステムズ株式会社 体内画像取得システム
JP5238365B2 (ja) * 2008-06-05 2013-07-17 富士フイルム株式会社 撮像装置
WO2011148573A1 (ja) * 2010-05-28 2011-12-01 パナソニック株式会社 撮像装置
JP7560920B2 (ja) 2020-11-24 2024-10-03 サクサ株式会社 画像処理装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5764698A (en) * 1993-12-30 1998-06-09 International Business Machines Corporation Method and apparatus for efficient compression of high quality digital audio
JP3962440B2 (ja) * 1996-07-19 2007-08-22 キヤノン株式会社 画像処理装置
TW416229B (en) * 1998-07-17 2000-12-21 Hitachi Ltd Photographing apparatus
US7069208B2 (en) * 2001-01-24 2006-06-27 Nokia, Corp. System and method for concealment of data loss in digital audio transmission
JP2002247577A (ja) * 2001-02-20 2002-08-30 Hitachi Kokusai Electric Inc 動画像伝送方法
JP4571074B2 (ja) * 2003-06-13 2010-10-27 ノキア コーポレイション 画像データの圧縮とサムネール画像の作成を行う電子機器、画像処理装置、データ構造

Also Published As

Publication number Publication date
US7787701B2 (en) 2010-08-31
US20070098273A1 (en) 2007-05-03
JP2007124212A (ja) 2007-05-17

Similar Documents

Publication Publication Date Title
CN101536491B (zh) 图像捕捉装置和图像捕捉方法
JP3096618B2 (ja) 撮像装置
US8130279B2 (en) Image sensing apparatus sensing moving and still images, method thereof, storage medium and computer program
US20060227225A1 (en) Digital camera with electronic zooming function
EP1107567B1 (en) Digital camera
JP2001169167A (ja) 電子カメラ
KR100821407B1 (ko) 화상 정보 처리 시스템 및 화상 정보 처리 방법
JP4822507B2 (ja) 画像処理装置および画像処理装置に接続される装置
WO2004112396A1 (ja) 画像データの圧縮とサムネール画像の作成を行う電子機器、画像処理装置、データ構造
US7688361B2 (en) Image processor including memory controller which starts reading image data before writing screenful of image data is completed
JP5194242B2 (ja) 画像処理装置および画像処理装置に接続される装置
JP4454837B2 (ja) 画像処理装置
JP4302661B2 (ja) 画像処理システム
US20100195989A1 (en) Image reproducing apparatus and image reproducing method
JP2001024929A (ja) ディジタルカメラ
JP2002354299A (ja) デジタルスチルカメラ
KR20090071321A (ko) 촬상 장치, 촬상 방법 및 이를 수행하는 컴퓨터 프로그램을기록한 저장 매체
JPH10304230A (ja) 撮像システム及び記憶媒体
KR100902421B1 (ko) 캡쳐 영상을 시간 지연 없이 표시할 수 있는 영상 처리장치, 방법 및 상기 방법을 프로그램화하여 수록한컴퓨터로 읽을 수 있는 기록매체
JP2004356974A (ja) 撮像信号処理装置
JP3878847B2 (ja) デジタルカメラ
JPH07131748A (ja) 電子スチルビデオカメラ
JP2006109374A (ja) 電子カメラ
KR100577646B1 (ko) 디지털 스틸 카메라의 메모리 운영장치 및 운영방법
JP2004328405A (ja) 動画記録再生装置、その静止画圧縮記録方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081020

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20081020

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100930

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110301

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110427

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110531

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110729

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110823

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110905

R150 Certificate of patent or registration of utility model

Ref document number: 4822507

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140916

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees