WO2004054243A1

WO2004054243A1 - カメラ付き携帯端末

Info

Publication number: WO2004054243A1
Application number: PCT/JP2003/015652
Authority: WO
Inventors: Hiroaki Shibayama
Original assignee: Nec Corporation
Priority date: 2002-12-06
Filing date: 2003-12-08
Publication date: 2004-06-24
Also published as: EP1575278A1; EP1575278A4; US20060072027A1; JP2004193686A; CN1745574A

Abstract

このカメラ付き携帯端末は、カメラモジュール内に外部メモリ(６３)を備えている。デジタルカメラモードでは、画像データ(ＤＰ1)が外部メモリ(６３)に一旦バッファリングされた後、リサイズ処理部(７６)、フォーマット変換部(７７)における処理の空き時間に、エンコーダ(７４)が外部メモリ(６３)からの画像データを時分割で画像データ(ＤＰ2)に圧縮符号化した後、外部メモリ(６３)に記憶する。そして、ＣＰＵ(５３)は、必要に応じて外部メモリ(６３)から画像データ(ＤＰ2)を取り込む。モバイルカメラモードでは、外部メモリ(６３)の電源がオフされる。そして画像データ(ＤＰ1)が内部メモリ(７５)に一旦バッファリングされた後、前記空き時間に、エンコーダ(７４)が内部メモリ(７５)からの画像データ(ＤＰ1)を時分割で画像データ(ＤＰ2)に圧縮符号化した後、内部メモリ(７５)に記憶する。ＣＰＵ(５３)、必要に応じて内部メモリ(７５)から画像データ(ＤＰ2)を取り込む。

Description

明細書

カメラ付き携帯端末

技術分野

本発明はカメラ付き携帯端末に関し、特に、付属のカメラによる撮影で得られた画像データを処理して表示部に表示したり、電子メールに添付して送信する機能を有するカメラ付き携帯端末に関する。

背景技術

図 1は従来のカメラ付き携帯端末の要部の構成例を示している。ここで、携帯端末とは、携帯電話および簡易型携帯電話（PHS ： Personal Handy-phone System) の総称である。

この例のカメラ付き携帯端末はカメラモジュール 1とインタフェース 2と C PU (中央処理装置） 3とメイン液晶パネル 4と、サブ液晶パネル 5とを有している。

カメラモジュール 1はカメラセンサ 1 1とデジタル ·シグナル ·プロセッサ (DS P) 12とを有している。カメラセンサ 1 1は、例えば、記録解像度 1 280 X 960画素のメガピクセル（100万画素） · CMOSセンサであり、 DSP 1 2から供給される約 48MH zの周波数を有するクロック CKiに基づいて、アナログの映像赤信号、映像緑信号、映像青信号からなるアナログの映像信号 S_pを出力する。

カメラセンサ 1 1は、図 2に示すように、行方向に所定間隔で設けられた 9 60本の水平走査線 1 3と列方向に所定間隔で設けられた 1280本の垂直走查線 14との交点を画素とし、各画素ごとに、フォトダイオード 1 5と、対応するフォトダイオード 1 5の出力電流を増幅するアンプ 16とが配列されている。また、各フォトダイオード 1 5の光入射面には、赤（R)、緑（G)、青（B) の光学フィルタ 1 7_R、 1 7_GN 1 7_Bが設けられている。そして、例えば、約 48MHzの周波数を有するクロック CK^が DSP 1 2から供給されると、垂直スキャン回路 1 8がクロック C K iに同期して順次垂直走査信号を発生して 960本の垂直走査線 14に印加することにより各垂直走査線 14に接続されたアンプ 16を順次活性化するとともに、水平スキャン回路 19がクロック CK_tに同期して順次水平走査信号を発生して 1280本の水平走査線 1 3の一端に接続された MOSトランジスタ 20のゲート電極に印加することにより、各フォトダイオード 15から出力され、対応するアンプ 16で増幅された出力電流が対応する水平走査線 1 3を介して映像読出線 21に供給された後、アンプ 22で増幅され、アナログの映像赤信号、映像緑信号、映像青信号からなるアナログの映像信号 S_Pとして出力される。

D S P 12はクロック発生ブロック（CGB ： Clock Generating Block) 3 1とアナログ/デジタル変換器（ADC： Analog Digital Converter) 32とフォーマツト変換ブロック（FTB ： Format Transforming Block) 33とを有している。 CGB 31は、インタフェース LS I 2から供給される約 24M H zの周波数を有するクロック CK。に基づいて約 48MH zの周波数を有するクロック CKiを発生してカメラセンサ 1 1に供給する。 ADC 32は、力メラセンサ 1 1から供給されるアナログの映像赤信号、映像緑信号、映像青信号からなるアナログの映像信号 S_Pを 1画素 8ビットのデジタルの赤データ R、緑データ G、青データ Bからなるデジタルの画像データに変換して FTB 33 に供給する。 FTB 33は、 RGB形式の画像データである赤データ R、緑デ一タ&、青データ Bを YUV形式の画像データである輝度データ Y、輝度データ Υと赤データ Rとの色差データ U、輝度データ Yと青データ Bとの色差データ Vからなる画像データ D_Pに変換して 8ビット幅のパス 34を介してインタフェース LS I 2に供給する。この例では、画像データ D_Pは、輝度データ Y が 4ビット、色差データ U及び Vが各々 2ビットの計 8ビットである。以下に、赤データ R、緑データ G、青データ Bと、輝度データ Y、色差データ Uおよび Vとの一般的な変換式を示す。

Y = RX 0. 299+GX O. 587+BX 0. 1 14 (1)

U= 0. 654 X (B-Y) + 1 28=-RX 0. 168— GX 0. 33 1 + BX 0. 500 + 1 28 (2)

V= 0. 713 X(R-Y) + 1 28=RX 0. 500—GX O. 419

-BX 0. 081 + 128 (3) インタフェース LS I 2はリサイズ処理プロック（RS P'B : Resize Proceeding Block) 41とエンコーダ 'デコーダ 42と F I F O (First in First out) メモリ 43とァービタ 44とメモリ 45と 2DG (Dimension Graphics) エンジン 46と F I FOメモリ 47とインタフェース 48、 49とを有している。 RSPB41は、カメラセンサ 1 1により撮影された 1画素当たり 8ビット、 1フレームで 1280 X 960画素の画像データ Dpを、 QVGA (quarter video graphics array) と呼ばれ、解像度が 320 X 240画素であるメイン液晶パネル 4またはサブ液晶パネル 5に表示するために、 1画素当たり 8ビット、 1フレームで 320 X 240画素の YUV形式の画像データ D_PRにリサイズ化処理を行った後、エンコーダ 'デコーダ 42および F I FOメモリ 43に供給する。

エンコーダ ·デコーダ 42は、 RSPB41から供給された YUV形式の画像データ 13_?1¾を J PEG (joint photographic experts group) 形式の画像データ D_P j iに圧縮符号化処理して F I FOメモリ 43に記憶するとともに、 F I FOメモリ 43から供給された J P EG形式の画像データ D_P j を YUV形式の画像データ D_P j ₂に伸張復号処理して F I FOメモリ 45に記憶する。ここで、 J PEG形式とは、カラー静止画像の符号化方式の標準化を進めている国際標準化機構 (I SO ; International Organization for Standardization) と国際電気通信連合の電気通信標準化部門（ I TU— T ； International relecommunication Union - Telecommunication Standardization Sector; との合同組織で標準化された静止画像の圧縮 ·伸張方式を用いた画像ファイルの形式をいう。

F I FOメモリ 43は、、 RS PB41から供給される画像データ D _PRまたはエンコーダ ·デコーダ 42から供給される画像データ D_{PJ 1}をあるクロックに同期して先入れで内部に記憶するとともに、内部に記憶された画像データ D p _Rまたは画像データ D_{PJ 1}を上記クロックとは非同期の別個のクロックに同期して先出しで読み出し、アービタ 44またはエンコーダ ·デコーダ 42に供給する。アービタ 44は、インタフェース 49により制御され、 RSPB41、エンコーダ 'デコーダ 42、 200ェンジン46、インタフェース 48または 49 (これらを総称するときはデバイスという）からのメモリ 45に対する画像データの書き込み要求または読み出し要求を管理'調停する。メモリ 4 5は、 2 2 5キロバイトの記憶容量を有し、ァービタ 4 4により許可されたデバイスからの画像データが書き込まれるとともに、書き込まれたデータが読み出される。

2 D Gエンジン 4 6は、アービタ 4 4の許可に基づいてメモリ 4 5から読み出した画像データに対して、ビットマップの処理、直線や曲線の描画、塗りつぶしなどの処理など、 2次元的な描画処理を行う。 F I F Oメモリ 4 7は、ァービタ 4 4から供給される画像データをあるクロックに同期して先入れで内部に記憶するとともに、内部に記憶された画像データを上記クロックとは非同期の別個のクロックに同期して先出しで読み出し、インタフェース 4 8に供給する。インタフェース 4 8は、インタフェース 4 9により制御され、第 1のチップセレクト信号 C S をメイン液晶パネル 4に供給してメィン液晶パネル 4を活性化させつつ、アービタ 4 4の許可に基づいてメモリ 4 5から読み出し F I F Oメモリ 4 7を経た画像データをメイン液晶パネル 4に供給するとともに、第 2のチップセレクト信号 C S ₂をサブ液晶パネル 5に供給してサブ液晶パネル 5を活性化させつつ、アービタ 4 4の許可に基づいてメモリ 4 5から読み出し F I F Oメモリ 4 7を経た画像データをサブ液晶パネル 5に供給する。ィンタフエース 4 9は、アービタ 4 4およびインタフェース 4 8を制御する。

C P U 3は、不図示のプログラムメモリに記憶されたプログラムを実行してカメラ付き携帯端末の各部を制御する。また、 C P U 3は、インタフェース 4 8、 4 9を介してメイン液晶パネル 4およびサブ液晶パネル 5に直接アクセスする。メィン液晶パネル 4およびサブ液晶パネル 5には、電池の電池残量情報、アンテナの感度情報等の携帯端末内部の情報、相手先の電話番号、電子メールの文章、相手先に送信する電子メールに添付する画像、相手先から送信された電子メールに添付された画像、 WWW (World Wide Web) サーバの各種コンテンッ提供者から提供されるコンテンツを示す画像などが表示される。また、メイン液晶パネル 4およびサブ液晶パネル 5は、カメラモード時には、カメラフアインダとして利用される他、撮影結果である画像が表示される。

なお、先行技術調査を実施した限りでは、上述した従来技術の内容が具体的に記載された文献に関する情報は得られなかったが、従来のカメラ付き携帯端末における画像処理については、本出願人が先に提案した特願 2 0 0 2 - 0 3 5 1 3 6号に開示されている。

ところで、上記した従来のカメラ付き携帯端末においては、カメラモジユール 1からバス 3 4を介してインタフェース L S I 2供給される画像データ D _P のデータ量は 1フレーム当たり 1 2 8 0 X 9 6 0画素であり、 1画素 8ビットであるから、 2 , 4 5 7 , 6 0 0バイトとなるため、インタフェース L S I 2 におけるデータ処理時間が長くなつてしまう。そこで、データ処理時間を短縮するためにインタフェース L S I 2で用いるクロックの周波数を高くすることが考えられるが、このクロックの周波数を高くすると、消費電流が多くなるため、バッテリを電源として用いる携帯端末ではバッテリの寿命が短くなり不都合である。また、インタフェース L S I 2で用いるクロックの周波数を高くすると、無線信号を処理する無線制御部で用いるクロックにノィズ等の悪影響を与えてしまう場合がある。

また、上記した従来のカメラ付き携帯端末においては、インタフェース L S I 2においてほとんどの画像処理を行っているが、近年のメガピクセル化によりインタフェース L S I 2を構成し、これらの画像処理に用いられるメモリ 4 5の必要とする記憶容量がますます増加する傾向がある。そこで、メモリ 4 5 を S R AMで構成することが考えられるが、インタフェース L S I 2内部に S R AMを形成すると、チップ面積が大きくなるため、インタフェース L S I 2 の価格、ひいてはカメラ付き携帯端末の価格が上昇してしまう。

発明の開示

本発明の目的は、上述の問題点に鑑み、低い周波数のクロックおよび記憶容量の少ないメモリを用いても短いデータ処理時間で力メラから供給される高画素の画像データを処理することができるカメラ付き携帯端末を提供することにある。

本発明によるカメラ付き携帯端末は、カメラモジュールと、制御部と、表示部と、カメラモジュールと制御部およぴ表示部との間に設けられたインタフエース部とを有している。カメラモジュールは、記録解像度が第 1の画素数であり、撮影された画像に対応した第 1の形式の映像信号を出力するカメラセンサと、上記映像信号に画像処理を施すデジタル ·シグナル'プロセッサと、外部メモリとを有している。デジタル ·シグナル ·プロセッサは、上記映像信号を第 1の画像データに変換するアナログ/デジタル変と、内部メモリと、第 1の画像データを第 2 の画像データに圧縮符号化処理するエンコーダと、第 1の画像データを第 2の画素数を有する第 3の画像データにリサイズ化するリサイズ処理部と、第 3の画像データを第 2の形式の第 4の画像データに変換し、第 4の画像データを表示部にカメラファインダ用に表示するために第 1のパスを介してインタフエ一ス部に供給するフォーマツト変換部とを有している。

デジタルカメラモードでは、デジタル ·シグナル .プロセッサにおいて、第 1の画像データが外部メモリにー且バッファリングされる。その後、ェンコ一ダが、リサイズ処理部おょぴフォーマツト変換部において処理が行われていない空き時間に、内部メモリをバッファとして、外部メモリから読み出された第 1の画像データを時分割で第 2の画像データに圧縮符号化処理した後、外部メモリに記憶する。制御部は、必要に応じて、外部メモリに記憶された第 2の画像データを第 2のバスおょぴインタフェース部を介して取り込む。

モバイルカメラモードでは、外部メモリの電源がオフされ、デジタル ·シグナル ·プロセッサにおいて、第 1の画像データが内部メモリにー且バッファリングされる。その後、エンコーダが上記空き時間に、内部メモリをバッファとして、内部メモリから読み出された第 1の画像データを時分割で第 2の画像データに圧縮符号化処理した後、内部メモリに記憶する。制御部は、必要に応じて、内部メモリに記憶された第 2の画像データを第 2のバスおょぴインタフエ一ス部を介して取り込む。

このように、本発明では、カメラモジュール内に外部メモリを備え、デジタルカメラモード時に静止画像処理用の画像データをバッファリングするとともに、カメラファインダパスにおいて処理が行われていない空き時間に静止画像の圧縮符号化処理を行って力メラファインダ用の画像データと静止画像処理用の画像データとをそれぞれ別のシリアルバスを介してィンタフェース部に供給する。

これにより、低い周波数のクロックおよび記憶容量の少ないメモリを用いても、カメラから供給される高画素の画像データを短いデータ処理時間で処理することができる。したがって、消費電力を削減することができるとともに、ノッテリの寿命を延ばすことができ、さらに、ノイズの発生も抑えることができる。また、インタフェース L S Iおよびカメラ付き携帯端末を安価に構成することができる。

図面の簡単な説明

図 1は従来のカメラ付き携帯端末の要部の構成例を示すプロック図；図 2は同端末を構成するカメラセンサ 1 1の一部の構成例を示す回路図；図 3は本発明の一実施形態であるカメラ付き携帯端末の要部の構成を示すブロック；

図 4は同端末を構成する D S P 6 2の構成を示すブロック図；

図 5は同端末のデジタルカメラモードにおける動作を説明するためのブロック図；

図 6は同端末のモパイルカメラモードにおける動作を説明するためのブロック図；

図 7は同端末の各モードにおける各 R AMの役割を説明するための図；図 8は各モードにおけるカメラモジュール及ぴインタフェース L S Iの動作クロックに関する従来技術と実施例との比較を説明するための図；

図 9はカメラモジュールおよびインタフェース L S Iを構成するゲートのゲート数に関する従来技術と実施例との比較を説明するための図である。

発明を実施するための最良の形態

図 3を参照すると、本発明の一実施形態によるカメラ付き携帯端末は、カメラモジュール 5 1とインタフェース 5 2と C P U 5 3とメイン液晶パネル 5 4 とサブ液晶パネル 5 5とを有している。

カメラモジュール 5 1はカメラセンサ 6 1と D S P 6 2と外部 R AM 6 3とを有している。カメラセンサ 6 1は、例えば、記録解像度 1 2 8 0 X 9 6 0画素のメガピクセル · CMO Sセンサであり、 D S P 6 2から供給される約 4 8 MH zの周波数を有するクロック CK^に基づいて、アナログの映像赤信号、映像緑信号、映像青信号からなるアナログの映像信号 S_Pを出力する。カメラセンサ 61の構造は、図 2に示すカメラセンサ 1 1の構造と概ね同様であるので、その説明を省略する。

DSP 62は、図 4に示すように、 ADC 71と調整回路 72と外部 RAM コントローラ 73とエンコーダ 74と内部 RAM 75と RS PB 76と FTB 77とを有している。 DSP 62は、動作モードに応じてインタフェース L S 1 52から供給される、約 12MHzの周波数を有するクロック、約 24MH zの周波数を有するクロック、あるいは約 48MHzの周波数を有するクロックに基づいて動作する。

ADC 71は、カメラセンサ 51から供給されるアナログの映像赤信号、映像緑信号、映像青信号からなるアナログの映像信号 S_Pを 1画素 8ビットのデジタルの赤データ R、緑データ G、青データ Bからなるデジタルの画像データ D_P。に変換して調整回路 72に供給する。

調整回路 72は、画像データ D_P0に対してホワイトバランスや露光ゲイン調整などの画像処理を施した後、画像処理後の画像データを画像データ D _P として外部 RAMコントローラ 73および RSPB 76に供給する。

外部 RAMコントローラ 73は、画像データ D_P1を外部 RAM 63に一旦記憶するとともに、読み出してエンコーダ 74やインタフェース LS I 52に供給する。

エンコーダ 74は、内部 RAM75を圧縮符号化処理バッファとして用いて、外部 RAMコントローラ 73の制御の下に外部 RAM63から読み出される画像データ D _P を J P E G形式の画像データ D p ₂に圧縮符号化処理した後、画像データ D_{P 2}を外部 RAM 63に記憶する。

内部 RAM75は、 80キロバイトの記憶容量を有し、上記した圧縮符号ィ匕処理等の各種の処理の際にバッファとして用いられる。なお、 J PEG形式の画像データ D_P2は、外部 RAMコントローラ 73の制御の下、外部 RAM63 から読み出され、シリアルバス 78を介してインタフェース L S I 52に供給される。シリアルパス 78は、インタフェース L S I 52から供給される、力 W

メラによる撮像のタイミングを通知する撮像タイミング通知信号 s_TMのトリガにより動作を開始する。

R S P B 76は、内部 RAM75を用いて、 1画素当たり 8ビット、 1フレニムで 1 28 0 X 9 60画素の画像データ D_P1を 1画素当たり 8ビット、 1フレームで 3 20 X 240画素の画像データ D_{P 3}にリサイズ化処理を行った後、画像データ D p ₃を F T B 7 7に供給する。

FTB 7 7は、 RGB形式（第 1の形式）の画像データである赤データ R、緑データ G、青データ Bからなる画像データ D_P3を YUV形式（第 2の形式）の画像データである輝度データ Y、色差データ U、色差デ一タ Vからなる画像データ D_P4に変換して 1 6ビット幅のバス 7 9を介してィンタフェース L S I 5 2に供給する。

図 3に示す外部 RAM 6 3は、例えば、 4メガバイトの記憶容量を有し、同期型 DRAMのような、 1メモリセル当たりの回路要素が少ないためにチップサイズが小さくて大容量であり、高速動作可能でかつ安価なメモリである。この外部 RAM6 3は、後述するデジタルカメラモード時には RGB形式の画像データをバッファリングするバッファの役目を果たすが、後述するモバイルカメラモード時には電源をオフすることができる機能を有している。

インタフェース L S I 5 2は、約 48MH zのクロックにより動作するものであり、レジスタ 80と F I FOメモリ 8 1とアービタ 8 2とメモリ 8 3とデコーダ 84と 2DGエンジン 8 5と 3DGエンジン 8 6と F I FOメモリ 8 7 とインタフェース 88、 8 9とを有している。

レジスタ 80には、カメラモジュール 5 1から供給される画像データ D_P2が —時保持される。

F I FOメモリ 8 1は、あるクロックに同期して、カメラモジュール 5 1力ら供給される画像データ D _{P 2}または画像データ D p ₄を先入れで内部に記憶するとともに、上記クロックとは非同期の別個のクロックに同期して、内部に記憶された画像データ D p ₂または画像データ D p ₄を先出しで読み出し、アービタ 8 2を介してメモリ 8 3またはデコーダ 84に供給する。

アービタ 8 2は、インタフェース 8 9により制卸され、 F I F〇メモリ 8 1、デコーダ 84、 2DGエンジン 85、 3 D Gエンジン 86、インタフェース 8 8または 89 (これらを総称するときはデバイスという）からのメモリ 83に対する画像データの書き込み要求または読み出し要求を管理 ·調停する。

メモリ 83は、 320キロバイトの記憶容量を有し、アービタ 82により許可されたデバイスからの画像データが書き込まれるとともに、書き込まれたデータが読み出される。

デコーダ 84は、アービタ 82の許可に基づいてメモリ 83から読み出され、アービタ 82を介して供給される J PEG形式の画像データを YUV形式の画像データに伸張復号処理してアービタ 82を介してメモリ 83に記憶する。

2 DGエンジン 85は、アービタ 82の許可に基づいてメモリ 83から読み出した画像データに対して、ビットマップの処理、直線や曲線の描画、塗りつぶしなどの処理など、 2次元的な描画処理を行う。

3 DGエンジン 86は、アービタ 82の許可に基づいてメモリ 83から読み出した画像データに対して、所定の 3次元グラフィックス描画関数を用いて 3 次元的な描画処理を行う。

F I FOメモリ 87は、あるクロックに同期して、メモリ 83から読み出され、アービタ 82から供給される画像データを先入れで内部に記憶するとともに、上記クロックとは非同期の別個のクロックに同期して、内部に記憶された画像データを先出しで読み出し、インタフェース 88に供給する。

インタフェース 88は、インタフェース 89により制御され、第 1のチップセレクト信号 C S iをメイン液晶パネル 54に供給してメイン液晶パネル 54 を活性化させつつ、アービタ 82の許可に基づいてメモリ 83から読み出し、 F I FOメモリ 87を経た画像データをメイン液晶パネル 54に供給するとともに、第 2のチップセレクト信号 CS₂をサブ液晶パネル 55に供給してサブ液晶パネル 55を活性化させつつ、アービタ 82の許可に基づいてメモリ 83 から読み出し、 F I FOメモリ 87を経た画像データをサブ液晶パネル 55に供給する。

インタフェース 89は、アービタ 82およびインタフェース 88を制御する。 CPU 53は、インタフェース LS I 52とは 32ビットの高速メモリバス 9 0を介して接続され、不図示のプログラムメモリに記憶されたプログラムを実行して本カメラ付き携帯端末の各部を制御する。また、 C P U 5 3は、インタフエース 8 9およぴィンタフェース 8 8を介してメイン?夜晶パネノレ 5 4およびサブ液晶パネル 5 5に直接アクセスする。

メィン液晶パネル 5 4およぴサブ液晶パネル 5 5は、表示画面画素が例えば、 3 2 0 X 2 4 0画素であり、電池の電池残量情報、アンテナの感度情報等の携帯端末内部の情報、相手先の電話番号、電子メールの文章、相手先に送信する電子メールに添付する画像、相手先から送信された電子メールに添付された画像、 WWWサーバの各種コンテンッ提供者から提供されるコンテンツを示す画像などが表示される。また、メイン液晶パネル 5 4およびサブ液晶パネル 5 5 は、カメラモード時には、カメラファインダとして利用される他、撮影結果である画像が表示される。

次に、上記構成のカメラ付き携帯端末の動作のうち、カメラモードについて説明する。カメラモードには、モパイルカメラモードとデジタルカメラモードとがある。モパイルカメラモードとは、この例では 3 2 0 X 2 4 0画素の小さレ、サイズの画像を撮影し保存するモードであり、撮影して得られた画像データを電子メールに添付したり、いわゆる壁紙に利用したするなど画像を手軽に楽しむことができる。デジタルカメラモードとは、この例では 1 2 8 0 X 9 6 0 画素の大きいサイズの画像を撮影し保存するモードであり、撮影して得られた画像データは S D (Secure Digital)メモリカード（登録商標）に保存し、 S D メモリカードが使用可能なパーソナルコンピュータや携帯情報端末などにより高解像度の画像を楽しむことができる。また、デジタルカメラモードでは、撮影と同時に得られた画像データをモパイルカメラモードと同じサイズの小さな画像（サムネイル）データに変換して保存することもできる。

まず、デジタルカメラモードにおける動作ついて図 5を参照して説明する。インタフェース L S I 5 2から約 4 8 MH zの周波数（第 1の周波数）を有するクロックが供給される D S P 6 2に、図 5に示すように、カメラセンサ 6 1 からアナログの映像信号 S _pが供給されると、図 4に示す AD C 7 2は、アナログの映像信号 S _Pを 1画素 8ビットのデジタルの画像データ D _{P 0}に変換する。この例では、カメラセンサ 1 1の記録解像度が 1280 X 960画素であり、 1画素当たり 8ビットであるから、 1, 228， 800ビットのデータ量となる。上記画像データ D_P0は、調整回路 73においてホワイトバランスや露光ゲィン調整などの画像処理が施された後、画像処理後の画像データが画像データ D_P1として、外部 RAMコントローラ 74により制御された外部 RAM63に直接格納されてバッファリングされる。この一連の処理がなされるパスを静止画像処理パスと呼ぶ。この場合、外部 RAM63は、例えば、図 5に示すように、 1面記憶エリア 63_aと 2面記憶エリア 63_bとからなるダブルバッファリング構成として、画像処理におけるタイムロスをリカパリできるようにしてもよい。

また、上記画像データ D _P iは、メイン液晶パネル 54およぴサプ液晶パネル 55をカメラファインダとして用いて表示されるために、 RS PB 76にも供給される。すなわち、 RS PB 76は、 1画素当たり 8ビット、 1フレームで 1 280 X 960画素の画像データ D_P1を 1画素当たり 8ビット、 1フレームで 320 X 240画素の画像データ D_P3にリサイズ化処理を行った後、画像データ D_P3を FTB 77に供給する。これにより、 FTB 77は、 RGB形式の画像データである赤データ R、緑データ G、青データ Bからなる画像データ D _P3を YUV形式の画像データである輝度データ Y、色差データ U、色差データ Vからなる画像データ D_P4に変換して 1 6ビット幅のバス 79を介してィンタフエース L S I 52に供給する。これにより、画像データ D_P4は、インタフエース L S I 52を経てメイン液晶パネル 54またはサブ液晶パネル 55に供給されて表示される。この一連の処理がなされるパスをカメラファインダパスと呼ぶ。

一方、カメラファインダパスにおいて処理が行われていない空き時間では、エンコーダ 74は、約 1 2MHzのクロックにより動作して、内部 RAM 75 を圧縮符号化処理バッファとして用いて、外部 RAMコントローラ 73の制御の下に外部 RAM 63から読み出される画像データ D_P iを時分割で J PEG 形式の画像データ D_P2に圧縮符号化処理した後、.外部 RAM 63の空き記憶ェリアに記憶する。通常、この処理は、カメラファインダパスにおいて 3フレーム分の画像を処理している期間の空き時間に 1フレーム分の静止画像を圧縮符号化処理することができるように設計する。なお、上記したタイミングで圧縮符号ィヒ処理が実行できない場合には、約 12MHzのクロックの周波数を位相同期ループ（PLL； Phase Locked Loop) 回路により遁倍して用いればよい。以上説明した圧縮符号化処理が終了すると、その旨がインタフェース L S I 52に通知され、さらに CPU 53に通知される。これにより、 CPU53は、外部 RAM 63に記憶された画像データ D_P2をィンタフェース 52を構成するレジスタ 80を介して必要とするタイミングで取り込むことができ、分散処理を実現することができる。また、 CPU 53は、カメラファインダ用の画像データ D _{P 4}に関与することはないので、その負担が軽減される。

次に、モバイルカメラモードにおける動作について、図 6を参照して説明する。この場合、外部 RAM 63は電源がオフされ、非動作状態となる。図 6において外部 RAM63が破線で表されているのは、非動作状態であること意味している。インタフェース LS I 52から約 12MHzの周波数（第 2の周波数）を有するクロックが供給される DS P 62において、図 6に示すように、カメラセンサ 61からアナログの映像信号 S_Pが供給されると、図 4に示す A DC 72は、アナ口グの映像信号 S _Pを 1画素 8ビットのデジタルの画像データ D_P。に変換する。上記画像データ D_P。は、調整回路 73においてホワイトパランスゃ露光ゲイン調整などの画像処理が施された後、画像処理後の画像データが画像データ D_P iとして、圧縮符号化処理に用いられるために内部 RAM7 5にバッファリングされるとともに、 RS P B 76に供給される。これにより、 RSPB 76は、上記画像データ D_P i、すなわち、 1画素当たり 8ビット、 1 フレームで 1280 X 960画素の画像データ D_P を、 1画素当たり 8ビット、 1フレームで 320 X 240画素の画像データ D_P3にリサイズ化処理を行つた後、画像データ D_P3を内部 RAM 75に格納することによりバッファリングするとともに、 FTB 77に供給する。したがって、 FTB 77は、 RGB形式の画像データである赤データ R、緑データ G、青データ Bからなる画像データ D_P3を YUV形式の画像データである輝度データ Y、色差データ U、色差データ Vからなる画像データ D_P4に変換して 1 6ビット幅のバス 79を介してインタフェース LS I 52に供給する。これにより、画像データ D_F4は、インタフエース LS I 52を経てメイン液晶パネル 54またはサブ液晶パネル 55 に供給されて表示される。この一連の処理がなされるパスをカメラファインダパスと呼ぶ。

一方、カメラファインダパスにおいて処理が行われていない空き時間では、エンコーダ 74は、約 12MH zのクロックにより動作して、内部 RAM 75 を圧縮符号化処理バッファとして用いて、内部 RAM 75の他の記憶エリアから読み出される画像データ D p _xを時分割で J P E G形式の画像データ D p ₂に圧縮符号化処理した後、内部 RAM 75の空き記憶エリアに記憶する。通常、この処理は、カメラファインダパスにおける処理の 3フレーム分に相当するように予め設定しておき、カメラファインダパスでの処理において 3フレーム分の画像をメィン液晶パネル 54またはサブ液晶パネル 55に表示している間に 1フレーム分の静止画像を処理することができるように設計する。なお、上記したタイミングで圧縮符号化処理が実行できない場合には、約 12MH zのク口ックの周波数を PL L回路により遁倍して用いればよレ、。

以上説明した圧縮符号化処理が終了すると、その旨がインタフェース LS I 52に通知され、さらに CPU 53に通知される。これにより、 CPU 53は、内部 RAM 75に記憶された画像データ D_P2をィンタフェース 52を構成するレジスタ 80を介して必要とするタイミングで取り込むことができ、分散処理を実現することができる。また、 CPU 53は、カメラファインダ用の画像データ D_P4に関与することはないので、その負担が軽減される。

ここで、図 7に、以上説明したこの例のカメラ付き携帯端末のモパイルカメラモードとデジタルカメラモードにおける内部 RAM75と外部 RAM63の役割およびインタフェース L S I 52のクロックについて示す。すなわち、モバイルカメラモードでは、処理すべき画像データの画素数が 320 X 240画素と少なく、また供給されるクロックの周波数も低いため、外部 RAM63を非動作状態として消費電力を低減した状態であっても、内部 RAM75だけを用いて十分に画像処理を行うことができる。これに対し、デジタルカメラモードでは、処理すべき画像データの画素数が 1 280 X 960画素と多く、また供給されるクロックの周波数も高いため、外部 R AM 6 3をフレ及びデータバッファとして用いて画像処理を行うとともに、内部 R AM 7 5を圧縮符号化処理バッファとしてのみ用いて画像処理を行うことにより分散処理を実現している。

このように、本実施形態では、カメラモジュール 5 1に外部 R AM I 3を設け、デジタルカメラモード時に静止画像処理用の画像データ D _{P 2}をバッファリングするとともに、カメラファインダパスにおいて処理が行われていない空き時間に静止画像の圧縮符号化処理を行って力メラファインダ用の画像データ D _{P 4}と静止画像処理用の画像データ D _{P 2}とをそれぞれ別のシリアルバス 7 8およびバス 7 9を介してインタフェース L S I 5 2に供給している。

これにより、膨大な画像データの圧縮符号化処理を、リアルタイムであることを要求されることなく実行することができるとともに、 C P U 5 3の負荷が分散される。また、優先順位の高いカメラファインダパスにおける処理を確実に実行することができる。さらに、 C P U 5 3の負荷が分散されるので、圧縮符号化処理をリアルタイム性を損なうことなく完全に行うことができる。この結果、低い周波数のクロックをカメラモジュール 5 1に供給するとともに、ィンタフェース L S I 5 2を構成するメモリ 8 3の記憶容量が少ない場合であっても、短いデータ処理時間でカメラモジュール 5 1からインタフェース L S I 5 2に供給される高画素の画像データを処理することができる。したがつて、携帯端末の消費電力を低減することができ、バッテリの寿命を延ばすことができる。また、インタフェース L S I 2で用いるクロックの周波数が低いので、高周波数に起因するノィズ等の悪影響を防止することができる。

ここで、図 8に、モパイルカメラモードおょぴデジタルカメラモードにおけるカメラモジュールおよびインタフェース L S Iの動作クロックに関する従来技術と実施形態との比較結果を示す。図 8から分かるように、本実施形態においては、いずれのモードにおいてもインタフェース L S I 5 2の動作クロックの周波数は約 4 8 MH zであるが、図 1に示す従来技術において本実施形態と同等の機能を発揮するためには、インタフェース L S I 2の動作クロックの周波数は約 2 0 0 MH zでな.ければならない。これにより、従来技術ではノィズの悪影響が出てしまう。

また、図 9に、カメラモジュールおよびインタフェース L S Iを構成するゲ一トのゲ一ト数に関する従来技術と実施形態との比較結果を示す。図 9から分かるように、カメラモジュールについては、本実施形態において外部 R AM 6 3を設けるため、ゲート数が若干増加しているが、インタフェース L S Iについては、本実施形態のゲート数が従来技術のゲート数の約 1 / 6となる。これは、本実施形態においては、静止画像データの圧縮符号化処理をカメラモジュール 5 1内部で行い、インタフェース L S I 5 2においてはその分メモリ使用の競合が少なく、メモリ 8 3の記憶容量を 3 2 0キロバイトに抑えることができるからである。この結果、本実施形態におけるカメラモジュールおよびインタフエース L S Iの合計のゲート数は従来技術のそれの約半分になっている。これにより、インタフェース L S I 5 2のチップ面積が大幅に削減され、インタフエース L S I 5 2の価格、ひいてはカメラ付き携帯端末の価格を下げることができる。

以上、本発明の実施形態を図面を参照して詳述してきたが、具体的な構成は本実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲で、種々の変更、変形が可能である。

例えば、上述の実施形態においては、カメラセンサ 6 1は、赤（R)、緑（G)、青（B ) の光学フィルタ 1 7 _R、 1 7 _G、 1 7 _Bを用いることによりアナログの映像赤信号、映像緑信号、映像青信号からなるアナログの映像信号 S _Pを出力する例を示した。し力し、これに限定されない。カメラセンサ 6 1は、例えば、赤（R )、緑（G)、青（B ) の 3原色の補色にあたる黄色、マゼンタ、シアンさらには緑の光学フィルタを用いることによりアナログの映像黄色信号、映像マゼンタ信号、映像シアン信号、さらには映像緑信号からなるアナログの映像信号を出力するように構成してもよい。

また、上述の実施形態においては、カメラセンサ 6 1が CMO Sセンサである例を示した。し力し、これに限定されず、カメラセンサ 6 1は C C D (Charge Coupled Device) センサであってもよい。

また、上述の実施形態においては、メイン液晶パネル 5 4およびサブ液晶パネル 55の両方を設ける例を示した。し力し、これに限定されず、いずれか一方のみを設けるようにしてもよい。さらに、カメラ付き携帯端末の表示部は、液晶パネルに限らず、有機 EL (electroluminescence) パネル、プラズマディスプレイパネノレ（PDP ： Plasma Display Panel) でもよレ、。

また、上述の実施形態においては、デジタルカメラモード時にインタフエ一ス L S I 52からカメラモジュール 51に約 48MH zの周波数を有するクロックを供給する例を示した。し力し、これに限定されず、デジタルカメラモード時にインタフェース LS I 52からカメラモジュール 51に約 12 MHzまたは約 24MH zの周波数を有するクロックを供給するように構成してもよい。この場合、外部 RAM63において予め指定した回数ごとにフレームの画像データ D_P1をバッファリングせず、指定されたフレームの画像データ D_P を順次外部 RAM 63に記憶し、エンコーダ 74が圧縮符号ィヒ処理を行うようにしてあよい。

また、上述の実施形態においては、デジタルカメラモード時に、外部 RAM 63を 1面記憶エリア 63 _aおよび 2面記憶エリア 63 _bからなるダブルパッファリング構成とする例を示した。し力し、これに限定されず、外部 RAM6 3を 3面、 4面、 5面の複数のフレームバッファ構成にしてもよい。

また、上述の実施形態においては、圧縮符号化処理は、 1フレームごとに行う例を示したが、これに限定されない。例えば、静止画像を連続して撮影する連写が要求された場合には、 CPU 53があるフレームの圧縮符号化された画像データ D p ₂を取り込んで！/、る間に、次のフレームの画像データ D p の外部 R AM 63へのバッファリングを開始することにより、完全にリアルタイム性を損なうことなく、圧縮符号化処理された静止画像データ D_P2を CPU53が取り込むことができ、静止画像の連写も実現することができる。

また、上述の実施形態においては、 J PEG形式の静止画像データを処理する例を示した。しかし、これに限定されず、 PNG (Portable Network Graphics) 形式の静止画像データや G I F (Graphics Interchange Format) 形式の静止画像データを処理するように構成してもよい。

また、上述の実施形態においては、 D S P 62に調整回路 72を設ける例を示したが、調整回路 72を設けなくてもよい。

また、上述の実施形態においては、画像データ D_P2はカメラモジュール 51 からシリアルバス 78を介してインタフェース L S I 52に供給される例を示した。し力し、画像データ D_P2はカメラモジュール 51からパラレルのバスを介してインタフェース L S I 52に供給されるように構成してもよレヽ。

また、上述の実施形態においては、静止画像データを処理する例を示したが、動画像データを処理するように構成してもよい。動画像データの形式としては、例えば、 MPEG (Moving Picture Expert Group) 4开式などがある。デジタルカメラモードにおいてこの動画像データを処理する場合、ー且外部 RAM6 3に複数フレームごとに記憶された動画像データ D _P iが順次読み出され、圧縮符号化処理された動画像データ D _{P 2}が順次外部 R AM 6 3の空きエリアに記憶される。圧縮符号化処理が終了すると、動画像データ D_P2のキーフレームごとにその旨がインタフェース L S 1 52、さらには CPU 53に通知される。これにより、 CPU 53は、必要とするタイミングで外部 RAM63に記憶された動画像データ D_P2を、インタフェース 52を構成するレジスタ 80を介して取り込むことができる。また、このような処理の代わりに、動画像データ D _P2をストリーム ·データとしてインタフェース LS I 52に供給する専用のバスを設けて、 CPU 53が要求した際に供給するストリーミング供給モードを備えるようにしてもよい。この場合、インタフェース L S I 52の内部に動画像データ D_P2を取り込むための F I FOメモリを設けて、 CPU 53が別のタスク処理を実行しているなどのために、動画画像データ D_P2を取り込むことができない場合であっても、動画像データ D_{P 2}を喪失することのないような構成にすることが必要である。

Claims

請求の範囲

1 . カメラモジュールと、制御部と、表示部と、前記カメラモジュールと前記制御部おょぴ前記表示部との間に設けられたィンタフェース部とを有し、前記カメラモジュールは、記録解像度が第 1の画素数であり、撮影された画像に対応した第 1の形式の映像信号を出力するカメラセンサと、前記映像信号に画像処理を施すデジタル ·シグナル 'プロセッサと、モパイルカメラモードでは、電源がオフされる外部メモリとを有し、

前記デジタル ·シグナル ·プロセッサは、前記映像信号を第 1の画像データに変換するアナログ/デジタル変換器と、内部メモリと、前記第 1の画像データを第 2の画像データに圧縮符号化処理するエンコーダと、前記第 1の画像データを第 2の画素数を有する第 3の画像データにリサイズ化するリサイズ処理部と、前記第 3の画像データを第 2の形式の第 4の画像データに変換し、前記第 4の画像データを前記表示部にカメラファインダ用に表示するために第 1のバスを介して前記ィンタフェース部に供給するフォーマット変換部とを有し、前記エンコーダは、デジタルカメラモードでは、前記第 1の画像データが前記外部メモリにー且バッファリングされた後、前記リサイズ処理部および前記フォーマツト変換部において処理が行われていない空き時間に、前記内部メモリをバッファとして、前記外部メモリから読み出された前記第 1の画像データを時分割で前記第 2の画像データに圧縮符号化処理した後、前記外部メモリに記憶し、モパイルカメラモードでは、前記第 1の画像データが前記内部メモリに一且バッファリングされた後、前記空き時間に、前記内部メモリをバッファとして、前記内部メモリから読み出された前記第 1の画像データを時分割で前記第 2の画像データに圧縮符号ィヒ処理した後、前記内部メモリに記憶し前記制御部は、デジタルカメラモードでは、必要に応じて前記外部メモリに記憶された前記第 2の画像デタを第 2のパスおょぴ前記インタフェース部を介して取り込み、モパイルカメラモードでは、必要に応じて前記内部メモリに記憶された前記第 2の画像データを前記第 2のパスおよび前記ィンタフェース部を介して取り込む

カメラ付き携帯端末。

2 . 前記外部メモリは前記デジタル力メラモードでは複数のバッファリング構成である、請求項 1記載のカメラ付き携帯端末。

3 . 前記エンコーダは、前記デジタルカメラモードおよび前記モパイルカメラモードでは、前記リサイズ処理部および前記フォーマツト変換部において 3 フレーム分の画像を処理している期間の空き時間に、 1フレーム分の画像を圧縮符号化処理をする、請求項 1記載のカメラ付き携帯端末。

4 . 前記デジタル ·シグナル ·プロセッサは、前記デジタルカメラモードぉよび前記モパイルカメラモードで、静止画像を連続して撮影する連写が要求された場合、前記制御部があるフレームの前記第 2の画像データを取り込んでいる間に、次のフレームの前記第 2の画像データの前記外部メモリへのバッファリングを開始する、請求項 1に記載のカメラ付き携帯端末。

5 . 前記デジタル ·シグナル ·プロセッサは、前記デジタルカメラモードで動画像データを処理する場合、一旦前記外部メモリに複数フレームごとに記憶された前記第 1の画像データを順次読み出し、前記エンコーダにより圧縮符号化処理された前記第 2の画像データを順次前記外部メモリに記憶し、前記圧縮符号化処理が終了すると、前記第 2の画像データのキーフレームごとに圧縮符号ィ匕処理が終了した旨を前記インタフェース部おょぴ前記制御部に通知する、請求項 1力ら 3のいずれか 1に記載の力メラ付き携帯端末。

6 . 前記デジタル ·シグナル ·プロセッサは、前記デジタルカメラモードで動画像データを処理する場合には、前記カメラモジュールと前記ィンタフエース部との間に、前記動画像データをストリーム ·データとして前記インタフエース部に供給する専用パスを有し、前記制御部が要求した際に前記第 2の画像データを供給するストリーミング供給モードを有する、請求項 1から 3のいずれか 1に記載のカメラ付き携帯端末。

7 . 前記インタフェース部は、前記動画像データを取り込むための先入れ先出しメモリを有する、請求項 6記載のカメラ付き携帯端末。