JP4460447B2

JP4460447B2 - 情報端末

Info

Publication number: JP4460447B2
Application number: JP2004517309A
Authority: JP
Inventors: 栄司渥美; 一暢進
Original assignee: Nokia Oyj
Current assignee: Nokia Oyj
Priority date: 2002-06-28
Filing date: 2003-06-27
Publication date: 2010-05-12
Anticipated expiration: 2023-06-27
Also published as: CN1675935A; KR101005248B1; US20060101080A1; KR20050014894A; EP1530377A4; US7817850B2; WO2004004361A1; JPWO2004004361A1; EP1530377A1; CN100505891C

Description

本発明は、情報情報端末に関し、具体的には、補間装置を備えた情報端末に関するものである。

近年、カメラ付きの情報端末が普及し、そのような情報端末は画像撮影や閲覧、画像通信のための手段としても活用されている。
例えば、カメラつきの携帯電話では、カメラで撮影した画像は添付ファイルとしてメール本文と共に送信されたり、リアルタイム通信（テレビ電話）に用いられたり、ユーザ本人がプリントアウトしたりと、多岐に渡って使用される。また、他者から受信した画像や、サーバからダウンロードした画像も同様のことが言える。
したがって、本来ならば、上記撮影画像や受信画像はその用途に応じて、画質や処理に費やされる速度、すなわち、演算量ないし実行メモリ量を変化させることができる方がより良い使い勝手を実現する上で好ましい。
例えば、第５図にあるように、撮影画像をリアルタイム通信に使用するときは“画質よりも処理速度の方が優先”される。これに対し、撮影画像をプリントアウト等する場合は“処理速度よりも画質を優先する”ケースのほうがユーザメリットに優れている。

しかしながら、従来の携帯電話機では、ユーザの好みや用途に関わらず、一定の画質・一定の処理速度を提供するにとどまることが一般的であった。
また、携帯電話機に代表される情報端末においては、カメラの小型化、低消費電力化、低価格化が必須であるため、上記に相当する適応的な画像処理を備えたカメラを搭載することは容易ではなかった。
さらに、情報端末のプロセッサについても小型、低消費電力、低価格化が必須であるため、通常カメラに搭載される画像処理すべてを同プロセッサに移行させることによりカメラ画像処理の適応性を保証する試みは一般的ではなかった。
本発明は以上の点を考慮してなされたもので、カメラおよび情報端末のプロセッサへの変更を最小限に抑え、低コストかつ短時間で、使用状況及びカメラおよび情報端末での画像撮像処理にかかわる演算処理量および演算に要する実行メモリ量など各種条件に応じて画質・処理速度を適応的に変えることのできる情報端末を提供することを目的とする。
また、本発明は、カメラＤＳＰでの簡素化された実行処理による影響を少なくし、画像の高画質化を図ることのできる情報端末を提供することを目的とする。
また、本発明は、同一性能のカメラを搭載する情報端末よりも、使用状況等に応じて適応的に画質を一段階向上させる機能を持つ情報端末を提供することを目的とする。
さらに、本発明は、情報端末に搭載されるカメラモジュールのハードウェアアーキテクチャを変更したり、カメラＤＳＰのハードウェア規模を増強したりすることなく、画像の良質化を実現可能にする情報端末を提供することを目的とする。
上記課題を解決するため、本願第１の発明の情報端末は、入力画像データに演算処理を施して出力画像データを作成するデータ演算処理手段と、出力画像データから、入力画像データに施された一連の演算処理の一部又はすべてのステップを除去する除去手段と、除去手段によって得られたデータに、他の演算処理ステップを施して出力画像データを作成するデータ処理手段とを具備することを特徴とする。
上記情報端末の入力画像データとは、具体的には、カラーカメラ用の単板イメージセンサーで一般に用いられる赤、青、緑色の画素配列であるＲＧＢベイヤ配列に基づくカラー画像データである。
上記情報端末のデータ処理手段とは、具体的には補間演算処理のための手段であり、さらに具体的には、Ｒ、ＧあるいはＢ画素それぞれについて、センサの出力時にはセンサ表面に重畳された色フィルタにより除去されているＧとＢ、ＲとＢ、ＲとＧそれぞれを、同色の隣接画素の値を元に最近傍法、直線近似法又は３次元畳込み法による補間処理を施すための手段である。
上記情報端末において、入力画像データに不可逆的処理が施され、出力画像データが作成されている場合でも、除去手段は逆関数変換を行い、入力データに施された補間演算処理の一部又は全部を除去することが好ましい。
上記情報端末において、データ処理手段はさらにエッジ強調を再度施すことが好ましい。
さらに、本願第２の発明の情報端末は、イメージセンサを有し、イメージセンサの出力信号をデジタル化して第１のベイヤ形式データを作成し、第１のベイヤ形式データから、第１のアルゴリズムを用いて第１の画像データを作成して、第１の画像データを送信するカメラモジュールと、主記憶装置を有し、カメラモジュールから送信された第１の画像データを受信し、受信した第１の画像データを主記憶装置に保存し、主記憶装置から第１の画像データを読み出し、読み出した第１の画像データから第２のベイヤ形式データを抽出して、第２のベイヤ形式データから、第２のアルゴリズムを用いて第２の画像データを作成する、ホストモジュールとを具備したことを特徴とする。
上記第１の画像データ又は／及び前記第２の画像データは、ＲＧＢ形式またはＹＵＶ形式であることが好ましい。
上記第１の画像データは、データ圧縮された形式であることが好ましい。
上記ホストモジュールは、プリンタにデータを出力するデータ出力部を備え、第２の画像データをデータ出力部を通じてプリンタに出力することが好ましい。

第１図は、本発明の実施の形態である再試行モジュール周辺の機能ブロック図。
第２図は、本発明の実施の形態である再試行モジュール周辺の機能ブロック図。
第３図は、本発明の実施の形態である再試行モジュール周辺の機能ブロック図。
第４図は、本発明の実施の形態である再試行モジュールのフローチャート。
第５図は、情報端末の使用目的と要求項目との関係を表した図。
第６図は、補間演算処理の第１の手法を説明するための図。
第７図は、補間演算処理の第２の手法を説明するための図。
第８図は、補間演算処理の第３の手法を説明するための図。
第９図は、カメラ付携帯電話の外観図。
第１０図は、カメラ付携帯電話のハードウェア構成図。
第１１図は、画像データの構築・再構築を説明するための図。
第１２図は、写真撮影モードのフローチャート。

１．第１の実施の形態
以下、添付図面を参照しながら、本発明の第１の実施の形態を説明する。
（１）撮影画像を符号化するときの説明
第１図は本発明の実施の形態を説明するための機能ブロック図であり、本発明による情報端末を構成するモジュールのうち、本発明を説明するのに必要なモジュールのみを示した図である。本実施の形態は、撮影画像を所定の形式（第１図の場合、ＪＰＥＧ形式）に符号化して保存・送信等する場合のものである。
カメラ・モジュール１０３はセンサとカメラＤＳＰとを備えている。センサは、例えば、ブルー（Ｂ）、グリーン（Ｇ）、レッド（Ｒ）の光の３原色に対応したカラーフィルタを有し、当該フィルタでは、Ｇが市松状に、ＲとＢが線順次に配置されている。この配置を本明細書ではベイヤ（Ｂａｙｅｒ）配列と呼ぶ。ベイヤ配列のカラーフィルタを用いたカメラモジュールから出力される画像データもベイヤ配列を有する。
ユーザが被写体にレンズ１０１を向けてシャッターを切ると、センサによって検出された被写体に対応するベイヤ配列を有する画像データが生成され、カメラＤＳＰが，色補正手段、ガンマ補正手段、色補間手段、エッジ強調処理その他を含む画質補正手段よりなる演算処理を施す。
ここで、そのような演算処理とは、ベイヤ配列を有する画像データのそれぞれの色成分、すなわちＲ成分、Ｇ成分及びＢ成分を取り出した後、色補正手段にて各色成分のバランスを調整し、ガンマ補正手段にて各色成分の各画素の値を、変換式ないしルックアップテーブルを用いてそれぞれ個別に変換し、色補間手段にてそれぞれの成分ごとに各画素位置にて欠けている色成分を、同画素の近傍画素のうち同じ色成分を持つ画素に補間処理を施すことにより、イメージセンサ上に重畳されたカラーフィルタによりフィルタアウトされた色成分を全ての画素において復元することである。
この場合、カメラＤＳＰの有する演算処理能力は、チップ面積を最小化し、小型化、低コスト化が追求されるため、演算処理量あるいは画像処理のためのラインメモリに代表される実行メモリ量を多く要する複雑な演算ができなかったり、できた場合においても時間がかかったり、後段にて処理結果を受ける処理ステップとの同期などが損なわれるなどの問題を招く恐れがある。
そのため、この段階でできる色補正処理手段、ガンマ補正処理手段、色補間処理手段は演算処理および実行メモリ量を極力削減したものとなる。なかでも実行メモリ量、演算処理量ともに、カメラ画像処理のなかで最もリソースを要する処理手段の１つである色補間処理手段については、例えば、隣接画素との線形補間法を用いて実現する事例を挙げることができる。
同様に処理リソースの消費が相対的に大きいエッジ強調処理についても、実行メモリ量、ならびに、演算量を最小化するために、水平方向に長く垂直方向に短いタップ数を持つエッジ強調フィルタを用い、より少ないラインメモリ数の上で処理を行う事例が多い。
上記の各種処理手段を経た画像データには、さらにいくつかの画質補正処理が施され、カメラ処理を一通り終えた後に、画像データの蓄積を目的とする際においては、ＪＰＥＧなどの圧縮処理を施し圧縮画像データ（以下処理済データとする）として記憶手段１１１へ出力される。また、画像データの表示を目的とする際においては、表示手段１１３の画素数、色数等の制約に最適化を図るべく画質補正処理を施し、表示手段１１３へ出力される。
再試行モジュール１０７は、除去手段１０７ａ、色補間手段１０７ｂ及び画質補正手段１０７ｃで構成されており、カメラモジュールから出力されたデータ、すなわち、処理済みデータが除去手段１０７ａに渡される。
再試行モジュール１０７が起動すると、除去手段１０７ａは処理済データに施されているカメラＤＳＰでの画像処理演算の一部又は全部が除去される。ここで除去される処理は、例えば、ベイヤ配列の画像データに施した色補間処理、及び／又は、その他高画質化処理の代表的なステップであるエッジ強調処理である。
補間処理済のデータから当該補間処理を取り除くとベイヤ配列のデータに復元される。ここで当該補間処理を取り除くとは、一連のカメラ処理を経て得られたカラー画像のＲ，Ｇ，Ｂ各成分に対して、イメージセンサのベイヤ配列のＲ，Ｇ，Ｂの並びに相当する形式になるよう間引き処理を施すことを表す。
色補間処理によって作り出された各画素の色成分を一度リセットすることで、カメラＤＳＰに搭載されている色補間処理および高画質化処理の制約を最小化する。
その後、除去済みのデータは画質補正手段１０７ｃに渡され、再試行モジュール１０７は当該カメラＤＳＰの色補間処理とは異なる補間演算処理を、必要な場合にはさらに、カメラＤＳＰの高画質化処理に含まれるエッジ強調処理とは異なるエッジ強調処理を施してＪＰＥＧ符号化手段１０９に渡す。
他の補間演算処理の手法として、より複雑で処理演算量、より多い実行ラインメモリ量を要する補間演算処理を採用することができる。他の高画質化処理に含まれるエッジ強調処理についても、同様により複雑な処理演算量、より多い実行ラインメモリ量を要する処理を採用することができる。
本実施の形態では、例えば、カメラＤＳＰで最近傍法による補間処理が搭載され画像データの２ラインの実行メモリで乗算回数なしで補間処理が行われ、再試行モジュール１０７において、画像５ラインの実行メモリで浮動小数点の乗算により構成される３次元畳込み法による補間処理を適用する。
さらに、カメラＤＳＰでの補間処理は、画像の１ラインごとに水平方向５画素のタップ数を持つエッジ強調処理フィルタからなる高画質化処理を搭載し、再試行モジュール１０７において、画像の３ラインごとに水平方向の５画素のタップを持ち、かつ、各３ｘ５画素内の値の組み合わせに応じてフィルタを切り替えるタイプのエッジ強調フィルタからなる高画質化処理を搭載する。
もちろん、本発明は、これら特定の色補間処理ないしエッジ強調処理に限定されるものではなく、汎用的な処理アーキテクチャである。
本実施の形態では、補間演算処理の再試行が必要なときにのみ再試行モジュール１０７を起動し、再試行が不要なときには、カメラ・モジュール１０３からＪＰＥＧ符号化手段１０９にそのまま処理済データを渡す。
再試行が必要であるか、必要でないかの判断は、画像を撮影した直後に、情報端末に搭載されたディスプレイ画面に表示を行ったうえで目視により行われる。
再試行モジュール１０７の起動については、目視による判断により、若干ぼやけている、あるいは、エッジ部分がガタガタしているなどにより画質が不十分だと判断した場合、情報端末のユーザメニューあるいはキーボタンを通して行われる。
もちろん、画質が十分か否かの判断を自動判定する処理手段、自動判定された結果に基づいて自動的に再試行モジュール１０７を起動する処理手段を持たせることにより構成してもよい。
再試行モジュール１０７にて、補間処理、エッジ強調処理に代表される高画質化処理ともに、カメラＤＳＰ搭載の処理とは異なる処理を用いてもよいし、これら一連の処理の一部にのみ異なる処理を用いてもよい。
上記では、画像撮影直後でＪＰＥＧによる圧縮処理を施す前に、再試行モジュール１０７を起動する可能性の判定ならびに再試行モジュールに含まれる処理の実行が行う実施の形態について述べたが、第３図に示すように、これら一連の処理をＪＰＥＧ圧縮が施された後の画像に施してもよい。
すなわち、ＪＰＥＧ圧縮された画像データに対し、ＪＰＥＧ復号化手段３０５にてＪＰＥＧ復号処理を施しディスプレイへの表示を行い、再試行モジュール３０７を実行し、その結果を処理済データとして再度ＪＰＥＧ符号化手段３０９に渡すのでもよい。
（２）復号化画像を出力するときの説明
第２図は本発明の他の実施の形態を説明するための機能ブロック図であり、本発明による情報端末を構成するモジュールのうち、本発明を説明するのに必要なモジュールのみを示した図である。本実施の形態は、所定の形式（第２図の場合、ＪＰＥＧ形式）で取得した画像を出力・保存等する場合のものである。
ここでは、ＪＰＥＧ復号化手段２０５がＪＰＥＧ画像を復号化したのち、再処理を施し出力する場合を例にとって説明する。
再試行モジュール２０７は、除去手段２０７ａ、色補間手段２０７ｂおよび画質補正手段２０７ｃで構成されており、ＪＰＥＧ復号化手段２０５から除去手段２０７ａにＪＰＥＧ復号された画像データが渡される。
再試行モジュール２０７が起動すると、除去手段２０７ａは復号データに施されている補間演算処理（具体例として最近傍補間）ならびにエッジ強調処理を含む高画質化処理の一部又は全部を除去する。
その後、除去済みのデータは色補間手段２０７ｂに渡され、色補間手段２０７ｂは他の補間演算処理およびエッジ強調処理（具体例として、１ライン５タップの固定のエッジ強調フィルタ）を施して表示手段２１３に渡す。
他の補間演算処理の手法として、本実施の形態では、直線近似法、３次元畳込み法を適用する事例があげられる。さらに他のエッジ強調フィルタを含む高画質化処理の手法として、３ライン５タップの画像の局所的な特徴に適応的なエッジ強調フィルタを適用する事例があげられる。
本実施の形態では、補間演算処理の再試行が必要なときに再試行モジュール２０７を起動し、再試行が不要なときにはＪＰＥＧ符号化手段２０５から表示手段２１３にそのままデータを渡す。また、エッジ強調処理の再試行が必要なときに再試行モジュール２０７を起動し、補間処理とエッジ強調処理を再試行し、同様な処理手順を踏むのでもよい。
（３）再試行モジュールの処理動作
第４図は、再試行モジュールの処理動作を説明するためのフローチャートである。
該モジュールが起動すると（Ｓ４０１）、まず最初に、入力データに施されている補間演算処理、エッジ強調処理を含む高画質化処理の一部又は全部を除去する（Ｓ４０３）。
通常、これら一連の演算処理は複数ステップで構成されており、全ステップで実行した処理を除去するのか、所定のステップで実行した処理のみを除去するのか、状況に応じて選択することができる。
入力データに施されている処理には、可逆に近い処理部分と不可逆性の高い処理部分とがあり、不可逆性の高い処理部分（例えば、ベイヤ配列データに最近傍法を用いて補間処理を施して得られた画像のうち補間されてできた画素の色成分）は、可逆性の高い処理部分、すなわち、ベイヤ配列データに補間処理を施す前にもともと存在していた各画素の値に依存して作り出される。
補間されてできた画素と補間処理を行うのに用いられた画素、すなわち、ベイヤ配列に相当する画素の色成分を分類し、画像データ自体からオリジナルであるベイヤ配列のデータの情報を復元することができるため、容易に補正演算処理を除去することができる。
なお、実際問題としてはベイヤ配列にはいくつかのバリエーションが存在する。したがって、どの画素のどの色成分が、どのベイヤ配列に相当する画素であったか、あるいは補間されて出来上がった画素であったかについては、カメラ内のイメージセンサのベイヤ配列のパターンを情報端末内で保持しておき、再試行処理を施す再にこのパターンを参照する必要がある。
あるいは、ベイヤ配列のパターンを画像データに付随するカメラ処理のパラメータとしてカメラモジュールより出力させ、情報端末内には、画像データと、こうしたパラメータ情報とを切り分け、ベイヤ配列のパターンを抽出するデータパーサーを設けることで同様な機能を実現できる。
また、自分以外の情報端末で撮影され、送付されてきた画像データ、または、過去に撮影し保存されている画像に対して同様な処理を施すには、画像データとともにベイヤ配列のパターンを保持しておくファイルフォーマットならびに付加情報ファイルなどがあるとよい。
ただし、用いられたベイヤ配列の正確な配列を把握しなくても、デフォルトのベイヤ配列を仮定し、同様な再試行処理を施す場合でも、画質改善の実現は可能である。
補正除去の処理（Ｓ４０３）が終了すると、新たに適用する補正演算処理の手法を選択する（Ｓ４０５）。手法選択（Ｓ４０５）は、ユーザが手動で行ってもよいし、使用状況・各種条件に応じて端末側で自動的に行ってもよい。
例えば、ここで元の画像データに最近傍法などのあまり演算処理量および実行メモリ量を消費しない補間処理がかけられていた場合では、画質を向上させたい場合には、より得られる画像が自然である処理、例えば直線近似法や３次元畳込み法を用い、再補間演算処理を実行することができる（Ｓ４０９又はＳ４１１）。逆に、画質よりも処理速度を優先させたいときなどには、最近傍法を用いて再補間演算処理を実行することができる（Ｓ４０７）。さらに、エッジ強調が必要な場合には該処理を行って（Ｓ４１５）処理を終了する。
（４）本実施の形態で適用する補間法についての説明
第６図乃至第８図を参照して最近傍法、直線近似法、３次元畳込み法について説明する。最近傍法は、第６図に示すように、画素Ｐ１、Ｐ２、Ｐ３、Ｐ４を有する画像データについて、画素Ｐ２及びＰ３間に画素Ｐ０を生成する場合、この画素Ｐ０の画素値に最近傍の画素Ｐ２の画素値をコピーするものである（図６（ｂ）参照）。したがって演算処理量は零、補間処理に要する実行ラインメモリは１ラインで十分である。
一方、第８図に示すように、直線近似法は、画素値が直線的に変化すると仮定して処理する方法であり、前後の画素Ｐ２とＰ３との画素値を両画素の距離に応じて比例配分することにより、補間対象Ｐ０の画素値を計算するものである。すなわち、画素ピッチを正規化して表して直前の画素Ｐ２までの距離をＸとすると、画素Ｐ０の画素値は、次式に示す近傍２画素Ｐ２及びＰ３を用いた重み付け加算による表される。ここでは１次元方向について説明したが、実際は画像の水平、垂直方向に同処理が施される。Ｐ０を得るのにＰ２，Ｐ３の２画素に相当する画素が水平、垂直方向ともに必要とされることから、最低画像２ラインの実行メモリが必要とされることになる。なお以下において、理解を容易にするため、式の上では、画素値を対応する画素の符号により示す。
Δｐ＝Ｘ（Ｐ３−Ｐ２）
Ｐ０＝Δｐ＋Ｐ２
＝Ｘ（Ｐ３−Ｐ２）＋Ｐ２
＝（１−Ｘ）Ｐ２＋ＸＰ３・・・・（１）
これに対して３次元畳込み法は、いわゆるキュービックコンボリューションであり、画素値の変化を３次曲線に近似して処理する。すなわち３次元畳込み法において、第７図に示すように、画素Ｐ０の画素値は、次式に示す近傍４画素Ｐ１〜Ｐ４を用いた重み付け加算による表される。ここでは１次元方向について説明したが、実際は画像の水平、垂直方向に同処理が施される。Ｐ０を得るのにＰ１、Ｐ２、Ｐ３、Ｐ４の４画素に相当する画素が水平、垂直方向ともに必要とされることから、最低画像４ラインの実行メモリが必要とされることになる。
Ｐ０＝ｋ１・Ｐ１＋ｋ２・Ｐ２＋ｋ３・Ｐ３＋ｋ４・Ｐ４・・・・（２）
ここで、ｋ１〜ｋ４は重み付け係数であり、次式の補間関数ｈ（ｔ）により求められる。ここでｔは、各画素Ｐ１〜Ｐ４と演算対象の画素Ｐ０との位置関係を示す変数ｔ１〜ｔ４であり、上述した距離Ｘを用いて表される。
（ａ＋２）｜ｔ｜^３−（ａ＋３）｜ｔ｜^２＋１０≦｜ｔ｜＜１
ｈ（ｔ）＝ａ｜ｔ｜^３−５ａ｜ｔ｜^２＋８ａ｜ｔ｜−４ａ１≦｜ｔ｜＜２
０２≦｜ｔ｜
・・・・（３）
但し、ｔ１＝１．０＋Ｘ
ｔ２＝＋Ｘ
ｔ３＝１．０−Ｘ
ｔ４＝２．０−Ｘ
最近傍法は、前後の画素との間の距離を判定して画素値を設定するだけの処理であるため、極めて処理速度が短い反面、画質が劣化する欠点がある。
これに対して直線近似法は、（１）式より２回の乗算と１回の加算が必要であることから、最近傍法と比較して演算処理量が増え処理速度が遅く、実行ラインメモリについても最低２ライン要し、最近傍法より多いメモリ量を要するものの、最近傍法に比して画質が良い特徴がある。
また、３次元畳込み法は、重み付け加算の処理だけでも、４回の乗算と３回の加算が必要であることにより、これら３つの手法の中で最も演算回数を要し、したがって、処理速度が最も遅いものの、画質が最も良い特徴がある。
したがって、再試行モジュールの手法選択（第４図のＳ４０５）において、上記手法の中から最適な手法を選択することにより、使用状況や用途に応じた画質や処理速度を実現することができる。
２．第２の実施の形態
以下、添付図面を参照しながら、本発明の第２の実施の形態を説明する。
第９図は、本発明を適用したカメラ付携帯電話の外観図である。カメラ付携帯電話１は、表面にディスプレイ２、テンキー３、機能ボタン４、アンテナ５等を備え、裏面にはカメラ部１１、バッテリーカバー９等を備えており、さらにこれらを一体に保持する筐体６を備えている。また、外部のプリンタと接続するためのデータ出力端子４１を備えている。カメラ付携帯電話１は周知の通り非常に小型軽量であり、片手で保持したり、ハンドバッグに入れて持ち運ぶのに、何の不便もない大きさと重さである。カメラ部１１は、レンズ７とＬＥＤ照明８を備え、独立の筐体１０を備えたカメラモジュールとして構成される。このようにカメラ部を独立のモジュールとする理由は、カメラモジュールに汎用性を持たせ、を他の携帯電話やＰＤＡと容易に組み合わせることができるようにするためである。従って、本実施例におけるカメラ付携帯電話１は、カメラモジュール１１とその残りの部分（ホストモジュール）とに分けることができる。
機能ボタン４は電話の発着信や、撮影時のシャッターボタン等として用いられる。また、画像データの再構築を開始するためのボタンとしても用いられる。カメラ付携帯電話１を用いて電話をかける場合は、利用者はテンキー３から電話番号を入力し、機能ボタン４を押す。また写真を撮影する場合は、利用者はレンズ７を対象へ向けた状態でカメラ付携帯電話１を持ち、カメラモジュール１１で撮影されたプレビュー画像をディスプレイ２で確認する。そこで機能ボタン４を押すと撮影が行なわれ、撮影により作成された画像データがカメラ付携帯電話１に備えられた記録装置に保存される。
第１０図を用いて、本発明を適用したカメラ付携帯電話のハードウエアの構成と動作を説明する。カメラ付携帯電話１は上に説明したように、カメラモジュール１１とホストモジュール１２とから構成され、カメラモジュール１１は撮影及び画像データの作成を担当し、ホストモジュール１２は作成された画像データの保存と表示のほか、電話機能やスケジュール機能等のＰＤＡ機能を担当する。
カメラモジュール１１は、レンズ７、ＬＥＤ照明８、固体撮像素子１３、Ａ／Ｄ変換器１４、画像データ構築器１６、ＪＰＥＧ圧縮器１７、バス１８、データインターフェース１９、制御インターフェース２０等を備える。このうち、画像データ構築器１６、ＪＰＥＧ圧縮器１７、バス１８、データインターフェース１９、制御インターフェース２０は、カメラＬＳＩ１５として１チップで提供される。
固体撮像素子には、例えばＣＣＤやＣＭＯＳセンサー等を用いることができる。固体撮像素子１３は、レンズ７を通過した光を電気信号に変換することにより、撮影を行なう。固体撮像素子１３の出力信号は、Ａ／Ｄ変換器１４でデジタルデータに変換される。このデジタルデータをベイヤ形式データというが、未だコンピューターで表示したり、印刷機で印刷したりすることができる、画像データにはなっていない。
画像データは、画像データ構築器１６によって構築される。画像データ構築器１６は、ベイヤ形式データに対してまずレンズ濃淡補正、ホワイトバランス等の原画処理を行なう。次に原画処理が施されたベイヤ形式データから赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の成分に分離し、ＣＦＡ（ＣｏｌｏｒＦｉｌｔｅｒＡｒｒａｙ）補間処理を施して、ＲＧＢ３平面からなるＲＧＢ形式の画像データを構築する。
このＣＦＡ補間に用いるアルゴリズムは、構築される画像データの品質に非常に大きく影響する。サイズ、コスト、スピードに制限のあるカメラＬＳＩで用いることのできるアルゴリズムでは、高品質の画像データを望むことは難しい。画像データ構築器１６はさらに、できあがった画像データに対して、輪郭強調やガンマ補正等の処理を行なう。
最後に、画像データの形式を、ＲＧＢ形式からＹＵＶ形式へと変換する。１フレームを構成する画像データは１ラインあるいは数ラインごとに順次作成され、最終的には、１回の撮影により得られる固体撮像素子１３の出力信号から、１フレーム全体の画像データが構築される。画像データは、作成された分ずつ順次ＪＰＥＧ圧縮器１７へ送られ、ＪＰＥＧ圧縮されて、データインターフェース１９からホストモジュール１２へと送信される。
第１０図に戻ってホストモジュール１２のハードウエア構成と動作を説明する。ホストモジュール１２は、データインターフェース２５、制御インターフェース２６、ＣＰＵ３０、バス２４、一時記憶装置用インターフェース３１、一時記憶装置３２、主記憶装置用インターフェース３３、主記憶装置３４、表示装置用インターフェース３５、表示装置３６、キーボード用インターフェース３７、キーボード３８、プリンタ用インターフェース４０、ベースバンド制御部２２、アンテナ部２３等から構成される。
このうち、ＣＰＵ３０、バス２４、インターフェース２５、２６、３１、３３、３５、３７、４０は、アプリケーションエンジン２１として、１チップで提供される。ベースバンド制御部２２は電話の発信や着信に係る機能を担当し、専用のＣＰＵを持つ。アプリケーションエンジン２１は、電話の発着信以外の機能を担当し、カメラモジュール１１から伝送される画像データの処理のほか、キーボード３８の制御、ゲーム、音楽再生、予定表などの機能も担当する。なお、ＣＰＵ３０は、制御インターフェース２６、２０、バス１８を通じて、カメラモジュール１１のＪＰＥＧ圧縮器１７の制御のみならず、画像データ構築器１６における各処理の制御やＬＥＤ照明８のオンオフ、固体撮像素子のデータ収集モードの変更や、Ａ／Ｄ変換器１４のパラメータ制御なども行なうことができる。キーボード３８はテンキー３、機能ボタン４等を含む。
カメラモジュール１１から出力された画像データは、データインターフェース２５を通じてホストモジュール１２に入力され、一時記憶装置３２に一時的に保存される。一時記憶装置３２に用いられる典型的なものは、ＳＤＲＡＭである。その後ＣＰＵ３０は、一時記憶装置３２から画像データを読み出し、主記憶装置３４に保存する。主記憶装置３４はカメラ付携帯電話１の電源が切れてもデータを保存し続ける記録媒体を備え、例えばフラッシュメモリ、ＣＦカード、ＳＤカードを用いることができる。
本発明によるカメラ付携帯電話は、ホストモジュールにおいて画像データを再構築することができる。画像データの再構築は、ユーザーインターフェースからの指示を受けてＣＰＵ３０が行なう。ＣＰＵ３０は、画像データを一旦ベイヤ形式データまで戻し、改めて高品質のアルゴリズムを用いて、新たな画像データを構築する。構築された高品質の画像データは、主記憶装置３４に保存されたり、プリンタ用インターフェース４０を通じてプリンタへと送信されたりする。
第１１図を用いて画像データの構築と再構築の様子を説明する。
センサーの出力信号をデジタル化しただけのデータは、符号１１４４で示すように、赤画素（Ｒ）１つと緑画素（Ｇ）２つと青画素（Ｂ）１つとからなる単位マトリクスが、多数繰り返すベイヤ形式を持っている。ベイヤ形式データから、各色の成分を分離して、それぞれに補間処理を施すことにより、ＲＧＢ形式の画像データ４５が構築される。符号１１４５において○で囲まれた画素データは、もとのベイヤ形式データと同じであるか、ほとんど変わっていない。従って、符号１１４５において○で囲んだ画素データを取り出せば、もとのベイヤ形式データを再構成することができる。
もちろん、もとのベイヤ形式データを再構成するためには、ＲＧＢ形式の画像データの中で、もとのベイヤ形式データに由来する画素データがどれであるかを、予め定めておく必要がある。そのための方法は、補間の段階で決める方法、構築した画像データのヘッダーに情報を埋め込む方法、その他いろいろ考えることができる。再構成したベイヤ形式データに対し、高品質の原画処理、補間処理、後処理を行なうことで、新たな画像データ１１４７が作成される。
なお、ＪＰＥＧ圧縮されたＲＧＢデータからベイヤ形式データを再構成する場合は、もとのデータと完全に同じベイヤ形式データを取り出すことはできない。しかし、高品質のアルゴリズムを用いて画像データを再構成するメリットは、多少のデータ損失よりも大きい。
第１２図を用いて本発明によりカメラ付携帯電話１で行なわれる処理について説明する。
撮影を行なう場合、まずユーザーインターフェースが操作される（Ｓ１２０１）。すると、カメラモジュール１１において、イメージセンサが光を電気信号に変換し（Ｓ１２０２）、その電気信号から画像データを構築する（Ｓ１２０３）。次に構築された画像データをＪＰＥＧ方式により圧縮し（Ｓ１２０４）、ホストモジュール１２へと送信する（Ｓ１２０５）。ホストモジュールは送信された画像データを受け取り（Ｓ１２０６）、記憶装置に保存する（Ｓ１２０７）。
撮影した画像データを印刷する場合、まずユーザーインターフェースが操作される（Ｓ１２０８）。するとホストモジュール１２は、記憶装置から画像データを読み出し（Ｓ１２０９）、読み出した画像データの圧縮を解凍し（Ｓ１２１０）、圧縮の解かれた画像データから、ベイヤ形式データを抽出・再構成する（Ｓ１２１１）。さらにホストモジュール１２は、再構成されたベイヤ形式データに対し、新たに高品質のアルゴリズムを用いて新たな画像データを作成し（ステップＳ１２１２）、新たに作成した画像データをプリンタへと出力する（ステップＳ１２１３）。
以上、本発明の実施の形態を説明したが、本発明は上記説明に限定されず、例えば本実施の形態では補間演算処理の手法として、最近傍法、直線近似法、３次元畳込み法を用いたが、これらの手法に代えて又はこれらの手法に加えて、例えばスプライン関数やベジェ関数等を用いた補間演算処理を適用することができる。
また、本実施の形態では、本発明を画像データの処理に適用する場合について述べたが、本発明はこれに限らず、音声データのサンプリング周波数を変換する場合等、種々のデータのサンプリングピッチを変更する場合で適用することができる。

このように、本発明によれば、低コストかつ短時間で、使用状況及び各種条件に応じて画質・処理速度を変えることが可能な情報端末を提供できる。
また、本発明によれば、カメラＤＳＰでの簡素化された実行処理による影響を少なくし、画像の高画質化を図ることが可能な情報端末を提供できる。
また、本発明によれば、同一性能のカメラを使用する他の情報端末よりも、より画質の良い画像を作成することが可能な情報端末を提供できる。
さらに、本発明によれば、カメラモジュールを変更したり、カメラＤＳＰを増強したりしなくても、画像の良質化を図ることが可能な情報端末を提供できる。

Claims

レンズ、イメージセンサ、及びカメラＤＳＰからなるカメラモジュールによる入力画像データに演算処理を施して出力画像データを作成するデータ演算処理手段を備えた情報端末において、
前記入力画像データに施されたデータ演算処理の一部又は全部を除去する除去手段と、
前記除去手段によって得られたデータに、他の演算処理を施して前記出力画像データを再構成するデータ処理手段とを具備し、
前記カメラＤＳＰは、色補正手段、ガンマ補正手段、色補間手段、及び画質補正手段を備え、前記カメラモジュールの前記カメラＤＳＰによって前記入力画像データを作成し、
前記除去手段は、前記カメラＤＳＰの前記色補間手段にて補間された画素に間引き処理を施して補間演算処理を取り除き、前記カメラＤＳＰでの色補間処理及び画質補正処理の影響を最小化し、再度、任意の色補間処理と画質補正処理とを施すことを特徴とする情報端末
請求項１に記載の情報端末において、
前記除去手段は、前記入力画像データを基に、前記イメージセンサに重畳されたカラーフィルタのベイヤ配列パターンを認識し、前記補間演算処理により作りだされた画素の色成分と、それら色成分を作り出すのに用いられた画素の色成分とを分類し、前記補間演算処理により作り出された画素の色成分を選択的に間引き処理することを特徴とする情報端末。
画像データを取得する段階と、取得した前記画像データに補間演算処理を施す段階と、補間演算処理済み画像データを出力する段階とを含むデータ処理方法において、
レンズ、イメージセンサ、及びカメラＤＳＰからなるカメラモジュールの前記カメラＤＳＰが有する色補正手段、ガンマ補正手段、色補間手段、及び画質補正手段と、
前記取得した前記画像データに施された補間演算処理の一部又は全部を除去する除去手段と、
前記除去手段によって得られたデータに、他の演算処理を施して前記画像データを再構成するデータ処理手段とを具備し、
前記カメラモジュールの前記レンズ及びイメージセンサにより、前記画像データを取得する段階と、
前記カメラモジュールの前記カメラＤＳＰにより、取得した前記画像データに補間演算処理を施す段階と、
前記補間演算処理済み画像データを出力する段階は、
前記除去手段により、前記補間演算処理済み画像データから前記補間演算処理を取り除く段階と、
前記データ処理手段により、前記補間演算処理を取り除かれたデータに他の補間演算処理を施す段階とを含むことを特徴とするデータ処理方法。