JP5190117B2 - 可変画質を有する写真を生成するシステム及び方法 - Google Patents

Description

本発明の技術は一般に写真に関し、特に、デジタル写真において種々のレベルの画質を達成するシステム及び方法に関する。

モバイルデバイスと無線電子デバイスの少なくともいずれかの普及がますます進んでいる。例えば、移動電話機、携帯用メディアプレイヤ及び携帯用ゲーム装置が現在広範に使用されている。さらに、ある特定の種類の電子デバイスに関連付けられる特徴については多様化が進んでいる。例えば、多くのモバイル電話機には現在静止画像とビデオ画像の格納が可能なカメラが含まれている。

多くの携帯電子デバイスに関連づけられた画像処理装置がさらに使い易くなりつつあり、高品質の写真撮影が可能になっている。この結果、ユーザは以前よりも多くの写真を撮影するようになっているが、これに起因して電子デバイスのメモリのデータ記憶容量に対する需要が顕著に増加する状態が生じている。関連する画像ファイルが過度に多量のメモリをとることのないように、画像処理装置により取り込まれた生画像データは圧縮されている場合が多いとはいえ、画像データの管理方法には改善の余地がある。

写真の画像データの処理方法を改善するために、本開示は改善された画質管理方法（management technique）及びシステムについて記載するものである。例えば、本開示は、画像データの他の部分よりも少量の圧縮を受けるように画像データの部分を特定するための複数の方式について記載する。より少量の圧縮を受ける部分はより高い画質を有することになり、より多量の圧縮を受ける部分はより低い画質を有することになる。（顔などのような）ユーザにとって視覚的に重要な対象物に対しては、より少量の圧縮を適用するように試みることを意図する方式を用いて、より少量の圧縮を受ける画像データの部分が選択され、（背景の場面などのような）重要度の低い対象物に対してはより多量の圧縮が適用される。このようにすることで、画像全体にわたって一様に圧縮をかけた画像の場合よりも、（バイト数などの）関連する画像ファイルのサイズをより小さくすることが可能となる。しかし、たとえメモリ容量の節減のために画像ファイルの平均的ファイルサイズが縮小される場合であっても、ユーザにとって重要であると思われる画像の詳細部分については比較的高い画質での保持が可能となる。

より少量の圧縮を受ける画像データの部分を特定する１つの代表的な方式として、画像の中心部又は所定の位置に関連づけられた領域のような固定領域を利用する方式がある。別の代表的な方式として、画像データを分析して、ユーザにとって重要であると思われるビジュアルな要素を発見する方式がある。別の代表的な方式として、ユーザが残りの画像よりも高い画像忠実度を得ることを望むビジュアルな要素を特定するためにユーザ入力を受け付ける方式がある。別の代表的な方式として、ユーザが視覚的に自分の注意を向ける場面内の対象物を特定し、画像の他の部分よりも少量の圧縮で当該対象物を圧縮する方式がある。画像全体にわたって品質を変更するこれらの方式及び追加の方式について以下のセクションでさらに詳述する。

本開示の１つの側面によれば、デジタル写真の画像データを管理する方法が、場面に対応する画像データをカメラアセンブリを用いて取り込むステップと、該画像データを第１の部分と第２の部分とに分離するステップと、第２の部分の画像データを処理して、第１の部分の画像データよりも低い品質を有するようにするステップと、場面に対応する画像データを格納するステップと、を含み、上記画像ファイルは、上記第１と第２の部分に対応する画像データを含み、それによって該画像ファイルは高い品質部分と低い品質部分とを有するようになる。

１つの実施形態によれば、本方法はさらに、第１の部分に対応する画像データの品質を低下させるために第１の部分に対応する画像データを処理するステップを含む。

本方法の１つの実施形態によれば、画像データの第２の部分の処理が所定量の画像データを保持することにより実行される。

本方法の１つの実施形態によれば、画像データの第２の部分の処理が圧縮アルゴリズムを適用することにより実行される。

１つの実施形態によれば、本方法はさらに、画像データの第１の部分に隣接する画像データを処理して、該隣接する画像データが画像データの第２の部分の品質と画像データの第１の部分の品質との間の品質を有するようにするステップを含む。

本方法の１つの実施形態によれば、上記隣接する画像データは、画像データの第２の部分の品質から画像データの第１の部分の品質までの段階的品質を有するように処理される。

本方法の１つの実施形態によれば、第１の部分は写真の所定領域に対応する。

本方法の１つの実施形態によれば、第１の部分は写真の内部の所定の位置と近接関係を有する、場面内のビジュアルな要素に対応する。

本方法の１つの実施形態によれば、第１の部分はパターン認識を用いて特定される、場面内のビジュアルな要素に対応する。

本方法の１つの実施形態によれば人の顔を特定するためにパターン認識が用いられる。

本方法の１つの実施形態によれば、第１の部分はカメラアセンブリのユーザによって特定される場面内のビジュアルな要素に対応する。

本方法の１つの実施形態によれば、第１の部分は、画像データの取り込み中にカメラアセンブリのユーザから注目された場面内のビジュアルな要素に対応する。

本開示の別の側面によれば、デジタル写真を撮影するカメラアセンブリが、場面に対応する画像データを取り込むセンサと、該画像データを第１の部分と第２の部分とに分離すると共に、第２の部分の画像データを処理して、第１の部分の画像データよりも低い品質を有するようにするコントローラと、場面に対応する画像データを格納するメモリと、を含み、上記画像ファイルは上記第１と第２の部分に対応する画像データを含み、それによって該画像ファイルは高い品質部分と低い品質部分とを有するようになる。

カメラアセンブリの１つの実施形態によれば、上記コントローラは第１の部分に対応する画像データの品質を低下させるために第１の部分に対応する画像データを処理する。

カメラアセンブリの１つの実施形態によれば、画像データの第２の部分は所定量の画像データを保持することにより処理される。

カメラアセンブリの１つの実施形態によれば、画像データの第２の部分は圧縮アルゴリズムを適用することにより処理される。

カメラアセンブリの１つの実施形態によれば、コントローラは画像データを処理して、隣接する画像データが画像データの第２の部分の品質と画像データの第１の部分の品質との間の品質を有するようにする。

カメラアセンブリの１つの実施形態によれば、上記隣接する画像データは、画像データの第２の部分の品質から画像データの第１の部分の品質までの段階的品質を有するように処理される。

カメラアセンブリの１つの実施形態によれば、第１の部分は写真の所定領域に対応する。

カメラアセンブリの１つの実施形態によれば、第１の部分は写真の内部の所定の位置と近接関係を有する、場面内のビジュアルな要素に対応する。

カメラアセンブリの１つの実施形態によれば、第１の部分はパターン認識を用いて特定される場面内のビジュアルな要素に対応する。

カメラアセンブリの１つの実施形態によれば人の顔を特定するためにパターン認識が用いられる。

カメラアセンブリの１つの実施形態によれば、第１の部分はパターン認識を用いて特定される場面内のビジュアルな要素に対応する。

１つの実施形態によれば、カメラアセンブリは画像データの取り込み中にカメラアセンブリのユーザを撮像する第２のカメラアセンブリをさらに含み、その場合、コントローラは、画像データの取り込み中にカメラアセンブリのユーザから注目された場面内のビジュアルな要素を特定するために第２のカメラアセンブリの出力値を分析する。さらに、第１の部分は場面内で特定されたビジュアルな要素に対応する。

カメラアセンブリの１つの実施形態によれば、カメラアセンブリは、ネットワークを介して呼を確立するための呼回路を含むモバイル電話機の一部を形成する。

上記の特徴及び更なる特徴は、以下の説明及び添付図面を参照することにより明らかになるであろう。説明及び図面において、本発明の原理が採用され得るいくつかの方法のうちの一例として本発明の特定の実施形態を詳細に開示する。しかし、本発明の範囲はそれらの実施形態に限定されるものではないことは理解されよう。逆に、本発明は、本明細書に添付の請求の範囲の趣旨及び条件内に含まれる全ての変更、変形及び均等物を含むものである。

１つの実施形態に関して記載されているか、例示されているかの少なくともいずれかの特徴は、１以上の別の実施形態において同じ方法で、又は同様の方法で、あるいは、その他の実施形態の特徴と組み合わされた態様か、又はその他の実施形態の特徴の代わりの態様かの少なくともいずれかの態様で用いることができる。

本明細書で使用される場合、「備える（comprises）」及び「備えている（comprising）」という用語は、言及された特徴、数値、ステップ又は構成の存在を特定するために用いられるが、これら以外の１以上の別の特徴、数値、ステップ、構成、又はこれらのグループの存在又は追加を排除するものではない。

代表的なカメラアセンブリを含む例示の電子デバイスの正面図である。 代表的なカメラアセンブリを含む例示の電子デバイスの背面図である。 図１及び図２の電子デバイスの概略ブロック図である。 図１及び図２の電子デバイスが動作することができる通信システムの概略図である。 複数の品質領域に分離された場面の代表的な画像を示す概略図である。 複数の品質領域に分離された別の場面の代表的な画像を示す概略図である。 場面を複数の品質領域に分離するために画像解析が適用された別の場面の代表的な画像の概略図である。 場面を複数の品質領域に分離するために画像解析が適用された別の場面の代表的な画像の概略図である。

以下図面を参照して実施形態について説明するが、以下を通して、同一の参照番号は同様の要素を参照するのに使用される。これらの図は必ずしも縮尺どおりではないことは理解されよう。

改良された画質管理システム及び方法を示す種々の実施形態が添付図と関連して以下に説明される。例示の実施形態では、上記品質管理は、写真とも呼ばれる静止画像の形で画像データを取り込むために使用されるデジタルカメラアセンブリを含む装置によって実行される。理解されるように、画像データは、１つの装置によって取り込まれ、次いで、品質管理を実行する別の装置へ転送され得るものである。また理解されるように、上記カメラアセンブリは静止画像の他にビデオ画像を取り込むことができるようにすることも可能である。

主として、モバイル電話機の一部を構成するデジタルカメラによって生成される画像データの管理に関連して上記品質管理を説明する。専用のカメラ、（パーソナル・デジタル・アシスタント（ＰＤＡ）、メディアプレイヤ、ゲーム用装置、「ウェブ」カメラ、コンピュータなどのような）カメラを装備した別のタイプの電子デバイス（但しこれらのみに限定されるわけではない）等のような他の動作状況においても上記品質管理を利用できることは理解されよう。また、品質管理は、データ記憶媒体から得られる格納済みの画像データにアクセスしたり、通信リンクを介して画像データを受信したりするコンピュータのような、既存の画像データ処理装置によって実行されてもよい。

まず図１及び図２を参照すると、電子デバイス１０が示されている。例示の電子デバイス１０はモバイル電話機である。電子デバイス１０はデジタル静止画像とデジタルビデオクリップの少なくともいずれかを撮影するためのカメラアセンブリ１２を含む。電子デバイス１０はモバイル電話機である必要はなく、専用のカメラ又は上記のような何らかの別の装置であってもよいことを強調しておく。

さらに図３を参照すると、カメラアセンブリ１２は一般的なカメラアセンブリとして構成することが可能であり、このアセンブリには、カメラアセンブリ１２の視野内にある場面から出る光をセンサ１６上へ合焦する結像光学系１４が含まれる。センサ１６は、本開示に記載の方式を用いて処理することができる画像データに入射光を変換する。結像光学系１４は、レンズアセンブリとコンポーネントとを含んでもよく、該コンポーネントは、保護ウィンドウ、フィルタ、プリズム、ミラー、合焦用機械部、（マルチゾーンオートフォーカスアセンブリなどの）合焦制御用電子デバイス及び光学ズーミング用機械部のような上記レンズアセンブリを補助する。他のカメラアセンブリ１２のコンポーネントは、フラッシュ１８、明度計２０、電子ファインダとして、かつ、インタラクティブなユーザインタフェースの一部として機能するディスプレイ２２及び、ユーザ入力を受け付けるためのキーパッド２４とボタン２６とのうちの少なくともいずれかと、光学式ファインダ（図示せず）、並びに、一般にカメラと接続されるその他の任意のコンポーネントを含んでもよい。

カメラアセンブリ１２の別のコンポーネントは、カメラアセンブリ１２の動作を制御する電子コントローラ２８であってもよい。コントローラ２８、又は（専用の画像データプロセッサなどの）別個の回路は品質管理を実行することができる。例えば、関連メモリによって格納された論理演算命令を実行するプロセッサとして、ファームウェアとして、専用の回路構成要素からなる構成として、あるいは、これらの実施形態の組み合わせとして品質管理を実行する電気的アセンブリを具現化してもよい。したがって、本品質管理方法は、コンピュータ可読媒体に格納された（ソフトウェアなどの）実行可能コードとして物理的に具現化されてもよいし、あるいは、本品質管理方法は電気回路の一部として物理的に具現化されてもよい。別の実施形態では、電子コントローラ２８の機能は、電子デバイス１０の動作全体に責任を負う制御回路３０によって実行され得る。このケースではコントローラ２８を省いてもよい。別の実施形態では、カメラアセンブリ１２の制御機能はコントローラ２８と制御回路３０との間で分散されてもよい。

１つのアプローチでは、カメラアセンブリ１２を用いて取り込まれた写真であって、画像データによって表される写真の品質管理方法を実行して、可変圧縮量を画像データに適用することができる。例えば、本品質管理方法は、画像の１つの領域に対して少量の圧縮又は中量の圧縮を適用し、残りの画像領域に対してはより多量の圧縮を適用することができる。少量の圧縮によって圧縮された画像部分はより多量の圧縮によって圧縮された画像部分と比較してより高い画像忠実度を有することになる。したがって、より少量の圧縮によって圧縮された画像部分に対応する出力画像データの部分を高品質のコンポーネントと呼ぶことにし、かつ、より多量の圧縮によって圧縮された画像部分に対応する出力画像データの部分を低品質のコンポーネントと呼ぶことにする。低品質のコンポーネントと高品質のコンポーネントとは場面の写真として単一の画像ファイルに格納することができる。

より少量の圧縮を受ける画像データの部分は画像データの隣接するセクションであってもよいし、あるいは、非隣接セクションであってもよい。したがって、高品質のコンポーネントは画像データの１つの部分又は画像データの２以上の部分に対応することが可能となる。例えば、少量の圧縮をかけるために（単複の）指定領域の範囲に属する画像の画素に対して、指定領域の外側に属する画素よりも低い圧縮比を用いて圧縮をかけることが可能となる。説明を簡略にするために、以下の説明は単数の領域（又は部分）について言及するものではあるが、読者は単数の領域（又は部分）についての説明が１以上の画像部分を明白に含むものであることを理解すべきである。

より少量の圧縮を受ける領域の方が、より多量の圧縮を受ける画像の残り部分と比較してより高い画質を有することになる。その結果、対応する画像ファイルが高品質のコンポーネントと低品質のコンポーネントとを有するように画像データの処理が行われる。例えば、画像データの処理は、高品質領域に関連する画素に対して圧縮をかけない処理を含んでもよい。あるいは画像データの処理は高品質領域に関連する画素に対して何らかの圧縮をかける処理を含んでもよい。画像データの処理は、高品質領域の内側にある画素に適用される圧縮比よりも高い圧縮比で、高品質領域の外側にある画素に対して圧縮をかける処理をさらに含んでもよい。

画像データの圧縮は、画素当たりのビット数という観点から画像データの効果的な量を変えるアルゴリズムを適用する処理のような任意の適切な圧縮技術を含んでもよい。圧縮アルゴリズムには、例えば画像データの格納に用いられるファイル形式のための所定の圧縮技術が含まれる。ファイル固有の圧縮の１つのタイプとしてＪＰＥＧ圧縮がある。この圧縮には、最も損失の多いＪＰＥＧ圧縮から、中間のＪＰＥＧ圧縮レベルを経て、最高品質のＪＰＥＧ圧縮までの範囲にわたる複数の圧縮「レベル」のうちの１つのレベルを適用する処理が含まれる。例えば、最低品質のＪＰＥＧ圧縮は１の品質値（又はＱ値）を有してもよい。低品質のＪＰＥＧ圧縮は１０のＱ値を有してもよい。中間品質のＪＰＥＧ圧縮は２５のＱ値を有してもよい。平均的品質のＪＰＥＧ圧縮は５０のＱ値を有してもよい。そして、最大品質のＪＰＥＧ圧縮は１００のＱ値を有してもよい。１つの実施形態では、領域内に対応する画像データには最大品質又は平均的品質のＪＰＥＧ圧縮を適用し、領域外の画像データには低品質又は中間品質のＪＰＥＧ圧縮を適用することができる。

画質を管理するある実施形態では、解像度（すなわち単位面積当たりの画素数）の制御が可能である。解像度を制御する１つの技術として、センサ１６によって出力された生の画像データのダウンサンプリング（サブサンプリングとも呼ばれる）を行う技術がある。本明細書で用いられているように、ダウンサンプリングという用語は、処理前よりも処理後の方が少量の解像度を保持するように、画像フレームの単位面積当たりの画素数を減らす任意の技術を意味する。

一例として、センサ１６は５メガ画素の固有解像度を有するものであってもよい。高品質領域の内部に属する画像データの場合、本品質管理方法はセンサ１６によって出力された画像データの最大解像度を保持することができる。上記とは別に、本品質管理方法では、センサ１６によって出力された画像データの最大解像度よりも少ない量ではあるが、この画像データのうちの多くの量（割合など）を保持することが可能となる。例えば、上記保持されるデータは最大解像度の約６０％〜約９０％の有効解像度を結果として得ることが可能となる。例示の５メガ画素センサを用いるさらに具体的な例として、保持される画像データは４メガ画素センサに対応するデータ量（すなわち例示の５メガ画素センサによって出力される画像データの約８０％）であってもよい。１つの実施形態では、最大解像度の画像データのすべてのデータ又は若干のデータの保持が可能で、かつ、選択済みの圧縮レベルを該画像データに適用できる複合化されたアプローチを採用してもよい。

高品質領域の外側に属する画像データの場合、本品質管理方法はセンサ１６によって出力される比較的少量（割合など）の画像データを保持することができる。例えば、上記保持されるデータは最大解像度の約１０％〜約５０％の有効解像度を結果として得ることができる。例示の５メガ画素センサを用いるさらに具体的な例として、保持される画像データは１メガ画素センサに対応するデータ量（すなわち例示の５メガ画素センサによって出力される画像データの約２０％）であってもよい。１つの実施形態では、最大解像度の画像データのうちの若干のデータの保持が可能で、かつ、選択済みの圧縮レベルを該画像データに適用できる複合化されたアプローチを採用してもよい。

３以上の品質レベルを用いてもよい。例えば、品質管理方法は上述のように高い品質部分と低い品質部分とを生成することができる。さらに、生の画像データのうちの若干（画像データの約２０〜約７５％）を保持する処理のような適切な画像データを処理するか、選択圧縮レベルを画像データに適用するかの少なくともいずれかを行うことによって１以上の中品質部分を形成することができる。５メガ画素センサ１６の以上の例から続くより具体的な例として、中品質部分の保持画像データは２メガ画素センサに対応するデータ量（すなわち例示の５メガ画素センサによって出力される画像データの約４０％）であってもよい。別例では、中品質部分用として適度に損失の多いＪＰＥＧ圧縮レベルを選択してもよい。高い品質部分の場合と同様、中品質部分は隣接している必要はない。

中品質領域が生成される１つの実施形態では、高品質領域に適用される圧縮比と、画像の残り部分に適用される圧縮比との間の圧縮比を用いて、高品質領域の外側にあり、かつ、該高品質領域に隣接する画素を圧縮することによって中品質領域を確立することができる。別の実施形態では、領域の外側にあり、かつ、該領域に隣接する画像データの解像度を管理して、画像の高品質領域の解像度と残り部分の解像度との間の解像度となるように保持することができる。このようにして、高品質領域は中品質領域によって取り囲まれることになると共に、この中品質領域は低品質領域よりも高い品質を有し、しかも、高品質領域よりも低い品質を有することになる。１つの実施形態では、中間解像度領域は傾斜解像度を有してもよい。例えば、中品質領域における解像度を高品質領域の高い品質から低品質領域の低い品質へと徐々に低くして、高品質領域を低品質領域の中へ混ぜ合わせるようにすることも可能である。中品質領域が高品質領域を取り囲む必要はないことは理解できよう。例えば、１つの実施形態では、中品質領域は画像の中心領域のような固定位置を有してもよい。異なる量の品質を個々に有する複数の中間部分が存在し得ることも理解されよう。

画像の指定領域と画像の残り部分とに対して解像度と圧縮の少なくともいずれかが別様に処理される結果、可変の画質領域を有する画像が結果として確立されることになる。この画質領域では、単位面積当たりの画素数と画素当たりのビット数との少なくともいずれかの点から見て、１つの領域の方がその他の（単複の）領域よりも高い品質を有するものとなる。関連する画像ファイルは、画像全体が均等に圧縮される場合と、画像全体に対して適度に高い品質レベルを維持するために単一の画像データ管理技術を用いてダウンサンプルされる場合との少なくともいずれかの場合よりもさらに小さなファイルサイズを有してもよいことが想定されている。以下において、指定領域を確立するための種々の実施形態について説明する。これらの実施形態は、画像を品質領域に分割する処理を制御し、それによってより高い品質の領域が、ユーザにとって最大の関心対象である、画像化済み場面内の（単複の）対象物と同一の空間を占めやすくするようにする方法を表すものである。

さらに図５を参照すると、カメラアセンブリ１２のセンサ１６によって取り込まれた画像３２が示されている。画像３２は、画像データから構成されたものであり、画像データが取り込まれた際、その時点においてカメラアセンブリ１２の視野内にある場面を表す画像である。図５の代表的な画像３２は複数の品質領域に分離されているが、これらの品質領域は高品質領域を指定する１つの例示の技術を示すための領域である。

図５の方式では、残り部分よりも高い品質を持つ画像３２の部分は所定領域３４である。所定領域３４の外側にある画像部分３２は、所定領域３４よりも低い品質を持つように処理される残り部分の領域３６と考えることができる。例示の実施形態では、所定領域３４は画像３２の中心に位置する矩形である。所定領域は、円、楕円、所望の形状を画定するために選択されたポリゴンや角丸を持つポリゴンのような別の形状を有してもよいことは理解できよう。

さらに図６を参照すると、所定領域３４は画像３２の中心に位置する必要はなく、また、隣接している必要はない。図６の実施形態では、画像３４の残り部分の領域３６よりも高い品質を持つように個々に指定された４つの空間的に別個の領域３４ａ〜３４ｄが存在する。例示の実施形態では、領域３４ａ〜３４ｄは三分割法に従って構成される。三分割法によれば、画像は２本の等間隔の水平線と２本の等間隔の垂直線とによって９個の均等な部分に分割される。これらの線の交点３８によって形成される４個の点を用いて、観察者の目が自然にこれらの点の方へ引きつけられるということを前提として画像内のフィーチャのアラインメントを行うことができる。

さらに別の実施形態では、所定領域３４はユーザにより指定され得る。例えば、ユーザは所定領域３４のサイズ、形状、位置を指定することができる。別の実施形態では、ユーザは複数の所定領域の選択肢の中から所定領域３４を選択することができる。これらの選択肢は例えば中心領域及び三分割法領域を含んでもよい。ユーザにより所定領域３４の選択が行われるこれらの実施形態では、画像データが取り込まれる前に、あるいは、画像データが取り込まれた後に所定領域３４を指定してもよい。画像データが取り込まれる前に所定領域３４が選択された場合、取り込まれた画像データに対して自動的に品質管理処理を適用してもよい。画像データが取り込まれた後に所定領域３４が選択された場合、ユーザに対してディスプレイ２２上に画像のプレビューを提示することができ、タッチスクリーンオプションや他の何らかのユーザ入力メカニズムを用いることにより、ユーザはメニュー選択によって所望領域の選択を行うことが可能となる。

別の実施形態では、サイズと、形状と、所定領域３４の位置とのうちの少なくともいずれかを場面のタイプに基づいて決定することができる。例えば、ポートレート用として中心領域を用いてもよいし、風景の場面用として１以上の三分割法領域を用いてもよい。どの領域を使用するかの決定は、メニュー選択により行ってもよいし、カメラモード設定に従ってもよいし、あるいは、画像データの分析により決定してもよい。ひとたび領域３４の位置が決定されると、ディスプレイ２２が電子ファインダとして機能している間、ビジュアルなキューをディスプレイ２２に表示することができる。ビジュアルなキューは領域３４の輪郭であってもよい。別の実施形態では、ビジュアルなキューは十字形であってもよいし、あるいは、ユーザの主な関心対象が領域３４とオーバラップするようにユーザが写真を構成している間ユーザをガイドする他のフィーチャであってもよい。

さらに図７を参照すると、品質管理のための別の例示方式に関連して画像３２が示されている。この実施形態では、高品質領域として用いられるビジュアルな要素ベースの領域４０が指定されている。領域４０は、固定領域４２と関係する場面内のビジュアルな要素に対応する。この例示の実施形態では、固定領域４２は中心に位置している矩形であるが、この固定領域４２は異なる形状を有するものであってもよいし、画像の別の領域に位置するものであってもよい。

本方式を実行して、画像３２内に存在し、かつ、ユーザの主な関心対象となり得るビジュアルな要素の特定が可能となる。この例示の実施形態では、画像３２は、固定領域４２の内部に位置するか、あるいは固定領域４２とオーバラップする優位を占める（単複の）ビジュアルな要素に対して分析される。この優位を占めるビジュアルな要素は（単複の）顔と（単複の）体の少なくともいずれかであってもよい。この優位を占めるビジュアルな要素はまた、特定可能なバックグラウンドの正面に位置しているオブジェクトであってもよい。優位を占めるビジュアルな要素が特定されると、ビジュアルな要素の輪郭を用いてビジュアルな要素ベースの高品質領域４０の画定が可能となり、領域４０の外側に属する画像部分３２は、領域４０よりも低い品質を持つように処理される残り部分３６として機能することが可能となる。このようにして、比較的少量の圧縮（又は無圧縮）を画像３２の優位に配置されたビジュアルな要素に対して適用することが可能となると共に、画像３２の残り部分３６に対してさらに高い圧縮を適用することが可能となる。上記とは別に、比較的少量のダウンサンプリング（又は無ダウンサンプリング）を画像３２の優位に配置されたビジュアルな要素に対して適用することが可能となると共に、さらに多量のダウンサンプリングを画像３２の残り部分３６に対して適用することが可能となる。

さらに図８を参照すると、品質管理のための別の例示方式に関連して画像３２が示されている。図７の実施形態の場合と同様、高品質領域として用いられるビジュアルな要素ベースの領域４０が指定されている。本実施形態の領域４０は、１以上の固定位置と関係する場面内のビジュアルな要素に対応する。図８の例示の実施形態では、三分割法の下で交点３８に対応する４つの固定位置が存在する。画像３２は固定位置とオーバラップするか、固定位置に隣接する優位を占める（単複の）ビジュアルな要素に対して分析される。図示のように、優位を占めるビジュアルな要素は、（単複の）顔と（単複の）体の少なくともいずれかであってもよいし、あるいは、特定可能なバックグラウンドの正面に位置するオブジェクトであってもよい。優位を占めるビジュアルな要素が特定されると、ビジュアルな要素の輪郭を用いてビジュアルな要素ベースの領域４０を画定することが可能となり、領域４０の外側に属する画像部分３２は、領域４０よりも低い品質を持つように処理される残り部分３６として機能することが可能となる。このようにして、比較的少量の圧縮（又は無圧縮）を画像３２の優位に配置されたビジュアルな要素に対して適用することが可能となると共に、画像３２の残り部分３６に対してさらに高い圧縮を適用することが可能となる。上記とは別に、比較的少量のダウンサンプリング（又は無ダウンサンプリング）を画像３２の優位に配置されたビジュアルな要素に対して適用することが可能となると共に、さらに多量のダウンサンプリングを画像３２の残り部分３６に対して適用することが可能となる。

画像３２を高品質領域と低品質領域とに分離する別の方式として、画像３２から得られるビジュアルな要素のユーザＩＤによる方式がある。１つの実施形態では、ユーザは写真撮影を行う通常の方法で場面を表す画像データを取り込むことができる。次いで、取り込まれた画像はディスプレイ２２に表示することができる。ディスプレイ２２は、タッチスクリーンを形成するタッチパネル式のものであってもよい。画像の表示中、ユーザは、ユーザにとって最も高い関心対象である対象物に対応するタッチスクリーン上の点に触れることができる。順次、カメラアセンブリ１２は、触れられた点に関連づけられたビジュアルな要素を表す画像データの構造解析を行い、ビジュアルな要素に対応する画像部分３２を高品質領域と見なすことができる。次いで、上述のような処理を実行することができる。ナビゲーション入力装置を用いて、ポインタや十字形を所望のスポットへ動かし、選択キーを押すような、別のユーザ入力方式を用いて単複の関心対象を特定してもよいことは理解できよう。また、（単複の）対象の周りの輪郭を描くユーザ入力を用いて、高品質領域を確立するようにしてもよい。

高品質領域を特定する別の方式としてパターン認識による方式がある。この実施形態では、認識可能であり、かつ、ユーザにとって関心対象の項目になりそうな対象物の画像データを分析することができる。認識可能な項目には、例えば、人物の顔、（人間の形などの）人物の体、車、トラック、猫、などを含んでもよい。例えば、普通の顔認識方式では鼻梁と共に一対の目を示すカラーパターンの画像探索が行われる。このような対象物が認識されれば、当該対象物の輪郭を用いて高品質領域を画定することができる。複数の対象物が認識された場合、当該対象物の各々の輪郭を用いて１以上の高品質領域を画定することができる。場面が（３またはそれ以上の項目のような）比較的多数の認識項目を含んでいる場合には、場面内のサイズと位置の少なくともいずれかに基づいてこれらの項目を優先させるようにしてもよい。さらに、（単複の）高品質領域の生成時に最も高い優先順位項目の選択数（３以下など）を用いるようにしてもよい。

別の実施形態では、写真の構成と写真の撮影の少なくともいずれかを行っている間のユーザの視行動を分析することによって高品質領域を決定することが可能となる。図１〜図３への参照を続けると、電子デバイス１０はユーザの顔を取り込むことを目的とする第２のカメラ４４を含んでもよい。この手の第２のカメラはテレビ電話を装備したいくつかのモバイル電話機に含まれているものである。ユーザが写真撮影を命令するとき、ユーザが見ている対象物を特定するためにカメラ４４を用いることができる。例えば、ユーザのビデオストリームを取り込むためにカメラ４４を用いる場合がある。ビデオストリーム、及び、特に、ユーザの目に対応するビデオストリームの部分を分析して、ユーザが注視しているターゲットの決定が可能となる。カメラアセンブリ１２により取り込まれた場面の画像にユーザが視ているターゲットを対応づけることができる。ユーザは、場面を直接見ている場合もあり得るし、あるいは、ディスプレイ２２が電子ファインダとして機能しているのを見ている場合もあり得る。いずれの場合にせよ、場面を表す画像データと、視る人が注目しているターゲットとの比較によってユーザの注目ターゲットの抽出が可能となる。場面から得られる対象物がユーザの注目ターゲットにマッチすれば、マッチした対象物に対応する画像部分を高品質領域として用いることが可能になると共に、上述のように画像データの圧縮が可能となる。

高品質領域の特定に用いる方式をカメラアセンブリ１２のデフォルトの動作特性にしてもよい。別の実施形態では、複数の可能な方式の中からユーザが高品質領域の特定に用いる方式を選択してもよい。

図示のように、図１と図２に示されている例示の電子デバイス１０はモバイル電話機である。モバイル電話機として実現される場合の電子デバイス１０の機能についてさらに図３を参照しながら説明する。例示の電子デバイス１０は「レンガ」又は「ブロック」フォームファクタのハウジングを有するものとして示されてはいるが、（シェル型ハウジングのような）「フリップ」オープン型フォームファクタハウジング又は（「スライダ型ハウジング」のような）スライド型フォームファクタハウジングのような別の種類のハウジングを利用してもよいことは理解できよう。

図示のように、電子デバイス１０はディスプレイ２２を含んでもよい。ディスプレイ２２は動作状態、時刻、電話番号、連絡先情報、種々のメニューなどのような情報を表示する。このメニューによってユーザは電子デバイス１０の種々の特徴を利用することが可能になる。ディスプレイ２２を用いて、電子デバイス１０が受信した内容と、電子デバイス１０のメモリ１６（図２）から取り出した内容の少なくともいずれかの内容を視覚的に表示することも可能である。ディスプレイ２２を用いて、写真、移動体用テレビのコンテンツ及びゲームに関連づけられたビデオのような画像、ビデオ及び他のグラフィックをユーザに提示するようにしてもよい。

キーパッド２４とボタン２６の少なくともいずれかは多様なユーザ入力操作を提供する。例えば、キーパッド２４は、電話番号、電話番号リスト、連絡先情報、覚え書き、テキストなどの英数字情報を入力するための英数字キーを含んでいてもよい。さらに、キーパッド２４とボタン２６の少なくともいずれかは通常、呼を起動するか、呼に応答するかのいずれかを行うための「呼送信」キー、及び、呼を終了するための「呼終了」キー、又は呼の「停止」キーのような特別の機能キーを含んでいてもよい。特別のファンクションキーは、ディスプレイ２２に表示されるメニューを通じてナビゲーションを容易にするメニューナビゲーションキー及び選択キーを含んでいてもよい。例えば、ポインティングデバイスとナビゲーションキーの少なくともいずれかを設けて、ユーザからの指向性入力を受け付けるようにしてもよい。特別のファンクションキーは、再生の開始、停止、及び中断と、トラックのスキップ又は反復などを行うためのオーディオビジュアルコンテンツ再生キーを含んでもよい。モバイル電話機と関連づけられた他のキーは、音量キー、音声ミュートキー、電源オン／オフキー、ウェブブラウザ開始キー、などを含んでもよい。キー又はキー様の機能はディスプレイ２２に関連づけられたタッチスクリーンとして具現化することも可能である。また、ソフトキー機能を実現するために、ディスプレイ２２と、キーパッド２４と、ボタン２６とのうちの少なくともいずれかを互いに組み合わせて用いてもよい。したがって、カメラアセンブリ１２を制御するために、ディスプレイ２２と、キーパッド２４と、ボタン２６とのうちの少なくともいずれかを用いてもよい。

電子デバイス１０には、呼を確立するか、被呼／発呼装置と信号の交換を行うかの少なくともいずれかを電子デバイスが実行できるようにする通話回路が含まれている。但し、上記被呼／発呼装置は一般に別の移動電話機又は地上回線電話であってもよい。しかし、被呼／発呼装置は、別の電話機である必要はなく、インターネットウェブサーバ、コンテンツ提供サーバなどのような別の何らかのデバイスであってもよい。呼は任意の好適な形をとることが可能である。例えば、呼は、セルラ回線交換ネットワークを介して確立される従来方式の呼であってもよいし、あるいは、セルラネットワークのパケット交換機能を介して、又は、（ＩＥＥＥ８０２．１１規格をベースとするネットワークなどの）ＷｉＦｉ、（８０２．１６規格をベースとするネットワークなどの）ＷｉＭＡＸなどのような別のパケット交換ネットワークを介して確立されるボイス・オーバ・インターネットプロトコル（ＶｏＩＰ）電話であってもよい。別例として、セルラネットワーク又は代替ネットワークを介して確立されるビデオイネーブルドコール（video enabled call）が含まれる。

モバイル電話機１０は、テキストメッセージ、インスタントメッセージ、電子メールメッセージ、マルチメディアメッセージ、画像ファイル、ビデオファイル、オーディオファイル、着信音、ストリーミングオーディオ、ストリーミングビデオ、（ポッドキャスト及び独立系放送番組（ＲＳＳ）データフィードを含む）データフィードなどのようなデータの送信と、受信と、処理とのうちの少なくともいずれかを行うように構成することができる。テキストメッセージとは普通「ＳＭＳ」（シンプルメッセージサービスを表す）と呼ぶ人もいるメッセージであることに留意されたい。ＳＭＳはテキストメッセージを交換するための代表的な規格である。上記と同様に、マルチメディアメッセージとは普通「ＭＭＳ」（マルチメディアメッセージサービスを表す）と呼ぶ人もいるメッセージであることに留意されたい。ＭＭＳはマルチメディアメッセージを交換するための代表的な規格である。データ処理は、データをメモリ４６に格納する処理と、このデータとのユーザインタラクションを可能にするアプリケーションを実行する処理と、データに関連付けられたビデオと画像の少なくともいずれかを表示する処理と、データに関連付けられたオーディオサウンドを出力する処理などを含んでもよい。

電子デバイス１０は、電子デバイス１０の機能及び動作の制御全体を実行するように構成された主制御回路３０を含んでもよい。図示のように、制御回路３０は写真の品質管理を含むカメラアセンブリ１２の制御に責任を負う回路である。

制御回路３０は中央演算処理装置（ＣＰＵ）、マイクロコントローラ又はマイクロプロセッサのような処理装置４８を含んでもよい。処理装置４８は電子デバイス１０の種々の機能を実現するコードを実行することができる。電子デバイス１０の動作を実行するために、制御回路３０の内部にあるメモリ（図示せず）と、メモリ４６のような独立のメモリとの少なくともいずれかのメモリの中に上記コードを格納してもよい。電子デバイス１０をプログラムして、論理機能を動作させ、かつ、この機能を実行する方法は、コンピュータプログラミングの当業者、及び、特に移動電話機や別の電子デバイス用のアプリケーションプログラミングの当業者には明らかである。

数あるデータ記憶装置の役割の中で、メモリ４６はカメラアセンブリ１２によって取り込まれた写真とビデオクリップの少なくともいずれかを格納するために用いることができる。上記とは別に、独立のメモリに画像を格納することができる。メモリ４６は、例えば、１以上のバッファ、フラッシュメモリ、ハードドライブ、取り外し可能媒体、揮発性メモリ、不揮発性メモリ、ランダムアクセスメモリ（ＲＡＭ）、又は他の好適な装置であってもよい。典型的な構成では、メモリ４６は、長期データ格納用の（ＮＡＮＤ構成又はＮＯＲ構成のフラッシュメモリのような）不揮発性メモリと、制御回路３０用のシステムメモリとして機能する揮発性メモリとを含んでもよい。揮発性メモリは同期ダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）を実装したＲＡＭであってもよい。メモリ４６はデータバスを介して制御回路３０とデータの交換を行うことができる。付随する制御ライン及び、メモリ４６と制御回路３０との間のアドレスバスが存在していてもよい。

引き続き図１から図３を参照すると、電子デバイス１０には無線回路５２と結合されたアンテナ５０が含まれている。無線回路５２は、アンテナ５０を介して信号を送受信するための無線周波数送受信機を含む。無線回路５２は、移動通信システムにおいて動作するように構成することができると共に、データと視聴覚コンテンツの少なくともいずれかの送受信を行うために用いることができる。移動無線ネットワークと放送ネットワークの少なくともいずれかのネットワークとインタラクションを行うための受信機のタイプには、例えば、移動通信用グローバルシステム（ＧＳＭ）、符号分割多元接続（ＣＤＭＡ）、広帯域ＣＤＭＡ（ＷＣＤＭＡ）、汎用パケット無線サービス（ＧＰＲＳ）、ＷｉＦｉ、ＷｉＭＡＸ、携帯機器向けデジタルビデオ放送（ＤＶＢ−Ｈ）、地上デジタルテレビジョン放送（ＩＳＤＢ）などのみならず、これらの規格の上位バージョンなども含まれる。但しこれらのみに限定されるわけではない。アンテナ５０及び無線回路５２が１又はそれ以上の無線トランシーバを表すものであってもよいことは理解できよう。

電子デバイス１０には、無線回路５２により送信され／無線回路５２から受信されるオーディオ信号の処理を行うサウンド信号処理回路５４もさらに含まれる。一般に行われているように、電子デバイス１０を介してユーザが聴いたり、話したりすることができるようにするスピーカ５６及びマイク５８がサウンド処理回路５４と結合されている。無線回路５２及びサウンド処理回路５４は処理全体を実行できるように制御回路３０と個別に結合されている。ユーザに対して再生を行うために、制御回路３０から音響信号処理回路５４へオーディオデータを渡すことができる。オーディオデータは、例えば、メモリ４６により格納され、かつ、制御回路３０により取り出される、オーディオファイルから得られるオーディオデータか、移動無線サービスから得られるストリーミングオーディオデータの形で受信されるオーディオデータを含んでもよい。サウンド処理回路５４は任意の適切なバッファ、デコーダ、増幅器などを含んでもよい。

ディスプレイ２２は、ビデオ処理回路６０によって制御回路３０との結合が可能であり、該ビデオ処理回路６０は、ディスプレイ２２の駆動のために用いられるビデオ信号にビデオデータを変換する。ビデオ処理回路６０は任意の適切なバッファ、デコーダ、ビデオデータプロセッサなどを含むことができる。ビデオデータは、制御回路３０によって生成されるか、メモリ４６内に格納されているビデオファイルから取り出されるか、無線回路５２によって受信される着信ビデオデータストリームから導き出されるか、あるいは別の任意の好適な方法によって取得することができる。また、ビデオデータは（カメラアセンブリ１２用のファインダ機能を提供するプレビュービデオストリームのような）カメラアセンブリ１２によって生成されてもよい。

電子デバイス１０は１以上の（単複の）Ｉ／Ｏインタフェース６２をさらに含むものであってもよい。（単複の）Ｉ／Ｏインタフェース６２は一般的なモバイル電話機用Ｉ／Ｏインタフェースの形のものであってもよく、１以上の電気コネクタを含むものであってもよい。一般に行われているように、（単複の）Ｉ／Ｏインタフェース６２を用いて、電子デバイス１０をバッテリ充電器に結合して、電子デバイス１０の内部の電力供給装置（ＰＳＵ）６４のバッテリを充電するようにしてもよい。さらに加えて、あるいは代替例において、（単複の）Ｉ／Ｏインタフェース６２は、電子デバイス１０との有線インタフェースを備えた（個人用ハンズフリー（ＰＨＦ）デバイスなどの）ヘッドセットアセンブリと電子デバイス１０とを接続する役割を果たすようにしてもよい。さらに、（単複の）Ｉ／Ｏインタフェース６２は、データ交換を行うためのデータケーブルを介して電子デバイス１０をパーソナルコンピュータや他のデバイスと接続する役割を果たすようにしてもよい。電子デバイス１０は、車輌用電源アダプタや電気コンセントの電源アダプタに接続されているとき、（単複の）Ｉ／Ｏインタフェース６２を介して動作電力を受け取ることができる。外部電源が存在しない場合、ＰＳＵ６４は電子デバイス１０を動作させるための電力を供給することができる。

電子デバイス１０はまた、制御回路３０及びメモリ４６のような、電子デバイス１０の種々の構成要素を計時するためのシステムクロック６６を含んでもよい。

電子デバイス１０は、全地球測位システム（ＧＰＳ）受信機、ガリレオ衛星システム受信機などのような位置データ受信装置６８を含むものであってもよい。位置データ受信装置６８は電子デバイス１０の所在位置の検出に関与することができる。

電子デバイス１０は、付属品、コンピュータ又は別の装置との通信を確立するための赤外線トランシーバと、（ブルートゥースインタフェースなどの）ＲＦインタフェースとの少なくともいずれかのようなローカル無線インタフェース７０を含むものであってもよい。例えば、ヘッドセットアセンブリが対応する無線インタフェースを有するある実施形態では、ローカル無線インタフェース７０は電子デバイス１０を（ＰＨＦ装置などの）ヘッドセットアセンブリに作動的に結合することができる。

さらに図４を参照すると、電子デバイス１０は、通信システム７２の一部として動作するように構成することができる。システム７２は、電子デバイス１０による送信呼並びに電子デバイス１０へ向けられた着信呼の管理と、データの送信と、他の任意のサポート機能の実行とを行うための（単複の）サーバ７６を備えた通信ネットワーク７４を含むことができる。サーバ７６は送信媒体を介して電子デバイス１０と通信を行う。送信媒体は、例えば、（セルタワーなどの）通信タワー、他のモバイル電話機、無線アクセスポイント、衛星などを含む任意の適切な装置又はアセンブリであってもよい。上記ネットワークの一部は無線送信路を含むものであってもよい。ネットワーク７４は複数の電子デバイス１０と、別の種類のエンドユーザ装置との通信活動をサポートすることができる。理解されるように、サーバ７６はサーバ機能を実行するために用いられる一般的なコンピュータシステムとして構成することが可能であり、さらに、サーバ７６の機能を具現化する論理演算命令を含むソフトウェアを実行するように構成されたプロセッサと、このようなソフトウェアを格納するメモリとを含むことが可能である。

或る好ましい実施形態を図示し、説明したが、本明細書を読み、理解するとき、添付の請求項の範囲に属する均等物及び変更が当業者である別の人々の心に思い浮かぶことは理解されよう。

Claims (17)

1. スチル写真用のデジタル画像データを管理する方法であって、
   場面に対応する画像データをカメラアセンブリ（１２）を用いて取り込むステップと、
   前記画像データを第１の部分と第２の部分とに分離するステップであって、前記第１の部分の形状が、前記写真の内部の前記カメラアセンブリに対して予め固定された所定の位置と部分的に重なった関係を有する前記場面内のビジュアルな要素の形状に対応しているステップと、
   前記第１の部分の画像データよりも低い品質を有するように前記第２の部分の画像データを処理するステップと、
   前記場面に対応する画像ファイルを格納するステップと、を有し、
   前記画像ファイルは、該画像ファイルが高い品質部分と低い品質部分とを有するように、前記第１と第２の部分とに対応する画像データを含むことを特徴とする方法。
2. 前記第１の部分に対応する前記画像データの品質を低下させるために前記第１の部分に対応する前記画像データを処理するステップをさらに含むことを特徴とする請求項１に記載の方法。
3. 前記画像データの前記第２の部分を処理するステップは、所定量の前記画像データを保持することによって実行されることを特徴とする請求項１又は２に記載の方法。
4. 前記画像データの前記第２の部分を処理するステップは圧縮アルゴリズムを適用することによって実行されることを特徴とする請求項１乃至３のいずれか１項に記載の方法。
5. 前記画像データの前記第１の部分に隣接する画像データを処理して、前記隣接する画像データが前記画像データの前記第２の部分の品質と前記画像データの前記第１の部分の品質との間の品質を有するようにするステップをさらに含むことを特徴とする請求項１乃至４のいずれか１項に記載の方法。
6. 前記隣接する画像データは、前記画像データの前記第２の部分の品質から前記画像データの前記第１の部分の品質までの段階的品質を有するように処理されることを特徴とする請求項５に記載の方法。
7. 前記第１の部分はパターン認識を用いて特定される前記場面内のビジュアルな要素に対応することを特徴とする請求項１乃至６のいずれか１項に記載の方法。
8. 人の顔を特定するために前記パターン認識を用いることを特徴とする請求項７に記載の方法。
9. スチル写真用のデジタル画像データを撮影し、管理するためのカメラアセンブリ（１２）であって、
   場面に対応する画像データを取り込むセンサ（１６）と、
   前記画像データを第１の部分と第２の部分とに分離し、かつ、前記第１の部分の画像データよりも低い品質を有するように前記第２の部分の画像データを処理するコントローラ（１８）であって、前記第１の部分の形状が、前記写真の内部の前記カメラアセンブリに対して予め固定された所定の位置と部分的に重なった関係を有する前記場面内のビジュアルな要素の形状に対応しているコントローラと、
   前記場面に対応する画像ファイルを格納するメモリ（４６）とを備え、前記画像ファイルは、該画像ファイルが高い品質部分と低い品質部分とを有するように前記第１と第２の部分とに対応する画像データを含むことを特徴とするカメラアセンブリ（１２）。
10. 前記コントローラは、前記第１の部分に対応する前記画像データの品質を低下させるために前記第１の部分に対応する前記画像データを処理することを特徴とする請求項９に記載のカメラアセンブリ。
11. 前記画像データの前記第２の部分は、所定量の前記画像データを保持することにより処理されることを特徴とする請求項９又は１０に記載のカメラアセンブリ。
12. 前記画像データの前記第２の部分は、圧縮アルゴリズムを適用することにより処理されることを特徴とする請求項９乃至１１のいずれか１項に記載のカメラアセンブリ。
13. 前記コントローラは、前記第１の部分に隣接する画像データが前記画像データの前記第２の部分の品質と前記画像データの前記第１の部分の品質との間の品質を有するように、前記画像データの前記第１の部分に隣接する画像データを処理することを特徴とする請求項９乃至１２のいずれか１項に記載のカメラアセンブリ。
14. 前記隣接する画像データは、前記画像データの前記第２の部分の品質から前記画像データの前記第１の部分の品質までの段階的品質を有するように処理されることを特徴とする請求項１３に記載のカメラアセンブリ。
15. 前記第１の部分は、パターン認識を用いて特定される前記場面内のビジュアルな要素に対応することを特徴とする請求項９乃至１４のいずれか１項に記載のカメラアセンブリ。
16. 前記パターン認識は人の顔を特定するために用いられることを特徴とする請求項１５に記載のカメラアセンブリ。
17. 前記カメラアセンブリは、ネットワークを介して呼を確立するために呼回路（５２）を含むモバイル電話機の一部を形成することを特徴とする請求項９乃至１６のいずれか１項に記載のカメラアセンブリ。

Images