JP6416925B2 - カメラアセンブリ、装置、プログラム、方法、およびコンピュータ可読記憶媒体 - Google Patents

カメラアセンブリ、装置、プログラム、方法、およびコンピュータ可読記憶媒体 Download PDF

Info

Publication number
JP6416925B2
JP6416925B2 JP2016552518A JP2016552518A JP6416925B2 JP 6416925 B2 JP6416925 B2 JP 6416925B2 JP 2016552518 A JP2016552518 A JP 2016552518A JP 2016552518 A JP2016552518 A JP 2016552518A JP 6416925 B2 JP6416925 B2 JP 6416925B2
Authority
JP
Japan
Prior art keywords
sub
image
images
image sensor
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016552518A
Other languages
English (en)
Other versions
JP2017514326A (ja
Inventor
ダブリュ． ウォン、ホン
ダブリュ． ウォン、ホン
イウ クウォン、ワー
イウ クウォン、ワー
タオ、ジアンチェン
リアン、シャオグオ
キーツ、アンディ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of JP2017514326A publication Critical patent/JP2017514326A/ja
Application granted granted Critical
Publication of JP6416925B2 publication Critical patent/JP6416925B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/001—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
    • G02B13/0015—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras characterised by the lens design
    • G02B13/002—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras characterised by the lens design having at least one aspherical surface
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Cameras In General (AREA)
  • Studio Devices (AREA)

Description

本明細書に記載される複数の実施形態は、一般的に電子デバイスの分野に関し、より具体的には、画像の生成のための複数のサブ画像をキャプチャするためのカメラに関する。
モバイルデバイスの使用が拡張しているのにつれて、そのような複数のデバイスの画像キャプチャ能力についての需要が増加している。時折写真を撮るための低解像度カメラが、モバイルデバイスにおいてかつては許容可能であったが、現代のデバイスは、低光量環境のような困難な条件における、高解像度写真撮影の可能なカメラを必要とする。デバイスがＳｋｙｐｅ（登録商標）及びＭｉｃｒｏｓｏｆｔ Ｌｙｎｃ（登録商標）通信用のユーザの複数の画像をキャプチャするための使用を含むビデオ通信のためにもますます使用されるにつれて、これらの要求は、カメラがデバイスのユーザの方を向くこのようなデバイスの前面カメラに当てはまり、同様に、後面カメラにも当てはまる。
同時に、モバイルデバイスの使用においてより良好なユーザエクスペリエンスを提供すべく、より新しいモバイルデバイスは、より古いデバイスより大きなディスプレイを有し、そのディスプレイは、より古いモバイルデバイスでそうであったよりもモバイルデバイスの前面の多くをカバーする。
しかしながら、モバイルデバイスディスプレイにおける進歩は、モバイルデバイスの前面上のカメラの設置のための場所の制限の副作用を有している。なぜなら、モバイルデバイスの特定のサイズに対し増加するディスプレイサイズを許容すべく、そのようなデバイスのベゼルは、減少されているからである。
添付の図面の複数の図において、本明細書に記載される複数の実施形態は、例示の目的で示されており、限定の目的ではない。そこでは同様の参照番号は、同様の要素を示す。
カメラアセンブリの実施形態を含むモバイルデバイスの例である。
従来型のレンズ及び画像センサの例を示す。 従来型のレンズ及び画像センサの例を示す。
複数のレンズを含むカメラアセンブリの実施形態の要素の例である。
非球面レンズを含むカメラアセンブリの実施形態の要素の例である。
複数のレンズを含むカメラアセンブリの実施形態を利用する画像のキャプチャの例である。
非球面レンズを含むカメラアセンブリの実施形態を利用する画像のキャプチャの例である。
実施形態に従って組み合わされた画像を生成すべく、複数のサブ画像を一緒に繋ぎ合わせる例である。
カメラアセンブリを含むモバイルデバイスの実施形態の例である。
キャプチャされた複数のサブ画像から組み合わされた画像を生成するための処理の実施形態を示すフローチャートである。
キャプチャされた複数のサブ画像から組み合わされた画像を生成するための装置又はシステムを示す。
本明細書に記載される複数の実施形態は、画像の生成のために複数のサブ画像をキャプチャすべきカメラを一般的に対象とする。
本説明の目的に対して、以下が成立する。
「モバイルデバイス」は、スマートフォン、スマートウォッチ、タブレットコンピュータ、ハンドヘルドコンピュータ、モバイルインターネットデバイス、ウェアラブル技術、又は処理能力及び通信能力を有する、他のモバイル装置を意味する。
「カメラ」又は「カメラアセンブリ」は、スチル写真及び動画を含む画像をキャプチャするための装置又はサブシステムを意味する。カメラアセンブリは、更に画像の処理を有し得る。モバイルデバイスの目的で、モバイルデバイスの第１の面にレンズを有するカメラは、前面カメラと称され得、モバイルデバイスの第２の面にレンズを有するカメラは、後面カメラと称され得る。ここで、第１の面は、メインディスプレイを含み、第２の面はメインディスプレイを含まない。カメラは、限定されないが、レンズ及び画像センサを備える。カメラは、更に処理ユニットを備え得る。
「レンズ」は、シーンから画像センサへの光の伝送のための１又は複数の光学要素を意味する。レンズの各光学要素は、単レンズ（光を屈折させるための単一の要素）、ミラー、又は光を伝送若しくはそうでなければ光に影響を与える他の要素であってよい。複数のレンズ要素を有するレンズは、複合レンズと称されてよい。
「非球面レンズ」は、球体又は円筒の一部ではない面の外形を有する、少なくとも１つの単レンズを有するレンズを意味する。特定の例において、非球面レンズは、１方向の長さが別の長さより長い楕円形のレンズを含んでもよい。又は、言い換えれば、半短軸（楕円の最も短い軸）を通る直径より長い半長軸（楕円の最も長い軸）を通る直径を有する。
モバイルデバイス上のカメラは、高性能を必要とする機能のために使用されることが増えている。例えば、モバイルデバイスのカメラは、Ｓｋｙｐｅ（登録商標）及びＭｉｃｒｏｓｏｆｔ Ｌｙｎｃ（登録商標）認定を含む特定のビデオ通信動作に認定されるべく、良好な低光量パフォーマンスを提供することが要求される。更に、認定要求は、ビデオ通信において改善されたユーザエクスペリエンスを提供すべく、将来、拡がり、より差し迫ったものになることが予測され得る。
改善されたカメラ性能の別の態様は、モバイルデバイスカメラの解像度の増加である。カメラ解像度の増加は、改善された画像の明瞭性を提供するが、低光量パフォーマンスに負の影響を有し得る。一般的に、画像センサのピクセル数が増加するにつれて低光量パフォーマンスを維持するためにより大きな画像センサが必要とされる。コンピュータログイン認証を有効にするためのデバイスのエンドユーザの顔の認識のような、他の技術はまた、カメラについての低光量パフォーマンスに対する必要性を駆り立てている。
しかしながら、装置、特にモバイルデバイスにおけるカメラの位置は、装置の物理的な寸法により制限される。特に、その位置に一般的にカメラレンズが設置されるであろう、モバイルデバイスの前面のベゼル幅（ここで「ベゼル」とは、デバイスの前面上のディスプレイスクリーン又は入力要素の周囲若しくはその横のデバイスの部分を指す。）は、少なくとも１方向の長さにおいて（モバイルデバイスのＹ方向の長さとして本明細書で参照される）レンズ及び光学センサのサイズを制限する。
カメラアセンブリにおいて、カメラの画像センサのサイズにおける増加は、カメラの低光量パフォーマンスを向上させる一般的な改良である。しかしながら、モバイルデバイスの物理的な制限によって、画像センサのサイズの単純な増加は実用的でないかもしれない。他の可能な従来型の解決手段は、より良好な、より高速なレンズ及びＢＳＩ（裏面照明）を含む。しかしながら、これらの従来型の解決手段は、カメラに対する制限された物理的な寸法を有するモバイルデバイスのようなデバイスにおいて、許容可能な低光量パフォーマンスを提供するために十分でないかもしれない。
一般的に、イメージサークルのサイズが増大するにつれて、イメージサークルについてのレンズの設計は、ますます困難になる。画像をシャープに維持し、及び、より大きなイメージサークルにわたって均等に照らされる状態を維持すべく、より多くの非球面又は特別なガラスを必要とするので、より大きなレンズは、一般的に、より多くのレンズ要素を使用し、より高価なレンズ要素を必要とし得る。これらの理由のために、より大きな画像センサのためのレンズは、一般的に、より大きく、より重く、及びより高価になる。従って、一般的により小さなセンサのためのレンズの作成は、同一のレベルのレンズ性能におけるより大きなセンサのためのレンズより、製造することがより容易、かつより安価である。この要素は、中判カメラ及び大判カメラについての複数のレンズに対し成り立ち、同様に、モバイルデバイスカメラアセンブリのような小判カメラについての複数のレンズについても成り立つ。
幾つかの実施形態において、装置、システム又は処理は、複数のサブ画像を同時にキャプチャする広い画像センシングを含む。幾つかの実施形態において、カメラは向上された低光量パフォーマンスを提供し、その一方で、複数のサブ画像をキャプチャするための広い画像センシングの使用を介して全体のシステムのＹ方向の長さへの影響を減少させる。幾つかの実施形態において、カメラは、広いアスペクト比の画像センシングと共に、例えばモバイルデバイス又は限定された物理的サイズを有する他のデバイスにおける使用でのコンパクトなフォームファクタ及び向上された低光量パフォーマンスの両方を可能とするための、改良されたレンズ設計及び画像処理を備える。
幾つかの実施形態において、カメラアセンブリは、１又は複数の画像センサ上に（本明細書において、複数のサブ画像として称される）シーンの画像の複数の部分を伝送するための１又は複数のレンズを備え、１又は複数の画像センサは、複数のサブ画像を受けるのに十分な幅を有する。複数のサブ画像は、重なり合ってもよい。幾つかの実施形態において、プロセッサ又は他の画像処理要素は、組み合わされた画像を生成すべく、少なくとも第１のサブ画像及び第２のサブ画像を組み合わせる段階を提供する。幾つかの実施形態において、第１のサブ画像及び第２のサブ画像が、１又は複数の画像センサに、水平方向の配置のように第２方向の長さに沿って配置されるべく、１又は複数のレンズは、第１のサブ画像及び第２のサブ画像が鉛直方向で分かれるといったように、第１方向の長さにおいて異なる少なくとも第１のサブ画像及び第２のサブ画像を伝送する。幾つかの実施形態において、処理要素は、元のシーンの組み合わされた画像を生成すべく、複数のサブ画像を共に繋ぎ合わせる段階を含む複数のサブ画像の処理をする。本明細書に記載され、示される複数の例が２つのサブ画像を示す一方、複数の実施形態は、２つのサブ画像に限定されず、より大きな数の複数のサブ画像を含んでもよい。
図１は、カメラアセンブリの実施形態を含むモバイルデバイスの例である。図１に示されるように、モバイルデバイスは、限定されないが、スマートフォン１１０又はタブレットコンピュータ１３０を含んでもよい。スマートフォン１１０は、スマートフォンの第１の面上のディスプレイスクリーン１１５を含み、タブレットコンピュータ１３０は、タブレットコンピュータの第１の面上のディスプレイスクリーン１３５を含む。各モバイルデバイス１１０、１３０は、特定のサイズのベゼル又はＹ方向の長さ１２０、１４０を含む。図１に示される複数の特定の例において、スマートフォンについての利用可能なＹ方向の長さ１２０は、１２ｍｍ（ミリメートル）であり、タブレットコンピュータ１３０についての利用可能なＹ方向の長さ１４０は、１８．５ｍｍである。
しかしながら、各モバイルデバイス１２０、１４０の使用可能なＹ方向の長さは、カバー材料の幅のために、実際には示されるサイズより小さい。モバイルデバイスカバーの湾曲に依存して、カバーの形状は、使用可能なＹ方向の長さを更に限定し得る。
より大きな画像センサの取り付けのための１つの潜在的な解決手段は、モバイルデバイスのＹ方向の長さを増加することであるが、この選択は、モバイルデバイスのディスプレイスクリーン１１５、１３５に利用可能な空間を減少し、それによりユーザに対するデバイスの機能及び魅力を減少させる。
幾つかの実施形態において、モバイルデバイス１１０、１３０は、シーンの複数のサブ画像を同時にキャプチャすべく、広い画像センシングの使用を介して改善された低光量パフォーマンスを提供するカメラアセンブリを含み、２又はより多くのサブ画像がシーンの組み合わされた画像を生成すべく組み合わせられる。
図２Ａ及び図２Ｂは、複数の従来型のレンズ及び画像センサの例を示す。図２Ａは、この例において、直径が７．５ｍｍである、小さいアスペクトのレンズ２１０及び画像センサ２２０を備える、第１の従来型のカメラアセンブリ２００の前面及び側面図を示す。カメラアセンブリ２００は、例えばモバイルデバイスにおいて利用されてよい。しかしながら、このサイズの画像センサは、ビデオ通信を含む特定の目的について、十分な低光量パフォーマンスを提供し得ない。
低光量パフォーマンスを改善するために、図２Ｂは、第２の従来型のカメラアセンブリ２５０の前面及び側面図を示す。カメラアセンブリ２５０は、より多くの量の光の集光を可能とすべく、より大きなレンズ２６０及び画像センサ２７０を含む。この例において、レンズ２６０の直径は、１４ｍｍに増大されている。
しかしながら、第２のカメラアセンブリ２５０が、第１のカメラアセンブリ２００と比較して、改善された低光量パフォーマンスを提供し得る一方で、そのようなカメラアセンブリ２５０は、デバイスの物理的な制約内に適合するには大き過ぎるものであり得る。特に、レンズ及び画像センサは、モバイルデバイスの前面（ディスプレイ側）のベゼルエリア（利用可能なＹ方向の長さ）内に適合するためには大き過ぎるものであり得る。このような理由で、カメラアセンブリ２５０は、そのようなデバイスの前面カメラとして使用可能でないかもしれない。
図３Ａは、複数のレンズを含むカメラアセンブリの実施形態の要素の例である。図３Ａにおける前面図に示されるように、カメラアセンブリの実施形態３００は、第１のサブ画像についての光を伝送するための第１のレンズ３１０及び第２のサブ画像についての光を伝送するための第２のレンズ３１５のような、複数のサブ画像を同時にキャプチャするための複数のレンズを有する。幾つかの実施形態において、カメラアセンブリ３００は、広い画像センサ３２０を備え、第１のレンズ３１０からのサブ画像は画像センサ３２０の第１の部分に向けられ、第２のレンズ３１５からの第２のサブ画像は、画像センサ３２０の第２の部分に向けられる。幾つかの実施形態において、広い画像センサ３２０は、単一のセンサ要素を有する。幾つかの実施形態において、広い画像センサ３２０は、第１のサブ画像のキャプチャのための第１のセンサ要素、及び第２のサブ画像のキャプチャのための第２のセンサ要素のような複数のセンサ要素を含む。
幾つかの実施形態において、複数のレンズ３１０、３１５は、第２方向の長さに沿って並んで配置されることにより、第１方向の長さにおける影響は減少する。図３Ａに示されるように、レンズ３１０、３１５のそれぞれは直径が７．５ｍｍであり、従って、複数のレンズはＸ方向の長さにおいて配置されるので、Ｙ方向の長さにおける合計幅は７．５ｍｍである。しかしながら、２つのレンズによって、伝送される光の量は、単一のレンズと比較して増加される。伝送される光は、本質的に２倍とされているが、キャプチャされる光における有効な増加は、特定の実装に依存して変化し得る。更に、画像センサ３２０は、Ｘ方向の長さのみにおけるサイズにおいて増加され、従って、カメラアセンブリについてのＹ方向の長さにおける任意の影響を減少し、その一方で、カメラアセンブリ３００の低光量パフォーマンスを改善する。
図３Ｂは、非球面レンズを備えるカメラアセンブリの実施形態の要素の例である。図３Ｂにおける前面図に示されるように、カメラアセンブリの実施形態は、複数のサブ画像を同時にキャプチャするための非球面レンズ３６０を備える。幾つかの実施形態において、非球面レンズ３６０はシーンからの複数のサブ画像を生成すべく形成され、非球面レンズ３６０は、レンズが第１方向の長さにおけるよりもレンズが第２方向の長さにおいて実質的により大きくなるように成形される。幾つかの実施形態において、カメラアセンブリは、広い画像センサ３７０を含み、非球面レンズ３６０により伝送される第１のサブ画像は、画像センサ３７０の第１の部分に向けられ、非球面レンズ３６０により伝送される第２のサブ画像は、画像センサの第２の部分に向けられる。幾つかの実施形態において、広い画像センサ３７０は、単一のセンサ要素を有する。幾つかの実施形態において、広い画像センサ３７０は、第１のサブ画像のキャプチャのための第１のセンサ要素と第２のサブ画像のキャプチャのための第２のセンサ要素のような複数のセンサ要素を有する。
幾つかの実施形態において、非球面レンズ３６０は、レンズの形状及び配置により第１方向の長さにおいて影響を減少する。図３Ｂに示されるように、非球面レンズ３６０は、Ｙ方向の長さの幅において７．５ｍｍであり、その一方で、そのようなレンズは実質的にＸ方向の長さにおいてより大きい。しかしながら、レンズは、球面レンズと比較して追加的な光をキャプチャする。更に、画像センサ３７０は、Ｘ方向の長さのサイズにおいて増加され、従って、カメラアセンブリ３５０に対するＹ方向の長さにおける任意の影響を減少する。その一方で、カメラアセンブリの低光量パフォーマンスを改善する。
図４は、複数のレンズを有するカメラアセンブリの実施形態を利用する画像のキャプチャの例である。幾つかの実施形態において、カメラアセンブリ４００は、第１のレンズ４１０を介して伝送される第１のサブ画像４３０及び第２のレンズ４１５を介して伝送される第２のサブ画像４３５のような、複数のサブ画像を同時にキャプチャすべく、第１のレンズ４１０及び第２のレンズ４１５を有する複数のレンズを備える。幾つかの実施形態において、第１のレンズ及び第２のレンズは、第１方向の長さ（図４におけるＹ方向の長さ、又は鉛直方向）における幅を減少すべく第２方向の長さ（図４におけるＸ方向の長さ、又は水平方向）において配置される。幾つかの実施形態において、カメラアセンブリ４００は、広いアスペクト比の画像センサ４２０を更に有し、画像センサ４２０は、図におけるＸ方向の長さ、又は水平方向において第２のサブ画像４３５に隣接する第１のサブ画像４３０をキャプチャするのを可能とするのに十分なサイズである。幾つかの実施形態において、広いアスペクト比の画像センサ４２０は、単一のセンサ要素を含み、かつ、幾つかの実施形態において、画像センサは、複数のセンサ要素を含む。
幾つかの実施形態において、図４に示されるように、第１のサブ画像４３０及び第２のサブ画像４３５は、第１のサブ画像４３０がシーンの全体画像の上部にあって、第２のサブ画像４３５がシーンの全体画像の底部にあるように、鉛直に（第１方向の長さに沿って）配置される全体画像の一部である。幾つかの実施形態において、複数のサブ画像は、画像センサ上の水平方向の配置において（第２方向の長さに沿って）キャプチャされる。従って、第１の鉛直に配置されたサブ画像（図４における上部のサブ画像）である第１のサブ画像４３０は、第１の水平位置（図４における左の位置）に配置され、第２の鉛直に配置されたサブ画像（図４における底部のサブ画像）である第２のサブ画像４３５は、第２の水平位置（図４における右の位置）に配置される。
幾つかの実施形態において、複数のサブ画像４３０、４３５は、元のシーンの組み合わされた画像４５０を生成すべく処理される。幾つかの実施形態においてサブ画像４３０、４３５は、シーンの組み合わされた画像４５０において複数のサブ画像の元の位置へそのような複数のサブ画像を戻すための処理で再配置される。図４に示された例において、画像センサ４２０の左部分においてキャプチャされる第１のサブ画像４３０は、組み合わされた画像４５０の上部になるよう処理され、画像センサ４２０の右部分においてキャプチャされる第２のサブ画像４３５は、組み合わされた画像４５０の底部になるよう処理される。幾つかの実施形態において、サブ画像の処理は、画像安定化、センサ／レンズの空間的分離の補正、及び組み合わされた画像４５０へのサブ画像の合成をする段階を有する。
図５は、非球面レンズを備えるカメラアセンブリの実施形態を利用する画像のキャプチャの図示である。幾つかの実施形態において、カメラアセンブリ５００は、非球面レンズを介してキャプチャされる第１のサブ画像５３０及び第２のサブ画像５３５のような、複数のサブ画像を同時にキャプチャするための非球面レンズ５１０を備える。幾つかの実施形態において、非球面レンズは、楕円レンズ又は１方向の長さにおいて、１方向の長さが第２方向の長さより大きい形状である他のレンズ形状であり、このレンズ形状は、第１方向の長さにおける幅を減少させるべく、（楕円形状レンズの半長軸のような）より長い長さが、第２方向の長さ（図５におけるＸ方向の長さ、又は水平方向）において整合され、（楕円形状レンズの半短軸のような）より短い長さが第１方向の長さ（図５のＹ方向の長さ、又は鉛直方向）において整合されるように配置される。幾つかの実施形態において、カメラアセンブリ５００は、広いアスペクト比の画像センサ５２０を更に備え、画像センサ５２０は、図におけるＸ方向の長さにおいて又は水平方向に、第２のサブ画像５３５に隣接する第１のサブ画像５３０のキャプチャを可能とするのに十分に広い。幾つかの実施形態において、広いアスペクト比の画像センサ５２０は、単一のセンサ要素を有し、幾つかの実施形態において、画像センサは、複数のセンサ要素を有する。
幾つかの実施形態において、図５に示されるように、例えば、第１のサブ画像５３０はシーンの全体画像の上部にあり、第２のサブ画像５３５は、シーンの全体画像の底部にあるよう、第１のサブ画像５３０及び第２のサブ画像５３５は、全体画像の一部であって、鉛直に（第１方向の長さに沿って）配置される。幾つかの実施形態において、複数のサブ画像は、画像センサ上の水平方向の配置において（第２方向の長さに沿って）キャプチャされる。従って、第１の鉛直に配置されたサブ画像（図５における上部のサブ画像）である第１のサブ画像５３０は、第１の水平位置（図５の左の位置）に配置され、第２の鉛直に配置されたサブ画像（図５における底部のサブ画像）である第２のサブ画像５３５は、第２の水平位置（図５における右の位置）に配置される。
幾つかの実施形態において、複数のサブ画像５３０、５３５は、元のシーンの組み合わされた画像５５０を生成すべく処理される。幾つかの実施形態において、サブ画像５３０、５３５は、シーンの組み合わされた画像５５０においてそれらの元の位置へとそのようなサブ画像を戻すための処理において再配置される。図５において示される例において、画像センサ５２０の左部分においてキャプチャされる。第１のサブ画像５３０は、組み合わされた画像５５０の上部になるよう処理され、画像センサ５２０の右部分においてキャプチャされる第２のサブ画像５３５は、組み合わされた画像５５０の下部（又は底部）になるよう処理される。
図６は、実施形態に従って組み合わされた画像を生成するためのサブ画像を組み合わせる段階の図示である。幾つかの実施形態において、画像センサ６２０は、長さ（Ｘ方向の長さ）より大幅に短い幅（Ｙ方向の長さ）を有する広いアスペクト比である。幾つかの実施形態において、第１のサブ画像６３０は、画像センサ６２０の第１の部分においてキャプチャされ、第２のサブ画像６３５は、画像センサ６２０の第２の部分においてキャプチャされる。
幾つかの実施形態において、１又は複数のレンズ又は画像センサの不完全な動作のために、第１のサブ画像６３０及び第２のサブ画像６３５は、空間的分離６４０を有し得る。幾つかの実施形態において、複数のサブ画像６３０、６３５は、処理され、ここで処理は、複数のサブ画像の間の重なりを取り除くべくサブ画像の１又は複数をトリミングする段階、及びトリミングされた複数のサブ画像を位置合わせする段階、及び組み合わされた画像６５０を生成すべく複数のサブ画像を組み合わせる段階のような画像安定化、センサ又はレンズの空間的分離の補正を有してもよい。
図７は、カメラアセンブリを備えるモバイルデバイスの実施形態のブロック図である。幾つかの実施形態において、モバイルデバイス７００は、１又は複数のレンズ７１０を有するカメラアセンブリを備える。ここで、１又は複数のレンズは、図４に示される複数のレンズ４１０、４１５のような複数のレンズ、又は図５に示される非球面レンズ５１０、及び、図４又は図５にそれぞれ示された広いアスペクト比の画像センサ４２０又は５２０のような、広いアスペクト比の画像センサ７１５を有してよい。幾つかの実施形態において、カメラアセンブリ７０５は、ディスプレイスクリーン７６０と同一面上にカメラアセンブリの１又は複数のレンズを有する前面カメラであり、従って、カメラアセンブリは、モバイルデバイスの制限されたＹ方向の長さの空間において位置付けられる。１又は複数のレンズ７１０及び広いアスペクト比の画像センサ７１５は、そのような要素のより長い長さが、モバイルデバイス７００のＸ方向の長さにおいて配置され、そのような要素のより短い長さがモバイルデバイス７００のＹ方向の長さにおいて配置されるように、配置される。
幾つかの実施形態において、カメラアセンブリ７０５は、画像センサ上で複数のサブ画像７３０を同時にキャプチャするよう動作可能であり、ここで複数のサブ画像は、Ｘ方向の長さに沿った配置においてキャプチャされる。幾つかの実施形態において、プロセッサ７７０は、汎用プロセッサ、専用グラフィックスプロセッサ、又はモバイルデバイス７００の他の画像処理要素であってよいが、これは、処理のために複数のサブ画像７３０を受信する。幾つかの実施形態において、サブ画像の処理は、図６に示されるようなものであってよく、サブ画像の処理は、画像安定化、レンズ又は画像センサの空間的分離の補正、及び２つの画像を組み合わされた画像７５０へと合成する段階を有する。幾つかの実施形態において、プロセッサは、スクリーン７６０上の表示のために、ビデオ通信についてのビデオストリームにおける画像の送信を含む別のデバイスへの送受信機７８０を使用した送信のために、メモリ７９０におけるストレージのために、又はこのような動作の組み合わせのために、組み合わされた画像を提供し得る。
図８は、キャプチャされた複数のサブ画像から、組み合わされた画像を生成するための処理の実施形態を示すフローチャートである。幾つかの実施形態において、処理はカメラ機能８００を有効にする段階を有し、（Ｓｋｙｐｅ又はＬｙｎｃのような）ビデオ通信サービス又は他の機能８０１を有効にする段階を更に有してよい。幾つかの実施形態において、処理は、画像８０２をキャプチャする段階を有し、この画像は、単一の画像、又はビデオストリームのように一連の画像における１つの画像であってよい。幾つかの実施形態において、画像のキャプチャは、画像センサの第１の部分を使用して第１のサブ画像をキャプチャする段階と、画像センサの第２の部分を使用して第２のサブ画像をキャプチャする段階とを含む複数のサブ画像を同時にキャプチャする段階を有する。ここで、画像センサは広いアスペクト比の画像センサである。例えば、第１のサブ画像は、シーンの全体画像の上部であってよく、第２のサブ画像は、シーンの全体画像の下部であってよい。
幾つかの実施形態において、処理は、サブ画像８１０を処理する段階を更に有し、ここで、処理は画像安定化８１２を提供する段階と、センサ又はレンズの空間的分離の補正をする段階（これは複数のサブ画像の間の重なりを除去する段階及び組み合わせについてサブ画像を位置合わせする段階とを含み得る）８１４と、元のシーンの組み合わされた画像を生成すべく、第１のサブ画像及び第２のサブ画像を含む複数のサブ画像を組み合わせる段階８１６とを更に有してよい。幾つかの実施形態において、処理は、組み合わされた画像を表示する段階、（例えば、組み合わされた画像が、ビデオストリームについての一連の画像における１つの画像であるような場合）組み合わされた画像を別のユーザに送信する段階、メモリに組み合わされた画像を格納する段階、又はそのような処理８２０の組み合わせを更に有してよい。ビデオ通信セッションが連続する場合のように、キャプチャ８２２について追加的な新たな画像が存在する場合、処理は、次の画像をキャプチャする段階８０２へ戻る。
図９は、キャプチャされた複数のサブ画像からの組み合わされた画像を生成するための装置又はシステムを示す。この図示において、本説明に関係しない特定の規格及び周知のコンポーネントは、図示されていない。別個の要素として示される要素は、組み合わされてよく、例えば、単一のチップ上に複数の要素を組み合わせるＳＯＣ（システムオンチップ）を含んでよい。装置又はシステムは、限定されないが、モバイルデバイスを含んでよい。
幾つかの実施形態の下で、（本明細書において一般的に装置として称される）装置又はシステム９００は、インターコネクト若しくはクロスバー９０５又はデータの送信のための他の通信手段を含む。インターコネクト９０５は、簡潔性のために単一のインターコネクトとして示されているが、複数の異なるインターコネクト又はバスを表し得、そのような複数のインターコネクトへの複数のコンポーネント接続は変更し得る。図９において示されたインターコネクト９０５は、適切なブリッジ、アダプタ、若しくはコントローラにより接続された任意の１又は複数の別個の物理バス、ポイントツーポイント接続、又はそれらの両方を表す抽象概念である。
幾つかの実施形態において、装置９００は、カメラアセンブリ９７０を有する。カメラアセンブリは、シーンの複数のサブ画像についての光を集光する１又は複数のレンズ９７２及び複数のサブ画像をキャプチャするための広いアスペクト比の画像センサ９７４を含む。カメラアセンブリ９７０は、図４に示されるカメラアセンブリ４００又は図５に示されるカメラアセンブリ５００を有してよい。
装置９００は、情報を処理するためのインターコネクト９０５に結合された１又は複数のプロセッサ９１０のような処理手段を有してよい。プロセッサ９１０は、１又は複数の物理プロセッサ及び１又は複数の論理プロセッサを有し得る。幾つかの実施形態において、プロセッサは、汎用プロセッサを含んでよい。幾つかの実施形態において、プロセッサ９１０は、追加的な画像処理要素を含んでよい。幾つかの実施形態において、プロセッサ９１０の機能は、組み合わされた画像を生成するためにカメラアセンブリ９７０によりキャプチャされたサブ画像の処理を含む。
幾つかの実施形態において、装置９００は、インターコネクト９０５に結合された１又は複数の送信機又は受信機９４０を備える。幾つかの実施形態において、装置９００は、無線通信を介したデータの送信及び受信のための１又は複数のアンテナ９４２を備え得る。幾つかの実施形態において、装置９００は、有線通信を介したデータの送信及び受信のための１又は複数のポート９４５を備える。幾つかの実施形態において、送信及び受信されるデータは、カメラアセンブリ９７０により収集された複数のサブ画像から生成された組み合わされた画像の送信を含む、画像データを有し、ここで、送信された組み合わされた画像は一連の動画であってよい。
幾つかの実施形態において、装置９００は、プロセッサ９１０により実行されるべき複数の命令及び情報を格納するためのメインメモリ９１５としてランダムアクセスメモリ（ＲＡＭ）又は他のダイナミックストレージデバイス若しくは要素を更に備える。装置９００は、特定の要素のストレージのために、例えば、フラッシュメモリを含む１又は複数の不揮発性メモリ要素９２５を有してよい。装置９００はまた、プロセッサ９１０に対する静的情報及び複数の命令を格納するためのリードオンリメモリ（ＲＯＭ）９３０又は他の静的ストレージデバイス、及び、データのストレージのためのソリッドステートドライブのようなデータストレージ９３５を有し得る。幾つかの実施形態において、装置９００のメモリは、カメラアセンブリ９７０により収集されたサブ画像から生成される組み合わされた画像に対するストレージを含んでよい。
幾つかの実施形態において、装置９００は、ハードボタン及びソフトボタン、ジョイスティック、マウス又は他のポインティングデバイス、音声コマンドシステム、若しくはジェスチャ認識システムを含む、データの入力のための１又は複数の入力デバイス９５０を有する。幾つかの実施形態において、装置９００は、出力ディスプレイ９５５を有し、ディスプレイ９５５はユーザに情報又はコンテンツを表示するための液晶ディスプレイ（ＬＣＤ）、又は任意の他のディスプレイ技術を含んでよい。幾つかの環境において、ディスプレイ９５５は、入力デバイス９５０の少なくとも一部としてもまた利用されるタッチスクリーンを含んでよい。幾つかの実施形態において、ディスプレイ９５５は、カメラアセンブリ９７０により収集されたサブ画像から生成される組み合わされた画像を表示してよい。
装置９００はまた、バッテリ又は他の電力源９６０を備えてよく、これらは、装置９００において電力を供給又は生成するための太陽電池、燃料電池、充電されたコンデンサ、近接場誘導結合、又は他のシステム、若しくはデバイスを有してよい。電力源９６０により供給された電力は、装置９００の複数の要素に要求されるように配分されてよい。
上の記載において、説明の目的のために、多数の具体的な詳細が、記載される実施形態の徹底的な理解を与えるべく説明されている。しかしながら、当業者には、複数の実施形態は、これらの具体的な詳細の幾つかがなくとも実施され得ることは明らかであろう。他の複数の例において、周知の構造及びデバイスがブロック図の形式で示される。図示された複数のコンポーネントの間に中間構造が存在し得る。本明細書に記載又は図示される複数のコンポーネントは、図示又は記載されない追加的な入力又は出力を有し得る。
様々な実施形態は、様々な処理を含んでよい。これらの処理は、ハードウェアコンポーネントにより実行されてよく、又はコンピュータプログラム若しくは機械実行可能な複数の命令において具現化されてよい。プログラム又は命令は、汎用又は特定用途のプロセッサ又は複数の命令によってプログラムされた複数のロジック回路に複数の処理を実行させるのに使用されてよい。代替的には、複数の処理は、ハードウェア及びソフトウェアの組み合わせにより実行されてよい。
様々な実施形態の複数の部分は、コンピュータプログラム製品として提供されてよい。これは、コンピュータ可読媒体に格納されたコンピュータプログラム命令を有するコンピュータ可読媒体を含んでよく、このプログラム命令は、特定の複数の実施形態に従って処理を実行させるべく、１又は複数のプロセッサによる実行のためにコンピュータ（又は他の電子デバイス）をプログラムするために使用されてよい。コンピュータ可読媒体は、限定されないが、磁気ディスク、光ディスク、コンパクトディスクリードオンリメモリ（ＣＤ−ＲＯＭ）、及び光磁気ディスク、リードオンリメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭ）、電気的に消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、磁気又は光カード、フラッシュメモリ、又は電気的な命令を格納するために適した他のタイプのコンピュータ可読媒体を含み得る。さらに、複数の実施形態はまた、コンピュータプログラム製品としてダウンロードされてよい。ここで、プログラムは、リモートコンピュータから要求するコンピュータへ伝達されてよい。
多くの方法は、それらの最も基本的な形式で記載されているが、複数の処理は、任意の方法に追加されることが出来、又はそこから削除されることが出来る。情報は、本実施形態の基本的な範囲から逸脱することなく、任意の記載されたメッセージに追加されることが出来、又はそこから減らされることが出来る。当業者には、多くの更なる修正形態及び適応形態が、作成されることが出来ることは明らかであろう。特定の実施形態は、概念を限定するためでなく、例示するために提供される。実施形態の範囲は、上に提供される複数の特定の例により判断されるべきでなく、以下の特許請求の範囲によってのみ判断されるべきである。
要素「Ａ」が要素「Ｂ」へ、又はそれと共に結合されると言及される場合、要素Ａは、直接的に要素Ｂに結合され得、又は例えば要素Ｃを介して間接的に結合され得る。明細書又は請求項が、コンポーネント、特徴、構造、処理又は特性Ａが、コンポーネント、特徴、構造、処理、又は特性Ｂに「引き起こす」ことを述べる場合、「Ａ」は「Ｂ」の少なくとも部分的な原因であるが、「Ｂ」を引き起こすことの助けとなる少なくとも１つの他のコンポーネント、特徴、構造、処理又は特性もまた存在してよいことを意味する。本明細書が、コンポーネント、特徴、構造、処理、又は特性が、含まれ「てよく」、「るかもしれない」、又は「ることが出来るであろう」ことを示す場合、その特定のコンポーネント、特徴、構造、処理、又は特性は、含まれる+ことを要求されない。明細書又は特許請求の範囲で「一の」又は「ある」要素と言及する場合、これは、記載される要素が１つだけ存在することを意味しない。
実施形態は、実装又は例である。本明細書における「実施形態」「一実施形態」「幾つかの実施形態」又は「他の実施形態」に対する参照は、複数の実施形態に関連して記載される特定の特徴、構造、又は特性が、少なくとも幾つかの実施形態に含まれるが、必ずしも全ての実施形態に含まれないことを意味する。「実施形態」、「一実施形態」、又は「幾つかの実施形態」の様々な表現は、必ずしも全てが同一の複数の実施形態を参照しているわけではない。例示的な実施形態の上記の説明において、様々な特徴は、開示を合理化し、１又は複数の様々な新規な態様の理解を援助することを目的として、それらの単一の実施形態、図面、又は説明として共に、時々、グループ化されるものと理解されるべきである。しかしながら、開示のこの方法は、請求される複数の実施形態が、各請求項に明確に記載されるより多くの特徴を要求する意図を反映しているものとして解釈されるべきではない。むしろ、以下の特許請求の範囲が反映するように、新規な態様は単一の上記の開示された実施形態の全ての特徴より少ない特徴を備える状態にある。従って、特許請求の範囲は、これにより本説明に明確に組み込まれ、各請求項は、別個の実施形態として独立に成り立つ。
幾つかの実施形態において、カメラアセンブリは、シーンからの光を伝送するための１又は複数のレンズと、１又は複数のレンズを介してシーンの複数のサブ画像を同時にキャプチャするための画像センサを有し、複数のサブ画像は、第１のサブ画像及び第２のサブ画像を含む。幾つかの実施形態において、処理要素は、画像センサによりセンシングされた複数のサブ画像を処理し、サブ画像の処理をする段階は、シーンの組み合わされた画像を生成すべく、少なくとも第１のサブ画像及び第２のサブ画像を組み合わせる段階を有する。
幾つかの実施形態において、画像センサは、第１方向の長さにおいて、第２方向の長さにおいてより短い、広いアスペクト比の画像センサである。幾つかの実施形態において、複数のサブ画像は、第１のサブ画像をキャプチャするための画像センサの第１の部分と、第２のサブ画像をキャプチャするための画像センサの第２の部分とを有する第２方向の長さに沿って画像センサの複数の部分でキャプチャされる。
幾つかの実施形態において、カメラアセンブリの１又は複数のレンズは、第１のサブ画像についての光を伝送するための第１のレンズと、第２のサブ画像についての光を伝送するための第２のレンズとを含む複数のレンズを有する。
幾つかの実施形態において、カメラアセンブリの１又は複数のレンズは第１のサブ画像及び第２のサブ画像についての光の伝送のための非球面レンズを有する。
幾つかの実施形態において、カメラアセンブリの画像センサは、単一のセンサ要素を有する。幾つかの実施形態において、カメラアセンブリの画像センサは複数のセンサ要素を有する。
幾つかの実施形態において、サブ画像の処理は、第１のサブ画像及び第２のサブ画像の空間的分離の補正を更に有する。
幾つかの実施形態において、装置は、シーンからの光を伝送する１又は複数のレンズ、及び、１又は複数のレンズからのシーンの複数のサブ画像を同時にキャプチャする画像センサであって、複数のサブ画像は第１のサブ画像及び第２のサブ画像を有する画像センサを有するカメラアセンブリと、画像センサによりセンシングされた複数のサブ画像を処理する処理要素と、１又は複数の画像を送信する送受信機とを備える。幾つかの実施形態において、サブ画像の処理は、シーンの組み合わされた画像を生成すべくサブ画像を組み合わせる段階を有する。
幾つかの実施形態において、画像センサは、第１方向の長さにおいて、第２方向の長さにおいてより小さい長さである広いアスペクト比の画像センサであり、複数のサブ画像は、第１のサブ画像をキャプチャするための画像センサの第１の部分と、第２のサブ画像をキャプチャするための画像センサの第２の部分とを有する、第２方向の長さに沿った画像センサの複数の部分でキャプチャされる。
幾つかの実施形態において、第１のサブ画像はシーンの上部のサブ画像であり、第２のサブ画像はシーンの下部のサブ画像である。
幾つかの実施形態において、カメラアセンブリの１又は複数のレンズは、第１のサブ画像についての光を伝送するための第１のレンズと、第２のサブ画像についての光を伝送するための第２のレンズとを含む複数のレンズを有する。
幾つかの実施形態において、カメラアセンブリの１又は複数のレンズは、第１のサブ画像及び第２のサブ画像についての光を伝送するための非球面レンズを有する。
幾つかの実施形態において、サブ画像の処理は、第１のサブ画像及び第２のサブ画像の空間的分離の補正を更に有する。
幾つかの実施形態において、装置は、モバイルデバイスである。幾つかの実施形態において、モバイルデバイスは、モバイルデバイスの前面にディスプレイスクリーンを有し、１又は複数のレンズはまた、モバイルデバイスの前面にある。
幾つかの実施形態において、組み合わされた画像は、データストリームにおける複数の画像の１つであり、送受信機は、データストリームを送信すべく動作可能である。
幾つかの実施形態において、プロセッサにより実行された場合、そこに格納された一連の命令を表すデータを備える非一時的なコンピュータ可読記憶媒体は、カメラの動作を可能にする段階であって、カメラは１又は複数のレンズ及び画像センサを含む段階と、シーンの複数のサブ画像を画像センサにより同時にキャプチャする段階であって、複数のサブ画像は第１のサブ画像及び第２のサブ画像を含む段階と、前記画像センサによりキャプチャされた複数のサブ画像を処理する段階であって、複数のサブ画像を処理する段階は、シーンの組み合わされた画像を生成すべく、複数のサブ画像を組み合わせる段階を含む段階とを有する複数の動作をプロセッサに実行させる。
幾つかの実施形態において、サブ画像をキャプチャする段階は、画像センサの第１の部分上で第１のサブ画像をキャプチャする段階と、画像センサの第２の部分上で第２のサブ画像をキャプチャする段階を含む、画像センサの異なる部分上で各サブ画像をキャプチャする段階を有する。
幾つかの実施形態において、１又は複数のレンズは、第１のサブ画像についての光を伝送する第１のレンズ及び第２のサブ画像についての光を伝送するための第２のレンズを含む複数のレンズ、又は第１のサブ画像及び第２のサブ画像についての光を伝送するための非球面レンズを有する。
幾つかの実施形態において、サブ画像の処理は、第１のサブ画像及び第２のサブ画像の空間的分離の補正を更に有する。幾つかの実施形態において、複数のサブ画像の処理は、サブ画像についての画像安定化を更に有する。
幾つかの実施形態において、方法は、カメラアセンブリの動作を有効にする段階であって、カメラアセンブリは１又は複数のレンズ及び画像センサを含む段階と、ビデオ通信を有効にする段階と、シーンの複数のサブ画像を画像センサにより同時にキャプチャする段階であって、複数のサブ画像は、第１のサブ画像と第２のサブ画像を含む段階と、画像センサによりキャプチャされたサブ画像を処理する段階とを有する。ここで、複数のサブ画像の処理をする段階は、シーンの組み合わされた画像を生成すべくサブ画像を組み合わせる段階と、ビデオ通信のためにデータストリームの一部としての画像を送信する段階とを有する。
幾つかの実施形態において、複数のサブ画像をキャプチャする段階は、画像センサの第１の部分上で第１のサブ画像をキャプチャする段階と、画像センサの第２の部分上で第２のサブ画像をキャプチャする段階を含む、画像センサの異なる部分上で各サブ画像をキャプチャする段階を有する。
幾つかの実施形態において、１又は複数のレンズは、第１のサブ画像についての光を伝送するための第１のレンズ及び第２のサブ画像についての光を伝送するための第２のレンズを含む複数のレンズ、又は第１のサブ画像及び第２のサブ画像についての光を伝送するための非球面レンズを有する。
幾つかの実施形態において、サブ画像の処理は、第１のサブ画像及び第２のサブ画像の空間的分離の補正を更に有する。幾つかの実施形態において、サブ画像の処理は、複数のサブ画像について画像安定化を更に含む。
幾つかの実施形態において、装置は、カメラの動作を可能にする手段を備える。カメラは、１又は複数のレンズ及び画像センサを有し、シーンの複数のサブ画像を画像センサにより同時にキャプチャするための手段であって、複数のサブ画像は第１のサブ画像及び第２のサブ画像を含む手段と、画像センサによりキャプチャされた複数のサブ画像を処理するための手段とを含み、ここで、複数のサブ画像の処理は、シーンの組み合わされた画像を生成すべく複数のサブ画像を組み合わせる段階を含む。
幾つかの実施形態において、複数のサブ画像をキャプチャする段階は、画像センサの第１の部分上で第１のサブ画像をキャプチャする段階と、画像センサの第２の部分上で第２のサブ画像をキャプチャする段階を含む、画像センサの異なる部分上で各サブ画像をキャプチャする段階を有する。
幾つかの実施形態において、装置の１又は複数のレンズは、第１のサブ画像についての光を伝送するための第１のレンズ及び第２のサブ画像についての光を伝送するための第２のレンズを含む複数のレンズ、又は第１のサブ画像及び第２のサブ画像についての光を伝送するための非球面レンズを有する。
幾つかの実施形態において、処理の手段によるサブ画像の処理は、第１のサブ画像及び第２のサブ画像の空間的分離の補正を更に含む。幾つかの実施形態において、処理のための手段によるサブ画像の処理は、複数のサブ画像についての画像安定化を更に有する。

Claims (24)

  1. シーンからの光を伝送する１又は複数のレンズと、
    前記１又は複数のレンズを介して前記シーンの複数のサブ画像を同時にキャプチャする画像センサとを備え、前記複数のサブ画像は第１のサブ画像及び第２のサブ画像を有し、
    処理要素は前記画像センサによりセンシングされた前記複数のサブ画像を処理し、前記複数のサブ画像の前記処理は、前記シーンの組み合わされた画像を生成すべく、少なくとも前記第１のサブ画像及び前記第２のサブ画像を組み合わせる段階を含み、
    前記複数のサブ画像は、前記第１のサブ画像をキャプチャするための前記画像センサの第１の部分と、前記第２のサブ画像をキャプチャするための前記画像センサの第２の部分とを有する前記画像センサの、第２方向に沿って並んで配置された前記第１の部分および前記第２の部分でキャプチャされ、
    前記組み合わせる段階は、前記第１のサブ画像および前記第２のサブ画像を、前記第２方向とは異なる第１方向に沿って並んで配置されるように組み合わせる段階を有する
    カメラアセンブリ。
  2. シーンからの光を伝送する１又は複数のレンズと、
    前記１又は複数のレンズを介して前記シーンの複数のサブ画像を同時にキャプチャする画像センサとを備え、前記複数のサブ画像は第１のサブ画像及び第２のサブ画像を有し、
    処理要素は前記画像センサによりセンシングされた前記複数のサブ画像を処理し、前記複数のサブ画像の前記処理は、前記シーンの組み合わされた画像を生成すべく、少なくとも前記第１のサブ画像及び前記第２のサブ画像を組み合わせる段階を含み、
    前記画像センサは、第１方向の長さにおいて第２方向の長さより短いアスペクト比の画像センサであり、
    前記複数のサブ画像は、前記第１のサブ画像をキャプチャするための前記画像センサの第１の部分と、前記第２のサブ画像をキャプチャするための前記画像センサの第２の部分とを有する、前記第２方向の長さに沿った前記画像センサの複数の部分でキャプチャされ、
    前記第１のサブ画像は前記シーンの上部のサブ画像であり、前記第２のサブ画像は前記シーンの下部のサブ画像である、
    カメラアセンブリ。
  3. 前記画像センサは、第１方向の長さにおいて第２方向の長さより短い、アスペクト比の画像センサである請求項１に記載のカメラアセンブリ。
  4. 前記１又は複数のレンズは、前記第１のサブ画像についての光を伝送するための第１のレンズと、前記第２のサブ画像についての光を伝送するための第２のレンズとを有する複数のレンズを備える、請求項１から３のいずれか１項に記載のカメラアセンブリ。
  5. 前記１又は複数のレンズは、前記第１のサブ画像及び前記第２のサブ画像についての光を伝送するための非球面レンズを有する、請求項１から３のいずれか１項に記載のカメラアセンブリ。
  6. 前記複数のサブ画像の前記処理は、前記第１のサブ画像及び前記第２のサブ画像の空間的分離の補正を更に有する、請求項１から５のいずれか１項に記載のカメラアセンブリ。
  7. シーンからの光を伝送するための１又は複数のレンズ、及び、
    １又は複数のレンズからのシーンの複数のサブ画像を同時にキャプチャするための画像センサを有するカメラアセンブリと、
    画像センサによりセンシングされた前記複数のサブ画像を処理する処理要素と、
    １又は複数の画像を送信するための送受信機とを備え、
    前記複数のサブ画像は第１のサブ画像及び第２のサブ画像を有し、前記複数のサブ画像の前記処理は、前記シーンの組み合わされた画像を生成すべく、前記複数のサブ画像を組み合わせる段階を有し、
    前記複数のサブ画像は、前記第１のサブ画像をキャプチャするための前記画像センサの第１の部分と、前記第２のサブ画像をキャプチャするための前記画像センサの第２の部分とを有する前記画像センサの、第２方向に沿って並んで配置された前記第１の部分および前記第２の部分でキャプチャされ、
    前記組み合わせる段階は、前記第１のサブ画像および前記第２のサブ画像を、前記第２方向とは異なる第１方向に沿って並んで配置されるように組み合わせる段階を有する
    装置。
  8. シーンからの光を伝送するための１又は複数のレンズ、及び、
    １又は複数のレンズからのシーンの複数のサブ画像を同時にキャプチャするための画像センサを有するカメラアセンブリと、
    画像センサによりセンシングされた前記複数のサブ画像を処理する処理要素と、
    １又は複数の画像を送信するための送受信機とを備え、
    前記複数のサブ画像は第１のサブ画像及び第２のサブ画像を有し、前記複数のサブ画像の前記処理は、前記シーンの組み合わされた画像を生成すべく、前記複数のサブ画像を組み合わせる段階を有し、
    前記画像センサは、第１方向の長さにおいて第２方向の長さより短いアスペクト比の画像センサであり、
    前記複数のサブ画像は、前記第１のサブ画像をキャプチャするための前記画像センサの第１の部分と、前記第２のサブ画像をキャプチャするための前記画像センサの第２の部分とを有する、前記第２方向の長さに沿った前記画像センサの複数の部分でキャプチャされ、
    前記第１のサブ画像は前記シーンの上部のサブ画像であり、前記第２のサブ画像は前記シーンの下部のサブ画像である、
    装置。
  9. 前記画像センサは、第１方向の長さにおいて、第２方向の長さにおいてより小さい長さであるアスペクト比の画像センサである、
    請求項７に記載の装置。
  10. １又は複数のレンズは、前記第１のサブ画像についての光を伝送するための第１のレンズと、前記第２のサブ画像についての光を伝送するための第２のレンズとを含む、複数のレンズを有する請求項７から９のいずれか１項に記載の装置。
  11. 前記１又は複数のレンズは、前記第１のサブ画像及び前記第２のサブ画像についての光を伝送するための非球面レンズを有する、請求項７から９のいずれか１項に記載の装置。
  12. 前記複数のサブ画像の前記処理は、前記第１のサブ画像及び前記第２のサブ画像の空間的分離の補正を更に有する、請求項７から１１のいずれか１項に記載の装置。
  13. 前記装置はモバイルデバイスである、請求項７から１２のいずれか１項に記載の装置。
  14. 前記モバイルデバイスは、前記モバイルデバイスの前面にディスプレイスクリーンを備え、前記１又は複数のレンズもまた前記モバイルデバイスの前記前面に存在する、請求項１３に記載の装置。
  15. 前記組み合わされた画像は、データストリームにおける複数の画像の１つであり、前記送受信機は前記データストリームを送信するよう動作可能である、請求項７から１４のいずれか１項に記載の装置。
  16. カメラの動作を有効にする段階と
    シーンの複数のサブ画像を画像センサにより同時にキャプチャする段階と、
    前記画像センサによりキャプチャされた前記複数のサブ画像を処理する段階とを有する複数の処理をプロセッサに実行させ、
    前記カメラは１又は複数のレンズ及び前記画像センサを含み、前記複数のサブ画像は第１のサブ画像及び第２のサブ画像を含み、前記複数のサブ画像を前記処理する段階は、前記シーンの組み合わされた画像を生成すべく、前記複数のサブ画像を組み合わせる段階を含み、
    前記複数のサブ画像は、前記第１のサブ画像をキャプチャするための前記画像センサの第１の部分と、前記第２のサブ画像をキャプチャするための前記画像センサの第２の部分とを有する前記画像センサの、第２方向に沿って並んで配置された前記第１の部分および前記第２の部分でキャプチャされ、
    前記組み合わせる段階は、前記第１のサブ画像および前記第２のサブ画像を、前記第２方向とは異なる第１方向に沿って並んで配置されるように組み合わせる段階を有する
    プログラム。
  17. カメラの動作を有効にする段階と
    シーンの複数のサブ画像を画像センサにより同時にキャプチャする段階と、
    前記画像センサによりキャプチャされた前記複数のサブ画像を処理する段階とを有する複数の処理をプロセッサに実行させ、
    前記カメラは１又は複数のレンズ及び前記画像センサを含み、前記複数のサブ画像は第１のサブ画像及び第２のサブ画像を含み、前記複数のサブ画像を前記処理する段階は、前記シーンの組み合わされた画像を生成すべく、前記複数のサブ画像を組み合わせる段階を含み、
    前記画像センサは、第１方向の長さにおいて第２方向の長さより短い、アスペクト比の画像センサであり、
    前記複数のサブ画像は、前記第１のサブ画像をキャプチャするための前記画像センサの第１の部分と、前記第２のサブ画像をキャプチャするための前記画像センサの第２の部分とを有する、前記第２方向の長さに沿った前記画像センサの複数の部分でキャプチャされ、
    前記第１のサブ画像は前記シーンの上部のサブ画像であり、前記第２のサブ画像は前記シーンの下部のサブ画像である、
    プログラム。
  18. １又は複数のレンズは、前記第１のサブ画像についての光を伝送するための第１のレンズと、前記第２のサブ画像についての光を伝送するための第２のレンズとを含む複数のレンズ、又は、前記第１のサブ画像及び前記第２のサブ画像についての光を伝送するための非球面レンズを有する請求項１６又は１７に記載のプログラム。
  19. 前記複数のサブ画像を前記処理する段階は、前記第１のサブ画像及び前記第２のサブ画像の空間的分離の補正を更に有する、請求項１６から１８のいずれか１項に記載のプログラム。
  20. 前記複数のサブ画像を前記処理する段階は、前記複数のサブ画像についての画像安定化を更に含む、請求項１６から１９のいずれか１項に記載のプログラム。
  21. カメラアセンブリの動作を有効にする段階と、
    ビデオ通信を有効にする段階と、
    シーンの複数のサブ画像を画像センサにより同時にキャプチャする段階と、
    前記画像センサによりキャプチャされた前記複数のサブ画像を処理する段階と、
    ビデオ通信のためのデータストリームの一部として複数の画像を送信する段階とを備え、
    前記カメラアセンブリは、１又は複数のレンズ及び前記画像センサを有し、前記複数のサブ画像は第１のサブ画像と第２のサブ画像とを有し、前記複数のサブ画像を前記処理する段階は、前記シーンの組み合わされた画像を生成すべく前記複数のサブ画像を組み合わせる段階を有し、
    前記複数のサブ画像は、前記第１のサブ画像をキャプチャするための前記画像センサの第１の部分と、前記第２のサブ画像をキャプチャするための前記画像センサの第２の部分とを有する前記画像センサの、第２方向に沿って並んで配置された前記第１の部分および前記第２の部分でキャプチャされ、
    前記組み合わせる段階は、前記第１のサブ画像および前記第２のサブ画像を、前記第２方向とは異なる第１方向に沿って並んで配置されるように組み合わせる段階を有する
    方法。
  22. カメラアセンブリの動作を有効にする段階と、
    ビデオ通信を有効にする段階と、
    シーンの複数のサブ画像を画像センサにより同時にキャプチャする段階と、
    前記画像センサによりキャプチャされた前記複数のサブ画像を処理する段階と、
    ビデオ通信のためのデータストリームの一部として複数の画像を送信する段階とを備え、
    前記カメラアセンブリは、１又は複数のレンズ及び前記画像センサを有し、前記複数のサブ画像は第１のサブ画像と第２のサブ画像とを有し、前記複数のサブ画像を前記処理する段階は、前記シーンの組み合わされた画像を生成すべく前記複数のサブ画像を組み合わせる段階を有し、
    前記画像センサは、第１方向の長さにおいて第２方向の長さより短い、アスペクト比の画像センサであり、
    前記複数のサブ画像は、前記第１のサブ画像をキャプチャするための前記画像センサの第１の部分と、前記第２のサブ画像をキャプチャするための前記画像センサの第２の部分とを有する、前記第２方向の長さに沿った前記画像センサの複数の部分でキャプチャされ、
    前記第１のサブ画像は前記シーンの上部のサブ画像であり、前記第２のサブ画像は前記シーンの下部のサブ画像である、
    方法。
  23. 前記１又は複数のレンズは、前記第１のサブ画像についての光を伝送するための第１のレンズと、前記第２のサブ画像についての光を伝送するための第２のレンズとを含む複数のレンズ、又は、前記第１のサブ画像及び前記第２のサブ画像についての光を伝送するための非球面レンズを有する請求項２１又は２２に記載の方法。
  24. 請求項１６から２０のいずれか１項に記載のプログラムを格納するコンピュータ可読記憶媒体。
JP2016552518A 2014-03-27 2014-03-27 カメラアセンブリ、装置、プログラム、方法、およびコンピュータ可読記憶媒体 Active JP6416925B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2014/074195 WO2015143670A1 (en) 2014-03-27 2014-03-27 Camera to capture multiple sub-images for generation of an image

Publications (2)

Publication Number Publication Date
JP2017514326A JP2017514326A (ja) 2017-06-01
JP6416925B2 true JP6416925B2 (ja) 2018-10-31

Family

ID=54193908

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016552518A Active JP6416925B2 (ja) 2014-03-27 2014-03-27 カメラアセンブリ、装置、プログラム、方法、およびコンピュータ可読記憶媒体

Country Status (7)

Country Link
US (1) US9762815B2 (ja)
EP (1) EP3123226B1 (ja)
JP (1) JP6416925B2 (ja)
KR (1) KR101815164B1 (ja)
CN (1) CN106062610B (ja)
TW (1) TWI551138B (ja)
WO (1) WO2015143670A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3052252B1 (fr) * 2016-06-07 2019-05-10 Thales Equipement optronique de vision pour un vehicule terrestre
GB2573593B (en) 2018-05-10 2021-11-03 Samsung Electronics Co Ltd Augmented reality rendering method and apparatus
JP7352034B2 (ja) * 2020-08-28 2023-09-27 富士フイルム株式会社 撮像装置、撮像指示方法、及び撮像指示プログラム

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5581409A (en) * 1994-09-30 1996-12-03 Republic Lens Co., Inc. Imaging system to combine disparate fields of view
WO2003015400A1 (fr) * 2001-08-07 2003-02-20 Hitachi Maxell, Ltd Module de camera
EP1677518A4 (en) * 2003-10-22 2009-12-02 Panasonic Corp IMAGING SYSTEM AND METHOD FOR PRODUCING THE SYSTEM, PORTABLE APPARATUS, AND IMAGING ELEMENT, AND METHOD FOR PRODUCING THE SAME
JP2005303694A (ja) * 2004-04-13 2005-10-27 Konica Minolta Holdings Inc 複眼撮像装置
KR100716829B1 (ko) * 2005-08-10 2007-05-09 삼성전기주식회사 초박형 모바일 카메라 광학 렌즈 시스템 및 이를 이용한이미지 결상 방법
KR100796849B1 (ko) 2006-09-04 2008-01-22 삼성전자주식회사 휴대 단말기용 파노라마 모자이크 사진 촬영 방법
CN101207784A (zh) 2006-12-22 2008-06-25 北京上行逶式信息公司 一种手机视频装置
US7683962B2 (en) * 2007-03-09 2010-03-23 Eastman Kodak Company Camera using multiple lenses and image sensors in a rangefinder configuration to provide a range map
CN101378559A (zh) 2007-08-30 2009-03-04 联想移动通信科技有限公司 采用摄像头组合全景拍的手机
CN101400002A (zh) * 2007-09-24 2009-04-01 鸿富锦精密工业（深圳）有限公司 立体影像装置
US7956924B2 (en) * 2007-10-18 2011-06-07 Adobe Systems Incorporated Fast computational camera based on two arrays of lenses
US8355042B2 (en) 2008-10-16 2013-01-15 Spatial Cam Llc Controller in a camera for creating a panoramic image
KR101733443B1 (ko) * 2008-05-20 2017-05-10 펠리칸 이매징 코포레이션 이종 이미저를 구비한 모놀리식 카메라 어레이를 이용한 이미지의 캡처링 및 처리
JP2010268343A (ja) * 2009-05-18 2010-11-25 Olympus Imaging Corp 撮影装置および撮影方法
JP5423235B2 (ja) * 2009-08-20 2014-02-19 ソニー株式会社 撮像装置
KR101649635B1 (ko) 2009-11-06 2016-08-19 엘지전자 주식회사 휴대 단말기
CN102131044B (zh) 2010-01-20 2014-03-26 鸿富锦精密工业（深圳）有限公司 相机模组
CN102263926A (zh) * 2010-05-31 2011-11-30 鸿富锦精密工业（深圳）有限公司 电子设备及其图像处理方法
US20130265459A1 (en) * 2011-06-28 2013-10-10 Pelican Imaging Corporation Optical arrangements for use with an array camera
CN202143153U (zh) * 2011-07-27 2012-02-08 天津三星光电子有限公司 数码相机
US10412367B2 (en) * 2011-08-05 2019-09-10 3D Media Ltd Multi-lens camera with a single image sensor
CN103167223A (zh) * 2011-12-09 2013-06-19 富泰华工业（深圳）有限公司 具有广角拍摄功能的移动装置及其影像撷取方法
JP6123274B2 (ja) * 2012-03-08 2017-05-10 株式会社リコー 撮像装置
US20130258044A1 (en) * 2012-03-30 2013-10-03 Zetta Research And Development Llc - Forc Series Multi-lens camera
JP2014123896A (ja) * 2012-12-21 2014-07-03 Olympus Imaging Corp 撮像装置、撮像方法、及びプログラム

Also Published As

Publication number Publication date
KR20160113682A (ko) 2016-09-30
US20160044251A1 (en) 2016-02-11
KR101815164B1 (ko) 2018-01-04
WO2015143670A1 (en) 2015-10-01
TW201543890A (zh) 2015-11-16
EP3123226A1 (en) 2017-02-01
TWI551138B (zh) 2016-09-21
EP3123226B1 (en) 2019-02-20
EP3123226A4 (en) 2017-11-29
CN106062610B (zh) 2019-09-17
US9762815B2 (en) 2017-09-12
JP2017514326A (ja) 2017-06-01
CN106062610A (zh) 2016-10-26

Similar Documents

Publication Publication Date Title
CN112889266B (zh) 显示器中包括相机模块的电子装置以及用于补偿相机模块周围的图像的方法
CN111033569B (zh) 使用深度图编辑图像的装置及其方法
EP3435655B1 (en) Electronic device for acquiring image using plurality of cameras and method for processing image using the same
US10979612B2 (en) Electronic device comprising plurality of cameras using rolling shutter mode
US11057577B2 (en) Camera module having multi-cell structure and portable communication device including the same
US11626447B2 (en) Electronic device comprising image sensor for identifying an operation setting and an external environmental condition and method of operation thereof
US20230269492A1 (en) Electronic device and method for displaying image in electronic device
JPWO2018173597A1 (ja) 撮像装置、撮像方法、及び撮像プログラム
JP6416925B2 (ja) カメラアセンブリ、装置、プログラム、方法、およびコンピュータ可読記憶媒体
CN116711316A (zh) 电子装置及其操作方法
US20180191940A1 (en) Image capturing device and control method thereof
CN116530090A (zh) 使用多个相机拍摄照片的方法及其装置
US10742876B2 (en) Imaging device, imaging method, and imaging program
JP2023169254A (ja) 撮像素子、撮像素子の作動方法、プログラム、及び撮像システム
US11917295B2 (en) Method for correcting shaking at high magnification and electronic device therefor
US11689816B2 (en) Imaging apparatus, operation method of imaging apparatus, and program
US11910115B2 (en) Imaging element, imaging apparatus, operation method of imaging element, and program
CN105791802A (zh) 双摄像头移动终端及其拍摄方法
JP2017097529A (ja) 画像処理装置、画像処理方法及びコンピュータプログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171012

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180807

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20180906

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181004

R150 Certificate of patent or registration of utility model

Ref document number: 6416925

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250