JP7264624B2 - 映像復元装置及び方法 - Google Patents

映像復元装置及び方法 Download PDF

Info

Publication number
JP7264624B2
JP7264624B2 JP2018219278A JP2018219278A JP7264624B2 JP 7264624 B2 JP7264624 B2 JP 7264624B2 JP 2018219278 A JP2018219278 A JP 2018219278A JP 2018219278 A JP2018219278 A JP 2018219278A JP 7264624 B2 JP7264624 B2 JP 7264624B2
Authority
JP
Japan
Prior art keywords
color
detection element
ray
target
color information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018219278A
Other languages
English (en)
Other versions
JP2019097169A (ja
Inventor
良鎬 趙
徳寧 姜
東▲ぎょん▼ 南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2019097169A publication Critical patent/JP2019097169A/ja
Application granted granted Critical
Publication of JP7264624B2 publication Critical patent/JP7264624B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/09—Beam shaping, e.g. changing the cross-sectional area, not otherwise provided for
    • G02B27/0938—Using specific optical elements
    • G02B27/095—Refractive optical elements
    • G02B27/0955—Lenses
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/021—Mountings, adjusting means, or light-tight connections, for optical elements for lenses for more than one lens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/15—Processing image signals for colour aspects of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/232—Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H04N2209/046—Colour interpolation to calculate the missing colour values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H04N23/16—Optical arrangements associated therewith, e.g. for beam-splitting or for colour correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Power Engineering (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computing Systems (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Computer Hardware Design (AREA)
  • Electromagnetism (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Description

以下、映像を復元する技術が提供される。
光学技術及び映像処理技術の発達に伴い、マルチメディアコンテンツ、セキュリティー、及び認識などの広範囲な分野に撮影装置が活用されている。例えば、撮影装置は、モバイル機器、カメラ、車両、及びコンピュータなどに搭載され、映像を撮影したり、オブジェクトを認識したり、機器を制御するためのデータを取得する。撮影装置の体積は、レンズのサイズ、レンズの焦点距離、及びセンサのサイズなどによって決定される。例えば、レンズのサイズとセンサのサイズに基づいて撮影装置の体積が調整される。センサのサイズが減少することにより、センサに入射する光量が減少し得る。そのため、映像の解像度が低くなったり、低照度環境における撮影が困難になってしまう場合があり得る。撮影装置の体積を減少させるために、小型レンズで構成されたマルチレンズを用いてもよい。レンズのサイズが減少する場合にレンズの焦点距離は減し得る。したがって、マルチレンズを介して撮影装置の体積が減少される。しかしながら、そのようなマルチレンズを使用する場合に、色値をどのように処理すべきかについての技術は未だ確立されていない。
一実施形態の課題は、対象検出エレメントに入射される光線と類似する方向に進行する光線を受信する他の検出エレメントから検出された色値に基づいて、対象検出エレメントのピクセル位置に対応する色値を推定することにある。
一実施形態に係る映像復元装置は、複数の光線を通過させる複数のレンズと、前記複数のレンズのうち第１レンズを通過した対象光線を受信する対象検出エレメント、及び前記複数のレンズのうち第２レンズを通過した第２光線を受信する第２検出エレメントを含むセンサ（前記第１レンズは、前記第２レンズと異なる）と、前記第２光線の方向と前記対象光線の方向との間の差に基づいて前記第２検出エレメントを決定し、前記第２検出エレメントによって検出された色情報に基づいて前記対象検出エレメントに対応する色情報を復元するプロセッサとを含む。
前記プロセッサが、前記第２光線を受信する検出エレメントを前記第２検出エレメントとして決定する場合において、前記第２検出エレメントに関する前記第２光線の方向と前記対象光線の方向との間の差は閾値以下であり得る。
前記プロセッサが前記第２光線を受信する検出エレメントを前記第２検出エレメントとして決定する場合において、前記対象検出エレメントによって受信される前記対象光線の方向と前記第２検出エレメントに関する前記第２光線の方向との間の角度差は閾値角度以下であり得る。
前記プロセッサは、前記対象検出エレメントによって受信される対象光線の方向と予め決定された個数の検出エレメントによって受信される方向との間の角度の差が小さい順に、前記予め決定された個数の検出エレメントを前記第２検出エレメントとして決定し得る。
前記プロセッサは、前記復元された色情報に基づいてカラー映像を復元し得る。
前記対象検出エレメントは、前記複数の光線のうち前記対象検出エレメントによって受信される対象光線から第１色に対応する色値を検出し、前記第２検出エレメントは、前記複数の光線のうち前記第２検出エレメントによって受信される前記第２光線から第２色に対応する色値を検出し、前記第１色及び前記第２色は互いに異なり、前記プロセッサは、前記第２検出エレメントによって検出された第２色に対応する色値に基づいて、前記対象検出エレメントが配置された位置に対応する第２色に対応する色値を決定し得る。
前記プロセッサは、前記対象検出エレメントと空間的に隣接する隣接検出エレメントによって検出された色情報、及び前記第２検出エレメントによって検出された色情報に基づいて、前記対象検出エレメントの位置に対応する色情報を決定し得る。
前記プロセッサは、前記隣接検出エレメントによって検出された色情報に第１加重値を適用し、前記第２検出エレメントによって検出された色情報に第２加重値を適用し得る。
前記プロセッサは、前記対象検出エレメントによって受信される対象光線の方向と前記第２検出エレメントによって受信される前記第２光線の方向との間の角度の差が小さいほど、前記第２検出エレメントによって検出された色情報に適用される加重値を増加させ得る。
前記複数のレンズは、前記センサに含まれた複数の検出エレメントに対して、一対一の対応関係ではないながらずれるように配置され得る。
一実施形態に係る映像復元方法は、複数の検出エレメントを含むセンサによって、複数のレンズを通過した複数の光線を受信するステップと、対象光線の方向に基づいて前記複数のレンズのうち、第２レンズを通過する第２光線を受信する第２検出エレメントを選択するステップ（前記第２検出エレメントは、前記複数のレンズのうち第１レンズを通過した前記対象光線を受信した対象検出エレメントとは異なる）と、前記第２検出エレメントによって検出された色情報に基づいて、前記対象検出エレメントに対応する色情報を復元するステップとを含み、前記第２検出エレメントは、前記対象光線の方向と前記第２光線の方向との間の差に基づいて選択される。
前記第２検出エレメントを選択するステップは、前記第２光線を受信する検出エレメントを前記第２検出エレメントとして決定するステップを含み、前記第２検出エレメントに対する前記第２光線の方向と前記対象光線の方向との間の差は閾値以下であり得る。
前記第２検出エレメントを選択するステップは、前記第２光線を受信する検出エレメントを前記第２検出エレメントとして決定するステップを含み、前記第２検出エレメントに対する前記第２光線の方向と前記対象光線の方向との間の角度における差は閾値角度以下であり得る。
前記第２検出エレメントを選択するステップは、前記対象検出エレメントによって受信される対象光線の方向と予め決定された個数の検出エレメントによって受信される方向との間の角度の差が小さい順に、前記予め決定された個数の検出エレメントを前記第２検出エレメントとして決定するステップを含み得る。
映像復元方法は、前記復元された色情報に基づいて、カラー映像を復元するステップをさらに含み得る。
前記複数の光線を受信するステップは、前記複数の光線のうち、前記対象検出エレメントによって受信される対象光線から第１色に対応する色値を検出するステップと、前記複数の光線のうち、前記第２検出エレメントによって受信される前記第２光線から前記第１色と異なる第２色に対応する色値を検出するステップとを含み、前記色情報を復元するステップは、前記第２検出エレメントによって検出された第２色に対応する色値に基づいて、前記対象検出エレメントが配置された位置に対応する第２色に対応する色値を決定するステップを含み得る。
前記色情報を復元するステップは、前記対象検出エレメントと空間的に隣接する隣接検出エレメントによって検出された色情報及び前記第２検出エレメントによって検出された色情報に基づいて、前記対象検出エレメントの位置に対応する色情報を推定するステップを含み得る。
前記色情報を推定するステップは、前記隣接検出エレメントによって検出された色情報に第１加重値を適用し、前記第２検出エレメントによって検出された色情報に第２加重値を適用するステップを含み得る。
前記色情報を復元するステップは、前記対象検出エレメントによって受信される対象光線の方向と前記第２検出エレメントによって受信される前記第２光線の方向との間の角度の差が小さいほど、前記第２検出エレメントによって検出された色情報に適用される加重値を増加させるステップを含み得る。
一実施形態に係るコンピュータプログラムは、上記の何れかの映像復元方法を映像復元装置のコンピュータに実行させる。
一実施形態に係る記憶媒体は、上記のコンピュータプログラムを記憶する。
一実施形態に係る映像復元装置は、複数の光線を通過させる複数のレンズと、前記複数のレンズのうち第１レンズを通過する対象光線を受信する対象検出エレメント、及び前記複数のレンズのうち第２レンズを通過する第２光線を受信する第２検出エレメントを含むセンサと、前記対象光線の視点と前記第２光線の視点との間の差が閾値以下である前記第２検出エレメントを決定し、前記第２検出エレメントによって検出された色情報に基づいて前記対象検出エレメントに対応する色情報を復元するプロセッサとを含む。
前記プロセッサは、前記第２検出エレメントによって検出された色情報及び前記対象検出エレメントに空間的に隣接する隣接検出エレメントによって検出された色情報に基づいて、前記対象検出エレメントの位置に対応する色情報を決定し得る。
前記プロセッサは、前記隣接検出エレメントによって検出された色情報に第１加重値を適用し、前記第２検出エレメントによって検出された色情報に第２加重値を適用し、前記対象光線の視点と前記第２光線の視点との間の差が減少するほど、前記第２検出エレメントによって検出された色情報に適用される前記第２加重値を増加させ、前記隣接検出エレメントによって検出された色情報に適用される前記第１加重値を減少させ得る。
一実施形態に係る映像復元装置は、他の検出エレメントが対象検出エレメントに入射される光線と類似する方向に進行する光線を受信することによって、対象検出エレメントが検出できない色の色値をより正確に推定することができる。
一実施形態に係る映像復元装置の構造を示す図である。 一実施形態に係る映像復元装置の構成を示すブロック図である。 一実施形態に係る映像復元方法を示すフローチャートである。 一実施形態に係る複数の検出エレメントを含むセンサを示す図である。 一実施形態に係る検出エレメントがレンズを介して光線を受信する形状を示す図である。 一実施形態に係る対象検出エレメントの色情報を復元するために、他のレンズを通過した光線を受信する検出エレメントを用いることを示す図である。 説明の便宜のために、対象検出エレメントが受信する光線と方向性が類似する光線を受信する検出エレメントを１次元に示す図である。 一実施形態に係る映像復元方法を詳細に示すフローチャートである。 一実施形態に係る映像復元の例示を説明した図である。 一実施形態に係る映像復元装置が具現される機器を示す図である。 一実施形態に係る映像復元装置が具現される機器を示す図である。
以下、添付する図面を参照しながら実施形態を詳細に説明する。しかし、特許出願の範囲がこのような実施形態によって制限も限定もされることはない。各図面に提示された同じ参照符号は同じ部材を示す。
本明細書で開示されている特定の構造的又は機能的な説明は単に実施形態を説明するための目的として例示されたものであり、実施形態は様々な異なる形態で実施され、本明細書に説明された実施形態に限定されることはない。
本明細書で用いた用語は、単に特定の実施形態を説明するために用いられるものであって、本発明を限定しようとする意図はない。単数の表現は、文脈上、明白に異なる意味をもたない限り複数の表現を含む。本明細書において、「含む」又は「有する」等の用語は明細書上に記載した特徴、数字、ステップ、動作、構成要素、部品又はこれらを組み合わせたものが存在することを示すものであって、１つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、又はこれを組み合わせたものなどの存在又は付加の可能性を予め排除しないものとして理解しなければならない。
異なる定義がされない限り、技術的であるか又は科学的な用語を含むここで用いる全ての用語は、本実施形態が属する技術分野で通常の知識を有する者によって一般的に理解されるものと同じ意味を有する。一般的に用いられる予め定義された用語は、関連技術の文脈上で有する意味と一致する意味を有するものと解釈すべきであって、本明細書で明白に定義しない限り、理想的又は過度に形式的な意味として解釈されることはない。
また、添付図面を参照して説明することにおいて、図面符号に関係なく同じ構成要素は同じ参照符号を付与し、これに対する重複する説明は省略する。実施形態の説明において関連する公知技術に対する具体的な説明が実施形態の要旨を不要に曖昧にすると判断される場合、その詳細な説明は省略する。
図１は、一実施形態に係る映像復元装置の構造を示す図である。
一実施形態に係る映像復元装置１００によって撮影及び復元される映像の品質は、センサ１２０に含まれた検出エレメント数、及び検出エレメントに入射される光量によって決定される。例えば、映像の解像度は、センサ１２０に含まれた検出エレメント数によって決定され、映像の感度、例えば、カメラのＩＳＯなどは、検出エレメントに入射される光量によって決定される。検出エレメントに入射される光量は、検出エレメントのサイズに基づいて決定される。検出エレメントのサイズが大きいほど、検出エレメントに入射される光量は増加し、センサ１２０の動的範囲（即ち、ダイナミックレンジ）が増加する。したがって、センサ１２０に含まれた検出エレメント数が増加することにより、センサ１２０は高解像度の映像を撮影することができ、検出エレメントのサイズが増加することにより、センサ１２０は低照度で感度を改善することができる。
映像復元装置１００の体積は、レンズ１１１の焦点距離（ｆ）によって決定される。より具体的に、映像復元装置１００の体積は、レンズ１１１とセンサ１２０との間の間隔によって決定されるが、レンズ１１１によって屈折させられた光１９０を収集するためにセンサ１２０は、レンズ１１１の焦点距離（ｆ）に位置しなければならため、映像復元装置１００に含まれたレンズ１１１とセンサ１２０は、レンズ１１１の焦点距離（ｆ）だけ離隔して配置されなければならない。レンズ１１１の焦点距離（ｆ）は、映像復元装置１００の視野角とレンズ１１１のサイズ（例えば、レンズ１１１口径の半径）によって決定される。例えば、視野角が固定されている場合、レンズ１１１のサイズに比例して焦点距離（ｆ）が長くなる。また、レンズ１１１のサイズは、センサ１２０のサイズにも基づいて決定される。例えば、一定の視野角範囲の映像を撮影するためには、センサ１２０のサイズが増加するにつれてレンズ１１１のサイズが増加しなければならない。
例えば、センサの大きさは６×４ｍｍ、レンズアレイの焦点の長さは概略４ｍｍ、ＦＯＶ（ｆｉｅｌｄ ｏｆ ｖｉｅｗ）は７７度であってもよい。レンズの大きさが１／１０に減少し、レンズアレイが同一なＦＯＶで１０×１０個のレンズを含んでいる場合、焦点の長さは０．４ｍｍである。レンズの大きさが１／１００に減少してレンズアレイが１００×１００個のレンズを含んでいる場合、焦点の長さは０．０４ｍｍである。
前述したように、視野角及び映像の解像度を保持しながら映像の感度を増加させるためには、映像復元装置１００の体積を増加させることが考えられる。例えば、映像の解像度を保持しながら映像の感度を増加させるためには、センサ１２０に含まれた検出エレメント数を保持しつつ、各検出エレメントのサイズを増加させなければならないため、センサ１２０のサイズが増加してしまう。ここで、視野角を保持するためには、センサ１２０のサイズ増加につれてレンズ１１１のサイズが増加し、レンズ１１１の焦点距離（ｆ）が長くなることから、映像復元装置１００の体積が増加してしまう。
映像復元装置１００の体積を減少させるために、センサ１２０の解像度を保持しながら検出エレメントのサイズを減少させたり、検出エレメントのサイズを保持しながらセンサ１２０の解像度を減少させるといった設計方法が考慮される。ただし、センサ１２０の解像度を保持しながら検出エレメントのサイズを減少させる場合、センサ１２０のサイズが減少してレンズ１１１の焦点距離（ｆ）が短くなることで、映像復元装置１００の体積は減少されるものの、映像の感度は低下する。この場合、低照度画質が減少する。また、検出エレメントのサイズを保持しながらセンサ１２０の解像度を減少させる場合、センサ１２０のサイズが減少してレンズ１１１の焦点距離（ｆ）が短くなることで映像復元装置１００の体積は減少されるものの、映像の解像度は低下する。
下記で説明する実施形態は、所望する視野角、解像度、感度、及び映像復元装置１００の体積等の条件を満足しつつ、カラー映像を正確に復元する技術を提供する。例えば、センサ１２０のサイズを保持しながら、レンズ１１１の大きさを小さく設計することで、レンズ１１１の焦点距離（ｆ）が減少され、さらに、映像復元装置１００の厚さも減少する。図１を参照すると、映像復元装置１００は、レンズアレイ１１０及びセンサ１２０を含む。レンズアレイ１１０はレンズを含み、センサ１２０は検出エレメントを含む。
一実施形態によれば、レンズアレイ１１０に含まれたレンズそれぞれのサイズを減少させるほど、言い換えれば、同じ広さに含まれているレンズの数を増加させるほど、レンズ１１１の焦点距離（ｆ）は短くなり、映像復元装置１００の厚さは減少する。この場合、映像復元装置１００は、各レンズ１１１で撮影された低解像度映像を組み合わせてオリジナルの高解像度の映像を復元し得る。したがって、レンズアレイ１１０に含まれたレンズを分割し、レンズアレイ１１０でレンズの個数を増加させることで、より薄いカメラを具現することができる。
レンズアレイ１１０の個別レンズ１１１は、レンズ自身のサイズに対応するセンサ１２０の一定領域をカバーする。言い換えれば、該当する領域に含まれたセンサ１２０の検出エレメントには該当する個別レンズ１１１を通過した光１９０が入射される。光１９０は、複数の光線を含む。光線１９１は、光子１０１の流れに対応する。センサ１２０の検出エレメントそれぞれは、レンズアレイ１１０のレンズを通過した光線１９１に基づいて検出情報を生成する。例えば、検出エレメント１２１は、レンズ１１１を介して入射される光線１９１に基づいて検出情報を生成する。映像復元装置１００は、センサ１２０によって出力された検出情報に基づいて、映像復元装置１００の視野に含まれた視点に関するオリジナル色信号に対応する色情報（例えば、色値）を決定し、決定された色情報に基づいて撮影映像を復元し得る。
また、検出エレメント１２１は、任意の色を検出するための色フィルタを含む。検出エレメント１２１は、特定の色に対応する色値を検出情報として生成する。センサ１２０を構成する複数の検出エレメントのそれぞれは、空間的に隣接する隣接検出エレメントと異なる色を検出するよう配置されてもよい。
検出情報の多様性が十分に確保され、映像復元装置１００の視野に含まれた視点に対応するオリジナル信号情報と検出情報との間に完全ランク（ｆｕｌｌ ｒａｎｋ）関係が形成されるとき、センサ１２０の最大解像度に対応する撮影映像が導き出される。オリジナル信号情報と検出情報との間に完全ランク関係が形成されるとは、オリジナル信号情報と検出情報との間の関係を決定する行列が最大階数を有することを意味し、言い換えればその行列に逆行列が存在することを意味する。この点については後述する数式（２）に関連して説明される。検出情報の多様性は、レンズアレイ１１０に含まれたレンズの数及びセンサ１２０に含まれた検出エレメント数のような映像復元装置１００のパラメータに基づいて確保され得る。
図２は、一実施形態に係る映像復元装置の構成を示すブロック図である。
映像復元装置２００は、レンズ２１０、センサ２２０、及びプロセッサ２３０を含む。
レンズ２１０は、上述したように、光線を屈折させて通過させる。例えば、レンズ２１０は、複数のレンズを含むレンズアレイの形態に具現される。複数のレンズは、センサ２２０に含まれた複数の検出エレメントに対して、必ずしも一対一の対応関係でなくてもよいため、一定の規則に従ってずれるように配置されてもよい。例えば、各検出エレメントが複数の視点に対応する光線を受信するよう、複数のレンズがセンサ２２０に対して配置されてもよい。例えば、平面視で各レンズ２１０の境界が各検出エレメントの境界に重ならないように配置される。
センサ２２０は、上述したように、光線に基づいて検出情報を生成する。例えば、センサ２２０は、複数の検出エレメントで構成され、複数の検出エレメントのそれぞれは、該当検出エレメントが受信した光線に対応する色情報を検出情報として生成する。例えば、複数の視点に対応する光線が検出エレメントに入射され、検出エレメントは、重複的に入射した光線に対応する色情報を生成する。本明細書において色情報は、該当の検出エレメントが検出できる色に対応する強度値の色値を含む。
一実施形態によれば、センサ２２０は、複数のレンズ２１０のうち１つのレンズ２１０を通過した対象光線を受信する対象検出エレメント、及び対象光線の方向に基づいて決定された他の検出エレメントを含む。
プロセッサ２３０は、他の検出エレメントによって検出された色情報に基づいて、対象検出エレメントに対応する色情報を復元する。例えば、プロセッサ２３０は、対象光線が通過したレンズ２１０と異なる他のレンズを通過し、対象光線との方向の差が最小化される他の光線を受信する検出エレメントを他の検出エレメントとして決定する。プロセッサ２３０は、対象光線と方向との差が最小化される他の光線を受信する検出エレメントによって検出された色情報を用いて、対象検出エレメントに対応する色情報を復元し得る。
図３は、一実施形態に係る映像復元方法を示すフローチャートである。
まず、ステップＳ３１０において、映像復元装置は、複数の検出エレメントを含むセンサにより複数のレンズを通過した複数の光線を受信する。例えば、複数の視点それぞれに対応する光線が各検出エレメントに入射され、複数の光線が１つの検出エレメントに入射されてもよい。
そして、ステップＳ３２０において、映像復元装置は、複数のレンズのうち１つのレンズを通過した対象光線を受信した対象検出エレメントに対して、対象光線の方向に基づいて他の検出エレメントを選択する。例えば、対象検出エレメントは複数の対象光線を受信し、複数の対象光線のうち少なくとも１つの光線の方向に基づいて他の対象検出エレメントを選択する。一実施形態によれば、映像復元装置は、対象光線が通過したレンズとは異なるレンズを通過し、対象光線との方向の差が最小化される他の光線を受信する検出エレメントを他の検出エレメントとして決定する。被写体が無限の距離にある場合、他の光線は、対象光線の視点から予め決定された値よりも小さい差を有する視点から由来する光線であり得る。
次に、ステップＳ３３０において、映像復元装置は、他の検出エレメントによって検出された色情報に基づいて、対象検出エレメントに対応する色情報を復元する。例えば、対象検出エレメントは、複数の光線のうち対象検出エレメントに達した対象光線から第１色に対応する色値を検出する。他の検出エレメントは、複数の光線のうち他の検出エレメントに達した他の光線から第１色と異なる第２色に対応する色値を検出する。プロセッサは、他の検出エレメントによって検出された第２色に対応する色値に基づいて、対象検出エレメントが配置された位置に対応する第２色に対応する色値を推定する。
したがって、映像復元装置は、特定の色を検出できない対象検出エレメントに対して、該当の色を検出できる異なる位置に配置された他の検出エレメントによって検出された色値を用いて対象検出エレメントに対応する色情報を復元する。ここで、他の検出エレメントは、対象検出エレメントに入射される光線と類似する方向性又は視点における最小の差を有する光線を受信するため、映像復元装置は、対象検出エレメントが検出できない色の色値を、より正確に推定することができる。
また、映像復元装置は複数の検出エレメントのそれぞれに対して、ステップＳ３３０で説明したように、色情報を復元することで検出情報行列を生成し得る。検出情報行列を構成する各元素は、例えば、検出エレメントによって検出された色値又は検出エレメントが配置された位置に対応する色値を示す。
図４は、一実施形態に係る複数の検出エレメントを含むセンサを示す図である。
センサ４２０は、図示するように複数の検出エレメントを含んでいる。複数の検出エレメントは、２次元平面に沿って配列される。複数の検出エレメントのそれぞれは、１つの色に対応する強度値のみを検出し、色情報を生成する。例えば、対象検出エレメント４２１は、複数の光線のうち対象検出エレメント４２１に達した対象光線から、第１色（例えば、赤色）に対応する色値を検出し、他の検出エレメントは、複数の光線のうち他の検出エレメントに達した他の光線から、第２色（例えば、青色又は緑色）に対応する色値を検出する。ここで、第１色及び第２色は、互いに異なってもよい。
一実施形態によれば、検出エレメントのそれぞれは、受信された光線に応答して赤色、青色、及び緑色のうちの１つに対応する強度値を検出し得る。図４において、赤色を検出する検出エレメントはＲ、緑色を検出する検出エレメントはＧ、青色を検出する検出エレメントはＢに表示される。また、検出エレメントは、予め決定したパターンに応じて配置される。例えば、図４に示されたセンサ４２０は、ベイヤーパターン（Ｂａｙｅｒ Ｐａｔｔｅｒｎ）の構造に配置された検出エレメントを含む。
図４に示されたセンサ４２０は、奇数番目の行で赤色を検出する検出エレメント、及び緑色を検出する検出エレメントが交互に配置されている。偶数番目の行では緑色を検出する検出エレメント、及び青色を検出する検出エレメントが交番に配置される。例示的に、センサ４２０が７×７個の検出エレメントを含むものと示されているが、これに限定されることはない。
なお、検出エレメントのそれぞれが赤色、青色、及び緑色のうちの１つに対応する強度値のみを検出するものに限定されることはない。例えば、検出エレメントのそれぞれは、他の色座標系における基本色のうちの１つに対応する強度値を検出してもよい。
説明の便宜のために、下記では、最初の行４５０に配置された検出エレメントを基準にして、各検出エレメントにおける色情報を復元する方法について説明する。映像復元装置は、残りの列に配置された検出エレメントについても類似方法によって検出エレメントの色情報を復元し得る。
図５は、一実施形態に係る検出エレメントがレンズを介して光線を受信する形状を示す図である。
上述したように、センサは、個別視点５９０に対応する光線Ｘ１～Ｘ７を受信する。光線Ｘ１～Ｘ７は、レンズ５１０を介してセンサによって検出される。図５において、図４に示されたセンサの最初の行４５０に対応する検出エレメントＳ１～Ｓ７を基準として説明する。
検出エレメントＳ１～Ｓ７は、複数のレンズを通過した光線Ｘ１～Ｘ７を重複して検出する。例えば、図５に示されたレンズアレイにおいて、レンズアレイに含まれるレンズの個数が増加する場合、レンズ５１０からセンサまでの焦点距離が減少し得る。したがって、検出エレメントＳ１は、光線Ｘ１及びＸ２が重なった検出情報（例えば、色値）を生成する。映像復元装置は、映像を復元するために、このような重なった検出情報を復元する必要がある。
図５に示された検出エレメントＳ１～Ｓ７により生成される検出情報は、下記の数式（１）により、視点５９０のそれぞれから入射される光線に対応するオリジナル信号情報（例えば、色値）にモデリングされる。
Figure 0007264624000001
 上述した数式（１）において、Ｓは個別検出エレメントによって検出される検出情報（例えば、検出された色値）を指示する行列を示す。Ｘは、個別視点から検出エレメントＳ１～Ｓ７に入射される光線に対応する信号値（例えば、入射した光線の色値）を指示する行列を示す。Ｔは、変換行列として検出エレメントＳ１～Ｓ７によって検出された検出情報と入射される光に対応する信号情報との間の関係を示す。図５に示された構造の光線Ｘ１～Ｘ７、レンズ、及び検出エレメントＳ１～Ｓ７は、下記の数式（２）のようにモデリングされる。
Figure 0007264624000002
 一実施形態によれば、センサを構成する検出エレメントＳ１～Ｓ７に対応する検出情報（例えば、色情報）と個別視点から入射される光線Ｘ１～Ｘ７に対応するオリジナル信号との間の関係（例えば、上述した変換行列）は、上述したレンズ５１０とセンサとの間の配置、レンズアレイを構成しているレンズの個数、センサを構成している検出エレメントＳ１～Ｓ７の個数などに基づいて決定される。
変換行列Ｔの逆行列が存在するためには、変換行列Ｔが完全ランクを有しなければならない。したがって、撮影装置のパラメータは、変換行列Ｔが完全ランクを有するよう調整される。一実施形態によれば、オリジナル信号情報を指示する行列Ｘは、変換行列Ｔの逆行列及び検出エレメントによって検出された検出情報を指示する行列Ｓの積から下記の数式（３）のように算出される。
Figure 0007264624000003
 また、映像復元装置は、色座標系を構成している個別の色ごとに上述した数式（３）に類似するモデルを用いることができる。例えば、図５では、赤色、緑色、及び青色に対してオリジナル信号である光線Ｘ１～Ｘ７及び検出エレメントＳ１～Ｓ７間の関係が下記の数式（４）のようにモデリングされる。
Figure 0007264624000004
 上述した数式（４）において、ＲＸは視点５９０のそれぞれから入射される光線Ｘ１～Ｘ７に対応する赤色の色値を指示する色信号行列を示す。ＧＸは、視点５９０のそれぞれから入射される光線Ｘ１～Ｘ７に対応する緑色の色値を指示する色信号行列を示す。ＢＸは、視点５９０のそれぞれから入射される光線Ｘ１～Ｘ７に対応する青色の色値を指示する色信号行列を示す。ＲＳ、ＧＳ、及びＢＳは、それぞれセンサに配置された検出エレメントＳ１～Ｓ７の位置に対応する赤色、緑色、及び青色を指示する検出情報行列（例えば、検出情報行列は、各検出エレメントで検知された色情報を含む）を示す。ＴＲ、ＴＧ、及びＴＢは、それぞれ赤色、緑色、及び青色に対応する色信号行列を検出情報行列に変換する変換行列を示す。
完全ランクを充足するためには、センサを構成している各検出エレメントごとに全ての色（例えば、赤色、緑色、及び青色）に対する色値がサンプリングされなければならない。ただし、図５に示すように、検出エレメントＳ１～Ｓ７のそれぞれは１つの色に対する色値のみを検出するため、下記の数式（５）のようにモデリングされる。
Figure 0007264624000005
 説明の便宜上、センサの最初の行４５０に対応するＲ／Ｇパターンに対して、上述した数式（５）において、ＲＳ１、ＲＳ３、ＲＳ５、及びＲＳ７は、赤色を検出する検出エレメントＳ１、Ｓ３、Ｓ５、Ｓ７によって検出された色情報（例えば、色値）を示す。ＧＳ２、ＧＳ４、及びＧＳ６は、緑色を検出する検出エレメントＳ２、Ｓ４、Ｓ６によって検出された色情報（例えば、色値）を示す。
ただし、上述した数式（５）において、赤色に対する光線Ｘ１～Ｘ７及び検出エレメントＳ１～Ｓ７間の関係をモデリングすれば、下記の数式（６）のように示される。
Figure 0007264624000006
 上述した数式（６）のように、復元されなければならない信号の赤色に対する色情報は６個（ＲＸ１、ＲＸ２、ＲＸ３、ＲＸ５、ＲＸ６、ＲＸ７）であり、モデリングされた式は４個であるため、数式（６）に基づいたモデルは、オリジナル信号を復元することができない。
上述した数式（５）で、赤色に対する光線及びセンサ間の関係についても下記の数式（７）のように示される。
Figure 0007264624000007
 上述した数式（７）においても、復元されなければならない緑色信号に対する色情報は５個（ＧＸ１、ＧＸ３、ＧＸ４、ＧＸ５、ＧＸ７）であるが、モデリングされた式は３個であるため、数式（７）に基づいたモデルはオリジナル信号を復元することができない。
一実施形態に係る映像復元装置は、下記のようにオリジナル信号の色情報を復元する方式を提案する。
図６は、一実施形態に係る対象検出エレメントの色情報を復元するため、他のレンズを通過した光線を受信する検出エレメントを用いることを示す図である。
一実施形態に係る映像復元装置のプロセッサは、対象光線が通過したレンズと異なる他のレンズを通過し、対象光線との方向の差が最小化される他の光線を受信する検出エレメントを他の検出エレメントとして決定し得る。
例えば、図６において、映像復元装置は、検出エレメント６２１，６２２，６２３を含むセンサ６２０、及びレンズ６１１，６１２，６１３を含む。第１光線６９１が第１レンズ６１１を通過し、第１検出エレメント６２１に入射される。第１検出エレメント６２１は、緑色に対応する色値を検出情報として生成する。映像復元装置は、第１検出エレメント６２１が配置された位置の赤色の色値を推定するため、他の検出エレメントによって検出された色情報を用いることができる。
第２光線６９２及び第３光線６９３は、第１光線６９１と方向が類似するものと仮定する。第２光線６９２は、第２レンズ６１２を通過して第２検出エレメント６２２に入射される。第３光線６９３は、第３レンズ６１３を通過して第３検出エレメント６２３に入射される。図示するように、第２検出エレメント６２２及び第３検出エレメント６２３は、赤色に対応する色値を検出情報として生成する。したがって、映像復元装置は、図６において第２検出エレメント６２２及び第３検出エレメント６２３によって検出された赤色に対する色情報に基づいて、第１検出エレメント６２１の赤色に対する色情報を復元し得る。
一実施形態に係る映像復元装置のプロセッサは、対象検出エレメントに対する他の検出エレメントを決定し、他の検出エレメントが受信する光線と対象光線の方向との間で形成される角度の差は閾値角度の以下である。閾値角度は、設計に応じて変更されてもよい。
また、映像復元装置のプロセッサは、対象検出エレメントによって受信される対象光線の方向との間で形成される角度の差が小さい順に、予め決定された個数の検出エレメントを他の検出エレメントとして決定してもよい。したがって、映像復元装置は、対象検出エレメントに入射される光線と類似する方向で光線を受信する予め決定された個数の他の検出エレメントが検出した色情報を用いて、対象検出エレメントの色情報を復元し得る。予め決定された個数は、設計に応じて変更されてもよい。
映像復元装置は、類似方向の光線が入射される検出エレメントが相互マッピングされたマッピング情報を格納する。映像復元装置は、対象検出エレメントに対して特定の色情報（例えば、対象検出エレメントによって検出できない色）を復元できる検出エレメントをマッピング情報に基づいて検索する。例えば、マッピング情報に基づいて発見された検出エレメントは、対象検出エレメントと類似方向の光線を受信し得る。
映像復元装置は、対象検出エレメントに空間的に隣接している隣接検出エレメントのみを単に使用するのではなく、対象検出エレメントに入射される光線と類似する方向で光線が入射される他の検出エレメントが検出した色情報を用いることで、より正確な色情報を復元することができる。
図７は、説明の便宜のために、対象検出エレメントが受信する光線と方向性が類似する光線を受信する検出エレメントを１次元配列として例示的に示す図である。
上述したように、映像復元装置は、対象検出エレメントの色情報を補間するために、空間的に隣接している隣接検出エレメントの代わりに、対象検出エレメントに入射される光線と方向が類似している光線を受信する他の検出エレメントを参照する。例えば、レンズ７１１，７１２及び検出エレメント（Ｓ１）～（Ｓ７）は少しずつずれるよう配置された構造であるため、映像復元装置は、隣接している他のレンズを通過した光線を受信する検出エレメントによって検出される色情報を用いることで、補間の精度を改善することができる。
例えば、図７において、第２検出エレメント（Ｓ２）４５１の赤色に対応する色情報を復元する過程を説明する。
第２検出エレメント（Ｓ２）４５１と空間的に隣接する第１検出エレメント（Ｓ１）及び第３検出エレメント（Ｓ３）４５３を用いる場合、第２検出エレメント（Ｓ２）４５１に対する赤色の色情報は（ＲＳ１＋ＲＳ３）／２により算出される。ここで、ＲＳ１は、第１検出エレメント（Ｓ１）によって検出された赤色の色情報を示し、ＲＳ３は、第３検出エレメント（Ｓ３）４５３によって検出された赤色の色情報を示す。
ただし、第２検出エレメント（Ｓ２）４５１は、入射される光線（Ｘ３及びＸ４）７９１が混合した強度値を指示する検出情報を生成し、第２検出エレメント４５１に対応するオリジナル赤色信号はＲＸ３＋ＲＸ４により表現される。ＲＸ３は、光線Ｘ３の赤色成分に対応する色値、ＲＸ４は光線Ｘ４の赤色成分に対応する色値を示す。
図７に示すように、光線Ｘ３は、第５検出エレメント（Ｓ５）４５２に入射される。したがって、ＲＳ２と最も類似する検出情報は、ＲＳ１よりもむしろ、第５検出エレメント４５２によって検出される色情報ＲＳ５である。したがって、単に空間的に隣接している隣接検出エレメントによって検出された色情報（ＲＳ１）を用いるのではなく、映像復元装置は、類似する方向を有する光線を受信した他の検出エレメントによって検出された色情報（ＲＳ６）を用いることで、より正確にカラー映像を復元できる。
また、映像復元装置のプロセッサは、対象検出エレメントと空間的に隣接している隣接検出エレメントによって検出された色情報、及び他の検出エレメントによって検出された色情報に基づいて、対象検出エレメントの位置に対応する色情報を推定し得る。例えば、図７に示された構造で、光線Ｘ４は、赤色を検出できる検出エレメントに入射されず、映像復元装置は、隣接検出エレメントによって検出された色情報を他の検出エレメントによって検出された色情報と共に利用できる。
Figure 0007264624000008
 上述した数式（８）は、他の検出エレメントである第５検出エレメント（Ｓ５）４５２によって検出された色情報ＲＳ５、及び隣接検出エレメントである第３検出エレメント（Ｓ３）４５３によって検出された色情報ＲＳ３に基づいて、対象検出エレメントである第２検出エレメント（Ｓ２）４５１の赤色の色情報を復元することを示す。図７に示すように、色情報ＲＳ５は、光線ＲＸ２及びＲＸ３が混合した色値を示し、ＲＳ３は、光線ＲＸ５及びＲＸ６が混合した色値を示す。
また、映像復元装置は、上述した数式（８）のように、個別検出エレメントによって検出された色情報に加重値を、例えば、対象検出エレメントから他の検出エレメント間の距離、検出エレメントの総個数などに基づいて付与し得る。一実施形態によれば、プロセッサは、隣接検出エレメントによって検出された色情報に第１加重値（例えば、１－α）を適用し、他の検出エレメントによって検出された色情報に第２加重値（例えば、α）を適用する。赤色を検出できない残りの検出エレメントＳ４、Ｓ６についても、映像復元装置は下記の数式（９）のようにモデリングする。
Figure 0007264624000009
 映像復元装置は、補間しようとする対象検出エレメントの色値を推定するため、対象検出エレメントに入射される光線と類似方向の光線を受信する他の検出エレメントによって検出された色値を用いることができる。
上述した数式（８）～数式（１０）は、説明の便宜上、対象検出エレメントと同じライン上で方向性が類似する光線を受信する他の検出エレメントの色情報を参照するものとして説明されているが、これに限定されることはない。例えば、映像復元装置は、２次元空間上で対象検出エレメントが受信する光線が通過したレンズと、上下左右に隣接している他のレンズを通過した光線が入射される検出エレメントの色情報を用いてもよい。
上述した数式（８）～数式（１０）は、図７に示された構造を説明するための数式として、これを赤色に対して一般化すれば、下記の数式（１１）のように示す。
Figure 0007264624000010
 上述した数式（１１）において、ＲＳｉはｉ番目の対象検出エレメントに対して復元されなければならない色値を示す。ＲＳｊは、ｊ番目の他の検出エレメントによって検出された色値を示す。αｊは、ｊ番目の他の検出エレメントによって検出された色値に適用される加重値を示す。Ｎは、ｉ番目の対象検出エレメントが受信する光線と方向が類似する光線を受信する他の検出エレメントの個数を示す。映像復元装置は、上述した数式（１１）に従って、全ての色に対して、対象検出エレメントと類似方向の光線を受信する他の検出エレメントによって検出された色情報の加重平均を算出する。
また、プロセッサは、対象検出エレメントによって受信される対象光線の方向と他の検出エレメントによって受信される他の光線の方向との間の角度の差が小さいほど、他の検出エレメントによって検出された色情報にさらに高い加重値を適用し得る。
図８は、一実施形態に係る映像復元方法を詳細に示すフローチャートである。
まず、ステップＳ８１０において、映像復元装置は、マルチレンズアレイを介して映像を撮影する。例えば、映像復元装置のマルチレンズアレイは光線を通過させ、センサは、入射した光線から各検出エレメントが検出できる色に対応する色値を指示する検出情報を生成する。
そして、ステップＳ８２０において、映像復元装置は、色補間のために最も類似する光線を検索する。例えば、映像復元装置は、対象検出エレメントの色情報を復元するため上述したように、対象検出エレメントに入射される光線と類似方向の光線が入射される他の検出エレメントを選択する。
次に、ステップＳ８３０において、映像復元装置は、対象検出エレメントに対して対象検出エレメントに入射される光線と最も類似する光線を用いて色を補間する。例えば、映像復元装置は、類似方向の光線が入射される他の検出エレメントによって検出される色情報に基づいて、対象検出エレメントに対応する色情報を推定し得る。映像復元装置は、色座標系を構成している各色に対して、対象検出エレメントに対応する色情報を復元する。例えば、色座標系がＲＧＢから構成される場合、映像復元装置は、赤色を検出できない対象検出エレメント（例えば、青色又は緑色を検出できる検出エレメント）に対して、赤色を検出できる他の検出エレメントを用いて対象検出エレメントに対応する赤色の色値を推定する。映像復元装置は、対象検出エレメントに対して赤色、青色、及び緑色のそれぞれに対応する色情報を決定する。
そして、ステップＳ８４０において、映像復元装置は、各色チャネルに対して映像を復元する。一実施形態によれば、映像復元装置のプロセッサは、ステップＳ８３０で復元された色情報に基づいてカラー映像を復元する。映像復元装置は、色座標系を構成している各色に対して復元された色情報を結合することで、カラー映像を復元することができる。
図９は、一実施形態に係る映像復元の例示を説明した図である。
映像復元装置は、上述した図１～図７を参照して説明した動作を行うことによって、センサを構成している各検出エレメントに対して全ての色に対する色情報を決定し得る。例えば、色座標系が第１色～第３色で構成されている場合、映像復元装置は、各検出エレメントに対して該当の検出エレメントが検出できる第１色については、該当検出エレメントによって検出された色値を用いる。該当検出エレメントが検出できない第２色又は第３色については、他の検出エレメントによって検出された第２色又は第３色に対応する色値に基づいて、該当検出エレメントに対応する第２色又は第３色の色値を推定できる。第１色ないし第３色は、ＲＧＢ系で、赤色、緑色、及び青色の１つに対応してもよいが、色座標系がＲＧＢ系に限定されることはない。
図９は、色座標系を構成している色の１つの色に対して映像復元装置が各検出エレメントに対応する色情報を復元することを例示的に図示する。映像復元装置は、全ての色に対して色情報を復元し得る。
上述した数式（３）のように、オリジナル信号（図９では、任意の一つの色に対応する色信号）Ｘは、変換行列の逆行列Ｔ－１及び検出情報行列Ｓの行列の積に基づいて推定される。変換行列の逆行列Ｔ－１は、上述したように、検出エレメントと視点の対応関係に基づいて決定される。変換行列Ｔは、レンズとセンサとの間の配置によって、１つの検出エレメントで複数の視点に対応する光線が重なって検出される構造をモデリングした行列を示す。検出情報行列Ｓは、各検出エレメントに対応する検出情報として、各検出エレメントによって検出された色情報（例えば、色値）を含む。
図９に示すように、映像復元装置は、検出情報行列Ｓに検出エレメントと視点の対応関係に基づいた変換行列が逆変換された逆行列Ｔ－１を適用することにより、検出情報行列Ｓからオリジナル色信号Ｘを復元し得る。映像復元装置は、各色に対して、上述した数式（３）、数式（４）及び図９により逆行列Ｔ－１を検出情報に適用することで色情報を復元でき、各色に対して復元された色情報に基づいてカラー映像を復元できる。
図１０及び図１１は、一実施形態に係る映像復元装置が具現できる機器を示す図である。
一実施形態に係る映像復元装置は様々な技術分野に適用される。映像復元装置は、複数のレンズで構成されるレンズアレイ及び複数の検出エレメントで構成されるセンサが比較的に短い焦点距離で離隔するよう設計されている。したがって、映像復元装置は、高画質の撮影のためにセンサの大きさが大きく、同時に超薄型カメラで具現できる。
例えば、図１０に示すように、スマートフォン機器１０００に前面カメラとして映像復元装置１０１０が具現されている。映像復元装置１０１０のセンサはフルフレーム（ｆｕｌｌ ｆｒａｍｅ）で具現されてもよく、レンズアレイはマイクロレンズ（ｍｉｃｒｏ ｌｅｎｓ）で具現されてもよい。
また、図１１に示すように、車両１１００に、曲線又は曲面の形状を有する前面カメラ又は後面カメラとして映像復元装置１１１０が具現されている。ただし、これに限定されることなく、映像復元装置は、ＤＳＬＲカメラ、ドローン、ＣＣＴＶ、Ｗｅｂカメラ、３６０度撮影カメラ、映画及び放送のためのカメラ、及びＶＲ／ＡＲカメラなどに使用されてもよい。さらに、映像復元装置は、柔軟であるか延長され得るカメラ（Ｆｌｅｘｉｂｌｅ／Ｓｔｒｅｔｃｈａｂｌｅ Ｃａｍｅｒａ）、虫の目カメラ、コンタクトレンズタイプ（Ｃｏｎｔａｃｔ ｌｅｎｓ ｔｙｐｅ）カメラなどのような様々な分野においも適用され得る。
以上述した装置は、ハードウェア構成要素、ソフトウェア構成要素、又はハードウェア構成要素及びソフトウェア構成要素の組合せで具現される。例えば、本実施形態で説明した装置及び構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、マイクロコンピュータ、ＦＰＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサー、又は命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行して応答する異なる装置のように、１つ以上の汎用コンピュータ又は特殊目的コンピュータを用いて具現される。処理装置は、オペレーティングシステム（ＯＳ）及びオペレーティングシステム上で実行される１つ以上のソフトウェアアプリケーションを実行する。また、処理装置は、ソフトウェアの実行に応答してデータをアクセス、格納、操作、処理、及び生成する。理解の便宜のために、処理装置は１つが使用されるものとして説明する場合もあるが、当技術分野で通常の知識を有する者は、処理装置が複数の処理要素（ｐｒｏｃｅｓｓｉｎｇ ｅｌｅｍｅｎｔ）及び／又は複数類型の処理要素を含むことが把握する。例えば、処理装置は、複数のプロセッサ又は１つのプロセッサ及び１つのコントローラを含む。また、並列プロセッサ（ｐａｒａｌｌｅｌ ｐｒｏｃｅｓｓｏｒ）のような、他の処理構成も可能である。
ソフトウェアは、コンピュータプログラム、コード、命令、又はこののうちの１つ以上の組合せを含み、希望の通りに動作するように処理装置を構成し、独立的又は結合的に処理装置に命令する。ソフトウェア及び／又はデータは、処理装置によって解釈され、処理装置に命令又はデータを提供するためのあらゆる類型の機械、構成要素、物理的装置、仮想装置、コンピュータ格納媒体又は装置、或いは送信される信号波を介して永久的又は一時的に具現化される。ソフトウェアは、ネットワークに連結されたコンピュータシステム上に分散され、分散された方法で格納されるか又は実行される。ソフトウェア及びデータは１つ以上のコンピュータ読み取り可能な記録媒体に格納される。
本実施形態による方法は、様々なコンピュータ手段を介して実施されるプログラム命令の形態で具現され、コンピュータ読み取り可能な記録媒体に記録される。記録媒体は、プログラム命令、データファイル、データ構造などを単独又は組合せて含む。記録媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ－ＲＯＭ、ＤＹＩＪＤのような光記録媒体、フロプティカルディスクのような磁気－光媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置を含む。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。ハードウェア装置は、本発明に示す動作を実行するために１つ以上のソフトウェアモジュールとして作動するように構成してもよく、その逆も同様である。
上述したように実施形態をたとえ限定された図面によって説明したが、当技術分野で通常の知識を有する者であれば、上記の説明に基づいて様々な技術的な修正及び変形を適用することができる。例えば、説明された技術が説明された方法と異なる順で実行されるし、及び／又は説明されたシステム、構造、装置、回路などの構成要素が説明された方法と異なる形態で結合又は組み合わせられてもよいし、他の構成要素又は均等物によって置き換え又は置換されたとしても適切な結果を達成することができる。
したがって、本発明の範囲は、開示された実施形態に限定されて定められるものではなく、特許請求の範囲及び特許請求の範囲と均等なものなどによって定められるものである。
２００：映像復元装置
２１０：レンズ
２２０：センサ
２３０：プロセッサ

Claims (21)

  1. 映像復元装置において、
    複数の光線を通過させる複数のレンズと、
    前記複数のレンズのうち第１レンズを通過した対象光線を受信する対象検出エレメント、及び前記複数のレンズのうち第１レンズと異なる第２レンズを通過した第２光線を受信する第２検出エレメントを含むセンサと、
    前記第２光線の方向と前記対象光線の方向との間の差に基づいて前記第２検出エレメントを決定し、前記第２検出エレメントによって検出された色情報に基づいて前記対象検出エレメントに対応する色情報を復元するプロセッサと、
    を含む映像復元装置。
  2. 映像復元装置において、
    複数の光線を通過させる複数のレンズと、
    前記複数のレンズのうち第１レンズを通過した対象光線を受信する対象検出エレメント、及び前記複数のレンズのうち第１レンズと異なる第２レンズを通過した第２光線を受信する第２検出エレメントを含むセンサと、
    前記第２光線の方向と前記対象光線の方向との間の差に基づいて前記第２検出エレメントを決定し、前記第２検出エレメントによって検出された色情報に基づいて前記対象検出エレメントに対応する色情報を復元するプロセッサと、
    を含み、
    前記プロセッサは、前記対象検出エレメントによって受信される対象光線の方向と前記第２検出エレメントによって受信される前記第２光線の方向との間の角度の差が小さいほど、前記第２検出エレメントによって検出された色情報に適用される加重値を増加させる映像復元装置。
  3. 前記第２検出エレメントに対する前記第２光線の方向と前記対象光線の方向との間の差は閾値以下である、請求項１又は２に記載の映像復元装置。
  4. 前記対象検出エレメントによって受信される前記対象光線の方向と前記第２検出エレメントに対する前記第２光線の方向との間の角度差は閾値角度以下である、請求項１又は２に記載の映像復元装置。
  5. 前記プロセッサは、前記対象検出エレメントによって受信される対象光線の方向と予め決定された個数の検出エレメントによって受信される方向との間の角度の差が小さい順に、前記予め決定された個数の検出エレメントを前記第２検出エレメントとして決定する、請求項１ないし４のうちの何れか一項に記載の映像復元装置。
  6. 前記プロセッサは、前記復元された色情報に基づいてカラー映像を復元する、請求項１ないし５のうちの何れか一項に記載の映像復元装置。
  7. 前記対象検出エレメントは、前記複数の光線のうち前記対象検出エレメントによって受信される対象光線から第１色に対応する色値を検出し、
    前記第２検出エレメントは、前記複数の光線のうち前記第２検出エレメントによって受信される前記第２光線から第２色に対応する色値を検出し、
    前記第１色及び前記第２色は互いに異なり、
    前記プロセッサは、前記第２検出エレメントによって検出された第２色に対応する色値に基づいて、前記対象検出エレメントが配置された位置に対応する第２色に対応する色値を決定する、請求項１ないし３のうちの何れか一項に記載の映像復元装置。
  8. 前記プロセッサは、前記対象検出エレメントと空間的に隣接する隣接検出エレメントによって検出された色情報、及び前記第２検出エレメントによって検出された色情報に基づいて、前記対象検出エレメントの位置に対応する色情報を決定する、請求項１に記載の映像復元装置。
  9. 前記プロセッサは、前記隣接検出エレメントによって検出された色情報に第１加重値を適用し、前記第２検出エレメントによって検出された色情報に第２加重値を適用する、請求項８に記載の映像復元装置。
  10. 前記複数のレンズは、前記センサに含まれた複数の検出エレメントに対して、一対一の対応関係ではない所定の対応関係に従って配置される、請求項１ないし９のうちの何れか一項に記載の映像復元装置。
  11. 映像復元方法において、
    複数の検出エレメントを含むセンサによって、複数のレンズを通過した複数の光線を受信するステップと、
    対象光線の方向に基づいて前記複数のレンズのうち第２レンズを通過する第２光線を受信する第２検出エレメントを選択するステップであって、前記第２検出エレメントは、前記複数のレンズのうち第１レンズを通過した前記対象光線を受信した対象検出エレメントとは異なる、ステップと、
    前記第２検出エレメントによって検出された色情報に基づいて、前記対象検出エレメントに対応する色情報を復元するステップと、
    を含み、
    前記第２検出エレメントは、前記対象光線の方向と前記第２光線の方向との間の差に基づいて選択される、映像復元方法。
  12. 映像復元装置において、
    複数の検出エレメントを含むセンサによって複数のレンズを通過した複数の光線を受信するステップと、
    対象光線の方向に基づいて前記複数のレンズのうち第２レンズを通過する第２光線を受信する第２検出エレメントを選択するステップと（前記第２検出エレメントは、前記複数のレンズのうち第１レンズを通過した前記対象光線を受信した対象検出エレメントとは異なる）、
    前記第２検出エレメントにより検出された色情報に基づいて、前記対象検出エレメントに対応する色情報を復元するステップと、
    を含み、
    前記第２検出エレメントは、前記対象光線の方向と前記第２光線の方向との間の差に基づいて選択され、
    前記色情報を復元するステップは、前記対象検出エレメントによって受信される対象光線の方向と前記第２検出エレメントによって受信される前記第２光線の方向との間の角度差が小さいほど、前記第２検出エレメントによって検出された色情報に適用される加重値を増加させるステップを含む、映像復元方法。
  13. 前記第２検出エレメントに対する前記第２光線の方向と前記対象光線の方向との間の差は閾値以下である、請求項１１又は１２に記載の映像復元方法。
  14. 前記第２検出エレメントに対する前記第２光線の方向と前記対象光線の方向との間の角度差は閾値角度以下である、請求項１１又は１２に記載の映像復元方法。
  15. 前記第２検出エレメントを選択するステップは、前記対象検出エレメントによって受信される対象光線の方向と予め決定された個数の検出エレメントによって受信される方向との間の角度の差が小さい順に、前記予め決定された個数の検出エレメントを前記第２検出エレメントとして決定するステップを含む、請求項１１ないし１４のうちの何れか一項に記載の映像復元方法。
  16. 前記復元された色情報に基づいて、カラー映像を復元するステップをさらに含む、請求項１１ないし１５のうちの何れか一項に記載の映像復元方法。
  17. 前記複数の光線を受信するステップは、
    前記複数の光線のうち、前記対象検出エレメントによって受信される対象光線から第１色に対応する色値を検出するステップと、
    前記複数の光線のうち、前記第２検出エレメントによって受信される前記第２光線から前記第１色と異なる第２色に対応する色値を検出するステップと、
    を含み、
    前記色情報を復元するステップは、前記第２検出エレメントによって検出された第２色に対応する色値に基づいて、前記対象検出エレメントが配置された位置に対応する第２色に対応する色値を決定するステップを含む、請求項１１ないし１６のうちの何れか一項に記載の映像復元方法。
  18. 前記色情報を復元するステップは、前記対象検出エレメントと空間的に隣接する隣接検出エレメントによって検出された色情報及び前記第２検出エレメントによって検出された色情報に基づいて、前記対象検出エレメントの位置に対応する色情報を推定するステップを含む、請求項１１又は１２に記載の映像復元方法。
  19. 前記色情報を推定するステップは、前記隣接検出エレメントによって検出された色情報に第１加重値を適用し、前記第２検出エレメントによって検出された色情報に第２加重値を適用するステップを含む、請求項１８に記載の映像復元方法。
  20. 請求項１１ないし１９うち何れか一項に記載の映像復元方法を映像復元装置のコンピュータに実行させるコンピュータプログラム。
  21. 前記加重値は、前記対象検出エレメントと前記第２検出エレメントとの間の距離に基づいて決定される、請求項２に記載の映像復元装置。
JP2018219278A 2017-11-24 2018-11-22 映像復元装置及び方法 Active JP7264624B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170158646A KR102565277B1 (ko) 2017-11-24 2017-11-24 영상 복원 장치 및 방법
KR10-2017-0158646 2017-11-24

Publications (2)

Publication Number Publication Date
JP2019097169A JP2019097169A (ja) 2019-06-20
JP7264624B2 true JP7264624B2 (ja) 2023-04-25

Family

ID=64453345

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018219278A Active JP7264624B2 (ja) 2017-11-24 2018-11-22 映像復元装置及び方法

Country Status (5)

Country Link
US (2) US10902557B2 (ja)
EP (1) EP3490251A1 (ja)
JP (1) JP7264624B2 (ja)
KR (1) KR102565277B1 (ja)
CN (1) CN109842749B (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11030724B2 (en) 2018-09-13 2021-06-08 Samsung Electronics Co., Ltd. Method and apparatus for restoring image
KR102653106B1 (ko) 2018-10-18 2024-04-01 삼성전자주식회사 영상 처리 장치 및 방법
KR20210081767A (ko) 2019-12-24 2021-07-02 삼성전자주식회사 이미지 장치 및 이미지 센싱 방법
US11595575B2 (en) 2020-05-11 2023-02-28 Samsung Electronics Co., Ltd. Image sensor
KR20220053361A (ko) 2020-10-22 2022-04-29 삼성전자주식회사 이미징 장치
JP6898684B1 (ja) * 2020-11-17 2021-07-07 株式会社シンカ・アウトフィットＮｑ 解析装置
KR20230037953A (ko) 2021-09-10 2023-03-17 삼성전자주식회사 컬러 변환 방법 및 이를 수행하는 전자 장치와 이미지 센서
KR20230111379A (ko) 2022-01-18 2023-07-25 삼성전자주식회사 이미지 센서 및 이미징 장치
CN116381954B (zh) * 2023-06-05 2023-09-22 河南百合特种光学研究院有限公司 一种高斯转平顶紫外激光整形镜头系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005176040A (ja) 2003-12-12 2005-06-30 Canon Inc 撮像装置
WO2007060847A1 (ja) 2005-11-22 2007-05-31 Matsushita Electric Industrial Co., Ltd. 撮像装置
JP2008011532A (ja) 2006-06-26 2008-01-17 Samsung Electro Mech Co Ltd イメージ復元方法及び装置
JP2010516180A (ja) 2007-01-11 2010-05-13 レイセオン カンパニー 複数のイメージセンサを用いるビデオカメラシステム
US20130128068A1 (en) 2010-08-27 2013-05-23 Todor G. Georgiev Methods and Apparatus for Rendering Focused Plenoptic Camera Data using Super-Resolved Demosaicing
US20130128087A1 (en) 2010-08-27 2013-05-23 Todor G. Georgiev Methods and Apparatus for Super-Resolution in Integral Photography
JP2015046687A (ja) 2013-08-27 2015-03-12 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム並びに撮像装置

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100617781B1 (ko) * 2004-06-29 2006-08-28 삼성전자주식회사 이미지 센서의 화질 개선장치 및 방법
JP4905326B2 (ja) 2007-11-12 2012-03-28 ソニー株式会社 撮像装置
KR100924121B1 (ko) * 2007-12-15 2009-10-29 한국전자통신연구원 컬러 체커 챠트를 이용한 다중 카메라간 컬러 일치 방법
JP5446797B2 (ja) * 2009-12-04 2014-03-19 株式会社リコー 撮像装置
CN102822863B (zh) * 2010-03-31 2015-11-25 佳能株式会社 图像处理设备和使用该图像处理设备的图像拾取设备
US20120188409A1 (en) 2011-01-24 2012-07-26 Andrew Charles Gallagher Camera with multiple color sensors
CN103688536B (zh) 2011-05-30 2016-05-11 株式会社尼康 图像处理装置、图像处理方法
JP5984493B2 (ja) 2011-06-24 2016-09-06 キヤノン株式会社 画像処理装置、画像処理方法、撮像装置およびプログラム
KR101328741B1 (ko) * 2012-01-03 2013-11-11 중앙대학교 산학협력단 색상 채널을 이용한 영상 개선 장치 및 방법
KR101958910B1 (ko) * 2012-10-26 2019-03-15 에스케이 텔레콤주식회사 영상보정의 가속화를 위한 영상보정 장치 및 그 방법
KR101767093B1 (ko) * 2012-12-14 2017-08-17 한화테크윈 주식회사 색감 복원 방법 및 장치
JP6190119B2 (ja) 2013-02-08 2017-08-30 キヤノン株式会社 画像処理装置、撮像装置、制御方法、及びプログラム
KR102564478B1 (ko) 2016-11-22 2023-08-07 삼성전자주식회사 3d 영상 렌더링 방법 및 장치
KR102646437B1 (ko) 2016-11-25 2024-03-11 삼성전자주식회사 멀티 렌즈 기반의 촬영 장치 및 방법
KR102397089B1 (ko) 2017-07-28 2022-05-12 삼성전자주식회사 이미지 처리 방법 및 이미지 처리 장치
KR102447101B1 (ko) 2017-09-12 2022-09-26 삼성전자주식회사 무안경 3d 디스플레이를 위한 영상 처리 방법 및 장치
KR102427854B1 (ko) 2017-09-25 2022-08-01 삼성전자주식회사 영상 렌더링 방법 및 장치
KR102556420B1 (ko) 2017-09-25 2023-07-17 삼성전자주식회사 디스플레이 장치
KR102410834B1 (ko) 2017-10-27 2022-06-20 삼성전자주식회사 반사 영역을 제거하는 방법, 사용자의 눈을 추적하는 방법 및 그 장치
KR102495359B1 (ko) 2017-10-27 2023-02-02 삼성전자주식회사 객체 트래킹 방법 및 장치
KR102401168B1 (ko) 2017-10-27 2022-05-24 삼성전자주식회사 3차원 디스플레이 장치의 파라미터 캘리브레이션 방법 및 장치
KR102547822B1 (ko) 2017-11-24 2023-06-26 삼성전자주식회사 Hud 시스템 및 hud를 위한 광학 소자
US11375092B2 (en) * 2018-10-04 2022-06-28 Samsung Electronics Co., Ltd. Image sensor and image sensing method

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005176040A (ja) 2003-12-12 2005-06-30 Canon Inc 撮像装置
WO2007060847A1 (ja) 2005-11-22 2007-05-31 Matsushita Electric Industrial Co., Ltd. 撮像装置
JP2008011532A (ja) 2006-06-26 2008-01-17 Samsung Electro Mech Co Ltd イメージ復元方法及び装置
JP2010516180A (ja) 2007-01-11 2010-05-13 レイセオン カンパニー 複数のイメージセンサを用いるビデオカメラシステム
US20130128068A1 (en) 2010-08-27 2013-05-23 Todor G. Georgiev Methods and Apparatus for Rendering Focused Plenoptic Camera Data using Super-Resolved Demosaicing
US20130128087A1 (en) 2010-08-27 2013-05-23 Todor G. Georgiev Methods and Apparatus for Super-Resolution in Integral Photography
JP2015046687A (ja) 2013-08-27 2015-03-12 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム並びに撮像装置

Also Published As

Publication number Publication date
CN109842749A (zh) 2019-06-04
US11334968B2 (en) 2022-05-17
KR102565277B1 (ko) 2023-08-09
US10902557B2 (en) 2021-01-26
CN109842749B (zh) 2021-12-07
US20210218944A1 (en) 2021-07-15
JP2019097169A (ja) 2019-06-20
KR20190060441A (ko) 2019-06-03
US20190164255A1 (en) 2019-05-30
EP3490251A1 (en) 2019-05-29

Similar Documents

Publication Publication Date Title
JP7264624B2 (ja) 映像復元装置及び方法
JP5929553B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
JP7101646B2 (ja) イメージ復元方法及び装置
US20190215496A1 (en) Extended Color Processing on Pelican Array Cameras
JP2021072615A (ja) 映像復元装置及び方法
CN106997579B (zh) 图像拼接的方法和装置
EP3633969B1 (en) Image sensor and image sensing method
US11734877B2 (en) Method and device for restoring image obtained from array camera
WO2015132831A1 (ja) 撮像装置
EP3910385A1 (en) Image sensor
KR102644944B1 (ko) 이미지 센서 및 이미지 센싱 방법
KR20200072136A (ko) 렌즈 어레이 카메라 및 렌즈 어레이 카메라의 구동 방법
US20190340771A1 (en) Method for detecting motion in a video sequence
KR102653106B1 (ko) 영상 처리 장치 및 방법
CN113971629A (zh) 图像恢复方法和装置
WO2018139250A1 (ja) 全天球撮像装置
WO2018078222A1 (en) Multiple view colour reconstruction
US11988849B2 (en) Imaging device and method
KR20210137886A (ko) 이미지 센서

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211119

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221104

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230224

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230328

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230413

R150 Certificate of patent or registration of utility model

Ref document number: 7264624

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150