WO2016139883A1 - 超解像処理方法、超解像処理装置及び超解像処理システム - Google Patents

超解像処理方法、超解像処理装置及び超解像処理システム Download PDF

Info

Publication number
WO2016139883A1
WO2016139883A1 PCT/JP2016/000413 JP2016000413W WO2016139883A1 WO 2016139883 A1 WO2016139883 A1 WO 2016139883A1 JP 2016000413 W JP2016000413 W JP 2016000413W WO 2016139883 A1 WO2016139883 A1 WO 2016139883A1
Authority
WO
WIPO (PCT)
Prior art keywords
resolution
image
super
captured image
pattern illumination
Prior art date
Application number
PCT/JP2016/000413
Other languages
English (en)
French (fr)
Inventor
今川　太郎
日下　博也
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to EP16758584.3A priority Critical patent/EP3267676A1/en
Priority to JP2016543244A priority patent/JP6016000B1/ja
Publication of WO2016139883A1 publication Critical patent/WO2016139883A1/ja
Priority to US15/409,334 priority patent/US20170124683A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3876—Recombination of partial images to recreate the original image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/393—Enlarging or reducing

Definitions

  • the present disclosure relates to a super-resolution processing method, a super-resolution processing apparatus, and a super-resolution processing system.
  • the illumination device 200 irradiates (projects) the subject 11 with pattern illumination light having a spatiotemporal resolution higher than that of the captured image.
  • the spatiotemporal resolution is at least one of a spatial resolution and a temporal resolution.
  • the image processing apparatus 120 is an image processing unit that performs super-resolution processing on a captured image. That is, the image processing device 120 generates a high-resolution image having a spatiotemporal resolution higher than the spatiotemporal resolution of the captured image using the captured image.
  • the photographing unit 112 has an optical system such as an image sensor and a lens.
  • the imaging unit 112 generates a captured image by capturing the subject 11 irradiated with the pattern illumination light.
  • pixels in a specific narrow area in the photographed image are rough and the image becomes unclear.
  • it is possible to increase the resolution of the specific narrow area by performing shooting while irradiating the subject 11 reflected in the specific narrow area with high-resolution pattern illumination light.
  • the image quality of the high-resolution image can be improved by increasing the number of captured images.
  • a high-frequency periodic pattern as a reference object 14 is further irradiated to a region that is different from the irradiation region 13 and included in the captured image 12.
  • the timing control unit 311 includes, for example, a nonvolatile memory in which a program is stored, a volatile memory that is a temporary storage area for executing the program, an input / output port, and a processor that executes the program.
  • the timing control unit 311 controls the timing of shooting by the shooting unit 112. For example, the timing control unit 311 controls the start and end of exposure by the imaging unit 112 in synchronization with the timing of irradiation with a plurality of pattern illumination lights.
  • FIG. 15 is a flowchart showing the operation (super-resolution processing method) of the super-resolution processing system 20 according to the present embodiment.
  • the super-resolution processing unit 125 uses, for each of a plurality of candidate areas that are a plurality of candidates for the pattern illumination light irradiation area in the captured image 12, using pixels of the candidate area in the captured image. And a candidate generating step for generating a high-resolution image candidate having a spatiotemporal resolution higher than that of the captured image, and a determining step for determining one high-resolution image candidate as a high-resolution image from the plurality of high-resolution image candidates.
  • the timing detection unit 322 detects the change timing of the pattern illumination light
  • the present invention is not limited thereto.
  • a plausible one from the plurality of high-resolution image candidates may be selected as the high-resolution image.
  • the image processing apparatus 320 does not have to include the timing detection unit 322.
  • the above-described validity index can be used.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

　撮影画像を高解像度化する超解像処理方法であって、空間解像度及び時間解像度の少なくとも一方である時空間解像度が撮影画像より高いパターン照明光を、被写体に照射する照射ステップと、パターン照明光が照射された被写体を撮影することで、撮影画像を生成する撮影ステップと、生成された撮影画像を用いて、時空間解像度が撮影画像の時空間解像度より高い高解像度画像を生成する画像処理ステップとを含む。

Description

超解像処理方法、超解像処理装置及び超解像処理システム
　本開示は、超解像処理方法、超解像処理装置及び超解像処理システムに関する。
　非特許文献１は、照明の位置を変えることで結像位置を変化させて得られる複数の画像から高解像度画像を得る顕微鏡を開示している。
Guoan Zhenga, et al., "The ePetri dish, an on-chip cell imaging platform based on subpixel perspective sweeping microscopy (SPSM)", Proceedings of the National Academy of Sciences, vol. 108, no. 41, 16889-16894, 2011 S. Farsiu, D. Robinson, M. Elad, and P. Milanfar, "Fast and Robust Multi-frame Super-resolution", IEEE Transactions on Image Processing, vol. 13, no. 10, pp. 1327-1344, October 2004
　本開示は、時空間解像度が低い撮影画像から時空間解像度が高い画像を生成することができる超解像処理方法、超解像処理装置及び超解像処理システムを提供する。
　上記課題を解決するため、本開示に係る超解像処理方法は、撮影画像を高解像度化する超解像処理方法であって、空間解像度及び時間解像度の少なくとも一方である時空間解像度が撮影画像より高いパターン照明光を、被写体に照射する照射ステップと、パターン照明光が照射された被写体を撮影することで、撮影画像を生成する撮影ステップと、撮影画像を用いて、時空間解像度が撮影画像の時空間解像度より高い高解像度画像を生成する画像処理ステップとを含む。
　本開示によれば、時空間解像度が低い撮影画像から時空間解像度が高い画像を生成することができる。
図１は、実施の形態１に係る超解像処理システムを示す概略図である。 図２は、実施の形態１に係る被写体を示す図である。 図３は、図２に示す被写体を従来の方法で撮影することで得られる撮影画像を示す図である。 図４は、実施の形態１に係る超解像処理システムの機能構成を示すブロック図である。 図５は、実施の形態１に係るパターン照明光の照射パターンと撮影画像とを示す図である。 図６は、実施の形態１に係る超解像処理システムの動作（超解像処理方法）を示すフローチャートである。 図７は、実施の形態１に係るパターン照明光の照射と撮影とのタイミングを示す図である。 図８Ａは、実施の形態１に係る撮影画像を示す図である。 図８Ｂは、実施の形態１に係る領域検出を行うための撮影画像を示す図である。 図９は、実施の形態１に係る高解像度画像を示す図である。 図１０は、実施の形態２に係る超解像処理システムを示す概略図である。 図１１は、図１０に示す被写体の動きと当該被写体を従来の方法で撮影することで得られる撮影画像とを示す図である。 図１２は、実施の形態２に係る超解像処理システムの機能構成を示すブロック図である。 図１３は、実施の形態２に係るパターン照明光の照射パターンと撮影画像とを示す図である。 図１４は、実施の形態２に係るパターン照明光の照射と撮影とのタイミングを示す図である。 図１５は、実施の形態２に係る超解像処理システムの動作（超解像処理方法）を示すフローチャートである。 図１６は、実施の形態２に係るパターン照明光の照射と撮影とのタイミングを示す図である。 図１７は、実施の形態２に係るパターン照明光の照射パターンと撮影画像との例を示す図である。 図１８は、実施の形態２に係るパターン照明光の照射と撮影とのタイミングの別の例を示す図である。 図１９は、実施の形態２に係る高解像度画像を示す図である。
　以下、適宜図面を参照しながら、実施の形態を詳細に説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、すでによく知られた事項の詳細説明、及び、実質的に同一の構成に対する重複説明などを省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
　なお、発明者らは、当業者が本開示を十分に理解するために添付図面及び以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。
　また、各図は、模式図であり、必ずしも厳密に図示されたものではない。また、各図において、同じ構成部材については同じ符号を付している。
　（実施の形態１）
　以下、図１～図９を用いて、実施の形態１を説明する。
　［１－１．構成］
　［１－１－１．概要］
　図１は、本実施の形態に係る超解像処理システム１０の構成を示す図である。図２は、本実施の形態に係る被写体１１を示す図である。図３は、図２に示す被写体１１を従来の方法で撮影することで得られる撮影画像を示す図である。
　例えば、図３は、８画素×８画素の領域に被写体１１が撮影された場合を示している。図３に示す例では、イメージセンサ（撮影装置１１０）の画素が粗いため、撮影画像は、不鮮明になる。
　本実施の形態に係る超解像処理システム１０は、例えば、図３に示すような不鮮明な撮影画像を高解像度化する。超解像処理システム１０は、具体的には、被写体１１を撮影することで撮影画像を生成し、生成した撮影画像に超解像処理を施すことで、高解像度画像を生成する。
　図１に示すように、超解像処理システム１０は、超解像処理装置１００と、照明装置２００とを備える。超解像処理装置１００は、撮影装置１１０と、画像処理装置１２０とを備える。
　照明装置２００は、時空間解像度が撮影画像の時空間解像度より高いパターン照明光を被写体１１に照射（投影）する。時空間解像度は、空間解像度及び時間解像度の少なくとも一方である。
　撮影装置１１０は、パターン照明光が照射された被写体１１を撮影することで、撮影画像を生成する撮影部である。
　画像処理装置１２０は、撮影画像に超解像処理を施す画像処理部である。すなわち、画像処理装置１２０は、撮影画像を用いて、時空間解像度が撮影画像の時空間解像度より高い高解像度画像を生成する。
　以下では、撮影装置１１０、画像処理装置１２０及び照明装置２００の詳細な構成について、図４を用いて説明する。図４は、本実施の形態に係る超解像処理システム１０の機能構成を示すブロック図である。
　［１－１－２．照明装置］
　照明装置２００は、例えば、プロジェクタなどの面型パターン照明装置である。本実施の形態では、照明装置２００は、図１に示すように、被写体１１に近い位置に配置される。例えば、照明装置２００は、撮影装置１１０よりも被写体１１に近い位置に配置される。
　照明装置２００は、図４に示すように、発光部２０１と、記憶部２０２とを備える。
　発光部２０１は、パターン照明光を出射する。本実施の形態では、発光部２０１は、明暗のパターンが互いに異なる複数のパターン照明光を出射する。具体的には、発光部２０１は、複数のパターン照明光を互いに異なるタイミングで出射する。発光部２０１は、記憶部２０２に記憶された照射パターン２０３を読み出して、読み出した照射パターン２０３が示す明暗のパターンに従ってパターン照明光を出射する。
　パターン照明光の照射領域には、明暗のパターンが形成される。照射領域は、パターン照明光によって照射される被写体上の領域である。明暗のパターンは、単位領域毎の光量の違いによって形成される。単位領域は、パターン照明光の明暗のパターンの最小単位である。照射領域内における明暗のパターンの細かさ、すなわち、単位領域の数がパターン照明光の空間解像度に相当する。また、所定期間内におけるパターン照明光の照射回数がパターン照明光の時間解像度に相当する。
　発光部２０１は、例えば、二次元状に配置された複数の発光画素と、複数の発光画素の点灯を制御する駆動回路とを有する。発光部２０１は、複数の発光画素の各々を高輝度（「明」）及び低輝度（「暗」）のいずれかで発光させることで、パターン照明光を照射する。なお、発光部２０１は、所定の発光画素を低輝度で発光させる代わりに、輝度を０にする、すなわち、消灯してもよい。また、発光部２０１は、３つ以上の輝度値から選択した輝度値で発光画素を発光させてもよい。
　本実施の形態では、発光部２０１は、照射領域が略矩形になるように、パターン照明光を出射する。発光部２０１は、例えば、ｍ行ｎ列に配置された複数の発光画素を有し、当該複数の発光画素を発光させることで、略矩形の照射領域を被写体１１上に形成する。この場合、照射領域には、ｍ行ｎ列の単位領域が含まれる。なお、ｍ及びｎは、自然数である。
　発光部２０１は、例えば、ＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）、有機ＥＬ（Ｅｌｅｃｔｒｏ　Ｌｕｍｉｎｅｓｃｅｎｃｅ）素子などの発光素子と、当該発光素子を駆動する駆動回路とで実現される。
　記憶部２０２は、照射パターン２０３を記憶するための記憶装置である。記憶部２０２は、例えば、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）又はフラッシュメモリなどの半導体メモリである。
　照射パターン２０３は、明暗のパターンを示す情報である。例えば、照射パターン２０３は、発光部２０１が備える複数の発光画素の各々の輝度値を示す情報である。あるいは、照射パターン２０３は、発光部２０１が備える複数の発光画素のうち点灯させる発光画素を示す情報でもよい。発光部２０１は、照射パターン２０３が示す発光画素を所定の輝度で点灯させ、その他の発光画素を点灯させないことで、明暗のパターンを有するパターン照明光を出射する。
　図５は、本実施の形態に係るパターン照明光の照射パターン２０３と撮影画像とを示す図である。なお、図５の照射パターン２０３のフィールドにおいて、黒塗りの部分は、光量が少ない又は０の暗い領域（暗領域）を示し、グレーの部分は、光量が多い明るい領域（明領域）を示している。
　図５に示すように、照射パターン２０３では、所定の形状の単位領域を最小単位として、明領域及び暗領域が二次元状に配置されている。所定の形状は、例えば、略正方形である。本実施の形態では、パターン照明光の空間解像度は、撮影画像の空間解像度より高い。図５に示すように、単位領域の大きさは、撮影画像の画素サイズの１６分の１の大きさ（縦及び横の各々が４分の１）である。
　本実施の形態では、記憶部２０２には、明暗のパターンが互いに異なる複数の照射パターン２０３が記憶されている。例えば、図５の（ａ）～（ｃ）に示すように、互いに異なる３つの照射パターン２０３が記憶されている。
　なお、パターン照明光は、周波数成分の分布において、各周波数成分の割合が略同じである。パターン照明光の明暗がランダムに配置されたランダムパターン照明光は、この条件を満たす。言い換えると、パターン照明光は、周波数特性が略フラットなパターン照明光である。具体的には、パターン照明光は、市松模様（規則性のあるパターン）などとは異なり、特定の周波数に偏らない。
　なお、パターン照明光としては、市松模様などの明暗に規則性がパターンのパターン照明光を用いてもよい。例えば、空間周波数（すなわち解像度）の異なる市松模様の照明パターンを組み合わせることで略フラットなパターン照明光を実現してもよい。
　［１－１－３．撮影装置］
　撮影装置１１０は、例えば、監視カメラ、定点カメラなどのカメラである。本実施の形態では、撮影装置１１０は、図１に示すように、被写体１１から遠く離れた位置に配置される。例えば、撮影装置１１０は、被写体１１から照明装置２００よりも離れた位置に配置される。
　撮影装置１１０は、図４に示すように、タイミング制御部１１１と、撮影部１１２とを備える。
　タイミング制御部１１１は、例えば、プログラムが格納された不揮発性メモリ、プログラムを実行するための一時的な記憶領域である揮発性メモリ、入出力ポート、プログラムを実行するプロセッサなどを有する。タイミング制御部１１１は、撮影部１１２による撮影のタイミングを制御する。具体的には、タイミング制御部１１１は、照明装置２００の発光部２０１がパターン照明光を照射するタイミングと同期して、撮影部１１２に撮影を行わせる。
　撮影部１１２は、イメージセンサ及びレンズなどの光学系を有する。撮影部１１２は、パターン照明光が照射された被写体１１を撮影することで、撮影画像を生成する。
　本実施の形態では、撮影部１１２は、複数のパターン照明光が照射されるタイミングに同期して、複数のパターン照明光の各々が照射された被写体１１を撮影することで、複数のパターン照明光に対応する複数の撮影画像を生成する。つまり、パターン照明光の時間解像度は、撮影画像の時間解像度（フレームレート）と同じである。例えば、図５に示すように、３つの照射パターン２０３の各々を有する３回の照明光の照射タイミングに同期して、３枚の撮影画像を生成する。
　［１－１－４．画像処理装置］
　画像処理装置１２０は、撮影装置１１０による撮影により生成された撮影画像を高解像度化する。画像処理装置１２０は、例えば、システムＬＳＩなどの各種集積回路で実現される。具体的には、画像処理装置１２０は、例えば、プログラムが格納された不揮発性メモリ、プログラムを実行するための一時的な記憶領域である揮発性メモリ、入出力ポート、プログラムを実行するプロセッサなどを有する。
　画像処理装置１２０は、図４に示すように、取得部１２１と、位置検出部１２２と、記憶部１２３と、超解像処理部１２５と、出力部１２６とを備える。取得部１２１と、位置検出部１２２と、記憶部１２３と、超解像処理部１２５と、出力部１２６との機能は、例えば、不揮発性メモリ、揮発性メモリ、入出力ポート及びプロセッサなどによって実行される。
　取得部１２１は、撮影装置１１０によって生成された撮影画像を取得する。
　位置検出部１２２は、取得部１２１によって取得された撮影画像内におけるパターン照明光の照射領域を、撮影画像の空間解像度より細かい精度（サブピクセル精度）で検出する。具体的には、位置検出部１２２は、撮影画像内における照射領域を、パターン照明光の空間解像度と同じ精度で検出する。位置検出部１２２は、撮影画像内における照射領域を検出することで、照射領域に含まれる単位領域と撮影画像の画素との対応関係を検出する。詳細な処理については、後で説明する。
　記憶部１２３は、照射パターン１２４を記憶するための記憶装置である。記憶部１２３は、ＨＤＤ又はフラッシュメモリなどである。照射パターン１２４は、照明装置２００の記憶部２０２に記憶された照射パターン２０３と同一である。
　超解像処理部１２５は、撮影画像に超解像処理を施すことで、高解像度画像を生成する。本実施の形態では、超解像処理部１２５は、撮影画像のうち位置検出部１２２によって検出された照射領域に含まれる画素を用いて、高解像度画像を生成する。
　具体的には、超解像処理部１２５は、単位領域毎に、複数の撮影画像の各々の照射領域における単位領域を含む画素の画素値に基づいて、高解像度画像の画素値を算出することで、高解像度画像を生成する。つまり、高解像度画像の画素は、パターン照明光の単位領域に相当する。言い換えると、高解像度画像の空間解像度は、パターン照明光の空間解像度に一致する。
　１つの画素に着目すると、当該画素（着目画素）には、複数の単位領域が含まれる。複数の撮影画像の各々において、着目画素は、当該着目画素に含まれる単位領域毎の明暗のパターンの違いによって、異なる画素値になる。つまり、複数の撮影画像の各々の着目画素の画素値は、各々が撮影されたときに照射されたパターン照明光の明暗のパターンの情報を暗に含んでいる。したがって、単位領域毎に、複数の撮影画素の各々の当該単位領域を含む画素の画素値を用いて、生成後の高解像度画像の自然画像としての尤もらしさ（妥当性指標）を評価することで、高解像度画像を生成することができる。
　超解像処理部１２５は、一般的な超解像処理を利用することができる。具体的には、超解像処理部１２５は、非特許文献２に記載された画像生成方法などを用いる。詳細な処理については、後で説明する。
　出力部１２６は、超解像処理部１２５によって生成された高解像度画像を出力する。例えば、出力部１２６は、外部のディスプレイ又はメモリなどに高解像度画像を出力する。
　［１－２．動作］
　図６は、本実施の形態に係る超解像処理システム１０の動作（超解像処理方法）を示すフローチャートである。
　まず、パターン照明光の照射と撮影とを行う（Ｓ１０）。具体的には、照明装置２００が、互いに異なる複数のパターン照明光を照射し、撮影装置１１０が、複数のパターン照明光の各々に同期して撮影することで、複数のパターン照明光の各々が照射された被写体１１の撮影画像を生成する。
　図７は、本実施の形態に係るパターン照明光の照射と撮影とのタイミングを示す図である。照明装置２００は、例えば、「ａ」、「ｂ」及び「ｃ」の３つの照射パターンのパターン照明光を周期的に出射する。なお、「ａ」、「ｂ」及び「ｃ」の３つの照射パターンは、互いに明暗のパターンが異なっており、例えば、図５の（ａ）～（ｃ）に示すパターンである。
　撮影装置１１０は、パターン照明光が照射されるタイミングに同期して、被写体１１を撮影することにより、撮影画像を生成する。例えば、図７に示すように、「ａ」、「ｂ」及び「ｃ」の３つの照射パターンの各々に対応する３枚の撮影画像が生成される。３枚の撮影画像は、例えば、図５の（ａ）～（ｃ）に示す撮影画像である。
　なお、ここでは、単位領域の大きさが、撮影画像の画素サイズの縦及び横の各々の４分の１である例について示すが、これに限らない。単位領域の大きさは、撮影画像の画素サイズの縦及び横の各々の４分の１より大きくてもよく、小さくてもよい。また、縦及び横の比率が異なっていてもよい。
　また、撮影画像の枚数は、パターン照明光の空間解像度と撮影画像の空間解像度との比率の２乗の枚数であることが好ましいが、これより少ない枚数でも撮影画像を高解像度化することができる。例えば、撮影画像が１枚の場合であっても、予め定められた所定の情報を用いることで、撮影画像を高解像度化することができる。なお、ノイズの影響を低減させるためには、撮影画像の枚数は多いことが好ましい。
　次に、位置検出部１２２は、撮影画像内の照射領域を検出する（Ｓ１２）。具体的には、位置検出部１２２は、複数の撮影画像の各々における照射領域を検出する。より具体的には、位置検出部１２２は、照射領域をサブピクセル精度で検出する。例えば、サブピクセル精度とは、撮影画像における照射領域をパターン照明光の空間解像度と同じ精度である。
　図８Ａは、本実施の形態に係る撮影画像１２を示す図である。図８Ａに示すように、撮影画像１２には、パターン照明光が照射された照射領域１３が含まれる。
　なお、撮影装置１１０と照明装置２００による照射領域とをサブピクセル精度で固定できていることが好ましい。しかしながら、外的影響で撮影装置１１０の姿勢が変化する場合が考えられる。この場合、照射領域１３を検出することで、高解像度画像の画質の劣化を抑制することができる。
　本実施の形態では、位置検出部１２２は、パターン照明光の照射領域１３に対する相対的な位置が固定である基準物を撮影画像１２から検出することで、パターン照明光の照射領域１３を検出する。基準物は、例えば、撮影画像１２に写るように、被写体１１の近傍に予め設けられた印などである。
　図８Ｂは、本実施の形態に係る領域検出を行うための撮影画像１２を示す図である。図８Ｂに示すように、撮影画像１２には、基準物１４が含まれる。
　基準物１４は、画像処理装置１２０にとって既知の高周波被写体である。具体的には、基準物１４は、撮影画像１２の画素のピッチよりも細かい格子模様などである。撮影画像１２に基準物１４によって発生するモアレの位相と位置とを予め対応付けておくことで、位置検出部１２２は、基準物１４のモアレを検出することで、照射領域１３を検出することができる。
　なお、照明装置２００が、基準物１４としての高周波の周期模様を、パターン照明光の照射領域１３とは異なる領域であって、撮影画像１２に含まれる領域に照射してもよい。なお、照明装置２００とは異なる別の照明装置が基準物１４としての周期模様を照射してもよい。位置検出部１２２は、撮影画像１２における基準物１４のモアレを検出することで、照射領域１３を検出する。
　次に、超解像処理部１２５は、照射領域１３の画像を高解像度化する（Ｓ１４）。
　例えば、超解像処理部１２５は、以下の（式１）に示す関数Ｅ（ｆ）を最小にする画像ｆを算出することで、算出した画像ｆを高解像度画像として生成する。なお、被写体１１に照射される照射パターン２０３と、超解像処理部１２５が利用する照射パターン１２４とは同一である。すなわち、超解像処理部１２５は、被写体１１に照射される照射パターン２０３を既知の情報として利用することができる。
Figure JPOXMLDOC01-appb-M000001
　（式１）において、ｘ及びｙは、高解像度画像の二次元位置を示す座標である。ｘ’及びｙ’は、撮影画像の二次元位置を示す座標である。ｆ（ｘ，ｙ）は、算出対象となる高解像度画像である。ｂ（ｘ，ｙ）は、撮影によるボケを表す点拡がり関数（ＰＳＦ：Ｐｏｉｎｔ　Ｓｐｒｅａｄ　Ｆｕｎｃｔｉｏｎ）である。
　Ｌｋ（ｘ，ｙ）は、照射パターン１２４（すなわち、照射パターン２０３）である。ｋは、照射パターン１２４の番号（すなわち、撮影画像の番号）であり、具体的には、図５の（ａ）～（ｃ）を識別するための情報である。Ｌ０は、共通して照射されている周囲環境の照明を示す情報である。Ｌ０は、例えば、照明装置２００がパターン照明光を照射しない状態で撮影することで取得することができる。
　ｇｋ（ｘ’，ｙ’）は、照射パターンＬｋのパターン照明光を照射したときの撮影画像である。λは、予め定められた定数である。Δは、ラプラシアンである。（↓４）は、１／４の間引きサンプリングを示す。なお、本実施の形態では、高解像度画像（パターン照明光）の空間解像度において縦横それぞれが撮影画像の４分の１であるので、間引きサンプリングも４分の１である。間引きサンプリング数は、高解像度画像と撮影画像との空間解像度の違いに基づいて決定される。
　なお、（式１）において、λを含む項は、自然画像が満たすべき尤もらしさを表している。生成した高解像度画像ｆに含まれるノイズ成分が多いと、λを含む項の値が大きくなり、Ｅ（ｆ）の値も大きくなる。したがって、λを含む項が小さい程、自然画像にふさわしく、生成した高解像度画像ｆがより自然な画像として生成される。
　次に、出力部１２６は、超解像処理部１２５によって生成された高解像度画像を出力する（Ｓ１６）。図９は、本実施の形態に係る高解像度画像を示す図である。図９に示すように、空間解像度が撮影画像の空間解像度より高い高解像度画像が生成される。
　［１－３．効果など］
　以上のように、本実施の形態に係る超解像処理方法は、撮影画像を高解像度化する超解像処理方法であって、空間解像度及び時間解像度の少なくとも一方である時空間解像度が撮影画像より高いパターン照明光を、被写体１１に照射する照射ステップと、パターン照明光が照射された被写体１１を撮影することで、撮影画像を生成する撮影ステップと、生成された撮影画像を用いて、時空間解像度が撮影画像の時空間解像度より高い高解像度画像を生成する画像処理ステップとを含む。
　これにより、空間解像度が低い撮影画像から空間解像度が高い画像を生成することができる。例えば、低解像度のカメラを用いたとしても、高解像度の画像を生成することができる。
　例えば、監視カメラなどによって広範囲の領域を撮影した場合、撮影画像内の特定の狭い領域は画素が荒く、画像が不鮮明になる。この場合に、当該特定の狭い領域に写る被写体１１に高解像度のパターン照明光を照射しながら撮影を行うことで、当該特定の狭い領域を高解像度化することができる。
　通常の照明下において複数の撮影画像からの超解像処理を行う場合には、撮影装置１１０の撮像素子のサンプリングにおいて、被写体１１の高周波成分由来のエイリアシング（ａｌｉａｓｉｎｇ）を含む必要がある。本開示に係る超解像処理方法では、照明装置２００が照射するパターン照明光の高周波情報を取得するため、エイリアシングを含む必要がない。したがって、照明装置２００によるパターン照明光の周波数を高め、あるいは、撮影のバリエーションを増やすことで、必要に応じて解像度を容易に高めることもできる。
　また、例えば、本実施の形態では、照射ステップでは、明暗のパターンが互いに異なる複数のパターン照明光を照射する。
　これにより、例えば、明暗のパターンをより細かくすることで、高解像度画像の解像度を高めることができる。
　また、例えば、本実施の形態では、パターン照明光の空間解像度は、撮影画像の空間解像度より高く、撮影ステップでは、複数のパターン照明光を照射するタイミングに同期して、複数のパターン照明光の各々が照射された被写体１１を撮影することで、複数のパターン照明光に対応する複数の撮影画像を生成する。
　これにより、例えば、撮影画像の枚数を増やすことで、高解像度画像の画質を高めることができる。
　また、例えば、本実施の形態では、画像処理ステップは、撮影画像内におけるパターン照明光の照射領域１３を、撮影画像１２の空間解像度より細かい精度で検出する検出ステップと、撮影画像１２のうち検出された照射領域１３に含まれる画素を用いて、高解像度画像を生成する超解像ステップとを含む。
　これにより、照射領域１３を検出するので、撮影装置１１０又は照明装置２００の姿勢が外的要因によって変化した場合であっても高解像度画像の画質の劣化を抑制することができる。
　また、例えば、本実施の形態では、検出ステップでは、パターン照明光の照射領域１３に対する相対的な位置が固定である基準物１４を撮影画像１２から検出することで、パターン照明光の照射領域１３を検出する。
　これにより、基準物１４の検出によって精度良く照射領域１３を検出することができるので、高解像度画像の画質の劣化を抑制することができる。
　また、例えば、本実施の形態では、検出ステップでは、撮影画像１２における基準物１４のモアレを検出することで、パターン照明光の照射領域１３を検出する。
　これにより、例えば、基準物１４によって発生するモアレの位相と位置とを予め対応付けておくことで、精度良く照射領域１３を検出することができる。
　また、例えば、本実施の形態では、照射ステップでは、さらに、基準物１４として高周波の周期模様を、照射領域１３とは異なる領域であって、撮影画像１２に含まれる領域に照射する。
　これにより、基準物１４としての周期模様を照射するので、基準物１４が固定されている場合に比べて、撮影の範囲を広げることができる。
　また、例えば、本実施の形態では、超解像ステップでは、パターン照明光の明暗のパターンの最小単位である単位領域毎に、複数の撮影画像１２の各々の照射領域１３における単位領域を含む画素の画素値に基づいて、高解像度画像の画素値を算出することで、高解像度画像を生成する。
　これにより、低解像度の撮影画像１２から高解像度の高解像度画像を生成することができる。
　また、例えば、本実施の形態では、パターン照明光は、明暗がランダムに配置されたランダムパターン照明光である。
　これにより、高解像度画像の画質を高めることができる。
　また、例えば、本実施の形態に係る超解像処理方法は、空間解像度及び時間解像度の少なくとも一方である時空間解像度が撮影画像より高いパターン照明光が照射された被写体１１を撮影することで生成された撮影画像を用いて、時空間解像度が撮影画像の時空間解像度より高い高解像度画像を生成する超解像処理方法としてもよい。
　なお、これらの包括的又は具体的な態様は、システム、装置、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、装置、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
　例えば、本実施の形態に係る超解像処理装置１００は、撮影画像を高解像度化する超解像処理装置であって、空間解像度及び時間解像度の少なくとも一方である時空間解像度が撮影画像より高いパターン照明光が照射された被写体１１を撮影することで、撮影画像を生成する撮影装置１１０と、撮影装置１１０によって生成された撮影画像を用いて、時空間解像度が撮影画像の時空間解像度より高い高解像度画像を生成する画像処理装置１２０とを備える。
　また、例えば、本実施の形態に係る超解像処理装置１００は、撮影画像を高解像度化する超解像処理装置であって、空間解像度及び時間解像度の少なくとも一方である時空間解像度が前記撮影画像より高いパターン照明光が照射された被写体を撮影することで生成された撮影画像を用いて、時空間解像度が前記撮影画像の時空間解像度より高い高解像度画像を生成する画像処理部を備える超解像処理装置としてもよい。
　また、例えば、本実施の形態に係る超解像処理システム１０は、超解像処理装置１００と、被写体１１にパターン照明光を照射する照明装置２００とを備える。
　（実施の形態２）
　以下、図１０～図１９を用いて、実施の形態２を説明する。
　［２－１．構成］
　［２－１－１．概要］
　図１０は、本実施の形態に係る超解像処理システム２０の構成を示す図である。図１１は、図１０に示す被写体２１の動きと、被写体２１を従来の方法で撮影することで得られる撮影画像とを示す図である。
　本実施の形態では、被写体２１は移動する。例えば、図１０及び図１１に示すように、被写体２１は、左斜め上方向に移動する。撮影画像の露光期間中に被写体２１が移動するため、図１１に示すように、被写体２１がブレた撮影画像が生成される。
　本実施の形態に係る超解像処理システム２０は、例えば、図１１に示すようなブレた撮影画像を高解像度化する。具体的には、超解像処理システム２０は、時間解像度を高めることで、ブレが抑制された複数の撮影画像を生成する。
　図１０に示すように、超解像処理システム２０は、超解像処理装置３００と、照明装置４００とを備える。超解像処理装置３００は、撮影装置３１０と、画像処理装置３２０とを備える。
　照明装置４００は、時空間解像度が撮影画像より高いパターン照明光を被写体２１に照射する。具体的には、照明装置４００は、時間解像度が撮影画像の時間解像度（すなわち、フレームレート）より高いパターン照明光を照射する。
　撮影装置３１０は、パターン照明光が照射された被写体２１を撮影することで、撮影画像を生成する撮影部である。
　画像処理装置３２０は、撮影画像に超解像処理を施す画像処理部である。具体的には、画像処理装置３２０は、撮影画像を用いて、時間解像度が撮影画像の時間解像度より高い高解像度画像（高フレームレート画像）を生成する。
　以下では、撮影装置３１０、画像処理装置３２０及び照明装置４００の詳細な構成について、図１２を用いて説明する。図１２は、本実施の形態に係る超解像処理システム２０の機能構成を示すブロック図である。なお、以下の説明において、特に言及しない点については、実施の形態１と同様である。
　［２－１－２．照明装置］
　照明装置４００は、図１２に示すように、実施の形態１に係る照明装置２００と比較して、発光部２０１の代わりに発光部４０１を備える点が異なっている。また、記憶部２０２には、照射パターン２０３の代わりに照射パターン４０３が記憶されている。
　発光部４０１は、複数のパターン照明光を出射する。本実施の形態では、発光部４０１は、明暗のパターンが互いに異なる複数のパターン照明光を、互いに異なるタイミングで出射する。具体的には、発光部４０１は、記憶部２０２に記憶された照射パターン４０３を読み出して、読み出した照射パターン４０３が示す明暗のパターンに従ってパターン照明光を出射する。
　図１３は、本実施の形態に係るパターン照明光の照射パターン４０３と撮影画像とを示す図である。本実施の形態に係る照射パターン４０３は、実施の形態１と同様に、単位領域毎に、明領域及び暗領域が二次元状に配置されている。本実施の形態では、パターン照明光の空間解像度は、撮影画像の空間解像度と同じである。
　発光部４０１は、複数のパターン照明光を１フレームの撮影画像の露光期間内に照射する。具体的には、発光部４０１は、複数のパターン照明光を露光期間内に順に照射することで、図１３に示すような１枚の撮影画像を生成する。つまり、本実施の形態では、パターン照明光の時間解像度は、撮影画像の時間解像度（フレームレート）より高い。
　図１４は、本実施の形態に係るパターン照明光の照射と撮影とのタイミングを示す図である。例えば、発光部４０１は、図１４に示すように、撮影画像の露光期間内に「ａ」、「ｂ」及び「ｃ」の３つの照射パターンのパターン照明光を照射する。これにより、撮影装置３１０によって撮影された撮影画像には、「ａ」、「ｂ」及び「ｃ」の３つの照射パターンの情報が含まれる。なお、「ａ」、「ｂ」及び「ｃ」の３つの照射パターンは、互いに明暗のパターンが異なっており、例えば、図１３の（ａ）～（ｃ）に示すパターンである。
　本実施の形態では、発光部４０１は、複数のパターン照明光を１セットとして複数のセットを照射する。複数のセットは、複数のパターン照明光の各々の明暗のパターン及び複数のパターン照明光の順序の少なくとも一方が互いに異なっている。
　例えば、図１３の（ａ）～（ｃ）に示すような、明暗のパターンが互いに異なる３つの照射パターン４０３が１セットである。記憶部２０２には、互いに異なる複数のセットが記憶されている。
　発光部４０１の詳細な動作については、後で説明する。なお、発光部４０１は、例えば、ＬＥＤ、有機ＥＬ素子などの発光素子と、当該発光素子を駆動する駆動回路とで実現される。
　［２－１－３．撮影装置］
　撮影装置３１０は、図１２に示すように、実施の形態１に係る撮影装置１１０と比較して、タイミング制御部１１１の代わりにタイミング制御部３１１を備える点が異なっている。
　タイミング制御部３１１は、例えば、プログラムが格納された不揮発性メモリ、プログラムを実行するための一時的な記憶領域である揮発性メモリ、入出力ポート、プログラムを実行するプロセッサなどを有する。タイミング制御部３１１は、撮影部１１２による撮影のタイミングを制御する。タイミング制御部３１１は、例えば、複数のパターン照明光の照射するタイミングに同期させて、撮影部１１２による露光の開始及び終了を制御する。
　具体的には、タイミング制御部３１１は、複数のパターン照明光が１回の露光期間中に含まれるように、撮影部１１２の露光の開始及び終了を制御する。したがって、撮影部１１２は、実施の形態１では、パターン照明光と一対一に対応する撮影画像を生成するのに対して、本実施の形態では、複数のパターン照明光に対して１枚の撮影画像を生成する。
　本実施の形態では、上述したように、複数のパターン照明光を１セットとして、複数のセットが被写体２１に照射される。撮影部１１２は、複数のセットの各々が照射された被写体２１を照射することで、複数のセットに対応する複数の撮影画像を生成する。
　［２－１－４．画像処理装置］
　画像処理装置３２０は、図１２に示すように、実施の形態１に係る画像処理装置１２０と比較して、位置検出部１２２及び超解像処理部１２５の代わりに、タイミング検出部３２２及び超解像処理部３２５を備える。また、記憶部１２３には、照射パターン１２４の代わりに照射パターン３２４が記憶されている。照射パターン３２４は、照明装置４００の記憶部２０２に記憶された照射パターン４０３と同一である。
　タイミング検出部３２２は、パターン照明光の変化のタイミングを検出する。具体的は。タイミング検出部３２２は、露光の開始のタイミングとパターン照明光の変化のタイミング（例えば、ｔ＝０～２）との時間のずれを検出する。例えば、タイミング制御部３１１と発光部４０１とが共通の時計を利用する場合、タイミング検出部３２２は、当該共通の時計を参照することで、パターン照明光の変化のタイミングを検出する。共通の時計は、例えば、ＮＴＰ（Ｎｅｔｗｏｒｋ　Ｔｉｍｉｎｇ　Ｐｒｏｔｏｃｏｌ）サーバなどである。
　あるいは、タイミング検出部３２２は、撮影画像に基づいてパターン照明光の変化のタイミングを検出してもよい。この場合、タイミング検出部３２２は、実施の形態１で説明した照明領域の検出と同様の処理を時間軸に対して行えばよい。例えば、画像処理装置３２０によって既知のタイミングで点滅する点滅照明を利用することができる。
　具体的には、タイミング検出部３２２は、点滅照明によって照射された被写体が写った撮影画像に発生するモアレのタイミングを検出する。モアレの発生するタイミングと、パターン照明光の変化のタイミングとを予め対応付けておくことで、タイミング検出部３２２は、パターン照明光の変化のタイミングを検出する。
　超解像処理部３２５は、撮影画像に超解像処理を施すことで、高解像度画像を生成する。本実施の形態では、超解像処理部３２５は、タイミング検出部３２２によって検出されたタイミングに基づいて、高解像度画像を生成する。高解像度画像は、撮影画像よりも時間解像度（フレームレート）が高い画像である。
　超解像処理部３２５は、実施の形態１で示した超解像処理方法を時間軸に適用することで、高解像度画像を生成する。詳細な処理については、後で説明する。
　［２－２．動作］
　図１５は、本実施の形態に係る超解像処理システム２０の動作（超解像処理方法）を示すフローチャートである。
　まず、複数回の照射と撮影とを行う（Ｓ２０）。具体的には、照明装置４００が、互いに異なる複数のパターン照明光のセットを複数回照射し、撮影装置３１０が、複数のセットの各々に同期して撮影することで、複数のセットの各々が照射された被写体２１の撮影画像を生成する。
　図１６は、本実施の形態に係るパターン照明光の照射と撮影とのタイミングを示す図である。本実施の形態では、照明装置４００は、セット毎に、分離可能な異なる波長のパターン照明光を照射する。例えば、複数のセットは、赤色のパターン照明光、緑色のパターン照明光及び青色のパターン照明光に一対一に対応する。
　発光部４０１は、赤色のセットとして、例えば、「ａ」、「ｂ」及び「ｃ」の３つの照射パターンのパターン照明光をこの順で繰り返し照射する。発光部４０１は、緑色のセットとして、例えば、「ｄ」、「ｅ」及び「ｆ」の３つの照射パターンのパターン照明光をこの順で繰り返し照射する。発光部４０１は、青色のセットとして、例えば、「ｃ」、「ｆ」及び「ｂ」の３つの照射パターンのパターン照明光をこの順で繰り返し照射する。
　なお、複数のセットに含まれる照射パターンは、一部が一致していてもよい。例えば、「ｂ」及び「ｃ」の照射パターンは、赤色のセットと青色のセットとに含まれる。このとき、同じタイミングで同じ照射パターンのパターン照明光が照射されなければよい。例えば、２つのセットが同じ照射パターンを含む場合、一のセットに含まれるパターン照明光が照射される順序は、他のセットに含まれるパターン照明光が照射される順序と異なっていればよい。
　撮影装置３１０は、パターン照明光のセットが照射されるタイミングに同期して、被写体２１を撮影することにより、撮影画像を生成する。ここでは、図１６及び図１７に示すように、３つの撮影画像が生成される。
　図１７は、本実施の形態に係るパターン照明光の照射パターンと撮影画像との例を示す図である。図１７に示すように、３つの撮影画像の各々には、異なる照射パターンの情報が含まれる。
　なお、被写体２１に同じ動きをさせて繰り返し撮影してもよい。図１８は、本実施の形態に係るパターン照明光の照射と撮影とのタイミングの別の例を示す図である。
　図１８に示すように、被写体２１は、動きＭを繰り返す。被写体２１が動きＭを繰り返すのに合わせて、照明装置４００は、パターン照明光のセットを照射し、撮影装置３１０は、パターン照明光のセットが照射された被写体２１を撮影する。これにより、図１６の場合と同様に、複数の撮影画像を生成することができる。例えば、図１７に示す３つの撮影画像が生成される。
　次に、タイミング検出部３２２は、パターン照明光のタイミングを検出する（Ｓ２２）。具体的には、タイミング検出部３２２は、複数の撮影画像の各々において、パターン照明光の照射タイミングを検出する。例えば、タイミング検出部３２２は、共通の時計を参照することで、パターン照明光の変化のタイミングを検出する。
　次に、超解像処理部３２５は、撮影画像を高フレームレート化する（Ｓ２４）。
　例えば、超解像処理部３２５は、以下の（式２）に示す関数Ｅ（ｆ）を最小にする画像ｆを算出することで、算出した画像ｆを高解像度画像（高フレームレート画像）として生成する。なお、被写体２１に照射される照射パターン４０３と、超解像処理部３２５が利用する照射パターン３２４とは同一である。すなわち、超解像処理部３２５は、被写体２１に照射される照射パターン４０３を既知の情報として利用することができる。
Figure JPOXMLDOC01-appb-M000002
　（式２）において、ｘ及びｙは、高解像度画像の二次元位置を示す座標である。ｔは、高解像度画像の時刻である。ｔ’は、撮影画像（低フレームレート画像）の時刻である。ｆ（ｘ，ｙ，ｔ）は、算出対象となる高解像度画像である。ｂ（ｘ，ｙ，ｔ）は、露出による時間ボケを含む撮影による時空間のボケを表す点拡がり関数（ＰＳＦ：Ｐｏｉｎｔ　Ｓｐｒｅａｄ　Ｆｕｎｃｔｉｏｎ）である。
　Ｌｋ（ｘ，ｙ，ｔ）は、照射パターン３２４（すなわち、照射パターン４０３）である。ｋは、照射パターン３２４の番号であり、具体的には、図１３の（ａ）～（ｃ）を識別するための情報である。Ｌ０は、共通して照射されている周囲環境の照明を示す情報である。Ｌ０は、例えば、照明装置４００がパターン照明光を照射しない状態で撮影することで取得することができる。
　ｇｋ（ｘ，ｙ，ｔ’）は、照射パターンＬｋのパターン照明光を照射したときの撮影画像である。λは、予め定められた定数である。Δは、ラプラシアンである。（↓３）は、１／３の間引きサンプリングを示す。なお、本実施の形態では、高解像度画像（パターン照明光）の時間解像度（フレームレート）が撮影画像のフレームレートの３倍であるので、間引きサンプリングも３分の１である。間引きサンプリング数は、高解像度画像と撮影画像との時間解像度の違いに基づいて決定される。
　次に、出力部１２６は、超解像処理部１２５によって生成された高解像度画像を出力する（Ｓ２６）。図１９は、本実施の形態に係る高解像度画像を示す図である。図１９に示すように、時間解像度が撮影画像の時間解像度より高い高解像度画像が生成される。つまり、高フレームレートの画像が生成される。
　［２－３．効果など］
　以上のように、本実施の形態に係る超解像処理方法では、照射ステップでは、複数のパターン照明光を１フレームの撮影画像の露光期間内に照射する。
　これにより、時間解像度が低い撮影画像から時間解像度が高い画像を生成することができる。例えば、低フレームレートのカメラを用いたとえしても、高フレームレートの画像を生成することができる。
　また、例えば、本実施の形態では、照射ステップでは、複数のパターン照明光を１セットとして複数のセットを照射し、撮影ステップでは、複数のセットの各々が照射された被写体２１を撮影することで、複数のセットに対応する複数の撮影画像を生成し、複数のセットは、複数のパターン照明光の各々の明暗のパターン及び複数のパターン照明光の順序の少なくとも一方が互いに異なっている。
　これにより、例えば、セットに含まれるパターン照明光の数を増やすことで、フレームレートをより高めることができる。
　（他の実施の形態）
　以上のように、本出願において開示する技術の例示として、実施の形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記の各実施の形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
　そこで、以下では、他の実施の形態を例示する。
　例えば、上記の各実施の形態では、撮影画像が輝度画像である例について示したが、カラー画像にも適用することができる。例えば、色成分又は色差成分について、上記と同様の処理を行うことで、高解像度画像を生成することができる。
　また、例えば、上記の実施の形態１では、撮影画像１２から基準物１４を検出することで、照射領域１３を検出する例について説明したが、これに限らない。例えば、複数の照射領域の候補を仮定して、複数の候補の各々について高解像度画像の候補を生成した後、複数の高解像度画像の候補から尤もらしいものを、高解像度画像として選択してもよい。つまり、画像処理装置１２０は、位置検出部１２２を備えなくてもよい。
　具体的には、超解像処理部１２５は、撮影画像１２内におけるパターン照明光の照射領域の複数の候補である複数の候補領域の各々について、撮影画像のうち当該候補領域の画素を用いて、撮影画像より時空間解像度が高い高解像度画像候補を生成する候補生成ステップと、複数の高解像度画像候補から一の高解像度画像候補を高解像度画像として決定する決定ステップとを含む。
　例えば、超解像処理部１２５は、複数の高解像度画像候補の各々に対して、妥当性指標を用いて評価を行う。妥当性指標としては、例えば、自然画像が統計的に有する性質としての画素値の空間的な滑らかさ（二階微分値）又は連続性（一階微分値）の積算値を用いることができる。例えば、妥当性指標は、（式１）におけるλを含む項である。複数の高解像度画像候補のうち、当該λを含む項が最も小さい高解像度画像候補を高解像度画像として生成することができる。
　同様に、実施の形態２では、タイミング検出部３２２がパターン照明光の変化のタイミングを検出する例について示したが、これに限らない。例えば、複数のタイミングの候補を仮定して、複数の候補の各々について高解像度画像の候補を生成した後、複数の高解像度画像の候補から尤もらしいものを、高解像度画像として選択してもよい。つまり、画像処理装置３２０は、タイミング検出部３２２を備えなくてもよい。尤もらしいものを選択する方法は、例えば、上述した妥当性指標などを用いることができる。
　以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面及び詳細な説明を提供した。
　したがって、添付図面及び詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
　また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲又はその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
　本開示に係る超解像処理方法などは、例えば、高解像度撮影する撮像装置に利用することができ、例えば、監視カメラ、顕微鏡、検査システムなどに利用することができる。
１０、２０　超解像処理システム
１１、２１　被写体
１２　撮影画像
１３　照射領域
１４　基準物
１００、３００　超解像処理装置
１１０、３１０　撮影装置
１１１、３１１　タイミング制御部
１１２　撮影部
１２０、３２０　画像処理装置
１２１　取得部
１２２　位置検出部
１２３、２０２　記憶部
１２４、２０３、３２４、４０３　照射パターン
１２５、３２５　超解像処理部
１２６　出力部
２００、４００　照明装置
２０１、４０１　発光部
３２２　タイミング検出部

Claims (16)

  1. 　撮影画像を高解像度化する超解像処理方法であって、
    　空間解像度及び時間解像度の少なくとも一方である時空間解像度が前記撮影画像より高いパターン照明光を、被写体に照射する照射ステップと、
    　前記パターン照明光が照射された被写体を撮影することで、前記撮影画像を生成する撮影ステップと、
    　生成された撮影画像を用いて、時空間解像度が前記撮影画像の時空間解像度より高い高解像度画像を生成する画像処理ステップとを含む
    　超解像処理方法。
  2. 　前記照射ステップでは、明暗のパターンが互いに異なる複数のパターン照明光を照射する
    　請求項１に記載の超解像処理方法。
  3. 　前記パターン照明光の空間解像度は、前記撮影画像の空間解像度より高く、
    　前記撮影ステップでは、前記複数のパターン照明光を照射するタイミングに同期して、前記複数のパターン照明光の各々が照射された被写体を撮影することで、前記複数のパターン照明光に対応する複数の撮影画像を生成する
    　請求項２に記載の超解像処理方法。
  4. 　前記画像処理ステップは、
    　前記撮影画像内における前記パターン照明光の照射領域を、前記撮影画像の空間解像度より細かい精度で検出する検出ステップと、
    　前記撮影画像のうち検出された照射領域に含まれる画素を用いて、前記高解像度画像を生成する超解像ステップとを含む
    　請求項３に記載の超解像処理方法。
  5. 　前記検出ステップでは、前記パターン照明光の照射領域に対する相対的な位置が固定である基準物を前記撮影画像から検出することで、前記パターン照明光の照射領域を検出する
    　請求項４に記載の超解像処理方法。
  6. 　前記検出ステップでは、前記撮影画像における前記基準物のモアレを検出することで、前記パターン照明光の照射領域を検出する
    　請求項５に記載の超解像処理方法。
  7. 　前記照射ステップでは、さらに、前記基準物として高周波の周期模様を、前記照射領域とは異なる領域であって、前記撮影画像に含まれる領域に照射する
    　請求項６に記載の超解像処理方法。
  8. 　前記超解像ステップでは、前記パターン照明光の明暗のパターンの最小単位である単位領域毎に、前記複数の撮影画像の各々の前記照射領域における単位領域を含む画素の画素値に基づいて、前記高解像度画像の画素値を算出することで、前記高解像度画像を生成する
    　請求項４～７のいずれか１項に記載の超解像処理方法。
  9. 　前記画像処理ステップは、
    　前記撮影画像内における前記パターン照明光の照射領域の複数の候補である複数の候補領域の各々について、前記撮影画像のうち当該候補領域の画素を用いて、前記撮影画像より時空間解像度が高い高解像度画像候補を生成する候補生成ステップと、
    　生成された複数の高解像度画像候補から一の高解像度画像候補を前記高解像度画像として決定する決定ステップとを含む
    　請求項３に記載の超解像処理方法。
  10. 　前記照射ステップでは、前記複数のパターン照明光を１フレームの前記撮影画像の露光期間内に照射する
    　請求項２に記載の超解像処理方法。
  11. 　前記照射ステップでは、前記複数のパターン照明光を１セットとして複数のセットを照射し、
    　前記撮影ステップでは、前記複数のセットの各々が照射された被写体を撮影することで、前記複数のセットに対応する複数の撮影画像を生成し、
    　前記複数のセットは、前記複数のパターン照明光の各々の明暗のパターン及び前記複数のパターン照明光の順序の少なくとも一方が互いに異なっている
    　請求項１０に記載の超解像処理方法。
  12. 　前記パターン照明光は、明暗がランダムに配置されたランダムパターン照明光である
    　請求項１～１１のいずれか１項に記載の超解像処理方法。
  13. 　撮影画像を高解像度化する超解像処理方法であって、
    　空間解像度及び時間解像度の少なくとも一方である時空間解像度が前記撮影画像より高いパターン照明光が照射された被写体を撮影することで生成された撮影画像を用いて、時空間解像度が前記撮影画像の時空間解像度より高い高解像度画像を生成する
    　超解像処理方法。
  14. 　撮影画像を高解像度化する超解像処理装置であって、
    　空間解像度及び時間解像度の少なくとも一方である時空間解像度が前記撮影画像より高いパターン照明光が照射された被写体を撮影することで、前記撮影画像を生成する撮影部と、
    　前記撮影部によって生成された撮影画像を用いて、時空間解像度が前記撮影画像の時空間解像度より高い高解像度画像を生成する画像処理部とを備える
    　超解像処理装置。
  15. 　撮影画像を高解像度化する超解像処理装置であって、
    　空間解像度及び時間解像度の少なくとも一方である時空間解像度が前記撮影画像より高いパターン照明光が照射された被写体を撮影することで生成された撮影画像を用いて、時空間解像度が前記撮影画像の時空間解像度より高い高解像度画像を生成する画像処理部を備える
    　超解像処理装置。
  16. 　請求項１４又は１５に記載の超解像処理装置と、
    　前記被写体に前記パターン照明光を照射する照明装置とを備える
    　超解像処理システム。
PCT/JP2016/000413 2015-03-02 2016-01-27 超解像処理方法、超解像処理装置及び超解像処理システム WO2016139883A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP16758584.3A EP3267676A1 (en) 2015-03-02 2016-01-27 Super-resolution processing method, super-resolution processing device, and super-resolution processing system
JP2016543244A JP6016000B1 (ja) 2015-03-02 2016-01-27 超解像処理方法、超解像処理装置及び超解像処理システム
US15/409,334 US20170124683A1 (en) 2015-03-02 2017-01-18 Super-resolution processing method, super-resolution processing apparatus, and super-resolution processing system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015040747 2015-03-02
JP2015-040747 2015-03-02

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/409,334 Continuation US20170124683A1 (en) 2015-03-02 2017-01-18 Super-resolution processing method, super-resolution processing apparatus, and super-resolution processing system

Publications (1)

Publication Number Publication Date
WO2016139883A1 true WO2016139883A1 (ja) 2016-09-09

Family

ID=56848887

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/000413 WO2016139883A1 (ja) 2015-03-02 2016-01-27 超解像処理方法、超解像処理装置及び超解像処理システム

Country Status (4)

Country Link
US (1) US20170124683A1 (ja)
EP (1) EP3267676A1 (ja)
JP (1) JP6016000B1 (ja)
WO (1) WO2016139883A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021148897A (ja) * 2020-03-18 2021-09-27 ソニー・オリンパスメディカルソリューションズ株式会社 制御装置および医療用観察システム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11242189A (ja) * 1997-12-25 1999-09-07 Olympus Optical Co Ltd 像形成法、像形成装置
JP2011095745A (ja) * 2009-10-28 2011-05-12 Carl Zeiss Microimaging Gmbh 分解能の向上した顕微鏡法および顕微鏡

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4164788A (en) * 1976-10-13 1979-08-14 Atul Jain Super-resolution imaging system
US5016173A (en) * 1989-04-13 1991-05-14 Vanguard Imaging Ltd. Apparatus and method for monitoring visually accessible surfaces of the body
US8102465B2 (en) * 2006-11-07 2012-01-24 Fujifilm Corporation Photographing apparatus and photographing method for photographing an image by controlling light irradiation on a subject
US8189095B2 (en) * 2008-10-30 2012-05-29 The Boeing Company Method and apparatus for superresolution imaging
US20100268069A1 (en) * 2009-04-16 2010-10-21 Rongguang Liang Dental surface imaging using polarized fringe projection
US9131223B1 (en) * 2011-07-07 2015-09-08 Southern Methodist University Enhancing imaging performance through the use of active illumination
US9224183B2 (en) * 2012-03-28 2015-12-29 Intel Corporation Projection of a plurality of structured light patterns
WO2014005195A2 (en) * 2012-07-05 2014-01-09 Martin Russell Harris Structured illumination microscopy apparatus and method
EP2713195B1 (en) * 2012-09-28 2017-04-12 Universität Heidelberg High resolution microscopy by means of structured illumination at large working distances
US10785463B2 (en) * 2013-07-16 2020-09-22 Texas Instruments Incorporated Super-resolution in structured light imaging
US20160072258A1 (en) * 2014-09-10 2016-03-10 Princeton Optronics Inc. High Resolution Structured Light Source
US20160150219A1 (en) * 2014-11-20 2016-05-26 Mantisvision Ltd. Methods Circuits Devices Assemblies Systems and Functionally Associated Computer Executable Code for Image Acquisition With Depth Estimation

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11242189A (ja) * 1997-12-25 1999-09-07 Olympus Optical Co Ltd 像形成法、像形成装置
JP2011095745A (ja) * 2009-10-28 2011-05-12 Carl Zeiss Microimaging Gmbh 分解能の向上した顕微鏡法および顕微鏡

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3267676A4 *

Also Published As

Publication number Publication date
EP3267676A4 (en) 2018-01-10
JPWO2016139883A1 (ja) 2017-04-27
EP3267676A1 (en) 2018-01-10
JP6016000B1 (ja) 2016-10-26
US20170124683A1 (en) 2017-05-04

Similar Documents

Publication Publication Date Title
Abdelhamed et al. A high-quality denoising dataset for smartphone cameras
JP5808502B2 (ja) 画像生成装置
JP6566737B2 (ja) 情報処理装置、情報処理方法、プログラム
TWI653887B (zh) 影像處理方法及施行該影像處理方法的影像處理裝置
CN103327273B (zh) 图像处理装置、投影仪以及投影仪的控制方法
US20050244049A1 (en) Apparatus and method for inspecting pattern on object
TWI496105B (zh) 影像合成裝置及用於影像合成之電腦程式
JP2013069340A (ja) 基板検査装置及び検査方法
US20170264831A1 (en) Image processor and image processing method
JP5242248B2 (ja) 欠陥検出装置、欠陥検出方法、欠陥検出プログラム、及び、記録媒体
CN113115027A (zh) 校准摄像头的方法和系统
JP2017158018A (ja) 画像処理装置およびその制御方法、撮像装置
US11223787B2 (en) Information processing apparatus, information processing method, and imaging apparatus
JP7056131B2 (ja) 画像処理システム、画像処理プログラム、および画像処理方法
JP6016000B1 (ja) 超解像処理方法、超解像処理装置及び超解像処理システム
JP2011095131A5 (ja)
JP5920608B2 (ja) 画像の鮮明度を評価する撮像システムおよび方法
JP2020193957A (ja) 測距異常を補正する距離画像生成装置
EP3070432B1 (en) Measurement apparatus
JPWO2018193704A1 (ja) 信号処理システム、信号処理装置、及び信号処理方法
JP6939501B2 (ja) 画像処理システム、画像処理プログラム、および画像処理方法
JP2017191082A (ja) 輝点画像取得装置および輝点画像取得方法
TW202113344A (zh) 外觀檢查裝置及其校正方法、及電腦可讀取的記錄媒體
JP2021004762A (ja) 計測装置、撮像装置、計測システム、制御方法、プログラム及び記録媒体
WO2021131508A1 (ja) 表面欠陥検出装置と表面欠陥検出方法とプログラムおよび表面欠陥検出システム

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2016543244

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16758584

Country of ref document: EP

Kind code of ref document: A1

REEP Request for entry into the european phase

Ref document number: 2016758584

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE