JP6998554B2 - 画像生成装置及び画像生成方法 - Google Patents

画像生成装置及び画像生成方法 Download PDF

Info

Publication number
JP6998554B2
JP6998554B2 JP2018565074A JP2018565074A JP6998554B2 JP 6998554 B2 JP6998554 B2 JP 6998554B2 JP 2018565074 A JP2018565074 A JP 2018565074A JP 2018565074 A JP2018565074 A JP 2018565074A JP 6998554 B2 JP6998554 B2 JP 6998554B2
Authority
JP
Japan
Prior art keywords
image
restored
calculated
identification
captured
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018565074A
Other languages
English (en)
Other versions
JPWO2019054092A1 (ja
Inventor
智 佐藤
雅彦 齊藤
健夫 吾妻
一生 登
信彦 若井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JPWO2019054092A1 publication Critical patent/JPWO2019054092A1/ja
Application granted granted Critical
Publication of JP6998554B2 publication Critical patent/JP6998554B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/96—Management of image or video recognition tasks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/12—Computing arrangements based on biological models using genetic models
    • G06N3/126—Evolutionary algorithms, e.g. genetic algorithms or genetic programming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Vascular Medicine (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Description

本開示は、画像生成装置及び画像生成方法に関する。
自動運転の車両及びロボットにおいて、周囲の物体を識別し、環境を認識する技術は重要である。近年、物体識別のために、ディープラーニング（Deep Learning）と呼ばれる技術が注目されている。ディープラーニングとは、多層構造のニューラルネットワークを用いた機械学習である。大量の学習データを用いて構築された多層構造のニューラルネットワークを使用することで、従来法と比べて、より高精度な識別性能を実現することが可能である。物体識別において、画像情報は特に有効である。非特許文献１では、画像情報を入力としたディープラーニングによって、従来の物体識別能力を大幅に向上させる手法が開示されている。また、高精度に識別するためには、入力画像が高解像度である必要がある。低解像度画像の場合、例えば遠方の被写体は十分な解像度を有しておらず、識別性能が低下してしまう。
一方で、非特許文献２では、画像情報に加え、３次元レンジファインダにより取得された奥行情報も用いることで、ニューラルネットワークの識別能力をさらに向上させる手法が開示されている。奥行情報を使用すると、近傍と遠方との被写体を分離できる。そのため、奥行情報を使用することで遠方の被写体に対しても識別性能を上げることができる。また、低解像度の画像を撮像しながら、高解像度の画像を復元するために、例えば、非特許文献３に開示されるような圧縮センシングと呼ばれる手法が知られている。
A. Krizhevsky，I. Sutskever及びG. E. Hinton著、「ImageNet Classication with Deep Convolutional Neural Networks」、NIPS'12 Proceedings of the 25th International Conference on Neural Information Processing Systems、2012年、P.1097-1105 Andreas Eitel他著、「Multimodal Deep Learning for Robust RGB-D Object Recognition」、2015 IEEE/RSJ International Conference on Intelligent Robots and Systems（IROS）、2015年 Y．Oike及びA．E．Gamal著、「A 256×256 CMOS Image Sensor with ΔΣ－Based Single-Shot Compressed Sensing」、2012 IEEE International Solid-State Circuits Conference（ISSCC） Dig. of Tech. Papers、2012年、P.386-387 M. Salman Asif，Ali Ayremlou，Ashok Veeraraghavan，Richard Baraniuk及びAswin Sankaranarayanan著、「FlatCam：Replacing Lenses with Masks and Computation」、International Conference on Computer Vision Workshop（ICCVW）、2015年、P.663-666 Yusuke Nakamura，Takeshi Shimano，Kazuyuki Tajima，Mayu Sao及びTaku Hoshizawa著、「Lensless Light－field Imaging with Fresnel Zone Aperture」、3rd International Workshop on Image Sensors and Imaging Systems（IWISS2016）ITE-IST2016-51、2016年、no.40、P.7－8 Michael Wakin，Jason Laska，Marco Duarte，Dror Baron，Shriram Sarvotham，Dharmpal Takhar，Kevin Kellyand及びRichard Baraniuk著、「An Architecture for Compressive Imaging」、2006 IEEE International Conference on Image Processing（ICIP）、2006年 Rudin L. I.，Osher S． J．及びFatemi E．著、「Nonlinear total variation based noise removal algorithms」、Physica D、1992年、vol．60、P.259－268 Shunsuke Ono及びIsao Yamada著、「Decorrelated Vectorial Total Variation」、2014 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）、2014年 J. Ma著、「Improved Iterative Curvelet Thresholding for Compressed Sensing and Measurement」、IEEE Transactions on Instrumentation ＆Measurement、2011年、vol.60、no．1、P.126-136 M．Aharon，M. Elad及びA. M. Bruckstein著、「K－SVD：An Algorithm for Designing Overcomplete Dictionaries for Sparse Representation」、IEEE Transactions on Image Processing、2006年、vol.54、no.11、P.4311-4322 Manya V. Afonso，Jose M. Bioucas-Dias及びMario A. T. Figueiredo、「Fast Image Recovery Using Variable Splitting and Constrained Optimization」、IEEE Transactions on Image Processing、2010年、VOL. 19、NO. 9、P.2345-2356
しかしながら、高解像度の画像情報を取得するためには、高価なカメラを使用する必要があり、物体の識別システム自体が高価になるという課題があった。また、奥行情報を使用する高精度な識別システムは、奥行情報を取得するために高価な３次元レンジファインダが必要であるという問題があった。さらに、圧縮センシングは、高精細な画像を復元するための計算コストが膨大であり、実時間での高精細な画像復元は困難であるという課題があった。上述のような理由により、車両の自動運転、ロボット及び周辺監視システム等に識別システムを使用する場合、後段で行われる運転制御などの処理に遅延が生じるという問題があった。
本開示は、画像を用いた物体の識別処理速度を向上する画像生成装置及び画像生成方法を提供する。
本開示の一態様による画像生成装置は、処理回路と、少なくとも１つの計算撮像画像を記録するメモリとを備え、前記計算撮像画像は、ライトフィールド画像、圧縮センシング画像、及び符号化撮像画像のいずれかであり、前記処理回路は、（ａ１）前記少なくとも１つの計算撮像画像および識別器を用いて、前記少なくとも１つの計算撮像画像を復元することなく、前記少なくとも１つの計算撮像画像中の物体の位置を識別し、（ａ２）前記少なくとも１つの計算撮像画像を用いて、前記物体の位置を強調する表示を重畳した表示画像を生成し、（ａ３）前記表示画像を出力する。
本開示の一態様による画像生成方法は、（ｂ１）ライトフィールド画像、圧縮センシング画像、及び符号化撮像画像のいずれかである少なくとも１つの計算撮像画像をメモリから取得し、（ｂ２）前記少なくとも１つの計算撮像画像および識別器を用いて、前記少なくとも１つの計算撮像画像を復元することなく、前記少なくとも１つの計算撮像画像中の物体の位置を識別し、（ｂ３）前記少なくとも１つの計算撮像画像を用いて、前記物体の位置を強調する表示を重畳した表示画像を生成し、（ｂ４）前記表示画像を出力し、前記（ｂ１）～（ｂ４）の少なくとも１つはプロセッサによって実行される。
なお、上記の包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能な記録ディスク等の記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。コンピュータ読み取り可能な記録媒体は、例えばＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ－Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の不揮発性の記録媒体を含む。
本開示の画像生成技術によると、画像を用いた物体の識別処理速度を向上することが可能になる。
本開示の一態様の付加的な恩恵及び有利な点は本明細書及び図面から明らかとなる。この恩恵及び／又は有利な点は、本明細書及び図面に開示した様々な態様及び特徴により個別に提供され得るものであり、その１つ以上を得るために全てが必要ではない。
図１は実施の形態に係る画像生成装置を備える識別システムの機能的な構成の一例を示す模式図 図２は実施の形態の変形例に係る識別システムの機能的な構成の一例を示す模式図 図３は変形例に係る識別システムのハードウェア構成の一例を示す模式図 図４は図２の学習装置の主要な処理の流れの一例を示すフローチャート 図５はマルチピンホールを使用したライトフィールドカメラの例を示す図 図６は通常撮像された被写体の画像の例を示す模式図 図７はマルチピンホールマスクを含むライトフィールドカメラを使用して撮像された図６の被写体の画像の例を示す模式図 図８Ａは通常撮像画像に識別領域枠を重畳表示した模式的な図 図８Ｂは識別領域枠を示す模式的な図 図９は画像上でマスクとして与えられた識別正解の例を示す模式図 図１０は実施の形態に係る画像生成装置の動作の流れの一例を示すフローチャート 図１１は識別部の機能的な構成の一例を示す模式図 図１２はランダムマスクを符号化絞りとして使用する符号化開口マスクの例の模式図 図１３は識別部の機能的な構成の別の一例を示す模式図 図１４Ａは計算撮像画像の画素数がＮ＝１６である場合の計算撮像画像の画素配置の一例を示す模式図 図１４Ｂは復元画像の画素数がＭ＝１６である場合の復元画像の画素配置の一例を示す模式図 、図１５は計算撮像画像を復元した通常撮像画像の例の模式図 図１６は識別部が識別した識別結果を、識別領域枠を用いて表示する画像の例の模式図 図１７は識別部が識別した識別結果を復元画像に重畳した重畳画像の例の模式図 図１８は識別部及び画像復元部の出力タイミングの関係の一例を示す模式図 図１９は図１５の復元画像の撮像時点から時間５Ｔ経過後の復元画像の例を示す模式図 図２０は第一復元画像の表示開始時点から第二復元画像の表示開始時点までの間の複数の識別結果を同時に示す重畳画像の例の模式図 図２１は重畳画像に、対応する識別結果をつなぐ矢印をオーバーライトする例を示す模式図 図２２は、識別部の識別処理結果と、当該識別処理に使用された計算撮像画像よりも以前の計算撮像画像を用いた復元画像との重畳画像の例を示す模式図 図２３は実施の形態の別の変形例に係る識別システムの機能的な構成の一例を示す模式図 図２４は実施の形態の別の変形例に係る画像の生成方法について説明する模式図
「背景技術」の欄で記載したように、ディープラーニング等の機械学習が用いられることにより、機械装置による高精度な識別技術の実現が可能になった。このような識別技術を、車両の自動運転及びロボットの動作に適用することが試みられている。車両及びロボットは、移動体であるため、移動しつつ、カメラの撮像画像から周囲の物体を認識する必要がある。このため、高い識別処理速度が要求される。非特許文献１に開示される技術は、高い識別精度を得るために、高解像度の画像を必要とする。高解像度の画像の取得には、高価なカメラが必要になるだけでなく、高解像度の画像の処理量が大きくなり、処理に遅延が生じる可能性がある。非特許文献２に開示される技術は、高価な３次元レンジファインダを必要とするため、コストを増大する。さらに、この技術では、撮像画像と奥行き情報とを関連付けて処理する必要があるため、処理量が多くなる。また、非特許文献３に開示される技術では、低解像度の画像から高解像度の画像を復元する処理量が膨大である。本開示に係る本発明者らは、非特許文献１～３の技術に上述のような問題を見出し、識別処理速度を向上する技術を検討した。そこで、本発明者らは、以下に示すような技術を創案した。
本開示の一態様に係る画像生成装置は、処理回路と、少なくとも１つの計算撮像画像を記録するメモリとを備え、前記計算撮像画像は、ライトフィールド画像、圧縮センシング画像、及び符号化撮像画像のいずれかであり、前記処理回路は、（ａ１）識別器を用いて、前記少なくとも１つの計算撮像画像中の物体の位置を識別し、（ａ２）前記少なくとも１つの計算撮像画像を用いて、前記物体の位置を強調する表示を重畳した表示画像を生成し、（ａ３）前記表示画像を出力する。
上記態様によると、計算撮像画像中の物体の位置の識別は、計算撮像画像そのものを用いて行われる。そして、識別された物体の位置が、表示画像において、強調表示される。よって、物体の識別処理は、計算撮像画像から復元画像への画像復元を伴わずに、行うことができるため、処理速度の向上が可能になる。また、表示画像では、識別された物体の位置が強調表示されるため、ユーザによる物体の位置の視認が容易になる。なお、計算撮像画像を用いて、物体の位置を強調する表示を重畳した表示画像は、計算撮像画像に強調表示が重畳された画像であってもよく、計算撮像画像以外の画像に強調表示が重畳された画像であってもよい。計算撮像画像以外の画像の例は、計算撮像画像の復元画像、無地の背景の画像等である。
本開示の一態様に係る画像生成装置において、前記処理回路は、さらに、（ａ４）前記少なくとも１つの計算撮像画像を復元して、復元画像を生成し、前記（ａ２）において、前記計算撮像画像中の物体の位置を識別した後、直近に復元された前記復元画像を用いて、前記物体の位置を強調する表示を重畳した表示画像を生成してもよい。
上記態様によると、表示画像は、できるだけ新しい情報を表示することができる。例えば、表示画像は、画像生成装置の周囲の現状に即した表示を提供することができる。
本開示の一態様に係る画像生成装置において、前記処理回路は、前記（ａ１）の処理と、前記（ａ４）の処理とを同じ時間に開始してもよい。
上記態様によると、いずれか一方の処理の遅延による処理全体の遅延が抑えられる。例えば、２つの処理の一方が他方よりも処理時間を要する場合、２つの処理を同じ時間に開始することによって、処理時間を要する方の処理に起因する遅延を低く抑えることが可能になる。
本開示の一態様に係る画像生成装置において、前記処理回路は、さらに、（ａ４）前記少なくとも１つの計算撮像画像を復元して、復元画像を生成し、前記（ａ２）において、前記復元画像に、前記物体の位置を強調する表示を重畳した表示画像を生成し、前記処理回路は、前記（ａ１）の処理が、前記（ａ４）の処理よりも速くてもよい。
上記態様によると、計算撮像画像の復元画像に、識別された物体の位置が強調表示される。復元画像は、ユーザが視覚する像と同様の状態で像を示すため、表示画像において、物体の位置と、物体自体とをユーザが視認することが容易になる。また、処理速度の差があるため、復元画像の表示期間に対する物体の位置の強調表示の遅れが抑えられる。
本開示の一態様に係る画像生成装置において、前記少なくとも１つの計算撮像画像は、第１の画像と、第２の画像とを含み、前記第１の画像、前記第２の画像の順番で、時間的に撮像されており、前記処理回路は、前記（ａ１）において、前記第１の画像に含まれる物体の位置を識別し、その後、前記第２の画像に含まれる物体の位置を識別し、さらに、（ａ４）前記第１の画像を復元して第１の復元画像を生成し、その後、前記第２の画像を復元して第２の復元画像を生成し、前記（ａ２）において、前記第２の画像の物体の位置を識別した後、第１の所定時間内において、前記第１の復元画像が生成され且つ前記第２の復元画像が生成されていない場合、前記第１の画像が撮像された第１の撮像時間と前記第２の画像が撮像された第２の撮像時間とを取得し、前記第１の撮像時間と前記第２の撮像時間との時間差を計算し、前記時間差が第１の閾値以下の場合、前記第１の復元画像に、前記第２の画像の物体の位置を重畳した表示画像を生成し、前記時間差が第１の閾値より大きい場合、前記第１の復元画像に前記第２の画像の物体の位置を重畳せず、前記第１の復元画像を前記表示画像としてもよい。
上記態様によると、第１の所定の時間の経過後、計算撮像画像を撮像する撮像部の周囲の状況が変化している可能性がある。第１の所定の時間の経過後に、第１の復元画像又は第２の復元画像に、第２の画像から識別された物体の位置が重畳されたとしても、表示画像の内容と撮像部の周囲の状況とが乖離する可能性がある。このような場合、第１の画像及び第２の画像の撮像時間間隔が第１の閾値超であれば、乖離が助長される可能性がある。反対に、第１の画像及び第２の画像の撮像時間間隔が第１の閾値以下であれば、乖離が抑えられる可能性がある。よって、表示画像が示す物体の位置をリアルタイム又はそれに近い内容とすることができる。
本開示の一態様に係る画像生成装置において、前記計算撮像画像を撮像する撮像部が移動体に配置されており、前記処理回路は、前記撮像部から前記計算撮像画像を取得し前記メモリに記録し、前記（ａ２）において、前記第１の画像の物体の位置を識別したとき、前記第１の復元画像が生成され且つ前記第２の復元画像が生成されていない場合、前記第１の画像及び前記第２の画像を撮像時の前記移動体の移動速度を取得し、前記移動速度に基づいて、前記第１の所定の時間を設定してもよい。
上記態様によると、移動体の移動速度が大きくなるほど、第１の所定の時間の経過後、撮像部の周囲の状況の変化が大きくなる。移動速度に基づいて第１の所定の時間が設定されるため、移動速度に起因して上記変化が大きくなることを抑えることが可能になる。
本開示の一態様に係る画像生成装置において、前記処理回路は、前記移動速度が第２の閾値よりも小さい場合、前記第１の所定時間を変更せず、前記移動速度が前記第２の閾値以上の場合、前記移動速度に基づいて、前記第１の所定時間を短くしてもよい。
上記態様によると、移動体の移動速度が大きい場合に、第１の所定の時間が短くされるため、第１の所定の時間の経過後における、撮像部の周囲の状況の変化を抑えることが可能になる。言い換えれば、移動体の移動速度が大きい場合、第１の画像及び第２の画像の撮像時間差に基づき画像の重畳表示の可否を判定する頻度が増加する。よって、第２の画像の物体の位置を重畳した表示画像の表示内容が、撮像部の周囲の状況と乖離することが、移動体の移動速度に応じて抑えられる。
本開示の一態様に係る画像生成装置において、前記計算撮像画像を撮像する撮像部が移動体に配置されており、前記処理回路は、前記撮像部から前記計算撮像画像を取得し前記メモリに記録し、前記移動体の移動速度を取得し、前記（ａ２）において、前記移動速度が第３の閾値以下の場合、前記１つの計算撮像画像を用いて、前記物体の位置を強調する表示を重畳した表示画像を生成し、前記移動速度が第３の閾値より大きい場合、前記物体の位置が強調表示されていない前記１つの計算撮像画像に基づく画像を表示画像として生成してもよい。
上記態様によると、移動体の速度が大きい場合、撮像部の周囲の状況が大きく変化する可能性がある。これにより、上記周囲の状況と表示画像の内容とが乖離する可能性がある。移動体の移動速度が第３の閾値超である場合、計算撮像画像に基づく画像が表示される。また、移動体の移動速度が第３の閾値以下である場合、識別された物体の位置を重畳した画像が、表示される。よって、表示画像が示す物体の位置をリアルタイム又はそれに近いものとすることができる。
本開示の一態様に係る画像生成装置において、前記処理回路は、さらに、（ａ５）前記少なくとも１つの計算撮像画像中において、前記識別した物体の位置に対応する復元部分画像を生成し、前記（ａ２）において、前記少なくとも１つの計算撮像画像に、前記復元部分画像を重畳した前記表示画像を生成してもよい。
上記態様によると、復元画像を生成するための処理量が抑えられるため、処理速度の向上が可能になる。さらに、識別対象は、復元画像で示されるため、ユーザによる識別対象の位置及び内容の視認が容易になる。
本開示の一態様に係る画像生成方法は、（ｂ１）ライトフィールド画像、圧縮センシング画像、及び符号化撮像画像のいずれかである少なくとも１つの計算撮像画像をメモリから取得し、（ｂ２）識別器を用いて、前記少なくとも１つの計算撮像画像中の物体の位置を識別し、（ｂ３）前記少なくとも１つの計算撮像画像を用いて、前記物体の位置を強調する表示を重畳した表示画像を生成し、（ｂ４）前記表示画像を出力し、前記（ｂ１）～（ｂ４）の少なくとも１つはプロセッサによって実行される。上記態様によると、本開示の一態様に係る画像生成装置と同様の効果が得られる。
本開示の一態様に係る画像生成方法において、さらに、（ｂ５）前記少なくとも１つの計算撮像画像を復元して、復元画像を生成し、前記（ｂ３）において、前記計算撮像画像中の物体の位置を識別した後、直近に復元された前記復元画像を用いて、前記物体の位置を強調する表示を重畳した表示画像を生成してもよい。
本開示の一態様に係る画像生成方法において、前記（ｂ２）の処理と、前記（ｂ５）の処理とを同じ時間に開始してもよい。
本開示の一態様に係る画像生成方法において、さらに、（ｂ５）前記少なくとも１つの計算撮像画像を復元して、復元画像を生成し、前記（ｂ３）において、前記復元画像に、前記物体の位置を強調する表示を重畳した表示画像を生成し、前記（ｂ２）の処理速度は、前記（ｂ５）の処理速度よりも大きくてもよい。
本開示の一態様に係る画像生成方法において、前記少なくとも１つの計算撮像画像は、第１の画像と、第２の画像とを含み、前記第１の画像、前記第２の画像の順番で、時間的に撮像されており、前記（ｂ２）において、前記第１の画像に含まれる物体の位置を識別し、その後、前記第２の画像に含まれる物体の位置を識別し、さらに、（ｂ５）前記第１の画像を復元して第１の復元画像を生成し、その後、前記第２の画像を復元して第２の復元画像を生成し、前記（ｂ３）において、前記第２の画像の物体の位置を識別した後、第１の所定時間内において、前記第１の復元画像が生成され且つ前記第２の復元画像が生成されていない場合、前記第１の画像が撮像された第１の撮像時間と前記第２の画像が撮像された第２の撮像時間とを取得し、前記第１の撮像時間と前記第２の撮像時間との時間差を計算し、前記時間差が第１の閾値以下の場合、前記第１の復元画像に、前記第２の画像の物体の位置を重畳した表示画像を生成し、前記時間差が第１の閾値より大きい場合、前記第１の復元画像に前記第２の画像の物体の位置を重畳せず、前記第１の復元画像を前記表示画像としてもよい。
本開示の一態様に係る画像生成方法において、前記少なくとも１つの計算撮像画像は移動体から撮像された画像であり、前記（ｂ３）において、前記第１の画像の物体の位置を識別したとき、前記第１の復元画像が生成され且つ前記第２の復元画像が生成されていない場合、前記第１の画像及び前記第２の画像を撮像時の前記移動体の移動速度を取得し、前記移動速度に基づいて、前記第１の所定の時間を設定してもよい。
本開示の一態様に係る画像生成方法において、前記移動速度が第２の閾値よりも小さい場合、前記第１の所定時間を変更せず、前記移動速度が前記第２の閾値以上の場合、前記移動速度に基づいて、前記第１の所定時間を短くしてもよい。
本開示の一態様に係る画像生成装置において、前記少なくとも１つの計算撮像画像は移動体から撮像された画像であり、（ｂ６）前記移動体の移動速度を取得し、前記（ｂ３）において、前記移動速度が第３の閾値以下の場合、前記１つの計算撮像画像を用いて、前記物体の位置を強調する表示を重畳した表示画像を生成し、前記移動速度が第３の閾値より大きい場合、前記物体の位置が強調表示されていない前記１つの計算撮像画像に基づく画像を表示画像として生成してもよい。
本開示の一態様に係る画像生成装置において、さらに、（ｂ７）前記少なくとも１つの計算撮像画像中において、前記識別した物体の位置に対応する復元部分画像を生成し、前記（ｂ３）において、前記少なくとも１つの計算撮像画像に、前記復元部分画像を重畳した前記表示画像を生成してもよい。
なお、上記の包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能な記録ディスク等の記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。コンピュータ読み取り可能な記録媒体は、例えばＣＤ－ＲＯＭ等の不揮発性の記録媒体を含む。
［実施の形態］
以下、実施の形態について、図面を参照しながら説明する。なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、構成要素、構成要素の配置位置及び接続形態、ステップ（工程）、ステップの順序等は、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、以下の実施の形態の説明において、略平行、略直交のような「略」を伴った表現が、用いられる場合がある。例えば、略平行とは、完全に平行であることを意味するだけでなく、実質的に平行である、すなわち、例えば数％程度の差異を含むことも意味する。他の「略」を伴った表現についても同様である。また、各図は模式図であり、必ずしも厳密に図示されたものではない。さらに、各図において、実質的に同一の構成要素に対しては同一の符号を付しており、重複する説明は省略又は簡略化される場合がある。
実施の形態に係る画像生成装置を説明する。図１には、実施の形態に係る画像生成装置１０を備える識別システム１の機能的な構成の一例を示す模式図が示されている。識別システム１は、画像生成装置１０と撮像部１１とを備える。画像生成装置１０は、取得部１０１と、識別部１０２と、画像出力制御部１０３と、画像復元部１０４と、出力部１０５とを備える。識別システム１は、撮像部１１が取得する画像を用いて、当該画像に含まれる被写体を検出し、検出結果を出力する。画像における被写体の検出を、「識別」とも呼ぶ。
識別システム１は、車両及びロボット等の移動体に搭載されてもよく、監視カメラシステム等の固定物に搭載されてもよい。本実施の形態では、識別システム１は、移動体の一例である自動車に搭載されるとして説明する。この場合、撮像部１１及び画像生成装置１０が移動体に搭載されてもよい。又は、撮像部１１が移動体に搭載され、画像生成装置１０が移動体の外部に配置されてもよい。画像生成装置１０が配置される対象の例は、コンピュータ装置、移動体の操作者の端末装置等である。端末装置の例は、移動体専用の操作用端末装置、又は、スマートフォン、スマートウォッチ及びタブレット等の汎用的な携帯端末装置である。
画像生成装置１０と撮像部１１とが離れて配置される場合、画像生成装置１０及び撮像部１１は、有線通信又は無線通信を介して通信してもよい。有線通信には、例えば、イーサネット（登録商標）規格に準拠したネットワーク等の有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）及びその他のいかなる有線通信が適用されてもよい。無線通信には、第３世代移動通信システム（３Ｇ）、第４世代移動通信システム（４Ｇ）、又はＬＴＥ（登録商標）等のような移動通信システムで利用されるモバイル通信規格、Ｗｉ－Ｆｉ（登録商標）（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）などの無線ＬＡＮ、及び、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＺｉｇＢｅｅ（登録商標）等の近距離無線通信が適用されてもよい。
撮像部１１は、撮像対象の周辺環境の情報を含む計算撮像画像（computational imaging photography）を撮像する、つまり取得する。なお、計算撮像画像は、計算画像とも呼ばれる。例えば、撮像部１１は、所定の周期である第１の周期毎に、計算撮像画像を取得する、又は、連続的に動画として計算撮像画像を取得する。撮像部１１は、時刻と対応付けられた計算撮像画像を取得してもよい。撮像部１１のハードウェアの例は、ライトフィールドカメラ、レンズレスカメラ及びＳｉｎｇｌｅ Ｐｉｘｅｌカメラである。このようなカメラである場合、撮像部１１は、後述するように、１回の撮像動作で被写体の複数の画像を同時に取得することができる。なお、撮像部１１は、例えば、撮像部１１が備える撮像素子の撮像領域、つまり受光領域を変化させることによって、上記の複数の画像を複数回の撮像動作で取得してもよい。撮像部１１は、取得した計算撮像画像を、画像生成装置１０の取得部１０１に出力する。
ここで、計算撮像画像と通常撮像画像とを説明する。通常撮像画像は、光学系を通して撮像される画像である。通常撮像画像は、通常、光学系により集光された物体からの光を結像（imaging）することによって、取得される。光学系の一例は、レンズである。物体と像内の像点（image point）とを入れ替えて、像点に物体を配置することにより、同じ光学系で元の物体の位置に像点ができる関係を共役（conjugate）と呼ぶ。本明細書において、このように共役関係にある状態で撮像された画像は、通常撮像画像と表記する。物体が存在する環境下で、人が物体を直接見たとき、人は通常撮像画像とほぼ同様の状態で当該物体を知覚する。言い換えると、人は、通常のデジタルカメラで撮像された通常撮像画像を、実空間の状態と同様に視覚的に認識する。
一方、計算撮像画像は、人によって実空間の状態と同様に視覚的に認識できない画像である。つまり、計算撮像画像は、人が見ても視覚的に認識できない画像であり得るが、コンピュータ処理により、周辺環境等の画像に含まれる情報の取得が可能である画像である。計算撮像画像は、画像復元することによって人が認識できるように視覚化されることができる。計算撮像画像の例は、マルチピンホール又はマイクロレンズを用いて撮像されたライトフィールド画像、時空間で画素情報を重み付け加算して撮像された圧縮センシング画像、符号化絞りとコード化されたマスクとを使用して撮像されたＣｏｄｅｄ Ａｐｅｒｔｕｒｅ画像（符号化開口画像）などの符号化画像である。例えば、非特許文献３には、圧縮センシング画像の例が示されている。また、計算撮像画像の他の例は、非特許文献４及び非特許文献５に示されるような、屈折による結像光学系を有しないレンズレスカメラを使用して撮像された画像、非特許文献６に示されるようなＳｉｎｇｌｅ Ｐｉｘｅｌカメラを用いて撮像された画像である。上記のいずれの計算撮像画像も、既知な技術であるため、その詳細な説明を省略する。
例えば、ライトフィールド画像には、各画素に、画像値に加えて、奥行情報も含まれる。ライトフィールド画像は、撮像素子の前に配置された複数のピンホール又はマイクロレンズを介して、撮像素子によって取得された画像である。複数のピンホール及びマイクロレンズは、撮像素子の受光面に沿って平面的に配置され、例えば、格子状に配置される。撮像素子は、その全体での１回の撮像動作において、複数のピンホール又はマイクロレンズのそれぞれを通じて複数の像を同時に取得する。複数の像は、異なる視点から撮像された像である。このような複数の像と視点との位置関係から、被写体の奥行き方向の距離の取得が可能である。撮像素子の例は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ及びＣＣＤ（Charge－Coupled Device）イメージセンサ等のイメージセンサである。
圧縮センシング画像は、圧縮センシングの対象画像である。圧縮センシングの対象画像の例は、レンズレスカメラで撮像された画像である。レンズレスカメラは、屈折による結像光学系を有さず、撮像素子の前に配置されたマスクを介して、画像を取得する。マスクは、透過率（「絞り値」とも呼ばれる）が異なる複数の領域を、例えば格子状に含む。このようなマスクを通して撮影することで、様々な方向からの光線（ライトフィールド画像）をマスクによってコード化して撮像することができる。圧縮センシングでは、このマスク情報を利用することで、コード化されたライトフィールド画像から、所望の方向の光線の画像や、すべての距離に焦点が合った全焦点画像、さらには奥行情報を取得することができる。
また、このようなマスクをカメラの開口部に絞りとして設置して撮影した画像はＣｏｄｅｄ Ａｐｅｒｔｕｒｅ画像（符号化開口画像）と呼ばれる。
画像生成装置１０の取得部１０１は、撮像部１１から計算撮像画像を取得し、識別部１０２及び画像復元部１０４に出力する。また、取得部１０１は、識別部１０２が用いる識別器を取得してもよく、取得した識別器を識別部１０２に出力してもよい。画像生成装置１０が移動体に搭載される場合、取得部１０１は、移動体から、移動体の速度を取得してもよい。取得部１０１は、移動体の速度をリアルタイムに取得してもよく、定期的に取得してもよい。取得部１０１は、移動体が速度計を備える場合、速度計から速度を取得してもよく、移動体が備え且つ速度計から速度情報を受信するコンピュータから速度を取得してもよい。取得部１０１は、移動体が速度計を備えない場合、移動体が備えるＧＰＳ（Global Positioning System）装置、加速度計及び角速度計などの慣性計測装置等から速度に関連する情報を取得してもよい。
識別部１０２は、取得部１０１から計算撮像画像を取得する。識別部１０２は、識別器を含む。識別器は、画像から対象物の情報を取得するための識別モデルである。識別器は、機械学習を用いて構築される。計算撮像画像を学習用データとして用いて機械学習することによって、識別性能を向上した識別器の構築が可能である。本実施の形態では、識別器に適用される機械学習モデルは、Ｄｅｅｐ Ｌｅａｒｎｉｎｇ（深層学習）等のニューラルネットワークを用いた機械学習モデルであるが、他の学習モデルであってもよい。例えば、機械学習モデルは、Ｒａｎｄｏｍ Ｆｏｒｅｓｔ、又はＧｅｎｅｔｉｃ Ｐｒｏｇｒａｍｍｉｎｇ等を用いた機械学習モデルであってもよい。
識別部１０２は、識別器を用いて、計算撮像画像中の物体の情報を取得する。具体的には、識別部１０２は、計算撮像画像に含まれる物体を識別し、且つ、計算撮像画像中の物体の位置を取得する。つまり、物体の情報は、物体の存在の有無と、物体の位置とを含む。物体の位置は、画像上における平面的な位置と、画像の奥行き方向の位置とを含んでもよい。例えば、識別部１０２は、識別器を用いて、計算撮像画像の少なくとも１つの画素毎に、物体が存在するか否かを識別する。識別部１０２は、計算撮像画像中の物体の位置として、物体が存在することが識別された少なくとも１つの画素の位置を取得する。ここで、本明細書における物体の識別とは、計算撮像画像において、物体が存在する画素を検出することを含む。
例えば、識別システム１が自動車に搭載される場合、物体の例は、人物、自動車、自転車及び信号である。なお、識別部１０２は、計算撮像画像を用いて、あらかじめ定められた１種類の物体を識別してもよく、複数の種類の物体を識別してもよい。また、識別部１０２は、人物、自動車又は自転車を含む移動体などのカテゴリ単位で、物体を識別してもよい。識別する物体の種類に応じた識別器が用いられる。識別器は、例えば画像生成装置１０が有するメモリに記録される。
例えば、ライトフィールド画像には、各画素に、画像値に加えて、各画素の被写体の奥行情報も含まれる。また、非特許文献２にも記載されるように、被写体の奥行情報を学習データに用いることは、識別器の識別能力向上に有効である。このため、ライトフィールド画像を使用した機械学習により構築された識別器は、その識別性能を向上することができる。同様に、圧縮センシング画像及び符号化開口画像を用いた機械学習も、識別器の識別性能の向上に有効である。
また、識別システム１は、図２に示すように、識別器を生成するための学習装置１２を備えてもよい。この場合、画像生成装置１０の識別部１０２は、学習装置１２で生成された識別器を使用する。なお、図２は、実施の形態の変形例に係る識別システム１Ａの機能的な構成の一例を示す模式図である。
画像出力制御部１０３は、出力部１０５が出力する画像を決定する。具体的には、画像出力制御部１０３は、計算撮像画像を用いて、復元画像を生成するか否かを決定する。画像出力制御部１０３は、計算撮像画像の全体を対象とする単位、計算撮像画像の１画素単位、又は計算撮像画像の複数の画素からなるグループ単位で、復元画像を生成するか否かを決定してもよい。ここでの復元画像は、通常撮像画像と同様の状態の画像を意味する。また、復元画像は、最初は存在していた画像であり且つ再び生成された画像を意味するわけではなく、初めて生成された画像を含む。例えば、通常撮像画像を伴わずに計算撮像画像が撮像され、このような計算撮像画像から復元された画像は、初めて生成された画像である。
画像出力制御部１０３は、ユーザの指示に基づいて、復元画像を生成するか否かを決定してもよく、ユーザの指示を受けていなくても、予め決められた規則及び周期等に従い、復元画像の生成を決定してもよい。前者の場合、例えば、識別システム１は、インターフェイス部を備え、インターフェイス部によりユーザの指示を受け付ける。また、画像出力制御部１０３は、外部機器からの指示に基づいて、復元画像を生成するか否かを決定してもよい。このとき、画像出力制御部１０３は、通信回路等の通信部を有し、通信部を介して、有線又は無線で通信可能な外部機器からの指示を取得する。インターフェイス部の例は、ボタン、レバー、キー、タッチパネル、マウス、音声認識するためのマイク等である。また、後述するように、画像出力制御部１０３は、識別部１０２の識別結果に基づいて、出力する画像情報を切り替えるようにしてもよい。
画像復元部１０４は、画像出力制御部１０３の決定に基づいて、撮像部１１が取得した計算撮像画像を画像復元処理し、復元画像を生成する。画像復元部１０４は、画像出力制御部１０３によって復元画像を生成しないと判定された場合、復元画像を生成しない。
出力部１０５は、画像情報を出力する。画像情報は、復元画像、及び復元画像を生成しないと決定された計算撮像画像の少なくとも一方を含む。出力部１０５は、識別システム１がさらにディスプレイを備える場合には、ディスプレイに、画像情報を出力する指示を出力する。又は、出力部１０５は、通信部を有し、通信部を介して、有線又は無線で、ディスプレイを有する外部機器の制御部に対して、画像情報を出力する。ここでの通信部は、画像出力制御部１０３の通信部と共通であってもよい。なお、出力部１０５は、識別部１０２から物体の情報を取得し、物体の情報が付加された画像情報を出力してもよい。上述の通り、物体の情報は、物体の存在の有無と、物体の位置とを含む。
上述のような取得部１０１、識別部１０２、画像出力制御部１０３、画像復元部１０４及び出力部１０５からなる画像生成装置１０の構成要素は、ＣＰＵ（Central Processing Unit）又はＤＳＰ（Digital Signal Processor）等のプロセッサ、並びに、ＲＡＭ（Random Access Memory）及びＲＯＭ（Read－Only Memory）等のメモリなどからなる処理回路により構成されてもよい。上記構成要素の一部又は全部の機能は、ＣＰＵ又はＤＳＰがＲＡＭを作業用のメモリとして用いてＲＯＭに記録されたプログラムを実行することによって達成されてもよい。また、上記構成要素の一部又は全部の機能は、電子回路又は集積回路等の専用のハードウェア回路によって達成されてもよい。上記構成要素の一部又は全部の機能は、上記のソフトウェア機能とハードウェア回路との組み合わせによって構成されてもよい。
次に、識別システムが学習装置を含むケース、つまり、実施の形態に係る識別システム１の変形例を説明する。図２に示すように、変形例に係る識別システム１Ａは、画像生成装置１０と、撮像部１１と、学習装置１２とを備える。また、学習装置１２は、画像取得部１２１と、識別正解取得部１２２と、学習部１２３とを備える。画像生成装置１０、撮像部１１及び学習装置１２は、１つの装置に搭載されてもよく、分かれた装置に搭載されてもよい。分かれた装置に搭載される場合、有線通信又は無線通信を介して、装置間で情報が授受されてもよい。適用される有線通信及び無線通信は、上記で例示したもののいずれかであってもよい。
また、図３には、変形例に係る識別システム１Ａのハードウェア構成の一例を示す模式図が示されている。図３に示すように、学習装置１２は、第二入力回路２２１と、第二演算回路２２２と、第二メモリ２２３とを備える。また、画像生成装置１０は、第一入力回路２０１と、第一演算回路２０２と、第一メモリ２０３と、出力回路２０４とを備える。
図１及び図３を参照すると、第一入力回路２０１は、取得部１０１に対応する。第一演算回路２０２は、識別部１０２、画像出力制御部１０３及び画像復元部１０４に対応する。出力回路２０４は、出力部１０５に対応する。第一メモリ２０３は、第一入力回路２０１、第一演算回路２０２及び出力回路２０４が処理を実行するためのコンピュータプログラム、取得部１０１が取得する少なくとも１つの計算撮像画像、及び、識別部１０２が用いる識別器等を記憶する、つまり記録する。第一メモリ２０３は、１つのメモリで構成されてもよく、同じ種類又は異なる種類の複数のメモリで構成されてもよい。第一入力回路２０１及び出力回路２０４は、通信回路を含んでもよい。
図２及び図３を参照すると、第二入力回路２２１は、画像取得部１２１に対応する。第二入力回路２２１は、通信回路を含んでもよい。第二演算回路２２２は、識別正解取得部１２２及び学習部１２３に対応する。第二メモリ２２３は、第二入力回路２２１及び第二演算回路２２２が処理を実行するためのコンピュータプログラム、画像取得部１２１が取得する少なくとも１つの計算撮像画像、識別正解取得部１２２が取得する識別正解、学習部１２３が生成した識別器等を記憶する、つまり記録する。第二メモリ２２３は、１つのメモリで構成されてもよく、同じ種類又は異なる種類の複数のメモリで構成されてもよい。
第一入力回路２０１、第一演算回路２０２、出力回路２０４、第二入力回路２２１及び第二演算回路２２２は、ＣＰＵ又はＤＳＰ等のプロセッサを含む処理回路で構成され得る。第一メモリ２０３及び第二メモリ２２３は、例えば、ＲＯＭ、ＲＡＭ、フラッシュメモリなどの半導体メモリ、ハードディスクドライブ、又は、ＳＳＤ（Solid State Drive）等の記憶装置によって実現される。第一メモリ２０３及び第二メモリ２２３は、１つのメモリにまとめられてもよい。プロセッサは、メモリに展開されたコンピュータプログラムに記述された命令群を実行する。これにより、プロセッサは種々の機能を実現することができる。
学習装置１２の画像取得部１２１は、機械学習のための計算撮像画像を取得する。画像取得部１２１は、撮像部１１から計算撮像画像を取得してもよく、識別システム１Ａの外部から有線通信又は無線通信を介して、計算撮像画像を取得してもよい。適用される有線通信及び無線通信は、上記で例示したもののいずれかであってもよい。画像取得部１２１は、取得した計算撮像画像を第二メモリ２２３に格納する。
識別正解取得部１２２は、画像取得部１２１が取得した計算撮像画像を用いた機械学習のために、識別正解を取得する。識別正解は、計算撮像画像と共に、識別システム１Ａの外部から与えられてもよく、撮像部１１の計算撮像画像に対してユーザが識別正解を入力することによって、与えられてもよい。識別正解は、計算撮像画像に含まれる被写体が属するカテゴリ情報と、被写体の位置情報とを含む。被写体のカテゴリの例は、人物、自動車、自転車、信号等である。位置情報は、画像上の位置だけでなく、後述するように、被写体の奥行位置での仮想的な画像上での位置を含む。識別正解取得部１２２は、取得した識別正解を、計算撮像画像と対応付けて、第二メモリ２２３に格納する。
学習部１２３は、画像取得部１２１が取得した計算撮像画像と、識別正解取得部１２２が取得した識別正解とを用いて、識別部１０２の識別器の学習を行う。学習部１２３は、第二メモリ２２３に格納された識別器に機械学習をさせ、学習後の最新の識別器を第二メモリ２２３に格納する。識別部１０２は、第二メモリ２２３に格納された最新の識別器を取得し、第一メモリ２０３に格納しつつ、識別処理に使用する。上記機械学習は、例えば、ディープラーニングなどにおける誤差逆伝播法などによって実現する。具体的には、学習部１２３は、識別器に計算撮像画像を入力し、識別器が出力する識別結果を取得する。そして、学習部１２３は、識別結果が識別正解となるように識別器を調整する。学習部１２３は、このような調整を繰り返すことによって、識別器の識別精度を向上させる。
次に、図２～図４を参照しつつ、学習装置１２の動作を示す。なお、図４は、学習装置１２の主要な処理の流れの一例を示すフローチャートである。まず、ステップＳ１において、画像取得部１２１は、計算撮像画像を取得する。なお、以下の説明では、計算撮像画像がライトフィールド画像であるとして説明する。
ライトフィールド画像とは、画素毎に、画素値と奥行情報との両方の情報を有する。ライトフィールド画像は、ライトフィールドカメラによって取得される。ライトフィールドカメラの具体例は、マルチピンホール又はマイクロレンズを使用したカメラである。撮像部１１がライトフィールドカメラであり、画像取得部１２１は、撮像部１１が撮像したライトフィールド画像を取得してもよい。又は、画像取得部１２１は、識別システム１Ａの外部から有線通信又は無線通信を介してライトフィールド画像を取得してもよい。
図５には、マルチピンホールを使用したライトフィールドカメラの例が示されている。図５に示すライトフィールドカメラ２１１は、マルチピンホールマスク２１１ａと、イメージセンサ２１１ｂとを有する。マルチピンホールマスク２１１ａは、イメージセンサ２１１ｂから一定距離離れて配置されている。マルチピンホールマスク２１１ａは、ランダム又は等間隔に配置された複数のピンホール２１１ａａを有している。複数のピンホール２１１ａａのことを、マルチピンホールとも呼ぶ。イメージセンサ２１１ｂは、各ピンホール２１１ａａを通じて被写体の画像を取得する。ピンホールを通じて取得される画像を、ピンホール画像と呼ぶ。各ピンホール２１１ａａの位置及び大きさによって、被写体のピンホール画像は異なるため、イメージセンサ２１１ｂは、複数のピンホール画像の重畳画像を取得する。ピンホール２１１ａａの位置は、イメージセンサ２１１ｂ上に投影される被写体の位置に影響を与え、ピンホール２１１ａａの大きさは、ピンホール画像のボケに影響を与える。マルチピンホールマスク２１１ａを用いることによって、位置及びボケの程度が異なる複数のピンホール画像を重畳して取得することが可能である。被写体がピンホール２１１ａａから離れている場合、複数のピンホール画像はほぼ同じ位置に投影される。一方、被写体がピンホール２１１ａａに近い場合、複数のピンホール画像は離れた位置に投影される。そのため、重畳画像には被写体の奥行情報が含まれている。
例えば、図６及び図７にはそれぞれ、通常撮像画像の例と、マルチピンホールを使用したライトフィールドカメラによるライトフィールド画像の例とが、示されている。図６は、通常撮像された被写体の画像の例を示し、図７は、マルチピンホールマスクを含むライトフィールドカメラを使用して撮像された図６の被写体の画像の例を示す。図６に示すように、通常撮像画像において、被写体として、道路上の人物Ａと自動車Ｂ及びＣとが写し出される。これらの被写体を、例えば４つのピンホールを有するライトフィールドカメラで撮像した場合、図７に示すように、人物Ａ並びに自動車Ｂ及びＣそれぞれの画像は、複数の重畳された画像として取得される。具体的には、人物Ａの画像は、人物Ａ１、Ａ２及びＡ３として取得され、自動車Ｂの画像は、自動車Ｂ１、Ｂ２、Ｂ３及びＢ４として取得され、自動車Ｃの画像は、自動車Ｃ１、Ｃ２、Ｃ３及びＣ４として取得される。
ステップＳ２において、識別正解取得部１２２は、焦点の奥行位置を種々に変更することによって各奥行位置での仮想奥行画像をライトフィールド画像から生成する。この際、識別正解取得部１２２は、マルチピンホールマスク２１１ａの複数のピンホール２１１ａａの位置及び大きさと、ライトフィールドカメラのカメラパラメータと、イメージセンサの情報と、ＲａｙＴｒａｃｉｎｇ（光線追跡法）の技術とを使用する。仮想奥行画像は、設定した奥行値の位置に焦点が合った画像であり、それ以外の奥行値に位置する被写体に対して焦点が合わず、ぼけた画像を示す。合焦位置が変化する複数の仮想奥行画像を生成することで、被写体の奥行値を取り出すことができる。なお、Ｒａｙ Ｔｒａｃｉｎｇの技術は、３次元グラフィックスの描画手法の１つであり、視点である画素に届く光線を被写体にまで逆にたどり、途中の描画面における各画素の色を決定する方法である。
ステップＳ３において、識別正解取得部１２２は、ライトフィールド画像に関する識別正解を取得する。識別正解は、人物、自動車、自転車、信号等の被写体が属するカテゴリ情報と、画像上での被写体の平面的な位置及び領域とを含む。識別正解は、ライトフィールド画像と共に識別システム１Ａの外部から与えられたもの、又は、撮像部１１によるライトフィールド画像に対してユーザによって与えられたものである。識別正解取得部１２２は、各仮想奥行画像において、被写体の位置に基づき、被写体を特定し、特定した被写体とカテゴリとを対応付ける。この結果、識別正解取得部１２２は、被写体の領域と、被写体のカテゴリと、被写体の平面位置及び奥行位置を含む位置情報とを対応付けて取得し、これらの情報を識別正解とする。
識別正解取得部１２２は、被写体の画像上での平面位置及び領域を決定する際、指標を用いる。例えば、識別正解取得部１２２は、指標として、被写体を囲む枠を用いる。以下、被写体を囲む枠を識別領域枠とも呼ぶ。識別領域枠は、被写体の位置及び領域を強調して示すことができる。識別領域枠の一例が、図８Ａ及び図８Ｂに示されている。図８Ａは、通常撮像画像に識別領域枠を重畳表示した模式的な図である。図８Ｂは、識別領域枠を示す模式的な図である。図８Ａ及び図８Ｂに示す例では、識別正解取得部１２２は、各被写体を外から囲み且つ各被写体に外接する矩形の識別領域枠を設定する。なお、識別領域枠の形状は、図８Ａ及び図８Ｂの例に限定されない。
図８Ａ及び図８Ｂにおいて、識別正解取得部１２２は、例えば、人物Ａに識別領域枠ＦＡを設定し、自動車Ｂに識別領域枠ＦＢを設定し、自動車Ｃに識別領域枠ＦＣを設定する。この際、識別正解取得部１２２は、識別領域枠の形状及びのその位置を示す情報として、識別領域枠全体の線形及び座標を算出してもよく、識別領域枠の各頂点の座標を算出してもよく、識別領域枠の左上等の１つの頂点の座標及び各辺の長さを算出してもよい。また、識別正解取得部１２２は、図８Ａ及び図８Ｂに示すように、すべてのカテゴリの被写体に対して同一の線種の識別領域枠を設定してもよく、カテゴリ毎に識別領域枠の線種を変更してもよい。そして、識別正解取得部１２２は、識別領域枠の線種を、識別領域枠の情報に含めてもよい。上述のようにすることで、識別正解取得部１２２は、識別正解として、識別領域枠の領域の平面位置、奥行位置及び形状等を含む情報を出力する。
また、識別正解取得部１２２は、識別正解として、識別領域枠の情報を取得するのではなく、画素毎に識別正解を取得してもよい。画素毎の識別正解は、例えば画像上にマスクとして与えられてもよい。例えば、図９には、画像上でマスクとして与えられた識別正解の例が模式的に示されている。図９の例では、識別正解として、人物Ａには、マスクＡａが与えられ、自動車Ｂ及びＣにはそれぞれマスクＢａ及びＣａが与えられている。このようにすることで、識別正解取得部１２２は、画素毎に識別正解を出力する。
ステップＳ４において、学習部１２３は、ステップＳ１で取得されたライトフィールド画像と、ステップＳ３で取得された仮想奥行画像における識別正解とを取得する。さらに、学習部１２３は、第二メモリ２２３に格納された識別器を取得し、識別器にライトフィールド画像を入力し出力結果を取得する。学習部１２３は、出力結果が識別正解となるように、識別器を調整し、調整後の識別器を格納することで第二メモリ２２３内の識別器を更新する。
次に、図１及び図１０を参照して、画像生成装置１０の動作を説明する。図１０は、実施の形態に係る画像生成装置１０の動作の流れの一例を示すフローチャートである。なお、以下の説明において、撮像部１１がライトフィールドカメラであるとして説明する。
ステップＳ１０１において、撮像部１１が、画像を撮像する。例えば、撮像部１１は、所定の周期である第１の周期毎に、計算撮像画像として、ライトフィールド画像を取得する。取得部１０１は、撮像部１１が撮像したライトフィールド画像を取得し、識別部１０２に出力する。なお、取得部１０１は、識別システム１の外部からライトフィールド画像を取得してもよい。
次いで、ステップＳ１０２において、識別部１０２は、ライトフィールド画像において、識別器を用いて、識別対象とされる物体を検出する。識別対象の物体は、予め、識別器に設定されてよい。例えば、識別システム１が自動車に搭載される場合、識別対象の物体の例は、人物、自動車、自転車及び信号である。識別部１０２は、識別器にライトフィールド画像に入力することによって、識別器から、出力結果として、識別対象の物体の検出結果を取得する。識別部１０２は、識別処理済みのライトフィールド画像を、第一メモリ２０３（図３参照）に格納してもよい。
次いで、ステップＳ１０３において、画像出力制御部１０３は、識別部１０２によって識別処理されたライトフィールド画像を画像復元するか否かを決定する。画像出力制御部１０３は、画像復元する場合（ステップＳ１０３でＹｅｓ）、ステップＳ１０４に進み、画像復元しない場合（ステップＳ１０３でＮｏ）、ステップＳ１０５に進む。画像出力制御部１０３は、識別部１０２が識別対象の物体の検出した場合、画像復元処理の実行を決定してもよい。この場合、画像出力制御部１０３は、識別部１０２が識別対象の物体を検出したライトフィールド画像の全てに対して、画像復元処理を行ってもよく、当該ライトフィールド画像の一部分に対して、画像復元処理を行ってもよく、また、当該ライトフィールド画像の何枚かに１枚の割合で画像復元処理を行ってもよい。また、画像出力制御部１０３は、所定の時間毎に取得されたライトフィールド画像に対して、画像復元処理を行ってもよい。画像出力制御部１０３は、ユーザからの指示、又は外部機器の指示を受けると、画像復元処理を行ってもよく、この場合、指示を受けた時に撮像したライトフィールド画像に対して、画像復元処理を行ってもよい。
ステップＳ１０４において、画像復元部１０４は、画像復元するライトフィールド画像の情報を画像出力制御部１０３から取得し、当該情報に基づき、ライトフィールド画像を取得する。画像復元部１０４は、例えば、第一メモリ２０３からライトフィールド画像を取得する。画像復元部１０４は、取得したライトフィールド画像に対して画像復元処理することによって、復元画像を生成する。
ステップＳ１０５において、出力部１０５は、画像情報を出力する。出力部１０５は、画像復元部１０４によって画像復元処理された場合、復元画像及びライトフィールド画像のうちの少なくとも復元画像を含む画像情報を出力し、画像復元部１０４によって画像復元処理されなかった場合、ライトフィールド画像を含む又はライトフィールド画像を含まない画像情報を出力する。少なくとも復元画像を含む画像情報は、識別部１０２が検出した物体の情報を含んでもよい。物体の情報は、物体の位置、領域等を含む。出力部１０５は、識別システム１が備えるディスプレイ及び外部機器の少なくとも一方に、画像情報を出力してもよい。
さらに、図１０におけるステップＳ１０２の識別処理を説明する。ライトフィールドカメラである撮像部１１が撮像したライトフィールド画像から、画像情報と奥行情報とを同時に取得することが可能である。識別部１０２は、ライトフィールド画像に対して、学習装置１２で学習した識別器を使用して識別処理を行う。この学習は、ディープラーニングなどのニューラルネットワークを用いた機械学習によって実現する。
識別部１０２は、テクスチャ情報の識別と奥行情報の識別とを行い、識別されたテクスチャ情報及び奥行情報を用いて、画像に含まれる物体を統合的に識別する構成であってもよい。このような識別部１０２は、図１１に示すように、テクスチャ情報識別部１０２１と、奥行情報識別部１０２２と、統合識別部１０２３とを含む。テクスチャ情報識別部１０２１及び奥行情報識別部１０２２は、統合識別部１０２３に対して、並列に接続されている。なお、図１１は、識別部１０２の機能的な構成の一例を示す模式図である。
テクスチャ情報識別部１０２１は、ライトフィールド画像においてテクスチャ情報を使用して被写体を検出する。具体的には、テクスチャ情報識別部１０２１は、例えば、非特許文献１に記載されるようなニューラルネットワークを識別器として使用することによって、ライトフィールド画像において被写体の領域と被写体のカテゴリとを識別する。テクスチャ情報識別部１０２１への入力情報は、ライトフィールド画像であり、テクスチャ情報識別部１０２１の識別結果は、学習装置１２の場合と同様に、仮想奥行画像上での被写体の領域及び被写体のカテゴリである。通常撮像画像の場合、入射する光線の方向の値、つまり奥行値が積分されて画素値に含まれるため、奥行きの情報が削除されている。このような通常撮像画像と比較すると、ライトフィールド画像は、被写体に関する多くの情報を含む。このため、マルチピンホール等が用いられるライトフィールド画像が、識別器の入力情報として用いられることによって、通常撮像画像を入力情報とする場合以上の高精度な識別が可能である。
奥行情報識別部１０２２は、ライトフィールド画像から被写体の奥行情報を検出する。具体的には、奥行情報識別部１０２２は、学習装置１２の場合と同様に、仮想奥行画像に基づく被写体の奥行情報を取得する。仮想奥行画像に基づく奥行情報の取得は、Ｒａｙ Ｔｒａｃｉｎｇの技術を使用することによって実現できるため、奥行情報識別部１０２２が用いる識別器は、全結像層のニューラルネットワークとして実現され得る。もちろん、別途取得した奥行画像を正解画像として学習することで、奥行情報識別部１０２２を生成してもかまわない。
統合識別部１０２３は、テクスチャ情報識別部１０２１の識別結果と、奥行情報識別部１０２２の識別結果とを統合し、最終的な識別結果を出力する。最終的な識別結果は、ライトフィールド画像に含まれる物体の領域、当該領域の画像上での平面位置、及び当該領域の奥行位置等を含む。統合識別部１０２３が用いる識別器は、全結像層のニューラルネットワークとして実現され得る。
また、上記説明では、撮像部１１は、マルチピンホール又はマイクロレンズを用いるライトフィールドカメラであったが、これに限らない。例えば、撮像部１１は、符号化開口画像を撮像する構成であってもよい。図１２には、ランダムマスクを符号化絞りとして使用する符号化開口マスクの例の模式図が示されている。図１２に示すように、符号化開口マスク３１１は、色無し領域で示される光の透過領域と、黒塗り領域で示される光の遮光領域とを有する。このような符号化開口マスク３１１は、ガラスにクロムを蒸着することで作製される。このような符号化開口マスク３１１が、主レンズとイメージセンサとの間の光路上に配置されると、光線の一部が遮断されるため、符号化開口画像を撮像するカメラの実現が可能である。
また、識別部１０２は、テクスチャ情報識別部１０２１と奥行情報識別部１０２２とが並列関係である構成を有するのではなく、奥行情報識別部１０２２による奥行情報の抽出後に、テクスチャ情報識別部１０２１による識別を行うように構成されてもよい。図１３には、このような識別部１０２の機能的な構成の別の一例を示す模式図が示されている。図１３に示すように、識別部１０２では、奥行情報識別部１０２２、テクスチャ情報識別部１０２１及び統合識別部１０２３が直列関係である。奥行情報識別部１０２２は、複数の奥行値の位置それぞれに対して仮想奥行画像を生成する。テクスチャ情報識別部１０２１は、奥行情報識別部１０２２が生成した複数の奥行値に対する仮想奥行画像それぞれを入力情報として、例えば、非特許文献１に記載されるようなニューラルネットワークを用いることによって、被写体の位置、領域及び被写体のカテゴリを識別する。
統合識別部１０２３は、テクスチャ情報識別部１０２１によるカテゴリ識別結果を統合して出力する。このような統合処理は、例えば、テクスチャ情報識別部１０２１の出力である識別結果の論理和としてもよい。もちろん、統合処理は、このような論理和ではなく、例えば、複数の奥行値に対する複数の識別結果において、複数回出力された同一の識別結果を、出力結果として選択するようにしてもよい。
複数の奥行値に対する仮想奥行画像は、テクスチャ情報に加えて奥行情報も有しているため、識別部１０２は、テクスチャ情報に加えて奥行情報も使用した識別処理を実現できる。これにより、識別部１０２は、高精度の識別が可能である。
また、識別部１０２が、奥行情報を抽出した後にテクスチャ情報を使用して識別する構成である場合、学習部１２３は、各奥行値の仮想奥行画像を用いて学習するようにしてもよい。このようにすることで、奥行値毎の識別処理が可能であるため、より高精度の識別処理が可能である。
また、識別部１０２は、撮像部１１に応じて、そのニューラルネットワークの構成を変えるようにしてもよい。撮像部１１がライトフィールドカメラである場合、仮想奥行画像は、撮像部１１のマルチピンホールの位置及び大きさ等を用いて生成される。マルチピンホールの位置及び大きさが撮像部毎に異なる場合、撮像部毎にニューラルネットワークを構成することにより、識別部１０２の識別精度を向上させることができる。マルチピンホールの位置及び大きさの情報は、事前にカメラキャリブレーションを実施することで取得可能である。
以上のように、識別部１０２は、ライトフィールド画像を入力情報とし、当該ライトフィールド画像のテクスチャ情報及び奥行情報から識別処理を行う。それにより、識別部１０２は、従来の通常撮像画像を使用したテクスチャ画像に基づく識別処理と比べ、より高精度の識別処理を可能にする。
上述したように、識別システムとして、識別部１０２を含む画像生成装置１０を備える識別システム１と、当該画像生成装置１０と学習装置１２とを備える識別システム１Ａとを例示した。しかしながら、例えば、識別部１０２は、学習装置１２を包含してもよく、この場合、識別システム１が学習装置１２を備えることになる。
以上のように、実施の形態及び変形例に係る識別システム１及び１Ａにおいて、画像生成装置１０は、ライトフィールド画像等の計算撮像画像を用いて、当該画像内の被写体の識別を行う。さらに、画像生成装置１０は、一連の識別処理の過程において、計算撮像画像を通常撮像画像に画像復元せず、識別処理後、ユーザによる要求時等の必要に応じて、画像復元を行う。画像生成装置１０は、計算撮像画像に含まれるテクスチャ情報と、計算撮像画像から算出する仮想奥行画像に含まれる奥行情報とに基づき、計算撮像画像内の被写体の識別を行う。よって、画像生成装置１０は、被写体の識別処理量を低減することができる。特に、識別処理の際に計算撮像画像から通常撮像画像への画像復元を伴う手法と比較して、画像生成装置１０は、識別処理の大幅な高速化を可能にする。
また、画像生成装置１０は、識別処理の入力情報として、通常撮像画像ではなく、ライトフィールド画像等の情報量が多い計算撮像画像を用いる。このため、画像生成装置１０は、画像のテクスチャ情報に加えて、被写体の奥行き情報も用いた識別処理を実現できるため、高精度な識別を可能にする。さらに、識別器を生成する学習装置１２も、計算撮像画像を学習用データとして用いて識別器に学習させるため、高精度な識別器の生成を可能にする。さらに、計算撮像画像を撮像する撮像部１１は、奥行情報を取得するためのレンジファインダを必要としないため、識別システム１及び１Ａは、安価な構成で高精度の識別を可能にする。特に、撮像部１１が、マルチピンホールを用いるライトフィールドカメラである場合、識別システム１及び１Ａはさらに安価な構成となる。
次に、画像復元部１０４の処理について、より詳しく説明する。画像復元部１０４は、画像出力制御部１０３の処理結果に従い、撮像部１１が取得した計算撮像画像を、ユーザである人が見てわかる通常撮像画像に復元して出力する。この処理は、撮像部１１が取得した計算撮像画像をｙとし、通常撮像画像である復元画像をｘとした場合、以下の式１のように定式化できる。
Figure 0006998554000001
ここで、行列Ａは、撮像部１１において、撮像された計算撮像画像の各点の像が、復元画像上のどの点の像を表すかを示すサンプリング行列である。サンプリング行列Ａは、計算撮像画像ｙと、復元画像ｘとの関係を示しており、事前にカメラキャリブレーションを実施することで取得される。サンプリング行列Ａの情報は、撮像部１１から、計算撮像画像と共に、画像生成装置１０が取得するように構成してもよい。また、サンプリング行列Ａの情報は、計算撮像画像の各点が被写体の存在する３次元空間上のどの点の光を受光しているかを示す情報であってもよく、計算撮像画像の各点が被写体の存在する３次元空間上のどの直線上の光を受光しているかを示す情報であってもよい。いずれも情報も、カメラキャリブレーション情報として既知である。
また、例えば、計算撮像画像ｙの画素数がＮ、復元画像ｘの画素数がＭである場合、計算撮像画像ｙはＮ行１列のベクトル、復元画像ｘはＭ行１列のベクトル、サンプリング行列ＡはＮ行Ｍ列の行列で表現される。
次に、画像復元部１０４においてサンプリング行列Ａ及び計算撮像画像ｙから復元画像ｘを計算する方法について説明する。図１４Ａ及び図１４Ｂにはそれぞれ、計算撮像画像及び復元画像の画素の配置例が模式的に示されている。図１４Ａには、画素数がＮ＝１６である計算撮像画像ｙが示され、図１４Ｂには、画素数がＭ＝１６である復元画像ｘが示されている。図１４Ｂの復元画像ｘは、図１４Ａの計算撮像画像ｙに基づいて復元された画像である。計算撮像画像ｙと復元画像ｘとは、次の式２で表される。
Figure 0006998554000002
本例では、Ｍ＝Ｎであるため、式１において、未知数であるｘの要素数が１６であり、観測数であるｙの要素数も１６である。未知数の数量と方程式の数とが等しいため、サンプリング行列Ａの逆行列を計算することで復元画像ｘの各要素を計算することができる。しかしながら、計算撮像画像ｙの画素数Ｎが復元画像ｘの画素数Ｍよりも少ない場合、式１は、不良設定問題となり、一意に解を求めることができない。この不良設定問題を解くために、画像復元部１０４は、圧縮センシング技術を使用する。圧縮センシング技術とは、信号のセンシング時に重み付き加算処理（つまり、符号化）することによりデータ量を圧縮し、圧縮したデータを使用して復元処理を行うことで元の信号を復号（つまり、復元）する技術である。圧縮センシング処理では、不良設定問題を解くために、事前知識が使用される。
自然画像に対する事前知識として、例えば、非特許文献７及び非特許文献８に記載されるようなトータル・バリエーション（Total Variation）が使用されてもよい。トータル・バリエーションは、画像上の近傍位置間における輝度変化の絶対値和である。また、例えば、非特許文献９に記載されるようなスパース性が使用されてもよい。スパース性は、ウェーブレット（Wavelet）変換、ＤＣＴ変換、カーブレット（Curvelet）変換等の線形変換において多くの係数が０になる特性である。また、例えば、非特許文献１０に記載されるような、上述の線形変換の変換係数を学習によって取得するディクショナリ・ラーニング（Dictionary Learning）等が使用されてもよい。このような事前知識を式１の拘束化項とした評価関数を設定し、この評価関数を最適化することで、復元画像ｘを取得することができる。このような評価関数は、例えば、非特許文献１１に記載されるようなＡＤＭＭ（Alternating Direction Method of Multipliers）等の凸最適化手法を使用することで、最適化できる。
また、画像復元部１０４は、識別部１０２の識別結果によって処理を切り替えるようにしてもかまわない。例えば、スパース性を使用して画像復元をする場合、使用する線形変換の辞書を識別結果によって切り替えることで、復元画質を向上させる。この切り替え処理について、線形変換の辞書を並べた辞書行列をＤとし、この辞書行列Ｄに対するスパース性を用いると、式１は次の式３のようになる。
Figure 0006998554000003
ここで、ベクトルｚは辞書行列Ｄにおける復元画像ｘの係数ベクトル、式３の第２項の｜ｚ｜０はｚのＬ０ノルムであり、係数ベクトルｚがスパースになるための拘束項である。また、辞書行列Ｄは、ディクショナリ・ラーニングによって、事前に学習で求められる。この場合、辞書行列Ｄの学習を、被写体のカテゴリ毎に別々に実施して、辞書行列Ｄｉ（ｉ＝１，２，・・・・）が求められる。なお、「ｉ」は、被写体のカテゴリに対応する。画像復元を行う際には、識別部１０２の識別結果、つまり識別された被写体のカテゴリに合わせた辞書行列Ｄｉを使用することで、復元画質を向上させることが可能である。
また、式３の最適化は困難であるため、Ｌ０ノルムをＬ１ノルムに変更した、下記の式４を使用してもよい。
Figure 0006998554000004
ここで、式４の第２項｜ｚ｜１はｚのＬ１ノルムを示している。式４は、Soft Thresholdingなどの処理により解くことができる。
また、画像復元部１０４は、画像全体を復元するのではなく、画像の一部を復元してもよい。画像の一部を復元することで、復元処理にかかる時間を短縮することができる。また、反復計算によって画像復元を実施し、且つ、一定時間で処理を終わらせる必要がある場合、１回の反復計算の処理時間を短縮すると、反復回数を増やすことができるため、復元画質を向上させることも可能である。このように、画像復元部１０４は、画像の一部を復元する場合、識別部１０２の識別結果に合わせて復元する領域を選択してもよい。
前述のとおり、識別部１０２は、被写体のカテゴリ情報である人物、自動車、自転車、信号などの領域を、例えば、識別領域枠を使用して検出する。画像復元部１０４は、こうして識別された領域、例えば、識別領域枠内の領域を画像復元してもよい。これにより、画像復元部１０４は、人物、自動車、自転車、信号などの、ユーザによって有用な情報の領域を画像復元し、道路及び空などのあまり有用でない領域を画像復元しないように処理することが可能である。このような画像は、計算撮像画像に、識別領域枠内の復元画像が重畳された重畳画像であるとも言える。このように、有用な領域を高速・高画質に画像復元することが可能になる。
次に、出力部１０５の処理について説明する。出力部１０５は、識別結果を表示する画像と復元画像とを時間的に切り替えて出力してもよい。例えば、出力部１０５は、復元画像を出力し、次に、識別結果を表示する画像を出力するなど、時間的に順番に出力する。出力部１０５は、復元画像と識別結果を表示する画像とを必ずしも交互に出力する必要もなく、複数の識別結果を表示する画像を出力した後に、復元画像を出力してもよい。又は、出力部１０５は、識別結果を表示する画像を、復元画像に重畳した重畳画像を生成し、出力してもよい。
例えば、図１５には、計算撮像画像を復元した通常撮像画像の例が模式的に示されている。図１６には、識別部１０２が識別した識別結果を、識別領域枠を用いて表示する画像の例が模式的に示されている。図１７には、識別部１０２が識別した識別結果を、復元画像に重畳した重畳画像の例が模式的に示されている。図１５及び図１７に示すように、識別対象は、人物Ｄ、自動車Ｅ及び自動車Ｆである。
図１７に示すような重畳画像を生成する際、出力部１０５は、（ａ）識別部１０２により識別された物体の情報を取得し、（ｂ）所定の基準を用いて、復元画像に物体の位置に対応する表示を含む画像を生成し、（ｃ）生成した画像を出力する。図１７に示す物体の位置に対応する表示は、人物Ｄを囲む識別領域枠ＦＤと、自動車Ｅを囲む識別領域枠ＦＥと、自動車Ｆを囲む識別領域枠ＦＦである。所定の基準とは、物体の位置に対応する表示を生成するための基準であり、識別領域枠の場合、物体に対する位置、形状等を定める基準である。
図１６に示すような識別結果を表示する画像生成する際、出力部１０５は、（ａ）識別部１０２により識別された物体の情報を取得し、（ｂ）所定の基準を用いて、画像に物体の位置に対応する表示を含む画像を生成し、（ｃ）生成した画像を出力する。図１６に示す物体の位置に対応する表示は、識別領域枠ＦＤ、ＦＥ及びＦＦである。出力部１０５は、背景が無地の画像上に、識別領域枠ＦＤ、ＦＥ及びＦＦを表示してもよく、計算撮像画像上に、識別領域枠ＦＤ、ＦＥ及びＦＦを表示してもよい。
また、図９に関して説明したように、識別部１０２が画素毎に識別を行い、識別結果を出力する場合には、出力部１０５は、識別領域枠ではなく、画素毎に識別結果を重畳表示してもよい。この場合、出力部１０５は、例えば識別結果に対応する画素を特定の色で置き換えてもよく、アルファブレンディング処理してもよい。アルファブレンディング処理は、２つの画像、つまり２つの画素を係数αにより合成する処理であり、例えば、ある画素にα値を掛け合わせることで半透明な画素を重ねる処理である。
また、出力部１０５が識別結果を復元画像上に重畳表示する場合、識別結果の更新レートは復元画像の更新レートよりも高くしてもよい。通常、画像復元部１０４が復元画像を復元するための処理コスト、つまり処理時間は、処理能力が同等である場合、識別部１０２が識別処理し処理結果を出力する処理時間よりも大きい。そのため、識別結果及び復元画像の更新レートを等しくした場合、識別結果の更新レートが遅くなることになり、画像生成装置１０が自動車の自動運転又は周辺監視システムに使用される場合、後段の運転制御などの処理が遅れる可能性がある。
例えば、図１８に示すように、識別部１０２が１フレームの画像を識別処理するのに要する時間がＴであるとすると、画像復元部１０４が１フレームの画像を復元処理するのに要する時間は５Ｔであると仮定する。なお、図１８は、識別部１０２及び画像復元部１０４の出力タイミングの関係の一例を示す模式図である。Ｔの例は、１／３０（秒）であり、５Ｔの例は、１／６（秒）である。毎秒３０フレームの画像に対する識別結果が出力され、毎秒６フレームの画像に対する復元画像が出力される。例えば、全ての計算撮像画像に対して識別処理が行われる場合、５つに１つの計算撮像画像に対して画像復元処理が行われる。よって、識別結果及び復元画像の更新レートを等しくした場合、復元画像の２つの更新タイミングの間の期間である更新期間Ｔｐ（Ｔｐ＝５Ｔ）中において、４フレームの画像に対する識別結果が用いられないことになる。なお、図１８の例は、１つの計算撮像画像に対して、識別処理の開始タイミングと、画像復元処理の開始タイミングとが、同じ時刻であるケースを示す。この場合、図５のステップＳ１及び図１０のステップＳ１０１での計算撮像画像を取得するタイミングを、識別処理の開始タイミング及び画像復元処理の開始タイミングとしてもよい。しかしながら、識別処理の開始タイミングと、画像復元処理の開始タイミングとは、異なっていてもよく、いずれが先であってもよい。
一方、識別部１０２は、画像復元をすることなく、識別処理を行うことができるので、画像生成装置１０は、識別結果の更新レートを復元画像の更新レートよりも高くすることができる。そのため、画像生成装置１０が自動車の自動運転又は周辺監視システムに使用される場合、後段の運転制御などの処理が遅れるという問題が生じない。
また、出力部１０５は、識別結果を復元画像上に重畳表示する場合、処理対象の計算撮像画像の撮像タイミングが対応するように、識別結果と復元画像とを組み合わせてもよい。又は、出力部１０５は、処理タイミングが対応するように、識別結果と復元画像とを組み合わせてもよい。前者の第一のケースでは、出力部１０５は、第一復元画像の計算撮像画像の撮像時刻から次の第二復元画像の計算撮像画像の撮像時刻までの間に撮像された計算撮像画像に対する識別結果を、第一復元画像上に重畳表示する。後者の第二のケースでは、出力部１０５は、第一復元画像の出力時刻から第二復元画像の出力時刻までの間に出力される識別結果を、第一復元画像上に重畳表示する。第二のケースでは、識別結果の取得時に直近に復元されている復元画像上に、当該識別結果が重畳表示される。言い換えると、最も新しい復元画像上に、最も新しい識別結果が重畳表示される。
例えば、図１９には、図１５の復元画像の計算撮像画像の撮像時点から時間５Ｔ経過後に撮像された計算撮像画像の復元画像の例が模式的に示されている。図１５の復元画像を第一復元画像とすると、図１９の復元画像は、第一復元画像の次に出力される第二復元画像である。また、図２０には、第一復元画像の表示開始時点から第二復元画像の表示開始時点までの間の複数の識別結果を同時に示す重畳画像の例が模式的に示されている。
図２０において、識別領域枠ＦＤ１１～ＦＤ１５及びＦＤ２１、識別領域枠ＦＥ１１～ＦＥ１５及びＦＥ２１、並びに、識別領域枠ＦＦ１１～ＦＦ１５及びＦＦ２１は、第一復元画像の表示開始時点から第二復元画像の表示開始時点までの６フレームの識別結果を示す表示である。図２０に示す識別結果を示す表示は、６フレームの計算撮像画像の識別結果に相当するため、識別領域枠ＦＤ１１～ＦＤ１５及びＦＤ２１、識別領域枠ＦＥ１１～ＦＥ１５及びＦＥ２１、並びに、識別領域枠ＦＦ１１～ＦＦ１５及びＦＦ２１はそれぞれ、６個の枠からなる。識別領域枠ＦＤ１１～ＦＤ１５及びＦＤ２１は人物Ｄの識別結果を示し、識別領域枠ＦＥ１１～ＦＥ１５及びＦＥ２１は自動車Ｅの識別結果を示し、識別領域枠ＦＦ１１～ＦＦ１５及びＦＦ２１は自動車Ｆの識別結果を示す。なお、破線で示される人物Ｄ、自動車Ｅ及び自動車Ｆは、重畳画像に含まれても含まれなくてもよい。
また、出力部１０５が識別結果を復元画像上に重畳表示する場合、識別結果及び復元画像を表示するのではなく、さらに、別の画像を重畳表示してもよい。例えば、フレーム間での識別結果の対応関係をわかりやすくするために、例えば、対応する識別結果をつなぐような矢印等を重畳画像にオーバーライトしてもよい。例えば、図２１には、重畳画像に、対応する識別結果をつなぐ矢印をオーバーライトする例が模式的に示されている。図２１において、図２０の６フレームの識別領域枠のうちの２フレームが、第一復元画像上に重畳表示され、さらに、２フレームの識別領域枠間をつなぐ矢印がオーバーライトされている。矢印ＦＤＡは、人物Ｄの識別結果である識別領域枠ＦＤ１１及びＦＤ１５を結ぶ。矢印ＦＥＡは、自動車Ｅの識別結果である識別領域枠ＦＥ１１及びＦＥ１５を結ぶ。矢印ＦＦＡは、自動車Ｆの識別結果である識別領域枠ＦＦ１１及びＦＦ１５を結ぶ。各矢印が結ぶ識別領域枠は、上記に限定されない。画像生成装置１０が自動車の自動運転又は周辺監視システムに使用される場合、矢印をベクトルとして扱うことによって、周囲の物体の移動方向及び移動速度の認識が可能になる。よって、システム等による周囲の物体の行動予測が可能になる。そして、後段の運転制御などの処理が遅れるという問題を解決することが可能になる。また、ユーザも、画像を視認することによって、周囲の物体の存在の有無だけでなく、移動方向及び移動速度を認識することができる。なお、破線で示される人物Ｄ、自動車Ｅ及び自動車Ｆは、重畳画像に含まれても含まれなくてもよい。
また、出力部１０５が識別結果を復元画像上に重畳表示する場合、画像復元部１０４が復元画像に使用した計算撮像画像は、識別部１０２が識別処理に使用した計算撮像画像よりも以前に取得された画像であってもよい。前述のように、通常、画像復元部１０４が復元画像を復元するための処理コストは、識別部１０２が識別処理結果を出力する処理コストよりも高い。そのため、画像復元部１０４及び識別部１０２が同一のタイミングで処理を始めた場合、識別結果の更新レートが遅くなる。そこで、識別部１０２の識別処理のタイミングと比較しつつ、画像復元部１０４の処理を事前に始めるために、画像復元部１０４は、復元画像に使用する計算撮像画像を、識別部１０２が識別処理に使用した計算撮像画像よりも以前の画像とする。例えば、図２２には、識別部１０２の識別処理結果と、当該識別処理に使用された計算撮像画像よりも以前の計算撮像画像を用いた復元画像との重畳画像の例が、模式的に示されている。図２２において、識別結果としての識別領域枠ＦＤ２１、ＦＥ２１及びＦＦ２１と、第一復元画像とが、重畳表示されている。上述のようにすることで、最新の識別結果が、復元画像の復元処理の影響を受けずに出力され且つ表示される。よって、画像生成装置１０が自動車の自動運転又は周辺監視システムに使用される場合、後段の運転制御などの処理が遅れるという問題を解決することができる。
以上のように、実施形態及び変形例に係る画像生成装置１０は、識別部１０２が識別した被写体情報と、画像復元部１０４が復元した復元画像とを、個別に更新しつつ出力する出力部１０５を有する。これにより、画像生成装置１０は、識別結果を高速に出力することが可能である。よって、画像生成装置１０が自動車の自動運転又は周辺監視システムに使用される場合、後段の運転制御などの処理が遅れるという問題を解決することができる。
また、画像生成装置１０は、図２３に示すように、移動体から、移動体の速度情報を取得するように構成されてもよい。図２３は、実施の形態の別の変形例に係る識別システム１Ｂの機能的な構成を示す模式図である。本変形例に係る識別システム１Ｂの画像生成装置１０Ｂは、実施の形態に対して、時刻を計時する計時部１０６をさらに備える。計時部１０６の例は、タイマ又はクロック等である。なお、計時部は、識別システム１Ｂに備えられてもよく、移動体２に備えられてもよい。また、画像生成装置１０の取得部１０１は、識別システム１Ｂが搭載される移動体２の速度情報検出部２ａから、移動体２の速度情報を取得する。識別システム１Ｂと移動体２とは、有線通信又は無線通信を介して、情報を授受する。適用される有線通信及び無線通信は、上記で例示したもののいずれかであってもよい。
速度情報検出部２ａは、移動体２が速度計を備える場合、速度計、又は速度計から速度情報を受信する移動体２のコンピュータである。速度情報検出部２ａは、移動体２が速度計を備えない場合、移動体２が備えるＧＰＳ装置、加速度計及び角速度計などの慣性計測装置等である。速度情報は、移動体２の速度、移動体２の位置、加速度、角速度、地磁気などの速度を算出することができる要素であってもよい。速度情報は、上記の速度に関連する要素の検出値が検出された時刻を含んでもよい。取得部１０１は、移動体２の速度情報をリアルタイムに取得してもよく、定期的に取得してもよい。取得部１０１は、直接的に、又は、識別部１０２及び／若しくは画像復元部１０４を介して間接的に、移動体２の速度情報を出力部１０５に出力する。
また、取得部１０１は、計時部１０６が計時する時刻に基づき、撮像部１１が計算撮像画像を撮像した時刻を取得し、撮像時刻と計算撮像画像とを対応付ける。なお、取得部１０１は、撮像部１１から計算撮像画像を取得した時刻を撮像時刻としてもよい。また、撮像部１１が計時部を備える場合、取得部１０１は、撮像部１１から、計算撮像画像と共に、当該計算撮像画像の撮像時刻を取得してもよい。取得部１０１は、計算撮像画像と撮像時刻とを対応付けて、識別部１０２及び画像復元部１０４に出力する。また、出力部１０５は、識別部１０２又は画像復元部１０４から、計算撮像画像の撮像時刻を取得することができる。
さらに、取得部１０１は、計算撮像画像の撮像時刻と移動体２の速度情報の検出時刻又は取得時刻とに基づき、互いの時刻が同一又は最も近い計算撮像画像及び速度情報を対応付ける。取得部１０１は、移動体２の速度情報に加えて、当該速度情報に対応する計算撮像画像の情報を出力部１０５に出力してもよい。
出力部１０５は、ある時刻に撮像された第一計算撮像画像の復元画像である第一復元画像と、第一計算撮像画像の後に撮像され且つ次に画像復元される第二計算撮像画像の復元画像である第二復元画像とに関して、以下に説明するように、重畳画像を生成する。
出力部１０５は、第一計算撮像画像の撮像時間と第二計算撮像画像の撮像時間との時間差を計算する。さらに、出力部１０５は、識別部１０２が、第二計算撮像画像中の物体の位置を識別した後、所定時間内において、第一復元画像が生成されているが第二復元画像が生成されていない場合、以下のような処理を行う。具体的には、上記時間差が第１の閾値以下の場合、出力部１０５は、第一復元画像に、第二計算撮像画像の識別結果である識別領域枠を重畳表示する。上記時間差が第１の閾値超の場合、出力部１０５は、第一復元画像に、第二計算撮像画像の識別結果である識別領域枠を重畳せずに、第一復元画像を表示する。
所定時間は、所定時間の経過後、撮像部１１が撮像する光景（「シーン」とも呼ばれる）が第二計算撮像画像の撮像時から大きく変化してしまい得る時間とされる。このような所定時間の経過時点で、第一復元画像又は第二復元画像に、第二計算撮像画像の識別結果が重畳されたとしても、重畳画像の内容と移動体２の周囲の状況、つまり現況とが乖離する可能性がある。このような場合、第一計算撮像画像及び第二計算撮像画像の撮像時間間隔が第１の閾値超のような大きな値であれば、乖離が助長される可能性がある。反対に、第一計算撮像画像及び第二計算撮像画像の撮像時間間隔が第１の閾値以下のような小さな値であれば、乖離が抑えられるため、既に生成されている第一復元画像に、第二計算撮像画像の識別結果が重畳表示される。
上述のような所定時間は、移動体２の移動速度に基づき設定されてもよい。移動体２の移動速度が大きい程、単位時間当たりの移動体２の周囲の状況の変化が大きい。このため、所定時間は、移動体２の移動速度が大きい程、短くされる。所定時間は、移動体２の移動速度の増加及び減少に合わせて、漸次的に変動するように設定されてもよく、第２の閾値のような所定の速度を境界として、段階的に変動するように設定されてもよい。例えば、移動体２の移動速度が第２の閾値よりも小さい場合、所定時間は変更されず、移動体２の移動速度が第２の閾値以上の場合、当該移動速度に基づいて、所定時間が短くされてもよい。なお、上記移動速度は、第一計算撮像画像の撮像時の移動体２の速度と第二計算撮像画像の撮像時の移動体２の速度との平均であってもよく、上記の２つの速度の一方であってもよい。
また、第１の閾値も、移動体２の移動速度に基づき設定されてもよい。第１の閾値も、移動体２の移動速度が大きい程、短くされてもよい。第１の閾値も、所定の時間と同様に、移動速度の増加及び減少に合わせて、漸次的又は段階的に変動するように設定されてもよい。
また、出力部１０５は、移動体２の移動速度に基づき、重畳画像の表示の可否を決定してもよい。移動体２の移動速度が、第３の閾値超のような大き過ぎる値である場合、出力部１０５は、識別結果を重畳せずに、復元画像を表示する。反対に、移動体２の移動速度が、第３の閾値以下のような値である場合、出力部１０５は、識別結果を重畳した復元画像、つまり重畳画像を表示する。移動体２の移動速度が大き過ぎる場合、移動体の周囲の状況と復元画像が示す内容との乖離が大きくなる。このような復元画像に識別結果が重畳された画像は、ユーザに誤った認識を与える可能性がある。第３の閾値は、復元画像が生成される時間間隔の間での移動体２の周囲の光景が大きく変化し得る速度とされてもよい。
なお、画像生成装置１０Ｂは、移動体２の速度情報検出部２ａから取得する移動体２の速度情報を用いて、上述の処理を行っていたが、これに限定されない。画像生成装置１０Ｂは、撮像部１１が撮像した計算撮像画像のフレーム間の差分に基づき、移動体２の移動速度の大きさの程度、又は移動体２の周囲の光景が大きく変化したか否かを判断してもよい。この場合、画像生成装置１０Ｂは、異なるフレーム間において、計算撮像画像の識別処理によって得られる同一の被写体の位置、例えば識別領域枠の位置の差分を算出し、当該フレーム間の撮像時間間隔に基づき、単位時間当たりの被写体の位置の差分を算出してもよい。画像生成装置１０Ｂは、単位時間当たりの被写体の位置の差分が、所定の閾値以上であれば、移動体２の移動速度が大きい、又は移動体２の周囲の光景が大きく変化したと判断してもよい。
上述したように、実施の形態及び変形例に係る画像生成装置によると、計算撮像画像中の物体の位置の識別は、計算撮像画像そのものを用いて行われる。そして、識別された物体の位置が、表示画像において、強調表示される。よって、物体の識別処理は、計算撮像画像から復元画像への画像復元を伴わずに、行うことができるため、処理コストを増大させることなく、処理速度の向上を可能にする。また、画像生成装置が表示する表示画像では、識別された物体の位置が強調表示されるため、ユーザによる位置の視認が容易になる。
特に、画像生成装置は、一連の識別処理の過程において、計算撮像画像を通常撮像画像に画像復元せず、識別処理後、ユーザによる要求時等の必要に応じて、画像復元を行う。画像生成装置は、計算撮像画像に含まれるテクスチャ情報と、計算撮像画像から算出する仮想奥行画像に含まれる奥行情報とに基づき、計算撮像画像内の被写体の識別を行う。よって、画像生成装置は、被写体の識別処理量を低減することができる。さらに、画像生成装置は、従来の通常撮像画像を使用したテクスチャ画像に基づく識別処理と比べ、より高精度の識別処理を可能にする。
また、画像生成装置は、識別部１０２が識別した被写体情報と、画像復元部１０４が復元した復元画像とを、個別に更新しつつ、出力する。これにより、画像生成装置は、識別結果を高速に出力することが可能である。
また、画像生成装置は、計算撮像画像の奥行情報及び画像情報を用いて、識別器に学習及び識別させる。このため、画像を使用する識別器と比較し、画像生成装置は、より高精度な識別を安価に実現することができる。
［その他］
以上、１つ又は複数の態様に係る画像生成装置等について、実施の形態及び変形例に基づいて説明したが、本開示は、実施の形態及び変形例に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態及び変形例に施したものや、異なる実施の形態及び変形例における構成要素を組み合わせて構築される形態も、１つ又は複数の態様の範囲内に含まれてもよい。
例えば、実施の形態及び変形例に係る画像生成装置は、計算撮像画像中で識別した物体の位置を強調表示する識別領域枠を、計算撮像画像の復元画像に重畳表示したが、計算撮像画像に重畳表示してもよく、無地の背景などの予め決められた背景画像に重畳表示してもよい。
また、本開示の技術は、以下に示すような技術でもある。例えば、本開示の一態様による画像生成装置は、通常のカメラと異なり撮像した画像に対して画像処理を実施することで人が認識できる計算撮像画像を撮像する撮像部と、前記撮像部が取得した計算撮像画像から、人物、自動車、自転車、信号などの被写体のカテゴリ情報と前記被写体の位置情報とを識別する識別部と、出力部が出力する画像を決定する画像出力制御部と、前記画像出力制御部に従い、前記撮像部が撮像した計算撮像画像から人が認識できる画像を生成する画像復元部と、前記画像出力制御部に従い、選択された画像を出力する出力部とを備える。
例えば、上記画像生成装置において、前記計算撮像画像とは、ライトフィールド画像、圧縮センシング画像、符号化撮像画像のいずれかであってもよい。
例えば、上記画像生成装置において、前記撮像部は、屈折による結像光学系を有しないレンズレスカメラであってもよい。
例えば、上記画像生成装置において、前記識別部は、ディープラーニングによって実現されてもよい。
例えば、上記画像生成装置において、前記識別部は、前記撮像部に従ってニューラルネットワークを更新してもよい。
例えば、上記画像生成装置において、前記識別部は、前記計算撮像画像における奥行情報とテクスチャ情報とを使用して前記被写体の識別処理を実現してもよい。
例えば、上記画像生成装置は、通信部及びインターフェイス部の少なくとも１つを有し、前記画像出力制御部は、ユーザが設定する指令を受け取ってもよい。
例えば、上記画像生成装置において、前記画像出力制御部は、前記識別部の識別結果に従って、出力する画像情報を切り替えてもよい。
例えば、上記画像生成装置において、前記画像復元部は、前記識別部の結果を使用して画像復元処理を行ってもよい。
例えば、上記画像生成装置において、前記画像復元部は、前記識別部の識別結果によって画像復元に用いる辞書を切り替えてよい。
例えば、上記画像生成装置において、前記画像復元部は、画像の一部を復元し、その場所は前記識別部の識別結果によって決定してもよい。
例えば、上記画像生成装置において、前記出力部は、前記識別部が識別した複数の識別結果を同時に重畳表示してもよい。
例えば、上記画像生成装置において、前記出力部が、前記識別部が識別した結果と前記画像復元部が復元した画像とを同時に出力する場合、前記識別結果の更新レートが前記復元画像の復元結果の更新レートよりも高くてもよい。
また、本開示の一態様による識別システムは、周辺の状況を識別する識別システムであって、学習装置と画像生成装置とを備え、前記学習装置は、画像情報と奥行情報とを同時に取得する画像取得部と、前記画像取得部で取得した計算撮像画像において、識別対象がどこに存在するかを与える識別正解取得部と、前記画像取得部で取得した前記計算撮像画像と、前記識別正解取得部で取得した識別正解情報とを使用して、識別器の学習を行う学習部とを備え、前記画像生成装置は、画像情報と奥行情報とを同時に取得する取得部と、前記学習部で学習された前記識別器を使用して、前記取得部で取得した計算撮像画像に対して識別処理を行う識別部と、前記識別部が識別した識別結果を出力する出力部とを備える。
例えば、上記識別システムにおいて、前記識別部は、前記取得部が取得した前記計算撮像画像からテクスチャ情報を使用して識別を行うテクスチャ情報識別部と、前記取得部が取得した前記計算撮像画像から奥行情報を識別する奥行情報識別部と、前記テクスチャ情報識別部及び前記奥行情報識別部の識別結果を統合し、最終的な識別結果を出力する統合識別部とを備えてもよい。
例えば、上記識別システムにおいて、前記識別部は、ディープラーニングによって実現されてもよい。
例えば、上記識別システムにおいて、前記奥行情報識別部は、全結像層のニューラルネットワークによって実現されてもよい。
例えば、上記識別システムにおいて、前記識別部は、前記画像取得部が取得した前記計算撮像画像から奥行情報を抽出する奥行情報識別部と、前記奥行情報識別部が抽出した奥行情報に対してテクスチャ情報を使用して識別を行うテクスチャ情報識別部と、前記テクスチャ情報識別部の結果を統合して、最終的な識別結果を出力する統合識別部とを備えてもよい。
例えば、上記識別システムにおいて、前記奥行情報識別部は、各奥行値の位置に焦点が合った画像を出力してもよい。
例えば、上記識別システムにおいて、前記画像取得部及び前記取得部は、マルチピンホールカメラによって撮像された前記計算撮像画像を取得してもよい。
例えば、上記識別システムにおいて、前記画像取得部及び前記取得部は、符号化撮像を使用して撮像された前記計算撮像画像を取得してもよい。
例えば、上記識別システムにおいて、前記識別正解取得部は、前記画像取得部が取得した前記計算撮像画像から仮想の奥行値を想定して生成した、仮想奥行画像に対して、識別正解を与えてもよい。
例えば、上記識別システムにおいて、前記識別正解取得部は、前記仮想奥行画像に対して、識別対象のカテゴリと前記仮想奥行画像上での位置情報とを与えてもよい。
実施の形態の別の変形例に係るディスプレイに表示する画像の生成方法について以下に述べる。なお、この記載はこれまでに述べた実施の形態などを拘束するのもではない。図２４は、実施の形態の別の変形例に係る画像の生成方法について説明する模式図である。
図２４の(a)を参照すると、撮像部１１は、時刻ｔＩ（１）に計算撮像画像Ｉ（１）を撮像し、～、時刻ｔＩ（ｋ）に計算撮像画像Ｉ（ｋ）を撮像し、～、時刻ｔＩ（ｎ）に計算撮像画像Ｉ（ｎ）を撮像する。ここで、ｔＩ（１）＜～＜ｔＩ（ｋ）＜～＜ｔＩ（ｎ）である。取得部１０１は撮像部１１から、計算撮像画像Ｉ（１）、～、Ｉ（ｋ）、～、Ｉ（ｎ）を取得する。
図２４の(ｂ)を参照すると、識別部１０２は、計算撮像画像Ｉ（１）を復元することなく、計算撮像画像Ｉ（１）に含まれる物体画像Ｉｏ（１）を認識し、時刻ｔｐ（１）に物体画像Ｉｏ（１）の位置Ｐ（１）を決定し、～、計算撮像画像Ｉ（ｋ）を復元することなく、計算撮像画像Ｉ（ｋ）に含まれる物体画像Ｉｏ（ｋ）を認識し、時刻ｔｐ（ｋ）に物体画像Ｉｏ（ｋ）の位置Ｐ（ｋ）を決定し、～、計算撮像画像Ｉ（ｎ）を復元することなく、計算撮像画像Ｉ（ｎ）に含まれる物体画像Ｉｏ（ｎ）を認識し、時刻ｔｐ（ｎ）に物体画像Ｉｏ（ｎ）の位置Ｐ（ｎ）を決定する。計算撮像画像Ｉ（１）、～、Ｉ（ｋ）、～、Ｉ（ｎ）は、複数のライトフィールド画像、複数の圧縮センシング画像、及び複数の符号化撮像画像のいずれかである。
図２４の(ｃ)を参照すると、画像復元部１０４は、画像出力制御部１０３の決定に基づいて、撮像部１１が取得した計算撮像画像Ｉ（１）、～、Ｉ（ｋ）、～、Ｉ（ｎ）に含まれる計算撮像画像Ｉｃ（1）を画像復元処理し、復元画像Ｄ（１）を生成し、～、撮像部１１が取得した計算撮像画像Ｉ（１）、～、Ｉ（ｋ）、～、Ｉ（ｎ）に含まれる計算撮像画像Ｉｃ（ｉ）を画像復元処理し、復元画像Ｄ（ｉ）を生成し、～、撮像部１１が取得した計算撮像画像Ｉ（１）、～、Ｉ（ｋ）、～、Ｉ（ｎ）に含まれる計算撮像画像Ｉｃ（ｐ）を画像復元処理し、復元画像Ｄ（ｐ）を生成する。復元画像Ｄ（１）の生成は時刻ｔＤ(１)に完了し、～、復元画像Ｄ（ｉ）の生成は時刻ｔＤ(ｉ)に完了し、～、復元画像Ｄ（ｐ）の生成は時刻ｔＤ(ｐ)に完了する。ここで、ｔＤ（１）＜～＜ｔＤ（ｉ）＜～＜ｔＤ（ｐ）である。復元画像Ｄ（１）、～、Ｄ（ｉ）、～、Ｄ（ｐ）の数は、計算撮像画像Ｉ（１）、～、Ｉ（ｋ）、～、Ｉ（ｎ）の数より少ない。
図２４の（ａ）～(ｃ)を参照すると、計算撮像画像Ｉ（ｋ）が復元画像処理され復元画像Ｄｉが生成されるが、計算撮像画像Ｉ（ｋ+1）～Ｉ（ｋ+4）の復元画像処理は行われない。計算撮像画像Ｉ（ｋ+５）が復元画像処理され復元画像Ｄ（ｉ+1）が生成されるが、計算撮像画像Ｉ（ｋ+6）～Ｉ（ｋ+9）の復元画像処理は行われない。つまり、５つの計算撮像画像に対して１つの復元画像が生成される。
図２４の(ｄ)を参照すると、出力部１０５は、ディスプレイに表示する画像ＤＩ（1）、～、ＤＩ（ｋ）、～、ＤＩ（ｎ）を生成する。ＤＩ（ｋ＋５）は、時刻ｔＤ（ｉ）に復元が完了したＤ（ｉ）に、時刻ｔＰ（ｋ+５）に位置決定が完了したＰ（ｋ＋５）で示される位置に基づいて、強調表示ＰＳ（ｋ+５）が復元画像Ｄ（ｉ）に含まる位置に重畳された画像である。
なお、ｔＤ（ｉ）は、ｔＤ（１）～ｔＤ（ｐ）のうち時間順で前記ｔＰ（ｋ+５）より早い時刻であるｔＤ（１）～ｔＤ（ｉ）のうち、ｔＰ（ｋ+５）に最も近い。
以上で、実施の形態の別の変形例に係るディスプレイに表示する画像の生成方法について説明を終える。
本開示において、ユニット、装置、部材又は部の全部又は一部、又は各図に示されるブロック図の機能ブロックの全部又は一部は、半導体装置、半導体集積回路（ＩＣ：integrated circuit）、又はＬＳＩ（large scale integration）を含む一つ又は複数の電子回路によって実現されてもよい。
ＬＳＩ又はＩＣは、一つのチップに集積されてもよいし、複数のチップを組み合わせて構成されてもよい。例えば、記憶素子以外の機能ブロックは、一つのチップに集積されてもよい。ここでは、ＬＳＩ又はＩＣと呼んでいるが、集積の度合いによって呼び方が変わり、システムＬＳＩ、ＶＬＳＩ（very large scale integration）、若しくはＵＬＳＩ（ultra large scale integration）と呼ばれるものであってもよい。ＬＳＩの製造後にプログラムされる、Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ（FPGA）、又はＬＳＩ内部の接合関係の再構成又はＬＳＩ内部の回路区画のセットアップができるｒｅｃｏｎｆｉｇｕｒａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅも同じ目的で使うことができる。
さらに、ユニット、装置、部材又は部の全部又は一部の機能又は操作は、ソフトウェア処理によって実行することが可能である。この場合、ソフトウェアは少なくとも１つのＲＯＭ、光学ディスク、又はハードディスクドライブなどの非一時的記録媒体に記録され、ソフトウェアが処理装置（processor）によって実行されたときに、そのソフトウェアで特定された機能が処理装置（processor）及び周辺装置によって実行される。
システム又は装置は、ソフトウェアが記録されている一つ又は複数の非一時的記録媒体、処理装置（processor）、及びハードウェアデバイスを備えていてもよい。
また、上記で用いた序数、数量等の数字は、全て本開示の技術を具体的に説明するために例示するものであり、本開示は例示された数字に制限されない。また、構成要素間の接続関係は、本開示の技術を具体的に説明するために例示するものであり、本開示の機能を実現する接続関係はこれに限定されない。
また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを１つの機能ブロックとして実現したり、１つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。
本開示の技術は、計算撮像画像中の物体を画像認識する技術に広く適用可能である。本開示の技術は、計算撮像画像を撮像する撮像装置が移動体に搭載される場合にも、広く適用可能であり、例えば、自動車の自動運転技術、ロボット及び周辺監視カメラシステム等に適用可能である。
１，１Ａ，１Ｂ 識別システム
２ 移動体
２ａ 速度情報検出部
１０，１０Ｂ 画像生成装置
１１ 撮像部
１２ 学習装置
１０１ 取得部
１０２ 識別部
１０３ 画像出力制御部
１０４ 画像復元部
１０５ 出力部
１２１ 画像取得部
１２２ 識別正解取得部
１２３ 学習部

Claims (20)

  1. 処理回路と、
    少なくとも１つの計算撮像画像を記録するメモリとを備え、
    前記計算撮像画像は、ライトフィールド画像、圧縮センシング画像、及び符号化撮像画像のいずれかであり、
    前記処理回路は、
    （ａ１）前記少なくとも１つの計算撮像画像および識別器を用いて、前記少なくとも１つの計算撮像画像を復元することなく、前記少なくとも１つの計算撮像画像中の物体の位置を識別し、
    （ａ２）前記少なくとも１つの計算撮像画像を用いて、前記物体の位置を強調する表示を重畳した表示画像を生成し、
    （ａ３）前記表示画像を出力する、
    画像生成装置。
  2. 前記処理回路は、
    さらに、（ａ４）前記少なくとも１つの計算撮像画像を復元して、復元画像を生成し、
    前記（ａ２）において、前記少なくとも１つの計算撮像画像を復元することなく前記計算撮像画像中の物体の位置を識別した後、直近に復元された前記復元画像を用いて、前記物体の位置を強調する表示を重畳した表示画像を生成する、
    請求項１に記載の画像生成装置。
  3. 前記処理回路は、
    前記（ａ１）の処理と、前記（ａ４）の処理とを同じ時間に開始する、
    請求項２に記載の画像生成装置。
  4. 前記処理回路は、
    さらに、（ａ４）前記少なくとも１つの計算撮像画像を復元して、復元画像を生成し、
    前記（ａ２）において、前記復元画像に、前記物体の位置を強調する表示を重畳した表示画像を生成し、
    前記処理回路は、前記（ａ１）の処理が、前記（ａ４）の処理よりも速い、
    請求項１に記載の画像生成装置。
  5. 前記少なくとも１つの計算撮像画像は、第１の画像と、第２の画像とを含み、
    前記第１の画像、前記第２の画像の順番で、時間的に撮像されており、
    前記処理回路は、
    前記（ａ１）において、前記第１の画像に含まれる物体の位置を識別し、その後、前記第２の画像に含まれる物体の位置を識別し、
    さらに、（ａ４）前記第１の画像を復元して第１の復元画像を生成し、その後、前記第２の画像を復元して第２の復元画像を生成し、
    前記（ａ２）において、前記第２の画像の物体の位置を識別した後、第１の所定時間内において、前記第１の復元画像が生成され且つ前記第２の復元画像が生成されていない場合、
    前記第１の画像が撮像された第１の撮像時間と前記第２の画像が撮像された第２の撮像時間とを取得し、
    前記第１の撮像時間と前記第２の撮像時間との時間差を計算し、
    前記時間差が第１の閾値以下の場合、前記第１の復元画像に、前記第２の画像の物体の位置を重畳した表示画像を生成し、前記時間差が第１の閾値より大きい場合、前記第１の復元画像に前記第２の画像の物体の位置を重畳せず、前記第１の復元画像を前記表示画像とする、
    請求項１に記載の画像生成装置。
  6. 前記計算撮像画像を撮像する撮像部が移動体に配置されており、
    前記処理回路は、
    前記撮像部から前記計算撮像画像を取得し前記メモリに記録し、
    前記（ａ２）において、前記第１の画像の物体の位置を識別したとき、前記第１の復元画像が生成され且つ前記第２の復元画像が生成されていない場合、
    前記第１の画像及び前記第２の画像を撮像時の前記移動体の移動速度を取得し、
    前記移動速度に基づいて、前記第１の所定の時間を設定する、
    請求項５に記載の画像生成装置。
  7. 前記処理回路は、
    前記移動速度が第２の閾値よりも小さい場合、前記第１の所定時間を変更せず、
    前記移動速度が前記第２の閾値以上の場合、前記移動速度に基づいて、前記第１の所定時間を短くする、
    請求項６に記載の画像生成装置。
  8. 前記計算撮像画像を撮像する撮像部が移動体に配置されており、
    前記処理回路は、
    前記撮像部から前記計算撮像画像を取得し前記メモリに記録し、
    前記移動体の移動速度を取得し、
    前記（ａ２）において、前記移動速度が第３の閾値以下の場合、前記１つの計算撮像画像を用いて、前記物体の位置を強調する表示を重畳した表示画像を生成し、前記移動速度が第３の閾値より大きい場合、前記物体の位置が強調表示されていない前記１つの計算撮像画像に基づく画像を表示画像として生成する、
    請求項１～７のいずれか一項に記載の画像生成装置。
  9. 前記処理回路は、
    さらに、（ａ５）前記少なくとも１つの計算撮像画像中において、前記識別した物体の位置に対応する復元部分画像を生成し、
    前記（ａ２）において、前記少なくとも１つの計算撮像画像に、前記復元部分画像を重畳した前記表示画像を生成する、
    請求項１～８のいずれか一項に記載の画像生成装置。
  10. （ｂ１）ライトフィールド画像、圧縮センシング画像、及び符号化撮像画像のいずれかである少なくとも１つの計算撮像画像をメモリから取得し、
    （ｂ２）前記少なくとも１つの計算撮像画像および識別器を用いて、前記少なくとも１つの計算撮像画像を復元することなく、前記少なくとも１つの計算撮像画像中の物体の位置を識別し、
    （ｂ３）前記少なくとも１つの計算撮像画像を用いて、前記物体の位置を強調する表示を重畳した表示画像を生成し、
    （ｂ４）前記表示画像を出力し、
    前記（ｂ１）～（ｂ４）の少なくとも１つはプロセッサによって実行される
    画像生成方法。
  11. さらに、（ｂ５）前記少なくとも１つの計算撮像画像を復元して、復元画像を生成し、
    前記（ｂ３）において、前記少なくとも１つの計算撮像画像を復元することなく前記計算撮像画像中の物体の位置を識別した後、直近に復元された前記復元画像を用いて、前記物体の位置を強調する表示を重畳した表示画像を生成する、
    請求項１０に記載の画像生成方法。
  12. 前記（ｂ２）の処理と、前記（ｂ５）の処理とを同じ時間に開始する、
    請求項１１に記載の画像生成方法。
  13. さらに、（ｂ５）前記少なくとも１つの計算撮像画像を復元して、復元画像を生成し、
    前記（ｂ３）において、前記復元画像に、前記物体の位置を強調する表示を重畳した表示画像を生成し、
    前記（ｂ２）の処理速度は、前記（ｂ５）の処理速度よりも大きい、
    請求項１０に記載の画像生成方法。
  14. 前記少なくとも１つの計算撮像画像は、第１の画像と、第２の画像とを含み、
    前記第１の画像、前記第２の画像の順番で、時間的に撮像されており、
    前記（ｂ２）において、前記第１の画像に含まれる物体の位置を識別し、その後、前記第２の画像に含まれる物体の位置を識別し、
    さらに、（ｂ５）前記第１の画像を復元して第１の復元画像を生成し、その後、前記第２の画像を復元して第２の復元画像を生成し、
    前記（ｂ３）において、前記第２の画像の物体の位置を識別した後、第１の所定時間内において、前記第１の復元画像が生成され且つ前記第２の復元画像が生成されていない場合、
    前記第１の画像が撮像された第１の撮像時間と前記第２の画像が撮像された第２の撮像時間とを取得し、
    前記第１の撮像時間と前記第２の撮像時間との時間差を計算し、
    前記時間差が第１の閾値以下の場合、前記第１の復元画像に、前記第２の画像の物体の位置を重畳した表示画像を生成し、前記時間差が第１の閾値より大きい場合、前記第１の復元画像に前記第２の画像の物体の位置を重畳せず、前記第１の復元画像を前記表示画像とする、
    請求項１０に記載の画像生成方法。
  15. 前記少なくとも１つの計算撮像画像は移動体から撮像された画像であり、
    前記（ｂ３）において、前記第１の画像の物体の位置を識別したとき、前記第１の復元画像が生成され且つ前記第２の復元画像が生成されていない場合、
    前記第１の画像及び前記第２の画像を撮像時の前記移動体の移動速度を取得し、
    前記移動速度に基づいて、前記第１の所定の時間を設定する、
    請求項１４に記載の画像生成方法。
  16. 前記移動速度が第２の閾値よりも小さい場合、前記第１の所定時間を変更せず、
    前記移動速度が前記第２の閾値以上の場合、前記移動速度に基づいて、前記第１の所定時間を短くする、
    請求項１５に記載の画像生成方法。
  17. 前記少なくとも１つの計算撮像画像は移動体から撮像された画像であり、
    （ｂ６）前記移動体の移動速度を取得し、
    前記（ｂ３）において、前記移動速度が第３の閾値以下の場合、前記１つの計算撮像画像を用いて、前記物体の位置を強調する表示を重畳した表示画像を生成し、前記移動速度が第３の閾値より大きい場合、前記物体の位置が強調表示されていない前記１つの計算撮像画像に基づく画像を表示画像として生成する、
    請求項１０～１６のいずれか一項に記載の画像生成方法。
  18. さらに、（ｂ７）前記少なくとも１つの計算撮像画像中において、前記識別した物体の位置に対応する復元部分画像を生成し、
    前記（ｂ３）において、前記少なくとも１つの計算撮像画像に、前記復元部分画像を重畳した前記表示画像を生成する、
    請求項１０～１７のいずれか一項に記載の画像生成方法。
  19. （ａ）時刻ｔＩ（ｋ）～時刻ｔＩ（ｎ）に撮像された計算撮像画像Ｉ（ｋ）～計算撮像画像Ｉ（ｎ）に含まれる位置Ｐ（ｋ）～位置Ｐ（ｎ）を決定し、
    前記ｋは自然数、前記ｎは２以上の自然数、ｋ＜ｎであり、
    前記Ｉ（ｋ）～前記Ｉ（ｎ）が復元された場合に、復元画像Ｄ（ｋ）～復元画像Ｄ（ｎ）は、前記Ｐ（ｋ）～前記Ｐ（ｎ）に物体画像Ｉｏ（ｋ）～物体画像Ｉｏ（ｎ）を含み、
    前記Ｐ（ｋ）～前記Ｐ（ｎ）は前記Ｉ（ｋ）～前記Ｉ（ｎ）を復元することなく決定され、
    前記Ｐ（ｋ）～前記Ｐ（ｎ）の決定は時刻ｔＰ（ｋ）～時刻ｔＰ（ｎ）に完了し、
    前記Ｉ（ｋ）～前記Ｉ（ｎ）と前記Ｐ（ｋ）～前記Ｐ（ｎ）は１対１に対応し、
    前記Ｉ（ｋ）～前記Ｉ（ｎ）と前記Ｉｏ（ｋ）～前記Ｉｏ（ｎ）は１対１に対応し、
    前記ｔＩ（ｋ）～前記ｔＩ（ｎ）と前記Ｉ（ｋ）～前記Ｉ（ｎ）は１対１に対応し、
    前記Ｐ（ｋ）～前記Ｐ（ｎ）と前記ｔＰ（ｋ）～前記ｔＰ（ｎ）は１対１に対応し、
    前記Ｉ（ｋ）～前記Ｉ（ｎ）は、複数のライトフィールド画像、複数の圧縮センシング画像、及び複数の符号化撮像画像のいずれかであり、
    （ｂ）復元画像Ｄ（ｊ）～復元画像Ｄ（ｍ）を生成するため、前記Ｉ（ｋ）～前記Ｉ（ｎ）に含まれる計算撮像画像Ｉｃ（ｊ）～計算撮像画像Ｉｃ（ｍ）を復元し、
    前記ｊは１以上の自然数、前記ｍは１以上の自然数、ｊ＜ｍであり、
    前記Ｉｃ（ｊ）～前記Ｉｃ（ｍ）の数は、前記Ｉ（ｋ）～前記Ｉ（ｎ）の数より少なく、
    前記Ｄ（ｊ）～前記Ｄ（ｍ）の生成は時刻ｔＤ（ｊ）～時刻ｔＤ（ｍ）に完了し、
    前記Ｉｃ（ｊ）～前記Ｉｃ（ｍ）と前記Ｄ（ｊ）～前記Ｄ（ｍ）は１対１に対応し、
    前記Ｄ（ｊ）～Ｄ（ｍ）と前記ｔＤ（ｊ）～時刻ｔＤ（ｍ）は１対１に対応し、
    （ｃ）ディスプレイに表示される画像ＤＩ（ｋ）～画像ＤＩ（ｎ）を生成し、
    前記ＤＩ（ｋ）～画像ＤＩ（ｎ）に含まれる画像ＤＩ（ｉ）は、時刻ｔＤ（ｒ）に復元が完了した復元画像Ｄ（ｒ）に、時刻ｔＰ（ｉ）に位置決定が完了した位置Ｐ（ｉ）で示される位置に基づいて、強調表示ＰＳ（ｉ）が前記Ｄ（ｒ）に含まる位置に重畳され、
    ｋ≦ｉ≦ｎ、ｊ≦ｒ≦ｍであり、
    前記ｔＤ（ｒ）は、前記ｔＤ（ｊ）～前記ｔＤ（ｍ）のうち時間順で前記ｔＰ（ｉ）より早い時刻である前記ｔＤ（ｊ）～前記ｔＤ（ｒ）うち、前記ｔＰ（ｉ）に最も近い
    画像生成装置。
  20. 処理回路と、
    少なくとも１つの計算撮像画像を記録するメモリとを備え、
    前記計算撮像画像は、ライトフィールド画像、圧縮センシング画像、及び符号化撮像画像のいずれかであり、
    前記処理回路は、
    （ｃ１）前記少なくとも１つの計算撮像画像を復元する前に、前記少なくとも１つの計算撮像画像および識別器を用いて、前記少なくとも１つの計算撮像画像中の物体の位置を識別し、
    （ｃ２）背景が無地の画像上に、前記計算撮像画像における前記物体の位置に対応する表示を重畳した、表示画像を生成し、
    （ｃ３）前記表示画像を出力する、
    画像生成装置。
JP2018565074A 2017-09-12 2018-08-07 画像生成装置及び画像生成方法 Active JP6998554B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017175234 2017-09-12
JP2017175234 2017-09-12
PCT/JP2018/029498 WO2019054092A1 (ja) 2017-09-12 2018-08-07 画像生成装置及び画像生成方法

Publications (2)

Publication Number Publication Date
JPWO2019054092A1 JPWO2019054092A1 (ja) 2020-08-27
JP6998554B2 true JP6998554B2 (ja) 2022-01-18

Family

ID=65723532

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018565074A Active JP6998554B2 (ja) 2017-09-12 2018-08-07 画像生成装置及び画像生成方法

Country Status (5)

Country Link
US (1) US11195061B2 (ja)
EP (1) EP3683764A4 (ja)
JP (1) JP6998554B2 (ja)
CN (1) CN109819675B (ja)
WO (1) WO2019054092A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10303045B1 (en) * 2017-12-20 2019-05-28 Micron Technology, Inc. Control of display device for autonomous vehicle
JP2020204839A (ja) * 2019-06-14 2020-12-24 マツダ株式会社 外部環境認識装置
JP7326041B2 (ja) * 2019-06-25 2023-08-15 京セラ株式会社 画像処理装置、撮像装置、移動体、および画像処理方法
JP7445856B2 (ja) * 2019-09-30 2024-03-08 パナソニックＩｐマネジメント株式会社 物体認識装置、物体認識システムおよび物体認識方法
US20220377275A1 (en) 2019-10-30 2022-11-24 Sony Group Corporation Imaging device, display device, and imaging system
WO2022014306A1 (ja) * 2020-07-16 2022-01-20 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 学習方法、画像識別方法、学習装置、及び画像識別システム
CN115836246A (zh) * 2020-07-16 2023-03-21 松下电器（美国）知识产权公司 多针孔相机和图像识别系统
CN117356100A (zh) * 2021-05-20 2024-01-05 松下电器（美国）知识产权公司 信息处理系统以及信息处理方法
US11568622B2 (en) * 2021-06-30 2023-01-31 Hewlett-Packard Development Company, L.P. Color adjustments of highlighted areas
CN115345808B (zh) * 2022-08-18 2023-07-21 北京拙河科技有限公司 一种基于多元信息采集的画面生成方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013165475A (ja) 2011-08-19 2013-08-22 Canon Inc 撮影画像の補助情報を生成する撮像装置、画像処理装置、及び画像処理方法
JP2014007730A (ja) 2012-05-31 2014-01-16 Canon Inc 情報処理方法および装置、プログラム。
JP2017135477A (ja) 2016-01-25 2017-08-03 キヤノン株式会社 画像管理装置、画像再生装置及びそれらの制御方法、システム、プログラム並びに記憶媒体

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000165641A (ja) * 1998-11-24 2000-06-16 Matsushita Electric Ind Co Ltd 画像処理方法，画像処理装置およびデータ記憶媒体
KR100859381B1 (ko) * 2001-06-15 2008-09-22 소니 가부시끼 가이샤 화상 처리 장치 및 방법 및 촬상 장치
EP1555804A3 (en) * 2004-01-19 2006-08-16 Ricoh Company, Ltd. Image processing apparatus, image processing program and storage medium
US7804980B2 (en) * 2005-08-24 2010-09-28 Denso Corporation Environment recognition device
JP4892965B2 (ja) * 2005-12-26 2012-03-07 住友電気工業株式会社 移動体判定システム、移動体判定方法、及びコンピュータプログラム
EP2160037A3 (en) * 2006-06-23 2010-11-17 Imax Corporation Methods and systems for converting 2D motion pictures for stereoscopic 3D exhibition
JP5083841B2 (ja) * 2007-04-27 2012-11-28 本田技研工業株式会社 車両周辺監視装置、車両周辺監視用プログラム、車両周辺監視方法
JP5049300B2 (ja) * 2009-01-20 2012-10-17 クラリオン株式会社 障害物検出表示装置
JP5299026B2 (ja) * 2009-03-30 2013-09-25 マツダ株式会社 車両用表示装置
US20120249550A1 (en) * 2009-04-18 2012-10-04 Lytro, Inc. Selective Transmission of Image Data Based on Device Attributes
US20120182388A1 (en) * 2011-01-18 2012-07-19 Samsung Electronics Co., Ltd. Apparatus and method for processing depth image
WO2014125842A1 (ja) * 2013-02-18 2014-08-21 株式会社Ｐ２Ｐ Ｂａｎｋ 画像処理装置、画像処理方法、画像処理用コンピュータプログラムおよび画像処理用コンピュータプログラムを格納した情報記録媒体
US9070218B2 (en) * 2013-07-01 2015-06-30 Xerox Corporation Reconstructing an image of a scene captured using a compressed sensing device
US9025883B2 (en) * 2013-07-01 2015-05-05 Xerox Corporation Adaptive quality image reconstruction via a compressed sensing framework
JP6351364B2 (ja) * 2014-05-12 2018-07-04 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
US9697443B2 (en) * 2014-12-11 2017-07-04 Intel Corporation Model compression in binary coded image based object detection
US10176642B2 (en) * 2015-07-17 2019-01-08 Bao Tran Systems and methods for computer assisted operation
CN108885469B (zh) * 2016-09-27 2022-04-26 深圳市大疆创新科技有限公司 用于在跟踪系统中初始化目标物体的系统和方法
US10621747B2 (en) * 2016-11-15 2020-04-14 Magic Leap, Inc. Deep learning system for cuboid detection
WO2018151211A1 (ja) * 2017-02-15 2018-08-23 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ 点群データ処理装置、点群データ処理方法、点群データ処理プログラム、車両制御装置及び車両
US10282630B2 (en) * 2017-03-08 2019-05-07 Raytheon Company Multi-channel compressive sensing-based object recognition
US10108867B1 (en) * 2017-04-25 2018-10-23 Uber Technologies, Inc. Image-based pedestrian detection
US10269159B2 (en) * 2017-07-27 2019-04-23 Rockwell Collins, Inc. Neural network foreground separation for mixed reality
US10169678B1 (en) * 2017-12-21 2019-01-01 Luminar Technologies, Inc. Object identification and labeling tool for training autonomous vehicle controllers

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013165475A (ja) 2011-08-19 2013-08-22 Canon Inc 撮影画像の補助情報を生成する撮像装置、画像処理装置、及び画像処理方法
JP2014007730A (ja) 2012-05-31 2014-01-16 Canon Inc 情報処理方法および装置、プログラム。
JP2017135477A (ja) 2016-01-25 2017-08-03 キヤノン株式会社 画像管理装置、画像再生装置及びそれらの制御方法、システム、プログラム並びに記憶媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
井手口 裕太，ライトフィールドからの煙の空間濃度分布推定，映像情報メディア学会誌 Vol.70, No.7，日本，一般社団法人 映像情報メディア学会，2016年06月24日，Vol.70, No.7，P. J146～J157

Also Published As

Publication number Publication date
US20190279026A1 (en) 2019-09-12
US11195061B2 (en) 2021-12-07
EP3683764A4 (en) 2020-11-18
WO2019054092A1 (ja) 2019-03-21
CN109819675B (zh) 2023-08-25
JPWO2019054092A1 (ja) 2020-08-27
CN109819675A (zh) 2019-05-28
EP3683764A1 (en) 2020-07-22

Similar Documents

Publication Publication Date Title
JP6998554B2 (ja) 画像生成装置及び画像生成方法
AU2017324923B2 (en) Predicting depth from image data using a statistical model
EP3516625B1 (en) A device and method for obtaining distance information from views
JP7126123B2 (ja) 学習装置、学習方法及びプログラム
US9681150B2 (en) Optical flow determination using pyramidal block matching
US10455217B2 (en) Electronic apparatus and method of generating depth map
CN102388402B (zh) 图像处理装置及图像处理方法
CN110896467B (zh) 用于恢复图像的方法和设备
US10621446B2 (en) Handling perspective magnification in optical flow processing
JP7227969B2 (ja) 三次元再構成方法および三次元再構成装置
CN112602091A (zh) 使用针对不同图像场训练的多个神经网络进行物体检测
CN110276831B (zh) 三维模型的建构方法和装置、设备、计算机可读存储介质
CN113807361B (zh) 神经网络、目标检测方法、神经网络训练方法及相关产品
US10984287B2 (en) Learning device, learning method, and storage medium
JP2019200772A (ja) 識別システム、識別装置、識別方法及びプログラム
CN109313806A (zh) 图像处理装置、图像处理系统、图像处理方法和程序
CN110115022B (zh) 图像处理系统、光学传感器、以及学习装置
WO2014171438A1 (ja) ３次元形状計測装置、３次元形状計測方法及び３次元形状計測プログラム
JP2014164525A (ja) 物体数推定方法、物体数推定装置、及び物体数推定プログラム
CN116051736A (zh) 一种三维重建方法、装置、边缘设备和存储介质
CN112270241B (zh) 行人重识别方法、装置、电子设备及计算机可读存储介质
US11605174B2 (en) Depth-of-field simulation via optical-based depth extraction
KR100927236B1 (ko) 영상 복원 방법, 영상 복원 장치 및 영상 복원 방법을 실행하는 프로그램이 기록된 컴퓨터에서 판독될 수 있는 기록매체
CN112036271B (zh) 基于卡尔曼滤波的行人重识别方法、系统、介质及终端
CN118339584A (zh) 训练方法、训练系统以及训练程序

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210914

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211110

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211124

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211203

R151 Written notification of patent or utility model registration

Ref document number: 6998554

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151