WO2023106010A1

WO2023106010A1 - 電子機器

Info

Publication number: WO2023106010A1
Application number: PCT/JP2022/041427
Authority: WO
Inventors: 征志中田; 晃男海野
Original assignee: ソニーセミコンダクタソリューションズ株式会社
Priority date: 2021-12-10
Filing date: 2022-11-07
Publication date: 2023-06-15

Abstract

［課題］センサ又はドライバからの出力に基づいて画像信号を補正する。［解決手段］電子機器は、表示面と、撮像素子と、処理回路と、を備える。表示面は、発光素子から射出された光に基づいて情報を表示する。撮像素子は、前記表示面の反対側に配置される。処理回路は、前記撮像素子から出力される信号を処理する。より具体的には、処理回路は、前記撮像素子に起因しないデータを取得し、取得した前記撮像素子に起因しないデータを用いて、前記撮像素子が受光して出力する画像信号を補正する。

Description

電子機器

　本開示は、電子機器に関する。

　スマートフォン等の端末装置においては、ベゼル幅を小さくすることが望まれており、このような要望に対して、ディスプレイ下にカメラモジュールを配置されていることが検討されている。ディスプレイ下にカメラモジュールを備える場合、ディスプレイ越しに被写体を撮影することとなる。この際、ディスプレイ越しに輝度の高い光源が含まれている領域を撮像しようとすると、ディスプレイの回折によるフレアが大きな課題となる。

　また、ディスプレイに影像を表示しながら撮像使用とする場合、ディスプレイ面からの発光が撮像素子側にも直接に、又は、間接に入射することがある。これを回避するため、従来ではカメラで撮影するタイミングにおいて、カメラが備えられているディスプレイの一部分を暗く表示するといった制御がされていた。このような制御においては、ディスプレイの一部分が暗く表示されるため、ディスプレイの中心に近い位置にカメラを配置することにより、画像の中央に近い部分が暗くなり、画像の劣化が大きくなる。一方で、ビデオ通話をする場合等において、カメラの位置をディスプレイの中央寄りに配置したいという問題が発生する。

国際公開第2021/111955号

　そこで、本開示では、センサ又はドライバからの出力に基づいて画像信号を補正し、種々の画像劣化を抑制する電子機器を提供する。

　一実施形態によれば、電子機器は、表示面と、撮像素子と、処理回路と、を備える。表示面は、発光素子から射出された光に基づいて情報を表示する。撮像素子は、前記表示面の反対側に配置される。処理回路は、前記撮像素子から出力される信号を処理する。より具体的には、処理回路は、前記撮像素子に起因しないデータを取得し、取得した前記撮像素子に起因しないデータを用いて、前記撮像素子が受光して出力する画像信号を補正する。

　前記撮像素子に起因しないデータは、前記表示面に起因するデータであってもよい。

　前記表示面に起因するデータは、前記発光素子から射出された光に起因してもよい。

　前記表示面に起因するデータは、前記表示面における回折若しくは反射、又は、前記発光素子から射出され、直接的に前記撮像素子に到達した光、のうち少なくとも1つに起因してもよい。

　前記表示面に起因するデータは、前記表示面に入射した光に起因してもよい。

　前記表示面に起因するデータは、外部から入射した光の前記表示面におけるフレアに起因してもよい。

　電子機器は、フォーカスを制御する、フォーカスドライバ、をさらに備えてもよい。この場合、前記処理回路は、前記フォーカスドライバが取得する情報に基づいて、前記画像信号を補正してもよい。

　前記処理回路は、前記フォーカスドライバが取得する近接フォーカスにおける撮影情報を取得し、前記近接フォーカスにおける撮影情報に基づいて、近接に表示されているものを補正対象として前記画像信号を補正してもよい。

　前記処理回路は、前記近接フォーカスにおける撮影情報に基づいて、外部の被写体にフォーカスが合った前記画像情報を補正してもよい。

　前記処理回路は、前記表示面を介して表示する、表示信号を取得し、前記表示信号に基づいて、前記画像信号を補正してもよい。

　前記処理回路は、前記発光素子の制御をするディスプレイドライバから前記表示信号を取得し、又は、外部から入力される前記表示信号を取得して、前記画像信号を補正してもよい。

　前記処理回路は、前記表示信号の解像度を落とした信号に基づいて前記画像信号を補正してもよい。

　電子機器は、ジャイロセンサ、をさらに備えてもよい。この場合、前記処理回路は、前記ジャイロセンサが出力するジャイロ信号に基づいて、前記画像信号を補正してもよい。

　前記処理回路は、前記ジャイロ信号に基づいて、手ぶれのない画像を表示信号とし、前記表示信号に基づいて、前記画像信号を補正してもよい。

　前記処理回路は、前記ジャイロ信号に基づいて、外部の被写体と、前記撮像素子との位置関係を推定し、単一フレームにおいて正確な画素値が取得できていない画素を、前記撮像素子が取得したデータの変化から、前記画像信号を補正してもよい。

　前記正確な画素値が取得できていない画素は、当該画素において出力する信号が飽和している画素であってもよい。

　前記補正処理は、前記画像信号の色に関する補正処理を含んでもよい。

　前記色に関する補正処理は、リニアマトリクス適用タイミングにおける補正処理、YUV信号への変換タイミングにおける補正処理、又は、LUTを用いた色変換における補正処理であってもよい。

　前記補正処理は、さらに、自動ホワイトバランス制御、自動露出制御、又は、自動フォーカス制御のうち少なくとも1つに係る補正処理を含んでもよい。

　前記撮像素子は、前記表示面との位置関係が変化するように配置されてもよく、前記処理回路は、時系列に沿った前記表示面と前記撮像素子との前記位置関係に基づいて、前記画像信号を補正してもよい。

　前記処理回路は、時間経過に伴う前記画像信号における形状変化を取得し、前記形状変化に基づいて、前記画像情報を補正してもよい。

　前記処理回路は、学習済みモデルを用いて前記画像情報を補正してもよい。

　前記学習済みモデルは、表示信号と、前記画像信号と、を教師データとして学習されたモデルであってもよい。

一実施形態に係る電子機器を模式的に示す外観図。一実施形態に係る電子機器の構成を模式的に示すブロック図。一実施形態に係る表示の一例と撮像素子の配置を示す図。内部に起因する画像劣化発生の例を示す図。内部に起因する画像劣化発生の例を示す図。内部に起因する画像劣化発生の例を示す図。内部に起因する画像劣化発生の例を示す図。内部に起因する画像劣化発生の例を示す図。内部に起因する画像劣化発生の例を示す図。一実施形態に係る処理回路の処理の一例を示すフローチャート。

　以下、図面を参照して本開示における実施形態の説明をする。図面は、説明のために用いるものであり、実際の装置における各部の構成の形状、サイズ、又は、他の構成とのサイズの比等が図に示されている通りである必要はない。また、図面は、簡略化して書かれているため、図に書かれている以外にも実装上必要な構成は、適切に備えるものとする。

　なお、以下の説明において、処理の対象となる信号は、画像情報又は撮影情報と記載することがあるが、この画像情報又は撮影情報は、広義の概念であり、静止画、動画、又は、影像における1フレームの画像を含む概念である。また、「より大きい」「より小さい」の表現は、「以上」「以下」とそれぞれ適切に相互とに読刈ることができる。

　また、同じタイミングと記載した場合には、厳密に同じ瞬間である必要は無く、ある程度の時間の範囲において同時とみなされるタイミング又は微小時間ずれたタイミングと理解するものとする。この表現は、使用される文脈により、適宜このある程度の時間の範囲が異なるものであってもよい。ある程度の時間の範囲とは、例えば、 ~10msec であってもよいし、 ~33msec であってもよい。これらに限定されるものではなく、さらに短い時間であってもよいし、さらに長い時間であってもよい。

　本開示においては、「時系列データ」又は「時系列のデータ」と記載することがあるが、この表現は、 1 フレーム分のデータであることを排除するものではない。すなわち、この時系列データは、時系列に沿った複数フレームのデータであってもよいし、 1 フレーム分のデータであってもよい。

　(第 1 実施形態)
　図1は、一実施形態に係る電子機器を模式的に示す外観図及び断面図である。電子機器 1 は、例えば、スマートフォン、携帯電話、タブレット型端末、 PC といった表示機能と撮影機能とを兼ね備えた任意の電子機器である。電子機器 1 は、これらの例に限定されるものではなく、例えば、撮像装置、医療機器、検査装置といった他のデバイスであってもよい。電子機器 1 は、撮像素子 2 と、部品層 3 と、ディスプレイ 4 と、カバーガラス 5 と、を備える。

　図に示すように、第 1 方向、第 1 方向と交わる方向である第 2 方向、及び、第 1 方向、第 2 方向の双方と交わる方向である第 3 方向を便宜的に定義する。これらの方向のなす角は、それぞれが 90 度であってもよい。

　電子機器 1 は、例えば、外観図に示すように表示領域 1a と、ベゼル 1b と、を備える。電子機器 1 は、画像、映像をこの表示領域 1a に表示する。ベゼル 1b は、ディスプレイ表示面側における画像を取得するべく、所謂インカメラが備えられることがあるが、今日においてはこのベゼル 1b の占有する領域を狭くすることが求められることが多い。このため、本実施形態に係る電子機器 1 は、ディスプレイ下側に撮像素子 2 を備え、ベゼル 1b が表示面側で閉める領域を狭めている。

　撮像素子 2 は、受光素子及び受光素子が出力する信号について信号処理を実行する信号処理回路 (以下、処理回路と記載する。) を備える。撮像素子 2 は、受光素子が受光した光に基づいて、被写体の画像に関する情報を取得する。本明細書において特に注意が無い限り、被写体は、単なる景色等をも含む概念であるとする。撮像素子 2 の詳細については、後述する。なお、図においては、撮像素子 2 は、矩形状であるが、これには限られず、円状等の任意の形状であってもよい。

　部品層 3 は、撮像素子 2 が属する層である。この部品層 3 には、例えば、電子機器 1 において撮像以外の処理を実現するための種々のモジュール、デバイスが備えられる。なお、撮像素子 2 における処理回路の外部において、撮像素子 2 から出力された情報を処理し、又は、撮像素子 2 を外部から制御する、他の処理回路が備えられてもよい。

　ディスプレイ 4 は、画像、影像等を出力するディスプレイである。ディスプレイ 4 は、断面図に示すように、その裏面側に撮像素子 2 及び部品層 3 が備えられる。撮像素子 2 は、この断面図に示すように、ディスプレイ４に埋め込まれるように備えられる。

　このディスプレイ４は、例えば、その性質から 450 nm 以下の波長領域の光を吸収する材料が含まれる材料で形成されてもよい。この 450 nm 以下の波長領域の光を吸収する材料は、例えば、ポリイミドである。ポリイミドは、 450 nm 以下の波長領域、すなわち、青色の波長領域の光を吸収する材料であるため、ディスプレイ 4 に撮像素子 2 が埋め込まれていると、撮像素子 2 において青色の領域の光を受光しづらくなる可能性がある。このため、撮像素子 2 は、青色の光の強度を適切に取得できるような形態としてもよい。

　カバーガラス 5 は、ディスプレイ 4 を保護するガラス層である。ディスプレイ 4 と、カバーガラス 5 との間には、ディスプレイ 4 から出力される光が適切にユーザにとって見やすくなるように偏光相が備えられていてもよいし、表示領域 1a をタッチパネルとして用いることができるように、任意の形態において任意の層等が備えられてもよい。

　以下の説明において、半導体層等における受光素子、レンズ、回路等の具体的な実装については、本開示の本質的な構成ではないので説明しないが、図面、説明等から読み取れる形状、構成等に任意の手法を用いて実装できるものである。例えば、撮像素子の制御、信号の取得等は、特に記載の無い限り任意の手法、アルゴリズム、又は、半導体の構成で実現することが可能である。

　この図1に示されるように、撮像素子 2 は、ディスプレイ 4 に埋め込まれるように備えられる。このため、電子機器 1 のディスプレイ表面側から入射した光は、カバーガラス 5 又はディスプレイ 4 において、反射したり、回折したりする。撮像領域に照度が強い光源が存在すると、この回折現象等によりフレアが発生する。

　また、ディスプレイ 4 の発光素子が射出した光が、直接的に、又は、ディスプレイ 4 又はカバーガラス 5 において反射、回折により間接的に、撮像素子 2 に入射することがある。本実施形態においては、処理回路は、このようなディスプレイ 4 又はカバーガラス 5 に起因する画像の劣化を補正する。

　図2は、一実施形態に係る電子機器の構成を模式的に示すブロック図である。電子機器 1 は、例えば、ディスプレイ 4 と、光学系 100 と、受光部 102 と、第 1 処理回路 104 と、ディスプレイドライバ 106 と、光学ドライバ 108 と、ジャイロセンサ 110 と、インタフェース 112 と、第 2 処理回路 114 と、を備える。

　光学系 100 の少なくとも一部と、受光部 102 と、第 1 処理回路 104 は、例えば、撮像素子 2 の一部として備えられてもよいし、別個に備えられてもよい。撮像素子 2 の一部として備えられる場合、これらの構成要素は、 1 つの半導体基板に備えられてもよいし、 2 つ以上の半導体基板を任意の適切な手法により積層した半導体基板に備えられてもよい。すなわち、撮像素子 2 は、フォトダイオード等の受光素子とともに、第 1 処理回路 104 を含んだ 1 チップの半導体として構成されていてもよい。この場合、撮像素子 2 を構成する半導体チップ内において、画像信号の補正を実現することもできる。

　光学系 100 は、ディスプレイ 4 を介して入射する光を受光部 102 へと適切に集光するための光学系である。受光部 102 は、例えば、フォトダイオードといった受光素子を備え、受光素子に入射された光の強度に基づいたアナログ信号を出力する。

　受光部 102 は、受光素子を備えた受光画素が 2 次元のアレイ状に配置され、それぞれの受光素子が感知した光の強度に基づいたアナログ信号を、受光画素回路を介して出力する。受光部 102 から第 1 処理回路 104 への信号の転送は、任意の方式にしたがって実行される。

　第 1 処理回路 104 は、受光部 102 が出力したアナログ信号をデジタル信号に変換し、変換した信号に対して、又は、変換した信号を用いて種々の情報処理を実行する回路である。第 1 処理回路 104 は、電子機器 1 の撮像に関する各種構成要素の制御をしてもよい。第 1 処理回路 104 は、例えば、センサから取得した信号又はドライバから取得した信号に基づいて、センサ又はドライバの制御をしてもよい。

　また、第 1 処理回路 104 は、各種構成要素から信号を受信し、受信した信号に基づいて受光部 102 から出力され、変換された画像信号を補正してもよい。この補正処理については、後述にて詳しく説明する。

　ディスプレイドライバ 106 は、ディスプレイ 4 を駆動するドライバである。ディスプレイ 4 は、例えば、ディスプレイドライバ 106 から取得した情報に基づいて、発光素子を備える発光画素から光を射出して、適切な画像情報を構成して表示する。例えば、破線で示すように、ディスプレイドライバ 106 は、表示する画像の信号が入力され、この信号に基づいて、ディスプレイ 4 に画像が表示されるように、発光素子の制御をする。なお、第 1 処理回路 104 又は第 2 処理回路 114 から制御信号を受信してもよい。

　光学ドライバ 108 は、光学系 100 を制御するドライバである。光学ドライバ 108 は、例えば、照度センサからの感知信号又はフレーム間画像から取得された画像のブレに基づいて、光学系 100 に対して自動露出制御、自動フォーカス制御を実行させる。また、光学ドライバ 108 は、例えば、照度センサからの感知信号を画像の自動ホワイトバランス制御をするために第 1 処理回路 104 に送信してもよい。このように光学ドライバ 108 は、例えば、フォーカスドライバを備えてもよいし、露出ドライバを備えてもよいし、また、ホワイトバランス制御をするための信号を出力してもよい。この他、光学ドライバ 108 は、光学系 100 に関連する処理を実行するドライバである。

　ジャイロセンサ 110 は、電子機器 1 における受光部 102 の傾きを取得するセンサである。また、このジャイロセンサ 110 と併せて、加速度センサが備えられていてもよい。ジャイロセンサ 110 は、例えば、電子機器 1 に対する受光部 102 の傾きを取得してもよい。別の例として、ジャイロセンサ 110 は、例えば、電子機器 1 自体の姿勢の変化を角速度として取得してもよい。すなわち、ジャイロセンサ 110 は、電子機器 1 自体の姿勢、又は、電子機器 1 の筐体に対する受光部 102 の姿勢の少なくとも一方を取得するセンサである。第 1 処理回路 104 は、例えば、このジャイロセンサ 110 の出力する信号に基づいて、手ぶれの制御等を実行する形態であってもよい。

　インタフェース 112 は、撮像素子 2 と、外部とを接続するインタフェースである。インタフェース 112 は、例えば、 MIPI (登録商標、 Mobile Industry Processor Interface) 、 USB (Universal Serial Bus) 、 HDMI (登録商標、 High-Definition Multimedia Interface) 等であってもよく、適切に画像信号が転送可能なインタフェースであればよい。

　第 2 処理回路 114 は、撮像素子 2 の外部に備えられる処理回路である。撮像素子 2 の内部に第 1 処理回路 104 が備えられる場合、この第 1 処理回路 104 は、回路の設置面積等から、十分な計算性能を発揮できない場合がある。このような場合に、インタフェース 112 を介して第 2 処理回路 114 にデータを転送して処理をすることもできる。このように、第 1 処理回路 104 よりも高性能な第 2 処理回路 114 を備えてもよい。第 2 処理回路 114 は、例えば、撮像素子 2 以外の電子機器 1 の動作を制御してもよい。例えば、ディスプレイドライバ 106 に入力される表示信号は、第 2 処理回路 114 が生成し、ディスプレイドライバ 106 へと送信してもよい。

　以上のような構成の電子機器 1 を用いて、本実施形態では、ディスプレイ下にカメラモジュール等の撮像素子が配置される場合における、取得する画像の劣化を補正する処理を実現する。

　具体的には、第 1 処理回路 104 は、撮像素子 2 に起因しないデータ (時系列のデータでもよい。) を取得し、このデータに基づいて、撮像素子 2 から出力される画像信号を補正してもよい。撮像素子 2 に起因しないデータは、例えば、ディスプレイドライバ 106 、光学ドライバ 108 又はジャイロセンサ 110 のうち少なくとも 1 つから取得されたデータであってもよい。

　電子機器 1 は、例えば、備えられるセンサ等の出力するデータとして、ディスプレイ 4 の表示面に起因するデータを取得してもよい。この表示面に起因するデータは、ディスプレイ 4 の発光素子から射出した光に起因してもよい。

　図3は、一実施形態に係る表示の一例と、撮像素子 2 の配置の一例を示す図である。例えば、ディスプレイ 4 には、表示領域 1a において、人物の画像が表示されている。この人物の顔の中に対応するディスプレイ下に、撮像素子 2 が備えられる。

　このような表示をしている場合、撮像素子 2 に、ディスプレイ 4 に表示している人物の肌の色の光が入射する可能性が高い。肌の色の光が表示面側のカバーガラス 5 やディスプレイ 4 の構成要素において反射、回折した光、又は、ディスプレイ 4 の発光素子からの光が直接的に撮像素子 2 に入射する。この結果、この光に起因して、撮像した画像が全体的に肌の色に近づいた色へと劣化する。単純には、肌の色に近い弱い強度の光が撮像素子に入射するため、この弱い強度の光と、本来の撮影対象の情報とが混合された情報が撮像素子 2 により取得される。

　肌の色に起因した光の要因は、ディスプレイ 4 に表示している画像であるので、電子機器 1 は、この光の要因を取得することができる。劣化した画像を補正するために、第 1 処理回路 104 は、例えば、ディスプレイドライバ 106 からディスプレイ 4 に表示する画像のデータを取得してもよい。

　以下、ディスプレイドライバ 106 から第 1 処理回路 104 が取得する表示する画像に係る信号を、表示信号と記載することがある。また、撮像素子 2 が取得して出力するアナログ信号又は第 1 処理回路 104 によりデジタル変換された信号を画像信号と記載する。

　限定されない一例として、第 1 処理回路 104 は、ディスプレイドライバ 106 から取得した表示信号の統計量を求めることで、画像信号の補正をしてもよい。例えば、第 1 処理回路 104 は、ディスプレイドライバ 106 から取得される表示信号の平均値に係数を掛けて、画像信号から減算してもよい。また、ディスプレイドライバ 106 から時系列データを取得し、少なくとも 1 フレーム分の過去のフレームの表示信号を参照して補正をしてもよい。

　限定されない一例として、第 1 処理回路 104 は、ディスプレイドライバ 106 から取得した表示信号のうち、撮像素子 2 が下に存在する領域の表示信号の画素値を取得し、この画素値に基づいた値を用いて、画像信号の補正をしてもよい。この場合、第 1 処理回路 104 は、この領域内の表示信号の画素値の統計量を求めて画像信号を補正してもよい。別の例として、受光画素ごとに表示面側にあるディスプレイ 4 に表示されている表示信号の画素値に基づいて画像信号を補正してもよい。補正は、上記と同様に、減算等であってもよい。

　これらの例においては、例えば、グランド画像として、表示信号がある場合とない場合において撮像を実行して、画像信号にどの程度の影響があるかを統計的に求めてもよい。このグランド画像の撮像は、例えば、ディスプレイ 4 の表示面側全面に外部からの光が入射しない状況で実行してもよい。

　限定されない一例として、教師データを準備した後に機械学習によりパラメータが最適化されたモデル (学習済みモデル) を用いて、画像信号を補正してもよい。例えば、電子機器 1 の内部又は外部にある記憶回路に、ディスプレイ 4 に表示をさせていない場合の被写体の撮像画像と、ディスプレイ 4 に種々の表示をしている場合の被写体の撮像画像と、のデータを取得する。

　この取得したデータに基づいて、ディスプレイ 4 に何らかの表示をしている画像データを入力すると、ディスプレイ 4 に表示させていない場合の画像データを出力するように、モデルを学習する。モデルの構造は、任意の構造であってもよいし、モデルの学習方法は、任意の学習方法 (深層学習を含む) であってもよい。

　例えば、モデルは、 MLP (Multi-Layer Perceptron) 、 CNN (Convolutional Neural Network) 、及び、その他のニューラルネットワークモデルであってもよい。また、モデルは、その他の統計モデルであってもよい。例えば、ディスプレイ 4 に表示させた場合の撮像データと表示させない場合の撮像データを入力データとして用い、ディスプレイ 4 に表示させない場合の撮像データを出力データとして用いてモデルを学習してもよい。

　また、別の例として、ディスプレイドライバ 106 から取得する表示信号及び撮像素子 2 から取得する画像信号をモデルに入力すると、表示信号がない場合の画像信号が出力されるように、モデルを最適化してもよい。

　図示しない電子機器 1 内の記憶回路に学習済みのモデルのパラメータを格納しておき、第 1 処理回路 104 は、適切に当該パラメータからモデルを構成する。第 1 処理回路 104 は、ディスプレイドライバ 106 から表示信号が取得できているタイミングで画像信号を取得した場合には、当該表示信号と、当該画像信号とを入力することで画像を補正してもよい。

　モデルを用いる別の例として、複数フレームの表示信号を用いることもできる。例えば、学習において、複数フレームの表示信号を入力すると、現フレームの劣化が補正されるモデルを形成してもよい。複数フレームの表示信号及び画像信号が入力できる形態であってもよい。このように学習しておくことで、第 1 処理回路 104 は、ディスプレイ 4 に画像等が表示されている場合であっても、適切に撮像素子 2 から取得した画像信号を補正することが可能となる。

　別の例として、第 1 処理回路 104 は、例えば、第 2 処理回路 114 といった外部のモジュール等からディスプレイドライバ 106 を介さずに、直接的に表示信号を取得してもよい。

　また、上記のそれぞれの例において (ルールベース又は機械学習ベースのいずれにおいても) 、補正に用いるデータは、表示信号の解像度を落としたデータであってもよい。表示領域 1a の広さに対して撮像素子 2 の面積は十分に小さく、撮像素子 2 が取得する画像信号の補正には、細かい粒度の表示画像の情報までは、それほど必要無い可能性があるためである。

　以上のように、本実施形態によれば、第 1 処理回路 104 は、ディスプレイ 4 に表示されている信号を取得することで、ディスプレイ 4 の発光素子からの光の影響を抑制する画像信号の補正をすることができる。なお、本実施形態においては、光学ドライバ 108 、ジャイロセンサ 110 は、必須の構成ではないが、後述する実施形態と復号した補正処理をすることももちろん可能である。

　(第 2 実施形態)
　本実施形態では、フォーカス位置に基づいたデータを用いて補正処理をすることについて説明する。例えば、表示面に外部から入射した光に起因するフレアが発生する場合の補正処理について説明する。以下の図においては、図3とは異なり、表示領域 1a 上に示されている図面は、撮像素子 2 が取得する画像情報である。

　図4は、強い光源が撮像領域にある場合のフレアの発生の一例を示す図である。表示領域 1a 内の白い部分がフレアを表す。この図では、撮像素子 2 は、光学系 100 により、被写体にフォーカス (ピント) が合うように調整されている。フォーカスは、光学ドライバ 108 、より限定的には、フォーカスドライバにより制御される。フォーカスドライバは、例えば、レンズの位置を変更したり、レンズの形状を変更したりすることで、フォーカスを制御する。

　フォーカスドライバは、例えば、オートフォーカスをするための情報を取得し、自動的に被写体にフォーカスするように光学系 100 を制御する。オートフォーカスは、コントラスト方式であってもよいし、位相差方式であってもよいし、像面位相差方式であってもよい。像面位相差を用いる場合には、撮像素子 2 の撮像画素内に、像面位相差を取得するための画素が配置されていてもよい。

　第 1 処理回路 104 は、フレアによる画像劣化を補正するために、このフォーカスドライバからデータを取得してもよい。フォーカスドライバは、例えば、最近接にフォーカスを合わせるように光学系 100 を制御する。

　図5は、フォーカスを最近接とした場合の図4と同じ状況における撮影画像の一例を示す図である。フレアは、カバーガラス 5 やディスプレイ 4 における回折、反射に起因して発生する。このため、仮にフォーカスがカバーガラス 5 やディスプレイ 4 に合う場合には、フレアにフォーカスが合う。

　したがって、フォーカスドライバは、カバーガラス 5 等にフォーカスを合わせることでフレアの範囲が小さい状態の画像を取得できるように光学系 100 を制御することができる。カバーガラス 5 又はディスプレイ 4 にフォーカスされることが望ましいが、電子機器 1 の大きさ等の制約によりそのようなフォーカスをすることが困難な場合がある。このため、フォーカスドライバは、フォーカスを最近接に合わせるように光学系 100 を制御することで、なるべくフレアの影響が小さくなるようにする。

　フォーカスドライバは、この状態において取得する画像を、第 1 処理回路 104 に送信してもよい。第 1 処理回路 104 は、フォーカスドライバが取得した最近接にフォーカスが合っている状態における撮影画像に基づいて、画像信号の補正処理を実行してもよい。

　第 1 処理回路 104 は、例えば、被写体にフォーカスが合っている画像信号について、フォーカスドライバが取得した最近接にフォーカスが合っている撮影画像を用いて補正処理を実行する。第 1 処理回路 104 は、このように処理することで、カバーガラス 5 又はディスプレイ 4 に起因するといった、撮像素子 2 に表示面側において近接する領域における画質劣化の原因を補正対象とすることができる。

　この近接にフォーカスした撮影情報において、上記のように、フレアの除去をすることが可能となる。具体例として、第 1 処理回路 104 は、図5のように最近接フォーカスされた情報を用いて、図4のように被写体にフォーカスされている画像のフレア部分の補正をする。例えば、第 1 処理回路 104 は、被写体にフォーカスされている画像情報におけるフレアの領域において、最近接フォーカスされている信号におけるフレアではない領域がある場合には、当該フレアではない領域の画素値を被写体にフォーカスされている画像情報における画素値としてもよい。

　また、第 1 処理回路 104 は、フォーカスドライバから取得した最近接フォーカスされている信号において、フレアを除去する補正をし、この補正した結果を被写体にフォーカスされている画素の値としてもよい。上記は、画素値を置換するものとしたが、これには限られず、例えば、最近接フォーカスの画素値に係数を掛けて、重み付けの和をとってもよい。

　さらに、一般的に用いられている画像情報のみからフレアを除去する補正を、フォーカスドライバから取得した撮影情報において適用した結果を、補正処理に用いてもよい。図で示されるように、最近接フォーカスされている場合の撮影画像は、フレアの生じている面積が被写体にフォーカスしている場合よりも小さい。このため、種々の補間処理をより効果的に適用できる最近接フォーカスされている撮影画像において補間処理をすることで、被写体にフォーカスしている画像情報においても高精度の画像補正をすることが可能となる。

　限定されない別の例として、前述の第 1 実施形態と同様に、学習済みモデルを用いてもよい。例えば、同じ仕様の撮像素子 2 を 2 つ用いて、一方は、撮像素子 2 が直接的に被写体を撮影し、他方は、ディスプレイ 4 及びカバーガラス 5 が装着された間接的な状態で撮影する。直接的に被写体を撮影した画像情報は、フレアの影響がない状態の情報であり、間接的に被写体を撮影した画像情報は、フレアを含んだ情報となる。

　モデルの学習においては、上記で取得したフレアが含んだ画像情報を入力すると、フレアの影響が無い状態の画像情報を出力するように学習する。モデルの構成及び学習方法は、前述の実施形態と同様に任意である。また、本実施形態においては、入力情報として、最近接にフォーカスを合わせた場合のフレアを含んだ情報を用いてもよい。また、この画像情報とともに、最近接の情報であることが入力できる形態であってもよい。

　さらに、フレアを含んだ情報は、最近接フォーカスのみにはとどまらず、種々のフォーカスに変更して劣化画像を生成し、これらの劣化画像を入力すると、フレアの除去された画像情報が出力されるようにモデルを訓練してもよい。また、入力する画像は、フォーカスドライバにより取得される情報であってもよい。また、フォーカスドライバを介して、フォーカスの情報等の光学系 100 に関する情報を併せて入力できるモデルとして形成してもよい。

　また、フォーカスの情報は、補正対象の画像側において出力される形態としてもよい。この場合、教師データとして、補正後の画像とともにフォーカスの情報を示す情報が含まれてもよい。

　学習済みモデルは、適切な教師データを用いて種々の形態として学習することができる。また、フレアに限定されるものではなく、ディスプレイ 4 等に起因する劣化であれば、同様に対処をしてもよい。このように学習されたモデルは、適切な入力画像が入力されると、フレアを除去した画像を出力する。また、入力／出力にフォーカスの情報が含まれる場合には、当該フォーカスの情報が入力／出力されてもよい。

　以上のように、本実施形態に係る電子機器 1 は、フレアをはじめとする、ディスプレイ 4 やカバーガラス 5 に焦点を合わせることにより領域を小さくすることが可能な画像の劣化を、ルールベース、又は、学習ベースの手法で補正することができる。

　(第 3 実施形態)
　本実施形態においては、ジャイロセンサ 110 を用いた電子機器 1 における画像補正の一例について説明する。ジャイロセンサ 110 は、例えば、手ぶれ補正のために用いられるセンサである。

　図6は、フレアが発生している状態で撮影された画像情報の一例を示す図である。例えば、顔の一部にフレアが重なっており、重なっている領域について画素値が飽和している。このような画像をジャイロセンサ 110 からの出力に基づいて補正する。

　図7は、手ぶれ等により図6から角度がずれた画像を示す。この図7においては、例えば、顔に対するフレアの領域が相対的に変化しており、被写体とフレアの重なっている領域が図6に示す場合とズレている。

　第 1 処理回路 104 は、このズレに基づいて、図6に示す画像情報を補正する。一例として、第 1 処理回路 104 は、ジャイロセンサ 110 の出力信号から図6から図7への角度の変化を算出する。続いて、第 1 処理回路 104 は、この角度のズレに基づいて、各々の画像情報において、共通する点又は領域同士を紐付ける。

　この紐付けは、例えば、カメラの内部パラメータ及び外部パラメータにより、世界座標とカメラ座標間の演算により、実行されてもよい。また、レンズの歪み補正、各種収差補正等の各種補正の影響を加味してもよい。

　第 1 処理回路 104 は、図6の画像に対して図7の画像のみを紐付けてもよいし、別の例として、図7の画像に加え他の 1 又は複数の画像を併せて紐付けてもよい。3 以上の画像が紐付けられる場合には、第 1 処理回路 104 は、例えば、取得している複数フレームの画像と、当該複数フレームの画像のそれぞれについてのジャイロ信号と、を紐付けて記憶領域に格納する。

　第 1 処理回路 104 は、種々の補間方法により、図6におけるフレアの発生領域について、補正処理を実行する。この補正処理により、図6において飽和している領域の情報を、他の角度で撮影された情報から補間することが可能となる。

　もちろん、本実施形態においても、補正に学習済みモデルを用いてもよい。前述の第 2 実施形態と同様に、フレアが発生している状態において撮影された情報及びジャイロセンサ 110 から取得したジャイロ信号と、に基づいて、モデルがフレアの発生しない状態において撮影された画像情報を出力するように学習を実行する。

　以上のように、本実施形態によれば、ジャイロセンサ 110 の出力するジャイロ信号に基づいて、フレア等が発生している状態の画像情報を補正することが可能となる。一般的に、手ぶれ等により撮像素子 2 の撮像面の角度がずれてしまうことにより、取得する画像が歪む。この歪みにより、複数フレームの画像においてパターンマッチングを実現することが困難なことが多い。このような場合であっても、本実施形態によれば、適切に画像情報の補正処理を実現することが可能となる。

　なお、上記においては、ジャイロセンサ 110 の出力を用いるものとしたが、これに加えて、加速度センサからの出力を用いてもよい。この場合は、例えば、世界座標における絶対的な座標として、画像情報を紐付けることもできる。

　(第 4 実施形態)
　ジャイロセンサ 110 の出力を用いる例は、上記のフレア補正に限定されるものではない。ジャイロセンサ 110 を用いて、ディスプレイ 4 の表示等に起因する画像の劣化を補正することもできる。

　図8は、撮像素子 2 により撮影された画像情報の一例を示す図である。フレアは、発生していてもよいし、発生していなくてもよい。例えば、この図8に示すように、撮像素子 2 は、画像の左上の領域において、何らかの劣化情報 200 を取得する。

　図9は、手ぶれ等により異なる角度において撮像素子 2 により撮影された画像情報の一例を示す図である。この図9においても図8と同様に、撮像素子 2 は、画像の左上の領域において、劣化情報 200 が撮像されている。この劣化情報 200 は、図8の場合と同一のものであってもよい。ここで、同一とは厳密に同一であることに限定されず、多少の画素値等のズレを含んでもよい。

　このような複数の画像情報を取得した場合、この劣化情報 200 が角度によらず撮影されていることから、第 1 処理回路 104 は、劣化情報 200 が電子機器 1 内部での処理に起因する画像の劣化であると判断する。第 1 処理回路 104 は、前述の第 3 実施形態と同様に、補正した画像において、劣化情報 200 の領域の画素値の情報を、ジャイロセンサ 110 から出力されるジャイロ信号に基づいて補正する。

　例えば、ディスプレイ 4 に何らかの表示がある場合には、この表示に起因して発生する劣化は、撮像素子 2 が電子機器 1 内において表示面との相対的な位置、姿勢を変化しないように配置されていると、ジャイロセンサ 110 の出力する信号によらず所定の領域に同じように発生する。

　このことから、第 1 処理回路 104 は、手ぶれが発生しているにもかかわらず同じ位置に同じサイズで発生している劣化情報 200 を表示信号に起因する劣化、又は、電子機器 1 内部に起因する他の劣化であると判定することができる。なお、第 1 処理回路 104は、劣化情報が表示信号に起因するか否かを、さらに、ディスプレイドライバ 106 からの出力に基づいて判定することもできるし、ディスプレイドライバ 106 からの出力と、ジャイロセンサ 110 からの出力とを併用して判定することも可能である。判定後には、第 1 処理回路 104 は、適切に劣化情報に重なる画素の値を他の 1 又は複数フレームの異なる姿勢情報を有する画像情報に基づいて補正する。

　以上のように、ジャイロセンサ 110 からの出力信号を用いて、表示信号に起因する劣化を補正することができる。

　まとめると、第 3 実施形態及び第 4 実施形態においては、ジャイロセンサ 110 から出力されるジャイロ情報に基づいて、外部の被写体と、撮像素子 2 との位置関係を推定し、単一フレームにおいて正確な画素値が取得できていない画素 (例えば、飽和している画素) を、時系列に沿った 1 又は複数フレームの画像情報の変化から、補正することが可能である。

　このように、電子機器 1 内のジャイロ情報を取得し、時間軸方向にジャイロ情報と撮像素子 2 から取得される画像情報との出力の変化を捉えることで、第 1 処理回路 104 は、画像情報の補正処理を実現することができる。

　(第 5 実施形態)
　前述の実施形態では、撮像素子 2 が電子機器 1 において固定されている場合について説明したが、手ぶれ補正等のために撮像素子 2 がある程度あそびを有する場合についても同様に補正処理を実行することができる。

　例えば、撮像素子 2 が電子機器 1 内において平行移動し、又は／及び、電子機器 1 に対するピッチ角、ロール角、ヨー角が可変である場合について、第 1 処理回路 104 は、画像情報の補正をすることができる。

　平行移動により、複数のフレーム間において画像情報にズレが生じる場合、撮像素子 2 は、ディスプレイ 4 等との相対位置が異なる状態における画像情報を取得する。フレア等の電子機器 1 の内部の構成に起因する画像の劣化は、撮像素子 2 の平行移動に基づいて異なる領域に発生する。このため、補正処理の対象となる画像情報において飽和している画素値を、他のフレームの画素値から補間、補正することができる。

　この補正の方法は、前述に記載のいずれかの実施形態と同様の方法であってもよい。学習モデルを用いる場合も同様の手法を採用することができ、例えば、ディスプレイ 4 等が配置されない撮像素子 2 における劣化しない画像と、ディスプレイ 4 等により劣化している画像とを訓練データとして用いて学習を行うことで、劣化画像を入力すると、補正画像を出力するモデルを形成することができる。本形態では、平行移動している距離 (センサシフト量) を入力データとして入力できるようにしてもよい。

　姿勢により、複数のフレーム間において画像情報にずれが生じる場合、撮像素子 2 は、ディスプレイ 4 等との相対姿勢が異なる状態における画像情報を取得する。平行移動の場合と同様に、フレア等の電子機器 1 の内部の構成に起因する画像の劣化は、撮像素子 2 の姿勢の変化に基づいて異なる領域に発生する。このため、前述の各実施形態と同様に種々の手法により画像情報の補正をすることができる。

　学習済みモデルを用いる場合には、上記と同様に適切な学習をすることにより、姿勢に関する情報、例えば、ピッチ角、ロール角及びヨー角のうち、少なくとも 1 つの情報が入力画像とともに入力できる形態としてもよい。

　以上のように、本実施形態によれば、撮像素子 2 の電子機器 1 内における相対位置又は相対姿勢の情報に基づいて画像情報の補正をすることができる。

　なお、撮像素子 2 の相対位置又は相対姿勢の取得は、各種ドライバや各種センサからの出力に基づいて実行されてもよい。また、光学系 100 の少なくとも一部が撮像素子 2 とともに相対位置又は相対姿勢を変更可能に配置されていてもよい。

　(第 6 実施形態)
　前述の各実施形態においては、各種ドライバ又は各種センサから取得された情報に基づいて画像情報を補正する処理について説明した。補正処理は、主に、フレア等の電子機器 1 の内部構成に起因する画像の劣化に対応するものである。これに加えて、さらに、他の情報を補正してもよい。

　第 1 処理回路 104 は、前述の各実施形態で補正した画像情報に基づいて、自動ホワイトバランス制御、自動露出制御又は自動フォーカス制御の内少なくとも 1 つを実行してもよい。第 1 処理回路 104 により補正処理されることで、フレアやディスプレイ 4 における回折に起因する劣化情報を削減又は除去することができる。このため、第 1 処理回路 104 は、さらに、この劣化情報が削減又は除去された画像情報を用いて上記のような各種補正処理 (ホワイトバランス制御、露出制御又はフォーカス制御) を実行することで、より精度の高い画像情報を取得することが可能となる。

　また、前述の各実施形態におけるフレア除去等の処理においては、第 1 処理回路 104 は、色情報に関する補正処理を併せて実行してもよい。第 1 処理回路 104 は、リニアマトリクス処理又は色変換処理 (信号フォーマット変換処理) において、前述の各実施形態において取得されたデータ (時系列データを含む) を用いることもできる。

　例えば、フレアが発生している領域の情報を取得する画素においては、画素値の飽和の他、偽色等の色に関するエラーが発生することが多い。この色に関する劣化を、フレア発生状況等に基づいて、他のフレーム等の情報を用いて補正することも可能である。

　このため、第 1 処理回路 104 は、前述の各実施形態における補正処理に加えて、フレアが発生しているか否かを判定してもよい。この判定は、例えば、所定数以上の画素において飽和が発生している、画像情報において矩形に属する領域で所定数以上の飽和画素がある、等の条件で判定してもよい。

　また、学習済みモデルを用いて、フレアが発生しているか否かのクラスタリングをしてもよい。この場合、学習済みモデルは、フレアが発生していない画像情報と、フレアが発生している画像情報とを訓練データとして、フレアが発生している画像情報についてはフレアが発生していることを出力するように学習されたものであってもよい。

　(処理例)
　電子機器 1 における本開示に関連する処理の限定されない一例について説明する。

　図10は、限定されない一例として、第 1 処理回路 104 の電子機器 1 の内部構成に起因する画像の劣化の補正処理を示したフローチャートである。このフローチャートは、前述の各実施形態に係る補正処理を示したものであり、この処理の前後には、撮像素子 2 による画像撮影の準備、及び、撮像素子 2 が処理した後の画像情報の処理及び出力処理が、任意に実行される。

　まず、第 1 処理回路 104 は、ディスプレイ 4 に表示がされているか否かを判定する (S100) 。この判定は、例えば、ディスプレイドライバ 106 からディスプレイ 4 に対して表示信号が出力されるか否かに基づいて行われる。

　ディスプレイ 4 に表示がある場合 (S100: YES) 、第 1 処理回路 104 は、ディスプレイドライバ 106 から取得した表示信号に基づいて、発光素子が発光している光に基づいた劣化の補正処理を実行する (S102) 。この補正により、例えば、ディスプレイ 4 に表示されている表示信号に起因する劣化を補正することができる。

　ディスプレイ 4 に表示がある場合には、 S102 の処理に続いて、また、ディスプレイ 4 に表示がない場合 (S100: NO) には、 S102 の処理を行わずに、第 1 処理回路 104 は、光学ドライバ 108 の情報に基づいた補正を実行する (S104) 。例えば、電子機器 1 は、撮影のためにフォーカスドライバを介して光学系 100 を制御し、撮像素子 2 が撮像する。第 1 処理回路 104 は、この撮像した情報を、フォーカスドライバから取得するフォーカス情報に基づいて補正する。この補正により、例えば、フレアの映り込みといった劣化を補正することができる。

　次に、第 1 処理回路 104 は、飽和している画素があるか否かを判定する (S106) 。第 1 処理回路 104 は、画素値が最大値となっている画素があるか否かで飽和画素が存在しているか否かを判断してもよい。

　飽和画素がある場合 (S106: YES) 、第 1 処理回路 104 は、ジャイロ情報に基づいた画像情報の補正を実行する (S108) 。第 1 処理回路 104 は、例えば、ユーザの手ぶれ、又は、意図的な動作等により、ジャイロ情報を用いて被写体を特定し、他のフレームの情報から、飽和している画素の画素値を補間する。

　この S106 の処理の後、又は、飽和画素がない場合 (S106: NO) 、第 1 処理回路 104 は、本開示に係る補正処理を終了する。

　なお、図10は、限定されない一例として示したものであり、全ての処理を実行する必要は無く、前述の各実施形態において説明したように、 S102 、 S104 又は S106 のうち少なくとも 1 つの補正処理が実行されてもよい。また、色の補正、フォーカス等の補正等の他の補正がされることを排除するものではない。第 1 処理回路 104 は、例えば、フレアの補正として S104 の補正処理のみを実行してもよいし、 S106 の補正処理のみを実行してもよいし、 S104 の補正によりフレア領域を小さくし、その上で S106 の補正処理を実行するといった双方の補正処理を実行してもよい。

　なお、前述の各実施形態においては、第 1 処理回路 104 が補正処理をするとしたが、これに限定されるものではない。例えば、データ転送速度が十分に確保できるのであれば、第 2 処理回路 114 又は他の処理回路が画像信号の補正処理を実行してもよい。この場合、センサ等からの時系列データの取得は、第 1 処理回路 104 が実行してもよいし、第 2 処理回路 114 等が実行してもよい。

　前述の各実施形態で示したように、本開示のいくつかの実施形態によれば、時間経過に伴う画像信号に関する情報の形状変化を取得し、この形状変化に基づいて画像情報を補正することができる。この形状変化は、時間軸方向に複数の画像を取得することにより把握することができる。第 1 処理回路 104 は、撮像素子 2 からの情報、及び、各種ドライバ又はセンサから取得した形状又は状態の変化を適切に処理することで、補正内容を決定することもできる。例えば、近接フォーカスで取得した画像情報に基づいて、被写体にフォーカスが合った別のフレームの画像情報を補正してもよい。

　前述した実施形態は、以下のような形態としてもよい。

(1)
　発光素子から射出された光に基づいて情報を表示する、表示面と、
　前記表示面の反対側に配置される、撮像素子と、
　前記撮像素子から出力される信号を処理する、処理回路と、
　を備え、
　前記処理回路は、
　　前記撮像素子に起因しないデータを取得し、
　　取得した前記撮像素子に起因しないデータを用いて、前記撮像素子が受光して出力する画像信号を補正する、
　電子機器。

(2)
　前記撮像素子に起因しないデータは、前記表示面に起因するデータである、
　(1)に記載の電子機器。

(3)
　前記表示面に起因するデータは、前記発光素子から射出された光に起因する、
　(2)に記載の電子機器。

(4)
　前記表示面に起因するデータは、前記表示面における回折若しくは反射、又は、前記発光素子から射出され、直接的に前記撮像素子に到達した光、のうち少なくとも1つに起因する、
　(3)に記載の電子機器。

(5)
　前記表示面に起因するデータは、前記表示面に入射した光に起因する、
　(2)から(4)のいずれかに記載の電子機器。

(6)
　前記表示面に起因するデータは、外部から入射した光の前記表示面におけるフレアに起因する、
　(5)に記載の電子機器。

(7)
　フォーカスを制御する、フォーカスドライバ、
　をさらに備え、
　前記処理回路は、
　　前記フォーカスドライバが取得する情報に基づいて、前記画像信号を補正する、
　(1)から(6)のいずれかに記載の電子機器。

(8)
　前記処理回路は、
　　前記フォーカスドライバが取得する近接フォーカスにおける撮影情報を取得し、
　　前記近接フォーカスにおける撮影情報に基づいて、近接に表示されているものを補正対象として前記画像信号を補正する、
　(7)に記載の電子機器。

(9)
　前記処理回路は、
　　前記近接フォーカスにおける撮影情報に基づいて、外部の被写体にフォーカスが合った前記画像情報を補正する、
　(8)に記載の電子機器。

(10)
　前記処理回路は、
　　前記表示面を介して表示する、表示信号を取得し、
　　前記表示信号に基づいて、前記画像信号を補正する、
　(2)から(9)のいずれかに記載の電子機器。

(11)
　前記処理回路は、
　　前記発光素子の制御をするディスプレイドライバから前記表示信号を取得し、又は、外部から入力される前記表示信号を取得して、前記画像信号を補正する、
　(10)に記載の電子機器。

(12)
　前記処理回路は、
　　前記表示信号の解像度を落とした信号に基づいて前記画像信号を補正する、
　(10)又は(11)に記載の電子機器。

(13)
　ジャイロセンサ、
　をさらに備え、
　前記処理回路は、
　　前記ジャイロセンサが出力するジャイロ信号に基づいて、前記画像信号を補正する、
　(2)から(12)のいずれかに記載の電子機器。

(14)
　前記処理回路は、
　　前記ジャイロ信号に基づいて、手ぶれのない画像を表示信号とし、
　　前記表示信号に基づいて、前記画像信号を補正する、
　(13)に記載の電子機器。

(15)
　前記処理回路は、
　　前記ジャイロ信号に基づいて、外部の被写体と、前記撮像素子との位置関係を推定し、
　　単一フレームにおいて正確な画素値が取得できていない画素を、前記撮像素子が取得したデータの変化から、前記画像信号を補正する、
　(13)又は(14)に記載の電子機器。

(16)
　前記正確な画素値が取得できていない画素は、当該画素において出力する信号が飽和している画素である、
　(15)に記載の電子機器。

(17)
　前記補正処理は、前記画像信号の色に関する補正処理を含む、
　(2)から(16)のいずれかに記載の電子機器。

(18)
　前記色に関する補正処理は、リニアマトリクス適用タイミングにおける補正処理、YUV信号への変換タイミングにおける補正処理、又は、LUTを用いた色変換における補正処理である、
　(17)に記載の電子機器。

(19)
　前記補正処理は、さらに、自動ホワイトバランス制御、自動露出制御、又は、自動フォーカス制御のうち少なくとも1つに係る補正処理を含む、
　(2)から(18)のいずれかに記載の電子機器。

(20)
　前記撮像素子は、
　　前記表示面との位置関係が変化するように配置され、
　前記処理回路は、
　　時系列に沿った前記表示面と前記撮像素子との前記位置関係に基づいて、前記画像信号を補正する、
　(2)から(19)のいずれかに記載の電子機器。

(21)
　前記処理回路は、
　　時間経過に伴う前記画像信号における形状変化を取得し、
　　前記形状変化に基づいて、前記画像情報を補正する、
　(1)から(20)のいずれかに記載の電子機器。

(22)
　前記処理回路は、
　　学習済みモデルを用いて前記画像情報を補正する、
　(1)から(21)のいずれかに記載の電子機器。

(23)
　前記学習済みモデルは、表示信号と、前記画像信号と、を教師データとして学習されたモデルである、
　(22)に記載の電子機器。

　本開示の態様は、前述した実施形態に限定されるものではなく、想到しうる種々の変形も含むものであり、本開示の効果も前述の内容に限定されるものではない。各実施形態における構成要素は、適切に組み合わされて適用されてもよい。すなわち、特許請求の範囲に規定された内容及びその均等物から導き出される本開示の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更及び部分的削除が可能である。

1: 電子機器、
2: 撮像素子、
3: 部品層、
4: ディスプレイ、
5: カバーガラス、
100: 光学系、
102: 受光部、
104: 第 1 処理回路、
106: ディスプレイドライバ、
108: 光学ドライバ、
110: ジャイロセンサ、
112: インタフェース、
114: 第 2 処理回路

Claims

　発光素子から射出された光に基づいて情報を表示する、表示面と、
　前記表示面の反対側に配置される、撮像素子と、
　前記撮像素子から出力される信号を処理する、処理回路と、
　を備え、
　前記処理回路は、
　　前記撮像素子に起因しないデータを取得し、
　　取得した前記撮像素子に起因しないデータを用いて、前記撮像素子が受光して出力する画像信号を補正する、
　電子機器。
　前記撮像素子に起因しないデータは、前記表示面に起因するデータである、
　請求項1に記載の電子機器。
　前記表示面に起因するデータは、前記発光素子から射出された光に起因する、
　請求項2に記載の電子機器。
　前記表示面に起因するデータは、前記表示面における回折若しくは反射、又は、前記発光素子から射出され、直接的に前記撮像素子に到達した光、のうち少なくとも1つに起因する、
　請求項3に記載の電子機器。
　前記表示面に起因するデータは、前記表示面に入射した光に起因する、
　請求項2に記載の電子機器。
　前記表示面に起因するデータは、外部から入射した光の前記表示面におけるフレアに起因する、
　請求項5に記載の電子機器。
　フォーカスを制御する、フォーカスドライバ、
　をさらに備え、
　前記処理回路は、
　　前記フォーカスドライバが取得する情報に基づいて、前記画像信号を補正する、
　請求項1に記載の電子機器。
　前記処理回路は、
　　前記フォーカスドライバが取得する近接フォーカスにおける撮影情報を取得し、
　　前記近接フォーカスにおける撮影情報に基づいて、近接に表示されているものを補正対象として前記画像信号を補正する、
　請求項7に記載の電子機器。
　前記処理回路は、
　　前記表示面を介して表示する、表示信号を取得し、
　　前記表示信号に基づいて、前記画像信号を補正する、
　請求項2に記載の電子機器。
　前記処理回路は、
　　前記発光素子の制御をするディスプレイドライバから前記表示信号を取得し、又は、外部から入力される前記表示信号を取得して、前記画像信号を補正する、
　請求項9に記載の電子機器。
　前記処理回路は、
　　前記表示信号の解像度を落とした信号に基づいて前記画像信号を補正する、
　請求項9に記載の電子機器。
　ジャイロセンサ、
　をさらに備え、
　前記処理回路は、
　　前記ジャイロセンサが出力するジャイロ信号に基づいて、前記画像信号を補正する、
　請求項2に記載の電子機器。
　前記処理回路は、
　　前記ジャイロ信号に基づいて、外部の被写体と、前記撮像素子との位置関係を推定し、
　　単一フレームにおいて正確な画素値が取得できていない画素を、前記撮像素子が取得したデータの変化から、前記画像信号を補正する、
　請求項12に記載の電子機器。
　前記補正は、前記画像信号の色に関する補正処理を含む、
　請求項2に記載の電子機器。
　前記色に関する補正処理は、リニアマトリクス適用タイミングにおける補正処理、YUV信号への変換タイミングにおける補正処理、又は、LUTを用いた色変換における補正処理である、
　請求項14に記載の電子機器。
　前記補正は、さらに、自動ホワイトバランス制御、自動露出制御、又は、自動フォーカス制御のうち少なくとも1つに係る補正処理を含む、
　請求項2に記載の電子機器。
　前記撮像素子は、
　　前記表示面との位置関係が変化するように配置され、
　前記処理回路は、
　　時系列に沿った前記表示面と前記撮像素子との前記位置関係に基づいて、前記画像信号を補正する、
　請求項2に記載の電子機器。
　前記処理回路は、
　　時間経過に伴う前記画像信号における形状変化を取得し、
　　前記形状変化に基づいて、前記画像信号を補正する、
　請求項1に記載の電子機器。
　前記処理回路は、
　　学習済みモデルを用いて前記画像信号を補正する、
　請求項1に記載の電子機器。
　前記学習済みモデルは、表示信号と、前記画像信号と、を教師データとして学習されたモデルである、
　請求項19に記載の電子機器。