WO2020065442A1 - 画像処理方法、プログラム、及び撮像装置 - Google Patents

Abstract

撮像装置の構成を簡略化する。レンズを用いずに撮像可能な撮像装置、または画像処理方法を提供 する。ピントが合っていない画像データを鮮明化する。 複数の画素が配列した画像データの画像処理方法を提供する。隣接する２つの画素を、それぞれ同 じ画素値を示す第１の領域と、それ以外の第２の領域と、に分け、画像データの最も端に位置する 画素の第２の領域に初期値を与え、当該初期値に基づいて、配列する複数の画素の第１の領域及び 第２の領域の画素値を、帰納的に順次決定する。

Description

画像処理方法、プログラム、及び撮像装置

　本発明の一態様は、画像処理、及び画像処理に関するプログラムに関する。本発明の一態様は、撮像装置に関する。

　なお、本発明の一態様は、上記の技術分野に限定されない。本明細書等で開示する本発明の一態様の技術分野としては、半導体装置、表示装置、発光装置、蓄電装置、記憶装置、電子機器、照明装置、入力装置、入出力装置、それらの駆動方法、又はそれらの製造方法、を一例として挙げることができる。半導体装置は、半導体特性を利用することで機能しうる装置全般を指す。

　撮像装置は従来、デジタルカメラなどの機器に搭載されていたが、スマートフォンやタブレット端末などの携帯情報端末の普及によって、性能の向上、小型化、低コスト化が求められている。また、撮像装置は写真や動画を撮影する用途だけでなく、顔認証や指紋認証などの生体認証や、タッチセンサまたはモーションセンサなどの入力デバイスなどに応用されるなど、用途が多様化している。

　また撮像装置の高性能化や多機能化も進んでいる。例えば特許文献１では、酸化物半導体を有するオフ電流が極めて低いトランジスタを画素回路の一部に用い、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）回路が作製可能なシリコンを有するトランジスタを周辺回路に用いる構成の撮像装置が開示されている。

　また、特許文献２では、シリコンを有するトランジスタと、酸化物半導体を有するトランジスタと、結晶性シリコン層を有するフォトダイオードを積層する構成の撮像装置が開示されている。

特開２０１１−１１９７１１号公報 特開２０１３−２４３３５５号公報

　撮像装置は、光電変換素子を備える画素回路がマトリクス状に配置された撮像モジュール（イメージセンサ等ともいう）により、光を電気信号に変換して画像データを生成することができる。その際、被写体を鮮明に撮影するために、レンズなどの光学部材を組み合わせて用いる必要があった。そのため撮像装置のコストの低減や、撮像装置の小型化が困難であるといった課題があった。また、撮像装置の性能は撮像モジュールだけでなく、レンズ等の光学性能にも左右されるため、開発コストが大きくなるといった課題もある。

　本発明の一態様は、撮像装置の構成を簡略化することを課題の一とする。または、レンズを用いずに撮像可能な撮像装置を提供することを課題の一とする。または、レンズを用いずに撮像可能な画像処理方法を提供することを課題の一とする。または、ピントが合っていない画像データを鮮明化することを課題の一とする。または、上記画像処理方法が適用された撮像装置または電子機器を提供することを課題の一とする。

　なお、これらの課題の記載は、他の課題の存在を妨げるものではない。なお、本発明の一態様は、これらの課題の全てを解決する必要はないものとする。なお、これら以外の課題は、明細書、図面、請求項などの記載から抽出することが可能である。

　本発明の一態様は、複数の画素が配列した画像データの画像処理方法であって、隣接する２つの画素を、それぞれ同じ画素値を示す第１の領域と、それ以外の第２の領域と、に分け、画像データの最も端に位置する画素の第２の領域に初期値を与え、当該初期値に基づいて、配列する複数の画素の第１の領域及び第２の領域の画素値を、帰納的に順次決定する、画像処理方法である。

　また、本発明の他の一態様は、複数の画素がマトリクス状に配列した画像データの画像処理方法であって、２×２の画素を、それぞれ隣り合う画素と同じ画素値を示す第１の領域と、それ以外の第２の領域と、に分け、画像データの最も端に位置する２×２の画素のうち、最外周に位置する３つの画素の第２の領域にそれぞれ初期値を与え、当該初期値に基づいて、残りの１つの画素の第１の領域及び第２の領域の画素値を決定し、決定された第１の領域及び第２の領域の画素値に基づいて、配列する複数の画素の第１の領域及び第２の領域の画素値を、帰納的に順次決定する、画像処理方法である。

　また、本発明の他の一態様は、複数の画素が配列した画像データの画像処理方法である。画像データは、最も端に位置し、第１の画素値を有する第１の画素と、第１の画素に隣接し、第２の画素値を有する第２の画素と、を有する。そして、第１の画素を、第３の画素値を有する第１の領域と、第４の画素値を有する第２の領域と、に分け、第２の画素を、第５の画素値を有する第３の領域と、第２の領域と、に分け、第３の画素値に初期値を与えることで、第１の画素値、第２の画素値、及び第３の画素値から、第５の画素値を決定する。

　また、上記において、画像データは、第２の画素に隣接し、第６の画素値を有する第３の画素を有することが好ましい。そして、画像処理方法は、さらに第２の画素を、第７の画素値を有する第４の領域と、第８の画素値を有する第５の領域と、に分け、第３の画素を、第９の画素値を有する第６の領域と、第５の領域と、に分け、第１の画素値、第２の画素値、及び第３の画素値から、第４の画素値を決定し、第２の画素値、第４の画素値、第５の画素値、第６の画素値から、第９の画素値を決定することが好ましい。

　また、本発明の他の一態様は、コンピュータに実行させるためのプログラムであって、複数の画素が配列した画像データを読み出すステップと、隣接する２つの画素を、それぞれ同じ画素値を示す第１の領域と、それ以外の第２の領域と、に分けるステップと、画像データの最も端に位置する画素の第２の領域に初期値を与えるステップと、当該初期値に基づいて、配列する複数の画素の第１の領域及び第２の領域の画素値を、帰納的に順次決定するステップと、を有する。

　また、本発明の他の一態様は、コンピュータに実行させるためのプログラムであって、複数の画素がマトリクス状に配列した画像データを読み出すステップと、２×２の画素を、それぞれ隣り合う画素と同じ画素値を示す第１の領域と、それ以外の第２の領域と、に分けるステップと、画像データの最も端に位置する２×２の画素のうち、最外周に位置する３つの画素の第２の領域にそれぞれ初期値を与えるステップと、初期値に基づいて、残りの１つの画素の第１の領域及び第２の領域の画素値を決定するステップと、決定された第１の領域及び第２の領域の画素値に基づいて、配列する複数の画素の第１の領域及び第２の領域の画素値を、帰納的に順次決定するステップと、を有する。

　また、本発明の他の一態様は、コンピュータに実行させるためのプログラムであって、複数の画素が配列した画像データであって、最も端に位置し、第１の画素値を有する第１の画素と、第１の画素に隣接し、第２の画素値を有する第２の画素と、を有する画像データを読み出すステップと、第１の画素を、第３の画素値を有する第１の領域と、第４の画素値を有する第２の領域と、に分けるステップと、第２の画素を、第５の画素値を有する第３の領域と、第２の領域と、に分けるステップと、第３の画素値に初期値を与えるステップと、第１の画素値、第２の画素値、及び第３の画素値から、第５の画素値を決定するステップと、を有する。

　また、上記プログラムにおいて、画像データは、第２の画素に隣接し、第６の画素値を有する第３の画素を有し、第２の画素を、第７の画素値を有する第４の領域と、第８の画素値を有する第５の領域と、に分けるステップと、第３の画素を、第９の画素値を有する第６の領域と、第５の領域と、に分けるステップと、第１の画素値、第２の画素値、及び第３の画素値から、第４の画素値を決定するステップと、第２の画素値、第４の画素値、第５の画素値、第６の画素値から、第９の画素値を決定するステップと、を有することが好ましい。

　また、本発明の他の一態様は、上記いずれか一のプログラムが格納された記憶部と、当該プログラムを実行する制御部と、画像データを撮像する撮像部と、を有する撮像装置である。また、撮像部は、それぞれ画素に対応する画素値を取得する複数の画素回路を有し、隣接する２つの画素回路は、互いの撮像範囲の一部が重複する。

　本発明の一態様によれば、撮像装置の構成を簡略化することができる。または、レンズを用いずに撮像可能な撮像装置を提供できる。または、レンズを用いずに撮像可能な画像処理方法を提供できる。または、ピントが合っていない画像データを鮮明化することができる。または、上記画像処理方法が適用された撮像装置または電子機器を提供できる。

　なお、これらの効果の記載は、他の効果の存在を妨げるものではない。なお、本発明の一態様は、必ずしも、これらの効果の全てを有する必要はない。なお、これら以外の効果は、明細書、図面、請求項などの記載から抽出することが可能である。

図１Ａは、撮像モジュールの構成例である。図１Ｂ乃至図１Ｄは、画像処理方法を説明する図である。
図２Ａ及び図２Ｂは、画像処理方法を説明する図である。
図３Ａ及び図３Ｂは、画像処理方法を説明する図である。
図４Ａ及び図４Ｂは、画像処理方法を説明する図である。
図５Ａ及び図５Ｂは、撮像モジュールの構成例である。図５Ｃは、画像処理方法を説明する図である。
図６Ａ乃至図６Ｄは、画像処理方法を説明する図である。
図７Ａ乃至図７Ｃは、画像処理方法を説明する図である。
図８Ａ及び図８Ｂは、画像処理方法を説明する図である。
図９は、撮像装置の構成例である。
図１０Ａ乃至図１０Ｄは、表示装置の一例を示す断面図である。図１０Ｅ乃至図１０Ｈは、画素の一例を示す上面図である。
図１１Ａ乃至図１１Ｃは、表示装置の一例を示す断面図である。
図１２Ａ乃至図１２Ｃは、表示装置の一例を示す断面図である。
図１３Ａ乃至図１３Ｃは、表示装置の一例を示す断面図である。
図１４は、表示装置の一例を示す斜視図である。
図１５は、表示装置の一例を示す断面図である。
図１６Ａ及び図１６Ｂは、表示装置の一例を示す断面図である。
図１７Ａ及び図１７Ｂは、表示装置の一例を示す断面図である。
図１８は、表示装置の一例を示す断面図である。
図１９Ａ及び図１９Ｂは、画素回路の一例を示す回路図である。
図２０Ａ及び図２０Ｂは、電子機器の一例を示す図である。
図２１Ａ乃至図２１Ｄは、電子機器の一例を示す図である。
図２２Ａ乃至図２２Ｆは、電子機器の一例を示す図である。
図２３Ａ乃至図２３Ｃは、実施例に係る、画像データである。

　以下、実施の形態について図面を参照しながら説明する。ただし、実施の形態は多くの異なる態様で実施することが可能であり、趣旨及びその範囲から逸脱することなくその形態及び詳細を様々に変更し得ることは当業者であれば容易に理解される。従って、本発明は、以下の実施の形態の記載内容に限定して解釈されるものではない。

　なお、以下に説明する発明の構成において、同一部分又は同様な機能を有する部分には同一の符号を異なる図面間で共通して用い、その繰り返しの説明は省略する。また、同様の機能を指す場合には、ハッチパターンを同じくし、特に符号を付さない場合がある。

　なお、本明細書で説明する各図において、各構成要素の大きさ、層の厚さ、または領域は、明瞭化のために誇張されている場合がある。よって、必ずしもそのスケールに限定されない。

　なお、本明細書等における「第１」、「第２」等の序数詞は、構成要素の混同を避けるために付すものであり、数的に限定するものではない。

（実施の形態１）
　本実施の形態では、本発明の一態様の画像処理方法、プログラム、及び撮像装置について説明する。

　光電変換素子を備える画素回路（以下、撮像素子ともいう）が、マトリクス状に複数配置された撮像モジュールにより被写体を撮像する際、レンズやレンズアレイなどの特別な光学系を用いない場合には、撮像モジュールには様々な方位から光が入射する。そのため、１つの撮像素子あたりの撮像範囲は、光学系を用いた場合に比べて大きく広がることになる。このとき、２つの撮像素子間の距離が短い場合には、これらの撮像範囲がオーバーラップするため、撮像された画像はぼやけが生じてしまう。言い換えると、ピントが合っていない画像となってしまう。

　ここで、撮像モジュールで撮像された画像は画像データとして取り扱うことができる。画像データとしては、多階調のビットマップ画像データ、またはこれに類似した画像形式の画像データであることが好ましい。このような画像データは、色や濃淡、輝度などの情報を含むデータ（以下、画素値と呼ぶ）が割り当てられた画素（ピクセル）の配列情報として取り扱うことができる。例えばフルハイビジョン画質に相当する画像データの場合は、画素数が１９２０×１０８０であり、１つの画素の画素値として、Ｒ、Ｇ、Ｂそれぞれ８ｂｉｔ、合計２４ｂｉｔの階調値が割り当てられたデータとなる。

　上述したように、特別な光学系を用いずに撮像した場合、撮像モジュールの隣接する２つの撮像素子は、被写体のほぼ同じ部分の輝度情報を取得することになる。そのため、１つの撮像素子が取得した画素値には、隣接する他の撮像素子が取得した画素値と重複する情報が含まれることになる。また、撮像モジュールで撮像された画像データにおいて、１つの画素の画素値に含まれる、隣接する他の画素と重複する情報の割合は、撮像モジュールにおける２つの隣接した撮像素子の撮像範囲のオーバーラップした領域の割合に比例する。

　そこで、画像データの隣接する２つの画素に対して、それぞれの画素を、以下に示す第１の領域と、第２の領域と、に分けて取り扱うことに想到した。第１の領域は、隣の画素と重複する情報が含まれる領域に相当し、それぞれ同じ画素値をとる領域である。第２の領域は、それ以外の領域であり、隣接する２つの画素間で、異なる画素値を取りうる領域である。また、１つの画素の画素値は、第１の領域の画素値と、第２の領域の画素値の和に等しい。

　このように、画像データの隣接する２つの画素間で、重複する情報を含み、画像のぼやけの要因となる第１の領域と、それ以外の第２の領域に切り分けて取り扱うことができる。そして、これら２つの領域の画素値を用いて、鮮明な画像データを新たに生成することができる。

　ここでは簡単のため、一方向に配列した一次元の画像データを例に説明する。まず元の画像データにおける２つの隣接する画素を、画素Ａ０、画素Ｂ０とし、補正後の画像データにおける２つの隣接する画素を画素Ａ１、画素Ｂ１とする。

　このとき、補正後の画像データの画素Ａ１及び画素Ｂ１の画素値として、それぞれ第２の領域の画素値を適用することで、ぼやけの要因が排除され、鮮明化した画像とすることができる。

　または、補正後の画像データの画素Ａ１の画素値として、第２の領域の画素値に加えて第１の領域の画素値を足した値を適用することで、画素Ａ１が取りうる画素値の最大値が元の画素Ａ０の画素値から小さくなることを抑制できる。このとき、画素Ｂ１の画素値については、画素Ｂ０と、さらに隣の画素Ｃ０との間で同様に定義される第１の領域と第２の領域の画素値を足し合わせた値を適用することができる。

　上記画像データの各画素における第１の領域と第２の領域の画素値は、帰納的手法により決定することができる。すなわち、画像データの最も端に位置する画素の第２の領域に初期値を与えることにより、帰納的手法により、隣接する画素の第１の領域及び第２の領域の画素値を決定することができる。

　また、上記の手法を二次元に配列した画像データに適用することができる。例えば、元の画像データにおける任意の２×２の画素のうちの１つの画素に着目したとき、横方向に隣接する画素、縦方向に隣接する画素、及び斜め方向に隣接する画素のうちいずれか１つと重複する第１の領域と、いずれにも重複しない第２の領域に分けることができる。

　そして、画像データの最も端に位置する２×２の画素における、最外周に位置する３つの画素に初期値を与えることにより、帰納的手法により、残りの１つの画素の第１の領域及び第２の領域の画素値を決定することができる。これにより、鮮明化した画像データを生成することができる。

　以下では、より具体的な例について、図面を参照して説明する。

［例１］
〔撮像モジュールについて〕
　図１Ａは、撮像モジュールＩＳの概略図を示している。撮像モジュールＩＳは、等間隔に配列した複数の撮像素子Ｐ_ｉ（ｉは０以上の整数）を有する。図１Ａでは、撮像素子Ｐ_０、撮像素子Ｐ_１、撮像素子Ｐ_２、撮像素子Ｐ_３を示している。ここで撮像素子Ｐ_０は、最も端に位置する撮像素子である。各撮像素子は、少なくとも１つの光電変換素子と、当該光電変換素子を制御する画素回路とを有する。

　撮像素子Ｐ_０は、領域Ａ_０から入射される光を受光し、電気信号に変換して出力することができる。すなわち領域Ａ_０は、撮像素子Ｐ_０の撮像範囲に相当する。同様に、領域Ａ_１、Ａ_２、Ａ_３はそれぞれ、撮像素子Ｐ_１、Ｐ_２、Ｐ_３の撮像範囲に相当する。

　また図１Ａでは、撮像面Ｆ_０を破線で示している。撮像面Ｆ_０は、撮像モジュールＩＳの表面と平行で、当該表面から所定の高さに位置する面であるとする。撮像面Ｆ_０は、画像処理を行なう際の仮想的なピント面に相当する面であり、画像処理により、被写体の撮像面Ｆ_０に位置する部分におけるぼやけを低減することができる。撮像面Ｆ_０は、撮像モジュールＩＳの構成や用途に応じて実施者が任意に設定することができる。例えば撮像モジュールＩＳを、光学式のタッチセンサや指紋認証などの用途に用いる場合には、被写体（指等）の接触面が撮像面Ｆ_０に対応する。

　領域Ａ_０と領域Ａ_１とは、撮像面Ｆ_０と交差する部分において、一部が重複（オーバーラップ）している。ここで、撮像面Ｆ_０上における領域Ａ_０と領域Ａ_１とが重複する領域を領域Ｘ_１とする。同様に、領域Ａ_１と領域Ａ_２とが重複する領域を領域Ｘ_２、領域Ａ_２と領域Ａ_３とが重複する領域を領域Ｘ_３とする。領域Ａ_０と領域Ａ_１に着目したとき、撮像面Ｆ_０に位置する領域Ｘ_１は、撮像素子Ｐ_０と撮像素子Ｐ_１の両方に撮像される領域と言うことができる。

〔画像処理の方法例〕
　図１Ｂは、撮像面Ｆ_０上おける、領域Ａ_０、領域Ａ_１、及び領域Ｘ_１を示した図である。また図１Ｂには、他の撮像素子の撮像領域を破線で示している。ここで、領域Ａ_０のうち、領域Ｘ_１以外の部分を領域Ｓ_０とする。同様に、領域Ａ_１のうち、領域Ｘ_１以外の部分を領域Ｓ_１とする。

　撮像素子Ｐ_０が受光する全光量に対応した画素値、すなわち領域Ａ_０から入射する光量に対応した画素値をＶ_Ａ０とする。また、領域Ｘ_１から撮像素子Ｐ_０に入射する光に対応した画素値をＶ_Ｘ１とし、領域Ｓ_０から撮像素子Ｐ_０に入射する光に対応した画素値をＶ_Ｓ０とする。また、領域Ａ_１から撮像素子Ｐ_１に入射する全光量に対応した画素値をＶ_Ａ１、領域Ｓ_１から撮像素子Ｐ_１に入射する光に対応した画素値をＶ_Ｓ１とする。また、領域Ｘ_１から撮像素子Ｐ_１に入射した光に対応する画素値は、上記Ｖ_Ｘ１と一致するとする。これらの関係から、Ｖ_Ａ０とＶ_Ａ１はそれぞれ下記数式（１）を満たす。

　ここで最も端に位置する領域Ａ_０のうち、領域Ａ_１と重複していない領域Ｓ_０から撮像素子Ｐ_０に入射する光は、ある既知の値であるとする。すなわち、領域Ｓ_０に対応する画素値Ｖ_Ｓ０は、既知の値として取り扱うことができる。

　例えば上述した光学式のタッチセンサや、指紋認証に応用する場合、指などの被検知体からの反射光を撮像することになるため、多くの場合、撮像される指先の外側は、黒色または単色の背景色とされる。したがって、正常に被検知体が撮像された場合には、最も端に位置する撮像素子は、常に背景色が撮像されることになるため、これを既知の値として用いることができる。これに限られず、定点カメラや各種光学センサなど、常に同じような条件で撮像される用途である場合には、撮像された画像データの最も端に位置する画素は常に同じ画素値を取りうるため、これを既知の値として用いることができる。また、常に異なる条件で撮像される用途である場合には、最も端に位置する撮像素子の撮像領域上に、黒色などの単色のフィルタなどを配置することで、最も端に位置する画素の画素値が既知の値となる条件を意図的に作り出すことができる。

　このように、Ｖ_Ｓ０に初期値として既知の値が与えられ、さらにＶ_Ａ０、Ｖ_Ａ１は元の画像データの画素値であるため、上記数式（１）を変形することで、Ｖ_Ｓ１及びＶ_Ｘ１を決定することができる（下記数式（２）参照）。

　続いて図１Ｃに、領域Ａ_１、領域Ａ_２、及び領域Ｘ_２を示す。領域Ａ_１のうち、領域Ｘ_２以外の部分を領域Ｓ_１ａとする。また領域Ａ_２のうち、領域Ｘ_２以外の部分を領域Ｓ_２とする。また図１Ｃでは、上記領域Ｓ_１を破線で示している。このとき、上記と同様にＶ_Ａ１とＶ_Ａ２は、それぞれ下記数式（３）を満たす。

　ここで、図１Ｃ中の領域Ｓ_１’は、領域Ａ_１から領域Ｘ_１と領域Ｘ_２を差し引いた領域に相当する。また当該領域Ｓ_１’は、領域Ｓ_１の一部でもある。領域Ｓ_１の幅は、撮像モジュールＩＳの最大分解能（すなわち、撮像素子の配列ピッチ）と等しいことから、領域Ｓ_１内に輝度の分布があったとしても、これを判別することはできない。そのため、領域Ｓ_１内では輝度分布を均一なものとみなすことができる。したがって、領域Ｓ_１’の画素値Ｖ_Ｓ１’は、領域Ｓ_１の画素値Ｖ_Ｓ１に、面積比を掛けた値とみなすことができる。

　図１Ｃに示すように、領域Ｓ_１’の幅をａ、領域Ｘ_１及び領域Ｘ_２の幅をｂ（ａ、ｂはそれぞれ、ａ＋ｂ＝１、ａ＞０、ｂ＞０を満たす値）としたとき、領域Ｓ_１’の画素値Ｖ_Ｓ１’は、画素値Ｖ_Ｓ１をａ倍した値（ａ×Ｖ_Ｓ１）となる。なおａ、ｂの値は、撮像モジュールＩＳの構成、及び撮像面Ｆ_０の位置から決まる値であり、既知の値である。したがって、領域Ｓ_１ａの画素値Ｖ_Ｓ１ａは、数式（４）となる。

　これを数式（３）に代入することで、領域Ｓ_２の画素値Ｖ_Ｓ２と、領域Ｘ_２の画素値Ｖ_Ｘ２は、下記数式（５）のように決定することができる。

　続いて図１Ｄに、領域Ａ_２、領域Ａ_３、及び領域Ｘ_３を示している。ここで示す領域Ｓ_３の画素値Ｖ_Ｓ３と、領域Ｘ_３の画素値Ｖ_Ｘ３は、上記と同様の方法で決定することができ、数式（６）で表される値となる。

　すなわち、一般式で示すと数式（７）のようになる。

　上記数式（７）において、ｎ＋１個の画素が配列した画像データのとき、ｊは０以上ｎ以下の整数である。上記数式（７）で示すように、領域Ｓ_０の画素値Ｖ_Ｓ０に初期値として既知の値を与えることで、帰納的に全ての画素について、重複した領域の画素値と、それ以外の領域の画素値を、それぞれ決定することができる。

〔補正された画像データについて〕
　上記のように算出された画素値を用いて、ぼやけが低減され、鮮明化された新たな画像データを生成することができる。

　図２Ａは、撮像モジュールＩＳの撮像範囲と、画像補正された画像データＤ_１の関係を模式的に示した図である。

　新たに生成された画像データＤ_１は、上記で算出された領域Ｓ_１乃至領域Ｓ_ｎまでのｎ個の領域に対応した画像データとなる。より具体的には画素値Ｖ_Ｓ１乃至画素値Ｖ_Ｓｎのｎ個の画素値を含む画像データとすることができる。

　図２Ａに示すように、撮像素子Ｐ_１で受光した全光量のうち、領域Ｘ_１から受光した光量を除いた光量に対応する画素値が、新たな画像データＤ_１の最も端に位置する画素の画素値（すなわち画素値Ｖ_Ｓ１）に対応する。またその隣の画素の画素値は、撮像素子Ｐ_２で受光した全光量のうち、領域Ｘ_２から受光した光量を除いた光量に対応した画素値Ｖ_Ｓ２となる。このように、重複する領域からの情報を、一方の画素に割り当て、他方の画素から除くことにより、２つの画素間で重複した情報が含まれない画像データを生成することができる。その結果、ぼやけが低減し、より鮮明な画像データを生成することができる。

　なお、図２Ｂに示すように、上記で算出した領域Ｓ_１ａ乃至領域Ｓ_ｎａまでのｎ個の領域に対応した画像データとしてもよい。すなわち、画素値Ｖ_Ｓ１ａ乃至画素値Ｖ_Ｓｎａのｎ個の画素値を含むデータとすることもできる。

〔変形例１〕
　上記では、ある１つの撮像素子に注目したとき、その撮像範囲が隣の撮像素子のみと重複する場合を説明したが、撮像面Ｆ_０の位置や撮像モジュールＩＳの構成によっては、１つの撮像素子の撮像範囲が、２つ以上隣の撮像素子と重複する場合がある。

　図３Ａは、１つの撮像素子の撮像範囲が、２つ隣の撮像素子と重複する場合の概略図を示している。図３Ａの上側には、撮像モジュールＩＳと、各撮像素子の撮像範囲を模式的に示している。また図３Ａの下側には、隣接する２つの撮像素子毎に、撮像範囲を模式的に示している。なおここでは各領域において、縦方向の縮尺が横方向に対して小さくなるように示している。

　まず、図３Ａに示す領域Ｓ_１の画素値Ｖ_Ｓ１と、領域Ｘ_１の画素値Ｖ_Ｘ１は、領域Ｓ_０の画素値Ｖ_Ｓ０が初期値として与えられることで、上記の方法により決定することができる。しかし、次の２つの撮像素子（撮像素子Ｐ_１及びＰ_２）に着目したとき、領域Ｓ_１ａと、上記で画素値が決定された領域Ｓ_１とが重複しないため、領域Ｓ_１ａの画素値を決定することができない。

　そこで、領域Ｓ_０に加えて、領域Ｓ_１ａについても、既知の情報として初期値を与える。すなわち、領域Ｓ_１ａの画素値Ｖ_Ｓ１ａも、既知の値とする。これにより、領域Ｓ_２の画素値Ｖ_Ｓ２と、領域Ｘ_２の画素値Ｖ_Ｘ２とが決定する。

　続いて、次の２つの撮像素子（撮像素子Ｐ_２及びＰ_３）における領域Ｓ_２ａ、領域Ｘ_３、及び領域Ｓ_３について考えると、領域Ｓ_２ａの画素値が与えられれば、領域Ｓ_３及び領域Ｘ_３の画素値を決定できることになる。

　領域Ｓ_２ａは、領域Ｘ_１、領域Ｓ_１ａ、及び領域Ｓ_１を用いて表現することができる。図３Ｂには、領域Ｓ_２ａ、領域Ｘ_１、領域Ｓ_１ａ、及び領域Ｓ_１の関係を模式的に示している。図３Ｂに示すように、領域Ｓ_２ａは、領域Ｘ_１から領域Ｓ_１ａを差し引いた残りの領域（領域Ｘ_１−Ｓ_１ａ）と、領域Ｓ_１をａ倍（ａは０＜ａ＜１を満たす実数）した領域（領域ａＳ_１）と、を足した領域に等しい。そして、領域Ｓ_２ａの画素値Ｖ_Ｓ２ａは、同様に、領域Ｘ_１、領域Ｓ_１ａ、及び領域Ｓ_１のそれぞれの画素値を用いて決定することができる。

　このようにして決定された領域Ｓ_２ａの画素値を用いて、図３Ａに示す領域Ｓ_３及び領域Ｘ_３のそれぞれの画素値を決定することができる。

　また、次の２つの撮像素子（撮像素子Ｐ_３及びＰ_４）における領域Ｓ_３ａ、領域Ｘ_４、及び領域Ｓ_４についても、同様にして決定することができる。

　このように、１つの撮像素子の撮像範囲が２つ隣の撮像素子の撮像範囲と重複する場合には、最も端に位置する２つの画素に初期値として既知の値を与えることで、帰納的に全ての画素について、重複した領域の画素値と、それ以外の領域の画素値を、それぞれ決定することができる。

　また、ここでは示さないが、１つの撮像素子の撮像範囲が３つ以上隣の撮像素子の撮像範囲と重複する場合であっても、同様の方法で画像補正を行うことができる。すなわち、１つの撮像素子の撮像範囲が、ｑ個（ｑは１以上の整数）隣の撮像素子の撮像範囲と重複する場合には、画像データの最も端に位置するｑ個の画素に初期値として既知の値を与えることで、帰納的に全ての画素について、重複した領域の画素値と、それ以外の領域の画素値を、それぞれ決定することができる。

〔変形例２〕
　特に、撮像素子の撮像範囲の幅が、撮像素子の配列ピッチの整数倍のとき、特に簡単に画素値を決定することができる。

　図４Ａは、１つの撮像素子の撮像範囲の幅が、撮像素子の配列ピッチの２倍である場合を示している。このとき、２つの撮像領域に着目したとき、これらが重複する領域（領域Ｘ_１等）の幅と、重複しない領域（領域Ｓ_０、領域Ｓ_１など）の幅は等しくなる。

　このとき、図４Ａに示すように、領域Ａ_１における領域Ｓ_１と、領域Ａ_２における領域Ｓ_２ａとは、同じ範囲に相当する。したがって、領域Ｓ_２ａの画素値Ｖ_Ｓ２ａは、領域Ｓ_１の画素値Ｖ_Ｓ１と等しくなる。そのため、領域Ｓ_０の画素値に初期値を与えて領域Ｓ_１の画素値Ｖ_Ｓ１を求めることで、当該画素値Ｖ_Ｓ１を用いて領域Ｓ_３の画素値Ｖ_Ｓ３を決定することができる。

　同様に、領域Ａ_２における領域Ｓ_２と、領域Ａ_３における領域Ｓ_３ａとは、同じ画素値となるため、領域Ｓ_１ａの画素値に初期値を与えることで、領域Ｓ_２の画素値が決定し、続いて領域Ｓ_４の画素値を決定することができる。

　すなわち、１つの撮像素子の撮像範囲の幅が、撮像素子の配列ピッチの２倍であるとき、ある領域Ａ_ｉの領域Ｓ_ｉの画素値が決まると、その２つ隣の領域Ａ_ｉ＋２の領域Ｓ_ｉ＋２の画素値を帰納的に決定することができる。

　また図４Ｂには、１つの撮像素子の撮像範囲の幅が、撮像素子の配列ピッチの３倍である場合を示している。

　このとき、領域Ａ_１における領域Ｓ_１と、領域Ａ_３における領域Ｓ_３ａとは、同じ範囲に相当し、これらの画素値は等しくなる。したがって、領域Ｓ_０の画素値に初期値を与えて領域Ｓ_１の画素値Ｖ_Ｓ１を求めることで、当該画素値Ｖ_Ｓ１を用いて領域Ｓ_４の画素値Ｖ_Ｓ４を求めることができる。

　すなわち、１つの撮像素子の撮像範囲の幅が、撮像素子の配列ピッチの３倍であるとき、ある領域Ａ_ｉの領域Ｓ_ｉの画素値が決まると、その３つ隣の領域Ａ_ｉ＋３の領域Ｓ_ｉ＋３の画素値を帰納的に決定することができる。

　一般化すると、１つの撮像素子の撮像範囲の幅が、撮像素子の配列ピッチのｚ倍（ｚは１以上の整数）であるとき、ある領域Ａ_ｉの領域Ｓ_ｉの画素値が決まると、そのｚ個隣の領域Ａ_ｉ＋ｚの領域Ｓ_ｉ＋ｚの画素値を帰納的に決定することができる。

　このように、１つの撮像素子の撮像範囲の幅が、撮像素子の配列ピッチの整数倍であるとき、２つの撮像素子間で撮像範囲が重複した領域（例えばＸ_１など）の画素値を求める必要がないため、上記例１や変形例１と比較して、計算量を大幅に削減することができる。

［例２］
　上記例１では、一次元に配列した画素を有する画像データについて説明したが、以下ではこれを二次元のデータ配列を有する画像データに適用した場合の例を説明する。なお、前提条件や算出方法など、上記例１と重複する部分についてはこれを援用し、説明を省略する場合がある。

〔撮像モジュールの例〕
　図５Ａに、撮像モジュールＩＳの斜視概略図を示す。撮像モジュールＩＳは、複数の撮像素子Ｐ_ｉｊ（ｉ、ｊはそれぞれ独立に０以上の整数）が、Ｘ方向及びＹ方向にマトリクス状に配置されている。撮像素子Ｐ_００は、撮像モジュールＩＳの表示領域の最も端（角部）に位置する撮像素子である。また、撮像素子Ｐ_０ｊ、及び撮像素子Ｐ_ｉ０は、それぞれ表示領域の最も外周部に位置する撮像素子である。

　図５Ｂには、隣接する３つの撮像素子Ｐを撮像面側から見たときの概略図を示している。撮像素子Ｐは、ピッチＷ_Ｐで周期的に配置されている。また、所定の撮像面上において、撮像素子Ｐの撮像領域を領域Ａとしたとき、領域Ａの幅をＷ_Ａとする。

　図５Ａには、撮像素子Ｐ_００、撮像素子Ｐ_０１、撮像素子Ｐ_１０、及び撮像素子Ｐ_１１の、それぞれの撮像領域である、領域Ａ_００、領域Ａ_０１、領域Ａ_１０、及び領域Ａ_１１を模式的に示している。

〔画像処理の方法例〕
　図５Ｃに、撮像面上における領域Ａ_００、領域Ａ_０１、領域Ａ_１０、及び領域Ａ_１１を示した図である。ここで、４つの領域が重複する部分を領域Ｙ_１１とする。また、隣接する２つの領域が重複する部分であって、且つ領域Ｙ_１１以外の部分を、それぞれ領域Ｘ_１１ａ、領域Ｘ_１１ｂ、領域Ｘ_１１ｃ、領域Ｘ_１１ｄとする。また、領域Ａ_００、領域Ａ_０１、領域Ａ_１０、及び領域Ａ_１１のうち、いずれの領域とも重複しない部分を、それぞれ領域Ｓ_００、領域Ｓ_０１、領域Ｓ_１０、領域Ｓ_１１とする。これらの関係から、各領域における画素値は、下記数式（８）を満たす。

　画素値Ｖ_Ａ００乃至画素値Ｖ_Ａ１１は、それぞれ元の画像データに含まれる値である。また領域Ｓ_００、の画素値Ｖ_Ｓ００、領域Ｓ_０１の画素値Ｖ_Ｓ０１、及び領域Ｓ_１０の画素値Ｖ_Ｓ１０が、それぞれ既知であるとし、初期値として与えられる。

　領域Ｘ_１１ａは、領域Ｓ_００と領域Ｓ_１０の間に挟まれた領域であること、及び領域Ｘ_１１ａは撮像モジュールＩＳの最大分解能（すなわち撮像素子の配列ピッチ）よりも小さい領域であることから、領域Ｘ_１１ａの画素値Ｖ_Ｘ１１ａは、画素値Ｖ_Ｓ００と画素値Ｖ_Ｓ１０の中間の値とみなすことができる。特に、画素値Ｖ_Ｓ００と画素値Ｖ_Ｓ１０が同じ値であるとき、画素値Ｖ_Ｘ１１ａもこれらと同じ値を取る。同様に、領域Ｘ_１１ｂの画素値Ｖ_Ｘ１１ｂも、既知の値とみなすことができる。

　すなわち、数式（８）において、未知の値は、画素値Ｖ_Ｓ１１、画素値Ｖ_Ｘ１１ｃ、画素値Ｖ_Ｘ１１ｄ、及び画素値Ｖ_Ｙ１１の４つとなる。したがって、数式（８）における４つの式の連立方程式を解くことで、これら４つの値を決定することができる（数式（９）参照）。

　ここで、２×２の４つの画素は、それぞれ図６Ａ乃至図６Ｄに示す４つのパターンに分類することができる。

　図６Ａに示す領域Ａは、図５Ｃ中の領域Ａ_１１に対応し、領域Ａ内の右下に領域Ｓ、左上に領域Ｙ、領域Ｓの上に領域Ｘ_１、領域Ｓの左に領域Ｘ_２が、それぞれ配置されている。ここで、例１と同様に、領域Ａの幅Ｗ_Ａに対する領域Ｓの幅の割合をａ、領域Ｘ_１及び領域Ｘ_２の幅をｂ（ａ、ｂはそれぞれａ＋ｂ＝１、ａ＞０、ｂ＞０、且つａ＞ｂを満たす値）とする。

　なお、ａがｂ以下、すなわち領域Ｘ_１及び領域Ｘ_２の幅が領域Ｓの幅よりも大きい場合は、上記変形例１を援用することができる。すなわち、１つの撮像素子の撮像範囲が、ｒ個（ｒは２以上の整数）隣の撮像素子の撮像範囲と重複する場合に相当し、このとき隣接するｒ×ｒの画素のうち、４隅に位置する画素に着目して、画素値を決定すればよい。

　図６Ｂに示す領域Ａは、図５Ｃ中の領域Ａ_０１に対応し、領域Ａ内の左下に領域Ｓ_ａを有する。図６Ｃに示す領域Ａは、図５Ｃ中の領域Ａ_１０に対応し、領域Ａ内の右上に領域Ｓ_ｂを有する。図６Ｄに示す領域Ａは、図５Ｃ中の領域Ａ_００に対応し、領域Ａ内の左上に領域Ｓ_ｃを有する。

　領域Ａの４つのパターンのうちの１つについて、各領域の階調値が決まると、他のパターンにおける領域Ｓ、領域Ｘ_１、領域Ｘ_２、及び領域Ｙのそれぞれの画素値を帰納的に決定することができる。

　例えば図６Ａにおける領域Ｓ、領域Ｘ_１、領域Ｘ_２、及び領域Ｙのそれぞれの画素値Ｖ_Ｓ、画素値Ｖ_Ｘ１、画素値Ｖ_Ｘ２、及び画素値Ｖ_Ｙと、ａ及びｂを用いて、領域Ｓ_ａ、領域Ｓ_ｂ、及び領域Ｓ_ｃのそれぞれの画素値Ｖ_Ｓａ、画素値Ｖ_Ｓｂ、及び画素値Ｖ_Ｓｃは、数式（１０）のようになる。

　図６Ａにおける領域Ｓ、領域Ｘ_１、領域Ｘ_２、及び領域Ｙは、それぞれ輝度分布が均一なものとみなすことができる。したがって、例えば図６Ｂに示す領域Ｘ_１ａの画素値は、領域Ｘ_１の画素値を（ａ−ｂ）／ａ倍した値と、領域Ｙの画素値と、を足した値に等しいとみなすことができる。また領域Ｙ_ａの画素値は、領域Ｘ_１の画素値をｂ／ａ倍した値に等しいとみなすことができる。さらに領域Ｘ_２ａの画素値は、領域Ｓの画素値をｂ／ａ倍した値に等しいとみなすことができる。以下、同様にして、図６Ｃにおける領域Ｘ_１ｂ、領域Ｘ_２ｂ、及び領域Ｙ_ｂ、並びに図６Ｄにおける領域Ｘ_１ｃ、領域Ｘ_２ｃ、及び領域Ｙ_ｃのそれぞれの画素値を決定することができる。

　以上のことを踏まえ、図５Ｃから一画素分ずらした４つの画素について考える。図７Ａは、Ｘ方向に１画素分ずれた４つの画素について示している。図７Ａでは、領域Ａ_１０、領域Ａ_２０、領域Ａ_１１、及び領域Ａ_２１を実線で図示している。ここで、領域Ａ_２０は、領域Ａ_１０と同様に、表示領域の上端に位置する画素の領域であるため、図７Ａにおける領域Ｓ_２０ｂ及び領域Ｘ_２１ａの画素値は、既知の値として取り扱うことができる。

　図７Ａにおいて、領域Ａ_１０は、領域Ｓ_１０ｃ、領域Ｘ_２１ａ、領域Ｘ_２１ｂ、及び領域Ｙ_２１に分けられる。領域Ｓ_１０ｃ、及び領域Ｘ_２１ｂのそれぞれの画素値は、上述の方法により、領域Ｓ_１０、領域Ｘ_１１ａ、領域Ｘ_１１ｃ、及び領域Ｙ_１１のそれぞれの画素値の値より決定することができる。なお、領域Ｘ_２１ａの画素値についても同様に決定することができるが、ここでは上述した既知の値を用いることで、誤差を小さく抑えることができる。

　また、領域Ｘ_２１ａ、及び領域Ｘ_２１ｂの画素値は、領域Ａ_１１または領域Ａ_２０内の各領域の画素値を用いて決定することもできるが、２×２の４つの画素のうち、表示領域の最も端に位置する画素の領域Ａ_００に近い画素の領域（ここでは領域Ａ_１０）の画素値を用いて決定することで、誤差を小さく抑えることができる。

　このように、図７Ａにおいて、領域Ｓ_１０ｃ、領域Ｓ_２０ｂ、領域Ｓ_１１ａ、領域Ｘ_２１ａ、領域Ｘ_２１ｂのそれぞれの画素値が決まる。そして、これらの画素値を用いて、上述の方法により、領域Ａ_２１内の領域Ｓ_２１、領域Ｘ_２１ｃ、領域Ｘ_２１ｄ、及び領域Ｙ_２１のそれぞれの画素値を決定することができる。

　図７Ｂは、図５ＣからＹ方向に１画素分ずれた４つの画素について示している。図７Ｂでは、領域Ａ_０１、領域Ａ_１１、領域Ａ_０２、及び領域Ａ_１２を実線で図示している。領域Ａ_０２は、領域Ａ_０１と同様に、表示領域の左端に位置する画素の領域であるため、図７Ｂにおける領域Ｓ_０２ａと領域Ｘ_１２ｂの画素値は、既知の値として取り扱うことができる。

　そして上述の方法により、領域Ａ_１２内の領域Ｓ_１２、領域Ｘ_１２ｃ、領域Ｘ_１２ｄ、及び領域Ｙ_１２の、それぞれの画素値を決定することができる。

　最後に、図７Ｃには、図５ＣからＸ方向に１画素分、及びＹ方向に１画素分ずれた４つの画素について示している。図７Ｃでは、領域Ａ_１１、領域Ａ_２１、域Ａ_１２、及び領域Ａ_２２を実線で図示している。

　領域Ｓ_１１ｃ、領域Ｓ_２１ｂ、領域Ｓ_１２ａの、それぞれの画素値については、これまでに決定された領域Ａ_１１、領域Ａ_２１、及び領域Ａ_１２が有するそれぞれの領域の画素値を用いて決定された値を用いることができる。また、領域Ｘ_２２ａ及び領域Ｘ_２２ｂのそれぞれの画素値については、領域Ａ_１１の各領域の画素値から決定することができる。これらの画素値を用いて、領域Ａ_２２内の領域Ｓ_２２、領域Ｘ_２２ｃ、領域Ｘ_２２ｄ、及び領域Ｙ_２２のそれぞれの画素値を決定することができる。

　以上のようにして、表示領域の最外周に位置する画素の画素値を初期値として与えることで、帰納的に全ての画素について、領域Ｓ_ｉｊの値を決定することができる。

　なお、二次元の画像データにおいても、上記例１の変形例２と同様に、撮像素子の撮像範囲の幅が撮像素子の配列ピッチの整数倍であるとき、特に簡単に画素値を決定することができる。より具体的には、１つの撮像素子の撮像範囲の幅が、撮像素子の配列ピッチの整数倍であるとき、２つの撮像素子間で撮像範囲が重複した領域（例えば領域Ｘ_１１ａ、領域Ｙ_１１など）の画素値を求める必要がないため、上記と比較して、計算量を大幅に削減することができる。

〔補正された画像データについて〕
　上記のように算出された画素値を用いて、ぼやけが低減され、鮮明化された新たな画像データを生成することができる。

　図８Ａは、画像補正前の元の画像データＤ_０の概略図を示している。画像データＤ_０は、（ｍ＋１）×（ｎ＋１）の画素に対応する画素値Ｖ_Ａｉｊ（ｉは０以上ｍ以下の整数、ｊは０以上ｎ以下の整数）を有する。それぞれの画素は、隣接する画素間で重複する情報を含む画素値Ｖ_Ａｉｊを含んでいるため、画像データＤ_０は、ぼやけた画像データとなっている。

　図８Ｂは、画像補正後の画像データＤ_１の概略図である。画像データＤ_１は、ｍ×ｎ個の画素に対応する画素値Ｖ_Ｓｉｊ（ｉは１以上ｍ以下の整数、ｊは１以上ｎ以下の整数）の情報を含んでいる。なお、既知情報として用いた画素値Ｖ_Ｓ００、画素値Ｖ_Ｓｉ０、及び画素値Ｖ_Ｓ０ｊを、画像データＤ_１に含め、元の画像データＤ_０と同じ画素数の画像データとしてもよい。

［撮像装置の構成例］
　以下では、本発明の一態様の画像補正を実行可能な撮像装置について説明する。

　図９に、撮像装置８００のブロック図を示す。撮像装置８００は、少なくとも撮像部８０１、制御部８０２、及び記憶部８０３を有する。記憶部８０３は、プログラム８０４が格納されている。また、撮像装置８００は、出力部８０５を有していてもよい。

　撮像部８０１は、画像データを取得する（撮像するともいう）機能を有する。例えば上記撮像モジュールＩＳが、撮像部８０１に相当する。撮像部８０１としては、光電変換素子を有する撮像素子がマトリクス状に配置された半導体装置を用いることができる。

　撮像部８０１のより具体的な例としては、例えばイメージセンサＩＣや、光学式のタッチパッド、またはイメージセンサを備える表示パネルなどを適用することができる。または、光学式のタッチセンサを備える表示パネルであってもよい。また、撮像素子としては、可視光だけでなく、赤外線、近赤外線、紫外線、近紫外線、Ｘ線、ガンマ線など、様々な波長（エネルギー）の光のうち、１以上の光を検出可能な撮像素子を適用することができる。また撮像部８０１は、異なる波長の光を検出可能な２種類以上の撮像素子を有する構成としてもよい。

　記憶部８０３は、少なくともプログラム８０４を格納する機能を有する。記憶部８０３は、制御部８０２からの要求に応じて、格納されたデータを制御部８０２に出力する、またはデータを格納することができる。記憶部８０３に格納されたプログラム８０４は、制御部８０２により読み出され、実行される。

　記憶部８０３としては、例えば、フラッシュメモリ、ＭＲＡＭ（Ｍａｇｎｅｔｏｒｅｓｉｓｔｉｖｅ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＰＲＡＭ（Ｐｈａｓｅ　ｃｈａｎｇｅ　ＲＡＭ）、ＲｅＲＡＭ（Ｒｅｓｉｓｔｉｖｅ　ＲＡＭ）、ＦｅＲＡＭ（Ｆｅｒｒｏｅｌｅｃｔｒｉｃ　ＲＡＭ）などの不揮発性の記憶素子が適用された記憶装置、またはＤＲＡＭ（Ｄｙｎａｍｉｃ　ＲＡＭ）やＳＲＡＭ（Ｓｔａｔｉｃ　ＲＡＭ）などの揮発性の記憶素子が適用された記憶装置等を用いてもよい。また例えばハードディスクドライブ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ：ＨＤＤ）やソリッドステートドライブ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ：ＳＳＤ）などの記録メディアドライブを用いてもよい。

　また、外部インターフェースを介してコネクタにより脱着可能なＨＤＤまたはＳＳＤなどの記憶装置や、フラッシュメモリ、ブルーレイディスク（登録商標）、ＤＶＤなどの記録媒体のメディアドライブを記憶部８０３として用いることもできる。なお、記憶部８０３を撮像装置８００に内蔵せず、外部に置かれる記憶装置を記憶部８０３として用いてもよい。その場合、外部インターフェースを介して接続される、または通信モジュールによって無線通信でデータのやりとりをする構成であってもよい。

　また、プログラム８０４は、外部のサーバに格納されていてもよい。このとき、ユーザが当該サーバにアクセスすることにより、プログラム８０４の一部または全部を記憶部８０３に一時的、永続的、または半永続的（利用可能な期間や回数が設定される場合など）に格納し、制御部８０２が実行する構成としてもよい。

　制御部８０２は、撮像部８０１、記憶部８０３、及び出力部８０５などの各コンポーネントを統括的に制御する機能を有する。

　制御部８０２は、プロセッサにより種々のプログラムからの命令を解釈し実行することで、各種のデータ処理やプログラム制御を行う。プロセッサにより実行しうるプログラムは、記憶部８０３から読み出され、プロセッサが有するメモリ領域に一時的に格納され、実行される。

　制御部８０２としては、中央演算装置（ＣＰＵ：Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）のほか、ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）等の他のマイクロプロセッサを単独で、または組み合わせて用いることができる。またこれらマイクロプロセッサをＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）やＦＰＡＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ａｎａｌｏｇ　Ａｒｒａｙ）といったＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ）によって実現した構成としてもよい。

　また出力部８０５は、外部にデータを出力する機能を有する。例えば、出力部８０５により、撮像装置８００と、外部機器とをケーブルを介して接続することができる。または、出力部８０５としては、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）接続用端子、ＡＣアダプタを接続する端子等を有していてもよい。また、出力部８０５には、有線だけでなく、赤外線、可視光、紫外線などを用いた光通信用の送受信機を設ける構成としてもよい。

　続いて、撮像装置８００の動作の一例について説明する。

　まず、制御部８０２は、まず撮像部８０１に対して撮像動作を実行するように要求し、これに応じて撮像部８０１が撮像し、画像データＤ_０として、制御部８０２に出力する（制御部８０２が撮像部８０１から画像データＤ_０を読み出すとも言える）。制御部８０２は、画像データＤ_０を一旦記憶部８０３に格納してもよいし、制御部８０２内に画像データＤ_０が保持されていてもよい。

　撮像部８０１は、上述のように、互いの撮像範囲の一部が重複した複数の撮像素子を有するため、画像データＤ_０は、ぼやけを含む画像データである。

　制御部８０２は、記憶部８０３からプログラム８０４を読み出し、これを実行することにより、画像データＤ_０から、新たに画像データＤ_１を生成する。プログラム８０４の実行中に、制御部８０２が記憶部８０３から画像データＤ_０を読み出す場合がある。

　また制御部８０２は、生成した画像データＤ_１を、出力部８０５に出力してもよい。または、制御部８０２は、生成した画像データＤ_１を、記憶部８０３に格納してもよい。

　なお、制御部８０２がプログラム８０４を読み出した後に、制御部８０２が撮像部８０１から画像データＤ_０を受け取ってもよい。このとき、制御部８０２は、画像データＤ_０を一時的に記憶部８０３に格納することなく、画像データＤ_１を生成してもよい。

　プログラム８０４は、制御部８０２に、上記で説明した画像処理を実行するためのプログラムを含む。

　例えば、プログラム８０４は、複数の画素が配列した画像データＤ_０を読み出すステップと、隣接する２つの画素を、それぞれ同じ画素値を示す第１の領域と、それ以外の第２の領域と、に分けるステップと、画像データＤ_０の最も端に位置する画素の第２の領域に初期値を与えるステップと、当該初期値に基づいて、配列する複数の画素の第１の領域及び第２の領域の画素値を、帰納的に順次決定するステップと、を含む。

　また例えば、プログラム８０４は、複数の画素がマトリクス状に配列した画像データＤ_０を読み出すステップと、２×２の画素を、それぞれ隣り合う画素と同じ階調値（画素値）を示す第１の領域と、それ以外の第２の領域と、に分けるステップと、画像データＤ_０の最も端に位置する２×２の画素のうち、最外周に位置する３つの画素の第２の領域にそれぞれ初期値を与えるステップと、初期値に基づいて、残りの１つの画素の第１の領域及び第２の領域の画素値を決定するステップと、決定された第１の領域及び第２の領域の画素値に基づいて、配列する複数の画素の第１の領域及び第２の領域の画素値を、帰納的に順次決定するステップと、を含む。

　このような撮像装置８００は、ぼやけた画像データであっても、これを鮮明化して出力することができる。そのため、撮像部８０１にピント調節機構や、特別な光学系を用いない構成とすることができる。したがって、装置構成が簡略化され、低コストで製造可能な撮像装置とすることができる。

　本実施の形態で例示した構成例、及びそれらに対応する図面等は、少なくともその一部を他の構成例、または図面等と適宜組み合わせて実施することができる。

　本実施の形態は、少なくともその一部を本明細書中に記載する他の実施の形態と適宜組み合わせて実施することができる。

（実施の形態２）
　本実施の形態では、本発明の一態様の表示装置について図１０~図１８を用いて説明する。

　以下で例示する表示装置は、画像を表示する機能と、画像を撮像する機能と、を有する装置である。以下で例示する表示装置は、実施の形態１における撮像モジュールＩＳや、撮像装置が有する撮像部に適用することができる。

［概要］
　本実施の形態の表示装置は、表示部に、受光素子と発光素子とを有する。具体的には、表示部に、発光素子がマトリクス状に配置されており、当該表示部で画像を表示することができる。また、当該表示部には、受光素子がマトリクス状に配置されており、表示部は、受光部としての機能も有する。受光部は、イメージセンサやタッチセンサに用いることができる。つまり、受光部で光を検出することで、画像を撮像することや、対象物（指やペンなど）の近接もしくは接触を検出することができる。

　本実施の形態の表示装置では、表示部が有する発光素子の発光を対象物が反射した際、受光素子がその反射光を検出できるため、暗い場所でも、撮像やタッチ（ニアタッチを含む）検出が可能である。

　本実施の形態の表示装置は、発光素子を用いて、画像を表示する機能を有する。つまり、発光素子は、表示素子として機能する。

　発光素子としては、ＯＬＥＤ（Ｏｒｇａｎｉｃ　Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）やＱＬＥＤ（Ｑｕａｎｔｕｍ−ｄｏｔ　Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）などのＥＬ素子を用いることが好ましい。ＥＬ素子が有する発光物質としては、蛍光を発する物質（蛍光材料）、燐光を発する物質（燐光材料）、無機化合物（量子ドット材料など）、熱活性化遅延蛍光を示す物質（熱活性化遅延蛍光（Ｔｈｅｒｍａｌｌｙ　ａｃｔｉｖａｔｅｄ　ｄｅｌａｙｅｄ　ｆｌｕｏｒｅｓｃｅｎｃｅ：ＴＡＤＦ）材料）などが挙げられる。また、発光素子として、マイクロＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）などのＬＥＤを用いることもできる。

　本実施の形態の表示装置は、受光素子を用いて、光を検出する機能を有する。

　受光素子をイメージセンサに用いる場合、本実施の形態の表示装置は、受光素子を用いて、画像を撮像することができる。

　例えば、イメージセンサを用いて、指紋、掌紋、または虹彩などのデータを取得することができる。つまり、本実施の形態の表示装置に、生体認証用センサを内蔵させることができる。表示装置が生体認証用センサを内蔵することで、表示装置とは別に生体認証用センサを設ける場合に比べて、電子機器の部品点数を少なくでき、電子機器の小型化及び軽量化が可能である。

　また、イメージセンサを用いて、ユーザーの表情、目の動き、または瞳孔径の変化などのデータを取得することができる。当該データを解析することで、ユーザーの心身の情報を取得することができる。当該情報をもとに表示及び音声の一方又は双方の出力内容を変化させることで、例えば、ＶＲ（Ｖｉｒｔｕａｌ　Ｒｅａｌｉｔｙ）向け機器、ＡＲ（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）向け機器、またはＭＲ（Ｍｉｘｅｄ　Ｒｅａｌｉｔｙ）向け機器において、ユーザーが機器を安全に使用できるよう図ることができる。

　また、受光素子をタッチセンサに用いる場合、本実施の形態の表示装置は、受光素子を用いて、対象物の近接または接触を検出することができる。

　受光素子としては、例えば、ｐｎ型またはｐｉｎ型のフォトダイオードを用いることができる。受光素子は、受光素子に入射する光を検出し電荷を発生させる光電変換素子として機能する。入射する光量に基づき、発生する電荷量が決まる。

　特に、受光素子として、有機化合物を含む層を有する有機フォトダイオードを用いることが好ましい。有機フォトダイオードは、薄型化、軽量化、及び大面積化が容易であり、また、形状及びデザインの自由度が高いため、様々な表示装置に適用できる。

　本発明の一態様では、発光素子として有機ＥＬ素子を用い、受光素子として有機フォトダイオードを用いる。有機フォトダイオードは、有機ＥＬ素子と共通の構成にできる層が多い。そのため、作製工程を大幅に増やすことなく、表示装置に受光素子を内蔵することができる。例えば、受光素子の活性層と発光素子の発光層とを作り分け、それ以外の層は、発光素子と受光素子とで同一の構成にすることができる。

　図１０Ａ乃至図１０Ｄに、本発明の一態様の表示装置の断面図を示す。

　図１０Ａに示す表示装置５０Ａは、基板５１と基板５９との間に、受光素子を有する層５３と、発光素子を有する層５７と、を有する。

　図１０Ｂに示す表示装置５０Ｂは、基板５１と基板５９との間に、受光素子を有する層５３、トランジスタを有する層５５、及び、発光素子を有する層５７を有する。

　表示装置５０Ａ及び表示装置５０Ｂは、発光素子を有する層５７から、赤色（Ｒ）、緑色（Ｇ）、及び青色（Ｂ）の光が射出される構成である。

　本発明の一態様の表示装置は、マトリクス状に配置された複数の画素を有する。１つの画素は、１つ以上の副画素を有する。１つの副画素は、１つの発光素子を有する。例えば、画素には、副画素を３つ有する構成（Ｒ、Ｇ、Ｂの３色、または、黄色（Ｙ）、シアン（Ｃ）、及びマゼンタ（Ｍ）の３色など）、または、副画素を４つ有する構成（Ｒ、Ｇ、Ｂ、白色（Ｗ）の４色、または、Ｒ、Ｇ、Ｂ、Ｙの４色など）を適用できる。さらに、画素は、受光素子を有する。受光素子は、全ての画素に設けられていてもよく、一部の画素に設けられていてもよい。また、１つの画素が複数の受光素子を有していてもよい。

　トランジスタを有する層５５は、第１のトランジスタ及び第２のトランジスタを有することが好ましい。第１のトランジスタは、受光素子と電気的に接続される。第２のトランジスタは、発光素子と電気的に接続される。

　本発明の一態様の表示装置は、表示装置に接触している指などの対象物を検出する機能を有していてもよい。例えば、図１０Ｃに示すように、発光素子を有する層５７において発光素子が発した光を、表示装置５０Ｂに接触した指５２が反射することで、受光素子を有する層５３における受光素子がその反射光を検出する。これにより、表示装置５０Ｂに指５２が接触したことを検出することができる。

　本発明の一態様の表示装置は、図１０Ｄに示すように、表示装置５０Ｂに近接している（接触していない）対象物を検出または撮像する機能を有していてもよい。

　図１０Ｅ乃至図１０Ｈに、画素の一例を示す。

　図１０Ｅ及び図１０Ｆに示す画素は、Ｒ、Ｇ、Ｂの３つの副画素（３つの発光素子）と、受光素子ＰＤと、を有する。図１０Ｅは、２×２のマトリクス状に、３つの副画素と受光素子ＰＤとが配置されている例であり、図１０Ｆは、横１列に、３つの副画素と受光素子ＰＤとが配置されている例である。

　図１０Ｇに示す画素は、Ｒ、Ｇ、Ｂ、Ｗの４つの副画素（４つの発光素子）と、受光素子ＰＤと、を有する。

　図１０Ｈに示す画素は、Ｒ、Ｇ、Ｂの３つの副画素と、赤外光を発する発光素子ＩＲと、受光素子ＰＤとを有する。このとき、受光素子ＰＤは、赤外光を検出する機能を有することが好ましい。受光素子ＰＤは、可視光及び赤外光の双方を検出する機能を有していてもよい。センサの用途に応じて、受光素子ＰＤが検出する光の波長を決定することができる。

　以下では、図１１~図１３を用いて、本発明の一態様の表示装置の、詳細な構成について説明する。

［表示装置１０Ａ］
　図１１Ａに表示装置１０Ａの断面図を示す。

　表示装置１０Ａは、受光素子１１０及び発光素子１９０を有する。

　受光素子１１０は、画素電極１１１、共通層１１２、活性層１１３、共通層１１４、及び共通電極１１５を有する。

　発光素子１９０は、画素電極１９１、共通層１１２、発光層１９３、共通層１１４、及び共通電極１１５を有する。

　画素電極１１１、画素電極１９１、共通層１１２、活性層１１３、発光層１９３、共通層１１４、及び共通電極１１５は、それぞれ、単層構造であってもよく、積層構造であってもよい。

　画素電極１１１及び画素電極１９１は、絶縁層２１４上に位置する。画素電極１１１と画素電極１９１は、同一の材料及び同一の工程で形成することができる。

　共通層１１２は、画素電極１１１上及び画素電極１９１上に位置する。共通層１１２は、受光素子１１０と発光素子１９０に共通で用いられる層である。

　活性層１１３は、共通層１１２を介して、画素電極１１１と重なる。発光層１９３は、共通層１１２を介して、画素電極１９１と重なる。活性層１１３は、第１の有機化合物を有し、発光層１９３は、第１の有機化合物とは異なる第２の有機化合物を有する。

　共通層１１４は、共通層１１２上、活性層１１３上、及び発光層１９３上に位置する。共通層１１４は、受光素子１１０と発光素子１９０に共通で用いられる層である。

　共通電極１１５は、共通層１１２、活性層１１３、及び共通層１１４を介して、画素電極１１１と重なる部分を有する。また、共通電極１１５は、共通層１１２、発光層１９３、及び共通層１１４を介して、画素電極１９１と重なる部分を有する。共通電極１１５は、受光素子１１０と発光素子１９０に共通で用いられる層である。

　本実施の形態の表示装置では、受光素子１１０の活性層１１３に有機化合物を用いる。受光素子１１０は、活性層１１３以外の層を、発光素子１９０（ＥＬ素子）と共通の構成にすることができる。そのため、発光素子１９０の作製工程に、活性層１１３を成膜する工程を追加するのみで、発光素子１９０の形成と並行して受光素子１１０を形成することができる。また、発光素子１９０と受光素子１１０とを同一基板上に形成することができる。したがって、作製工程を大幅に増やすことなく、表示装置に受光素子１１０を内蔵することができる。

　表示装置１０Ａでは、受光素子１１０の活性層１１３と、発光素子１９０の発光層１９３と、を作り分ける以外は、受光素子１１０と発光素子１９０が共通の構成である例を示す。ただし、受光素子１１０と発光素子１９０の構成はこれに限定されない。受光素子１１０と発光素子１９０は、活性層１１３と発光層１９３のほかにも、互いに作り分ける層を有していてもよい（後述の表示装置１０Ｋ、１０Ｌ、１０Ｍ参照）。受光素子１１０と発光素子１９０は、共通で用いられる層（共通層）を１層以上有することが好ましい。これにより、作製工程を大幅に増やすことなく、表示装置に受光素子１１０を内蔵することができる。

　表示装置１０Ａは、一対の基板（基板１５１及び基板１５２）間に、受光素子１１０、発光素子１９０、トランジスタ４１、及びトランジスタ４２等を有する。

　受光素子１１０において、それぞれ画素電極１１１及び共通電極１１５の間に位置する共通層１１２、活性層１１３、及び共通層１１４は、有機層（有機化合物を含む層）ということもできる。画素電極１１１は可視光を反射する機能を有することが好ましい。画素電極１１１の端部は隔壁２１６によって覆われている。共通電極１１５は可視光を透過する機能を有する。

　受光素子１１０は、光を検知する機能を有する。具体的には、受光素子１１０は、表示装置１０Ａの外部から入射される光２２を受光し、電気信号に変換する、光電変換素子である。光２２は、発光素子１９０の発光を対象物が反射した光ということもできる。また、光２２は、後述するレンズを介して受光素子１１０に入射してもよい。

　基板１５２の基板１５１側の面には、遮光層ＢＭが設けられている。遮光層ＢＭは、受光素子１１０と重なる位置及び発光素子１９０と重なる位置に開口を有する。遮光層ＢＭを設けることで、受光素子１１０が光を検出する範囲を制御することができる。

　遮光層ＢＭとしては、発光素子からの発光を遮る材料を用いることができる。遮光層ＢＭは、可視光を吸収することが好ましい。遮光層ＢＭとして、例えば、金属材料、又は、顔料（カーボンブラックなど）もしくは染料を含む樹脂材料等を用いてブラックマトリクスを形成することができる。遮光層ＢＭは、赤色のカラーフィルタ、緑色のカラーフィルタ、及び青色のカラーフィルタの積層構造であってもよい。

　ここで、発光素子１９０の発光が対象物によって反射された光を受光素子１１０は検出する。しかし、発光素子１９０の発光が、表示装置１０Ａ内で反射され、対象物を介さずに、受光素子１１０に入射されてしまう場合がある。遮光層ＢＭは、このような迷光の影響を抑制することができる。例えば、遮光層ＢＭが設けられていない場合、発光素子１９０が発した光２３ａは、基板１５２で反射され、反射光２３ｂが受光素子１１０に入射することがある。遮光層ＢＭを設けることで、反射光２３ｂが受光素子１１０に入射することを抑制できる。これにより、ノイズを低減し、受光素子１１０を用いたセンサの感度を高めることができる。

　発光素子１９０において、それぞれ画素電極１９１及び共通電極１１５の間に位置する共通層１１２、発光層１９３、及び共通層１１４は、ＥＬ層ということもできる。画素電極１９１は可視光を反射する機能を有することが好ましい。画素電極１９１の端部は隔壁２１６によって覆われている。画素電極１１１と画素電極１９１とは隔壁２１６によって互いに電気的に絶縁されている。共通電極１１５は可視光を透過する機能を有する。

　発光素子１９０は、可視光を発する機能を有する。具体的には、発光素子１９０は、画素電極１９１と共通電極１１５との間に電圧を印加することで、基板１５２側に光を射出する電界発光素子である（発光２１参照）。

　発光層１９３は、受光素子１１０の受光領域と重ならないように形成されることが好ましい。これにより、発光層１９３が光２２を吸収することを抑制でき、受光素子１１０に照射される光量を多くすることができる。

　画素電極１１１は、絶縁層２１４に設けられた開口を介して、トランジスタ４１が有するソースまたはドレインと電気的に接続される。画素電極１１１の端部は、隔壁２１６によって覆われている。

　画素電極１９１は、絶縁層２１４に設けられた開口を介して、トランジスタ４２が有するソースまたはドレインと電気的に接続される。画素電極１９１の端部は、隔壁２１６によって覆われている。トランジスタ４２は、発光素子１９０の駆動を制御する機能を有する。

　トランジスタ４１とトランジスタ４２とは、同一の層（図１１Ａでは基板１５１）上に接している。

　受光素子１１０と電気的に接続される回路の少なくとも一部は、発光素子１９０と電気的に接続される回路と同一の材料及び同一の工程で形成されることが好ましい。これにより、２つの回路を別々に形成する場合に比べて、表示装置の厚さを薄くすることができ、また、作製工程を簡略化できる。

　受光素子１１０及び発光素子１９０は、それぞれ、保護層１９５に覆われていることが好ましい。図１１Ａでは、保護層１９５が、共通電極１１５上に接して設けられている。保護層１９５を設けることで、受光素子１１０及び発光素子１９０に水などの不純物が入り込むことを抑制し、受光素子１１０及び発光素子１９０の信頼性を高めることができる。また、接着層１４２によって、保護層１９５と基板１５２とが貼り合わされている。

　なお、図１２Ａに示すように、受光素子１１０上及び発光素子１９０上に保護層を有していなくてもよい。図１２Ａでは、接着層１４２によって、共通電極１１５と基板１５２とが貼り合わされている。

［表示装置１０Ｂ］
　図１１Ｂに表示装置１０Ｂの断面図を示す。なお、以降の表示装置の説明において、先に説明した表示装置と同様の構成については、説明を省略することがある。

　図１１Ｂに示す表示装置１０Ｂは、表示装置１０Ａの構成に加え、レンズ１４９を有する。

　本実施の形態の表示装置は、レンズ１４９を有していてもよい。レンズ１４９は、受光素子１１０と重なる位置に設けられている。表示装置１０Ｂでは、レンズ１４９が基板１５２に接して設けられている。表示装置１０Ｂが有するレンズ１４９は、基板１５１側に凸面を有している。または、レンズ１４９は基板１５２側に凸面を有していてもよい。

　基板１５２の同一面上に遮光層ＢＭとレンズ１４９との双方を形成する場合、形成順は問わない。図１１Ｂでは、レンズ１４９を先に形成する例を示すが、遮光層ＢＭを先に形成してもよい。図１１Ｂでは、レンズ１４９の端部が遮光層ＢＭによって覆われている。

　表示装置１０Ｂは、光２２がレンズ１４９を介して受光素子１１０に入射する構成である。レンズ１４９を有すると、レンズ１４９を有さない場合に比べて、受光素子１１０の撮像範囲を狭くすることができ、隣接する受光素子１１０と撮像範囲が重なることを抑制できる。これにより、ぼやけの少ない、鮮明な画像を撮像できる。また、受光素子１１０の撮像範囲が同じ場合、レンズ１４９を有すると、レンズ１４９を有さない場合に比べて、ピンホールの大きさ（図１１Ｂでは受光素子１１０と重なるＢＭの開口の大きさに相当する）を大きくすることができる。したがって、レンズ１４９を有することで、受光素子１１０に入射する光量を増やすことができる。

　図１２Ｂ及び図１２Ｃに示す表示装置も、それぞれ、図１１Ｂに示す表示装置１０Ｂと同様に、光２２がレンズ１４９を介して受光素子１１０に入射する構成である。

　図１２Ｂでは、レンズ１４９が保護層１９５の上面に接して設けられている。図１２Ｂに示す表示装置が有するレンズ１４９は、基板１５２側に凸面を有している。

　図１２Ｃに示す表示装置は、基板１５２の表示面側に、レンズアレイ１４６が設けられている。レンズアレイ１４６が有するレンズは、受光素子１１０と重なる位置に設けられている。基板１５２の基板１５１側の面には、遮光層ＢＭが設けられていることが好ましい。

　本実施の形態の表示装置に用いるレンズの形成方法としては、基板上または受光素子上にマイクロレンズなどのレンズを直接形成してもよいし、別途作製されたマイクロレンズアレイなどのレンズアレイを基板に貼り合わせてもよい。

［表示装置１０Ｃ］
　図１１Ｃに表示装置１０Ｃの断面図を示す。

　図１１Ｃに示す表示装置１０Ｃは、基板１５１、基板１５２、及び隔壁２１６を有さず、基板１５３、基板１５４、接着層１５５、絶縁層２１２、及び隔壁２１７を有する点で、表示装置１０Ａと異なる。

　基板１５３と絶縁層２１２とは接着層１５５によって貼り合わされている。基板１５４と保護層１９５とは接着層１４２によって貼り合わされている。

　表示装置１０Ｃは、作製基板上に形成された絶縁層２１２、トランジスタ４１、トランジスタ４２、受光素子１１０、及び発光素子１９０等を、基板１５３上に転置することで作製される構成である。基板１５３及び基板１５４は、それぞれ、可撓性を有することが好ましい。これにより、表示装置１０Ｃの可撓性を高めることができる。例えば、基板１５３及び基板１５４には、それぞれ、樹脂を用いることが好ましい。

　基板１５３及び基板１５４としては、それぞれ、ポリエチレンテレフタレート（ＰＥＴ）、ポリエチレンナフタレート（ＰＥＮ）等のポリエステル樹脂、ポリアクリロニトリル樹脂、アクリル樹脂、ポリイミド樹脂、ポリメチルメタクリレート樹脂、ポリカーボネート（ＰＣ）樹脂、ポリエーテルスルホン（ＰＥＳ）樹脂、ポリアミド樹脂（ナイロン、アラミド等）、ポリシロキサン樹脂、シクロオレフィン樹脂、ポリスチレン樹脂、ポリアミドイミド樹脂、ポリウレタン樹脂、ポリ塩化ビニル樹脂、ポリ塩化ビニリデン樹脂、ポリプロピレン樹脂、ポリテトラフルオロエチレン（ＰＴＦＥ）樹脂、ＡＢＳ樹脂、セルロースナノファイバー等を用いることができる。基板１５３及び基板１５４の一方または双方に、可撓性を有する程度の厚さのガラスを用いてもよい。

　本実施の形態の表示装置が有する基板には、光学等方性が高いフィルムを用いてもよい。光学等方性が高いフィルムとしては、トリアセチルセルロース（ＴＡＣ、セルローストリアセテートともいう）フィルム、シクロオレフィンポリマー（ＣＯＰ）フィルム、シクロオレフィンコポリマー（ＣＯＣ）フィルム、及びアクリルフィルム等が挙げられる。

　隔壁２１７は、発光素子が発した光を吸収することが好ましい。隔壁２１７として、例えば、顔料もしくは染料を含む樹脂材料等を用いてブラックマトリクスを形成することができる。また、茶色レジスト材料を用いることで、着色された絶縁層で隔壁２１７を構成することができる。

　発光素子１９０が発した光２３ｃは、基板１５４及び隔壁２１７で反射され、反射光２３ｄが受光素子１１０に入射することがある。また、光２３ｃが隔壁２１７を透過し、トランジスタまたは配線等で反射されることで、反射光が受光素子１１０に入射することがある。隔壁２１７によって光２３ｃが吸収されることで、反射光２３ｄが受光素子１１０に入射することを抑制できる。これにより、ノイズを低減し、受光素子１１０を用いたセンサの感度を高めることができる。

　隔壁２１７は、少なくとも、受光素子１１０が検知する光の波長を吸収することが好ましい。例えば、発光素子１９０が発する緑色の光を受光素子１１０が検知する場合、隔壁２１７は、少なくとも緑色の光を吸収することが好ましい。例えば、隔壁２１７が、赤色のカラーフィルタを有すると、緑色の光２３ｃを吸収することができ、反射光２３ｄが受光素子１１０に入射することを抑制できる。

［表示装置１０Ｋ、１０Ｌ、１０Ｍ］
　図１３Ａに表示装置１０Ｋの断面図を示し、図１３Ｂに表示装置１０Ｌの断面図を示し、図１３Ｃに表示装置１０Ｍの断面図を示す。

　表示装置１０Ｋは、共通層１１４を有さず、バッファ層１８４及びバッファ層１９４を有する点で、表示装置１０Ａと異なる。バッファ層１８４及びバッファ層１９４は、それぞれ、単層構造であってもよく、積層構造であってもよい。

　表示装置１０Ｋにおいて、受光素子１１０は、画素電極１１１、共通層１１２、活性層１１３、バッファ層１８４、及び共通電極１１５を有する。また、表示装置１０Ｋにおいて、発光素子１９０は、画素電極１９１、共通層１１２、発光層１９３、バッファ層１９４、及び共通電極１１５を有する。

　表示装置１０Ｌは、共通層１１２を有さず、バッファ層１８２及びバッファ層１９２を有する点で、表示装置１０Ａと異なる。バッファ層１８２及びバッファ層１９２は、それぞれ、単層構造であってもよく、積層構造であってもよい。

　表示装置１０Ｌにおいて、受光素子１１０は、画素電極１１１、バッファ層１８２、活性層１１３、共通層１１４、及び共通電極１１５を有する。また、表示装置１０Ｌにおいて、発光素子１９０は、画素電極１９１、バッファ層１９２、発光層１９３、共通層１１４、及び共通電極１１５を有する。

　表示装置１０Ｍは、共通層１１２及び共通層１１４を有さず、バッファ層１８２、バッファ層１８４、バッファ層１９２、及びバッファ層１９４を有する点で、表示装置１０Ａと異なる。

　表示装置１０Ｍにおいて、受光素子１１０は、画素電極１１１、バッファ層１８２、活性層１１３、バッファ層１８４、及び共通電極１１５を有する。また、表示装置１０Ｍにおいて、発光素子１９０は、画素電極１９１、バッファ層１９２、発光層１９３、バッファ層１９４、及び共通電極１１５を有する。

　受光素子１１０と発光素子１９０の作製において、活性層１１３と発光層１９３を作り分けるだけでなく、他の層も作り分けることができる。

　表示装置１０Ｋでは、共通電極１１５と活性層１１３との間のバッファ層１８４と、共通電極１１５と発光層１９３との間のバッファ層１９４とを作り分ける例を示す。バッファ層１９４としては、例えば、電子注入層及び電子輸送層の一方または双方を形成することができる。

　表示装置１０Ｌでは、画素電極１１１と活性層１１３との間のバッファ層１８２と、画素電極１９１と発光層１９３との間のバッファ層１９２とを作り分ける例を示す。バッファ層１９２としては、例えば、正孔注入層及び正孔輸送層の一方または双方を形成することができる。

　表示装置１０Ｍでは、受光素子１１０と発光素子１９０とで、一対の電極（画素電極１１１または画素電極１９１と共通電極１１５）間に、共通の層を有さない例を示す。表示装置１０Ｍが有する受光素子１１０及び発光素子１９０は、絶縁層２１４上に画素電極１１１と画素電極１９１とを同一の材料及び同一の工程で形成し、画素電極１１１上にバッファ層１８２、活性層１１３、及びバッファ層１８４を形成し、画素電極１９１上にバッファ層１９２、発光層１９３、及びバッファ層１９４を形成した後、画素電極１１１、バッファ層１８２、活性層１１３、バッファ層１８４、画素電極１９１、バッファ層１９２、発光層１９３、及びバッファ層１９４を覆うように共通電極１１５を形成することで作製できる。なお、バッファ層１８２、活性層１１３、及びバッファ層１８４の積層構造と、バッファ層１９２、発光層１９３、及びバッファ層１９４の積層構造の作製順は特に限定されない。例えば、バッファ層１８２、活性層１１３、及びバッファ層１８４を成膜した後に、バッファ層１９２、発光層１９３、及びバッファ層１９４を作製してもよい。逆に、バッファ層１８２、活性層１１３、及びバッファ層１８４を成膜する前に、バッファ層１９２、発光層１９３、及びバッファ層１９４を作製してもよい。また、バッファ層１８２、バッファ層１９２、活性層１１３、発光層１９３、などの順に交互に成膜してもよい。

　以下では、図１４~図１８を用いて、本発明の一態様の表示装置の、より詳細な構成について説明する。

［表示装置１００Ａ］
　図１４に、表示装置１００Ａの斜視図を示し、図１５に、表示装置１００Ａの断面図を示す。

　表示装置１００Ａは、基板１５２と基板１５１とが貼り合わされた構成を有する。図１４では、基板１５２を破線で明示している。

　表示装置１００Ａは、表示部１６２、回路１６４、配線１６５等を有する。図１４では表示装置１００ＡにＩＣ（集積回路）１７３及びＦＰＣ１７２が実装されている例を示している。そのため、図１４に示す構成は、表示装置１００Ａ、ＩＣ、及びＦＰＣを有する表示モジュールということもできる。

　回路１６４としては、例えば走査線駆動回路を用いることができる。

　配線１６５は、表示部１６２及び回路１６４に信号及び電力を供給する機能を有する。当該信号及び電力は、ＦＰＣ１７２を介して外部から配線１６５に入力されるか、またはＩＣ１７３から配線１６５に入力される。

　図１４では、ＣＯＧ（Ｃｈｉｐ　Ｏｎ　Ｇｌａｓｓ）方式等により、基板１５１にＩＣ１７３が設けられている例を示す。ＩＣ１７３は、例えば走査線駆動回路または信号線駆動回路などを有するＩＣを適用できる。なお、表示装置１００Ａ及び表示モジュールは、ＩＣを設けない構成としてもよい。また、ＩＣを、ＣＯＦ方式等により、ＦＰＣに実装してもよい。

　図１５に、図１４で示した表示装置１００Ａの、ＦＰＣ１７２を含む領域の一部、回路１６４を含む領域の一部、表示部１６２を含む領域の一部、及び、端部を含む領域の一部をそれぞれ切断したときの断面の一例を示す。

　図１５に示す表示装置１００Ａは、基板１５１と基板１５２の間に、トランジスタ２０１、トランジスタ２０５、トランジスタ２０６、発光素子１９０、受光素子１１０等を有する。

　基板１５２と絶縁層２１４は接着層１４２を介して接着されている。発光素子１９０及び受光素子１１０の封止には、固体封止構造または中空封止構造などが適用できる。図１５では、基板１５２、接着層１４２、及び絶縁層２１４に囲まれた空間１４３が、不活性ガス（窒素やアルゴンなど）で充填されており、中空封止構造が適用されている。接着層１４２は、発光素子１９０と重ねて設けられていてもよい。また、基板１５２、接着層１４２、及び絶縁層２１４に囲まれた空間１４３を、接着層１４２とは異なる樹脂で充填してもよい。

　発光素子１９０は、絶縁層２１４側から画素電極１９１、共通層１１２、発光層１９３、共通層１１４、及び共通電極１１５の順に積層された積層構造を有する。画素電極１９１は、絶縁層２１４に設けられた開口を介して、トランジスタ２０６が有する導電層２２２ｂと接続されている。トランジスタ２０６は、発光素子１９０の駆動を制御する機能を有する。画素電極１９１の端部は、隔壁２１６によって覆われている。画素電極１９１は可視光を反射する材料を含み、共通電極１１５は可視光を透過する材料を含む。

　受光素子１１０は、絶縁層２１４側から画素電極１１１、共通層１１２、活性層１１３、共通層１１４、及び共通電極１１５の順に積層された積層構造を有する。画素電極１１１は、絶縁層２１４に設けられた開口を介して、トランジスタ２０５が有する導電層２２２ｂと電気的に接続されている。画素電極１１１の端部は、隔壁２１６によって覆われている。画素電極１１１は可視光を反射する材料を含み、共通電極１１５は可視光を透過する材料を含む。

　発光素子１９０が発する光は、基板１５２側に射出される。また、受光素子１１０には、基板１５２及び空間１４３を介して、光が入射する。基板１５２には、可視光に対する透過性が高い材料を用いることが好ましい。

　画素電極１１１及び画素電極１９１は同一の材料及び同一の工程で作製することができる。共通層１１２、共通層１１４、及び共通電極１１５は、受光素子１１０と発光素子１９０との双方に用いられる。受光素子１１０と発光素子１９０とは、活性層１１３と発光層１９３の構成が異なる以外は全て共通の構成とすることができる。これにより、作製工程を大幅に増やすことなく、表示装置１００Ａに受光素子１１０を内蔵することができる。

　基板１５２の基板１５１側の面には、遮光層ＢＭが設けられている。遮光層ＢＭは、受光素子１１０と重なる位置及び発光素子１９０と重なる位置に開口を有する。遮光層ＢＭを設けることで、受光素子１１０が光を検出する範囲を制御することができる。また、遮光層ＢＭを有することで、対象物を介さずに、発光素子１９０から受光素子１１０に光が直接入射することを抑制できる。したがって、ノイズが少なく感度の高いセンサを実現できる。

　トランジスタ２０１、トランジスタ２０５、及びトランジスタ２０６は、いずれも基板１５１上に形成されている。これらのトランジスタは、同一の材料及び同一の工程により作製することができる。

　基板１５１上には、絶縁層２１１、絶縁層２１３、絶縁層２１５、及び絶縁層２１４がこの順で設けられている。絶縁層２１１は、その一部が各トランジスタのゲート絶縁層として機能する。絶縁層２１３は、その一部が各トランジスタのゲート絶縁層として機能する。絶縁層２１５は、トランジスタを覆って設けられる。絶縁層２１４は、トランジスタを覆って設けられ、平坦化層としての機能を有する。なお、ゲート絶縁層の数及びトランジスタを覆う絶縁層の数は限定されず、それぞれ単層であっても２層以上であってもよい。

　トランジスタを覆う絶縁層の少なくとも一層に、水や水素などの不純物が拡散しにくい材料を用いることが好ましい。これにより、絶縁層をバリア層として機能させることができる。このような構成とすることで、トランジスタに外部から不純物が拡散することを効果的に抑制でき、表示装置の信頼性を高めることができる。

　絶縁層２１１、絶縁層２１３、及び絶縁層２１５としては、それぞれ、無機絶縁膜を用いることが好ましい。無機絶縁膜としては、例えば、窒化シリコン膜、酸化窒化シリコン膜、酸化シリコン膜、窒化酸化シリコン膜、酸化アルミニウム膜、窒化アルミニウム膜などの無機絶縁膜を用いることができる。また、酸化ハフニウム膜、酸化イットリウム膜、酸化ジルコニウム膜、酸化ガリウム膜、酸化タンタル膜、酸化マグネシウム膜、酸化ランタン膜、酸化セリウム膜、及び酸化ネオジム膜等を用いてもよい。また、上述の絶縁膜を２以上積層して用いてもよい。

　ここで、有機絶縁膜は、無機絶縁膜に比べてバリア性が低いことが多い。そのため、有機絶縁膜は、表示装置１００Ａの端部近傍に開口を有することが好ましい。これにより、表示装置１００Ａの端部から有機絶縁膜を介して不純物が入り込むことを抑制することができる。または、有機絶縁膜の端部が表示装置１００Ａの端部よりも内側にくるように有機絶縁膜を形成し、表示装置１００Ａの端部に有機絶縁膜が露出しないようにしてもよい。

　平坦化層として機能する絶縁層２１４には、有機絶縁膜が好適である。有機絶縁膜に用いることができる材料としては、アクリル樹脂、ポリイミド樹脂、エポキシ樹脂、ポリアミド樹脂、ポリイミドアミド樹脂、シロキサン樹脂、ベンゾシクロブテン系樹脂、フェノール樹脂、及びこれら樹脂の前駆体等が挙げられる。

　図１５に示す領域２２８では、絶縁層２１４に開口が形成されている。これにより、絶縁層２１４に有機絶縁膜を用いる場合であっても、絶縁層２１４を介して外部から表示部１６２に不純物が入り込むことを抑制できる。したがって、表示装置１００Ａの信頼性を高めることができる。

　トランジスタ２０１、トランジスタ２０５、及びトランジスタ２０６は、ゲートとして機能する導電層２２１、ゲート絶縁層として機能する絶縁層２１１、ソース及びドレインとして機能する導電層２２２ａ及び導電層２２２ｂ、半導体層２３１、ゲート絶縁層として機能する絶縁層２１３、並びに、ゲートとして機能する導電層２２３を有する。ここでは、同一の導電膜を加工して得られる複数の層に、同じハッチングパターンを付している。絶縁層２１１は、導電層２２１と半導体層２３１との間に位置する。絶縁層２１３は、導電層２２３と半導体層２３１との間に位置する。

　本実施の形態の表示装置が有するトランジスタの構造は特に限定されない。例えば、プレーナ型のトランジスタ、スタガ型のトランジスタ、逆スタガ型のトランジスタ等を用いることができる。また、トップゲート型またはボトムゲート型のいずれのトランジスタ構造としてもよい。または、チャネルが形成される半導体層の上下にゲートが設けられていてもよい。

　トランジスタ２０１、トランジスタ２０５、及びトランジスタ２０６には、チャネルが形成される半導体層を２つのゲートで挟持する構成が適用されている。２つのゲートを接続し、これらに同一信号を供給することによりトランジスタを駆動してもよい。または、２つのゲートのうち、一方に閾値電圧を制御するための電位を与え、他方に駆動のための電位を与えることで、トランジスタの閾値電圧を制御してもよい。

　トランジスタに用いる半導体材料の結晶性についても特に限定されず、非晶質半導体、単結晶半導体、または単結晶以外の結晶性を有する半導体（微結晶半導体、多結晶半導体、または一部に結晶領域を有する半導体）のいずれを用いてもよい。単結晶半導体または結晶性を有する半導体を用いると、トランジスタ特性の劣化を抑制できるため好ましい。

　トランジスタの半導体層は、金属酸化物（酸化物半導体ともいう）を有することが好ましい。または、トランジスタの半導体層は、シリコンを有していてもよい。シリコンとしては、アモルファスシリコン、結晶性のシリコン（低温ポリシリコン、単結晶シリコンなど）などが挙げられる。

　半導体層は、例えば、インジウムと、Ｍ（Ｍは、ガリウム、アルミニウム、シリコン、ボウ素、イットリウム、スズ、銅、バナジウム、ベリリウム、チタン、鉄、ニッケル、ゲルマニウム、ジルコニウム、モリブデン、ランタン、セリウム、ネオジム、ハフニウム、タンタル、タングステン、及びマグネシウムから選ばれた一種または複数種）と、亜鉛と、を有することが好ましい。特に、Ｍは、アルミニウム、ガリウム、イットリウム、及びスズから選ばれた一種または複数種であることが好ましい。

　特に、半導体層として、インジウム（Ｉｎ）、ガリウム（Ｇａ）、及び亜鉛（Ｚｎ）を含む酸化物（ＩＧＺＯとも記す）を用いることが好ましい。

　半導体層がＩｎ−Ｍ−Ｚｎ酸化物の場合、Ｉｎ−Ｍ−Ｚｎ酸化物を成膜するために用いるスパッタリングターゲットは、Ｉｎの原子数比がＭの原子数比以上であることが好ましい。このようなスパッタリングターゲットの金属元素の原子数比として、Ｉｎ：Ｍ：Ｚｎ＝１：１：１、Ｉｎ：Ｍ：Ｚｎ＝１：１：１．２、Ｉｎ：Ｍ：Ｚｎ＝２：１：３、Ｉｎ：Ｍ：Ｚｎ＝３：１：２、Ｉｎ：Ｍ：Ｚｎ＝４：２：３、Ｉｎ：Ｍ：Ｚｎ＝４：２：４．１、Ｉｎ：Ｍ：Ｚｎ＝５：１：６、Ｉｎ：Ｍ：Ｚｎ＝５：１：７、Ｉｎ：Ｍ：Ｚｎ＝５：１：８、Ｉｎ：Ｍ：Ｚｎ＝６：１：６、Ｉｎ：Ｍ：Ｚｎ＝５：２：５等が挙げられる。

　スパッタリングターゲットとしては、多結晶の酸化物を含むターゲットを用いると、結晶性を有する半導体層を形成しやすくなるため好ましい。なお、成膜される半導体層の原子数比は、上記のスパッタリングターゲットに含まれる金属元素の原子数比のプラスマイナス４０％の変動を含む。例えば、半導体層に用いるスパッタリングターゲットの組成がＩｎ：Ｇａ：Ｚｎ＝４：２：４．１［原子数比］の場合、成膜される半導体層の組成は、Ｉｎ：Ｇａ：Ｚｎ＝４：２：３［原子数比］の近傍となる場合がある。

　なお、原子数比がＩｎ：Ｇａ：Ｚｎ＝４：２：３またはその近傍と記載する場合、金属元素の原子数に対するＩｎの原子数比を４としたとき、Ｇａの原子数比が１以上３以下であり、Ｚｎの原子数比が２以上４以下である場合を含む。また、原子数比がＩｎ：Ｇａ：Ｚｎ＝５：１：６またはその近傍であると記載する場合、金属元素の原子数に対するＩｎの原子数比を５としたときに、Ｇａの原子数比が０．１より大きく２以下であり、Ｚｎの原子数比が５以上７以下である場合を含む。また、原子数比がＩｎ：Ｇａ：Ｚｎ＝１：１：１またはその近傍であると記載する場合、金属元素の原子数に対するＩｎの原子数比を１としたときに、Ｇａの原子数比が０．１より大きく２以下であり、Ｚｎの原子数比が０．１より大きく２以下である場合を含む。

　回路１６４が有するトランジスタと、表示部１６２が有するトランジスタは、同じ構造であってもよく、異なる構造であってもよい。回路１６４が有する複数のトランジスタの構造は、全て同じであってもよく、２種類以上あってもよい。同様に、表示部１６２が有する複数のトランジスタの構造は、全て同じであってもよく、２種類以上あってもよい。

　基板１５１の、基板１５２が重ならない領域には、接続部２０４が設けられている。接続部２０４では、配線１６５が導電層１６６及び接続層２４２を介してＦＰＣ１７２と電気的に接続されている。接続部２０４の上面は、画素電極１９１と同一の導電膜を加工して得られた導電層１６６が露出している。これにより、接続部２０４とＦＰＣ１７２とを接続層２４２を介して電気的に接続することができる。

　基板１５２の外側には各種光学部材を配置することができる。光学部材としては、偏光板、位相差板、光拡散層（拡散フィルムなど）、反射防止層、及び集光フィルム等が挙げられる。また、基板１５２の外側には、ゴミの付着を抑制する帯電防止膜、汚れを付着しにくくする撥水性の膜、使用に伴う傷の発生を抑制するハードコート膜、衝撃吸収層等を配置してもよい。

　基板１５１及び基板１５２には、それぞれ、ガラス、石英、セラミック、サファイア、樹脂などを用いることができる。基板１５１及び基板１５２に可撓性を有する材料を用いると、表示装置の可撓性を高めることができる。

　接着層としては、紫外線硬化型等の光硬化型接着剤、反応硬化型接着剤、熱硬化型接着剤、嫌気型接着剤などの各種硬化型接着剤を用いることができる。これら接着剤としてはエポキシ樹脂、アクリル樹脂、シリコーン樹脂、フェノール樹脂、ポリイミド樹脂、イミド樹脂、ＰＶＣ（ポリビニルクロライド）樹脂、ＰＶＢ（ポリビニルブチラル）樹脂、ＥＶＡ（エチレンビニルアセテート）樹脂等が挙げられる。特に、エポキシ樹脂等の透湿性が低い材料が好ましい。また、二液混合型の樹脂を用いてもよい。また、接着シート等を用いてもよい。

　接続層２４２としては、異方性導電フィルム（ＡＣＦ：Ａｎｉｓｏｔｒｏｐｉｃ　Ｃｏｎｄｕｃｔｉｖｅ　Ｆｉｌｍ）、異方性導電ペースト（ＡＣＰ：Ａｎｉｓｏｔｒｏｐｉｃ　Ｃｏｎｄｕｃｔｉｖｅ　Ｐａｓｔｅ）などを用いることができる。

　発光素子１９０は、トップエミッション型、ボトムエミッション型、デュアルエミッション型などがある。光を取り出す側の電極には、可視光を透過する導電膜を用いる。また、光を取り出さない側の電極には、可視光を反射する導電膜を用いることが好ましい。

　発光素子１９０は少なくとも発光層１９３を有する。発光素子１９０は、発光層１９３以外の層として、正孔注入性の高い物質、正孔輸送性の高い物質、正孔ブロック材料、電子輸送性の高い物質、電子注入性の高い物質、またはバイポーラ性の物質（電子輸送性及び正孔輸送性が高い物質）等を含む層をさらに有していてもよい。例えば、共通層１１２は、正孔注入層及び正孔輸送層の一方又は双方を有することが好ましい。例えば、共通層１１４は、電子輸送層及び電子注入層の一方または双方を有することが好ましい。

　共通層１１２、発光層１９３、及び共通層１１４には低分子系化合物及び高分子系化合物のいずれを用いることもでき、無機化合物を含んでいてもよい。共通層１１２、発光層１９３、及び共通層１１４を構成する層は、それぞれ、蒸着法（真空蒸着法を含む）、転写法、印刷法、インクジェット法、塗布法等の方法で形成することができる。

　発光層１９３は、発光材料として、量子ドットなどの無機化合物を有していてもよい。

　受光素子１１０の活性層１１３は、半導体を含む。当該半導体としては、シリコンなどの無機半導体、及び、有機化合物を含む有機半導体が挙げられる。本実施の形態では、活性層が有する半導体として、有機半導体を用いる例を示す。有機半導体を用いることで、発光素子１９０の発光層１９３と、受光素子１１０の活性層１１３と、を同じ方法（例えば、真空蒸着法）で形成することができ、製造装置を共通化できるため好ましい。

　活性層１１３が有するｎ型半導体の材料としては、フラーレン（例えばＣ_６０、Ｃ_７０等）またはその誘導体等の電子受容性の有機半導体材料が挙げられる。また、活性層１１３が有するｐ型半導体の材料としては、銅（ＩＩ）フタロシアニン（Ｃｏｐｐｅｒ（ＩＩ）　ｐｈｔｈａｌｏｃｙａｎｉｎｅ；ＣｕＰｃ）やテトラフェニルジベンゾペリフランテン（Ｔｅｔｒａｐｈｅｎｙｌｄｉｂｅｎｚｏｐｅｒｉｆｌａｎｔｈｅｎｅ；ＤＢＰ）等の電子供与性の有機半導体材料が挙げられる。

　例えば、活性層１１３は、ｎ型半導体とｐ型半導体と共蒸着して形成することが好ましい。

　トランジスタのゲート、ソース及びドレインのほか、表示装置を構成する各種配線及び電極などの導電層に用いることのできる材料としては、アルミニウム、チタン、クロム、ニッケル、銅、イットリウム、ジルコニウム、モリブデン、銀、タンタル、またはタングステンなどの金属、またはこれを主成分とする合金などが挙げられる。これらの材料を含む膜を単層で、または積層構造として用いることができる。

　また、透光性を有する導電材料としては、酸化インジウム、インジウム錫酸化物、インジウム亜鉛酸化物、酸化亜鉛、ガリウムを含む酸化亜鉛などの導電性酸化物またはグラフェンを用いることができる。または、金、銀、白金、マグネシウム、ニッケル、タングステン、クロム、モリブデン、鉄、コバルト、銅、パラジウム、またはチタンなどの金属材料や、該金属材料を含む合金材料を用いることができる。または、該金属材料の窒化物（例えば、窒化チタン）などを用いてもよい。なお、金属材料、合金材料（またはそれらの窒化物）を用いる場合には、透光性を有する程度に薄くすることが好ましい。また、上記材料の積層膜を導電層として用いることができる。例えば、銀とマグネシウムの合金とインジウムスズ酸化物の積層膜などを用いると、導電性を高めることができるため好ましい。これらは、表示装置を構成する各種配線及び電極などの導電層や、表示素子が有する導電層（画素電極や共通電極として機能する導電層）にも用いることができる。

　各絶縁層に用いることのできる絶縁材料としては、例えば、アクリル樹脂、エポキシ樹脂などの樹脂、酸化シリコン、酸化窒化シリコン、窒化酸化シリコン、窒化シリコン、酸化アルミニウムなどの無機絶縁材料が挙げられる。

［表示装置１００Ｂ］
　図１６Ａに、表示装置１００Ｂの断面図を示す。

　表示装置１００Ｂは、レンズ１４９及び保護層１９５を有する点で、主に表示装置１００Ａと異なる。

　受光素子１１０及び発光素子１９０を覆う保護層１９５を設けることで、受光素子１１０及び発光素子１９０に水などの不純物が入り込むことを抑制し、受光素子１１０及び発光素子１９０の信頼性を高めることができる。

　表示装置１００Ｂの端部近傍の領域２２８において、絶縁層２１４の開口を介して、絶縁層２１５と保護層１９５とが互いに接することが好ましい。特に、絶縁層２１５が有する無機絶縁膜と保護層１９５が有する無機絶縁膜とが互いに接することが好ましい。これにより、有機絶縁膜を介して外部から表示部１６２に不純物が入り込むことを抑制することができる。したがって、表示装置１００Ｂの信頼性を高めることができる。

　図１６Ｂに、保護層１９５が３層構造である例を示す。図１６Ｂにおいて、保護層１９５は、共通電極１１５上の無機絶縁層１９５ａと、無機絶縁層１９５ａ上の有機絶縁層１９５ｂと、有機絶縁層１９５ｂ上の無機絶縁層１９５ｃと、を有する。

　無機絶縁層１９５ａの端部と無機絶縁層１９５ｃの端部は、有機絶縁層１９５ｂの端部よりも外側に延在し、互いに接している。そして、無機絶縁層１９５ａは、絶縁層２１４（有機絶縁層）の開口を介して、絶縁層２１５（無機絶縁層）と接する。これにより、絶縁層２１５と保護層１９５とで、受光素子１１０及び発光素子１９０を囲うことができるため、受光素子１１０及び発光素子１９０の信頼性を高めることができる。

　このように、保護層１９５は、有機絶縁膜と無機絶縁膜との積層構造であってもよい。このとき、有機絶縁膜の端部よりも無機絶縁膜の端部を外側に延在させることが好ましい。

　基板１５２の基板１５１側の面に、レンズ１４９が設けられている。レンズ１４９は、基板１５１側に凸面を有する。受光素子１１０の受光領域は、レンズ１４９と重なり、かつ、発光層１９３と重ならないことが好ましい。これにより、受光素子１１０を用いたセンサの感度及び精度を高めることができる。

　レンズ１４９は、１．３以上２．５以下の屈折率を有することが好ましい。レンズ１４９は、無機材料または有機材料を用いて形成することができる。例えば、樹脂を含む材料をレンズ１４９に用いることができる。また、酸化物または硫化物を含む材料をレンズ１４９に用いることができる。

　具体的には、塩素、臭素、またはヨウ素を含む樹脂、重金属原子を含む樹脂、芳香環を含む樹脂、硫黄を含む樹脂などをレンズ１４９に用いることができる。または、樹脂と当該樹脂より屈折率の高い材料のナノ粒子を含む材料をレンズ１４９に用いることができる。酸化チタンまたは酸化ジルコニウムなどをナノ粒子に用いることができる。

　また、酸化セリウム、酸化ハフニウム、酸化ランタン、酸化マグネシウム、酸化ニオブ、酸化タンタル、酸化チタン、酸化イットリウム、酸化亜鉛、インジウムとスズを含む酸化物、またはインジウムとガリウムと亜鉛を含む酸化物などを、レンズ１４９に用いることができる。または、硫化亜鉛などを、レンズ１４９に用いることができる。

　また、表示装置１００Ｂでは、保護層１９５と基板１５２とが接着層１４２によって貼り合わされている。接着層１４２は、受光素子１１０及び発光素子１９０とそれぞれ重ねて設けられており、表示装置１００Ｂには、固体封止構造が適用されている。

［表示装置１００Ｃ］
　図１７Ａに、表示装置１００Ｃの断面図を示す。

　表示装置１００Ｃは、トランジスタの構造が、表示装置１００Ｂと異なる。

　表示装置１００Ｃは、基板１５１上に、トランジスタ２０８、トランジスタ２０９、及びトランジスタ２１０を有する。

　トランジスタ２０８、トランジスタ２０９、及びトランジスタ２１０は、ゲートとして機能する導電層２２１、ゲート絶縁層として機能する絶縁層２１１、チャネル形成領域２３１ｉ及び一対の低抵抗領域２３１ｎを有する半導体層、一対の低抵抗領域２３１ｎの一方と接続する導電層２２２ａ、一対の低抵抗領域２３１ｎの他方と接続する導電層２２２ｂ、ゲート絶縁層として機能する絶縁層２２５、ゲートとして機能する導電層２２３、並びに、導電層２２３を覆う絶縁層２１５を有する。絶縁層２１１は、導電層２２１とチャネル形成領域２３１ｉとの間に位置する。絶縁層２２５は、導電層２２３とチャネル形成領域２３１ｉとの間に位置する。

　導電層２２２ａ及び導電層２２２ｂは、それぞれ、絶縁層２２５及び絶縁層２１５に設けられた開口を介して低抵抗領域２３１ｎと接続される。導電層２２２ａ及び導電層２２２ｂのうち、一方はソースとして機能し、他方はドレインとして機能する。

　発光素子１９０の画素電極１９１は、導電層２２２ｂを介してトランジスタ２０８の一対の低抵抗領域２３１ｎの一方と電気的に接続される。

　受光素子１１０の画素電極１１１は、導電層２２２ｂを介してトランジスタ２０９の一対の低抵抗領域２３１ｎの他方と電気的に接続される。

　図１７Ａでは、絶縁層２２５が半導体層の上面及び側面を覆う例を示す。一方、図１７Ｂでは、絶縁層２２５は、半導体層２３１のチャネル形成領域２３１ｉと重なり、低抵抗領域２３１ｎとは重ならない。例えば、導電層２２３をマスクに絶縁層２２５を加工することで、図１７Ｂに示す構造を作製できる。図１７Ｂでは、絶縁層２２５及び導電層２２３を覆って絶縁層２１５が設けられ、絶縁層２１５の開口を介して、導電層２２２ａ及び導電層２２２ｂがそれぞれ低抵抗領域２３１ｎと接続されている。さらに、トランジスタを覆う絶縁層２１８を設けてもよい。

［表示装置１００Ｄ］
　図１８に、表示装置１００Ｄの断面図を示す。

　表示装置１００Ｄは、基板１５１及び基板１５２を有さず、基板１５３、基板１５４、接着層１５５、及び絶縁層２１２を有する点で、及びレンズ１４９を有する点で、主に表示装置１００Ｃと異なる。

　基板１５３と絶縁層２１２とは接着層１５５によって貼り合わされている。基板１５４と保護層１９５とは接着層１４２によって貼り合わされている。

　表示装置１００Ｄは、作製基板上で形成された絶縁層２１２、トランジスタ２０８、トランジスタ２０９、受光素子１１０、及び発光素子１９０等を、基板１５３上に転置することで作製される構成である。基板１５３及び基板１５４は、それぞれ、可撓性を有することが好ましい。これにより、表示装置１００Ｄの可撓性を高めることができる。

　絶縁層２１２には、絶縁層２１１、絶縁層２１３、及び絶縁層２１５に用いることができる無機絶縁膜を用いることができる。

　また、表示装置１００Ｃでは、レンズ１４９を有さない例を示し、表示装置１００Ｄでは、レンズ１４９を有する例を示す。レンズ１４９はセンサの用途等に応じて適宜設けることができる。

［金属酸化物］
　以下では、半導体層に適用可能な金属酸化物について説明する。

　なお、本明細書等において、窒素を有する金属酸化物も金属酸化物（ｍｅｔａｌ　ｏｘｉｄｅ）と総称する場合がある。また、窒素を有する金属酸化物を、金属酸窒化物（ｍｅｔａｌ　ｏｘｙｎｉｔｒｉｄｅ）と呼称してもよい。例えば、亜鉛酸窒化物（ＺｎＯＮ）などの窒素を有する金属酸化物を、半導体層に用いてもよい。

　なお、本明細書等において、ＣＡＡＣ（ｃ−ａｘｉｓ　ａｌｉｇｎｅｄ　ｃｒｙｓｔａｌ）、及びＣＡＣ（Ｃｌｏｕｄ−Ａｌｉｇｎｅｄ　Ｃｏｍｐｏｓｉｔｅ）と記載する場合がある。ＣＡＡＣは結晶構造の一例を表し、ＣＡＣは機能または材料の構成の一例を表す。

　例えば、半導体層にはＣＡＣ（Ｃｌｏｕｄ−Ａｌｉｇｎｅｄ　Ｃｏｍｐｏｓｉｔｅ）−ＯＳを用いることができる。

　ＣＡＣ−ＯＳまたはＣＡＣ−ｍｅｔａｌ　ｏｘｉｄｅとは、材料の一部では導電性の機能と、材料の一部では絶縁性の機能とを有し、材料の全体では半導体としての機能を有する。なお、ＣＡＣ−ＯＳまたはＣＡＣ−ｍｅｔａｌ　ｏｘｉｄｅを、トランジスタの半導体層に用いる場合、導電性の機能は、キャリアとなる電子（またはホール）を流す機能であり、絶縁性の機能は、キャリアとなる電子を流さない機能である。導電性の機能と、絶縁性の機能とを、それぞれ相補的に作用させることで、スイッチングさせる機能（Ｏｎ／Ｏｆｆさせる機能）をＣＡＣ−ＯＳまたはＣＡＣ−ｍｅｔａｌ　ｏｘｉｄｅに付与することができる。ＣＡＣ−ＯＳまたはＣＡＣ−ｍｅｔａｌ　ｏｘｉｄｅにおいて、それぞれの機能を分離させることで、双方の機能を最大限に高めることができる。

　また、ＣＡＣ−ＯＳまたはＣＡＣ−ｍｅｔａｌ　ｏｘｉｄｅは、導電性領域、及び絶縁性領域を有する。導電性領域は、上述の導電性の機能を有し、絶縁性領域は、上述の絶縁性の機能を有する。また、材料中において、導電性領域と、絶縁性領域とは、ナノ粒子レベルで分離している場合がある。また、導電性領域と、絶縁性領域とは、それぞれ材料中に偏在する場合がある。また、導電性領域は、周辺がぼけてクラウド状に連結して観察される場合がある。

　また、ＣＡＣ−ＯＳまたはＣＡＣ−ｍｅｔａｌ　ｏｘｉｄｅにおいて、導電性領域と、絶縁性領域とは、それぞれ０．５ｎｍ以上１０ｎｍ以下、好ましくは０．５ｎｍ以上３ｎｍ以下のサイズで材料中に分散している場合がある。

　また、ＣＡＣ−ＯＳまたはＣＡＣ−ｍｅｔａｌ　ｏｘｉｄｅは、異なるバンドギャップを有する成分により構成される。例えば、ＣＡＣ−ＯＳまたはＣＡＣ−ｍｅｔａｌ　ｏｘｉｄｅは、絶縁性領域に起因するワイドギャップを有する成分と、導電性領域に起因するナローギャップを有する成分と、により構成される。当該構成の場合、キャリアを流す際に、ナローギャップを有する成分において、主にキャリアが流れる。また、ナローギャップを有する成分が、ワイドギャップを有する成分に相補的に作用し、ナローギャップを有する成分に連動してワイドギャップを有する成分にもキャリアが流れる。このため、上記ＣＡＣ−ＯＳまたはＣＡＣ−ｍｅｔａｌ　ｏｘｉｄｅをトランジスタのチャネル形成領域に用いる場合、トランジスタのオン状態において高い電流駆動力、つまり大きなオン電流、及び高い電界効果移動度を得ることができる。

　すなわち、ＣＡＣ−ＯＳまたはＣＡＣ−ｍｅｔａｌ　ｏｘｉｄｅは、マトリックス複合材（ｍａｔｒｉｘ　ｃｏｍｐｏｓｉｔｅ）、または金属マトリックス複合材（ｍｅｔａｌ　ｍａｔｒｉｘ　ｃｏｍｐｏｓｉｔｅ）と呼称することもできる。

　酸化物半導体（金属酸化物）は、単結晶酸化物半導体と、それ以外の非単結晶酸化物半導体と、に分けられる。非単結晶酸化物半導体としては、例えば、ＣＡＡＣ−ＯＳ（ｃ−ａｘｉｓ　ａｌｉｇｎｅｄ　ｃｒｙｓｔａｌｌｉｎｅ　ｏｘｉｄｅ　ｓｅｍｉｃｏｎｄｕｃｔｏｒ）、多結晶酸化物半導体、ｎｃ−ＯＳ（ｎａｎｏｃｒｙｓｔａｌｌｉｎｅ　ｏｘｉｄｅ　ｓｅｍｉｃｏｎｄｕｃｔｏｒ）、擬似非晶質酸化物半導体（ａ−ｌｉｋｅ　ＯＳ：ａｍｏｒｐｈｏｕｓ−ｌｉｋｅ　ｏｘｉｄｅ　ｓｅｍｉｃｏｎｄｕｃｔｏｒ）、及び非晶質酸化物半導体などがある。

　ＣＡＡＣ−ＯＳは、ｃ軸配向性を有し、かつａ−ｂ面方向において複数のナノ結晶が連結し、歪みを有した結晶構造となっている。なお、歪みとは、複数のナノ結晶が連結する領域において、格子配列の揃った領域と、別の格子配列の揃った領域と、の間で格子配列の向きが変化している箇所を指す。

　ナノ結晶は、六角形を基本とするが、正六角形状とは限らず、非正六角形状である場合がある。また、歪みにおいて、五角形及び七角形などの格子配列を有する場合がある。なお、ＣＡＡＣ−ＯＳにおいて、歪み近傍においても、明確な結晶粒界（グレインバウンダリーともいう。）を確認することは難しい。すなわち、格子配列の歪みによって、結晶粒界の形成が抑制されていることがわかる。これは、ＣＡＡＣ−ＯＳが、ａ−ｂ面方向において酸素原子の配列が稠密でないことや、金属元素が置換することで原子間の結合距離が変化することなどによって、歪みを許容することができるためである。

　また、ＣＡＡＣ−ＯＳは、インジウム、及び酸素を有する層（以下、Ｉｎ層）と、元素Ｍ、亜鉛、及び酸素を有する層（以下、（Ｍ，Ｚｎ）層）とが積層した、層状の結晶構造（層状構造ともいう）を有する傾向がある。なお、インジウムと元素Ｍは、互いに置換可能であり、（Ｍ，Ｚｎ）層の元素Ｍがインジウムと置換した場合、（Ｉｎ，Ｍ，Ｚｎ）層と表すこともできる。また、Ｉｎ層のインジウムが元素Ｍと置換した場合、（Ｉｎ，Ｍ）層と表すこともできる。

　ＣＡＡＣ−ＯＳは結晶性の高い金属酸化物である。一方、ＣＡＡＣ−ＯＳは、明確な結晶粒界を確認することが難しいため、結晶粒界に起因する電子移動度の低下が起こりにくいといえる。また、金属酸化物の結晶性は不純物の混入や欠陥の生成などによって低下する場合があるため、ＣＡＡＣ−ＯＳは不純物や欠陥（酸素欠損（Ｖ_Ｏ：ｏｘｙｇｅｎ　ｖａｃａｎｃｙともいう。）など）の少ない金属酸化物ともいえる。したがって、ＣＡＡＣ−ＯＳを有する金属酸化物は、物理的性質が安定する。そのため、ＣＡＡＣ−ＯＳを有する金属酸化物は熱に強く、信頼性が高い。

　ｎｃ−ＯＳは、微小な領域（例えば、１ｎｍ以上１０ｎｍ以下の領域、特に１ｎｍ以上３ｎｍ以下の領域）において原子配列に周期性を有する。また、ｎｃ−ＯＳは、異なるナノ結晶間で結晶方位に規則性が見られない。そのため、膜全体で配向性が見られない。したがって、ｎｃ−ＯＳは、分析方法によっては、ａ−ｌｉｋｅ　ＯＳや非晶質酸化物半導体と区別が付かない場合がある。

　なお、インジウムと、ガリウムと、亜鉛と、を有する金属酸化物の一種である、インジウム−ガリウム−亜鉛酸化物（以下、ＩＧＺＯ）は、上述のナノ結晶とすることで安定な構造をとる場合がある。特に、ＩＧＺＯは、大気中では結晶成長がし難い傾向があるため、大きな結晶（ここでは、数ｍｍの結晶、または数ｃｍの結晶）よりも小さな結晶（例えば、上述のナノ結晶）とする方が、構造的に安定となる場合がある。

　ａ−ｌｉｋｅ　ＯＳは、ｎｃ−ＯＳと非晶質酸化物半導体との間の構造を有する金属酸化物である。ａ−ｌｉｋｅ　ＯＳは、鬆または低密度領域を有する。すなわち、ａ−ｌｉｋｅ　ＯＳは、ｎｃ−ＯＳ及びＣＡＡＣ−ＯＳと比べて、結晶性が低い。

　酸化物半導体（金属酸化物）は、多様な構造をとり、それぞれが異なる特性を有する。本発明の一態様の酸化物半導体は、非晶質酸化物半導体、多結晶酸化物半導体、ａ−ｌｉｋｅ　ＯＳ、ｎｃ−ＯＳ、ＣＡＡＣ−ＯＳのうち、二種以上を有していてもよい。

　半導体層として機能する金属酸化物膜は、不活性ガス及び酸素ガスのいずれか一方または双方を用いて成膜することができる。なお、金属酸化物膜の成膜時における酸素の流量比（酸素分圧）に、特に限定はない。ただし、電界効果移動度が高いトランジスタを得る場合においては、金属酸化物膜の成膜時における酸素の流量比（酸素分圧）は、０％以上３０％以下が好ましく、５％以上３０％以下がより好ましく、７％以上１５％以下がさらに好ましい。

　金属酸化物は、エネルギーギャップが２ｅＶ以上であることが好ましく、２．５ｅＶ以上であることがより好ましく、３ｅＶ以上であることがさらに好ましい。このように、エネルギーギャップの広い金属酸化物を用いることで、トランジスタのオフ電流を低減することができる。

　金属酸化物膜の成膜時の基板温度は、３５０℃以下が好ましく、室温以上２００℃以下がより好ましく、室温以上１３０℃以下がさらに好ましい。金属酸化物膜の成膜時の基板温度が室温であると、生産性を高めることができ、好ましい。

　金属酸化物膜は、スパッタリング法により形成することができる。そのほか、例えばＰＬＤ法、ＰＥＣＶＤ法、熱ＣＶＤ法、ＡＬＤ法、真空蒸着法などを用いてもよい。

　以上のように、本実施の形態の表示装置は、表示部に受光素子と発光素子とを有し、表示部は画像を表示する機能と光を検出する機能との双方を有する。これにより、表示部の外部または表示装置の外部にセンサを設ける場合に比べて、電子機器の小型化及び軽量化を図ることができる。また、表示部の外部または表示装置の外部に設けるセンサと組み合わせて、より多機能の電子機器を実現することもできる。

　受光素子は、活性層以外の少なくとも一層を、発光素子（ＥＬ素子）と共通の構成にすることができる。さらには、受光素子は、活性層以外の全ての層を、発光素子（ＥＬ素子）と共通の構成にすることもできる。例えば、発光素子の作製工程に、活性層を成膜する工程を追加するのみで、発光素子と受光素子とを同一基板上に形成することができる。また、受光素子と発光素子は、画素電極と共通電極とを、それぞれ、同一の材料及び同一の工程で形成することができる。また、受光素子と電気的に接続される回路と、発光素子と電気的に接続される回路と、を、同一の材料及び同一の工程で作製することで、表示装置の作製工程を簡略化できる。このように、複雑な工程を有さなくとも、受光素子を内蔵し、利便性の高い表示装置を作製することができる。

　また、本実施の形態の表示装置は、受光素子と発光素子との間に、有色層を有する。当該有色層は、受光素子と発光素子とを電気的に絶縁する隔壁が兼ねていてもよい。有色層は、表示装置内の迷光を吸収することができるため、受光素子を用いたセンサの感度を高めることができる。

　本実施の形態で例示した構成例、及びそれらに対応する図面等は、少なくともその一部を他の構成例、または図面等と適宜組み合わせて実施することができる。

　本実施の形態は、少なくともその一部を本明細書中に記載する他の実施の形態と適宜組み合わせて実施することができる。

（実施の形態３）
　本実施の形態では、本発明の一態様の表示装置について、図１９を用いて説明する。

　本発明の一態様の表示装置は、受光素子を有する第１の画素回路と、発光素子を有する第２の画素回路と、を有する。第１の画素回路と第２の画素回路は、それぞれ、マトリクス状に配置される。

　図１９Ａに、受光素子を有する第１の画素回路の一例を示し、図１９Ｂに、発光素子を有する第２の画素回路の一例を示す。

　図１９Ａに示す画素回路ＰＩＸ１は、受光素子ＰＤ、トランジスタＭ１、トランジスタＭ２、トランジスタＭ３、トランジスタＭ４、及び容量素子Ｃ１を有する。ここでは、受光素子ＰＤとして、フォトダイオードを用いた例を示している。

　受光素子ＰＤは、アノードが配線Ｖ１と電気的に接続し、カソードがトランジスタＭ１のソースまたはドレインの一方と電気的に接続する。トランジスタＭ１は、ゲートが配線ＴＸと電気的に接続し、ソースまたはドレインの他方が容量素子Ｃ１の一方の電極、トランジスタＭ２のソースまたはドレインの一方、及びトランジスタＭ３のゲートと電気的に接続する。トランジスタＭ２は、ゲートが配線ＲＥＳと電気的に接続し、ソースまたはドレインの他方が配線Ｖ２と電気的に接続する。トランジスタＭ３は、ソースまたはドレインの一方が配線Ｖ３と電気的に接続し、ソースまたはドレインの他方がトランジスタＭ４のソースまたはドレインの一方と電気的に接続する。トランジスタＭ４は、ゲートが配線ＳＥと電気的に接続し、ソースまたはドレインの他方が配線ＯＵＴ１と電気的に接続する。

　配線Ｖ１、配線Ｖ２、及び配線Ｖ３には、それぞれ定電位が供給される。受光素子ＰＤを逆バイアスで駆動させる場合には、配線Ｖ２に、配線Ｖ１の電位よりも高い電位を供給する。トランジスタＭ２は、配線ＲＥＳに供給される信号により制御され、トランジスタＭ３のゲートに接続するノードの電位を、配線Ｖ２に供給される電位にリセットする機能を有する。トランジスタＭ１は、配線ＴＸに供給される信号により制御され、受光素子ＰＤに流れる電流に応じて上記ノードの電位が変化するタイミングを制御する機能を有する。トランジスタＭ３は、上記ノードの電位に応じた出力を行う増幅トランジスタとして機能する。トランジスタＭ４は、配線ＳＥに供給される信号により制御され、上記ノードの電位に応じた出力を配線ＯＵＴ１に接続する外部回路で読み出すための選択トランジスタとして機能する。

　図１９Ｂに示す画素回路ＰＩＸ２は、発光素子ＥＬ、トランジスタＭ５、トランジスタＭ６、トランジスタＭ７、及び容量素子Ｃ２を有する。ここでは、発光素子ＥＬとして、発光ダイオードを用いた例を示している。特に、発光素子ＥＬとして、有機ＥＬ素子を用いることが好ましい。

　トランジスタＭ５は、ゲートが配線ＶＧと電気的に接続し、ソースまたはドレインの一方が配線ＶＳと電気的に接続し、ソースまたはドレインの他方が、容量素子Ｃ２の一方の電極、及びトランジスタＭ６のゲートと電気的に接続する。トランジスタＭ６のソースまたはドレインの一方は配線Ｖ４と電気的に接続し、他方は、発光素子ＥＬのアノード、及びトランジスタＭ７のソースまたはドレインの一方と電気的に接続する。トランジスタＭ７は、ゲートが配線ＭＳと電気的に接続し、ソースまたはドレインの他方が配線ＯＵＴ２と電気的に接続する。発光素子ＥＬのカソードは、配線Ｖ５と電気的に接続する。

　配線Ｖ４及び配線Ｖ５には、それぞれ定電位が供給される。発光素子ＥＬのアノード側を高電位に、カソード側をアノード側よりも低電位にすることができる。トランジスタＭ５は、配線ＶＧに供給される信号により制御され、画素回路ＰＩＸ２の選択状態を制御するための選択トランジスタとして機能する。また、トランジスタＭ６は、ゲートに供給される電位に応じて発光素子ＥＬに流れる電流を制御する駆動トランジスタとして機能する。トランジスタＭ５が導通状態のとき、配線ＶＳに供給される電位がトランジスタＭ６のゲートに供給され、その電位に応じて発光素子ＥＬの発光輝度を制御することができる。トランジスタＭ７は配線ＭＳに供給される信号により制御され、トランジスタＭ６と発光素子ＥＬとの間の電位を、配線ＯＵＴ２を介して外部に出力する機能を有する。

　なお、本実施の形態の表示装置では、発光素子をパルス状に発光させることで、画像を表示してもよい。発光素子の駆動時間を短縮することで、表示装置の消費電力の低減、及び、発熱の抑制を図ることができる。特に、有機ＥＬ素子は周波数特性が優れているため、好適である。周波数は、例えば、１ｋＨｚ以上１００ＭＨｚ以下とすることができる。

　ここで、画素回路ＰＩＸ１が有するトランジスタＭ１、トランジスタＭ２、トランジスタＭ３、及びトランジスタＭ４、並びに、画素回路ＰＩＸ２が有するトランジスタＭ５、トランジスタＭ６、及びトランジスタＭ７には、それぞれチャネルが形成される半導体層に金属酸化物（酸化物半導体）を用いたトランジスタを適用することが好ましい。

　シリコンよりもバンドギャップが広く、かつキャリア密度の小さい金属酸化物を用いたトランジスタは、極めて小さいオフ電流を実現することができる。そのため、その小さいオフ電流により、トランジスタと直列に接続された容量素子に蓄積した電荷を長期間に亘って保持することが可能である。そのため、特に容量素子Ｃ１または容量素子Ｃ２に直列に接続されるトランジスタＭ１、トランジスタＭ２、及びトランジスタＭ５には、酸化物半導体が適用されたトランジスタを用いることが好ましい。また、これ以外のトランジスタも同様に酸化物半導体を適用したトランジスタを用いることで、作製コストを低減することができる。

　また、トランジスタＭ１乃至トランジスタＭ７に、チャネルが形成される半導体にシリコンを適用したトランジスタを用いることもできる。特に単結晶シリコンや多結晶シリコンなどの結晶性の高いシリコンを用いることで、高い電界効果移動度を実現することができ、より高速な動作が可能となるため好ましい。

　また、トランジスタＭ１乃至トランジスタＭ７のうち、一以上に酸化物半導体を適用したトランジスタを用い、それ以外にシリコンを適用したトランジスタを用いる構成としてもよい。

　なお、図１９Ａ及び図１９Ｂにおいて、トランジスタをｎチャネル型のトランジスタとして表記しているが、ｐチャネル型のトランジスタを用いることもできる。

　画素回路ＰＩＸ１が有するトランジスタと画素回路ＰＩＸ２が有するトランジスタは、同一基板上に並べて形成されることが好ましい。特に、画素回路ＰＩＸ１が有するトランジスタと画素回路ＰＩＸ２が有するトランジスタとを１つの領域内に混在させて周期的に配列する構成とすることが好ましい。

　また、受光素子ＰＤまたは発光素子ＥＬと重なる位置に、トランジスタ及び容量素子の一方又は双方を有する層を１つまたは複数設けることが好ましい。これにより、各画素回路の実効的な占有面積を小さくでき、高精細な受光部または表示部を実現できる。

　本実施の形態は、少なくともその一部を本明細書中に記載する他の実施の形態と適宜組み合わせて実施することができる。

（実施の形態４）
　本実施の形態では、本発明の一態様の電子機器について、図２０~図２２を用いて説明する。

　本実施の形態の電子機器は、本発明の一態様の表示装置を有する。例えば、電子機器の表示部に、本発明の一態様の表示装置を適用することができる。本発明の一態様の表示装置は、光を検出する機能を有するため、表示部で生体認証を行うこと、または、タッチもしくはニアタッチを検出することができる。これにより、電子機器の機能性や利便性などを高めることができる。

　電子機器としては、例えば、テレビジョン装置、デスクトップ型もしくはノート型のパーソナルコンピュータ、コンピュータ用などのモニタ、デジタルサイネージ、パチンコ機などの大型ゲーム機などの比較的大きな画面を備える電子機器の他、デジタルカメラ、デジタルビデオカメラ、デジタルフォトフレーム、携帯電話機、携帯型ゲーム機、携帯情報端末、音響再生装置、などが挙げられる。

　本実施の形態の電子機器は、センサ（力、変位、位置、速度、加速度、角速度、回転数、距離、光、液、磁気、温度、化学物質、音声、時間、硬度、電場、電流、電圧、電力、放射線、流量、湿度、傾度、振動、においまたは赤外線を測定する機能を含むもの）を有していてもよい。

　本実施の形態の電子機器は、様々な機能を有することができる。例えば、様々な情報（静止画、動画、テキスト画像など）を表示部に表示する機能、タッチパネル機能、カレンダー、日付または時刻などを表示する機能、様々なソフトウェア（プログラム）を実行する機能、無線通信機能、記録媒体に記録されているプログラムまたはデータを読み出す機能等を有することができる。

　図２０Ａに示す電子機器６５００は、スマートフォンとして用いることのできる携帯情報端末機である。

　電子機器６５００は、筐体６５０１、表示部６５０２、電源ボタン６５０３、ボタン６５０４、スピーカ６５０５、マイク６５０６、カメラ６５０７、及び光源６５０８等を有する。表示部６５０２はタッチパネル機能を備える。

　表示部６５０２に、本発明の一態様の表示装置を適用することができる。

　図２０Ｂは、筐体６５０１のマイク６５０６側の端部を含む断面概略図である。

　筐体６５０１の表示面側には透光性を有する保護部材６５１０が設けられ、筐体６５０１と保護部材６５１０に囲まれた空間内に、表示パネル６５１１、光学部材６５１２、タッチセンサパネル６５１３、プリント基板６５１７、バッテリ６５１８等が配置されている。

　保護部材６５１０には、表示パネル６５１１、光学部材６５１２、及びタッチセンサパネル６５１３が接着層（図示しない）により固定されている。

　表示部６５０２よりも外側の領域において、表示パネル６５１１の一部が折り返されており、当該折り返された部分にＦＰＣ６５１５が接続されている。ＦＰＣ６５１５には、ＩＣ６５１６が実装されている。ＦＰＣ６５１５は、プリント基板６５１７に設けられた端子に接続されている。

　表示パネル６５１１には本発明の一態様のフレキシブルディスプレイを適用することができる。そのため、極めて軽量な電子機器を実現できる。また、表示パネル６５１１が極めて薄いため、電子機器の厚さを抑えつつ、大容量のバッテリ６５１８を搭載することもできる。また、表示パネル６５１１の一部を折り返して、画素部の裏側にＦＰＣ６５１５との接続部を配置することにより、狭額縁の電子機器を実現できる。

　図２１Ａにテレビジョン装置の一例を示す。テレビジョン装置７１００は、筐体７１０１に表示部７０００が組み込まれている。ここでは、スタンド７１０３により筐体７１０１を支持した構成を示している。

　表示部７０００に、本発明の一態様の表示装置を適用することができる。

　図２１Ａに示すテレビジョン装置７１００の操作は、筐体７１０１が備える操作スイッチや、別体のリモコン操作機７１１１により行うことができる。または、表示部７０００にタッチセンサを備えていてもよく、指等で表示部７０００に触れることでテレビジョン装置７１００を操作してもよい。リモコン操作機７１１１は、当該リモコン操作機７１１１から出力する情報を表示する表示部を有していてもよい。リモコン操作機７１１１が備える操作キーまたはタッチパネルにより、チャンネル及び音量の操作を行うことができ、表示部７０００に表示される映像を操作することができる。

　なお、テレビジョン装置７１００は、受信機及びモデムなどを備えた構成とする。受信機により一般のテレビ放送の受信を行うことができる。また、モデムを介して有線または無線による通信ネットワークに接続することにより、一方向（送信者から受信者）または双方向（送信者と受信者間、あるいは受信者間同士など）の情報通信を行うことも可能である。

　図２１Ｂに、ノート型パーソナルコンピュータの一例を示す。ノート型パーソナルコンピュータ７２００は、筐体７２１１、キーボード７２１２、ポインティングデバイス７２１３、外部接続ポート７２１４等を有する。筐体７２１１に、表示部７０００が組み込まれている。

　表示部７０００に、本発明の一態様の表示装置を適用することができる。

　図２１Ｃ及び図２１Ｄに、デジタルサイネージの一例を示す。

　図２１Ｃに示すデジタルサイネージ７３００は、筐体７３０１、表示部７０００、及びスピーカ７３０３等を有する。さらに、ＬＥＤランプ、操作キー（電源スイッチ、または操作スイッチを含む）、接続端子、各種センサ、マイクロフォン等を有することができる。

　図２１Ｄは円柱状の柱７４０１に取り付けられたデジタルサイネージ７４００である。デジタルサイネージ７４００は、柱７４０１の曲面に沿って設けられた表示部７０００を有する。

　図２１Ｃ及び図２１Ｄにおいて、表示部７０００に、本発明の一態様の表示装置を適用することができる。

　表示部７０００が広いほど、一度に提供できる情報量を増やすことができる。また、表示部７０００が広いほど、人の目につきやすく、例えば、広告の宣伝効果を高めることができる。

　表示部７０００にタッチパネルを適用することで、表示部７０００に画像または動画を表示するだけでなく、ユーザーが直感的に操作することができ、好ましい。また、路線情報もしくは交通情報などの情報を提供するための用途に用いる場合には、直感的な操作によりユーザビリティを高めることができる。

　また、図２１Ｃ及び図２１Ｄに示すように、デジタルサイネージ７３００またはデジタルサイネージ７４００は、ユーザーが所持するスマートフォン等の情報端末機７３１１または情報端末機７４１１と無線通信により連携可能であることが好ましい。例えば、表示部７０００に表示される広告の情報を、情報端末機７３１１または情報端末機７４１１の画面に表示させることができる。また、情報端末機７３１１または情報端末機７４１１を操作することで、表示部７０００の表示を切り替えることができる。

　また、デジタルサイネージ７３００またはデジタルサイネージ７４００に、情報端末機７３１１または情報端末機７４１１の画面を操作手段（コントローラ）としたゲームを実行させることもできる。これにより、不特定多数のユーザーが同時にゲームに参加し、楽しむことができる。

　図２２Ａ乃至図２２Ｆに示す電子機器は、筐体９０００、表示部９００１、スピーカ９００３、操作キー９００５（電源スイッチ、または操作スイッチを含む）、接続端子９００６、センサ９００７（力、変位、位置、速度、加速度、角速度、回転数、距離、光、液、磁気、温度、化学物質、音声、時間、硬度、電場、電流、電圧、電力、放射線、流量、湿度、傾度、振動、においまたは赤外線を測定する機能を含むもの）、マイクロフォン９００８、等を有する。

　図２２Ａ乃至図２２Ｆに示す電子機器は、様々な機能を有する。例えば、様々な情報（静止画、動画、テキスト画像など）を表示部に表示する機能、タッチパネル機能、カレンダー、日付または時刻などを表示する機能、様々なソフトウェア（プログラム）によって処理を制御する機能、無線通信機能、記録媒体に記録されているプログラムまたはデータを読み出して処理する機能、等を有することができる。なお、電子機器の機能はこれらに限られず、様々な機能を有することができる。電子機器は、複数の表示部を有していてもよい。また、電子機器にカメラ等を設け、静止画や動画を撮影し、記録媒体（外部またはカメラに内蔵）に保存する機能、撮影した画像を表示部に表示する機能、等を有していてもよい。

　図２２Ａ乃至図２２Ｆに示す電子機器の詳細について、以下説明を行う。

　図２２Ａは、携帯情報端末９１０１を示す斜視図である。携帯情報端末９１０１は、例えばスマートフォンとして用いることができる。なお、携帯情報端末９１０１は、スピーカ９００３、接続端子９００６、センサ９００７等を設けてもよい。また、携帯情報端末９１０１は、文字や画像情報をその複数の面に表示することができる。図２２Ａでは３つのアイコン９０５０を表示した例を示している。また、破線の矩形で示す情報９０５１を表示部９００１の他の面に表示することもできる。情報９０５１の一例としては、電子メール、ＳＮＳ、電話などの着信の通知、電子メールやＳＮＳなどの題名、送信者名、日時、時刻、バッテリの残量、アンテナ受信の強度などがある。または、情報９０５１が表示されている位置にはアイコン９０５０などを表示してもよい。

　図２２Ｂは、携帯情報端末９１０２を示す斜視図である。携帯情報端末９１０２は、表示部９００１の３面以上に情報を表示する機能を有する。ここでは、情報９０５２、情報９０５３、情報９０５４がそれぞれ異なる面に表示されている例を示す。例えばユーザーは、洋服の胸ポケットに携帯情報端末９１０２を収納した状態で、携帯情報端末９１０２の上方から観察できる位置に表示された情報９０５３を確認することもできる。ユーザーは、携帯情報端末９１０２をポケットから取り出すことなく表示を確認し、例えば電話を受けるか否かを判断できる。

　図２２Ｃは、腕時計型の携帯情報端末９２００を示す斜視図である。携帯情報端末９２００は、例えばスマートウォッチとして用いることができる。また、表示部９００１はその表示面が湾曲して設けられ、湾曲した表示面に沿って表示を行うことができる。また、携帯情報端末９２００は、例えば無線通信可能なヘッドセットと相互通信することによって、ハンズフリーで通話することもできる。また、携帯情報端末９２００は、接続端子９００６により、他の情報端末と相互にデータ伝送を行うことや、充電を行うこともできる。なお、充電動作は無線給電により行ってもよい。

　図２２Ｄ乃至図２２Ｆは、折り畳み可能な携帯情報端末９２０１を示す斜視図である。また、図２２Ｄは携帯情報端末９２０１を展開した状態、図２２Ｆは折り畳んだ状態、図２２Ｅは図２２Ｄと図２２Ｆの一方から他方に変化する途中の状態の斜視図である。携帯情報端末９２０１は、折り畳んだ状態では可搬性に優れ、展開した状態では継ぎ目のない広い表示領域により表示の一覧性に優れる。携帯情報端末９２０１が有する表示部９００１は、ヒンジ９０５５によって連結された３つの筐体９０００に支持されている。例えば、表示部９００１は、曲率半径０．１ｍｍ以上１５０ｍｍ以下で曲げることができる。

　本実施の形態で例示した構成例、及びそれらに対応する図面等は、少なくともその一部を他の構成例、または図面等と適宜組み合わせて実施することができる。

　本実施の形態は、少なくともその一部を本明細書中に記載する他の実施の形態と適宜組み合わせて実施することができる。

　本実施例では、本発明の一態様の画像処理方法により、画像処理を行なった結果について説明する。

　図２３Ａに、指紋の一部を撮像した元画像を示す。図２３Ａに示す元画像の画像データは、画像サイズが５１×４３ピクセルであり、各画素８ｂｉｔ（２５６）階調の単色のグレースケールのビットマップデータである。

　続いて、上記元画像の画像データから、仮想的にぼやけが生じた画像データを生成した。具体的には、１つのピクセルの階調値を、当該ピクセルを中心とした３×３ピクセルの階調値を足し合わせた階調値となるように、画像データを生成した。この処理は、実施の形態１で例示した撮像モジュールにおいて、１つの撮像素子の撮像領域が、画素ピッチの３倍の範囲であると仮定した場合に相当する。

　図２３Ｂに、処理を行なった画像データの画像を示している。ここでは、各画素の階調値が８ｂｉｔとなるようにダウンコンバートした画像データの画像を示している。図２３Ｂに示すように、元画像に比べて輪郭がぼやけ、コントラストが低下した画像が得られた。

　続いて、図２３Ｂに対して、実施の形態１の例２で例示した方法を用いて、画像処理を行なった。ここでは、図２３Ａに示す元画像の画像データにおける、上側３列、及び左側３列の画素の階調値を初期値として与えることで、帰納的に残りの画素の階調値を決定した。

　図２３Ｃに、画像補正後の画像データの画像を示す。なお図２３Ｃ中の破線で囲った上側３列、及び左側３列の画素は、初期値として与えられた図２３Ａの元画像の一部である。図２３Ｃに示すように、破線で囲った範囲以外の領域の画像は、元画像である図２３Ａとほぼ一致し、正確に復元できていることが分かる。

　以上により、本発明の一態様の画像処理方法を用いることにより、ぼやけが生じた画像を鮮明化することができることが確認できた。

ＩＳ：撮像モジュール、Ｄ_０、Ｄ_１：画像、Ｐ_ｉ、Ｐ_ｉｊ：撮像素子、Ａ_ｉ、Ａ_ｉｊ：領域、Ｓ_ｉ、Ｓ_ｉｊ：領域、Ｘ_ｉ、Ｘ_ｉｊ：領域、Ｙ_ｉ、Ｙ_ｉｊ：領域、Ｗ_Ｐ：ピッチ、Ｗ_Ａ：幅、８００：撮像装置、８０１：撮像部、８０２：制御部、８０３：記憶部、８０４：プログラム、８０５：出力部

Claims (9)

1. 　複数の画素が配列した画像データの画像処理方法であって、
   　隣接する２つの画素を、それぞれ同じ画素値を示す第１の領域と、それ以外の第２の領域と、に分け、
   　前記画像データの最も端に位置する画素の前記第２の領域に初期値を与え、
   　当該初期値に基づいて、配列する複数の画素の前記第１の領域及び前記第２の領域の画素値を、帰納的に順次決定する、
   　画像処理方法。
2. 　複数の画素がマトリクス状に配列した画像データの画像処理方法であって、
   　２×２の画素を、それぞれ隣り合う画素と同じ画素値を示す第１の領域と、それ以外の第２の領域と、に分け、
   　前記画像データの最も端に位置する２×２の画素のうち、最外周に位置する３つの画素の前記第２の領域にそれぞれ初期値を与え、当該初期値に基づいて、残りの１つの画素の前記第１の領域及び前記第２の領域の画素値を決定し、
   　決定された前記第１の領域及び前記第２の領域の画素値に基づいて、配列する複数の画素の前記第１の領域及び前記第２の領域の画素値を、帰納的に順次決定する、
   　画像処理方法。
3. 　複数の画素が配列した画像データの画像処理方法であって、
   　前記画像データは、最も端に位置し、第１の画素値を有する第１の画素と、前記第１の画素に隣接し、第２の画素値を有する第２の画素と、を有し、
   　前記第１の画素を、第３の画素値を有する第１の領域と、第４の画素値を有する第２の領域と、に分け、
   　前記第２の画素を、第５の画素値を有する第３の領域と、前記第２の領域と、に分け、
   　前記第３の画素値に初期値を与えることで、前記第１の画素値、前記第２の画素値、及び前記第３の画素値から、前記第５の画素値を決定する、
   　画像処理方法。
4. 　請求項１において、
   　前記画像データは、前記第２の画素に隣接し、第６の画素値を有する第３の画素を有し、
   　前記第２の画素を、第７の画素値を有する第４の領域と、第８の画素値を有する第５の領域と、に分け、
   　前記第３の画素を、第９の画素値を有する第６の領域と、前記第５の領域と、に分け、
   　前記第１の画素値、前記第２の画素値、及び前記第３の画素値から、前記第４の画素値を決定し、
   　前記第２の画素値、前記第４の画素値、前記第５の画素値、前記第６の画素値から、前記第９の画素値を決定する、
   　画像処理方法。
5. 　複数の画素が配列した画像データを読み出すステップと、
   　隣接する２つの画素を、それぞれ同じ画素値を示す第１の領域と、それ以外の第２の領域と、に分けるステップと、
   　前記画像データの最も端に位置する画素の前記第２の領域に初期値を与えるステップと、
   　当該初期値に基づいて、配列する複数の画素の前記第１の領域及び前記第２の領域の画素値を、帰納的に順次決定するステップと、を、
   　コンピュータに実行させるための、プログラム。
6. 　複数の画素がマトリクス状に配列した画像データを読み出すステップと、
   　２×２の画素を、それぞれ隣り合う画素と同じ画素値を示す第１の領域と、それ以外の第２の領域と、に分けるステップと、
   　前記画像データの最も端に位置する２×２の画素のうち、最外周に位置する３つの画素の前記第２の領域にそれぞれ初期値を与えるステップと、
   　前記初期値に基づいて、残りの１つの画素の前記第１の領域及び前記第２の領域の画素値を決定するステップと、
   　決定された前記第１の領域及び前記第２の領域の画素値に基づいて、配列する複数の画素の前記第１の領域及び前記第２の領域の画素値を、帰納的に順次決定するステップと、を、
   　コンピュータに実行させるための、プログラム。
7. 　複数の画素が配列した画像データであって、最も端に位置し、第１の画素値を有する第１の画素と、前記第１の画素に隣接し、第２の画素値を有する第２の画素と、を有する前記画像データを読み出すステップと、
   　前記第１の画素を、第３の画素値を有する第１の領域と、第４の画素値を有する第２の領域と、に分けるステップと、
   　前記第２の画素を、第５の画素値を有する第３の領域と、前記第２の領域と、に分けるステップと、
   　前記第３の画素値に初期値を与えるステップと、
   　前記第１の画素値、前記第２の画素値、及び前記第３の画素値から、前記第５の画素値を決定するステップと、を、
   　コンピュータに実行させるための、プログラム。
8. 　請求項７において、
   　前記画像データは、前記第２の画素に隣接し、第６の画素値を有する第３の画素を有し、
   　前記第２の画素を、第７の画素値を有する第４の領域と、第８の画素値を有する第５の領域と、に分けるステップと、
   　前記第３の画素を、第９の画素値を有する第６の領域と、前記第５の領域と、に分けるステップと、
   　前記第１の画素値、前記第２の画素値、及び前記第３の画素値から、前記第４の画素値を決定するステップと、
   　前記第２の画素値、前記第４の画素値、前記第５の画素値、前記第６の画素値から、前記第９の画素値を決定するステップと、を有する、
   　プログラム。
9. 　請求項５乃至請求項８のいずれか一に記載のプログラムが格納された記憶部と、
   　前記プログラムを実行する制御部と、
   　前記画像データを撮像する撮像部と、を有する撮像装置であって、
   　前記撮像部は、それぞれ画素に対応する画素値を取得する複数の画素回路を有し、
   　隣接する２つの前記画素回路は、互いの撮像範囲の一部が重複する、
   　撮像装置。

Images