KR20210022642A - 정보 처리 방법, 화상 표시 방법, 정보 처리 장치, 및 화상 표시 장치 - Google Patents

정보 처리 방법, 화상 표시 방법, 정보 처리 장치, 및 화상 표시 장치 Download PDF

Info

Publication number
KR20210022642A
KR20210022642A KR1020217000893A KR20217000893A KR20210022642A KR 20210022642 A KR20210022642 A KR 20210022642A KR 1020217000893 A KR1020217000893 A KR 1020217000893A KR 20217000893 A KR20217000893 A KR 20217000893A KR 20210022642 A KR20210022642 A KR 20210022642A
Authority
KR
South Korea
Prior art keywords
user
transistor
emotion
unit
light
Prior art date
Application number
KR1020217000893A
Other languages
English (en)
Inventor
순페이 야마자키
다이스케 쿠보타
요시아키 오이카와
켄스케 요시즈미
Original Assignee
가부시키가이샤 한도오따이 에네루기 켄큐쇼
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시키가이샤 한도오따이 에네루기 켄큐쇼 filed Critical 가부시키가이샤 한도오따이 에네루기 켄큐쇼
Publication of KR20210022642A publication Critical patent/KR20210022642A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06K9/00268—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06K9/00302—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14678—Contact-type imagers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/66—Transforming electric information into light information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Power Engineering (AREA)
  • Computer Hardware Design (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Control Of El Displays (AREA)
  • Image Analysis (AREA)

Abstract

감정의 변화에 따른 집중력의 저하를 억제하는 것. 사람의 감정의 변화를 적합하게 완화시키는 것. 사용자 얼굴의 일부(특히 눈, 또는 눈 및 그 주변) 또는 전부를 검출하고, 검출한 얼굴의 일부 또는 전부의 정보로부터 사용자 얼굴의 특징을 추출하고, 추출한 얼굴의 특징으로부터 사용자의 감정을 추정한다. 또한 추정된 감정이, 예를 들어 집중력 등을 저하시킬 우려가 있는 감정인 경우에 사용자에게 집중력을 회복시키도록 사용자의 시각, 청각, 촉각, 후각 등에 대하여 자극을 준다.

Description

정보 처리 방법, 화상 표시 방법, 정보 처리 장치, 및 화상 표시 장치
본 발명의 일 형태는 화상의 표시 방법에 관한 것이다. 본 발명의 일 형태는 화상 표시 장치에 관한 것이다. 본 발명의 일 형태는 표정 인식 기술에 관한 것이다.
또한 본 발명의 일 형태는 상기 기술분야에 한정되지 않는다. 본 명세서 등에서 개시(開示)하는 본 발명의 일 형태의 기술분야로서는 반도체 장치, 표시 장치, 발광 장치, 축전 장치, 기억 장치, 전자 기기, 조명 장치, 입력 장치, 입출력 장치, 이들의 구동 방법, 또는 이들의 제조 방법을 일례로서 들 수 있다. 반도체 장치란 반도체 특성을 이용함으로써 기능할 수 있는 장치 전반을 가리킨다.
얼굴의 촬상 화상으로부터 표정 인식을 수행하는 기술이 알려져 있다. 예를 들어 디지털 카메라 등에서 피사체가 웃는 순간이나, 피사체가 카메라 쪽으로 시선을 돌린 순간에 자동적으로 촬상하는 기술에, 표정 인식이 응용되어 있다.
표정 인식의 기술로서는, 예를 들어 얼굴의 특징점을 검출하고, 그 특징점에 의거하여 높은 정밀도로 표정을 인식하는 기술이 특허문헌 1에 개시되어 있다.
일본 공개특허공보 특개2007-087346호
사람의 행동은 그때그때의 감정으로 좌우된다. 많은 경우, 사람은 무의식적으로 감정을 컨트롤할 수 있기 때문에 감정의 변화를 유인하는 자극을 받은 경우에, 그것이 비교적으로 작을 때는 평상심을 유지할 수 있다. 그렇지만 감정의 변화를 유인하는 자극이 큰 경우에는 감정을 잘 컨트롤하지 못하여 무의식적으로 감정에 따른 행동이 나오게 될 우려가 있다.
이와 같은 감정 변화의 결과, 집중력이 저하될 경우가 있다. 예를 들어 집중력이 저하되면 같은 작업을 수행하는 경우에도 작업의 능률이나 정밀도의 저하가 발생된다. 그리고, 때로는 감정에 의거한 집중력의 저하가 사고나 재해를 일으키는 경우가 있다. 특히 자동차 등을 운전하고 있는 경우에는, 집중력의 저하는 매우 위험한 사고로 이어질 가능성이 있다.
본 발명의 일 형태는 감정의 변화에 따른 집중력의 저하를 억제하는 장치 또는 방법을 제공하는 것을 과제 중 하나로 한다. 또는 본 발명의 일 형태는 사람의 감정의 변화를 적합하게 완화시킬 수 있는 장치 또는 방법을 과제 중 하나로 한다.
또는 본 발명의 일 형태는 신규 화상 표시 방법을 제공하는 것을 과제 중 하나로 한다. 또는 신규 화상 표시 장치를 제공하는 것을 과제 중 하나로 한다.
또한 이들 과제의 기재는 다른 과제의 존재를 방해하는 것은 아니다. 또한 본 발명의 일 형태는 이들 과제 모두를 해결할 필요는 없다. 또한 이들 외의 과제는 명세서, 도면, 청구항 등의 기재로부터 추출할 수 있다.
본 발명의 일 형태는 사용자 얼굴의 일부를 검출하고, 검출한 얼굴의 일부로부터 사용자 얼굴의 특징을 추출하고, 그 특징으로부터 사용자의 감정을 추정한 다음에 추정된 감정에 따라 사용자에게 제시하는 정보를 결정하는 정보 처리 방법이다.
또한 상기에서 사용자 얼굴의 일부는 눈, 또는 눈 및 그 주변인 것이 바람직하다.
또한 본 발명의 다른 일 형태는 사용자 얼굴의 일부를 검출하고, 검출한 얼굴의 일부로부터 사용자 얼굴의 특징을 추출하고, 그 특징으로부터 사용자의 감정을 추정한 다음에 추정된 감정에 따라 사용자에게 제시하는 화상을 결정하는 화상 표시 방법이다.
또한 상기에서 추정된 감정에 조바심, 초조, 노여움, 분노, 슬픔, 흥분, 불안, 두려움, 불만, 괴로움, 및 공허 중 적어도 하나가 포함되는 경우에 사용자에게 상기 감정을 완화시키는 화상을 제시하는 것이 바람직하다.
또는 추정된 감정에 조바심, 초조, 노여움, 분노, 슬픔, 흥분, 불안, 두려움, 불만, 괴로움, 및 공허 중 적어도 하나가 포함되는 경우에 상기 감정을 사용자에게 인지시키는 화상을 제시하는 것이 바람직하다.
또한 상기에서 특징의 추출은 뉴럴 네트워크를 사용한 추론에 의하여 수행되는 것이 바람직하다.
또한 상기에서 감정의 추정은 뉴럴 네트워크를 사용한 추론에 의하여 수행되는 것이 바람직하다.
또한 본 발명의 다른 일 형태는 사용자에게 정보를 제시하는 정보 제시부와, 사용자 얼굴의 일부를 검출하는 피사체 검출부와, 검출한 사용자 얼굴의 일부로부터 사용자 얼굴의 특징을 추출하는 특징 추출부와, 추출된 특징으로부터 사용자의 감정을 추정하는 감정 추정부와, 추정된 감정에 따라 사용자에게 제시하는 정보를 생성하는 정보 생성부를 가지는 정보 처리 장치이다.
또한 본 발명의 다른 일 형태는 사용자에게 화상을 제공하는 화상 표시부와, 사용자 얼굴의 일부를 검출하는 피사체 검출부와, 검출한 사용자 얼굴의 일부로부터 사용자 얼굴의 특징을 추출하는 특징 추출부와, 추출된 특징으로부터 사용자의 감정을 추정하는 감정 추정부와, 추정된 감정에 따라 화상 표시부에 표시시키는 화상을 생성하는 화상 생성부를 가지는 화상 표시 장치이다.
또한 상기에서 특징 추출부는 뉴럴 네트워크를 사용한 추론에 의하여 특징을 추출하는 것이 바람직하다.
또한 상기에서 화상 표시부는 발광 소자와, 상기 발광 소자와 전기적으로 접속하는 제 1 트랜지스터를 가지고, 피사체 검출부는 센서 소자와, 센서 소자와 전기적으로 접속하는 제 2 트랜지스터를 가지는 것이 바람직하다. 또한 제 1 트랜지스터와 제 2 트랜지스터는 동일 기판 위에 제공되는 것이 바람직하다.
또한 상기에서 발광 소자와 센서 소자는 동일면 위에 나란히 배치되는 것이 바람직하다.
또한 상기에서 제 1 트랜지스터 또는 제 2 트랜지스터는 채널이 형성되는 반도체에 산화물 반도체를 가지는 것이 바람직하다.
본 발명의 일 형태에 따르면 감정의 변화에 따른 집중력의 저하를 억제하는 장치 또는 방법을 제공할 수 있다. 또는 본 발명의 일 형태에 따르면 사람의 감정의 변화를 적합하게 완화시킬 수 있는 장치 또는 방법을 제공할 수 있다.
또한 이들 효과의 기재는 다른 효과의 존재를 방해하는 것은 아니다. 또한 본 발명의 일 형태는 이들 효과 모두를 반드시 가질 필요는 없다. 또한 이들 외의 효과는 명세서, 도면, 청구항 등의 기재로부터 추출할 수 있다.
도 1은 정보 처리 장치의 구성예를 나타낸 도면이다.
도 2의 (A), (B), 및 (C)는 정보 처리 장치의 구성예를 나타낸 도면이다.
도 3은 화상 표시 장치의 구성예를 나타낸 도면이다.
도 4는 화상 표시 장치의 구성예를 나타낸 도면이다.
도 5의 (A), (B), 및 (C)는 사용자의 시야의 예를 나타낸 도면이다.
도 6은 정보 처리 장치의 구성예를 나타낸 도면이다.
도 7의 (A), (B), 및 (C)는 화소 회로의 구성예를 나타낸 도면이다.
도 8은 표시 장치의 구성예를 나타낸 도면이다.
도 9는 표시 장치의 구성예를 나타낸 도면이다.
도 10은 표시 장치의 구성예를 나타낸 도면이다.
도 11의 (A) 및 (B)는 표시 모듈의 구성예를 나타낸 도면이다.
도 12의 (A), (B), 및 (C)는 표시 장치의 구성예를 나타낸 도면이다.
도 13은 표시 장치의 구성예를 나타낸 도면이다.
도 14는 표시 장치의 구성예를 나타낸 도면이다.
도 15는 표시 장치의 구성예를 나타낸 도면이다.
도 16은 표시 장치의 구성예를 나타낸 도면이다.
도 17의 (A) 및 (B)는 전자 기기의 구성예를 나타낸 도면이다.
도 18의 (A) 및 (B)는 전자 기기의 구성예를 나타낸 도면이다.
도 19의 (A) 및 (B)는 전자 기기의 구성예를 나타낸 도면이다.
이하에서, 실시형태에 대하여 도면을 참조하여 설명한다. 다만 실시형태는 많은 상이한 형태에서 실시할 수 있고, 취지 및 그 범위에서 벗어남이 없이 그 형태 및 자세한 사항을 다양하게 변경할 수 있다는 것은 통상의 기술자라면 용이하게 이해할 수 있다. 따라서 본 발명은 이하의 실시형태의 기재 내용에 한정하여 해석되는 것은 아니다.
또한 이하에서 설명하는 발명의 구성에서, 동일한 부분 또는 같은 기능을 가지는 부분에는 동일한 부호를 상이한 도면 사이에서 공통적으로 사용하고, 그 반복적인 설명은 생략한다. 또한 같은 기능을 가지는 부분을 가리키는 경우에는 해치 패턴을 동일하게 하고, 특별히 부호를 붙이지 않는 경우가 있다.
또한 본 명세서에서 설명하는 각 도면에 있어서 각 구성 요소의 크기, 층의 두께, 또는 영역은 명료화를 위하여 과장되어 있는 경우가 있다. 따라서 그 스케일에 반드시 한정되는 것은 아니다.
또한 본 명세서 등에서의 '제 1', '제 2' 등의 서수사는, 구성 요소의 혼동을 피하기 위하여 붙이는 것이며, 수적으로 한정하는 것이 아니다.
트랜지스터는 반도체 소자의 일종이며, 전류나 전압의 증폭이나 도통 또는 비도통을 제어하는 스위칭 동작 등을 실현할 수 있다. 본 명세서에서의 트랜지스터는 IGFET(Insulated Gate Field Effect Transistor)나 박막 트랜지스터(TFT: Thin Film Transistor)를 포함한다.
또한 본 명세서 등에서 "전기적으로 접속"에는 "어떠한 전기적 작용을 가지는 것"을 통하여 접속되어 있는 경우가 포함된다. 여기서 "어떠한 전기적 작용을 가지는 것"은 접속 대상 간에서의 전기 신호의 주고받음을 가능하게 하는 것이면 특별히 제한을 받지 않는다. 예를 들어, "어떠한 전기적 작용을 가지는 것"에는 전극이나 배선을 비롯하여 트랜지스터 등의 스위칭 소자, 저항 소자, 코일, 용량 소자, 이 외 각종 기능을 가지는 소자 등이 포함된다.
본 명세서 등에서 표시 장치의 일 형태인 표시 패널은 표시면에 화상 등을 표시(출력)하는 기능을 가지는 것이다. 따라서 표시 패널은 출력 장치의 일 형태이다.
또한 본 명세서 등에서는, 표시 패널의 기판에 예를 들어 FPC(Flexible Printed Circuit) 또는 TCP(Tape Carrier Package) 등의 커넥터가 장착된 것, 또는 기판에 COG(Chip On Glass) 방식 등에 의하여 IC가 실장된 것을 표시 패널 모듈, 표시 모듈, 또는 단순히 표시 패널 등이라고 부르는 경우가 있다.
(실시형태 1)
본 발명의 일 형태는 사용자 얼굴의 일부(특히 눈, 또는 눈 및 그 주변) 또는 전부를 검출하고, 검출한 얼굴의 일부 또는 전부의 정보로부터 사용자 얼굴의 특징을 추출하고, 추출한 얼굴의 특징으로부터 사용자의 감정을 추정한다. 또한 추정된 감정이, 예를 들어 집중력 등을 저하시킬 우려가 있는 감정인 경우에 사용자에게 집중력을 회복시키도록 사용자의 시각, 청각, 촉각, 후각 등에 대하여 자극을 준다. 이에 의하여 사용자가 의식하지 않는 집중력의 저하를 효과적으로 억제할 수 있다.
집중력 등을 저하시킬 우려가 있는 감정으로서는 조바심, 초조, 노여움, 분노, 슬픔, 흥분, 불안, 두려움, 불만, 괴로움, 및 공허 등이 있다. 이하에서는 이들을 통틀어 부의 감정(부정적인 감정)이라고 부르는 경우가 있다. 또한 일반적으로 흥분은 반드시 부의 감정으로 한정되지 않지만, 여기서는 집중력 등을 저하시킬 우려가 있는 감정으로서 이에 포함되는 것으로 한다.
사용자에 대한 자극으로서는 시각을 통하여 주는 것이 바람직하다. 예를 들어 사용자의 부의 감정을 불식하고 기분을 진정시키는 화상을 표시하는 것 등을 들 수 있다. 이와 같은 화상으로서는 예를 들어 동물, 식물, 풍경 등의 자연계에 관련된 화상 등을 들 수 있다. 또한 사용자의 기분이 진정되는 화상은 개개인에 따라 다르기 때문에 미리 사용자가 설정한 화상을 표시하는 방법으로 하여도 좋다.
또한 사용자에게 시각을 통하여 주는 자극으로서 표시하는 화상의 색조를 변화시켜도 좋다. 예를 들어 표시하는 화상의 색조 중 적색의 계조를 낮게, 녹색 또는 청색의 계조를 높게 함으로써, 사용자의 부의 감정이 억제되어, 기분을 진정시킬 수 있다. 이 경우, 색조를 순간적으로 극단히 변화시키면 사용자의 조바심이 높아지는 등 역효과가 되는 경우가 있어, 색조는 그 변화가 사용자에게 감지되지 않을 정도로 시간적으로 완만하게 변화시키는 것이 바람직하다. 예를 들어 각 색 256계조 이상으로 화상을 표시 가능한 경우에는, 1초간에 변화시키는 계조값이 1계조값 이하가 되도록 완만하게 변화시키면 좋다.
또한 사용자에게 시각을 통하여 주는 자극으로서는 사용자가 있는 공간의 밝기를 단계적으로 어둡게 하는 것이나, 조명의 색조를 녹색 또는 청색에 가깝게 하는 것 등을 들 수 있다.
또한 사용자의 부의 감정을 불식하고, 기분을 진정시키기 위하여 청각을 통하여 주는 자극으로서는 자연계에 관련된 환경음(새소리, 물 흐르는 소리) 등을 들 수 있다.
또한 사용자에 대하여, 기분을 진정시키는 자극을 주는 대신에, 추정된 현재의 감정이 어떤 감정인지에 대하여, 사용자에게 인식시킴으로써, 사용자의 집중력 등의 저하를 적합하게 억제할 수 있다. 사용자는 스스로는 잘 알지 못하는 부의 감정을 인지함으로써, 의식적으로 기분을 진정시키는 행동을 취할 수 있다. 예를 들어 심호흡을 하거나, 작업이나 운전을 정지하고 휴식을 취하는 등의 행동을 의식적으로 실행할 수 있다.
사용자에게 현재의 감정을 인지시키는 방법으로서는 예를 들어 사용자의 지금의 감정에 가까운 표정을 한 캐릭터를 화면에 표시하거나, 감정의 레벨(예를 들어 조바심의 레벨)을 수치화한 화상, 또는 그래픽으로 표현한 화상을 화면에 표시하는 것 등을 들 수 있다. 또는 현저히 고양된 감정 상태로 추정된 경우 등에, 음성이나 조명, 향기 등을 사용하여 사용자에게 경고를 발하거나 하여도 좋다. 특히 화상의 표시에 의한 시각을 통한 경고와 함께 청각, 후각, 촉각 등에 작용하는 경고을 동시에 발함으로써 더 효과적으로 사용자에게 현재의 감정을 인지시킬 수 있다.
사용자의 감정을 추정하는 방법에 대하여 설명한다. 우선 사용자(피사체)의 눈, 또는 눈 및 그 주변을 포함하는 얼굴의 일부를 촬상한다. 그리고 촬상한 사용자 얼굴의 일부로부터 얼굴의 특징을 추출한다. 이어서 추출한 얼굴의 특징으로부터 사용자의 현재의 감정을 추정한다. 특징의 추출 및 감정의 추정으로서는 뉴럴 네트워크를 사용한 추론에 의하여 적합하게 수행할 수 있다.
이하에서는 더 구체적인 예에 대하여 도면을 참조하여 설명한다.
[구성예]
도 1은 본 발명의 일 형태의 정보 처리 장치(10)의 블록도이다. 정보 처리 장치(10)는 정보 제시부(11), 피사체 검출부(12), 특징 추출부(13), 감정 추정부(14), 및 정보 생성부(15)를 가진다.
또한 본 명세서에 첨부된 도면에서는 구성 요소를 기능마다 분류하여 서로 독립된 블록으로서 블록도를 나타내었지만, 실제의 구성 요소들을 기능마다 완전히 나누는 것이 어려우며 하나의 구성 요소가 복수의 기능에 관련되거나 하나의 기능을 복수의 구성 요소로 실현할 수도 있다.
[정보 제시부(11)]
정보 제시부(11)는 사용자의 시각, 후각, 청각 또는 촉각에 대하여 자극을 주는 기능을 가진다. 정보 제시부(11)는 후술하는 정보 생성부(15)에서 생성된 정보를 사용자에 대하여 제시(출력)할 수 있다.
정보 제시부(11)로서는 다양한 하드웨어를 사용할 수 있다. 예를 들어 사용자의 시각에 대하여 자극을 주는(또는 정보를 제시하는) 경우에는 화상을 표시할 수 있는 디스플레이 장치나, 조도나 색도를 변화시킬 수 있는 조명 장치 등을 사용할 수 있다. 또한 예를 들어 후각에 대하여 자극을 주는 디바이스로서는 진동이나 열 등에 의하여 향기를 살포하는 아로마 디퓨저 등을 사용할 수 있다. 또한 청각에 대하여 자극을 주는 디바이스로서는 스피커, 헤드폰, 이어폰 등의 음성 출력 장치를 사용할 수 있다. 또한 촉각에 대하여 자극을 주는 디바이스로서는 바이브레이션 장치 등을 사용할 수 있다.
[피사체 검출부(12)]
피사체 검출부(12)는 사용자 얼굴의 일부의 정보를 취득하고, 그 정보를 특징 추출부(13)에 출력하는 기능을 가진다.
피사체 검출부(12)로서는 대표적으로는 이미지 센서를 탑재하는 촬상 장치를 사용할 수 있다. 이 경우 적외선을 사용자 얼굴에 조사하여 촬상하는 적외선 촬상 장치를 사용하여도 좋다. 또한 피사체 검출부(12)는 피사체의 얼굴의 일부의 상태를 검출할 수 있는 장치이면 촬상 장치에 한정되지 않는다. 적외선 등에 의하여 디바이스와 얼굴의 일부의 거리를 측정하는 광학 측거 장치를 사용할 수도 있다. 또한 사용자 얼굴에 전극을 접촉시켜, 사용자 얼굴의 근육의 움직임을 전기적으로 검출하는 검출 장치를 사용하여도 좋다.
[특징 추출부(13)]
특징 추출부(13)는 피사체 검출부(12)로부터 출력된 얼굴의 정보를 바탕으로 특징점을 추출하고, 그 특징점의 위치로부터 얼굴의 일부 또는 전부의 특징을 추출하고, 추출한 특징의 정보를 감정 추정부(14)에 출력하는 기능을 가진다.
피사체 검출부(12)가 취득하는 얼굴의 정보가 눈 및 그 주변의 정보인 경우, 특징 추출부(13)가 추출하는 특징으로서는 예를 들어 동공, 홍채, 각막, 결막(백목) 눈시울, 눈초리, 상안검, 하안검, 속눈썹, 눈썹, 미간, 눈썹 머리, 눈썹 끝 등을 들 수 있다. 또한 눈 및 그 주변 이외의 특징으로서는, 비근, 코끝, 비주, 비공, 입술(윗입술, 아랫입술), 구각, 입술 틈새, 이, 뺨, 턱, 하관, 이마 등이 있다. 특징 추출부(13)는 이들 얼굴의 부위의 형상이나 위치 등을 인식하고, 각각의 부위에서의 특징점의 위치 좌표를 추출한다. 또한 추출한 위치 좌표의 데이터 등을 얼굴의 특징 정보로서 감정 추정부(14)에 출력할 수 있다.
특징 추출부(13)에 의한 특징 추출의 기법으로서는 피사체 검출부(12)에서 취득한 화상 등으로부터 특징점을 추출하는 다양한 알고리듬을 적용할 수 있다. 예를 들어, SIFT(Scaled Invariant Feature Transform), SURF(Speeded Up Robust Features), HOG(Histograms of Oriented Gradients) 등의 알고리듬을 사용할 수 있다.
특히, 특징 추출부(13)에 의한 특징 추출은 뉴럴 네트워크에 의한 추론으로 수행되는 것이 바람직하다. 특히 컨볼루셔널 뉴럴 네트워크(CNN: Convolutional Neural Networks)를 사용하여 수행되는 것이 바람직하다. 이하에서는 뉴럴 네트워크를 사용하는 경우에 대하여 설명한다.
도 2의 (A)에 특징 추출부(13)에 사용할 수 있는 뉴럴 네트워크(NN1)를 모식적으로 나타내었다. 뉴럴 네트워크(NN1)는 입력층(51), 3개의 중간층(52), 및 출력층(53)을 가진다. 또한 중간층(52)의 수는 3개로 한정되지 않고 하나 이상이면 좋다.
뉴럴 네트워크(NN1)에는 피사체 검출부(12)로부터 입력된 데이터(61)가 입력된다. 데이터(61)는 좌표와, 그 좌표에 대응하는 값을 포함하는 데이터이다. 대표적으로는 좌표와, 그 좌표에 대응하는 계조값을 포함하는 화상 데이터로 할 수 있다. 뉴럴 네트워크(NN1)로부터는 데이터(62)가 출력된다. 데이터(62)는 상술한 특징점의 위치 좌표를 포함하는 데이터이다.
뉴럴 네트워크(NN1)는 화상 데이터 등의 데이터(61)로부터 상술한 특징점을 추출하고, 그 좌표를 출력하도록 미리 학습되어 있다. 뉴럴 네트워크(NN1)에서는 중간층(52)에서 다양한 필터를 사용한 에지 처리 등을 수행함으로써 상술한 특징점이 존재하는 좌표에 대응하는 출력층(53)의 뉴런값이 높아지도록 학습되어 있다.
[감정 추정부(14)]
감정 추정부(14)는 특징 추출부(13)로부터 입력되는 얼굴의 특징의 정보를 바탕으로 사용자의 감정을 추정하고, 추정한 감정의 정보를 정보 생성부(15)에 출력하는 기능을 가진다.
감정 추정부(14)는 사용자 얼굴의 특징의 정보를 사용하여, 사용자가 부의 감정(조바심, 초조, 노여움, 분노, 슬픔, 흥분, 불안, 두려움, 불만, 괴로움, 또는 공허 등)을 품고 있는지 여부를 추정할 수 있다. 또한 부의 감정을 품고 있는 경우에 그 정도(레벨)를 추정하는 것이 바람직하다.
감정 추정부(14)에서의 감정의 추정은 뉴럴 네트워크를 사용한 추론에 의하여 수행되는 것이 바람직하다. 특히, CNN을 사용하여 수행되는 것이 바람직하다.
도 2의 (B)는 감정 추정부(14)에 사용할 수 있는 뉴럴 네트워크(NN2)를 모식적으로 나타낸 것이다. 여기서는 뉴럴 네트워크(NN2)가 대략 뉴럴 네트워크(NN1)와 같은 구성을 가지는 예를 나타내었다. 또한 뉴럴 네트워크(NN2)의 입력층(51)의 뉴런의 수는 뉴럴 네트워크(NN1)보다 적게 할 수 있다.
뉴럴 네트워크(NN2)에는 특징 추출부(13)로부터 입력된 데이터(62)가 입력된다. 데이터(62)는 추출한 특징점의 좌표에 따른 정보를 포함한다.
또한 뉴럴 네트워크(NN2)에 입력되는 데이터로서 데이터(62)를 가공한 데이터를 사용하여도 좋다. 예를 들어 임의의 2개의 특징점 사이를 연결하는 벡터를 산출하고, 이것을 모든 특징점, 또는 일부의 특징점에 대하여 구한 것을 뉴럴 네트워크(NN2)에 입력하는 데이터로 하여도 좋다. 또한 산출한 벡터를 정규화한 데이터로 하여도 좋다. 또한 이하에서는 뉴럴 네트워크(NN1)가 출력하는 데이터(62)에 의거하여, 이를 가공한 데이터도 데이터(62)라고 표기한다.
데이터(62)가 입력된 뉴럴 네트워크(NN2)로부터는 데이터(63)가 출력된다. 데이터(63)는 출력층(53)의 각 뉴런으로부터 출력되는 뉴런값에 상당한다. 출력층(53)의 각 뉴런은 각각 하나의 감정과 서로 연관되어 있다. 도 2의 (B)에 나타낸 바와 같이 데이터(63)는 소정의 부의 감정(조바심, 초조, 노여움, 분노, 흥분 등)에 대응하는 뉴런의 뉴런값이 포함된 데이터이다.
뉴럴 네트워크(NN2)는 데이터(62)로부터 부의 감정의 정도를 추정하고, 뉴런값으로서 출력하도록 미리 학습되어 있다. 사용자의 표정은 사용자 얼굴에서의 복수의 특징점의 상대적인 위치 관계에 의하여 결정할 수 있다. 또한 뉴럴 네트워크(NN2)에 의하여, 그 표정으로부터 사용자가 품고 있는 감정을 추정할 수 있다.
도 2의 (C)는 데이터(63)에 대하여 모식적으로 나타낸 도면이다. 각 감정에 대응하는 뉴런값의 높이는 추정된 감정의 정도의 높이를 나타낸다. 또한 데이터(63)에서는 문턱값(T1) 및 문턱값(T2)을 파선으로 나타내었다. 예를 들어 문턱값(T1)을 밑도는 경우에서는 그 감정을 사용자가 품고 있지 않거나, 또는 그 감정의 정도가 충분히 낮다고 판정할 수 있다. 또한 문턱값(T2)을 웃도는 경우에서는 그 감정의 정도가 현저히 높다고 판정할 수 있다.
예를 들어 도 2의 (C)로부터는 사용자의 감정이 "조바심"과 "초조"와 "흥분"이 혼재된 것, 또한 사용자가 특히 "조바심"을 강하게 느끼고 있는 것으로 추정할 수 있다.
이와 같이 감정 추정부(14)가 부의 감정에 대해서만을 추정하고, 그 결과를 정보 생성부(15)에 출력하는 구성으로 함으로써, 감정 추정부(14)에서의 연산 규모를 축소할 수 있고, 연산에 따른 전력 소비를 저감할 수 있다. 또한 정보 생성부(15)에서 이용하는 데이터의 양을 삭감할 수 있어, 감정 추정부(14)에서 정보 생성부(15)까지의 데이터의 전송(傳送), 및 정보 생성부(15)에서의 연산에 따른 전력 소비도 저감할 수 있다. 또한 감정 추정부(14)는 부의 감정뿐만 아니라 이와 상반된 감정, 예를 들어 기쁨, 감사, 행복, 친밀감, 만족, 사랑스러움 등의 감정을 추정하고, 그 결과를 정보 생성부(15)에 출력할 수도 있다.
또한 감정은 뉴럴 네트워크를 사용하지 않고 추정할 수도 있다. 예를 들어 피사체 검출부(12)에서 취득한 사용자 얼굴의 일부의 화상과 템플릿 화상을 비교하여 그 유사도를 사용하는 템플릿 매칭법이나 패턴 매칭법 등에 의하여 추정하여도 좋다. 이 경우 특징 추출부(13)를 가지지 않는 구성으로 할 수도 있다.
[정보 생성부(15)]
정보 생성부(15)는 감정 추정부(14)에서 추정한 감정에 의거하여, 사용자에게 제시하는 정보를 결정 또는 생성하고, 정보 제시부(11)에 출력하는 기능을 가진다.
예를 들어 정보 제시부(11)가 화상을 표시하는 기능을 가지는 경우, 정보 생성부(15)는 표시시키는 화상을 생성 또는 선택하고, 그 정보를 정보 제시부(11)에 출력할 수 있다. 또한 정보 제시부(11)가 조명 장치로서의 기능을 가지는 경우에는 정보 생성부(15)는 조명의 밝기(조도)나 색도를 결정하고, 그 정보를 정보 제시부(11)에 출력할 수 있다. 또한 정보 제시부(11)가 향기를 살포하는 기능을 가지는 경우, 정보 생성부(15)는 그 살포하는 향기의 종류를 결정, 또는 향기의 강도를 결정하고, 정보 제시부(11)의 동작을 제어하는 신호 등을 출력할 수 있다. 또한 정보 제시부(11)가 음성을 출력하는 기능을 가지는 경우에는 정보 생성부(15)는 재생하는 음성을 생성 또는 선택하고, 그 정보를 정보 제시부(11)에 재생하는 음량의 정보와 함께 출력할 수 있다. 또한 정보 제시부(11)가 진동을 유발시키는 기능을 가지는 경우에는 정보 생성부(15)는 그 진동 패턴이나 강도를 결정하고, 정보 제시부(11)의 동작을 제어하는 신호 등을 출력할 수 있다.
여기까지가 정보 처리 장치(10)의 구성예에 대한 설명이다.
[변형예]
본 발명의 일 형태의 정보 처리 장치에서는 사용자에게 시각을 통하여 정보를 제시하는 것이 특히 바람직하다. 정보 처리 장치가 가지는 정보 제시부가, 화상을 표시하는 기능을 가지는 경우, 화상 표시 장치라고 호칭할 수 있다. 이하에서는 화상 표시 장치의 일례에 대하여 설명한다.
도 3은 상기 구성예 1에서 예시한 정보 처리 장치(10)에서 정보 제시부(11)에 화상 표시부(21)를 적용한 화상 표시 장치(20)의 구성예를 나타낸 것이다. 화상 표시 장치(20)는 화상 표시부(21)와 화상 생성부(25)를 가진다.
화상 생성부(25)는 감정 추정부(14)로부터 입력되는 감정의 정보에 의거하여, 화상 표시부(21)에 표시시키는 화상을 선택 또는 생성하고 출력할 수 있다.
도 4는 정보 제시부(11)가 화상 표시부(21)를 가지는 경우의 예이다. 정보 제시부(11)는 화상 표시부(21) 이외에 다른 정보 제시 수단을 가진다. 이에 의하여 사용자에게 화상을 제시하는 것에 더하여, 이 이외의 수단으로 시각, 청각, 후각, 또는 촉각에 대하여 자극을 줄 수 있어, 상승적으로 사용자에게 알림을 보낼 수 있다.
또한 이때 정보 생성부(15)는 화상 생성부(25) 이외에 정보 제시부(11)의 다른 정보 제시 수단의 동작을 제어하는 기능 등을 가진다.
여기까지가 변형예에 대한 설명이다.
[제시하는 정보의 예]
이하에서는 본 발명의 일 형태를 사용하여 추정된 사용자의 감정에 의거하여 사용자에게 제시하는 화상 정보의 일례에 대하여 설명한다.
도 5의 (A) 내지 (C)는 각각 사용자가 AR(Augmented Reality) 디바이스를 장착한 상태에서 자동차 등을 운전할 때의 사용자의 시야를 나타낸 것이다. 도 5의 (A) 내지 (C)는 각각 사용자의 진로 상을 자전거를 탄 통행인이 가로지르려고 하는, 같은 상황을 나타낸 것이다. 또한 사용자의 시야에는 통행 중의 도로 등의 품경과 겹쳐, 시야의 왼쪽 아래에 캐릭터를 모방한 화상 정보(71), 화상 정보(72), 또는 화상 정보(73)가 제시되어 있다.
도 5의 (A)는 사용자가 부의 감정을 거의 품고 있지 않다고 추정된 경우의 예를 나타낸 것이다. 예를 들어 도 2의 (C)에서 데이터(63)에서의 부의 감정에 대응하는 모든 뉴런값이 문턱값(T1)을 초과하지 않는 경우에 상당한다.
이 경우, 사용자의 감정에 의거한 집중력의 저하는 보이지 않는다고 판단할 수 있다. 화상 정보(71)에 포함되는 캐릭터는 추정된 사용자의 감정에 의거하여 웃는 얼굴을 나타내고 있다. 사용자는 화상 정보(71)를 확인함으로써 비교적 자신의 감정이 침착한 상태인 것을 인식할 수 있어, 계속하여 운전에 집중할 수 있다.
도 5의 (B)는 사용자가 약간의 부의 감정을 품고 있다고 추정된 경우의 예를 나타낸 것이다. 예를 들어, 도 2의 (C)에서 데이터(63)에서의 부의 감정에 대응하는 모든 뉴런값 중 적어도 하나 이상이 문턱값(T1)과 문턱값(T2) 사이의 값을 취하고, 또한 문턱값(T2)을 초과한 것이 하나도 없는 경우에 상당한다.
이때, 추정된 사용자의 감정과 그 정도에 의거하여, 약간 집중력의 저하가 보인다고 판단할 수 있다. 그러므로 화상 정보(72)에 포함되는 캐릭터는 사용자의 감정을 반영하여, 웃는 얼굴이 아니라 무표정에 가까운 표정을 지니고 있다. 사용자는 화상 정보(72)를 확인함으로써, 자신이 약간의 부의 감정을 품고 있는 것을 인식할 수 있어, 의식적으로 기분을 진정시키는 행동을 취할 수 있다.
또한 사용자가 진로를 가로지르려고 하는 통행인을 파악하지 못할 가능성이 있기 때문에 통행인의 존재를 알리는 통지가 캐릭터의 대사(Bike's coming.)를 모방한 형태로 표시되어 있다. 이때, 표시와 함께 음성에 의한 통지를 수행하면 더 효과적으로 사용자에게 알림을 보낼 수 있다.
도 5의 (C)는 사용자가 강한 부의 감정을 품고 있다고 추정된 경우의 예를 나타낸 것이다. 예를 들어 도 2의 (C)에서 데이터(63)에서의 부의 감정에 대응하는 모든 뉴런값 중 적어도 하나 이상이 문턱값(T2)을 초과하는 경우에 상당한다.
이때, 추정된 사용자의 감정과 그 정도에 의거하여, 집중력을 크게 떨어뜨린 상태인 것으로 판단할 수 있다. 그러므로 화상 정보(73)에 포함되는 캐릭터는 사용자의 감정을 반영한 표정(여기서는 부쩍 초조해진 표정)을 나타내고 있다. 사용자는 화상 정보(72)를 확인함으로써 자신이 강한 부의 감정을 품고 있는 것을 인식할 수 있어, 운전을 중단하여 휴식을 취하는 등의 행동을 실행할 수 있다.
또한 사용자가 통행인을 파악하지 못할 가능성이 높기 때문에, 통행인의 존재를 알리는 통지가 아니라, 자동차의 정지를 촉구하는 경고가, 캐릭터의 대사(Stop!)를 모방한 형태로 표시되어 있다. 이때, 표시와 함께 음성에 의한 경고를 수행하는 것이 바람직하다. 또한 조명을 점멸시키거나, 또는 조명의 색도를 변화시키는 등으로 주의를 촉구하여도 좋다.
이상과 같이, 추정된 사용자의 감정에 따라, 그 감정을 반영한 표정을 가지는 캐릭터를 사용자에게 제시함으로써, 사용자 자신이 파악하지 못하였을 감정에 대한 알림을 보낼 수 있다. 또한 여기서는 캐릭터의 표정을 사용하여 감정의 정보를 사용자에게 제시하는 방법을 설명하였지만, 이에 한정되지 않고 감정의 종류나 정도를 가시화한 화상이면, 다양한 화상을 사용할 수 있다.
본 실시형태는 적어도 그 일부를 본 명세서에 기재되는 다른 실시형태와 적절히 조합하여 실시할 수 있다.
(실시형태 2)
본 실시형태에서는 본 발명의 일 형태의 정보 처리 장치의 하드웨어 구성의 일례에 대하여 설명한다.
도 6에, 이하에서 예시하는 정보 처리 장치(100)의 블록도를 나타내었다. 정보 처리 장치(100)는 연산부(101), 연산부(102), 메모리 모듈(103), 디스플레이 모듈(104), 센서 모듈(105), 사운드 모듈(106), 진동 모듈(107), 조명 모듈(108), 방향 모듈(109), 통신 모듈(111), 배터리 모듈(112), 카메라 모듈(113), 및 외부 인터페이스(114) 등을 가진다.
또한 정보 처리 장치(100)는 디스플레이 모듈(104)에 의하여 화상을 표시할 수 있으므로, 화상 표시 장치라고도 부를 수 있다.
연산부(102), 메모리 모듈(103), 디스플레이 모듈(104), 센서 모듈(105), 사운드 모듈(106), 진동 모듈(107), 조명 모듈(108), 방향 모듈(109), 통신 모듈(111), 배터리 모듈(112), 카메라 모듈(113), 및 외부 인터페이스(114) 등은 각각 버스 라인(110)을 통하여 연산부(101)와 접속되어 있다.
디스플레이 모듈(104), 사운드 모듈(106), 진동 모듈(107), 조명 모듈(108), 및 방향 모듈(109)은 각각 실시형태 1에서 예시한 상기 정보 제시부(11) 또는 상기 화상 표시부(21)에 상당한다. 또한 센서 모듈(105) 또는 카메라 모듈(113)은 상기 피사체 검출부(12)에 상당한다. 또한 상기 특징 추출부(13), 감정 추정부(14), 및 정보 생성부(15)는 연산부(101) 또는 연산부(102)와, 메모리 모듈(103) 등에 의하여 실현할 수 있다.
연산부(101)는 예를 들어 중앙 연산 장치(CPU: Central Processing Unit)로서 기능할 수 있다. 연산부(101)는 예를 들어 연산부(102), 메모리 모듈(103), 디스플레이 모듈(104), 센서 모듈(105), 사운드 모듈(106), 진동 모듈(107), 조명 모듈(108), 방향 모듈(109), 통신 모듈(111), 배터리 모듈(112), 카메라 모듈(113), 및 외부 인터페이스(114) 등의 각 컴포넌트를 제어하는 기능을 가진다.
연산부(101)와 각 컴포넌트에서는 버스 라인(110)을 통하여 신호의 전달이 수행된다. 연산부(101)는 버스 라인(110)을 통하여 접속된 각 컴포넌트로부터 입력되는 신호를 처리하는 기능, 및 각 컴포넌트에 출력하는 신호를 생성하는 기능 등을 가지고, 버스 라인(110)에 접속된 각 컴포넌트를 통괄적으로 제어할 수 있다.
또한 연산부(101), 연산부(102), 또는 다른 컴포넌트가 가지는 IC 등에, 채널 형성 영역에 산화물 반도체를 사용하고 매우 낮은 오프 전류가 실현된 트랜지스터를 이용할 수도 있다. 상기 트랜지스터는 오프 전류가 매우 낮기 때문에, 상기 트랜지스터를 기억 소자로서 기능하는 용량 소자에 유입한 전하(데이터)를 유지하기 위한 스위치로서 사용함으로써, 데이터의 유지 기간을 장기간에 걸쳐 확보할 수 있다. 이 특성을 연산부(101)나 연산부(102)의 레지스터나 캐시 메모리에 사용함으로써, 필요할 때만 연산부(101) 또는 연산부(102)를 동작시키고, 그 외의 경우에는 직전의 처리의 정보를 상기 기억 소자에 저장함으로써, 노멀리 오프 컴퓨팅이 가능해져, 정보 처리 장치(100)의 저소비전력화를 도모할 수 있다.
연산부(101)는 프로세서에 의하여 다양한 프로그램으로부터의 명령을 해석하여 실행함으로써, 각종 데이터 처리나 프로그램 제어를 수행한다. 프로세서에 의하여 실행될 수 있는 프로그램은 프로세서가 가지는 메모리 영역에 저장되어도 좋고, 메모리 모듈(103)에 저장되어도 좋다.
연산부(101)로서는, CPU 이외에 DSP(Digital Signal Processor), GPU(Graphics Processing Unit) 등 다른 마이크로프로세서를 단독으로 또는 조합하여 사용할 수 있다. 또한 이들 마이크로프로세서를 FPGA(Field Programmable Gate Array)나 FPAA(Field Programmable Analog Array)와 같은 PLD(Programmable Logic Device)에 의하여 실현한 구성으로 하여도 좋다.
연산부(101)는 메인 메모리를 가져도 좋다. 메인 메모리는 RAM(Random Access Memory) 등의 휘발성 메모리나 ROM(Read Only Memory) 등의 비휘발성 메모리를 구비하는 구성으로 할 수 있다.
메인 메모리에 제공되는 RAM으로서는, 예를 들어, DRAM(Dynamic Random Access Memory)이 사용되고, 연산부(101)의 작업 공간으로서 가상적으로 메모리 공간이 할당되어 이용된다. 메모리 모듈(103)에 저장된 운영 체계, 애플리케이션 프로그램, 프로그램 모듈, 프로그램 데이터 등은 실행을 위하여 RAM에 로드된다. RAM에 로드된 이들의 데이터나 프로그램, 프로그램 모듈은 연산부(101)에 직접 액세스되어 조작된다.
한편으로 ROM에는 재기록을 필요로 하지 않는 BIOS(Basic Input/Output System)나 펌웨어(firmware) 등을 저장할 수 있다. ROM으로서는 마스크 ROM이나, OTPROM(One Time Programmable Read Only Memory), EPROM(Erasable Programmable Read Only Memory) 등을 사용할 수 있다. EPROM으로서는 자외선 조사에 의하여 기억 데이터의 소거가 가능해진 UV-EPROM(Ultra-Violet Erasable Programmable Read Only Memory), EEPROM(Electrically Erasable Programmable Read Only Memory), 플래시 메모리 등을 들 수 있다.
연산부(102)로서는 CPU보다 병렬 연산으로 특화된 프로세서를 사용하는 것이 바람직하다. 예를 들어 GPU, TPU(Tensor Processing Unit), NPU(Neural Processing Unit) 등의 병렬 처리 가능한 프로세서 코어를 다수(수십 내지 수백개) 가지는 프로세서를 사용하는 것이 바람직하다. 이에 의하여 연산부(102)는 특히 뉴럴 네트워크에 따른 연산을 고속으로 수행할 수 있다.
메모리 모듈(103)로서는 예를 들어 플래시 메모리, MRAM(Magnetoresistive Random Access Memory), PRAM(Phase change RAM), ReRAM(Resistive RAM), FeRAM(Ferroelectric RAM) 등의 비휘발성 기억 소자가 적용된 기억 장치, 또는 DRAM(Dynamic RAM)이나 SRAM(Static RAM) 등의 휘발성 기억 소자가 적용된 기억 장치 등을 사용하여도 좋다. 또한 예를 들어, 하드 디스크 드라이브(HDD: Hard Disk Drive)나 솔리드 스테이트 드라이브(SSD: Solid State Drive) 등의 기록 미디어 드라이브를 사용하여도 좋다.
또한 외부 인터페이스(114)를 통하여 커넥터에 의하여 탈착 가능한 HDD 또는 SSD 등의 기억 장치나, 플래시 메모리, 블루레이 디스크, DVD 등의 기록 매체의 미디어 드라이브를 메모리 모듈(103)로서 사용할 수도 있다. 또한 메모리 모듈(103)을 정보 처리 장치(100)에 내장하지 않고, 외부에 설치되는 기억 장치를 메모리 모듈(103)로서 사용하여도 좋다. 이 경우, 외부 인터페이스(114)를 통하여 접속되거나, 또는 통신 모듈(111)에 의하여 무선 통신으로 데이터를 주고받는 구성이어도 좋다.
디스플레이 모듈(104)은 표시 패널, 디스플레이 컨트롤러, 소스 드라이버, 게이트 드라이버 등을 가진다. 표시 패널의 표시면에 화상을 표시할 수 있다. 또한 디스플레이 모듈(104)이 투영부(스크린)를 더 가지고, 표시 패널의 표시면에 표시한 화상을 상기 스크린에 투영하는 방식으로 하여도 좋다. 이때 스크린으로서 가시광을 투과하는 재료를 사용한 경우, 배경상에 겹쳐 화상을 표시하는 AR 디바이스를 실현할 수 있다.
표시 패널에 사용할 수 있는 표시 소자로서는 액정 소자, 유기 EL 소자, 무기 EL 소자, LED 소자, 마이크로캡슐, 전기 영동 소자, 이렉트로 웨팅 소자, 전기 유체(electrofluidic) 소자, 일렉트로 크로믹 소자, MEMS 소자 등을 들 수 있다.
또한 표시 패널로서 터치 센서 기능을 가지는 터치 패널을 사용할 수도 있다. 그 경우, 디스플레이 모듈(104)이 터치 센서 컨트롤러, 센서 드라이버 등을 가지는 구성으로 하면 좋다. 터치 패널로서는 표시 패널과 터치 센서가 일체화된 온셀형의 터치 패널, 또는 인셀형의 터치 패널로 하는 것이 바람직하다. 온셀형 또는 인셀형의 터치 패널은 두께가 얇고 경량으로 할 수 있다. 또한 온셀형 또는 인셀형의 터치 패널은 부품 점수를 삭감할 수 있어, 비용을 삭감할 수 있다.
센서 모듈(105)은 센서 유닛과 센서 컨트롤러를 가진다. 센서 컨트롤러는 센서 유닛으로부터의 입력을 받고, 제어 신호로 변환하여 버스 라인(110)을 통하여 연산부(101)에 출력한다. 센서 컨트롤러에서 센서 유닛의 오류 관리를 수행하여도 좋고, 센서 유닛의 교정(校正) 처리를 수행하여도 좋다. 또한 센서 컨트롤러는 센서 유닛을 제어하는 컨트롤러를 복수로 가지는 구성으로 하여도 좋다.
센서 모듈(105)이 가지는 센서 유닛은 가시광, 적외선, 또는 자외선 등을 검출하고, 그 검출 강도를 출력하는 광전 변환 소자를 가지는 것이 바람직하다. 이때 센서 유닛을 이미지 센서 유닛이라고 부를 수 있다.
또한 센서 모듈(105)은 센서 유닛에 더하여 가시광, 적외선, 또는 자외선을 방출하는 광원을 가지는 것이 바람직하다. 특히 센서 모듈(105)을 사용자 얼굴의 일부를 검출하기 위하여 사용하는 경우에는 적외선을 방출하는 광원을 가짐으로써, 사용자에게 눈부심을 일으키지 않도록 하여 고감도로 촬상할 수 있다.
또한 센서 모듈(105)은 예를 들어 힘, 변위, 위치, 속도, 가속도, 각속도, 회전수, 거리, 광, 액체, 자기, 온도, 화학 물질, 음성, 시간, 경도(硬度), 전기장, 전류, 전압, 전력, 방사선, 유량, 습도, 경사도, 진동, 냄새, 또는 적외선을 측정하는 기능을 가지는 각종 센서를 가지는 구성으로 하여도 좋다.
사운드 모듈(106)은 음성 입력부, 음성 출력부, 및 사운드 컨트롤러 등을 가진다. 음성 입력부는 예를 들어 마이크로폰이나 음성 입력 커넥터 등을 가진다. 또한 음성 출력부는 예를 들어 스피커나 음성 출력 커넥터 등을 가진다. 음성 입력부 및 음성 출력부는 각각 사운드 컨트롤러에 접속되고, 버스 라인(110)을 통하여 연산부(101)와 접속한다. 음성 입력부에 입력된 음성 데이터는 사운드 컨트롤러에서 디지털 신호로 변환되고, 사운드 컨트롤러나 연산부(101)에서 처리된다. 한편으로 사운드 컨트롤러는 연산부(101)로부터의 명령에 따라, 사용자가 들을 수 있는 아날로그 음성 신호를 생성하고, 음성 출력부에 출력한다. 음성 출력부가 가지는 음성 출력 커넥터에는 이어폰, 헤드폰, 헤드셋 등의 음성 출력 장치를 접속할 수 있으며, 상기 장치에 사운드 컨트롤러로 생성한 음성이 출력된다.
진동 모듈(107)은 진동 소자와, 진동 소자를 제어하는 진동 컨트롤러를 가지는 구성으로 할 수 있다. 진동 소자로서 진동 모터(편심 모터), 공진 액추에이터, 자왜 소자, 또는 압전 소자 등, 전자 신호 또는 자기 신호를 진동으로 변환할 수 있는 소자를 사용할 수 있다.
진동 모듈(107)은 연산부(101)로부터의 명령에 따라 진동 소자의 진동의 진동 수, 진폭, 진동시키는 기간 등을 제어함으로써, 다양한 진동 패턴으로 진동 소자를 진동시킬 수 있다.
조명 모듈(108)은 조명 기구와 조명 컨트롤러를 가지는 구성으로 할 수 있다. 조명 기구로서는 유기 EL 소자나 LED 소자를 면 위 또는 띠 형상으로 배치한 조명 패널 외에 전구, 형광등 등 다양한 조명 장치를 사용할 수 있다. 특히 색도와 조도를 변화시킬 수 있는 조명 장치를 사용하는 것이 바람직하다.
조명 모듈(108)은 연산부(101)로부터의 명령에 따라 조명 컨트롤러에 의하여 조명의 조도나 색조를 제어할 수 있다.
방향 모듈(109)은 방향제와, 방향제에 대한 가열 장치 또는 진동 장치와, 이들 장치를 제어하는 컨트롤러를 가지는 구성으로 할 수 있다. 방향제는 사용자가 지향에 따라 자유로이 선택할 수 있도록, 교환 가능한 것이 바람직하다. 방향제로서는 액상, 겔상, 또는 고체의 것을 사용할 수 있다.
방향 모듈(109)은 연산부(101)로부터의 명령에 따라, 방향제로부터의 향기의 양을 제어할 수 있다. 또한 방향제를 2종류 이상 장착할 수 있는 구성으로 함으로써, 상이한 향기의 선택이나 2개 이상의 향기를 조합한 향기의 살포가 가능해진다.
통신 모듈(111)은 안테나를 통하여 통신을 수행할 수 있다. 예를 들어 연산부(101)로부터의 명령에 따라 정보 처리 장치(100)를 컴퓨터 네트워크에 접속하기 위한 제어 신호를 제어하고, 상기 신호를 컴퓨터 네트워크에 발신한다. 이로써 인터넷, 인트라넷, 엑스트라넷, PAN(Personal Area Network), LAN(Local Area Network), CAN(Campus Area Network), MAN(Metropolitan Area Network), WAN(Wide Area Network), GAN(Global Area Network) 등의 컴퓨터 네트워크에 정보 처리 장치(100)를 접속시켜, 통신을 수행할 수 있다. 또한 그 통신 방법으로서 복수의 방법을 사용하는 경우에, 안테나는 상기 통신 방법에 따라 복수로 가져도 좋다.
통신 모듈(111)에는 예를 들어 고주파 회로(RF 회로)를 제공하고, RF 신호의 송수신을 수행하면 좋다. 고주파 회로는 각국 법제로 정해진 주파수 대역의 전자기 신호와 전기 신호를 상호 변환하고, 상기 전자기 신호를 사용하여 무선으로 다른 통신 기기와의 사이에서 통신을 수행하기 위한 회로이다. 실용적인 주파수 대역으로서 수십kHz 내지 수십GHz가 일반적으로 사용된다. 안테나와 접속되는 고주파 회로에는 복수의 주파수 대역에 대응한 고주파 회로부를 가지고, 고주파 회로부는 증폭기(앰프), 믹서, 필터, DSP, RF 트랜스시버 등을 가지는 구성으로 할 수 있다. 무선 통신을 수행하는 경우, 통신 프로토콜 또는 통신 기술로서, LTE(Long Term Evolution) 등의 통신 규격, 또는 Wi-Fi(등록 상표), Bluetooth(등록 상표) 등의 IEEE에 의하여 통신 정규화된 사양을 사용할 수 있다.
또한 통신 모듈(111)은 정보 처리 장치(100)를 전화 회선과 접속하는 기능을 가져도 좋다. 또한 통신 모듈(111)은 안테나에 의하여 수신한 방송 전파로부터 디스플레이 모듈(104)에 출력하는 영상 신호를 생성하는 튜너를 가져도 좋다.
배터리 모듈(112)은 이차 전지, 및 배터리 컨트롤러를 가지는 구성으로 할 수 있다. 이차 전지로서는, 대표적으로는 리튬 이온 이차 전지나 리튬 이온 폴리머 이차 전지 등을 들 수 있다. 배터리 컨트롤러는 배터리에 축전되는 전력을 각 컴포넌트에 공급하는 기능, 외부로부터 공급된 전력을 수전하고 배터리를 충전하는 기능, 배터리 충전 상태에 따라 충전 동작을 제어하는 기능 등을 가질 수 있다. 예를 들어 배터리 컨트롤러는 BMU(Battery Management Unit) 등을 가지는 구성으로 할 수 있다. BMU는 전지의 셀 전압이나 셀 온도 데이터의 수집, 과충전 및 과방전의 감시, 셀 밸런서의 제어, 전지 열화 상태의 관리, 배터리 잔량(State Of Charge: SOC)의 산출, 고장 검출의 제어 등을 수행한다.
카메라 모듈(113)은 촬상 소자와 컨트롤러를 가지는 구성으로 할 수 있다. 예를 들어 셔터 버튼이 눌리는 것이나, 디스플레이 모듈(104)의 터치 패널을 조작하는 것 등으로 정지 화상 또는 동영상을 촬영할 수 있다. 촬영된 화상 또는 영상 데이터는 메모리 모듈(103)에 저장될 수 있다. 또한 화상 또는 영상 데이터는 연산부(101) 또는 연산부(102)에서 처리할 수 있다. 또한 카메라 모듈(113)은 촬영용 광원을 가져도 좋다. 예를 들어 제논 램프 등의 램프, LED나 유기 EL 등의 발광 소자 등을 사용할 수 있다. 또는 촬영용 광원으로서 디스플레이 모듈(104)이 가지는 표시 패널을 사용하여 상기 표시 패널이 방출하는 광을 이용하여도 좋다. 그 경우에는 백색뿐만 아니라 다양한 색의 광을 촬영 용도로 사용하여도 좋다.
외부 인터페이스(114)로서는, 예를 들어 정보 처리 장치(100)의 하우징에 제공된 물리 버튼이나, 그 외의 다른 입력 컴포넌트가 접속 가능한 외부 포트 등을 들 수 있다.
또한 외부 인터페이스(114)가 가지는 외부 포트로서는 예를 들어 키보드나 마우스 등의 입력 수단, 프린터 등의 출력 수단, 또한 HDD 등의 기억 수단 등의 디바이스에 케이블을 통하여 접속할 수 있는 구성으로 할 수 있다. 대표적으로는, USB 단자 등이 있다. 또한 외부 포트로서, LAN(Local Area Network) 접속용 단자, 디지털 방송 수신용 단자, AC 어댑터를 접속하는 단자 등을 가져도 좋다. 또한 유선뿐만 아니라, 적외선, 가시광, 자외선 등을 사용한 광 통신용 송수신기를 제공하는 구성으로 하여도 좋다.
여기까지가 정보 처리 장치(100)의 하드웨어 구성에 대한 설명이다.
본 실시형태는 적어도 그 일부를 본 명세서에 기재되는 다른 실시형태와 적절히 조합하여 실시할 수 있다.
(실시형태 3)
본 실시형태에서는 광을 검출하는 기능과, 화상을 표시하는 기능을 겸비한 디바이스에 대하여 설명한다. 이하에서 예시하는 디바이스는 본 발명의 일 형태의 정보 처리 장치에서의 정보 제시부, 및 피사체 검출부에 사용할 수 있다.
본 실시형태에서 예시하는 디바이스는 포토다이오드 등의 광전 변환 소자를 가지는 제 1 화소 회로와, 유기 EL 소자나 액정 소자 등의 표시 소자를 가지는 제 2 화소 회로를 가진다. 제 1 화소 회로와 제 2 화소 회로는 각각 매트릭스로 배치된다.
매트릭스로 배치된 표시 소자에 의하여 표시부가 형성되고, 상기 표시부에 화상을 표시할 수 있다. 또한 매트릭스로 배치된 광전 변환 소자에 의하여 촬상부가 형성되고, 상기 촬상부에 의하여 화상을 보고 있는 사용자 얼굴의 정보를 취득할 수 있다. 표시부와 촬상부가 일체화됨으로써, 예를 들어 표시부로부터의 광이 사용자 얼굴에 반사한 광을 직접적으로 촬상할 수 있기 때문에 어두운 장소에서도 광량이 부족되지 않고 촬상할 수 있다.
또한 표시부와 촬상부가 일체화될 수 있으므로, 사용자가 화면을 보고 있을 때 사용자의 시선이 늘 촬상부를 향한 상태에서 촬상할 수 있어, 사용자의 눈, 및 그 주변의 정보를 더 고정밀도로 검출할 수 있다. 한편으로 예를 들어 표시부와 상이한 장소에 카메라 등을 배치하는 경우 등에서는 사용자가 화면을 보고 있을 때 시선과 카메라의 렌즈가 교차하지 않으므로 사용자 얼굴의 정면의 정확한 정보를 얻는 것이 어렵고, 감정을 추정할 때의 정밀도의 저하로 이어지는 경우가 있다. 특히 눈이나 눈의 주변을 검출하는 경우 등, 검출하는 영역이 좁은 경우에는 높은 정밀도로 얼굴의 정보를 취득하는 것이 중요하다.
도 7의 (A)는 광전 변환 소자(수광 소자)를 가지는 화소 회로의 일례를 나타낸 것이다. 도 7의 (A)에 나타낸 화소 회로(PIX1)는 수광 소자(PD), 트랜지스터(M1), 트랜지스터(M2), 트랜지스터(M3), 트랜지스터(M4), 및 용량 소자(C1)를 가진다. 여기서는 수광 소자(PD)로서 포토다이오드를 사용한 경우의 예를 나타내었다.
수광 소자(PD)는 애노드가 배선(V1)과 전기적으로 접속되고, 캐소드가 트랜지스터(M1)의 소스 및 드레인 중 한쪽과 전기적으로 접속된다. 트랜지스터(M1)는 게이트가 배선(TX)과 전기적으로 접속되고, 소스 및 드레인 중 다른 쪽이 용량 소자(C1)의 한쪽 전극, 트랜지스터(M2)의 소스 및 드레인 중 한쪽, 및 트랜지스터(M3)의 게이트와 전기적으로 접속된다. 또한 트랜지스터(M2)는 게이트가 배선(RES)과 전기적으로 접속되고, 소스 및 드레인 중 다른 쪽이 배선(V2)과 전기적으로 접속된다. 트랜지스터(M3)는 소스 및 드레인 중 한쪽이 배선(V3)과 전기적으로 접속되고, 소스 및 드레인 중 다른 쪽이 트랜지스터(M4)의 소스 및 드레인 중 한쪽과 전기적으로 접속된다. 트랜지스터(M4)는 게이트가 배선(SE)과 전기적으로 접속되고, 소스 및 드레인 중 다른 쪽이 배선(OUT1)과 전기적으로 접속된다.
배선(V1), 배선(V2), 및 배선(V3)에는 각각 정전위를 공급할 수 있다. 수광 소자(PD)를 역바이어스로 구동시키는 경우에, 배선(V2)에는 배선(V1) 전위보다 높은 전위를 공급할 수 있다. 트랜지스터(M2)는 배선(RES)에 공급되는 신호에 의하여 제어되고, 트랜지스터(M3)의 게이트에 접속하는 노드의 전위를 배선(V2)에 공급되는 전위에 리셋하는 기능을 가진다. 트랜지스터(M1)는 배선(TX)에 공급되는 신호에 의하여 제어되고, 수광 소자(PD)를 흐르는 전류에 따라 상기 노드의 전위가 변화되는 타이밍을 제어하는 기능을 가진다. 트랜지스터(M3)는 상기 노드의 전위에 따른 출력을 수행하는 증폭 트랜지스터로서 기능한다. 트랜지스터(M4)는 배선(SE)에 공급되는 신호에 의하여 제어되고, 상기 노드의 전위에 따른 출력을 배선(OUT1)에 접속하는 외부 회로에서 판독하기 위한 선택 트랜지스터로서 기능한다.
도 7의 (B)는 표시 소자로서 발광 소자가 적용된 화소 회로의 일례를 나타낸 것이다. 도 7의 (B)에 나타낸 화소 회로(PIX2)는 발광 소자(EL), 트랜지스터(M5), 트랜지스터(M6), 트랜지스터(M7), 및 용량 소자(C2)를 가진다. 여기서는 발광 소자(EL)로서 발광 다이오드를 사용한 예를 나타내었다. 특히 발광 소자(EL)로서 유기 EL 소자를 사용하는 것이 바람직하다.
트랜지스터(M5)는 게이트가 배선(VG)과 전기적으로 접속되고, 소스 및 드레인 중 한쪽이 배선(VS)과 전기적으로 접속되고, 소스 및 드레인 중 다른 쪽이 용량 소자(C2)의 한쪽의 전극, 및 트랜지스터(M6)의 게이트와 전기적으로 접속된다. 트랜지스터(M6)는 소스 및 드레인 중 한쪽이 배선(V4)과 전기적으로 접속되고, 소스 및 드레인 중 다른 쪽이 발광 소자(EL)의 애노드, 및 트랜지스터(M7)의 소스 및 드레인 중 한쪽과 전기적으로 접속된다. 또한 트랜지스터(M7)는 게이트가 배선(MS)과 전기적으로 접속되고, 소스 및 드레인 중 다른 쪽이 배선(OUT2)과 전기적으로 접속된다. 발광 소자(EL)는 캐소드가 배선(V5)과 전기적으로 접속한다.
배선(V4) 및 배선(V5)에는 각각 정전위를 공급할 수 있다. 발광 소자(EL)의 애노드 측을 고전위로 하고, 캐소드 측을 이보다 저전위로 할 수 있다. 트랜지스터(M5)는 배선(VG)에 공급되는 신호에 의하여 제어되고, 화소 회로(PIX2)의 선택 상태를 제어하기 위한 선택 트랜지스터로서 기능한다. 또한 트랜지스터(M6)는 게이트에 공급되는 전위에 따라 발광 소자(EL)를 흐르는 전류를 제어하는 구동 트랜지스터로서 기능한다. 트랜지스터(M5)가 도통 상태일 때 배선(VS)에 공급되는 전위가 트랜지스터(M6)의 게이트에 공급되고, 그 전위에 따라 발광 소자(EL)의 발광 휘도를 제어할 수 있다. 트랜지스터(M7)는 배선(MS)에 공급되는 신호에 의하여 제어되고, 트랜지스터(M6)와 발광 소자(EL) 사이의 전위를, 배선(OUT2)을 통하여 외부에 출력하는 기능을 가진다.
여기서 화소 회로(PIX1)가 가지는 트랜지스터(M1), 트랜지스터(M2), 트랜지스터(M3), 및 트랜지스터(M4), 그리고 화소 회로(PIX2)가 가지는 트랜지스터(M5), 트랜지스터(M6), 및 트랜지스터(M7)에는 각각 채널이 형성되는 반도체층에 금속 산화물(산화물 반도체)을 사용한 트랜지스터를 적용하는 것이 바람직하다.
실리콘보다 밴드갭이 넓고, 또한 캐리어 밀도가 작은 금속 산화물을 사용한 트랜지스터는 극히 낮은 오프 전류를 실현할 수 있다. 그러므로 오프 전류가 낮기 때문에 트랜지스터와 직렬로 접속된 용량 소자에 축적된 전하를 장기간에 걸쳐 유지할 수 있다. 그리고 특히 용량 소자(C1) 또는 용량 소자(C2)에 직렬로 접속되는 트랜지스터(M1), 트랜지스터(M2), 및 트랜지스터(M5)에는 산화물 반도체가 적용된 트랜지스터를 사용하는 것이 바람직하다. 또한 이들 외의 트랜지스터도 마찬가지로 산화물 반도체를 적용한 트랜지스터를 사용함으로써, 제작 비용을 저감할 수 있다.
또한 트랜지스터(M1) 내지 트랜지스터(M7)로서 채널이 형성되는 반도체에 실리콘을 적용한 트랜지스터를 사용할 수도 있다. 특히 단결정 실리콘이나 다결정 실리콘 등의 결정성이 높은 실리콘을 사용함으로써, 높은 전계 효과 이동도를 실현할 수 있고, 더 빠른 동작이 가능해져 바람직하다.
또한 트랜지스터(M1) 내지 트랜지스터(M7) 중, 하나 이상에 산화물 반도체를 적용한 트랜지스터를 사용하고, 이 이외에 실리콘을 적용한 트랜지스터를 사용하는 구성으로 하여도 좋다.
또한 도 7의 (A) 및 (B)에서 트랜지스터를 n채널형 트랜지스터로서 표기하였지만, p채널형의 트랜지스터를 적절히 사용할 수도 있다.
화소 회로(PIX1)와 화소 회로(PIX2)는 각각 동일 기판 위에 나란히 형성하는 것이 바람직하다. 특히 화소 회로(PIX1)와 화소 회로(PIX2)를 하나의 영역 내에 혼재시켜 주기적으로 배열하는 구성으로 하는 것이 바람직하다.
또한 화소 회로(PIX1) 및 화소 회로(PIX2)에서 각각 수광 소자(PD) 또는 발광 소자(EL)가 제공되는 층의 아래 측에 트랜지스터나 용량 소자를 가지는 층을 하나 또는 복수 적층으로 제공하는 것이 바람직하다. 이에 의하여 각 화소 회로의 실효적인 점유 면적을 작게 할 수 있고, 고정세의 수광부 또는 표시부를 실현할 수 있다.
도 7의 (C)는 화소 회로(PIX1)와 화소 회로(PIX2)를 3층의 적층 구조에 의하여 실현한 경우의 예를 나타낸 것이다. 도 7의 (C)에 나타낸 구성은 3개의 층(제 1 층(L1), 제 2 층(L2), 제 3 층(L3))이 적층된 구성을 가진다.
제 1 층(L1)에는 트랜지스터(M3), 트랜지스터(M4), 트랜지스터(M5), 및 용량 소자(C2)가 제공되어 있다. 제 2 층(L2)에는 트랜지스터(M1), 트랜지스터(M2), 트랜지스터(M6), 트랜지스터(M7), 및 용량 소자(C1)가 제공되어 있다. 제 3 층(L3)에는 수광 소자(PD) 및 발광 소자(EL)가 제공되어 있다.
이와 같이 수광 소자(PD)와 발광 소자(EL)를 같은 층에 나란히 배치함으로써, 발광 소자(EL)가 방출하는 광에 의하여 수광 소자(PD)의 오동작이 일어나는 것을 방지할 수 있다.
또한 도 7의 (C)에 나타낸 바와 같이 용량 소자(C1)와 용량 소자(C2)를 다른 층에 형성하면 각각의 점유 면적을 크게 할 수 있어 바람직하다.
또한 여기서는 3층의 적층 구조를 예시하였지만, 이에 한정되지 않고 2층 또는 4층 이상이어도 좋다. 또한 여기서 나타낸 각층에 제공되는 트랜지스터나 용량 소자의 수나 배치 방법은 이에 한정되지 않고, 요구되는 사양에 따라, 화소의 레이아웃 패턴을 적절히 설계하면 좋다.
본 실시형태는 적어도 그 일부를 본 명세서에 기재되는 다른 실시형태와 적절히 조합하여 실시할 수 있다.
(실시형태 4)
본 실시형태에서는 본 발명의 일 형태의 정보 처리 장치 등에 사용할 수 있는 표시 장치의 구성예에 대하여 설명한다. 특히 여기서는 수광 소자와 표시 소자를 가지고, 표시부와 촬상부가 일체화된 표시 장치에 대하여 설명한다.
[구성예 1]
도 8은 이하에서 예시하는 표시 장치(200A)의 단면 개략도이다. 표시 장치(200A)는 주로 기판(201)과, 기판(202)과, 이들에 끼워진 발광 유닛(220R), 발광 유닛(220G), 수광 소자(230), 용량 소자(240), 트랜지스터(260) 등을 가진다.
트랜지스터(260)는 기판(201)에 채널이 형성되는 트랜지스터이다. 기판(201)으로서는 예를 들어 단결정 실리콘 기판 등의 반도체 기판을 사용할 수 있다. 트랜지스터(260)는 기판(201)의 일부, 도전층(261), 한 쌍의 저저항 영역(262), 절연층(263), 절연층(264) 등을 가진다. 도전층(261)은 게이트 전극으로서 기능한다. 절연층(263)은 채널 형성 영역으로서 기능하는 기판(201)의 일부와 도전층(261) 사이에 위치하고, 게이트 절연층으로서 기능한다. 저저항 영역(262)은 기판(201)에 불순물이 도핑된 영역이고, 트랜지스터(260)의 소스 또는 드레인으로서 기능한다. 절연층(264)은 도전층(261)의 측면을 덮어 제공되고, 사이드월 절연층으로서 기능한다.
또한 기판(201)에 매립되도록 인접한 2개의 트랜지스터(260) 사이에 소자 분리층(265)이 제공되어 있다.
또한 트랜지스터(260)를 덮어 절연층(253)이 제공되고, 절연층(253) 위에 용량 소자(240)가 제공되어 있다.
용량 소자(240)는 도전층(241)과, 도전층(242)과, 이들 사이에 위치하는 절연층(243)을 가진다. 도전층(241)은 용량 소자(240)의 한쪽 전극으로서 기능하고, 도전층(242)은 용량 소자(240)의 다른 쪽 전극으로서 기능하고, 절연층(243)은 유전체로서 기능한다.
도전층(241)은 절연층(253)에 제공된 플러그(296)를 통하여 트랜지스터(260)의 한쪽의 저저항 영역(262)과 전기적으로 접속되어 있다. 또한 절연층(243)은 도전층(241)을 덮어 제공되고 도전층(242)은 절연층(243)을 개재(介在)하여 도전층(241)과 중첩하는 영역에 제공된다.
용량 소자(240)를 덮어 절연층(252)이 제공되고, 절연층(252) 위에 발광 유닛(220R), 발광 유닛(220G), 및 수광 소자(230)가 제공되어 있다.
발광 유닛(220R)은 반사층(214)과, 발광 소자(210)와, 착색층(215R)을 가진다. 발광 유닛(220G)은 반사층(214)과, 발광 소자(210)와, 착색층(215G)을 가진다. 여기서는 발광 유닛(220R)과 발광 유닛(220G)이 같은 구성의 발광 소자(210)를 포함하는 예를 나타내었다. 이때 발광 소자(210)는 백색광을 나타내는 발광 소자인 것이 바람직하다.
발광 소자(210)는 도전층(211)과, EL층(212)과, 도전층(213)이 이 순서대로 적층된 구성을 가진다. 발광 소자(210)는 피형성면 측과는 반대 측으로 광을 사출하는, 소위 톱 이미션형의 발광 소자이다. 도전층(211)과 도전층(213)은 각각 투광성을 가지는 것이 바람직하다. 이때 발광 소자(210)로부터 기판(201) 측으로 사출된 광은 반사층(214)에서 반사되어 기판(202) 측으로 사출된다.
또한 발광 소자(210)에 사용할 수 있는 발광 소자로서는 자발광(自發光)이 가능한 소자를 사용할 수 있으며, 전류 또는 전압에 의하여 휘도가 제어되는 소자를 그 범주에 포함한다. 예를 들어, LED, 유기 EL 소자, 무기 EL 소자 등을 사용할 수 있다. 특히 유기 EL 소자를 사용하는 것이 바람직하다.
EL층(212)은 적어도 발광층을 가진다. EL층(212)은 발광층 이외의 층으로서 정공 주입성이 높은 물질, 정공 수송성이 높은 물질, 정공 블록 재료, 전자 수송성이 높은 물질, 전자 주입성이 높은 물질, 또는 양극성 물질(전자 수송성 및 정공 수송성이 높은 물질) 등을 포함하는 층을 더 가져도 좋다.
EL층(212)에는 저분자계 화합물 및 고분자계 화합물 중 어느 것을 사용할 수도 있고, 무기 화합물을 포함하여도 좋다. EL층(212)을 구성하는 층은 각각 증착법(진공 증착법을 포함함), 전사법, 인쇄법, 잉크젯법, 도포법 등의 방법으로 형성할 수 있다.
음극과 양극 사이에 발광 소자(210)의 문턱 전압보다 높은 전압을 인가하면, EL층(212)에 양극 측으로부터 정공이 주입되고, 음극 측으로부터 전자가 주입된다. 주입된 전자와 정공은 EL층(212)에서 재결합하고, EL층(212)에 포함되는 발광 물질이 발광한다.
발광 소자(210)로서 백색 발광의 발광 소자를 적용하는 경우에는, EL층(212)에 2종류 이상의 발광 물질을 포함하는 구성으로 하는 것이 바람직하다. 예를 들어, 2개 이상의 발광 물질 각각의 발광이 보색의 관계가 되도록 발광 물질을 선택함으로써, 백색 발광을 얻을 수 있다. 예를 들어, 각각 R(적색), G(녹색), B(청색), Y(황색), O(주황색) 등의 발광을 나타내는 발광 물질 또는 R, G, B 중 2개 이상의 색의 스펙트럼 성분을 포함하는 발광을 나타내는 발광 물질 중 2개 이상을 포함하는 것이 바람직하다. 또한 발광 소자로부터의 발광의 스펙트럼이 가시광 영역의 파장(예를 들어, 350nm 내지 750nm)의 범위 내에 2개 이상의 피크를 가지는 발광 소자를 적용하는 것이 바람직하다. 또한 황색의 파장 영역에 피크를 가지는 재료의 발광 스펙트럼은, 녹색 및 적색의 파장 영역에도 스펙트럼 성분을 가지는 재료인 것이 바람직하다.
EL층(212)은 하나의 색을 발광하는 발광 재료를 포함하는 발광층과, 다른 색을 발광하는 발광 재료를 포함하는 발광층이 적층된 구성으로 하는 것이 바람직하다. 예를 들어, EL층(212)에서의 복수의 발광층은 서로 접촉되어 적층되어도 좋고, 어느 발광 재료도 포함하지 않는 영역을 개재하여 적층되어도 좋다. 예를 들어, 형광 발광층과 인광 발광층 사이에, 상기 형광 발광층 또는 인광 발광층과 동일한 재료(예를 들어 호스트 재료, 어시스트 재료)를 포함하고, 또한 어느 발광 재료도 포함하지 않는 영역을 제공하는 구성으로 하여도 좋다. 이로써 발광 소자의 제작이 용이해지고, 또한 구동 전압이 저감된다.
또한 발광 소자(210)는 EL층을 하나 가지는 싱글 소자이어도 좋고, 복수의 EL층이 전하 발생층을 개재하여 적층된 탠덤 소자이어도 좋다.
또한 상술한 발광층, 그리고 정공 주입성이 높은 물질, 정공 수송성이 높은 물질, 전자 수송성이 높은 물질, 및 전자 주입성이 높은 물질, 양극성의 물질 등을 포함하는 층은, 각각 퀀텀닷(quantum dot) 등의 무기 화합물이나 고분자 화합물(올리고머, 덴드리머, 폴리머 등)을 가져도 좋다. 예를 들어, 퀀텀닷을 발광층에 사용함으로써, 발광 재료로서 기능시킬 수도 있다.
또한 퀀텀닷 재료로서는, 콜로이드상 퀀텀닷 재료, 합금형 퀀텀닷 재료, 코어·셸형 퀀텀닷 재료, 코어형 퀀텀닷 재료 등을 사용할 수 있다. 또한 12족과 16족, 13족과 15족, 또는 14족과 16족의 원소 그룹을 포함하는 재료를 사용하여도 좋다. 또는 카드뮴, 셀레늄, 아연, 황, 인, 인듐, 텔루륨, 납, 갈륨, 비소, 알루미늄 등의 원소를 포함하는 퀀텀닷 재료를 사용하여도 좋다.
또한 각 발광 유닛에서는 도전층(213)에 투과성 및 반사성을 가지는 도전막을 사용함으로써, 소위 마이크로캐비티 구조(미소 공진기 구조)가 실현되어도 좋다. 이때 그 가시광을 반사하는 반사층(214)의 표면과, 가시광에 대한 투과성 및 반사성을 가지는 도전층(213) 사이의 광학 거리가, 그 강도를 강화하려고 하는 광의 파장(λ)에 대하여 mλ/2(m은 자연수) 또는 그 근방이 되도록 조정되어 있는 것이 바람직하다. 광학 거리를 각 발광 유닛 사이에서 조정하기 때문에, 반사층(214)의 두께, 도전층(211)의 두께 등을 각 발광 유닛 사이에서 서로 다르게 할 수 있다.
발광 유닛(220R)에서 발광 소자(210)로부터 방출된 광은 착색층(215R)에 의하여 소정의 파장 이외의 광이 흡수되고, 예를 들어 적색의 광(R)으로서 외부로 사출된다. 마찬가지로 발광 유닛(220G)으로부터는 예를 들어 녹색의 광(G)이 외부로 사출된다. 또한 여기서는 도시하지 않았지만, 표시 장치(200A)는 청색의 광을 사출하는 발광 유닛(220B)을 가지는 것이 바람직하다.
또한 착색층(215R) 및 착색층(215G)으로서 상술한 퀀텀닷 재료를 사용하는 구성으로 하여도 좋다. 상기 구성의 경우, 발광 소자(210)로부터 사출되는 광을 청색으로 함으로써, 퀀텀닷 재료에 의하여 색 변환(파장 변환)을 수행할 수 있다. 상기 구성의 경우, 발광 소자(210)를 따로 형성할 필요가 없기 때문에 제조 비용을 저감할 수 있어 바람직하다.
수광 소자(230)는 포토다이오드로서 기능하고, 외부로부터 입사되는 외광(Lex)을 수광하고, 전기 신호로 변환하는 소자이다. 수광 소자(230)는 도전층(211)과, 도전층(213)과, 이들의 사이에 활성층(231)이 제공된 구성을 가진다.
활성층(231)으로서는 p형 반도체와 n형 반도체를 적층하고 pn 접합을 실현한 적층 구조, 또는 p형 반도체, i형 반도체, 및 n형 반도체를 적층하고 pin 접합을 실현한 적층 구조 등으로 할 수 있다.
활성층(231)에 사용하는 반도체로서 실리콘 등의 무기 반도체, 또는 유기 화합물을 포함하는 유기 반도체를 사용할 수 있다. 특히 유기 반도체 재료를 사용함으로써, 발광 소자(210)의 EL층(212)과, 활성층(231)을 각각 진공 증착법으로 형성하는 것이 용이해져, 제조 장치를 공통화할 수 있어 바람직하다.
활성층(231)으로서 유기 반도체 재료를 사용하는 경우, n형 반도체의 재료로서는 풀러렌(예를 들어 C60, C70 등) 또는 그 유도체 등의 전자 수용성의 유기 반도체 재료를 사용할 수 있다. 또한 p형 반도체의 재료로서는 구리(II)프탈로사이아닌(Copper(II) phthalocyanine: CuPc)이나 테트라페닐다이벤조페리플란텐(Tetraphenyldibenzoperiflanthene: DBP) 등의 전자 공여성의 유기 반도체 재료를 사용할 수 있다. 활성층(231)은 전자 수용성의 반도체 재료와 전자 공여성의 반도체 재료의 적층 구조(p-n 적층 구조)로 하여도 좋고, 이들 사이에 전자 수용성의 반도체 재료와 전자 공여성의 반도체 재료를 공증착한 벌크 헤테로 구조층을 제공한 적층 구조(p-i-n 적층 구조)로 하여도 좋다. 또한 광을 조사하지 않을 때의 암전류를 억제하는 목적으로 상기 p-n 적층 구조 또는 p-i-n 적층 구조의 주변(위쪽 또는 아래쪽)에 홀 블록층으로서 기능하는 층이나, 전자 블록층으로서 기능하는 층을 제공하여도 좋다.
또한 수광 소자(230)의 기판(201) 측에 반사층(214)을 제공하는 것이 바람직하다. 반사층(214)에 의하여, 수광 소자(230)를 투과한 외광(Lex)을 수광 소자(230) 측에 반사시킴으로써 수광 소자(230)의 감도를 높일 수 있다.
반사층(214)은 절연층(252) 위에 제공되어 있다. 또한 반사층(214)을 덮어 절연층(251)이 제공되고, 절연층(251) 위에 도전층(211)이 제공되어 있다. 도전층(211)은 절연층(251) 및 절연층(252)에 제공된 플러그(295)를 통하여 용량 소자(240)의 도전층(241)과 전기적으로 접속되어 있다. 또한 도전층(211) 위에는 도전층(211)과 중첩되는 개구를 가지는 절연층(216)이 제공되어 있다.
발광 유닛(220R) 및 발광 유닛(220G)에서 도전층(211) 위에 EL층(212)이 제공된다. 또한 수광 소자(230)에서 도전층(211) 위에 활성층(231)이 제공되어 있다. 또한 EL층(212)과 활성층(231)을 덮어 도전층(213)이 제공되어 있다. 이에 의하여 도전층(213)은 발광 소자(210)의 전극과, 수광 소자(230)의 전극 양쪽을 겸비한 구성으로 할 수 있다.
또한 각 발광 유닛을 상술한 마이크로캐비티 구조로 하기 위하여 도전층(213)으로서 투과성 및 반사성을 가지는 도전막을 사용하면, 수광 소자(230)의 감도가 저하될 우려가 있다. 그 경우에는 도전층(213)에 투광성을 가지는 도전막을 사용하고, EL층(212)과 도전층(213) 사이, 또는 도전층(213) 위에 EL층(212)과 같은 패턴으로, 투과성 및 반사성을 가지는 도전막을 별도 형성함으로써, 상기 도전막이수광 소자(230)에 제공되지 않는 구성으로 하여도 좋다.
또한 도 8에 나타낸 바와 같이, 절연층(216) 위에서 EL층(212)의 단부와, 활성층(231)의 단부가 중첩되는 영역을 가져도 좋다.
표시 장치(200A)는 발광 소자(210) 및 수광 소자(230)를 덮어, 절연층(271), 절연층(272), 및 절연층(273)이 적층되어 제공된다. 이들 3개의 절연층은, 물 등의 불순물이 발광 소자(210) 및 수광 소자(230)로 확산되는 것을 방지하는 보호층으로서 기능한다. 절연층(271) 및 절연층(273)에는 산화 실리콘막, 질화 실리콘막, 산화 알루미늄막 등의, 투습성(透濕性)이 낮은 무기 절연막을 사용하는 것이 바람직하다. 또한 절연층(272)에는 투광성이 높은 유기 절연막을 사용할 수 있다. 절연층(272)에 유기 절연막을 사용함으로써, 절연층(272)보다 하측의 요철 형상의 영향을 완화시키고, 절연층(273)의 피형성면을 매끄러운 면으로 할 수 있다. 이로써, 절연층(273)에 핀홀 등의 결함이 생기기 어렵기 때문에, 보호층의 투습성을 더 높일 수 있다. 또한 발광 소자(210) 및 수광 소자(230)를 덮는 보호층의 구성은 이에 한정되지 않고, 단층 또는 2층 구조로 하여도 좋고, 4층 이상의 적층 구조로 하여도 좋다.
절연층(273) 위에는 착색층(215R) 및 착색층(215G)이 제공된다. 또한 수광 소자(230)에 입사하는 광의 일부를 차단하기 위한 필터를 제공하는 경우에는 착색층(215R) 등과 마찬가지로 절연층(273) 위에 제공할 수 있다. 이와 같이, 절연층(273) 위에 착색층(및 필터)을 형성함으로써, 예를 들어 기판(202) 측에 이들을 형성한 후에 기판(202)과 기판(201)을 접합한 경우에 비하여 각 착색층과 발광 소자(210)의 위치 맞춤(또는 필터와 수광 소자(230)의 위치 맞춤)가 용이하고, 극히 정밀도가 높은 표시 장치를 실현할 수 있다.
또한 표시 장치(200A)는 시인 측에 기판(202)을 가진다. 기판(202)과 기판(201)은 접착층(274)에 의하여 접합되어 있다. 기판(202)으로서는, 유리 기판, 석영 기판, 사파이어 기판, 플라스틱 기판 등 투광성을 가지는 기판을 사용할 수 있다.
이와 같은 구성으로 함으로써, 표시부가 촬상부를 겸비한, 정세도가 높은 표시 장치를 실현할 수 있다.
[구성예 2]
도 9는 표시 장치(200B)의 단면 개략도이다. 표시 장치(200C)는 트랜지스터의 구성이 상기 표시 장치(200A)와 주로 상이하다.
트랜지스터(280)는 채널이 형성되는 반도체에 금속 산화물(산화물 반도체라고도 함)이 적용된 트랜지스터이다.
트랜지스터(280)는 반도체층(281), 절연층(282), 도전층(283), 도전층(284), 도전층(285), 절연층(286), 절연층(287) 등을 가진다.
트랜지스터(280)가 제공되는 기판(201a)으로서는 유리 기판, 석영 기판, 사파이어 기판, 세라믹 기판 등의 절연성 기판, 또는 실리콘이나 탄소화 실리콘 등을 재료로 한 단결정 반도체 기판, 다결정 반도체 기판, 실리콘 저마늄 등의 화합물 반도체 기판, SOI 기판 등의 반도체 기판을 사용할 수 있다.
기판(201a) 위에 절연층(288)이 제공되어 있다. 절연층(288)은 기판(201a)으로부터 물이나 수소 등의 불순물이 트랜지스터(280)로 확산되는 것, 및 반도체층(281)으로부터 절연층(288) 측에 산소가 확산되는 것을 방지하는 배리어층으로서 기능한다. 절연층(288)으로서는, 예를 들어 산화 알루미늄막, 산화 하프늄막, 질화 실리콘막 등의, 산화 실리콘막보다 수소나 산소가 확산되기 어려운 막을 사용할 수 있다.
절연층(288) 위에 도전층(285)이 제공되고, 도전층(285)을 덮어 절연층(287) 및 절연층(286)이 제공되어 있다. 반도체층(281)은 절연층(286) 위에 제공되어 있다. 도전층(285)은 트랜지스터(280)의 제 1 게이트 전극으로서 기능하고, 절연층(287)의 일부, 및 절연층(286)의 일부는 각각 제 1 게이트 절연층으로서 기능한다. 반도체층(281)과 접하는 절연층(286)에는 산화 실리콘막 등의 산화물 절연막을 사용하는 것이 바람직하다. 또한 절연층(286)과 도전층(285) 사이의 절연층(287)에는 절연층(288)과 마찬가지로 배리어층으로서 기능하는 절연막을 사용하는 것이 바람직하다.
반도체층(281)은 반도체 특성을 가지는 금속 산화물(산화물 반도체)막을 가지는 것이 바람직하다.
한 쌍의 도전층(284)은 반도체층(281) 위에서 이격되어 제공되어 있다. 도전층(284)은 소스 전극 및 드레인 전극으로서 기능한다. 또한 반도체층(281) 및 도전층(284)을 덮어 절연층(289)이 제공되고, 절연층(289) 위에 절연층(254)이 제공되어 있다. 절연층(254)에는 반도체층(281)에 도달하는 개구가 제공되고, 상기 개구의 내부에 절연층(282)과 도전층(283)이 매립되어 있다. 또한 절연층(254), 도전층(283), 및 절연층(282)의 상면을 덮어, 절연층(255)이 제공되어 있다.
도전층(283)은 제 2 게이트 전극으로서 기능한다. 또한 절연층(282)은 제 2 게이트 절연층으로서 기능한다.
절연층(289) 및 절연층(255)으로서는 절연층(288) 등과 마찬가지로 배리어층으로서 기능하는 절연막을 사용하는 것이 바람직하다. 절연층(289)으로 도전층(284)을 덮음으로써, 절연층(254)에 포함되는 산소에 의하여 도전층(284)이 산화되는 것을 방지할 수 있다.
도전층(284)에 전기적으로 접속하는 플러그(297)는 절연층(253), 절연층(255), 및 절연층(254)에 제공된 개구의 내부에 제공되어 있다. 플러그(297)는 상기 개구의 측면 및 도전층(284)의 상면에 접하는 도전층(297a)과, 상기 도전층(297a)보다 내측에 매립되는 도전층(297b)을 가지는 것이 바람직하다. 이때, 도전층(297a)으로서 수소 및 산소가 확산되기 어려운 도전성 재료를 사용하는 것이 바람직하다.
[구성예 3]
도 10에 표시 장치(200C)의 단면 개략도를 나타내었다. 표시 장치(200C)는 기판(201)에 채널이 형성되는 트랜지스터(260)와, 채널이 형성되는 반도체층에 금속 산화물을 포함하는 트랜지스터(280)가 적층된 구성을 가진다.
트랜지스터(260)를 덮어 절연층(256)이 제공되고, 절연층(256) 위에 배선으로서 기능하는 도전층(291)이 제공되어 있다. 또한 도전층(291)을 덮어 절연층(255)이 제공되고, 절연층(255) 위에 배선으로서 기능하는 도전층(292)이 제공되어 있다. 또한 도전층(292)을 덮어 절연층(254) 및 절연층(288)이 제공되고, 절연층(288) 위에 트랜지스터(280)가 제공되어 있다. 또한 트랜지스터(280)를 덮어 절연층(253)이 제공되고, 절연층(253) 위에 용량 소자(240)가 제공되어 있다. 용량 소자(240)와 트랜지스터(280)는 플러그(297)에 의하여 전기적으로 접속되어 있다.
트랜지스터(280)는 화소 회로를 구성하는 트랜지스터로서 사용될 수 있다. 또한 트랜지스터(260)는 화소 회로를 구성하는 트랜지스터나 상기 화소 회로를 구동하가 위한 구동 회로(게이트선 구동 회로, 소스선 구동 회로 등)를 구성하는 트랜지스터로서 사용될 수 있다. 또한 트랜지스터(260) 및 트랜지스터(280)는 연산 회로나 기억 회로 등의 각종 회로를 구성하는 트랜지스터로서 사용될 수 있다.
이와 같은 구성으로 함으로써, 발광 유닛이나 수광 소자의 직하에 화소 회로뿐만 아니라 구동 회로 등도 배치할 수 있기 때문에, 표시 영역의 주변에 구동 회로를 제공하는 경우에 비하여 표시 장치를 소형화할 수 있다.
또한 여기서는 발광 소자(210) 또는 수광 소자(230)와, 트랜지스터(260) 사이에 트랜지스터(280)를 하나 제공한 구성을 나타내었지만, 이에 한정되지 않고 트랜지스터(280)를 2개 이상의 적층으로 제공하여도 좋다. 이에 의하여 화소의 점유 면적을 더 축소할 수 있고, 고정밀도화가 가능해진다.
[구성 요소에 대하여]
이하에서는 표시 장치에 적용할 수 있는 트랜지스터 등의 구성 요소에 대하여 설명한다.
<트랜지스터>
트랜지스터는 게이트 전극으로서 기능하는 도전층과, 반도체층과, 소스 전극으로서 기능하는 도전층과, 드레인 전극으로서 기능하는 도전층과, 게이트 절연층으로서 기능하는 절연층을 가진다.
또한 본 발명의 일 형태의 표시 장치가 가지는 트랜지스터의 구조는 특별히 한정되지 않는다. 예를 들어 플레이너형 트랜지스터로 하여도 좋고, 스태거형 트랜지스터로 하여도 좋고, 역 스태거형 트랜지스터로 하여도 좋다. 또한 톱 게이트형 또는 보텀 게이트형 중 어느 트랜지스터 구조로 하여도 좋다. 또는 채널 상하에 게이트 전극이 제공되어 있어도 좋다.
트랜지스터에 사용하는 반도체 재료의 결정성에 대해서도 특별히 한정되지 않고, 비정질 반도체, 단결정 반도체, 또는 단결정 반도체 이외의 결정성을 가지는 반도체(미결정 반도체, 다결정 반도체, 단결정 반도체, 또는 일부에 결정 영역을 가지는 반도체) 중 어느 것을 사용하여도 좋다. 단결정 반도체 또는 결정성을 가지는 반도체를 사용하면, 트랜지스터 특성의 열화를 억제할 수 있기 때문에 바람직하다.
이하에서는, 특히 금속 산화물막을 채널이 형성되는 반도체층에 사용하는 트랜지스터에 대하여 설명한다.
트랜지스터에 사용하는 반도체 재료로서는 에너지 갭이 2eV 이상, 바람직하게는 2.5eV 이상, 더 바람직하게는 3eV 이상인 금속 산화물을 사용할 수 있다. 대표적인 예로서는 인듐을 포함한 금속 산화물 등이 있고, 예를 들어, 후술되는 CAC-OS 등을 사용할 수 있다.
실리콘보다 밴드 갭이 넓고, 또한 캐리어 밀도가 작은 금속 산화물을 사용한 트랜지스터는 오프 전류가 낮기 때문에, 트랜지스터에 직렬로 접속된 용량 소자에 축적된 전하가 장기간에 걸쳐 유지될 수 있다.
반도체층은 예를 들어 인듐, 아연, 및 M(알루미늄, 타이타늄, 갈륨, 저마늄, 이트륨, 지르코늄, 란타넘, 세륨, 주석, 네오디뮴, 또는 하프늄 등의 금속)을 포함한 In-M-Zn계 산화물로 표기되는 막으로 할 수 있다.
반도체층을 구성하는 금속 산화물이 In-M-Zn계 산화물인 경우, In-M-Zn 산화물을 성막하기 위하여 사용되는 스퍼터링 타깃의 금속 원소의 원자수비는 In≥M, Zn≥M을 만족시키는 것이 바람직하다. 이와 같은 스퍼터링 타깃의 금속 원소의 원자수비로서, In:M:Zn=1:1:1, In:M:Zn=1:1:1.2, In:M:Zn=3:1:2, In:M:Zn=4:2:3, In:M:Zn=4:2:4.1, In:M:Zn=5:1:6, In:M:Zn=5:1:7, In:M:Zn=5:1:8 등이 바람직하다. 또한 성막되는 반도체층의 원자수비는 각각 상기 스퍼터링 타깃에 포함되는 금속 원소의 원자수비의 ±40%의 변동을 포함한다.
반도체층으로서는, 캐리어 밀도가 낮은 금속 산화물막을 사용한다. 예를 들어 반도체층은 캐리어 밀도가 1×1017/cm3 이하, 바람직하게는 1×1015/cm3 이하, 더 바람직하게는 1×1013/cm3 이하, 더욱 바람직하게는 1×1011/cm3 이하, 더더욱 바람직하게는 1×1010/cm3 미만이고, 1×10-9/cm3 이상의 캐리어 밀도의 금속 산화물을 사용할 수 있다. 이와 같은 금속 산화물을 고순도 진성 또는 실질적으로 고순도 진성인 금속 산화물이라고 부른다. 상기 금속 산화물은 불순물 농도가 낮고 결함 준위 밀도가 낮기 때문에 안정적인 특성을 가지는 산화물 반도체라고 할 수 있다.
또한 이들에 한정되지 않고, 필요로 하는 트랜지스터의 반도체 특성 및 전기 특성(전계 효과 이동도, 문턱 전압 등)에 따라 적절한 조성의 산화물 반도체를 사용하면 좋다. 또한 필요로 하는 트랜지스터의 반도체 특성을 얻기 위하여, 반도체층의 캐리어 밀도나 불순물 농도, 결함 밀도, 금속 원소와 산소의 원자수비, 원자간 거리, 밀도 등을 적절한 것으로 하는 것이 바람직하다.
반도체층을 구성하는 금속 산화물에서, 14족 원소 중 하나인 실리콘이나 탄소가 포함되면 반도체층에서 산소 결손이 증가되어 n형화된다. 그러므로, 반도체층에서의 실리콘이나 탄소의 농도(이차 이온 질량 분석법에 의하여 얻어지는 농도)를 2×1018atoms/cm3 이하, 바람직하게는 2×1017atoms/cm3 이하로 한다.
또한 알칼리 금속 및 알칼리 토금속은 금속 산화물과 결합되면 캐리어를 생성하는 경우가 있고, 트랜지스터의 오프 전류가 증대하는 경우가 있다. 이 때문에 반도체층에서의 이차 이온 질량 분석법에 의하여 얻어지는 알칼리 금속 또는 알칼리 토금속의 농도를 1×1018atoms/cm3 이하, 바람직하게는 2×1016atoms/cm3 이하로 한다.
또한 반도체층을 구성하는 금속 산화물에 질소가 포함되면, 캐리어인 전자가 생기고 캐리어 밀도가 증가되어 n형화되기 쉽다. 이 결과, 질소가 포함되는 금속 산화물을 사용한 트랜지스터는 노멀리 온 특성을 가지기 쉽다. 그러므로 반도체층에서의 이차 이온 질량 분석법에 의하여 얻어지는 질소 농도는 5×1018atoms/cm3 이하로 하는 것이 바람직하다.
산화물 반도체는 단결정 산화물 반도체와 비단결정 산화물 반도체로 나누어진다. 비단결정 산화물 반도체로서는 CAAC-OS(c-axis-aligned crystalline oxide semiconductor), 다결정 산화물 반도체, nc-OS(nanocrystalline oxide semiconductor), a-like OS(amorphous-like oxide semiconductor), 및 비정질 산화물 반도체 등이 있다.
또한 본 발명의 일 형태에 개시되는 트랜지스터의 반도체층에는 CAC-OS(Cloud-Aligned Composite oxide semiconductor)를 사용하여도 좋다.
또한 본 발명의 일 형태에 개시되는 트랜지스터의 반도체층은 상술한 비단결정 산화물 반도체 또는 CAC-OS를 바람직하게 사용할 수 있다. 또한 비단결정 산화물 반도체로서는 nc-OS 또는 CAAC-OS를 적합하게 사용할 수 있다.
또한 본 발명의 일 형태에서는 트랜지스터의 반도체층으로서 CAC-OS를 사용하는 것이 바람직하다. CAC-OS를 사용함으로써 트랜지스터에 높은 전기 특성 또는 높은 신뢰성을 부여할 수 있다.
또한 반도체층이 CAAC-OS의 영역, 다결정 산화물 반도체의 영역, nc-OS의 영역, a-like OS의 영역, 및 비정질 산화물 반도체의 영역 중 2종류 이상을 가지는 혼합막이어도 좋다. 혼합막은 예를 들어 상술한 영역 중 어느 2종류 이상의 영역을 포함하는 단층 구조 또는 적층 구조를 가지는 경우가 있다.
<CAC-OS의 구성>
이하에서는, 본 발명의 일 형태에 개시된 트랜지스터에 사용할 수 있는 CAC(Cloud-Aligned Composite)-OS의 구성에 대하여 설명한다.
CAC-OS란, 예를 들어 금속 산화물을 구성하는 원소가 0.5nm 이상 10nm 이하, 바람직하게는 1nm 이상 2nm 이하, 또는 그 근방의 크기로 편재된 재료의 한 구성이다. 또한 아래에서는, 금속 산화물에 하나 또는 하나 이상의 금속 원소가 편재하여 상기 금속 원소를 가지는 영역이 0.5nm 이상 10nm 이하, 바람직하게는 1nm 이상 2nm 이하, 또는 이 근방의 크기로 혼합된 상태를 모자이크 패턴 또는 패치 패턴이라고도 한다.
또한 금속 산화물은 적어도 인듐을 포함하는 것이 바람직하다. 특히 인듐 및 아연을 포함하는 것이 바람직하다. 또한 이들에 더하여 알루미늄, 갈륨, 이트륨, 구리, 바나듐, 베릴륨, 붕소, 실리콘, 타이타늄, 철, 니켈, 저마늄, 지르코늄, 몰리브데넘, 란타넘, 세륨, 네오디뮴, 하프늄, 탄탈럼, 텅스텐, 및 마그네슘 등 중에서 선택된 1종류 또는 복수 종류가 포함되어도 좋다.
예를 들어 In-Ga-Zn 산화물에서의 CAC-OS(CAC-OS 중에서도 In-Ga-Zn 산화물을 특히 CAC-IGZO라고 불러도 좋음)란, 인듐 산화물(이하, InOX1(X1은 0보다 큰 실수(實數))로 함) 또는 인듐 아연 산화물(이하, InX2ZnY2OZ2(X2, Y2, 및 Z2는 0보다 큰 실수)로 함)과, 갈륨 산화물(이하, GaOX3(X3은 0보다 큰 실수)으로 함) 또는 갈륨 아연 산화물(이하, GaX4ZnY4OZ4(X4, Y4, 및 Z4는 0보다 큰 실수)로 함) 등으로 재료가 분리됨으로써 모자이크상이 되고, 모자이크상의 InOX1 또는 InX2ZnY2OZ2가 막 내에 균일하게 분포된 구성(이하, 클라우드상이라고도 함)이다.
즉 CAC-OS는 GaOX3이 주성분인 영역과, InX2ZnY2OZ2 또는 InOX1이 주성분인 영역이 혼합된 구성을 가지는 복합 금속 산화물이다. 또한 본 명세서에서 예를 들어 제 1 영역의 원소 M에 대한 In의 원자수비가 제 2 영역의 원소 M에 대한 In의 원자수비보다 큰 것을, 제 1 영역은 제 2 영역과 비교하여 In의 농도가 높다고 한다.
또한 IGZO는 통칭이며, In, Ga, Zn, 및 O로 이루어지는 하나의 화합물을 말하는 경우가 있다. 대표적인 예로서, InGaO3(ZnO)m1(m1은 자연수) 또는 In(1+x0)Ga(1-x0)O3(ZnO)m0(-1≤x0≤1, m0은 임의의 수)으로 나타내어지는 결정성 화합물을 들 수 있다.
상기 결정성 화합물은 단결정 구조, 다결정 구조, 또는 CAAC 구조를 가진다. 또한 CAAC 구조는 복수의 IGZO의 나노 결정이 c축 배향을 가지고, 또한 a-b면에서는 배향하지 않고 연결된 결정 구조이다.
한편으로, CAC-OS는 금속 산화물의 재료 구성에 관한 것이다. CAC-OS란 In, Ga, Zn, 및 O를 포함한 재료 구성에서, 일부에 Ga을 주성분으로 하는 나노 입자상으로 관찰되는 영역과, 일부에 In을 주성분으로 하는 나노 입자상으로 관찰되는 영역이 각각 모자이크상으로 무작위로 분산되어 있는 구성을 말한다. 따라서, CAC-OS에서 결정 구조는 부차적인 요소이다.
또한 CAC-OS는 조성이 상이한 2종류 이상의 막의 적층 구조를 포함하지 않는 것으로 한다. 예를 들어 In을 주성분으로 하는 막과, Ga를 주성분으로 하는 막의 2층으로 이루어지는 구조는 포함하지 않는다.
또한 GaOX3이 주성분인 영역과, InX2ZnY2OZ2 또는 InOX1이 주성분인 영역에서는, 명확한 경계를 관찰할 수 없는 경우가 있다.
또한 갈륨 대신에 알루미늄, 이트륨, 구리, 바나듐, 베릴륨, 붕소, 실리콘, 타이타늄, 철, 니켈, 저마늄, 지르코늄, 몰리브데넘, 란타넘, 세륨, 네오디뮴, 하프늄, 탄탈럼, 텅스텐, 또는 마그네슘 등에서 선택된 1종류 또는 복수 종류가 포함되어 있는 경우, CAC-OS는 일부에 상기 금속 원소를 주성분으로 하는 나노 입자상으로 관찰되는 영역과, 일부에 In을 주성분으로 하는 나노 입자상으로 관찰되는 영역이 각각 모자이크상으로 무작위로 분산되어 있는 구성을 말한다.
CAC-OS는 예를 들어 기판을 의도적으로 가열하지 않는 조건하에서 스퍼터링법으로 형성할 수 있다. 또한 CAC-OS를 스퍼터링법에 의하여 형성하는 경우, 성막 가스로서 불활성 가스(대표적으로는 아르곤), 산소 가스, 및 질소 가스 중에서 선택된 어느 하나 또는 복수를 사용하면 좋다. 또한 성막 시의 성막 가스의 총유량에 대한 산소 가스의 유량비는 낮을수록 바람직하고, 예를 들어 산소 가스의 유량비를 0% 이상 30% 미만, 바람직하게는 0% 이상 10% 이하로 하는 것이 바람직하다.
CAC-OS는 X선 회절(XRD: X-ray diffraction) 측정법의 하나인 Out-of-plane법에 의한 θ/2θ 스캔을 사용하여 측정하였을 때 명확한 피크가 관찰되지 않는다는 특징을 가진다. 즉 X선 회절 측정으로부터 측정 영역의 a-b면 방향 및 c축 방향의 배향이 보이지 않는 것을 알 수 있다.
또한 CAC-OS는 프로브 직경이 1nm인 전자선(나노 빔 전자선이라고도 함)을 조사함으로써 얻어지는 전자선 회절 패턴에서, 휘도가 높은 고리 형상의 휘도가 높은 영역과 상기 고리 형상의 영역 내에 복수의 휘점이 관측된다. 따라서 전자선 회절 패턴으로부터 CAC-OS의 결정 구조는 평면 방향 및 단면 방향에서 배향성을 가지지 않는 nc(nano-crystal) 구조를 가진다는 것을 알 수 있다.
또한 예를 들어 In-Ga-Zn 산화물에서의 CAC-OS에서는, 에너지 분산형 X선 분광법(EDX: Energy Dispersive X-ray spectroscopy)을 사용하여 취득한 EDX 매핑에 의하여, GaOX3이 주성분인 영역과, InX2ZnY2OZ2 또는 InOX1이 주성분인 영역이 편재하고 혼합되어 있는 구조를 가진다는 것을 확인할 수 있다.
CAC-OS는 금속 원소가 균일하게 분포된 IGZO 화합물과는 상이한 구조이고, IGZO 화합물과는 상이한 성질을 가진다. 즉 CAC-OS는 GaOX3 등이 주성분인 영역과, InX2ZnY2OZ2 또는 InOX1이 주성분인 영역으로 서로 상분리(相分離)되어, 각 원소를 주성분으로 하는 영역이 모자이크상인 구조를 가진다.
여기서, InX2ZnY2OZ2 또는 InOX1이 주성분인 영역은 GaOX3 등이 주성분인 영역과 비교하여 도전성이 높은 영역이다. 즉, InX2ZnY2OZ2 또는 InOX1이 주성분인 영역을 캐리어가 흐름으로써, 금속 산화물로서의 도전성이 발현된다. 따라서, InX2ZnY2OZ2 또는 InOX1이 주성분인 영역이 금속 산화물 내에 클라우드상으로 분포됨으로써, 높은 전계 효과 이동도(μ)를 실현할 수 있다.
한편으로 GaOX3 등이 주성분인 영역은 InX2ZnY2OZ2 또는 InOX1이 주성분인 영역과 비교하여 절연성이 높은 영역이다. 즉, GaOX3 등이 주성분인 영역이 금속 산화물 내에 분포됨으로써, 누설 전류를 억제하여 양호한 스위칭 동작을 실현할 수 있다.
따라서 CAC-OS를 반도체 소자에 사용한 경우, GaOX3 등에 기인하는 절연성과, InX2ZnY2OZ2 또는 InOX1에 기인하는 도전성이 상보적으로 작용함으로써, 높은 온 전류(Ion) 및 높은 전계 효과 이동도(μ)를 실현할 수 있다.
또한 CAC-OS를 사용한 반도체 소자는 신뢰성이 높다. 따라서, CAC-OS는 디스플레이를 비롯한 다양한 반도체 장치에 최적이다.
또한 반도체층에 CAC-OS를 가지는 트랜지스터는 전계 효과 이동도가 높고, 또한 구동 능력이 높기 때문에, 상기 트랜지스터를 구동 회로, 대표적으로는 게이트 신호를 생성하는 주사선 구동 회로에 사용함으로써 베젤이 좁은(슬림 베젤이라고도 함) 표시 장치를 제공할 수 있다. 또한 상기 트랜지스터를, 표시 장치가 가지는 신호선 구동 회로(특히 신호선 구동 회로가 가지는 시프트 레지스터의 출력 단자와 접속되는 디멀티플렉서)에 사용함으로써, 표시 장치와 접속되는 배선수가 적은 표시 장치를 제공할 수 있다.
또한 반도체층에 CAC-OS를 가지는 트랜지스터는 저온 폴리 실리콘을 사용한 트랜지스터와 같은 레이저 결정화 공정이 불필요하다. 이로써 대면적 기판을 사용한 표시 장치이어도 제조 비용을 저감할 수 있다. 또한 울트라 하이비전('4K 해상도', '4K2K', '4K'), 슈퍼 하이비전('8K 해상도', '8K4K', '8K')과 같이 해상도가 높고, 또한 대형의 표시 장치에 있어서, 반도체층에 CAC-OS를 가지는 트랜지스터를 구동 회로 및 표시부에 사용함으로써 단시간에 기록할 수 있고, 표시 불량을 저감할 수 있어 바람직하다.
또는 트랜지스터의 채널이 형성되는 반도체에 실리콘을 사용하여도 좋다. 실리콘으로서 비정질 실리콘을 사용하여도 좋지만 특히 결정성을 가지는 실리콘을 사용하는 것이 바람직하다. 예를 들어, 미결정 실리콘, 다결정 실리콘, 단결정 실리콘 등을 사용하는 것이 바람직하다. 특히, 다결정 실리콘은 단결정 실리콘에 비하여 저온에서 형성할 수 있고, 또한 비정질 실리콘에 비하여 높은 전계 효과 이동도와 높은 신뢰성을 가진다.
[도전층]
트랜지스터의 게이트, 소스 및 드레인 외에, 표시 장치를 구성하는 각종 배선 및 전극 등의 도전층에 사용할 수 있는 재료로서는 알루미늄, 타이타늄, 크로뮴, 니켈, 구리, 이트륨, 지르코늄, 몰리브데넘, 은, 탄탈럼, 또는 텅스텐 등의 금속, 또는 이를 주성분으로 하는 합금 등을 들 수 있다. 또한 이들 재료를 포함하는 막을 단층으로, 또는 적층 구조로 사용할 수 있다. 예를 들어 실리콘을 포함하는 알루미늄막의 단층 구조, 타이타늄막 위에 알루미늄막을 적층하는 2층 구조, 텅스텐막 위에 알루미늄막을 적층하는 2층 구조, 구리-마그네슘-알루미늄 합금막 위에 구리막을 적층하는 2층 구조, 타이타늄막 위에 구리막을 적층하는 2층 구조, 텅스텐막 위에 구리막을 적층하는 2층 구조, 타이타늄막 또는 질화 타이타늄막과, 그 위에 중첩시켜 알루미늄막 또는 구리막을 적층하고, 그 위에 타이타늄막 또는 질화 타이타늄막을 더 형성하는 3층 구조, 몰리브데넘막 또는 질화몰리브데넘막과, 그 위에 중첩시켜 알루미늄막 또는 구리막을 적층하고, 그 위에 몰리브데넘막 또는 질화몰리브데넘막을 더 형성하는 3층 구조 등이 있다. 또한 산화 인듐, 산화 주석, 또는 산화 아연 등의 산화물을 사용하여도 좋다. 또한 망가니즈를 포함하는 구리를 사용하면 에칭에 의한 형상의 제어성이 높아지기 때문에 바람직하다.
[절연층]
각 절연층에 사용할 수 있는 절연 재료로서는, 예를 들어 아크릴, 에폭시 등의 수지, 실록산 결합을 가지는 수지 외에, 산화 실리콘, 산화질화 실리콘, 질화산화 실리콘, 질화 실리콘, 산화 알루미늄 등의 무기 절연 재료를 사용할 수도 있다.
한 발광 소자는 한 쌍의 투수성이 낮은 절연막 사이에 제공되는 것이 바람직하다. 이로써, 발광 소자에 물 등의 불순물이 침입하는 것을 억제할 수 있어, 장치의 신뢰성의 저하를 억제할 수 있다.
투수성이 낮은 절연막으로서는 질화 실리콘막, 질화산화 실리콘막 등 질소 및 실리콘을 포함하는 막이나 질화 알루미늄막 등의 질소 및 알루미늄을 포함하는 막 등을 들 수 있다. 또한 산화 실리콘막, 산화질화 실리콘막, 산화 알루미늄막 등을 사용하여도 좋다.
예를 들어, 투수성이 낮은 절연막의 수증기 투과량을 1×10-5[g/(m2·day)] 이하, 바람직하게는 1×10-6[g/(m2·day)] 이하, 더 바람직하게는 1×10-7[g/(m2·day)] 이하, 더욱 바람직하게는 1×10-8[g/(m2·day)] 이하로 한다.
여기까지가 구성 요소에 대한 설명이다.
[표시 모듈의 구성예]
이하에서는, 본 발명의 일 형태의 표시 장치를 가지는 표시 모듈의 구성예에 대하여 설명한다.
도 11의 (A)는 표시 모듈(300)의 사시 개략도이다. 표시 모듈(300)은 표시 장치(200)와 FPC(310)를 가진다. 표시 장치(200)로서는 상기에서 예시한 표시 장치(200A) 내지 표시 장치(200C) 등 적용할 수 있다.
표시 모듈(300)은 기판(201), 기판(202)을 가진다. 또한 기판(202) 측에 표시부(301)를 가진다. 표시부(301)는 표시 모듈(300)에서의 화상을 표시하는 영역이고, 후술하는 화소부(304)에 제공되는 각 화소로부터의 광을 시인할 수 있는 영역이다.
또한 표시부(301)는 수광부를 겸비할 수 있다. 즉 표시 모듈(300)은 표시부(301)에 입사되는 광을 검출하고, 전기 신호로서 FPC(310)를 통하여 외부에 출력할 수 있다.
도 11의 (B)에 기판(201) 측의 구성을 모식적으로 나타낸 사시도를 도시하였다. 기판(201)은 회로부(302)와, 회로부(302) 위에 화소 회로부(303)와, 화소 회로부(303) 위에 화소부(304)가 적층된 구성을 가진다. 또한 화소 회로부(303)는 2층 이상의 구성으로 하여도 좋다. 또한 기판(201) 위에서 화소부(304)와 중첩되지 않는 부분에 FPC(310)와 접속하기 위한 단자부(305)를 가진다. 또한 단자부(305)와 회로부(302)는 복수의 배선으로 구성되는 배선부(306)에 의하여 전기적으로 접속된다.
화소부(304)는 매트릭스로 배열된 복수의 화소(304a)를 가진다. 도 11의 (B)의 오른쪽에 하나의 화소(304a)의 확대도를 나타내었다. 화소(304a)는 발광 유닛(220R), 발광 유닛(220G), 발광 유닛(220B), 및 수광 소자(230)를 가진다.
화소 회로부(303)는 매트릭스로 배열된 복수의 화소 회로(303a)를 가진다. 하나의 화소 회로(303a)는 하나의 화소(304a)가 가지는 3개의 발광 유닛의 발광을 제어하는 회로와, 수광 소자(230)의 동작을 제어하는 회로를 포함한다. 하나의 화소(304a)는 하나의 발광 유닛의 발광을 제어하는 회로 3개와, 수광 소자(230)의 동작을 제어하는 회로가 제공되는 구성으로 하여도 좋다.
화소 회로의 구성에 대해서는 예를 들어 상기 실시형태 3에서 예시한 회로를 원용할 수 있다.
회로부(302)는 화소 회로부(303)의 각 화소 회로(303a)를 구동하는 회로를 가진다. 예를 들어 게이트선 구동 회로, 소스선 구동 회로 등을 가지는 구성으로 하는 것이 바람직하다.
또한 회로부(302)는 수광 소자(230)에서 검출한 광량에 따른 출력 신호를 판독하고, 상기 출력 신호를 증폭 또는 변환하여 출력하기 위한 판독 회로를 가지는 것이 바람직하다. 예를 들어 감지 증폭기 등을 가지는 구성으로 할 수 있다.
또한 회로부(302)는 상기 외에, 연산 회로나 메모리 회로, 전원 회로 등을 가져도 좋다.
FPC(310)는 외부로부터 회로부(302)에 비디오 신호, 센서 구동 신호, 전원 전위 등을 공급하기 위한 배선, 및 센서 신호를 외부에 출력하기 위한 배선으로서 기능한다. 또한 FPC(310) 위에 IC가 실장되어 있어도 좋다.
표시 모듈(300)은 화소부(304)의 하측에 화소 회로부(303)나 회로부(302) 등이 적층된 구성으로 할 수 있기 때문에, 표시부(301)의 개구율(유효 표시 면적비 및 유효 수광 면적비)을 매우 높게 할 수 있다. 예를 들어 표시부(301)의 개구율은 40% 이상 100% 미만, 바람직하게는 50% 이상 95% 이하, 더 바람직하게는 60% 이상 95% 이하로 할 수 있다. 또한 화소(304a)를 매우 높은 밀도로 배치할 수 있고, 표시부(301)의 정세도를 매우 높게 할 수 있다. 예를 들어, 표시부(301)에는 500ppi 이상, 바람직하게는 1000ppi 이상, 더 바람직하게는 2000ppi 이상, 더욱 바람직하게는 3000ppi 이상, 더욱더 바람직하게는 5000ppi 이상, 보다 바람직하게는 6000ppi 이상이고, 20000ppi 이하 또는 30000ppi 이하의 정세도로 화소(304a)가 배치되는 것이 바람직하다.
이와 같은 표시 모듈(300)은 매우 고정세하기 때문에, 헤드 마운트 디스플레이 등의 VR용 기기, 또는 안경형 AR용 기기에 적합하게 사용할 수 있다. 예를 들어, 렌즈를 통하여 표시 모듈(300)의 표시부를 시인하는 구성이어도, 표시 모듈(300)은 매우 고정세한 표시부(301)를 가지기 때문에, 렌즈로 표시부가 확대되어도 화소가 시인되지 않고, 몰입감이 높은 표시를 수행할 수 있다. 또한 표시 모듈(300)은 이에 한정되지 않고, 비교적 소형의 표시부를 가지는 전자 기기에 적합하게 사용할 수 있다. 예를 들어 스마트 워치 등 장착형 전자 기기의 표시부에 적합하게 사용할 수 있다.
또한 표시 모듈(300)은 화상을 표시하는 기능에 더하여, 수광한 광을 검출하는 기능을 가진다. 그러므로 사용자 얼굴의 일부로부터 반사되는 광을 검출하고, 그 정보를 외부에 출력할 수 있다. 이때 화소(304a)에 제공되는 표시 소자로부터의 광을 광원으로서 사용할 수도 있고, 어두운 환경에서도 자세한 정보를 얻을 수 있다.
본 실시형태는 적어도 그 일부를 본 명세서에 기재되는 다른 실시형태와 적절히 조합하여 실시할 수 있다.
(실시형태 5)
본 실시형태에서는 본 발명의 일 형태의 정보 처리 장치 등에 사용할 수 있는 표시 장치에 대하여 설명한다.
[구성예]
도 12의 (A)에 표시 장치(700)의 상면도를 나타내었다. 표시 장치(700)는 밀봉재(712)에 의하여 접합된 제 1 기판(701)과 제 2 기판(705)을 가진다. 또한 제 1 기판(701), 제 2 기판(705), 및 밀봉재(712)로 밀봉되는 영역에서, 제 1 기판(701) 위에 화소부(702), 소스 드라이버 회로부(704), 및 게이트 드라이버 회로부(706)가 제공된다. 또한 화소부(702)에는 복수의 표시 소자가 제공된다.
또한 제 1 기판(701)에서 제 2 기판(705)과 중첩되지 않은 부분에, FPC(716)(FPC: Flexible printed circuit)가 접속되는 FPC 단자부(708)가 제공된다. FPC(716)에 의하여, FPC 단자부(708) 및 신호선(710)을 통하여 화소부(702), 소스 드라이버 회로부(704), 및 게이트 드라이버 회로부(706) 각각에 각종 신호 등이 공급된다.
게이트 드라이버 회로부(706)는 복수로 제공되어도 좋다. 또한 게이트 드라이버 회로부(706) 및 소스 드라이버 회로부(704)는 각각 반도체 기판 등에 별도로 형성되고 패키징된 IC칩의 형태이어도 좋다. 상기 IC칩은 제 1 기판(701) 위 또는 FPC(716)에 실장할 수 있다.
화소부(702), 소스 드라이버 회로부(704), 및 게이트 드라이버 회로부(706)가 가지는 트랜지스터에 실시형태 4에서 예시한 트랜지스터를 적용할 수 있다.
화소부(702)에 제공되는 표시 소자로서는 액정 소자, 발광 소자 등을 들 수 있다. 액정 소자로서는 투과형 액정 소자, 반사형 액정 소자, 반투과형 액정 소자 등을 사용할 수 있다. 또한 발광 소자로서는 LED(Light Emitting Diode), OLED(Organic LED), QLED(Quantum-dot LED), 반도체 레이저 등의 자발광형 발광 소자를 들 수 있다. 또한 셔터 방식 또는 광 간섭 방식의 MEMS(Micro Electro Mechanical Systems) 소자나, 마이크로캡슐 방식, 전기 영동 방식, 일렉트로 웨팅 방식, 또는 전자 분류체(電子粉流體, Electronic Liquid Powder)(등록 상표) 방식 등을 적용한 표시 소자 등을 사용할 수도 있다.
도 12의 (B)에 도시된 표시 장치(700A)는 제 1 기판(701) 대신에 가요성을 가지는 수지층(743)이 적용되고, 플렉시블 디스플레이로서 사용할 수 있는 표시 장치의 예이다.
표시 장치(700A)는 화소부(702)가 직사각 형상이 아니고 코너부가 원호 형상을 가진다. 또한 도 12의 (B) 중의 영역(P1)에 도시된 바와 같이, 화소부(702) 및 수지층(743)의 일부가 잘린 노치부(notch portion)를 가진다. 한 쌍의 게이트 드라이버 회로부(706)는 화소부(702)를 사이에 두고 양측에 제공된다. 또한 게이트 드라이버 회로부(706)는 화소부(702)의 코너부에서 원호 형상의 윤곽을 따라 제공된다.
수지층(743)은 FPC 단자부(708)가 제공된 부분이 돌출한 형상을 가진다. 또한 수지층(743)의 FPC 단자부(708)를 포함한 일부는 도 12의 (B) 중의 영역(P2)에서 뒤쪽으로 접을 수 있다. 수지층(743)의 일부를 접음으로써 FPC(716)를 화소부(702)의 이면과 겹쳐 배치한 상태에서 표시 장치(700A)를 전자 기기에 실장할 수 있어 전자 기기의 크기 축소를 도모할 수 있다.
또한 표시 장치(700A)에 접속되는 FPC(716)에는 IC(717)가 실장된다. IC(717)는 예를 들어 소스 드라이버 회로로서의 기능을 가진다. 이때 표시 장치(700A)의 소스 드라이버 회로부(704)는 보호 회로, 버퍼 회로, 디멀티플렉서 회로 등 중 적어도 하나를 포함하는 구성으로 할 수 있다.
도 12의 (C)에 도시된 표시 장치(700B)는 대형 화면을 가지는 전자 기기에 적합하게 사용할 수 있는 표시 장치이다. 예를 들어 텔레비전 장치, 모니터 장치, 퍼스널 컴퓨터(노트북형 또는 데스크톱형을 포함함), 태블릿 단말기, 디지털 사이니지 등에 적합하게 사용할 수 있다.
표시 장치(700B)는 복수의 소스 드라이버 IC(721)와, 한 쌍의 게이트 드라이버 회로부(722)를 가진다.
복수의 소스 드라이버 IC(721)는 각각 FPC(723)에 장착된다. 또한 복수의 FPC(723)는 한쪽 단자가 기판(701)에 접속되고, 다른 쪽 단자가 프린트 기판(724)에 접속된다. FPC(723)를 접음으로써, 프린트 기판(724)을 화소부(702)의 이면에 배치하여 전자 기기에 실장할 수 있어, 전자 기기의 크기 축소를 도모할 수 있다.
한편으로 게이트 드라이버 회로부(722)는 기판(701) 위에 형성되어 있다. 그러므로 내로 베젤의 전자 기기를 실현할 수 있다.
이와 같은 구성으로 함으로써, 대형이며 고해상도의 표시 장치를 실현할 수 있다. 예를 들어 화면 크기가 대각 30인치 이상, 40인치 이상, 50인치 이상, 또는 60인치 이상의 표시 장치에 대해서도 적용을 실현할 수 있다. 또한 해상도가 4K2K 또는 8K4K 등으로 매우 높은 표시 장치를 실현할 수 있다.
[단면 구성예]
이하에서는 표시 소자로서 액정 소자를 사용하는 구성 및 EL 소자를 사용하는 구성에 대하여 도 13 내지 도 16을 사용하여 설명한다. 또한 도 13 내지 도 15는 각각 도 12의 (A)의 일점쇄선 Q-R에서의 단면도이다. 또한 도 16은 도 12의 (B)에 도시된 표시 장치(700A) 중의 일점쇄선 S-T에서의 단면도이다. 도 13 및 도 14는 표시 소자로서 액정 소자를 사용한 구성이고, 도 15 및 도 16은 EL 소자를 사용한 구성이다.
[표시 장치의 공통 부분에 관한 설명]
도 13 내지 도 16에 도시된 표시 장치는 리드 배선부(711)와, 화소부(702)와, 소스 드라이버 회로부(704)와, FPC 단자부(708)를 가진다. 리드 배선부(711)는 신호선(710)을 가진다. 화소부(702)는 트랜지스터(750) 및 용량 소자(790)를 가진다. 소스 드라이버 회로부(704)는 트랜지스터(752)를 가진다. 도 14에는 용량 소자(790)가 없는 경우를 나타내었다.
트랜지스터(750) 및 트랜지스터(752)는 채널이 형성되는 반도체층에 산화물 반도체를 적용한 트랜지스터이다. 또한 이에 한정되지 않고, 반도체층에 실리콘(비정질 실리콘, 다결정 실리콘, 또는 단결정 실리콘)을 적용한 트랜지스터를 사용할 수도 있다.
본 실시형태에서 사용하는 트랜지스터는 고순도화되고 산소 결손의 형성이 억제된 산화물 반도체막을 가진다. 상기 트랜지스터는 오프 전류를 낮게 할 수 있다. 따라서, 화상 신호 등의 전기 신호의 유지 시간을 길게 할 수 있고, 화상 신호 등의 기록 간격도 길게 설정할 수 있다. 그러므로 리프레시 동작의 빈도를 줄일 수 있기 때문에 소비전력을 저감하는 효과를 가진다.
또한 본 실시형태에서 사용하는 트랜지스터는 비교적 높은 전계 효과 이동도를 얻을 수 있기 때문에 고속 구동이 가능하다. 예를 들어 이와 같은 고속 구동이 가능한 트랜지스터를 표시 장치에 사용함으로써, 화소부의 스위칭 트랜지스터와 구동 회로부에 사용하는 드라이버 트랜지스터를 동일 기판 위에 형성할 수 있다. 즉, 실리콘 웨이퍼 등으로 형성된 구동 회로를 적용하지 않는 구성도 가능하기 때문에 표시 장치의 부품 점수를 삭감할 수 있다. 또한 화소부에서도, 고속 구동이 가능한 트랜지스터를 사용함으로써, 고화질의 화상을 제공할 수 있다.
도 13, 도 15, 및 도 16에 나타낸 용량 소자(790)는 트랜지스터(750)가 가지는 제 1 게이트 전극과 동일한 막을 가공하여 형성되는 하부 전극과, 반도체층과 동일한 금속 산화물을 가공하여 형성되는 상부 전극을 가진다. 상부 전극은 트랜지스터(750)의 소스 영역 및 드레인 영역과 마찬가지로 저저항화되어 있다. 또한 하부 전극과 상부 전극 사이에는, 트랜지스터(750)의 제 1 게이트 절연층으로서 기능하는 절연막의 일부가 제공된다. 즉, 용량 소자(790)는 한 쌍의 전극 사이에 유전체막으로서 기능하는 절연막이 끼워진 적층형의 구조를 가진다. 또한 상부 전극에는 트랜지스터의 소스 전극 및 드레인 전극과 동일한 막을 가공하여 얻어지는 배선이 접속된다.
또한 트랜지스터(750), 트랜지스터(752), 및 용량 소자(790) 위에는 평탄화 절연막(770)이 제공된다.
화소부(702)가 가지는 트랜지스터(750)와 소스 드라이버 회로부(704)가 가지는 트랜지스터(752)에는 상이한 구조의 트랜지스터를 사용하여도 좋다. 예를 들어 이들 중 어느 한쪽에 톱 게이트형 트랜지스터를 적용하고 다른 쪽에 보텀 게이트형 트랜지스터를 적용한 구성으로 하여도 좋다. 또한 상기 게이트 드라이버 회로부(706)에 대해서도 소스 드라이버 회로부(704)와 마찬가지이다.
신호선(710)은 트랜지스터(750) 및 트랜지스터(752)의 소스 전극 및 드레인 전극 등과 같은 도전막으로 형성된다. 이때 구리 원소를 포함한 재료 등 저항이 낮은 재료를 사용하면, 배선 저항에 기인하는 신호 지연 등이 적고 대화면 표시가 가능하게 되므로 바람직하다.
FPC 단자부(708)는 일부가 접속 전극으로서 기능하는 배선(760), 이방성 도전막(780), 및 FPC(716)를 가진다. 배선(760)은 이방성 도전막(780)을 통하여 FPC(716)가 가지는 단자와 전기적으로 접속된다. 여기서는 배선(760)은 트랜지스터(750, 752)의 소스 전극 및 드레인 전극 등과 같은 도전막으로 형성된다.
제 1 기판(701) 및 제 2 기판(705)으로서는 예를 들어 유리 기판 또는 플라스틱 기판 등 가요성을 가지는 기판을 사용할 수 있다. 제 1 기판(701)에 가요성을 가지는 기판을 사용하는 경우에는, 제 1 기판(701)과 트랜지스터(750) 등 사이에 물이나 수소에 대한 배리어성을 가지는 절연층을 제공하는 것이 바람직하다.
또한 제 2 기판(705) 측에는 차광막(738)과, 착색막(736)과, 이들에 접하는 절연막(734)이 제공된다.
[액정 소자를 사용하는 표시 장치의 구성예]
도 13에 나타낸 표시 장치(700)는 액정 소자(775)를 가진다. 액정 소자(775)는 도전층(772), 도전층(774), 및 이들 사이의 액정층(776)을 가진다. 도전층(774)은 제 2 기판(705) 측에 제공되고, 공통 전극으로서의 기능을 가진다. 또한 도전층(772)은 트랜지스터(750)가 가지는 소스 전극 또는 드레인 전극에 전기적으로 접속된다. 도전층(772)은 평탄화 절연막(770) 위에 형성되고 화소 전극으로서 기능한다.
도전층(772)에는, 가시광에 대하여 투광성을 가지는 재료 또는 반사성을 가지는 재료를 사용할 수 있다. 투광성 재료로서는 예를 들어 인듐, 아연, 주석 등을 포함하는 산화물 재료를 사용하는 것이 좋다. 반사성 재료로서는 예를 들어 알루미늄, 은 등을 포함하는 재료를 사용하는 것이 좋다.
도전층(772)에 반사성 재료를 사용하면, 표시 장치(700)는 반사형 액정 표시 장치가 된다. 한편으로 도전층(772)에 투광성 재료를 사용하면, 투과형 액정 표시 장치가 된다. 반사형 액정 표시 장치의 경우, 시인 측에 편광판을 제공한다. 한편으로 투과형 액정 표시 장치의 경우, 액정 소자(775)를 끼우도록 한 쌍의 편광판을 제공한다.
도 14에 나타낸 표시 장치(700)는 횡전계 방식(예를 들어 FFS 모드)의 액정 소자(775)를 사용한 예를 나타낸 것이다. 도전층(772) 위에 절연층(773)을 개재하여 공통 전극으로서 기능하는 도전층(774)이 제공된다. 도전층(772)과 도전층(774) 사이에 생기는 전계에 의하여 액정층(776)의 배향 상태를 제어할 수 있다.
도 14에서 도전층(774), 절연층(773), 도전층(772)의 적층 구조로 저장 용량 소자(storage capacitor)를 구성할 수 있다. 그러므로 용량 소자를 별도로 제공할 필요가 없으므로 개구율을 높일 수 있다.
또한 도 13 및 도 14에 도시하지 않았지만, 액정층(776)과 접하는 배향막을 제공하는 구성으로 하여도 좋다. 또한 편광 부재, 위상차 부재, 반사 방지 부재 등의 광학 부재(광학 기판), 그리고 백라이트, 사이드 라이트 등의 광원을 적절히 제공할 수 있다.
액정층(776)에는 서모트로픽 액정, 저분자 액정, 고분자 액정, 고분자 분산형 액정(PDLC: Polymer Dispersed Liquid Crystal), 고분자 네트워크형 액정(PNLC: Polymer Network Liquid Crystal), 강유전성 액정, 반강유전성 액정 등을 사용할 수 있다. 또한 횡전계 방식을 채용하는 경우, 배향막을 사용하지 않는 블루상을 나타내는 액정을 사용하여도 좋다.
또한 액정 소자의 모드로서는 TN(Twisted Nematic) 모드, VA(Vertical Alignment) 모드, IPS(In-Plane-Switching) 모드, FFS(Fringe Field Switching) 모드, ASM(Axially Symmetric aligned Micro-cell) 모드, OCB(Optical Compensated Birefringence) 모드, ECB(Electrically Controlled Birefringence) 모드, 게스트 호스트 모드 등을 사용할 수 있다.
또한 액정층(776)에 고분자 분산형 액정이나, 고분자 네트워크형 액정 등을 사용한, 산란형 액정을 사용할 수도 있다. 이때, 착색막(736)을 제공하지 않고 흑백 표시를 수행하는 구성으로 하여도 좋고, 착색막(736)을 사용하여 컬러 표시를 수행하는 구성으로 하여도 좋다.
또한 액정 소자의 구동 방법으로서 계시 가법 혼색법에 의거하여 컬러 표시를 수행하는 시간 분할 표시 방식(필드 시??셜 구동 방식이라고도 함)을 적용하여도 좋다. 이 경우, 착색막(736)을 제공하지 않는 구성으로 할 수 있다. 시간 분할 표시 방식을 사용한 경우, 예를 들어 R(적색), G(녹색), B(청색) 각각의 색을 발하는 부화소(subpixel)를 제공할 필요가 없기 때문에, 화소의 개구율을 향상시키거나, 정세도를 높일 수 있다는 등의 이점이 있다.
[발광 소자를 사용하는 표시 장치]
도 15에 나타낸 표시 장치(700)는 발광 소자(782)를 가진다. 발광 소자(782)는 도전층(772), EL층(786), 및 도전막(788)을 가진다. EL층(786)은 유기 화합물 또는 퀀텀닷(quantum dot) 등의 무기 화합물을 가진다.
유기 화합물에 사용할 수 있는 재료로서는, 형광성 재료 또는 인광성 재료 등을 들 수 있다. 또한 퀀텀닷에 사용할 수 있는 재료로서는 콜로이드상 퀀텀닷 재료, 합금형 퀀텀닷 재료, 코어 셸형 퀀텀닷 재료, 코어형 퀀텀닷 재료 등을 들 수 있다.
도 15에 나타낸 표시 장치(700)에는, 평탄화 절연막(770) 위에 도전층(772)의 일부를 덮는 절연막(730)이 제공된다. 여기서 발광 소자(782)는 투광성의 도전막(788)을 가지는 톱 이미션형 발광 소자이다. 또한 발광 소자(782)는 도전층(772) 측으로 광을 사출하는 보텀 이미션 구조나, 도전층(772) 측과 도전막(788) 측의 양쪽으로 광을 사출하는 듀얼 이미션 구조로 하여도 좋다.
또한 착색막(736)은 발광 소자(782)와 중첩된 위치에 제공되고, 차광막(738)은 절연막(730)과 중첩된 위치, 리드 배선부(711), 및 소스 드라이버 회로부(704)에 제공된다. 또한 착색막(736) 및 차광막(738)은 절연막(734)으로 덮여 있다. 또한 발광 소자(782)와 절연막(734) 사이는 밀봉막(732)으로 충전되어 있다. 또한 EL층(786)을 화소마다 섬 형상으로 또는 화소열마다 줄무늬 형상으로 형성하는 경우, 즉 개별 도포하여 형성하는 경우에는, 착색막(736)을 제공하지 않는 구성으로 하여도 좋다.
도 16에는 플렉시블 디스플레이에 적합하게 적용할 수 있는 표시 장치의 구성을 도시하였다. 도 16은 도 12의 (B)에 도시된 표시 장치(700A) 중의 일점쇄선 S-T에서의 단면도이다.
도 16에 나타낸 표시 장치(700A)는 도 15에 도시된 기판(701) 대신에 지지 기판(745), 접착층(742), 수지층(743), 및 절연층(744)이 적층된 구성을 가진다. 트랜지스터(750)나 용량 소자(790) 등은 수지층(743) 위에 제공된 절연층(744) 위에 제공된다.
지지 기판(745)은 유기 수지나 유리 등을 포함하고, 가요성을 가질 정도로 얇은 기판이다. 수지층(743)은 폴리이미드나 아크릴 등의 유기 수지를 포함하는 층이다. 절연층(744)은 산화 실리콘, 산화질화 실리콘, 질화 실리콘 등의 무기 절연막을 포함한다. 수지층(743)과 지지 기판(745)은 접착층(742)에 의하여 접합된다. 수지층(743)은 지지 기판(745)보다 얇은 것이 바람직하다.
또한 도 16에 도시된 표시 장치(700A)는 도 15에 나타낸 기판(705) 대신에 보호층(740)을 가진다. 보호층(740)은 밀봉막(732)과 접합된다. 보호층(740)으로서는 유리 기판이나 수지 필름 등을 사용할 수 있다. 또한 보호층(740)으로서는 편광판, 산란판 등의 광학 부재나, 터치 센서 패널 등의 입력 장치, 또는 이들을 2개 이상 적층한 구성을 적용하여도 좋다.
또한 발광 소자(782)가 가지는 EL층(786)은 절연막(730) 및 도전층(772) 위에 섬 형상으로 제공된다. EL층(786)을 부화소마다 발광색이 상이하게 되도록 구분하여 형성함으로써, 착색막(736)을 사용하지 않고 컬러 표시를 실현할 수 있다. 또한 발광 소자(782)를 덮어 보호층(741)이 제공된다. 보호층(741)은 발광 소자(782)로 물 등의 불순물이 확산되는 것을 방지하는 기능을 가진다. 보호층(741)에는 무기 절연막을 사용하는 것이 바람직하다. 또한 무기 절연막과 유기 절연막을 각각 하나 이상 포함하는 적층 구조로 하는 것이 더 바람직하다.
또한 도 16에 접을 수 있는 영역(P2)을 도시하였다. 영역(P2)은 지지 기판(745), 접착층(742) 외에, 절연층(744) 등의 무기 절연막이 제공되지 않은 부분을 가진다. 또한 영역(P2)에서는, 배선(760)을 덮어 수지층(746)이 제공된다. 접을 수 있는 영역(P2)에 무기 절연막을 가능한 한 제공하지 않고, 또한 금속 또는 합금을 포함하는 도전층과 유기 재료를 포함하는 층만을 적층한 구성으로 함으로써, 접었을 때 크랙이 생기는 것을 방지할 수 있다. 또한 영역(P2)에 지지 기판(745)을 제공하지 않는 것에 의하여, 표시 장치(700A)의 일부를 매우 작은 곡률 반경으로 접을 수 있다.
[표시 장치에 입력 장치를 제공하는 구성예]
또한 도 13 내지 도 16에 나타낸 표시 장치(700)에 입력 장치를 제공하여도 좋다. 상기 입력 장치로서는 예를 들어 터치 센서 등이 있다.
예를 들어 센서의 방식으로서는 정전 용량 방식, 저항막 방식, 표면 탄성파 방식, 적외선 방식, 광학 방식, 감압 방식 등 다양한 방식을 사용할 수 있다. 또는 이들 중 2개 이상을 조합하여 사용하여도 좋다.
또한 터치 패널의 구성에는 입력 장치를 한 쌍의 기판 사이에 형성하는 소위 인셀형 터치 패널, 입력 장치를 표시 장치(700) 위에 형성하는 소위 온셀형 터치 패널, 또는 표시 장치(700)에 접합하여 사용하는 소위 아웃셀형 터치 패널 등이 있다.
본 실시형태에서 예시한 구성예 및 이들에 대응하는 도면 등은 적어도 그 일부를 다른 구성예 또는 도면 등과 적절히 조합하여 실시할 수 있다.
본 실시형태는 적어도 그 일부를 본 명세서에 기재되는 다른 실시형태와 적절히 조합하여 실시할 수 있다.
(실시형태 6)
본 실시형태에서는 본 발명의 일 형태의 정보 처리 장치에 사용할 수 있는 표시 장치를 가지는 전자 기기의 구성예에 대하여 설명한다.
본 발명의 일 형태의 표시 장치 및 표시 모듈은 표시 기능을 가지는 전자 기기 등의 표시부에 적용될 수 있다. 이와 같은 전자 기기로서는 예를 들어 텔레비전 장치, 노트북형 퍼스널 컴퓨터, 모니터 장치, 디지털 사이니지, 파칭코기, 게임기 등 비교적 큰 화면을 가지는 전자 기기 외에, 디지털 카메라, 디지털 비디오 카메라, 디지털 액자, 휴대 전화기, 휴대용 게임기, 휴대 정보 단말기, 음향 재생 장치 등을 들 수 있다.
특히, 본 발명의 일 형태의 표시 장치 및 표시 모듈은 정세도를 높일 수 있기 때문에, 비교적 작은 표시부를 가지는 전자 기기에 적합하게 사용할 수 있다. 이와 같은 전자 기기로서는, 예를 들어 손목시계형이나 팔찌형의 정보 단말기(웨어러블 기기)나 헤드 마운트 디스플레이 등의 VR용 기기, 또는 안경형의 AR용 기기 등, 머리에 장착할 수 있는 웨어러블 기기 등이 있고, 이들에 적합하게 사용할 수 있다.
도 17의 (A)에 안경형의 전자 기기(900)의 사시도를 도시하였다. 전자 기기(900)는 한 쌍의 표시 패널(901), 한 쌍의 하우징(902), 한 쌍의 광학 부재(903), 한 쌍의 장착부(904) 등을 가진다.
전자 기기(900)는 광학 부재(903)의 표시 영역(906)에, 표시 패널(901)에 표시한 화상을 투영할 수 있다. 또한 광학 부재(903)는 투광성을 가지기 때문에, 사용자는 광학 부재(903)를 통하여 시인되는 투과 이미지에 겹쳐 표시 영역(906)에 표시된 화상을 볼 수 있다. 따라서 전자 기기(900)는 AR 표시가 가능한 전자 기기이다.
또한 전자 기기(900)가 가지는 표시 패널(901)은 화상을 표시하는 기능에 더하여, 촬상하는 기능을 가지는 것이 바람직하다. 이때 전자 기기(900)는 광학 부재(903)를 통하여 표시 패널(901)에 입사된 광을 수광하고, 전기 신호로 변환하여 출력할 수 있다. 이에 의하여 사용자의 눈, 또는 눈 및 그 주변을 촬상하고, 화상 정보로서 외부, 또는 전자 기기(900)가 가지는 연산부에 출력할 수 있다.
또한 하나의 하우징(902)에는 전방을 촬상할 수 있는 카메라(905)가 제공되어 있다. 또한 도시하지 않았지만, 어느 한쪽의 하우징(902)은 무선 수신기 또는 케이블을 접속할 수 있는 커넥터를 구비하고, 외부로부터 하우징(902)에 영상 신호 등을 공급할 수 있다. 또한 하우징(902)이 자이로 센서 등의 가속도 센서를 구비함으로써, 사용자의 머리의 방향을 검지하여 그 방향에 대응한 화상을 표시 영역(906)에 표시할 수도 있다. 또한 하우징(902)에는 배터리가 제공되어 있는 것이 바람직하다. 상기 배터리는 무선 또는 유선으로 충전할 수 있다.
이어서, 도 17의 (B)를 사용하여 전자 기기(900)의 표시 영역(906)에 대한 화상의 투영 방법에 대하여 설명한다. 하우징(902)의 내부에는 표시 패널(901), 렌즈(911), 반사판(912)이 제공되어 있다. 또한 광학 부재(903)의 표시 영역(906)에 상당하는 부분에는 하프 미러로서 기능하는 반사면(913)을 가진다.
표시 패널(901)로부터 방출된 광(915)은 렌즈(911)를 통과하여 반사판(912)에 의하여 광학 부재(903) 측으로 반사된다. 광학 부재(903)의 내부에 있어서, 광(915)은 광학 부재(903)의 단부면에서 전반사를 반복하여 반사면(913)에 도달함으로써, 반사면(913)에 화상이 투영된다. 이로써, 사용자는 반사면(913)에 반사된 광(915)과, 광학 부재(903)(반사면(913)을 포함함)를 투과한 투과광(916)의 양쪽을 시인할 수 있다.
도 17에서는 반사판(912) 및 반사면(913)이 각각 곡면을 가지는 예를 나타내었다. 이로써, 이들이 평면인 경우에 비하여 광학 설계의 자유도를 높일 수 있고, 광학 부재(903)의 두께를 얇게 할 수 있다. 또한 반사판(912) 및 반사면(913)을 평면으로 하여도 좋다.
반사판(912)으로서는 경면을 가지는 부재를 사용할 수 있고, 반사율이 높은 것이 바람직하다. 또한 반사면(913)으로서는, 금속막의 반사를 이용한 하프 미러을 사용하여도 좋지만, 전반사를 이용한 프리즘 등을 사용하면 투과광(916)의 투과율을 높일 수 있다.
여기서, 하우징(902)은 렌즈(911)와 표시 패널(901) 사이의 거리나 이들의 각도를 조정하는 기구를 가지는 것이 바람직하다. 이로써, 초점의 조정이나 화상의 확대, 축소 등의 조작을 수행할 수 있게 된다. 예를 들어, 렌즈(911) 및 표시 패널(901) 중 한쪽 또는 양쪽이 광축 방향으로 이동할 수 있는 구성으로 하면 좋다.
또한 하우징(902)은 반사판(912)의 각도를 조정할 수 있는 기구를 가지는 것이 바람직하다. 반사판(912)의 각도를 바꿈으로써, 화상이 표시되는 표시 영역(906)의 위치를 바꿀 수 있게 된다. 이로써, 사용자의 눈의 위치에 따라 최적의 위치에 표시 영역(906)을 배치할 수 있게 된다.
표시 패널(901)에는 본 발명의 일 형태의 표시 장치 또는 표시 모듈을 적용할 수 있다. 따라서 정세도가 매우 높은 표시가 가능한 전자 기기(900)로 할 수 있다.
도 18의 (A) 및 (B)에 고글형의 전자 기기(950)의 사시도를 나타내었다. 도 18의 (A)는 전자 기기(950)의 정면, 평면, 및 왼쪽 면을 나타낸 사시도이고, 도 18의 (B)는 전자 기기(950)의 배면, 밑면, 및 오른쪽 면을 나타낸 사시도이다.
전자 기기(950)는 한 쌍의 표시 패널(951), 하우징(952), 한 쌍의 장착부(954), 완충 부재(955), 한 쌍의 렌즈(956) 등을 가진다. 한 쌍의 표시 패널(951)은 하우징(952)의 내부의 렌즈(956)를 통하여 시인할 수 있는 위치에 각각 제공된다.
전자 기기(950)는 VR용 전자 기기이다. 전자 기기(950)를 장착한 사용자는 렌즈(956)를 통하여 표시 패널(951)에 표시되는 화상을 시인할 수 있다. 또한 한 쌍의 표시 패널(951)에 상이한 화상을 표시시킴으로써, 시차를 사용한 3차원 표시를 수행할 수도 있다.
또한 하우징(952)의 배면 측에는 입력 단자(957)와 출력 단자(958)가 제공된다. 입력 단자(957)에는 영상 출력 기기 등으로부터의 영상 신호나 하우징(952) 내에 제공되는 배터리를 충전하기 위한 전력 등을 공급하는 케이블을 접속할 수 있다. 출력 단자(958)로서는 예를 들어 음성 출력 단자로서 기능하고, 이어폰이나 헤드폰 등을 접속할 수 있다. 또한 무선 통신에 의하여 음성 데이터를 출력할 수 있는 구성으로 하는 경우나, 외부의 영상 출력 기기로부터 음성을 출력하는 경우에는, 상기 음성 출력 단자를 제공하지 않아도 된다.
또한 하우징(952)은 렌즈(956) 및 표시 패널(951)이 사용자의 눈의 위치에 따라 최적의 위치가 되도록 이들의 좌우의 위치를 조정할 수 있는 기구를 가지는 것이 바람직하다. 또한 렌즈(956)와 표시 패널(951) 사이의 거리를 바꿈으로써 초점을 조정하는 기구를 가지는 것이 바람직하다.
표시 패널(951)에는 본 발명의 일 형태의 표시 장치 또는 표시 모듈을 적용할 수 있다. 따라서 정세도가 매우 높은 표시가 가능한 전자 기기(950)로 할 수 있다. 이로써, 사용자가 높은 몰입감을 느낄 수 있다.
완충 부재(955)는 사용자 얼굴(이마나 볼 등)에 접촉하는 부분이다. 완충 부재(955)가 사용자 얼굴과 밀착함으로써 광누설을 방지할 수 있어, 몰입감을 더 높일 수 있다. 완충 부재(955)로서는 사용자가 전자 기기(950)를 장착하였을 때 사용자 얼굴에 밀착하도록, 부드러운 소재를 사용하는 것이 바람직하다. 예를 들어 고무, 실리콘(silicone) 고무, 우레탄, 스펀지 등의 소재를 사용할 수 있다. 또한 스펀지 등의 표면을 천이나 가죽(천연 피혁 또는 합성 피혁) 등으로 덮은 것을 사용하면, 사용자 얼굴과 완충 부재(955) 사이에 틈이 생기기 어려워 광누설을 적합하게 방지할 수 있다. 또한 이와 같은 소재를 사용하면, 촉감이 좋으면서, 추운 계절 등에 장착할 때에 사용자가 차가움을 느끼지 않기 때문에 바람직하다. 완충 부재(955)나 장착부(954) 등의, 사용자 피부에 접촉하는 부재는 탈착 가능한 구성으로 하면 클리닝이나 교환이 용이하기 때문에 바람직하다.
본 실시형태는 적어도 그 일부를 본 명세서에 기재되는 다른 실시형태와 적절히 조합하여 실시할 수 있다.
(실시형태 7)
본 실시형태에서는 본 발명의 일 형태의 정보 처리 장치, 또는 표시 장치로서 사용할 수 있는 전자 기기의 예에 대하여 설명한다.
도 19의 (A)에 나타낸 전자 기기(6500)는 스마트폰으로서 사용할 수 있는 휴대 정보 단말기이다.
전자 기기(6500)는 하우징(6501)에, 표시부(6502), 전원 버튼(6503), 버튼(6504), 스피커(6505), 마이크로폰(6506), 카메라(6507), 및 광원(6508) 등을 가진다. 표시부(6502)는 터치 패널 기능을 가진다. 또한 전자 기기(6500)는 하우징(6501)의 내부에 연산 장치, 기억 장치 등을 가진다.
카메라(6507)에 의하여, 사용자 얼굴의 일부를 촬상할 수 있다. 이때 광원(6508)으로서 가시광뿐만 아니라 적외선을 방출할 수 있는 구성으로 함으로써, 사용자에게 눈부심을 일으키지 않도록 하면서 더 정확한 얼굴의 정보를 취득할 수 있다.
도 19의 (B)는 하우징(6501)의 마이크로폰(6506) 측의 단부를 포함한 단면 개략도이다.
하우징(6501)의 표시면 측에는 투광성을 가지는 보호 부재(6510)가 제공되고, 하우징(6501)과 보호 부재(6510)로 둘러싸인 공간 내에 표시 패널(6511), 광학 부재(6512), 터치 센서 패널(6513), 프린트 기판(6517), 배터리(6518) 등이 배치된다.
보호 부재(6510)에는 표시 패널(6511), 광학 부재(6512), 및 터치 센서 패널(6513)이 도시하지 않은 접착층에 의하여 고정되어 있다.
또한 표시부(6502)보다 외측의 영역에서 표시 패널(6511)의 일부가 접혀 있다. 또한 이 접힌 부분에 FPC(6515)가 접속된다. FPC(6515)에는 IC(6516)가 실장되어 있다. 또한 FPC(6515)는 프린트 기판(6517)에 제공된 단자에 접속된다.
표시 패널(6511)에는 본 발명의 일 형태의 플렉시블 디스플레이 패널을 적용할 수 있다. 그러므로 매우 가벼운 전자 기기를 실현할 수 있다. 또한 표시 패널(6511)이 매우 얇기 때문에 전자 기기의 두께를 얇게 하면서 대용량 배터리(6518)를 탑재할 수도 있다. 또한 표시 패널(6511)의 일부를 접어 화소부의 이면에 FPC(6515)와의 접속부를 배치함으로써 슬림 베젤의 전자 기기를 실현할 수 있다.
본 실시형태는 적어도 그 일부를 본 명세서에 기재되는 다른 실시형태와 적절히 조합하여 실시할 수 있다.
10: 정보 처리 장치, 11: 정보 제시부, 12: 피사체 검출부, 13: 특징 추출부, 14: 감정 추정부, 15: 정보 생성부, 20: 화상 표시 장치, 21: 화상 표시부, 25: 화상 생성부, 30: 내각, 51: 입력층, 52: 중간층, 53: 출력층, 61: 데이터, 62: 데이터, 63: 데이터, 71: 화상 정보, 72: 화상 정보, 73: 화상 정보, 100: 정보 처리 장치, 101: 연산부, 102: 연산부, 103: 메모리 모듈, 104: 디스플레이 모듈, 105: 센서 모듈, 106: 사운드 모듈, 107: 진동 모듈, 108: 조명 모듈, 109: 방향 모듈, 110: 버스 라인, 111: 통신 모듈, 112: 배터리 모듈, 113: 카메라 모듈, 114: 외부 인터페이스

Claims (13)

  1. 정보 처리 방법으로서,
    사용자 얼굴의 일부를 검출하는 단계,
    검출한 상기 얼굴의 일부로부터 상기 사용자 얼굴의 특징을 추출하는 단계,
    상기 특징으로부터 상기 사용자의 감정을 추정하는 단계, 및
    추정된 상기 감정에 따라 상기 사용자에게 제시하는 정보를 결정하는 단계를 포함하는, 정보 처리 방법.
  2. 제 1 항에 있어서,
    상기 사용자의 상기 얼굴의 일부는 눈, 또는 눈 및 그 주변인, 정보 처리 방법.
  3. 화상 표시 방법으로서,
    사용자 얼굴의 일부를 검출하는 단계,
    검출한 상기 얼굴의 일부로부터 상기 사용자 얼굴의 특징을 추출하는 단계,
    상기 특징으로부터 상기 사용자의 감정을 추정하는 단계, 및
    추정된 상기 감정에 따라 상기 사용자에게 제시하는 화상을 결정하는 단계를 포함하는, 화상 표시 방법.
  4. 제 3 항에 있어서,
    추정된 상기 감정에 조바심, 초조, 노여움, 분노, 슬픔, 흥분, 불안, 두려움, 불만, 괴로움, 및 공허 중 적어도 하나가 포함되는 경우에 상기 사용자에게 상기 감정을 완화시키는 화상을 제시하는, 화상 표시 방법.
  5. 제 3 항에 있어서,
    추정된 상기 감정에 조바심, 초조, 노여움, 분노, 슬픔, 흥분, 불안, 두려움, 불만, 괴로움, 및 공허 중 적어도 하나가 포함되는 경우에 상기 감정을 상기 사용자에게 인지시키는 화상을 제시하는, 화상 표시 방법.
  6. 제 3 항 내지 제 5 항 중 어느 한 항에 있어서,
    상기 특징의 추출은 뉴럴 네트워크를 사용한 추론에 의하여 수행되는, 화상 표시 방법.
  7. 제 3 항 내지 제 6 항 중 어느 한 항에 있어서,
    상기 감정의 추정은 뉴럴 네트워크를 사용한 추론에 의하여 수행되는, 화상 표시 방법.
  8. 정보 처리 장치로서,
    사용자에게 정보를 제시하는 정보 제시부와,
    상기 사용자 얼굴의 일부를 검출하는 피사체 검출부와,
    검출한 상기 사용자 얼굴의 일부로부터 상기 사용자 얼굴의 특징을 추출하는 특징 추출부와,
    추출된 상기 특징으로부터 상기 사용자의 감정을 추정하는 감정 추정부와,
    추정된 상기 감정에 따라 상기 사용자에게 제시하는 정보를 생성하는 정보 생성부를 가지는, 정보 처리 장치.
  9. 화상 표시 장치로서,
    사용자에게 화상을 제공하는 화상 표시부와,
    상기 사용자 얼굴의 일부를 검출하는 피사체 검출부와,
    검출한 상기 사용자 얼굴의 일부로부터 상기 사용자 얼굴의 특징을 추출하는 특징 추출부와,
    추출된 상기 특징으로부터 상기 사용자의 감정을 추정하는 감정 추정부와,
    추정된 상기 감정에 따라 상기 화상 표시부에 표시시키는 화상을 생성하는 화상 생성부를 가지는, 화상 표시 장치.
  10. 제 9 항에 있어서,
    상기 특징 추출부는 뉴럴 네트워크를 사용한 추론에 의하여 상기 특징을 추출하는, 화상 표시 장치.
  11. 제 9 항 또는 제 10 항에 있어서,
    상기 화상 표시부는 발광 소자와, 상기 발광 소자와 전기적으로 접속하는 제 1 트랜지스터를 가지고,
    상기 피사체 검출부는 센서 소자와, 상기 센서 소자와 전기적으로 접속하는 제 2 트랜지스터를 가지고,
    상기 제 1 트랜지스터와 상기 제 2 트랜지스터는 동일 기판 위에 제공되는, 화상 표시 장치.
  12. 제 11 항에 있어서,
    상기 발광 소자와, 상기 센서 소자는 동일면 위에 나란히 배치되는, 화상 표시 장치.
  13. 제 11 항 또는 제 12 항에 있어서,
    상기 제 1 트랜지스터 또는 상기 제 2 트랜지스터는 채널이 형성되는 반도체에 산화물 반도체를 가지는, 화상 표시 장치.
KR1020217000893A 2018-06-22 2019-06-12 정보 처리 방법, 화상 표시 방법, 정보 처리 장치, 및 화상 표시 장치 KR20210022642A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018118485 2018-06-22
JPJP-P-2018-118485 2018-06-22
PCT/IB2019/054895 WO2019243955A1 (ja) 2018-06-22 2019-06-12 情報処理方法、画像表示方法、情報処理装置、及び画像表示装置

Publications (1)

Publication Number Publication Date
KR20210022642A true KR20210022642A (ko) 2021-03-03

Family

ID=68983790

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217000893A KR20210022642A (ko) 2018-06-22 2019-06-12 정보 처리 방법, 화상 표시 방법, 정보 처리 장치, 및 화상 표시 장치

Country Status (5)

Country Link
US (2) US11755905B2 (ko)
JP (1) JP7350735B2 (ko)
KR (1) KR20210022642A (ko)
CN (1) CN112313701A (ko)
WO (1) WO2019243955A1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210022642A (ko) * 2018-06-22 2021-03-03 가부시키가이샤 한도오따이 에네루기 켄큐쇼 정보 처리 방법, 화상 표시 방법, 정보 처리 장치, 및 화상 표시 장치
US11933974B2 (en) * 2019-02-22 2024-03-19 Semiconductor Energy Laboratory Co., Ltd. Glasses-type electronic device
JPWO2021140404A1 (ko) 2020-01-10 2021-07-15
US20210391470A1 (en) * 2020-06-15 2021-12-16 Taiwan Semiconductor Manufacturing Company, Ltd. Layered structure, semiconductor device including the same, and manufacturing method thereof
WO2022180481A1 (ja) * 2021-02-26 2022-09-01 株式会社半導体エネルギー研究所 表示装置および電子機器
WO2022185151A1 (ja) * 2021-03-05 2022-09-09 株式会社半導体エネルギー研究所 電子機器
US20240196688A1 (en) * 2021-04-30 2024-06-13 Semiconductor Energy Laboratory Co., Ltd. Display apparatus, display module, and electronic device
JPWO2022248972A1 (ko) 2021-05-27 2022-12-01
CN117678011A (zh) 2021-08-05 2024-03-08 株式会社半导体能源研究所 电子设备及电子设备的工作方法
US20240033640A1 (en) * 2022-07-27 2024-02-01 Sony Interactive Entertainment Inc. User sentiment detection to identify user impairment during game play providing for automatic generation or modification of in-game effects

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007087346A (ja) 2005-09-26 2007-04-05 Canon Inc 情報処理装置及びその制御方法、コンピュータプログラム、記憶媒体

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2733443B2 (ja) * 1994-04-14 1998-03-30 ローム株式会社 撮像表示装置
US6581915B2 (en) * 2000-07-27 2003-06-24 The Procter & Gamble Company Dispensing device for dispensing scents
JP4641389B2 (ja) 2004-06-03 2011-03-02 キヤノン株式会社 情報処理方法、情報処理装置
US7893342B2 (en) * 2006-09-08 2011-02-22 Panasonic Corporation Information processing terminal and music information generating program
WO2008120469A1 (ja) 2007-03-29 2008-10-09 Panasonic Corporation 炭化珪素半導体素子の製造方法
JP4974788B2 (ja) 2007-06-29 2012-07-11 キヤノン株式会社 画像処理装置、画像処理方法、プログラム、及び記憶媒体
US20170098122A1 (en) * 2010-06-07 2017-04-06 Affectiva, Inc. Analysis of image content with associated manipulation of expression presentation
WO2014046222A1 (en) * 2012-09-24 2014-03-27 Semiconductor Energy Laboratory Co., Ltd. Display device
WO2015029199A1 (ja) * 2013-08-30 2015-03-05 日立マクセル株式会社 情報処理装置、情報処理方法、及び、プログラム
US20150258560A1 (en) * 2014-03-12 2015-09-17 Icon Health & Fitness, Inc. Scent Based Workout Mechanism
US9987489B2 (en) * 2015-03-27 2018-06-05 Elwha Llc Controlling ear stimulation in response to electrical contact sensing
US9336268B1 (en) * 2015-04-08 2016-05-10 Pearson Education, Inc. Relativistic sentiment analyzer
US11194405B2 (en) * 2015-10-08 2021-12-07 Panasonic Intellectual Property Corporation Of America Method for controlling information display apparatus, and information display apparatus
JP6656079B2 (ja) 2015-10-08 2020-03-04 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 情報提示装置の制御方法、及び、情報提示装置
CA3133710C (en) * 2015-11-02 2023-10-24 Pura Scents, Inc. Scent dispensation
JP2017120609A (ja) * 2015-12-24 2017-07-06 カシオ計算機株式会社 感情推定装置、感情推定方法及びプログラム
JP7473338B2 (ja) * 2016-08-03 2024-04-23 アキリ・インタラクティヴ・ラブズ・インコーポレイテッド コンピュータ化された喚起要素を含む認知プラットフォーム
US11049147B2 (en) * 2016-09-09 2021-06-29 Sony Corporation System and method for providing recommendation on an electronic device based on emotional state detection
JP6373323B2 (ja) * 2016-09-30 2018-08-15 本田技研工業株式会社 移動体制御装置、及び移動体
KR20210022642A (ko) * 2018-06-22 2021-03-03 가부시키가이샤 한도오따이 에네루기 켄큐쇼 정보 처리 방법, 화상 표시 방법, 정보 처리 장치, 및 화상 표시 장치
CN115568246A (zh) * 2020-03-04 2023-01-03 上海天马微电子有限公司 显示面板和显示装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007087346A (ja) 2005-09-26 2007-04-05 Canon Inc 情報処理装置及びその制御方法、コンピュータプログラム、記憶媒体

Also Published As

Publication number Publication date
JPWO2019243955A1 (ja) 2021-08-05
US20210279449A1 (en) 2021-09-09
WO2019243955A1 (ja) 2019-12-26
CN112313701A (zh) 2021-02-02
US20230368022A1 (en) 2023-11-16
JP7350735B2 (ja) 2023-09-26
US11755905B2 (en) 2023-09-12

Similar Documents

Publication Publication Date Title
JP7350735B2 (ja) 画像表示装置
CN112106446B (zh) 显示装置及显示装置的制造方法
JP7432509B2 (ja) 表示装置
WO2020049392A1 (ja) 表示装置、表示モジュール、電子機器、及び表示装置の作製方法
WO2020049397A1 (ja) 表示装置、表示モジュール、及び電子機器
WO2022123388A1 (ja) 表示システム
WO2021099880A1 (ja) 表示装置、表示モジュール、電子機器、及び表示装置の作製方法
WO2020229912A1 (ja) 複合デバイス、および電子機器の駆動方法
US20230113155A1 (en) Electronic device
WO2022162497A1 (ja) 半導体装置および電子機器
WO2022123390A1 (ja) 表示システムの動作方法
WO2023026137A1 (ja) 表示装置、及び電子機器
WO2022200936A1 (ja) 電子機器および表示システム
JP7517989B2 (ja) 表示装置、表示モジュール、及び電子機器
WO2024141865A1 (ja) 半導体装置、及び、半導体装置の作製方法
TWI846725B (zh) 顯示裝置、顯示模組及電子裝置
WO2024018322A1 (ja) 電子機器
WO2023111764A1 (ja) 表示装置および電子機器
KR20240097901A (ko) 표시 장치 및 전자 기기
CN116583896A (zh) 显示系统