KR20220019682A - 화상 처리 장치 및 화상 처리 방법, 인공 지능 기능 탑재 표시 장치, 그리고 학습 완료된 뉴럴 네트워크 모델의 생성 방법 - Google Patents

화상 처리 장치 및 화상 처리 방법, 인공 지능 기능 탑재 표시 장치, 그리고 학습 완료된 뉴럴 네트워크 모델의 생성 방법 Download PDF

Info

Publication number
KR20220019682A
KR20220019682A KR1020217038952A KR20217038952A KR20220019682A KR 20220019682 A KR20220019682 A KR 20220019682A KR 1020217038952 A KR1020217038952 A KR 1020217038952A KR 20217038952 A KR20217038952 A KR 20217038952A KR 20220019682 A KR20220019682 A KR 20220019682A
Authority
KR
South Korea
Prior art keywords
image
neural network
unit
light source
display
Prior art date
Application number
KR1020217038952A
Other languages
English (en)
Inventor
다케시 히라마츠
히로유키 다하라
Original Assignee
소니그룹주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니그룹주식회사 filed Critical 소니그룹주식회사
Publication of KR20220019682A publication Critical patent/KR20220019682A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/3406—Control of illumination source
    • G09G3/342—Control of illumination source using several illumination sources separately controlled corresponding to different display panel areas, e.g. along one dimension such as lines
    • G09G3/3426—Control of illumination source using several illumination sources separately controlled corresponding to different display panel areas, e.g. along one dimension such as lines the different display panel areas being distributed in two dimensions, e.g. matrix
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/3406—Control of illumination source
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/3406—Control of illumination source
    • G09G3/342—Control of illumination source using several illumination sources separately controlled corresponding to different display panel areas, e.g. along one dimension such as lines
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133—Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/3406—Control of illumination source
    • G09G3/3413—Details of control of colour illumination sources
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133—Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • G02F1/1333—Constructional arrangements; Manufacturing methods
    • G02F1/1335—Structural association of cells with optical devices, e.g. polarisers or reflectors
    • G02F1/1336—Illuminating devices
    • G02F1/133601—Illuminating devices for spatial active dimming
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F2201/00—Constructional arrangements not provided for in groups G02F1/00 - G02F7/00
    • G02F2201/58—Arrangements comprising a monitoring photodetector
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0242—Compensation of deficiencies in the appearance of colours
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0626—Adjustment of display parameters for control of overall brightness
    • G09G2320/064—Adjustment of display parameters for control of overall brightness by time modulation of the brightness of the illumination source
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0626—Adjustment of display parameters for control of overall brightness
    • G09G2320/0646—Modulation of illumination source brightness and image signal correlated to each other
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0666—Adjustment of display parameters for control of colour parameters, e.g. colour temperature
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0686—Adjustment of display parameters with two or more screen areas displaying information with different brightness or colours
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2330/00—Aspects of power supply; Aspects of display protection and defect management
    • G09G2330/02—Details of power systems and of start or stop of display operation
    • G09G2330/021—Power management, e.g. power saving
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/144—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/16—Calculation or use of calculated indices related to luminance levels in display data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H04R2201/403—Linear arrays of transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2440/00—Bending wave transducers covered by H04R, not provided for in its groups
    • H04R2440/01—Acoustic transducers using travelling bending waves to generate or detect sound
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2440/00—Bending wave transducers covered by H04R, not provided for in its groups
    • H04R2440/05—Aspects relating to the positioning and way or means of mounting of exciters to resonant bending wave panels

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Chemical & Material Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Nonlinear Science (AREA)
  • Optics & Photonics (AREA)
  • Liquid Crystal Display Device Control (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

인공 지능 기능을 이용하여 표시 장치의 부분 구동 제어 및 푸쉬업 제어를 실현하는 화상 처리 장치를 제공한다. 화상 처리 장치는, 목표 표시 화상에 대해, 화상 표시부의 표시 영역을 복수로 분할한 영역에 대응하는 광원 유닛의 발광 상태를 나타내는 부분 구동 패턴을 추정하는 학습 완료된 뉴럴 네트워크 모델과, 상기 화상 표시부에 표시하는 상기 목표 표시 화상에 대해, 상기 학습 완료된 뉴럴 네트워크 모델에 의해 추정된 부분 구동 패턴에 기초하여 상기 광원 유닛의 발광 상태를 제어하는 제어부를 구비한다.

Description

화상 처리 장치 및 화상 처리 방법, 인공 지능 기능 탑재 표시 장치, 그리고 학습 완료된 뉴럴 네트워크 모델의 생성 방법
본 명세서에서 개시하는 기술(이하, 본 개시라고 함)은, 인공 지능 기능을 이용하는 화상 처리 장치 및 화상 처리 방법, 인공 지능 기능 탑재 표시 장치, 그리고 학습 완료된 뉴럴 네트워크 모델의 생성 방법에 관한 것이다.
텔레비전 수상기나 컴퓨터의 모니터 디스플레이 등, 많은 표시 장치는 화면 전체에서 균일한 휘도 다이내믹 레인지를 갖는다. 화면의 휘도를 제어함으로써 소비 전력을 저감하거나, 화질을 향상시키거나 하는 기술이 알려져 있다. 예를 들어 액정 표시 장치의 경우, 액정 패널의 배면에 배치한 단일의 백라이트에서 화면 전체를 균일하면서도 일정 밝기로 조사하고 있다. 따라서, 백라이트의 밝기를 제어함으로써, 소비 전력의 저감이나 화질 향상이 실현된다.
최근에는, 화면을 복수의 영역으로 분할하여 영역마다 밝기를 제어하는 부분 구동 기술이 개발되어, 소비 전력의 저감이나 화질 향상의 효과를 높일 수 있다. 투과형의 액정 패널을 사용한 디스플레이의 경우, 신호 레벨이 높은 영역에 상당하는 백라이트는 밝게 점등시키는 한편, 신호 레벨이 낮은 영역에 상당하는 백라이트는 어둡게 점등시킴으로써 휘도 콘트라스트를 향상시킬 수 있다. 또한, 암부에서 억제한 전력을 신호 레벨이 높은 영역으로 배분하여 집중적으로 발광시키는 푸쉬업 기술을 이용하여, (백라이트 전체의 출력 전력은 일정 상태 그대로이고)부분적으로 백색 표시를 행한 경우의 휘도를 높게 하여, 고다이내믹 레인지를 실현할 수 있다(예를 들어, 특허문헌 1을 참조).
일본 특허 제4915143호 공보 일본 특허 공개 제2015-92529호 공보 일본 특허 공개 제2007-143010호 공보
본 개시의 목적은, 인공 지능 기능을 이용하여 표시 장치의 부분 구동 제어, 그리고 푸쉬업 제어를 실현하는 화상 처리 장치 및 화상 처리 방법, 인공 지능 기능 탑재 표시 장치, 그리고 학습 완료된 뉴럴 네트워크 모델의 생성 방법을 제공하는 데 있다.
본 개시의 제1 측면은,
목표 표시 화상에 대해, 화상 표시부의 표시 영역을 복수로 분할한 영역에 대응하는 광원 유닛의 발광 상태를 나타내는 부분 구동 패턴을 추정하는 학습 완료된 뉴럴 네트워크 모델과,
상기 학습 완료된 뉴럴 네트워크 모델에 의해 추정된 부분 구동 패턴에 기초하여 상기 광원 유닛의 발광 상태를 제어하는 제어부
를 구비하는 화상 처리 장치이다.
상기 학습 완료된 뉴럴 네트워크 모델은, 상기 표시 영역 중 암부가 되는 제1 유닛에서 억제한 전력을 명부가 되는 제2 유닛으로 배분하는 푸쉬업 처리를 추가로 고려하여 부분 구동 패턴을 추정하도록 학습되어 있다.
또한, 상기 학습 완료된 뉴럴 네트워크 모델은, 상기 화상 표시부에 표시하는 상기 목표 표시 화상과 제2 정보에 대한 부분 구동 패턴을 추정하도록 학습되어 있다. 제2 정보는, 상기 목표 표시 화상에 동기하는 음성 신호, 상기 목표 표시 화상의 영상 신호의 복호 시의 정보 또는 상기 영상 신호에 동기하는 음성 신호의 복호 시의 정보, 콘텐츠에 관한 정보, 상기 화상 표시부의 디바이스 특성에 관한 정보, 상기 화상 표시부의 시청 환경에 관한 정보, 상기 화상 표시부를 시청하는 유저에 관한 정보, 상기 화상 표시부에 대한 조작에 관한 정보 등이다.
또한, 본 개시의 제2 측면은,
목표 표시 화상에 대해, 화상 표시부의 표시 영역을 복수로 분할한 영역에 대응하는 광원 유닛의 발광 상태를 나타내는 부분 구동 패턴을 추정하는 학습 완료된 뉴럴 네트워크 모델을 사용하여, 상기 화상 표시부에 표시하는 상기 목표 표시 화상에 대한 부분 구동 패턴을 추정하는 스텝과,
추정된 상기 부분 구동 패턴에 기초하여 상기 광원 유닛의 발광 상태를 제어하는 스텝
을 갖는 화상 처리 방법이다.
또한, 본 개시의 제3 측면은,
표시 영역을 복수의 유닛으로 분할한 영역에 대응하는 광원 유닛의 발광 상태를 제어 가능한 화상 표시부와,
상기 화상 표시부가 표시하는 목표 표시 화상에 대한 상기 광원 유닛의 발광 상태를 나타내는 부분 구동 패턴을 추정하는 학습 완료된 뉴럴 네트워크 모델과,
상기 학습 완료된 뉴럴 네트워크 모델에 의해 추정된 부분 구동 패턴에 기초하여 상기 광원 유닛의 발광 상태를 제어하는 제어부
를 구비하는 인공 지능 기능 탑재 표시 장치이다.
또한, 본 개시의 제4 측면은, 목표 표시 화상에 대해, 화상 표시부의 표시 영역을 복수로 분할한 영역에 대응하는 광원 유닛의 발광 상태를 나타내는 부분 구동 패턴을 추정하는 학습 완료된 뉴럴 네트워크 모델을 생성하는 방법이며,
뉴럴 네트워크 모델에 상기 목표 표시 화상을 입력하는 입력 스텝과,
상기 뉴럴 네트워크 모델이 상기 목표 표시 화상으로부터 추정한 부분 구동 패턴을 평가하는 평가 스텝과,
상기 평가 결과에 기초하여 상기 뉴럴 네트워크 모델의 학습을 행하는 학습 스텝
을 갖는 학습 완료된 뉴럴 네트워크 모델의 생성 방법이다.
본 개시에 따르면, 인공 지능 기능을 이용하여 표시 장치의 부분 구동, 그리고 푸쉬업을 실시간으로 적응 제어하는 화상 처리 장치 및 화상 처리 방법, 인공 지능 기능 탑재 표시 장치, 그리고 학습 완료된 뉴럴 네트워크 모델의 생성 방법을 제공할 수 있다.
또한, 본 명세서에 기재된 효과는 어디까지나 예시이며, 본 개시에 의해 초래되는 효과는 이것에 한정되는 것은 아니다. 또한, 본 개시가, 상기한 효과 이외에 부가적인 효과를 더 발휘하는 경우도 있다.
본 개시의 또 다른 목적, 특징이나 이점은, 후술하는 실시 형태나 첨부하는 도면에 기초하는 보다 상세한 설명에 의해 분명해질 것이다.
도 1은 영상 콘텐츠를 시청하는 시스템의 구성예를 도시한 도면이다.
도 2는 텔레비전 수신 장치(100)의 구성예를 도시한 도면이다.
도 3은 패널 스피커 기술의 적용예를 도시한 도면이다.
도 4는 텔레비전 수신 장치(100)에 장비되는 센서군(400)의 구성예를 도시한 도면이다.
도 5는 액정 표시 방식의 표시 디바이스의 내부 구성예를 도시한 도면이다.
도 6은 액정 표시 패널(500) 및 백라이트(510)와, 이들의 구동부의 구성을 도시한 도면이다.
도 7은 부분 구동과 푸쉬업 기술을 설명하기 위한 도면이다.
도 8은 부분 구동과 푸쉬업 기술을 설명하기 위한 도면이다.
도 9는 부분 구동과 푸쉬업 기술을 설명하기 위한 도면이다.
도 10은 부분 구동 패턴의 추정에 이용되는 뉴럴 네트워크의 제1 구성예(1000)를 도시한 도면이다.
도 11은 부분 구동 패턴의 추정에 이용되는 뉴럴 네트워크의 제2 구성예(1200)를 도시한 도면이다.
도 12는 부분 구동 패턴의 추정에 이용되는 뉴럴 네트워크의 제3 구성예(1200)를 도시한 도면이다.
도 13은 부분 구동 패턴의 추정에 이용되는 뉴럴 네트워크의 제4 구성예(1300)를 도시한 도면이다.
도 14는 부분 구동 패턴의 추정에 이용되는 뉴럴 네트워크의 제5 구성예(1400)를 도시한 도면이다.
도 15는 부분 구동 패턴의 추정에 이용되는 뉴럴 네트워크의 제6 구성예(1500)를 도시한 도면이다.
도 16은 지도 학습 시스템(1600)의 구성예를 도시한 도면이다.
도 17은 지도 학습 시스템(1700)의 구성예를 도시한 도면이다.
도 18은 비지도 학습 시스템(1800)의 구성예를 도시한 도면이다.
도 19는 비지도 학습 시스템(1900)의 구성예를 도시한 도면이다.
이하, 도면을 참조하면서 본 개시에 관한 기술에 대해, 이하의 순서에 따라서 설명한다.
A. 시스템 구성
B. 센싱 기능
C. 부분 구동 및 푸쉬업 기술을 실현하는 디스플레이
D. 인공 지능 기능을 이용한 부분 구동 및 푸쉬업 제어
E. 뉴럴 네트워크의 학습
A. 시스템 구성
도 1에는 영상 콘텐츠를 시청하는 시스템의 구성예를 모식적으로 도시하고 있다.
텔레비전 수신 장치(100)는, 영상 콘텐츠를 표시하는 대화면 및 음성을 출력하는 스피커를 장비하고 있다. 텔레비전 수신 장치(100)는, 예를 들어 방송 신호를 선국 수신하는 튜너를 내장하거나, 또는 셋톱 박스가 접속되어 있어, 텔레비전국이 제공하는 방송 서비스를 이용할 수 있다. 방송 신호는, 지상파 및 위성파 중 어느 것을 불문한다.
또한, 텔레비전 수신 장치(100)는, 예를 들어 IPTV(Internet Protocol TV)나 OTT(Over-The-Top)와 같은 네트워크를 이용한 방송형의 동화상 배신 서비스나 동화상 공유 서비스도 이용할 수 있다. 이 때문에, 텔레비전 수신 장치(100)는, 네트워크 인터페이스 카드를 장비하고, 이더넷(등록상표)이나 Wi-Fi(등록상표) 등의 기존의 통신 규격에 기초하는 통신을 이용하여, 라우터 경유나 액세스 포인트 경유로 인터넷 등의 외부 네트워크에 상호 접속되어 있다.
인터넷 상에는, 영상 스트림을 배신하는 스트림 배신 서버가 설치되어 있어, 텔레비전 수신 장치(100)에 대해 방송형의 동화상 배신 서비스를 제공한다.
또한, 인터넷 상에는, 다양한 서비스를 제공하는 무수한 서버가 설치되어 있다. 서버의 일례는, 스트림 배신 서버이다. 텔레비전 수신 장치(100)측에서는, 브라우저 기능을 기동하고, 스트림 배신 서버에 대해 예를 들어 HTTP(Hyper Text Transfer Protocol) 리퀘스트를 발행하여, Web 서비스를 이용할 수 있다.
또한, 본 실시 형태에서는, 클라이언트에 대해 인터넷 상에서(혹은, 클라우드 상에서) 인공 지능의 기능을 제공하는 인공 지능 서버(도시하지 않음)도 존재하는 것을 상정하고 있다. 또한, 본 명세서에서 말하는 「서버」는, 단일의 서버 장치인 것만은 아니며, 예를 들어 클라우드 컴퓨팅 서비스를 제공하는 클라우드의 형태여도 된다.
도 2에는 텔레비전 수신 장치(100)의 구성예를 도시하고 있다. 텔레비전 수신 장치(100)는, 주 제어부(201)와, 버스(202)와, 스토리지부(203)와, 통신 인터페이스(IF)부(204)와, 확장 인터페이스(IF)부(205)와, 튜너/복조부(206)와, 디멀티플렉서(DEMUX)(207)와, 영상 디코더(208)와, 음성 디코더(209)와, 문자 화면 표시 디코더(210)와, 자막 디코더(211)와, 자막 합성부(212)와, 데이터 디코더(213)와, 캐시부(214)와, 애플리케이션(AP) 제어부(215)와, 브라우저부(216)와, 음원부(217)와, 영상 합성부(218)와, 표시부(219)와, 음성 합성부(220)와, 음성 출력부(221)와, 조작 입력부(222)를 구비하고 있다.
주 제어부(201)는, 예를 들어 컨트롤러와 ROM(Read Only Memory)(단, EEPROM(Electrically Erasable Programmable ROM)과 같은 재기입 가능한 ROM을 포함하는 것으로 함), 및 RAM(Random Access Memory)으로 구성되고, 소정의 동작 프로그램에 따라서 텔레비전 수신 장치(100) 전체의 동작을 통괄적으로 제어한다. 컨트롤러는, CPU(Central Processing Unit), MPU(Micro Processing Unit), 또는 GPU(Graphics Processing Unit), 또는 GPGPU(General Purpose Graphic Processing Unit) 등으로 구성된다. ROM은, 오퍼레이팅 시스템(OS) 등의 기본 동작 프로그램이나 그 밖의 동작 프로그램이 저장된 불휘발성 메모리이다. ROM 내에는, 텔레비전 수신 장치(100)의 동작에 필요한 동작 설정값이 기억되어도 된다. RAM은 OS나 그 밖의 동작 프로그램 실행 시의 워크 에어리어가 된다. 버스(202)는, 주 제어부(201)와 텔레비전 수신 장치(100) 내의 각 부 사이에서 데이터 송수신을 행하기 위한 데이터 통신로이다.
스토리지부(203)는, 플래시 ROM이나 SSD(Solid State Drive), HDD(Hard Disc Drive) 등의 불휘발성의 기억 디바이스로 구성된다. 스토리지부(203)는, 텔레비전 수신 장치(100)의 동작 프로그램이나 동작 설정값, 텔레비전 수신 장치(100)를 사용하는 유저의 개인 정보 등을 기억한다. 또한, 인터넷을 통해 다운로드한 동작 프로그램이나 그 동작 프로그램에서 작성한 각종 데이터 등을 기억한다. 또한, 스토리지부(203)는, 방송파나 인터넷을 통해 취득한 동화상, 정지 화상, 음성 등의 콘텐츠도 기억 가능하다.
통신 인터페이스부(204)는, 라우터(전술) 등을 통해 인터넷과 접속되어, 인터넷 상의 각 서버 장치나 그 밖의 통신 기기와 데이터의 송수신을 행한다. 또한, 통신 회선을 통해 전송되는 프로그램의 데이터 스트림의 취득도 행하는 것으로 한다. 통신 인터페이스부(204)와 라우터 사이의 접속은, 이더넷(등록상표) 등의 유선 접속, 혹은 Wi-Fi(등록상표) 등의 무선 접속 중 어느 것이어도 된다.
튜너/복조부(206)는, 안테나(도시하지 않음)를 통해 지상파 방송 또는 위성 방송 등의 방송파를 수신하고, 주 제어부(201)의 제어에 기초하여 유저가 원하는 서비스(방송국 등)의 채널로 동조(선국)한다. 또한, 튜너/복조부(206)는, 수신한 방송 신호를 복조하여 방송 데이터 스트림을 취득한다. 또한, 복수 화면 동시 표시나 동시간대 타채널 녹화 등을 목적으로 하여, 텔레비전 수신 장치(100)가 복수의 튜너/복조부를 탑재하는 구성(즉 다중 튜너)이어도 된다.
디멀티플렉서(207)는, 입력한 방송 데이터 스트림 중의 제어 신호에 기초하여 리얼타임 제시 요소인 영상 스트림, 음성 스트림, 문자 화면 표시 데이터 스트림, 자막 데이터 스트림을, 각각 영상 디코더(208), 음성 디코더(209), 문자 화면 표시 디코더(210), 자막 디코더(211)로 분배한다. 디멀티플렉서(207)에 입력되는 데이터는, 방송 서비스나, IPTV나 OTT 등의 배신 서비스에 의한 데이터를 포함한다. 전자는, 튜너/복조부(206)에서 선국 수신 및 복조된 후에 디멀티플렉서(207)에 입력되고, 후자는, 통신 인터페이스부(204)에서 수신된 후에 디멀티플렉서(207)에 입력된다. 또한, 디멀티플렉서(207)는, 멀티미디어 애플리케이션이나 그 구성 요소인 파일계 데이터를 재생하여, 애플리케이션 제어부(215)에 출력하거나, 또는 캐시부(214)에서 일시적으로 축적한다.
영상 디코더(208)는, 디멀티플렉서(207)로부터 입력한 영상 스트림을 복호하여 영상 정보를 출력한다. 또한, 음성 디코더(209)는, 디멀티플렉서(207)로부터 입력한 음성 스트림을 복호하여 음성 정보를 출력한다. 디지털 방송에서는, 예를 들어 MPEG2 System 규격에 준하여 각각 부호화된 영상 스트림 및 음성 스트림이 다중화되어 전송 또는 배신되고 있다. 영상 디코더(208) 및 음성 디코더(209)는, 디멀티플렉서(207)에서 디멀티플렉스된 부호화 영상 스트림, 부호화 음성 상(像) 스트림을, 각각 규격화된 디코드 방식에 따라서 디코드 처리를 실시하게 된다. 또한, 복수 종류의 영상 스트림 및 음성 스트림을 동시에 복호 처리하기 위해, 텔레비전 수신 장치(100)는 복수의 영상 디코더(208) 및 음성 디코더(209)를 구비해도 된다.
문자 화면 표시 디코더(210)는, 디멀티플렉서(207)로부터 입력한 문자 화면 표시 데이터 스트림을 복호하여 문자 화면 표시 정보를 출력한다. 자막 디코더(211)는, 디멀티플렉서(207)로부터 입력한 자막 데이터 스트림을 복호하여 자막 정보를 출력한다. 자막 합성부(212)는, 문자 화면 표시 디코더(210)로부터 출력된 문자 화면 표시 정보와, 자막 디코더(211)로부터 출력된 자막 정보는, 자막 합성부(212)를 합성 처리한다.
데이터 디코더(213)는, MPEG-2 TS 스트림에 영상 및 음성과 함께 다중화되는 데이터 스트림을 디코드한다. 예를 들어, 데이터 디코더(213)는, PSI(Program Specific Information) 테이블 중 하나인 PMT(Program Map Table)의 기술자(記述子) 영역에 저장된 범용 이벤트 메시지를 디코드한 결과를, 주 제어부(201)에 통지한다.
애플리케이션 제어부(215)는, 방송 데이터 스트림에 포함되는 제어 정보를 디멀티플렉서(207)로부터 입력하거나, 또는 통신 인터페이스부(204)를 통해 인터넷 상의 서버 장치로부터 취득하여, 이들 제어 정보를 해석한다.
브라우저부(216)는, 캐시부(214) 혹은 통신 인터페이스부(204)를 통해 인터넷 상의 서버 장치로부터 취득한 멀티미디어 애플리케이션 파일이나 그 구성 요소인 파일계 데이터를, 애플리케이션 제어부(215)의 지시에 따라서 제시한다. 여기서 말하는 멀티미디어 애플리케이션 파일은, 예를 들어 HTML(Hyper Text Markup Language) 문서나 BML(Broadcast Markup Language) 문서 등이다. 또한, 브라우저부(216)는, 음원부(217)에 작용함으로써 애플리케이션의 음성 정보의 재생도 행하는 것으로 한다.
영상 합성부(218)는, 영상 디코더(208)로부터 출력된 영상 정보와, 자막 합성부(212)로부터 출력된 자막 정보와, 브라우저부(216)로부터 출력된 애플리케이션 정보를 입력하여, 적절하게 선택하거나 또는 중첩하는 처리를 행한다. 영상 합성부(218)는 비디오 RAM(도시를 생략)을 구비하고, 이 비디오 RAM에 입력된 영상 정보에 기초하여 표시부(219)의 표시 구동이 실시된다. 또한, 영상 합성부(218)는, 주 제어부(201)의 제어에 기초하여, 필요에 따라서 EPG(Electronic Program Guide) 화면이나, 주 제어부(201)가 실행하는 애플리케이션에 의해 생성된 그래픽 등의 화면 정보의 중첩 처리도 행한다.
표시부(219)는, 영상 합성부(218)에서 선택 또는 중첩 처리가 실시된 영상 정보를 표시한 화면을 유저에게 제시한다. 표시부(219)는, 예를 들어 액정 디스플레이나 유기 EL(Electro-Luminescence) 디스플레이, 혹은 화소에 미세한 LED(Light Emitting Diode) 소자를 사용한 자발광형 디스플레이(예를 들어, 특허문헌 2를 참조) 등으로 이루어지는 표시 디바이스이다.
본 실시 형태에서는, 표시부(219)가, 화면을 복수의 영역으로 분할하여 영역마다 밝기를 제어하는 부분 구동 기술을 적용한 표시 디바이스를 사용하는 것을 상정하고 있다. 표시부(219)가 표시하는 목표 표시 화상의 신호 레벨은 균일하지 않으며, 신호 레벨이 높은 고휘도의 명부와 신호 레벨이 낮은 저휘도의 암부가 있다. 부분 구동 기술은, 1프레임의 화상 내의 신호 레벨의 치우침에 착안하여, 영역별 필요한 휘도에 따라서 개별로 구동을 전환하는 것이다. 투과형의 액정 패널을 사용한 디스플레이의 경우, 신호 레벨이 높은 명부에 상당하는 백라이트는 밝게 점등시키는 한편, 신호 레벨이 낮은 암부에 상당하는 백라이트는 어둡게 점등시킴으로써 휘도 콘트라스트를 향상시킬 수 있다는 이점이 있다. 부분 구동형의 표시 디바이스에 있어서는, 암부의 백라이트의 출력을 억제함으로써 얻어지는 잉여 전력을 명부의 백라이트로 배분하여 집중적으로 발광시키는 푸쉬업 기술을 이용하여, (백라이트 전체의 출력 전력은 일정 상태 그대로이고)부분적으로 백색 표시를 행한 경우의 휘도를 높게 하여, 고다이내믹 레인지를 실현할 수 있다(예를 들어, 특허문헌 1을 참조).
음성 합성부(220)는, 음성 디코더(209)로부터 출력된 음성 정보와, 음원부(217)에서 재생된 애플리케이션의 음성 정보를 입력하여, 적절하게 선택 또는 합성 등의 처리를 행한다. 또한, 음성 합성부(220)에서는, 하이레졸루션 등의 음질 개선이나 노이즈 제거 등의 음성 신호 처리도 행해진다.
음성 출력부(221)는, 튜너/복조부(206)에서 선국 수신한 프로그램 콘텐츠나 데이터 방송 콘텐츠의 음성 출력이나, 음성 합성부(220)에서 처리된 음성 정보(음성 가이던스 또는 음성 에이전트의 합성 음성 등)의 출력에 사용된다. 음성 출력부(221)는, 스피커 등의 음향 발생 소자로 구성된다. 예를 들어, 음성 출력부(221)는, 복수의 스피커를 조합한 스피커 어레이(다채널 스피커 혹은 초다채널 스피커)여도 되고, 일부 또는 전부의 스피커가 텔레비전 수신 장치(100)에 외장 접속되어 있어도 된다.
콘형 스피커 외에, 플랫 패널형 스피커(예를 들어, 특허문헌 3을 참조)를 음성 출력부(221)에 사용할 수 있다. 물론, 서로 다른 타입의 스피커를 조합한 스피커 어레이를 음성 출력부(221)로서 사용할 수도 있다. 또한, 스피커 어레이는, 진동을 생성하는 1개 이상의 가진기(액추에이터)에 의해 표시부(219)를 진동시킴으로써 음성 출력을 행하는 것을 포함해도 된다. 가진기(액추에이터)는, 표시부(219)에 추후 장착되는 형태여도 된다. 도 3에는 디스플레이에의 패널 스피커 기술의 적용예를 도시하고 있다. 디스플레이(300)는, 배면의 스탠드(302)로 지지되어 있다. 디스플레이(300)의 이면에는 스피커 유닛(301)이 설치되어 있다. 스피커 유닛(301)의 좌측 단부에는 가진기(301-1)가 배치되고, 또한 우측 단부에는 가진기(301-2)가 배치되어 있고, 스피커 어레이를 구성하고 있다. 각 가진기(301-1 및 301-2)가, 각각 좌우의 음성 신호에 기초하여 디스플레이(300)를 진동시켜 음향 출력할 수 있다. 스탠드(302)가, 저음역의 음향을 출력하는 서브 우퍼를 내장해도 된다. 또한, 디스플레이(300)는, 유기 EL 소자를 사용한 표시부(219)에 상당한다.
다시 도 2로 돌아가, 텔레비전 수신 장치(100)의 구성에 대해 설명한다. 조작 입력부(222)는, 유저가 텔레비전 수신 장치(100)에 대한 조작 지시의 입력을 행하는 지시 입력 디바이스 등으로 구성된다. 조작 입력부(222)는, 예를 들어 리모컨(도시하지 않음)으로부터 송신되는 커맨드를 수신하는 리모컨 수신부와 버튼 스위치를 배열한 조작 키로 구성된다. 또한, 조작 입력부(222)는, 표시부(219)의 화면에 중첩된 터치 패널을 포함해도 된다. 또한, 조작 입력부(222)는, 확장 인터페이스부(205)에 접속된 키보드 등의 외장 입력 디바이스를 포함해도 된다.
확장 인터페이스부(205)는, 텔레비전 수신 장치(100)의 기능을 확장하기 위한 인터페이스군이며, 예를 들어 아날로그 영상/음성 인터페이스나, USB(Universal Serial Bus) 인터페이스, 메모리 인터페이스 등으로 구성된다. 확장 인터페이스부(205)는, DVI 단자나 HDMI(등록상표) 단자나 Display Port(등록상표) 단자 등으로 이루어지는 디지털 인터페이스를 포함하고 있어도 된다.
본 실시 형태에서는, 확장 인터페이스(205)는, 센서군(후술 및 도 3을 참조)에 포함되는 각종 센서의 센서 신호를 도입하기 위한 인터페이스로서도 이용된다. 센서는, 텔레비전 수신 장치(100)의 본체 내부에 장비되는 센서, 그리고 텔레비전 수신 장치(100)에 외장 접속되는 센서의 양쪽을 포함하는 것으로 한다. 외장 접속되는 센서에는, 텔레비전 수신 장치(100)와 동일한 공간에 존재하는 다른 CE(Consumer Electronics) 기기나 IoT(Internet of Things) 디바이스에 내장되는 센서도 포함된다. 확장 인터페이스(205)는, 센서 신호를 노이즈 제거 등의 신호 처리를 실시하고 또한 디지털 변환한 후에 도입해도 되고, 미처리 RAW 데이터(아날로그 파형 신호)로서 도입해도 된다.
B. 센싱 기능
텔레비전 수신 장치(100)가 각종 센서를 장비하는 목적 중 하나로서, 텔레비전 수신 장치(100)에 대한 유저 조작의 자동화를 실현하는 데 있다. 텔레비전 수신 장치(100)에 대한 유저 조작으로서, 전원 온이나 전원 오프, 채널 전환(혹은, 자동 선국), 입력 전환(OTT 서비스에 의해 배신되는 스트림으로의 전환, 녹화 기기나 블루레이 재생 기기로의 입력 전환 등), 음량 조정, 화면의 밝기 조정, 화질 조정 등을 들 수 있다.
또한, 본 명세서에서는, 단순히 「유저」라고 하는 경우, 특별히 언급하지 않는 한, 표시부(219)에 표시된 영상 콘텐츠를 시청하는(시청할 예정이 있는 경우도 포함함) 시청자를 가리키는 것으로 한다.
도 4에는 텔레비전 수신 장치(100)에 장비되는 센서군(400)의 구성예를 도시하고 있다. 센서군(400)은, 카메라부(410)와, 유저 상태 센서부(420)와, 환경 센서부(430)와, 기기 상태 센서부(440)와, 유저 프로파일 센서부(450)로 구성된다.
카메라부(410)는, 표시부(219)에 표시된 영상 콘텐츠를 시청 중인 유저를 촬영하는 카메라(411)와, 표시부(219)에 표시된 영상 콘텐츠를 촬영하는 카메라(412)와, 텔레비전 수신 장치(100)가 설치되어 있는 실내(혹은, 설치 환경)를 촬영하는 카메라(413)를 포함한다.
카메라(411)는, 예를 들어 표시부(219)의 화면의 상단 에지 중앙 부근에 설치되어 영상 콘텐츠를 시청 중인 유저를 적합하게 촬영한다. 카메라(412)는, 예를 들어 표시부(219)의 화면에 대향하여 설치되어, 유저가 시청 중인 영상 콘텐츠를 촬영한다. 혹은 유저가, 카메라(412)를 탑재한 고글을 장착하도록 해도 된다. 또한, 카메라(412)는, 영상 콘텐츠의 음성도 아울러 기록(녹음)하는 기능을 구비하고 있는 것으로 한다. 또한, 카메라(413)는, 예를 들어 전천주 카메라나 광각 카메라로 구성되어, 텔레비전 수신 장치(100)가 설치되어 있는 실내(혹은, 설치 환경)를 촬영한다. 혹은, 카메라(413)는, 예를 들어 롤, 피치, 요의 각 축 주위로 회전 구동 가능한 카메라 테이블(운대)에 얹은 카메라여도 된다. 단, 환경 센서(430)에 의해 충분한 환경 데이터를 취득 가능한 경우나 환경 데이터 자체가 불필요한 경우에는, 카메라(410)는 불필요하다.
상태 센서부(420)는, 유저의 상태에 관한 상태 정보를 취득하는 하나 이상의 센서로 이루어진다. 상태 센서부(420)는, 상태 정보로서, 예를 들어 유저의 작업 상태(영상 콘텐츠의 시청 유무)나, 유저의 행동 상태(정지, 보행, 주행 등의 이동 상태, 눈꺼풀의 개폐 상태, 시선 방향, 동공의 대소), 정신 상태(유저가 영상 콘텐츠에 몰두 혹은 집중하고 있는지 등의 감동도, 흥분도, 각성도, 감정이나 정동 등), 나아가 생리 상태를 취득하는 것을 의도하고 있다. 상태 센서부(420)는, 발한 센서, 근전위 센서, 안(眼)전위 센서, 뇌파 센서, 호기 센서, 가스 센서, 이온 농도 센서, 유저의 거동을 계측하는 IMU(Inertial Measurement Unit) 등의 각종 센서, 유저의 발화를 수음하는 음성 센서(마이크 등)를 구비하고 있어도 된다.
환경 센서부(430)는, 당해 텔레비전 수신 장치(100)가 설치되어 있는 실내 등 환경에 관한 정보를 계측하는 각종 센서로 이루어진다. 예를 들어, 온도 센서, 습도 센서, 광 센서, 조도 센서, 기류 센서, 냄새 센서, 전자파 센서, 지자기 센서, GPS(Global Positioning System) 센서, 주위 소리를 수음하는 음성 센서(마이크 등), 주변의 물체까지의 거리를 측거하는 거리 센서 등이 환경 센서부(430)에 포함된다.
기기 상태 센서부(440)는, 당해 텔레비전 수신 장치(100) 내부의 상태를 취득하는 하나 이상의 센서로 이루어진다. 혹은, 영상 디코더(208)나 음성 디코더(209) 등의 회로 컴포넌트가, 입력 신호의 상태나 입력 신호의 처리 상황(부호화 파라미터를 포함함) 등을 외부 출력하는 기능을 구비하여, 기기 내부의 상태를 검출하는 센서로서의 역할을 하도록 해도 된다. 또한, 기기 상태 센서부(440)는, 주 제어부(201) 내의 ROM 등에 저장되어 있는, 텔레비전 수신 장치(100)의 각종 하드웨어 특성에 관한 정보를 판독하는 기능을 구비하고, 기기 하드웨어 특성을 검출하는 센서로서의 역할을 하도록 해도 된다. 또한, 기기 상태 센서부(440)는, 당해 텔레비전 수신 장치(100)나 그 밖의 기기에 대해 유저가 행한 UI(User Interface) 설정 등의 조작을 검출하거나, 유저의 과거의 조작 이력을 보존하거나 하도록 해도 된다.
유저 프로파일 센서부(450)는, 텔레비전 수신 장치(100)로 영상 콘텐츠를 시청하는 유저에 관한 프로파일 정보를 검출한다. 유저 프로파일 센서부(450)는, 반드시 센서 소자로 구성되어 있지는 않아도 된다. 예를 들어 카메라(411)로 촬영한 유저의 얼굴 화상이나 음성 센서로 수음한 유저의 발화 등에 기초하여, 유저의 연령이나 성별 등의 유저 프로파일을 검출하도록 해도 된다. 또한, 유저 프로파일 센서부(450)는, 스마트폰 등의 유저가 휴대하는 다기능 정보 단말기 상에서 취득되는 유저 프로파일을, 텔레비전 수신 장치(100)와 스마트폰 사이의 연계에 의해 취득하도록 해도 된다. 단, 유저 프로파일 센서부(450)는, 유저의 프라이버시나 기밀에 관한 민감 정보까지 검출할 필요는 없다. 또한, 동일한 유저의 프로파일을, 영상 콘텐츠의 시청 시마다 검출할 필요는 없고, 한번 취득한 유저 프로파일 정보를 예를 들어 주 제어부(201) 내의 EEPROM(전술)에 보존해 두도록 해도 된다.
또한, 스마트폰 등의 유저가 휴대하는 다기능 정보 단말기를, 텔레비전 수신 장치(100)와 스마트폰 사이의 연계에 의해, 상태 센서부(420) 혹은 환경 센서부(430), 유저 프로파일 센서부(450)로서 활용해도 된다. 예를 들어, 스마트폰에 내장된 센서에 의해 취득되는 센서 정보나, 헬스케어 기능(보수계 등), 캘린더 또는 스케줄장·비망록, 메일, SNS(Social Network Service)의 투고 및 열람의 이력과 같은 애플리케이션에서 관리하는 데이터를, 유저의 상태 데이터나 환경 데이터에 추가하도록 해도 된다. 또한, 텔레비전 수신 장치(100)와 동일한 공간에 존재하는 다른 CE 기기나 IoT 디바이스에 내장되는 센서를, 상태 센서부(420) 혹은 환경 센서부(430)로서 활용해도 된다.
C. 부분 구동 및 푸쉬업 기술을 실현하는 디스플레이
본 실시 형태에서는, 표시부(219)가, 화면을 복수의 영역으로 분할하여 영역마다 밝기를 제어하는 부분 구동 기술을 적용한 표시 디바이스를 사용하는 것을 상정하고 있다. 투과형의 액정 패널을 사용한 디스플레이에 부분 구동 기술을 적용한 경우, 신호 레벨이 높은 영역에 상당하는 백라이트를 밝게 점등시키는 한편, 신호 레벨이 낮은 영역에 상당하는 백라이트를 어둡게 점등시킴으로써, 휘도 콘트라스트를 향상시킬 수 있다. 또한, 암부에서 억제한 전력을 신호 레벨이 높은 영역으로 배분하여 집중적으로 발광시키는 푸쉬업 기술을 조합함으로써, (백라이트 전체의 출력 전력은 일정 상태 그대로이고)부분적으로 백색 표시를 행한 경우의 휘도를 높게 하여, 고다이내믹 레인지를 실현할 수 있다(예를 들어, 특허문헌 1을 참조).
도 5에는 표시부(219)로서 적용되는, 액정 표시 방식의 표시 디바이스의 내부 구성예를 도시하고 있다.
액정 표시 패널(500)은, 제1 방향을 따라 M0개, 제2 방향을 따라 N0개의, 합계 M0×N0개의 화소가 매트릭스상으로 배열된 표시 영역(501)을 구비하고 있다. 구체적으로는, 예를 들어 화상 표시용 해상도로서 HD-TV 규격을 충족하는 것이며, 매트릭스상으로 배열된 화소의 수 M0×N0을 (M0, N0)으로 표기하였을 때, 예를 들어 (1920, 1080)이다. 또한, 부분 구동을 행하는 경우에는, 액정 표시 패널(500)은, 매트릭스상으로 배열된 화소로 구성된 표시 영역(501)(도 5에 있어서, 일점쇄선으로 나타냄)이 P×Q개의 가상 표시 영역 유닛(502)(경계를 점선으로 나타냄)으로 분할되어 있다. (P, Q)의 값은, 예를 들어 (19, 12)이다. 단, 도면 작성의 사정상, 도 5에 나타낸 표시 영역 유닛(502)의 수는, 19×12와는 다르다. 또한, 각 표시 영역 유닛(502)은 복수(M×N)의 화소로 구성되어 있고, 1개의 표시 영역 유닛(502)을 구성하는 화소의 수는, 예를 들어 약 1만 화소이다.
액정 표시 패널(500)의 각 화소는, 각각이 서로 다른 색을 발광하는 복수의 서브 화소를 1세트로 하여 구성되어 있다. 보다 구체적으로는, 각 화소는, 적색 발광 서브 화소[R], 녹색 발광 서브 화소[G], 및 청색 발광 서브 화소[B]의 3개의 서브 화소로 구성되어 있다. 표시부(219)는, 주사선마다 순차 구동된다. 보다 구체적으로는, 액정 표시 패널(500)은, 매트릭스상으로 교차하는 주사 전극(제1 방향을 따라 연장되어 있음)과 데이터 전극(제2 방향을 따라 연장되어 있음)을 갖고, 주사 전극에 주사 신호를 입력하여 주사 전극을 선택, 주사하고, 데이터 전극에 입력된 데이터 신호(제어 신호에 기초하는 신호임)에 기초하여 화상을 표시시켜, 1화면을 구성한다.
백라이트(510)는, 액정 표시 패널(500)의 후방에 배치되어 표시 영역(501)을 배면으로부터 조명하는 면 조명 장치이며, 액정 표시 패널(500)의 바로 아래에 광원을 배치하는 직하형 구조나, 도광판의 주위에 광원을 배치하는 에지 라이트형 구조여도 된다. 또한, 현실적으로는 액정 표시 패널(500)의 바로 아래에 백라이트(510)가 배치되지만, 도 5에서는 편의상, 액정 표시 패널(500)과 백라이트(510)를 따로따로 그렸다.
본 실시 형태와 같이 부분 구동을 행하는 경우에는, 백라이트(510)는, P×Q개의 가상 표시 영역 유닛(502)에 대응하여 개별로 배치된 P×Q개의 광원 유닛(511)으로 이루어진다. 각 광원 유닛(511)은, 각각에 대응하는 표시 영역 유닛(502)을 배면으로부터 조명한다. 그리고 광원 유닛(511)에 구비된 광원의 발광 상태는 개별로 제어된다. 따라서, 각 표시 영역 유닛(502)이 부분 구동 가능한 최소 단위이다. 또한, (P, Q)의 값은 예를 들어 (19, 12)인데, 도면 작성의 사정상, 도 5에 도시한 광원 유닛(511)의 수는 19×12와는 다르다(상동).
각 광원 유닛(511)은, 복수 종류의 단색 광원을 소정 개수로 조합한 단위 발광 모듈을 각각 구비하고 있다. 각 광원 유닛(511)의 광원으로서, 발광 다이오드(LED)를 들 수 있다. 혹은, 냉음극 선형의 형광 램프나, 일렉트로루미네센스(EL) 장치, 냉음극 전계 전자 방출 장치(FED: Field Emission Display), 플라스마 표시 장치, 통상의 램프를 들 수도 있다. 광원을 발광 다이오드로 구성하는 경우, 예를 들어 파장 640㎚의 적색을 발광하는 적색 발광 다이오드, 예를 들어 파장 530㎚의 녹색을 발광하는 녹색 발광 다이오드, 및 예를 들어 파장 450㎚의 청색을 발광하는 청색 발광 다이오드를 1세트로서 구성하여 백색광을 얻을 수 있다. 혹은, 백색 발광 다이오드(예를 들어, 자외 또는 청색 발광 다이오드와 형광체 입자를 조합하여 백색을 발광하는 발광 다이오드)의 발광에 의해 백색광을 얻을 수도 있다. 적색, 녹색, 청색 이외의 제4 번째의 색, 제5 번째의 색 …을 발광하는 발광 다이오드를 더 구비하고 있어도 된다. 각 광원 유닛(511)의 광원에 발광 다이오드를 사용하는 경우, 펄스폭 변조(PWM) 제어 방식에 기초하여 구동된다. 이 경우, 펄스폭 변조에 기초하는 구동에 있어서의 듀티비에 의해, 각 광원 유닛(511)의 발광 상태를 제어할 수 있다.
도 5에 도시하는 표시 디바이스는, 액정 표시 패널(500) 및 백라이트(510)를 구동하는 구동부로서, 백라이트 구동 제어부(520)와, 광원 유닛 구동부(530)와, 액정 표시 패널 구동부(540)를 구비하고 있다.
백라이트 구동 제어부(520)는, 펄스폭 변조 제어에 기초하여 개개의 광원 유닛(511)의 온/오프를 제어한다. 광원 유닛 구동부(530)는, 광원 유닛(511)마다 배치되어, 백라이트 구동 제어부(520)로부터의 제어 신호에 기초하여 대응하는 광원 유닛(511) 내의 각 발광 다이오드를 온/오프 구동시킨다.
백라이트 구동 제어부(520)는, 각 표시 영역 유닛(502)에 대응하는 광원 유닛(511)의 발광 상태를 개별로 제어함으로써 백라이트(510)의 부분 구동을 실현한다. 또한 푸쉬업 기술을 이용하는 경우에는, 백라이트 구동 제어부(520)는 암부의 광원 유닛(511)에서 출력을 억제함으로써 얻어진 잉여 전력을 명부의 광원 유닛(511)으로 배분하여 집중적으로 발광시키는 처리도 실시한다. 예를 들어, 각 표시 영역 유닛에 대응하는 입력 신호에 기초하여 각 광원 유닛의 구동을 제어하는 표시 장치가 제안되어 있다(특허문헌 1을 참조). 본 실시 형태에서는, 백라이트 구동 제어부(520)는, 인공 지능 기능을 이용하여 각 광원 유닛(511)의 발광 상태를 제어하는데, 이 점의 상세에 대해서는 후술한다.
도 6에는 1개의 광원 유닛(511) 및 광원 유닛(511)을 구동하는 광원 유닛 구동부(530)의 구성예를 도시하고 있다. 광원 유닛(511)은, 적색 발광 다이오드(601R), 녹색 발광 다이오드(601G) 및 청색 발광 다이오드(601B)를 1세트로 하여 구성된다. 또한, 광원 유닛 구동부(530)는, 연산부(531)와, 기억 장치(532)와, LED 구동부(533)와, 포토다이오드 제어부(534)와, FET(Field Effect Transistor)로 이루어지는 스위칭 소자(605R, 605G, 605B)와, 발광 다이오드 구동 전원(정전류원)(606)을 구비하고 있다.
본 실시 형태에서는, 백라이트 구동 제어부(520)는, 인공 지능 기능(학습 완료된 뉴럴 네트워크 모델)을 이용하여, 표시부(219)가 표시하는 목표 표시 화상으로부터, 각 광원 유닛(511)의 발광 상태를 제어하는 펄스폭 변조 출력 신호의 값과, 클럭 신호 CLK의 각 값을 추정하여, 이들 추정한 값을 각 광원 유닛 구동부(530) 내의 기억 장치(532)에 공급한다. 또한, 이하의 설명에서는, 편의상, 표시 화상은 RGB 화상으로 하고, 백라이트 구동 제어부(520)는 RGB 신호로부터 색별 펄스폭 변조 출력 신호의 값 SR, SG, SB를 출력하는 것으로서 설명한다. 표시 화상은, HSV(Hue, Saturation, Lightness)나 L*a*b 등 임의의 색 공간이어도 된다. 또한, 뉴럴 네트워크 모델은, 목표 표시 화상과 함께 센서군(400)으로 센싱되는 센서 정보에 기초하여 부분 구동을 위한 추정 처리를 행하도록 해도 된다. 연산부(531)는, 기억 장치(532)로부터 판독한 펄스폭 변조 출력 신호의 값 SR, SG, SB에 기초하여, 대응하는 광원 유닛(511)을 구성하는 적색 발광 다이오드(601R), 녹색 발광 다이오드(601G) 및 청색 발광 다이오드(601B) 각각의 온/오프 시간을 결정한다. 그리고 LED 구동부(533)는, 연산부(531)가 결정한 온/오프 시간에 기초하여, 각 스위칭 소자(605R, 605G, 605B)를 구동하여, 발광 다이오드 구동 전원(606)로부터 적색 발광 다이오드(601R), 녹색 발광 다이오드(601G) 및 청색 발광 다이오드(601B)의 각각에 흐르는 LED 구동 전류를 제어하여, 원하는 온 시간만 대응하는 표시 영역 유닛(502)에 소정의 조도에 있어서 증명하도록 제어한다.
액정 표시 패널 구동부(540)는, 타이밍 컨트롤러(541)와 같은 주지의 회로로 구성된다. 액정 표시 패널(500)에는, 액정 셀을 구성하는 TFT(Thin Film Transistor)로 이루어지는 스위칭 소자를 구동하기 위한, 게이트 드라이버, 소스 드라이버 등(모두 도 5에는 도시하지 않음)이 구비되어 있다. 어느 화상 프레임에 있어서의 각 발광 다이오드(601R, 601G, 601B)의 발광 상태는, 포토다이오드(603R, 603G, 603B)에 의해 각각 측정되어, 포토다이오드(603R, 603G, 603B)로부터의 출력은 포토다이오드 제어부(534)에 입력되고, 포토다이오드 제어부(534) 및 연산부(531)에 있어서 발광 다이오드(601R, 601G, 601B)의 예를 들어 휘도 및 색도로서의 데이터(신호)가 되고, 이러한 데이터가 LED 구동부(533)로 보내져, 다음 화상 프레임에 있어서의 발광 다이오드(601R, 601G, 601B)의 발광 상태가 제어된다고 하는 피드백 기구가 형성되어 있다.
또한, 발광 다이오드(601R, 601G, 601B)의 하류에는, 전류 검출용의 저항체 rR, rG, rB가, 발광 다이오드(601R, 601G, 601B)와 직렬로 각각 삽입되어 있다. 그리고 저항체 rR, rG, rB를 흐르는 전류가 전압으로 변환되어, 저항체 rR, rG, rB에 있어서의 전압 강하가 소정의 값이 되도록, LED 구동부(533)의 제어하에서, 발광 다이오드 구동 전원(606)의 동작이 제어된다. 여기서, 도 6에는, 발광 다이오드 구동 전원(정전류원)(606)을 1개밖에 그리지 않았지만, 실제로는 발광 다이오드(601R, 601G, 601B) 각각을 구동하기 위한 발광 다이오드 구동 전원(606)이 배치되어 있다.
표시 패널(500)의 부분 구동을 행하는 경우에는, 매트릭스상으로 배열된 화소로 구성된 표시 영역(501)이 P×Q개의 표시 영역 유닛(502)으로 분할되어 있다. 이 상태를 「행」 및 「열」로 표현하면, Q행×P열의 표시 영역 유닛(502)으로 분할되어 있다고 할 수 있다. 또한, 표시 영역 유닛(502)은 복수(M×N)의 화소로 구성되지만, 이 상태를 「행」 및 「열」로 표현하면, N행×M열의 화소로 구성되어 있다고 할 수 있다. 행은 도 5 중의 제1 방향에 상당하고, 열은 제2 방향에 상당한다.
각 화소는, 적색 발광 서브 화소[R], 녹색 발광 서브 화소[G], 및 청색 발광 서브 화소[B]의 3개의 서브 화소(서브 픽셀)를 1세트로 하여 구성된다. 서브 화소 [R, G, B]의 각각의 휘도를, 예를 들어 8비트 제어로 하고, 0 내지 255의 28 단계로 계조 제어할 수 있다. 이 경우, 액정 표시 패널 구동부(540)에 입력되는 입력 신호 [R, G, B]의 값 xR, xG, xB는, 각각 28 단계의 값을 취하게 된다. 또한, 각 광원 유닛(511)을 구성하는 적색 발광 다이오드(601R), 녹색 발광 다이오드(601G) 및 청색 발광 다이오드(601B)의 발광 시간을 제어하기 위한 펄스폭 변조 출력 신호의 값 SR, SG, SB도, 0 내지 255의 28 단계의 값을 취하게 된다. 단, 이것에 한정되는 것은 아니며, 예를 들어 10비트 제어로 하고, 0 내지 1023의 210 단계로 행할 수도 있다(8비트의 수치에 의한 표현을, 예를 들어 4배 하면 됨).
화소 각각에, 광 투과율 Lt를 제어하는 제어 신호가 액정 표시 패널 구동부(540)로부터 공급된다. 구체적으로는, 서브 화소 [R, G, B]에 각각의 광 투과율 Lt를 제어하는 제어 신호 [R, G, B]가 액정 표시 패널 구동부(540)로부터 공급된다. 즉, 액정 표시 패널 구동부(540)에서는, 입력된 입력 신호 [R, G, B]로부터 제어 신호 [R, G, B]가 생성되고, 이 제어 신호 [R, G, B]가 서브 화소[R, G, B]에 공급(출력)된다. 또한, 백라이트(510) 또는 광원 유닛(511)의 광원 휘도 Y를 화상 프레임마다 변화시키므로, 제어 신호 [R, G, B]는, 기본적으로 입력 신호 [R, G, B]의 값을 γ 보정한 값에 대해, 광원 휘도 Y의 변화에 기초하는 보정(보상)을 행한 값을 갖는다. 그리고 액정 표시 패널 구동부(540)를 구성하는 타이밍 컨트롤러(541)로부터, 액정 표시 패널(500)의 게이트 드라이버 및 소스 드라이버(도시하지 않음)로, 제어 신호 [R, G, B]가 송출되고, 제어 신호 [R, G, B]에 기초하여 각 서브 화소를 구성하는 스위칭 소자가 구동되어, 액정 셀을 구성하는 투명 전극에 원하는 전압이 인가됨으로써, 각 서브 화소의 광 투과율(개구율) Lt가 제어된다. 여기서, 제어 신호 [R, G, B]의 값이 클수록, 서브 화소 [R, G, B]의 광 투과율(서브 화소의 개구율) Lt가 높아져, 서브 화소 [R, G, B]의 휘도(표시 휘도 y)의 값이 높아진다. 즉, 서브 화소 [R, G, B]를 통과하는 광에 의해 구성되는 화상(통상, 1종, 점 형상임)은 밝다.
표시 휘도 y 및 광원 휘도 Y의 제어는, 표시부(219)의 화상 표시에 있어서의 화상 프레임마다, 표시 영역 유닛마다, 광원 유닛마다 행해진다. 또한, 화상 프레임 내에 있어서의 액정 표시 패널(500)의 동작과 백라이트(510)의 동작은 동기된다.
표시부(219)가, 상술한 바와 같은 액정 표시 디스플레이로 구성되는 경우, 광원 유닛(511)마다 발광 상태를 개별 제어할 수 있다는 점에서, 표시 영역 유닛(502)이 부분 구동의 최소 단위가 된다.
한편, 유기 EL 디스플레이나 자발광형 디스플레이와 같이 화소 단위로 발광 상태를 제어 가능한 표시 디바이스의 경우에는, 화소를 부분 구동의 최소 단위로 할 수 있다. 이러한 종류의 디바이스의 경우, 개개의 화소를 표시 영역 유닛 및 광원 유닛으로서 파악할 수 있다. 단, 화소 단위로 발광 상태를 제어 가능한 표시 디바이스에 있어서도, 화면을 P×Q개로 이루어지는 표시 영역 유닛(502)으로 분할하여, 표시 영역 유닛 단위로 발광 상태의 부분 구동을 실시하도록 해도 된다((P, Q)의 값은, 예를 들어 (19, 12)임).
계속해서, 푸쉬업 동작에 대해 설명한다. 도 7 내지 도 9에는, 간소화를 위해, 좌반부가 암부로서 휘도 신호 레벨 1％인 흑색 영역과, 우반부가 명부로서 휘도 신호 레벨 100％인 백색 영역으로 이루어지는 입력 화상에 관한 부분 구동 및 푸쉬업 동작예를 도시하고 있다.
도 7에 도시하는 예에서는, 화면 전체에 걸쳐, 백라이트(510)의 게인을 100％로 하고, 액정 표시 패널(500)의 좌반부의 암부의 휘도 신호 레벨을 1％, 우반부의 명부의 휘도 신호 레벨을 100％로 하여 묘화하고 있다. 또한, 백라이트(510)를 화면 전체에 걸쳐 100％로 점등하였을 때의 출력 전력은, 최대 400W로 한다.
도 8에 도시하는 예에서는, 도 7과 동일한 휘도의 화상(좌반부의 암부가 휘도 신호 레벨 1％인 흑색 영역과, 우반부의 명부가 휘도 신호 레벨 100％)을 묘화할 때, 좌반부의 흑색 영역의 휘도 신호를 높임으로써, 백라이트(510)의 전력을 저하시키고 있다. 구체적으로는, 액정 표시 패널(500) 중 좌반부의 흑색 영역에 있어서의 표시 영역 유닛(502)의 휘도 신호 레벨을 100％로 끌어올림으로써, 백라이트(510) 중 좌반부의 광원 유닛(511)의 게인을 1％로 저하시켜도 동일한 휘도 레벨을 유지하고 있다. 한편, 액정 표시 패널(500) 중 우반부의 백색 영역에 있어서의 휘도 신호 레벨은 100％, 백라이트(510) 중 우반부의 광원 유닛(511)의 게인은 100％인 상태 그대로이다. 백라이트(510)의 좌반부의 전력이 1％로 된다는 점에서, 전체에서의 전력은 거의 200W가 되어, 도 7에 도시한 동작예의 절반으로 억제된다.
백라이트(510)의 전력은, 전체에서 최대 400W 이하이면 된다. 따라서, 도 8에 도시한 바와 같이, 백라이트(510)의 좌반부의 광원 유닛(511)에서 절전하여 얻은 잉여의 전력을 우반부의 광원 유닛(511)의 출력에 이용할 수 있다. 도 9에 도시하는 예에서는, 액정 표시 패널(500) 중 좌반부의 흑색 영역에 있어서의 표시 영역 유닛(502)의 휘도 신호 레벨을 100％, 백라이트 중 좌반부의 광원 유닛(511)의 게인을 1％로 하고 있다. 즉, 액정 표시 패널(500)과 백라이트(510)의 좌반부의 구동은 도 8에 도시한 예와 동일하다. 한편, 액정 표시 패널(500) 중 우반부의 백색 영역의 휘도 신호 레벨은 100％이지만, 백라이트(510) 중 우반부의 광원 유닛(511)의 게인을 200％로 밀어올릴 수 있다. 암부에서의 휘도 신호 레벨을 향상시키고 백라이트의 출력을 억제시켜 잉여 전력을 얻음으로써, 푸쉬업이 실현된다. 이와 같이 부분 구동 기술에 푸쉬업 기술을 조합함으로써, 고휘도의 다이내믹 레인지가 약 2배로 향상된다. 또한, 백라이트(510) 전체에서의 전력은 최대 400W를 초과하지 않도록 할 수 있다.
D. 인공 지능 기능을 이용한 부분 구동 및 푸쉬업 제어
표시부(219)에 사용되는 표시 디바이스에 부분 구동 기술을 적용함으로써, 소비 전력의 저감이나 화질 향상의 효과를 높일 수 있다. 또한 푸쉬업 기술을 이용하여, 암부의 휘도 신호 레벨을 향상시켜 백라이트의 출력을 억제함으로써 얻어지는 잉여 전력을 사용하여, 명부의 백라이트의 출력을 푸쉬업함으로써, (백라이트 전체의 출력 전력은 일정 상태 그대로)고다이내믹 레인지를 실현할 수 있다.
기본적으로, 영상의 밝은 표시 영역 유닛의 광원 유닛은 밝고, 어두운 표시 영역 유닛의 광원 유닛은 어둡게 함으로써, 영상 전체의 콘트라스트를 높일 수 있다. 예를 들어, 각 표시 영역 유닛에 대응하는 입력 신호 중 최댓값을 갖는 표시 영역 유닛 내·최대 입력 신호에 기초하여, 해당 표시 영역 유닛에 대응한 광원 유닛의 발광 상태를 제어하는 표시 장치에 대해 제안이 이루어져 있다. 구체적으로는, 전체 입력 신호의 평균값이, 소정의 값 이상인지 여부를 조사하여, 전체 입력 신호의 평균값이 소정의 값 이상인 경우, 각 표시 영역 유닛에 대응하는 입력 신호의 γ 보정에 있어서의 멱지수를 γ21로 하고, 또한 해당 표시 영역 유닛에 대응한 광원 유닛의 휘도를, 표시 영역 유닛 내·최대 입력 신호의 값에 기초하는 휘도로 제어하고, 전체 입력 신호의 평균값이 소정의 값 미만인 경우에는, 표시 영역 유닛 내·최대 입력 신호의 값이 규정값 이상인 표시 영역 유닛에 있어서는, 해당 표시 영역 유닛에 대응하는 입력 신호의 γ 보정에 있어서의 멱지수를 γ22(단, γ22＞γ21)로 하고, 또한 해당 표시 영역 유닛에 대응한 광원 유닛의 휘도를, 표시 영역 유닛 내·최대 입력 신호의 값에 기초하는 휘도보다 높은 휘도로 제어하고, 표시 영역 유닛 내·최대 입력 신호의 값이 규정값 미만인 표시 영역 유닛에 있어서는, 해당 표시 영역 유닛에 대응하는 입력 신호의 γ 보정에 있어서의 멱지수를 γ21로 하고, 또한 해당 표시 영역 유닛에 대응한 광원 유닛의 휘도를, 표시 영역 유닛 내·최대 입력 신호의 값에 기초하는 휘도로 제어하도록 구성되어 있다(특허문헌 1을 참조).
부분 구동 패턴의 최적해를 얻으려면, 항상 재귀적으로 계산할 필요가 있다. 예를 들어, 시간 방향으로 복수매의 화상 프레임을 관찰하여, 시간 방향으로 각 광원 유닛(110)을 부분 구동시키는 최적의 발광 패턴(이하, 「부분 구동 패턴」이라고도 칭함)을 탐색할 필요가 있다. 이 때문에, 부분 구동 패턴의 최적해를 프레임 단위로 실시간으로 산출하는 것은 어렵다.
또한, 1개의 화상 프레임 내에, 영상의 밝은 표시 영역 유닛(이하, 「백점」이라고도 칭함)이 복수 존재하는 경우에는, 부분 구동을 행하였을 때에 백점 사이에서 서로 기여하는 크로스토크에 의해 화질 열화가 발생한다고 하는 문제가 있다. 이 때문에, 한쪽의 백점에 대해 최적화하고, 이어서 다른 쪽의 백점에 대해서도 최적화한 후, 다시 한쪽의 백점에 대해 반복하여 최적화 계산해야 한다. 또한, 백라이트(510)를 구성하는 P×Q개의 각 광원 유닛(511)의 개개의 발광 특성은, 광원 자체나 광원 유닛의 개체 변동이 있어 동일하지는 않다. 게다가, 광원 유닛이 단부에 가까워지면 단부에서의 반사의 영향을 강하게 받으므로, 배치된 장소에 따라서도 표시 영역(501)에 미치는 영향이 다르다. 또한 액정 패널에서의 광학 필름 등에 의한 특성의 영향도 받으므로, 시스템 전체를 나타내는 광학 확산 모델을 고려하여 부분 구동 패턴을 계산해야 하다. 이 관점에서도, 부분 구동 패턴의 최적해를 프레임 단위로 실시간으로 산출하는 것은 어렵다.
수학적으로 산출된 부분 구동 패턴의 최적해가, 사람이 관찰해서 최적이 되는 것만은 아니라고 하는 문제도 있다. 왜냐하면, 생리적 또는 인지상의 개인차가 있고, 나아가 표시 디바이스의 특성이나 화상을 시청하는 환경의 영향을 받는 것도 상정되기 때문이다. 또한, 부분 구동을 실시한 표시 화면의 화질 혹은 미관은, 입력되는 영상 신호뿐만 아니라, 나아가 콘텐츠의 종별, 표시 디바이스의 특성, 영상의 시청 환경, 시청하는 유저의 기호나 속성, 생리적인 특성 등, 다방면에 걸친 요인의 영향을 받는 것이 상정된다.
한편, 푸쉬업을 이용한 부분 구동에 의해 표시 화상의 화질은 향상되지만, 국소적으로 고온이 되는 시간이 계속되어 패널이 열화될 것이 우려된다. 이러한 경우, 화질의 향상보다 디바이스의 보호의 관점에서, 푸쉬업을 억제할 필요가 있다. 예를 들어 각 광원 유닛(511)의 적산 조사 시간의 치우침이 없도록 하는 것을 조건에 추가하면, 부분 구동 패턴의 최적해를 프레임 단위로 실시간으로 산출하는 것은 더욱 어려워진다.
다양한 요인을 고려하여 부분 구동 패턴을 계산하면, 보다 최적의 해를 도출할 수 있지만, 실시간으로 산출하는 것은 점점 어려워진다. 결국, 근사해로 타협하여 부분 구동할 수밖에 없게 되어 버린다.
그래서 본 명세서에서는, 표시 디바이스의 표시 영역 유닛별 부분 구동 및 푸쉬업을 실시하기 위한 각 광원 유닛의 최적의 휘도를, 다양한 요인을 고려하면서 인공 지능 기능을 이용하여 실시간으로 도출하는 기술에 대해 제안한다. 구체적으로는, 백라이트 구동 제어부(520)는, 인공 지능 기능을 이용하여 각 광원 유닛(511)의 발광 상태를 제어한다.
여기서, 인공 지능의 기능이란, 예를 들어 학습, 추정, 데이터 창출, 계획 입안과 같은, 일반적으로 인간의 뇌가 발휘하는 기능을 소프트웨어 또는 하드웨어에 의해 인공적으로 실현한 기능을 가리킨다. 또한, 인공 지능 서버는, 예를 들어 인간의 뇌신경 회로를 모방한 모델에 의해 심층 학습(Deep Learning: DL)을 행하는 뉴럴 네트워크를 탑재하고 있다. 뉴럴 네트워크는, 시냅스의 결합에 의해 네트워크를 형성한 인공 뉴런(노드)이, 학습에 의해 시냅스의 결합 강도를 변화시키면서, 문제에 대한 해결 능력을 획득하는 구조를 구비하고 있다. 뉴럴 네트워크는, 학습을 거듭함으로써, 문제에 대한 해결 규칙을 자동적으로 추정할 수 있다.
뉴럴 네트워크로 이루어지는 인공 지능 기능에 대량의 훈련용 데이터를 부여하여 딥 러닝을 행함으로써, 요구되는 기능을 제공할 수 있도록 훈련시켜, 훈련 완료된 모델에 의해 동작하는 인공 지능 기능을 구비한 장치를 개발하는 것이 가능하다. 또한, 딥 러닝 등의 훈련을 통해, 개발자에게는 상상할 수 없는 특징을 많은 데이터로부터 추출하여, 개발자가 알고리즘을 상정할 수 없는 복잡한 문제 해결을 행할 수 있는 인공 지능 기능을 갖는 장치를 개발할 수 있다.
본 실시 형태에 있어서, 표시 디바이스의 부분 구동, 즉 표시 영역 유닛별 개별의 휘도 제어에 인공 지능 기능을 이용함으로써, 프레임별 부분 구동 패턴의 최적해를 실시간으로 획득하는 것이 가능해진다. 또한, 인공 지능 기능을 이용함으로써, 딥 러닝 등의 훈련을 통해 콘텐츠의 종별, 표시 디바이스의 특성, 영상의 시청 환경, 시청하는 유저의 기호나 속성, 생리적인 특성 등의 다양한 요인과, 각 광원 유닛의 이상적인 휘도의, 개발자나 시청자가 상상할 수 없는 상관 관계를 추출하여, 보다 이상적인 부분 구동 및 푸쉬업 제어를 실현할 수 있는 것이 기대된다.
D-1. 인공 지능 기능의 구성예 (1)
도 10에는 부분 구동 패턴의 추정에 이용되는 뉴럴 네트워크의 제1 구성예(1000)를 도시하고 있다. 뉴럴 네트워크(1000)는, (표시부(219)로서의)액정 표시 패널(500) 내의 백라이트 구동 제어부(520)에 배치되는 것을 상정하고 있지만, 영상 합성부(218) 내에 내장되어 있어도 된다. 도시한 뉴럴 네트워크(1000)는, 입력층과, 중간층과, 출력층으로 이루어진다. 뉴럴 네트워크(1000)의 중간층은 복수의 중간층으로 이루어지고, 뉴럴 네트워크(1000)는 딥 러닝을 행하는 것이 가능한 것이 바람직하다. 또한, 영상 스트림 등의 시계열 정보를 고려하여, 중간층에 있어서 재귀 결합을 포함하는 RNN(Recurrent Neural Network) 구조여도 된다.
뉴럴 네트워크(1000)는, 목표 표시 화상이 되는 영상 신호와 부분 구동(각 광원 유닛(511)의 발광 상태)의 상관 관계를 사전에 심층 학습하고 있다. 도 10에 도시하는 예에서는, 뉴럴 네트워크(1000)는 예를 들어 화소별 RGB 신호로 이루어지는 영상 신호를 입력하여, 이 영상 신호를 표시부(219)에 화면 표시할 때에 최적이 되는 부분 구동 패턴을 계산한다.
또한, 뉴럴 네트워크(1000)는, 영상 디코더(208)에 의한 디코드 처리 후의 영상 신호뿐만 아니라, 영상 디코더(208)에서 사용되는 정보도 입력하도록 해도 된다(후술하는 다른 뉴럴 네트워크에 있어서도 마찬가지). 디코드 처리의 과정에서 디코더 내부의 중간 신호는 소실되는데, 그 중에는 부분 구동 패턴의 계산 처리에 유익한 정보가 포함되어 있을 가능성이 있기 때문이다. 구체적으로는, 영상 디코더(208)에 있어서의 양자화 계수나 그 밖의 부호화 파라미터, 움직임 벡터 등을 기기 상태 센서부(440)가 검출하여, 영상 신호와 함께 뉴럴 네트워크(1000)에 입력한다.
또한, 뉴럴 네트워크(1000)는, 영상 디코더(208)에 의한 디코드 처리 후의 영상 신호와 함께, 문자 화면 표시 디코더(210)나 자막 디코더(211)의 각각으로부터 출력되는 문자 화면 표시 정보, 그리고 자막 정보를 입력하도록 해도 된다(후술하는 다른 뉴럴 네트워크에 있어서도 마찬가지). 자막 등의 문자 정보는 백색이지만, 부분 구동에 의해 고휘도로 설정하고 추가로 푸쉬업을 행할 필요는 없으므로, 뉴럴 네트워크(1000)가 자막 등의 문자 정보를 고려하여 최적의 부분 구동 패턴 및 푸쉬업양을 계산하도록 해도 된다. 예를 들어, 자막 합성부(212)로부터 문자 화면 표시 정보, 그리고 자막 정보를 뉴럴 네트워크(1000)에 도입할 수 있다. 혹은, 영상 신호와 문자 화면 표시 정보, 그리고 자막 정보의 상관 관계를 뉴럴 네트워크(1000)가 사전에 학습해 두고, 입력층에 도입된 영상 신호로부터 영상에 포함되는 문자 화면 표시 정보, 그리고 자막 정보를 추정하도록 해도 된다. 또한, 주 제어부(201) 등에서 생성되는 OSD(On Screen Display)에 대해서도, 문자 정보와 마찬가지로 푸쉬업을 행할 필요가 없다. 따라서, 뉴럴 네트워크(1000)가 OSD의 표시 정보를 고려하여 최적의 부분 구동 패턴 및 푸쉬업양을 계산하도록 해도 된다(후술하는 다른 뉴럴 네트워크에 있어서도 마찬가지). 뉴럴 네트워크(1000)는, 주 제어부(201) 등으로부터 OSD의 표시 정보를 도입하거나, 혹은 영상 신호와 OSD의 상관 관계를 사전에 학습해 두고, 영상 신호부터 영상에 중첩되는 OSD를 추정하도록 해도 된다.
또한, 콘텐츠의 종별 등의 메타데이터가 부분 구동 및 푸쉬업의 최적화에 영향을 미치는 것도 생각할 수 있다. 콘텐츠가 영화인 경우와 스포츠인 경우에서, 최적의 부분 구동 및 푸쉬업 패턴이 상이할 것이다. 또한, 동일한 스포츠 영상이라도, 게임 중계인 경우와 극중의 스포츠 장면인 경우에서, 최적의 부분 구동 및 푸쉬업 패턴이 상이한 것도 생각할 수 있다. 따라서, 콘텐츠의 종별에 관한 정보를 기기 상태 센서부(440) 등이 검출하여, 영상 신호와 함께 뉴럴 네트워크(1000)에 입력하도록 해도 된다(후술하는 다른 뉴럴 네트워크에 있어서도 마찬가지). 구체적으로는, 콘텐츠에 부수되는 메타데이터를, 뉴럴 네트워크(1000)의 입력층에 도입하도록 해도 된다. 혹은, 뉴럴 네트워크(1000)가 영상 신호 및 음성 신호와 콘텐츠의 메타데이터의 상관 관계를 사전에 학습해 두고, 입력층에 도입된 영상 신호 및 음성 신호로부터 메타데이터를 추정하도록 해도 된다(단, 영상 신호 및 음성 신호를 모두 입력하도록 뉴럴 네트워크가 구성되어 있는 경우).
뉴럴 네트워크(1000)는, 부분 구동 패턴으로서 예를 들어 광원 유닛별 최적의 발광 상태를 출력한다. 뉴럴 네트워크(1000)가 계산한 부분 구동 패턴은 각 광원 유닛 구동부(530)에 출력된다. 따라서, 텔레비전 수신 장치(100)가 텔레비전 방송 등의 영상 스트림을 수신하여 표시부(219)에 화면 표시할 때, 뉴럴 네트워크(1000)는 화면 표시하는 영상 신호에 기초하여 광원 유닛(511) 등의 디바이스의 열화를 억제하면서 고다이내믹 레인지화 등의 화질을 향상시키는 부분 구동 패턴의 최적해를, 프레임마다 실시간으로 출력할 수 있다.
D-2. 인공 지능 기능의 구성예 (2)
도 11에는 부분 구동 패턴의 추정에 이용되는 뉴럴 네트워크의 제2 구성예(1100)를 도시하고 있다. 뉴럴 네트워크(1100)는, (표시부(219)로서의)액정 표시 패널(500) 내의 백라이트 구동 제어부(520)에 배치되는 것을 상정하고 있지만, 영상 합성부(218) 내에 내장되어 있어도 된다. 도시한 뉴럴 네트워크(1100)는, 입력층과, 중간층과, 출력층으로 이루어진다. 뉴럴 네트워크(1100)의 중간층은 복수의 중간층으로 이루어지고, 뉴럴 네트워크(1100)는 딥 러닝을 행하는 것이 가능한 것이 바람직하다. 또한, 영상 스트림 등의 시계열 정보를 고려하여, 중간층에 있어서 재귀 결합을 포함하는 RNN 구조여도 된다.
뉴럴 네트워크(1100)는, 목표 표시 화상이 되는 영상 신호와 부분 구동(각 광원 유닛(511)의 발광 상태) 및 푸쉬업양(화소마다 또는 표시 영역마다의 푸쉬업양)의 상관 관계를 사전에 심층 학습하고 있다. 도 11에 도시하는 예에서는, 뉴럴 네트워크(1100)는 예를 들어 화소별 RGB 신호로 되는 영상 신호를 입력하여, 이 영상 신호를 표시부(219)에 화면 표시할 때에 최적이 되는 부분 구동 패턴 및 푸쉬업양을 계산한다. 뉴럴 네트워크(1100)는, 부분 구동 패턴으로서 예를 들어 광원 유닛별 최적의 발광 상태를 출력한다. 또한, 뉴럴 네트워크(1100)는, 화소별 최적의 푸쉬업양을 출력하는데, 표시 영역 등 소정의 화소군 단위로 최적의 푸쉬업양을 계산하여 출력하도록 해도 된다. 뉴럴 네트워크(1100)가 계산한 부분 구동 패턴은 각 광원 유닛 구동부(530)에 출력된다. 또한, 뉴럴 네트워크(1100)가 계산한 푸쉬업양은, 액정 표시 패널 구동부(540)에 출력된다. 따라서, 텔레비전 수신 장치(100)가 텔레비전 방송 등의 영상 스트림을 수신하여 표시부(219)에 화면 표시할 때, 뉴럴 네트워크(1100)는 화면 표시하는 영상 신호에 기초하여 광원 유닛(511) 등의 디바이스의 열화를 억제하면서 화질을 향상시키는 부분 구동 패턴 및 푸쉬업양의 최적해를, 프레임마다 실시간으로 출력할 수 있다.
D-3. 인공 지능 기능의 구성예 (3)
도 12에는 부분 구동 패턴의 추정에 이용되는 뉴럴 네트워크의 제3 구성예(1200)를 도시하고 있다. 뉴럴 네트워크(1200)는, (표시부(219)로서의)액정 표시 패널(500) 내의 백라이트 구동 제어부(520)에 배치되는 것을 상정하고 있지만, 영상 합성부(218) 내에 내장되어 있어도 된다. 도시한 뉴럴 네트워크(1200)는, 입력층과, 중간층과, 출력층으로 이루어진다. 뉴럴 네트워크(1200)의 중간층은 복수의 중간층으로 이루어지고, 뉴럴 네트워크(1200)는 딥 러닝을 행하는 것이 가능한 것이 바람직하다. 또한, 영상 스트림이나 음성 스트림 등의 시계열 정보를 고려하여, 중간층에 있어서 재귀 결합을 포함하는 RNN 구조여도 된다.
뉴럴 네트워크(1200)는, 목표 표시 화상이 되는 영상 신호 및 영상 신호에 동기하는 음성 신호와 부분 구동(각 광원 유닛(511)의 발광 상태) 및 푸쉬업양(화소마다 또는 표시 영역마다의 푸쉬업양)의 상관 관계를 사전에 심층 학습하고 있다. 도 12에 도시하는 예에서는, 뉴럴 네트워크(1200)는, 예를 들어 화소별 RGB 신호로 이루어지는 영상 신호와 영상 신호에 동기하는 음성 신호를 입력하여, 이 영상 신호를 표시부(219)에 화면 표시할 때에 최적이 되는 부분 구동 패턴 및 푸쉬업양을 계산한다. 또한, 뉴럴 네트워크(1000)는, 영상 디코더(208) 및 음성 디코더(209)에 의한 디코드 처리 후의 영상 신호 음성 신호뿐만 아니라, 영상 디코더(208) 및 음성 디코더(209)에서 각각 사용되는 정보도 입력하도록 해도 된다. 디코드 처리의 과정에서 디코더 내부의 중간 신호는 소실되는데, 그 중에는 부분 구동 패턴의 계산 처리에 유익한 정보가 포함되어 있을 가능성이 있기 때문이다. 영상 디코더(208) 및 음성 디코더(209)에 있어서의 각 디코드 처리의 과정에서 발생하는 데이터를 기기 상태 센서부(440)가 검출하여, 영상 신호 및 음성 신호와 함께 뉴럴 네트워크(1200)의 입력층에 도입한다.
뉴럴 네트워크(1200)는, 영상 신호에 더하여 음성 신호에 기초하여, 부분 구동 패턴이나 푸쉬업양을 최적화할 수 있다. 뉴럴 네트워크(1200)를 사용하여 부분 구동 및 푸쉬업의 제어를 행함으로써, 예를 들어 영상 내에 출연자가 언쟁하거나, 이펙트가 가해진 격렬한 BGM이 흐르고 있거나 하는 장면에서는 휘도 다이내믹 레인지를 확장하지만, 정숙한 장면에서는 휘도 다이내믹 레인지를 억제하여, 음향에 맞춘 시각적인 효과를 부여할 수 있다.
뉴럴 네트워크(1200)는, 부분 구동 패턴으로서 예를 들어 광원 유닛별 최적의 발광 상태를 출력한다. 또한, 뉴럴 네트워크(1200)는, 화소별 최적의 푸쉬업양을 출력하는데, 표시 영역 등 소정의 화소군 단위로 최적의 푸쉬업양을 계산하여 출력하도록 해도 된다. 뉴럴 네트워크(1200)가 계산한 부분 구동 패턴은 각 광원 유닛 구동부(530)에 출력된다. 또한, 뉴럴 네트워크(1200)가 계산한 푸쉬업양은, 액정 표시 패널 구동부(540)에 출력된다. 따라서, 텔레비전 수신 장치(100)가 텔레비전 방송 등의 영상 스트림을 수신하여 표시부(219)에 화면 표시할 때, 뉴럴 네트워크(1200)는 화면 표시하는 영상 신호에 기초하여, 광원 유닛(511) 등의 디바이스의 열화를 억제하면서 화질을 향상시키는 부분 구동 패턴 및 푸쉬업양의 최적해를, 프레임마다 실시간으로 출력할 수 있다.
D-4. 인공 지능 기능의 구성예 (4)
도 13에는 부분 구동 패턴의 추정에 이용되는 뉴럴 네트워크의 제4 구성예(1300)를 도시하고 있다. 뉴럴 네트워크(1300)는, (표시부(219)로서의)액정 표시 패널(500) 내의 백라이트 구동 제어부(520)에 배치되는 것을 상정하고 있지만, 영상 합성부(218) 내에 내장되어 있어도 된다. 도시한 뉴럴 네트워크(1300)는, 입력층과, 중간층과, 출력층으로 이루어진다. 뉴럴 네트워크(1300)의 중간층은 복수의 중간층으로 이루어지고, 뉴럴 네트워크(1300)는 딥 러닝을 행하는 것이 가능한 것이 바람직하다. 또한, 영상 스트림 등의 시계열 정보를 고려하여, 중간층에 있어서 재귀 결합을 포함하는 RNN 구조여도 된다.
뉴럴 네트워크(1300)는, 목표 표시 화상이 되는 영상 신호와 부분 구동(각 광원 유닛(511)의 발광 상태) 및 푸쉬업양(화소마다 또는 표시 영역마다의 푸쉬업양), 그리고 음성 제어 신호와의 상관 관계를 사전에 심층 학습하고 있다. 도 1아에 도시하는 예에서는, 뉴럴 네트워크(1300)는 예를 들어 화소별 RGB 신호로 이루어지는 영상 신호를 입력하여, 이 영상 신호를 표시부(219)에 화면 표시할 때, 최적이 되는 부분 구동 패턴 및 푸쉬업양을 계산함과 함께, 부분 구동 및 푸쉬업양에 적합한 음성 제어 신호를 계산한다. 뉴럴 네트워크(1300)는, 부분 구동 패턴으로서 예를 들어 광원 유닛별 최적의 발광 상태를 출력한다. 또한, 뉴럴 네트워크(1300)는 화소별 최적의 푸쉬업양을 출력하는데, 표시 영역 등 소정의 화소군 단위로 최적의 푸쉬업양을 계산하여 출력하도록 해도 된다.
뉴럴 네트워크(1300)가 계산한 부분 구동 패턴은 각 광원 유닛 구동부(530)에 출력된다. 또한, 뉴럴 네트워크(1300)가 계산한 푸쉬업양은, 액정 표시 패널 구동부(540)에 출력된다. 따라서, 텔레비전 수신 장치(100)가 텔레비전 방송 등의 영상 스트림을 수신하여 표시부(219)에 화면 표시할 때, 뉴럴 네트워크(1300)는 화면 표시하는 영상 신호에 기초하여 광원 유닛(511) 등의 디바이스의 열화를 억제하면서 화질을 향상시키는 부분 구동 패턴 및 푸쉬업양의 최적해를, 프레임마다 실시간으로 출력할 수 있다.
또한, 뉴럴 네트워크(1300)가 계산한 음성 제어 신호는 음성 합성부(220)에 출력된다. 여기서 말하는 음성 제어 신호는, 하이레졸루션 등의 음질 개선이나 노이즈 제거 등의 음성 신호 처리, 혹은 음질 열화나 노이즈 부가 등의 음성 신호 처리 등이 포함된다. 부분 구동 및 푸쉬업을 행하는 것에 의한 화질 향상에 적합하도록 음성의 음질도 조정함으로써, 텔레비전 수신 장치(100)로 텔레비전 방송 등의 콘텐츠를 시청할 때의 시청 효과와 청각 효과를 동시에 향상시킬 수 있다.
D-5. 인공 지능 기능의 구성예 (5)
도 14에는 부분 구동 패턴의 추정에 이용되는 뉴럴 네트워크의 제5 구성예(1400)를 도시하고 있다. 뉴럴 네트워크(1400)는, (표시부(219)로서의)액정 표시 패널(500) 내의 백라이트 구동 제어부(520)에 배치되는 것을 상정하고 있지만, 영상 합성부(218) 내에 내장되어 있어도 된다. 도시한 뉴럴 네트워크(1400)는, 입력층과, 중간층과, 출력층으로 이루어진다. 뉴럴 네트워크(1400)의 중간층은 복수의 중간층으로 이루어지고, 뉴럴 네트워크(1400)는 딥 러닝을 행하는 것이 가능한 것이 바람직하다. 또한, 영상 스트림 등의 시계열 정보를 고려하여, 중간층에 있어서 재귀 결합을 포함하는 RNN 구조여도 된다.
뉴럴 네트워크(1400)는, 목표 표시 화상이 되는 영상 신호 및 디바이스 특성과 부분 구동(각 광원 유닛(511)의 발광 상태) 및 푸쉬업양(화소마다 또는 표시 영역마다의 푸쉬업양)의 상관 관계를 사전에 심층 학습하고 있다. 도 14에 도시하는 예에서는, 뉴럴 네트워크(1400)는 예를 들어 화소별 RGB 신호로 이루어지는 영상 신호와, 영상 신호를 표시하는 디바이스(표시부(219) 또는 액정 표시 패널(500))의 디바이스 특성에 관한 정보를 입력하여, 이 영상 신호를 화면 표시할 때에 최적이 되는 부분 구동 패턴 및 푸쉬업양을 계산한다.
디바이스 특성의 일례는, 액정 표시 패널(500)의 푸쉬업 조건이다. 푸쉬업은, 표시 영역(501) 중의 암부에서 억제한 잉여 전력을 신호 레벨이 높은 영역으로 배분하여 집중적으로 발광시키는 기술인데, 푸쉬업의 배율이나 온도 특성 등의 조건을 고려하여 푸쉬업을 실시할 필요가 있다. 푸쉬업을 실시하면 국소적으로 고온이 되어, 그 부분만 열화가 진행된다는 점에서, 푸쉬업을 억제할 필요가 있다. 또한, 액정 표시 패널(500)의 하드웨어 상의 휘도 다이내믹 레인지의 제한을 위해, 푸쉬업을 실시하면 휘도가 레인지의 상한에 도달하는 포화 상태가 되어, 그 이상의 휘도를 표현할 수 없게 된다는 점에서, 포화 레벨도 고려하여 푸쉬업을 실시할 필요가 있다. 그래서 액정 표시 패널(500)에 있어서의 바닥에서, 푸쉬업에 관한 이들 조건을, 뉴럴 네트워크(1400)의 입력층에 도입한다.
또한, 부분 구동 및 푸쉬업을 행하는 표시부(219)가 갖는 그 밖의 다양한 하드웨어 특성도, 부분 구동 및 푸쉬업 패턴의 최적화에 영향을 미치므로, 디바이스 특성으로서 뉴럴 네트워크(1400)의 입력층에 도입하도록 해도 된다. 예를 들어, 표시부(219)가 액정 표시 디스플레이인 경우에는, 일반적으로 시야각이 좁고, 액정의 온도 의존성이 있는 것이나, 패널 종별 등에 따라서 응답 특성에 차이가 있다는 점에서, 시야각 특성 모델, 응답 특성 모델, 온도 특성 모델과 같은 각종 디바이스 특성 모델을 고려하여, 부분 구동 및 푸쉬업을 실시할 필요가 있다. 또한, 색별 응답 특성, 온도 특성을 고려하여, 부분 구동 및 푸쉬업을 실시할 필요가 있다. 그래서 표시부(219)에 관한 상기와 같은 디바이스 특성을, 뉴럴 네트워크(1000)의 입력층(1010)에 도입한다.
기기 상태 센서부(440)는, 예를 들어 주 제어부(201) 내의 ROM 혹은 그 밖의 기억 영역으로부터, 표시부(219)의 디바이스 특성을 판독하여, 뉴럴 네트워크(1400)에 입력한다. 물론, 기기 상태 센서부(400) 이외의 수단에 의해 이들 센서 정보가 공급되어도 된다.
뉴럴 네트워크(1400)는, 부분 구동 패턴으로서 예를 들어 광원 유닛별 최적의 발광 상태를 출력한다. 또한, 뉴럴 네트워크(1400)는, 화소별 최적의 푸쉬업양을 출력하는데, 표시 영역 등 소정의 화소군 단위로 최적의 푸쉬업양을 계산하여 출력하도록 해도 된다. 뉴럴 네트워크(1400)가 계산한 부분 구동 패턴은 각 광원 유닛 구동부(530)에 출력된다. 또한, 뉴럴 네트워크(1400)가 계산한 푸쉬업양은, 액정 표시 패널 구동부(540)에 출력된다. 따라서, 텔레비전 수신 장치(100)가 텔레비전 방송 등의 영상 스트림을 수신하여 표시부(219)에 화면 표시할 때, 뉴럴 네트워크(1400)는 화면 표시하는 영상 신호와 표시부(219)의 디바이스 특성에 기초하여 광원 유닛(511) 등의 디바이스의 열화를 억제하면서 화질을 향상시키는 부분 구동 패턴 및 푸쉬업양의 최적해를, 프레임마다 실시간으로 출력할 수 있다.
D-6. 인공 지능 기능의 구성예 (6)
도 15에는 부분 구동 패턴의 추정에 이용되는 뉴럴 네트워크의 제6 구성예(1500)를 도시하고 있다. 뉴럴 네트워크(1500)는, (표시부(219)로서의)액정 표시 패널(500) 내의 백라이트 구동 제어부(520)에 배치되는 것을 상정하고 있지만, 영상 합성부(218) 내에 내장되어 있어도 된다. 도시한 뉴럴 네트워크(1500)는, 입력층과, 중간층과, 출력층으로 이루어진다. 뉴럴 네트워크(1500)의 중간층은 복수의 중간층으로 이루어지고, 뉴럴 네트워크(1500)는 딥 러닝을 행하는 것이 가능한 것이 바람직하다. 또한, 영상 스트림 등의 시계열 정보를 고려하여, 중간층에 있어서 재귀 결합을 포함하는 RNN 구조여도 된다.
뉴럴 네트워크(1500)는, 센서군(400)으로 검출되는 센서 정보와 부분 구동(각 광원 유닛(511)의 발광 상태) 및 푸쉬업양(화소마다 또는 표시 영역마다의 푸쉬업양)의 상관 관계를 사전에 심층 학습하고 있다. 도 14에 도시하는 예에서는, 뉴럴 네트워크(1500)는, 예를 들어 화소별 RGB 신호로 이루어지는 영상 신호와, 센서 정보를 입력하여, 이 영상 신호를 화면 표시할 때에 최적이 되는 부분 구동 패턴 및 푸쉬업양을 계산한다. 여기서 말하는 센서 정보에는, 유저가 텔레비전 프로그램을 시청하는 시청 환경이나, 텔레비전 프로그램을 시청하는 유저 자신의 상태 등을 검출한 정보이다.
텔레비전의 시청 환경은, 예를 들어 텔레비전 수신 장치(100)가 설치된 방의 환경이다. 특히, 실내의 조명이나, 창으로부터 입사하는 자연광의 강도, 화면에 입사하는 각도, 색은, 부분 구동 패턴이나 푸쉬업양의 최적화에 큰 영향을 미친다. 환경 센서부(430)는, 실내 조명이나 자연광에 관한 센서 정보를 취득하여, 뉴럴 네트라크(1500)의 입력층에 공급한다.
또한, 상술한 실내 조명이나 자연광의 표시부(219)의 화면 상에서 반사(반사광의 강도, 반사각, 반사광의 색)도, 부분 구동 그리고 푸쉬업의 최적화에 영향을 미치는 것도 생각할 수 있다. 그래서 환경 센서부(430)는 표시부(219)의 화면 상의 반사를 검출하여, 뉴럴 네트라크(1000)의 입력층에 공급한다.
부분 구동 및 푸쉬업에 관한 수학적으로 산출된 최적해가, 사람이 관찰해서 최적이 되는 것만은 아니다. 그래서 시청자(유저)에 관한 센서 정보도, 뉴럴 네트워크(1500)의 입력으로서 도입한다.
예를 들어, 텔레비전 수신 장치(100)를 동시에 시청하는 인원수, 각 사람의 위치나 자세에 따라서, 부분 구동 및 푸쉬업의 최적해는 다를 것이다. 복수의 유저가 함께 텔레비전 프로그램을 시청하고 있을 때, 특정 한사람에게 있어서 최적의 부분 구동 및 푸쉬업 패턴보다, 모든 사람에게 있어서 보다 양호한 부분 구동 및 푸쉬업 패턴인 것이 바람직한 경우도 있다. 그래서 카메라(411)로 콘텐츠 시청 중인 유저를 촬영한 영상 신호를, 뉴럴 네트워크(1500)의 입력으로서 도입하도록 한다. 혹은, 환경 센서부(430)에 포함되는 거리 센서에 기초하는 각 유저의 거리나 각도 정보를, 뉴럴 네트워크(1500)의 입력으로서 도입하도록 해도 된다.
또한, 동일한 위치에 있는 유저라도, 나안인지 안경을 착용하고 있는지에 따라 부분 구동 및 푸쉬업의 최적해는 다를 것이다. 뉴럴 네트워크(1000)는, 카메라(411)로 콘텐츠 시청 중인 유저를 촬영한 영상 신호로부터, 안경의 착용 유무를 추정할 수 있다. 혹은, 유저 프로파일 센서부(450)가 검출하는 유저 프로파일 정보를, 뉴럴 네트워크(1000)의 입력으로서 도입하도록 해도 된다.
또한, 수학적인 부분 구동 및 푸쉬업의 최적해와, 유저가 취향으로 하는 최적해가 다른 것이 상정된다. 그리고 유저가 취향으로 하는 최적해는, 유저의 성별이나 연령, 기호, 그 밖의 개인 속성에도 의존한다(예를 들어, 화려한 유저는 대담한 푸쉬업을 좋아하지만, 수수하고 온순한 유저는 푸쉬업을 억제해도 됨). 그래서 뉴럴 네트워크(1500)는, 유저 프로파일 센서부(450)로부터 도입한 유저 프로파일에 기초하여 유저별 부분 구동 및 푸쉬업의 최적해를 추정하도록 해도 된다.
또한, 유저의 시력(동체 시력을 포함함)이나 콘트라스 감도, 플리커 감도 등, 유저의 생리적 혹은 인지상의 요인에 의해, 부분 구동 그리고 푸쉬업의 최적해가 다른 것도 생각할 수 있다. 그래서 유저 상태 센서부(420)에서 검출되는 유저의 생체 정보를, 뉴럴 네트라크(1500)의 입력층에 공급한다.
유저가 텔레비전 수신 장치(100)에 대해 행한 조작에 의해, 그 유저가 좋아하는 부분 구동 및 푸쉬업을 추정할 수 있는 경우가 있다. 예를 들어, 텔레비전 수신 장치(100)의 UI 화면을 통해 「콘트라스트 우선」이나 「화질 향상」 등의 설정을 유저가 행한 경우에는, 부분 구동에 의한 잉여 전력을 이용하여, 푸쉬업을 적극적으로 실시하도록 해도 된다. 그래서 기기 상태 센서부(440)는, 텔레비전 수신 장치(100)나 그 밖의 기기에 대해 유저가 행한 UI 설정 등의 조작을 검출하여, 뉴럴 네트라크(1500)의 입력층에 공급한다.
E. 뉴럴 네트워크의 학습
상기 D항에서는, 표시부(219)에 있어서의 부분 구동 패턴이나 푸쉬업양의 추정에 이용되는 뉴럴 네트워크의 구성에 대해 설명하였다. 이 항에서는, 뉴럴 네트워크의 학습 방법에 대해 설명한다. 일반적으로, 뉴럴 네트워크의 학습 방법에는, 지도 학습, 비지도 학습, 강화 학습을 들 수 있는데, 이하에서는, 지도 학습과 비지도 학습에 대해 설명한다.
E-1. 뉴럴 네트워크의 지도 학습
도 16에는, 도 10에 도시한 바와 같은, 목표 표시 화상이 되는 영상 신호에 최적의 부분 구동 패턴을 추정하는 뉴럴 네트워크(1000)의 지도 학습을 행하는 지도 학습 시스템(1600)의 구성예를 모식적으로 도시하고 있다.
학습의 대상이 되는 뉴럴 네트워크(1000)에의 입력 데이터와 뉴럴 네트워크(1000)의 출력에 대한 교사 데이터의 조합으로 이루어지는 방대량의 학습 데이터(1601)를 오프라인에서 사전에 생성해 둔다. 여기서 말하는 입력 데이터는, 뉴럴 네트워크(1000)를 탑재하는 액정 표시 패널(500)이 표시하는 목표 표시 화상의 영상 신호이다. 또한, 교사 데이터는, 그 영상 신호에 대해 최적화된 백라이트(510)의 부분 구동 패턴이다.
뉴럴 네트워크(1000)는, 영상 신호가 입력되면, 그것에 대응하는 최적의 부분 구동 패턴을 추정하여 출력한다. 평가부(1602)는, 뉴럴 네트워크(1000)의 추정 결과가 되는 부분 구동 패턴과, 입력한 영상 신호에 대응하는 교사 데이터로서의 부분 구동 패턴의 오차에 기초하여 정의되는 손실 함수를 계산하여, 뉴럴 네트워크(1000)에 피드백하여, 오차 역전파에 의해 손실 함수가 최소가 되도록 뉴럴 네트워크(1000)의 학습을 행한다.
또한, 도 11에 도시한 바와 같은, 목표 표시 화상이 되는 영상 신호에 최적의 부분 구동 패턴 및 최적의 푸쉬업양을 추정하는 뉴럴 네트워크(1100)의 지도 학습을 행하는 경우에는, 입력 데이터가 되는 영상 신호에 대응하는 부분 구동 패턴 및 푸쉬업양으로 이루어지는 교사 데이터를 오프라인에서 생성해 둔다. 그리고 상기와 마찬가지로, 뉴럴 네트워크(1100)의 추정 결과가 되는 부분 구동 패턴 및 푸쉬업양과, 입력한 영상 신호에 대응하는 교사 데이터로서의 부분 구동 패턴 및 푸쉬업양의 각 오차에 기초하여 정의되는 손실 함수가 최소가 되도록 뉴럴 네트워크(1100)의 학습을 행하도록 하면 된다.
도 17에는, 영상 신호 및 제2 정보에 대해 최적이 되는 부분 구동 패턴을 추정하는 뉴럴 네트워크(1701)의 지도 학습을 행하는 지도 학습 시스템(1700)의 구성을 모식적으로 도시하고 있다.
학습의 대상이 되는 뉴럴 네트워크(1701)에의 입력 데이터와 뉴럴 네트워크(1701)의 출력에 대한 교사 데이터의 조합으로 이루어지는 방대량의 학습 데이터(1702)를 오프라인에서 사전에 생성해 둔다. 여기서 말하는 입력 데이터는, 뉴럴 네트워크(1701)를 탑재하는 액정 표시 패널(500)이 표시하는 목표 표시 화상의 영상 신호와 제2 정보의 조합이다. 또한, 교사 데이터는, 그 영상 신호에 대해 최적화된 백라이트(510)의 부분 구동 패턴이다. 또한, 뉴럴 네트워크(1701)가 부분 구동 패턴과 함께 푸쉬업양을 추정하는 경우에는, 영상 조호 및 제2 정보의 조합에 대해 최적화된 부분 구동 패턴 및 푸쉬업양을 교사 데이터에 사용하면 된다.
제2 정보는, 영상 신호 이외에, 부분 구동 패턴의 최적화에 영향을 미칠 가능성이 있는 정보이다. 구체적으로는, 제2 정보는, 입력하는 영상 신호에 동기하는 음성 신호, 영상 신호를 표시하는 액정 표시 패널(500)의 디바이스 특성(푸쉬업 조건, 시야각 특성 모델, 응답 특성 모델, 온도 특성 모델 등), 센서 정보(시청 환경, 유저 상태, 기기의 조작 정보 등) 중 적어도 하나, 또는 2개 이상의 조합이다.
뉴럴 네트워크(1701)는, 영상 신호와 제2 정보의 조합으로 이루어지는 데이터가 입력되면, 그것에 대응하는 최적의 부분 구동 패턴을 추정하여 출력한다. 평가부(1703)는, 뉴럴 네트워크(1701)의 추정 결과가 되는 부분 구동 패턴과, 입력한 영상 신호에 대응하는 교사 데이터로서의 부분 구동 패턴의 오차에 기초하여 정의되는 손실 함수를 계산하여, 뉴럴 네트워크(1701)에 피드백하여, 오차 역전파에 의해 손실 함수가 최소가 되도록 뉴럴 네트워크(1701)의 학습을 행한다.
또한, 뉴럴 네트워크(1701)가 목표 표시 화상이 되는 영상 신호에 최적의 부분 구동 패턴 및 최적의 푸쉬업양을 추정하는 경우의 지도 학습에서는, 입력 데이터가 되는 영상 신호 및 제2 정보에 대응하는 부분 구동 패턴 및 푸쉬업양으로 이루어지는 교사 데이터를 오프라인에서 생성해 둔다. 그리고 뉴럴 네트워크(1701)의 추정 결과가 되는 부분 구동 패턴 및 푸쉬업양과, 입력한 영상 신호에 대응하는 교사 데이터로서의 부분 구동 패턴 및 푸쉬업양의 각 오차에 기초하여 정의되는 손실 함수가 최소가 되도록 뉴럴 네트워크(1701)의 학습을 행하도록 하면 된다.
E-2. 뉴럴 네트워크의 비지도 학습 (1)
도 18에는, 도 10에 도시한 바와 같은, 목표 표시 화상이 되는 영상 신호에 최적의 부분 구동 패턴을 추정하는 뉴럴 네트워크(1000)의 비지도 학습을 행하는 비지도 학습 시스템(1800)의 구성예를 모식적으로 도시하고 있다. 비지도 학습 시스템(1800)에서는, 뉴럴 네트워크(1000)의 추정값에 기초하는 부분 구동 패턴에 의해 액정 표시 패널(500)로부터 출력되는 화상이, 원래의 입력 화상에 접근하도록 비지도 학습이 행해진다.
뉴럴 네트워크(1000)는, 목표 표시 화상 X를 입력하여, 최적이 되는 부분 구동 패턴의 예측값(1801)을 예측 출력한다. 광학 확산 모델(1802)은, 이 부분 구동 패턴의 예측값(1801)에 기초하여 각 광원 유닛(511)을 구동하였을 때의, 참조 번호 1804로 나타내는 강도 분포(이하, 「화면 강도 분포(1804)」라고 기재한다.)를 계산한다. 이 계산은, 각 광원 유닛(511)으로부터의 광에 의해 액정 표시 패널(500)이 전체면 100％ 개구되었을 때에 그 화면 표면에 형성되는 강도 분포를 나타내는 점상(点像) 분포 함수(Point Spread Function: PSF)(1803)를, 부분 구동 패턴의 예측값(1801)의 대응하는 각 성분으로 가중치 부여함으로써 각 광원 유닛(511)의 기여를 구하고, 모든 광원 유닛에서 구한 기여를 더함으로써 화면 강도 분포(1804)를 계산하는 순방향 연산이다. 점상 분포 함수(1803)는 광원 유닛마다 다르다. 이것은 상술한 바와 같이(예를 들어 일본어 명세서 단락 0081을 참조), 각 광원 유닛(511)의 개개의 발광 특성이 동일하다고 해도, 배치된 장소에 따라 인접하는 표시 영역 유닛(502)에 미치는 영향이 다르기 때문이다. 그리고 RGB 보정 연산부(1805)는, 표시 영역마다, 광전 변환부(1810)에서 광전 변환(OETF)한 후의 화면 강도 분포 L로 목표 표시 화상 X를 제산하여, 목표 표시 화상의 RGB 보정값(1806)을 계산한다.
액정 표시 패널(500)은, 투과율 특성이 선형이 아니고, 일반적으로 저휘도 영역의 투과율이 어느 값으로부터 낮아지지 않게 되는 특성(이른바 광 누설이나 흑색 들뜸)을 갖는다. 액정 투과율 특성 적용부(1807)는, RGB 보정 후의 목표 표시 화상 Y에 대해 액정 표시 패널(500)의 액정 투과율 특성을 적용하여, 액정 표시 패널(500)을 투과 후의 목표 표시 화상 Y'을 계산한다.
아다마르 곱 연산부(1808)는, 목표 표시 화상 Y'과 화면 강도 분포 L의 아다마르 곱(대응하는 화소별 승산)을 행하여, 뉴럴 네트워크(1000)의 추정값에 기초하는 부분 구동을 행한 경우에 예측되는 액정 표시 패널(500)의 표시 화상의 추정값 Y"을 계산한다.
한편, 전광 변환부(1811)는, 뉴럴 네트워크(1000)에의 입력 데이터가 되는 목표 표시 화상 X를 전광 변환(EOTF)하여, 참조 번호 1812로 나타내는, 휘도 공간 상의 목표 표시 화상 X'을 계산한다.
손실 함수 계산부(1813)는, 뉴럴 네트워크(1000)의 추정값에 기초하는 액정 표시 패널(500)의 표시 화상의 추정값 Y"과 목표 표시 화상 X'의 오차에 기초하여 정의되는 손실 함수를 뉴럴 네트워크(1000)에 피드백하여, 손실 함수가 최소가 되도록 오차 역전파에 의해 뉴럴 네트워크(1000)의 학습을 행한다.
E-3. 뉴럴 네트워크의 비지도 학습 (2)
도 19에는, 도 10에 도시한 바와 같은, 목표 표시 화상이 되는 영상 신호에 최적의 부분 구동 패턴을 추정하는 뉴럴 네트워크(1000)의 비지도 학습을 행하는 비지도 학습 시스템(1900)의 구성예를 모식적으로 도시하고 있다. 비지도 학습 시스템(1900)에서는, 뉴럴 네트워크(1000)의 추정값에 기초하는 화면 강도 분포가, 목표 표시 화상의 이상적인 화면 강도 분포에 접근하도록 비지도 학습이 행해진다.
화면 강도 분포 계산부(1901)는, 목표 표시 화상에 대한 이상적인 화면 강도 분포(1902)를 계산한다. 화면 강도 분포 계산부(1901)는, 목표 표시 화상에 포함되는 명부 및 암부에 따른 이상적인 화면 강도 분포를 계산한다. 화면 강도 분포 계산부(1901)는 광원 유닛으로부터의 광이 확산판 등에 의해 확산된 후에 액정 표시 패널을 비출 때의 상태로서 이상적인 화면 강도 분포를 구하기 때문에 광학 확산 모델은 고려하지 않지만, 액정 표시 패널의 디바이스 특성은 고려해도 된다. 화면 강도 분포 계산부(1901)는, 4K의 목표 표시 화상을, 광원 유닛(511)의 수와 동등한 P×Q개의 블록 단위로 분할하고, 그 각 블록 중에 있어서의 목표 표시 화상의 최대 휘도를 선택함으로써, 해상도 P×Q에 다운 샘플링된 휘도 분포를 계산하고, 또한 각 분할 블록 중에서 3×3의 그리드를 설정하고, 그 그리드 상에서 휘도 분포를 보간 처리함으로써, 광원 유닛의 해상도(P×Q)보다 높고, 목표 표시 화상의 해상도(4K)보다 낮은 해상도를 갖는 화면 강도 분포(1902)를 계산한다.
뉴럴 네트워크(1000)는, 화면 강도 분포(1902)를 입력하여, 최적이 되는 부분 구동 패턴의 예측값(1903)을 예측 출력한다. 광학 확산 모델(1904)은, 이 부분 구동 패턴의 예측값(1903)에 기초하여 각 광원 유닛(511)을 구동하였을 때의, 참조 번호 1905로 나타내는 강도 분포(이하, 「화면 강도 분포(1905)」라고 기재한다.)를 계산한다. 이 계산은, 각 광원 유닛(511)으로부터의 광에 의해 액정 표시 패널(500)이 전체면 100％ 개구되었을 때에 그 화면 표면에 형성되는 강도 분포를 나타내는 점상 분포 함수(PSF)(1905)를, 부분 구동 패턴의 예측값(1903)의 대응하는 각 성분으로 가중치 부여함으로써 각 광원 유닛(511)의 기여를 구하고, 모든 광원 유닛에서 구한 기여를 더함으로써 화면 강도 분포(1906)를 계산하는 순방향 연산이다. 점상 분포 함수(1905)는 광원 유닛마다 다르다. 이것은 상술한 바와 같이(예를 들어 일본어 명세서 단락 0081을 참조), 각 광원 유닛(511)의 개개의 발광 특성이 동일하다고 해도, 배치된 장소에 따라 인접하는 표시 영역 유닛(502)에 미치는 영향이 다르기 때문이다.
손실 함수 계산부(1907)는, 뉴럴 네트워크의 추정값(1000)에 기초하여 상기한 바와 같이 화면 강도 분포(1906)와 목표 표시 화상의 이상적인 화면 강도 분포(1902)의 오차에 기초하여 정의되는 손실 함수를 뉴럴 네트워크(1000)에 피드백하여, 손실 함수가 최소가 되도록 오차 역전파에 의해 뉴럴 네트워크(1000)의 학습을 행한다.
이상, 특정 실시 형태를 참조하면서 본 개시에 대해 상세하게 설명해 왔다. 그러나 본 개시의 요지를 일탈하지 않는 범위에서 당업자가 해당 실시 형태의 수정이나 대용을 이룰 수 있는 것은 자명하다.
본 명세서에서는, 본 개시를 텔레비전 수신기에 적용한 실시 형태를 중심으로 설명해 왔지만, 본 개시의 요지는 이것에 한정되는 것은 아니다. 영상 콘텐츠를 유저에게 제시하는 다양한 타입의 표시 장치에도 마찬가지로 본 개시를 적용할 수 있다. 예를 들어, 영상 스트림을 시청하는 스마트폰이나 태블릿 등의 다기능 정보 단말기나 퍼스널 컴퓨터, 블루레이 디스크 등의 기록 매체로부터 재생한 영상 콘텐츠를 표시하는 미디어 플레이어 등에도 마찬가지로 본 개시를 적용할 수 있다.
또한, 표시 장치에 있어서 고다이내믹 레인지의 영상을 표시할 때에 본 개시를 적용함으로써, 실시간으로 최적의 부분 구동을 실시하여 화질을 향상시키면서 디바이스의 열화를 억제할 수 있다.
요컨대, 예시라고 하는 형태에 의해 본 개시에 대해 설명해 왔지만, 본 명세서의 기재 내용을 한정적으로 해석해서는 안된다. 본 개시의 요지를 판단하기 위해서는, 청구범위를 참작해야 한다.
또한, 본 개시는 이하와 같은 구성을 채용하는 것도 가능하다.
(1) 목표 표시 화상에 대해, 화상 표시부의 표시 영역을 복수로 분할한 영역에 대응하는 광원 유닛의 발광 상태를 나타내는 부분 구동 패턴을 추정하는 학습 완료된 뉴럴 네트워크 모델과,
상기 학습 완료된 뉴럴 네트워크 모델에 의해 추정된 부분 구동 패턴에 기초하여 상기 광원 유닛의 발광 상태를 제어하는 제어부
를 구비하는, 화상 처리 장치.
(2) 상기 뉴럴 네트워크 모델은, 상기 뉴럴 네트워크 모델에 입력되는 상기 목표 표시 화상과, 상기 뉴럴 네트워크 모델이 추정한 부분 구동 패턴으로부터 광학 전파 계산에 기초하여 산출한 화면 강도 분포의 오차에 기초하여 학습된 것인,
상기 (1)에 기재된 화상 처리 장치.
(3) 상기 화상 표시부는 액정 화상 표시부이며, 상기 학습에 있어서, 상기 화면 강도 분포는 상기 액정 화상 표시부의 액정 투과율에 기초하여 보정되는,
상기 (2)에 기재된 화상 처리 장치.
(4) 상기 학습 완료된 뉴럴 네트워크 모델은, 상기 표시 영역 중 암부가 되는 제1 유닛에서 억제한 전력을 명부가 되는 제2 유닛으로 배분하는 푸쉬업 처리를 추가로 고려하여 부분 구동 패턴을 추정하도록 학습되어 있는,
상기 (1)에 기재된 화상 처리 장치.
(5) 상기 학습 완료된 뉴럴 네트워크 모델은, 상기 화상 표시부에 표시하는 상기 목표 표시 화상과 제2 정보에 대한 부분 구동 패턴을 추정하도록 학습되어 있는,
상기 (1) 또는 (2) 중 어느 것에 기재된 화상 처리 장치.
(6) 상기 제2 정보는, 상기 목표 표시 화상에 동기하는 음성 신호를 포함하는,
상기 (5)에 기재된 화상 처리 장치.
(7) 상기 제2 정보는, 상기 목표 표시 화상의 영상 신호의 복호 시의 정보 또는 상기 영상 신호에 동기하는 음성 신호의 복호 시의 정보 중 적어도 하나를 포함하는,
상기 (5) 또는 (6) 중 어느 것에 기재된 화상 처리 장치.
(8) 상기 제2 정보는, 상기 화상 표시부에서 출력하는 콘텐츠에 관한 정보를 포함하는,
상기 (5) 내지 (7) 중 어느 것에 기재된 화상 처리 장치.
(9) 상기 제2 정보는, 상기 화상 표시부의 특성에 관한 정보를 포함하는,
상기 (5) 내지 (8) 중 어느 것에 기재된 화상 처리 장치.
(10) 상기 화상 표시부의 특성에 관한 정보는, 푸쉬업 조건, 시야각 특성, 응답 특성, 또는 온도 특성 중 적어도 하나를 포함하는,
상기 (9)에 기재된 화상 처리 장치.
(11) 상기 제2 정보는, 상기 화상 표시부의 시청 환경에 관한 정보를 포함하는,
상기 (5) 내지 (10) 중 어느 것에 기재된 화상 처리 장치.
(12) 상기 제2 정보는, 상기 화상 표시부를 시청하는 유저에 관한 정보를 포함하는,
상기 (5) 내지 (11) 중 어느 것에 기재된 화상 처리 장치.
(13) 상기 제2 정보는, 상기 화상 표시부에 대한 조작에 관한 정보를 포함하는,
상기 (5) 내지 (12) 중 어느 것에 기재된 화상 처리 장치.
(14) 목표 표시 화상에 대해, 화상 표시부의 표시 영역을 복수로 분할한 영역에 대응하는 광원 유닛의 발광 상태를 나타내는 부분 구동 패턴을 추정하는 학습 완료된 뉴럴 네트워크 모델을 사용하여, 상기 화상 표시부에 표시하는 상기 목표 표시 화상에 대한 부분 구동 패턴을 추정하는 스텝과,
추정된 상기 부분 구동 패턴에 기초하여 상기 광원 유닛의 발광 상태를 제어하는 스텝
을 갖는, 화상 처리 방법.
(15) 표시 영역을 복수의 유닛으로 분할한 영역에 대응하는 광원 유닛의 발광 상태를 제어 가능한 화상 표시부와,
상기 화상 표시부가 표시하는 목표 표시 화상에 대한 상기 광원 유닛의 발광 상태를 나타내는 부분 구동 패턴을 추정하는 학습 완료된 뉴럴 네트워크 모델과,
상기 학습 완료된 뉴럴 네트워크 모델에 의해 추정된 부분 구동 패턴에 기초하여 상기 광원 유닛의 발광 상태를 제어하는 제어부
를 구비하는, 인공 지능 기능 탑재 표시 장치.
(16) 목표 표시 화상에 대해, 화상 표시부의 표시 영역을 복수로 분할한 영역에 대응하는 광원 유닛의 발광 상태를 나타내는 부분 구동 패턴을 추정하는 학습 완료된 뉴럴 네트워크 모델을 생성하는 방법이며,
뉴럴 네트워크 모델에 상기 목표 표시 화상을 입력하는 입력 스텝과,
상기 뉴럴 네트워크 모델이 상기 목표 표시 화상으로부터 추정한 부분 구동 패턴을 평가하는 평가 스텝과,
상기 평가 결과에 기초하여 상기 뉴럴 네트워크 모델의 학습을 행하는 학습 스텝
을 갖는, 학습 완료된 뉴럴 네트워크 모델의 생성 방법.
(17) 상기 평가 스텝에서는, 상기 뉴럴 네트워크 모델이 상기 목표 표시 화상으로부터 추정한 부분 구동 패턴과, 상기 목표 표시 화상에 대응하는 교사 데이터가 되는 부분 구동 패턴의 오차에 기초하여 정의되는 손실 함수를 계산하고,
상기 학습 스텝에서는, 상기 손실 함수를 사용하여 상기 뉴럴 네트워크 모델의 학습을 행하는,
상기 (16)에 기재된 학습 완료된 뉴럴 네트워크 모델의 생성 방법.
(18) 상기 평가 스텝에서는, 상기 화상 표시부의 각 광원 유닛이 형성하는 강도 분포를 나타내는 점상 분포 함수를 상기 뉴럴 네트워크 모델이 광원 목표 표시 화상으로부터 추정한 부분 구동 패턴의 예측값으로 가중치 부여함으로써 각 광원 유닛의 기여를 구하고, 모든 광원 유닛에서 구한 기여를 더함으로써 상기 화상 표시부의 각 광원 유닛을 구동하였을 때의 화면 강도 분포를 계산하고, 상기 목표 표시 화상을 상기 화면 강도 분포로 제산하여 보정 화상을 계산하고, 상기 보정 화상에 상기 화상 표시부의 투과 특성을 적용한 보정 화상에 상기 화면 강도 분포를 적용하여, 상기 화상 표시부에 있어서의 표시 화상의 추정 결과를 계산하고, 이 표시 화상의 추정 결과와 상기 뉴럴 네트워크에 입력되는 상기 목표 표시 화상의 오차에 기초하여 정의되는 손실 함수를 계산하고,
상기 학습 스텝에서는, 상기 손실 함수를 사용하여 상기 뉴럴 네트워크 모델의 학습을 행하는,
상기 (16)에 기재된 학습 완료된 뉴럴 네트워크 모델의 생성 방법.
(19) 상기 평가 스텝에서는, 상기 목표 표시 화상으로부터 제1 화면 강도 분포를 산출하고, 상기 화상 표시부의 각 광원 유닛이 형성하는 강도 분포를 나타내는 점상 분포 함수를 상기 뉴럴 네트워크 모델이 상기 제1 화면 강도 분포 목표로부터 추정한 부분 구동 패턴의 예측값으로 가중치 부여함으로써 각 광원 유닛의 기여를 구하고, 모든 광원 유닛에서 구한 기여를 더함으로써 상기 화상 표시부의 각 광원 유닛을 구동하였을 때의 제2 화면 강도 분포를 계산하고, 상기 제1 화면 강도 분포와 상기 제2 화면 강도 분포의 오차에 기초하여 정의되는 손실 함수를 계산하고,
상기 학습 스텝에서는, 상기 손실 함수를 사용하여 상기 뉴럴 네트워크 모델의 학습을 행하는,
상기 (16)에 기재된 학습 완료된 뉴럴 네트워크 모델의 생성 방법.
(21) 인공 지능 기능을 이용하여 표시 장치의 동작을 제어하는 정보 처리 장치이며,
센서 정보를 취득하는 취득부와,
상기 센서 정보에 기초하여, 상기 표시 장치의 표시 영역을 복수로 분할한 유닛별 발광 상태를 인공 지능 기능에 의해 추정하는 추정부
를 구비하는, 정보 처리 장치.
(22) 상기 추정부는, 상기 표시 영역 중 암부가 되는 제1 유닛에서 억제한 전력을 명부가 되는 제2 유닛으로 배분하는 푸쉬업 처리를 또한 고려한 부분 구동 패턴을, 인공 지능 기능에 의해 더 추정하는,
상기 (21)에 기재된 정보 처리 장치.
(23) 상기 센서 정보는, 상기 표시 장치에 입력되는 영상 신호 및 음성 신호를 포함하는,
상기 (21) 또는 (22) 중 어느 것에 기재된 정보 처리 장치.
(24) 상기 센서 정보는, 상기 영상 신호 또는 상기 음성 신호 중 적어도 한쪽의 복호 시의 정보를 더 포함하는,
상기 (23)에 기재된 정보 처리 장치.
(25) 상기 센서 정보는, 상기 표시 장치에서 출력하는 콘텐츠에 관한 정보를 더 포함하는,
상기 (23)에 기재된 정보 처리 장치.
(26) 상기 센서 정보는, 푸쉬업의 조건에 관한 정보를 더 포함하는,
상기 (2)에 기재된 정보 처리 장치.
(27) 상기 센서 정보는, 상기 표시 장치가 갖는 디바이스 특성을 더 포함하는,
상기 (21) 내지 (26) 중 어느 것에 기재된 정보 처리 장치.
(27-1) 상기 표시 장치가 액정 표시 디스플레이인 경우에, 상기 디바이스 특성은, 시야각, 응답 특성, 또는 온도 특성 중 적어도 하나를 포함하는,
상기 (27)에 기재된 정보 처리 장치.
(27-2) 상기 표시 장치가 LED 디스플레이인 경우에, 상기 디바이스 특성은, 색별 응답 특성 또는 온도 특성 중 적어도 하나를 포함하는,
상기 (27)에 기재된 정보 처리 장치.
(28) 상기 센서 정보는, 상기 표시 장치가 설치된 환경에 관한 정보를 포함하는,
상기 (21) 내지 (27) 중 어느 것에 기재된 정보 처리 장치.
(29) 상기 환경에 관한 정보는, 상기 표시 장치가 설치된 실내의 조명 또는 실내로 들어오는 자연광에 관한 정보를 포함하는,
상기 (28)에 기재된 정보 처리 장치.
(30) 상기 센서 정보는, 상기 표시 장치의 시청자에 관한 정보를 포함하는,
상기 (21) 내지 (29) 중 어느 것에 기재된 정보 처리 장치.
(31) 상기 센서 정보는, 상기 표시 조작에 대해 행해진 설정에 관한 정보를 포함하는,
상기 (21) 내지 (30) 중 어느 것에 기재된 정보 처리 장치.
(32) 상기 추정부에 의한 추정 결과에 기초하여 각 유닛의 발광 상태를 제어하는 제어부를 더 구비하는,
상기 (21) 내지 (31) 중 어느 것에 기재된 정보 처리 장치.
(33) 인공 지능 기능을 이용하여 표시 장치의 동작을 제어하는 정보 처리 방법이며,
센서 정보를 취득하는 취득 스텝과,
상기 센서 정보에 기초하여, 상기 표시 장치의 표시 영역을 복수로 분할한 유닛별 발광 상태를 인공 지능 기능에 의해 추정하는 추정 스텝
을 갖는, 정보 처리 방법.
(34) 표시 영역을 복수의 유닛으로 분할한 표시 영역을 갖는 표시부와,
센서 정보를 취득하는 취득부와,
상기 센서 정보에 기초하여 유닛별 발광 상태를 인공 지능 기능에 의해 추정하는 추정부와,
상기 추정 결과에 기초하여 각 유닛의 발광 상태를 제어하는 제어부
를 구비하는, 인공 지능 기능 탑재 표시 장치.
100: 텔레비전 수신 장치
201: 주 제어부
202: 버스
203: 스토리지부
204: 통신 인터페이스(IF)부
205: 확장 인터페이스(IF)부
206: 튜너/복조부
207: 디멀티플렉서
208: 영상 디코더
209: 음성 디코더
210: 문자 화면 표시 디코더
211: 자막 디코더
212: 자막 합성부
213: 데이터 디코더
214: 캐시부
215: 애플리케이션(AP) 제어부
216: 브라우저부
217: 음원부
218: 영상 합성부
219: 표시부
220: 음성 합성부
221: 음성 출력부
222: 조작 입력부
300: 디스플레이
301: 스피커 유닛
301-1, 301-2: 가진기
302: 스탠드
400: 센서군
410: 카메라부
411 내지 413: 카메라
420: 유저 상태 센서부
430: 환경 센서부
440: 기기 상태 센서부
450: 유저 프로파일 센서부
500: 표시 패널
501: 표시 영역
502: 표시 영역 유닛
510: 백라이트
511: 광원 유닛
520: 백라이트 구동 제어부
530: 광원 유닛 구동부
540: 액정 표시 패널 구동부
1000: 뉴럴 네트워크(제1 구성예)
1100: 뉴럴 네트워크(제2 구성예)
1200: 뉴럴 네트워크(제3 구성예)
1300: 뉴럴 네트워크(제4 구성예)
1400: 뉴럴 네트워크(제5 구성예)
1500: 뉴럴 네트워크(제6 구성예)

Claims (19)

  1. 목표 표시 화상에 대해, 화상 표시부의 표시 영역을 복수로 분할한 영역에 대응하는 광원 유닛의 발광 상태를 나타내는 부분 구동 패턴을 추정하는 학습 완료된 뉴럴 네트워크 모델과,
    상기 학습 완료된 뉴럴 네트워크 모델에 의해 추정된 부분 구동 패턴에 기초하여 상기 광원 유닛의 발광 상태를 제어하는 제어부
    를 구비하는, 화상 처리 장치.
  2. 제1항에 있어서,
    상기 뉴럴 네트워크 모델은, 상기 뉴럴 네트워크 모델에 입력되는 상기 목표 표시 화상과, 상기 뉴럴 네트워크 모델이 추정한 부분 구동 패턴으로부터 광학 전파 계산에 기초하여 산출한 화면 강도 분포의 오차에 기초하여 학습된 것인,
    화상 처리 장치.
  3. 제2항에 있어서,
    상기 화상 표시부는 액정 화상 표시부이며, 상기 학습에 있어서, 상기 화면 강도 분포는 상기 액정 화상 표시부의 액정 투과율에 기초하여 보정되는,
    화상 처리 장치.
  4. 제1항에 있어서,
    상기 학습 완료된 뉴럴 네트워크 모델은, 상기 표시 영역 중 암부가 되는 제1 유닛에서 억제한 전력을 명부가 되는 제2 유닛으로 배분하는 푸쉬업 처리를 추가로 고려하여 부분 구동 패턴을 추정하도록 더 학습되어 있는,
    화상 처리 장치.
  5. 제1항에 있어서,
    상기 학습 완료된 뉴럴 네트워크 모델은, 상기 화상 표시부에 표시하는 상기 목표 표시 화상과 제2 정보에 대한 부분 구동 패턴을 추정하도록 학습되어 있는,
    화상 처리 장치.
  6. 제5항에 있어서,
    상기 제2 정보는, 상기 목표 표시 화상에 동기하는 음성 신호를 포함하는,
    화상 처리 장치.
  7. 제5항에 있어서,
    상기 제2 정보는, 상기 목표 표시 화상의 영상 신호의 복호 시의 정보 또는 상기 영상 신호에 동기하는 음성 신호의 복호 시의 정보 중 적어도 하나를 포함하는,
    화상 처리 장치.
  8. 제5항에 있어서,
    상기 제2 정보는, 상기 화상 표시부에서 출력하는 콘텐츠에 관한 정보를 포함하는,
    화상 처리 장치.
  9. 제5항에 있어서,
    상기 제2 정보는, 상기 화상 표시부의 특성에 관한 정보를 포함하는,
    화상 처리 장치.
  10. 제9항에 있어서,
    상기 화상 표시부의 특성에 관한 정보는, 푸쉬업 조건, 시야각 특성, 응답 특성, 또는 온도 특성 중 적어도 하나를 포함하는,
    화상 처리 장치.
  11. 제5항에 있어서,
    상기 제2 정보는, 상기 화상 표시부의 시청 환경에 관한 정보를 포함하는,
    화상 처리 장치.
  12. 제5항에 있어서,
    상기 제2 정보는, 상기 화상 표시부를 시청하는 유저에 관한 정보를 포함하는,
    화상 처리 장치.
  13. 제5항에 있어서,
    상기 제2 정보는, 상기 화상 표시부에 대한 조작에 관한 정보를 포함하는,
    화상 처리 장치.
  14. 목표 표시 화상에 대해, 화상 표시부의 표시 영역을 복수로 분할한 영역에 대응하는 광원 유닛의 발광 상태를 나타내는 부분 구동 패턴을 추정하는 학습 완료된 뉴럴 네트워크 모델을 사용하여, 상기 화상 표시부에 표시하는 상기 목표 표시 화상에 대한 부분 구동 패턴을 추정하는 스텝과,
    추정된 상기 부분 구동 패턴에 기초하여 상기 광원 유닛의 발광 상태를 제어하는 스텝
    을 갖는, 화상 처리 방법.
  15. 표시 영역을 복수의 유닛으로 분할한 영역에 대응하는 광원 유닛의 발광 상태를 제어 가능한 화상 표시부와,
    상기 화상 표시부가 표시하는 목표 표시 화상에 대한 상기 광원 유닛의 발광 상태를 나타내는 부분 구동 패턴을 추정하는 학습 완료된 뉴럴 네트워크 모델과,
    상기 학습 완료된 뉴럴 네트워크 모델에 의해 추정된 부분 구동 패턴에 기초하여 상기 광원 유닛의 발광 상태를 제어하는 제어부
    를 구비하는, 인공 지능 기능 탑재 표시 장치.
  16. 목표 표시 화상에 대해, 화상 표시부의 표시 영역을 복수로 분할한 영역에 대응하는 광원 유닛의 발광 상태를 나타내는 부분 구동 패턴을 추정하는 학습 완료된 뉴럴 네트워크 모델을 생성하는 방법이며,
    뉴럴 네트워크 모델에 상기 목표 표시 화상을 입력하는 입력 스텝과,
    상기 뉴럴 네트워크 모델이 상기 목표 표시 화상으로부터 추정한 부분 구동 패턴을 평가하는 평가 스텝과,
    상기 평가 결과에 기초하여 상기 뉴럴 네트워크 모델의 학습을 행하는 학습 스텝
    을 갖는, 학습 완료된 뉴럴 네트워크 모델의 생성 방법.
  17. 제16항에 있어서,
    상기 평가 스텝에서는, 상기 뉴럴 네트워크 모델이 상기 목표 표시 화상으로부터 추정한 부분 구동 패턴과, 상기 목표 표시 화상에 대응하는 교사 데이터가 되는 부분 구동 패턴의 오차에 기초하여 정의되는 손실 함수를 계산하고,
    상기 학습 스텝에서는, 상기 손실 함수를 사용하여 상기 뉴럴 네트워크 모델의 학습을 행하는,
    학습 완료된 뉴럴 네트워크 모델의 생성 방법.
  18. 제16항에 있어서,
    상기 평가 스텝에서는, 상기 화상 표시부의 각 광원 유닛이 형성하는 강도 분포를 나타내는 점상 분포 함수를 상기 뉴럴 네트워크 모델이 상기 목표 표시 화상으로부터 추정한 부분 구동 패턴의 예측값으로 가중치 부여함으로써 각 광원 유닛의 기여를 구하고, 모든 광원 유닛에서 구한 기여를 더함으로써 상기 화상 표시부의 각 광원 유닛을 구동하였을 때의 화면 강도 분포를 계산하고, 상기 목표 표시 화상을 상기 화면 강도 분포로 제산하여 보정 화상을 계산하고, 상기 보정 화상에 상기 화상 표시부의 투과 특성을 적용한 보정 화상에 상기 화면 강도 분포를 적용하여, 상기 화상 표시부에 있어서의 표시 화상의 추정 결과를 계산하고, 이 표시 화상의 추정 결과와 상기 뉴럴 네트워크에 입력되는 상기 목표 표시 화상의 오차에 기초하여 정의되는 손실 함수를 계산하고,
    상기 학습 스텝에서는, 상기 손실 함수를 사용하여 상기 뉴럴 네트워크 모델의 학습을 행하는,
    학습 완료된 뉴럴 네트워크 모델의 생성 방법.
  19. 제16항에 있어서,
    상기 평가 스텝에서는, 상기 목표 표시 화상으로부터 제1 화면 강도 분포를 산출하고, 상기 화상 표시부의 각 광원 유닛이 형성하는 강도 분포를 나타내는 점상 분포 함수를 상기 뉴럴 네트워크 모델이 상기 제1 화면 강도 분포 목표로부터 추정한 부분 구동 패턴의 예측값으로 가중치 부여함으로써 각 광원 유닛의 기여를 구하고, 모든 광원 유닛에서 구한 기여를 더함으로써 상기 화상 표시부의 각 광원 유닛을 구동하였을 때의 제2 화면 강도 분포를 계산하고, 상기 제1 화면 강도 분포와 상기 제2 화면 강도 분포의 오차에 기초하여 정의되는 손실 함수를 계산하고,
    상기 학습 스텝에서는, 상기 손실 함수를 사용하여 상기 뉴럴 네트워크 모델의 학습을 행하는,
    학습 완료된 뉴럴 네트워크 모델의 생성 방법.
KR1020217038952A 2019-06-13 2020-06-11 화상 처리 장치 및 화상 처리 방법, 인공 지능 기능 탑재 표시 장치, 그리고 학습 완료된 뉴럴 네트워크 모델의 생성 방법 KR20220019682A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019110354 2019-06-13
JPJP-P-2019-110354 2019-06-13
PCT/JP2020/023016 WO2020250973A1 (ja) 2019-06-13 2020-06-11 画像処理装置及び画像処理方法、人工知能機能搭載表示装置、並びに学習済みニューラルネットワークモデルの生成方法

Publications (1)

Publication Number Publication Date
KR20220019682A true KR20220019682A (ko) 2022-02-17

Family

ID=73781451

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217038952A KR20220019682A (ko) 2019-06-13 2020-06-11 화상 처리 장치 및 화상 처리 방법, 인공 지능 기능 탑재 표시 장치, 그리고 학습 완료된 뉴럴 네트워크 모델의 생성 방법

Country Status (6)

Country Link
US (2) US11869449B2 (ko)
EP (1) EP3985649A4 (ko)
JP (1) JPWO2020250973A1 (ko)
KR (1) KR20220019682A (ko)
CN (2) CN118212887A (ko)
WO (1) WO2020250973A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220027382A (ko) * 2020-08-26 2022-03-08 삼성디스플레이 주식회사 표시 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS4915143B1 (ko) 1969-05-14 1974-04-12
JP2007143010A (ja) 2005-11-22 2007-06-07 Sony Corp テレビジョン装置
JP2015092529A (ja) 2013-10-01 2015-05-14 ソニー株式会社 発光装置、発光ユニット、表示装置、電子機器、および発光素子

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9109685D0 (en) 1991-05-03 1991-06-26 Marconi Gec Ltd Neural networks
JP3642591B2 (ja) 1994-11-29 2005-04-27 株式会社日立メディコ 画像処理装置
JP2907057B2 (ja) * 1995-04-20 1999-06-21 日本電気株式会社 輝度自動調整装置
JP3766231B2 (ja) 1999-05-10 2006-04-12 Ｎｅｃビューテクノロジー株式会社 液晶表示装置
JP4915143B2 (ja) * 2006-06-02 2012-04-11 ソニー株式会社 表示装置及びその駆動方法
US9167641B2 (en) * 2008-11-28 2015-10-20 Lightech Electronic Industries Ltd. Phase controlled dimming LED driver system and method thereof
US8378961B2 (en) * 2010-01-15 2013-02-19 Atmel Corporation Control of light-emitting-diode backlight illumination through frame insertion
US8913121B2 (en) * 2010-07-11 2014-12-16 Spynsite, LLC System for image rendering or spectral recognition
JP6439418B2 (ja) 2014-03-05 2018-12-19 ソニー株式会社 画像処理装置及び画像処理方法、並びに画像表示装置
JP6287999B2 (ja) 2015-08-07 2018-03-07 トヨタ自動車株式会社 ニューラルネットワーク学習装置
WO2018002774A1 (en) 2016-06-29 2018-01-04 Semiconductor Energy Laboratory Co., Ltd. Electronic device, operation method of the electronic device, and moving vehicle
US10733946B2 (en) 2016-08-26 2020-08-04 Semiconductor Energy Laboratory Co., Ltd. Display device and electronic device
JP2018194719A (ja) 2017-05-19 2018-12-06 株式会社半導体エネルギー研究所 表示システム及び電子機器
JP7055799B2 (ja) 2017-05-22 2022-04-18 株式会社半導体エネルギー研究所 表示システム
CN107835324B (zh) * 2017-12-13 2021-05-25 维沃移动通信有限公司 一种背光亮度调节方法及移动终端
JP2019211581A (ja) 2018-06-01 2019-12-12 シャープ株式会社 表示装置および表示装置の制御方法
KR102608147B1 (ko) 2018-12-05 2023-12-01 삼성전자주식회사 디스플레이 장치 및 그 구동 방법
US11025989B2 (en) * 2019-02-13 2021-06-01 Live Inc. Live event video stream service

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS4915143B1 (ko) 1969-05-14 1974-04-12
JP2007143010A (ja) 2005-11-22 2007-06-07 Sony Corp テレビジョン装置
JP2015092529A (ja) 2013-10-01 2015-05-14 ソニー株式会社 発光装置、発光ユニット、表示装置、電子機器、および発光素子

Also Published As

Publication number Publication date
CN113924612B (zh) 2024-04-05
EP3985649A1 (en) 2022-04-20
CN113924612A (zh) 2022-01-11
WO2020250973A1 (ja) 2020-12-17
CN118212887A (zh) 2024-06-18
US20240144889A1 (en) 2024-05-02
US11869449B2 (en) 2024-01-09
JPWO2020250973A1 (ko) 2020-12-17
EP3985649A4 (en) 2022-08-17
US20220319443A1 (en) 2022-10-06

Similar Documents

Publication Publication Date Title
US8988552B2 (en) Image formats and related methods and apparatuses
CN101783871B (zh) 图像补偿设备
US7817171B2 (en) Display apparatus driving method, display apparatus driving device, program therefor, recording medium storing program, and display apparatus
CN110853564B (zh) 图像处理装置、图像处理方法及显示装置
US20210358181A1 (en) Display device and display control method
KR20110041736A (ko) 디스플레이장치 및 영상처리방법
US8243004B2 (en) Apparatus and method for preparing, storing, transmitting and displaying images
US20240144889A1 (en) Image processing device, image processing method, display device having artificial intelligence function, and method of generating trained neural network model
CN108712674A (zh) 视频播放控制方法、播放设备及存储介质
US9071719B2 (en) Image processing apparatus with a look-up table and a mapping unit, image processing method using a look-up table and a mapping unit, and storage medium in which program using a look-up table and a mapping unit is stored
US8456578B2 (en) Image processing apparatus and control method thereof for correcting image signal gradation using a gradation correction curve
KR20200114898A (ko) 영상표시장치
CN103609135A (zh) 图像输出装置、图像输出方法、及程序
JP5725271B2 (ja) 色補正システム
KR20210105636A (ko) 전자장치 및 그 제어방법
JP2013033088A (ja) 発光装置、表示装置、制御装置、制御方法、および制御プログラム
US11234042B2 (en) Display device, control method therefor and recording medium
US20220224980A1 (en) Artificial intelligence information processing device and artificial intelligence information processing method
US20220353578A1 (en) Artificial intelligence information processing apparatus, artificial intelligence information processing method, and artificial-intelligence-function-equipped display apparatus
US20230007232A1 (en) Information processing device and information processing method
JPWO2018003665A1 (ja) 画像処理装置、画像処理方法、制御プログラム、および記録媒体
JP2008015207A (ja) 表示装置及び画面輝度制御方法
US20230335068A1 (en) Method for controlling a display device
CN113347486B (zh) 一种与偏光眼镜组合使用的数字电视及使用方法
TWI582813B (zh) 計算機系統及其鍵盤背光設定方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal