KR20120051095A - 표시 장치의 표시 패널에 의한 표시용의 화상 데이터를 처리하기 위한 방법, 장치, 및 프로그램과, 표시 장치 - Google Patents

표시 장치의 표시 패널에 의한 표시용의 화상 데이터를 처리하기 위한 방법, 장치, 및 프로그램과, 표시 장치 Download PDF

Info

Publication number
KR20120051095A
KR20120051095A KR1020127009286A KR20127009286A KR20120051095A KR 20120051095 A KR20120051095 A KR 20120051095A KR 1020127009286 A KR1020127009286 A KR 1020127009286A KR 20127009286 A KR20127009286 A KR 20127009286A KR 20120051095 A KR20120051095 A KR 20120051095A
Authority
KR
South Korea
Prior art keywords
main image
pixel data
compression
picture
sub
Prior art date
Application number
KR1020127009286A
Other languages
English (en)
Other versions
KR101369639B1 (ko
Inventor
벤자민 존 브로튼
앤드류 케이
마크 폴 세르베
폴 안토니 개스
마사히로 에사시
겐지 마에다
다쯔오 와따나베
유우이찌 사또
요시미쯔 이나모리
다까시 야스모또
Original Assignee
샤프 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 샤프 가부시키가이샤 filed Critical 샤프 가부시키가이샤
Publication of KR20120051095A publication Critical patent/KR20120051095A/ko
Application granted granted Critical
Publication of KR101369639B1 publication Critical patent/KR101369639B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/70—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
    • G06F21/82—Protecting input, output or interconnection devices
    • G06F21/84—Protecting input, output or interconnection devices output devices, e.g. displays or monitors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09F—DISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
    • G09F19/00—Advertising or display means not otherwise provided for
    • G09F19/12—Advertising or display means not otherwise provided for using special optical effects
    • G09F19/14—Advertising or display means not otherwise provided for using special optical effects displaying different signs depending upon the view-point of the observer
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • G09G3/3611—Control of matrices with row and column drivers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/57—Control of contrast or brightness
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2358/00—Arrangements for display data security
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41415—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance involving a public display, viewable by several users in a public space outside their home, e.g. movie theatre, information kiosk

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Marketing (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Liquid Crystal Display Device Control (AREA)

Abstract

표시 장치의 표시 패널에 의한 표시용의 데이터를 처리하는 방법이 제공된다. 이 방법은, 주화상을 나타내는 주화상 화소 데이터와 부화상을 나타내는 부화상 화소 데이터를 수신하는 단계와, 표시 패널을 구동하는 데 사용되는 신호로의 화소 데이터의 맵핑을 수행하는 단계를 포함한다. 이 맵핑은, 주로 주화상 화소 데이터에 의존하는 평균 축상 휘도와, 적어도 소정 범위까지 부화상 화소 데이터에 의존하는 평균 축외 휘도를 생성하도록 준비된다. 주화상 화소 데이터의 압축은 맵핑에 앞서 수행되거나 적어도 부분적으로 맵핑에 병합되어 수행되며, 압축은, 적어도 부분적으로 주화상 화소 데이터에 의존하며, 또한 적어도 부분적으로 상기 맵핑에 입력되는 화소 데이터에 따라 축외 휘도가 어떻게 변하는지에 의존하여 수행된다.

Description

표시 장치의 표시 패널에 의한 표시용의 화상 데이터를 처리하기 위한 방법, 장치, 및 프로그램과, 표시 장치{METHOD, APPARATUS AND PROGRAM FOR PROCESSING IMAGE DATA FOR DISPLAY BY A DISPLAY PANEL OF A DISPLAY DEVICE, AND A DISPLAY DEVICE}
본 발명은, 개인용 표시 모드로 동작 가능한 액티브 매트릭스형 표시 장치 등의, 표시 장치의 표시 패널에 의한 표시용의 화상 데이터를 처리하기 위한 방법, 장치 및 프로그램과 표시 장치에 관한 것이다.
공용 표시 모드(public display mode)와 개인용 표시 모드(private display mode) 사이에서 전환가능한 표시 장치의, 첫 번째 공용 모드에서는, 장치는 표준 표시 장치로서 통상적으로 동작한다. 모든 시청자를 위한 가능한 넓은 시야각 범위와 함께, 최적의 밝기, 화상 콘트라스트 및 해상도로 하나의 화상이 장치에 의해 표시된다. 두 번째 개인용 모드에서는, 주화상(main image)은 통상 표시면의 법선을 중심으로 한 감소된 범위의 시야각 내에서만 식별가능하다. 이 감소된 각도 범위 바깥의 표시에 관한 시청자는, 주화상을 가리는 제2의 마스킹 화상을 인지하거나, 알아보기 힘들 정도로 열화된 주화상을 인지할 것이다.
이 개념은, 프라이버시(privacy)가 바람직한 특정한 공공의 상황에서 사용하기 위해 통상의 와이드 뷰 표시에 관한 프라이버시 기능 옵션의 혜택을 입을 수 있는 많은 장치에 적용될 수 있다. 이러한 장치의 예로서는, 휴대 전화, PDA(Personal Digital Assistants), 랩탑 컴퓨터, 데스크탑 모니터, 현금 자동 입출금기(ATM; Automatic Teller Machines), 및 전자 판매 시점(EPOS) 설비가 있다. 이러한 장치는, 어떤 시청자(예를 들어, 운전자 또는 중장비 작동자)가 어떤 시간에 어떤 화상, 예를 들어, 차량이 이동 중일 때 차량 내 텔레비젼 화면을 볼 수 있게 되면 시선이 분산되어 안전하지 않게 되는 상황에서 유익할 수 있다.
원래 광시야 범위의 표시 장치에 광 제어 장치를 추가하기 위한 몇 가지 방법이 존재한다.
빛의 방향을 제어하기 위한 이와 같은 한 구조는 '루버' 필름(louvred film)이다. 이 필름은 베니션 블라인드(Venetian blind)와 유사한 구조의 교대하는 투명층과 불투명층으로 구성되어 있다. 베니션 블라인드와 같이, 이 필름은 층들에 거의 평행한 방향으로 이동하는 빛은 통과시키지만, 층들의 면에 큰 각도로 이동하는 빛은 흡수한다. 이들 층들은 필름면에 수직하거나 어떤 다른 각도일 수 있다. 이러한 필름의 제조 방법이 USRE27617(F.O. Olsen; 3M 1973), US4766023(S.-L. Lu, 3M 1988), 및 US4764410(R.F. Grzywinski; 3M 1988)에 기재되어 있다.
루버 필름과 유사한 특성을 갖는 필름을 만들기 위한 다른 방법들이 존재한다. 이 방법들은, US05147716 (P.A. Bellus; 3M 1992) 및 US05528319 (R.R. Austin; Photran Corp. 1996)에 기재되어 있다.
루버 필름은 표시 패널의 정면에 배치되거나 투광성 표시 장치와 그 백라이트 사이에 배치되어 표시를 볼 수 있는 각도의 범위를 제한할 수 있다. 즉, 루버 필름은 표시 장치를 개인용으로 설정한다.
이러한 필름들의 주요 제한점은, 공용 표시 모드와 개인용 표시 모드 사이에서 표시 장치를 전환하기 위해 기계적 동작, 즉, 필름의 제거가 요구된다는 것이다.
GB2413394(Sharp, 2004)에서는, 표시 패널에 하나 이상의 여분의 액정층과 편광자를 추가함으로써 전자적으로 전환가능한 프라이버시 장치가 구축되고 있다. 이들 추가 요소들의 고유의 시야각 의존성은, 공지된 방식으로 전기적으로 액정을 전환함으로써 변경될 수 있다. 이 기술을 활용하는 장치로는, Sharp Sh851i와 Sh902i 휴대 전화가 있다.
상기의 방법은, 시야각 범위를 전기적으로 전환하는 기능을 제공하기 위해 추가의 장치를 표시 장치에 부가할 것을 요구한다는 단점이 있다. 이것은 비용을 추가시키고, 특히 휴대 전화나 랩탑 컴퓨터 등의 모바일 표시 장치 응용에서는 매우 바람직하지 않게도 표시 장치의 부피를 크게 한다.
축상의 시청자(on-axis viewer)에게 고품질 화상을 표시할 수 있는 2개의 상이한 구성 사이에서 표시 장치의 단일의 액정층을 전환시킴으로써 LCD의 시야각 특성을 제어하는 방법이 US20070040780A1 (Sharp, 2005)와 WO2009057417A1 (Sharp, 2007)에 기재되어 있다. 이러한 장치들은, 추가의 디스플레이의 두께를 필요로 하지 않고 전환가능한 프라이버시 기능을 제공하지만, 복잡한 화소 전극의 설계를 요구하거나 표준 표시 장치에 대한 기타의 제조 변경을 요구한다.
표시 장치 하드웨어 복잡성을 부가하지 않고 프라이버시 모드 기능을 갖춘 표시 장치의 일례는, WO 2009/069048(2009년 6월 4일 공개)에 개시되어 있다. 이러한 다른 예는, 상이한 레벨의 신호 전압을 인접 화소들에 인가하여 이들 화소들의 평균화된 휘도가 표시 장치의 감마 곡선에 따라 신호 전압과 함께 변동하여 축상에서 볼 때 기대 화상을 볼 수 있고, 축외에서 보았을 때에는 시각적으로 식별불가능한 정도로 화상의 콘트라스트를 변경하도록 평균화된 휘도가 지정된 전압 범위 내의 콘트라스트 레벨에 있는, 표시 장치를 위한 프라이버시 모드를 개시하고 있는 US20090079674A1(2009년 3월 26일 공개)에 제공되어 있다.
표시 장치 하드웨어 복잡성이 추가되지 않은 프라이버시 모드 기능을 갖춘 표시 장치의 다른 예는, Sharp Sh702iS 휴대 전화이다. 이 휴대 장치는, 표시 장치에 사용되는 액정 모드 고유의 각도 데이터-휘도 특성과 조합하여, 휴대 전화의 LCD에 표시되는 화상 데이터의 조작을 이용하여, 중심외 위치(off-centre position)로부터 관찰하는 관찰자에게는 표시되는 정보가 이해될 수 없는 개인용 모드를 생성한다. 그러나, 개인용 모드에서는 합법적인 축상의 관찰자에게 표시되는 화상의 품질이 심각하게 저하된다.
제2 마스킹 화상에 의존하는 방식으로 화상 데이터를 조작하지만, 수정된 화상을 볼 때에 축외 관찰자에게 인식되는 마스킹 화상이 표시되게 하는 Sh702iS 전화기에 이용된 방법과 유사한 방법이, GB2428152A1(2007년 1월 17일 공개) 및 GB 출원 GB0804022.2(2009년 8월 5일 GB2457106A로서 공개)에 기재되어 있다. 상기의 간행물에 개시된 방법은, 이러한 "Advanced Super View"(ASV)(IDW'02 다이제스트, pp 203-206) 또는 폴리머 안정화된 배향(PSA)(SID'04 다이제스트, pp 1200-1203) 등의 많은 액정 표시 모드 고유의 시야각과 휘도 곡선에 대한 데이터 값의 변경을 이용하고 있다.
주화상이 재생되도록 표시 장치의 정면에서(축상에서) 보았을 때 인접 화소들에 가해지는 수정이 효과적으로 상쇄되도록 하지만, 비스듬한(축외) 각도에서 보았을 때에는 인접 화소들에 대한 수정이 순 휘도 변화로 이어져, 적용된 수정의 정도에 따라 인지되는 화상이 변경되는 방식으로, LC 패널에 표시되는 화상의 데이터 값이 변경된다.
GB2428152A1 및 GB2457106A에 기재된 방법에 대한 개선을 제공하는 것이 바람직하다.
본 발명의 제1 양태에 따르면, 표시 장치의 표시 패널에 의한 표시용 화상 데이터를 처리하는 방법으로서, 주화상을 나타내는 주화상(main image) 화소 데이터와 부화상(side image)을 나타내는 부화상 화소 데이터를 수신하는 단계; 표시 패널을 구동하는 데 이용되는 신호로의 상기 화소 데이터의 맵핑 - 상기 맵핑은 주로 상기 주화상 화소 데이터에 의존하는 평균 축상(on-axis) 휘도와 적어도 소정 범위까지 상기 부화상 화소 데이터에 의존하는 평균 축외(off-axis) 휘도를 생성하도록 구성됨 - 을 수행하는 단계; 및 적어도 부분적으로 상기 주화상 화소 데이터에 의존하고 또한 적어도 부분적으로 상기 맵핑에 입력된 화소 데이터에 따라 축외 휘도가 어떻게 변하는지에 의존하여 상기 주화상 화소 데이터를 압축 - 상기 압축은 상기 맵핑에 앞서 수행되거나 적어도 부분적으로 상기 맵핑에 포함됨 - 하는 단계를 포함하는 방법이 제공된다.
본 발명의 제2 양태에 따르면, 표시 장치의 표시 패널에 의한 표시용 화상 데이터를 처리하는 방법을 수행하도록 배열된 장치로서, 상기 방법은, 주화상을 나타내는 주화상 화소 데이터와 부화상을 나타내는 부화상 화소 데이터를 수신하는 단계; 표시 패널을 구동하는 데 이용되는 신호로의 상기 화소 데이터의 맵핑 - 상기 맵핑은 주로 상기 주화상 화소 데이터에 의존하는 평균 축상 휘도와 적어도 소정 범위까지 상기 부화상 화소 데이터에 의존하는 평균 축외 휘도를 생성하도록 구성됨 - 을 수행하는 단계; 및 적어도 부분적으로 상기 주화상 화소 데이터에 의존하고 또한 적어도 부분적으로 상기 맵핑에 입력된 화소 데이터에 따라 축외 휘도가 어떻게 변하는지에 의존하여 상기 주화상 화소 데이터를 압축 - 상기 압축은 상기 맵핑에 앞서 수행되거나 적어도 부분적으로 상기 맵핑에 포함됨 - 하는 단계를 포함하는, 장치가 제공된다.
본 발명의 제3 양태에 따르면, 본 발명의 제2 양태에 따른 장치를 포함하는 표시 장치가 제공된다.
본 발명의 제4 양태에 따르면, 본 발명의 제1 양태에 따른 방법을 수행하는 장치를 제어하기 위한 프로그램, 또는 장치에 로드될 때, 상기 장치가 발명의 제2 또는 제3 양태에 따른 기구 또는 장치가 되게 하는 프로그램이 제공된다. 프로그램은 캐리어 매체 상에서 운반될 수 있다. 캐리어 매체는 저장 매체일 수 있다. 캐리어 매체는 전송 매체일 수 있다.
본 발명의 제5 양태에 따르면, 본 발명의 제4 양태에 따른 프로그램에 의해 프로그램된 장치가 제공된다.
본 발명의 제6 양태에 따르면, 본 발명의 제4 양태에 따른 프로그램을 포함하는 저장 매체가 제공된다.
본 발명의 전술된 및 기타의 목적, 특징, 및 이점들은, 첨부된 도면들과 연계하여 본 발명의 이하의 상세한 설명으로 참조하면 더욱 용이하게 이해될 것이다.
도 1은 액정 표시 장치 상에서 멀티뷰 효과(multiview effect)를 생성하는 데 이용되는 종래 입력-출력 데이터 맵핑의 그래픽 표현이다.
도 2는 통상의 VAN 타입 LCD에 대한 (a) 축상 및 축외 데이터 값 대 휘도 응답(예를 들어, 감마 곡선)과 (b) 정규화된 축외(off-axis) 휘도 대 축상(on-axis) 휘도 곡선을 나타내는 그래프이다.
도 3은 도 1의 타입의 맵핑에 의해 제공되는 복수의 정규화된 축외 휘도 대 축상 휘도 곡선을 나타내는 그래프이다.
도 4는 도 3의 곡선에 대한 축상 휘도의 함수로서 축외 콘트라스트 비를 나타내는 그래프이다.
도 5는 적어도 종래 방법에서 주화상이 통상 압축되는 음영진 범위에서의 도 3 및 도 4의 그래프를 나타낸다.
도 6은, 표준 범위 내로 압축된 예로서의 주화상의 중첩된 화소 데이터 히스토그램과 더불어, 주화상 데이터 값의 함수로서의 최대 부화상의 콘트라스트비를 나타낸다.
도 7은, 표준 범위 내로 압축된 예로서의 주화상의 중첩된 화소 데이터 히스토그램과 함께, 주화상 데이터 값의 함수로서의 최대 부화상의 콘트라스트비를 나타낸다.
도 8은, 표준 범위 내로 압축된 예로서의 주화상의 중첩된 화소 데이터 히스토그램과 함께, 주화상 데이터 값의 함수로서의 최대 부화상의 콘트라스트비를 나타낸다.
도 9는 종래 멀티뷰 화상 처리 기능을 나타내는 프로세스 흐름도이다.
도 10은 본 발명에 따라 수정된 도 9의 프로세스 흐름도를 나타낸다.
도 11은 본 발명의 실시예에서 사용될 수 있는 8빈 화소 히스토그램(8 bin image histogram)을 수정하기 위한 계수들의 예로서의 미리 계산된 표를 나타낸다.
도 12는 양호한 실시예의 방법을 나타내는 프로세스 흐름도이다.
도 13은, 양호한 실시예의 방법에 따라 압축된 예로서의 주화상의 중첩된 화소 데이터 히스토그램과 함께, 주화상 데이터 값의 함수로서의 최대 부화상의 콘트라스트비를 나타낸다.
도 14는, 양호한 실시예의 방법에 따라 압축된 예로서의 주화상의 중첩된 화소 데이터 히스토그램과 함께, 주화상 데이터 값의 함수로서의 최대 부화상의 콘트라스트비를 나타낸다.
도 15는, 양호한 실시예의 방법에 따라 압축된 예로서의 주화상의 중첩된 화소 데이터 히스토그램과 함께, 주화상 데이터 값의 함수로서의 최대 부화상의 콘트라스트비를 나타낸다.
도 16은 멀티뷰 방법에 의해 정의된 가용 축외 대 축상 휘도 공간과 관련하여, 예로서의 한 쌍의 입력 화상에 의해 정의된 타겟 축상 및 축외 휘도의 스프레드(spread)를 나타내는 그래프이다.
도 17은 멀티뷰 방법에 의해 정의된 가용 축외 대 축상 휘도 공간과 관련하여, 추가 실시예의 방법에 따른 압축 후의, 예로서의 한 쌍의 입력 화상에 의해 정의된 타겟 축상 및 축외 휘도의 스프레드(spread)를 나타내는 그래프이다.
도 18은 예로서의 동일한 한 쌍의 입력 화상에 의해 정의된 타겟 축상 및 축외 휘도의 스프레드를 나타내는 그래프이다.
도 19는 본 발명의 실시예의 기초가 되고 있는 GB2457106A에 기재된 표시 장치가 개인용 모드에서 동작하고 있을 때의 개략도이다.
도 20은 본 발명의 실시예에 따른 주화상을 압축하기 위한 방법과 프라이버시/멀티뷰 방법에서 주화상을 압축하기 위한 종래 방법 사이의 히스토그램에 관련된 비교를 제공하고 있다.
도 21은 본 발명의 실시예에 따른 주화상을 압축하기 위한 방법과 프라이버시/멀티뷰 방법에서 주화상을 압축하기 위한 종래 방법 사이의 히스토그램에 관련된 비교를 제공하고 있다.
도 22는 본 발명의 실시예에 따라 실행된 압축으로부터 생기는 히스토그램의 예시를 제공한다.
도 23은 본 발명의 실시예에서의 히스토그램 등화 기술의 이용법을 나타낸다.
도 24는 본 발명의 실시예에서의 히스테리시스 기술의 이용법을 나타낸다.
도 25는 미리 결정된 임계치 이상의 주화상의 콘텐츠 변경과 일치하도록 압축에 대한 변경의 지연을 나타낸다.
도 26은 상이한 압축 체제가 상이한 각각의 영역 타입에 적용될 있도록, 주화상 내의 복수의 상이한 영역 타입의 식별을 나타낸다.
도 27은 주화상에 대한 압축 적용 여부를 제어하기 위한 부화상 콘텐츠의 이용법을 나타낸다.
도 28은 영역 타입의 식별과, 그 영역 내의 주화상 데이터를 주화상 데이터의 또 다른 영역의 타입과 더욱 유사해지도록 하는 수정을 나타낸다.
도 29는 주화상과 부화상이 동일한 경우의 축상 휘도와 축외 휘도의 변화를 나타낸다.
도 30은 계산된 최적화를 향해 적용된 화상 압축을 점진적으로 변경하는 방법의 일례를 나타내는 프로세스 흐름도이다.
도 31은 (a) 정규화된 축외 대 축상 휘도 곡선에서의 변화를 나타내는 그래프, 및 (b) 도 3 및 도 4에서와 같이 2개가 아니라 4개의 화소에 걸쳐 국부적으로 휘도를 평균화하는 맵핑에 의해 제공되는 축외 콘트라스트비를 나타내는 그래프이다.
도 32는 본 발명의 추가 양태에 따라 수정된 도 10의 프로세스 흐름도를 나타낸다.
도 33은 본 발명의 구현하는 장치를 개략적으로 나타낸다.
GB2428152A1 및 GB2457106A에 설명된 방법에서는, 화상 데이터 값이 적어도 최소량만큼 어느 한 방향으로 수정될 수 있도록 하기 위해, 개인용 모드에서 축상의 관찰자에게 표시되는 화상은 감소된 최대 휘도와 콘트라스트비를 갖도록 압축된다. 이것은, 주화상 콘텐츠가 무엇이든, 가시적인 부화상을 생성하기 위해 축외 관찰자에 의해 관찰되는 각 화상 영역의 휘도를 변경하기 위한 충분한 범위가 있음을 보장한다.
개인용 모드에서 주화상 세트에 대해 설정된 압축 범위는 GB2428152A1 및 GB2457106A에 시사되어 있으며, 예를 들어, 주화상이나 부화상 콘텐츠에 관계없이, 가용 표시 휘도 범위의 5% 내지 50% 사이의 값만을 갖도록 화상을 재설정한다. 이것은, 모든 타입의 주화상 및 부화상 콘텐츠에 대해 만족스러운 프라이버시 효과를 얻는 것을 보장하지만, 주화상 및 부화상 콘텐츠에 따라 압축 범위가 최적화되는 것을 보장하지는 않는다.
본 출원인은, 가능한 한 주화상 품질(콘트라스트, 휘도 등)을 많이 유지하면서 만족스런 부화상 외관을 최적으로 제공하기 위해, 소정 시점에서 표시되고 있는 주화상 및 부화상 콘텐츠에 따라 주화상의 최적 압축 범위를 결정하는 수단을 포함하는 GB2428152A1 및 GB2457106A에 개요된 타입의 프라이버시 표시 장치를 제공하는 것이 바람직하다는 것을 이해하고 있다.
본 발명의 실시예는, 가능한 한 주화상 품질을 많이 유지하면서 만족스런 부화상 외관을 생성하는 최적의 압축 파라미터를 결정하도록, 표시되고 있는 화상의 각 프레임마다 또는 수 프레임마다, 개인용 모드에서 동작하는 전환가능한 프라이버시 표시의 주화상 및 필요하다면 부화상을 분석하는 수단을 제공한다.
또한, 개인용/멀티뷰 모드에서 동작할 때 사용하기 위한 수단을 포함하는 전환가능한 시야각, 멀티뷰 또는 전환가능한 프라이버시 표시 장치를 제공한다.
공용 모드(public mode)에서, 이 표시 장치는, 표시되는 비디오의 각 프레임마다, 한 화상을 구성하는 데이터가 표시 제어 전자회로에 공급되고, 그 다음, 제어 전자회로는 표시 장치의 액티브 매트릭스 어레이에 일련의 신호 전압과 타이밍 신호를 출력하고, 요구되는 광량이 각 화소에 의해 표시 편광기를 통해 전송되어 화상이 표시되도록 이들 전압들이 각 화소 내의 액정 디렉터(liquid crystal director)를 재배향시킨다는 점에서, 표준 LCD와 실질적으로 다르지 않은 방식으로 동작할 것이다.
개인용 모드(private mode)에서, 표시 제어기는 2개의 입력 화상, 즉, 축상의 적법 관찰자에 의한 관찰용의 주화상과, 표시 장치의 정면에 있지 않은 관찰자에 의한 관찰용의 부화상에 의존하는 신호 전압을 출력한다. 표시 제어기는 여전히 공용 모드에서와 동일한 양의 신호 전압 정보(표시 장치의 각 화소에 대한 전압)를 출력한다는 점에 유의해야 한다. 이들 출력 전압은 이제 하나가 아니라 2개의 입력 화상의 화상 데이터 값에 의존한다.
본 발명의 실시예는, 인지되는 수정(modification)의 평균화 효과에 기인하여, 축상의 관찰자에 의해 여전히 주화상이 관찰되는 한편, 수정의 평균화 효과를 변화시키는 축상 및 축외에서 상이한 표시 장치의 데이터 값 대 휘도 응답으로 인해, 축외 관찰자에는 부화상이 보이도록, 주화상 출력 신호 전압에 대한 수정을 계산하는 수단을 제공한다.
본 발명의 실시예는, 주화상의 원래 품질을 가능한 한 많이 유지하면서 전술된 평균화 수정이 만족스런 부화상 외관을 생성할 수 있도록 소정 시간에 표시되는 주화상 및 부화상 콘텐츠를 분석하고, 이로부터 주화상에 적용될 최적 압축 파라미터를 결정하기 위한 수단을 제공한다. 이 실시예는, 개인용 모드에서 사용하기 위한 이러한 분석 및 파라미터 결정 수단을 내장한 표준으로부터 수정된 제어 전자회로를 갖춘 LCD 표시 장치도 역시 계속한다.
본 발명의 실시예는 GB2457106A에 개시된 표시 장치에 밀접하게 기초를 두고 있다. GB2457106A의 표시 장치는 여기서는 상세하게는 설명되지 않고, 대신에 GB2457106A의 전체 내용을 본 명세서에 원용하는 것으로 간주한다. 본 발명의 실시예와 GB2457106A 사이의 차이점은 이하에서 강조 표시될 것이고; 그 차이는, 주화상의 압축을 위한 최적 파라미터를 결정하는 추가 수단의 이용에 있다.
도 19는 본 발명의 실시예가 기초하고 있는 GB2457106A호에 설명된 표시 장치를 나타내고 있다. 공간 광 변조(spatial light modulation)에 의해 화상을 표시하기 위한 액정 표시 패널(2)을 포함하는 표시 장치가 제공되고 있다. 장치가 개인용 모드에서 동작할 때, 매 프레임 주기마다 2개의 화상 데이터세트, 즉, 주화상을 구성하는 주화상 데이터(7)와 부화상을 구성하는 부화상 데이터(8)가 표시 제어기(1)에 입력된다. 그 다음, 표시 제어기(1)는 한 세트의 신호 데이터 전압을 출력하며, 하나의 데이터 전압은 LC 패널의 각 화소에 대한 것이다. 표시 제어기(1)는, 합성 화성을 구성하며 주화상(7) 및 부화상(8) 양쪽 모두의 (화상 내의 공간적 위치의 관점에서) 대응하는 화소에 대한 데이터 값에 의존하는 LC 패널의 각 화소에 대한 출력 신호 데이터 전압과 확장된 룩업 테이블(LUT)을 이용한다. 각 화소에 대한 출력 데이터 전압은 또한, 표시 장치 내의 화소의 공간적 위치에 의해 결정되는, 제3의 공간 의존 파라미터에도 역시 의존할 수 있다. 표시 제어기(1)로부터의 신호 전압은, LC 패널(2)이 합성 화상을 광폭 원추(5)형 각도로 표시하게 한다. 주 관찰자(3)에 의해 관찰되는 화상은 인식가능한 주화상으로서, 주화상 품질은 최소한으로 열화되어 있다. 그러나, 축외 관찰자(4)에 대한 LC 패널의 상이한 감마 곡선 특성으로 인해, 이들 축외 관찰자들은 주화상을 가리고 및/또는 열화시키는 부화상을 가장 현저하게 인식하게 되어, 정상 표시를 중심으로 하는 제한된 원추(9)형 각도 내의 관찰자들에게만 주화상 정보를 확보시킨다.
GB2457106A에서, 입력 화상 데이터와 출력 화상 데이터 사이의 관계는 다음과 같이 결정된다:
제1 단계에서, 주화상과 부화상은 등가 휘도값으로 변환된 화상 데이터 값,
Figure pct00001
을 가지며, 여기서, Min과 Sin은 0과 1 사이의 값을 갖도록 정규화되고,
Figure pct00002
는 표시 장치의 데이터 값 대 휘도에 관한 지수로서, 표시 감마라 알려져 있으며, 통상 값 2.2를 가진다.
제2 단계에서, 주화상의 이들 휘도값들이 계수 β에 의해 압축되고 오프셋 계수 ∂만큼 상승된다:
Figure pct00003
. 이들 압축 파라미터들의 최적값의 계산은 본 발명의 실시예와 GB2457106A가 상이하며, 이것은 이하에서 더 상세히 논의된다.
그 다음, 부화상에서의 각 화소 휘도값이, 압축된 주화상의 대응하는 화소의 휘도값과, 범위의 가장자리(0 또는 1, 더 가까운 어느 쪽) 사이의 차이와 동등한 계수에 의해 스케일된다. 임의의 휘도값에 대하여, 그 값과 범위의 중심간 차이의 r.m.s.로부터 이 차이를 구할 수 있다. 따라서, 부화상 휘도값들은
Figure pct00004
로서 스케일된다. 부화상 데이터 값에 대한 변형된 등가의 휘도값에 대해 0보다 큰 최소값이 명시된다.
상기에서,
Figure pct00005
은
Figure pct00006
와 같고,
Figure pct00007
은
Figure pct00008
와 0.5만큼 차가 있는 절대량이다.
제3 단계에서, 예를 들어, 앞서 언급한 공간적으로 변화하는 파라미터를 이용하여, 부화소 레벨에서 패터닝된 휘도의 가감과 함께, 압축된 주화상 및 부화상이 결합된다. 컬러 부화소들은 쌍(pair)들로 그룹화되고, 각 쌍 내의 한개 화소는 그 화소에서의 압축된 주화상 및 부화상 휘도의 합에 해당하는 출력 휘도를 갖고, 나머지 하나의 화소는 압축된 주화상 휘도로부터 압축된 부화상 휘도를 뺀 값에 해당하는 출력 휘도를 갖는다. 따라서, SLum의 최대값에 대해, 상기 쌍의 한 화소는 정규화된 범위의 최대값 또는 최소값(더 가까운 쪽)을 취하도록 항상 수정되는 반면, 그 쌍의 나머지 하나의 화소는 반대 방향으로 수정된다. Min의 특정한 값에 대해, 이와 같은 분할의 양은 SLum의 값에 의해 결정된다.
각 흰색 화소에는 3개의 컬러 부화소가 있기 때문에, 출력 화상의 전체 컬러 밸런스를 유지하기 위해, 출력 화상에서 휘도를 부가하는 컬러 부화소와 휘도를 감하는 컬러 부화소가 모든 흰색 화소마다 교대로 존재한다. 이것은 x 및 y 방향 모두에서 이루어진다. 이 결과, 축상의 관찰자에 의해 인지되는 출력 화상의 품질이 최적화된다는 것을 알 수 있다. 따라서 이 방법의 조합 패턴에서의 반복 단위는 2×2 블록의 흰색 화소이며, 그 각 컬러 부화소는 다음과 같은 휘도를 가진다:
Figure pct00009
합성 화상에 대한 등가 화상 데이터 레벨은 감마 자승 연산(gamma power operation)의 역:
Figure pct00010
을 적용하여 구할 수 있다. 표시 제어 전자회로의 확장된 LUT에서의 출력 전압은, LUT 엔트리로부터의 공용 모드의 등가 데이터 레벨에 대응하는 전압과 동일할 것이다.
GB2457106A에 기초하는 PCT/JP2008/068324호(2009년 9월 11일 WO 2009/110128로서 공개)에는, 정확한 컬러 부화상 효과를 얻는 방법이 개시되어 있으며, 여기서, 컬러당 2비트(총 6비트) 깊이의 부화상이 제어 전자회로에 입력되고, 매 주화상 데이터 값에 대해 4개 쌍의 출력 값들이 확장된 LUT에 포함되며, 출력 값 쌍들은 다음과 같은 방법에 따라 계산된다:
Figure pct00011
여기서, "Scmp max"는 앞서 계산된 최대 가용 압축된 부화상 값, 즉, Scmp max =
Figure pct00012
이다. 이런 방식으로 계산된 값들의 그래픽 표현이 도 1에 도시되어 있다.
도 2의 (a)는, MVA 또는 ASV 타입 표시의 경우, 축상 및 50° 경사 시야각의 축외에서, 전형적인 데이터 값 대 휘도 응답(감마 곡선)을 도시한다. 이들 데이터 값들을 정규화하고 정규화된 축상 휘도에 관해 플로팅하면, 그 결과는 도 2의 (b)에 도시된 바와 같다. 이러한 특성을 갖는 표시 장치에 상기 방법을 적용할 때, 각 부화상 데이터 값에 대한 축상 휘도의 함수로서의 결과적인 축외 휘도가 도 3에 도시되어 있다. 가용 축상 휘도값의 전체 범위가 도 3에 도시되어 있으며, 이것은 주화상 압축없이
Figure pct00013
얻을 수 있다는 점에 유의한다.
상기의 종래 계산 방법은 4개의 가능한 부화상 값을 가진다: Sin = 0, 1, 2, 및 3. 도 3에서 알 수 있는 바와 같이, Sin = 0일 때, 각각의 주화상 데이터 값에 대해 최대 분할이 이용되고, 그 결과, 축상 휘도 범위에 걸쳐 전체 축외 휘도가 가장 낮아진다. Sin = 3일 때, 분할은 이용되지 않고, 그 결과, 축상 휘도 범위에 걸쳐 전체 축외 휘도가 가장 높아진다. 중간 범위 부화소 값 Sin이 각각 1 및 2일 때 Mcmp 데이터에 대한 최대 가용 변경의 0.98배 및 0.85배의 제안된 값들이 상이한 입력 부화상 값들에 대한 축외 휘도에서 거의 균등한 증분치를 생성한다는 것을 알았다. 이것은, 상이한 부화상 상태들이, 전체 축상 휘도 범위에 걸쳐 상당한 정도의 서로 상대적인 비례성을 유지한다는 것을 의미한다. 이것이 도 4에 추가로 도시되어 있으며, 도 4는 전술된 방식으로 동작하는 ASV 타입 LCD에서 측정된 축상 휘도의 함수로서 50°경사 시야각에서의 상이한 부화상 상태들의 상대적 휘도를 도시하고 있다. 즉, 도 4는, 도 3에서 Sin=3, 2, 및 1인 경우의 축외 휘도 곡선을 도 3의 Sin=0인 축외 휘도 곡선으로 나눈 것, 즉, 전체 축상 휘도에 관한 상이한 부화상 상태들의 콘트라스트비를 나타낸다. 이것은, 대부분의 축상 휘도 범위에 대해, Sin=1인 영역이 Sin=0인 영역보다 대략 1.3x배 더 밝으며, Sin=2인 영역이 Sin=0인 영역에 비해 대략 1.5x배 밝으며, 및 Sin=3인 영역은 가능한 범위까지 (Sin=0인 영역보다 1.8x배까지) 밝다는 것을 보여준다.
도 4로부터 알 수 있는 바와 같이, 입력 값 Sin=3 내지 Sin=0인 부화상 영역의 축외 관찰자에 의한 휘도비로서 정의되는 부화상의 콘트라스트비는 이러한 영역들에 대한 주화상 값에 의존한다. 만일 주화상이 검정색이거나 흰색이라면, 2개의 인접하는 화소들의 데이터 값을 서로 반대 방향으로 수정하여 그들의 평균 휘도가 동일하게 유지되도록 할 여지가 데이터 범위 내에는 사실상 없고, 축상 관찰자에 의해 인지되는 대한 화소의 밝기는 변하지 않는다. 화소들 중 하나는 범위의 가장자리에 도달하여, 양쪽에 적용될 수 있는 변화를 제한할 것이다. 따라서, 부화상은, 높은 주화상 데이터 값 및 낮은 주화상 데이터값에 대해 낮은 콘트라스트를 가진다.
부화상은, 최대값의 약 50%의 축상 관찰자에 대한 휘도를 생성하는 데이터 값(전형적인 감마값 2.2를 갖는 표시 장치의 경우 255 중 190 부근의 데이터 값)을 갖는 주화상의 영역들에 대해 가장 높은 콘트라스트를 가지는데, 이것은 이 영역들이 이웃 화소들에 적용되는 가장 큰 제로 네트 휘도 변화(zero net luminance change) 수정을 갖기 때문이다. 따라서, 주화상이, 높은 부화상 콘트라스트 가용성에 대응하는 데이터 값들로 주로 구성된다면, 축외 관찰자에 대한 부화상의 재생에 유익할 것이다. 이러한 이유 때문에, 종래 방법에서는 β=0.45 및 δ=0.05의 압축 파라미터들을 사용하여, 데이터 = 255/255인 입력 주화상 영역들이 최대 휘도의 50%(데이터는 약 190/255)를 갖도록 압축되었다. 이런 방식으로, 전자메일, 텍스트 메시지, 및 문서 작성 등의 모바일 표시 장치 상의 핵심적인 프라이버시 애플리케이션에 대한 전형적인 콘텐츠가 되는 흰색 배경 상의 검정색 텍스트와 같은 대부분이 흰색인 주화상에 대해, 최적 부화상 재생 및 그에 따른 강력한 프라이버시가 달성된다. 도 5의 (a) 및 (b)는, 음영진 영역으로 중첩되어 표시된 표준 압축 이후의 주화상 휘도값의 범위에 대한 도 3 및 도 4의 플롯을 도시한다. 이 도면은 음영진 영역의 더욱 밝은 가장자리가 어떻게 최대 부화상 콘트라스트 포인트와 일치하는지를 보여준다.
그러나 종래 방법은, 주화상에 대한 압축 파라미터들이 고정된 이유로, 임의의 주화상 콘텐츠에 대해 만족스런 부화상이 재생되는 것을 허용하는 압축의 정도를 제공해야 한다는 단점을 가지며, 압축은 종종 소정 주화상 콘텐츠에 대한 부화상의 만족스런 재생을 허용하는 데 요구되는 것 이상으로 된다. 이 경우, 주화상의 품질(밝기 및 콘트라스트)은 필요 이상으로 감소되었다. 이것은, 고정된 표준 압축 프로세스 이후의 만족스런 주화상 품질을 유지하기 위해, 소정 타입의 주화상에 대해 감소된 부화상 재생 품질이 허용되는 경우(예를 들어, 대부분 흑색이어서, 도 5의 (b)에 따른 부화상 콘트라스트가 겨우 1.4인 영역을 많이 갖는 주화상)이기도 하다.
이러한 효과가 도 6 내지 도 8에 예시되어 있다. 이들 도면들 각각은, 이 경우에는 휘도가 아닌 주화상 데이터 값에 대해 플로팅된 도 4의 최대 부화상 콘트라스트 함수를 도시하며, 표준 파라미터로 압축한 후의 화소 데이터 히스토그램이 중첩되어 있다. 이것은 가장 흔한 데이터 값을 갖는 주화상 영역에 대해 이용가능한 부화상 콘트라스트의 용이한 시각화를 허용하며, 그에 따라 특정한 주화상에 대해 얼마나 효과적인 프라이버시 효과가 가능할 것인지에 대한 양호한 길잡이가 된다.
도 6은 흰색 배경의 웹 브라우저 상의 전형적인 검정색 텍스트 콘텐츠(그래프 옆에 도시)와 같은 대부분 흰색인 화상에 대해, 표준 압축 파라미터가 잘 동작하여, 화상 히스토그램의 가장 큰 피크를 최대 부화상 콘트라스트 포인트와 일치시키고 있음을 보여준다. 검정색 화소는 비교적 개수가 적고 그에 따라 전체 부화상 외관에 영향을 거의 미치지 않기 때문에, 검정색 화소의 데이터 레벨을 0으로부터 약 60으로 상승시키는 표준 δ 파라미터 값 0.05의 효과는 불필요하며, 부화상 외관에 아무런 영향을 주지 않고 0의 값을 갖는 이들 화소들을 남겨둠으로써 더 나은 주화상 콘트라스트가 달성될 것이다.
도 7은 검정색 배경에 흰색 텍스트(또한 도시됨)를 갖는 역 화상에 대한 동일한 플롯을 도시한다. 이 경우, 표준 압축의 결과, 화상 영역의 대부분이 낮은 부화상 콘트라스트를 갖게 되어, 프라이버시 효과가 약해질 것이다.
도 8은 예시적인 사진 화상에 대한 동일한 플롯을 나타낸다. 이 경우, 압축 이전 화상은 50% 휘도값 부근에서 많은 수의 화소를 가져 최대 부화소 콘트라스트를 허용하지만, 압축 프로세스는 이러한 화소들을 데이터 범위의 더 어두운 단을 향해 이동시켜, 주화상 품질을 열화시키고 전체 부화상 콘트라스트 가용성을 저감시킨다.
본 발명의 양호한 실시예에서, 기존의 소프트웨어-온리 프라이버시 제어 전자회로의 프로세스 흐름에 초적응적(extra adaptive) 주화상 압축 프로세스가 포함된다. GB 출원 GB0819179.3(2010년 4월 21일 GB2464521A로서 공개)에 개시된 방법의 프로세스 흐름이 도 9에 도시되어 있다. 이 흐름은, 컬러 아티팩트 문제를 유발할 수 있는 주화상 피쳐들(features)이 검출되고 수정된 표시 제어기에 주화상 데이터가 입력되기 이전에 변경되는 "화상 처리 필터" 단계를 포함한다. 적응적 주화상 압축 단계는, 장치가 개인용 모드에서 동작할 때, 초기 주화상 데이터 입력 단계와, 멀티뷰 또는 프라이버시 화상 효과를 생성하도록 주화상 및 부화상 데이터가 결합되는 표시 제어기에 수정된 주화상이 입력되는 단계 사이의 임의의 위치, 즉, 도 10에 도시된 바와 같이, 화상 필터링 단계 이전, 또는 이후, 또는 심지어, 화상 필터링 단계가 포함되지 않는 경우 화상 필터링 단계를 대신해 삽입될 수 있다(도 10의 점선 화살표는 도 16 내지 도 18을 참조하여 이하에서 설명되는 실시예에 적용가능하다).
본 발명을 구현하는 방법에서, 표시 장치의 표시 패널에 의한 표시용의 데이터가 처리된다. 주화상을 나타내는 주화상 화소 데이터가 수신되고, 부화상을 나타내는 부화상 화소 데이터가 수신된다. 앞서 개시된 방법에서와 같이, 표시 패널을 구동하는 데 이용되는 신호로의 화소 데이터의 맵핑이 수행되며, 여기서, 맵핑은 주로 주화상 화소 데이터에 의존하는 평균 축상 휘도와 적어도 소정 범위까지 부화상 데이터에 의존하는 축외 휘도를 생성하도록(즉, 개인용 모드) 구성된다. 그러나, 상기 맵핑에 추가하여, 주화상 화소 데이터의 압축이 수행되고, 압축은, 적어도 부분적으로 주화상 화소 데이터에 의존하여, 또한 적어도 부분적으로 상기 맵핑에 입력되는 화소 데이터에 따라 축외 휘도가 어떻게 변하는지에 의존하여 수행된다. 압축은 맵핑에 앞서 수행되거나 적어도 부분적으로 맵핑에 포함되어 수행된다.
또한, 맵핑은, 부화상 화소 데이터에서의 변화에 의해 생성되는 축외 휘도의 범위의 측정치가 주화상 화소 데이터에 따라 변동하도록, 주화상 화소 데이터에 적어도 일부 의존하면서 부화상 화소 데이터에 의존하는 평균 축외 휘도를 생성하는 것으로서 여겨질 수 있다. 이것은, 예를 들어, 일정한 부화상 값의 경우에도, 축외 휘도가 주화상 화소 데이터에 강하게 의존하여 분명하게 변동하는(이것은 그 자체로 축상 휘도 응답을 야기함) 도 3으로부터 명백하다. 가능한 축외 휘도 범위의 하나의 가능한 측정치는, 가장 높은 가용 축외 휘도 대 가장 낮은 가용 휘도의 비와 관련되어 있다(도 4를 참조하여 도시되고 설명된 콘트라스트비를 참조).
주화상 화소 데이터는, 주화상 화소 데이터의 전부 또는 적어도 미리 결정된 비가 소정 범위의 축상 휘도 내로 압축되고, 그 범위는 적어도 부분적으로 주화상 화소 데이터에 의해 결정되도록 하는 방식으로 압축될 수 있다. 이 범위는, 전술된 "측정"이 미리 결정된 레벨 위에 있거나 및/또는 범위에 걸쳐 미리 결정된 레벨 아래의 변동을 보이도록 결정될 수도 있다. 주화상 화소 데이터는, 가능한 축외 휘도의 범위가 더 큰 곳에 더 많은 주화상 화소 데이터를 배치하는 경향을 갖도록 압축될 수도 있다. 적어도 일부의 주화상 화소 데이터의 각각은, 주화상 화소 데이터에 대응하는 측정치에 의존하여 결정된 값에 의해 가중될 수 있으며, 주화상 화소 데이터는 가중된 값들의 합을 최적화(예를 들어, 최대화)하는 경향을 갖도록 압축될 수도 있다. 축상 콘트라스트를 보존하기 위해 압축된 주화상 화소 데이터의 스프레드(spread)에 하한을 둘 수도 있다.
양호한 실시예에서, 압축은 반복적 프로세스를 수행하는 단계를 포함하고, 이 반복적 프로세스는 부화상 품질의 미리 결정된 측정치에 의해 유도된다. 실질적으로 주화상 데이터 열화를 증가시키는 순서로, 부화상 품질의 미리 결정된 측정치가 미리 결정된 임계치에 도달할 때까지 복수의 압축이 반복적으로 시험(trialled)될 수도 있다. 주화상 화소 데이터의 일회 압축은 시험 압축(trial compressions)에 기초하여 실행될 수도 있다. 각 시험 압축은 주화상 화소 데이터의 실제 압축을 수행하는 단계를 포함할 수도 있다. 부화상 품질의 미리 결정된 측정치는 전술된 가중된 값들의 합에 관련될 수도 있다. 부화상 품질의 미리 결정된 측정치는 주화상 열화의 측정치에 대해 밸런싱될 수도 있다.
본 발명의 양호한 실시예에서, 주화상 화소 데이터는 또한, 주화상 화소 데이터에 대해 이용가능한 데이터 값 레벨들의 수보다 적은 복수의 데이터 값 또는 휘도 범위로 그룹화되고, 압축은 개개의 화소 데이터 값이 아니라 주화상 화소 데이터 그룹화에 기초하여 수행된다.
반복적 프로세스에 기초하고 화소 데이터 그룹화를 이용하는 이와 같은 실시예가 설명될 것이다.
양호한 실시예에서, 적응적 주화상 압축 단계는 수개의 부단계(sub-step)들로 구성될 수 있다. 제1 부단계에서, 주화소의 화소 데이터 히스토그램 H가 얻어질 수 있다. 이 히스토그램은 임의의 해상도를 가질 수 있으나, 구현의 용이성 때문에 각각 주어진 데이터 범위를 커버하는 h1 내지 hn의 빈(bin)으로 데이터 값들을 그룹화 했다. 컬러당 8비트 채널 표시의 경우, 각각 32개 데이터 값 폭의 8개 빈들은 개선된 압축 파라미터가 생성되기에 충분한 해상도를 히스토그램에 제공할 수 있다. 데이터 레벨 빈 해상도 뿐만 아니라, 히스토그램의 각 빈 내의 카운트(count) 값도 제한된 비트-깊이, 예를 들어, 가장 가까운 정수값으로 정규화 및/또는 반올림될 수 있다. 히스토그램은 표시의 모든 컬러 부화소를 고려하여 계산되거나, 계산 복잡성을 줄이기 위해 컬러 채널들 중 하나만을, 예를 들어, RGB 표시에서 다른 채널보다 각 화소의 전체 휘도에 대한 기여도가 상당히 큰 녹색 채널만을 고려하여 계산될 수 있다. 히스토그램은, 개개의 컬러 채널로부터의 가중된 기여도와 함께, 또는 RGB로부터 YCbCr 등의 또 다른 컬러 공간으로의 변환을 이용하여, 전체 화소 휘도에 따라 계산될 수도 있다. 이러한 옵션들은 멀티프라이머리(multiprimary) 표시 장치(즉, 종래의 적, 녹, 청에 추가하여 하나 이상의 컬러를 갖는 부화소를 포함하는 표시 장치; 예를 들어, 적, 녹, 청, 및 백색 또는 황색 부화소를 갖는 표시 장치)에 이용되는 본 발명의 사례에 적용될 수도 있다.
제2 부단계에서, 압축 파라미터들의 테스트 세트에 따라 수정된 히스토그램 H'가 계산될 수 있다.
실제 주화상 데이터에 테스트 압축을 적용하고 그로부터 히스토그램을 재계산하는 것 대신에, 압축되지 않은 주화상의 히스토그램 H로부터 수정된 히스토그램 H'를 계산하는 것이, 메모리와 처리 능력을 덜 요구하기 때문에 유익할 것이다. 예를 들어, 히스토그램은, 주화상이 화소 카운트의 상위 c개 빈(bin)을 비울 정도만의 양의 스케일링 (β) 값으로 처리될 경우, 즉, 8개 빈 히스토그램의 예에서 255로부터 255-(c×32)로 감소된 화상의 최대 데이터값이 사용되는 경우, 빈 카운트가 어떻게 변하는지에 따라 재계산될 수도 있다. 입력 주화상의 히스토그램이 감소된 해상도인 경우, 즉, 화상 데이터 레벨당 1개 빈보다 적다면, 수정된 히스토그램 계산은, 히스토그램을 재계산하기 위해, 각각의 빈에 대한 화소 카운트가 그 빈에 포함된 데이터 레벨들에 걸쳐 균등하게 분포되어 있다고 가정하거나 또 다른 유사한 가정을 취해야 한다. 그러나, 이러한 가정으로부터 생기는 부정확성은 적응적 압축 프로세스의 결과에서 중요하지 않으며, 이와 같은 가정을 피하는데 요구되는 증가된 계산 자원보다는 바람직할 것이다. 만일 이러한 가정이 이루어지면, 테스트 압축에 따른 히스토그램의 재계산은 간단한 산술 프로세스가 되며, 그 결과는 매번 이들을 계산해야 하는 프로세스를 피하기 위해 룩업 테이블(LUT)에 저장될 수 있다.
도 11은 8개 빈 히스토그램 기반의 프로세스 및 (도 11에서 "Comp"로 도시된) 1 내지 7의 "c"값에 대한 이러한 수정들의 표의 일례를 나타내고 있다. 이들 표의 값들은, 수정된 히스토그램의 각 빈의 카운트를 제공하기 위해 초기 히스토그램의 카운트에 곱해져야 하는 계수를 제공한다. 예를 들어, 상위 c=1 빈들이 비워질 것이 요구되는 경우에 수정된 히스토그램을 제공하는 도면의 Comp=1인 표의 경우, 수정된 히스토그램에서 빈들의 카운트는 다음과 같이 주어진다:
Figure pct00014
Figure pct00015
상기에서, hn은 빈 n에 대한 현재의 카운트인 반면, hn'는 빈 n에 대한 새로운 카운트이다. 예를 들어, 빈 3에 대한 새로운 카운트는, 표의 "Bin 3" 행을 판독하여 "Bin 3" 열에서 계수 0.71을 찾고 "Bin 4" 열에서 계수 0.43을 찾아냄으로써 구해져, h3'= 0.71*h3 + 0.43*h4이 된다.
물론, 임의 개수의 빈을 갖는 주화상 히스토그램에 기초하여 동일한 프로세스에 대해 유사한 계수표가 계산되고 프로세스 하드웨어에 저장될 수도 있다.
제3 부단계에서, 추가의 수정된 히스토그램 H"는, 각 빈의 모든 화소 카운트를 데이터 값 범위에서 x번째 더 높은 빈으로 이동시키기에 충분한 오프셋 (
Figure pct00016
)값으로 처리되는 경우 빈 카운트가 어떻게 변하는지에 따라 계산될 수도 있다. 따라서, 이 추가의 수정된 히스토그램 H"를, 모든 n에 대해 hn" = h'(n-x)로서 직접 계산한다.
제4 부단계에서, 수정된 히스토그램의 각 빈의 카운트 값들은 대응하는 가중 계수로 곱해지고, 그 결과의 가중된 빈 카운트 값들이 합산된다. 이들 부화상(SI; Side Image) 가중치는 각 빈 내에 포함된 데이터 값들에 대응하는 주화상 데이터 값들을 갖는 화상 영역에 대해 부화상 재생이 얼마나 효과적인지에 기초할 수도 있다. 이러한 가중치는 도 6 내지 도 8 각각에 도시된 부화상 콘트라스트 함수의 정규화된 버전으로부터 직접 계산되어, 히스토그램 내의 빈들의 개수로 양자화될 수 있다. 그러면, 그 결과 가중된 빈 카운트 값들의 합산은, 주화상 화소 데이터 값들에 기초하여 전체 화상에 이용가능한 평균 부화상 콘트라스트의 측정치를 제공하기 때문에, 주화상에 대한 전체 부화상 레이팅(SIR; Side Image Rating)을 제공한다.
제5 부단계에서, SIR 값이 타겟 값과 비교될 수 있다. 만일 SIR 값이 타겟 값보다 크거나 같다면, 수정된 히스토그램 H"를 생성하는 데 이용된 압축 파라미터들이 출력되고, 이들 파라미터들은, 주화상을 멀티뷰 화상 결합 프로세스에 입력하기 이전에 압축하는 데 사용된다. SIR 값이 타겟 값보다 작다면, 수정된 히스토그램을 상이하게 재계산하기 위해 또 다른 테스트 압축 파라미터 세트가 사용될 수 있고, 부단계들 2 내지 4가 반복된다.
테스트 압축 파라미터들은, 주화상 품질의 결과적인 열화가 계속적 시험에 따라 점진적으로 증가되는 순서로, 타겟이 만족될 때까지 시험될 수 있다. 이런 방식으로, 만족스런 부화상 재생을 허용하는 주화상의 최소 열화가 발견될 수 있다. 만일 도 11에 도시된 수정된 히스토그램 계산 계수 표들이, Comp=0(모든 n에 대해 hn' = hn, 따라서, H'=H)으로부터 Comp=7(h1' = h1+h2+h3+h4+h5+h6+h7+h8, 및 h2 내지 h8 =0)로 도면 내에 도시된 "Comp" 값이 증가하는 순서로 H'를 계산하는 데 사용된다면, 이러한 타입의 효율적인 계산 프로세스가 허용된다. 히스토그램 빈 폭의 증분치로 모든 오프셋 파라미터 (
Figure pct00017
)를 시도하는 것(예를 들어,
Figure pct00018
=x * 32, x는 동등한 빈폭을 갖는 8 빈 히스토그램에 대해 0 내지 7의 정수)은 효율적인 프로세스를 제공할 수도 있다. 초기 주화상 히스토그램 H의 높은 데이터 레벨 단으로부터의 비어 있는 빈들의 개수가 계산된다면 프로세스 효율이 증가할 것이다. 이 "룸"(room)값은, 임의의 화소값이 허용된 범위를 초과하기 이전에 주화상에 적용될 수 있는 ∂의 빈 폭 증분치의 수를 명시한다. 이런 방식으로, 각각의 시험 압축 값 단계에서 시험될 수 있는 오프셋 파라미터 값들의 개수는 간단히 "룸" 값 + "Comp" 값이다. 그 다음, 각각의 가능한 오프셋 값은, SIR 값이 타겟 값을 초과할 때까지, 증가하는 순서의 각각의 압축 값에 대해 증가하는 값의 순서로 시도될 수 있다. 이것은 각 세트의 시험 값으로 주 화상 품질에서의 지속적 감소를 제공하여, 만족스런 부화상 품질을 제공하는 최소 열화된 주화상을 발견할 수 있게 한다는 것을 알았다.
파라미터 값에 대해 주어진 가능한 비트 깊이와 함께, 전술된 부단계들과 시험 값 증분치를 예시하는 프로세스 흐름이 도 12에 주어져 있다.
전술된 설명은, 가능한 압축값들을 반복적으로 시도하고 만족스런 부화상 화질을 재생하기 위한 시험 값들에 따른 압축으로부터 발생하는 화상의 적용가능성을 평가하는 특정한 방법을 개요하고 있지만, 주화상 콘텐츠에 의존하여 멀티뷰 프로세스를 위한 개선된 압축 파라미터를 결정하는 데 있어서 역시 효과적인 많은 변형이 이 방법에 있을 수 있으며, 이들 역시 본 발명의 범위 내에 있다는 것은 명확하다. 몇가지 예시적인 변형이 이하에 열거되어 있다:
화상 데이터 값 범위에 대한 파라미터 검색 프로세스의 정확성을 증가시키기 위해, 예를 들어, 이웃하는 데이터 값 카운트들을 합산하여 가변폭의 빈들로 만듦으로써 히스토그램 H가 계산될 수도 있다.
반복적 압축 파라미터 시도의 순서는 초기 주화상 히스토그램 H의 카운트들의 값 h1 내지 hn에 따라 변동될 수 있다. 예를 들어, 파라미터 검색 순서를 유도하기 위해 초기 히스토그램 또는 기타의 주화상 콘텐츠 분석이 사용된다면 최적의 파라미터들이 더 적은 반복을 통해 발견될 수도 있다.
만족스런 부화상의 재생을 위해 각 빈 내의 화소 데이터 값들의 적용가능성에 대한 소정 성능 지수(figure of merit)에 따라 히스토그램의 각 빈 내의 카운트를 가중하는 것 대신에, 화상 내의 총 화소들의 설정된 비가 (양호한 실시예에서 2진 가중 계수와 등가의) 소정 범위 내의 데이터 값을 가질 때까지 주화상을 반복적으로 압축하는 것이 처리의 관점에서 더 효율적일 수도 있다. 화상을 반복적으로 압축하는 것 대신에, 주화상 히스토그램 내의 특정한 백분위수 포인트(percentile points)를 점유하는 화소 데이터 값을 식별하고, 이들 화소값들이 원하는 범위의 가장자리로 이동되도록 주화상을 압축하는 것이 더 효율적일 수도 있다. 예를 들어, 제10 백분위수 및 제90 백분위수의 데이터 값을 식별하고, 제10 백분위수의 데이터 값이 지정된 범위의 하위 가장자리로 이동되고 제90 백분위수의 데이터 값이 지정된 범위의 상위 가장자리로 이동하도록 화상을 압축하여 종료한다. 만일 백분위수 포인트들 사이의 데이터 값들의 범위가 지정된 타겟 범위보다 작다면, 백분위수 포인트들 사이의 화상 부분은 타겟 범위를 채우도록 확장될 수 있으며, 백분위수 포인트의 바깥 부분은 가용 범위 내에 유지할 필요가 있다면 압축되고, 또는 범위의 가장자리에서 포화되도록 할 수도 있다.
도 13은, 본 발명의 실시예에 따라 실행되는, 전형적인 흰색 배경의 검정색 텍스트와 같은, 대부분이 흰색인 화상을 나타내는 주화상 화소 데이터의 압축 결과를 나타낸다. 이것은 동일한 주화상 화소 콘텐츠에 기초하여 종래 방법에 의해 실행된 압축을 도시하는 도 6과 비교될 수 있다. 도 13은, 본 발명을 구현하는 방법을 이용함으로써 δ 파라미터 값에 대한 훨씬 낮은 값(0에 근접)이 발생하였고, 그 결과, (비교적 적은 수의 주화상 화소가 낮은 데이터 값을 갖기 때문에) 부화상 외관에 거의 영향을 주지 않고 주화상 콘트라스트가 더 나아졌음을 나타내고 있다. 등가의 시각적 비교가 도 20에 제공되어 있으며, 도 20은 대신에 히스토그램 포맷으로 주화상 데이터 분포를 도시하고 있고, 도 20에서 위쪽의 도면은 종래의 압축을 도시하는 반면 도 20의 아래쪽의 도면은 본 발명의 실시예에 따른 압축을 도시하고 있다.
도 14는, 본 발명의 실시예에 따라 실행되는, 대부분이 검정색인 화상을 나타내는 주화상 화소 데이터의 압축 결과를 나타낸다. 이것은 동일한 주화상 화소 콘텐츠에 기초하여 종래 방법에 의해 실행된 압축을 도시하는 도 7과 비교될 수 있다. 도 7은 화상의 대부분의 영역이 낮은 부화상 콘트라스트를 갖게 되어 프라이버시 효과가 약한 종래 압축 결과를 도시하지만, 본 발명의 실시예에 따라 실행된 압축은 대부분의 주화상 콘텐츠(어두운 화소들)를 부화소 콘트라스트 플롯보다 높게 위치시킴으로써, 결과적으로 프라이버시 효과가 강해졌다. 등가의 시각적 비교가 도 21에 제공되어 있으며, 도 21은 대신에 히스토그램 포맷으로 주화상 데이터 분포를 도시하고 있고, 도 21에서 위쪽의 도면은 종래의 압축을 도시하고는 반면 도 21의 아래쪽의 도면은 본 발명의 실시예에 따른 압축을 도시하고 있다.
도 15는, 본 발명의 실시예에 따라 실행되는, 광범위한 데이터 레벨을 갖는 화상을 나타내는 주화상 화소 데이터의 압축 결과를 나타낸다. 다시 한번, 주화상 화소 데이터 값 범위의 하단을 향해 주화상 데이터 분포를 압축하는 것 대신에, 본 발명을 구현하는 방법은, 부화상 콘트라스트가 더 높은 곳에 더 많은 데이터를 배치하도록 주화상 데이터를 압축한다면 부화상 콘트라스트가 더 양호하다는 것을 인식하였다. 이로써 더 나은 프라이버시 효과가 달성된다. 이것은 동일한 주화상 화소 콘텐츠에 기초하여 종래 방법에 의해 실행된 압축을 도시하는 도 8과 비교될 수 있다. 도 22는 동일한 주화상에 적용된 본 발명의 실시예로부터 발생한 압축의 예시를, 이번에는 히스토그램 포맷으로 제공하고 있다.
전술된 실시예들이, 화소쌍 내의 개개 화소값들의 상이한 구성을 허용하는 화소쌍들간의 공간적 평균화를 이용하여 평균 휘도가 동일해지고 축상 관찰자에게는 주화상을 제공하면서 축외 관찰자에게는 상이한 구성에 대한 상이한 휘도를 제공하는 전환가능한 프라이버시 방법을 참조하여 설명되었지만, 전술된 방법들은 2개보다 많은 화소 그룹에 걸쳐 평균화가 수행되는 프로세스에도 동등하게 적용될 수 있다.
이것은 주화상 값들의 범위에 걸쳐 더 큰 부화상 콘트라스트를 허용할 수 있다는 점에서 불리할 수 있다. 이 경우, 전체 부화상 레이팅(SIR)을 계산하기 위해 각 히스토그램 빈의 카운트에 적용되는 부화상(SI) 가중치가, 2개 화소 평균화로부터 더 큰 그룹의 화소에 걸친 평균화까지 진행하는 주화상 값의 함수로서 가용 부화상 콘트라스트에서의 변화를 반영하도록 조정될 수 있다. 이 효과가 도 31에 도시되어 있으며, 도 31은 (a) 4개 화소 평균화 방법에 대한 최대 및 최소 축외 대 축상 휘도 특성에서의 증가된 차이(2개 화소 평균화에 대한 도 3의 등가물과 상반), 및 (b) 주화상 휘도의 함수로서의 가용 부화상 콘트라스트비의 결과적 증가를 도시하고 있다.
이 방법들은, 전환가능한 프라이버시 방법이, 화소의 축상 및 평균 및 축외 평균 밝기를 독립적으로 제어하기 위해 그룹 내의 2개 이상의 화소 뿐만 아니라, 또는 그 그룹 내의 2개 이상의 화소 대신에 2개 이상의 프레임에 걸쳐 화소 밝기의 시간적 또는 공간적 및 시간적 평균화를 이용하는 프로세스에도 역시 적용할 수 있다. 시간적 평균화가 사용되는 경우, 공간 평균화 방법에 대해 도 3에 도시된 바와 같이, 표시 장치에 의해 생성가능한 가용 평균 축외 대 축상 휘도의 범위는, 화상 데이터 변경에 대한 표시 장치의 제한된 응답으로 인해 변경될 수 있다. 따라서, 공간적 평균 방법에 대해 도 4에 도시된 바와 같이, 상대적 부화상 콘트라스트비도 역시 변경될 수 있다. 이 경우, 전체 부화상 레이팅(SIR)을 계산하기 위해 각 히스토그램 빈의 카운트에 적용되는 부화상(SI) 가중치가, 시간적 평균 방법으로부터 발생하는 변경된 부화상 콘트라스트 함수의 주화상 값의 함수로서 가용 부화상 콘트라스트에서의 변화를 반영하도록 조정될 수 있다.
전술된 임의의 예에서, 부화상 콘트라스트 함수에 따라 화상(SI) 가중치를 직접 계산하는 것 대신에, 개선된 프라이버시를 위한 강한 압축에 유리하도록, 및 주화상 콘트라스트에 유리한 저감된 압축에 유리하도록 화상 가중치가 설정될 수도 있다는 점을 이해할 것이다. 가중치는, 표시 사용법이나 현재의 애플리케이션에 따라, 주화상 품질/프라이버시 강도를 타협시키도록 전환가능하거나, 사용자 선택가능하다. SI 가중치 파라미터는 또한, 화소 카운트가 한 히스토그램 빈으로부터 다른 빈으로 이동할 때 SIR의 계산에서 더 강한 신호를 제공하기 위해 증폭된 차이를 가질 수도 있다.
추가 실시예에서, 주화상 데이터에만 기초하여 주화상에 대한 최적 압축 범위를 식별하는 것 대신에, 도 10의 점선 화살표에 포함된 바와 같이, 주화상 및 부화상 양쪽 모두의 조합을 이용하여 범위를 발견할 수도 있다. 이것은 프로세스로 하여금, 주화상 및 부화상이 매우 유사한 경우에 양쪽 화상을 의도한 각도 시야 범위로 정확히 표시하기 위해 압축이 거의 필요없거나 전혀 필요없다는 사실을 이용할 수 있게 한다.
이런 타입의 예시적 방법에서, 표시 장치의 각 화소에 대해 타겟 주화상 및 부화상 휘도값이, 주화상 및 부화상 내의 그 화소에 대응하는 주화상 및 부화상 데이터 값에 따라 결정된다. 이들 타겟 주화상 및 부화상 값들은 도 3에 도시된 바와 같은 축상 대 축외 휘도 공간에서 화소의 타겟 위치를 찾아내는 데 이용된다. 한 쌍의 이웃하는 화소들에 의해 동시에 생성될 수 있는 평균 축상 및 축외 휘도값의 가용 엔빌로프(envelope)는, 그 물체의 Sin=0 및 Sin=3 궤적에 의해 윤곽이 드러난다. 축외 대 축상 휘도 공간에서 화소의 타겟 위치는 가용 엔빌로프와 관련하여 정의될 수 있다. 만일 타겟 위치가 가용 엔빌로프 내에 있다면, 화소의 필요한 축상 및 축외 휘도를 정확히 표시하기 위해 주화상 또는 부화상에 대한 어떠한 압축도 요구되지 않는다. 만일 타겟 위치가 엔빌로프 바깥에 놓여 있다면, 화소를 정확히 표시하기 위해 한쪽 또는 양쪽 화상에 대한 약간의 압축이 적용되어야 한다.
만일 화상 내의 모든 화소들의 축외 대 축상 휘도 공간 내의 위치가 결정된다면, 모든 화소들 중 만족스런 비의 화소들의 타겟 위치를 가용 엔빌로프 내에 가져다 놓는데 필요한 주화상 및 부화상의 압축량이 결정될 수 있으며, 그 압축이 각 화상에 적용된다.
이러한 프로세스가 도 16에 도시되어 있으며, 도 16은, (전체 화소를 모두 나타내면, 설명의 목적상 도트 클라우드가 너무 밀집해지므로) 도시된 주화상 및 부화상으로부터의 무작위 선택된 화소들의 축외 대 축상 휘도점을, 가용 축상 대 축상 엔빌로프의 윤곽선과 함께 도시하고 있다. 도면으로부터 알 수 있는 바와 같이, 주화상과 부화상으로서 사용된 2개의 별개 화상과 더불어, 타겟 포인트는 축외 대 축상 휘도 영역의 대부분을 커버한다.
도 17은, 주화상 및 부화상 양쪽 모두의 압축 후에, 증가된 비의 포인트들이 가용 엔빌로프 내에 어떻게 놓이는지를 도시하고 있다. 대부분의 경우, 허용가능한 축외 휘도의 최대 범위를 유지하기 위해, 부화상 압축은 이용된 축상 휘도값에 대한 축외 휘도의 허용가능한 범위에 의해서만 결정될 것이다. 그러나, 몇몇 경우에는, 예를 들어, 강한 프라이버시 효과가 요구되는 상황에서, 주화상 화소 데이터에 대한 축외 휘도의 의존성은, 동시계속출원 중인(co-pending) 영국 특허 출원 제0916241.3호에 기술된 바와 같이, 값들의 가용 엔빌로프에 의해 요구되는 것보다 큰 양만큼 부화상을 압축함으로써 최소화될 수 있다. 이러한 상황이 도 17에 도시되어 있으며, 여기서 최대 축외 휘도는, 낮은 축상 휘도 및 높은 축외 휘도를 갖는 타겟 축외 대 축상 휘도 포인트들(즉, 산포도(scatter plot)의 좌측 상부의 포인트들)의 더욱 많은 부분을 달성가능한 범위 내에 가져다 놓도록, 축상 휘도가 최대 후-압축 값인 경우에 달성가능한 최대 가용 축외 휘도 아래의 레벨로 저감된다. 이를 달성하기 위해, 부화상 압축은 반드시 주화상 및 부화상에 의존하여 계산되어야 하며, 따라서 도 10에 도시된 예시적 프로세스는, 아마도 도 32에 도시된 방식으로, 부화상에 대한 압축 계산을 포함할 필요가 있을 것이다.
도 18은 주화상 및 부화상이 동일한 경우에 생성되는 타겟 포인트들의 동일한 "클라우드(cloud)"를 도시하고 있다. 이 경우 화상에 대한 어떠한 수정도 필요없이 모든 포인트들이 가용 엔빌로프 내부에 놓인다는 것을 알 수 있다.
도 16은 직접적인 산포도로서, 각 도트는 표시 장치의 화소를 나타내며, x 위치는 주화상의 화소의 휘도에 의해 결정되고, y 위치는 부화상의 화소의 휘도에 의해 결정된다. 도 16은 입력 화상들에 대한 축외 대 축상 휘도의 스프레드(spread)를 도시하며, 프라이버시 프로세스는 고려되지 않는다. 그러나, 표시 장치 고유의 축상 및 축외 감마 곡선들이 고려된다. 중간-그레이 데이터 값을 갖는 주화상 화소는 감마에 의존하는 특정한 정규화된 휘도가 되고, 동일한 데이터를 갖는 부화상 화소는 축외 감마에 의존하는 다른 정규화된 휘도가 된다. 이것은, 2개의 화상이 동일할 때, 포인트들의 스프레드가 도 3의 제로-분할 곡선을 추종하고, 이 곡선이, 프라이버시 프로세스를 고려하지 않는, 표시 장치 고유의 축외 대 축상 곡선으로 되는 이유가 된다. 만일 산포도가, 정규화된 휘도 대신에, 주화상 데이터 대 부화상 데이터를 도시한다면, 그 결과의 플롯은 직선 y=x가 될 것이다. 이와 같은 플롯에 기초하여 이러한 클라우드 압축 기술을 수행하는 것이 가능하며, 가능한 포인트들의 엔빌로프는 휘도로부터 데이터 공간으로의 변환시에 대응하여 형상을 변경하여, y=x 선이 엔빌로프 내에 있게 된다. 어느 경우든, 주화상과 부화상이 동일할 때, 타겟 포인트들의 산포도는 달성가능한 엔빌로프 내에 떨어져, 주화상 압축이 요구되지 않을 것이다. 압축이 요구되지 않더라도, 프라이버시 프로세스는 여전히 정상적으로 동작할 것이다. 프라이버시 프로세스가 적용된 후, 상이한 부화상 레벨들이 그들의 Sin 값에 대응하는 곡선 상으로 이동하고, 이 결과, ?부화상이 앞서와 같이 4개의 동등한 휘도 범위로 분할된다고 가정한다면?, 산포도 포인트들이 프라이버시 처리 후 도 29의 굵은 점선 상에 위치하게 될 것이다.
지정된 비의 타겟 포인트들을 가용 범위 내에 가져다 놓는 데 필요한 최적 압축은 다양한 방법에 의해 달성될 수 있다. 주화상 및 부화상은, 각 단계에서 가용 엔빌로프 내부의 포인트들의 비를 재평가하면서 지정된 비에 도달할 때까지 반복적으로 압축될 수 있다. 엔빌로프 가장자리로부터, 초기에 가용 엔빌로프 외부에 있는 각 포인트의 거리의 평균, 중간값, 또는 기타 지정된 백분위수가 결정되고, 요구되는 화상의 압축을 계산하는 데 이용될 수 있다. 이 경우, 축외 및 축상 성분들에서 필요한 압축 방향의 추정을 허용하기 위해, 결정된 오차는 벡터량일 수 있다. 타겟 축외 대 축상 휘도 포인트들의 클라우드의 "질량 중심(centre of mass)"이 계산되고, 화상이, 이 질량 중심의 포인트를 가용 엔빌로프의 질량 중심과 정렬하도록 압축 및 오프셋된다. 화상은 질량 중심을 향해 모든 타겟 포인트를 이동시키도록 하는 방식으로, 또한 지정된 비의 포인트들을 엔빌로프 내에 가져다 놓는 데 필요한 양만큼, 더욱 압축될 수도 있다. 이와 같은 프로세스에 의해 요구되는 계산 부하를 줄이기 위해, 휘도 관점이 아니라, 등가 세트의 축외 대 축상 타겟 포인트 공간이 데이터 내에 생성되고, 가용 엔빌로프와 등가의 데이터 값이 계산되어 대신 사용될 수 있다.
프라이버시/멀티뷰 프로세스에 대한 최적의 파라미터를 발견하기 위해 스프레드 축외 대 축상 타겟 포인트들과 가용 엔빌로프 구성을 이용하는 많은 가능한 방법들이 존재하고, 본 발명의 범위는 상기 열거된 것들로 제한되지 않으며, 최적의 파라미터의 계산을 허용하는 이와 같은 구성의 이용과 개념, 및 주화상 및 부화상 화소값들 양쪽 모두의 스프레드 고려와 화상 내에서의 이들의 상관성의 정도를 허용하는 임의의 방법에 의해 정의되어야 한다는 것을 알 수 있다.
상기 방법들 중 임의의 방법을 이용하여 일단 압축 범위가 식별되고 나면, 범위 내에 들어맞도록 주화상을 선형으로 압축하는 것 대신에, 전술된 β 및 ∂ 스케일링과 오프셋 파라미터들을 이용하여, 타겟 범위 내의 화소 값들만을 갖도록 주화상의 압축이 비선형으로 이루어질 수 있다(비선형 압축이 적용된다). 예를 들어, 타겟 범위의 가장자리의 데이터 값들, 및 주화상 화소 데이터 값들은 표시 장치의 알려진 감마 지수(gamma exponent)를 이용하여 등가의 휘도로 변환된 다음, 등가의 압축된 데이터 값으로 다시 변환되기 이전에 휘도 관점에서 압축될 수 있다.
일단 압축되고 나면 그 외관을 최적화하기 위해 압축된 화상에, 히스토그램 등화 또는 편평화(flattening) 등의 공지된 화상 처리 기술을 적용하는 것이 유익할 수도 있다. 따라서, 히스토그램 등화 단계가 포함될 수 있다. 상기 방법들 중 하나를 이용하여 일단 타겟 압축 범위가 결정되고 나면, 이 히스토그램 등화 또는 기타의 화상 외관 개선 기술이 압축 단계에 포함될 수도 있다. 이것이 도 23에 도시되어 있다.
또 다른 추가 실시예에서, 주화상 콘텐츠가 분석되고, 도 26에 도시된 바와 같이, 상이한 화상 타입 영역들이 검출된다. 그 다음, 각 영역에 대해 개별적으로 상기 방법들 중 임의의 방법에 따라 최적의 압축 파라미터들이 계산되어, 주화상 품질과 부화상 재생 사이에 더 나은 전반적 타협을 허용한다. 이와 같은 영역 타입은, 흰색 배경 상의 검정색 텍스트 영역(도 26에서 영역 1), 검정색 배경 상의 흰색 텍스트 영역(도 26의 영역 3), 이미지 영역(도 26의 영역 2) 등을 포함할 수 있다. 검정색 상의 흰색(어두운 색 배경의 밝은 색) 텍스트 영역, 및 흰색 상의 검정색(밝은 색 배경의 어두운 색) 텍스트 영역 양쪽 모두가 프로세스에 의해 식별된다면, 도 28에 도시된 바와 같이 영역들 중 하나를 다른 영역의 타입과 일치하도록 반전시키는 것이 유익할 수도 있다. 이러한 반전은, 선호하는 텍스트 타입이 되도록 하는 것일 수도 있고, 화상에 대한 변경을 최소화하도록 초기에 가장 많은 영역을 점유하는 타입이 되도록 하는 것일 수도 있다. 이로써 양쪽 영역들 모두가 개선된 전체 결과를 위해 균일하게 압축될 수 있다. 프라이버시가 요구되지 않는다는 것을 의미하는 것으로서 특정한 부화상 값이 보유되고; 이 경우, 이와 같은 값을 갖는 부화상에 의해 커버된 화상의 임의의 영역에 대해, 도 27에 도시된 바와 같이 어떠한 화상 압축도 적용되지 않을 수도 있다.
또 다른 추가 실시예에서, 상기 압축 파라미터 계산 방법들 중 임의의 방법이 프레임 단위로 적용된다면, 프로세스 파라미터들은 전체 결과를 개선시키기 위해 이전 프레임에서 얻어진 결과에 따라 조정될 수도 있다. 압축 파라미터 계산은 수신된 매 프레임마다 이루어질 필요가 없지만, 매 설정된 개수의 프레임마다 규칙적으로 실행될 수 있고, 예를 들어, 히스토그램 데이터는 매 4개 프레임마다 압축 프로세스에 입력되고, 이 프로세스는, 새로운 세트의 데이터를 다시 수신하기 이전에, 계산을 수행하기 위해 후속하는 3개의 프레임을 이용한다. 계산간 기간의 상이한 프레임들의 개개 컬러 채널에 대해 히스토그램 데이터가 수집될 수도 있고, 예를 들어, 적, 녹, 및 청색 컬러 채널에 대한 히스토그램이 프레임당 하나씩 수집되고, 합산 이전에 정보를 모으기 위해 3개 프레임을 취하고, 후속 프레임 동안에 계산이 수행된다.
이전 결과에 따른 프로세스 파라미터의 조정은, 입력 화상의 콘텐츠가 선호하는 한 세트의 압축 파라미터와 또 다른 압축 파라미터 사이의 임계치 부근에서 등락할 때 압축 파라미터들에서의 반복적인 전후 변화를 방지하기 위해 프로세스 파라미터에서의 히스테리시스의 형태를 취할 수도 있다. 예를 들어, 계산된 압축 파라미터들이 한 방향으로 변하면(아마도 증가된 압축), 되변경하기 위한 임계치가 줄어들어, 전체 화상 콘텐츠는, 이들이 다시 변하기 위해서 이전의 파라미터 세트를 초래한 지점을 지나 변해야 한다. 이것이 도 24에 도시되어 있다.
이것은, 특히 표시 장치에서 비디오 콘텐츠가 표시되고 있을 때, 압축 파라미터들의 어떤 변경을 비디오 콘텐츠의 장면 변화에 링크시키는 형태를 취할 수도 있다. 예를 들어, 압축 파라미터들의 변경이 원하는 대로 계산되고 있다면, 이 변경은 주화상의 콘텐츠가 프레임 단위로 갑자기 변할 때까지 억제되어, 적용된 압축 파라미터들에서의 변경이 축상 관찰자에게 지나치게 두드러지는 것을 방지한다. 이것이 도 25에 도시되어 있다. 이것은, 점진적으로 변동하는 비디오 콘텐츠로부터 야기되는 적용된 압축 파라미터들에서의 산만한 변경을 방지할 것이다. 이와 같은 장면 변경은, 순차적 프레임들의 화상 히스토그램을 비교하고, 히스토그램에서의 전반적 차이를 합산한 다음, 설정된 양보다 큰 전체 차를 장면 변화로서 취하는 등의, 알려진 방법에 의해 검출될 수 있다.
이것은, 압축 파라미터의 변경량을 프레임당 소정량으로 제한하는 형태를 취할 수도 있다. 계산되는 압축 파라미터에서의 많은 변경이 바람직한 경우에, 이 프로세스는, 관찰되는 화상에서의 뚜렷한 변화가 덜 눈에 띄도록 하기 위해 압축 파라미터에서의 중간 변경을 계산하여 일련의 프레임에 걸쳐 적용할 것이다. 일련의 프레임에 걸쳐, 앞서 설명되고 도 12에 나타낸 바와 같은 예시적 프로세스에 의해 계산된 최적 파라미터를 향하여, 이와 같은 압축 파라미터에서의 점진적 변화를 수행하는 회로에 대한 예시적 블록도가 도 30에 주어져 있다.
비록 공용 모드와 개인용 모드 모두에서 동작할 수 있고 2개 모드 사이에서 전환할 수 있는 표시 장치를 제공하는 것이 정상이지만, 본 발명은 개인용 모드에서만 동작할 수 있는 표시 장치에도 적용가능하다는 것을 이해할 것이다.
본 발명의 실시예에서의 사용을 위해 반복적 압축 기술이 설명되고 있지만, 예를 들어 주화상 콘텐츠와 콘트라스트비 분포 사이의 비교에 기초하여 최종 압축이 하나의 단계에서 결정되는 것도 가능하다. 반복적 프로세스가 아니라 하나의 단계가 수행되는 경우, 도 10은 표시 제어기에 의해 수행되는 프라이버시/멀티뷰 맵핑 이전에 별개의 단계로서 적응적 압축이 실행되는 것을 도시하고 있지만, 적응적 압축의 적어도 일부가 프라이버시/멀티뷰 맵핑의 일부로서 실행되는 것도 역시 가능하다. 예를 들어, GB2457106A는, 주화상 데이터 및 부화상 데이터의 맵핑을 수행하기 위해 룩업 테이블(LUT)의 이용을 설명하고 있지만, 적응적 압축의 적어도 일부는 LUT 그 자체 내에 병합될 수 있다는 것은 명백하다. 복수의 상이한 LUT들이 제공되고, 그 중 하나가 화상 콘텐츠의 분류에 기초하여 선택될 수 있고, 예를 들어, "주로 어두운 원본", "주로 밝은 원본", 및 "혼합된 밝기의 원본"에 대해 상이한 LUT가 제공되고, 각각은 상이한 타입의 적응적 맵핑을 포함할 수 있다. 대안으로서, 주화상 콘텐츠에 기초하여 LUT 맵핑을 다시 채울 수 있지만, 이것은 더욱 계산 집약적인 일이 될 것이다.
도 33은 본 발명의 실시예에 따른 장치(10)의 개관을 나타낸다. 장치(10)는 주화상 데이터를 수신하기 위한 입력(12), 부화상 데이터를 수신하기 위한 입력(14), 화상 데이터 압축부(16), 맵핑부(18), 및 출력(20)을 포함한다. 장치(10)는 표시 장치의 표시 패널에 의한 표시용의 화상 데이터를 처리하는 방법을 수행하도록 구성된다. 입력(12 및 14)은 각각 주화상을 나타내는 주화상 화소 데이터와 부화상을 나타내는 부화상 화소 데이터를 수신하도록 배치된다. 맵핑부(18)는 표시 패널을 구동하는 데 사용되는 신호로의 화소 데이터의 맵핑을 수행하도록 배치된다. 맵핑은, 주로 주화상 화소 데이터에 의존하는 평균 축상 휘도와, 적어도 소정 범위까지 부화상 화소 데이터에 의존하는 평균 축외 휘도를 생성하도록 구성된다. 화상 데이터 압축부(16)는, 적어도 부분적으로 주화상 화소 데이터에 의존하고 또한 적어도 부분적으로 상기 맵핑에 입력되는 화소 데이터에 따라 축외 휘도가 어떻게 변하는지에 따라 의존하여, 주화상 화소 데이터의 압축을 수행하도록 배치된다. 압축은 맵핑에 앞서 수행되거나 적어도 부분적으로 맵핑에 포함되어 수행된다. 맵핑의 결과는 출력(20)에서 이용가능하며, 표시 장치의 표시 패널의 구동에 이용된다. 부분들(12, 14, 16, 및 18)은 각각, "주화상 데이터", "부화상 데이터", "적응적 압축", 및 "표시 제어기"라는 명칭이 붙은, 도 10 및 도 32의 부분에 대응한다. 도 33에서 20으로 표시된 부분은, 도 10 및 도 32의 "표시 제어기"라 표시된 부분으로부터의 출력에 대응한다. 장치(10)는 도 10 및 도 32의 표시 제어기를 사실상 포함하므로, 도 19에 나타낸 것과 같은 표시 장치의 표시 제어기(1)로서 사용될 수 있다는 것을 이해할 것이다.
전술된 설명은 주화상 화소 데이터의 압축을 언급하였지만, 압축이 실제로는 주화상 화소 데이터 범위의 네거티브 압축(또는 팽창/확장)인 수정 유형의 주화상에 대해서도 유익할 수 있다는 것은 명백하다. 이것은, 예를 들어, 주화상이 초기에 매우 낮은 콘트라스트를 가지며, 주화상 데이터의 분포가 매우 좁은 경우에 해당될 수 있다.
전술된 컴포넌트들 중 하나 이상의 동작은 장치 또는 기구에서 동작하는 프로그램에 의해 제어될 수 있다는 것을 이해할 것이다. 이와 같은 동작 프로그램은 컴퓨터-판독가능한 매체에 저장되거나, 예를 들어, 인터넷 웹사이트로부터 제공된 다운로드가능한 데이터 신호와 같은 신호로 구현될 수도 있다. 첨부된 청구항들은, 동작 프로그램 그 자체, 캐리어 상의 기록물로서, 신호로서, 또는 기타 임의의 형태를 커버하는 것으로서 해석되어야 한다.
본 발명의 일부 실시예들은, 주화상 화소 데이터의 전부 또는 적어도 미리 결정된 일부가 축상 휘도 범위 내로 압축되고, 그 범위는 적어도 부분적으로 주화상 화소 데이터에 의해 결정되도록 하는 방식으로, 주화상 화소 데이터가 압축되는 방법을 개시하고 있다.
본 발명의 일부 실시예들은, 부화상 화소 데이터에서의 변화에 의해 생성되는 축외 휘도의 범위의 측정이 주화상 화소 데이터에 따라 변동하도록, 주화상 화소 데이터에 적어도 일부 의존하면서 부화상 화소 데이터에 의존하는 평균 축외 휘도를 생성하도록 맵핑이 구성되는, 방법을 개시하고 있다.
본 발명의 일부 실시예들은, 전술된 "측정"이 미리 결정된 레벨 위에 있거나 및/또는 범위에 걸쳐 미리 결정된 레벨 아래의 변동을 보이도록 범위가 결정될 수 있는, 방법을 개시하고 있다.
본 발명의 일부 실시예들은, 가능한 축외 휘도의 범위가 더 큰 곳에 더 많은 주화상 화소 데이터를 배치하는 경향이 있도록 주화상 화소 데이터가 압축될 수 있는, 방법을 개시하고 있다.
본 발명의 일부 실시예들은, 주화상 화소 데이터에 대응하는 측정치에 의존하여 결정된 값에 의해 적어도 일부의 주화상 화소 데이터의 각각을 가중하는 단계와, 가중된 값들의 합을 최적화, 예를 들어, 최대화하도록 주화상 화소 데이터를 압축하는 단계를 포함하는 방법을 개시하고 있다.
본 발명의 일부 실시예들은, 측정치가 가장 높은 가용 축외 휘도 대 가장 낮은 가용 휘도의 비에 관련되어 있는, 방법을 개시하고 있다.
본 발명의 일부 실시예들은, 적어도 부분적으로 부화상 화소 데이터에 의존하여 압축이 수행될 수 있는, 방법을 개시하고 있다.
본 발명의 일부 실시예들은, 적어도 동일한 압축이 모든 공간적으로 대응하는 부화상 화소 등가 휘도값에 적용될 때, 미리 결정된 비의 주화상 화소들 각각에 대해, 그 공간적으로 대응하는 부화상 화소의 등가 휘도값이 주화상 화소에 대한 축외 휘도값의 가능한 범위 내에 들도록 하는 방식으로 주화상 화소 데이터가 압축되는, 방법을 개시하고 있다.
본 발명의 일부 실시예들은, 예를 들어 주화상 화소 분포의 어떠한 압축도 없이 맵핑에서 부화상 화소가 주화상 화소로서 이용되는 경우 부화상 화소에 대한 등가 휘도값이 축외에서 관찰되는 것이 되는, 방법을 개시하고 있다.
본 발명의 일부 실시예들은, 축상 콘트라스트를 보존하기 위하여, 압축된 주화상 화소 데이터의 스프레드에 소정 형태의 하한이 설정되는, 방법을 개시하고 있다. 축외 콘트라스트를 유지하기 위해 압축된 등가 휘도값의 스프레드에 소정 형태의 하한을 설정할 수도 있다. 점진적으로 증가하는 압축이 적용되는 반복적 압축 프로세스가 수행되는 경우(이하 참조), 이것은 너무 많은 압축이 적용되기 이전에 반복적 압축을 중단함으로써 달성될 수 있다.
본 발명의 일부 실시예들은, 압축이 반복적 프로세스를 포함하고, 반복적 프로세스는 부화상 품질의 미리 결정된 측정치에 의해 유도되는, 방법을 개시하고 있다.
본 발명의 일부 실시예들은, 실질적으로 주화상 데이터 열화를 증가시키는 순서로, 부화상 품질의 미리 결정된 측정치가 미리 결정된 임계치에 도달할 때까지 복수의 압축이 반복적으로 시도되는, 방법을 개시하고 있다.
본 발명의 일부 실시예들은, 예를 들어, 부화상 품질의 미리 결정된 측정치가 미리 결정된 임계치를 초과하는 시험 압축들 중 하나의 시험 압축 또는 최종 시험 압축에 따라, 주화상 화소 데이터의 일회 압축이 시험 압축에 기초하여 실행되는 방법을 개시하고 있다. 대안으로서, 각 시험 압축이 주화상 화소 데이터의 실제 압축을 수행하는 단계를 포함할 수도 있다.
본 발명의 일부 실시예들은, 미리 결정된 측정치가 전술된 가중된 값들의 합인, 방법을 개시하고 있다.
본 발명의 일부 실시예들은, 부화상 품질의 미리 결정된 측정치가 주화상 열화의 측정치에 관해 밸런싱될 수 있는, 방법을 개시하고 있다.
본 발명의 일부 실시예들은, 주화상 화소 데이터가, 주화상 화소 데이터에 대해 이용가능한 데이터 값 레벨들의 수보다 적은 복수의 데이터 값 또는 휘도 범위들로 그룹화되고, 압축은 개개의 화소 데이터 값이 아니라 주화상 화소 데이터 그룹화에 기초하여 수행될 수 있는, 방법을 개시하고 있다.
본 발명의 일부 실시예들은, 히스토그램 등화 단계를 포함하는 방법을 개시하고 있다.
본 발명의 일부 실시예들은, 비선형 압축을 적용하는 단계를 포함하는 방법을 개시하고 있다.
본 발명의 일부 실시예들은, 주화상의 복수 영역들을 식별하는 단계와, 상이한 영역들에 상이한 압축을 적용하는 단계를 포함하는 방법을 개시하고 있다.
본 발명의 일부 실시예들은, 영역들 중 적어도 한 영역의 주화상 데이터를, 다른 영역들 중 적어도 한 영역의 분포와 더욱 유사한 분포를 갖도록 반전시키거나 기타의 처리를 행하는 단계를 포함하는 방법을 개시하고 있다.
본 발명의 일부 실시예들은, 시간 순서로 수신된 복수의 프레임들 각각에 대해 방법을 수행하고, 각 프레임은 주화상 및 부화상을 포함하거나 지정하거나 이들과 관련되어 있는, 방법을 개시하고 있다.
본 발명의 일부 실시예들은, 각 프레임에 대해 수행되는 압축이 시간 순서상 적어도 하나의 이전 프레임에 대해 수행된 압축에 의존하는, 방법을 개시하고 있다.
본 발명의 일부 실시예들은, 각 프레임에 대해 수행되는 압축이, 주화상 및/또는 부화상이 시간 순서상 적어도 하나의 이전 프레임으로부터 변화된 정도에 의존하는, 방법을 개시하고 있다.
본 발명의 일부 실시예들은, 압축에서의 변경의 적어도 일부를, 미리 결정된 임계 레벨보다 높은 주화상에서의 변화가 검출될 때까지 및/또는 미리 결정된 임계 레벨보다 높은 주화상에서의 변화와 일치할 때까지 지연시키는 단계를 포함하는 방법을 개시하고 있다.
본 발명의 일부 실시예들은, 다수의 프레임, 예를 들어 1 내지 2 프레임에 걸쳐 압축이 변경될 수 있는 범위에 관해 제한을 설정하는 단계, 및/또는 그 개수의 프레임에 걸쳐 압축에 대한 변경을 적용하는 단계를 포함하는, 방법을 개시하고 있다.
본 발명의 일부 실시예들은, n이 1이상의 정수인 매 n 프레임마다 수행되는 방법을 개시하고 있다.
본 발명의 일부 실시예들은, 압축이 적어도 한 세트의 주화상 화소 데이터에 대한 네거티브 압축이 되도록 결정될 수 있는, 방법을 개시하고 있다. 네거티브 압축은 팽창(expansion)이나 확장(stretching)과 등가이다.
당업자라면, 첨부된 특허청구범위에 의해 정의된 본 발명의 범위로부터 벗어나지 않고 전술된 실시예들에 대한 다양한 변경이 이루어질 수 있다는 것을 이해할 것이다.

Claims (34)

  1. 표시 장치의 표시 패널에 의한 표시용 화상 데이터를 처리하는 방법으로서,
    주화상(main image)을 나타내는 주화상 화소 데이터와 부화상(side image)을 나타내는 부화상 화소 데이터를 수신하는 단계;
    상기 표시 패널을 구동하는 데 사용되는 신호로의 상기 화소 데이터의 맵핑 - 상기 맵핑은 주로 상기 주화상 화소 데이터에 의존하는 평균 축상(on-axis) 휘도 및 적어도 소정 정도까지 상기 부화상 화소 데이터에 의존하는 평균 축외(off-axis) 휘도를 생성하도록 구성됨 - 을 수행하는 단계; 및
    상기 주화상 화소 데이터에 적어도 부분적으로 의존하고 또한 상기 맵핑에 입력된 화소 데이터에 따라 축외 휘도가 어떻게 변하는지에 적어도 부분적으로 의존하여 상기 주화상 화소 데이터를 압축 - 상기 압축은 상기 맵핑에 앞서 수행되거나 적어도 부분적으로 상기 맵핑에 포함됨 - 하는 단계
    를 포함하는, 화상 데이터 처리 방법.
  2. 제1항에 있어서,
    상기 주화상 화소 데이터의 전부 또는 적어도 미리 결정된 일부가 상기 주화상 화소 데이터에 적어도 부분적으로 의존하여 결정되는 축상 휘도 범위 내로 압축되는 방식으로, 상기 주화상 화소 데이터가 압축되는, 화상 데이터 처리 방법.
  3. 제1항 또는 제2항에 있어서,
    상기 맵핑은, 상기 부화상 화소 데이터에서의 변화에 의해 생성되는 가능한 축외 휘도 범위의 측정치가 상기 주화상 화소 데이터에 따라 변동하도록, 상기 주화상 화소 데이터에 적어도 일부 의존하면서 상기 부화상 화소 데이터에 의존하는 평균 축외 휘도를 생성하도록 구성되는, 화상 데이터 처리 방법.
  4. 제3항에 있어서,
    제2항을 인용하는 경우, 상기 측정치가 미리 결정된 레벨 위에 있고, 및/또는, 상기 범위에 걸쳐 미리 결정된 레벨 아래의 변동을 보이도록, 상기 범위가 결정되는, 화상 데이터 처리 방법.
  5. 제3항 또는 제4항에 있어서,
    상기 주화상 화소 데이터는, 상기 가능한 축외 휘도 범위가 더 큰 곳에 더 많은 주화상 화소 데이터를 배치하는 경향을 갖도록 압축되는, 화상 데이터 처리 방법.
  6. 제5항에 있어서,
    상기 주화상 화소 데이터의 적어도 일부의 각각을, 상기 주화상 화소 데이터에 대응하는 측정치에 의존하여 결정된 값에 의해 가중하는 단계와,
    상기 가중된 값들의 합을 최적화하는 경향을 갖도록 상기 주화상 화소 데이터를 압축하는 단계를 포함하는, 화상 데이터 처리 방법.
  7. 제4항 내지 제6항 중 어느 한 항에 있어서, 상기 측정치는 가장 높은 가용 축외 휘도 대 가장 낮은 가용 휘도의 비에 관련된, 화상 데이터 처리 방법.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서, 상기 압축은 상기 부화상 화소 데이터에 적어도 부분적으로 의존하여 수행되는, 화상 데이터 처리 방법.
  9. 제8항에 있어서,
    제3항을 인용하는 경우, 적어도 모든 공간적으로 대응하는 부화상 화소의 등가 휘도값들에 동일한 압축이 적용될 때, 미리 결정된 비의 주화상 화소들 각각마다, 공간적으로 대응하는 부화상 화소의 등가 휘도값이 상기 주화상 화소에 대한 가능한 축외 휘도 범위 내에 들도록 상기 주화상 화소 데이터가 압축되는, 화상 데이터 처리 방법.
  10. 제9항에 있어서,
    상기 부화상 화소의 등가 휘도값은, 상기 맵핑시에 상기 부화상 화소가 주화상 화소로서 사용되는 경우 축외에서 관찰되는 것인, 화상 데이터 처리 방법.
  11. 제1항 내지 제10항 중 어느 한 항에 있어서,
    축상 콘트라스트를 보존하기 위하여, 압축된 주화상 화소 데이터의 스프레드(spread)에 소정 형태의 하한이 설정되는, 화상 데이터 처리 방법.
  12. 제11항에 있어서,
    제9항을 인용하는 경우, 축외 콘트라스트를 보존하기 위하여, 압축된 등가 휘도값들의 스프레드에 소정 형태의 하한이 설정되는, 화상 데이터 처리 방법.
  13. 제1항 내지 제12항 중 어느 한 항에 있어서,
    상기 압축은 반복적 프로세스를 수행하는 단계를 포함하고, 상기 반복적 프로세스는 부화상 품질의 미리 결정된 측정치에 의해 유도되는, 화상 데이터 처리 방법.
  14. 제13항에 있어서,
    상기 부화상 품질의 미리 결정된 측정치가 미리 결정된 임계치에 도달할 때까지 실질적으로 주화상 데이터 열화를 증가시키는 순서로 복수의 압축이 반복적으로 시험되는, 화상 데이터 처리 방법.
  15. 제14항에 있어서,
    상기 주화상 화소 데이터의 일회 압축은 시험 압축(trial compression)에 기초하여 실행되는, 화상 데이터 처리 방법.
  16. 제14항에 있어서,
    각각의 상기 시험 압축은 상기 주화상 화소 데이터의 실제 압축을 수행하는 단계를 포함하는, 화상 데이터 처리 방법.
  17. 제13항 내지 제16항 중 어느 한 항에 있어서,
    제6항을 인용하는 경우, 상기 미리 결정된 측정치는 가중된 값들의 합에 관련된, 화상 데이터 처리 방법.
  18. 제13항 내지 제17항 중 어느 한 항에 있어서,
    상기 부화상 품질의 미리 결정된 측정치는 주화상 열화의 측정치에 대해 밸런싱되는, 화상 데이터 처리 방법.
  19. 제1항 내지 제18항 중 어느 한 항에 있어서,
    상기 주화상 화소 데이터는, 상기 주화상 화소 데이터에 대해 이용가능한 데이터 값 레벨들의 수보다 적은 복수의 데이터 값 또는 휘도 범위들로 그룹화되고, 상기 압축은 개개의 화소 데이터 값이 아니라 상기 주화상 화소 데이터의 그룹화에 기초하여 수행되는, 화상 데이터 처리 방법.
  20. 제19항에 있어서,
    히스토그램 등화 단계(histogram equalisation step)를 포함하는, 화상 데이터 처리 방법.
  21. 제1항 내지 제20항 중 어느 한 항에 있어서,
    비선형 압축을 적용하는 단계를 포함하는, 화상 데이터 처리 방법.
  22. 제1항 내지 제21항 중 어느 한 항에 있어서,
    상기 주화상의 복수 영역을 식별하는 단계와,
    상이한 영역들에 상이한 압축을 적용하는 단계를 포함하는, 화상 데이터 처리 방법.
  23. 제22항에 있어서,
    상기 영역들 중 적어도 한 영역의 주화상 데이터를, 나머지 영역들 중 적어도 한 영역의 주화상 데이터와 더욱 유사한 분포를 갖도록 반전시키거나 달리 처리하는 단계를 포함하는, 화상 데이터 처리 방법.
  24. 제1항 내지 제23항 중 어느 한 항에 있어서,
    시간 순서로 수신된 복수의 프레임의 각각에 대해 상기 화상 데이터 처리 방법을 수행하는 단계를 포함하고,
    각 프레임은 주화상 및 부화상을 지정하는, 화상 데이터 처리 방법.
  25. 제24항에 있어서,
    각 프레임에 대해 수행되는 압축은 시간 순서상 적어도 하나의 이전 프레임에 대해 수행된 압축에 의존하는, 화상 데이터 처리 방법.
  26. 제24항 또는 제25항에 있어서,
    각 프레임에 대해 수행되는 압축은, 상기 주화상 및/또는 상기 부화상이 시간 순서상 적어도 하나의 이전 프레임으로부터 변화된 정도에 의존하는, 화상 데이터 처리 방법.
  27. 제26항에 있어서,
    압축에서의 변경의 적어도 일부를, 미리 결정된 임계 레벨보다 높은 주화상에서의 변화가 검출될 때까지 및/또는 상기 미리 결정된 임계 레벨보다 높은 주화상에서의 변화와 실질적으로 일치할 때까지 지연시키는 단계를 포함하는, 화상 데이터 처리 방법.
  28. 제24항 내지 제27항 중 어느 한 항에 있어서,
    다수의 프레임에 걸쳐 압축이 변경될 수 있는 정도에 제한을 설정하는 단계, 및/또는 상기 다수의 프레임에 걸쳐 압축에 대한 변경을 적용하는 단계를 포함하는, 화상 데이터 처리 방법.
  29. 제24항 내지 제28항 중 어느 한 항에 있어서,
    상기 방법은 매 n 프레임마다 수행되고, n은 1이상의 정수인, 화상 데이터 처리 방법.
  30. 제1항 내지 제29항 중 어느 한 항에 있어서,
    상기 압축은 적어도 한 세트의 주화상 화소 데이터에 대한 네거티브 압축(negative compression)이 되도록 결정되는, 화상 데이터 처리 방법.
  31. 표시 장치의 표시 패널에 의한 표시용 화상 데이터를 처리하기 위한 장치로서,
    주화상을 나타내는 주화상 화소 데이터와 부화상을 나타내는 부화상 화소 데이터를 수신하기 위한 수단;
    표시 패널을 구동하는 데 사용되는 신호로의 상기 화소 데이터의 맵핑 - 상기 맵핑은 주로 상기 주화상 화소 데이터에 의존하는 평균 축상 휘도와 적어도 소정 범위까지 상기 부화상 화소 데이터에 의존하는 평균 축외 휘도를 생성하도록 구성됨 - 을 수행하기 위한 수단; 및
    상기 주화상 화소 데이터에 적어도 부분적으로 의존하고 또한 상기 맵핑에 입력된 화소 데이터에 따라 축외 휘도가 어떻게 변하는지에 적어도 부분적으로 의존하여 상기 주화상 화소 데이터의 압축 - 상기 압축은 상기 맵핑에 앞서 수행되거나 적어도 부분적으로 상기 맵핑에 포함됨 - 을 수행하기 위한 수단
    을 포함하는, 화상 데이터 처리 장치.
  32. 제31항에 따른 장치를 포함하는, 표시 장치.
  33. 제1항 내지 제30항 중 어느 한 항에 따른 방법을 수행하도록 장치를 제어하기 위한 프로그램.
  34. 제33항에 있어서,
    상기 프로그램은 캐리어 매체 상에서 운반되고, 상기 캐리어 매체는 저장 매체 또는 전송 매체인, 프로그램.
KR1020127009286A 2009-09-16 2010-09-16 표시 장치의 표시 패널에 의한 표시용의 화상 데이터를 처리하기 위한 방법, 장치, 및 프로그램과, 표시 장치 KR101369639B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB0916247A GB2473615A (en) 2009-09-16 2009-09-16 Display privacy image processing method with main image compression depending on off-axis luminance
GB0916247.0 2009-09-16
PCT/JP2010/066617 WO2011034209A1 (en) 2009-09-16 2010-09-16 Method, apparatus and program for processing image data for display by a display panel of a display device, and a display device

Publications (2)

Publication Number Publication Date
KR20120051095A true KR20120051095A (ko) 2012-05-21
KR101369639B1 KR101369639B1 (ko) 2014-03-04

Family

ID=41277802

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127009286A KR101369639B1 (ko) 2009-09-16 2010-09-16 표시 장치의 표시 패널에 의한 표시용의 화상 데이터를 처리하기 위한 방법, 장치, 및 프로그램과, 표시 장치

Country Status (6)

Country Link
US (1) US8836715B2 (ko)
JP (1) JP5439587B2 (ko)
KR (1) KR101369639B1 (ko)
CN (1) CN102576515B (ko)
GB (1) GB2473615A (ko)
WO (1) WO2011034209A1 (ko)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8629821B2 (en) 2011-09-12 2014-01-14 Sharp Kabushiki Kaisha Display device with faster changing side image
GB2496113A (en) * 2011-10-28 2013-05-08 Sharp Kk Multiple view window multi-primary display
GB2496114A (en) * 2011-10-28 2013-05-08 Sharp Kk Adaptive luminance sharing for implementing private display mode
KR20130063131A (ko) * 2011-12-06 2013-06-14 삼성전자주식회사 터치 감지 파라미터 설정 방법 및 장치
US10477208B2 (en) * 2012-09-24 2019-11-12 Intel Corporation Histogram segmentation based local adaptive filter for video encoding and decoding
GB2516637A (en) 2013-07-26 2015-02-04 Sharp Kk Display device and method of driving same
US9402073B2 (en) 2013-08-08 2016-07-26 Sharp Kabushiki Kaisha Image processing for privacy and wide-view using error diffusion
CN105100769B (zh) * 2014-05-05 2018-08-28 浙江大学 一种视觉特效图像或视频对的生成方法及装置
CN106134172B (zh) * 2014-06-10 2019-10-01 松下知识产权经营株式会社 显示系统、显示方法及显示装置
TWI589957B (zh) 2015-07-15 2017-07-01 友達光電股份有限公司 具防窺功能的顯示系統及其顯示方法
US10152812B2 (en) 2015-10-23 2018-12-11 Sharp Kabushiki Kaisha Odd-even veil view for FFS
TWI808970B (zh) 2018-04-30 2023-07-21 圓剛科技股份有限公司 影像訊號轉換裝置
US11475604B2 (en) 2019-03-26 2022-10-18 Tencent America LLC Method and apparatus for adaptive point cloud attribute coding
CN114255713A (zh) * 2020-09-24 2022-03-29 京东方科技集团股份有限公司 背光模组、显示装置及其控制方法
US11574380B2 (en) * 2020-10-13 2023-02-07 Qualcomm Incorporated Methods and apparatus for optimizing GPU kernel with SIMO approach for downscaling utilizing GPU cache

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USRE27617E (en) 1970-10-30 1973-04-17 Louvered transparent sheeting made by skiving
CA1319341C (en) 1985-03-29 1993-06-22 Frederick J. Fox Method of supporting a louvered plastic film
US4766023A (en) 1987-01-16 1988-08-23 Minnesota Mining And Manufacturing Company Method for making a flexible louvered plastic film with protective coatings and film produced thereby
US5147716A (en) 1989-06-16 1992-09-15 Minnesota Mining And Manufacturing Company Multi-directional light control film
US5528319A (en) 1993-10-13 1996-06-18 Photran Corporation Privacy filter for a display device
GB2413394A (en) 2004-04-20 2005-10-26 Sharp Kk Display
GB2428152A (en) * 2005-07-08 2007-01-17 Sharp Kk Processing image data for direction dependent viewing on a display device
US7965268B2 (en) 2005-07-08 2011-06-21 Sharp Kabushiki Kaisha Display device and liquid crystal display panel
CN101501745B (zh) * 2006-08-02 2011-04-20 日本电气株式会社 图像处理器、显示设备和图像显示系统
JP2008052058A (ja) * 2006-08-24 2008-03-06 Sharp Corp 表示装置、通信システム、視野角制御方法、視野角制御プログラム、記録媒体、および表示コントローラ
US8194016B2 (en) 2007-09-26 2012-06-05 Chimei Innolux Corporation Liquid crystal display with peep-preventing function
TWI385629B (zh) * 2007-10-12 2013-02-11 Chimei Innolux Corp 液晶顯示裝置的驅動方法
GB2455061A (en) 2007-10-30 2009-06-03 Sharp Kk Liquid Crystal Device with three sets of electrodes for controlling tilt and azimuth angles
EP2227797A1 (en) 2007-11-29 2010-09-15 Koninklijke Philips Electronics N.V. Method and device for providing privacy on a display
JP2009204862A (ja) * 2008-02-27 2009-09-10 Fujitsu Ten Ltd 映像信号処理装置、表示装置、及び、映像信号処理方法
GB2457106A (en) 2008-03-04 2009-08-05 Sharp Kk LCD device with luminance variations perceivable only by off-axis viewers
GB2464521A (en) 2008-10-20 2010-04-21 Sharp Kk Processing image data for multiple view displays
GB2473614A (en) 2009-09-16 2011-03-23 Sharp Kk Private display with main and side images and axis-dependent luminance control

Also Published As

Publication number Publication date
GB2473615A (en) 2011-03-23
KR101369639B1 (ko) 2014-03-04
JP2013502601A (ja) 2013-01-24
US20120176404A1 (en) 2012-07-12
WO2011034209A1 (en) 2011-03-24
US8836715B2 (en) 2014-09-16
CN102576515A (zh) 2012-07-11
CN102576515B (zh) 2014-11-12
JP5439587B2 (ja) 2014-03-12
GB0916247D0 (en) 2009-10-28

Similar Documents

Publication Publication Date Title
KR101369639B1 (ko) 표시 장치의 표시 패널에 의한 표시용의 화상 데이터를 처리하기 위한 방법, 장치, 및 프로그램과, 표시 장치
KR101390637B1 (ko) 표시 패널을 포함하는 표시 장치를 동작시키기 위한 기기, 표시 장치, 방법, 프로그램, 저장 매체 및 룩업 테이블
JP5436647B2 (ja) 表示装置、制御方法
KR101048374B1 (ko) 히스토그램에 근거한 다이나믹 백라이트 제어 시스템들 및 방법들
JP2013502601A5 (ko)
KR101007714B1 (ko) 입력 감마 디더링 시스템 및 방법
KR101384166B1 (ko) 디스플레이 패널에 의해 디스플레이될 영상 데이터를 처리하는 장치, 디스플레이 디바이스 및 그 방법
KR101696743B1 (ko) 표시장치를 위한 백라이트 단계 선택
KR101048375B1 (ko) 포스트-칼라 스페이스 변환 처리 시스템 및 방법
US20130222414A1 (en) Color signal processing device
GB2464521A (en) Processing image data for multiple view displays
JP2013502603A5 (ko)
TWI478141B (zh) 處理用於圖像顯示面板之圖像資料之方法
JP5896834B2 (ja) 画像調整ユニット、画像表示装置、コンピュータプログラム、記録媒体及び画像調整方法
Jung et al. Power constrained contrast enhancement based on brightness compensated contrast-tone mapping operation
WO2010007584A1 (en) Mobile electronic device and method of controlling a display in a mobile electronic device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee