KR101384166B1 - 디스플레이 패널에 의해 디스플레이될 영상 데이터를 처리하는 장치, 디스플레이 디바이스 및 그 방법 - Google Patents

디스플레이 패널에 의해 디스플레이될 영상 데이터를 처리하는 장치, 디스플레이 디바이스 및 그 방법 Download PDF

Info

Publication number
KR101384166B1
KR101384166B1 KR1020127007550A KR20127007550A KR101384166B1 KR 101384166 B1 KR101384166 B1 KR 101384166B1 KR 1020127007550 A KR1020127007550 A KR 1020127007550A KR 20127007550 A KR20127007550 A KR 20127007550A KR 101384166 B1 KR101384166 B1 KR 101384166B1
Authority
KR
South Korea
Prior art keywords
image
side image
processing step
processing
feature
Prior art date
Application number
KR1020127007550A
Other languages
English (en)
Other versions
KR20120061919A (ko
Inventor
앤드류 케이
알란 에반스
벤자민 존 브로튼
겐지 마에다
Original Assignee
샤프 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 샤프 가부시키가이샤 filed Critical 샤프 가부시키가이샤
Publication of KR20120061919A publication Critical patent/KR20120061919A/ko
Application granted granted Critical
Publication of KR101384166B1 publication Critical patent/KR101384166B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • G09G3/3611—Control of matrices with row and column drivers
    • G09G3/3648—Control of matrices with row and column drivers using an active matrix
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09F—DISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
    • G09F19/00—Advertising or display means not otherwise provided for
    • G09F19/12—Advertising or display means not otherwise provided for using special optical effects
    • G09F19/14—Advertising or display means not otherwise provided for using special optical effects displaying different signs depending upon the view-point of the observer
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • H04N5/205—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic
    • H04N5/208—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic for compensating for attenuation of high frequency components, e.g. crispening, aperture distortion correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/57—Control of contrast or brightness
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/028—Improving the quality of display appearance by changing the viewing angle properties, e.g. widening the viewing angle, adapting the viewing angle to the view direction
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0606—Manual adjustment
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/068—Adjustment of display parameters for control of viewing angle adjustment
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/16—Calculation or use of calculated indices related to luminance levels in display data
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2003—Display of colours
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2092—Details of a display terminals using a flat panel, the details relating to the control arrangement of the display terminal and to the interfaces thereto

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Chemical & Material Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Marketing (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Processing (AREA)
  • Liquid Crystal (AREA)
  • Liquid Crystal Display Device Control (AREA)

Abstract

디스플레이 디바이스의 디스플레이 패널에 의해 디스플레이될 영상 데이터를 처리하는 방법이 제공된다. 이 방법은 메인 영상을 나타내는 메인 영상 픽셀 데이터 및 측면 영상을 나타내는 측면 영상 픽셀 데이터를 수신하는 단계를 포함한다. 제1 처리 단계로서, 픽셀 데이터를 디스플레이 패널을 구동하는 데 사용되는 신호에 맵핑하는 것이 수행된다. 맵핑은 메인 영상 픽셀 데이터에 주로 의존하는 평균 축방향 휘도(average on-axis luminance) 및 측면 영상 픽셀 데이터에 적어도 어느 정도 의존하는 평균 비축방향 휘도(average off-axis luminance)를 생성하도록 구성되어 있다. 제2 처리 단계로서, 측면 영상의 적어도 하나의 특징을 엠퍼시스하도록 수신된 측면 영상 픽셀 데이터가 처리되고, 그렇지 않았으면 제1 처리 단계의 결과 축 방향을 벗어나 디스플레이되는 측면 영상에서 시청자에 의해 디엠퍼시스된 것으로 인식될 수도 있다.

Description

디스플레이 패널에 의해 디스플레이될 영상 데이터를 처리하는 장치, 디스플레이 디바이스 및 그 방법{APPARATUS, DISPLAY DEVICE AND METHOD THEREOF FOR PROCESSING IMAGE DATA FOR DISPLAY BY A DISPLAY PANEL}
본 발명은 개인 디스플레이 모드(private display mode)에서 동작하는 능동 매트릭스 디스플레이 디바이스와 같은 디스플레이 디바이스 내의 디스플레이 패널에 의해 디스플레이될 영상 데이터를 처리하는 장치, 디스플레이 디바이스, 프로그램 및 그 방법에 관한 것이다.
공개 디스플레이 모드(public display mode)와 개인 디스플레이 모드 사이에서 전환가능한 디스플레이 디바이스의 제1 공개 모드에서, 디바이스는 통상 표준 디스플레이로서 거동한다. 단일 영상이 디바이스에 의해 가능한 한 넓은 시야각 범위로서 모든 시청자에 대해 최적의 밝기, 영상 콘트라스트 및 해상도로 디스플레이된다. 제2 개인 모드에서, 메인 영상(main image)은 보통 디스플레이 표면에 대한 법선을 중심으로, 축소된 시야각 범위 내에서만 분간할 수 있다. 이 축소된 각도 범위 밖에서 디스플레이를 보고 있는 시청자는 메인 영상을 가리는 제2 마스킹 영상, 또는 알아볼 수 없도록 열화된 메인 영상을 인식할 것이다.
이 개념은 첨부 도면 중 도 4에 예시되어 있으며, 디스플레이 디바이스(401)의 "메인 뷰(main view)"(402)는 디스플레이 디바이스(401)의 주 사용자(404)의 눈이 디스플레이 디바이스(401)의 주축에 가까이 있을 때 실질적으로 주 사용자(404)에게만 보이고, 하나 이상의 "측면 뷰(side view)"(403)는 축 방향을 벗어나 있는 것으로 가정된 다른 사용자(405)에게 보이도록 설계되어 있다.
이 개념은 사용자가 프라이버시가 요망되는 특정의 공개 상황에서 사용하기 위한 보통의 광시야 디스플레이 상의 프라이버시 기능 옵션의 혜택을 받을 수 있는 많은 디바이스에 적용될 수 있다. 이러한 디바이스의 예는 휴대폰, PDA(Personal Digital Assistant), 랩톱 컴퓨터, 데스크톱 모니터, ATM(Automatic Teller Machine) 및 EPOS(Electronic Point of Sale) 장비를 포함한다. 이러한 디바이스는 또한 특정의 시청자(예를 들어, 운전자 또는 중장비를 조작하는 자)가 특정의 때에 특정의 영상, 예를 들어, 자동차가 움직이고 있는 동안 차량내 텔레비전 화면을 볼 수 있는 것이 주의를 산만하게 하고 따라서 안전하지 않은 상황에서 유익할 수 있다.
광 제어 장치를 본래 광 시야 범위의 디스플레이에 추가하는 몇가지 방법이 존재한다.
광의 방향을 제어하는 한가지 이러한 구조물은 '루버' 필름(louvred film)이다. 이 필름은 베니션 블라인드(Venetian blind)와 유사한 배열로 교번하는 투명층 및 불투명층으로 이루어져 있다. 베니션 블라인드와 같이, 이 필름은 광이 층에 거의 평행인 방향으로 진행하고 있을 때 광이 필름을 통과할 수 있게 하지만, 층의 평면에 큰 각도로 진행하는 광을 흡수한다. 이들 층은 필름의 표면에 수직이거나 소정의 다른 각도로 있을 수 있다. 이러한 필름을 제조하는 방법은 USRE27617(F.O. Olsen; 3M 1973), US4766023(S. -L. Lu, 3M 1988), 및 US4764410(R. F. Grzywinski; 3M 1988)에 기술되어 있다.
루버 필름과 유사한 특성을 갖는 필름을 제조하는 다른 방법이 존재한다. 이들은, 예를 들어, US05147716(P.A. Bellus; 3M 1992), 및 US05528319(R.R. Austin; Photran Corp. 1996)에 기술되어 있다.
루버 필름은 디스플레이를 볼 수 있는 각도 범위를 제한하기 위해 디스플레이 패널의 전방에 또는 투과 디스플레이와 그의 백라이트 사이에 위치될 수 있다. 환언하면, 이들은 디스플레이를 "개인적인 것"으로 만든다.
이러한 필름의 주된 한계는 공개 시청 모드와 개인 시청 모드 사이에서 디스플레이를 변경하기 위해 기계적 조작, 즉, 필름의 제거를 필요로 한다는 것이다.
GB2413394 (Sharp, 2004)에서, 하나 이상의 부가 액정층 및 편광기를 디스플레이 패널에 추가함으로써 전자적으로 전환가능한 프라이버시 디바이스가 구성된다. 이 부가적인 요소의 본질적인 시야각 의존성이 액정을 공지된 방식으로 전기적으로 전환시킴으로써 변경될 수 있다. 이 기술을 이용하는 디바이스는 Sharp Sh851i 및 Sh902i 휴대폰을 포함한다.
상기 방법은 시야각 범위를 전기적으로 전환하는 기능을 제공하기 위해 디스플레이에 부가 장치를 추가하는 것을 필요로 한다는 단점이 있다. 이것은 디스플레이의 단가, 특히 크기를 증가시키고, 이는 아주 바람직하지 않으며, 휴대폰 및 랩톱 컴퓨터와 같은 모바일 디스플레이 응용에서 특히 그렇다.
디스플레이의 단일 액정층을, 둘다 축 방향 시청자에게 고품질 영상을 디스플레이할 수 있는 2가지 상이한 구성 사이에서 전환함으로써 LCD의 시야각 특성을 제어하는 방법이 US20070040780A1(Sharp, 2005) 및 WO2009057417A1(Sharp, 2007)에 기술되어 있다. 이들 디바이스는 디스플레이 두께를 증가시킬 필요없이 전환가능한 프라이버시 기능을 제공하지만, 복잡한 픽셀 전극 설계 및 표준 디스플레이에 대한 기타 제조 수정을 필요로 한다.
디스플레이 하드웨어 복잡도를 증가시키지 않고 프라이버시 모드 기능을 갖는 디스플레이 디바이스의 예가 WO2009/069048에 개시되어 있다. 다른 이러한 예는 인접한 픽셀들에 상이한 레벨의 신호 전압이 인가됨으로써 그 픽셀의 평균 밝기가 디스플레이의 감마 곡선에 따라 신호 전압에 따라 변하여 축 방향에서 볼 때 예상된 영상을 보여주고, 축 방향을 벗어나서 시각적으로 식별가능하지 않은 정도로 영상의 콘트라스트를 변경하기 위해, 축 방향을 벗어나서 볼 때 평균 밝기가 지정된 전압 범위 내에서 일정한 레벨에 있는 디스플레이에 대한 프라이버시 모드를 개시하고 있는 US20090079674A1에 제공되어 있다.
디스플레이 하드웨어 복잡도를 증가시키지 않고 프라이버시 모드 기능을 갖는 디스플레이 디바이스의 다른 예는 Sh702iS 휴대폰이다. 이것은, 중심을 벗어난 위치로부터 디스플레이를 보는 시청자는 디스플레이된 정보를 알아볼 수 없는 개인 모드를 생성하기 위해, 디스플레이에서 사용되는 액정 모드에 본질적인 각도 데이터-휘도 특성과 관련하여 전화기의 LCD에 디스플레이되는 영상 데이터를 조작하는 것을 사용한다. 그러나, 개인 모드에서 정당한 축 방향 시청자에게 디스플레이되는 영상의 품질이 심각하게 열화된다.
Sh702iS 전화기에서 사용되는 것과 유사하지만 제2 마스킹 영상에 의존하는 방식으로 영상 데이터를 조작하고 따라서 수정된 영상이 디스플레이될 때 그 마스킹 영상이 축 방향을 벗어난 시청자에 의해 인지되게 하는 방식은, GB2428152A1(2007년 1월 17일자로 공개됨) 및 GB 출원 GB0804022.2(2009년 8월 5일자로 GB2457106A로서 공개됨)에 개시되어 있다. 상기 공개물에 개시되어 있는 방법은 "ASV(Advanced Super View)"(IDW'02 Digest, pp 203-206) 또는 PSA(Polymer Stabilised Alignment)(SID'04 Digest, pp 1200- 1203)와 같은 많은 액정 디스플레이 모드에 본질적인, 시야각에 따른 데이터 값 대 휘도 곡선의 변화를 사용한다.
LC 패널 상에 디스플레이되는 영상의 데이터 값은, 디스플레이의 전방에서(축 방향에서) 볼 때에는 메인 영상이 재현(reproduce)되도록 이웃 픽셀들에 적용되는 수정이 효과적으로 상쇄되지만, 비스듬한(축 방향을 벗어난) 각도에서 볼 때에는 이웃 픽셀들에 대한 수정의 결과로서 적용된 수정의 정도에 따라 순수 휘도 변화가 일어남으로써 인지된 영상이 변경될 수 있는 방식으로 변경된다.
GB2428152A1 및 GB2457106A에 기술된 방법에 대한 개선을 제공하는 것이 바람직하다.
본 발명의 제1 양태에 따르면, 디스플레이 디바이스의 디스플레이 패널에 의해 디스플레이될 영상 데이터를 처리하는 방법이 제공되며, 이 방법은 메인 영상을 나타내는 메인 영상 픽셀 데이터 및 측면 영상을 나타내는 측면 영상 픽셀 데이터를 수신하는 단계, 제1 처리 단계로서 픽셀 데이터를 디스플레이 패널을 구동하는 데 사용되는 신호에 맵핑하는 것을 수행하는 단계 - 맵핑은 메인 영상 픽셀 데이터에 주로 의존하는 평균 축방향 휘도(average on-axis luminance) 및 측면 영상 픽셀 데이터에 적어도 어느 정도 의존하는 평균 비축방향 휘도(average off-axis luminance)를 생성하도록 구성되어 있음 -, 및 제2 처리 단계로서 상기 측면 영상의 적어도 하나의 특징을 엠퍼시스(emphasise)하도록 수신된 상기 측면 영상 픽셀 데이터를 처리하는 단계 -그렇지 않았으면 제1 처리 단계의 결과로서 축 방향을 벗어나 디스플레이되는 측면 영상에서 시청자에 의해 디엠퍼시스(de-emphasise)된 것으로 인식될 수도 있음 -를 포함한다.
본 발명의 제2 양태에 따르면, 디스플레이 디바이스의 디스플레이 패널에 의해 디스플레이될 영상 데이터를 처리하는 방법을 수행하도록 구성된 장치가 제공되며, 이 방법은 메인 영상을 나타내는 메인 영상 픽셀 데이터 및 측면 영상을 나타내는 측면 영상 픽셀 데이터를 수신하는 단계, 제1 처리 단계로서 상기 픽셀 데이터를 상기 디스플레이 패널을 구동하는 데 사용되는 신호에 맵핑하는 것을 수행하는 단계 -맵핑은 메인 영상 픽셀 데이터에 주로 의존하는 평균 축방향 휘도 및 측면 영상 픽셀 데이터에 적어도 어느 정도 의존하는 평균 비축방향 휘도를 생성하도록 구성되어 있음 -, 및 제2 처리 단계로서 측면 영상의 적어도 하나의 특징을 엠퍼시스하도록 수신된 측면 영상 픽셀 데이터를 처리하는 단계 -그렇지 않았으면 제1 처리 단계의 결과로서 축 방향을 벗어나 디스플레이되는 측면 영상에서 시청자에 의해 디엠퍼시스된 것으로 인식될 수도 있음- 를 포함한다.
본 발명의 제3 양태에 따르면, 본 발명의 제2 양태에 따른 장치를 포함하는 디스플레이 디바이스가 제공된다.
본 발명의 제4 양태에 따르면, 본 발명의 제1 양태에 따른 방법을 수행하는 장치를 제어하는 프로그램이 제공되며, 또는 프로그램은, 장치에 로드될 때, 장치로 하여금 본 발명의 제2 또는 제3 양태에 따른 장치 또는 디바이스가 되게 한다. 프로그램은 전달 매체를 통해 전달될 수 있다. 전달 매체는 기억 매체일 수 있다. 전달 매체는 전송 매체일 수 있다.
본 발명의 상기한 및 기타 목적, 특징, 및 이점이 첨부 도면과 관련하여 기술된 본 발명의 이하의 상세한 설명을 살펴보면 보다 용이하게 이해될 것이다.
도 1은 본 발명의 일 실시예에 따른 방법을 개략적으로 나타낸 도면이다.
도 2는 본 발명의 일 실시예에서 사용하기 위한 예시적인 전처리 체인(pre-processing chain)을 나타낸 도면이다.
도 3은 히스토그램-기반 향상의 예를 나타낸 도면이다.
도 4는 위쪽에서 본, 프라이버시 디스플레이 및 디스플레이의 사용자의 예를 나타낸 도면이다.
도 5는 개인 모드에서 동작하고 있을 때, 본 발명의 실시예가 적용될 수 있는, GB2457106A에 기술된 디스플레이의 개략도이다.
도 6은 GB2457106A에 기술된 유형의 디스플레이에 의해 제공되는 다수의 정규화된 비축방향 휘도 대 축방향 휘도를 나타낸 그래프이다.
프라이버시 효과를 제공하는 앞서 살펴본 방식에서, 측면 영상이 정상 시청 모드(normal viewing mode)에서 동작하는 디스플레이의 능력과 비교하여, 낮은 해상도, 낮은 비트 깊이(bit depth) 및 낮은 콘트라스트로 디스플레이되는 것이 보통이다. 통상적인 값은 1/4 공간 분해능(즉, 물리적 디스플레이의 어드레싱가능한 픽셀의 수의 1/4), 64 컬러(2 비트/컬러/픽셀)(2 bits per colour per pixel) 및 단지 2 : 1 콘트라스트를 포함한다. 이들 숫자는 (i) 메인 뷰의 영상 품질, (ii) 보안의 강도(즉, 메인 영상이 얼마나 적게 측면으로 누설되는지), 및 (iii) 측면 뷰의 영상 품질 간의 트레이드오프(trade off)를 나타낸다.
단순히 정상 영상(디지털 카메라로 찍은 것 등)을 측면 뷰에 나오도록 적용하는 것은 측면 시청자에 대한 인지된 품질을 떨어지게 한다. 이것으로 인해, 사용자는 통상적으로 측면 영상에 대한 어떤 선택권도 제공받지 않거나, 이러한 제한된 디스플레이 능력에서 적절히 보이도록 (어쩌면 디바이스의 제조업체 또는 공급자에 의해) 특별히 선택된 측면 영상의 제한된 선택권을 제공받는다. "측면 영화"를 생성하기 위해 측면 영상이 시간에 따라 변하는 경우에 유사한 제한된 선택권이 적용된다.
본 출원인은 상기한 문제점을 해결하는 것이 바람직할 것임을 알았으며, 그에 따라 적당한 인지된 품질을 유지하면서 휴대폰과 같은 디바이스를 개인화하기 위해, 자신의 사진이 측면 영상으로 나오도록 사용자가 자신의 사진을 선택할 수 있게 하는 방식을 고안하였다. 이것은, 예를 들어, 단순히 프라이버시 메커니즘으로서 기능하는 것과 광고(예컨대, 브랜딩) 및 개인화와 같은 영역에서 이점을 제공하는 것을 넘어, 개인 모드의 유용성을 확장시킬 것이다.
영상의 인지된 품질을 개선시키기 위해 콘트라스트, 색상 채도, 노이즈 제거, 선택적 평활화 및 선명화를 향상시키는 알고리즘이 공지되어 있다. 제한된 비트 깊이의 디스플레이의 경우, 디더링(dithering)은 공간 분해능을 희생시켜 겉보기 비트 깊이(apparent bit depth)를 증가시키는 공지된 프로세스이다. 전역적 및 지역적 적응적 휘도 확장(adaptive luminance stretch)을 비롯한, 적당히 낮은 콘트라스트 디스플레이를 위해 이용가능한 콘트라스트 향상 방법이 있다. 각각의 프레임을 개별적으로 필터링함으로써 또는 영상들의 순서를 고려하는 3D 필터를 사용함으로써 동영상이 향상될 수 있다.
그러나, 본 발명의 실시예의 바탕이 되는 사상은, 측면 영상으로서 성공적으로 사용될 수 있도록 영상을 향상시키기 위해, 보통의 디바이스에서 시청하기에는 통상적으로 너무 강한 극단의 파라미터를 사용하여 영상 처리를 적용하는 것이다.
본 발명의 실시예에서, 영상의 일부 미세한 세부 및 시각적인 미묘한 차가 본 출원에 필수적인 것이 아니며, 따라서 안전하게 무시될 수 있다는 것과 영상의 광범위하고 조악한 특징을 향상시키기 위해 콘트라스트, 공간 분해능 또는 색상 공간 자원이 더 많이 사용된다는 것을 인식할 것이다. 본 출원인은 측면 영상 시청자가 통상적으로 메인 영상 시청자보다 디스플레이로부터 더 멀리 있고 따라서 측면 영상의 광범위하고 조악한 특징이 일반적으로 보이게 된다는 것을 알았다. 예를 들어, 측면 시청자가 어쩌면 큰 로고 또는 슬로건 이외의 텍스트를 읽을 것으로 예상되지 않을 것이다.
본 발명의 실시예는 사용자가 더 많은 자유도로 자신의 휴대용 디바이스를 개인화할 수 있게 하고 여전히 인식가능한 영상을 방향성 디스플레이의 측면에 보이게 할 수 있게 하는 기술적 해결책을 제공한다는 이점을 제공한다.
본 발명의 실시예는 GB2457106A에 개시된 디스플레이 디바이스와 관련하여 사용될 수 있다. GB2457106A의 디스플레이 디바이스가 본 명세서에 상세히 기술되어 있지 않으며, 그 대신에 GB2457106A의 전체 내용이 본 명세서에 원용되는 것으로 간주된다. GB0819179.3(2010년 4월 21일자로 GB2464521A로서 공개됨)은 GB2457106A에 기술된 것과 같은 프라이버시 디스플레이와 관련하여 "영상 처리 필터" 단계를 개시하고 있지만, 그 개시 내용에서는, 메인 영상 데이터가 프라이버시 모듈에 입력되기 전에, 특정의 컬러 아티팩트 문제를 야기할 수 있는 특정의 패턴의 픽셀 데이터가 검출되고 변경된다.
도 5는 GB2457106A에 기술된 디스플레이 디바이스를 나타낸 것이다. 공간 광 변조에 의해 영상을 디스플레이하는 액정 디스플레이 패널(2)을 포함하는 디스플레이 디바이스가 제공된다. 디바이스가 개인 모드에서 동작할 때, 매 프레임 기간마다 2개의 영상 데이터 집합이 디스플레이 제어기(1)에 입력된다: 메인 영상 데이터(7)는 메인 영상을 구성하고, 측면 영상 데이터(8)는 측면 영상을 구성한다. 디스플레이 제어기(1)는 이어서 일련의 신호 데이터 전압(LC 패널 내의 각각의 픽셀에 대해 하나씩의 데이터 전압)을 출력한다. 디스플레이 제어기(1)는 결합된 영상을 구성하는 LC 패널에서의 각각의 픽셀에 대해 확장된 탐색 테이블(Look Up Table;LUT) 및 출력 신호 데이터 전압을 이용하고, 메인 영상(7) 및 측면 영상(8) 둘다 내의 (영상 내에서의 공간 위치의 점에서) 대응하는 픽셀에 대한 데이터 값에 의존한다. 각각의 픽셀에 대한 출력 데이터 전압은 또한 디스플레이 내의 픽셀의 공간 위치에 의해 결정되는 제3 공간 의존적인 파라미터에 의존할 수 있다. 디스플레이 제어기(1)로부터의 신호 전압은 LC 패널(2)이 결합된 영상을 넓은 원추각(cone of angle)(5)으로 디스플레이하게 한다. 메인 시청자(3)가 보는 영상은 메인 영상 품질의 열화가 최소인 인식가능할 정도의 메인 영상이다. 그러나, 축을 벗어난 시청자(4)에 대한 LC 패널의 상이한 감마 곡선 특성으로 인해, 이들 축 방향을 벗어난 관측자는 메인 영상을 가리고 및/또는 열화시키는 측면 영상을 아주 뚜렷하게 인지하고, 디스플레이 법선에 중심을 둔 제한된 원추각(9) 내의 시청자에게 메인 영상 정보를 고정시킨다.
GB2457106A에서, 입력 영상 데이터 값과 출력 영상 데이터 값 사이의 관계는 다음과 같이 결정된다:
제1 단계에서, 메인 영상 및 보조 영상 둘다는 등가의 휘도 값
Figure 112012023493693-pct00001
으로 변환되는 픽셀 데이터 값을 가지며, 여기서 Min 및 Sin은 0과 1 사이의 값을 갖도록 정규화되고, γ는 데이터 값을 디스플레이 감마라고 하는 디스플레이의 휘도에 관련시키는 지수이며, 통상적으로 2.2의 값을 가진다.
제2 단계에서, 메인 영상의 이들 휘도값은 이어서 계수 β만큼 압축되고 오프셋 계수
Figure 112012023493693-pct00002
만큼 상승된다:
Figure 112012023493693-pct00003
. 측면 영상 내의 각각의 픽셀 휘도값은 이어서 압축된 메인 영상 내의 대응하는 픽셀의 휘도값과 범위의 경계(0 또는 1, 어느 것이든 보다 가까운 쪽) 사이의 차와 같은 계수만큼 스케일링된다. 임의의 휘도값에 대해 이 차는 값과 범위의 중심 사이의 차의 r.m.s.로부터 얻어질 수 있다. 따라서, 측면 영상 휘도값은
Figure 112012023493693-pct00004
과 같이 스케일링된다. 측면 데이터 값에 대한 변환된 등가 휘도값에 대해 0보다 큰 최소값이 지정될 수 있다.
이상에서,
Figure 112012023493693-pct00005
은
Figure 112012023493693-pct00006
와 0.5 사이의 차인 절대량인
Figure 112012023493693-pct00007
과 등가이다.
제3 단계에서, 압축된 메인 영상과 측면 영상이 결합되며, 이제, 예를 들어, 앞서 언급한 공간적으로 변하는 파라미터를 사용하여 휘도의 덧셈/뺄셈이 서브픽셀 레벨에서 패턴화된다. 컬러 서브픽셀들이 쌍으로 그룹화되고, 각각의 쌍 내의 하나의 픽셀은 그 픽셀에서의 압축된 메인 영상 휘도와 측면 영상 휘도의 합과 같은 출력 휘도를 갖고, 다른 하나의 픽셀은 압축된 메인 영상 휘도에서 압축된 측면 영상 휘도를 뺀 것과 같은 출력 휘도를 가진다. 따라서, SLum의 최대값에 대해, 쌍 중의 하나는 항상 정규화된 범위의 최대 또는 최소(어느 것이든 보다 가까운 쪽)로 되도록 수정되고, 쌍 중의 다른 하나는 반대 방향으로 수정된다. Min의 특정의 값에 대한 이러한 분할의 정도는 SLum의 값에 의해 결정된다.
GB2457106A에 기초한 PCT/JP2008/068324(2009년 9월 11일자로 WO2009/110128로서 공개됨)는 또한 컬러당 2 비트(총 6 비트) 깊이의 측면 영상이 제어 회로에 입력되고 모든 메인 영상 데이터 값에 대해 4개의 출력값 쌍이 확장된 LUT에 포함되어 있는, 정확한 컬러 측면 영상 효과를 획득하는 방법을 개시하고 있고, 출력값 쌍은 하기의 방법에 따라 계산되며,
Sin = 0인 경우,
Figure 112012023493693-pct00008
Sin = 1인 경우,
Figure 112012023493693-pct00009
Sin = 2인 경우,
Figure 112012023493693-pct00010
Sin = 3인 경우,
Figure 112012023493693-pct00011
여기서 "Scmp max"는
Figure 112012023493693-pct00012
Figure 112012023493693-pct00013
에 대해 이전에 계산된, 최대의 이용가능한 압축된 측면 영상 값이다.
앞서 살펴본 상기 계산 방법은 4개의 가능한 측면 영상 값: Sin = 0, 1, 2 및 3을 가진다. 도 6에서 알 수 있는 바와 같이, Sin = 0일 때, 각각의 메인 영상 데이터 값에 대해 최대 분할이 사용되고, 그 결과 축방향 휘도의 범위에 걸쳐 축 방향을 벗어나 최저의 전체 휘도가 얻어진다. Sin = 3일 때, 분할이 사용되지 않으며, 그 결과 축방향 휘도의 범위에 걸쳐 축 방향을 벗어나 최고의 전체 휘도가 얻어진다. 0.98 및 0.85의 제안된 값을, 각각, 중간 범위 측면 영상 값 Sin = 1 및 2에 대한 Mcmp 데이터의 최대의 이용가능한 변화와 곱한 것이 상이한 입력 측면 영상 값에 대한 비축방향 휘도에서의 대략 균일한 증분을 생성하는 것으로 밝혀졌다. 이것은 상이한 측면 영상 상태가 전체 축방향 휘도 범위에 걸쳐 서로에 대해 양호한 정도의 비례성을 유지한다는 것을 의미한다.
상기한 맵핑은 메인 영상 픽셀 데이터에 주로 의존하는 평균 축방향 휘도 및 측면 영상 픽셀 데이터에 적어도 어느 정도 의존하는 평균 비축방향 휘도를 생성하도록 구성되어 있다. 그러나, 그 결과 측면 영상의 적어도 하나의 특징이 축 방향을 벗어나 디스플레이되는 측면 영상에서 디엠퍼시스된 것으로 시청자에 의해 인지되는 경향이 있다. 본 발명의 실시예는, 측면 영상의 적어도 하나의 특징을 엠퍼시스하도록 측면 영상 픽셀 데이터를 처리되도록 함(그렇지 않았으면 시청자에 의해 축 방향을 벗어나 디스플레이되는 측면 영상에서 디엠퍼시스된 것으로 인지될 수도 있음)으로써 이것을 해결하려고 한다.
예를 들어, 최소한 적어도 하나의 특징이 축 방향을 벗어나 디스플레이되는 측면 영상에서 디엠퍼시스되어 있는 것으로 인지되는 정도만큼의 정도로 적어도 하나의 특징이 본 발명의 실시예에서 엠퍼시스될 수 있다. 본 발명의 일 실시예에서, 최소한 축 방향을 벗어나 디스플레이된 측면 영상에서의 인지된 디엠퍼시스를 보상하기 위해 적어도 하나의 특징이 엠퍼시스될 수 있다. 축 방향을 벗어나 디스플레이되는 측면 영상에서의 인지된 디엠퍼시스를 갖지 않는 영상에 적절한 것으로 통상 간주될 수 있는 것보다 더 큰 정도로 적어도 하나의 특징이 본 발명의 일 실시예에서 엠퍼시스될 수 있다.
도 1은 이상에서 요약되고 GB2457106A에 더 상세히 기술된 것과 같은 프라이버시 모드를 갖는 디바이스에 본 방법이 어떻게 적용될 수 있는지의 개략도이다. 디바이스의 사용자 인터페이스는 사용자에게 측면 영상을 선택함으로써 프라이버시 기능을 커스터마이즈할 기회를 제공하는 동작을 한다(단계 101). 측면 영상은 디바이스 내의 카메라에 의해 획득된 사진 또는 영상이거나, 이전에 저장된 사진 또는 영상이거나, 디바이스가 적당한 네트워크에 연결되는 경우 원격 영상 서버로부터 다운로드될 수 있다. 그 결과는 디스플레이가 프라이버시 모드에 있을 때 사용자가 측면 영상으로 보이도록 하고자 하는 영상이다. 이 영상은 콘트라스트, 색상 공간의 사용, 해상도 등과 같은 파라미터를 향상시키기 위해 다양한 영상 처리 방법을 사용하여 전처리되고(단계 102), 이것은 이하에서 더 상세히 논의될 것이다. 디바이스가 프라이버시 모드에서 사용되고 있을 때, 단계(103)에서 메인 영상이 수신되고, 디바이스에 대한 적절한 프라이버시 메커니즘을 사용하여, 처리된 측면 영상과 결합된다(단계 104)(GB2457106A로부터의 예가 이상에 요약되어 있음). 얻어지는 영상이 디바이스 상에 디스플레이된다(단계 105).
전처리 단계(단계 102)가 미리 한번(오프라인으로) 수행될 수 있고, 그의 결과가 결합 단계(단계 104)에서 나중에 사용하기 위해 저장된다. 대안으로서, 전처리 단계(단계 102)가 필요에 따라 그리고 필요한 경우(온라인으로) 실시간으로 반복적으로 수행될 수 있고, 그로써 그 결과가 결합 단계(단계 104)에서 즉각 사용되고, 원본 측면 영상만이 장기 저장 장치에 유지될 필요가 있다. 마찬가지로, 전처리의 일부는 오프라인일 수 있고, 일부는 온라인일 수 있으며, 예를 들어, 전처리가 다수의 상이한 처리 단계로 이루어져 있는 경우, 그 단계들 중 일부 단계가 오프라인으로 수행될 수 있고 다른 단계가 온라인으로 수행될 수 있다. 어느 아키텍처가 특정의 구현예에 가장 적절한지의 결정은, 물론, 이용가능한 자원 및 다른 단계의 요구사항에 의존할 것이다.
도 2는 도 1에 도시된 전처리 단계(102)를 구현하는 하나의 방식을 나타낸 것이다. 입력 영상(201)이 대상 디바이스에 대해 올바른 수의 픽셀을 갖도록 공간 리샘플러(202)에 의해 공간적으로 리샘플링된다. 그 다음에, 공간 필터(203)는 배경 세부를 감소시키면서 경계 및 사진 피사체와 같은 공간 특징을 향상시키는 데 사용된다. 그 다음에, 콘트라스트 향상기(204)는 콘트라스트를 향상시키고 디스플레이의 이용가능한 휘도 범위를 충분히 사용하기 위해 사용된다. 그 다음에, 색상 향상기(205)는 콘트라스트보다는 색상 범위와 관련하여 마찬가지의 기능을 수행한다. 그 다음에, 색상 양자화기(206)는 디스플레이하기 위해 요청된 색상의 수를 감소시키는 데 사용되고, 결과의 영상이 출력된다(207). 이들 구성요소 각각에 대해 이하에서 더 상세히 기술한다.
단계들이 상이한 순서로 행해지거나 단계들 중 하나 이상의 단계가 생략되는 다른 실시예가 가능하다. 많은 영상 처리 응용에서와 같이, 필요한 처리 시간의 양 또는 회로와 달성되는 품질 사이에는 트레이드오프가 있다.
예를 들어, 체인에서 나중에 공간 다운샘플링이 행해질 수 있다. 이것은 다운샘플링 이전의 단계들이 전체 해상도로 동작해야만 하고 따라서 더 많은 처리를 필요로 한다는 것을 의미한다. 그러나, 전체 해상도 영상에 대해 공간 필터링을 수행하는 것이 최종 영상에 유익할 수 있다.
또한, 2개 이상의 단계를 하나의 단계로 결합하거나, 하나의 단계를 2개 이상의 단계로 분할하거나, 다른 방식으로 계산을 단계들 간에 재분산시킴으로써 동일한 효과가 얻어질 수 있다. 이러한 재구성은 영상 처리 알고리즘을 개발 및 구현하는 자가 이해할 것이다.
예를 들어, 계산의 공통 부분을 공유하기 위해 콘트라스트 향상 및 색상 향상 단계가 하나의 단계로 결합될 수 있다. 상세하게는, 둘다가 HSV 색상 공간으로 표현된 픽셀값을 사용할 수 있다. 이어서, 콘트라스트 향상 및 색상 향상 둘다를 달성하기 위해 S 및 V 좌표에 대해 작용하는 HSV로 한번 변환하고, 이어서 나머지 동작에 대해 더 자연스러운 색상 공간으로 변환하기만 하는 것이 자연스럽다.
예를 들어, 공간 리샘플러(202)는 편리하게도 어쩌면 공간 필터(203)에 포함될 수 있는 그의 서브단계들 중 하나로서 선명화 동작을 필요로 할 수 있다.
공간 리샘플러(202)에 의한 공간 리샘플링은 영상이 측면 영상으로서 사용하기에 올바른 크기이도록 영상 내의 픽셀의 수를 감소시킨다(또는 증가시킨다). 예를 들어, 측면 영상은 통상적으로 전체 디스플레이의 크기와 비교하여 단지 1/4의 픽셀 수를 가진다. 공간 리샘플링 내에서, 올바른 수의 픽셀 뿐만 아니라 올바른 종횡비를 달성하기 위해 임의의 크로핑(cropping) 또는 확장(stretching)이 적용될 수 있다. 단순히 픽셀을 반복하거나 누락시킴으로써 리샘플링이 달성될 수 있다. 마찬가지로, Lanczos 필터와 같은 필터, 이중 선형(bilinear) 또는 바이큐빅(bicubic) 보간 또는 기타 방법을 사용하여 더 나은 영상이 획득될 수 있다. 공지된 바와 같이, 종종 리샘플링보다 앞에 저역 통과 필터링(예를 들어, 작은 가우시안 커널(small gaussian kernel)을 사용함)이 있고, 리샘플링에 이어서 선명화(예를 들어, 언샤프 마스크(unsharp mask)를 사용함)가 뒤따른다.
공간 필터(203)의 목적은 더 나은 측면 영상을 생성하게 될 영상 특징을 엠퍼시스하고 더 나은 측면 영상을 손상시키게 될 공간 영상 특징을 디엠퍼시스하는 것이다. 이는 또한 디지털 압축에 의해 발생된 아티팩트를 제거할 수 있다.
예를 들어, 영상의 주 피사체를 정의하는 주요 경계를 향상시키는 것이 유리할 수 있다. 이 거동은 언샤프 마스크 방법과 같은 간단한 선명화 필터에 의해 근사화될 수 있다. 이 단계를 수행하는 데 사진 피사체를 검출하는 보다 복잡한 알고리즘이 사용될 수 있다.
저역 통과 필터를 사용하여 영상 배경으로부터 높은 공간 주파수 정보를 제거하는 것이 유리할 수 있다.
공간 필터는 필터에서의 가중치를 조정하기 위해, 필터 영역 내의 점의 데이터 값도 사용하는 이중 선형 필터 또는 기타 공간 필터를 포함할 수 있다. 필터는 경계의 방향과 같은 영상 내의 로컬 특징에 적응적일 수 있다.
영화의 프레임을 처리하는 경우에, 공간 필터는 영화 내의 다른 프레임들로부터의 데이터를 포함할 수 있다.
콘트라스트 향상기(204)에 의한 콘트라스트 향상의 목적은 측면 뷰에서 이용가능한 낮은 콘트라스트를 충분히 사용하는 것이다. 과채도(over-saturation)에 의해 너무 많은 세부를 손상시키지 않고 넓은 범위의 휘도값을 사용하는 것이 바람직하다. 이를 위해, 색상 공간에서 휘도를 결정하는(또는 개략적으로 결정하는) 명확한 좌표를 처리하는 것이 바람직하다. 그러나, 단순히 R, G 및 B 성분을 개별적으로 처리함으로써 근사화가 달성될 수 있다.
공지된 바와 같이, 콘트라스트를 향상시키는 많은 방식이 있다. 한가지 특정 방법이 도 3에 부분적으로 예시되어 있다. 원본 영상과 최종 영상 내의 각각의 픽셀이 휘도 레벨과 연관되어 있다. 예를 들어, 픽셀은 휘도(또는 유사한 양), 예를 들어, CIEL*a*b*에서의 L*, HSV에서의 V, HLS에서의 L, YUV에서의 Y, YCbCr에서의 Y 등이 명확한 색상 공간에 표현될 수 있다. 이어서, 모든 원본 픽셀의 휘도의 분포(여기에서 히스토그램(301)으로 시각화되어 있음)가 계산된다. 301에서, 휘도값이 0(흑색)부터 1(백색)까지 스케일링되어 있고, 수평축에 나타내어져 있다. 휘도가 어떻게 수정되어야 하는지를 결정하기 위해 파라미터가 선택된다. 예를 들어, 도 3은 가장 어두운 20% 픽셀(303)이 흑색에 맵핑되고, 가장 밝은 20% 픽셀(305)이 백색에 맵핑되며, 나머지 60%(304)가 그 사이에 균등하게 분산되어 있는 히스토그램을 나타낸 것이다. 얻어진 휘도 분포가 여기에서 제2 히스토그램(302)로서 예시되어 있다. 마지막으로, 수정된 휘도가 다시 그 각자의 픽셀에 맵핑되고, 콘트라스트 향상된 영상이 얻어진다. 이것은 색조 콘트라스트 향상으로 간주될 수 있다.
다른 방법이 사용될 수 있고, 상세하게는, 영상의 영역들에서 로컬적으로 콘트라스트를 향상시키는 방법이 바람직할 수 있다. "반경" 파라미터에 대한 비교적 큰 값을 가지는 언샤프 마스크 필터를 사용하는 콘트라스트 향상이 또한 가능하고, 이것은 영상의 일정 영역 내의 영상 데이터를 고려하는 알고리즘에 따라 로컬 콘트라스트를 증가시킴으로써 영상의 전체적인 콘트라스트가 향상되는 공간 콘트라스트 향상으로 간주될 수 있다.
(흑색 또는 백색에 맵핑되는 범위 밖의 값을 갖는) 휘도의 간단한 선형 스케일링 또는 감마 보정 방법이 사용될 수 있지만, 결과가 더 나빠질 가능성이 있다.
사진 피사체를 포함하는 픽셀에 대해서만 콘트라스트를 엠퍼시스하고 선택적으로 배경에 대한 콘트라스트를 디엠퍼시스하는 것이 유리할 수 있다.
픽셀의 색상에 따라 그 픽셀의 콘트라스트를 엠퍼시스하는 것이 유리할 수 있다.
색상 향상기(205)에 의한 색상 향상의 목적은 색상을 부자연스러울 정도로 생생하게 만드는 것인데, 그 이유는 단계(104)에서 영상이 결합될 때 색상이 이러한 생생함의 대부분을 상실할 것이기 때문이다. 기본 색상을 손상시키지 않고 넓은 범위의 색상값을 사용하는 것이 바람직하다. 예를 들어, 적색은, 이전보다 더 포화되더라도, 계속하여 적색으로 보여야만 한다. 이를 위해, 색상 채도의 양을 결정하는(또는 개략적으로 결정하는) 명시적인 좌표(explicit coordinate)를 이용하여 색상 공간에서 처리하는 것이 바람직하다.
바람직한 색상 향상이 콘트라스트 향상과 동일한 방식으로 설명될 수 있다. 이 경우에, 수정되는 것은 휘도가 아니라 각각의 픽셀의 색상 채도 값이다. 도 3은 따라서, 파라미터의 선택이 달라질 수 있더라도, 각각의 픽셀의 채도값의 확장을 나타낸 것으로 재해석될 수 있다. 색상 향상의 경우, 색상 공간의 선택에 따라, CIEL*a*b*에서의 C*, HSV에서의 S, HLS에서의 S 등을 처리할 것이다. 이 해석에서, 히스토그램(301)의 수평축은 0(단색)부터 1(완전 채도 색상)까지 변한다.
따라서, 바람직한 색상 향상 절차는, 필요한 경우, 각각의 픽셀 표현을 색상 공간(즉, HSV)으로 변환하고, S 성분의 분포를 계산하며, 분할점을 결정하고, 하부 분할점 아래쪽의 S를 갖는 픽셀을 S = 0에 맵핑하며, 상부 분할점 위쪽의 S를 갖는 픽셀을 S = 1에 맵핑하고, 하부 분할점이 0에 맵핑되고 상부 분할점이 1에 맵핑되도록 나머지 픽셀의 S 성분을 선형적으로 맵핑하며, 선택적으로 각각의 픽셀을 다시 그 다음 단계에 필요한 색상 공간으로 변환하는 것이다. 휘도 향상에서와 같이, 소정의 채도 범위 내에 속하는 채도가 전체 채도 범위를 채우도록 확장될 수 있다. 예를 들어, 하부 20%의 채도 값이 0 채도 값에 맵핑될 수 있는 반면, 상부 20%의 채도 값이 최대 채도 값에 맵핑될 수 있고, 나머지 60%가 그 사이에 균등하게 분산되어 있다.
휘도 향상에서와 같이, 다른 구현예, 예를 들어, 픽셀의 HSV 표현에서의 V 성분의 선형 스케일링 또는 로컬 적응적 방법이 사용될 수 있다.
또한, 눈이 특히 중요한 스펙트럼의 부분에서 과채도를 피하기 위해, 사람의 피부 색조의 범위 내의 픽셀 데이터가 사람의 피부 색조의 범위 밖의 픽셀 데이터와 상이하게 처리되도록, 피부 색조를 더 주의깊게 처리하는 것이 유리할 수 있다.
사진 피사체를 포함하는 픽셀에 대해서만 색상의 채도를 엠퍼시스하고 선택적으로 배경에 대한 색상의 채도를 디엠퍼시스하는 것이 유리할 수 있다.
픽셀의 색상에 따라 그 픽셀의 색상 채도를 엠퍼시스하는 것이 유리할 수 있다.
색상 양자화기(206)에 의한 색상 양자화의 목적은 영상에서의 색상의 전체 범위를 결합기 단계(104)에 이용가능한 색상으로 감소시키는 것이다. 예를 들어, 한 종류의 프라이버시 디스플레이에서, 측면 영상 픽셀의 각각의 성분 R, G 또는 B를 표현하기 위해 결합 절차에서 단지 2 비트가 사용된다. 따라서, 사용되는 색상을 단지 22 x 22 x 22 = 4 x 4 x 4 = 64개의 상이한 색상으로 제한해야만 할 것이고, 그 색상들이 사전에 결정되어 있다.
가장 간단한 양자화 방법은 단순히 각각의 픽셀에 대해 가장 가까운 이용가능한 색상을 선택하는 것이다. 이용가능한 색상이 충분히 있는 경우(예를 들어, 색상 성분당 6 비트 이상), 이 방법은 아주 잘 동작할 것이다.
그러나, 단지 64 색상만 있는 경우, 이 간단한 방법은, 입력 영상이 매끄러운 경우에도, 색상 또는 휘도가 갑자기 변하는 눈에 보이는 윤곽이 생기는 경향이 있을 것이다.
바람직한 양자화 방법은 각각의 픽셀에 대해 가장 가까운 이용가능한 색상을 선택하고, 이어서 이러한 선택을 할 시에 얻어지는 색상 오차를 기록하며 (눈이 일정 영역에 걸친 평균값만을 보는 경향이 있기 때문에) 근방의 픽셀값을 선택할 때의 색상 오차를 상쇄하는 것이다. 이것은 오차 확산에 의한 디더링의 공지된 방법이다.
또한, 당업자는 첨부된 특허청구범위에 의해 한정되는 본 발명의 범위를 벗어나지 않고 상기한 실시예에 다양한 수정이 행해질 수 있다는 것을 이해할 것이다.
예를 들어, 메인 영상을 이미 알고 있을 때 전처리의 적어도 일부가 행해지는 경우 메인 영상을 고려하는 것이 유리할 수 있다. 예를 들어, 일부 프라이버시 디스플레이 기술에서, 메인 영상에서의 특정 패턴(예컨대, 낮은 콘트라스트의 영역)이 특히 열화된 측면 뷰 콘트라스트로 얻어질 수 있다. 이러한 경우에, 보상하기 위해 이러한 영역에서의 측면 영상 콘트라스트를 증가시키는 것이 유리할 수 있다.
측면 영상을 처리할 때, 측면 영상의 유형을 식별하거나 측면 영상의 상이한 영역의 유형을 식별하는 것이 유리할 수 있다. 유형 정보는 측면 영상에 대한 처리 단계의 순서, 종류 또는 파라미터를 제어하는 데 사용될 수 있다. 예를 들어, 측면 영상의 텍스트 부분은 오차 확산 디더링보다는 단지 간단한 양자화를 사용하는 것으로부터 또는 비텍스트 부분(즉, 텍스트를 거의 또는 전혀 갖지 않는 측면 영상의 부분)과 비교하여 더 극단적인 콘트라스트 향상을 사용하는 것으로부터 이득을 볼 수 있다. 선화(line drawing) 또는 만화 콘텐츠에 대해 마찬가지의 수정이 적용될 수 있다. 사진의 경우에, 인물 사진은 일반 경치 또는 액션 사진과 상이하게 처리될 수 있다. 텍스트는 OCR 기술을 사용하여 판독될 수 있고, 최대 선명도를 위해 특별히 선택된 글자체 및 색상으로 렌더링될 수 있다.
측면 영상 사진의 유형이 자동으로 또는 디바이스의 사용자 인터페이스를 통해 제공될 제한된 수의 선택 항목을 사용한 사용자로부터의 힌트에 의해 결정될 수 있다. 사진의 유형은 또한 사진 내에 메타데이터로 인코딩되고 전처리를 수행하기 위해 프라이버시 디바이스에 의해 사용될 수 있다.
전처리는 전적으로 자동으로 또는 사용자와의 상호작용에 의해 행해질 수 있다. 따라서, 사용자는 선택적으로 영상의 유형을 표시하고 선택적으로 전처리 파라미터를 조정할 수 있다. 선택적으로, 각각의 조정의 효과가 추가적인 조정을 돕기 위해 사용자에게 보여질 수 있다.
전처리 이전에 영상을 선택적으로 크로핑하고 선택적으로 크기 조정(resize)하는 기능을 제공하는 것이 유리할 수 있다. 이것은 사용자 지시 하에서 행해질 수 있거나, 인물 사진이 검출되는 경우와 같은 일부 상황에서 자동으로 행해질 수 있다.
프라이버시 디스플레이는 통상적으로 메인 뷰와 측면 뷰 품질 사이에 일부 트레이드오프를 한다. 메인 뷰의 품질이 떨어지도록 트레이드오프되는 경우, 측면 영상에 적용가능한 것으로 앞서 기술한 종류의 전처리를 사용하여 메인 영상의 적어도 일부를 향상시키는 것이 유리할 수 있다. 상세하게는, 메인 뷰의 콘트라스트가 낮은 경우, 메인 영상에 콘트라스트 향상이 적용될 수 있다.
다른 실시예에서, 영화(비디오)가 순차적으로 디스플레이될 일련의 정지 영상으로서 취급함으로써 측면 뷰로서 사용될 수 있다. 영화의 각각의 프레임(또는 필드)가 측면 뷰에서 움직임의 효과를 달성하기 위해 적절한 순간에 메인 영상과 결합되기 전에 전처리될 수 있다(단계 102). 전처리된 프레임이 나중에 사용하기 위해 저장될 수 있거나(오프라인), 디스플레이하기 위해 적시에 발생되고(온라인) 이어서 폐기될 수 있다.
중간 해결책이 생각되고, 이 경우 전처리의 일부가 오프라인으로 행해지고, 그 결과 부분적으로 처리된 영화가 저장되며, 나머지는 온라인으로 행해지고 적시에 디스플레이된다. 상세하게는, 전처리 파라미터를 오프라인으로 결정하고 이어서 전처리를 온라인으로 수행하기 위해 영화의 내용을 분석하는 것이 유리할 수 있다.
이 실시예의 확장에서, 데이터가 하나 이상의 프레임(예컨대, 색상 히스토그램 정보)으로부터 추출되고 다른 프레임의 전처리를 제어하기 위해 사용된다. 프레임이 디스플레이되기 직전에 전처리가 행해지는 경우에, 이것은 보다 효율적인 구현(예를 들어, 데이터를 버퍼링할 필요성을 감소시킴)을 가능하게 한다. 이는 또한 갑작스런 처리 변화가 일어나지 않고 측면 시청자에 대해 가시적인 아티팩트(예컨대, 갑작스런 색상 또는 밝기 변화)를 야기하지 않도록 전처리 파라미터가 보다 매끄럽게 적응될 수 있게 한다.
도 1의 단계(102)가 결합 단계(104) 이전에 별도의 단계로서 수행되는 것으로 이상에서 도시되고 기술되어 있지만, 단계(102)에서 수행되는 처리의 적어도 일부가 결합 단계(104)의 일부로서 수행되는 것이 또한 가능하다. 예를 들어, GB2457106A는 메인 영상 데이터와 측면 영상 데이터의 결합(또는 맵핑)을 수행하기 위해 탐색 테이블(LUT)을 사용하는 것을 기술하고 있고, 상기 단계(102)에서 수행되는 처리의 적어도 일부가 LUT 자체 내에 포함될 수 있다는 것이 명백할 것이다. 예를 들어, 색조 범위가 확장되는 콘트라스트 향상기(204)에 의해 수행되는 콘트라스트 향상이, LUT 맵핑 이전의 별도의 단계로서보다는, LUT 맵핑에 의해 효과적으로 행해질 수 있다. 이것은 결합 단계(104)(LUT 맵핑)로 전달되는 측면 영상이 비교적 높은 비트 깊이를 유지하는 구현에서 특히 실시가능할 것이다. 단계(102)를 수행하기 위해 영상 내용이 고려되는 구현에서, 복수의 상이한 LUT가 제공될 수 있고, 그 중 하나가 영상 내용의 분류에 기초하여 선택될 것이며, 예를 들어, "높은 콘트라스트 원본", "낮은 콘트라스트 원본" 및 "중간 콘트라스트 원본"에 대해 상이한 LUT가 제공될 수 있고, 각각이 상이한 레벨의 콘트라스트 향상을 구현한다. 대안으로서, 영상 내용에 기초하여 LUT 맵핑을 다시 채울(repopulate) 수 있지만, 이것은 계산을 더 많이 필요로 할 것이다.
본 발명의 실시예가 상기한 것 이외의 프라이버시 및 멀티-뷰 디스플레이, 특히 GB2457106A에 기술된 것 이외의 디스플레이에 적용될 수 있다는 것을 이해할 것이다.
공개 모드 및 개인 모드 둘다에서 동작할 수 있고 2가지 모드 사이에서 전환가능한 디스플레이 디바이스를 제공하는 것이 보통이지만, 본 발명이 개인 모드에서만 동작할 수 있는 디스플레이 디바이스에 적용가능하다는 것을 이해할 것이다.
상기한 구성요소들 중 하나 이상의 구성요소의 동작이 디바이스 또는 장치 상에서 동작하는 프로그램에 의해 제어될 수 있다는 것을 이해할 것이다. 이러한 운영 프로그램이 컴퓨터 판독가능 매체에 저장될 수 있거나, 예를 들어, 인터넷 웹 사이트로부터 제공되는 다운로드가능한 데이터 신호와 같은 신호에 구현될 수 있다.
본 발명의 일부 실시예는 제2 처리 단계가 측면 영상의 복수의 특징들 각각이 엠퍼시스되는 서브단계를 포함할 수 있는 방법을 개시하고 있다.
본 발명의 일부 실시예는 상이한 제1 및 제2 각각의 색상 공간에서 제1 및 제2 서브단계 집합을 수행하는 단계 - 각각의 집합은 하나 이상의 서브단계를 포함함 - 를 포함할 수 있는 방법을 개시하고 있다.
본 발명의 일부 실시예는 제3 처리 단계로서, 제1 처리 단계에서 정확한 종횡비로 필요한 수의 픽셀을 제공하기 위해 측면 영상을 공간적으로 리샘플링하는 단계를 포함할 수 있는 방법을 개시하고 있다.
본 발명의 일부 실시예는 제3 처리 단계가 제2 처리 단계 이전에 수행될 수 있는 방법을 개시하고 있다.
본 발명의 일부 실시예는 제3 처리 단계가 서브단계들 중 2개의 서브단계 사이에서 수행될 수 있는 방법을 개시하고 있다.
본 발명의 일부 실시예는 측면 영상의 각각의 색상 성분의 비트 깊이를 제1 처리 단계에서 요구되는 비트 깊이로 감소시키기 위해 색상 양자화 단계를 수행하는 단계를 포함할 수 있는 방법을 개시하고 있다.
본 발명의 일부 실시예는 측면 영상의 각각의 픽셀에 대해, 감소된 비트 깊이 색상 공간에서 가장 가까운 이용가능한 색상을 선택하는 단계 -그렇게 하는 데 있어서 연관된 색상 오차가 있음-, 및 바람직하게는 적어도 하나의 근방의 픽셀로부터의 색상 오차 또는 각각의 색상 오차를 고려하는 단계를 포함할 수 있는 방법을 개시하고 있다.
본 발명의 일부 실시예는 적어도 하나의 특징이, 최소한 소정의 색조 또는 데이터 값 범위 내에서, 측면 영상의 적어도 일부의 색조 및/또는 공간 콘트라스트를 포함할 수 있는 방법을 개시하고 있다.
본 발명의 일부 실시예는 소정의 색조 또는 데이터 값 범위 밖에서의 콘트라스트가, 예를 들어, 0으로 감소될 수 있는 방법을 개시하고 있다.
본 발명의 일부 실시예는 적어도 하나의 특징이, 최소한 소정의 채도 범위 내에서, 측면 영상의 적어도 일부의 채도 및/또는 색상을 포함할 수 있는 방법을 개시하고 있다.
본 발명의 일부 실시예는 소정의 색조 또는 데이터 값 범위가 중간 범위이며, 예를 들어, 전체 범위의 20% 내지 80%인 방법을 개시하고 있다.
본 발명의 일부 실시예는 사람의 피부 색조의 범위 내의 측면 영상 픽셀 데이터가 사람의 피부 색조의 범위 밖의 측면 영상 픽셀 데이터와 상이하게 처리될 수 있는 방법을 개시하고 있다.
본 발명의 일부 실시예는 적어도 하나의 특징이 측면 영상의 적어도 하나의 공간 특징을 포함할 수 있는 방법을 개시하고 있다.
본 발명의 일부 실시예는 적어도 하나의 공간 특징이 경계 특징(edge feature)을 포함할 수 있는 방법을 개시하고 있다.
본 발명의 일부 실시예는 제2 처리 단계가 언샤프 마스크 필터(unsharp mask filter)를 측면 영상에 적용하는 단계를 포함할 수 있는 방법을 개시하고 있다.
본 발명의 일부 실시예는 제2 처리 단계가 이중 선형 필터(bilinear filter) 또는 기타 공간 필터를 적용하는 단계를 포함하며, 필터에서의 가중치를 조정하기 위해 필터 영역 내의 픽셀의 픽셀 데이터를 사용하는 방법을 개시하고 있다.
본 발명의 일부 실시예는 적어도 하나의 특징이, 예를 들어, 시각적으로 덜 중요한 것으로 간주되는 적어도 하나의 다른 특징을 희생시켜 엠퍼시스될 수 있는 방법을 개시하고 있다. 예를 들어, 중간 범위 콘트라스트는 범위의 하단 및 상단 색조 근방에서 콘트라스트를 희생시켜 향상될 수 있다.
본 발명의 일부 실시예는 측면 영상의 상이한 부분들을 상이하게 처리하는 단계를 포함할 수 있는 방법을 개시하고 있다.
본 발명의 일부 실시예는 텍스트 부분을 비텍스트 부분과 상이하게 처리하는 단계를 포함할 수 있는 방법을 개시하고 있다.
본 발명의 일부 실시예는 텍스트를 측면 영상에서 사용되는 것과 상이한 특별히 선택된 글자체로 렌더링하는 단계를 포함할 수 있는 방법을 개시하고 있다.
본 발명의 일부 실시예는 측면 영상의 주 피사체를 포함하는 것으로 식별된 측면 영상의 하나 이상의 부분을 측면 영상의 다른 부분과 상이하게 처리하는 단계를 포함할 수 있는 방법을 개시하고 있다.
본 발명의 일부 실시예는 제2 처리 단계에서의 측면 영상 픽셀 데이터의 처리에서 메인 영상 픽셀 데이터를 고려하는 단계를 포함할 수 있는 방법을 개시하고 있다.
본 발명의 일부 실시예는 제2 처리 단계의 적어도 일부가 오프라인으로 수행될 수 있는 방법을 개시하고 있다.
본 발명의 일부 실시예는 제2 처리 단계 전체가 온라인으로 수행될 수 있는 방법을 개시하고 있다.
본 발명의 일부 실시예는 서브단계들 중 적어도 하나의 서브단계가 온라인으로 수행될 수 있고, 서브단계들 중 적어도 하나의 다른 서브단계가 오프라인으로 수행될 수 있는 방법을 개시하고 있다.
본 발명의 일부 실시예는 최소한 적어도 하나의 특징이 제1 처리 단계의 결과로서 축 방향을 벗어나 디스플레이되는 측면 영상에서 디엠퍼시스되어 있는 것으로 인지되는 정도만큼의 정도로 적어도 하나의 특징이 제2 처리 단계에서 엠퍼시스될 수 있는 방법을 개시하고 있다.
본 발명의 일부 실시예는 최소한 제1 처리 단계의 결과로서 축 방향을 벗어나 디스플레이되는 측면 영상에서의 인지된 디엠퍼시스를 보상하기 위해 적어도 하나의 특징이 제2 처리 단계에서 엠퍼시스될 수 있는 방법을 개시하고 있다.
본 발명의 일부 실시예는 제1 처리 단계의 결과로서 축 방향을 벗어나 디스플레이되는 측면 영상에서의 인지된 디엠퍼시스를 갖지 않는 영상에 적절한 것으로 통상 간주될 수 있는 것보다 더 큰 정도로 적어도 하나의 특징이 제2 처리 단계에서 엠퍼시스될 수 있는 방법을 개시하고 있다.
본 발명의 일부 실시예는 제2 처리 단계가 축 방향을 벗어난 시청자가 보게 되는 보다 양호한 측면 영상을 열화시키게 될 측면 영상의 적어도 하나의 추가의 특징을 디엠퍼시스하는 단계를 포함할 수 있는 방법을 개시하고 있다.
본 발명의 일부 실시예는 메인 영상과 측면 영상의 시간 시퀀스가 제공될 수 있고, 제2 처리 단계가 시퀀스 내의 복수의 측면 영상으로부터의 측면 영상 픽셀 데이터를 사용할 수 있는 방법을 개시하고 있다.
본 발명의 일부 실시예는 제2 처리 단계의 적어도 일부가 제1 처리 단계에서 수행되는 맵핑에 포함될 수 있는 방법을 개시하고 있다. 제2 처리 단계는 제1 처리 단계 이전에 수행되거나, 제1 처리 단계에서 수행되는 맵핑에 적어도 부분적으로 포함된다.
본 발명의 일부 실시예는 제2 처리 단계가 또한, 메인 영상의 적어도 하나의 특징을 엠퍼시스하도록 메인 영상의 픽셀 데이터를 처리하는 단계 -그렇지 않았으면 제1 처리 단계의 결과로서 축 방향으로 디스플레이되는 메인 영상에서 시청자에 의해 디엠퍼시스된 것으로 인식될 수도 있음- 를 포함할 수 있는 방법을 개시하고 있다.
본 발명의 일부 실시예는 상기한 방법들에 따라 방법을 수행하는 장치를 제어하는 프로그램에 의해 프로그램된 장치를 개시하고 있으며, 또는 프로그램은, 장치에 로드될 때, 장치로 하여금 본 발명의 상기한 장치 또는 디바이스에 따른 장치 또는 디바이스가 되게 한다. 프로그램은 전달 매체를 통해 전달될 수 있다. 전달 매체는 기억 매체일 수 있다. 전달 매체는 전송 매체일 수 있다.
본 발명의 일부 실시예는 상기한 방법들에 따라 방법을 수행하는 장치를 제어하는 프로그램을 포함하는 기억 매체를 개시하고 있으며, 또는 프로그램은, 장치에 로드될 때, 장치로 하여금 본 발명의 상기한 장치 또는 디바이스에 따른 장치 또는 디바이스가 되게 한다. 프로그램은 전달 매체를 통해 전달될 수 있다. 전달 매체는 기억 매체일 수 있다. 전달 매체는 전송 매체일 수 있다.
첨부된 특허청구범위는 그 자체로서의, 또는 전달 매체 상의 기록으로서의, 또는 신호로서의, 또는 임의의 다른 형태로서의 운영 프로그램을 포함하는 것으로 해석되어야 한다. 또한, 일련의 기능 또는 단계를 보여주는 임의의 도면이 또한 그 각자의 기능 또는 단계를 수행하는 대응하는 일련의 부분을 보여주는 것으로 해석되어야 하고, 마찬가지로 각자의 기능 또는 단계를 수행하는 일련의 부분을 보여주는 임의의 도면이 또한 대응하는 일련의 기능 또는 단계를 보여주는 것으로 해석되어야 한다.

Claims (38)

  1. 디스플레이 디바이스의 디스플레이 패널에 의해 디스플레이될 영상 데이터를 처리하는 방법으로서,
    메인 영상을 나타내는 메인 영상 픽셀 데이터 및 측면 영상을 나타내는 측면 영상 픽셀 데이터를 수신하는 단계;
    제1 처리 단계로서, 상기 픽셀 데이터를 상기 디스플레이 패널을 구동하는 데 사용되는 신호에 맵핑하는 것을 수행하는 단계 - 상기 맵핑은 상기 메인 영상 픽셀 데이터에 의존하는 평균 축방향 휘도(average on-axis luminance) 및 상기 측면 영상 픽셀 데이터에 의존하는 평균 비축방향 휘도(average off-axis luminance)를 생성하도록 구성되어 있음 -; 및
    제2 처리 단계로서, 상기 측면 영상의 적어도 하나의 특징을 엠퍼시스(emphasise)하도록 수신된 상기 측면 영상 픽셀 데이터를 처리하는 단계 -그렇지 않았으면 상기 제1 처리 단계의 결과로서 축 방향을 벗어나 디스플레이되는 상기 측면 영상에서 시청자에 의해 디엠퍼시스(de-emphasise)된 것으로 인식될 수도 있음 -를 포함하고,
    상기 측면 영상의 각각의 색상 성분의 비트 깊이(bit depth)를 상기 제1 처리 단계에서 요구되는 비트 깊이로 감소시키기 위해 색상 양자화 단계를 수행하는 단계를 더 포함하는, 영상 데이터 처리 방법.
  2. 제1항에 있어서, 상기 제2 처리 단계는 상기 측면 영상의 복수의 특징들 각각이 엠퍼시스되는 서브단계를 포함하는, 영상 데이터 처리 방법.
  3. 제2항에 있어서, 상이한 제1 및 제2 각각의 색상 공간에서 제1 및 제2 서브단계 집합을 수행하는 단계 - 각각의 집합은 하나 이상의 서브단계를 포함함 - 를 포함하는, 영상 데이터 처리 방법.
  4. 제1항에 있어서, 제3 처리 단계로서, 상기 제1 처리 단계에서 정확한 종횡비로 필요한 수의 픽셀을 제공하기 위해 상기 측면 영상을 공간적으로 리샘플링하는 단계를 포함하는, 영상 데이터 처리 방법.
  5. 제4항에 있어서, 상기 제3 처리 단계는 상기 제2 처리 단계 이전에 수행되는, 영상 데이터 처리 방법.
  6. 제2항에 있어서, 제3 처리 단계로서, 상기 제1 처리 단계에서 정확한 종횡비로 필요한 수의 픽셀을 제공하기 위해 상기 측면 영상을 공간적으로 리샘플링하는 단계를 포함하고, 상기 제3 처리 단계는 상기 서브단계들 중 2개의 서브단계 사이에서 수행되는, 영상 데이터 처리 방법.
  7. 삭제
  8. 청구항 8은(는) 설정등록료 납부시 포기되었습니다.
    제1항에 있어서, 상기 측면 영상의 각각의 픽셀에 대해, 감소된 비트 깊이 색상 공간에서 가장 가까운 이용가능한 색상을 선택하는 단계 -그렇게 하는 데 있어서 연관된 색상 오차가 있음-, 및
    적어도 하나의 근방의 픽셀로부터의 색상 오차 또는 각각의 색상 오차를 고려하는 단계
    를 포함하는, 영상 데이터 처리 방법.
  9. 제1항에 있어서, 상기 적어도 하나의 특징은, 최소한 소정의 색조 또는 데이터 값 범위 내에서, 상기 측면 영상의 적어도 일부의 색조 및/또는 공간 콘트라스트를 포함하는, 영상 데이터 처리 방법.
  10. 청구항 10은(는) 설정등록료 납부시 포기되었습니다.
    제9항에 있어서, 상기 소정의 색조 또는 데이터 값 범위 밖에서의 콘트라스트는 감소되는, 영상 데이터 처리 방법.
  11. 청구항 11은(는) 설정등록료 납부시 포기되었습니다.
    제10항에 있어서, 상기 소정의 색조 또는 데이터 값 범위 밖에서의 콘트라스트는 0으로 감소되는, 영상 데이터 처리 방법.
  12. 제1항에 있어서, 상기 적어도 하나의 특징은, 최소한 소정의 채도 범위 내에서, 상기 측면 영상의 적어도 일부의 채도 및/또는 색상을 포함하는, 영상 데이터 처리 방법.
  13. 청구항 13은(는) 설정등록료 납부시 포기되었습니다.
    제9항에 있어서, 상기 소정의 색조 또는 데이터 값 범위는 중간 범위이며, 전체 범위의 20% 내지 80%인, 영상 데이터 처리 방법.
  14. 제1항에 있어서, 사람의 피부 색조의 범위 내의 측면 영상 픽셀 데이터는 사람의 피부 색조의 범위 밖의 측면 영상 픽셀 데이터와 상이하게 처리되는, 영상 데이터 처리 방법.
  15. 제1항에 있어서, 상기 적어도 하나의 특징은 상기 측면 영상의 적어도 하나의 공간 특징을 포함하는, 영상 데이터 처리 방법.
  16. 제15항에 있어서, 상기 적어도 하나의 공간 특징은 경계 특징(edge feature)을 포함하는, 영상 데이터 처리 방법.
  17. 청구항 17은(는) 설정등록료 납부시 포기되었습니다.
    제16항에 있어서, 상기 제2 처리 단계는 언샤프 마스크 필터(unsharp mask filter)를 상기 측면 영상에 적용하는 단계를 포함하는, 영상 데이터 처리 방법.
  18. 제1항에 있어서, 상기 제2 처리 단계는 이중 선형 필터(bilinear filter) 또는 기타 공간 필터를 적용하는 단계를 포함하며, 상기 필터에서의 가중치를 조정하기 위해 필터 영역 내의 픽셀의 픽셀 데이터를 사용하는, 영상 데이터 처리 방법.
  19. 청구항 19은(는) 설정등록료 납부시 포기되었습니다.
    제1항에 있어서, 상기 적어도 하나의 특징은, 시각적으로 덜 중요한 것으로 간주되는 적어도 하나의 다른 특징을 희생시켜 엠퍼시스되는, 영상 데이터 처리 방법.
  20. 제1항에 있어서, 상기 측면 영상의 상이한 부분들을 상이하게 처리하는 단계를 포함하는, 영상 데이터 처리 방법.
  21. 청구항 21은(는) 설정등록료 납부시 포기되었습니다.
    제20항에 있어서, 텍스트 부분을 비텍스트 부분과 상이하게 처리하는 단계를 포함하는, 영상 데이터 처리 방법.
  22. 청구항 22은(는) 설정등록료 납부시 포기되었습니다.
    제21항에 있어서, 텍스트를 상기 측면 영상에서 사용되는 것과 상이한 특별히 선택된 글자체로 렌더링하는 단계를 포함하는, 영상 데이터 처리 방법.
  23. 청구항 23은(는) 설정등록료 납부시 포기되었습니다.
    제20항에 있어서, 상기 측면 영상의 주 피사체를 포함하는 것으로 식별된 상기 측면 영상의 하나 이상의 부분을 상기 측면 영상의 다른 부분과 상이하게 처리하는 단계를 포함하는, 영상 데이터 처리 방법.
  24. 청구항 24은(는) 설정등록료 납부시 포기되었습니다.
    제1항에 있어서, 상기 제2 처리 단계에서의 상기 측면 영상 픽셀 데이터의 처리에서 상기 메인 영상 픽셀 데이터를 고려하는 단계를 포함하는, 영상 데이터 처리 방법.
  25. 제1항에 있어서, 상기 제2 처리 단계의 적어도 일부는 오프라인으로 수행되는, 영상 데이터 처리 방법.
  26. 청구항 26은(는) 설정등록료 납부시 포기되었습니다.
    제1항에 있어서, 상기 제2 처리 단계는 온라인으로 수행되는, 영상 데이터 처리 방법.
  27. 제2항에 있어서, 상기 서브단계들 중 적어도 하나의 서브단계는 온라인으로 수행되고, 상기 서브단계들 중 적어도 하나의 다른 서브단계는 오프라인으로 수행되는, 영상 데이터 처리 방법.
  28. 청구항 28은(는) 설정등록료 납부시 포기되었습니다.
    제1항에 있어서, 최소한 상기 적어도 하나의 특징이 상기 제1 처리 단계의 결과로서 축 방향을 벗어나 디스플레이되는 상기 측면 영상에서 디엠퍼시스되어 있는 것으로 인지되는 정도만큼의 정도로 상기 적어도 하나의 특징이 상기 제2 처리 단계에서 엠퍼시스되는, 영상 데이터 처리 방법.
  29. 제1항에 있어서, 최소한 상기 제1 처리 단계의 결과로서 축 방향을 벗어나 디스플레이되는 상기 측면 영상에서의 인지된 디엠퍼시스를 보상하기 위해 상기 적어도 하나의 특징이 상기 제2 처리 단계에서 엠퍼시스되는, 영상 데이터 처리 방법.
  30. 제1항에 있어서, 상기 제1 처리 단계의 결과로서 축 방향을 벗어나 디스플레이되는 상기 측면 영상에서의 인지된 디엠퍼시스를 갖지 않는 영상으로 통상 얻을 수 있는 것보다 더 큰 정도로 상기 적어도 하나의 특징이 상기 제2 처리 단계에서 엠퍼시스되는, 영상 데이터 처리 방법.
  31. 제1항에 있어서, 상기 제2 처리 단계는 상기 축 방향을 벗어난 시청자가 보게 되는, 보다 양호한 측면 영상을 열화시키게 될 상기 측면 영상의 적어도 하나의 추가의 특징을 디엠퍼시스하는 단계를 포함하는, 영상 데이터 처리 방법.
  32. 제1항에 있어서, 메인 영상과 측면 영상의 시간 시퀀스가 제공되고, 상기 제2 처리 단계는 상기 시퀀스 내의 복수의 측면 영상으로부터의 측면 영상 픽셀 데이터를 사용하는, 영상 데이터 처리 방법.
  33. 청구항 33은(는) 설정등록료 납부시 포기되었습니다.
    제1항에 있어서, 상기 제2 처리 단계의 적어도 일부는 상기 제1 처리 단계에서 수행되는 상기 맵핑에 포함되는, 영상 데이터 처리 방법.
  34. 제1항에 있어서, 상기 제2 처리 단계는 또한 상기 메인 영상의 적어도 하나의 특징을 엠퍼시스하도록 상기 메인 영상의 픽셀 데이터를 처리하는 단계 -그렇지 않았으면 상기 제1 처리 단계의 결과로서 축 방향으로 디스플레이되는 상기 메인 영상에서 시청자에 의해 디엠퍼시스된 것으로 인식될 수도 있음- 를 포함하는, 영상 데이터 처리 방법.
  35. 제1항에 청구된 방법을 수행하도록 구성된, 장치.
  36. 제35항에 청구된 장치를 포함하는, 디스플레이 디바이스.
  37. 삭제
  38. 삭제
KR1020127007550A 2009-09-16 2010-09-10 디스플레이 패널에 의해 디스플레이될 영상 데이터를 처리하는 장치, 디스플레이 디바이스 및 그 방법 KR101384166B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB0916231A GB2476027A (en) 2009-09-16 2009-09-16 Display privacy image processing method to emphasise features of a secondary image
GB0916231.4 2009-09-16
PCT/JP2010/066108 WO2011034157A1 (en) 2009-09-16 2010-09-10 Apparatus, display device, program and method thereof for processing image data for display by a display panel

Publications (2)

Publication Number Publication Date
KR20120061919A KR20120061919A (ko) 2012-06-13
KR101384166B1 true KR101384166B1 (ko) 2014-04-17

Family

ID=41277788

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127007550A KR101384166B1 (ko) 2009-09-16 2010-09-10 디스플레이 패널에 의해 디스플레이될 영상 데이터를 처리하는 장치, 디스플레이 디바이스 및 그 방법

Country Status (6)

Country Link
US (1) US9058788B2 (ko)
JP (1) JP5439588B2 (ko)
KR (1) KR101384166B1 (ko)
CN (1) CN102549643B (ko)
GB (1) GB2476027A (ko)
WO (1) WO2011034157A1 (ko)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8483772B2 (en) * 2011-07-07 2013-07-09 Microsoft Corporation Inconspicuous mode for mobile devices
GB2496114A (en) * 2011-10-28 2013-05-08 Sharp Kk Adaptive luminance sharing for implementing private display mode
GB2496113A (en) * 2011-10-28 2013-05-08 Sharp Kk Multiple view window multi-primary display
KR20130056133A (ko) * 2011-11-21 2013-05-29 삼성전자주식회사 표시 장치 및 그 구동 방법
CN102811353B (zh) * 2012-06-14 2014-09-24 北京暴风科技股份有限公司 提升视频图像清晰度的方法及系统
US9402073B2 (en) * 2013-08-08 2016-07-26 Sharp Kabushiki Kaisha Image processing for privacy and wide-view using error diffusion
CN103778897B (zh) * 2014-01-28 2016-03-02 北京京东方显示技术有限公司 一种图像显示控制方法及装置
CN106461819B (zh) 2014-05-30 2019-09-06 3M创新有限公司 具有可变视角的光学系统
CN106461997A (zh) 2014-05-30 2017-02-22 3M创新有限公司 可变视角光学系统
US9443102B2 (en) 2015-01-19 2016-09-13 International Business Machines Corporation Protecting content displayed on a mobile device
US10152812B2 (en) * 2015-10-23 2018-12-11 Sharp Kabushiki Kaisha Odd-even veil view for FFS
US11768923B2 (en) 2019-08-01 2023-09-26 International Business Machines Corporation Media transactions consent management
TWI738417B (zh) * 2020-07-10 2021-09-01 友達光電股份有限公司 顯示裝置以及驅動方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008164743A (ja) 2006-12-27 2008-07-17 Aisin Aw Co Ltd マルチビュー表示制御装置、マルチビュー表示制御方法
JP2009192615A (ja) * 2008-02-12 2009-08-27 Sharp Corp 液晶表示装置
WO2009110128A1 (en) * 2008-03-04 2009-09-11 Sharp Kabushiki Kaisha Display device

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USRE27617E (en) 1970-10-30 1973-04-17 Louvered transparent sheeting made by skiving
CA1319341C (en) 1985-03-29 1993-06-22 Frederick J. Fox Method of supporting a louvered plastic film
US4766023A (en) 1987-01-16 1988-08-23 Minnesota Mining And Manufacturing Company Method for making a flexible louvered plastic film with protective coatings and film produced thereby
US5147716A (en) 1989-06-16 1992-09-15 Minnesota Mining And Manufacturing Company Multi-directional light control film
US5528319A (en) 1993-10-13 1996-06-18 Photran Corporation Privacy filter for a display device
JPH11298862A (ja) * 1998-04-10 1999-10-29 Seiko Epson Corp 画像処理方法及び画像表示装置
JP3870899B2 (ja) * 2000-10-03 2007-01-24 セイコーエプソン株式会社 画像処理方法、画像処理装置、電子機器、画像処理プログラムおよび当該プログラムを記録した記録媒体
JP2004133354A (ja) * 2002-10-15 2004-04-30 Seiko Epson Corp 画像表示システム、画像表示装置、画像データ出力装置、画像表示方法、画像表示プログラムおよび画像データ出力プログラム
GB2413394A (en) 2004-04-20 2005-10-26 Sharp Kk Display
GB2428152A (en) 2005-07-08 2007-01-17 Sharp Kk Processing image data for direction dependent viewing on a display device
US7965268B2 (en) 2005-07-08 2011-06-21 Sharp Kabushiki Kaisha Display device and liquid crystal display panel
JP4621610B2 (ja) * 2005-09-06 2011-01-26 東芝モバイルディスプレイ株式会社 液晶表示装置
KR20070070721A (ko) * 2005-12-29 2007-07-04 엘지.필립스 엘시디 주식회사 액정표시장치 및 그 구동방법
US8194016B2 (en) 2007-09-26 2012-06-05 Chimei Innolux Corporation Liquid crystal display with peep-preventing function
TWI385629B (zh) * 2007-10-12 2013-02-11 Chimei Innolux Corp 液晶顯示裝置的驅動方法
GB2455061A (en) 2007-10-30 2009-06-03 Sharp Kk Liquid Crystal Device with three sets of electrodes for controlling tilt and azimuth angles
JP5631739B2 (ja) 2007-11-29 2014-11-26 コーニンクレッカ フィリップス エヌ ヴェ ディスプレイに対してプライバシを与えるための方法及びデバイス
US20100149073A1 (en) * 2008-11-02 2010-06-17 David Chaum Near to Eye Display System and Appliance
GB2464521A (en) 2008-10-20 2010-04-21 Sharp Kk Processing image data for multiple view displays

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008164743A (ja) 2006-12-27 2008-07-17 Aisin Aw Co Ltd マルチビュー表示制御装置、マルチビュー表示制御方法
JP2009192615A (ja) * 2008-02-12 2009-08-27 Sharp Corp 液晶表示装置
WO2009110128A1 (en) * 2008-03-04 2009-09-11 Sharp Kabushiki Kaisha Display device

Also Published As

Publication number Publication date
GB2476027A (en) 2011-06-15
GB0916231D0 (en) 2009-10-28
WO2011034157A1 (en) 2011-03-24
CN102549643B (zh) 2015-11-25
US9058788B2 (en) 2015-06-16
CN102549643A (zh) 2012-07-04
JP2013502602A (ja) 2013-01-24
KR20120061919A (ko) 2012-06-13
US20120154458A1 (en) 2012-06-21
JP5439588B2 (ja) 2014-03-12

Similar Documents

Publication Publication Date Title
KR101384166B1 (ko) 디스플레이 패널에 의해 디스플레이될 영상 데이터를 처리하는 장치, 디스플레이 디바이스 및 그 방법
RU2433477C1 (ru) Расширение динамического диапазона изображений
US8836715B2 (en) Method, apparatus and program for processing image data for display by a display panel of a display device, and a display device
JP5436647B2 (ja) 表示装置、制御方法
CN102063703B (zh) 用于增强输入图像的系统、图像显示系统和用于图像增强的方法
US8224086B2 (en) Methods and apparatuses for restoring color and enhancing electronic images
US20140071348A1 (en) Method for converting input image data into output image data, image conversion unit for converting input image data into output image data, image processing apparatus, display device
KR101390637B1 (ko) 표시 패널을 포함하는 표시 장치를 동작시키기 위한 기기, 표시 장치, 방법, 프로그램, 저장 매체 및 룩업 테이블
WO2017152398A1 (zh) 一种高动态范围图像处理方法及装置
WO2011097059A2 (en) Enhancement of images for display on liquid crystal displays
TWI420417B (zh) 用於處理以顯示裝置顯示之影像資料的方法及設備
TWI478141B (zh) 處理用於圖像顯示面板之圖像資料之方法
Jung et al. Power constrained contrast enhancement based on brightness compensated contrast-tone mapping operation

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant