KR100471560B1 - 공개된 디스플레이를 이용하여 비공개 영상을 출력하는장치 및 방법 - Google Patents

공개된 디스플레이를 이용하여 비공개 영상을 출력하는장치 및 방법 Download PDF

Info

Publication number
KR100471560B1
KR100471560B1 KR10-2003-0003600A KR20030003600A KR100471560B1 KR 100471560 B1 KR100471560 B1 KR 100471560B1 KR 20030003600 A KR20030003600 A KR 20030003600A KR 100471560 B1 KR100471560 B1 KR 100471560B1
Authority
KR
South Korea
Prior art keywords
image
private
masking
generating
disturbing
Prior art date
Application number
KR10-2003-0003600A
Other languages
English (en)
Other versions
KR20040066517A (ko
Inventor
김준식
임상빈
김병성
Original Assignee
넥스비(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 넥스비(주) filed Critical 넥스비(주)
Priority to KR10-2003-0003600A priority Critical patent/KR100471560B1/ko
Priority to US10/542,590 priority patent/US7978929B2/en
Priority to PCT/KR2004/000099 priority patent/WO2004066620A1/en
Publication of KR20040066517A publication Critical patent/KR20040066517A/ko
Application granted granted Critical
Publication of KR100471560B1 publication Critical patent/KR100471560B1/ko
Priority to US13/073,220 priority patent/US8224118B2/en
Priority to US13/073,108 priority patent/US8238692B2/en
Priority to US13/073,298 priority patent/US8213675B2/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

비공개 영상을 가리는데 보다 효과적인 마스킹 영상을 생성하는 장치 및 방법이 제공된다. 본 발명은 공개된 디스플레이를 이용하여 비공개 영상을 출력하는 장치에 있어서, 상기 비공개 영상과 마스킹 영상에 대한 영상 시퀀스 패턴을 생성하는 수단과, 비공개 영상을 생성하는 수단과, 상기 디스플레이의 리프레쉬 속도와 상기 영상 시퀀스 패턴에 따라 상기 비공개 영상의 동적 역상을 마스킹 영상으로 생성하는 수단과, 상기 영상 시퀀스 패턴에 따라 상기 비공개 영상과 상기 마스킹 영상을 상기 디스플레이로 출력하는 수단을 포함한다.

Description

공개된 디스플레이를 이용하여 비공개 영상을 출력하는 장치 및 방법{DEVICE AND METHOD FOR OUTPUTTING A PRIVATE IMAGE USING A PUBLIC DISPLAY}
본 발명은 비공개 영상을 출력하는 장치 및 방법에 관한 것으로서, 특히 공개된 디스플레이에서 비허가자는 볼 수 없도록 비공개 영상을 출력하는 장치 및 방법에 관한 것이다.
휴대폰, 개인 휴대 단말기(Personal Digital Assistant : PDA), 노트북 등의 휴대용 단말장치와 데스크탑 개인용 컴퓨터(Personal Computer : PC)는 공공장소에서 자주 사용된다. 이 때, 디스플레이 모니터의 내용은 그 디스플레이의 가시거리 내에 있는 모든 사람이 볼 수 있다. 이와 같은 보안성 문제로 인해 텍스트 작성, 메일, 채팅, 동영상 감상 등을 위해 컴퓨터를 사용할 때 다른 사람이 보기를 원하지 않는 내용의 경우 컴퓨터 사용에 제한이 많다. 프라이버시 문제는 개인적인 컴퓨터 사용 외에도 기업, 정부 등에서 기밀문서를 컴퓨터로 작업할 때도 야기될 수 있다. 그 외에도 디스플레이의 보안성 문제는 다양한 분야에 존재한다. 예를 들어, 자동 예금 지급기(automatic teller machine : 이하, "ATM"이라고 함)는 공공장소에 배치되므로 ATM 사용자의 비밀번호 키입력과 화면상의 거래내역과 같은 비밀정 보가 쉽게 노출될 수 있다. 그러므로, 공개적으로 볼 수 있는 모니터 상에서 허가된 사용자에게 비공개 정보를 제공하고, 반면에 권한이 부여되지 않은 사람은 동일한 모니터 상의 비공개 정보를 볼 수 없는 디스플레이를 개발하면 유용하다.
초창기의 액정표시장치(liquid crystal display : 이하, "LCD"라고 함) 모니터는 시야각이 좁아서 정면에서 조금 옆으로 비껴서 보면 화면이 어둡게 보이는 문제가 있었다. 이 점은 일반적인 사용 측면으로 보면 불편한 사항이었기 때문에 시야각을 넓히는 방향으로 기술 발전이 이루어졌지만, 보안 관점으로 보면 약간의 보안성을 가지고 있다고 볼 수 있고 가장 초보적인 형태의 비공개 디스플레이(private display)라 할 수 있다. 이런 개념을 좀 더 발전시킨 마이크로 차단판을 갖는 디스플레이가 미국특허 제5,528,319호(발명자는 Russel임)에 개시되어 있다. 그러나 이 방식은 사용자의 뒤편에 있는 사람에게도 디스플레이의 내용이 완전히 노출된다는 단점이 있다.
좀 더 발전된 개념의 비공개 디스플레이는 셉터(Sceptre)사가 1998년에 제품 출시한 보안 LCD이다. 편광을 이용한 이 제품은 일반 LCD 모니터 내부에 있는 편광판을 제거하고 사용자가 편광안경을 이용하여 보도록 되어 있다. 그러나 이 제품은 프라이버시가 중요하지 않는 상황에서도 항상 편광안경을 착용해야만 시지각할 수 있기 때문에 일반적인 용도로는 불편하다. 또한, 일반 선글래스와 같은 단순한 편광특성을 가진 안경을 착용한 비허가자도 내용을 볼 수 있으므로 보안성이 낮다. 결국 이 제품은 시장에서 실패하고 단종되었다. 이 방식을 약간 개선하여 2001년에 MMI사(http://www.man-machine.com/invisivw.htm)는 편광판을 장탈착할 수 있는 제 품을 출시했다. 그러나 이 제품도 선글래스 등의 단순 편광 안경을 착용한 비허가자가 내용을 볼 수 있다는 단점이 남아있다.
가장 완벽한 비공개 디스플레이는 머리 장착 디스플레이(head-mounted display : 이하, "HMD"라고 함)이다. 그러나 HMD는 디스플레이와 광학계를 모두 안경에 담았기 때문에 가격이 비싸고 착용하기에 무거우며 전력소모가 많다는 문제점이 있다.
비공개 디스플레이는 아니지만 기술적 관련이 있는 디스플레이로서, 하나의 디스플레이가 2 종류의 서로 다른 영상을 표시하고 셔터안경을 구비한 사용자가 각각 자신의 영상을 시지각하는 화면 다중 디스플레이가 한국특허출원 1991-0000391(출원인은 삼성전자, 발명의 명칭은 "모니터의 화면 다중 디스플레이 장치 및 시지각장치"임)과, 한국특허출원 1997-044686(출원인은 삼성전자, 발명의 명칭은 "두 화면 동시시지각 영상기기"임)과 한국특허출원 1999-0051191(출원인은 최효승, 발명의 명칭은 "다종영상물 동시재생 장치"임)에 개시되어 있다. 또한 화면 다중 디스플레이를 게임에 적용한 기술이 미국특허 제5,963,371호(인텔에 양도됨)에 개시되어 있다. 화면 다중 디스플레이는 셔터안경을 착용하고 디스플레이를 보는 사람 외의 사람이 디스플레이의 내용을 어느 정도 볼 수 있기 때문에 비공개 디스플레이라 할 수는 없다. 즉, 다른 영상의 차단을 위해서 셔터를 착용할 뿐이고 비공개 영상을 보호할 수단은 없다.
본 명세서에서 모니터의 수직동기(vertical sync)로 구별되는 하나의 디스플레이 화면을 모니터 프레임(monitor frame)이라 하고, 영상 데이터의 한 조각을 영 상 데이터 프레임(image data frame)이라 한다. 하나의 영상 데이터 프레임은 모니터의 한 프레임과 같은 크기일 수도 있고 다를 수도 있다. 비공개 영상(private image : 이하, "P 영상"이라고 함)은 허가된 사용자의 사적인 비공개 영상이다. 마스킹 영상(masking image : 이하, "M 영상"이라고 함)은 비허가자가 허가된 사용자의 비공개 영상을 보지 못하도록 차단하는 영상이다.
셔터안경을 이용하여 사적인 정보를 보호하는 비공개 디스플레이가 현재 구현되고 있다. 원가가 저렴하고 착용이 가벼우며 성능 향상의 여지가 많기 때문에 현재로서는 가장 경쟁력 있는 방법으로 여겨진다. 비공개 디스플레이는 '사용자 시지각 성능', '맨눈 보안 성능', '염탐자 대항 보안 성능' 등 세가지 성능 조건을 모두 만족시켜야 한다. '사용자 시지각 성능'은 허가된 사용자가 영상을 시각적 불편 또는 피로감 없이 명료하게 볼 수 있도록 하는 것이고, '맨눈 보안 성능'은 셔터를 갖지 않은 비허가자가 영상을 명료하게 볼 수 없도록 하는 것이며, '염탐자 대항 보안 성능'은 셔터를 가진 비허가자나 고의적인 염탐자(peeper)가 영상을 명료하게 볼 수 없도록 하는 것이다.
미국특허 제5,629,984호에 개시된 선마이크로시스템즈(Sun Microsystems)사의 "동기식" 방식에서는, 비공개 영상 데이터 프레임(private image data frame : 이하, "P 프레임"이라고 함)과 마스킹 영상 데이터 프레임(masking image data frame : 이하, "M 프레임"이라고 함)을 모니터의 프레임 동기에 맞추어 교체하면서 표시하고 동시에 셔터안경을 개폐하여 셔터안경을 소유한 사용자만이 비공개 영상을 볼 수 있게 한다. P 프레임과 M 프레임의 교체는 P 프레임 1번 표시할 때마다 M 프레임을 m번 표시하는 1:m(m=1,2,3…)의 비율로 이루어진다. 이 방식은 '맨눈 보안 성능'은 만족시키나 '염탐자 대항 보안 성능'을 고려하지 못하고 있고, m이 커지면 '사용자 시지각 성능'도 떨어진다. M 프레임의 마스킹 영상으로 단순한 백색 플래쉬(whited flash) 영상을 생성함으로써 비공개 영상을 가리는데 효과적이지 않다. 셔터 개폐가 필요할 때마다 셔터에게 셔터 개폐 신호를 암호화하지 않고 전송함으로써 염탐자가 가로채기가 쉽다.
영국특허공개공보 GB 2360414A에 개시된 IBM사의 "비동기식" 방식에서는, P 프레임과 M 프레임을 모니터의 프레임 동기에 맞추지 않고 디스플레이 하면서 P/M 데이터 프레임과 셔터안경만을 동기하고 있다. 이 방식에서는 P/M 영상 데이터 프레임의 디스플레이 시간을 가변하여 암호화함으로써 '염탐자 대항 보안 성능'을 높였다. 그리고 셔터측의 타이머를 전제하고 셔터에게 셔터 개폐 신호를 암호화하여 전송함으로써 염탐자가 셔터 개폐 신호를 가로채지 못하도록 '염탐자 대항 보안 성능'을 높였다. 그러나 영상 프레임과 모니터 프레임의 비동기로 인하여 '사용자 시지각 성능'이 떨어진다. 모니터의 영역별로 광강도 밀도가 가변하여 사용자가 보기 불편하고, 비동기식의 특성과 셔터의 유한한 응답 시간(response time)이 맞물려 P 영상과 M 영상이 전환하는 경계에서 영상 불균일이 발생하여 불편하다. 아울러 모니터 특정 영역(상단부)에서는 P 영상이 디스플레이될 확률이 증가하므로 이 영역에서 '맨눈 보안 성능'과 '염탐자 대항 보안 성능'이 저하된다. 또한, 영상 데이터 프레임이 반복적으로 P와 M을 교체하기 때문에, 염탐자가 튜닝(tuning)을 통해 P 영상을 볼 수 있는 확률이 높아진다. 또한 M 프레임의 마스킹 영상 데이터를 단순 한 랜덤 패턴 영상으로 생성함으로써 비공개 영상을 가리는 데 효과적이지 않다. 셔터 개폐 신호의 암호화 전송을 위해 수신측에 타이머가 필요하다는 점도 개선의 여지가 있다.
미국특허 제5,629,984호에 개시된 백색 플래쉬(white flash) 마스킹 영상이나 영국특허출원 GB 2360414에 개시된 랜덤 마스킹 영상은 비공개 영상을 효과적으로 차단하기 어렵다. 균일한 백색 플래쉬 마스킹 영상은 낮은 공간 주파수와 낮은 시간 주파수를 갖고 있으므로 다른 시간 주파수, 공간 주파수를 갖거나 지각 그룹핑(perceptual grouping)된 인지적 의미를 갖는 비공개 영상을 마스킹하기 어렵다. 플래쉬 마스킹 영상으로 마스킹이 효과적이려면 한 개의 비공개 영상에 대하여 여러 개의 플래쉬 마스킹 영상을 디스플레이 해야만 하므로 사용자가 비공개의 영상을 보는 '사용자 시지각 성능'이 떨어진다. 랜덤 마스킹 영상은 휘도, 컬러 각각에 대하여 넓은 시간 주파수 대역과 공간 주파수 대역을 가지고 있어서 플래쉬 마스킹 영상보다는 마스킹 성능이 우월하지만, 사람이 민감한 시간 주파수 및 공간 주파수 대역과 민감하지 않는 주파수 대역을 구별하지 않으므로 인해 특정 주파수 대역의 신호가 많은 일반적인 비공개 영상을 마스킹하기 어렵다. 또한, 지각 그룹핑된 인지적 의미가 있는 비공개 영상을 인지적 의미가 없는 랜덤 마스킹 영상으로 마스킹하기는 어렵다.
2002년 2월에 웹사이트( http://www.merl.com/papers/TR2002-11/ ) 에서 개시된 MERL(Mistubishi Electric Research Laboratory)의 비공개 디스플레이는 동기식에 근거한다. MERL의 비공개 디스플레이에서는 눈의 시간 적분을 이용하여 마스킹 영상 데이터로서 비공개 영상 데이터의 역상(inverse image)을 생성하여 표시함으로써 비허가자는 비공개 영상과 역상의 평균 영상인 균일한 회색 영상을 보게 만들어 '맨눈 보안 성능'을 향상시켰다. '염탐자 대항 보안 성능'을 향상시키기 위해 P/M 영상 프레임 시퀀스를 랜덤하게 생성하여 제공한다. 특히, FLC와 같은 고가의 빠른 셔터를 이용해 프레임 기반이 아닌 픽셀(pixel) 기반 셔터링을 제안하고 있다. MERL의 방식에서는 역상을 생성할 때 모니터의 감마(Gamma)를 고려하였지만 인간의 시지각에 대한 이해가 부족하여 불완전한 역상을 생성하였다. 또한, 매 프레임마다 역상을 계산하는 시간이 많이 걸려서 실시간 시스템이 될 수 없다.
MERL의 방식에서는 역상을 생성할 때 모니터의 감마(Gamma)를 고려하였지만 인간의 시지각에 대한 고려가 부족하여 불완전한 역상을 생성하였다. 그리고 매 프레임마다 역상을 계산하는 시간이 많이 걸려서 실시간 시스템이 될 수 없었기 때문에 정지 영상(still image)의 비공개 디스플레이에만 적용할 수 있었다. 또한 MERL의 비공개 디스플레이에서는 인지적 의미가 있는 교란 영상을 마스킹 영상으로서 사용하였다. 이 경우 비공개 영상의 동적 범위(dynamic range)를 마스킹 영상에 비하여 축소하여 교란 영상이 눈에 더 잘 띄도록 만들었다. 여기서 동적 범위란 컬러 공간(color space)의 최대값과 최소값의 차, 모니터 밝기의 범위, 모니터로 가는 전압의 범위 등과 같은 개념이다. 그러나 MERL 방식은 특정한 정지 비공개 영상을 가리는 데만 효과적인 특정한 사진 영상을 교란 영상으로서 사용하였기 때문에, 일반적인 비공개 영상에 사용될 수 있는 체계적이고 전략적인 교란 영상 생성 방식이 아니며 인간 시지각 특성을 고려하지 못하였다. 또한 매 프레임마다 교란 영상을 실시간으로 제공하는 방법을 제시하지 못하여 정지 영상의 비공개 디스플레이에만 적용할 수 있었다.
본 발명은 이러한 종래 기술의 문제점을 해결하기 위해 제안된 것으로서, 인간의 시지각 특성을 고려하여 비공개 영상을 가리는데 보다 효과적인 마스킹 영상을 생성하는 것을 일 목적으로 한다.
또한 본 발명은 비공개 영상을 가리는 마스킹 영상을 실시간으로 생성하는 것을 다른 목적으로 한다.
전술한 바와 같은 목적을 달성하기 위한 본 발명은 공개된 디스플레이를 이용하여 비공개 영상을 출력하는 장치에 있어서, 비공개 영상을 생성하는 수단과, 상기 비공개 영상을 마스킹하는 마스킹 영상을 생성하는 수단과, 상기 비공개 영상과 상기 마스킹 영상에 대한 영상 시퀀스 패턴을 생성하는 수단과, 상기 영상 시퀀스 패턴에 따라 상기 비공개 영상과 상기 마스킹 영상을 상기 디스플레이로 출력하는 수단을 포함하며, 상기 마스킹 영상 생성 수단은 상기 스플레이의 리프레쉬 속도와 상기 영상 시퀀스 패턴에 따라 상기 비공개 영상의 동적 역상을 마스킹 영상으로 생성하는 것을 특징으로 한다.
또한 본 발명은 공개된 디스플레이를 이용하여 비공개 영상을 출력하는 장치에 있어서, 비공개 영상을 생성하는 수단과, 상기 비공개 영상을 마스킹하는 마스킹 영상을 생성하는 수단과, 상기 비공개 영상과 상기 마스킹 영상에 대한 영상 시 퀀스 패턴을 생성하는 수단과, 상기 영상 시퀀스 패턴에 따라 상기 비공개 영상과 상기 마스킹 영상을 상기 디스플레이로 출력하는 수단을 포함하며, 상기 마스킹 영상 생성 수단은 인간의 시지각 특성에 기반한 교란 영상을 마스킹 영상으로 생성하는 것을 다른 특징으로 한다.
또한 본 발명은 공개된 디스플레이를 이용하여 비공개 영상을 출력하는 장치에 있어서, 외부 서버로부터 비공개 영상을 수신하거나 자체적으로 비공개 영상을 생성하는 수단과, 외부 서버로부터 마스킹 영상을 수신하는 수단과, 상기 비공개 영상과 상기 마스킹 영상에 대한 영상 시퀀스 패턴을 생성하는 수단과, 상기 영상 시퀀스 패턴에 따라 상기 비공개 영상과 상기 마스킹 영상을 상기 디스플레이로 출력하는 수단을 포함하는 것을 또 다른 특징으로 한다.
또한 본 발명은 공개된 디스플레이를 이용하여 비공개 영상을 출력하는 장치에 있어서, 외부로부터 비공개 영상을 수신하는 수단과, 상기 비공개 영상을 마스킹하는 마스킹 영상을 생성하는 수단과, 상기 비공개 영상과 상기 마스킹 영상에 대한 영상 시퀀스 패턴을 생성하는 수단과, 상기 영상 시퀀스 패턴에 따라 상기 비공개 영상과 상기 마스킹 영상을 상기 디스플레이로 출력하는 수단을 포함하는 것을 또 다른 특징으로 한다.
또한 본 발명은 공개된 디스플레이를 이용하여 비공개 영상을 출력하는 장치에 있어서, 외부로부터 비공개 영상을 수신하는 수단과, 상기 비공개 영상을 마스킹하는 마스킹 영상을 생성하는 수단과, 상기 비공개 영상과 상기 마스킹 영상에 대한 영상 시퀀스 패턴을 수신하는 수단과, 상기 영상 시퀀스 패턴에 따라 상기 비 공개 영상과 상기 마스킹 영상을 상기 디스플레이로 출력하는 수단을 포함하는 것을 또 다른 특징으로 한다.
또한 본 발명은 공개된 디스플레이를 이용하여 비공개 영상을 출력하는 장치에 있어서, 비공개 영상을 생성하는 수단과, 상기 비공개 영상을 마스킹하는 마스킹 영상을 생성하는 수단과, 상기 비공개 영상과 상기 마스킹 영상에 대한 영상 시퀀스 패턴을 생성하는 수단과, 상기 영상 시퀀스 패턴에 따라 상기 비공개 영상과 상기 마스킹 영상을 상기 디스플레이로 출력하는 수단을 포함하며, 상기 마스킹 영상 생성 수단은 마스킹 영상 생성용 컬러 테이블을 구비하는 컬러 테이블 저장부와, 상기 마스킹 영상 생성용 컬러 테이블을 참조하여 마스킹 영상을 생성하는 영상 변환부를 구비하는 것을 또 다른 특징으로 한다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명한다. 설명의 편의상 도면에서 동일한 참조부호는 동일 또는 유사한 구성요소 또는 신호를 가리키는 것으로 사용된다.
[시스템 구조]
비공개 디스플레이는 데스크탑 PC, 노트북, PDA, 휴대전화, TV, DVD, ATM/CD기, 도어락(door lock) 정보입력기와 같은 각종 모니터 디스플레이 장치에 널리 사용할 수 있다. 이 가운데 가장 전형적인 시스템이라 할 수 있는 PC 모니터에 대한 실시예를 중심으로 기술한다. 당업자라면 다른 디스플레이 장치에 쉽게 변경하여 적용할 수 있다. 일반적으로 다른 디스플레이 장치는 PC 모니터 보다 그 구조가 간단하므로 PC 모니터 실시예의 필수 구성요소 가운데 일부를 제외하고도 비공개 디 스플레이를 구현할 수 있다.
도 1은 노트북 PC에 적용된 실시예의 기본 구성도이다. 도시되어 있는 바와 같이, 모니터(102)를 구비한 컴퓨터 장치(104), 광 필터링을 하는 셔터 개폐 수단(106), 컴퓨터(104)와 셔터 개폐 수단(106)을 연결하는 유무선 통신수단(108), 비공개 디스플레이 소프트웨어(도시되지 않음)로 이루어져 있다. 컴퓨터(104)는 비공개 디스플레이 소프트웨어를 컴퓨터 판독가능 메모리에 저장하여 포함할 수 있다. 컴퓨터(104)는 사용자의 요구에 의하거나 자체적으로 비공개 영상과, 비공개 영상을 마스킹하는 마스킹 영상을 모니터(102)에 디스플레이하고, 상응하는 셔터 개폐 신호를 셔터 개폐 수단(106)에 전송하여 셔터 개폐 수단(106)을 작동함으로써 허가된 사용자만이 비공개 영상을 볼 수 있도록 한다. 여기에서 컴퓨터(104)는 데스크탑 PC, 노트북, PDA, 휴대전화, TV, DVD, ATM/CD기, 도어락 정보입력기 등 모니터에 영상을 디스플레이하고 운영하는 다양한 정보기기를 통칭한다.
셔터 개폐 수단(106)은 기계식, 또는 액정 셔터와 같은 광전식일 수 있다. 셔터 개폐 수단(106)은 셔터 렌즈를 한 개 또는 여러 개를 가진 셔터 안경, 지지대를 가진 셔터 구조물, 셔터 모자와 같이 다양한 형태로 제작될 수 있다. 도 1에는 셔터안경 형태의 셔터 개폐 수단을 도시하였다.
컴퓨터(104)를 주위가 밝은 곳에서 사용할 경우에는 모니터(104)에서 반사된 주변광이 사용자 눈에 입사하여 모니터 영상의 대비(contrast)가 낮아지는 문제가 발생할 수 있다. 일 실시예에서는 3M사가 판매하고 있는 "3M TM Privacy Computer Filters"와 같은 주변광 차단 필터(도시되지 않음)를 모니터(102)의 전면에 부착한다. 주변광 차단 필터는 광투과율이 입사각에 의존하는 광필터로서 입사각이 특정 각도 이상인 광을 차단하는 필터이다. 주변광 차단 필터는 햇볕 차단용 창문 블라인드와 같은 기능을 하는 마이크로루버(Microlouver) 차단판을 가진 필름으로 구성되어 특정 각도 이상으로 입사하는 경사광을 차단한다. 다른 실시예에서는 3M사가 판매하고 있는 "Vikuiti TM Display Enhancement Films"와 같은 조도 강화 필름(brightness enhancement film)을 모니터(102)의 전면에 부착하여 모니터의 밝기를 향상시킨다. 모니터(102)의 전면에 이러한 필터를 부착할 경우에는 모니터(102)로 입사하여 반사하는 주변광 차단에는 효과적이지만 직접 셔터 개폐 수단(106)으로 입사하는 주변광을 차단할 수는 없다. 셔터 개폐 수단(106)으로 직접 입사하는 주변광을 차단하기 위하여 본 발명의 또 다른 실시예에서는 도 2에서와 같이 주변광 차단 필터(202)를 셔터 개폐 수단(106)에 부착한다. 주변광 차단 필터(202)를 부착하면 사용자가 지각하는 영상의 대비는 올라가지만 전체 밝기가 다소 떨어진다. 다른 실시예에서는 밝은 곳에서는 필터(202)를 장착하고, 어두운 곳에서는 탈착하는 것이 가능하도록 한다.
도 3은 본 발명의 일 실시예에 의한 소프트웨어 방식의 전용 드라이버를 이용하는 시스템의 구성도이다. 소프트웨어 방식이란 셔터 개폐 수단(306)과 송수신 인터페이스부(308)를 제외한 기능의 구현을 소프트웨어로 하는 것을 의미한다. 여기서 전용 드라이버(310)는 PC(302) 내의 그래픽 드라이버(314)와 별개로 그래픽카 드와 같은 비디오 제어기(312)에 접근하여 비공개 디스플레이를 실시간으로 구현하는 드라이버를 의미한다.
비공개 디스플레이 제어 블록(318)은 보안 성능 제어부, 암호화부, 사용자 인증부, 관리부로 이루어지며, 사용자 인터페이스(320)로부터 사용자를 인증하고, 허가된 사용자의 인증 수준 및 사용자의 입력에 맞추어 디스플레이 보안 수준을 설정하고 관리한다. 사용자 인증 방법은 사용자 인터페이스(320)로부터 사용자의 식별부호(identification number : 이하, "ID"라고 함)와 비밀번호 입력을 받아 인증할 수 있다. 또한 ID와 비밀번호의 입력 없이 허가된 셔터 개폐 수단(306)을 연결함으로써 사용자 인증을 할 수 있다. 또한 허가된 셔터 개폐 수단(306)을 연결하고, 허가된 사용자 ID와 비밀번호의 입력을 받음으로써 사용자 인증을 할 수 있다. 허가된 셔터 개폐 수단 여부 인증 및 정품 인증은 셔터 개폐 수단(306)의 판독 전용 메모리(read only memory : ROM)(도시되지 않음)에 내장된 제품의 일련번호 등으로 수행한다. 비공개 디스플레이 제어 블록(318)은 모니터 정보 획득 수단(328)으로부터 모니터 정보를 입력 받고 사용자의 인증 수준 및 디스플레이 보안 수준을 기준으로 영상 데이터 프레임 시퀀스 생성수단(322), 셔터 전압 시퀀스 생성 수단(324), 마스킹 영상 생성 수단(326)을 제어한다. 모니터 정보 획득 수단(328)은 모니터(304)의 해상도, 리프레쉬 사이클 시간(refresh cycle time), 수직 동기(vertical sync), 수평 동기(horizontal sync) 등의 정보를 읽어 들인다.
영상 데이터 프레임 시퀀스 생성 수단(322), 셔터 전압 시퀀스 생성 수단(324), 마스킹 영상 생성 수단(326)은 사용자의 인증 수준 및 디스플레이 보안 레벨과 사용자의 추가적인 선택에 따라 상응하는 영상 데이터 프레임 시퀀스, 셔터 전압 시퀀스, 마스킹 영상을 각각 생성한다. 셔터 전압 시퀀스 생성 수단(324)은 영상 데이터 프레임 시퀀스에 동기되어 셔터 개폐 시퀀스를 생성하고, 셔터 개폐 시퀀스에 상응하는 전압 시퀀스를 생성한다.
전용 드라이버(310)는 생성된 영상 데이터 프레임 시퀀스에 따라 마스킹 영상 생성 수단(326)에서 생성된 마스킹 영상을 비디오 메모리(328)에 제공하거나, 마스킹 영상 생성 수단(326)의 지시에 따라 스스로 마스킹 영상을 생성시켜 비디오 메모리(328)에 제공하거나, 컬러 테이블(color table)을 실시간 변경 제어한다. 또한 전용 드라이버(310)는 생성된 영상 시퀀스에 따라 비디오 제어기(312)가 비공개 영상 메모리 블록과 마스킹 영상 메모리 블록을 스위칭하도록 함으로써 모니터(304)로의 영상 전송을 제어한다.
송수신부(308)는 셔터 개폐 수단(306)에게 셔터 개폐 시퀀스 또는 셔터 전압 시퀀스를 전송한다. 또한 송수신부(308)는 암호화 수단(도시되지 않음)을 사용하여 허가된 사용자에게 암호화된 셔터 전압 시퀀스를 전송할 수 있다. 송수신부(308, 310)는 USB, 직렬 링크(serial link)와 같은 유선링크나 IR, RF(FM, AM, Bluetooth)와 같은 무선링크로 구현될 수 있다. 그래픽카드와 같은 비디오 제어기(312)는 비디오 메모리(328)를 구비하고 있으며, 그래픽 드라이버(314)로부터 받은 원래의 비공개 영상과 전용 드라이버(310)로부터 받은 마스킹 영상을 영상 데이터 프레임 시퀀스에 따라 모니터(304)에 디스플레이한다.
도 3에 도시된 바와 같이, 셔터 개폐 수단(306)은 송수신부(310)와 디코더/ 인증수단(330)과 셔터 제어기(332)와 셔터부(334)로 이루어질 수 있다. 송수신부(310)는 송수신부(308)로부터 전송된 암호화된 셔터 개폐 신호를 수신하여 디코더/인증수단(330)에 전송한다. 디코더/인증수단(330)은 셔터 개폐 신호를 해독하여 셔터 전압 시퀀스를 생성하고, 셔터 제어기(332)는 셔터 전압 시퀀스에 따라 셔터부(334)를 완전히 개폐하거나 중간 상태로 개폐한다.
디스플레이 보안 수준은 셔터를 갖지 않은 비허가자에 대한 '맨눈 보안 성능'과 다른 셔터를 가진 비허가자에 대한 '염탐자 대항 보안 성능'에 따른 성능 수준으로 설정한다. 일반적으로 디스플레이 보안 수준이 높아질수록 사용자의 시지각 편안함, 영상의 선명도와 같은 '사용자 시지각 성능'이 낮아진다. 이러한 디스플레이 보안 수준은 다양하게 정의할 수 있다. 일 예로서, 제 1 수준은 비허가자는 모니터를 특정 시간 이상 장시간 보아도 사용자 비공개 영상의 대략적인 종류조차도 지각할 수 없다. 가장 엄격한 사적 정보 보호로서, 예를 들어 사용자가 워드를 하는지 동영상을 보는 지 여부도 알 수 없다. 제 2 수준은 비허가자가 모니터를 특정 시간 이상 본다면 사용자 영상의 대략적인 종류를 지각할 수 있다. 그러나 사용자 영상정보 내용의 일부도 파악할 수 없다. 예를 들어, 사용자가 동영상을 보는지 알 수 있어도 영화인지 채팅인지 알 수 없다. 제 3 수준은 비허가자가 모니터를 특정 시간 이상 본다면 사용자 영상 정보 내용의 일부를 대략적으로 파악할 수 있다. 그러나 사용자 영상정보 내용의 대부분을 파악할 수 없다. 예를 들어, 사용자가 치는 워드의 내용을 알 수 없다. 사용자가 영화 동영상을 보는 지 알 수 있어도 내용을 알 수 없다. 제 4 수준은 비허가자가 모니터를 특정 시간 이상 본다면 사용자 영상 정보 내용의 일부를 정확히 파악할 수 있다. 그러나 사용자 영상정보 내용의 대부분을 파악할 수 없다. 예를 들어, 사용자가 치는 워드의 내용을 약간 알 수 있다. 사용자가 시지각하는 영화 동영상의 내용을 약간 알 수 있다. 제 5 수준은 비허가자가 사용자 영상정보 내용의 상당 부분을 파악할 수 있다. 그러나 시지각에 불편함을 느낀다. 다른 실시예로서 이러한 성능 수준에 사용자 비공개 영상과 의도적인 교란 마스킹 영상이 비허가자에게 인식될 수 있는 정도를 부가적인 성능지수로 추가할 수 있다. 이 경우 상기 성능 수준과 같이 다양한 디스플레이 보안 수준을 설정할 수 있다.
도 4는 도 3에 도시된 비디오 제어기(312)를 기능별 블록으로 나타낸 도면이다. 도시된 바와 같이 영상 메모리 위치에 따라 비공개 영상 메모리 블록은 P1(Pm로 나타내고, 마스킹 영상 메모리 블록은 M1~Mn으로 나타낸다. P1~Pm은 시스템이 운용하는 프레임들이며, M1~Mn은 마스킹용으로 커널 드라이버인 전용 드라이버(310)에 의해 생성된 마스킹 프레임들이다. 각각의 메모리 블록은 플리핑(flipping)과 같은 방법을 통해 선택되어 영상값(RGB값) 변환기 역할을 하는 컬러 테이블(color table)(402)과 블록(404)을 경유하여 모니터(304)로 전송된다. 일 예로서 각각의 메모리 블록(P1~Pm, M1~Mm)은 하나의 모니터 프레임 크기에 해당한다. 전용 드라이버(310)는 하나의 쓰레드(thread)를 생성하여 중앙처리장치(CPU)에 여유 시간이 있을 때마다 비디오 제어기(312)에 임의로 잡아 놓은 마스킹 영상 메모리 블록(M1~Mn)에 영상 데이터를 갱신시킨다. 또한 전용 드라이버(310)는 비디오 제어기(312)의 수직동기 상태 레지스터(406)로부터 폴링(Polling) 방식으로 수 직동기 상태(Vsync_ST)를 확인하거나 수직동기 신호 발생회로(408)에서 생성되어 시스템에 걸려오는 수직동기 인터럽트(Vsync_INT)를 훅킹(Hooking)하므로써, 수직동기 신호와 동기시켜 영상 프레임(P1~Pm, M1~Mn) 중 하나를 선택하고, 그 프레임의 시작주소를 비디오 제어기(312)의 프레임 시작 주소 레지스터(도시되지 않음)에 기록하여 선택된 영상 프레임이 디스플레이 되도록 한다.
또한, 특정 수평동기 신호에 동기하여 선택된 영상 프레임이 디스플레이 되도록 할 수 있다. 후술할 컬러 테이블 변경법에서는 비공개 영상 블록이 모니터로 전송되는 동안 전용 드라이버가 컬러 테이블을 임의로 변경하여 임의의 영상값 변환을 함으로써 비공개 영상이 마스킹 영상으로 전환하는 효과를 볼 수 있다. 또한, 도 3의 전용 드라이버(310) 대신에 필터 드라이버(도시되지 않음)를 삽입할 수 있다. 필터 드라이버는 전용 드라이버(310)와 같은 기능을 하며 그래픽 드라이버(314)가 비디오 메모리(328)에 접근할 때 필터처럼 끼어 들어 작동한다. 또한 대체 드라이버 방법을 사용할 수 있다. 이 방법은 기존의 그래픽 드라이버에 전용 드라이버 기능을 통합하여 하나의 드라이버로서 제어하게 된다.
또한 도 5에서와 같이 전용 드라이버 기능 가운데 주요 기능을 어플리케이션 레벨에서 구현할 수 있다. 이 경우 전용 드라이버(508)는 셔터 개폐 시퀀스를 송수신부(510)를 통해 셔터 개폐 수단(306)으로 전송하는 일과 컬러 테이블을 실시간 변경 제어하는 일 등을 담당하고, 어플리케이션 레벨에서의 영상 제어 수단(514)은 영상 데이터 프레임 시퀀스 생성 수단(322)에서 생성된 영상 데이터 프레임 시퀀스에 따라 마스킹 영상 생성 수단(524)에서 생성된 마스킹 영상을 그래픽 드라이버(520)를 통해 비디오 메모리(518)에 제공하거나 마스킹 영상 생성 수단(524)의 지시에 따라 스스로 마스킹 영상을 생성시켜 비디오 메모리(518)에 제공한다. 또한 어플리케이션 레벨에서의 영상 제어 수단(514)은 생성된 영상 데이터 프레임 시퀀스에 따라 비디오 제어기(516)로 하여금 비공개 영상과 마스킹 영상을 스위칭함으로써 모니터(504)로의 영상 전송을 제어하도록 한다. 어플리케이션 레벨에서의 영상 제어 수단(514)은 예를 들어, 다이렉트엑스(DirectX) 등을 이용한 페이지 플리핑 방식을 포함하여 구현할 수 있다. 또한 영상 제어 수단(514)은 가상 데스크탑(virtual desktop)을 만들어 사용자에게 표시할 수 있다. 또한 영상 제어 수단(514)은 데스크탑을 확장하고 데스크탑의 원점 이동을 제어할 수 있다.
도 6은 도 3, 도 5에 도시된 본체(302, 502)와 셔터 개폐 수단(306) 사이의 유무선 통신 인터페이스의 블록도이다. 통신 인터페이스는 USB, IEEE 1394, 직렬 링크(Serial link)와 같은 유선링크나 IR, RF(FM, AM, Bluetooth)와 같은 무선링크로 구현될 수 있다. 일 예로 도 6a와 같은 USB 유선 링크에서 USB 시스템은 PC의 USB 포트(602)로부터 셔터의 개폐 여부 및 개폐 정도를 지시하는 신호를 입력 받는다. USB 시스템은 PC의 USB 포트(602)로부터 +5V의 전원을 입력 받아 전력 모듈(Power Module)(606)에서 +12V, +15V 등으로 승압하여 셔터 제어에 필요한 전압을 얻는다. 셔터 제어기(608)는 USB CPU(610)로부터 제어신호를 입력 받아 안경의 셔터(612)에 전압을 인가한다. 상기 제어신호는 펄스폭 변조 방식(Pulse Width Modulation; 이하, "PWM"이라고 함)과 같은 변조 방식이나 단순한 DC 전압으로 구현될 수 있다. 셔터부(626)에 디코더/인증수단(632)을 추가한 유선 링크 실시예는 도 6b와 같이 구성된다. 도 6a와 같은 실시예에서는 송신부(604)에 셔터 제어기(608)가 들어 있지만, 허가 받은 셔터로만 비공개 영상을 볼 수 있는 도 6b와 같은 실시예에서는 셔터 제어기(634)가 디코더/인증수단(632)과 함께 수신부(626)에 포함되며, 암호화된 셔터 개폐 신호가 수신부(626)로 전송된다. 다른 실시예로 도 6c와 같은 무선링크에서, 트랜스미터(652)를 포함한 송신부(646)는 컴퓨터의 USB 시스템에 연결되어 있고, 수신부(648)는 셔터(660), 리시버/디코더/인증수단(654), 전력 모듈(656), 셔터 제어기(658)를 포함하고 있다.
도 7은 본 발명에 의한 하드웨어 방식 외장형 실시예의 시스템 구성도이다. 셔터부와 송수신 인터페이스부를 제외한 대부분의 기능 구현을 소프트웨어로 하는 SW 방식에 비해 하드웨어(hardware : 이하, "HW"라고 함) 방식이란 시퀀스 제어, 마스킹 영상의 생성, 비공개 영상과 마스킹 영상의 통합 등의 일부 핵심기능을 하드웨어로 구현하는 방식을 의미한다. HW 방식에서는 외장형, 독립 카드형, 그래픽카드 내장형, 그래픽 칩 내장형, 모니터 내장형 등 다양한 실시예가 있다. 이들 실시예는 마스킹 영상의 생성, 및 비공개 영상과 마스킹 영상의 통합 등의 일부 핵심 기능을 회로적으로 구현하는 공통점을 갖는다. 이들 실시예 사이에는 이러한 핵심 기능 회로를 모니터(304)와 컴퓨터(702)에 상대하여 어느 위치에 놓느냐에 따라 간단한 회로 변경만으로 구현이 가능하다. 외장형은 핵심 기능 회로를 모니터(304)와 컴퓨터(702) 외부에 구현하는 방식이고, 독립 카드형은 컴퓨터에 꽂는 카드 형태로 구현하는 방식이고, 그래픽카드 내장형은 그래픽카드 회로에 핵심 기능 회로를 추가하는 방식이다. 또한 그래픽 칩 내장형은 그래픽 칩에 핵심 기능 회로를 추가하 는 방식이며, 모니터 내장형은 모니터 내부의 구동 회로에 핵심 기능 회로를 추가하는 방식이다. 여러 형태 가운데 도 7에 도시된 HW 방식 외장형 실시예를 대표로 하여 설명한다.
HW 방식은 비디오 제어기(710)를 모니터(304)와 직접 연결하지 않고 핵심 기능 회로(704)를 경유하여 연결하도록 한다. SW 방식에서 전용 드라이버는 시퀀스 제어 및 마스킹 영상 생성 전송 기능과 셔터 개폐 수단 연결 기능을 수행하지만, HW 방식에서 전용 드라이버(714)는 단지 소프트웨어와 하드웨어의 연결 기능만을 담당한다. HW 방식에서는 시퀀스 제어 및 마스킹 영상 생성, 비공개 영상과 마스킹 영상의 통합이 하나의 외장형 회로(704)로 구현된다. 즉, 핵심 기능 회로(704)는 비공개 영상과 마스킹 영상의 영상 시퀀스 신호를 생성하는 시퀀스 제어기(732)와, 셔터 개폐 수단(306)으로 영상 시퀀스 신호를 전송하는 송수신부(738)와, 마스킹 영상을 생성하는 마스킹 영상 생성 수단(734)과, 영상 시퀀스 신호에 따라 비디오 제어기(710)로부터 전송되는 비공개 영상과 마스킹 영상 생성 수단(734)로부터 전송된 마스킹 영상을 공개 영상으로서 모니터(304)에 전송하는 모니터 인터페이스(736)를 구비하고 있다.
도 8은 HW 방식 외장 제어기의 블록도이다. 핵심 기능 회로가 구현된 외장 제어기(802)는 컴퓨터의 COM, PS2 또는 USB 포트(803)로부터 제어 정보(구동, 정지 등)나 시퀀스 정보 등을 제공받고 외장 제어기(802)의 상태를 컴퓨터에 알려준다. 또한 외장 제어기(802)는 컴퓨터의 VGA 출력 단자(804)로부터 RGB, DVI 신호 및 수직동기 신호(Vsync), 수평동기 신호(Hsync) 등을 얻어온다. 수직동기 신호(Vsync) 또는 수평동기 신호(Hsync)는 외장 제어기(802)의 마이크로 프로세서(806)에 인터럽트를 발생하고 마이크로 프로세서(806)는 컴퓨터로부터 제공받거나 자체 생성된 시퀀스를 적용하여 출력될 신호를 설정한다. 이때 외장 제어기(802)는 송수신부(808)를 이용해 셔터 개폐 수단(306)에 적절한 DC 전압이나 이에 해당하는 듀티(Duty)를 갖는 PWM 신호를 가해주어 개폐 여부 및 개폐 정도를 결정한다.
마스킹 영상신호 생성기(812)는 VGA 출력단자(804)로부터 얻은 비공개 영상의 RGB, DVI 신호를 조작하거나 자체적으로 임의의 교란 신호를 발생시킨다. HW 방식에서 마스킹 영상 생성은 원상인 비공개 영상의 RGB, DVI 신호에 대한 반전 회로를 이용한 역상 생성, 미분기나 적분기 회로 또는 각종 필터 회로를 이용한 원상 유도 영상 생성, 랜덤 노이즈 발생기를 이용한 랜덤 노이즈 마스킹 영상 생성 자체 영상 저장 모듈을 두어 이를 이용한 교란 영상 생성 등으로 구현되며, 또한 이러한 방법들을 적절히 조합한 영상 생성 등으로 구현된다. 마스킹 영상신호 생성기(812)가 영상값(RGB값)의 변환기 역할을 하게 된다. 역상을 생성하는 방법은 RGB 신호의 최대값과 최소값 사이의 임의의 기준값을 기준으로 신호를 반전시켜 역상이 되는 아날로그 신호를 만들어낸다. 인간의 시지각 특성을 고려하여 기준값은 임의로 조절되어 평균값으로부터 바이어스를 가질 수 있게 한다. 블랭크 신호원(Blank signal source)(814)는 RGB 신호에 무관하게 모니터(304)에 일정한 전압을 입력함으로써 회색 프레임(gray frame)을 생성할 수 있고, 부드러운 화면 전환 등을 목적으로 사용할 수 있다. 아울러 마스킹 영상을 모니터(304)에 전송할 때 승압 회로를 통하게 하여 마스킹 영상을 비공개 영상보다 더욱 밝게 만드는 방법도 사용한다. HW 방식은 승압, 랜덤 노이즈 발생 등을 계산 시간에 대한 부담 없이 구현할 수 있다.
도 9는 본 발명에 의한 완전 독립형 HW 방식 외장형 실시예의 시스템 구성도이다. 완전 독립형 HW 방식은 비공개 디스플레이를 위한 대부분의 기능을 독립된 하드웨어로 구현하는 방식이다. 이 방식에서는 대상 컴퓨터 시스템(902)에서 비디오 제어기(710)와 모니터(304)를 직접 연결하지 않고, 독립된 하드웨어(904)를 경유하여 연결하도록 한다. 비공개 디스플레이를 위한 대부분 또는 전부의 기능을 독립된 하드웨어(904)에 구현하기 때문에 대상 컴퓨터 시스템(902)에 맞추어 비공개 디스플레이 구현을 위한 소프트웨어 부분을 변경할 필요가 적어지는 장점이 있다.
도 10은 본 발명에 의한 SW/HW 통합 방식 외장형 실시예의 시스템 구성도이다. 이 시스템은 SW 방식과 HW 방식을 통합하여 비공개 디스플레이를 구현한 것으로서, 특히 전용 드라이버(1004)는 마스킹 영상을 마스킹 영상 생성 수단(524)을 이용하여 소프트웨어로도 생성하고, 마스킹 영상 생성 수단(734)을 이용하여 하드웨어로도 생성하여 통합 제공하는 데 주안점이 있다. 일 실시예로서 기본적인 마스킹 영상을 소프트웨어방식으로 생성한 다음에 여기에 HW 방식으로 랜덤 노이즈를 싣거나 미적분 효과 및 필터링 효과를 준다.
비선형 인버터를 이용하여 역상을 생성하고 랜덤 노이즈를 더하는 방법을 도 11에 나타내었다. 도 11에서 1102는 비선형 인버터이고, 1104는 랜덤신호 발생기이며, 1106는 신호 합성기이다. 도시된 바와 같이 마스킹 영상을 생성하는 경우, 종래와 같이 소프트웨어로 마스킹 영상을 생성하는 경우에 비해 소요 시간을 상당히 줄일 수 있으므로, 실시간적으로 마스킹 영상을 생성할 수 있게 된다.
[영상의 세부 구분]
마스킹 영상은 마스킹 특성에 따라 구분할 수 있다. 마스킹 특성을 다음과 같이 윗첨자 표시법으로 표시한다. 원상 유도 영상은 M i , 의도적 교란 영상은 M d , 부드러운 셔터 개폐 또는 부드러운 영상 프레임 전환을 위한 연결 영상 프레임은 M b 라 표현한다. 원상 유도 영상과 교란 영상이 혼합된 마스킹 영상은 원상 유도 영상이 주가 되고 교란 영상이 이에 부가된 형태일 경우 M i , 교란 영상이 주가 되고 원상 유도 영상이 이에 부가된 형태일 경우 M d , 원상 유도 영상과 교란 영상의 동등한 중요도이거나 중요도가 불확실할 때는 M i 나 M d 중 어느 하나로 표시한다.
원상 유도 영상이란 원상인 비공개 영상으로부터 계산되는 마스킹 영상으로서 역상, 원상이나 역상의 미적분 영상, 원상이나 역상의 필터링된 영상, 원상의 천이(shift) 영상 등이 포함된다. 교란 영상이란 원상 유도 영상을 제외한 마스킹 영상의 통칭이다. 부드러운 셔터 개폐 또는 부드러운 영상 프레임 전환을 위한 연결 영상 프레임이란 부드러운 셔터 개폐 및 영상 프레임 전환을 위하여 삽입하는 영상 프레임으로서 블랭크 프레임(blank frame) 또는 균일한 회색 프레임과 같은 연결 영상 프레임을 지칭한다.
비공개 영상과 마스킹 영상의 프레임이 지속적으로 교체하는 비공개 디스플레이에서는 인간 시지각 특성 가운데 시간 및 공간 주파수 특성, 시간 적분, 시간 억제(temperal inhibition) 등을 주요하게 다루어야 한다. 인간 시지각 특성 가운데 시간 및 공간 주파수 특성은 도 12a에 도시된 공간 대비 민감도 함수(spatial contrast sensitivity function : 이하, "SCSF"라고 함)와, 도 12b에 도시된 시간 대비 민감도 함수(temperal contrast sensitivity function : 이하, "TCSF"라고 함)로서 나타내어진다. 도 12a는 휘도(○) 및 컬러(□)에 대한 공간 대비 민감도 함수이고, 도 12b는 휘도(●) 및 컬러(○)에 대한 시간 대비 민감도 함수이다. 도시된 바와 같이, 낮은 공간 주파수이면서 낮은 시간 주파수 영역에서는 휘도와 컬러 모두에 시지각이 민감하지만, 특히 컬러에 시지각이 민감하다. 낮은 공간 주파수이면서 중간 시간 주파수 영역, 중간 공간 주파수이면서 낮은 시간 주파수 영역, 중간 공간 주파수이면서 중간 시간 주파수 영역에서는 휘도와 컬러 모두에 시지각이 민감하다. 그 밖의 높은 공간 주파수나 높은 시간 주파수 영역에서는 시지각이 휘도에 민감하지만 컬러에 둔감하다. 임계 플리커 주파수(critical flicker frequency : 이하, "CFF"라고 함)는 응답 가능한 최대 시간 주파수로서 약 55Hz 정도이다.
한편 눈의 생리학(physiology)에 의하면 망막(retina)에서 뇌까지 마그노셀룰러 경로(magnocellular pathway : 이하, "M 경로"라고 함), 파보셀룰러 경로(parvocellular pathway : 이하, "P 경로"라고 함), K 경로 등의 시신경 신호 경로가 존재한다. 경로 중 대부분을 차지하는 M 경로와 P 경로의 특성을 표 1에 나타내었다. 시간 해상도는 포비아(fovea) 바로 주변의 M 경로와 연결된 원추세포(cone)가 가장 좋다. 포비아의 P 경로와 연결된 원추세포의 시간 해상도는 중간 수준이고, 포비아에서 먼 간상세포(rod)의 시간 해상도가 가장 좋지 않다. 간상세포는 시간 민감도(temporal sensivity)가 가장 좋다.
인간의 눈은 시간 적분 샘플링(sampling)을 하여 시지각을 하고 있다. 통상적인 기계신호 샘플링은 샘플링 시점의 신호만 집어내는 반면 시간 적분은 시간 적분 구간 내의 신호를 적분한 값을 샘플링한다. 시간 적분 구간은 자극 세기(stimuli intensity), 자극 크기(stimuli size), 백그라운드 세기(background intensity), 위상 코히어런스(phase coherence), 대비 등에 따라 적응 가변한다. 기본적으로 포토리셉터(photoreceptor)에서 1차적으로 시간 적분이 일어난다. 그 이후에 뇌까지 이르는 각각의 시신경 경로마다 다른 적분 구간(integral interval)을 가지고 있고 최종적으로 뇌에서도 정보의 적분이 일어난다. 이런 다중 시간 적분이 종합되어 적응 가변적인 시간 적분 구간 동안 시간 적분이 일어난다.
시신경 세포의 수용 필드(receptive field)는 자극 입력을 받는 리셉터(receptor)로 구성되어 있다. 신경절 세포(ganglion cell) 및 LGN 셀의 중심 부-주변부 수용 필드(center-surround receptive field) 구조는 중심부 수용 필드(center receptive field)로부터 여기 입력(excitatory input)을 받고 주변부 수용 필드(surround receptive field)로부터 억제 입력(inhibitory input)을 받는다. 이 셀들의 중심부-주변부 수용 필드 구조는 휘도에 대하여 중심부-주변부 길항작용(center-surround antagonism)을 갖지만 컬러에 대하여는 그렇지 않다(도 13b 참조). 표 2에 P 경로의 P 셀의 구조를 나타내었다. 여기서 중심부 응답과 주변부 응답 사이에는 약간의 시간 지연(time delay)이 존재한다(도 13a 참조). 낮은 시간 주파수에서는 시간 지연이 응답신호의 주기보다 작으므로 휘도에 대하여 길항작용을 일으키고, 컬러에 대하여 상승작용을 일으킨다(도 13c 참조). 시간 주파수가 증가하여 응답신호의 주기가 계속 작아지면 중심부 응답과 주변부 응답사이에 180도 위상 천이가 발생하여 휘도에 대하여 상승작용을 일으키고, 컬러에 대하여 길항작용을 일으킨다(도 13d 참조). 이러한 생리학적 시간 억제 구조로 인해 시신경은 도 12에서와 같이 낮은 시간 주파수의 휘도 변화에 둔감하고 5~30Hz의 휘도 변화에 민감하게 되며, 낮은 시간 주파수의 컬러 변화에 민감하고 20Hz 이상의 컬러 변화에 둔감하게 된다.
[역상 생성]
비공개 영상을 가리기 위한 마스킹 영상으로서 비공개 영상의 원상 유도 영상 가운데 시간 적분을 이용한 역상(inverse image)을 생성할 수 있다. 시간 적분 구간 내에 비공개 영상과 역상이 제공된다면 사람은 시간 적분 구간 동안 영상을 적분하기 때문에 비공개 영상과 역상의 평균영상을 지각하게 된다.
가장 간단히 생각할 수 있는 역상은 정적 역상(static inverse image)으로서, 휘도-컬러 공간에서 정적 역상 픽셀 영상값은 최대 픽셀 영상값에서 원상 픽셀 영상값(여기서 원상은 비공개 영상을 의미함)을 뺀 값이다. 일례로 RGB 공간에서 원상의 하나의 픽셀 영상값이 (R',G',B')이고 최대 픽셀 영상값이 (R' m ,G' m ,B' m )일 때 정적 역상의 픽셀 영상값은 (R' i ,G' i ,B' i ) = (R' m -R',G' m -G',B' m -B')이 된다. 그러나, 비공개 디스플레이와 같이 원상과 역상 프레임이 지속적으로 교체하는 동적 상황에서는 눈의 복잡한 시지각 특성에 따라 정적 역상은 진정한 역상이 되지 못하고 동적 역상(dynamic inverse image)을 구해야만 한다.
동적 역상은 지각 영역(perceptual domain)을 기준으로 산출한다. 영상 생성 및 시지각의 일반적인 구조는 도 14와 같다. 영상은 영상 편집 프로그램이나 작업자의 입력을 통해 컴퓨터 내부에서 생성되거나, 빛에너지 영역(light energy domain)의 물체가 카메라에 의해 촬영되어 컴퓨터 영역(computer domain)의 값 Ga를 가지게 된다. 일반적으로 상기 값 Ga는 빛에너지 영역의 세기나 휘도에 대하여 감마 보정된 값이다. 빛에너지 영역의 컬러와 휘도 값은 CIE XYZ나 RGB 공간과 같 이 주로 삼중자극(tristimulus) 값으로 표현된다. RGB 공간에 상응하는 컴퓨터 영역의 영상값은 감마보정된 Ga = (R', G', B')이다. 컴퓨터 영역의 영상값 Ga는 모니터 입력전압으로 변환 출력되어 모니터에 의해 디스플레이되고, 이 과정을 빛에너지 영역의 값 I로 변환된다고 표현한다. 이 과정의 전달함수를 모니터 전달함수 f rm 라 하고, I=f rm (G a )의 관계가 성립한다. 모니터 전달함수 f rm 는 특징적으로 도 15와 같은 형태를 보인다. 통상 f rm 은 I=G a rm 와 같은 멱함수(power function)로 비교적 정확히 모델링된다. 빛에너지 영역의 세기나 휘도는 사람의 휘도(luminance)와 지각된 밝기(brightness) 사이의 시지각 전달함수 f a 에 의해 지각되며 V=f a (I)의 관계가 성립한다. 시지각 전달함수 f a 는 도 16과 같은 형태를 보인다. 통상 f a 은 V=I a 와 같은 멱함수(power function)로 비교적 정확히 모델링된다. 이와 같이 모니터 전달함수와 시지각 전달함수가 멱함수로 모델링될 때 승수 과 α는 거의 역수 관계에 있게 된다. 이에 따라 G a 와 V는 거의 선형적인 비례 관계에 있다.
그러나 이와 같은 관계는 정적(static)인 상황에서 얻어진 결과로서, 픽셀 영상값이 시간에 따라 변화하는 동적인 상황에서는 선형 관계에서 벗어나게 된다. 사람의 시지각은 픽셀 영상값의 시간 주파수와 공간 주파수에 따라 민감도가 달라지므로 G a 와 V의 선형적인 비례 관계가 깨지게 된다. 비공개 디스플레이에서 마스킹 영상으로서 역상을 주게 되면, 픽셀 영상값이 특정 영역의 시간 주파수를 가지고 고대비(high contrast)로 변하게 되므로 시간 주파수에 따른 G a 와 V의 비선형성이 중요하게 된다. 여기서 시간 주파수는 모니터의 리프레쉬 속도(refresh rate)와 비공개 영상과 마스킹 영상의 프레임 시퀀스에 크게 영향을 받는다. 결론적으로 비공개 디스플레이에서 역상을 구하려면 영상의 시간 주파수를 시간 적분과 함께 고려하여 동적 역상을 구해야 한다.
시지각의 휘도 TCSF 곡선(도 12b)으로부터 알 수 있는 바와 같이, 저주파수에서의 민감도 강하(drop-off)와 중간주파수(5~30Hz)에서의 민감도 증가는 주로 시간 억제와 관련한 시지각 정보 처리 메커니즘 때문이다. 이 곡선 및 관련 실험 결과에 의하면 5~30Hz의 플래쉬(flash)가 가장 밝게 지각된다(Bruke-Bartley 효과). 플래쉬의 휘도 변화 주파수가 CFF(약 55Hz)를 넘어가면 시간 억제가 별로 영향을 끼치지 않고 시간 적분에 의한 평균 영상으로 지각된다.
리프레쉬 속도에 따라 최적의 동적 역상이 달라진다. 리프레쉬 속도가 2CFF(약 110Hz)보다 크고 비공개 영상과 역상이 대략 절반씩 교체하는 경우에는, 적응 가변인 시간 적분 구간 동안 비공개 영상과 역상이 대략 절반씩 존재하므로 맨눈으로는 평균영상(합영상)이 보인다. 역상을 주게 되면 비공개 영상의 밝은 곳은 역상에서 어둡게 되고 그 역도 마찬가지이므로 리프레쉬 속도에 더하여 (리프세쉬 속도)/2 근처의 주파수가 영상의 주요 주파수가 된다. 따라서, 리프레쉬 속도가 120Hz라면 대략 60Hz 근처의 P, M 영상 교체가 발생하므로 P, M 영상 교체 주파수가 CFF 보다 크므로, 즉 (리프레쉬 속도)/2 가 CFF 보다 크므로 시간 억제가 별로 영향을 끼치지 않고 시간 적분에 의한 평균영상으로 지각된다. 이에 따라 리프레쉬 속도가 2CFF(약 110Hz) 보다 클 경우 동적 역상은 지각 영역(perceptual domain)을 기준으로 산출하는 것과 빛에너지 영역을 기준으로 산출하는 것의 차이가 거의 없다. 시간 적분 구간을 Δt s 라 할 때, 하나의 픽셀이 Δt p 동안 비공개 영상을 I p (t) 의 세기로 표시하고 Δt i 동안 역상인 마스킹 영상을 I i (t)의 세기로 표시한다고 가정한다. 여기서, Δt s = Δt p + Δt i , Δt p = Δt i 이다. 일반적으로 CRT, LCD 모니터 픽셀의 세기 응답은 도 17과 같으므로 I p (t)와 I i (t)은 변수이다. 편리를 위해 실제 모니터에 대해 에너지 등가이며 시간 적분의 특성에 따르는 이상적인 모니터를 계산한다. 이상적인 모니터는 컴퓨터 영역의 영상값 Ga에 해당하는 세기를 사각파 형태로 표시한다. 이러한 이상적인 모니터의 세기 , 를 세기 대표값으로 하여 다음과 같은 관계를 갖는 , 를 계산한다. , . 이와 같이 하면 실제 모니터에 대해 에너지 등가인 이상적인 모니터가 얻어진다. 이와 같이 하나의 픽셀이 동안 비공개 영상을 의 세기로 표시하고 동안 역상인 마스킹 영상을 의 세기로 표시한다고 근사한다. 실제로 시간 적분 구간 안에서는 세기와 시간의 곱이 동일하면 파형과 무관하게 같은 영상으로 지각되므로 이 근사가 타당하다.
비공개 영상과 역상의 평균 영상 세기 는 수학식 1과 같이 간단히 구할 수 있다. 이를 컴퓨터 영역의 영상값으로 나타내면 다음 수학식 2와 같고, 통상적인 멱함수로 표시하면 수학식 3과 같다. 여기에서 d는 평균 영상, p는 비공개 영상, i는 역상을 각각 가리킨다.
가장 먼저 평균영상을 구한다. 현재 컴퓨터 영역의 최대값과 최소값을 과 으로 정했다면 다음 수학식 4로부터 평균 영상값 를 산출한다. 다음으로 비공개 영상값 에 대하여 역상값은 다음 수학식 5 또는 수학식 6으로부터 간단히 구할 수 있다.
반면 정적(static) 역상은 다음 수학식 7과 같이 구해지므로 동적인 디스플레이 상황에서는 적절하지 않다. 일례로 컴퓨터 영역에서 RGB 공간과 24 비트 컬러를 사용하면 =255, =0이다. 모니터의 감마 가 2.2라면 평균 영상값은 ≒186이고, =170의 역상값은 =201이다. 정적(static) 역상일 경우에는 평균 영상값이 ≒128이고 =170의 역상값은 =85이다. RGB 공간에서는 각각의 RGB 성분을 이와 같은 방식으로 계산한다.
리프레쉬 속도가 2CFF(약 110Hz) 보다 작고 비공개 영상과 역상이 대략 절반씩 교체하는 경우에는, P/M 영상 교체 주파수가 CFF 보다 작게 됨으로써 시간 적분이 완벽하지 않게 되고, 시간 억제가 영향을 끼치게 되어 전술한 바와 같은 동적 역상 계산은 정확하지 않게 된다. 불완전한 시간 적분과 시간 억제의 영향을 고려하고 모니터 전달함수와 시지각 전달함수의 모델링 불확실성을 감안하여 역상을 계산해야만 한다. 그러나 사람의 시지각 과정이 아직까지 정확하게 알려져 있지 않기 때문에 해석적으로 역상을 계산하는 것은 한계가 있다.
따라서 이런 상황에서는 아래와 같은 동적 패턴 실험 방법을 사용하여 동적 역상을 산출한다. 먼저 현재 컴퓨터 영역의 최대값과 최소값을 과 으로 정했다면 도 18a와 같은 패턴에서 빗금부분을 , 그 외 백색 사각형 부분을 으로 하고 이 패턴을 원상으로 하고 이 패턴의 역상(빗금부분이 , 그 외 백색 사각형 부분이 )을 절반씩 교체하여 디스플레이한다. 이 영상을 보았을 때 T자의 선명도가 높을수록 시간 적분이 불완전하게 일어남을 나타내고 T자를 지각하지 못하면 시간 적분은 완전하다. 이 영상으로 현재의 리프레쉬 속도 하에서 시간 적분의 정도를 파악한다. 다음에는 일단 다음 수학식 8로 대략적인 평균 영상값을 계산한다.
다음에는 도 18a의 빗금부분을 앞에서 계산한 대략적인 평균 영상값 로 하고, 그 외 백색 사각형 부분이 이 되도록 하여 이 패턴을 원상으로 하고 이 패턴의 역상(빗금부분이 , 그 외 백색 사각형 부분이 )을 절반씩 교체하여 디스플레이한다. 평균 영상값 을 계속 바꾸면서 디스플레이하여 T자의 선명도가 가장 낮은 영상값이 평균 영상값에 가장 가까운 값이다. 이 값을 찾아내어 평균 영상값으로 선정한다. 다음에는 각각의 원상값 값에 대하여 동적 역상값 를 구 하는 단계이다. 전술한 바와 같은 단계를 이용하여 구한 평균 영상값 를 이용하여 다음 수학식 9로부터 대략적인 동적 역상값 를 계산한다.
도 18a의 빗금부분을 대략적인 평균 영상값 로 하고 그 외 백색 사각형 부분이 가 되도록 하여 이 패턴을 원상으로 하고 이 패턴의 역상(빗금부분이 , 그 외 백색 사각형 부분이 )을 절반씩 교체하여 디스플레이한다. 역상값 을 계속 바꾸면서 디스플레이하여 T자의 선명도가 가장 낮은 영상값이 동적 역상값에 가장 가까운 값이다. 이 값을 주어진 에 대한 동적 역상값 로 선정한다. 이와 같은 방식으로 모든 값(RGB 공간이라면 각각의 모든 R,G,B)에 대하여 동적 역상값을 선정하여 저장한다. 위에서는 도 18a의 패턴을 이용한 동적 패턴 실험 방법을 예로 들었지만 도 18b를 비롯한 다양한 패턴으로 위와 같은 절차를 테스트할 수 있다.
앞의 동적 패턴 실험 방법은 비공개 영상과 역상의 제공 비율이 1:1에서 벗어나거나 리프레쉬 속도가 2CFF(대략 110Hz) 보다 작을 때, 또는 모니터의 형광물질이 열화되거나 모니터의 실제 전달함수가 모델링된 모니터 전달함수에서 벗어날 때 특히 효과적이다. 아울러 리프레쉬 속도가 2CFF(대략 110Hz) 보다 크고, 비공개 영상과 역상이 대략 절반씩 교체하는 경우일지라도 시간 억제의 효과가 약간 남아 있으며, 모니터의 실제 전달함수가 모델링된 모니터 전달함수에서 벗어나는 경우가 있으므로 이러한 동적 패턴 실험 방법을 사용하면 좀 더 정확한 동적 역상을 얻을 수 있다.
비공개 디스플레이 소프트웨어는 미리 리프레쉬 속도, 비공개 영상과 역상의 표시 비율, 모니터 종류(CRT, LCD)별로 계산법이나 동적 패턴 실험 방법을 통해 산출한 동적 역상값을 저장한다. 이를 이용하여 사용자는 사용 환경이나 선택에 따라 적절한 동적 역상값을 사용하게 된다. 또한, 실제 모니터 별로 특성이 조금씩 다르므로 사용자가 직접 동적 역상값을 산출하여 사용할 수 있도록 비공개 디스플레이 소프트웨어는 동적 패턴 실험 방법 소프트웨어를 포함하여 제공될 수 있다.
[컬러 테이블 변경 방법]
마스킹 영상으로서 역상을 생성할 경우 일 실시예로서 비공개 영상의 각 픽셀마다 픽셀 영상값에 대응하는 역상값을 계산하여 비디오 메모리에 저장함으로써 역상을 생성할 수 있다. 이 방법은 각 픽셀마다 소프트웨어적인 계산을 한 후에 계산된 픽셀 역상값을 메모리에 저장해야 하기 때문에 계산시간이 많이 걸린다. 이 방법은 실시간 역상 생성이 어려워 정지 영상의 비공개 디스플레이에만 적용할 수 있었다. 역상 등의 원상 유도 영상을 실시간 생성하기 위하여 본 발명에서는 영상값(RGB값) 변환기를 이용한 영상값 변환 방법을 사용한다. 본 발명의 바람직한 실시예로서 그래픽카드와 같은 비디오 제어기에 포함된 컬러 테이블을 영상값 변환기로 사용하여 변환 규칙에 따라 컬러 테이블을 임의 변경함으로써 실시간 원상 유도 영상을 생성한다. 비디오 메모리에 있는 각 픽셀의 영상값을 모니터에 전송하는 과정에서, 일반적인 컴퓨터 시스템은 컴퓨터 도메인의 영상값 Ga를 디스플레이에 보 낼 때 컬러 테이블을 참조하여 영상값을 변환한 후, 변환 영상값을 D/A변환을 하여 RGB 전압과 같은 아날로그 방식으로 보내거나 DVI와 같은 디지털 방식으로 보내게 된다.
원래 컬러 테이블은 영상의 미세 보정을 위한 것으로서 일반적으로 영상값 Ga와 변환 영상값이 거의 차이가 나지 않는다. 일 실시예로서 도 19와 같이 영상값 Ga가 (R,G,B)일 경우에 변환 영상값(R_out, G_out, B_out)은 영상값 Ga를 거의 그대로 출력하고 영상의 미세 보정이 필요한 곳(도 19에서는 R=188일 때 R_out=187)만 약간 바꾸어 출력한다.
본 발명에서는 컬러 테이블의 변환값을 임의의 변환 규칙에 컴퓨터 영역의 영상값 변경한다. 비공개 영상에 대한 제1 컬러 테이블과 마스킹 영상에 대한 제2 컬러 테이블을 준비하여 각각의 영상이 디스플레이될 때 해당하는 제1 또는 제2 컬러 테이블의 값으로 비디오 제어기의 실제 컬러 테이블을 변경한다. 이 경우 변경된 컬러 테이블 변환값에 따라 다른 영상이 생성되며 영상값 Ga와 변환 영상값의 차이가 클 수 있고, 정반대의 특성을 가질 수도 있다. 일 실시예로서 원래의 컬러 테이블 대신에 동적 역상에 해당하는 각각의 Ga 대응 변환 영상값을 컬러 테이블에 넣으면 원 영상을 그대로 디스플레이하여도 동적 역상이 디스플레이된다. 도 20은 R=187 값을 평균 영상값으로 하여 동적 역상을 컬러 테이블 변경 방법으로 구현한 실시예이다. 이 때 픽셀 영상값 Ga=(R,G,B)는 R=0->R_out=255, R=255->R_out=0, R=186->R_out=188, R=187->R_out=187, R=188 ->R_out=186와 같은 변경된 변환 규칙에 의하여 변환 영상값으로 출력된다. 컬러 테이블 변경 방법은 각각의 픽셀 영상 값마다 역상값을 계산할 필요 없이 소수의 컬러 테이블의 값만을 바꾸어 역상을 생성하므로 역상 생성 시간이 빨라 실시간 역상 생성에 효과적이다.
컬러 테이블 변경 방법에서 임의의 규칙에 따라 컬러 테이블을 변경하면 동적 역상값 뿐만 아니라, 상기 변경된 컬러 테이블에 따라 임의의 변환 영상을 얻을 수 있다. 일 실시예로 각각의 Ga값에 대하여 컬러 테이블의 Ga 대응 변환 영상값을 상수값으로 놓으면 컬러 테이블 입력 영상에 무관한 영상을 얻을 수 있다. 이런 방식으로 입력 영상에 무관한 균일한 회색 영상, 균일한 색채를 띈 회색 영상, 균일한 색채 영상 등을 얻을 수 있다.
비공개 영상의 각각의 픽셀마다 역상값을 계산하여 역상을 생성하는 것과 같은 원상 유도 영상 계산 방법에서는, 일례로 도 4의 P1 메모리의 비공개 영상으로부터 계산된 원상 유도 영상을 M1 메모리에 저장하고 M1의 영상을 모니터에 출력하게 된다. 이에 비해 컬러 테이블 변경 방법에서는 비디오 메모리를 직접 조작하지 않고 원상 유도 영상 계산 규칙에 따라 컬러 테이블만 변경하고 P1 메모리의 비공개 영상을 모니터에 출력하면 원상 유도 영상 마스킹 영상이 디스플레이된다. 다른 실시예로는 P1 메모리의 비공개 영상을 M1 메모리 등에 저장하고 컬러 테이블만 변경하여 M1 메모리의 영상을 모니터에 출력하면 원상 유도 마스킹 영상이 디스플레이 된다.
드라이버 프로그램 상에서 그래픽카드의 수직동기나 특정 수평동기에 맞추어, 또는 비동기식으로 컬러 테이블 변환값을 변경한다. 수직동기에 맞추어 컬러 테이블 값을 변경하는 실시예는 드라이버에서 폴링 혹은 인터럽트 방식으로 수직동 기를 알아내고 수직동기가 발생된 즉시 컬러 테이블의 값을 새로운 값으로 교체한다. 인터럽트 방식의 경우 기존의 그래픽 드라이버의 인터럽트를 훅킹(Hooking)하여 인터럽트가 걸려올 때마다 컬러 테이블의 값을 변경한다. 컬러 테이블의 값을 변경하는데 수십 마이크로초 이하가 소요되므로 변경된 컬러 테이블의 효과는 즉시 나타난다. 본 발명의 다른 실시예에서는 HW 방식의 반전 회로, 미적분 회로 등을 영상값 변환기로 이용하여 실시간 영상값 변환을 구현한다.
[의도적인 교란 마스킹 영상 생성]
본 발명에서의 교란 영상이란 비공개 영상과 의존관계가 없는, 원상유도영상을 제외한 마스킹 영상을 총칭하는 것으로 정의한다. 종래는 백색 플래쉬(flash) 영상, 랜덤 영상, 정지 사진 영상, 스크린 세이버 영상을 교란 영상으로 사용하였으나, 이는 특정한 비공개 영상을 마스킹하는 데만 효과적인 방법으로서, 일반적인 비공개 영상에 사용될 수 있는 체계적이고 전략적인 교란 영상이 아니며 인간 시지각 특성을 고려하지 못하였다.
본 발명에서는 인간 시지각 특성을 고려하며 체계적이고 전략적인 교란 영상 생성 및 관리방법을 제시한다. 도 21은 본 발명의 일 실시예에 의한 교란 영상 생성 및 관리 방법의 절차를 나타낸다. 먼저 인간의 시지각 특성을 고려한 교란 영상을 제작 및 저장한다(2101). 교란 영상은 시지각에 민감한 주파수 특성, 휘도 대비, 컬러 대비, 인지적 내용 특성을 이용하여 제작된다. 일실시예에서는 하나의 교란 영상으로서 발생 가능한 임의의 비공개 영상을 효과적으로 마스킹할 수 있는 교란 영상을 제작한다. 다른 실시예에서는 특정한 비공개 영상을 더욱 잘 마스킹할 수 있도록 특정한 특성을 강조한 교란 영상을 제작한다. 교란 영상 파일은 모니터 프레임에 해당하는 크기를 가질 수도 있고 모니터 프레임보다 크거나 작은 영상 블록 단위일 수도 있다. 일 실시예에서는 여러 개의 교란 영상을 생성한다. 다른 실시예에서는 각각의 디스플레이 보안 수준에 사용하는 여러 개의 교란 영상을 제작한다.
다음에는 만약 여러 개의 교란 영상을 제작했다면 적합한 교란 영상 생성에 필요한 검색을 위하여 교란 영상 특성에 근거한 색인을 설정하거나 파일 이름을 정한다(2102). 다음에는 사용자 또는 시스템에 의해 비공개 디스플레이 모드가 시작된다(2103). 이 단계(2103)에서 교란 영상을 마스킹 영상으로 사용할 지를 결정한다. 교란 영상을 사용하기로 결정되면 현재 디스플레이되고 있는 비공개 영상의 특성을 검사할 지를 선택한다(2104). 검사를 선택하지 않으면 단계(2106)로 간다. 검사를 선택하면 가서 비공개 영상의 시공간 주파수, 대비, 인지적 내용 특성을 검사하여 파악한다(2105). 비공개 영상의 특성을 검사하기 위하여 본 발명의 일 실시예로서 내용 기반 검사법을 사용한다. 일례로 가장 최근에 사용된 윈도우나 활성 윈도우의 성격(워드, 웹브라우저, 동영상 플레이어 등의 사용 여부)에 입각하여 비공개 영상의 인지적 내용 특성을 파악한다. 다른 예로 현재 실행되고 있는 어플리케이션 SW를 검사하여 상기 어플리케이션의 전형적인 내용에 따라 비공개 영상의 인지적 내용 특성을 파악한다. 또 다른 예로 사용자가 앞으로 사용할 어플리케이션에 기반하여 예상되는 비공개 영상 특성 정보를 시스템에 입력하거나 모드 선택할 수도 있다. 다른 실시예에서는 비공개 영상의 주파수 변환을 통해 주파수 특성을 실 시간으로 파악하여 이후 단계에서 그에 맞는 교란 영상을 생성한다. 컴퓨팅 부담을 줄이기 위해 비공개 영상의 일부만 주파수 변환할 수 있다.
단계(2106)에서는 교란 영상 생성 지침을 수립한다. 디스플레이 보안 수준이 설정되었다면 설정된 보안 수준에 상응하도록, 설정되지 않았다면 임의의 보안 수준에 상응하도록 교란 영상의 주파수 특성, 명도 대비, 컬러 대비, 인지적 내용 특성의 수준을 결정하여 적합한 교란 영상을 생성하기 위한 지침을 수립한다. 상기 지침은 생성해야 할 교란 영상의 시공간 주파수 특성 조건, 명도 대비 및 컬러 대비 조건, 인지적 내용 특성 조건을 포함하고 사전에 체계화된 방법론으로 정해진다. 상기 지침에는 텍스트 영상을 포함한 교란 영상을 생성할 지, 어떠한 정도의 컬러 대비를 사용할 지와 같은 조건을 포함하고 있다. 상기 지침을 정하는 체계화된 방법론은 프로그램되어 시스템의 비공개 디스플레이 제어 블록(318) 또는 마스킹 영상 생성 수단(326)에 구비된다. 이 단계에서는 단계(2105)를 통해 비공개 영상의 특성을 파악했을 경우에는 비공개 영상 특성에 적합한 교란 영상 생성 지침을 수립하고, 파악하지 못했을 경우에는 평균적으로 효과적인 교란 영상 생성 지침을 수립한다.
다음에는 시스템의 비공개 디스플레이 제어 블록(318) 및 마스킹 영상 생성 수단(326)이 상기 생성 지침의 조건을 만족하는 교란 영상을 검색한다(2107). 다른 예로서 사용자 인터페이스(320)를 통하여 사용자가 직접 검색할 수 도 있다. 적합한 교란 영상이 검색되면 선택된 교란 영상을 생성하여 메모리로 로드한다(2108). 모니터 프레임보다 작은 영상 블록 단위로 교란 영상 파일이 존재하면 하나의 교란 영상 프레임을 구성하도록 여러 개의 교란 영상 블록을 로드할 수 있다.
초기 영상이 메모리로 로드되면 교란 영상을 시간적으로 갱신한다(2109). 시간적으로 갱신하는 방법에는, 일례로 모니터 프레임 전체를 차지할 수 있는 영상을 새로이 메모리로 로드하여 갱신하거나, 다른 예로 모니터 프레임을 이루는 하나 이상의 교란 영상 부분 또는 영상 블록을 시간적으로 이동하여 재배치하거나, 다른 예로 새로운 영상 블록 파일을 메모리로 로드하여 영상의 일부분을 갱신하거나, 다른 예로 플리핑을 할 때 플리핑 주소인 메모리의 시작 주소를 임의로 변경하여 영상을 이동하거나, 다른 예로 시스템이 선정한 실시간 생성 프로그램이 계산을 통해 영상을 갱신하는 방법을 사용한다. 영상을 시간적으로 갱신할 경우 발생하는 영상의 시간 주파수는 교란 영상 생성 지침에 따라 설정되고 상기 지침에 입각한 시간 가변 알고리즘에 의해 영상이 시간적으로 갱신된다. 상기의 교란 영상 생성 방법에 사용되는 교란 영상의 시공간 주파수 특성, 명도 대비 및 컬러 대비, 인지적 내용 특성 조건을 수립하도록 인간의 시지각 특성을 고려한다.
도 22는 인간 시지각과 전형적인 영상 데이터의 공간 주파수, 시간 주파수 특성을 도시한 것이다. 여기서 tf1, tf2, tf3, sf1, sf2, sf3는 저주파수, 중간주파수, 고주파수, 한계고주파수를 구분하는 주파수들로서 대략적으로 각각 tf1~5Hz, tf2~30Hz, tf3~70Hz, sf1~0.3cycles/deg, sf2~15cycles/deg, sf3~40cycles/deg의 값을 가지고 있다. 먼저 도 22a는 대표적인 시신경 뉴런들인 P 셀과 M 셀의 응답 주파수 영역으로서 인간 시지각 특성의 생리학적 증거이다. 도 22b는 도 11의 SCSF, 도 12의 TCSF를 통합하여 얻은 시지각 특성을 도시한 것이다. 시간 한계고주 파수 tf3 또는 공간 한계고주파수 sf3를 초과하는 영상의 고주파 성분은 인간의 시지각이 감지할 수 없다. 도시된 바와 같이 낮은 공간 주파수이면서 낮은 시간 주파수 영역에서는 휘도와 컬러 모두에 시지각이 민감하지만, 특히 컬러에 시지각이 민감하다. 낮은 공간 주파수이면서 중간 시간 주파수 영역, 중간 공간 주파수이면서 낮은 시간 주파수 영역, 중간 공간 주파수이면서 중간 시간 주파수 영역에서는 휘도와 컬러 모두에 시지각이 민감하다. 그 밖의 높은 공간 주파수나 높은 시간 주파수 영역에서는 시지각이 휘도에 민감하지만 컬러에 둔감하다.
도 22c는 전형적인 영상 데이터의 공간 주파수, 시간 주파수 특성이다. 본 발명에서는 영상의 인지적 내용 또는 의미에 따라 텍스트 영상(text image)과 비텍스트 영상(non-text image)으로 구분한다. 텍스트 영상에는 문자, 기호 등이 있고 비텍스트 영상은 텍스트를 제외한 촬영 영상, 그림, 그래픽 영상 등이 있다. 촬영 영상은 카메라 등의 촬영수단에 의한 영상으로서 사진, 영화, TV 방송영상 등이 있다. 본 발명에서는 영상의 시간 주파수 특성에 따라 정지영상(still image)과 동영상(moving image)을 정의한다. 정지영상은 텍스트, 비텍스트 영상이 시간적으로 고정되거나 거의 정지한 영상으로 정의한다. 동영상은 텍스트, 비텍스트 영상이 시간적으로 움직이는 영상으로 정의한다. 컴퓨터 그래픽 동영상이나 영화, TV 방송영상과 같이 연속적인 카메라 촬영에 의한 통상적인 의미의 동영상 뿐만 아니라 텍스트도 시간에 따라 이동하면 동영상으로 정의한다. 촬영 동영상, 그래픽 동영상과 텍스트의 동영상은 시공간 주파수 특성이 다를 수 있다. 도 22c에서는 통상적인 의미의 텍스트 영상, 동영상 등의 주파수 특성을 나타낸다. 텍스트 영상은 일반적으로 중간 공간 주파수에서부터 높은 공간 주파수와 낮은 시간 주파수 영역을 차지한다. 그림, 사진 등의 정지영상은 일반적으로 낮은 공간 주파수에서부터 높은 공간 주파수와 낮은 시간 주파수 영역을 차지한다. 동영상은 가장 넓은 주파수 영역을 차지하고 있다.
본 발명에서는 교란 영상 제작단계에서부터 휘도 및 컬러의 시공간 주파수를 고려하여 제작하고 생성 및 갱신 단계에서도 시공간 주파수 특성을 고려하여 생성 및 갱신한다. 바람직하게 교란 마스킹 영상은 마스킹하고자 하는 비공개 영상의 주된 휘도 및 컬러의 시간 주파수와 공간 주파수를 포괄하도록 생성된다. 다른 실시예에서는 교란 영상은 시지각이 반응하는 모든 주파수 성분을 갖도록 한다. 또 다른 실시예에서는 시지각에 민감한 주파수의 영상 성분이 더욱 많이 삽입된 교란 영상을 생성한다. 비공개 영상은 영상의 내용에 따라 매우 다양한 주파수 성분을 가지기 때문에, 비공개 영상과 별개로 교란 영상을 만들 경우 비공개 영상을 예상하지 못하므로 인해 일부 영상은 마스킹이 잘되지만 다른 일부의 영상은 마스킹이 잘 안 되는 경우가 발생하기 쉽다. 일 실시예에서는 단계(2105)에서 비공개 영상의 시공간 주파수를 검사하여 파악한다. 비공개 영상의 특성을 파악했을 경우에는 바람직하게는 교란 영상이 비공개 영상의 주된 시간 주파수와 공간 주파수를 포괄하고 시지각이 민감한 주파수의 영상 성분을 더욱 많이 삽입하도록 생성한다. 예를 들어 비공개 영상이 전형적인 텍스트 영상이라면 교란 영상은 중간 공간 주파수에서부터 높은 공간 주파수와 낮은 시간 주파수 영역을 포괄하도록 생성한다. 또한 비공개 영상에 비해 교란 영상은 시지각에 민감한 주파수의 영상 성분이 더욱 많이 삽입되 도록 생성한다. 상기 사항을 이용하여 비공개 영상 특성에 적합한 교란 영상 생성 지침의 주파수 조건을 수립한다. 다른 실시예로서 비공개 영상의 시공간 주파수를 파악하지 못했을 경우에는, 평균적으로 효과적인 교란 영상이 생성되도록 시지각에 민감한 주파수 대역의 영상 성분을 가능한 많이 포함한 주파수 조건을 수립한다.
교란 영상은 비공개 영상보다 눈에 잘 띄도록 선명해야 한다. 이에는 시지각의 시공간 주파수 민감도에 이어 휘도 및 컬러 대비 민감도가 중요한 역할을 한다. 일 실시예에서는 교란 영상의 각 영상 요소가 높은 휘도 대비나 높은 컬러 대비를 갖도록 한다. 인간 시지각에 민감한 높은 휘도 및 컬러 대비 영상을 체계적으로 생성하려면 영상의 대비가 시지각 민감도에 비례하도록 정량화된 시스템에서 생성해야 한다. 본 발명에서는 상기 정량화된 시스템으로서 휘도 및 컬러 축으로 구성된 컬러 공간(color space)을 이용한다. 잘 알려진 대로 RGB, CMY, Yuv와 같은 여러 종류의 컬러 공간이 존재한다. 그러나 많은 컬러 공간은 인간 시지각 시스템을 충분히 고려하지 못하고 있고 시지각 민감도에 비례하도록 구성되어 있지 못하다. 인간 시지각 민감도에 비례하는 컬러 공간은 국제 조명 위원회(Commission Internationale de I'Eclairage, CIE)에 의해 표준화된 CIE L * a * b * (간단히 CIE Lab) 컬러 공간이 있다. 도 23에 CIE Lab 컬러 공간을 도시하였다. 상기 컬러 공간은 인간 시지각 시스템의 세가지 독립적인 시지각 세포인 휘도셀, 적녹(red-green)셀, 황청(yellow-blue)셀의 시지각을 직교축으로 놓고 구성된다. 본 발명에서는 CIE Lab 컬러 공간내 두 영상값 A, B 사이의 차(difference)를 휘도 컬러차로 정의하 며, 휘도 컬러차가 클수록 두 영상값의 대비가 높다. 휘도 컬러차의 수직 성분은 휘도차이고 수평 성분은 컬러차이다. 휘도차를 휘도 대비, 컬러차를 컬러 대비로 정의한다.
도 23의 영상값 C점은 컬러 공간의 중심값에 해당하는 중심점이다. 만약 모니터가 상기 컬러 공간의 휘도와 컬러를 충분히 표시하지 못하거나 컬러 테이블 변경법 등의 영상값 압축을 통하여 모니터에 표시되는 영상값의 범위가 제한된다면 상기 중심점이 이동할 수 있다. 바람직하게 본 발명에서는 CIE Lab 컬러 공간과 같은 시지각 비례 컬러 공간을 기준으로 교란 영상의 대비를 결정하여 생성한다. 일 실시예로서 교란 영상은 비공개 영상에 비해 평균적으로 컬러 공간의 바깥쪽 극단 영상값을 갖도록 생성한다. 휘도 및 컬러 대비에 관한 소정의 조건을 마련하고 상기 조건에 기반하여 교란 영상을 제작 또는 생성한다. 일례로서 상기 컬러 공간 중심값 등의 기준값으로부터 교란 영상 요소의 각 영상값까지의 평균 휘도차 또는 평균 컬러차가 소정의 값보다 크도록 하는 조건을 만든다. 상기 조건을 만족하는 영상은 평균적으로 컬러 공간의 바깥쪽 영상값을 갖게 된다. 이 경우에 교란 영상값이 컬러 공간의 한쪽 극단에 치우쳐 대비가 높지 않은 영상을 생성할 수 있으므로, 고대비 영상을 만들기 위한 조건으로서, 교란 영상 요소의 평균 영상값과 상기 기준값과의 컬러차가 소정값 이하인 조건을 마련한다. 실제로 영상을 제작하거나 생성할 때, 일 실시예에서는 조건에 맞는 고대비 영상인 지를 계산을 통해 평가하면서 진행하고, 다른 실시예에서는 대략적이고 정성적으로(qualitatively) 상기 조건이 만족하는지 평가하며 제작, 생성한다. 조건의 정성적인 평가의 일례에서는 객체/배경과 같이 영상 대비를 이루는 영상 요소 한 쌍의 면적비를 고려한다. 객체와 배경 사의의 면적 차이가 크면 평균 영상값이 면적이 큰 쪽으로 이동하므로 평균 대비가 작아진다. 이 때는 평균 영상값과 상기 기준값의 컬러차가 소정값을 초과하여 조건을 위배한다. 영상 요소 한 쌍의 면적비가 큰 차이가 나지 않도록 정성적인 평가를 하면서 교란 영상을 생성한다.
CIE Lab 컬러 공간과 같은 시지각 비례 컬러 공간을 기준으로 교란 영상 제작 및 생성하는 본 발명의 방법은, 일 실시예로서 시지각 비례 컬러 공간을 사용하여 교란 영상 요소의 영상값을 선정한 후 RGB 공간과 같은 컴퓨터 도메인의 컬러 공간 영상값으로 변환한다. 상기 변환은 계산을 통해 정확히 산출할 수 도 있고, 대략적이고 정성적으로 변환할 수 도 있다. 즉, CIE Lab 컬러 공간을 참조하여 상응하는 RGB 컬러 공간 영상값을 대략적으로 생성해도 의도한 대비 영상을 얻을 수 있다.
본 발명에서는 영상의 객체와 배경간의 또는 영상 패턴의 휘도, 컬러 대비 중 적어도 하나의 대비가 높은 교란 영상을 생성한다. 바람직하게는 다양한 휘도 및 컬러에서 높은 대비를 갖는 교란 영상을 생성한다. 일 실시예로서 비공개 영상의 특성을 파악할 수 있다면 비공개 영상에 비해 평균적으로 대비가 높은 교란 영상을 생성한다. 일례로서 비공개 영상이 일반적인 텍스트인 경우 컬러 대비보다는 휘도 대비가 높으므로 더 높은 휘도 대비를 갖는 교란 영상을 생성한다. 바람직하게는 높은 휘도 대비 영상 요소에 하나 이상의 높은 컬러 대비 영상 요소를 가진 교란 영상을 생성한다.
도 24는 시지각 과정을 나타내는 도면이다. 인지적 의미가 없는 영상보다는 지각 그룹핑(결합)되어 특정한 인지적 의미가 있는 영상이 지각이 잘 된다. 자극(2402)이 망막을 자극하면 피드백이 없는 고속 시지각 프로세스인 선주의 프로세스(preattentive process : 2404)가 지각한다. 이때는 형상(form)에 대한 지각이나 인지는 발생하지 않고 자극의 존재 여부, 변화나 움직임(movement) 등을 지각한다. 그 후 사람은 의식적 또는 무의식적으로 집중된 주의(focused attention : 2406)를 하여 현재 집중(focusing)하고 있는 부분의 형상과 특성을 지각한다. 이 때는 기억, 추론과 같은 높은 수준 인지 정보(2408)로부터 피드백을 받아 지각 과정에 사용하고 자극원으로부터 지속적으로 자극을 수집한다. 다음으로 집중된 주의(2410)를 통하여 지각한 성분들(2412)을 종합하여 종합 지각하게 된다. 집중된 주의(2414)에서는 주로 지각 그룹핑된 인지적 의미를 지닌 영상을 지각하게 된다.
높은 수준 인지 과정과의 관계 관점에서 보면 지각 그룹핑이 가장 중요한 사안이다. 정신 물리학(Psychophysics)의 조직화 법칙(Law of organization)에 의하면 단순성(simplicity), 유사성(similarity), 연속성(continuation), 근접성(proximity), 공통 움직임(common movement), 의미(meaning)에 의하여 지각 그룹핑이 된다. 또한, 시간, 공간 위상 코히어런스에 의하여 지각 그룹핑이 된다. 하나의 공간 주파수를 갖는 패턴의 어느 한 부분에서 위상 변화가 발생하면 그 부분이 눈에 잘 띈다. 이는 공간 위상 코히어런스에 의한 그룹핑 때문이다. 하나의 시간 주파수를 갖는 패턴이 어느 시점에서 위상 변화가 발생하면 그 부분이 눈에 잘 띈다. 이는 시간 위상 코히어런스에 의한 그룹핑 때문이다. 영상은 프레임 시퀀 스에 변조되어 있다. 반복 교체 시퀀스로 영상이 사용자에게 제시되다가 시퀀스의 위상 변화(비반복 시퀀스)가 생기면 그 시점의 영상이 눈에 잘 띄게 되어 미세한 깜박거림(shimmer)을 느끼게 된다. 시간 적분 기간 안에서의 위상 변화는 인간이 느끼지 못하기 때문에 시간 위상 코히어런스에 의한 그룹핑은 시지각의 시간 적분 기간과 밀접한 관련이 있다. 지각 그룹핑이 되어 있는 영상 요소는 하나의 인지적 의미를 형성하게 되기 때문에 요소의 부분이 가려지거나 교란받더라도 전체적으로는 지각되기가 쉽다. 비공개 영상은 자기끼리 그룹핑이 잘 되어 있는 경우가 일반적이다. 따라서, 마스킹 영상은 비공개 영상의 그룹핑을 끊어서 공개 영상(비공개 영상과 마스킹 영상의 합영상)이 인지적 의미가 없는 영상 또는 다른 의미를 가진 영상으로 보여지도록 해야 한다. 마스킹 영상은 비공개 영상의 그룹핑을 끊는 기능과 공개 영상이 비공개 영상과 다른 의미를 가진 영상으로 보여지도록 마스킹 영상 자신끼리 선명한 그룹핑이 되도록 하는 기능을 동시에 수행하면 좋다.
일 실시예로서 교란 영상을 각기 다른 시간 위상 코히어런스와 공간 위상 코히어런스를 갖는 영상으로 구성하여 비공개 영상의 시간 위상 코히어런스, 공간 위상 코히어런스를 끊는 역할을 하도록 한다. 동적 역상을 비롯한 원상 유도 영상은 비공개 영상과 섞여 비공개 영상의 그룹핑을 방해하는 성질을 갖고 있다.
비공개 영상의 텍스트 영상 영역이 일정 수준보다 클 때 비공개 영상의 텍스트를 마스킹 하려면, 본 발명에서의 교란 영상은 적어도 하나의 영역에서 텍스트 영상 요소를 가지도록 한다. 비공개 영상의 비텍스트 영상 영역이 클 때, 비공개 영상의 비텍스트를 마스킹 하려면 교란 영상은 적어도 하나의 영역에서 비텍스트 영상 요소를 가진다.
인지적 내용을 가진 영상의 에지(edge)가 선명하면 시지각이 더욱 민감하게 반응하므로 선명한 에지를 갖는 교란 영상 요소를 생성한다. 촬영 영상 요소를 포함한 교란 영상을 제작할 경우 일반적인 촬영 영상은 영상의 대비가 크지 않고 에지가 선명하지 않으므로, 일 실시예에서는 에지를 인공적으로 선명하게 하는 과정을 더 포함한다. 히스토그램 등화 기법, 대비향상(contrast enhancement), 호모모픽 필터링(homomorphic filtering) 등과 같은 영상처리 기법을 사용하여 처리한 후 저장한다. 다른 실시예에서는 교란 영상은 3차원 입체 효과를 가진 요소를 포함한다. 또 다른 실시예에서는 고대비 패턴이 빙글빙글 도는 것과 같은 어지러움을 유발하거나 환상(illusion)을 일으키는 영상 요소를 포함한 교란 영상으로 한다.
본 발명에서는 눈에 잘 띄는 교란 영상을 구하기 위해 두 종류의 영상을 교체하면서 디스플레이 해보아 어느 종류의 영상 요소가 눈에 잘 띄는 지 테스트한다. 이와 같은 테스트 방법을 통해 눈에 잘 띈다고 판단된 영상 요소로 교란 영상을 만든다. 교란 영상은 상기와 같이 민감한 주파수 특성, 대비 특성, 인지적 내용 특성을 갖는 영상을 조합하여 만든다. 바람직하게는 높은 휘도 및 컬러 대비와 시지각에 민감한 주파수를 가지며 인지적으로 의미 있는 내용을 가진 영상 요소를 포함하여 교란 영상을 제작한다. 예를 들어, 중간 시간 주파수를 가지며 중간 공간 주파수를 가지는 높은 휘도 대비의 영상 성분과 낮은 공간 주파수를 가지는 높은 컬러 대비의 영상 성분을 다른 주파수 성분에 비해 많이 포함하도록 한다. 비공개 영상 중의 낮은 공간 주파수를 가진 패턴을 마스킹하기 위해서는 높은 컬러 대비를 이용하고 높은 휘도 대비를 부가한다. 전형적인 텍스트와 높은 공간 주파수 영상을 마스킹 하려면 높은 휘도 대비를 주로 이용하고 컬러 동화 현상이 일어나므로 컬러 대비 영상을 부가한다.
일 실시예에서는 교란영상 생성지침 수립단계(2106)에서 모니터 프레임의 영역별로 상이한 조건을 설정할 수 있다. 모니터 특정 영역이 다른 영역에 비하여 더욱 시지각에 민감한 교란 영상이 생성되도록 한다. 일례로 모니터 상부 또는 하부 영역에 비하여 모니터 중앙부는 더욱 시지각에 민감한 교란 영상을 생성한다. 이 때 하나의 교란 영상 파일을 로드하여 모니터 프레임을 구성할 수 있고, 두개 이상의 교란 영상 블록을 로드하여 모니터 프레임을 구성할 수 있다.
모니터 아래부분에서는 비교적 잔상이 많이 생기므로 일 실시예로서 이 부분 교란 영상은 중앙부에 비하여 시지각에 덜 민감한 영상으로 생성한다. 모니터 윗부분은 셔터의 응답이 느려서 사용자가 약간의 마스킹 영상을 지각할 수 있으므로 일 실시예에서는 이 영역도 시지각에 덜 민감한 교란영상으로 생성한다.
본 발명의 다른 실시예에서는 두개 이상의 다른 인지적 내용 특성, 시공간 주파수 특성, 대비 특성을 가지는 영상 요소를 배합하여 교란 영상을 제작 및 생성한다. 상기 배합을 공간적으로 하는 실시예로서 공간 분배 배치와 공간 중첩 배치를 사용한다. 공간 분배 배치에서는 교란 영상의 모니터 프레임 영역별로 다른 특성을 가진 영상 요소를 배치한다. 일례로서 서로 다른 인지적 내용에 따라 한 영역에서는 텍스트 영상을 다른 영역에서는 비텍스트 영상을 배합하여 영상을 제작한다. 다른 예로서 한 영역에서는 휘도 대비가 높은 영상을 다른 영역에서는 특정 컬 러 대비가 높은 영상을 배합한다. 넓은 영역이 하나의 영상 특성을 가진 교란 영상으로만 이루어지면 마스킹이 부족한 상황이 발생한다. 예를 들어 흑백 휘도 대비의 텍스트로 이루어진 넓은 교란 영상 영역이 있다면 이 영역에 컬러 사진과 같은 비공개 영상이 표시되면 마스킹이 제대로 안 된다.
도 25a에 공간 분배 배치에 의한 교란 영상 제작 및 생성 실시예를 도시하였다. 상기에서는 휘도 또는 컬러 대비를 갖는 텍스트 영상과 사진 및 그림 영상을 공간 분배 배치하였다. 공간 중첩 배치에서는 한 영역에 서로 다른 특성을 가진 영상 요소를 중첩하여 배치한다. 도 25b에 공간 중첩 배치에 의한 교란 영상 제작 및 생성 실시예를 도시하였다. 도 25c는 공간 분배 배치와 공간 중첩 배치를 이용해 교란 영상을 구성하는 과정을 나타내는 실시예이다. 실제 작동시에 상기 교란 영상의 요소 또는 부분은 시간에 따라 이동, 변형되거나 새로운 영상 요소가 로드됨으로써 갱신된다.
본 발명에서는 바람직하게 교란 영상은 비공개 영상과 유사한 특성을 가지는 영상 요소를 포함한다. 일 실시예에서 교란 영상은 비공개 영상과 유사한 특성을 가지는 영상 요소와 상이한 특징을 가지는 영상요소를 포함한다. 일반적으로 유사한 특성을 가지는 영상 요소는 비공개 영상의 지각 그루핑을 끊는 역할이 주가 되고 상이한 특성을 가지는 영상 요소는 비공개 영상과는 상이한 지각 그루핑이 생기도록 하는 역할이 주가 된다. 비공개 영상이 텍스트 영상이면 교란 영상은 최소한 텍스트 영상 요소를 포함해야 한다. 비공개 영상이 사진 영상이라면 교란 영상은 최소한 비텍스트 영상 요소를 포함해야 한다.
다른 실시예에서는 교란 마스킹 영상 프레임 비율을 비공개 영상 프레임 비율보다 크게 하여 마스킹 영상을 더욱 자주 디스플레이한다. 또 다른 실시예에서는 컴퓨터 도메인의 영상값(Ga값) 압축 방법을 사용한다. 이 방법에서는 원상(비공개 영상)의 Ga값(RGB값)의 범위를 압축한다. 예를 들어 마스킹 영상이 의 범위를 가질 때 원상(비공개 영상)이 범위를 갖게 하는 것처럼 마스킹 영상의 범위가 비공개 영상의 범위보다 크도록 한다. 이 Ga값 압축 방법은 등가적으로 교란 마스킹 영상 프레임 비율을 비공개 영상 프레임 비율보다 크게 하는 효과가 있다. 바람직하게는 칼러 테이블 압축으로 Ga값 압축을 구현한다.
본 발명의 일 실시예에서는 전체 비공개 디스플레이 관리 서버가 비공개 디스플레이 사용자 컴퓨터에게 네트워크를 통하여 광고영상을 전송하고 상기 전송된 광고영상을 마스킹 영상 가운데 교란 영상으로서 사용한다.
[P/M 영상 시퀀스 및 셔터 개폐 시퀀스 생성 과정]
사용자가 사용자 인증을 받고 디스플레이 보안 성능 수준을 선택한 다음에는 사용자 인증 수준과 디스플레이 보안 성능 수준에 따라 P/M 영상 시퀀스 및 셔터 개폐 시퀀스가 생성된다. P/M 영상 시퀀스 및 셔터 개폐 시퀀스 생성 과정을 도 26에 나타내었다. 사용자 인증을 받은 후, 사용자는 미리 설정된 디스플레이 보안 성능 수준 가운데서 선택하게 된다(2602). 다음에는 사용자에 의해 선택된 디스플레이 보안 성능 수준 및 사용자 시지각 성능을 만족하는 P/M 영상 배합 비율 및 배합 규칙을 선정한다(2604). 다음에는 배합 규칙에 따라 P/M 영상 시퀀스를 생성한다(2606). 다음에는 선택된 보안 성능 수준 및 사용자 시지각 성능을 만족하 며 P/M 영상 시퀀스에 상응하는 셔터 개폐 시퀀스를 생성한다(2608). 다음에는 만족하는 셔터 개폐 시퀀스가 생성되었는지 판단하는 단계(2610)로서, 만족스러운 셔터 개폐 시퀀스가 생성되었다면 종료하고 그렇지 않다면 단계(2612)로 간다. 단계(2612)에서는 배합 규칙을 재선정할지 여부를 선택한다. 재선정을 선택하지 않으면 단계(2606)로 가서 P/M 영상 시퀀스를 생성하며 후속 단계를 계속 진행하고 재선정을 선택하면 단계(2604)로 가서 P/M 영상 배합 비율 및 배합 규칙을 재선정하고 후속 단계를 계속 진행한다.
[배합 비율 및 배합 규칙]
도 26의 단계(2604)에서는 P/M 영상 배합 비율 및 배합 규칙을 선정한다. 이 때 모니터의 현재 리프레쉬 속도와 모니터 픽셀의 응답시간, 셔터의 광응답(optical response) 특성을 모두 고려해서 선정한다. 또한 배합하는 P/M 영상의 특성(역상이냐 교란영상이냐 등)에도 주의해야 한다. 종래 P/M 영상 시퀀스 방법은 시퀀스 생성시에 상기 네가지 사항을 고려하지 못하고 있기 때문에 여러 성능 측면에서 효과적이지 못했다. 또한 P/M 영상 시퀀스 생성시에도 셔터 개폐 시퀀스를 고려해야 하고 역으로 셔터 개폐 시퀀스 생성시에도 P/M 영상 시퀀스를 상호 고려해야 한다.
종래의 P/M 영상 배합은 비공개 영상에 대하여 동일 특성의 마스킹 영상을 배합하는 것이었다. 즉 마스킹 영상은 모두 역상으로 이루어지던지 모두 랜덤영상으로 이루어지던지 하는 방식으로 동일 특성의 마스킹 영상이 배합되었고, 이러한 배합 규칙 아래서 P/M 영상 시퀀스를 생성하였다. 본 발명의 P/M 영상 배합 비율 및 배합 규칙에서는 서로 다른 특성을 가지는 영상을 배합할 수 있다.
일 실시예로서 원상 유도 영상과 교란 영상이 혼합된 마스킹 영상을 비공개 영상과 배합한다. 원상 유도 영상과 교란 영상의 혼합은 하나의 마스킹 영상 프레임에 원상 유도 영상과 교란 영상이라는 서로 다른 특성을 가진 영상 성분을 혼합하는 방법과 주로 원상 유도 영상으로 이루어진 마스킹 프레임 M i 와 교란 영상이 많이 부가되거나 지배적인 마스킹 프레임 M d 를 생성하고 이들을 비공개 영상과 프레임 대 프레임간으로 배합하는 방법이 있다. 여기서 마스킹 영상 M i 는 순수한 원상 유도 영상이거나 교란영상에 비해 원상 유도 영상이 지배적인 합영상을 나타내고 마스킹 영상 M d 는 주로 교란영상이거나 교란영상의 비중이 일정 이상인 원상 유도 영상과 교란영상의 합영상을 나타낸다. 평균 배합 비율을 P:M = 5:5, P:M = 4:6, P:M i :M d = 4:4:2 와 같이 다양하게 정할 수 있다. P:M i :M d 방식으로 배합할 경우 일 실시예로서 M i 를 역상에 일정 진폭의 무작위 영상을 추가한 형태와 같은 혼합 영상으로 하고 M d 를 교란 영상의 특성을 갖는 영상 프레임으로 할 수 있다. 다른 실시예로서 연결 영상 프레임 M b 를 포함하여 P:M i :M b , P:M b :M d 와 같이 배합한다. 일례로 P:M i :M d :M b = 4:4:1.5:0.5(이 경우 P:M=4:6 배합의 일종임)와 같은 비율로 배합할 수 있다. 다른 실시예로는 비공개 영상과 섞여 비공개 영상의 그룹핑을 방해하는 교란 영상과 자 기끼리 그룹핑하는 교란 영상을 배합하는 것과 같이 두 종류의 교란 영상을 배합할 수도 있다.
컬러 테이블 변경 방법을 이용하면 원상 유도 영상과 교란 영상이 혼합된 마스킹 영상을 실시간으로 생성하기 편리하다. 하나의 마스킹 영상 프레임에 원상 유도 영상과 교란 영상을 혼합하는 방법에서는, 일 실시예로 원상 유도 영상과 교란 영상의 혼합 영상을 모두 컬러 테이블 변경 방법을 이용하여 생성할 수 있다. 다른 실시예로서 원상 유도 영상을 컬러 테이블 변경 방법을 이용하여 생성하고 여기에 일부 픽셀에 대한 픽셀 영상값 계산에 의하여 교란 영상을 부가하여 혼합 영상을 생성할 수 있다. 또 다른 실시예로서 비공개 영상을 마스킹 영상 메모리 영역에 복사하고 여기에 교란영상을 첨가하여 비공개 영상과 교란영상의 합영상을 생성한다. 합영상을 모니터로 전송할 때 컬러 테이블 변경법을 이용하면 합영상의 유도 변환영상을 전송하게 되므로 원상 유도 영상과 교란영상의 합영상을 생성하여 모니터로 전송하는 셈이다. 마스킹 프레임 M i 와 M d 를 생성하고 이들을 비공개 영상과 프레임 대 프레임간으로 배합하는 방법에서도 컬러 테이블 변경 방법을 이용하면 실시간으로 생성하기 편리하다.
일 실시예로서 P:M i :M d 를 배합할 경우에, M i 를 컬러 테이블 변경 방법을 이용하여 비공개 영상으로부터 실시간으로 생성하고, M d 를 픽셀 영상값 계산에 의하여 비교적 느리게 갱신하면 전체적으로 실시간적인 혼합 마스킹 영상을 제공할 수 있 다. 다른 실시예로서 P:M i :M d 를 배합할 경우에, M i 는 컬러 테이블 변경 방법을 이용하여 실시간으로 빠르게 생성하고, M d 는 비교적 느리게 초당 수차례씩 비공개 영상을 마스킹 영상 메모리 영역에 복사하고 여기에 교란영상을 첨가하여 생성한다. M d 를 모니터로 전송할 때는 M i 와 마찬가지로 컬러 테이블 변경법을 이용할 수 있다. 상기에서 M i 는 빠르게 변하는 비공개 영상을, M d 는 느리게 변하는 비공개 영상을 효과적으로 마스킹할 수 있으므로, 일 실시예에서는 비공개 영상의 특성에 따라 M i :M d 의 비율을 달리 조정한다. 일례로 비공개 영상에 텍스트 작업과 같이 정지영상이 많다면 M d 의 비율을 늘리고 동영상이 많다면 M i 의 비율을 늘린다. 상기 비율 조정은 비공개 디스플레이 소프트웨어가 현재의 비공개 영상의 특성을 파악하여 파악된 특성에 맞게 설정된 비율로 자동 조정할 수 있고 사용자가 조정할 수도 있다. 또한 상기 비율 조정 범위는 모니터의 현재 리프레쉬 속도과 인간 시지각의 민감 주파수 특성 등을 고려하여 M i , M d 각각의 초당 디스플레이 빈도를 제한하는 것에 따라 결정된다.
비공개 영상에 비하여 마스킹 영상을 눈에 잘 띄게 하는 것이 일반적이므로, 비공개 영상의 대비를 마스킹 영상의 대비에 비하여 축소할 필요가 자주 생긴다. 영상의 대비를 축소할 경우에 픽셀 영상값을 일일이 계산하여 축소할 수도 있지만 이는 계산 시간이 많이 걸린다. 영상의 대비를 변환에 의하여 축소하는 것을 컬러 공간 동적 범위(dynamic range) 축소법이라 정의한다. 여기서 동적 범위란 컬러 공간의 최대 대비(최대값과 최소값의 차), 모니터 밝기의 범위, 모니터로 출력되는 전압의 범위 등과 같은 개념이다. 일 실시예로 HW 방식에서 비공개 영상이 출력될 때만 하드웨어적으로 모니터 전압의 범위를 축소할 수 있다. 다른 실시예로는 HW 방식에서 비공개 영상이 출력될 때는 그대로 출력하고 마스킹 영상이 출력될 때는 모니터의 전압을 증폭할 수도 있다. SW 방식으로는 일 실시예로서 컬러 테이블 변경 방법을 이용한 컬러 공간 동적 범위 축소가 있다. 예를 들어 컬러 테이블 변경법으로 입력 RGB 범위[0,255]를 출력 RGB 범위 [56,255]로 축소한다.
비공개 디스플레이에서 사용자는 모니터 영상의 일부인 비공개 영상만을 보기 때문에 일반 모드에서보다 화면을 어둡게 볼 수 있으므로 전체적으로 밝기를 올려줄 필요가 발생한다. 이를 위해 모니터로 들어가는 전압을 증폭시킬 수도 있고 컬러 테이블 변환값을 전반적으로 밝은 쪽으로 상향 천이할 수 있다. 3M사의 비공개 필터(privacy filter) 또는 밝기 강화 필름(brightness enhancement film)을 사용하여 모니터의 상대 밝기를 향상시키는 방법을 사용한다. 이 과정에서 모니터의 밝기 조정 버튼과 대비 조정 버튼 등의 사용자 조정을 고려해야 한다.
동적 역상을 생성하여 비공개 영상과 교체 표시하면 거의 균일한 회색 화면이 맨눈으로 보여진다. 그러나 시간 적분이 완벽하지 못해서 미세한 컬러, 공간 패턴이 남아 있더라도 균일한 회색 화면이 배경으로 표시되므로 눈에 띄는 문제점이 있다. 특히 중간~높은(tf1~tf3) 시간 주파수와 중간~높은(sf1~sf3) 공간 주파수에서 두드러진다. 이를 해결하기 위해 일 실시예로서 색채를 띈 동적 역상(colored dynamic inverse image)을 제공한다. 색채를 띈 동적 역상은 비공개 영상과 교체 표시될 경우 약간의 색채를 띈 회색이 되도록 동적 역상에 특정 색채의 Ga값을 증가시키거나 감소시킨 영상이다. 일 실시예에서 마스킹 영상이 디스플레이되는 하나의 모니터 프레임 시간 동안 컬러 테이블 변경 방법으로 색채를 띈 동적 역상의 색채를 여러번 변화시키면 하나의 마스킹 영상 모니터 프레임 안에 여러 조각의 다른 색채를 띈 역상을 생성할 수 있다. 이렇게 색채를 띈 동적 역상은 불완전한 시간 적분으로 인한 미세한 컬러, 공간 패턴을 차단하는데 효과적이다. 더욱 일반적인 실시예에서는 마스킹 영상이 휘도 측면에서만 동적 역상이고 컬러는 임의로 변경된 영상으로서 생성될 수 있다.
본 발명의 다른 실시예에서는 부드러운 셔터 개폐를 위하여 특수한 시퀀스 위치에서 다음과 같은 비공개 영상의 분리법을 사용할 수 있다. 예를 들어 비공개 영상의 한 픽셀 영상값이 (R1,G1,B1)인 영상 P1과 (R2,G2,B2)인 영상 P2가 연달아 디스플레이될 경우, 대신 (R3,G3,B3)인 영상 P3와 (R4,G4,B4)인 영상 P4가 연달아 디스플레이 되도록 한다. 단, 여기서 (R1,G1,B1)인 영상과 (R2,G2,B2)인 영상의 동적 평균 픽셀 영상값을 (R3,G3,B3)과 (R4,G4,B4)인 영상의 동적 평균 픽셀 영상값과 동일하도록 한다.
하나의 모니터로서 2인 이상의 허가된 사용자에게 동시에 비공개 디스플레이를 제공할 경우에는 그에 맞는 배합 규칙을 따른다. 사용자 a의 비공개 영상 프레임을 P_a, 사용자 a의 마스킹 영상 프레임을 M_a, 사용자 b의 비공개 영상 프레임을 P_b, 사용자 b의 마스킹 영상 프레임을 M_b라 정의한다. 이 때 사용자 a에게는 P_b와 M_b도 M_a와 마찬가지로 마스킹 영상 역할을 한다. 2인 이상의 허가된 사용자에게 동시에 비공개 디스플레이를 제공할 경우에도 P_a, P_b, M_a, M_b를 영상 요소로 하여 상기와 같은 다양한 배합 규칙을 간단히 변형 적용하여 배합할 수 있다.
전술한 바와 같은 본 발명에 의하면 인간의 시지각 특성을 감안한 보다 효과적인 마스킹 영상을 생성할 수 있다. 또한 동적 역상과 같은 원상 유도 영상 및 교란 영상을 실시간으로 생성할 수 있게 된다.
도 1은 본 발명이 적용되는 노트북 실시예의 시스템 구성도.
도 2는 본 발명에 의한 셔터 개폐 수단의 구성도.
도 3은 본 발명에 의한 소프트웨어 방식 전용 드라이버 실시예의 시스템 구성도.
도 4는 도 3에 도시된 비디오 제어기의 일 예의 블록도.
도 5는 본 발명에 의한 소프트웨어 방식 어플리케이션 레벨 실시예의 시스템 구성도.
도 6은 컴퓨터 본체와 셔터 개폐 수단 사이의 유무선 통신 인터페이스의 일 예의 구성도.
도 7은 본 발명에 의한 하드웨어 방식 외장 제어기 실시예의 시스템 구성도.
도 8은 도 7에 도시된 외장 제어기의 일 예의 블록도.
도 9는 본 발명에 의한 완전 독립형 하드웨어 방식 외장 제어기 실시예의 시스템 구성도.
도 10은 본 발명에 의한 소프트웨어 방식과 하드웨어 방식의 통합 외장 제어기 실시예의 시스템 구성도.
도 11은 본 발명에 의해 비선형 인버터를 이용하여 마스킹 영상을 생성하는 회로의 블록도.
도 12a는 인간 시지각의 휘도 및 컬러에 대한 공간 대비 민감도 함수를 표시한 도면이고, 도 12b는 인간 시지각의 휘도 및 컬러에 대한 시간 대비 민감도 함수를 표시한 도면.
도 13은 인간 시신경의 중심부 및 주변부 메커니즘 사이의 시간 지연을 설명하는 도면.
도 14는 영상 발생과 지각의 일반적인 과정을 설명하는 도면.
도 15는 전형적인 모니터 전달함수를 설명하는 도면.
도 16은 전형적인 인간 시지각 전달함수를 설명하는 도면.
도 17은 전형적인 모니터 픽셀 응답을 설명하는 도면.
도 18은 본 발명의 동적 패턴 실험 방법에 의해 동적 역상을 생성하는데 이용되는 패턴의 예를 도시한 도면.
도 19는 일반적인 컬러 테이블의 상태를 설명하는 도면.
도 20은 본 발명에 의한 컬러 테이블 변경 방법을 설명하는 도면.
도 21은 본 발명에 의한 교란 영상 생성 및 관리 방법을 설명하는 흐름도.
도 22는 인간 시지각 뉴우런, 인간 시지각, 전형적인 영상 데이터의 공간 및 시간 주파수 특성을 표시한 도면.
도 23은 CIE Lab 컬러 공간을 설명하는 도면.
도 24는 인간 시지각 프로세스를 설명하는 도면.
도 25는 본 발명에 따라 영상 요소 배합에 의해 교란 영상을 생성하는 과정을 설명하는 도면.
도 26은 본 발명에 의한 P/M 영상 시퀀스 및 셔터 개폐 시퀀스 생성 과정을 설명하는 도면.

Claims (48)

  1. 공개된 디스플레이를 이용하여 비공개 영상을 출력하는 장치에 있어서,
    비공개 영상을 생성하는 수단과,
    상기 비공개 영상을 마스킹하는 마스킹 영상을 생성하는 수단과,
    상기 비공개 영상과 상기 마스킹 영상에 대한 영상 시퀀스 패턴을 생성하는 수단과,
    상기 영상 시퀀스 패턴에 따라 상기 비공개 영상과 상기 마스킹 영상을 상기 디스플레이로 출력하는 수단을 포함하며,
    상기 마스킹 영상 생성 수단은 상기 디스플레이의 리프레쉬 속도와 상기 영상 시퀀스 패턴에 따라 상기 비공개 영상의 동적 역상을 마스킹 영상으로 생성하는 것을 특징으로 하는 비공개 영상 출력 장치.
  2. 제 1 항에 있어서,
    셔터부와, 상기 영상 시퀀스 패턴에 상응하는 셔터 개폐 시퀀스 패턴에 따라 상기 셔터부를 개폐하는 셔터 제어부를 구비하는 셔터 개폐 수단을 더 포함하는 것을 특징으로 하는 비공개 영상 출력 장치.
  3. 제 2 항에 있어서,
    상기 셔터 개폐 수단은 주변광 차단 필터를 더 구비하는 것을 특징으로 하는 비공개 영상 출력 장치.
  4. 제 1 항에 있어서,
    상기 마스킹 영상 생성 수단은 평균 영상값 Gad를 산출한 후에, 상기 평균 영상값 Gad를
    또는
    - 여기서, 는 동적 역상값, 는 평균 영상값, 는 비공개 영상값, 는 최대 영상값, 는 최소 영상값, 은 상기 비공개 영상 출력 장치의 감마값을 각각 가리킴 - 에 적용하여 상기 비공개 영상에 대한 동적 역상값 를 산출하는 것을 특징으로 하는 비공개 영상 출력 장치.
  5. 제 1 항에 있어서, 상기 마스킹 영상 생성 수단은
    a) 평균 영상값의 근사값을 계산하고,
    b) 소정 패턴이 상기 평균 영상값의 근사값을 갖고 그 외의 부분이 대략 최소 영상값 또는 최대 영상값 을 갖는 영상을 원상으로 하고, 상기 패턴이 상기 평균 영상값의 근사값을 갖고 그 외의 부분이 대략 또는 를 갖는 역상을 절반씩 교체하여 디스플레이 하면서 상기 패턴의 선명도가 가장 낮도록 하여 평균 영상값을 선정하며,
    c)
    - 여기서, 는 동적 역상값, 는 평균 영상값, 는 비공개 영상값, 은 상기 비공개 영상 출력 장치의 감마값을 각각 가리킴 - 에 의해 대략적인 동적 역상값을 계산하고,
    d) 상기 패턴이 상기 평균 영상값을 갖고 그 외의 부분이 또는 을 갖는 영상을 원상으로 하고, 상기 패턴이 상기 평균 영상값을 갖고 그 외의 부분이 또는 를 갖는 역상을 절반씩 교체하여 디스플레이 하면서 상기 패턴의 선명도가 가장 낮도록 하여 동적 역상값을 선정하는
    것을 특징으로 하는 비공개 영상 출력 장치.
  6. 제 1 항에 있어서,
    상기 마스킹 영상 생성 수단은 인간의 시지각 특성에 기반한 교란 영상을 더 생성하여 상기 동적 역상에 혼합함으로써 마스킹 영상을 생성하는 것을 특징으로 하는 비공개 영상 출력 장치.
  7. 제 1 항에 있어서,
    상기 마스킹 영상 생성 수단은 색채를 띈 동적 역상을 생성하는 것을 특징으로 하는 비공개 영상 출력 장치.
  8. 공개된 디스플레이를 이용하여 비공개 영상을 출력하는 장치에 있어서,
    비공개 영상을 생성하는 수단과,
    상기 비공개 영상을 마스킹하는 마스킹 영상을 생성하는 수단과,
    상기 비공개 영상과 상기 마스킹 영상에 대한 영상 시퀀스 패턴을 생성하는 수단과,
    상기 영상 시퀀스 패턴에 따라 상기 비공개 영상과 상기 마스킹 영상을 상기 디스플레이로 출력하는 수단을 포함하며,
    상기 마스킹 영상 생성 수단은 인간의 시지각 특성에 기반한 교란 영상을 마스킹 영상으로 생성하는 것을 특징으로 하는 비공개 영상 출력 장치.
  9. 제 8 항에 있어서,
    셔터부와, 상기 영상 시퀀스 패턴에 상응하는 셔터 개폐 시퀀스 패턴에 따라 상기 셔터부를 개폐하는 셔터 제어부를 구비하는 셔터 개폐 수단을 더 포함하는 것을 특징으로 하는 비공개 영상 출력 장치.
  10. 제 9 항에 있어서,
    상기 셔터 개폐 수단은 주변광 차단 필터를 더 구비하는 것을 특징으로 하는 비공개 영상 출력 장치.
  11. 제 8 항에 있어서,
    상기 마스킹 영상 생성 수단은 상기 디스플레이의 리프레쉬 속도와 상기 영 상 시퀀스 패턴에 따라 상기 비공개 영상의 유도 영상을 더 생성하고 상기 교란 영상과 혼합함으로써 마스킹 영상을 생성하는 것을 특징으로 하는 비공개 영상 출력 장치.
  12. 제 8 항에 있어서,
    상기 마스킹 영상 생성 수단은 필요로 하는 시지각 특성에 근거한 교란 영상 생성 지침에 따라 적합한 교란 영상을 생성하는 교란 영상 생성부를
    구비하는 것을 특징으로 하는 비공개 영상 출력 장치.
  13. 제 12 항에 있어서,
    상기 마스킹 영상 생성 수단은
    상기 교란 영상을 그 특성에 근거한 색인을 설정하여 저장하는 저장부를 더 구비하며,
    상기 교란 영상 생성부는 상기 교란 영상 생성 지침에 따라 적합한 교란 영상을 상기 색인을 이용하여 상기 저장부로부터 검색하여 교란 영상을 생성하는 것을 특징으로 하는 비공개 영상 출력 장치.
  14. 제 12 항에 있어서,
    상기 교란 영상 생성부는 상기 비공개 영상의 특성을 검사하여 상기 교란 영상 생성 지침을 수립하는 것을 특징으로 하는 비공개 영상 출력 장치.
  15. 제 12 항에 있어서,
    상기 교란 영상 생성부는 상기 비공개 영상의 주된 시공간 주파수를 포괄하는 교란 영상을 생성하는 것을 특징으로 하는 비공개 영상 출력 장치.
  16. 제 12 항에 있어서,
    상기 교란 영상 생성부는 인간의 시지각에 민감한 주파수 성분을 특정 수준 이상 포함하도록 소정의 주파수 특성 조건을 만족시키는 교란 영상을 생성하는 것을 특징으로 하는 비공개 영상 출력 장치.
  17. 제 12 항에 있어서,
    상기 교란 영상 생성부는 교란 영상을 구성하는 각 영상 요소의 휘도 대비 또는 컬러 대비 중 어느 하나가 소정 값 이상인 교란 영상을 생성하는 것을 특징으로 하는 비공개 영상 출력 장치.
  18. 제 17 항에 있어서,
    상기 교란 영상 생성부는 교란 영상을 구성하는 각 영상 요소의 휘도 대비 또는 컬러 대비 중 어느 하나가 상기 비공개 영상보다 높은 교란 영상을 생성하는 것을 특징으로 하는 비공개 영상 출력 장치.
  19. 제 12 항에 있어서,
    상기 교란 영상 생성부는 민감한 주파수 특성, 대비 특성, 인지적 내용 특성을 갖는 영상을 2개 이상 조합하여 교란 영상을 생성하는 것을 특징으로 하는 비공개 영상 출력 장치.
  20. 제 19 항에 있어서,
    상기 조합은 상기 디스플레이의 프레임 영역별로 다른 특성을 가진 영상을 배치하는 것을 특징으로 하는 비공개 영상 출력 장치.
  21. 제 19 항에 있어서,
    상기 조합은 상기 디스플레이의 한 영역에 다른 특성을 가진 영상을 중첩하여 배치하는 것을 특징으로 하는 비공개 영상 출력 장치.
  22. 제 12 항에 있어서,
    상기 교란 영상 생성부는 상기 디스플레이의 특정 영역이 다른 영역에 비해 더욱 시지각에 민감한 교란 영상을 생성하는 것을 특징으로 하는 비공개 영상 출력 장치.
  23. 제 22 항에 있어서,
    상기 교란 영상 생성부는 상기 디스플레이의 상부 또는 하부에 비하여 중앙 부가 시지각에 민감한 교란 영상을 생성하는 것을 특징으로 하는 비공개 영상 출력 장치.
  24. 제 12 항에 있어서,
    상기 교란 영상 생성부는 상기 비공개 영상과 유사한 특성을 가지는 영상 요소를 포함하는 교란 영상을 생성하는 것을 특징으로 하는 비공개 영상 출력 장치.
  25. 공개된 디스플레이를 이용하여 비공개 영상을 출력하는 장치에 있어서,
    외부 서버로부터 비공개 영상을 수신하거나 자체적으로 비공개 영상을 생성하는 수단과,
    외부 서버로부터 마스킹 영상을 수신하는 수단과,
    상기 비공개 영상과 상기 마스킹 영상에 대한 영상 시퀀스 패턴을 생성하는 수단과,
    상기 영상 시퀀스 패턴에 따라 상기 비공개 영상과 상기 마스킹 영상을 상기 디스플레이로 출력하는 수단을
    포함하는 것을 특징으로 하는 비공개 영상 출력 장치.
  26. 제 25 항에 있어서,
    셔터부와, 상기 영상 시퀀스 패턴에 상응하는 셔터 개폐 시퀀스 패턴에 따라 상기 셔터부를 개폐하는 셔터 제어부를 구비하는 셔터 개폐 수단을 더 포함하는 것 을 특징으로 하는 비공개 영상 출력 장치.
  27. 제 26 항에 있어서,
    상기 셔터 개폐 수단은 주변광 차단 필터를 더 구비하는 것을 특징으로 하는 비공개 영상 출력 장치.
  28. 공개된 디스플레이를 이용하여 비공개 영상을 출력하는 장치에 있어서,
    외부로부터 비공개 영상을 수신하는 수단과,
    상기 비공개 영상을 마스킹하는 마스킹 영상을 생성하는 수단과,
    상기 비공개 영상과 상기 마스킹 영상에 대한 영상 시퀀스 패턴을 생성하는 수단과,
    상기 영상 시퀀스 패턴에 따라 상기 비공개 영상과 상기 마스킹 영상을 상기 디스플레이로 출력하는 수단을
    포함하는 것을 특징으로 하는 비공개 영상 출력 장치.
  29. 제 28 항에 있어서,
    상기 영상 출력 수단은 상기 마스킹 영상에 비해 상기 비공개 영상의 영상값의 범위를 상대적으로 압축하는 것을 특징으로 하는 비공개 영상 출력 장치.
  30. 제 28 항에 있어서,
    상기 마스킹 영상 생성 수단은 상기 디스플레이의 리프레쉬 속도와 상기 영상 시퀀스 패턴에 따라 상기 비공개 영상의 동적 역상을 마스킹 영상으로 생성하는 것을 특징으로 하는 비공개 영상 출력 장치.
  31. 제 30 항에 있어서,
    상기 마스킹 영상 생성 수단은 상기 비공개 영상을 반전시키는 인버터에 의해 이루어지는 것을 특징으로 하는 비공개 영상 출력 장치.
  32. 제 28 항에 있어서,
    상기 마스킹 영상 생성 수단은 인간의 시지각 특성에 기반한 교란 영상을 마스킹 영상으로 생성하는 것을 특징으로 하는 비공개 영상 출력 장치.
  33. 제 28 항에 있어서,
    셔터부와, 상기 영상 시퀀스 패턴에 상응하는 셔터 개폐 시퀀스 패턴에 따라 상기 셔터부를 개폐하는 셔터 제어부를 구비하는 셔터 개폐 수단을 더 포함하는 것을 특징으로 하는 비공개 영상 출력 장치.
  34. 제 33 항에 있어서,
    상기 셔터 개폐 수단은 주변광 차단 필터를 더 구비하는 것을 특징으로 하는 비공개 영상 출력 장치.
  35. 공개된 디스플레이를 이용하여 비공개 영상을 출력하는 장치에 있어서,
    외부로부터 비공개 영상을 수신하는 수단과,
    상기 비공개 영상을 마스킹하는 마스킹 영상을 생성하는 수단과,
    상기 비공개 영상과 상기 마스킹 영상에 대한 영상 시퀀스 패턴을 수신하는 수단과,
    상기 영상 시퀀스 패턴에 따라 상기 비공개 영상과 상기 마스킹 영상을 상기 디스플레이로 출력하는 수단을
    포함하는 것을 특징으로 하는 비공개 영상 출력 장치.
  36. 제 35 항에 있어서,
    셔터부와, 상기 영상 시퀀스 패턴에 상응하는 셔터 개폐 시퀀스 패턴에 따라 상기 셔터부를 개폐하는 셔터 제어부를 구비하는 셔터 개폐 수단을 더 포함하는 것을 특징으로 하는 비공개 영상 출력 장치.
  37. 제 36 항에 있어서,
    상기 셔터 개폐 수단은 주변광 차단 필터를 더 구비하는 것을 특징으로 하는 비공개 영상 출력 장치.
  38. 제 35 항에 있어서,
    상기 영상 출력 수단은 상기 마스킹 영상에 비해 상기 비공개 영상의 영상값을 상대적으로 압축하는 것을 특징으로 하는 비공개 영상 출력 장치.
  39. 제 35 항에 있어서,
    상기 마스킹 영상 생성 수단은 상기 디스플레이의 리프레쉬 속도와 상기 영상 시퀀스 패턴에 따라 상기 비공개 영상의 동적 역상을 마스킹 영상으로 생성하는 것을 특징으로 하는 비공개 영상 출력 장치.
  40. 제 39 항에 있어서,
    상기 마스킹 영상 생성 수단은 상기 비공개 영상을 반전시키는 인버터에 의해 이루어지는 것을 특징으로 하는 비공개 영상 출력 장치.
  41. 제 35 항에 있어서,
    상기 마스킹 영상 생성 수단은 인간의 시지각 특성에 기반한 교란 영상을 마스킹 영상으로 생성하는 것을 특징으로 하는 비공개 영상 출력 장치.
  42. 공개된 디스플레이를 이용하여 비공개 영상을 출력하는 장치에 있어서,
    비공개 영상을 생성하는 수단과,
    상기 비공개 영상을 마스킹하는 마스킹 영상을 생성하는 수단과,
    상기 비공개 영상과 상기 마스킹 영상에 대한 영상 시퀀스 패턴을 생성하는 수단과,
    상기 영상 시퀀스 패턴에 따라 상기 비공개 영상과 상기 마스킹 영상을 상기 디스플레이로 출력하는 수단을 포함하며,
    상기 마스킹 영상 생성 수단은
    마스킹 영상 생성용 컬러 테이블을 구비하는 컬러 테이블 저장부와, 상기 마스킹 영상 생성용 컬러 테이블을 참조하여 마스킹 영상을 생성하는 영상 변환부를
    구비하는 것을 특징으로 하는 비공개 영상 출력 장치.
  43. 제 42 항에 있어서
    셔터부와, 상기 영상 시퀀스 패턴에 상응하는 셔터 개폐 시퀀스 패턴에 따라 상기 셔터부를 개폐하는 셔터 제어부를 구비하는 셔터 개폐 수단을 더 포함하는 것을 특징으로 하는 비공개 영상 출력 장치.
  44. 제 43 항에 있어서,
    상기 셔터 개폐 수단은 주변광 차단 필터를 더 구비하는 것을 특징으로 하는 비공개 영상 출력 장치.
  45. 제 42 항에 있어서,
    상기 컬러 테이블 저장부는 상기 비공개 영상을 마스킹 영상으로 변환하는 마스킹 영상 생성용 컬러 테이블을 구비하며, 상기 영상 변환부는 상기 마스킹 영 상 생성용 컬러 테이블을 참조하여 상기 비공개 영상을 변환하여 마스킹 영상을 생성하는 것을 특징으로 하는 비공개 영상 출력 장치.
  46. 제 42 항에 있어서,
    상기 마스킹 영상 생성 수단은
    교란 영상을 생성하는 교란 영상 생성부와,
    상기 마스킹 영상 생성용 컬러 테이블을 참조하여 상기 교란 영상을 변환하여 변환된 교란 영상으로 마스킹 영상을 생성하는 영상 변환부를
    구비하는 것을 특징으로 하는 비공개 영상 출력 장치.
  47. 제 42 항에 있어서,
    비공개 영상 생성용 컬러 테이블을 구비하는 컬러 테이블 저장부와,
    상기 비공개 영상 생성용 컬러 테이블을 참조하여 비공개 영상을 생성하는 영상 변환부를
    더 포함하는 것을 특징으로 하는 비공개 영상 출력 장치.
  48. 제 47 항에 있어서,
    상기 마스킹 영상 생성용 컬러 테이블과 상기 비공개 영상 생성용 컬러 테이블의 영상값 범위를 다르게 설정하여 상기 마스킹 영상에 비해 상기 비공개 영상의 영상값의 범위를 상대적으로 압축하는 것을 특징으로 하는 비공개 영상 출력 장치.
KR10-2003-0003600A 2003-01-20 2003-01-20 공개된 디스플레이를 이용하여 비공개 영상을 출력하는장치 및 방법 KR100471560B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR10-2003-0003600A KR100471560B1 (ko) 2003-01-20 2003-01-20 공개된 디스플레이를 이용하여 비공개 영상을 출력하는장치 및 방법
US10/542,590 US7978929B2 (en) 2003-01-20 2004-01-20 Device and method for outputting a private image using a public display
PCT/KR2004/000099 WO2004066620A1 (en) 2003-01-20 2004-01-20 Device and method for outputting a private image using a public display
US13/073,220 US8224118B2 (en) 2003-01-20 2011-03-28 Device and method for outputting a private image using a public display
US13/073,108 US8238692B2 (en) 2003-01-20 2011-03-28 Device and method for outputting a private image using a public display
US13/073,298 US8213675B2 (en) 2003-01-20 2011-03-28 Device and method for outputting a private image using a public display

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2003-0003600A KR100471560B1 (ko) 2003-01-20 2003-01-20 공개된 디스플레이를 이용하여 비공개 영상을 출력하는장치 및 방법

Publications (2)

Publication Number Publication Date
KR20040066517A KR20040066517A (ko) 2004-07-27
KR100471560B1 true KR100471560B1 (ko) 2005-02-23

Family

ID=37356336

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2003-0003600A KR100471560B1 (ko) 2003-01-20 2003-01-20 공개된 디스플레이를 이용하여 비공개 영상을 출력하는장치 및 방법

Country Status (1)

Country Link
KR (1) KR100471560B1 (ko)

Also Published As

Publication number Publication date
KR20040066517A (ko) 2004-07-27

Similar Documents

Publication Publication Date Title
US7978929B2 (en) Device and method for outputting a private image using a public display
JP5299275B2 (ja) 画像処理装置及びその方法並びにプログラム、及び表示装置
RU2201609C2 (ru) Способ отображения данных для совместно размещенных пользователей, предназначенных только отдельным лицам
CN106557711B (zh) 移动终端设备的屏幕隐私保护方法及系统
JP4038687B2 (ja) 基礎表示画像の機密保護下での視認を提供するための順次式反転暗号化法を用いた画像変更装置
EP0731405B1 (en) An apparatus, system and method for data security
JP5029610B2 (ja) 画像処理装置、画像処理方法及びそのプログラム、表示装置並びに画像表示システム
JP5163637B2 (ja) 画像処理装置及び方法、プログラム並びに表示装置
US20070247392A1 (en) Method for displaying private/secure data
GB2428152A (en) Processing image data for direction dependent viewing on a display device
JP2015510610A (ja) マルチプル・コンテンツ・アイテムの同時の表示
DE102015122767A1 (de) Betätigung eines gerätes zum betrachten von ersten inhaltsframes, die auf einer anzeige zwischen zweiten inhaltsframes dargestellt werden
US8144164B2 (en) Image display apparatus and method
Gao et al. Information security display system based on temporal psychovisual modulation
Wiebel et al. Testing the role of Michelson contrast for the perception of surface lightness
KR100471560B1 (ko) 공개된 디스플레이를 이용하여 비공개 영상을 출력하는장치 및 방법
US8373807B2 (en) Data producing method and electronic device thereof
Yerazunis et al. Privacy-enhanced displays by time-masking images
KR100502257B1 (ko) 비공개 영상 출력 장치에서의 셔터개폐신호의 전송 방법
KR100538131B1 (ko) 공개된 디스플레이와 셔터 장치를 이용하여 비공개 영상을출력하는 방법
KR100538140B1 (ko) 공개된 모니터를 이용하여 비공개 영상을 출력하는 방법
TW201005528A (en) Method for adjusting display settings and computer system using the same
Doğruel A method for concealment of displayed data
ISHIZAWA et al. Speed and Brightness Verification while Switching Two-Brightness without Flicker on a Liquid Crystal Display
Kobayashi et al. Vertical anisotropy in lightness perception not caused by lighting assumption

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120110

Year of fee payment: 8

LAPS Lapse due to unpaid annual fee