KR20040066517A - Device and method for outputting a private image using a public display - Google Patents
Device and method for outputting a private image using a public display Download PDFInfo
- Publication number
- KR20040066517A KR20040066517A KR1020030003600A KR20030003600A KR20040066517A KR 20040066517 A KR20040066517 A KR 20040066517A KR 1020030003600 A KR1020030003600 A KR 1020030003600A KR 20030003600 A KR20030003600 A KR 20030003600A KR 20040066517 A KR20040066517 A KR 20040066517A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- private
- masking
- generating
- disturbing
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
Description
본 발명은 비공개 영상을 출력하는 장치 및 방법에 관한 것으로서, 특히 공개된 디스플레이에서 비허가자는 볼 수 없도록 비공개 영상을 출력하는 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and a method for outputting a private image, and more particularly, to an apparatus and a method for outputting a private image so that a non-licensed person cannot see in a public display.
휴대폰, 개인 휴대 단말기(Personal Digital Assistant : PDA), 노트북 등의 휴대용 단말장치와 데스크탑 개인용 컴퓨터(Personal Computer : PC)는 공공장소에서 자주 사용된다. 이 때, 디스플레이 모니터의 내용은 그 디스플레이의 가시거리 내에 있는 모든 사람이 볼 수 있다. 이와 같은 보안성 문제로 인해 텍스트 작성, 메일, 채팅, 동영상 감상 등을 위해 컴퓨터를 사용할 때 다른 사람이 보기를 원하지 않는 내용의 경우 컴퓨터 사용에 제한이 많다. 프라이버시 문제는 개인적인 컴퓨터 사용 외에도 기업, 정부 등에서 기밀문서를 컴퓨터로 작업할 때도 야기될 수 있다. 그 외에도 디스플레이의 보안성 문제는 다양한 분야에 존재한다. 예를 들어, 자동 예금 지급기(automatic teller machine : 이하, "ATM"이라고 함)는 공공장소에 배치되므로 ATM 사용자의 비밀번호 키입력과 화면상의 거래내역과 같은 비밀정보가 쉽게 노출될 수 있다. 그러므로, 공개적으로 볼 수 있는 모니터 상에서 허가된 사용자에게 비공개 정보를 제공하고, 반면에 권한이 부여되지 않은 사람은 동일한 모니터 상의 비공개 정보를 볼 수 없는 디스플레이를 개발하면 유용하다.Portable terminal devices such as mobile phones, personal digital assistants (PDAs), notebook computers, and desktop personal computers (PCs) are frequently used in public places. At this time, the contents of the display monitor can be seen by everyone within the viewing distance of the display. Because of this security issue, when you use your computer to write text, mail, chat, watch videos, and so on, there are many restrictions on using your computer. In addition to the use of personal computers, privacy issues can also arise when companies, governments, and others work on computers with confidential documents. In addition, display security issues exist in various fields. For example, an automatic teller machine (hereinafter referred to as "ATM") is placed in a public place, so secret information such as password keystrokes and transaction details of ATM users can be easily exposed. Therefore, it is useful to develop a display that provides private information to authorized users on a publicly viewable monitor, while an unauthorized person cannot view private information on the same monitor.
초창기의 액정표시장치(liquid crystal display : 이하, "LCD"라고 함) 모니터는 시야각이 좁아서 정면에서 조금 옆으로 비껴서 보면 화면이 어둡게 보이는 문제가 있었다. 이 점은 일반적인 사용 측면으로 보면 불편한 사항이었기 때문에 시야각을 넓히는 방향으로 기술 발전이 이루어졌지만, 보안 관점으로 보면 약간의 보안성을 가지고 있다고 볼 수 있고 가장 초보적인 형태의 비공개 디스플레이(private display)라 할 수 있다. 이런 개념을 좀 더 발전시킨 마이크로 차단판을 갖는 디스플레이가 미국특허 제5,528,319호(발명자는 Russel임)에 개시되어 있다. 그러나 이 방식은 사용자의 뒤편에 있는 사람에게도 디스플레이의 내용이 완전히 노출된다는 단점이 있다.Early liquid crystal display (hereinafter referred to as "LCD") monitors have a narrow viewing angle, which causes the screen to appear dark when viewed slightly sideways from the front. Since this point of view was inconvenient in terms of general use, technological advances have been made in the direction of widening the viewing angle, but from a security point of view, it has some security and is the most basic form of private display. Can be. A display with a micro blocker that further develops this concept is disclosed in US Pat. No. 5,528,319 (the inventor is Russel). However, this method has a disadvantage in that the contents of the display are completely exposed to the person behind the user.
좀 더 발전된 개념의 비공개 디스플레이는 셉터(Sceptre)사가 1998년에 제품 출시한 보안 LCD이다. 편광을 이용한 이 제품은 일반 LCD 모니터 내부에 있는 편광판을 제거하고 사용자가 편광안경을 이용하여 보도록 되어 있다. 그러나 이 제품은 프라이버시가 중요하지 않는 상황에서도 항상 편광안경을 착용해야만 시지각할 수 있기 때문에 일반적인 용도로는 불편하다. 또한, 일반 선글래스와 같은 단순한 편광특성을 가진 안경을 착용한 비허가자도 내용을 볼 수 있으므로 보안성이 낮다. 결국 이 제품은 시장에서 실패하고 단종되었다. 이 방식을 약간 개선하여 2001년에 MMI사(http://www.man-machine.com/invisivw.htm)는 편광판을 장탈착할 수 있는 제품을 출시했다. 그러나 이 제품도 선글래스 등의 단순 편광 안경을 착용한 비허가자가 내용을 볼 수 있다는 단점이 남아있다.A more advanced concept of private display is the security LCD released by Scepter in 1998. This product using polarized light removes the polarizing plate inside an ordinary LCD monitor and allows the user to use polarized glasses. However, this product is inconvenient for general use because privacy can be perceived only when privacy is not important. In addition, unlicensed people who wear glasses with simple polarization characteristics, such as general sunglasses, can see the contents, so the security is low. Eventually the product failed and was discontinued in the market. With a slight refinement of this approach, in 2001, MMI (http://www.man-machine.com/invisivw.htm) introduced a product that can be attached to or detached from a polarizer. However, this product also has the disadvantage that unauthorized users wearing simple polarized glasses such as sunglasses can view the contents.
가장 완벽한 비공개 디스플레이는 머리 장착 디스플레이(head-mounted display : 이하, "HMD"라고 함)이다. 그러나 HMD는 디스플레이와 광학계를 모두 안경에 담았기 때문에 가격이 비싸고 착용하기에 무거우며 전력소모가 많다는 문제점이 있다.The most complete private display is a head-mounted display (hereinafter referred to as "HMD"). However, HMD has a problem that the display and the optical system are both contained in glasses, which is expensive, heavy to wear, and high in power consumption.
비공개 디스플레이는 아니지만 기술적 관련이 있는 디스플레이로서, 하나의 디스플레이가 2 종류의 서로 다른 영상을 표시하고 셔터안경을 구비한 사용자가 각각 자신의 영상을 시지각하는 화면 다중 디스플레이가 한국특허출원 1991-0000391(출원인은 삼성전자, 발명의 명칭은 "모니터의 화면 다중 디스플레이 장치 및 시지각장치"임)과, 한국특허출원 1997-044686(출원인은 삼성전자, 발명의 명칭은 "두 화면 동시시지각 영상기기"임)과 한국특허출원 1999-0051191(출원인은 최효승, 발명의 명칭은 "다종영상물 동시재생 장치"임)에 개시되어 있다. 또한 화면 다중 디스플레이를 게임에 적용한 기술이 미국특허 제5,963,371호(인텔에 양도됨)에 개시되어 있다. 화면 다중 디스플레이는 셔터안경을 착용하고 디스플레이를 보는 사람 외의 사람이 디스플레이의 내용을 어느 정도 볼 수 있기 때문에 비공개 디스플레이라 할 수는 없다. 즉, 다른 영상의 차단을 위해서 셔터를 착용할 뿐이고 비공개 영상을 보호할 수단은 없다.Although not a private display, it is a technically relevant display, and a multi-screen display in which one display displays two different images and a user with shutter glasses visually recognizes their own image is disclosed in Korean Patent Application No. 1991-0000391 ( Applicant is Samsung Electronics, the name of the invention "Multi-screen display and visual perception device of the monitor" and Korea Patent Application 1997-044686 (Applicant is Samsung Electronics, the name of the invention "Two screen simultaneous visual imaging device" And Korean Patent Application No. 1999-0051191 (Applicant Choi Hyo-seung, the name of the invention is "Multi-Video simultaneous playback device"). In addition, a technique of applying multi-screen display to a game is disclosed in US Patent No. 5,963,371, assigned to Intel. Multi-screen display is not a private display because people other than those who wear shutter glasses and see the display can see the contents of the display to some extent. In other words, the shutter is only worn to block other images, and there is no means to protect the private images.
본 명세서에서 모니터의 수직동기(vertical sync)로 구별되는 하나의 디스플레이 화면을 모니터 프레임(monitor frame)이라 하고, 영상 데이터의 한 조각을 영상 데이터 프레임(image data frame)이라 한다. 하나의 영상 데이터 프레임은 모니터의 한 프레임과 같은 크기일 수도 있고 다를 수도 있다. 비공개 영상(private image : 이하, "P 영상"이라고 함)은 허가된 사용자의 사적인 비공개 영상이다. 마스킹 영상(masking image : 이하, "M 영상"이라고 함)은 비허가자가 허가된 사용자의 비공개 영상을 보지 못하도록 차단하는 영상이다.In the present specification, one display screen distinguished by vertical sync of a monitor is called a monitor frame, and one piece of image data is called an image data frame. One image data frame may be the same size or different from one frame of the monitor. A private image (hereinafter referred to as "P image") is a private private image of an authorized user. The masking image (hereinafter, referred to as "M image") is an image that blocks unauthorized users from viewing a private image of an authorized user.
셔터안경을 이용하여 사적인 정보를 보호하는 비공개 디스플레이가 현재 구현되고 있다. 원가가 저렴하고 착용이 가벼우며 성능 향상의 여지가 많기 때문에 현재로서는 가장 경쟁력 있는 방법으로 여겨진다. 비공개 디스플레이는 '사용자 시지각 성능', '맨눈 보안 성능', '염탐자 대항 보안 성능' 등 세가지 성능 조건을 모두 만족시켜야 한다. '사용자 시지각 성능'은 허가된 사용자가 영상을 시각적 불편 또는 피로감 없이 명료하게 볼 수 있도록 하는 것이고, '맨눈 보안 성능'은 셔터를 갖지 않은 비허가자가 영상을 명료하게 볼 수 없도록 하는 것이며, '염탐자 대항 보안 성능'은 셔터를 가진 비허가자나 고의적인 염탐자(peeper)가 영상을 명료하게 볼 수 없도록 하는 것이다.Private displays are now being implemented that use shutter glasses to protect private information. It is considered to be the most competitive way at present because of its low cost, light weight, and plenty of room for performance. Private displays must meet all three performance criteria: user visual perception, bare-eye security, and anti-spy security. 'User perception performance' means that the authorized user can see the image clearly without any visual discomfort or fatigue, and 'eye-eye security performance' prevents the unauthorized person without the shutter from seeing the image clearly. Security against counterspy 'is to prevent unauthorized or intentional spypers with shutters from seeing the images clearly.
미국특허 제5,629,984호에 개시된 선마이크로시스템즈(Sun Microsystems)사의 "동기식" 방식에서는, 비공개 영상 데이터 프레임(private image data frame : 이하, "P 프레임"이라고 함)과 마스킹 영상 데이터 프레임(masking image data frame : 이하, "M 프레임"이라고 함)을 모니터의 프레임 동기에 맞추어 교체하면서 표시하고 동시에 셔터안경을 개폐하여 셔터안경을 소유한 사용자만이 비공개 영상을 볼 수 있게 한다. P 프레임과 M 프레임의 교체는 P 프레임 1번 표시할 때마다M 프레임을 m번 표시하는 1:m(m=1,2,3…)의 비율로 이루어진다. 이 방식은 '맨눈 보안 성능'은 만족시키나 '염탐자 대항 보안 성능'을 고려하지 못하고 있고, m이 커지면 '사용자 시지각 성능'도 떨어진다. M 프레임의 마스킹 영상으로 단순한 백색 플래쉬(whited flash) 영상을 생성함으로써 비공개 영상을 가리는데 효과적이지 않다. 셔터 개폐가 필요할 때마다 셔터에게 셔터 개폐 신호를 암호화하지 않고 전송함으로써 염탐자가 가로채기가 쉽다.In the "synchronous" method of Sun Microsystems, disclosed in US Patent No. 5,629,984, a private image data frame (hereinafter referred to as "P frame") and a masking image data frame (masking image data frame) (Hereinafter referred to as " M frame ") is displayed while being replaced according to the frame synchronization of the monitor, and at the same time, the shutter glasses are opened and closed so that only the user who owns the shutter glasses can see the private image. The replacement of the P frame and the M frame is performed at a ratio of 1: m (m = 1, 2, 3, ...) which displays the M frame every time the P frame is displayed one time. This method satisfies 'eye security performance', but does not consider 'anti-spy security performance', and as m increases, 'user visual perception performance' also decreases. It is not effective to cover the private image by generating a simple white flash image with the M frame masking image. Whenever the shutter needs to be opened and closed, it is easy for the spy to intercept the shutter by sending the shutter open / closed signal without encryption.
영국특허공개공보 GB 2360414A에 개시된 IBM사의 "비동기식" 방식에서는, P 프레임과 M 프레임을 모니터의 프레임 동기에 맞추지 않고 디스플레이 하면서 P/M 데이터 프레임과 셔터안경만을 동기하고 있다. 이 방식에서는 P/M 영상 데이터 프레임의 디스플레이 시간을 가변하여 암호화함으로써 '염탐자 대항 보안 성능'을 높였다. 그리고 셔터측의 타이머를 전제하고 셔터에게 셔터 개폐 신호를 암호화하여 전송함으로써 염탐자가 셔터 개폐 신호를 가로채지 못하도록 '염탐자 대항 보안 성능'을 높였다. 그러나 영상 프레임과 모니터 프레임의 비동기로 인하여 '사용자 시지각 성능'이 떨어진다. 모니터의 영역별로 광강도 밀도가 가변하여 사용자가 보기 불편하고, 비동기식의 특성과 셔터의 유한한 응답 시간(response time)이 맞물려 P 영상과 M 영상이 전환하는 경계에서 영상 불균일이 발생하여 불편하다. 아울러 모니터 특정 영역(상단부)에서는 P 영상이 디스플레이될 확률이 증가하므로 이 영역에서 '맨눈 보안 성능'과 '염탐자 대항 보안 성능'이 저하된다. 또한, 영상 데이터 프레임이 반복적으로 P와 M을 교체하기 때문에, 염탐자가 튜닝(tuning)을 통해 P 영상을 볼 수 있는 확률이 높아진다. 또한 M 프레임의 마스킹 영상 데이터를 단순한 랜덤 패턴 영상으로 생성함으로써 비공개 영상을 가리는 데 효과적이지 않다. 셔터 개폐 신호의 암호화 전송을 위해 수신측에 타이머가 필요하다는 점도 개선의 여지가 있다.In IBM's "Asynchronous" method disclosed in GB 2360414A, only P / M data frames and shutter glasses are synchronized while displaying P frames and M frames without matching the frame synchronization of the monitor. In this method, the display time of the P / M image data frame is variable and encrypted, thereby improving 'security against spoilers'. In addition, by encrypting and transmitting the shutter open / close signal to the shutter under the premise of the timer on the shutter side, the security performance against the spy explorer was enhanced to prevent the spy from intercepting the shutter open / close signal. However, due to the asynchronous of the image frame and the monitor frame, 'user visual performance' is reduced. It is inconvenient for the user to see because the light intensity density varies according to the area of the monitor, and it is inconvenient because image unevenness occurs at the boundary where the P and M images are switched due to the combination of the asynchronous characteristics and the finite response time of the shutter. In addition, the P-display is more likely to be displayed in a specific area (top) of the monitor, thereby degrading 'eye-eye security' and 'anti-spy security'. In addition, since the image data frame repeatedly replaces P and M, the probability that the prober can view the P image through tuning is increased. In addition, since masking image data of M frames is generated as a simple random pattern image, it is not effective to cover a private image. There is also room for improvement in that a timer is required on the receiving side for the encrypted transmission of the shutter open / close signal.
미국특허 제5,629,984호에 개시된 백색 플래쉬(white flash) 마스킹 영상이나 영국특허출원 GB 2360414에 개시된 랜덤 마스킹 영상은 비공개 영상을 효과적으로 차단하기 어렵다. 균일한 백색 플래쉬 마스킹 영상은 낮은 공간 주파수와 낮은 시간 주파수를 갖고 있으므로 다른 시간 주파수, 공간 주파수를 갖거나 지각 그룹핑(perceptual grouping)된 인지적 의미를 갖는 비공개 영상을 마스킹하기 어렵다. 플래쉬 마스킹 영상으로 마스킹이 효과적이려면 한 개의 비공개 영상에 대하여 여러 개의 플래쉬 마스킹 영상을 디스플레이 해야만 하므로 사용자가 비공개의 영상을 보는 '사용자 시지각 성능'이 떨어진다. 랜덤 마스킹 영상은 휘도, 컬러 각각에 대하여 넓은 시간 주파수 대역과 공간 주파수 대역을 가지고 있어서 플래쉬 마스킹 영상보다는 마스킹 성능이 우월하지만, 사람이 민감한 시간 주파수 및 공간 주파수 대역과 민감하지 않는 주파수 대역을 구별하지 않으므로 인해 특정 주파수 대역의 신호가 많은 일반적인 비공개 영상을 마스킹하기 어렵다. 또한, 지각 그룹핑된 인지적 의미가 있는 비공개 영상을 인지적 의미가 없는 랜덤 마스킹 영상으로 마스킹하기는 어렵다.The white flash masking image disclosed in US Pat. No. 5,629,984 or the random masking image disclosed in GB 2360414 is difficult to effectively block private images. Since the uniform white flash masking image has a low spatial frequency and a low temporal frequency, it is difficult to mask a private image having a different temporal frequency, spatial frequency, or perceptual grouping. In order for masking to be effective with flash masking images, multiple flash masking images must be displayed for one private image, so that the user's visual perception performance of the private image is poor. The random masking image has a wider temporal frequency band and a spatial frequency band for luminance and color, respectively, so that masking performance is superior to that of the flash masking image, but since a human does not distinguish between a sensitive time frequency and a spatial frequency band and an insensitive frequency band. Due to this, it is difficult to mask a general private video with a lot of signals of a specific frequency band. In addition, it is difficult to mask perceptually grouped private images with cognitive meaning as random masking images without cognitive meaning.
2002년 2월에 웹사이트(http://www.merl.com/papers/TR2002-11/) 에서 개시된 MERL(Mistubishi Electric Research Laboratory)의 비공개 디스플레이는 동기식에 근거한다. MERL의 비공개 디스플레이에서는 눈의 시간 적분을 이용하여 마스킹영상 데이터로서 비공개 영상 데이터의 역상(inverse image)을 생성하여 표시함으로써 비허가자는 비공개 영상과 역상의 평균 영상인 균일한 회색 영상을 보게 만들어 '맨눈 보안 성능'을 향상시켰다. '염탐자 대항 보안 성능'을 향상시키기 위해 P/M 영상 프레임 시퀀스를 랜덤하게 생성하여 제공한다. 특히, FLC와 같은 고가의 빠른 셔터를 이용해 프레임 기반이 아닌 픽셀(pixel) 기반 셔터링을 제안하고 있다. MERL의 방식에서는 역상을 생성할 때 모니터의 감마(Gamma)를 고려하였지만 인간의 시지각에 대한 이해가 부족하여 불완전한 역상을 생성하였다. 또한, 매 프레임마다 역상을 계산하는 시간이 많이 걸려서 실시간 시스템이 될 수 없다.The private display of the Mistubishi Electric Research Laboratory (MERL), which was launched on February 2002 at the website http://www.merl.com/papers/TR2002-11/ , is synchronous. In the private display of MERL, the inverse image of the private image data is generated and displayed as masking image data by using the time integration of the eyes, thereby allowing the unauthorized user to see the uniform gray image, which is the average image of the private image and the inverse image. Security performance ”. Randomly generate and provide P / M video frame sequence to improve 'anti-spy security'. In particular, the use of expensive fast shutters such as FLC suggests pixel-based shuttering rather than frame-based shuttering. In the MERL method, the gamma of the monitor was taken into account when generating a reversed phase, but an incomplete reversed phase was generated due to a lack of understanding of human visual perception. In addition, it takes a lot of time to calculate the inverse phase every frame and thus cannot be a real-time system.
MERL의 방식에서는 역상을 생성할 때 모니터의 감마(Gamma)를 고려하였지만 인간의 시지각에 대한 고려가 부족하여 불완전한 역상을 생성하였다. 그리고 매 프레임마다 역상을 계산하는 시간이 많이 걸려서 실시간 시스템이 될 수 없었기 때문에 정지 영상(still image)의 비공개 디스플레이에만 적용할 수 있었다. 또한 MERL의 비공개 디스플레이에서는 인지적 의미가 있는 교란 영상을 마스킹 영상으로서 사용하였다. 이 경우 비공개 영상의 동적 범위(dynamic range)를 마스킹 영상에 비하여 축소하여 교란 영상이 눈에 더 잘 띄도록 만들었다. 여기서 동적 범위란 컬러 공간(color space)의 최대값과 최소값의 차, 모니터 밝기의 범위, 모니터로 가는 전압의 범위 등과 같은 개념이다. 그러나 MERL 방식은 특정한 정지 비공개 영상을 가리는 데만 효과적인 특정한 사진 영상을 교란 영상으로서 사용하였기 때문에, 일반적인 비공개 영상에 사용될 수 있는 체계적이고 전략적인 교란 영상 생성 방식이 아니며 인간 시지각 특성을 고려하지 못하였다. 또한 매 프레임마다 교란 영상을실시간으로 제공하는 방법을 제시하지 못하여 정지 영상의 비공개 디스플레이에만 적용할 수 있었다.In the MERL method, the gamma of the monitor was taken into account when generating the reverse phase, but the incomplete phase was generated due to the lack of consideration of the human visual perception. And because it takes a lot of time to calculate the reverse phase every frame, it could not be a real-time system, so it could be applied only to the private display of still images. In the private display of MERL, disturbed images with cognitive meaning were used as masking images. In this case, the dynamic range of the closed image is reduced compared to the masking image to make the disturbing image more visible. The dynamic range is a concept such as the difference between the maximum value and the minimum value of the color space, the range of monitor brightness, and the range of voltage to the monitor. However, since the MERL method used a specific photographic image as a disturbing image, which is effective only to cover a specific still closed image, it is not a systematic and strategic disturbance image generation method that can be used for a general closed image and does not consider human visual perception characteristics. In addition, it could not be applied to provide a disturbing image in real time every frame, so it could be applied only to the private display of still images.
본 발명은 이러한 종래 기술의 문제점을 해결하기 위해 제안된 것으로서, 인간의 시지각 특성을 고려하여 비공개 영상을 가리는데 보다 효과적인 마스킹 영상을 생성하는 것을 일 목적으로 한다.The present invention has been proposed to solve the problems of the prior art, and an object of the present invention is to generate a masking image that is more effective for masking a closed image in consideration of human visual perception characteristics.
또한 본 발명은 비공개 영상을 가리는 마스킹 영상을 실시간으로 생성하는 것을 다른 목적으로 한다.Another object of the present invention is to generate a masking image covering a closed image in real time.
도 1은 본 발명이 적용되는 노트북 실시예의 시스템 구성도.1 is a system configuration of a notebook embodiment to which the present invention is applied.
도 2는 본 발명에 의한 셔터 개폐 수단의 구성도.2 is a block diagram of a shutter opening and closing means according to the present invention.
도 3은 본 발명에 의한 소프트웨어 방식 전용 드라이버 실시예의 시스템 구성도.3 is a system configuration diagram of a software-only driver embodiment according to the present invention.
도 4는 도 3에 도시된 비디오 제어기의 일 예의 블록도.4 is a block diagram of an example of the video controller shown in FIG.
도 5는 본 발명에 의한 소프트웨어 방식 어플리케이션 레벨 실시예의 시스템 구성도.5 is a system diagram of a software based application level embodiment of the present invention.
도 6은 컴퓨터 본체와 셔터 개폐 수단 사이의 유무선 통신 인터페이스의 일 예의 구성도.6 is a configuration diagram of an example of a wired and wireless communication interface between a computer body and shutter opening and closing means.
도 7은 본 발명에 의한 하드웨어 방식 외장 제어기 실시예의 시스템 구성도.7 is a system configuration diagram of a hardware type external controller embodiment according to the present invention;
도 8은 도 7에 도시된 외장 제어기의 일 예의 블록도.8 is a block diagram of an example of the external controller shown in FIG.
도 9는 본 발명에 의한 완전 독립형 하드웨어 방식 외장 제어기 실시예의 시스템 구성도.9 is a system diagram of a completely independent hardware type external controller embodiment according to the present invention;
도 10은 본 발명에 의한 소프트웨어 방식과 하드웨어 방식의 통합 외장 제어기 실시예의 시스템 구성도.10 is a system configuration diagram of a software and hardware integrated integrated controller embodiment according to the present invention.
도 11은 본 발명에 의해 비선형 인버터를 이용하여 마스킹 영상을 생성하는 회로의 블록도.11 is a block diagram of a circuit for generating a masking image using a nonlinear inverter in accordance with the present invention.
도 12a는 인간 시지각의 휘도 및 컬러에 대한 공간 대비 민감도 함수를 표시한 도면이고, 도 12b는 인간 시지각의 휘도 및 컬러에 대한 시간 대비 민감도 함수를 표시한 도면.FIG. 12A is a diagram showing a spatial versus sensitivity function for luminance and color of human visual perception, and FIG. 12B is a diagram showing a time versus sensitivity function for luminance and color of human visual perception.
도 13은 인간 시신경의 중심부 및 주변부 메커니즘 사이의 시간 지연을 설명하는 도면.13 illustrates the time delay between the central and peripheral mechanisms of the human optic nerve.
도 14는 영상 발생과 지각의 일반적인 과정을 설명하는 도면.14 illustrates a general process of image generation and perception.
도 15는 전형적인 모니터 전달함수를 설명하는 도면.15 illustrates an exemplary monitor transfer function.
도 16은 전형적인 인간 시지각 전달함수를 설명하는 도면.FIG. 16 illustrates a typical human visual perceptual transfer function. FIG.
도 17은 전형적인 모니터 픽셀 응답을 설명하는 도면.17 illustrates a typical monitor pixel response.
도 18은 본 발명의 동적 패턴 실험 방법에 의해 동적 역상을 생성하는데 이용되는 패턴의 예를 도시한 도면.18 shows an example of a pattern used to generate a dynamic reversed phase by the dynamic pattern experiment method of the present invention.
도 19는 일반적인 컬러 테이블의 상태를 설명하는 도면.Fig. 19 is a diagram for explaining a state of a general color table.
도 20은 본 발명에 의한 컬러 테이블 변경 방법을 설명하는 도면.20 is a view for explaining a color table changing method according to the present invention.
도 21은 본 발명에 의한 교란 영상 생성 및 관리 방법을 설명하는 흐름도.21 is a flowchart illustrating a method of generating and managing a disturbing image according to the present invention.
도 22는 인간 시지각 뉴우런, 인간 시지각, 전형적인 영상 데이터의 공간 및 시간 주파수 특성을 표시한 도면.Fig. 22 shows the spatial and temporal frequency characteristics of human visual neurons, human visual angles, and typical image data.
도 23은 CIE Lab 컬러 공간을 설명하는 도면.23 illustrates a CIE Lab color space.
도 24는 인간 시지각 프로세스를 설명하는 도면.24 illustrates a human visual perception process.
도 25는 본 발명에 따라 영상 요소 배합에 의해 교란 영상을 생성하는 과정을 설명하는 도면.25 is a diagram illustrating a process of generating a disturbing image by combining image elements according to the present invention.
도 26은 본 발명에 의한 P/M 영상 시퀀스 및 셔터 개폐 시퀀스 생성 과정을 설명하는 도면.FIG. 26 is a diagram for explaining a P / M image sequence and a shutter opening / closing sequence generation process according to the present invention; FIG.
전술한 바와 같은 목적을 달성하기 위한 본 발명은 공개된 디스플레이를 이용하여 비공개 영상을 출력하는 장치에 있어서, 비공개 영상을 생성하는 수단과, 상기 비공개 영상을 마스킹하는 마스킹 영상을 생성하는 수단과, 상기 비공개 영상과 상기 마스킹 영상에 대한 영상 시퀀스 패턴을 생성하는 수단과, 상기 영상 시퀀스 패턴에 따라 상기 비공개 영상과 상기 마스킹 영상을 상기 디스플레이로 출력하는 수단을 포함하며, 상기 마스킹 영상 생성 수단은 상기 스플레이의 리프레쉬 속도와 상기 영상 시퀀스 패턴에 따라 상기 비공개 영상의 동적 역상을 마스킹 영상으로 생성하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided an apparatus for outputting a private image using a public display, comprising: means for generating a private image, means for generating a masking image for masking the private image, and Means for generating an image sequence pattern for the private image and the masking image, and means for outputting the private image and the masking image to the display according to the image sequence pattern, wherein the masking image generating means includes: According to the refresh rate and the image sequence pattern, the dynamic reverse phase of the closed image is generated as a masking image.
또한 본 발명은 공개된 디스플레이를 이용하여 비공개 영상을 출력하는 장치에 있어서, 비공개 영상을 생성하는 수단과, 상기 비공개 영상을 마스킹하는 마스킹 영상을 생성하는 수단과, 상기 비공개 영상과 상기 마스킹 영상에 대한 영상 시퀀스 패턴을 생성하는 수단과, 상기 영상 시퀀스 패턴에 따라 상기 비공개 영상과 상기 마스킹 영상을 상기 디스플레이로 출력하는 수단을 포함하며, 상기 마스킹 영상 생성 수단은 인간의 시지각 특성에 기반한 교란 영상을 마스킹 영상으로 생성하는 것을 다른 특징으로 한다.In another aspect, the present invention provides an apparatus for outputting a private image using a public display, comprising: means for generating a private image, means for generating a masking image for masking the private image, and for the private image and the masked image Means for generating an image sequence pattern, and means for outputting the private image and the masking image to the display according to the image sequence pattern, wherein the masking image generating means masks a disturbing image based on human visual perception characteristics. It is another feature to generate the image.
또한 본 발명은 공개된 디스플레이를 이용하여 비공개 영상을 출력하는 장치에 있어서, 외부 서버로부터 비공개 영상을 수신하거나 자체적으로 비공개 영상을 생성하는 수단과, 외부 서버로부터 마스킹 영상을 수신하는 수단과, 상기 비공개 영상과 상기 마스킹 영상에 대한 영상 시퀀스 패턴을 생성하는 수단과, 상기 영상 시퀀스 패턴에 따라 상기 비공개 영상과 상기 마스킹 영상을 상기 디스플레이로 출력하는 수단을 포함하는 것을 또 다른 특징으로 한다.In another aspect, the present invention provides a device for outputting a private image using a public display, comprising: means for receiving a private image from an external server or generating a private image by itself, means for receiving a masking image from an external server, And means for generating an image sequence pattern for the image and the masked image, and means for outputting the private image and the masked image to the display according to the image sequence pattern.
또한 본 발명은 공개된 디스플레이를 이용하여 비공개 영상을 출력하는 장치에 있어서, 외부로부터 비공개 영상을 수신하는 수단과, 상기 비공개 영상을 마스킹하는 마스킹 영상을 생성하는 수단과, 상기 비공개 영상과 상기 마스킹 영상에 대한 영상 시퀀스 패턴을 생성하는 수단과, 상기 영상 시퀀스 패턴에 따라 상기 비공개 영상과 상기 마스킹 영상을 상기 디스플레이로 출력하는 수단을 포함하는 것을 또 다른 특징으로 한다.In addition, the present invention provides a device for outputting a private image using a public display, means for receiving a private image from the outside, means for generating a masking image for masking the private image, the private image and the masked image And means for generating an image sequence pattern for and a means for outputting the private image and the masking image to the display according to the image sequence pattern.
또한 본 발명은 공개된 디스플레이를 이용하여 비공개 영상을 출력하는 장치에 있어서, 외부로부터 비공개 영상을 수신하는 수단과, 상기 비공개 영상을 마스킹하는 마스킹 영상을 생성하는 수단과, 상기 비공개 영상과 상기 마스킹 영상에 대한 영상 시퀀스 패턴을 수신하는 수단과, 상기 영상 시퀀스 패턴에 따라 상기 비공개 영상과 상기 마스킹 영상을 상기 디스플레이로 출력하는 수단을 포함하는 것을 또 다른 특징으로 한다.In addition, the present invention provides a device for outputting a private image using a public display, means for receiving a private image from the outside, means for generating a masking image for masking the private image, the private image and the masked image And means for receiving an image sequence pattern for and a means for outputting the private image and the masking image to the display according to the image sequence pattern.
또한 본 발명은 공개된 디스플레이를 이용하여 비공개 영상을 출력하는 장치에 있어서, 비공개 영상을 생성하는 수단과, 상기 비공개 영상을 마스킹하는 마스킹 영상을 생성하는 수단과, 상기 비공개 영상과 상기 마스킹 영상에 대한 영상 시퀀스 패턴을 생성하는 수단과, 상기 영상 시퀀스 패턴에 따라 상기 비공개 영상과 상기 마스킹 영상을 상기 디스플레이로 출력하는 수단을 포함하며, 상기 마스킹 영상 생성 수단은 마스킹 영상 생성용 컬러 테이블을 구비하는 컬러 테이블 저장부와, 상기 마스킹 영상 생성용 컬러 테이블을 참조하여 마스킹 영상을 생성하는 영상 변환부를 구비하는 것을 또 다른 특징으로 한다.In another aspect, the present invention provides an apparatus for outputting a private image using a public display, comprising: means for generating a private image, means for generating a masking image for masking the private image, and for the private image and the masked image Means for generating an image sequence pattern, and means for outputting the private image and the masking image to the display according to the image sequence pattern, wherein the masking image generating means comprises a color table having a color table for generating a masking image; The apparatus may further include a storage unit and an image converter configured to generate a masked image by referring to the masking image generation color table.
이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명한다. 설명의 편의상 도면에서 동일한 참조부호는 동일 또는 유사한 구성요소 또는 신호를 가리키는 것으로 사용된다.Hereinafter, with reference to the accompanying drawings will be described embodiments of the present invention; In the drawings, the same reference numerals are used to indicate the same or similar elements or signals in the drawings.
[시스템 구조][System structure]
비공개 디스플레이는 데스크탑 PC, 노트북, PDA, 휴대전화, TV, DVD, ATM/CD기, 도어락(door lock) 정보입력기와 같은 각종 모니터 디스플레이 장치에 널리 사용할 수 있다. 이 가운데 가장 전형적인 시스템이라 할 수 있는 PC 모니터에 대한 실시예를 중심으로 기술한다. 당업자라면 다른 디스플레이 장치에 쉽게 변경하여 적용할 수 있다. 일반적으로 다른 디스플레이 장치는 PC 모니터 보다 그 구조가 간단하므로 PC 모니터 실시예의 필수 구성요소 가운데 일부를 제외하고도 비공개 디스플레이를 구현할 수 있다.Private displays can be widely used in various monitor display devices such as desktop PCs, notebooks, PDAs, mobile phones, TVs, DVDs, ATM / CD machines, and door lock information input devices. A description will be given of an embodiment of a PC monitor, which is the most typical of these. Those skilled in the art can easily change and apply to other display devices. In general, other display devices have a simpler structure than a PC monitor, and thus may implement a private display without some of the essential components of the PC monitor embodiment.
도 1은 노트북 PC에 적용된 실시예의 기본 구성도이다. 도시되어 있는 바와 같이, 모니터(102)를 구비한 컴퓨터 장치(104), 광 필터링을 하는 셔터 개폐 수단(106), 컴퓨터(104)와 셔터 개폐 수단(106)을 연결하는 유무선 통신수단(108), 비공개 디스플레이 소프트웨어(도시되지 않음)로 이루어져 있다. 컴퓨터(104)는 비공개 디스플레이 소프트웨어를 컴퓨터 판독가능 메모리에 저장하여 포함할 수 있다. 컴퓨터(104)는 사용자의 요구에 의하거나 자체적으로 비공개 영상과, 비공개 영상을 마스킹하는 마스킹 영상을 모니터(102)에 디스플레이하고, 상응하는 셔터 개폐 신호를 셔터 개폐 수단(106)에 전송하여 셔터 개폐 수단(106)을 작동함으로써 허가된 사용자만이 비공개 영상을 볼 수 있도록 한다. 여기에서 컴퓨터(104)는 데스크탑 PC, 노트북, PDA, 휴대전화, TV, DVD, ATM/CD기, 도어락 정보입력기 등 모니터에 영상을 디스플레이하고 운영하는 다양한 정보기기를 통칭한다.1 is a basic configuration diagram of an embodiment applied to a notebook PC. As shown, a computer device 104 having a monitor 102, shutter opening and closing means 106 for filtering light, wired and wireless communication means 108 for connecting the computer 104 and the shutter opening and closing means 106. , Private display software (not shown). Computer 104 may include private display software stored in computer readable memory. The computer 104 displays a private image and a masking image for masking the private image on the monitor 102 by the user's request or by itself, and transmits a corresponding shutter opening / closing signal to the shutter opening / closing means 106 to open and close the shutter. Activating the means 106 ensures that only authorized users can view private images. The computer 104 refers to various information devices that display and operate an image on a monitor such as a desktop PC, a notebook, a PDA, a mobile phone, a TV, a DVD, an ATM / CD device, a door lock information input device, and the like.
셔터 개폐 수단(106)은 기계식, 또는 액정 셔터와 같은 광전식일 수 있다. 셔터 개폐 수단(106)은 셔터 렌즈를 한 개 또는 여러 개를 가진 셔터 안경, 지지대를 가진 셔터 구조물, 셔터 모자와 같이 다양한 형태로 제작될 수 있다. 도 1에는 셔터안경 형태의 셔터 개폐 수단을 도시하였다.The shutter opening and closing means 106 may be mechanical or photoelectric such as a liquid crystal shutter. The shutter opening and closing means 106 may be manufactured in various forms such as shutter glasses having one or several shutter lenses, a shutter structure having a support, and a shutter cap. 1 shows shutter opening and closing means in the form of shutter glasses.
컴퓨터(104)를 주위가 밝은 곳에서 사용할 경우에는 모니터(104)에서 반사된 주변광이 사용자 눈에 입사하여 모니터 영상의 대비(contrast)가 낮아지는 문제가 발생할 수 있다. 일 실시예에서는 3M사가 판매하고 있는 "3MTMPrivacy ComputerFilters"와 같은 주변광 차단 필터(도시되지 않음)를 모니터(102)의 전면에 부착한다. 주변광 차단 필터는 광투과율이 입사각에 의존하는 광필터로서 입사각이 특정 각도 이상인 광을 차단하는 필터이다. 주변광 차단 필터는 햇볕 차단용 창문 블라인드와 같은 기능을 하는 마이크로루버(Microlouver) 차단판을 가진 필름으로 구성되어 특정 각도 이상으로 입사하는 경사광을 차단한다. 다른 실시예에서는 3M사가 판매하고 있는 "VikuitiTMDisplay Enhancement Films"와 같은 조도 강화 필름(brightness enhancement film)을 모니터(102)의 전면에 부착하여 모니터의 밝기를 향상시킨다. 모니터(102)의 전면에 이러한 필터를 부착할 경우에는 모니터(102)로 입사하여 반사하는 주변광 차단에는 효과적이지만 직접 셔터 개폐 수단(106)으로 입사하는 주변광을 차단할 수는 없다. 셔터 개폐 수단(106)으로 직접 입사하는 주변광을 차단하기 위하여 본 발명의 또 다른 실시예에서는 도 2에서와 같이 주변광 차단 필터(202)를 셔터 개폐 수단(106)에 부착한다. 주변광 차단 필터(202)를 부착하면 사용자가 지각하는 영상의 대비는 올라가지만 전체 밝기가 다소 떨어진다. 다른 실시예에서는 밝은 곳에서는 필터(202)를 장착하고, 어두운 곳에서는 탈착하는 것이 가능하도록 한다.When the computer 104 is used in a bright environment, the ambient light reflected from the monitor 104 may be incident on the user's eye, resulting in a low contrast of the monitor image. In one embodiment, an ambient light filter (not shown), such as “3M ™ Privacy ComputerFilters” sold by 3M, is attached to the front of the monitor 102. The ambient light blocking filter is a light filter whose light transmittance depends on the angle of incidence. The ambient light filter consists of a film with a microlouver blocker that functions as a sunscreen window blind, blocking out incident light from above a certain angle. In another embodiment, a brightness enhancement film, such as "Vikuiti ™ Display Enhancement Films" sold by 3M, is attached to the front of the monitor 102 to improve the brightness of the monitor. When the filter is attached to the front surface of the monitor 102, it is effective to block the ambient light incident and reflected on the monitor 102, but cannot directly block the ambient light incident on the shutter opening and closing means 106. In another embodiment of the present invention, the ambient light blocking filter 202 is attached to the shutter opening and closing means 106 in order to block the ambient light directly incident to the shutter opening and closing means 106. When the ambient light blocking filter 202 is attached, the contrast of the image perceived by the user increases, but the overall brightness decreases slightly. In another embodiment, it is possible to mount the filter 202 in bright places and to detach it in dark places.
도 3은 본 발명의 일 실시예에 의한 소프트웨어 방식의 전용 드라이버를 이용하는 시스템의 구성도이다. 소프트웨어 방식이란 셔터 개폐 수단(306)과 송수신 인터페이스부(308)를 제외한 기능의 구현을 소프트웨어로 하는 것을 의미한다. 여기서 전용 드라이버(310)는 PC(302) 내의 그래픽 드라이버(314)와 별개로 그래픽카드와 같은 비디오 제어기(312)에 접근하여 비공개 디스플레이를 실시간으로 구현하는 드라이버를 의미한다.3 is a configuration diagram of a system using a software-based dedicated driver according to an embodiment of the present invention. The software method means that the software implements functions except for the shutter opening and closing means 306 and the transmission / reception interface unit 308. Here, the dedicated driver 310 refers to a driver that accesses the video controller 312 such as a graphics card separately from the graphics driver 314 in the PC 302 to implement a private display in real time.
비공개 디스플레이 제어 블록(318)은 보안 성능 제어부, 암호화부, 사용자 인증부, 관리부로 이루어지며, 사용자 인터페이스(320)로부터 사용자를 인증하고, 허가된 사용자의 인증 수준 및 사용자의 입력에 맞추어 디스플레이 보안 수준을 설정하고 관리한다. 사용자 인증 방법은 사용자 인터페이스(320)로부터 사용자의 식별부호(identification number : 이하, "ID"라고 함)와 비밀번호 입력을 받아 인증할 수 있다. 또한 ID와 비밀번호의 입력 없이 허가된 셔터 개폐 수단(306)을 연결함으로써 사용자 인증을 할 수 있다. 또한 허가된 셔터 개폐 수단(306)을 연결하고, 허가된 사용자 ID와 비밀번호의 입력을 받음으로써 사용자 인증을 할 수 있다. 허가된 셔터 개폐 수단 여부 인증 및 정품 인증은 셔터 개폐 수단(306)의 판독 전용 메모리(read only memory : ROM)(도시되지 않음)에 내장된 제품의 일련번호 등으로 수행한다. 비공개 디스플레이 제어 블록(318)은 모니터 정보 획득 수단(328)으로부터 모니터 정보를 입력 받고 사용자의 인증 수준 및 디스플레이 보안 수준을 기준으로 영상 데이터 프레임 시퀀스 생성수단(322), 셔터 전압 시퀀스 생성 수단(324), 마스킹 영상 생성 수단(326)을 제어한다. 모니터 정보 획득 수단(328)은 모니터(304)의 해상도, 리프레쉬 사이클 시간(refresh cycle time), 수직 동기(vertical sync), 수평 동기(horizontal sync) 등의 정보를 읽어 들인다.The private display control block 318 includes a security performance control unit, an encryption unit, a user authentication unit, and a management unit, and authenticates a user from the user interface 320, and displays a display security level according to an authorized user's authentication level and a user's input. Set up and manage. The user authentication method may be authenticated by receiving an identification number (hereinafter referred to as “ID”) and a password input of the user from the user interface 320. In addition, user authentication can be performed by connecting an authorized shutter opening and closing means 306 without inputting an ID and a password. In addition, the user can be authenticated by connecting the permitted shutter opening and closing means 306 and receiving input of the authorized user ID and password. Authorization and activation of the shutter opening and closing means is performed with a serial number of a product embedded in a read only memory (ROM) (not shown) of the shutter opening and closing means 306. The private display control block 318 receives the monitor information from the monitor information obtaining means 328, and the image data frame sequence generating means 322 and the shutter voltage sequence generating means 324 based on the authentication level and the display security level of the user. The masking image generating means 326 is controlled. The monitor information obtaining unit 328 reads information such as the resolution of the monitor 304, the refresh cycle time, the vertical sync, the horizontal sync, and the like.
영상 데이터 프레임 시퀀스 생성 수단(322), 셔터 전압 시퀀스 생성 수단(324), 마스킹 영상 생성 수단(326)은 사용자의 인증 수준 및 디스플레이 보안레벨과 사용자의 추가적인 선택에 따라 상응하는 영상 데이터 프레임 시퀀스, 셔터 전압 시퀀스, 마스킹 영상을 각각 생성한다. 셔터 전압 시퀀스 생성 수단(324)은 영상 데이터 프레임 시퀀스에 동기되어 셔터 개폐 시퀀스를 생성하고, 셔터 개폐 시퀀스에 상응하는 전압 시퀀스를 생성한다.The image data frame sequence generating means 322, the shutter voltage sequence generating means 324, and the masking image generating means 326 correspond to the corresponding image data frame sequence and shutter according to the user's authentication level and display security level and the user's additional selection. A voltage sequence and a masking image are generated respectively. The shutter voltage sequence generating means 324 generates a shutter opening and closing sequence in synchronization with the image data frame sequence, and generates a voltage sequence corresponding to the shutter opening and closing sequence.
전용 드라이버(310)는 생성된 영상 데이터 프레임 시퀀스에 따라 마스킹 영상 생성 수단(326)에서 생성된 마스킹 영상을 비디오 메모리(328)에 제공하거나, 마스킹 영상 생성 수단(326)의 지시에 따라 스스로 마스킹 영상을 생성시켜 비디오 메모리(328)에 제공하거나, 컬러 테이블(color table)을 실시간 변경 제어한다. 또한 전용 드라이버(310)는 생성된 영상 시퀀스에 따라 비디오 제어기(312)가 비공개 영상 메모리 블록과 마스킹 영상 메모리 블록을 스위칭하도록 함으로써 모니터(304)로의 영상 전송을 제어한다.The dedicated driver 310 provides the masking image generated by the masking image generating means 326 to the video memory 328 according to the generated image data frame sequence, or the masking image by itself is instructed by the masking image generating means 326. Is generated and provided to the video memory 328, or the color table is controlled in real time. The dedicated driver 310 also controls the image transmission to the monitor 304 by causing the video controller 312 to switch the private image memory block and the masking image memory block according to the generated image sequence.
송수신부(308)는 셔터 개폐 수단(306)에게 셔터 개폐 시퀀스 또는 셔터 전압 시퀀스를 전송한다. 또한 송수신부(308)는 암호화 수단(도시되지 않음)을 사용하여 허가된 사용자에게 암호화된 셔터 전압 시퀀스를 전송할 수 있다. 송수신부(308, 310)는 USB, 직렬 링크(serial link)와 같은 유선링크나 IR, RF(FM, AM, Bluetooth)와 같은 무선링크로 구현될 수 있다. 그래픽카드와 같은 비디오 제어기(312)는 비디오 메모리(328)를 구비하고 있으며, 그래픽 드라이버(314)로부터 받은 원래의 비공개 영상과 전용 드라이버(310)로부터 받은 마스킹 영상을 영상 데이터 프레임 시퀀스에 따라 모니터(304)에 디스플레이한다.The transceiver 308 transmits a shutter opening / closing sequence or a shutter voltage sequence to the shutter opening / closing means 306. The transceiver 308 may also transmit an encrypted shutter voltage sequence to an authorized user using encryption means (not shown). The transceivers 308 and 310 may be implemented as a wired link such as USB or a serial link or a wireless link such as IR or RF (FM, AM, Bluetooth). The video controller 312, such as a graphics card, includes a video memory 328 and monitors the original private image received from the graphics driver 314 and the masked image received from the dedicated driver 310 according to the image data frame sequence. Display on the screen.
도 3에 도시된 바와 같이, 셔터 개폐 수단(306)은 송수신부(310)와 디코더/인증수단(330)과 셔터 제어기(332)와 셔터부(334)로 이루어질 수 있다. 송수신부(310)는 송수신부(308)로부터 전송된 암호화된 셔터 개폐 신호를 수신하여 디코더/인증수단(330)에 전송한다. 디코더/인증수단(330)은 셔터 개폐 신호를 해독하여 셔터 전압 시퀀스를 생성하고, 셔터 제어기(332)는 셔터 전압 시퀀스에 따라 셔터부(334)를 완전히 개폐하거나 중간 상태로 개폐한다.As shown in FIG. 3, the shutter opening / closing means 306 may include a transceiver 310, a decoder / authentication means 330, a shutter controller 332, and a shutter 334. The transceiver 310 receives an encrypted shutter opening / closing signal transmitted from the transceiver 308 and transmits it to the decoder / authentication means 330. The decoder / authentication means 330 decodes the shutter open / close signal to generate a shutter voltage sequence, and the shutter controller 332 opens or closes the shutter 334 completely or in an intermediate state according to the shutter voltage sequence.
디스플레이 보안 수준은 셔터를 갖지 않은 비허가자에 대한 '맨눈 보안 성능'과 다른 셔터를 가진 비허가자에 대한 '염탐자 대항 보안 성능'에 따른 성능 수준으로 설정한다. 일반적으로 디스플레이 보안 수준이 높아질수록 사용자의 시지각 편안함, 영상의 선명도와 같은 '사용자 시지각 성능'이 낮아진다. 이러한 디스플레이 보안 수준은 다양하게 정의할 수 있다. 일 예로서, 제 1 수준은 비허가자는 모니터를 특정 시간 이상 장시간 보아도 사용자 비공개 영상의 대략적인 종류조차도 지각할 수 없다. 가장 엄격한 사적 정보 보호로서, 예를 들어 사용자가 워드를 하는지 동영상을 보는 지 여부도 알 수 없다. 제 2 수준은 비허가자가 모니터를 특정 시간 이상 본다면 사용자 영상의 대략적인 종류를 지각할 수 있다. 그러나 사용자 영상정보 내용의 일부도 파악할 수 없다. 예를 들어, 사용자가 동영상을 보는지 알 수 있어도 영화인지 채팅인지 알 수 없다. 제 3 수준은 비허가자가 모니터를 특정 시간 이상 본다면 사용자 영상 정보 내용의 일부를 대략적으로 파악할 수 있다. 그러나 사용자 영상정보 내용의 대부분을 파악할 수 없다. 예를 들어, 사용자가 치는 워드의 내용을 알 수 없다. 사용자가 영화 동영상을 보는 지 알 수 있어도 내용을 알 수 없다. 제 4 수준은 비허가자가 모니터를 특정 시간 이상 본다면 사용자 영상정보 내용의 일부를 정확히 파악할 수 있다. 그러나 사용자 영상정보 내용의 대부분을 파악할 수 없다. 예를 들어, 사용자가 치는 워드의 내용을 약간 알 수 있다. 사용자가 시지각하는 영화 동영상의 내용을 약간 알 수 있다. 제 5 수준은 비허가자가 사용자 영상정보 내용의 상당 부분을 파악할 수 있다. 그러나 시지각에 불편함을 느낀다. 다른 실시예로서 이러한 성능 수준에 사용자 비공개 영상과 의도적인 교란 마스킹 영상이 비허가자에게 인식될 수 있는 정도를 부가적인 성능지수로 추가할 수 있다. 이 경우 상기 성능 수준과 같이 다양한 디스플레이 보안 수준을 설정할 수 있다.The display security level is set to a performance level according to 'eye security' for unlicensed people who do not have shutters, and 'spy security performance' for non-licensed users who have different shutters. In general, the higher the level of display security, the lower the user's visual perception performance, such as user's visual comfort and image clarity. These display security levels can be defined in various ways. As an example, the first level is that an unauthorized person may not even perceive the approximate type of user private image even after viewing the monitor for a long time over a certain time. As the strictest privacy protection, for example, you don't know whether the user is doing a word or watching a video. The second level may be to perceive the approximate type of user image if the unauthorized user views the monitor for a certain time. However, some of the contents of the user image information cannot be grasped. For example, even if a user knows whether to watch a video, it does not know whether it is a movie or a chat. The third level can roughly grasp a portion of the user image information content if the unauthorized user sees the monitor for a certain time. However, most of the contents of the user image information cannot be grasped. For example, you cannot know the content of the word you type. You can tell if the user is watching a movie movie, but not the content. The fourth level can accurately grasp a part of the contents of the user image information if the unauthorized person sees the monitor for a specific time or more. However, most of the contents of the user image information cannot be grasped. For example, you might know a bit of the word you type. You can see a little bit of the content of the movie that the user perceives. The fifth level allows the unauthorized person to grasp a substantial part of the content of the user image information. However, I feel uncomfortable with my visual perception. As another example, an additional figure of merit may be added to this performance level to the extent that user private images and intentionally disturbing masking images can be recognized by an unauthorized person. In this case, various display security levels can be set, such as the performance level.
도 4는 도 3에 도시된 비디오 제어기(312)를 기능별 블록으로 나타낸 도면이다. 도시된 바와 같이 영상 메모리 위치에 따라 비공개 영상 메모리 블록은 P1(Pm로 나타내고, 마스킹 영상 메모리 블록은 M1~Mn으로 나타낸다. P1~Pm은 시스템이 운용하는 프레임들이며, M1~Mn은 마스킹용으로 커널 드라이버인 전용 드라이버(310)에 의해 생성된 마스킹 프레임들이다. 각각의 메모리 블록은 플리핑(flipping)과 같은 방법을 통해 선택되어 영상값(RGB값) 변환기 역할을 하는 컬러 테이블(color table)(402)과 블록(404)을 경유하여 모니터(304)로 전송된다. 일 예로서 각각의 메모리 블록(P1~Pm, M1~Mm)은 하나의 모니터 프레임 크기에 해당한다. 전용 드라이버(310)는 하나의 쓰레드(thread)를 생성하여 중앙처리장치(CPU)에 여유 시간이 있을 때마다 비디오 제어기(312)에 임의로 잡아 놓은 마스킹 영상 메모리 블록(M1~Mn)에 영상 데이터를 갱신시킨다. 또한 전용 드라이버(310)는 비디오 제어기(312)의 수직동기 상태 레지스터(406)로부터 폴링(Polling) 방식으로 수직동기 상태(Vsync_ST)를 확인하거나 수직동기 신호 발생회로(408)에서 생성되어 시스템에 걸려오는 수직동기 인터럽트(Vsync_INT)를 훅킹(Hooking)하므로써, 수직동기 신호와 동기시켜 영상 프레임(P1~Pm, M1~Mn) 중 하나를 선택하고, 그 프레임의 시작주소를 비디오 제어기(312)의 프레임 시작 주소 레지스터(도시되지 않음)에 기록하여 선택된 영상 프레임이 디스플레이 되도록 한다.4 is a block diagram of a video controller 312 shown in FIG. As shown, the private video memory block is represented by P1 (Pm, and the masked video memory block is represented by M1 to Mn. P1 to Pm are frames operated by the system, and M1 to Mn are kernels for masking. These are masking frames generated by a dedicated driver 310, which is a driver, each memory block is selected through a method such as flipping, and a color table 402 serving as an image value (RGB value) converter. ) And block 404 to the monitor 304. As an example, each of the memory blocks P1 to Pm and M1 to Mm corresponds to one monitor frame size. Each time the CPU has a spare time, the image data is updated in the masking image memory blocks M1 to Mn, which are arbitrarily set in the video controller 312. 310 checks the vertical synchronization state Vsync_ST in a polling manner from the vertical synchronization status register 406 of the video controller 312 or the vertical synchronization interrupt generated by the vertical synchronization signal generation circuit 408 to the system. By hooking (Vsync_INT), one of the video frames P1 to Pm and M1 to Mn is selected in synchronization with the vertical synchronization signal, and the start address of the frame is set to the frame start address register of the video controller 312. (Not shown) so that the selected image frame is displayed.
또한, 특정 수평동기 신호에 동기하여 선택된 영상 프레임이 디스플레이 되도록 할 수 있다. 후술할 컬러 테이블 변경법에서는 비공개 영상 블록이 모니터로 전송되는 동안 전용 드라이버가 컬러 테이블을 임의로 변경하여 임의의 영상값 변환을 함으로써 비공개 영상이 마스킹 영상으로 전환하는 효과를 볼 수 있다. 또한, 도 3의 전용 드라이버(310) 대신에 필터 드라이버(도시되지 않음)를 삽입할 수 있다. 필터 드라이버는 전용 드라이버(310)와 같은 기능을 하며 그래픽 드라이버(314)가 비디오 메모리(328)에 접근할 때 필터처럼 끼어 들어 작동한다. 또한 대체 드라이버 방법을 사용할 수 있다. 이 방법은 기존의 그래픽 드라이버에 전용 드라이버 기능을 통합하여 하나의 드라이버로서 제어하게 된다.In addition, the selected video frame may be displayed in synchronization with a specific horizontal synchronization signal. In the method of changing the color table, which will be described later, the private driver may change the color table arbitrarily and convert an arbitrary image value while the private image block is transmitted to the monitor, thereby converting the private image into a masking image. In addition, a filter driver (not shown) may be inserted instead of the dedicated driver 310 of FIG. 3. The filter driver functions like the dedicated driver 310 and works like a filter when the graphics driver 314 accesses the video memory 328. Alternate driver methods can also be used. This method integrates a dedicated driver function into an existing graphics driver and controls it as a driver.
또한 도 5에서와 같이 전용 드라이버 기능 가운데 주요 기능을 어플리케이션 레벨에서 구현할 수 있다. 이 경우 전용 드라이버(508)는 셔터 개폐 시퀀스를 송수신부(510)를 통해 셔터 개폐 수단(306)으로 전송하는 일과 컬러 테이블을 실시간 변경 제어하는 일 등을 담당하고, 어플리케이션 레벨에서의 영상 제어 수단(514)은 영상 데이터 프레임 시퀀스 생성 수단(322)에서 생성된 영상 데이터 프레임 시퀀스에 따라 마스킹 영상 생성 수단(524)에서 생성된 마스킹 영상을 그래픽드라이버(520)를 통해 비디오 메모리(518)에 제공하거나 마스킹 영상 생성 수단(524)의 지시에 따라 스스로 마스킹 영상을 생성시켜 비디오 메모리(518)에 제공한다. 또한 어플리케이션 레벨에서의 영상 제어 수단(514)은 생성된 영상 데이터 프레임 시퀀스에 따라 비디오 제어기(516)로 하여금 비공개 영상과 마스킹 영상을 스위칭함으로써 모니터(504)로의 영상 전송을 제어하도록 한다. 어플리케이션 레벨에서의 영상 제어 수단(514)은 예를 들어, 다이렉트엑스(DirectX) 등을 이용한 페이지 플리핑 방식을 포함하여 구현할 수 있다. 또한 영상 제어 수단(514)은 가상 데스크탑(virtual desktop)을 만들어 사용자에게 표시할 수 있다. 또한 영상 제어 수단(514)은 데스크탑을 확장하고 데스크탑의 원점 이동을 제어할 수 있다.In addition, as shown in FIG. 5, main functions among dedicated driver functions may be implemented at an application level. In this case, the dedicated driver 508 is responsible for transmitting the shutter opening / closing sequence to the shutter opening / closing means 306 through the transmitting / receiving unit 510 and controlling the color table in real time. 514 provides or masks the masking image generated by the masking image generating means 524 to the video memory 518 through the graphic driver 520 according to the image data frame sequence generated by the image data frame sequence generating means 322. According to the instruction of the image generating means 524, a masking image is generated by itself and provided to the video memory 518. The image control means 514 at the application level also causes the video controller 516 to control the transmission of the image to the monitor 504 by switching the private image and the masked image according to the generated image data frame sequence. The image control means 514 at the application level may be implemented by including a page flipping method using, for example, DirectX. In addition, the image control means 514 may create a virtual desktop and display it to the user. The image control means 514 can also extend the desktop and control the origin movement of the desktop.
도 6은 도 3, 도 5에 도시된 본체(302, 502)와 셔터 개폐 수단(306) 사이의 유무선 통신 인터페이스의 블록도이다. 통신 인터페이스는 USB, IEEE 1394, 직렬 링크(Serial link)와 같은 유선링크나 IR, RF(FM, AM, Bluetooth)와 같은 무선링크로 구현될 수 있다. 일 예로 도 6a와 같은 USB 유선 링크에서 USB 시스템은 PC의 USB 포트(602)로부터 셔터의 개폐 여부 및 개폐 정도를 지시하는 신호를 입력 받는다. USB 시스템은 PC의 USB 포트(602)로부터 +5V의 전원을 입력 받아 전력 모듈(Power Module)(606)에서 +12V, +15V 등으로 승압하여 셔터 제어에 필요한 전압을 얻는다. 셔터 제어기(608)는 USB CPU(610)로부터 제어신호를 입력 받아 안경의 셔터(612)에 전압을 인가한다. 상기 제어신호는 펄스폭 변조 방식(Pulse Width Modulation; 이하, "PWM"이라고 함)과 같은 변조 방식이나 단순한 DC 전압으로 구현될 수 있다. 셔터부(626)에 디코더/인증수단(632)을 추가한 유선 링크 실시예는도 6b와 같이 구성된다. 도 6a와 같은 실시예에서는 송신부(604)에 셔터 제어기(608)가 들어 있지만, 허가 받은 셔터로만 비공개 영상을 볼 수 있는 도 6b와 같은 실시예에서는 셔터 제어기(634)가 디코더/인증수단(632)과 함께 수신부(626)에 포함되며, 암호화된 셔터 개폐 신호가 수신부(626)로 전송된다. 다른 실시예로 도 6c와 같은 무선링크에서, 트랜스미터(652)를 포함한 송신부(646)는 컴퓨터의 USB 시스템에 연결되어 있고, 수신부(648)는 셔터(660), 리시버/디코더/인증수단(654), 전력 모듈(656), 셔터 제어기(658)를 포함하고 있다.6 is a block diagram of a wired / wireless communication interface between the main bodies 302 and 502 and the shutter opening and closing means 306 shown in FIGS. 3 and 5. The communication interface may be implemented as a wired link such as USB, IEEE 1394, serial link, or a wireless link such as IR, RF (FM, AM, Bluetooth). For example, in the USB wired link as shown in FIG. 6A, the USB system receives a signal indicating whether the shutter is opened or closed from the USB port 602 of the PC. The USB system receives + 5V power from the USB port 602 of the PC and boosts the voltage to + 12V, + 15V, etc. in the power module 606 to obtain a voltage required for shutter control. The shutter controller 608 receives a control signal from the USB CPU 610 and applies a voltage to the shutter 612 of the glasses. The control signal may be implemented by a modulation scheme such as Pulse Width Modulation (hereinafter referred to as "PWM") or a simple DC voltage. The wired link embodiment in which the decoder / authentication unit 632 is added to the shutter unit 626 is configured as shown in FIG. 6B. In the embodiment of FIG. 6A, the shutter controller 608 is included in the transmitter 604. However, in the embodiment of FIG. 6B in which the private image can be viewed only by an authorized shutter, the shutter controller 634 is a decoder / authentication means 632. ) Is included in the receiving unit 626, and the encrypted shutter opening and closing signal is transmitted to the receiving unit 626. In another embodiment, in a wireless link such as FIG. 6C, the transmitter 646 including the transmitter 652 is connected to a USB system of a computer, and the receiver 648 is a shutter 660, a receiver / decoder / authentication means 654. ), A power module 656, and a shutter controller 658.
도 7은 본 발명에 의한 하드웨어 방식 외장형 실시예의 시스템 구성도이다. 셔터부와 송수신 인터페이스부를 제외한 대부분의 기능 구현을 소프트웨어로 하는 SW 방식에 비해 하드웨어(hardware : 이하, "HW"라고 함) 방식이란 시퀀스 제어, 마스킹 영상의 생성, 비공개 영상과 마스킹 영상의 통합 등의 일부 핵심기능을 하드웨어로 구현하는 방식을 의미한다. HW 방식에서는 외장형, 독립 카드형, 그래픽카드 내장형, 그래픽 칩 내장형, 모니터 내장형 등 다양한 실시예가 있다. 이들 실시예는 마스킹 영상의 생성, 및 비공개 영상과 마스킹 영상의 통합 등의 일부 핵심 기능을 회로적으로 구현하는 공통점을 갖는다. 이들 실시예 사이에는 이러한 핵심 기능 회로를 모니터(304)와 컴퓨터(702)에 상대하여 어느 위치에 놓느냐에 따라 간단한 회로 변경만으로 구현이 가능하다. 외장형은 핵심 기능 회로를 모니터(304)와 컴퓨터(702) 외부에 구현하는 방식이고, 독립 카드형은 컴퓨터에 꽂는 카드 형태로 구현하는 방식이고, 그래픽카드 내장형은 그래픽카드 회로에 핵심 기능 회로를 추가하는 방식이다. 또한 그래픽 칩 내장형은 그래픽 칩에 핵심 기능 회로를 추가하는 방식이며, 모니터 내장형은 모니터 내부의 구동 회로에 핵심 기능 회로를 추가하는 방식이다. 여러 형태 가운데 도 7에 도시된 HW 방식 외장형 실시예를 대표로 하여 설명한다.7 is a system configuration diagram of a hardware external type embodiment according to the present invention. Compared to the SW method using software that implements most functions except the shutter unit and the transmission / reception interface unit, the hardware (hardware: HW) method refers to sequence control, generation of masking images, integration of private images and masking images, etc. It means a way to implement some core functions in hardware. In the HW method, there are various embodiments such as an external type, an independent card type, a graphic card embedded type, a graphic chip embedded type, and a monitor embedded type. These embodiments have in common that circuitry implements some key functions, such as the generation of masked images and the integration of private and masked images. Between these embodiments, such key functional circuits can be implemented with simple circuit changes, depending on where they are placed relative to the monitor 304 and the computer 702. The external type implements the core function circuit outside the monitor 304 and the computer 702, the independent card type implements the card type to be plugged into the computer, and the integrated graphic card adds the core function circuit to the graphic card circuit. That's the way it is. In addition, the integrated graphics chip is a method of adding the core functional circuit to the graphics chip, and the integrated monitor is a method of adding the core functional circuit to the driving circuit inside the monitor. Among the various forms, a description will be given on behalf of the HW type external embodiment shown in FIG. 7.
HW 방식은 비디오 제어기(710)를 모니터(304)와 직접 연결하지 않고 핵심 기능 회로(704)를 경유하여 연결하도록 한다. SW 방식에서 전용 드라이버는 시퀀스 제어 및 마스킹 영상 생성 전송 기능과 셔터 개폐 수단 연결 기능을 수행하지만, HW 방식에서 전용 드라이버(714)는 단지 소프트웨어와 하드웨어의 연결 기능만을 담당한다. HW 방식에서는 시퀀스 제어 및 마스킹 영상 생성, 비공개 영상과 마스킹 영상의 통합이 하나의 외장형 회로(704)로 구현된다. 즉, 핵심 기능 회로(704)는 비공개 영상과 마스킹 영상의 영상 시퀀스 신호를 생성하는 시퀀스 제어기(732)와, 셔터 개폐 수단(306)으로 영상 시퀀스 신호를 전송하는 송수신부(738)와, 마스킹 영상을 생성하는 마스킹 영상 생성 수단(734)과, 영상 시퀀스 신호에 따라 비디오 제어기(710)로부터 전송되는 비공개 영상과 마스킹 영상 생성 수단(734)로부터 전송된 마스킹 영상을 공개 영상으로서 모니터(304)에 전송하는 모니터 인터페이스(736)를 구비하고 있다.The HW scheme allows the video controller 710 to be connected via the core function circuit 704 rather than directly to the monitor 304. In the SW method, the dedicated driver performs the sequence control and masking image generation transmission function and the shutter opening and closing means connection function. In the HW method, the dedicated driver 714 is only responsible for the software and hardware connection function. In the HW method, sequence control, masking image generation, and integration of a private image and a masking image are implemented as one external circuit 704. That is, the core function circuit 704 includes a sequence controller 732 for generating a video sequence signal of a private video and a masking video, a transceiver 738 for transmitting the video sequence signal to the shutter opening and closing means 306, and a masking video. A masking image generating means 734 for generating a mark and a masked image transmitted from the masking image generating means 734 and a private image transmitted from the video controller 710 according to the image sequence signal to the monitor 304 as a public image. The monitor interface 736 is provided.
도 8은 HW 방식 외장 제어기의 블록도이다. 핵심 기능 회로가 구현된 외장 제어기(802)는 컴퓨터의 COM, PS2 또는 USB 포트(803)로부터 제어 정보(구동, 정지 등)나 시퀀스 정보 등을 제공받고 외장 제어기(802)의 상태를 컴퓨터에 알려준다. 또한 외장 제어기(802)는 컴퓨터의 VGA 출력 단자(804)로부터 RGB, DVI 신호 및 수직동기 신호(Vsync), 수평동기 신호(Hsync) 등을 얻어온다. 수직동기 신호(Vsync)또는 수평동기 신호(Hsync)는 외장 제어기(802)의 마이크로 프로세서(806)에 인터럽트를 발생하고 마이크로 프로세서(806)는 컴퓨터로부터 제공받거나 자체 생성된 시퀀스를 적용하여 출력될 신호를 설정한다. 이때 외장 제어기(802)는 송수신부(808)를 이용해 셔터 개폐 수단(306)에 적절한 DC 전압이나 이에 해당하는 듀티(Duty)를 갖는 PWM 신호를 가해주어 개폐 여부 및 개폐 정도를 결정한다.8 is a block diagram of an HW type external controller. The external controller 802 having the core function circuit is provided with control information (drive, stop, etc.) or sequence information from the computer's COM, PS2 or USB port 803, and informs the computer of the state of the external controller 802. . In addition, the external controller 802 obtains RGB, DVI signals, vertical sync signals (Vsync), horizontal sync signals (Hsync), and the like from the VGA output terminal 804 of the computer. The vertical synchronization signal Vsync or the horizontal synchronization signal Hsync generates an interrupt to the microprocessor 806 of the external controller 802 and the microprocessor 806 is a signal to be output from a computer or by applying a self-generated sequence. Set. At this time, the external controller 802 applies a PWM signal having an appropriate DC voltage or a duty corresponding thereto to the shutter opening / closing means 306 by using the transmission / reception unit 808 to determine whether the door is open or closed.
마스킹 영상신호 생성기(812)는 VGA 출력단자(804)로부터 얻은 비공개 영상의 RGB, DVI 신호를 조작하거나 자체적으로 임의의 교란 신호를 발생시킨다. HW 방식에서 마스킹 영상 생성은 원상인 비공개 영상의 RGB, DVI 신호에 대한 반전 회로를 이용한 역상 생성, 미분기나 적분기 회로 또는 각종 필터 회로를 이용한 원상 유도 영상 생성, 랜덤 노이즈 발생기를 이용한 랜덤 노이즈 마스킹 영상 생성 자체 영상 저장 모듈을 두어 이를 이용한 교란 영상 생성 등으로 구현되며, 또한 이러한 방법들을 적절히 조합한 영상 생성 등으로 구현된다. 마스킹 영상신호 생성기(812)가 영상값(RGB값)의 변환기 역할을 하게 된다. 역상을 생성하는 방법은 RGB 신호의 최대값과 최소값 사이의 임의의 기준값을 기준으로 신호를 반전시켜 역상이 되는 아날로그 신호를 만들어낸다. 인간의 시지각 특성을 고려하여 기준값은 임의로 조절되어 평균값으로부터 바이어스를 가질 수 있게 한다. 블랭크 신호원(Blank signal source)(814)는 RGB 신호에 무관하게 모니터(304)에 일정한 전압을 입력함으로써 회색 프레임(gray frame)을 생성할 수 있고, 부드러운 화면 전환 등을 목적으로 사용할 수 있다. 아울러 마스킹 영상을 모니터(304)에 전송할 때 승압 회로를 통하게 하여 마스킹 영상을 비공개 영상보다 더욱 밝게 만드는 방법도 사용한다.HW 방식은 승압, 랜덤 노이즈 발생 등을 계산 시간에 대한 부담 없이 구현할 수 있다.The masking video signal generator 812 manipulates the RGB and DVI signals of the private video obtained from the VGA output terminal 804 or generates random disturbance signals by itself. Masking image generation in HW method includes reverse phase generation using inverting circuit for RGB, DVI signal of original private image, circular induction image generation using differentiator or integrator circuit or various filter circuits, random noise masking image generation using random noise generator Implemented by the self-image storage module to create a disturbing image using the same, and also implemented by generating a combination of these methods as appropriate. The masking image signal generator 812 serves as a converter of the image value (RGB value). The method of generating a reversed phase inverts the signal based on an arbitrary reference value between the maximum value and the minimum value of the RGB signal to produce an analog signal that is reversed. In consideration of human visual perception characteristics, the reference value is arbitrarily adjusted to allow bias from the mean value. The blank signal source 814 may generate a gray frame by inputting a constant voltage to the monitor 304 irrespective of the RGB signal, and may be used for the purpose of smooth screen switching and the like. In addition, when the masking image is transmitted to the monitor 304, a method of making the masking image brighter than the private image by using a booster circuit is also used. The HW method can realize boosting, random noise generation, etc. without burdening calculation time.
도 9는 본 발명에 의한 완전 독립형 HW 방식 외장형 실시예의 시스템 구성도이다. 완전 독립형 HW 방식은 비공개 디스플레이를 위한 대부분의 기능을 독립된 하드웨어로 구현하는 방식이다. 이 방식에서는 대상 컴퓨터 시스템(902)에서 비디오 제어기(710)와 모니터(304)를 직접 연결하지 않고, 독립된 하드웨어(904)를 경유하여 연결하도록 한다. 비공개 디스플레이를 위한 대부분 또는 전부의 기능을 독립된 하드웨어(904)에 구현하기 때문에 대상 컴퓨터 시스템(902)에 맞추어 비공개 디스플레이 구현을 위한 소프트웨어 부분을 변경할 필요가 적어지는 장점이 있다.9 is a system configuration diagram of a completely independent HW type external embodiment according to the present invention. Fully standalone HW is a standalone hardware that implements most of the functionality for private displays. This approach allows the target computer system 902 to connect via independent hardware 904 rather than directly connecting the video controller 710 and the monitor 304. Since most or all of the functionality for private display is implemented on independent hardware 904, there is less need to change the software portion for private display implementation to match the target computer system 902.
도 10은 본 발명에 의한 SW/HW 통합 방식 외장형 실시예의 시스템 구성도이다. 이 시스템은 SW 방식과 HW 방식을 통합하여 비공개 디스플레이를 구현한 것으로서, 특히 전용 드라이버(1004)는 마스킹 영상을 마스킹 영상 생성 수단(524)을 이용하여 소프트웨어로도 생성하고, 마스킹 영상 생성 수단(734)을 이용하여 하드웨어로도 생성하여 통합 제공하는 데 주안점이 있다. 일 실시예로서 기본적인 마스킹 영상을 소프트웨어방식으로 생성한 다음에 여기에 HW 방식으로 랜덤 노이즈를 싣거나 미적분 효과 및 필터링 효과를 준다.10 is a system configuration diagram of the SW / HW integrated external embodiment according to the present invention. This system implements a private display by integrating the SW method and the HW method. In particular, the dedicated driver 1004 generates a masking image by software using the masking image generating means 524, and the masking image generating means 734. ), The main focus is to create and integrate with hardware. In one embodiment, a basic masking image is generated by a software method, and then random noise is loaded or calculus effect and filtering effect is applied to the HW method.
비선형 인버터를 이용하여 역상을 생성하고 랜덤 노이즈를 더하는 방법을 도 11에 나타내었다. 도 11에서 1102는 비선형 인버터이고, 1104는 랜덤신호 발생기이며, 1106는 신호 합성기이다. 도시된 바와 같이 마스킹 영상을 생성하는 경우, 종래와 같이 소프트웨어로 마스킹 영상을 생성하는 경우에 비해 소요 시간을 상당히줄일 수 있으므로, 실시간적으로 마스킹 영상을 생성할 수 있게 된다.11 illustrates a method of generating reversed phase using a nonlinear inverter and adding random noise. In FIG. 11, 1102 is a nonlinear inverter, 1104 is a random signal generator, and 1106 is a signal synthesizer. When the masking image is generated as shown, since the time required can be considerably reduced as compared with the case of generating the masking image by software as in the related art, the masking image can be generated in real time.
[영상의 세부 구분][Detailed division of video]
마스킹 영상은 마스킹 특성에 따라 구분할 수 있다. 마스킹 특성을 다음과 같이 윗첨자 표시법으로 표시한다. 원상 유도 영상은 Mi, 의도적 교란 영상은 Md, 부드러운 셔터 개폐 또는 부드러운 영상 프레임 전환을 위한 연결 영상 프레임은 Mb라 표현한다. 원상 유도 영상과 교란 영상이 혼합된 마스킹 영상은 원상 유도 영상이 주가 되고 교란 영상이 이에 부가된 형태일 경우 Mi, 교란 영상이 주가 되고 원상 유도 영상이 이에 부가된 형태일 경우 Md, 원상 유도 영상과 교란 영상의 동등한 중요도이거나 중요도가 불확실할 때는 Mi나 Md중 어느 하나로 표시한다.Masking images may be classified according to masking characteristics. Masking properties are indicated in superscript as follows: The original guided image is M i , the intentionally disturbed image is M d , and the connected image frame for smooth shutter opening or switching is smoothly expressed as M b . The masking image mixed with the original induced image and the disturbing image is M i when the original induced image is mainly added and the disturbing image is added to it, M d when the disturbed image is added and the original induced image is added to it. When the importance of the image and the disturbance image are equal or uncertain, indicate either M i or M d .
원상 유도 영상이란 원상인 비공개 영상으로부터 계산되는 마스킹 영상으로서 역상, 원상이나 역상의 미적분 영상, 원상이나 역상의 필터링된 영상, 원상의 천이(shift) 영상 등이 포함된다. 교란 영상이란 원상 유도 영상을 제외한 마스킹 영상의 통칭이다. 부드러운 셔터 개폐 또는 부드러운 영상 프레임 전환을 위한 연결 영상 프레임이란 부드러운 셔터 개폐 및 영상 프레임 전환을 위하여 삽입하는 영상 프레임으로서 블랭크 프레임(blank frame) 또는 균일한 회색 프레임과 같은 연결 영상 프레임을 지칭한다.A circular induction image is a masking image calculated from a private image that is a circular image, and includes a reverse image, an inverse image of a reverse image or a reverse image, a filtered image of a circular image or a reverse phase, a shift image of a circular image, and the like. The disturbed image is a generic name of a masking image except the original induced image. A connection image frame for smooth shutter opening and closing or smooth image frame switching is an image frame inserted for smooth shutter opening and closing, and refers to a connection image frame such as a blank frame or a uniform gray frame.
비공개 영상과 마스킹 영상의 프레임이 지속적으로 교체하는 비공개 디스플레이에서는 인간 시지각 특성 가운데 시간 및 공간 주파수 특성, 시간 적분, 시간억제(temperal inhibition) 등을 주요하게 다루어야 한다. 인간 시지각 특성 가운데 시간 및 공간 주파수 특성은 도 12a에 도시된 공간 대비 민감도 함수(spatial contrast sensitivity function : 이하, "SCSF"라고 함)와, 도 12b에 도시된 시간 대비 민감도 함수(temperal contrast sensitivity function : 이하, "TCSF"라고 함)로서 나타내어진다. 도 12a는 휘도(○) 및 컬러(□)에 대한 공간 대비 민감도 함수이고, 도 12b는 휘도(●) 및 컬러(○)에 대한 시간 대비 민감도 함수이다. 도시된 바와 같이, 낮은 공간 주파수이면서 낮은 시간 주파수 영역에서는 휘도와 컬러 모두에 시지각이 민감하지만, 특히 컬러에 시지각이 민감하다. 낮은 공간 주파수이면서 중간 시간 주파수 영역, 중간 공간 주파수이면서 낮은 시간 주파수 영역, 중간 공간 주파수이면서 중간 시간 주파수 영역에서는 휘도와 컬러 모두에 시지각이 민감하다. 그 밖의 높은 공간 주파수나 높은 시간 주파수 영역에서는 시지각이 휘도에 민감하지만 컬러에 둔감하다. 임계 플리커 주파수(critical flicker frequency : 이하, "CFF"라고 함)는 응답 가능한 최대 시간 주파수로서 약 55Hz 정도이다.In the private display where the frames of the private image and the masked image are continuously replaced, the human visual perception characteristics must deal with the temporal and spatial frequency characteristics, time integration, and temporal inhibition. Among the human visual perception characteristics, the temporal and spatial frequency characteristics are represented by the spatial contrast sensitivity function (hereinafter referred to as "SCSF") shown in FIG. 12A and the temporal contrast sensitivity function shown in FIG. 12B. : Hereinafter referred to as "TCSF". 12A is a spatial versus sensitivity function for luminance (○) and color (□), and FIG. 12B is a sensitivity versus time function for luminance (○) and color (○). As shown, the visual perception is sensitive to both luminance and color in the low spatial frequency and low temporal frequency domains, but is particularly sensitive to color. The visual perception is sensitive to both luminance and color in the low spatial frequency and intermediate time frequency domains, the intermediate spatial frequency and low time frequency domains, and the intermediate spatial frequency and intermediate time frequency domains. In other high spatial and high time frequency domains, the viewing angle is sensitive to luminance but insensitive to color. The critical flicker frequency (hereinafter referred to as "CFF") is the maximum responsive time frequency of about 55 Hz.
한편 눈의 생리학(physiology)에 의하면 망막(retina)에서 뇌까지 마그노셀룰러 경로(magnocellular pathway : 이하, "M 경로"라고 함), 파보셀룰러 경로(parvocellular pathway : 이하, "P 경로"라고 함), K 경로 등의 시신경 신호 경로가 존재한다. 경로 중 대부분을 차지하는 M 경로와 P 경로의 특성을 표 1에 나타내었다. 시간 해상도는 포비아(fovea) 바로 주변의 M 경로와 연결된 원추세포(cone)가 가장 좋다. 포비아의 P 경로와 연결된 원추세포의 시간 해상도는중간 수준이고, 포비아에서 먼 간상세포(rod)의 시간 해상도가 가장 좋지 않다. 간상세포는 시간 민감도(temporal sensivity)가 가장 좋다.On the other hand, the physiology of the eye shows that the magnocellular pathway (referred to as "M pathway"), the parvocellular pathway (referred to as "P pathway") from the retina to the brain, Optic nerve signal pathways such as the K pathway exist. Table 1 shows the characteristics of the M and P paths, which occupy most of the paths. The temporal resolution is best for cones connected to the M path just around the fovea. The temporal resolution of cone cells connected to the povia P-path is medium and the time resolution of rods far from the povia is the worst. The rods have the best temporal sensivity.
인간의 눈은 시간 적분 샘플링(sampling)을 하여 시지각을 하고 있다. 통상적인 기계신호 샘플링은 샘플링 시점의 신호만 집어내는 반면 시간 적분은 시간 적분 구간 내의 신호를 적분한 값을 샘플링한다. 시간 적분 구간은 자극 세기(stimuli intensity), 자극 크기(stimuli size), 백그라운드 세기(background intensity), 위상 코히어런스(phase coherence), 대비 등에 따라 적응 가변한다. 기본적으로 포토리셉터(photoreceptor)에서 1차적으로 시간 적분이 일어난다. 그 이후에 뇌까지 이르는 각각의 시신경 경로마다 다른 적분 구간(integral interval)을 가지고 있고 최종적으로 뇌에서도 정보의 적분이 일어난다. 이런 다중 시간 적분이 종합되어 적응 가변적인 시간 적분 구간 동안 시간 적분이 일어난다.The human eye is visually perceptual by time-integrated sampling. Conventional mechanical signal sampling only picks up signals at the time of sampling, while time integration samples the integral of the signal within the time integration period. The time integration section is adaptively variable according to stimuli intensity, stimuli size, background intensity, phase coherence, contrast, and the like. Basically, time integration takes place primarily in the photoreceptor. Thereafter, each optic nerve path leading to the brain has a different integral interval, and finally, information integration occurs in the brain. These multiple time integrations are aggregated so that time integration occurs during the adaptively variable time integration period.
시신경 세포의 수용 필드(receptive field)는 자극 입력을 받는 리셉터(receptor)로 구성되어 있다. 신경절 세포(ganglion cell) 및 LGN 셀의 중심부-주변부 수용 필드(center-surround receptive field) 구조는 중심부 수용 필드(center receptive field)로부터 여기 입력(excitatory input)을 받고 주변부 수용 필드(surround receptive field)로부터 억제 입력(inhibitory input)을 받는다. 이 셀들의 중심부-주변부 수용 필드 구조는 휘도에 대하여 중심부-주변부 길항작용(center-surround antagonism)을 갖지만 컬러에 대하여는 그렇지 않다(도 13b 참조). 표 2에 P 경로의 P 셀의 구조를 나타내었다. 여기서 중심부 응답과 주변부 응답 사이에는 약간의 시간 지연(time delay)이 존재한다(도 13a 참조). 낮은 시간 주파수에서는 시간 지연이 응답신호의 주기보다 작으므로 휘도에 대하여 길항작용을 일으키고, 컬러에 대하여 상승작용을 일으킨다(도 13c 참조). 시간 주파수가 증가하여 응답신호의 주기가 계속 작아지면 중심부 응답과 주변부 응답사이에 180도 위상 천이가 발생하여 휘도에 대하여 상승작용을 일으키고, 컬러에 대하여 길항작용을 일으킨다(도 13d 참조). 이러한 생리학적 시간 억제 구조로 인해 시신경은 도 12에서와 같이 낮은 시간 주파수의 휘도 변화에 둔감하고 5~30Hz의 휘도 변화에 민감하게 되며, 낮은 시간 주파수의 컬러 변화에 민감하고 20Hz 이상의 컬러 변화에 둔감하게 된다.The receptive field of optic nerve cells consists of a receptor that receives stimulus input. The center-surround receptive field structure of ganglion cells and LGN cells receives excitatory input from the center receptive field and from the surrounding receptive field. Receive inhibitor input. The center-peripheral accommodating field structure of these cells has center-surround antagonism with respect to luminance but not with respect to color (see FIG. 13B). Table 2 shows the structure of P cells in the P pathway. Here there is a slight time delay between the central response and the peripheral response (see FIG. 13A). At low time frequencies, since the time delay is smaller than the period of the response signal, it antagonizes the luminance and synergizes the color (see Fig. 13C). As the time frequency increases and the period of the response signal continues to decrease, a 180-degree phase shift occurs between the center response and the peripheral response, causing synergism with luminance and antagonism with color (see FIG. 13D). Due to this physiological time-suppressing structure, the optic nerve is insensitive to changes in luminance at low time frequencies and sensitive to changes in luminance of 5-30 Hz, as shown in FIG. 12, and is insensitive to changes in colors at low time frequencies and insensitive to color changes of 20 Hz or more. Done.
[역상 생성][Inverse generation]
비공개 영상을 가리기 위한 마스킹 영상으로서 비공개 영상의 원상 유도 영상 가운데 시간 적분을 이용한 역상(inverse image)을 생성할 수 있다. 시간 적분 구간 내에 비공개 영상과 역상이 제공된다면 사람은 시간 적분 구간 동안 영상을 적분하기 때문에 비공개 영상과 역상의 평균영상을 지각하게 된다.As a masking image for masking the private image, an inverse image using time integration among the original induction images of the private image may be generated. If a private image and a reverse image are provided within the time integral section, a person perceives the average image with the reverse image because the person integrates the image during the time integral section.
가장 간단히 생각할 수 있는 역상은 정적 역상(static inverse image)으로서, 휘도-컬러 공간에서 정적 역상 픽셀 영상값은 최대 픽셀 영상값에서 원상 픽셀 영상값(여기서 원상은 비공개 영상을 의미함)을 뺀 값이다. 일례로 RGB 공간에서 원상의 하나의 픽셀 영상값이 (R',G',B')이고 최대 픽셀 영상값이 (R'm,G'm,B'm)일 때 정적 역상의 픽셀 영상값은 (R'i,G'i,B'i) = (R'm-R',G'm-G',B'm-B')이 된다. 그러나, 비공개 디스플레이와 같이 원상과 역상 프레임이 지속적으로 교체하는 동적 상황에서는 눈의 복잡한 시지각 특성에 따라 정적 역상은 진정한 역상이 되지 못하고 동적 역상(dynamic inverse image)을 구해야만 한다.The simplest possible inverse image is a static inverse image, where the static inverse pixel image value in the luminance-color space is the maximum pixel image value minus the original pixel image value (where the original image represents a private image). . For example, when one pixel image value of the original in the RGB space is (R ', G', B ') and the maximum pixel image value is (R' m , G ' m , B' m ) is a (R 'i, G' i , B 'i) = (R' m -R ', G' m -G ', B' m -B '). However, in a dynamic situation in which the original and reverse frames are constantly replaced, such as a closed display, the static inverse image cannot be a true inverse image due to the complex visual perception of the eye, and a dynamic inverse image must be obtained.
동적 역상은 지각 영역(perceptual domain)을 기준으로 산출한다. 영상 생성 및 시지각의 일반적인 구조는 도 14와 같다. 영상은 영상 편집 프로그램이나 작업자의 입력을 통해 컴퓨터 내부에서 생성되거나, 빛에너지 영역(light energy domain)의 물체가 카메라에 의해 촬영되어 컴퓨터 영역(computer domain)의 값 Ga를 가지게 된다. 일반적으로 상기 값 Ga는 빛에너지 영역의 세기나 휘도에 대하여 감마 보정된 값이다. 빛에너지 영역의 컬러와 휘도 값은 CIE XYZ나 RGB 공간과 같이 주로 삼중자극(tristimulus) 값으로 표현된다. RGB 공간에 상응하는 컴퓨터 영역의 영상값은 감마보정된 Ga = (R', G', B')이다. 컴퓨터 영역의 영상값 Ga는 모니터 입력전압으로 변환 출력되어 모니터에 의해 디스플레이되고, 이 과정을 빛에너지 영역의 값 I로 변환된다고 표현한다. 이 과정의 전달함수를 모니터 전달함수 frm라 하고, I=frm(Ga)의 관계가 성립한다. 모니터 전달함수 frm는 특징적으로 도 15와 같은 형태를 보인다. 통상 frm은 I=Ga rm와 같은 멱함수(power function)로 비교적 정확히 모델링된다. 빛에너지 영역의 세기나 휘도는 사람의 휘도(luminance)와 지각된 밝기(brightness) 사이의 시지각 전달함수 fa에 의해 지각되며 V=fa(I)의 관계가 성립한다. 시지각 전달함수 fa는 도 16과 같은 형태를 보인다. 통상 fa은 V=Ia와 같은 멱함수(power function)로 비교적 정확히 모델링된다. 이와 같이 모니터 전달함수와 시지각 전달함수가 멱함수로 모델링될 때 승수과 α는 거의 역수 관계에 있게 된다. 이에 따라 Ga와 V는 거의 선형적인 비례 관계에 있다.Dynamic inversion is calculated based on the perceptual domain. The general structure of image generation and visual perception is shown in FIG. 14. Images may be generated inside a computer through an image editing program or an operator's input, or an object in the light energy domain may be captured by a camera to have a value Ga in the computer domain. In general, the value Ga is gamma corrected with respect to the intensity or luminance of the light energy region. Color and luminance values of the light energy region are mainly expressed as tristimulus values, such as CIE XYZ or RGB space. The image value of the computer region corresponding to the RGB space is gamma corrected Ga = (R ', G', B '). The image value Ga in the computer domain is converted to the monitor input voltage and output and displayed by the monitor, and this process is expressed as the value I in the light energy region. The transfer function of this process is called the monitor transfer function f rm , and the relationship of I = f rm (G a ) is established. The monitor transfer function f rm is characteristically as shown in FIG. 15. Normally f rm is modeled relatively accurately with a power function such as I = G a rm . The intensity or luminance of the light energy region is perceived by the visual perception transfer function f a between the luminance of the person and the perceived brightness, and a relationship of V = f a (I) is established. The visual perceptual transfer function f a is shown in FIG. 16. Normally f a is modeled relatively accurately with a power function such as V = I a . As such, when the monitor transfer function and the visual perceptual transfer function are modeled as power functions And α are almost in inverse relationship. Accordingly, G a and V are almost linearly proportional.
그러나 이와 같은 관계는 정적(static)인 상황에서 얻어진 결과로서, 픽셀 영상값이 시간에 따라 변화하는 동적인 상황에서는 선형 관계에서 벗어나게 된다. 사람의 시지각은 픽셀 영상값의 시간 주파수와 공간 주파수에 따라 민감도가 달라지므로 Ga와 V의 선형적인 비례 관계가 깨지게 된다. 비공개 디스플레이에서 마스킹 영상으로서 역상을 주게 되면, 픽셀 영상값이 특정 영역의 시간 주파수를 가지고고대비(high contrast)로 변하게 되므로 시간 주파수에 따른 Ga와 V의 비선형성이 중요하게 된다. 여기서 시간 주파수는 모니터의 리프레쉬 속도(refresh rate)와 비공개 영상과 마스킹 영상의 프레임 시퀀스에 크게 영향을 받는다. 결론적으로 비공개 디스플레이에서 역상을 구하려면 영상의 시간 주파수를 시간 적분과 함께 고려하여 동적 역상을 구해야 한다.However, such a relationship is a result obtained in a static situation, and in a dynamic situation in which pixel image values change with time, the relationship is out of a linear relationship. Since the human visual perception is different depending on the temporal and spatial frequencies of the pixel image values, the linear proportional relationship between G a and V is broken. When the image is reversed as a masking image in a private display, the nonlinearity of G a and V according to the time frequency becomes important because the pixel image value is changed to high contrast with the time frequency of a specific region. Here, the time frequency is greatly affected by the refresh rate of the monitor and the frame sequence of the private and masked images. In conclusion, in order to obtain a reversed phase in a private display, a dynamic reversed phase should be obtained by considering the time frequency of the image together with the time integration.
시지각의 휘도 TCSF 곡선(도 12b)으로부터 알 수 있는 바와 같이, 저주파수에서의 민감도 강하(drop-off)와 중간주파수(5~30Hz)에서의 민감도 증가는 주로 시간 억제와 관련한 시지각 정보 처리 메커니즘 때문이다. 이 곡선 및 관련 실험 결과에 의하면 5~30Hz의 플래쉬(flash)가 가장 밝게 지각된다(Bruke-Bartley 효과). 플래쉬의 휘도 변화 주파수가 CFF(약 55Hz)를 넘어가면 시간 억제가 별로 영향을 끼치지 않고 시간 적분에 의한 평균 영상으로 지각된다.As can be seen from the luminance TCSF curve of visual perception (FIG. 12B), the sensitivity drop at low frequencies and the increase in sensitivity at intermediate frequencies (5-30 Hz) are mainly due to time suppression. Because. This curve and related experimental results show that flashes of 5 to 30 Hz are perceived brightest (Bruke-Bartley effect). When the brightness change frequency of the flash exceeds CFF (approximately 55 Hz), time suppression is not affected much and is perceived as an average image by time integration.
리프레쉬 속도에 따라 최적의 동적 역상이 달라진다. 리프레쉬 속도가 2CFF(약 110Hz)보다 크고 비공개 영상과 역상이 대략 절반씩 교체하는 경우에는, 적응 가변인 시간 적분 구간 동안 비공개 영상과 역상이 대략 절반씩 존재하므로 맨눈으로는 평균영상(합영상)이 보인다. 역상을 주게 되면 비공개 영상의 밝은 곳은 역상에서 어둡게 되고 그 역도 마찬가지이므로 리프레쉬 속도에 더하여 (리프세쉬 속도)/2 근처의 주파수가 영상의 주요 주파수가 된다. 따라서, 리프레쉬 속도가 120Hz라면 대략 60Hz 근처의 P, M 영상 교체가 발생하므로 P, M 영상 교체 주파수가 CFF 보다 크므로, 즉 (리프레쉬 속도)/2 가 CFF 보다 크므로 시간 억제가 별로영향을 끼치지 않고 시간 적분에 의한 평균영상으로 지각된다. 이에 따라 리프레쉬 속도가 2CFF(약 110Hz) 보다 클 경우 동적 역상은 지각 영역(perceptual domain)을 기준으로 산출하는 것과 빛에너지 영역을 기준으로 산출하는 것의 차이가 거의 없다. 시간 적분 구간을 Δts라 할 때, 하나의 픽셀이 Δtp동안 비공개 영상을 Ip(t) 의 세기로 표시하고 Δti동안 역상인 마스킹 영상을 Ii(t)의 세기로 표시한다고 가정한다. 여기서, Δts= Δtp+ Δti, Δtp= Δti이다. 일반적으로 CRT, LCD 모니터 픽셀의 세기 응답은 도 17과 같으므로 Ip(t)와 Ii(t)은 변수이다. 편리를 위해 실제 모니터에 대해 에너지 등가이며 시간 적분의 특성에 따르는 이상적인 모니터를 계산한다. 이상적인 모니터는 컴퓨터 영역의 영상값 Ga에 해당하는 세기를 사각파 형태로 표시한다. 이러한 이상적인 모니터의 세기,를 세기 대표값으로 하여 다음과 같은 관계를 갖는,를 계산한다.,. 이와 같이 하면 실제 모니터에 대해 에너지 등가인 이상적인 모니터가 얻어진다. 이와 같이 하나의 픽셀이동안 비공개 영상을의 세기로 표시하고동안 역상인 마스킹 영상을의 세기로 표시한다고 근사한다. 실제로 시간 적분 구간 안에서는 세기와 시간의 곱이 동일하면 파형과 무관하게 같은 영상으로 지각되므로 이 근사가 타당하다.The optimal dynamic reverse phase depends on the refresh rate. If the refresh rate is greater than 2CFF (approximately 110 Hz) and approximately half of the inverse phase is reversed between private images, the average image (composite image) is not visible to the naked eye because approximately half of the private image and inverse phase exist during the adaptive variable time integration period. see. If you give a reversed phase, the bright spots in the private image will be dark in the reverse phase and vice versa, so the frequency near (refresh rate) / 2 in addition to the refresh rate becomes the main frequency of the image. Therefore, if the refresh rate is 120Hz, P and M image replacement occurs around 60Hz, so the P and M image replacement frequency is larger than CFF, that is, (refresh rate) / 2 is larger than CFF, so the time suppression has little influence. It is perceived as an average image by time integration. Accordingly, when the refresh rate is greater than 2CFF (about 110 Hz), the dynamic reverse phase is almost indistinguishable from calculating based on the perceptual domain and calculating based on the light energy region. Suppose that the time integration interval is Δt s , one pixel displays the private image with the intensity of I p (t) for Δt p and the masking image with the inverse phase for Δt i with the intensity of I i (t). . Here, Δt s = Δt p + Δt i , Δt p = Δt i . In general, since the intensity response of the CRT and LCD monitor pixels is shown in FIG. 17, I p (t) and I i (t) are variables. For convenience, the ideal monitor calculates the energy equivalent of the actual monitor and depends on the nature of the time integration. An ideal monitor displays the intensity corresponding to the image value Ga in the computer domain in square wave form. Strength of these ideal monitors , With the intensity representative value, , Calculate , . This yields an ideal monitor that is energy equivalent to the actual monitor. One pixel like this Private video Marked with the strength of Reversed masking footage while Approximate that it is expressed by the intensity of. In fact, this approximation is valid if the product of intensity and time is the same within the time integration period, because it is perceived as the same image regardless of the waveform.
비공개 영상과 역상의 평균 영상 세기는 수학식 1과 같이 간단히 구할 수있다. 이를 컴퓨터 영역의 영상값으로 나타내면 다음 수학식 2와 같고, 통상적인 멱함수로 표시하면 수학식 3과 같다. 여기에서 d는 평균 영상, p는 비공개 영상, i는 역상을 각각 가리킨다.Average video intensity of closed and reversed images Can be obtained simply as in Equation 1. This is represented by the image value of the computer domain, and is represented by Equation 2 below. Where d is an average image, p is a private image, and i is an inverse image.
가장 먼저 평균영상을 구한다. 현재 컴퓨터 영역의 최대값과 최소값을과으로 정했다면 다음 수학식 4로부터 평균 영상값를 산출한다. 다음으로 비공개 영상값에 대하여 역상값은 다음 수학식 5 또는 수학식 6으로부터 간단히 구할 수 있다.First, find the average image. The maximum and minimum values of the current and If it is set to the average image value from the following equation (4) To calculate. Next, private video value With respect to the inverse value can be simply obtained from the following equation (5) or (6).
반면 정적(static) 역상은 다음 수학식 7과 같이 구해지므로 동적인 디스플레이 상황에서는 적절하지 않다. 일례로 컴퓨터 영역에서 RGB 공간과 24 비트 컬러를 사용하면=255,=0이다. 모니터의 감마가 2.2라면 평균 영상값은≒186이고,=170의 역상값은=201이다. 정적(static) 역상일 경우에는 평균 영상값이≒128이고=170의 역상값은=85이다. RGB 공간에서는 각각의 RGB 성분을 이와 같은 방식으로 계산한다.On the other hand, the static inverse phase is obtained as shown in Equation 7, which is not appropriate in a dynamic display situation. For example, using RGB space and 24-bit color in the computer domain = 255, = 0 Gamma of the monitor Is 2.2, the average image value is ≒ 186, The inverse of = 170 is = 201. In the case of static reverse phase, the average image value ≒ 128 The inverse of = 170 is = 85. In RGB space, each RGB component is calculated in this way.
리프레쉬 속도가 2CFF(약 110Hz) 보다 작고 비공개 영상과 역상이 대략 절반씩 교체하는 경우에는, P/M 영상 교체 주파수가 CFF 보다 작게 됨으로써 시간 적분이 완벽하지 않게 되고, 시간 억제가 영향을 끼치게 되어 전술한 바와 같은 동적 역상 계산은 정확하지 않게 된다. 불완전한 시간 적분과 시간 억제의 영향을 고려하고 모니터 전달함수와 시지각 전달함수의 모델링 불확실성을 감안하여 역상을 계산해야만 한다. 그러나 사람의 시지각 과정이 아직까지 정확하게 알려져 있지 않기때문에 해석적으로 역상을 계산하는 것은 한계가 있다.If the refresh rate is less than 2CFF (approximately 110Hz) and approximately half of the inverse phase is reversed from the private image, the P / M image replacement frequency is smaller than CFF, resulting in incomplete time integration and time suppression affecting the tactics. Dynamic reversed phase calculations, as in one, are not accurate. The inverse phase should be calculated taking into account the effects of incomplete time integration and time suppression, and taking into account the modeling uncertainties of the monitor and visual perceptual transfer functions. However, the calculation of inverse analytically is limited because the human visual perception process is not yet known precisely.
따라서 이런 상황에서는 아래와 같은 동적 패턴 실험 방법을 사용하여 동적 역상을 산출한다. 먼저 현재 컴퓨터 영역의 최대값과 최소값을과으로 정했다면 도 18a와 같은 패턴에서 빗금부분을, 그 외 백색 사각형 부분을으로 하고 이 패턴을 원상으로 하고 이 패턴의 역상(빗금부분이, 그 외 백색 사각형 부분이)을 절반씩 교체하여 디스플레이한다. 이 영상을 보았을 때 T자의 선명도가 높을수록 시간 적분이 불완전하게 일어남을 나타내고 T자를 지각하지 못하면 시간 적분은 완전하다. 이 영상으로 현재의 리프레쉬 속도 하에서 시간 적분의 정도를 파악한다. 다음에는 일단 다음 수학식 8로 대략적인 평균 영상값을 계산한다.Therefore, in this situation, the dynamic reverse phase is calculated using the following dynamic pattern experiment method. First, we need to set the maximum and minimum and If it is set to the hatched portion in the pattern as shown in Figure 18a , And other white squares And make this pattern original and reverse the pattern , Other white squares ), Half by half to display. When viewing this image, the higher the sharpness of the T, the more incomplete the time integration occurs. If the T is not perceived, the time integration is complete. This image captures the degree of time integration under the current refresh rate. Next, the approximate average image value is calculated by using Equation 8 below.
다음에는 도 18a의 빗금부분을 앞에서 계산한 대략적인 평균 영상값로 하고, 그 외 백색 사각형 부분이이 되도록 하여 이 패턴을 원상으로 하고 이 패턴의 역상(빗금부분이, 그 외 백색 사각형 부분이)을 절반씩 교체하여 디스플레이한다. 평균 영상값을 계속 바꾸면서 디스플레이하여 T자의 선명도가 가장 낮은 영상값이 평균 영상값에 가장 가까운 값이다. 이 값을 찾아내어 평균 영상값으로 선정한다. 다음에는 각각의 원상값값에 대하여 동적 역상값를 구하는 단계이다. 전술한 바와 같은 단계를 이용하여 구한 평균 영상값를 이용하여 다음 수학식 9로부터 대략적인 동적 역상값를 계산한다.Next, the approximate average image value of the hatched portion of FIG. And other white square part To make this pattern circular, and reverse the pattern , Other white squares ), Half by half to display. Average image value The image value with the lowest T sharpness is displayed closest to the average image value. This value is found and selected as the average image value. Next, each original value Dynamic Inverse with respect to Value It is a step to obtain. Average image value obtained using the steps as described above Approximate dynamic inverse value from Calculate
도 18a의 빗금부분을 대략적인 평균 영상값로 하고 그 외 백색 사각형 부분이가 되도록 하여 이 패턴을 원상으로 하고 이 패턴의 역상(빗금부분이, 그 외 백색 사각형 부분이)을 절반씩 교체하여 디스플레이한다. 역상값을 계속 바꾸면서 디스플레이하여 T자의 선명도가 가장 낮은 영상값이 동적 역상값에 가장 가까운 값이다. 이 값을 주어진에 대한 동적 역상값로 선정한다. 이와 같은 방식으로 모든값(RGB 공간이라면 각각의 모든 R,G,B)에 대하여 동적 역상값을 선정하여 저장한다. 위에서는 도 18a의 패턴을 이용한 동적 패턴 실험 방법을 예로 들었지만 도 18b를 비롯한 다양한 패턴으로 위와 같은 절차를 테스트할 수 있다.Approximate average image value of hatched portion of FIG. 18A And other white squares To make this pattern circular, and reverse the pattern , Other white squares ), Half by half to display. Inverse value The image value with the lowest T sharpness is displayed closest to the dynamic inverse value. Given this value Dynamic Inverse for To be selected. In this way all Dynamic reversed phase values are selected and stored for each value (R, G, B in the case of RGB space). In the above, the dynamic pattern experiment method using the pattern of FIG. 18A is taken as an example, but the above procedure may be tested using various patterns including FIG. 18B.
앞의 동적 패턴 실험 방법은 비공개 영상과 역상의 제공 비율이 1:1에서 벗어나거나 리프레쉬 속도가 2CFF(대략 110Hz) 보다 작을 때, 또는 모니터의 형광물질이 열화되거나 모니터의 실제 전달함수가 모델링된 모니터 전달함수에서 벗어날 때 특히 효과적이다. 아울러 리프레쉬 속도가 2CFF(대략 110Hz) 보다 크고, 비공개 영상과 역상이 대략 절반씩 교체하는 경우일지라도 시간 억제의 효과가 약간 남아 있으며, 모니터의 실제 전달함수가 모델링된 모니터 전달함수에서 벗어나는 경우가있으므로 이러한 동적 패턴 실험 방법을 사용하면 좀 더 정확한 동적 역상을 얻을 수 있다.The dynamic pattern test method described above is a monitor in which the ratio of provision of private images and reversed images is out of 1: 1, the refresh rate is lower than 2CFF (approximately 110 Hz), or the monitor's fluorescent material is degraded or the monitor's actual transfer function is modeled. This is particularly effective when moving away from the transfer function. In addition, the refresh rate is higher than 2CFF (approximately 110Hz), and the effect of time suppression remains slightly even when the private image and reverse phase are replaced by about half, and the actual transfer function of the monitor may deviate from the modeled monitor transfer function. Using the dynamic pattern experiment method, a more accurate dynamic inverse can be obtained.
비공개 디스플레이 소프트웨어는 미리 리프레쉬 속도, 비공개 영상과 역상의 표시 비율, 모니터 종류(CRT, LCD)별로 계산법이나 동적 패턴 실험 방법을 통해 산출한 동적 역상값을 저장한다. 이를 이용하여 사용자는 사용 환경이나 선택에 따라 적절한 동적 역상값을 사용하게 된다. 또한, 실제 모니터 별로 특성이 조금씩 다르므로 사용자가 직접 동적 역상값을 산출하여 사용할 수 있도록 비공개 디스플레이 소프트웨어는 동적 패턴 실험 방법 소프트웨어를 포함하여 제공될 수 있다.The private display software stores in advance the dynamic inverse value calculated by the calculation method or the dynamic pattern experiment method for each refresh rate, the ratio of the display of the inverse image and the inverse image, and the monitor type (CRT, LCD). This allows the user to use the appropriate dynamic inverse value depending on the usage environment or choice. In addition, since the characteristics are slightly different for each actual monitor, the private display software may be provided including the dynamic pattern experiment method software so that a user may calculate and use the dynamic reversed value directly.
[컬러 테이블 변경 방법][How to change the color table]
마스킹 영상으로서 역상을 생성할 경우 일 실시예로서 비공개 영상의 각 픽셀마다 픽셀 영상값에 대응하는 역상값을 계산하여 비디오 메모리에 저장함으로써 역상을 생성할 수 있다. 이 방법은 각 픽셀마다 소프트웨어적인 계산을 한 후에 계산된 픽셀 역상값을 메모리에 저장해야 하기 때문에 계산시간이 많이 걸린다. 이 방법은 실시간 역상 생성이 어려워 정지 영상의 비공개 디스플레이에만 적용할 수 있었다. 역상 등의 원상 유도 영상을 실시간 생성하기 위하여 본 발명에서는 영상값(RGB값) 변환기를 이용한 영상값 변환 방법을 사용한다. 본 발명의 바람직한 실시예로서 그래픽카드와 같은 비디오 제어기에 포함된 컬러 테이블을 영상값 변환기로 사용하여 변환 규칙에 따라 컬러 테이블을 임의 변경함으로써 실시간 원상 유도 영상을 생성한다. 비디오 메모리에 있는 각 픽셀의 영상값을 모니터에 전송하는 과정에서, 일반적인 컴퓨터 시스템은 컴퓨터 도메인의 영상값 Ga를 디스플레이에 보낼 때 컬러 테이블을 참조하여 영상값을 변환한 후, 변환 영상값을 D/A변환을 하여 RGB 전압과 같은 아날로그 방식으로 보내거나 DVI와 같은 디지털 방식으로 보내게 된다.When the reverse phase is generated as the masked image, the reverse phase may be generated by calculating and storing the reverse phase value corresponding to the pixel image value for each pixel of the private image in the video memory. This method takes a lot of computation time because the pixel inverse value calculated after each software calculation is stored in memory. This method was difficult to generate in real time reverse phase, so it could be applied only to the private display of still images. In order to generate a real-time induced image such as reverse phase in real time, the present invention uses an image value conversion method using an image value (RGB value) converter. As a preferred embodiment of the present invention, a color table included in a video controller such as a graphics card is used as an image value converter to generate a real-time original guidance image by arbitrarily changing the color table according to a conversion rule. In the process of transmitting the image value of each pixel in the video memory to the monitor, a typical computer system converts the image value by referring to the color table when sending the image value Ga of the computer domain to the display, and then converts the converted image value to D / D. A conversion can be sent in analog format such as RGB voltage or digital format such as DVI.
원래 컬러 테이블은 영상의 미세 보정을 위한 것으로서 일반적으로 영상값 Ga와 변환 영상값이 거의 차이가 나지 않는다. 일 실시예로서 도 19와 같이 영상값 Ga가 (R,G,B)일 경우에 변환 영상값(R_out, G_out, B_out)은 영상값 Ga를 거의 그대로 출력하고 영상의 미세 보정이 필요한 곳(도 19에서는 R=188일 때 R_out=187)만 약간 바꾸어 출력한다.The original color table is intended for fine correction of the image, and generally there is little difference between the image value Ga and the converted image value. As an example, when the image value Ga is (R, G, B) as shown in FIG. 19, the converted image values R_out, G_out, and B_out output the image value Ga almost as it is and require fine correction of the image (Fig. In 19, only R_out = 187) is slightly changed when R = 188.
본 발명에서는 컬러 테이블의 변환값을 임의의 변환 규칙에 컴퓨터 영역의 영상값 변경한다. 비공개 영상에 대한 제1 컬러 테이블과 마스킹 영상에 대한 제2 컬러 테이블을 준비하여 각각의 영상이 디스플레이될 때 해당하는 제1 또는 제2 컬러 테이블의 값으로 비디오 제어기의 실제 컬러 테이블을 변경한다. 이 경우 변경된 컬러 테이블 변환값에 따라 다른 영상이 생성되며 영상값 Ga와 변환 영상값의 차이가 클 수 있고, 정반대의 특성을 가질 수도 있다. 일 실시예로서 원래의 컬러 테이블 대신에 동적 역상에 해당하는 각각의 Ga 대응 변환 영상값을 컬러 테이블에 넣으면 원 영상을 그대로 디스플레이하여도 동적 역상이 디스플레이된다. 도 20은 R=187 값을 평균 영상값으로 하여 동적 역상을 컬러 테이블 변경 방법으로 구현한 실시예이다. 이 때 픽셀 영상값 Ga=(R,G,B)는 R=0->R_out=255, R=255->R_out=0, R=186->R_out=188, R=187->R_out=187, R=188 ->R_out=186와 같은 변경된 변환 규칙에 의하여 변환 영상값으로 출력된다. 컬러 테이블 변경 방법은 각각의 픽셀 영상값마다 역상값을 계산할 필요 없이 소수의 컬러 테이블의 값만을 바꾸어 역상을 생성하므로 역상 생성 시간이 빨라 실시간 역상 생성에 효과적이다.In the present invention, the conversion value of the color table is changed to the image value of the computer area by an arbitrary conversion rule. A first color table for the private image and a second color table for the masking image are prepared to change the actual color table of the video controller to the value of the corresponding first or second color table when each image is displayed. In this case, a different image is generated according to the changed color table converted value, and a difference between the image value Ga and the converted image value may be large, and may have opposite characteristics. As an example, if each Ga-corresponding converted image value corresponding to the dynamic inverse phase is inserted into the color table instead of the original color table, the dynamic inverse image is displayed even if the original image is displayed as it is. 20 illustrates an embodiment in which a dynamic reverse phase is implemented by a color table changing method using R = 187 as an average image value. At this time, the pixel image value Ga = (R, G, B) is R = 0-> R_out = 255, R = 255-> R_out = 0, R = 186-> R_out = 188, R = 187-> R_out = 187 , R = 188-> R_out = 186 is output as a converted video value according to the changed conversion rule. The color table change method generates an inverted phase by changing only a few color table values without having to calculate an inverted value for each pixel image value.
컬러 테이블 변경 방법에서 임의의 규칙에 따라 컬러 테이블을 변경하면 동적 역상값 뿐만 아니라, 상기 변경된 컬러 테이블에 따라 임의의 변환 영상을 얻을 수 있다. 일 실시예로 각각의 Ga값에 대하여 컬러 테이블의 Ga 대응 변환 영상값을 상수값으로 놓으면 컬러 테이블 입력 영상에 무관한 영상을 얻을 수 있다. 이런 방식으로 입력 영상에 무관한 균일한 회색 영상, 균일한 색채를 띈 회색 영상, 균일한 색채 영상 등을 얻을 수 있다.When the color table is changed according to an arbitrary rule in the method of changing the color table, not only the dynamic inverse value but also an arbitrary converted image may be obtained according to the changed color table. In an embodiment, when the Ga-corresponding converted image value of the color table is set to a constant value for each Ga value, an image irrelevant to the color table input image may be obtained. In this way, a uniform gray image independent of the input image, a gray image with uniform color, and a uniform color image can be obtained.
비공개 영상의 각각의 픽셀마다 역상값을 계산하여 역상을 생성하는 것과 같은 원상 유도 영상 계산 방법에서는, 일례로 도 4의 P1 메모리의 비공개 영상으로부터 계산된 원상 유도 영상을 M1 메모리에 저장하고 M1의 영상을 모니터에 출력하게 된다. 이에 비해 컬러 테이블 변경 방법에서는 비디오 메모리를 직접 조작하지 않고 원상 유도 영상 계산 규칙에 따라 컬러 테이블만 변경하고 P1 메모리의 비공개 영상을 모니터에 출력하면 원상 유도 영상 마스킹 영상이 디스플레이된다. 다른 실시예로는 P1 메모리의 비공개 영상을 M1 메모리 등에 저장하고 컬러 테이블만 변경하여 M1 메모리의 영상을 모니터에 출력하면 원상 유도 마스킹 영상이 디스플레이 된다.In the method of calculating a circular induction image, such as generating a reverse phase by calculating an inverse phase value for each pixel of the private image, for example, the original induction image calculated from the private image of the P1 memory of FIG. 4 is stored in the M1 memory and the image of M1 is stored. Will be displayed on the monitor. In contrast, the color table changing method does not directly manipulate the video memory, but changes only the color table according to the calculation rules of the original induction image and outputs the private image of the P1 memory to the monitor to display the original induction image masking image. In another embodiment, when the private image of the P1 memory is stored in the M1 memory or the like and only the color table is changed and the image of the M1 memory is output to the monitor, the original induction masking image is displayed.
드라이버 프로그램 상에서 그래픽카드의 수직동기나 특정 수평동기에 맞추어, 또는 비동기식으로 컬러 테이블 변환값을 변경한다. 수직동기에 맞추어 컬러 테이블 값을 변경하는 실시예는 드라이버에서 폴링 혹은 인터럽트 방식으로 수직동기를 알아내고 수직동기가 발생된 즉시 컬러 테이블의 값을 새로운 값으로 교체한다. 인터럽트 방식의 경우 기존의 그래픽 드라이버의 인터럽트를 훅킹(Hooking)하여 인터럽트가 걸려올 때마다 컬러 테이블의 값을 변경한다. 컬러 테이블의 값을 변경하는데 수십 마이크로초 이하가 소요되므로 변경된 컬러 테이블의 효과는 즉시 나타난다. 본 발명의 다른 실시예에서는 HW 방식의 반전 회로, 미적분 회로 등을 영상값 변환기로 이용하여 실시간 영상값 변환을 구현한다.The driver program changes the color table conversion values to match the graphics card's vertical synchronization, to a specific horizontal synchronization, or asynchronously. The embodiment of changing the color table value in accordance with the vertical synchronization detects the vertical synchronization in a polling or interrupt manner in the driver and replaces the value of the color table with the new value as soon as the vertical synchronization occurs. In the case of the interrupt method, the existing graphics driver is hooked to change the color table value whenever an interrupt occurs. Changing the value of the color table takes tens of microseconds or less, so the effect of the changed color table is immediate. In another embodiment of the present invention, the real-time image value conversion is implemented by using an HW type inversion circuit, a calculus circuit, and the like as an image value converter.
[의도적인 교란 마스킹 영상 생성][Intentional Disturbance Masking Image Generation]
본 발명에서의 교란 영상이란 비공개 영상과 의존관계가 없는, 원상유도영상을 제외한 마스킹 영상을 총칭하는 것으로 정의한다. 종래는 백색 플래쉬(flash) 영상, 랜덤 영상, 정지 사진 영상, 스크린 세이버 영상을 교란 영상으로 사용하였으나, 이는 특정한 비공개 영상을 마스킹하는 데만 효과적인 방법으로서, 일반적인 비공개 영상에 사용될 수 있는 체계적이고 전략적인 교란 영상이 아니며 인간 시지각 특성을 고려하지 못하였다.The disturbance image in the present invention is defined as a generic term for a masking image excluding a primitive induction image, which has no dependency on a closed image. Conventionally, white flash images, random images, still images, and screensaver images have been used as disturbing images. However, this is an effective method only for masking a specific private image, which is a systematic and strategic disturbance image that can be used for general private images. It does not consider human visual perception.
본 발명에서는 인간 시지각 특성을 고려하며 체계적이고 전략적인 교란 영상 생성 및 관리방법을 제시한다. 도 21은 본 발명의 일 실시예에 의한 교란 영상 생성 및 관리 방법의 절차를 나타낸다. 먼저 인간의 시지각 특성을 고려한 교란 영상을 제작 및 저장한다(2101). 교란 영상은 시지각에 민감한 주파수 특성, 휘도 대비, 컬러 대비, 인지적 내용 특성을 이용하여 제작된다. 일실시예에서는 하나의 교란 영상으로서 발생 가능한 임의의 비공개 영상을 효과적으로 마스킹할 수 있는 교란 영상을 제작한다. 다른 실시예에서는 특정한 비공개 영상을 더욱 잘 마스킹할수 있도록 특정한 특성을 강조한 교란 영상을 제작한다. 교란 영상 파일은 모니터 프레임에 해당하는 크기를 가질 수도 있고 모니터 프레임보다 크거나 작은 영상 블록 단위일 수도 있다. 일 실시예에서는 여러 개의 교란 영상을 생성한다. 다른 실시예에서는 각각의 디스플레이 보안 수준에 사용하는 여러 개의 교란 영상을 제작한다.The present invention considers human visual perception characteristics and proposes a systematic and strategic disturbance image generation and management method. 21 is a flowchart illustrating a disturbance image generation and management method according to an embodiment of the present invention. First, a disturbance image in consideration of human visual perception characteristics is produced and stored (2101). The disturbed image is produced using frequency characteristics, brightness contrast, color contrast, and cognitive content characteristics that are sensitive to visual perception. In one embodiment, a disturbance image is produced to effectively mask any private image that can be generated as one disturbance image. In another embodiment, a disturbing image that emphasizes specific characteristics is produced to better mask a specific private image. The disturbed image file may have a size corresponding to the monitor frame or may be a unit of an image block larger or smaller than the monitor frame. In one embodiment, several disturbing images are generated. In another embodiment, multiple disturbance images are produced for each display security level.
다음에는 만약 여러 개의 교란 영상을 제작했다면 적합한 교란 영상 생성에 필요한 검색을 위하여 교란 영상 특성에 근거한 색인을 설정하거나 파일 이름을 정한다(2102). 다음에는 사용자 또는 시스템에 의해 비공개 디스플레이 모드가 시작된다(2103). 이 단계(2103)에서 교란 영상을 마스킹 영상으로 사용할 지를 결정한다. 교란 영상을 사용하기로 결정되면 현재 디스플레이되고 있는 비공개 영상의 특성을 검사할 지를 선택한다(2104). 검사를 선택하지 않으면 단계(2106)로 간다. 검사를 선택하면 가서 비공개 영상의 시공간 주파수, 대비, 인지적 내용 특성을 검사하여 파악한다(2105). 비공개 영상의 특성을 검사하기 위하여 본 발명의 일 실시예로서 내용 기반 검사법을 사용한다. 일례로 가장 최근에 사용된 윈도우나 활성 윈도우의 성격(워드, 웹브라우저, 동영상 플레이어 등의 사용 여부)에 입각하여 비공개 영상의 인지적 내용 특성을 파악한다. 다른 예로 현재 실행되고 있는 어플리케이션 SW를 검사하여 상기 어플리케이션의 전형적인 내용에 따라 비공개 영상의 인지적 내용 특성을 파악한다. 또 다른 예로 사용자가 앞으로 사용할 어플리케이션에 기반하여 예상되는 비공개 영상 특성 정보를 시스템에 입력하거나 모드 선택할 수도 있다. 다른 실시예에서는 비공개 영상의 주파수 변환을 통해 주파수 특성을 실시간으로 파악하여 이후 단계에서 그에 맞는 교란 영상을 생성한다. 컴퓨팅 부담을 줄이기 위해 비공개 영상의 일부만 주파수 변환할 수 있다.Next, if multiple disturbance images are produced, an index or file name is set based on the disturbance image characteristics for searching necessary for generating a suitable disturbance image (2102). Next, a private display mode is started by the user or the system (2103). In step 2103, it is determined whether the disturbed image is used as a masking image. If it is determined to use the disturbed image, it is selected whether to inspect the characteristic of the private image currently being displayed (2104). If no test is selected, go to step 2106. If you select the test, go to check the spatiotemporal frequency, contrast, and cognitive content characteristics of the closed image (2105). Content-based inspection is used as an embodiment of the present invention to examine the characteristics of a closed image. For example, the cognitive content characteristics of a private video are identified based on the nature of the most recently used window or the active window (whether a word, web browser, video player, etc. is used). As another example, the current application SW is examined to determine the cognitive content characteristics of the private video according to the typical content of the application. As another example, a user may input anticipated private image characteristic information or select a mode based on an application to be used in the future. In another embodiment, the frequency characteristic of the private image is detected in real time to generate a disturbing image corresponding thereto in a later step. To reduce the computing burden, only part of a private video can be frequency converted.
단계(2106)에서는 교란 영상 생성 지침을 수립한다. 디스플레이 보안 수준이 설정되었다면 설정된 보안 수준에 상응하도록, 설정되지 않았다면 임의의 보안 수준에 상응하도록 교란 영상의 주파수 특성, 명도 대비, 컬러 대비, 인지적 내용 특성의 수준을 결정하여 적합한 교란 영상을 생성하기 위한 지침을 수립한다. 상기 지침은 생성해야 할 교란 영상의 시공간 주파수 특성 조건, 명도 대비 및 컬러 대비 조건, 인지적 내용 특성 조건을 포함하고 사전에 체계화된 방법론으로 정해진다. 상기 지침에는 텍스트 영상을 포함한 교란 영상을 생성할 지, 어떠한 정도의 컬러 대비를 사용할 지와 같은 조건을 포함하고 있다. 상기 지침을 정하는 체계화된 방법론은 프로그램되어 시스템의 비공개 디스플레이 제어 블록(318) 또는 마스킹 영상 생성 수단(326)에 구비된다. 이 단계에서는 단계(2105)를 통해 비공개 영상의 특성을 파악했을 경우에는 비공개 영상 특성에 적합한 교란 영상 생성 지침을 수립하고, 파악하지 못했을 경우에는 평균적으로 효과적인 교란 영상 생성 지침을 수립한다.In step 2106, the disturbance image generation guideline is established. To determine the level of frequency, brightness, color, and cognitive content characteristics of a disturbing image to generate a suitable disturbing image, if the display security level is set, corresponding to the set security level, and if not, the security level of the disturbing image. Establish guidelines for The guideline is determined by a systematic methodology including a space-time frequency characteristic condition, brightness contrast and color contrast condition, and cognitive content characteristic condition of a disturbing image to be generated. The guidelines include such conditions as generating a disturbing image including a text image and how much color contrast to use. The systematic methodology for defining the guidelines is programmed and provided in the private display control block 318 or the masking image generating means 326 of the system. In this step, if the characteristic of the private image is identified through step 2105, a disturbance image generation guideline suitable for the private image characteristic is established, and if it is not determined, an effective effective disturbance image generation guideline is established.
다음에는 시스템의 비공개 디스플레이 제어 블록(318) 및 마스킹 영상 생성 수단(326)이 상기 생성 지침의 조건을 만족하는 교란 영상을 검색한다(2107). 다른 예로서 사용자 인터페이스(320)를 통하여 사용자가 직접 검색할 수 도 있다. 적합한 교란 영상이 검색되면 선택된 교란 영상을 생성하여 메모리로 로드한다(2108). 모니터 프레임보다 작은 영상 블록 단위로 교란 영상 파일이 존재하면 하나의 교란영상 프레임을 구성하도록 여러 개의 교란 영상 블록을 로드할 수 있다.Next, the private display control block 318 and the masking image generating means 326 of the system search for a disturbing image that satisfies the condition of the generation instruction (2107). As another example, the user may directly search through the user interface 320. When a suitable disturbance image is found, the selected disturbance image is generated and loaded into the memory (2108). If there is a disturbing image file in units of image blocks smaller than the monitor frame, a plurality of disturbing image blocks may be loaded to configure one disturbing image frame.
초기 영상이 메모리로 로드되면 교란 영상을 시간적으로 갱신한다(2109). 시간적으로 갱신하는 방법에는, 일례로 모니터 프레임 전체를 차지할 수 있는 영상을 새로이 메모리로 로드하여 갱신하거나, 다른 예로 모니터 프레임을 이루는 하나 이상의 교란 영상 부분 또는 영상 블록을 시간적으로 이동하여 재배치하거나, 다른 예로 새로운 영상 블록 파일을 메모리로 로드하여 영상의 일부분을 갱신하거나, 다른 예로 플리핑을 할 때 플리핑 주소인 메모리의 시작 주소를 임의로 변경하여 영상을 이동하거나, 다른 예로 시스템이 선정한 실시간 생성 프로그램이 계산을 통해 영상을 갱신하는 방법을 사용한다. 영상을 시간적으로 갱신할 경우 발생하는 영상의 시간 주파수는 교란 영상 생성 지침에 따라 설정되고 상기 지침에 입각한 시간 가변 알고리즘에 의해 영상이 시간적으로 갱신된다. 상기의 교란 영상 생성 방법에 사용되는 교란 영상의 시공간 주파수 특성, 명도 대비 및 컬러 대비, 인지적 내용 특성 조건을 수립하도록 인간의 시지각 특성을 고려한다.When the initial image is loaded into the memory, the disturbed image is updated in time (2109). The temporal updating method may include, for example, loading and updating a new image that may occupy the entire monitor frame into a memory, or in another example, moving or rearranging one or more disturbing image parts or image blocks constituting the monitor frame in time, or another example. Load a new image block file into memory to update a part of the image, or move the image by randomly changing the start address of the memory, which is the flipping address when flipping another example, or by a real-time generation program selected by the system It uses the method of updating the image through. The time frequency of the image generated when the image is updated in time is set according to the disturbance image generation guideline, and the image is temporally updated by a time varying algorithm based on the guideline. Human visual perception characteristics are considered to establish the conditions of spatio-temporal frequency, brightness and color, and cognitive content characteristics of the disturbed image used in the disturbed image generation method.
도 22는 인간 시지각과 전형적인 영상 데이터의 공간 주파수, 시간 주파수 특성을 도시한 것이다. 여기서 tf1, tf2, tf3, sf1, sf2, sf3는 저주파수, 중간주파수, 고주파수, 한계고주파수를 구분하는 주파수들로서 대략적으로 각각 tf1~5Hz, tf2~30Hz, tf3~70Hz, sf1~0.3cycles/deg, sf2~15cycles/deg, sf3~40cycles/deg의 값을 가지고 있다. 먼저 도 22a는 대표적인 시신경 뉴런들인 P 셀과 M 셀의 응답 주파수 영역으로서 인간 시지각 특성의 생리학적 증거이다. 도 22b는 도 11의 SCSF, 도 12의 TCSF를 통합하여 얻은 시지각 특성을 도시한 것이다. 시간 한계고주파수 tf3 또는 공간 한계고주파수 sf3를 초과하는 영상의 고주파 성분은 인간의 시지각이 감지할 수 없다. 도시된 바와 같이 낮은 공간 주파수이면서 낮은 시간 주파수 영역에서는 휘도와 컬러 모두에 시지각이 민감하지만, 특히 컬러에 시지각이 민감하다. 낮은 공간 주파수이면서 중간 시간 주파수 영역, 중간 공간 주파수이면서 낮은 시간 주파수 영역, 중간 공간 주파수이면서 중간 시간 주파수 영역에서는 휘도와 컬러 모두에 시지각이 민감하다. 그 밖의 높은 공간 주파수나 높은 시간 주파수 영역에서는 시지각이 휘도에 민감하지만 컬러에 둔감하다.22 shows spatial and temporal frequency characteristics of human visual perception and typical image data. Where tf1, tf2, tf3, sf1, sf2, and sf3 are frequencies that distinguish low frequency, intermediate frequency, high frequency, and limit high frequency, respectively. It has a value of ~ 15cycles / deg and sf3 ~ 40cycles / deg. First, FIG. 22A shows physiological evidence of human visual perception as a response frequency region of P cells and M cells, which are representative optic neurons. FIG. 22B illustrates visual perception characteristics obtained by integrating the SCSF of FIG. 11 and the TCSF of FIG. 12. Human visual perception cannot detect high frequency components of an image exceeding the time limit high frequency tf3 or the space limit high frequency sf3. As shown, in the low spatial frequency and low temporal frequency regions, the visual perception is sensitive to both luminance and color, but in particular the visual perception is sensitive to color. The visual perception is sensitive to both luminance and color in the low spatial frequency and intermediate time frequency domains, the intermediate spatial frequency and low time frequency domains, and the intermediate spatial frequency and intermediate time frequency domains. In other high spatial and high time frequency domains, the viewing angle is sensitive to luminance but insensitive to color.
도 22c는 전형적인 영상 데이터의 공간 주파수, 시간 주파수 특성이다. 본 발명에서는 영상의 인지적 내용 또는 의미에 따라 텍스트 영상(text image)과 비텍스트 영상(non-text image)으로 구분한다. 텍스트 영상에는 문자, 기호 등이 있고 비텍스트 영상은 텍스트를 제외한 촬영 영상, 그림, 그래픽 영상 등이 있다. 촬영 영상은 카메라 등의 촬영수단에 의한 영상으로서 사진, 영화, TV 방송영상 등이 있다. 본 발명에서는 영상의 시간 주파수 특성에 따라 정지영상(still image)과 동영상(moving image)을 정의한다. 정지영상은 텍스트, 비텍스트 영상이 시간적으로 고정되거나 거의 정지한 영상으로 정의한다. 동영상은 텍스트, 비텍스트 영상이 시간적으로 움직이는 영상으로 정의한다. 컴퓨터 그래픽 동영상이나 영화, TV 방송영상과 같이 연속적인 카메라 촬영에 의한 통상적인 의미의 동영상 뿐만 아니라 텍스트도 시간에 따라 이동하면 동영상으로 정의한다. 촬영 동영상, 그래픽 동영상과 텍스트의 동영상은 시공간 주파수 특성이 다를 수 있다. 도 22c에서는 통상적인 의미의 텍스트 영상, 동영상 등의 주파수 특성을 나타낸다. 텍스트 영상은 일반적으로중간 공간 주파수에서부터 높은 공간 주파수와 낮은 시간 주파수 영역을 차지한다. 그림, 사진 등의 정지영상은 일반적으로 낮은 공간 주파수에서부터 높은 공간 주파수와 낮은 시간 주파수 영역을 차지한다. 동영상은 가장 넓은 주파수 영역을 차지하고 있다.22C shows the spatial frequency and temporal frequency characteristics of typical image data. In the present invention, the image is divided into a text image and a non-text image according to the cognitive content or meaning of the image. Text images include characters and symbols, and non-text images include photographed images, pictures, and graphic images except text. The photographed image is an image obtained by photographing means such as a camera, and includes a photograph, a movie, and a TV broadcast image. In the present invention, a still image and a moving image are defined according to time-frequency characteristics of an image. Still images are defined as images in which text and non-text images are fixed in time or almost still. A video is defined as an image in which text and non-text images move in time. As well as moving pictures in the normal sense such as computer graphics moving pictures, movies, and TV broadcasting video, as well as moving pictures over time, text is defined as moving pictures. The captured video, graphic video, and text video may have different spatiotemporal frequency characteristics. 22C illustrates frequency characteristics of a text image, a video, and the like in a conventional sense. Text images typically occupy high spatial frequencies and low temporal frequency domains from intermediate spatial frequencies. Still images, such as pictures and photographs, generally take up the low to high spatial and low temporal frequency ranges. Video occupies the widest frequency range.
본 발명에서는 교란 영상 제작단계에서부터 휘도 및 컬러의 시공간 주파수를 고려하여 제작하고 생성 및 갱신 단계에서도 시공간 주파수 특성을 고려하여 생성 및 갱신한다. 바람직하게 교란 마스킹 영상은 마스킹하고자 하는 비공개 영상의 주된 휘도 및 컬러의 시간 주파수와 공간 주파수를 포괄하도록 생성된다. 다른 실시예에서는 교란 영상은 시지각이 반응하는 모든 주파수 성분을 갖도록 한다. 또 다른 실시예에서는 시지각에 민감한 주파수의 영상 성분이 더욱 많이 삽입된 교란 영상을 생성한다. 비공개 영상은 영상의 내용에 따라 매우 다양한 주파수 성분을 가지기 때문에, 비공개 영상과 별개로 교란 영상을 만들 경우 비공개 영상을 예상하지 못하므로 인해 일부 영상은 마스킹이 잘되지만 다른 일부의 영상은 마스킹이 잘 안 되는 경우가 발생하기 쉽다. 일 실시예에서는 단계(2105)에서 비공개 영상의 시공간 주파수를 검사하여 파악한다. 비공개 영상의 특성을 파악했을 경우에는 바람직하게는 교란 영상이 비공개 영상의 주된 시간 주파수와 공간 주파수를 포괄하고 시지각이 민감한 주파수의 영상 성분을 더욱 많이 삽입하도록 생성한다. 예를 들어 비공개 영상이 전형적인 텍스트 영상이라면 교란 영상은 중간 공간 주파수에서부터 높은 공간 주파수와 낮은 시간 주파수 영역을 포괄하도록 생성한다. 또한 비공개 영상에 비해 교란 영상은 시지각에 민감한 주파수의 영상 성분이 더욱 많이 삽입되도록 생성한다. 상기 사항을 이용하여 비공개 영상 특성에 적합한 교란 영상 생성 지침의 주파수 조건을 수립한다. 다른 실시예로서 비공개 영상의 시공간 주파수를 파악하지 못했을 경우에는, 평균적으로 효과적인 교란 영상이 생성되도록 시지각에 민감한 주파수 대역의 영상 성분을 가능한 많이 포함한 주파수 조건을 수립한다.In the present invention, the disturbance image is produced in consideration of the spatio-temporal frequency of luminance and color, and is generated and updated in consideration of the spatio-temporal frequency characteristics in the generation and update phase. Preferably, the disturbing masking image is generated to cover the temporal and spatial frequencies of the main luminance and color of the private image to be masked. In another embodiment, the disturbing image has all frequency components to which the visual perception responds. In another embodiment, a disturbing image in which more image components of a frequency sensitive to visual perception are inserted is generated. Since private videos have a wide variety of frequency components depending on the content of the video, if you create a disturbing video separately from the private video, you may not expect the private video, so some videos may be masked well but others may not mask. It is easy to occur. In one embodiment, in step 2105, the space-time frequency of the closed image is examined and determined. When the characteristics of the closed image are grasped, the disturbed image is preferably generated to cover the main temporal and spatial frequencies of the closed image and to insert more image components of frequencies sensitive to visual perception. For example, if a private image is a typical text image, the disturbance image is generated to cover a high spatial frequency and a low temporal frequency region from an intermediate spatial frequency. In addition, the disturbance image is generated to insert more image components of the frequency sensitive to visual perception than the private image. Using the above, the frequency condition of the disturbance image generation guideline suitable for the private image characteristics is established. In another embodiment, when the spatiotemporal frequency of the closed image is not known, a frequency condition including as many image components of a frequency band as sensitive to visual perception is established so that an effective disturbed image is generated on average.
교란 영상은 비공개 영상보다 눈에 잘 띄도록 선명해야 한다. 이에는 시지각의 시공간 주파수 민감도에 이어 휘도 및 컬러 대비 민감도가 중요한 역할을 한다. 일 실시예에서는 교란 영상의 각 영상 요소가 높은 휘도 대비나 높은 컬러 대비를 갖도록 한다. 인간 시지각에 민감한 높은 휘도 및 컬러 대비 영상을 체계적으로 생성하려면 영상의 대비가 시지각 민감도에 비례하도록 정량화된 시스템에서 생성해야 한다. 본 발명에서는 상기 정량화된 시스템으로서 휘도 및 컬러 축으로 구성된 컬러 공간(color space)을 이용한다. 잘 알려진 대로 RGB, CMY, Yuv와 같은 여러 종류의 컬러 공간이 존재한다. 그러나 많은 컬러 공간은 인간 시지각 시스템을 충분히 고려하지 못하고 있고 시지각 민감도에 비례하도록 구성되어 있지 못하다. 인간 시지각 민감도에 비례하는 컬러 공간은 국제 조명 위원회(Commission Internationale de I'Eclairage, CIE)에 의해 표준화된 CIE L*a*b*(간단히 CIE Lab) 컬러 공간이 있다. 도 23에 CIE Lab 컬러 공간을 도시하였다. 상기 컬러 공간은 인간 시지각 시스템의 세가지 독립적인 시지각 세포인 휘도셀, 적녹(red-green)셀, 황청(yellow-blue)셀의 시지각을 직교축으로 놓고 구성된다. 본 발명에서는 CIE Lab 컬러 공간내 두 영상값 A, B 사이의 차(difference)를 휘도 컬러차로 정의하며, 휘도 컬러차가 클수록 두 영상값의 대비가 높다. 휘도 컬러차의 수직 성분은 휘도차이고 수평 성분은 컬러차이다. 휘도차를 휘도 대비, 컬러차를 컬러 대비로 정의한다.Disturbance images should be clearly visible than private images. To this end, brightness and color contrast sensitivity play an important role, as well as space-time frequency sensitivity of visual perception. In an embodiment, each image element of the disturbed image has high luminance contrast or high color contrast. To systematically generate images with high brightness and color contrast sensitive to human visual perception, it is necessary to generate them in a quantified system so that the image contrast is proportional to visual perception sensitivity. In the present invention, as the quantified system, a color space composed of luminance and color axes is used. As is well known, there are several kinds of color spaces such as RGB, CMY, Yuv. However, many color spaces do not fully consider the human visual perception system and are not configured to be proportional to visual perception sensitivity. A color space proportional to human visual perception sensitivity is the CIE L * a * b * (simply CIE Lab) color space standardized by the Commission Internationale de I'Eclairage (CIE). 23 illustrates the CIE Lab color space. The color space consists of three independent visual perceptual cells of the human visual perceptual system, with the visual perception of the luminance cell, the red-green cell, and the yellow-blue cell in an orthogonal axis. In the present invention, a difference between two image values A and B in the CIE Lab color space is defined as a luminance color difference, and the larger the luminance color difference, the higher the contrast between the two image values. The vertical component of the luminance color difference is the luminance difference and the horizontal component is the color difference. The luminance difference is defined as the luminance contrast, and the color difference is defined as the color contrast.
도 23의 영상값 C점은 컬러 공간의 중심값에 해당하는 중심점이다. 만약 모니터가 상기 컬러 공간의 휘도와 컬러를 충분히 표시하지 못하거나 컬러 테이블 변경법 등의 영상값 압축을 통하여 모니터에 표시되는 영상값의 범위가 제한된다면 상기 중심점이 이동할 수 있다. 바람직하게 본 발명에서는 CIE Lab 컬러 공간과 같은 시지각 비례 컬러 공간을 기준으로 교란 영상의 대비를 결정하여 생성한다. 일 실시예로서 교란 영상은 비공개 영상에 비해 평균적으로 컬러 공간의 바깥쪽 극단 영상값을 갖도록 생성한다. 휘도 및 컬러 대비에 관한 소정의 조건을 마련하고 상기 조건에 기반하여 교란 영상을 제작 또는 생성한다. 일례로서 상기 컬러 공간 중심값 등의 기준값으로부터 교란 영상 요소의 각 영상값까지의 평균 휘도차 또는 평균 컬러차가 소정의 값보다 크도록 하는 조건을 만든다. 상기 조건을 만족하는 영상은 평균적으로 컬러 공간의 바깥쪽 영상값을 갖게 된다. 이 경우에 교란 영상값이 컬러 공간의 한쪽 극단에 치우쳐 대비가 높지 않은 영상을 생성할 수 있으므로, 고대비 영상을 만들기 위한 조건으로서, 교란 영상 요소의 평균 영상값과 상기 기준값과의 컬러차가 소정값 이하인 조건을 마련한다. 실제로 영상을 제작하거나 생성할 때, 일 실시예에서는 조건에 맞는 고대비 영상인 지를 계산을 통해 평가하면서 진행하고, 다른 실시예에서는 대략적이고 정성적으로(qualitatively) 상기 조건이 만족하는지 평가하며 제작, 생성한다. 조건의 정성적인 평가의 일례에서는객체/배경과 같이 영상 대비를 이루는 영상 요소 한 쌍의 면적비를 고려한다. 객체와 배경 사의의 면적 차이가 크면 평균 영상값이 면적이 큰 쪽으로 이동하므로 평균 대비가 작아진다. 이 때는 평균 영상값과 상기 기준값의 컬러차가 소정값을 초과하여 조건을 위배한다. 영상 요소 한 쌍의 면적비가 큰 차이가 나지 않도록 정성적인 평가를 하면서 교란 영상을 생성한다.The image value C point of FIG. 23 is a center point corresponding to the center value of the color space. If the monitor does not sufficiently display the luminance and color of the color space, or if the range of image values displayed on the monitor is limited through image value compression such as a color table change method, the center point may move. Preferably, in the present invention, the contrast of the disturbed image is determined based on a visual perception proportional color space such as a CIE Lab color space. In one embodiment, the disturbed image is generated to have an outer extreme image value of the color space on average compared to the private image. Predetermined conditions regarding luminance and color contrast are prepared, and a disturbance image is produced or generated based on the conditions. As an example, a condition is created such that the average luminance difference or average color difference from the reference value such as the color space center value to each image value of the disturbing image element is larger than a predetermined value. An image satisfying the above condition has an average image value outside of the color space. In this case, since the disturbed image value is biased at one extreme of the color space to produce an image with high contrast, as a condition for producing a high contrast image, the color difference between the average image value of the disturbed image element and the reference value is a predetermined value. The following conditions are provided. In fact, when producing or generating an image, one embodiment proceeds by evaluating whether it is a high-contrast image that satisfies a condition, and in another embodiment, evaluating whether the condition is satisfied approximately and qualitatively. Create An example of qualitative evaluation of a condition takes into account the area ratio of a pair of image elements that make up the image, such as an object / background. If the area difference between the object and the background yarn is large, the average image value moves toward the larger area, so the average contrast becomes smaller. In this case, the color difference between the average image value and the reference value exceeds a predetermined value and violates the condition. Disturbance images are generated by qualitative evaluation so that the area ratio of a pair of image elements does not make a big difference.
CIE Lab 컬러 공간과 같은 시지각 비례 컬러 공간을 기준으로 교란 영상 제작 및 생성하는 본 발명의 방법은, 일 실시예로서 시지각 비례 컬러 공간을 사용하여 교란 영상 요소의 영상값을 선정한 후 RGB 공간과 같은 컴퓨터 도메인의 컬러 공간 영상값으로 변환한다. 상기 변환은 계산을 통해 정확히 산출할 수 도 있고, 대략적이고 정성적으로 변환할 수 도 있다. 즉, CIE Lab 컬러 공간을 참조하여 상응하는 RGB 컬러 공간 영상값을 대략적으로 생성해도 의도한 대비 영상을 얻을 수 있다.In accordance with an embodiment of the present invention, a method of producing and generating a disturbing image based on a visually proportional color space, such as a CIE Lab color space, selects an image value of a disturbing image element using a visually proportional color space. Convert to color space image values in the same computer domain. The conversion may be accurately calculated through calculation, or may be roughly and qualitatively converted. That is, even if a corresponding RGB color space image value is generated approximately by referring to the CIE Lab color space, an intended contrast image can be obtained.
본 발명에서는 영상의 객체와 배경간의 또는 영상 패턴의 휘도, 컬러 대비 중 적어도 하나의 대비가 높은 교란 영상을 생성한다. 바람직하게는 다양한 휘도 및 컬러에서 높은 대비를 갖는 교란 영상을 생성한다. 일 실시예로서 비공개 영상의 특성을 파악할 수 있다면 비공개 영상에 비해 평균적으로 대비가 높은 교란 영상을 생성한다. 일례로서 비공개 영상이 일반적인 텍스트인 경우 컬러 대비보다는 휘도 대비가 높으므로 더 높은 휘도 대비를 갖는 교란 영상을 생성한다. 바람직하게는 높은 휘도 대비 영상 요소에 하나 이상의 높은 컬러 대비 영상 요소를 가진 교란 영상을 생성한다.According to the present invention, a disturbance image having a high contrast between at least one of brightness and color contrast between an object and a background of an image or an image pattern is generated. Preferably, a disturbing image having high contrast at various luminance and colors is generated. As one embodiment, if the characteristics of the private image can be grasped, a disturbing image having a higher contrast than the private image is generated on average. As an example, when the closed image is general text, since the luminance contrast is higher than the color contrast, a disturbing image having a higher luminance contrast is generated. Preferably, a disturbing image having one or more high color contrast image elements is generated in the high luminance contrast image element.
도 24는 시지각 과정을 나타내는 도면이다. 인지적 의미가 없는 영상보다는 지각 그룹핑(결합)되어 특정한 인지적 의미가 있는 영상이 지각이 잘 된다. 자극(2402)이 망막을 자극하면 피드백이 없는 고속 시지각 프로세스인 선주의 프로세스(preattentive process : 2404)가 지각한다. 이때는 형상(form)에 대한 지각이나 인지는 발생하지 않고 자극의 존재 여부, 변화나 움직임(movement) 등을 지각한다. 그 후 사람은 의식적 또는 무의식적으로 집중된 주의(focused attention : 2406)를 하여 현재 집중(focusing)하고 있는 부분의 형상과 특성을 지각한다. 이 때는 기억, 추론과 같은 높은 수준 인지 정보(2408)로부터 피드백을 받아 지각 과정에 사용하고 자극원으로부터 지속적으로 자극을 수집한다. 다음으로 집중된 주의(2410)를 통하여 지각한 성분들(2412)을 종합하여 종합 지각하게 된다. 집중된 주의(2414)에서는 주로 지각 그룹핑된 인지적 의미를 지닌 영상을 지각하게 된다.24 is a diagram illustrating a visual perception process. Perceptual grouping (combination) rather than images with no cognitive meaning makes images with specific cognitive meanings well perceived. When stimulus 2402 stimulates the retina, a preattentive process (2404), a fast visual perception process without feedback, is perceived. At this time, perception or perception of the form does not occur, and the presence or absence of a stimulus, change, or movement is perceived. The person then consciously or unconsciously focuses attention (2406) to perceive the shape and characteristics of the part that is currently focusing. In this case, feedback is received from the high level cognitive information 2408 such as memory and reasoning, which is used in the perception process, and the stimulus is continuously collected from the stimulus source. Next, through the centralized attention 2410, the perceived components 2412 are combined to make a comprehensive perception. In focused attention 2414, the perceptual grouping perceives images with cognitive meaning.
높은 수준 인지 과정과의 관계 관점에서 보면 지각 그룹핑이 가장 중요한 사안이다. 정신 물리학(Psychophysics)의 조직화 법칙(Law of organization)에 의하면 단순성(simplicity), 유사성(similarity), 연속성(continuation), 근접성(proximity), 공통 움직임(common movement), 의미(meaning)에 의하여 지각 그룹핑이 된다. 또한, 시간, 공간 위상 코히어런스에 의하여 지각 그룹핑이 된다. 하나의 공간 주파수를 갖는 패턴의 어느 한 부분에서 위상 변화가 발생하면 그 부분이 눈에 잘 띈다. 이는 공간 위상 코히어런스에 의한 그룹핑 때문이다. 하나의 시간 주파수를 갖는 패턴이 어느 시점에서 위상 변화가 발생하면 그 부분이 눈에 잘 띈다. 이는 시간 위상 코히어런스에 의한 그룹핑 때문이다. 영상은 프레임 시퀀스에 변조되어 있다. 반복 교체 시퀀스로 영상이 사용자에게 제시되다가 시퀀스의 위상 변화(비반복 시퀀스)가 생기면 그 시점의 영상이 눈에 잘 띄게 되어 미세한 깜박거림(shimmer)을 느끼게 된다. 시간 적분 기간 안에서의 위상 변화는 인간이 느끼지 못하기 때문에 시간 위상 코히어런스에 의한 그룹핑은 시지각의 시간 적분 기간과 밀접한 관련이 있다. 지각 그룹핑이 되어 있는 영상 요소는 하나의 인지적 의미를 형성하게 되기 때문에 요소의 부분이 가려지거나 교란받더라도 전체적으로는 지각되기가 쉽다. 비공개 영상은 자기끼리 그룹핑이 잘 되어 있는 경우가 일반적이다. 따라서, 마스킹 영상은 비공개 영상의 그룹핑을 끊어서 공개 영상(비공개 영상과 마스킹 영상의 합영상)이 인지적 의미가 없는 영상 또는 다른 의미를 가진 영상으로 보여지도록 해야 한다. 마스킹 영상은 비공개 영상의 그룹핑을 끊는 기능과 공개 영상이 비공개 영상과 다른 의미를 가진 영상으로 보여지도록 마스킹 영상 자신끼리 선명한 그룹핑이 되도록 하는 기능을 동시에 수행하면 좋다.Perceptual grouping is the most important issue in terms of its relationship with high-level cognitive processes. According to the Law of organization of Psychophysics, perceptual grouping by simplicity, similarity, continuity, proximity, common movement, and meaning Becomes In addition, perceptual grouping is performed by time and space phase coherence. If a phase change occurs in any part of the pattern with one spatial frequency, that part is conspicuous. This is due to grouping by spatial phase coherence. If a pattern with one time frequency occurs at any point in the phase shift, the part is conspicuous. This is due to grouping by time phase coherence. The image is modulated in a frame sequence. When the image is presented to the user as a repeating replacement sequence and a phase change (non-repetitive sequence) of the sequence occurs, the image at that time becomes more visible and a minute shimmer is felt. Since the phase change in the time integration period is not felt by humans, the grouping by the time phase coherence is closely related to the time integration period of the visual perception. Since the image elements with perceptual grouping form a cognitive meaning, it is easy to be perceived as a whole even if parts of the elements are hidden or disturbed. Private videos are generally well grouped among themselves. Therefore, the masking image should be grouped with the private image so that the public image (the combined image of the private image and the masking image) is seen as an image having no cognitive meaning or an image having a different meaning. The masking image may perform a function of cutting off the grouping of the private image and a function of clearly grouping the masking images themselves so that the public image is displayed as an image having a different meaning from the private image.
일 실시예로서 교란 영상을 각기 다른 시간 위상 코히어런스와 공간 위상 코히어런스를 갖는 영상으로 구성하여 비공개 영상의 시간 위상 코히어런스, 공간 위상 코히어런스를 끊는 역할을 하도록 한다. 동적 역상을 비롯한 원상 유도 영상은 비공개 영상과 섞여 비공개 영상의 그룹핑을 방해하는 성질을 갖고 있다.In one embodiment, the disturbed image is composed of images having different temporal phase coherence and spatial phase coherence so as to cut off the temporal phase coherence and the spatial phase coherence of the private image. Originally induced images, including dynamic inversion, intermingle with private images to prevent grouping of private images.
비공개 영상의 텍스트 영상 영역이 일정 수준보다 클 때 비공개 영상의 텍스트를 마스킹 하려면, 본 발명에서의 교란 영상은 적어도 하나의 영역에서 텍스트 영상 요소를 가지도록 한다. 비공개 영상의 비텍스트 영상 영역이 클 때, 비공개 영상의 비텍스트를 마스킹 하려면 교란 영상은 적어도 하나의 영역에서 비텍스트영상 요소를 가진다.To mask the text of the private image when the text image region of the private image is larger than a predetermined level, the disturbed image in the present invention has a text image element in at least one region. When the non-text image area of the private image is large, the disturbing image has a non-text image element in at least one region to mask the non-text of the private image.
인지적 내용을 가진 영상의 에지(edge)가 선명하면 시지각이 더욱 민감하게 반응하므로 선명한 에지를 갖는 교란 영상 요소를 생성한다. 촬영 영상 요소를 포함한 교란 영상을 제작할 경우 일반적인 촬영 영상은 영상의 대비가 크지 않고 에지가 선명하지 않으므로, 일 실시예에서는 에지를 인공적으로 선명하게 하는 과정을 더 포함한다. 히스토그램 등화 기법, 대비향상(contrast enhancement), 호모모픽 필터링(homomorphic filtering) 등과 같은 영상처리 기법을 사용하여 처리한 후 저장한다. 다른 실시예에서는 교란 영상은 3차원 입체 효과를 가진 요소를 포함한다. 또 다른 실시예에서는 고대비 패턴이 빙글빙글 도는 것과 같은 어지러움을 유발하거나 환상(illusion)을 일으키는 영상 요소를 포함한 교란 영상으로 한다.If the edge of the image with cognitive content is clear, the visual angle is more sensitive, thus creating a disturbing image element having sharp edges. When producing a disturbing image including a captured image element, since a general captured image does not have a large contrast of the image and the edge is not clear, the embodiment further includes a process of artificially sharpening the edge. Images are processed and stored using image processing techniques such as histogram equalization, contrast enhancement, and homomorphic filtering. In another embodiment, the disturbing image includes an element having a three-dimensional stereoscopic effect. In another embodiment, the high-contrast pattern is a disturbing image including an image element causing dizziness or illusion, such as turning round and round.
본 발명에서는 눈에 잘 띄는 교란 영상을 구하기 위해 두 종류의 영상을 교체하면서 디스플레이 해보아 어느 종류의 영상 요소가 눈에 잘 띄는 지 테스트한다. 이와 같은 테스트 방법을 통해 눈에 잘 띈다고 판단된 영상 요소로 교란 영상을 만든다. 교란 영상은 상기와 같이 민감한 주파수 특성, 대비 특성, 인지적 내용 특성을 갖는 영상을 조합하여 만든다. 바람직하게는 높은 휘도 및 컬러 대비와 시지각에 민감한 주파수를 가지며 인지적으로 의미 있는 내용을 가진 영상 요소를 포함하여 교란 영상을 제작한다. 예를 들어, 중간 시간 주파수를 가지며 중간 공간 주파수를 가지는 높은 휘도 대비의 영상 성분과 낮은 공간 주파수를 가지는 높은 컬러 대비의 영상 성분을 다른 주파수 성분에 비해 많이 포함하도록 한다. 비공개 영상 중의 낮은 공간 주파수를 가진 패턴을 마스킹하기 위해서는 높은 컬러 대비를이용하고 높은 휘도 대비를 부가한다. 전형적인 텍스트와 높은 공간 주파수 영상을 마스킹 하려면 높은 휘도 대비를 주로 이용하고 컬러 동화 현상이 일어나므로 컬러 대비 영상을 부가한다.In the present invention, by displaying two kinds of images while replacing them in order to obtain a noticeable disturbing image, it is tested which kind of image elements are prominent. Through such a test method, disturbed images are made from image elements judged to be easy to see. The disturbance image is made by combining images having sensitive frequency characteristics, contrast characteristics, and cognitive content characteristics as described above. Preferably, a disturbing image is produced by including an image element having a high luminance and color contrast, a frequency sensitive to visual perception, and having cognitively meaningful contents. For example, a high luminance contrast image component having an intermediate time frequency and an intermediate spatial frequency and a high color contrast image component having a low spatial frequency may be included in comparison with other frequency components. In order to mask patterns with low spatial frequencies in closed images, high color contrast is used and high luminance contrast is added. To mask typical text and high spatial frequency images, high brightness contrast is often used and color assimilation occurs, so color contrast images are added.
일 실시예에서는 교란영상 생성지침 수립단계(2106)에서 모니터 프레임의 영역별로 상이한 조건을 설정할 수 있다. 모니터 특정 영역이 다른 영역에 비하여 더욱 시지각에 민감한 교란 영상이 생성되도록 한다. 일례로 모니터 상부 또는 하부 영역에 비하여 모니터 중앙부는 더욱 시지각에 민감한 교란 영상을 생성한다. 이 때 하나의 교란 영상 파일을 로드하여 모니터 프레임을 구성할 수 있고, 두개 이상의 교란 영상 블록을 로드하여 모니터 프레임을 구성할 수 있다.In an exemplary embodiment, different conditions may be set for each area of the monitor frame in the disturbance image generation guide establishment step 2106. Perturbation images that are more sensitive to visual perception than the other areas of the monitor are generated. For example, compared to the upper or lower area of the monitor, the center of the monitor generates a disturbing image that is more sensitive to visual perception. In this case, one disturbing image file may be loaded to configure a monitor frame, and two or more disturbing image blocks may be loaded to configure a monitor frame.
모니터 아래부분에서는 비교적 잔상이 많이 생기므로 일 실시예로서 이 부분 교란 영상은 중앙부에 비하여 시지각에 덜 민감한 영상으로 생성한다. 모니터 윗부분은 셔터의 응답이 느려서 사용자가 약간의 마스킹 영상을 지각할 수 있으므로 일 실시예에서는 이 영역도 시지각에 덜 민감한 교란영상으로 생성한다.Since afterimages are relatively high in the lower part of the monitor, the partial disturbance images are generated as images that are less sensitive to visual perception than the center part. Since the upper part of the monitor has a slow shutter response, a user may perceive a little masking image, so in one embodiment, this area is also generated as a disturbing image which is less sensitive to visual perception.
본 발명의 다른 실시예에서는 두개 이상의 다른 인지적 내용 특성, 시공간 주파수 특성, 대비 특성을 가지는 영상 요소를 배합하여 교란 영상을 제작 및 생성한다. 상기 배합을 공간적으로 하는 실시예로서 공간 분배 배치와 공간 중첩 배치를 사용한다. 공간 분배 배치에서는 교란 영상의 모니터 프레임 영역별로 다른 특성을 가진 영상 요소를 배치한다. 일례로서 서로 다른 인지적 내용에 따라 한 영역에서는 텍스트 영상을 다른 영역에서는 비텍스트 영상을 배합하여 영상을 제작한다. 다른 예로서 한 영역에서는 휘도 대비가 높은 영상을 다른 영역에서는 특정 컬러 대비가 높은 영상을 배합한다. 넓은 영역이 하나의 영상 특성을 가진 교란 영상으로만 이루어지면 마스킹이 부족한 상황이 발생한다. 예를 들어 흑백 휘도 대비의 텍스트로 이루어진 넓은 교란 영상 영역이 있다면 이 영역에 컬러 사진과 같은 비공개 영상이 표시되면 마스킹이 제대로 안 된다.In another embodiment of the present invention, a disturbance image is produced and generated by combining two or more different cognitive content characteristics, space-time frequency characteristics, and contrasting image elements. A spatial distribution arrangement and a space overlap arrangement are used as embodiments for spatially combining the above. In the spatial distribution arrangement, image elements having different characteristics are arranged for each monitor frame region of the disturbed image. As an example, images are produced by combining text images in one region and non-text images in another region according to different cognitive contents. As another example, an image having a high brightness contrast is blended in one region and an image having a high specific color contrast in another region. If a large area consists only of a disturbing image having one image characteristic, a situation in which masking is insufficient occurs. For example, if you have a large disturbing video area composed of text with black and white brightness contrast, masking will not work properly if a private picture such as a color picture is displayed in this area.
도 25a에 공간 분배 배치에 의한 교란 영상 제작 및 생성 실시예를 도시하였다. 상기에서는 휘도 또는 컬러 대비를 갖는 텍스트 영상과 사진 및 그림 영상을 공간 분배 배치하였다. 공간 중첩 배치에서는 한 영역에 서로 다른 특성을 가진 영상 요소를 중첩하여 배치한다. 도 25b에 공간 중첩 배치에 의한 교란 영상 제작 및 생성 실시예를 도시하였다. 도 25c는 공간 분배 배치와 공간 중첩 배치를 이용해 교란 영상을 구성하는 과정을 나타내는 실시예이다. 실제 작동시에 상기 교란 영상의 요소 또는 부분은 시간에 따라 이동, 변형되거나 새로운 영상 요소가 로드됨으로써 갱신된다.FIG. 25A illustrates an embodiment of producing and generating a disturbing image by arranging a space distribution. In the above, a text image and a picture and a picture image having luminance or color contrast are space-distributed. In the spatial overlapping arrangement, image elements having different characteristics are overlapped and arranged in one region. FIG. 25B illustrates an embodiment of producing and generating disturbed images by spatially overlapping arrangement. 25C is a diagram illustrating a process of constructing a disturbing image by using a spatial distribution arrangement and a spatial overlap arrangement. In actual operation, the element or part of the disturbing image is updated by moving or transforming with time or by loading a new image element.
본 발명에서는 바람직하게 교란 영상은 비공개 영상과 유사한 특성을 가지는 영상 요소를 포함한다. 일 실시예에서 교란 영상은 비공개 영상과 유사한 특성을 가지는 영상 요소와 상이한 특징을 가지는 영상요소를 포함한다. 일반적으로 유사한 특성을 가지는 영상 요소는 비공개 영상의 지각 그루핑을 끊는 역할이 주가 되고 상이한 특성을 가지는 영상 요소는 비공개 영상과는 상이한 지각 그루핑이 생기도록 하는 역할이 주가 된다. 비공개 영상이 텍스트 영상이면 교란 영상은 최소한 텍스트 영상 요소를 포함해야 한다. 비공개 영상이 사진 영상이라면 교란 영상은 최소한 비텍스트 영상 요소를 포함해야 한다.In the present invention, the disturbing image preferably includes an image element having characteristics similar to the private image. In one embodiment, the disturbing image includes an image element having a different characteristic from an image element having characteristics similar to those of the private image. In general, image elements having similar characteristics are mainly used to stop perceptual grouping of private images, and image elements having different characteristics are mainly used to cause perceptual grouping different from private images. If the private picture is a text picture, the disturbing picture shall contain at least textual picture elements. If the private image is a photographic image, the disturbing image should contain at least non-text image elements.
다른 실시예에서는 교란 마스킹 영상 프레임 비율을 비공개 영상 프레임 비율보다 크게 하여 마스킹 영상을 더욱 자주 디스플레이한다. 또 다른 실시예에서는 컴퓨터 도메인의 영상값(Ga값) 압축 방법을 사용한다. 이 방법에서는 원상(비공개 영상)의 Ga값(RGB값)의 범위를 압축한다. 예를 들어 마스킹 영상이 의 범위를 가질 때 원상(비공개 영상)이 범위를 갖게 하는 것처럼 마스킹 영상의 범위가 비공개 영상의 범위보다 크도록 한다. 이 Ga값 압축 방법은 등가적으로 교란 마스킹 영상 프레임 비율을 비공개 영상 프레임 비율보다 크게 하는 효과가 있다. 바람직하게는 칼러 테이블 압축으로 Ga값 압축을 구현한다.In another embodiment, the masking image is displayed more frequently by making the disturbing masking image frame rate larger than the private image frame rate. In another embodiment, a computer domain image value (Ga value) compression method is used. This method compresses the range of Ga values (RGB values) of the original image (private image). For example, when the masking image has a range of, the range of the masking image is larger than that of the private image, just as the original image (the private image) has the range. This Ga value compression method has the effect of making the disturbing masking video frame rate equivalently larger than the private video frame rate. Preferably, Ga-value compression is implemented by color table compression.
본 발명의 일 실시예에서는 전체 비공개 디스플레이 관리 서버가 비공개 디스플레이 사용자 컴퓨터에게 네트워크를 통하여 광고영상을 전송하고 상기 전송된 광고영상을 마스킹 영상 가운데 교란 영상으로서 사용한다.In an embodiment of the present invention, the entire private display management server transmits an advertisement image to a private display user computer through a network, and uses the transmitted advertisement image as a disturbing image among masking images.
[P/M 영상 시퀀스 및 셔터 개폐 시퀀스 생성 과정][P / M image sequence and shutter opening / closing sequence generation process]
사용자가 사용자 인증을 받고 디스플레이 보안 성능 수준을 선택한 다음에는 사용자 인증 수준과 디스플레이 보안 성능 수준에 따라 P/M 영상 시퀀스 및 셔터 개폐 시퀀스가 생성된다. P/M 영상 시퀀스 및 셔터 개폐 시퀀스 생성 과정을 도 26에 나타내었다. 사용자 인증을 받은 후, 사용자는 미리 설정된 디스플레이 보안 성능 수준 가운데서 선택하게 된다(2602). 다음에는 사용자에 의해 선택된 디스플레이 보안 성능 수준 및 사용자 시지각 성능을 만족하는 P/M 영상 배합 비율 및 배합 규칙을 선정한다(2604). 다음에는 배합 규칙에 따라 P/M 영상 시퀀스를 생성한다(2606). 다음에는 선택된 보안 성능 수준 및 사용자 시지각 성능을 만족하며 P/M 영상 시퀀스에 상응하는 셔터 개폐 시퀀스를 생성한다(2608). 다음에는 만족하는 셔터 개폐 시퀀스가 생성되었는지 판단하는 단계(2610)로서, 만족스러운 셔터 개폐 시퀀스가 생성되었다면 종료하고 그렇지 않다면 단계(2612)로 간다. 단계(2612)에서는 배합 규칙을 재선정할지 여부를 선택한다. 재선정을 선택하지 않으면 단계(2606)로 가서 P/M 영상 시퀀스를 생성하며 후속 단계를 계속 진행하고 재선정을 선택하면 단계(2604)로 가서 P/M 영상 배합 비율 및 배합 규칙을 재선정하고 후속 단계를 계속 진행한다.After the user is authenticated and selected the display security performance level, the P / M image sequence and the shutter opening and closing sequence are generated according to the user authentication level and the display security performance level. 26 illustrates a process of generating a P / M image sequence and a shutter opening / closing sequence. After authenticating the user, the user selects from a preset display security performance level (2602). Next, a P / M image blending ratio and a blending rule satisfying the display security performance level and user visual perception performance selected by the user are selected (2604). Next, a P / M image sequence is generated according to the blending rule (2606). Next, a shutter opening / closing sequence that satisfies the selected security performance level and user visual perception performance and corresponds to the P / M image sequence is generated (2608). Next, in step 2610, it is determined whether a satisfactory shutter opening / closing sequence has been generated, and ends if a satisfactory shutter opening / closing sequence has been generated, and goes to step 2612. Step 2612 selects whether to reselect the formulation rule. If no re-selection is selected, go to step 2606 to create a P / M image sequence and continue to the next step; if reselect is selected, go to step 2604 to reselect the P / M image blending ratios and blending rules and follow up. Continue with the steps.
[배합 비율 및 배합 규칙][Mixing ratio and formulation rule]
도 26의 단계(2604)에서는 P/M 영상 배합 비율 및 배합 규칙을 선정한다. 이 때 모니터의 현재 리프레쉬 속도와 모니터 픽셀의 응답시간, 셔터의 광응답(optical response) 특성을 모두 고려해서 선정한다. 또한 배합하는 P/M 영상의 특성(역상이냐 교란영상이냐 등)에도 주의해야 한다. 종래 P/M 영상 시퀀스 방법은 시퀀스 생성시에 상기 네가지 사항을 고려하지 못하고 있기 때문에 여러 성능 측면에서 효과적이지 못했다. 또한 P/M 영상 시퀀스 생성시에도 셔터 개폐 시퀀스를 고려해야 하고 역으로 셔터 개폐 시퀀스 생성시에도 P/M 영상 시퀀스를 상호 고려해야 한다.In step 2604 of FIG. 26, a P / M image blending ratio and a blending rule are selected. In this case, the current refresh rate of the monitor, the response time of the monitor pixels, and the optical response characteristics of the shutter are all taken into consideration. In addition, attention should be paid to the characteristics of the P / M image to be blended (reverse or disturbing image, etc.). The conventional P / M image sequencing method is not effective in various performance aspects because the above four factors are not considered when generating a sequence. In addition, the shutter opening and closing sequence should be considered when generating the P / M image sequence, and conversely, the P / M image sequence should be considered when generating the shutter opening and closing sequence.
종래의 P/M 영상 배합은 비공개 영상에 대하여 동일 특성의 마스킹 영상을 배합하는 것이었다. 즉 마스킹 영상은 모두 역상으로 이루어지던지 모두 랜덤영상으로 이루어지던지 하는 방식으로 동일 특성의 마스킹 영상이 배합되었고, 이러한 배합 규칙 아래서 P/M 영상 시퀀스를 생성하였다. 본 발명의 P/M 영상 배합 비율및 배합 규칙에서는 서로 다른 특성을 가지는 영상을 배합할 수 있다.Conventional P / M image combining has been to combine masking images having the same characteristics with respect to closed images. That is, masking images having the same characteristics were combined in such a manner that all of the masking images were reversed or all random images, and P / M image sequences were generated under such a mixing rule. In the P / M image blending ratio and blending rule of the present invention, images having different characteristics may be blended.
일 실시예로서 원상 유도 영상과 교란 영상이 혼합된 마스킹 영상을 비공개 영상과 배합한다. 원상 유도 영상과 교란 영상의 혼합은 하나의 마스킹 영상 프레임에 원상 유도 영상과 교란 영상이라는 서로 다른 특성을 가진 영상 성분을 혼합하는 방법과 주로 원상 유도 영상으로 이루어진 마스킹 프레임 Mi와 교란 영상이 많이 부가되거나 지배적인 마스킹 프레임 Md를 생성하고 이들을 비공개 영상과 프레임 대 프레임간으로 배합하는 방법이 있다. 여기서 마스킹 영상 Mi는 순수한 원상 유도 영상이거나 교란영상에 비해 원상 유도 영상이 지배적인 합영상을 나타내고 마스킹 영상 Md는 주로 교란영상이거나 교란영상의 비중이 일정 이상인 원상 유도 영상과 교란영상의 합영상을 나타낸다. 평균 배합 비율을 P:M = 5:5, P:M = 4:6, P:Mi:Md= 4:4:2 와 같이 다양하게 정할 수 있다. P:Mi:Md방식으로 배합할 경우 일 실시예로서 Mi를 역상에 일정 진폭의 무작위 영상을 추가한 형태와 같은 혼합 영상으로 하고 Md를 교란 영상의 특성을 갖는 영상 프레임으로 할 수 있다. 다른 실시예로서 연결 영상 프레임 Mb를 포함하여 P:Mi:Mb, P:Mb:Md와 같이 배합한다. 일례로 P:Mi:Md:Mb= 4:4:1.5:0.5(이 경우 P:M=4:6 배합의 일종임)와 같은 비율로 배합할 수 있다. 다른 실시예로는 비공개 영상과 섞여 비공개 영상의 그룹핑을 방해하는 교란 영상과 자기끼리 그룹핑하는 교란 영상을 배합하는 것과 같이 두 종류의 교란 영상을 배합할 수도 있다.In one embodiment, a masking image in which the original induced image and the disturbing image are mixed is combined with a private image. The mixing of the original guided image and the disturbed image is a method of mixing image components having different characteristics such as the original guided image and the disturbed image in one masking image frame, and the masking frame M i mainly composed of the original guided image and the disturbed image are added. Or a dominant masking frame M d and combine them into a private picture and frame to frame. In this case, the masking image M i is a pure circular induction image or a summation image in which the original induction image is dominant compared to the disturbing image, and the masking image M d is a summation of the original induction image and the disturbance image, which is mainly a disturbing image or a certain ratio of the disturbing image. Indicates. The average compounding ratio can be variously determined as P: M = 5: 5, P: M = 4: 6, and P: M i : M d = 4: 4: 2. In the case of combining the P: M i : M d method, M i may be a mixed image in which M i is a random image having a constant amplitude in reverse, and M d may be an image frame having characteristics of a disturbing image. have. In another embodiment, the combination video frame M b is combined with P: M i : M b and P: M b : M d . For example, it may be blended in the same ratio as P: M i : M d : M b = 4: 4: 1.5: 0.5 (in this case, P: M = 4: 6). In another embodiment, two types of disturbance images may be combined, such as a disturbance image that is mixed with a private image to prevent grouping of the private image and a disturbing image that is grouped with each other.
컬러 테이블 변경 방법을 이용하면 원상 유도 영상과 교란 영상이 혼합된 마스킹 영상을 실시간으로 생성하기 편리하다. 하나의 마스킹 영상 프레임에 원상 유도 영상과 교란 영상을 혼합하는 방법에서는, 일 실시예로 원상 유도 영상과 교란 영상의 혼합 영상을 모두 컬러 테이블 변경 방법을 이용하여 생성할 수 있다. 다른 실시예로서 원상 유도 영상을 컬러 테이블 변경 방법을 이용하여 생성하고 여기에 일부 픽셀에 대한 픽셀 영상값 계산에 의하여 교란 영상을 부가하여 혼합 영상을 생성할 수 있다. 또 다른 실시예로서 비공개 영상을 마스킹 영상 메모리 영역에 복사하고 여기에 교란영상을 첨가하여 비공개 영상과 교란영상의 합영상을 생성한다. 합영상을 모니터로 전송할 때 컬러 테이블 변경법을 이용하면 합영상의 유도 변환영상을 전송하게 되므로 원상 유도 영상과 교란영상의 합영상을 생성하여 모니터로 전송하는 셈이다. 마스킹 프레임 Mi와 Md를 생성하고 이들을 비공개 영상과 프레임 대 프레임간으로 배합하는 방법에서도 컬러 테이블 변경 방법을 이용하면 실시간으로 생성하기 편리하다.Using the color table changing method, it is convenient to generate a masking image mixed with the original induced image and the disturbing image in real time. In the method of mixing the original induced image and the disturbed image in one masking image frame, in one embodiment, the mixed image of the original induced image and the disturbed image may be generated using a color table changing method. In another embodiment, a mixed image may be generated by generating a primitive induced image by using a color table changing method and adding a disturbance image by calculating pixel image values of some pixels. In another embodiment, a private image is copied to a masking image memory area and a disturbance image is added thereto to generate a combined image of the private image and the disturbance image. When the image is sent to the monitor, a color table change method is used to transmit the inductive conversion image of the image so that the original image and the disturbance image are generated and transmitted to the monitor. In addition to creating masking frames M i and M d and combining them between private images and frame-to-frame, the color table change method is convenient to create in real time.
일 실시예로서 P:Mi:Md를 배합할 경우에, Mi를 컬러 테이블 변경 방법을 이용하여 비공개 영상으로부터 실시간으로 생성하고, Md를 픽셀 영상값 계산에 의하여 비교적 느리게 갱신하면 전체적으로 실시간적인 혼합 마스킹 영상을 제공할 수 있다. 다른 실시예로서 P:Mi:Md를 배합할 경우에, Mi는 컬러 테이블 변경 방법을 이용하여 실시간으로 빠르게 생성하고, Md는 비교적 느리게 초당 수차례씩 비공개 영상을 마스킹 영상 메모리 영역에 복사하고 여기에 교란영상을 첨가하여 생성한다. Md를 모니터로 전송할 때는 Mi와 마찬가지로 컬러 테이블 변경법을 이용할 수 있다. 상기에서 Mi는 빠르게 변하는 비공개 영상을, Md는 느리게 변하는 비공개 영상을 효과적으로 마스킹할 수 있으므로, 일 실시예에서는 비공개 영상의 특성에 따라 Mi:Md의 비율을 달리 조정한다. 일례로 비공개 영상에 텍스트 작업과 같이 정지영상이 많다면 Md의 비율을 늘리고 동영상이 많다면 Mi의 비율을 늘린다. 상기 비율 조정은 비공개 디스플레이 소프트웨어가 현재의 비공개 영상의 특성을 파악하여 파악된 특성에 맞게 설정된 비율로 자동 조정할 수 있고 사용자가 조정할 수도 있다. 또한 상기 비율 조정 범위는 모니터의 현재 리프레쉬 속도과 인간 시지각의 민감 주파수 특성 등을 고려하여 Mi, Md각각의 초당 디스플레이 빈도를 제한하는 것에 따라 결정된다.In one embodiment, when combining P: M i : M d , M i is generated in real time from a private image using a color table change method, and when M d is updated relatively slowly by pixel image value calculation, the overall real time is obtained. Mixed masking images can be provided. In another embodiment, when combining P: M i : M d , M i is rapidly generated in real time using a color table change method, and M d is relatively slow, and the private image is stored in the masking image memory area several times per second. Create by copying and adding disturbance image to it. To transfer M d to the monitor, you can use the color table change method just like M i . Since M i can effectively mask a fast changing private image and M d can slowly mask a slowly changing private image, in one embodiment, the ratio of M i : M d is differently adjusted according to the characteristics of the private image. For example, if there are a lot of still images in a private video such as text work, increase the ratio of M d , and if there are many videos, increase the ratio of M i . The ratio adjustment may be automatically adjusted to a ratio set by the private display software to identify the characteristics of the current private image by the identified characteristics, or may be adjusted by the user. In addition, the ratio adjustment range is determined by limiting the display frequency of M i and M d per second in consideration of the current refresh rate of the monitor and the sensitive frequency characteristics of the human visual perception.
비공개 영상에 비하여 마스킹 영상을 눈에 잘 띄게 하는 것이 일반적이므로, 비공개 영상의 대비를 마스킹 영상의 대비에 비하여 축소할 필요가 자주 생긴다. 영상의 대비를 축소할 경우에 픽셀 영상값을 일일이 계산하여 축소할 수도 있지만 이는 계산 시간이 많이 걸린다. 영상의 대비를 변환에 의하여 축소하는 것을 컬러공간 동적 범위(dynamic range) 축소법이라 정의한다. 여기서 동적 범위란 컬러 공간의 최대 대비(최대값과 최소값의 차), 모니터 밝기의 범위, 모니터로 출력되는 전압의 범위 등과 같은 개념이다. 일 실시예로 HW 방식에서 비공개 영상이 출력될 때만 하드웨어적으로 모니터 전압의 범위를 축소할 수 있다. 다른 실시예로는 HW 방식에서 비공개 영상이 출력될 때는 그대로 출력하고 마스킹 영상이 출력될 때는 모니터의 전압을 증폭할 수도 있다. SW 방식으로는 일 실시예로서 컬러 테이블 변경 방법을 이용한 컬러 공간 동적 범위 축소가 있다. 예를 들어 컬러 테이블 변경법으로 입력 RGB 범위[0,255]를 출력 RGB 범위 [56,255]로 축소한다.Since it is common to make the masked image more prominent than the private image, it is often necessary to reduce the contrast of the private image compared to the contrast of the masked image. When the contrast of the image is reduced, pixel image values can be calculated and reduced, but this takes a lot of calculation time. Reducing the contrast of an image by transformation is defined as color space dynamic range reduction. Here, dynamic range is a concept such as the maximum contrast of the color space (difference between the maximum value and the minimum value), the range of monitor brightness, and the range of voltage output to the monitor. According to an embodiment, the range of the monitor voltage may be reduced in hardware only when the private video is output in the HW method. In another embodiment, when the private image is output in the HW method, the private image may be output as it is, and when the masking image is output, the voltage of the monitor may be amplified. In the SW method, there is a color space dynamic range reduction using a color table changing method. For example, by changing the color table, the input RGB range [0,255] is reduced to the output RGB range [56,255].
비공개 디스플레이에서 사용자는 모니터 영상의 일부인 비공개 영상만을 보기 때문에 일반 모드에서보다 화면을 어둡게 볼 수 있으므로 전체적으로 밝기를 올려줄 필요가 발생한다. 이를 위해 모니터로 들어가는 전압을 증폭시킬 수도 있고 컬러 테이블 변환값을 전반적으로 밝은 쪽으로 상향 천이할 수 있다. 3M사의 비공개 필터(privacy filter) 또는 밝기 강화 필름(brightness enhancement film)을 사용하여 모니터의 상대 밝기를 향상시키는 방법을 사용한다. 이 과정에서 모니터의 밝기 조정 버튼과 대비 조정 버튼 등의 사용자 조정을 고려해야 한다.In the private display, the user only sees the private image that is part of the monitor image, so the screen is darker than in the normal mode, so there is a need to increase the overall brightness. This can be accomplished by amplifying the voltage into the monitor and shifting the color table conversion upwards towards overall brightness. A 3M privacy filter or brightness enhancement film is used to improve the relative brightness of the monitor. In this process, user adjustments such as brightness adjustment button and contrast adjustment button on the monitor should be considered.
동적 역상을 생성하여 비공개 영상과 교체 표시하면 거의 균일한 회색 화면이 맨눈으로 보여진다. 그러나 시간 적분이 완벽하지 못해서 미세한 컬러, 공간 패턴이 남아 있더라도 균일한 회색 화면이 배경으로 표시되므로 눈에 띄는 문제점이 있다. 특히 중간~높은(tf1~tf3) 시간 주파수와 중간~높은(sf1~sf3) 공간 주파수에서 두드러진다. 이를 해결하기 위해 일 실시예로서 색채를 띈 동적 역상(coloreddynamic inverse image)을 제공한다. 색채를 띈 동적 역상은 비공개 영상과 교체 표시될 경우 약간의 색채를 띈 회색이 되도록 동적 역상에 특정 색채의 Ga값을 증가시키거나 감소시킨 영상이다. 일 실시예에서 마스킹 영상이 디스플레이되는 하나의 모니터 프레임 시간 동안 컬러 테이블 변경 방법으로 색채를 띈 동적 역상의 색채를 여러번 변화시키면 하나의 마스킹 영상 모니터 프레임 안에 여러 조각의 다른 색채를 띈 역상을 생성할 수 있다. 이렇게 색채를 띈 동적 역상은 불완전한 시간 적분으로 인한 미세한 컬러, 공간 패턴을 차단하는데 효과적이다. 더욱 일반적인 실시예에서는 마스킹 영상이 휘도 측면에서만 동적 역상이고 컬러는 임의로 변경된 영상으로서 생성될 수 있다.When you create a dynamic reverse image and swap it for a private video, you see a nearly uniform gray screen with bare eyes. However, there is a noticeable problem because a uniform gray screen is displayed as a background even though fine color and spatial patterns remain because the time integration is not perfect. This is especially true at medium to high (tf1 to tf3) time frequencies and at medium to high (sf1 to sf3) spatial frequencies. To solve this problem, as an example, a colored dynamic inverse image is provided. A color dynamic reversed image is an image in which the Ga value of a specific color is increased or decreased so that the color becomes slightly shaded gray when it is replaced with a private image. In one embodiment, changing the color of the dynamic reversed image that is colored by the color table changing method during one monitor frame time during which the masked image is displayed may generate multiple pieces of different colors in one masked image monitor frame. have. This colorful dynamic reverse phase is effective in blocking fine color and spatial patterns due to incomplete time integration. In a more general embodiment, the masking image may be generated as an image with dynamic inversion only in terms of luminance and the color arbitrarily changed.
본 발명의 다른 실시예에서는 부드러운 셔터 개폐를 위하여 특수한 시퀀스 위치에서 다음과 같은 비공개 영상의 분리법을 사용할 수 있다. 예를 들어 비공개 영상의 한 픽셀 영상값이 (R1,G1,B1)인 영상 P1과 (R2,G2,B2)인 영상 P2가 연달아 디스플레이될 경우, 대신 (R3,G3,B3)인 영상 P3와 (R4,G4,B4)인 영상 P4가 연달아 디스플레이 되도록 한다. 단, 여기서 (R1,G1,B1)인 영상과 (R2,G2,B2)인 영상의 동적 평균 픽셀 영상값을 (R3,G3,B3)과 (R4,G4,B4)인 영상의 동적 평균 픽셀 영상값과 동일하도록 한다.In another embodiment of the present invention, the following private image separation method may be used at a special sequence position for smooth shutter opening and closing. For example, when one pixel image value of the private image is (R1, G1, B1) and the image P2 (R2, G2, B2) are displayed successively, instead of the image P3 having (R3, G3, B3) The images P4 having (R4, G4, B4) are displayed in succession. Here, the dynamic average pixel image values of the image of (R1, G1, B1) and the image of (R2, G2, B2) are the dynamic average pixels of the image of (R3, G3, B3) and (R4, G4, B4). It is equal to the video value.
하나의 모니터로서 2인 이상의 허가된 사용자에게 동시에 비공개 디스플레이를 제공할 경우에는 그에 맞는 배합 규칙을 따른다. 사용자 a의 비공개 영상 프레임을 P_a, 사용자 a의 마스킹 영상 프레임을 M_a, 사용자 b의 비공개 영상 프레임을 P_b, 사용자 b의 마스킹 영상 프레임을 M_b라 정의한다. 이 때 사용자 a에게는P_b와 M_b도 M_a와 마찬가지로 마스킹 영상 역할을 한다. 2인 이상의 허가된 사용자에게 동시에 비공개 디스플레이를 제공할 경우에도 P_a, P_b, M_a, M_b를 영상 요소로 하여 상기와 같은 다양한 배합 규칙을 간단히 변형 적용하여 배합할 수 있다.When providing a private display to two or more authorized users simultaneously as a monitor, follow the formulation rules. A private video frame of user a is defined as P_a, a masking video frame of user a as M_a, a private video frame of user b as P_b and a masking video frame of user b as M_b. At this time, P_b and M_b also act as masking images to user a as M_a. Even when providing a private display to two or more authorized users at the same time, it is possible to combine and modify various combination rules as described above, using P_a, P_b, M_a, and M_b as image elements.
전술한 바와 같은 본 발명에 의하면 인간의 시지각 특성을 감안한 보다 효과적인 마스킹 영상을 생성할 수 있다. 또한 동적 역상과 같은 원상 유도 영상 및 교란 영상을 실시간으로 생성할 수 있게 된다.According to the present invention as described above it is possible to generate a more effective masking image in consideration of human visual perception characteristics. In addition, it is possible to generate a circular guided image and a disturbed image such as a dynamic reversed image in real time.
Claims (48)
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2003-0003600A KR100471560B1 (en) | 2003-01-20 | 2003-01-20 | Device and method for outputting a private image using a public display |
PCT/KR2004/000099 WO2004066620A1 (en) | 2003-01-20 | 2004-01-20 | Device and method for outputting a private image using a public display |
US10/542,590 US7978929B2 (en) | 2003-01-20 | 2004-01-20 | Device and method for outputting a private image using a public display |
US13/073,220 US8224118B2 (en) | 2003-01-20 | 2011-03-28 | Device and method for outputting a private image using a public display |
US13/073,298 US8213675B2 (en) | 2003-01-20 | 2011-03-28 | Device and method for outputting a private image using a public display |
US13/073,108 US8238692B2 (en) | 2003-01-20 | 2011-03-28 | Device and method for outputting a private image using a public display |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2003-0003600A KR100471560B1 (en) | 2003-01-20 | 2003-01-20 | Device and method for outputting a private image using a public display |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20040066517A true KR20040066517A (en) | 2004-07-27 |
KR100471560B1 KR100471560B1 (en) | 2005-02-23 |
Family
ID=37356336
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR10-2003-0003600A KR100471560B1 (en) | 2003-01-20 | 2003-01-20 | Device and method for outputting a private image using a public display |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR100471560B1 (en) |
-
2003
- 2003-01-20 KR KR10-2003-0003600A patent/KR100471560B1/en not_active IP Right Cessation
Also Published As
Publication number | Publication date |
---|---|
KR100471560B1 (en) | 2005-02-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7978929B2 (en) | Device and method for outputting a private image using a public display | |
JP5299275B2 (en) | Image processing apparatus and method, program, and display apparatus | |
RU2201609C2 (en) | Process of data display for users located together but intended for individual persons | |
JP4038687B2 (en) | An image changing device using a sequential reverse encryption method for providing visibility of a basic display image under security protection | |
CN106557711B (en) | The screen privacy guard method of mobile terminal device and system | |
EP0731405B1 (en) | An apparatus, system and method for data security | |
JP5029610B2 (en) | Image processing apparatus, image processing method and program, display apparatus, and image display system | |
JP5163637B2 (en) | Image processing apparatus and method, program, and display apparatus | |
US20070247392A1 (en) | Method for displaying private/secure data | |
GB2428152A (en) | Processing image data for direction dependent viewing on a display device | |
DE102015122767A1 (en) | OPERATION OF A DEVICE FOR VIEWING FIRST CONTENT FRAMES DISPLAYED ON A DISPLAY BETWEEN SECOND CONTENT FRAMES | |
JPWO2008078630A1 (en) | Display device and display method | |
US8144164B2 (en) | Image display apparatus and method | |
Gao et al. | Information security display system based on temporal psychovisual modulation | |
US8373807B2 (en) | Data producing method and electronic device thereof | |
KR100471560B1 (en) | Device and method for outputting a private image using a public display | |
KR100502257B1 (en) | Method of transmitting signal for indicating opening or shuttering of a shutter in a private image displaying device | |
KR100538131B1 (en) | Method of outputting private images using a public display and a shutter device | |
KR100538140B1 (en) | Method for displaying a private image using a public monitor | |
TW201005528A (en) | Method for adjusting display settings and computer system using the same | |
Wang et al. | Simulation of color breakup based on measured display temporal responses | |
CN107516493A (en) | A kind of image display system and its method | |
Kobayashi et al. | Vertical anisotropy in lightness perception not caused by lighting assumption | |
JP5400126B2 (en) | Stereoscopic image display apparatus, stereoscopic image display method, and computer-executable program | |
Doğruel | A method for concealment of displayed data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20120110 Year of fee payment: 8 |
|
LAPS | Lapse due to unpaid annual fee |