KR20190094385A - 데이터 전송 방법 및 데이터 전송 장치 - Google Patents

데이터 전송 방법 및 데이터 전송 장치 Download PDF

Info

Publication number
KR20190094385A
KR20190094385A KR1020197018617A KR20197018617A KR20190094385A KR 20190094385 A KR20190094385 A KR 20190094385A KR 1020197018617 A KR1020197018617 A KR 1020197018617A KR 20197018617 A KR20197018617 A KR 20197018617A KR 20190094385 A KR20190094385 A KR 20190094385A
Authority
KR
South Korea
Prior art keywords
image
users
focus
modulation
area
Prior art date
Application number
KR1020197018617A
Other languages
English (en)
Inventor
버르한 귈바하르
외즈귀르 일디즈
Original Assignee
베스텔 일렉트로닉 사나이 베 티카레트 에이에스
외지에인 위니베르시테시
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베스텔 일렉트로닉 사나이 베 티카레트 에이에스, 외지에인 위니베르시테시 filed Critical 베스텔 일렉트로닉 사나이 베 티카레트 에이에스
Publication of KR20190094385A publication Critical patent/KR20190094385A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/11—Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
    • H04B10/114—Indoor or close-range type systems
    • H04B10/116—Visible light communication
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H04N21/25825—Management of client data involving client display capabilities, e.g. screen resolution of a mobile phone

Abstract

본 발명은 이미지(101)를 디스플레이하는 디스플레이 장치(100, 200)로 가시광을 통해 데이터(102)를 전송하는 데이터 전송 방법을 제공하며, 이 방법은 디스플레이 장치(100, 200)의 다수의 사용자(103)의 눈 움직임을 검출하는 단계(S1); 디스플레이된 이미지(101)에서 사용자들(103)의 초점영역(107, 207)을 계산하는 단계(S2); 및 전송될 데이터에 따라 디스플레이된 이미지(101)를 변조영역(109, 209)에서 변조하는 단계를 포함하며, 상기 변조영역은 사용자들(103)의 초점영역(107, 207)이 없는 이미지 표면을 포함한다. 또한, 본 발명은 각각의 방법을 제공한다.

Description

데이터 전송 방법 및 데이터 전송 장치
본 발명은 데이터 전송 방법 및 데이터 전송 장치에 관한 것이다.
광에 의한 데이터 전송을 이용하는 임의의 시스템에 적용 가능하지만, 본 발명은 가시광에 의한 데이터 전송과 관련하여 주로 설명될 것이다.
최신 통신 시스템은 HD 비디오 데이터 등과 같은 높은 대역폭의 데이터를 전송하기 위해 점점 더 높은 데이터율(data rate)을 제공해야 한다.
이더넷 또는 WLAN과 같은 전자기 데이터 전송 시스템에서, 각각의 시스템의 대역폭을 증가시키기 위해 복수의 접근법이 사용된다. 그러나 가능한 대역폭을 추가로 늘리기 위해 그리고 데이터를 전송하기 위해 특히 가시광이 사용될 수 있다. 그러나 광에 의한 데이터 전송은 인간이 광의 변조 인공물(artefacts)을 감지, 즉 볼 수 있다는 것을 고려해야 한다. 이러한 경우 광 변조의 수용이 낮을 수 있다.
눈에 보이는 변조 인공물을 피하기 위해 변조의 가시광에 대한 영향이 대개 낮게 유지된다. 이는 가시 스펙트럼 외부의 광을 사용하여 데이터를 전송하거나 또는 감지 불가능하거나 방해가 되지 않는 약간의 변조만을 가시광에 대해 사용하여 수행될 수 있다. 그러나 이것은 가능한 대역폭을 감소시킨다. HiLight 표준을 따르는 가시광에 의한 데이터 전송은 예를 들어 방출된 광의 1% 변경만을 허용한다.
따라서, 데이터 전송을 위한 가시광의 개선된 변조가 필요하다.
본 발명은 청구항 1의 특징을 갖는 데이터 전송 방법 및 청구항 8의 특징을 갖는 데이터 전송 장치를 제공한다.
이미지를 디스플레이하는 디스플레이 장치로 가시광에 의해 데이터를 전송하는 데이터 전송 방법은, 상기 디스플레이 장치의 사용자들 중 다수(예컨대, 하나 이상)의 눈 움직임을 검출하는 단계, 디스플레이된 이미지에서 사용자들의 초점영역을 계산하는 단계, 및 상기 전송될 데이터에 따라 변조영역에서 상기 디스플레이된 이미지를 변조하는 단계를 포함하며, 상기 변조영역은 상기 사용자들의 초점영역이 없는 상기 이미지 표면을 포함한다.
이미지를 디스플레이하는 디스플레이 장치로 가시광에 의해 데이터를 전송하기 위한 데이터 전송 장치는 상기 디스플레이 장치의 다수의 사용자들의 눈 움직임을 검출하도록 구성된 눈 움직임 검출기, 상기 디스플레이된 이미지에서 사용자들의 초점영역을 계산하도록 구성된 초점 계산기, 및 상기 전송될 데이터에 따라 변조영역에서 상기 디스플레이된 이미지를 변조하도록 구성된 이미지 변조기를 포함하며, 상기 변조영역은 사용자들의 초점영역이 없는 이미지 표면을 포함한다.
본 발명은 사람의 눈이 한 번에 특정 초점에만 초점을 맞출 수 있고 또한 인간은 그 초점 주위의 매우 작은 영역에서만 뚜렷하게 볼 수 있다는 발견에 기초한다.
본 발명은 이제 이 지식을 이용하고, 예를 들어 TV 세트, 비디오 프로젝터, 디지털 신호계 표지판, 태블릿 PC 또는 스마트폰 등과 같은 임의의 종류의 디스플레이 장치와 함께 사용될 수 있는 가시광에 의한 데이터 전송 방법을 제공한다.
본 발명은 예를 들어 TV 또는 태블릿 PC 등에 내장될 수 있는 카메라와 같은 광학 센서로 디스플레이 장치의 사용자들의 눈의 움직임을 검출하는 것을 기초로 한다. 그러나 사용자의 눈 움직임을 검출하기 위해 전용 광학 센서가 제공될 수 있다. 눈 움직임을 검출하기 위한 임의의 적절한 방법이 사용될 수 있는 것으로 이해된다. 예를 들어 광(전형적으로, 적외선)이 눈에서 반사되어 광학 센서에 의해 감지될 수 있다. 그런 다음 정보를 분석하여 반사의 변화로부터 눈 움직임 또는 회전 정보를 추출할 수 있다. 비디오 기반의 눈 추적은 시간 경과에 따라 추적할 수 있는 특징으로 각막 반사 및 동공 중심을 사용할 수도 있다.
검출된 눈 움직임에 기초하여, 단일 사용자에 대한 초점영역이 계산된다. 초점영역은 사용자가 뚜렷하게 지각할 수 있는 상기 디스플레이된 이미지상의 영역을 지칭한다. 인간의 눈이 지각하는 이들 영역은 일반적으로 이미지 폭에 비해 상대적으로 작다.
마지막으로, 상기 디스플레이된 이미지는 상기 검출된 초점영역에 따라 변조된다. 이 문맥에서의 변조는 상기 디스플레이된 이미지의 이미지 데이터를 변조영역에서 변조하는 것을 의미한다. 상기 변조영역은 상기 검출된 초점영역들 중 어느 것의 부분이 아닌 상기 디스플레이된 이미지의 영역들만을 포함한다.
본 발명은 디스플레이 장치의 사용자들에 의해 뚜렷하게 지각되지 않는 디스플레이된 이미지의 섹션들만을 데이터를 전송하기 위해 사용한다. 그러므로 상기 디스플레이된 이미지의 그 섹션에 대한 변경은, 사용자가 임의의 주어진 시간에 전체 이미지를 볼 수 있다는 가정에 기초하여 전체 이미지를 변조하는 것에 비해 크게 증가될 수 있다.
그 다음에 상기 변조된 이미지 또는 비디오는 예를 들어 원래 데이터 또는 메시지의 재생을 위해 전자 장치의 카메라를 통해 기록될 수 있다. 그러한 전자 장치는 예를 들어 스마트폰, 태블릿 PC 등일 수 있다. 따라서, 모바일 장치는 변조된 이미지 또는 비디오의 복조를 수행하기 위해 필요한 각각의 복조 기능 또는 블록들을 포함할 수 있다.
따라서, 본 발명은 디스플레이로부터 임의의 카메라 가능 장치로 데이터를 전송하기 위한 데이터 통신 시스템을 제공한다.
본 발명의 다른 실시 예는 도면들을 참조하는 추가의 종속항들 및 이하의 설명의 주제이다.
일 실시 예에서, 사용자들의 눈 움직임을 검출하는 단계는 사용자들의 이미지를 기록하는 과정 및 기록된 이미지들에서 사용자들의 눈을 검출하는 과정을 포함할 수 있다. 이미지 기록하는 과정은 예를 들면 임의의 유형의 카메라로 수행될 수 있다. 그러한 카메라는 예를 들면 TV의 프레임 내 또는 스마트폰 또는 태블릿에 내장될 수 있다. 대안으로, 사용자의 눈 움직임을 추적하기 위해 추가 카메라가 디스플레이 장치와 독립적으로 위치될 수 있다. 상기 검출은 예를 들어 눈 검출기 구성요소에 의해 수행될 수 있다. 눈 검출기 구성요소는 예를 들어 카메라의 프로세서 또는 데이터 전송 장치의 임의의 다른 프로세서에서 실행되는 소프트웨어 구성요소 일 수 있다.
일 실시 예에서, 초점영역을 계산하는 단계는 사용자들의 초점을 계산하는 과정 및 각 시점을 주위에서 0°내지 10°, 특히 8°, 6°, 4°또는 2°의 시야각에 대응하는 초점영역을 계산하는 과정을 포함할 수 있다. 초점영역을 한정하는 사람 눈의 시야각, 즉 사람이 뚜렷하게 인식하는 전체 시야의 부분은 매우 제한된다. 전체 영역의 매우 제한된 부분에 초점영역을 적응시킴으로써, 이미지의 더 큰 부분이 데이터의 변조를 위해 제공될 수 있다.
일 실시 예에서, 초점영역을 계산하는 단계는, 각각의 영역의 시야각 또는 반경이 각각의 영역의 변조량을 규정하는, 상이한 시야 각 또는 반경을 가진 각각의 시점 주위의 둘 이상의 영역을 계산하는 과정을 포함할 수 있으며, 각각의 영역의 시야 각 또는 반경은 각각의 영역의 변조량을 한정한다. 이 문맥에서 영역의 단계적인 계산은 각각의 초점 주위의 단일 영역을 초과하여 계산하는 것을 지칭하며, 상기 영역들은 상이한 반경 범위를 포함하고, 예를 들어, 사격 목표 디스크의 링 등과 같이 초점 주위의 링과 같이 배열된다. 각 링의 거리는 예를 들어 데이터를 이미지로 변조하도록 허용된 각 영역에 대한 수정량을 한정할 수 있다. 예를 들어 상기 양은 예를 들어 색 또는 밝기 값의 수정 백분율로 정의될 수 있다. 상기 영역은 또한 상이한 반경을 갖는 타원형일 수 있다는 것이 이해된다.
일 실시 예에서, 데이터 전송 방법은 디스플레이된 이미지에서 사용자들의 초점영역을 마스킹함으로써 변조영역을 계산하는 단계를 포함할 수 있다. 마스킹은 변조에 사용할 수 없는 이미지의 영역들에서 변조에 사용될 수 있는 이미지의 영역들을 분리하는 매우 효율적인 방법이다. 이러한 마스크는 예를 들어 이미지 조작 프로그램에서 "알파" 레이어와 같이 제공되거나 RGBA 이미지 데이터의 알파 정보와 같이 제공될 수 있다. 그러나 임의의 다른 마스킹 유형도 사용할 수 있다. 마스크의 정보는 또한 각 섹션에 대한 변조의 등급 또는 양을 한정할 수도 있다.
일 실시 예에서, 변조 단계는 변조영역에서 전송될 데이터에 따라 디스플레이된 이미지의 색 및 강도의 적어도 하나를 수정하는 과정을 포함할 수 있다. 이미지의 단일 픽셀 또는 영역의 색 및 강도의 적어도 하나를 수정하는 것은 디스플레이된 이미지를 통해 방출된 가시광에 의해 정보를 제공하고 전송하는 효과적인 방법이다. 이러한 변조는 예를 들어, 이미지에 랜덤 배경 잡음으로서 정보를 내장하거나, 컬러 시프팅하거나, 또는 이미지의 임의의 다른 특성을 수정하는 것을 포함할 수 있다.
예를 들어, 색 및 밝기 기반 변조와 같은 두 가지 변조가 동시에 사용되는 것도 또한 가능하다.
일 실시 예에서, 변조 단계는 원래 이미지 데이터가 20%와 90% 사이에서, 특히 40%, 60% 또는 80% 수정되도록 디스플레이된 이미지의 내용을 변조하는 과정을 포함할 수 있다. 20%와 90% 사이의 수정량은 예를 들어 디스플레이된 이미지의 각 영역의 색 또는 밝기의 변화를 나타낸다. 이것은 예를 들면 변조영역에서 밝기가 원래의 밝기 값의 90%까지 변경될 수 있음을 의미한다. 각 영역 또는 픽셀의 밝기는 예를 들어 각 데이터를 디스플레이된 이미지로 변조하기 위해 낮추거나 증가시킬 수 있다. 추가로 또는 대안으로, 각 이미지의 컬러 값이 최대 90%까지 수정되는 색 변조가 적용될 수 있다. 이 변경은 단일 색 또는 알파 채널을 가리키거나 또는 결합 된 색 정보를 가리킬 수 있다. 변조를 위한 색 기준은 RGB, YMCK 등과 같은 임의의 적절한 색 구성(color scheme)일 수 있다. 상기 색 구성은 예를 들어 디스플레이 장치에서 사용되는 색 구성일 수 있다.
본 발명 및 그 이점을 보다 완전하게 이해하기 위해, 첨부된 도면과 함께 다음의 설명을 참조할 것이다. 본 발명은 다음 도면들의 개략적인 도면에 특정된 예시적인 실시예를 사용하여 보다 상세히 설명된다.
도 1은 본 발명에 따른 방법의 일 실시 예의 흐름도;
도 2는 본 발명에 따른 방법의 다른 실시 예의 흐름도;
도 3은 본 발명에 따른 장치의 일 실시 예의 블록도; 및
도 4는 본 발명에 따른 장치의 다른 실시 예의 블록도를 도시한다.
도면에서 달리 언급되지 않는 한, 동일한 참조 부호는 동일한 요소를 나타낸다.
도 3 및 4에서 사용된 장치 요소의 참조 부호는 명확성을 위해 도 1 및 도 2에서 상기 방법의 설명에서도 사용된다.
도 1은 이미지(101)를 디스플레이하는 디스플레이 장치(100, 200)를 가지고 가시광에 의해 데이터(102)를 전송하는 데이터 전송 방법의 흐름도를 도시한다.
이 방법은 디스플레이 장치(100, 200)의 다수의 사용자(103)의 눈 움직임을 검출하는 단계(S1)를 포함한다. 다수의 사용자(103), 예를 들어 하나 이상의 눈 움직임이 이 단계(S1)에서 추적되거나 검출될 수 있다.
사용자(103)의 눈 움직임을 검출한 후, 디스플레이된 이미지(101) 내의 사용자들(103)의 초점영역(107, 207)이 계산된다(S2). 초점영역(107, 207)은 각각의 사용자(103)가 보고 있는 초점 및 그 초점 주위의 미리 정의된 영역을 지칭한다.
마지막으로, 디스플레이된 이미지(101)는 전송될 데이터(102)에 따라 변조영역(109, 209)에서 변조된다. 변조영역(109, 209)은 사용자들(103)의 초점영역(107, 207)이 없는 이미지 표면을 포함한다. 이것은 변조영역(109, 209)이 초점영역(107, 207)의 수에 따라 감소한다는 것을 의미한다. 그러나 예를 들어, 상이한 사용자들(103)이 동일한 초점을 보고 있고 따라서 그들은 동일한 또는 중첩하는 초점영역(107, 207)을 갖는 것이 가능하다.
도 2는 도 1의 데이터 전송 방법에 기초하는 다른 데이터 전송 방법의 흐름도를 도시한다.
도 2의 방법에서 사용자들(103)의 눈 움직임을 검출하는 단계(S1)는 사용자들(103)의 이미지들(211)을 기록하는 단계(S11)와 기록된 이미지들(211)에서 사용자들(103)의 눈을 검출하는 단계(S12)를 포함한다.
초점영역(107, 207)을 계산하는 단계(S2)는, 예를 들어 이미지들(211)에서 검출된 눈의 위치 및 방향에 기초하여, 각 사용자(103)의 초점을 계산하는 단계(S21)를 포함한다.
사용자들(103)의 초점에 대한 정보에 기초하여, 모든 단일 사용자에 대한 초점영역(107, 207)이 계산될 수 있다(S22). 초점영역(107, 207)은 예를 들어, 각각의 시점(viewing point) 주위의 0°내지 10°, 특히 8°, 6°, 4°또는 2°의 시야각에 대응할 수 있다.
초점영역들(107, 207)을 계산하는 단계(S22)는 또한 상이한 시야각을 갖는 각각의 시점들 주위의 적어도 두 개의 영역을 계산하는 단계를 포함할 수 있다. 그러면 각각의 영역의 시야각은 각각의 영역의 변조량을 한정할 수 있다. 그것은 초점까지의 거리가 각 영역의 변조 양을 한정하는 것을 의미한다. 초점으로부터 초점영역이 멀어질수록 각 영역에서 더 많은 변조가 허용된다. 가장 중앙의 초점영역은 보통 변조를 포함하지 않는다.
변조영역(109, 209)은 예를 들면, 디스플레이된 이미지(101)에서 사용자들(103)의 초점영역(107, 207)을 마스킹(masking out)함으로써 한정될 수 있다.
변조 단계(S3)는 변조영역(109, 209)에서 전송될 데이터(102)에 따라 상기 디스플레이된 이미지(101)의 색을 수정하는 단계(S31) 및 강도를 수정하는 단계(S32) 중 적어도 하나를 포함할 수 있다. 도 2에서 색을 수정하는 단계(S31) 및 강도를 수정하는 단계(S32)가 도시되어 있지만, 단지 하나의 변조 유형만으로도 가능하다는 것이 이해된다. 또한, 다른 유형의 가시광 변조 방식이 사용될 수 있다. 변조영역(109, 209)에서 이미지 데이터를 변조할 때, 상기 디스플레이된 이미지(101)의 내용은 원래 이미지 데이터가 20%와 90% 사이, 특히 40%, 60% 또는 80% 수정되도록 변조될 수 있다.
도 3은 가시광에 의해 데이터(102)를 전송하기 위한 데이터 전송 장치(104)의 블록도를 도시한다. 데이터 전송 장치(104)는 이미지(101)를 표시하는 TV와 함께 배치되어 있다. 데이터 전송 장치(104)는 예를 들어 스마트폰, 태블릿 PC, 컴퓨터 또는 노트북과 같은 임의의 다른 유형의 디스플레이 장치와 함께 또는 그 내부에 배치될 수 있는 것으로 이해된다.
데이터 전송 장치(104)는 초점 계산기(106)에 결합되는 눈 움직임 검출기(105)를 포함하며, 초점 계산기(106)는 이미지 변조기(108)에 결합된다.
눈 움직임 검출기(105)는 디스플레이 장치(100)의 다수의 사용자(103)의 눈 움직임을 검출한다. 사용자들(103)의 눈 움직임이 검출되면, 초점 계산기(106)는 상기 검출된 눈 움직임에 기초하여 상기 디스플레이된 이미지(101)에서 사용자들(103)의 초점영역들(107)을 계산한다. 도 3에는 하나의 사용자(103)만이 도시되어 있다. 그러나 임의의 수의 사용자(103)가 존재할 수 있는 것으로 이해된다.
초점 계산기(106)는 예를 들어 사용자(103)의 시선 방향을 결정할 수 있고, 시선의 방향과 표시된 이미지(101)의 교차를 결정할 수 있다. 초점영역(107)은 상기 디스플레이된 이미지(101)의 어느 섹션들이 데이터(102)에 따른 변조를 위해 사용될 것인지를 이미지 변조기(108)를 위해 한정한다. 초점 계산기(06)는 디스플레이된 이미지(101)에서 사용자들(103)의 초점영역(107)을 마스킹함으로써 변조영역(109)을 계산할 수 있다.
따라서, 통상적으로 변조영역(109)은 사용자들(103)의 초점영역(107)이 없는 이미지 표면 또는 영역을 포함할 것이다.
따라서, 이미지 변조기(108)는 전송될 데이터(102)에 따라 변조영역(109)에서 상기 디스플레이된 이미지(101)를 변조한다.
데이터(102)를 이미지(101) 내로 변조하기 위해, 이미지 변조기(108)는 예를 들어, 데이터(102)에 따라 변조영역(109)에서 상기 디스플레이된 이미지(101)의 색 및 강도 중 적어도 하나를 수정할 수 있다.
또한, 사용자가 어떤 방해도 인지하지 못하도록 변조를 제공하기 위해, 이미지 변조기(108)는, 예를 들어 원래의 이미지 데이터가 20%와 90% 사이, 특히 40%, 60% 또는 80% 수정되도록, 미리 정의된 변조 등급에 따라 상기 디스플레이된 이미지(101)의 내용을 변조할 수 있다.
도 4는 본 발명에 따른 다른 데이터 전송 장치(204)의 블록도를 도시한다. 데이터 전송 장치(204)는 도 1의 데이터 전송 장치(104)에 기초하고 추가 구성요소를 포함한다.
눈 움직임 검출기(205)는 예를 들어 눈 검출기 구성요소(212)에 결합된 카메라(210)를 포함한다. 눈 검출기 구성요소(212)는 초점영역 계산 유닛(214)에 결합 된 초점 계산 유닛(213)에 결합된다. 초점영역 계산 유닛(214)은 변조영역 결정 유닛(215)에 결합되고, 변조영역 결정 유닛(215)은 변조기(216)에 결합된다.
카메라(210)는 사용자들의 이미지(211)를 기록하고, 눈 검출기 구성요소(212)에 상기 기록된 이미지(211)를 제공하며, 눈 검출기 구성요소(212)는 기록된 이미지(211)에서 사용자의 눈을 검출한다.
기록된 이미지들(211)에서 사용자들의 검출된 눈에 기초하여, 계산 기능(213)은 각 사용자들의 초점을 계산한다. 그 다음 초점영역 계산 기능(214)은 초점영역(207)을 계산한다. 초점영역 계산 기능(214)은 예를 들어, 각 시점 주위의 0°내지 10°, 특히 8°, 6°, 4°또는 2°의 시야각에 대응하도록 초점영역(207)을 계산할 수 있다. 또한, 초점영역 계산 기능(213)은 상이한 시야각을 갖는 각각의 시점들 주위의 적어도 2개의 영역을 계산하도록 구성될 수 있다. 이러한 실시 예에서, 각 초점 영역의 시야각은 각 초점 영역의 변조량을 한정한다.
초점영역(207)에 관한 정보를 이용하여, 이미지 변조기(208)의 변조영역 결정 유닛(215)은 변조영역들, 즉 데이터(202)의 변조를 위해 이용 가능한 이미지(201)의 섹션을 결정한다. 또한, 변조영역 결정 유닛(215)은, 예를 들어, 전술한 바와 같이, 링 모양으로 배열된 초점영역들과 함께 사용하기 위해, 상이한 변조량을 갖는 복수의 변조영역을 결정할 수 있다.
마지막으로, 변조기(216)는 변조영역에서 데이터(202)를 이미지(201) 내로 변조하고 이미지(201)를 디스플레이 장치(200)로 전송한다.
데이터 전송 장치(104, 204)의 구성요소들, 예를 들어, 눈 움직임 검출기(105, 205), 초점 계산기(106, 206) 또는 이미지 변조기(108, 208) 또는 그들의 종속 요소들 중 임의의 요소는 분리된 또는 전용의 실체로서 제공될 수 있는 것으로 이해된다. 또한, 이들 요소 중 임의의 요소는 예를 들어 프로그램 구성요소로서 제공될 수 있고, 데이터 전송 장치(104, 204)가 제공되는 장치, 예를 들어 TV 세트 또는 태블릿 PC의 프로세서에서 실행될 수 있는 것으로 또한 이해된다.
본 명세서에서는 특정 실시 예가 도시되고 설명되었지만, 다양한 대체 및/또는 등가 구현이 존재함은 당해 기술분야의 통상의 기술자에게 자명하다. 예시적인 실시 예는 단지 예일 뿐이며, 어떤 방식으로든 범위, 적용 가능성 또는 구성을 제한하지 않는다는 것을 이해해야 한다. 오히려, 전술한 요약 및 상세한 설명은 적어도 하나의 예시적인 실시 예를 구현하기 위한 편리한 로드맵을 당해 기술분야의 통상의 기술자에게 제공할 것이지만, 첨부된 청구범위에 제시된 본 발명의 범위 및 그 법적 균등물을 벗어나지 않고 예시적인 실시 예에 기술된 요소들의 기능 및 배열에 다양한 변경이 가해질 수 있음을 이해해야 한다. 일반적으로, 일반적으로, 본 출원은 본 명세서에서 논의된 특정 실시 예의 임의의 개조 또는 변형을 포괄하도록 의도된다.
본 발명은 이미지(101)를 디스플레이하는 디스플레이 장치(100, 200)로 가시광에 의해 데이터(102)를 전송하는 데이터 전송 방법을 제공하며, 상기 방법은 디스플레이 장치(100, 200)의 다수의 사용자들(103)의 눈 움직임을 검출하는 단계(S1), 디스플레이된 이미지(101)에서 사용자들(103)의 초점영역(107, 207)을 계산하는 단계(S2), 및 전송될 데이터(102)에 따라 상기 디스플레이된 이미지(101)를 변조영역(109, 209)에서 변조하는 단계(S3)를 포함하며, 상기 변조영역(109, 209)은 사용자들(103)의 초점영역(107, 207)이 없는 이미지 표면을 포함한다. 또한, 본 발명은 각각의 방법을 제공한다.
100, 200 디스플레이 장치 101, 201 이미지
102, 202 데이터 103 사용자
104, 204 데이터 전송 장치 105, 205 눈 움직임 검출기
106, 206 초점 계산기 107, 207 초점영역
108, 208 이미지 변조기 109, 209 변조영역
210 카메라 211 이미지
212 눈 검출기 구성요소 213 초점 계산 기능
214 초점영역 계산 기능 215 변조영역 결정 유닛
216 변조기 217 이미지
S1 - S4 방법 단계들 S11, S12 방법 단계들
S21, S22 방법 단계들 S31, S32 방법 단계들

Claims (14)

  1. 이미지(101)를 디스플레이하는 디스플레이 장치(100, 200)로 가시광을 통해 데이터(102)를 전송하는 데이터 전송 방법으로서,
    상기 디스플레이 장치(100, 200)의 다수의 사용자(103)의 눈 움직임을 검출하는 단계(S1);
    상기 디스플레이된 이미지(101)에서 상기 사용자들(103)의 초점영역(107, 207)을 계산하는 단계(S2); 및
    전송될 데이터(102)에 따라 변조영역(109, 209)에서 상기 디스플레이된 이미지(101)를 변조하는 단계(S3);
    를 포함하며,
    상기 변조영역(109, 209)은 상기 사용자들(103)의 초점영역(107, 207)이 없는 이미지 표면을 포함하는, 데이터 전송 방법.
  2. 제 1 항에 있어서,
    상기 사용자들(103)의 눈 움직임을 검출하는 단계(S1)는 상기 사용자들(103)의 이미지(211)를 기록하는 과정(S11) 및 상기 기록된 이미지(211)에서 상기 사용자들(103)의 눈을 검출하는 과정(S12)을 포함하는, 데이터 전송 방법.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 초점영역(107, 207)을 계산하는 단계(S2)는 각 사용자(103)의 초점을 계산하는 과정(S21) 및 각각의 시점 주위의 0°내지 10°, 특히 8°, 6°, 4°또는 2°의 시야각에 대응하는 초점영역(107, 207)을 계산하는 과정(S22)을 포함하는, 데이터 전송 방법.
  4. 제 3 항에 있어서,
    상기 초점영역(107, 207)을 계산하는 과정(S22)은 상이한 시야각을 가진 각각의 시점들 주위의 2개 이상의 영역들을 계산하는 과정을 포함하며,
    상기 각각의 영역의 시야각은 각 영역의 변조량을 한정하는, 데이터 전송 방법.
  5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    상기 디스플레이된 이미지(101)에서 상기 사용자들(103)의 초점영역(107, 207)을 마스킹함으로써 변조영역(109, 209)을 계산하는 단계(S4)를 포함하는, 데이터 전송 방법.
  6. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
    상기 변조하는 단계(S3)는 상기 변조영역(109, 209)에서 상기 전송될 데이터(102)에 따라 상기 디스플레이된 이미지(101)의 색을 수정하는 과정(S31) 및 강도를 수정하는 과정(S32) 중 적어도 하나를 포함하는, 데이터 전송 방법.
  7. 제 1 항 내지 제 6 항 중 어느 한 항에 있어서,
    상기 변조하는 단계(S3)는 원래 이미지 데이터가 20%와 90% 사이에서, 특히 40%, 60% 또는 80% 수정되도록 상기 디스플레이된 이미지(101)의 내용을 변조하는 과정을 포함하는, 데이터 전송 방법.
  8. 이미지(101)를 디스플레이하는 디스플레이 장치(100, 200)로 가시광을 통해 데이터(102)를 전송하는 데이터 전송 장치(104, 204)로서,
    상기 디스플레이 장치(100, 200)의 다수의 사용자(103)의 눈 움직임을 검출하는 눈 움직임 검출기(105, 205);
    상기 디스플레이된 이미지(101)에서 상기 사용자들(103)의 초점영역(107, 207)을 계산하는 초점 계산기(106, 206); 및
    전송될 데이터(102)에 따라 변조영역(109, 209)에서 상기 디스플레이된 이미지(101)를 변조하는 이미지 변조기(108, 208)를 포함하며,
    상기 변조영역(109, 209)은 상기 사용자들(103)의 초점영역(107, 207)이 없는 이미지 표면을 포함하는, 데이터 전송 장치.
  9. 제 8 항에 있어서,
    상기 눈 움직임 검출기(105, 205)는 상기 사용자들(103)의 이미지(211)를 기록하는 카메라(210), 및 상기 기록된 이미지(211)에서 상기 사용자들(103)의 눈을 검출하는 눈 검출기 구성요소(212)를 포함하는, 데이터 전송 장치.
  10. 제 8 항 또는 제 9 항에 있어서,
    상기 초점 계산기(106, 206)는 상기 각 사용자(103)의 초점을 계산하고 각각의 시점 주위의 0°내지 10°, 특히 8°, 6°, 4°또는 2°의 시야각에 대응하는 초점영역(107, 207)을 계산하는 계산 기능(213)을 포함하는, 데이터 전송 장치.
  11. 제 10 항에 있어서,
    상기 계산 기능은 상이한 시야각을 가진 상기 각각의 시점들 주위의 2개 이상의 영역들을 계산하도록 구성되며,
    상기 각각의 영역의 시야각은 상기 각각의 영역의 변조량을 한정하는, 데이터 전송 장치.
  12. 제 8 항 내지 제 11 항 중 어느 한 항에 있어서,
    상기 초점 계산기(106, 206)는 상기 디스플레이된 이미지(101)에서 상기 사용자들(103)의 초점영역(107, 207)을 마스킹함으로써 상기 변조영역(109, 209)을 계산하는, 데이터 전송 장치.
  13. 제 8 항 내지 제 12 항 중 어느 한 항에 있어서,
    상기 이미지 변조기(108, 208)는 상기 변조영역(109, 209)에서 상기 전송될 데이터(102)에 따라 상기 디스플레이된 이미지(101)의 색 및 강도 중 적어도 하나를 수정하는, 데이터 전송 장치.
  14. 제 8 항 내지 제 13 항 중 어느 한 항에 있어서,
    상기 이미지 변조기(108, 208)는 원래 이미지 데이터가 20%와 90% 사이에서, 특히 40%, 60% 또는 80% 수정되도록 상기 디스플레이된 이미지(101)의 내용을 변조하는, 데이터 전송 장치.
KR1020197018617A 2016-12-20 2016-12-20 데이터 전송 방법 및 데이터 전송 장치 KR20190094385A (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2016/081998 WO2018113933A1 (en) 2016-12-20 2016-12-20 Data transmission method and data transmission device

Publications (1)

Publication Number Publication Date
KR20190094385A true KR20190094385A (ko) 2019-08-13

Family

ID=57796297

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197018617A KR20190094385A (ko) 2016-12-20 2016-12-20 데이터 전송 방법 및 데이터 전송 장치

Country Status (6)

Country Link
US (1) US20200019240A1 (ko)
JP (1) JP6901094B2 (ko)
KR (1) KR20190094385A (ko)
CN (1) CN110199489B (ko)
TR (1) TR201702769A2 (ko)
WO (1) WO2018113933A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111813228B (zh) * 2020-09-07 2021-01-05 广东睿江云计算股份有限公司 一种基于用户视觉的图像传输方法及其系统

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU1935397A (en) * 1996-03-15 1997-10-10 Retinal Display Cayman Limited Method of and apparatus for viewing an image
US20020171639A1 (en) * 2001-04-16 2002-11-21 Gal Ben-David Methods and apparatus for transmitting data over graphic displays
JP4835898B2 (ja) * 2004-10-22 2011-12-14 ソニー株式会社 映像表示方法および映像表示装置
JP4692991B2 (ja) * 2005-05-20 2011-06-01 株式会社中川研究所 データ送信装置及びデータ受信装置
US20100322635A1 (en) * 2009-06-18 2010-12-23 Sony Ericsson Mobile Communications Ab Using ambient led light for broadcasting info and navigation
US8666259B2 (en) * 2010-10-07 2014-03-04 Electronics And Telecommunications Research Institute Data transmitting and receiving apparatus and method for visible light communication
US8687840B2 (en) * 2011-05-10 2014-04-01 Qualcomm Incorporated Smart backlights to minimize display power consumption based on desktop configurations and user eye gaze
US9417754B2 (en) * 2011-08-05 2016-08-16 P4tents1, LLC User interface system, method, and computer program product
US9423994B2 (en) * 2012-02-22 2016-08-23 Citrix Systems, Inc. Hierarchical display
US8866702B1 (en) * 2012-03-13 2014-10-21 Google Inc. Use of optical display system as a visual indicator for a wearable computing device
US10242462B2 (en) * 2013-04-02 2019-03-26 Nvidia Corporation Rate control bit allocation for video streaming based on an attention area of a gamer
KR102098277B1 (ko) * 2013-06-11 2020-04-07 삼성전자주식회사 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치
EP3043551B1 (en) * 2013-09-04 2019-05-01 Panasonic Corporation Display device
CN103546213A (zh) * 2013-10-16 2014-01-29 深圳市宏电技术股份有限公司 一种光通信传输方法及系统
CN103746740B (zh) * 2013-12-30 2017-06-20 北京国承万通信息科技有限公司 电子设备交互的方法和系统
EP3250982B1 (en) * 2015-01-30 2021-09-29 Hewlett-Packard Development Company, L.P. Electronic display illumination
US9711072B1 (en) * 2016-12-01 2017-07-18 Varjo Technologies Oy Display apparatus and method of displaying using focus and context displays

Also Published As

Publication number Publication date
CN110199489A (zh) 2019-09-03
US20200019240A1 (en) 2020-01-16
JP2020503820A (ja) 2020-01-30
CN110199489B (zh) 2022-03-18
WO2018113933A1 (en) 2018-06-28
JP6901094B2 (ja) 2021-07-14
TR201702769A2 (tr) 2018-07-23

Similar Documents

Publication Publication Date Title
US10795435B2 (en) System and method for hybrid eye tracker
US20220222790A1 (en) Gaze Direction-Based Adaptive Pre-Filtering of Video Data
EP3419024B1 (en) Electronic device for providing property information of external light source for interest object
US9905147B2 (en) Display device
JP5608834B1 (ja) 映像表示方法
JP5536071B2 (ja) 空間光パターンに基づく深さデータの生成
US9256089B2 (en) Object-detecting backlight unit
US20130050186A1 (en) Virtual image display device
JP2013522766A (ja) 対話型表示システム
US9535250B2 (en) Head mounted display device and method for controlling the same
KR20180032089A (ko) 이미지를 표시하는 전자 장치 및 그 제어 방법
US20200394759A1 (en) Asymmetric normalized correlation layer for deep neural network feature matching
US11449968B2 (en) System and method for synthetic depth-of-field effect rendering for videos
JP2014191474A (ja) 集中度判定プログラム、集中度判定装置、および集中度判定方法
JP6901094B2 (ja) データ伝送方法及びデータ伝送装置
KR20220014308A (ko) DSLR 품질 피사계 심도(depth-of-field) 렌더링 및 정제(refinement)를 위한 보케이미지(Bokeh image)를 생성하는 시스템 및 방법
US10388252B2 (en) Device and method to adjust display brightness
US20190279341A1 (en) Systems and methods to create a dynamic blur effect in visual content
US20080123956A1 (en) Active environment scanning method and device
US20120081533A1 (en) Real-time embedded vision-based eye position detection
KR20210059612A (ko) 심층 신경망 특징 매칭을 위한 비대칭 정규화 상관 계층
JP6883225B2 (ja) 表示制御装置、表示制御方法およびプログラム
US20220301184A1 (en) Accurate optical flow interpolation optimizing bi-directional consistency and temporal smoothness
US20240062483A1 (en) Method and device for direct passthrough in video see-through (vst) augmented reality (ar)
CN114830176A (zh) 用于深度神经网络特征匹配的非对称归一化相关层

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
WITB Written withdrawal of application