WO2016035952A1 - 이미지 처리 디바이스 및 그 이미지 처리 방법 - Google Patents

이미지 처리 디바이스 및 그 이미지 처리 방법 Download PDF

Info

Publication number
WO2016035952A1
WO2016035952A1 PCT/KR2015/001707 KR2015001707W WO2016035952A1 WO 2016035952 A1 WO2016035952 A1 WO 2016035952A1 KR 2015001707 W KR2015001707 W KR 2015001707W WO 2016035952 A1 WO2016035952 A1 WO 2016035952A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
image processing
processing device
focal depth
user
Prior art date
Application number
PCT/KR2015/001707
Other languages
English (en)
French (fr)
Inventor
체르다코프드미트리
최경동
로마노프바실리
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to US15/501,165 priority Critical patent/US10073265B2/en
Publication of WO2016035952A1 publication Critical patent/WO2016035952A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/02—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes by tracing or scanning a light beam on a screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network
    • H04N21/43637—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
    • H04N5/7475—Constructional details of television projection apparatus
    • H04N5/7491—Constructional details of television projection apparatus of head mounted projectors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0127—Head-up displays characterised by optical features comprising devices increasing the depth of field
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0129—Head-up displays characterised by optical features comprising devices for correcting parallax
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0185—Displaying image at variable distance
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Abstract

본 명세서에서는 이미지 처리 디바이스 및 그 이미지 처리 방법에 대해 개시한다. 본 발명의 일 실시 예에 따라 이미지를 처리하는 이미지 처리 디바이스는, 컨텐트를 수신하는 수신부; 레티널 스캐닝을 온하여 어콤머데이션을 측정하고, 측정된 어콤머데이션에 기초하여 포컬 뎁쓰를 계산하여 계산된 포컬 뎁쓰에 따라 이미지를 생성하도록 제어하는 제어부; 및 생성된 이미지를 출력하는 출력부를 포함한다.

Description

이미지 처리 디바이스 및 그 이미지 처리 방법
본 발명은 이미지 처리 디바이스(image processing devcie)에 관한 것으로, 더욱 상세하게는 상기 이미지 처리 디바이스에서 고정된 포커스(fixed focus)로 이미지(image)를 처리하는 것이 아니라 사용자(user)에 따라 유동적인 포커스(flexible focus) 또는 적응적인 포커스(acommodative focus)를 가지도록 이미지를 처리하는 것에 관한 것이다.
CRT(Cathod-Ray Tube), LCD(Liquid Crystal Display), 프로젝터(Projector), 웨어러블 디바이스(Wearable Device) 등 이미지 처리 디바이스(image processing device)는, 사용자(user)에 관계없이 고정된 포컬 뎁쓰(focal depth) 즉, 고정 포커스(fixed focus)로 이미지를 처리하였다.
그러나, 사용자마다 시력도 틀리고 주변 상황 등 다양한 사정이 있음에도 불구하고, 종래 고정 포커스로 이미지를 처리하는 이미지 처리 디바이스를 통해 이미지를 시청하게 되면, 포커스(focus)가 잘 맞지 않아 불편함을 느끼거나 처리된 이미지의 효과를 제대로 느끼지 못하는 문제점이 있다. 또한, 상기의 경우에, 사용자는 시청 시간이 조금만 지나도 금방 시청 피로를 느끼게 되는 문제점도 있다.
본 발명은, 상기와 같은 불편, 문제점 등을 해결하기 위해 안출된 것으로, 이미지 처리 디바이스를 기준으로 하는 것이 아니라 사용자에 따라 특정된 포컬 뎁쓰 즉, 적응적인 포커스로 이미지를 처리하는 이미지 처리 디바이스를 제공하는 것을 일 과제로 한다.
그리고, 본 발명은, 사용자에게 적응적인 포컬 뎁쓰를 적용하여 이미지를 처리함에 따라 이미지 처리 디바이스 시청시 시청 효과를 극대화하면서 시청 피로를 최소화하는 것을 다른 과제로 한다.
또한, 본 발명은, 적응적인 포컬 뎁쓰로 이미지를 처리하는 디바이스를 간단하게 구성하여 다양한 디지털 디바이스들에 적용하는 것을 또 다른 과제로 한다.
한편, 본 발명은, 상기 이미지 처리 디바이스를 통해 사용자의 시청 편의를 제공함으로써 제품 만족도를 높이고 구매 욕구를 고취시키는 것을 또 다른 과제로 한다.
본 발명에서 이루고자 하는 기술적 과제는 상기 언급한 기술적 과제로 제한되지 않으며, 언급하지 않은 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 수행하기 위해, 본 명세서에서는 이미지 처리 디바이스 및 그 이미지 처리 방법에 대해 개시한다.
여기서, 본 발명의 일 실시 예에 따른 이미지 처리 디바이스에서 이미지 처리 방법은, 컨텐트를 수신하는 단계; 레티널 스캐닝을 온하여 어콤머데이션을 측정하는 단계; 측정된 어콤머데이션에 기초하여 포컬 뎁쓰를 계산하는 단계; 계산된 포컬 뎁쓰에 따라 이미지를 생성하는 단계; 및 생성된 이미지를 출력하는 단계를 포함하여 이루어진다.
그리고 본 발명의 일 실시 예에 따라 이미지를 처리하는 이미지 처리 디바이스는, 컨텐트를 수신하는 수신부; 레티널 스캐닝을 온하여 어콤머데이션을 측정하고, 측정된 어콤머데이션에 기초하여 포컬 뎁쓰를 계산하여 계산된 포컬 뎁쓰에 따라 이미지를 생성하도록 제어하는 제어부; 및 생성된 이미지를 출력하는 출력부를 포함한다.
본 발명에서 얻을 수 있는 기술적 해결 수단은 이상에서 언급한 해결 수단들로 제한되지 않으며, 언급하지 않은 또 다른 해결 수단들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명에 따르면, 다음과 같은 효과가 있다.
본 발명의 실시 예들 중 일 실시 예에 따르면, 사용자에 따라 특정된 포컬 뎁쓰로 이미지를 처리하는 이미지 처리 디바이스를 제공할 수 있는 효과가 있다.
본 발명의 실시 예들 중 다른 실시 예에 따르면, 사용자에게 적응적인 포컬 뎁쓰를 적용하여 이미지를 처리함에 따라 이미지 처리 디바이스 시청시 시청 효과를 극대화하며서 시청 피로는 최소화할 수 있는 효과가 있다.
본 발명의 실시 예들 중 또 다른 실시 예에 따르면, 적응적인 포컬 뎁쓰로 이미지를 처리하는 디바이스를 간단하게 구성하여 다양한 디지털 디바이스들에 적용할 수 있는 효과가 있다.
본 발명의 실시 예들 중 또 다른 실시 예에 따르면, 상기 이미지 처리 디바이스를 통해 사용자의 시청 편의를 제공함으로써 제품 만족도를 높이고 구매 욕구를 고취시킬 수 있는 효과가 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시 예에 따른 이미지 처리 디바이스를 설명하기 위해 도시한 구성 블록도;
도 2는 본 발명의 일 실시 예에 따른 이미지 처리 디바이스와 연동 가능한 디지털 디바이스(들)을 도시한 도면;
도 3과 4는 이미지 처리 디바이스의 구성요소 및 기능을 설명하기 위해 도시한 도면;
도 5는 본 발명의 일 실시 예에 따른 이미지 처리 개념을 설명하기 위해 도시한 도면;
도 6은 본 발명의 일 실시 예에 따라 구성한 도 1의 이미지 처리부의 상세 구성 블록도;.
도 7은 본 발명의 일 실시 예에 따라 이미지 처리 과정을 설명하기 위해 도시한 도면; 및
도 8은 본 발명의 일 실시 예에 따른 이미지 처리 과정을 설명하기 위해 도시한 순서도이다.
이하에서는 도면을 참조하여 본 발명에 따른 이미지 처리 디바이스(image processing device) 및 그 이미지 처리 방법의 다양한 실시예(들)을 상세하게 설명한다.
본 명세서에서 사용되는 구성요소에 대한 접미사 "모듈", "부" 등은 단지 명세서 작성의 용이함을 고려하여 부여되는 것으로서, 필요에 따라 양자는 혼용될 수도 있다. 또한, "제1-", "제2-" 등과 같이 서수로 기술한 경우에도 그것이 순서를 의미하기보다는 해당 용어의 설명 편의를 위한 것일 뿐, 그러한 용어나 서수에 한정되는 것은 아니다.
또한, 본 명세서에서 사용되는 용어도, 본 발명의 기술 사상에 따른 기능을 고려하여 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 다만, 특정한 경우는 출원인이 임의로 선정한 용어도 있으나, 이에 대해서는 관련 설명 부분에서 그 의미를 기술할 것이다. 따라서, 해당 용어를 단지 그 명칭이 아니라 그가 가진 실질적인 의미와 본 명세서 전반에 걸쳐 기술된 내용을 토대로 해석되어야 함을 밝혀 둔다.
한편, 본 명세서 또는/및 도면에 기술된 내용은, 본 발명에 따른 바람직한 일 실시 예로서 그에 한정되지 않으며, 그 권리범위는 특허청구범위를 통해 결정되어야 한다.
이하 본 명세서에서 기술되는 “이미지 처리 디바이스”는, 본 발명에 따라 사용자를 고려하지 않고 미리 설정된 고정된 포컬 뎁쓰 또는 포커스(fixed focal depth or focus)로 이미지를 처리하는 것이 아니라 상기 사용자에 적응적인 포컬 뎁쓰 또는 포커스(acommodative focal depth or focus)로 이미지를 처리하는 구성(들)을 포함하는 모든 디바이스를 의미한다. 이러한 이미지 처리 디바이스는, 그 자체로 디지털 디바이스를 구성할 수도 있고, CRT(Cathod-Ray Tube), LCD(Liquid Crystal Display), PDP(Plasma Display Panel), 프로젝터(Projector), DTV(digital television), 웨어러블 디바이스(WD: wearable device) 등의 디지털 디바이스들에 부착 또는 임베디드(embedded)될 수 있다. 이하 본 명세서에서는 본 발명의 이해를 돕고 설명의 편의를 위하여, 본 발명에 따른 이미지 처리 디바이스도 별도로 설명하나, 상기 이미지 처리 디바이스가 부착 또는 임베디드(embedded) 된 디지털 디바이스를 예로 하여 설명하되, 상기 디지털 디바이스는 웨어러블 디바이스(wearable device)를 예로 하여 설명한다. 따라서, 이하에서, 단지 이미지 처리 디바이스로 명명하여 설명하는 경우에는 그 문맥에 따라 상기 이미지 처리 구성들로만 구성된 디바이스를 의미할 수도 있고 상기 디바이스를 포함한 디지털 디바이스 즉, 웨어러블 디바이스를 의미할 수도 있다. 한편, 상기 이미지 처리 디바이스는, 사용자의 몸에 탈/부착하거나 심는 등의 방식으로 이미지, 정보 등을 출력하는 모든 형태의 디지털 디바이스를 포함하는 개념이다.
또한, 상기 웨어러블 디바이스에는, 스마트 글래스(smart glass)와 같은 글래스형 디바이스, 스마트 워치(smart watch), HMD(Head Mounted Display), 렌즈(lens), EMD(Eye Mounted Display), 아이-글래스(eye-glass), 아이-피스(eye-piece), 아이-웨어(eye-wear), HWD(Head Worn Display) 등 사용자에게 착용되어 이미지를 디스플레이하는 다양한 디바이스들이 포함된다. 다만, 이하 본 명세서에서는 본 발명의 이해를 돕고 설명의 편의를 위해 상기 웨어러블 디바이스는, 글래스 형태의 웨어러블 디바이스를 예로 하여 도시하고 설명하나, 본 발명의 기술 사상은 다른 형태로 구현된 디바이스에서도 동일 또는 유사한 방식으로 적용 가능함은 자명하다 할 것이다. 한편, 상기 웨어러블 디바이스는, 웨어러블 디스플레이 디바이스(wearable display device)로 호칭될 수도 있다.
그 밖에, 본 명세서에서 기술되는 “이미지”라 함은, 단지 정지 영상 이미지뿐만 아니라 동영상 이미지를 포함하는 의미일 수 있다.
도 1은 본 발명의 일 실시 예에 따른 이미지 처리 디바이스를 설명하기 위해 도시한 구성 블록도이다.
본 발명의 일 실시 예에 따라 이미지를 처리하는 이미지 처리 디바이스는, 컨텐트를 수신하는 수신부, 레티널 스캐닝(retinal scanning)을 온(on)하여 어콤머데이션(acommodation)을 측정하고, 측정된 어콤머데이션에 기초하여 포컬 뎁쓰(focal depth)를 계산하여 계산된 포컬 뎁쓰에 따라 이미지를 생성하도록 제어하는 제어부 및 생성된 이미지를 출력하는 출력부를 포함한다.
상기 수신부는, 유/무선 통신 프로토콜에 따라 외부 디바이스로부터 이미지 데이터를 포함한 컨텐트를 수신할 수 있다.
상기 제어부는, 사용자의 수정체와 상이 맺히는 망막에 따른 어콤머데이션에 따라 기 설정된 포컬 뎁쓰로부터 상기 포컬 뎁쓰를 계산할 수 있다. 상기 제어부는, 상기 계산된 포컬 뎁쓰에 따라 출력할 이미지에 대한 광을 출력하는 광원부, 출력된 광을 처리하는 처리부, 및 상기 처리부에서 처리된 광을 프리즈메틱 반사하여 사용자의 눈에 출력하는 프리즈메틱 반사부를 포함할 수 있다.
도 1에 도시된 바와 같이, 이미지 처리 디바이스(100)는 프로세서(processor)(110), 디스플레이 유닛(display unit)(120), 오디오 출력 유닛(audio outputing unit)(130), 커뮤니케이션 유닛(communication unit)(140), 센싱 유닛(sensing unit)(150), 스토리지 유닛(storage unit)(160), 파워 유닛(power unit)(170) 및 이미지 처리부(180)를 포함하여 구성될 수 있다.
디스플레이 유닛(120)은, 이미지 또는/및 사용자 인터페이스(UI: user interface)를 출력한다. 상기 디스플레이 유닛(120)은, 커뮤니케이션 유닛(140)을 통해 도 2에 도시된 바와 같이, 외부 디바이스(들)과 연동하여 데이터를 송/수신할 수 있다. 이때, 상기 디스플레이 유닛(120)은, 연동되는 외부 디바이스(들)의 이미지를 실시간(real time) 또는 비실시간(non-real time)으로 수신하여 출력할 수 있다.
오디오 출력 유닛(130)은, 프로세서(110)를 통해 수신되는 이미지에 대한 오디오 데이터를 출력한다. 여기서, 상기 오디오 출력 유닛(130)은, 이미지 처리 디바이스 상에 구현된 스피커(speaker), 이어폰(ear phone) 등 오디오 출력 수단이나 상기 스피커나 이어폰 등과 연결을 위한 잭(jack)이나 인터페이스 형태로 구현될 수도 있다. 그 밖에, 전술한 디스플레이 유닛(120)과 같이, 외부 디바이스(들)로부터 오디오 데이터를 수신하여 프로세서(110)의 처리 후 출력할 수도 있다.
커뮤니케이션 유닛(140)은, 외부 디바이스 또는 외부 통신 네트워크와 다양한 통신 프로토콜을 통해 통신하여 데이터를 송/수신한다. 이러한 통신 프로토콜에는, LTE(Long Term Evolution), LTE-A(dvanced), 와이-파이(wi-fi), 블루투스(bluetooth) 등 모든 유/무선 통신 프로토콜이 포함될 수 있다. 따라서, 상기 커뮤니케이션 유닛(140)은, 상기와 같은 유/무선 통신 프로토콜(들)을 지원하기 위하여 필요한 통신 처리 수단을 포함할 수 있다. 상기에서, 통신 처리 수단은, 프로세서(110)에 포함될 수도 있다. 한편, 프로세서(110) 또는 커뮤니케이션 유닛(140)은, 네트워크를 통해 연결 가능한 외부 디바이스를 검색하고, 검색된 외부 디바이스(들) 중 이용 가능한 외부 디바이스(들)과 페어링 또는 연결(pairing or connecting)하고 데이터를 송수신할 수 있다.
센서 유닛(150)은, 이미지 처리 디바이스(100)에 장착된 하나 또는 그 이상의 센서들을 포함하고, 상기 하나 또는 그 이상의 센서들에 기초하여, 제스처(gesture)와 같은 사용자 액션(user action), 사용자 입력(user input), 사용자의 아이-스테이터스(eye-status) 뿐만 아니라 상기 이미지 처리 디바이스(100)의 주변 환경 등에 대한 다양한 데이터를 센싱하여 센싱 데이터를 획득할 수 있다. 이렇게 센싱된 데이터는 예컨대, 프로세서(110) 또는 이미지 처리부(180)로 전달되어 이미지 처리에 이용될 수 있다. 상기 센서 유닛(150)에 포함된 센서들 또는 센싱 수단들로는, 중력(gravity) 센서, 지자기 센서, 모션(motion) 센서, 자이로(gyro) 센서, 가속도 센서, 적외선 센서, 기울임(inclination) 센서, 밝기 센서, 고도 센서, 후각 센서, 온도 센서, 뎁쓰 센서, 압력 센서, 밴딩 센서, 오디오 센서, 비디오 센서, GPS(Global Positioning System) 센서, 터치 센서, 조명 또는 조도 센서, 아이-트랙킹 센서(eye-tracking sensor), 아이-스테이터스 센서(eye-status sensor) 등 중 적어도 하나 이상이 포함될 수 있다. 한편, 비록 본 명세서에서는 상술한 센서(들)이 예컨대, 이미지 처리 디바이스(100)에 직접 장착된 경우를 예시하나, 반드시 이에 한정되는 것은 아니다. 다시 말해, 상기 센서들로부터 획득 가능한 센싱 데이터들은 외부의 센서들로부터 해당 데이터를 수신할 수도 있다. 예컨대, 이미지 처리 디바이스의 센서 유닛(150)은, 자신이 손목에 착용한 스마트 워치의 센서로부터 획득된 센싱 데이터를 수신할 수도 있다. 또는, 센서 유닛(150)은, 사용자가 몸속에 이식하거나 심어 놓은 칩(chip) 형태의 디지털 디바이스 내 센서로부터 획득된 센싱 데이터를 수신할 수도 있다. 더불어, 프로세서(110)는, 각 센서로부터 수집되는 센싱 데이터를 적절히 조합할 수 있다. 상기 센서 유닛(150)에는 도시되진 않았으나, 촬상 센서나 카메라 센서도 포함될 수 있다.
스토리지 유닛(160)은, 비디오, 오디오, 사진, 동영상, 애플리케이션 등 다양한 데이터를 저장한다. 이러한 스토리지 유닛(160)은, 플래시 메모리(Flash memory), 램(RAM: Random Access Memory), SSD(Solid State Drive), HDD(Hard Disc Drive) 등을 포함한다. 상기 스토리지 유닛(160)은, 커뮤니케이션 유닛(140)을 통해 외부 디바이스로부터 수신된 데이터를 일시 저장할 수 있다. 이때, 상기 스토리지 유닛(160)은 외부 디바이스로부터 수신되는 데이터를 이미지 처리 디바이스(100) 상에서 출력하기 위한 버퍼링(buffering) 목적으로 사용될 수 있다. 한편, 본 명세서에서 스토리지 유닛(160) 또는 메모리는, 이미지 처리 디바이스(100)에 외부 또는 내부에 장착되나, 경우에 따라서는 인터페이스를 통해 연결되는 외부 저장 매체를 포함할 수 있다. 이러한 외부 저장 매체로는, 도시되진 않았으나 노트북, 스마트폰(smart phone), 태블릿(tablet) pc와 같은 모바일 디바이스, BD(Blu-ray Disc) 플레이어, 클라우드 서버(cloud server), 인터넷 서버(IP server) 등이 포함될 수 있다.
파워 유닛(170)은, 이미지 처리 디바이스(100) 내부의 배터리(battery) 또는 외부 파워(external power)와 연결되는 파워 소스(power source)로, 이미지 처리 디바이스(100)에 파워를 공급한다. 이러한 파워 유닛(170)은, 외부 파워를 공급받기 위한 유선 잭(wire jack)이나 인터페이스뿐만 아니라 무선 파워(wireless power) 공급과 관련된 무선 파워 인터페이스(wireless power interface)도 포함할 수 있다.
프로세서(110)는, 이미지 처리 디바이스(100)의 데이터 관리, 처리뿐만 아니라 전반적인 제어 과정을 수행하는 컨트롤러(controller) 기능을 한다. 한편, 프로세서(110)는 도시되진 않았으나, 각종 데이터 처리 등을 위해 필요한 코덱, 인코딩/디코딩(encoding/decoding) 등을 위한 구성(들)을 포함할 수 있다. 그 밖에, 프로세서(110)는, CAS(Conditional Access System), DRM(Digital Rights Management) 등의 처리를 위한 구성도 더 포함할 수 있다.
도 1에 도시된 이미지 처리 디바이스(100)는, 본 발명의 일 실시 예에 따른 블록도로서, 도시된 구성 블록들은 필요에 따라 모듈화되거나 그 반대일 수도 있다. 또한, 도 1에 도시된 이미지 처리 디바이스(100)는, 디바이스의 설계(design)에 따라 하나의 칩으로 또는 복수의 칩으로 구현될 수 있다.
도 2는 본 발명의 일 실시 예에 따른 이미지 처리 디바이스와 연동 가능한 디지털 디바이스(들)을 도시한 도면이다.
이미지 처리 디바이스는, 유/무선 네트워크를 통해 근거리 또는 원거리의 디지털 디바이스(들) 또는/및 서버(server)와 통신하여 데이터를 송수신할 수 있다.
도 2를 참조하면, 이미지 처리 디바이스는 유/무선 네트워크를 통해 서버(210)와 연결되어 데이터를 송수신할 수 있다. 여기서, 서버(210)는, 방송국 서버(broadcasting server), 컨텐트 서버(content server), 서비스 서버(service server), 헤드엔드(head-end) 또는 SO/MSO(System Operator/Multiple SO), 개인 서버(private server), 클라우드 서버 등 중 적어도 어느 하나를 포함한다.
전술한 바와 같이, 이미지 처리 디바이스는, 유/무선 네트워크를 통해 디지털 디바이스(들)과 연결되어 데이터를 송수신할 수 있는데 이때, 상기 디지털 디바이스는, 스마트 폰(220), 태블릿 pc(230), 스마트 워치(240), 노트북(250)과 같은 모바일 디바이스와, DTV(260), PC(미도시)와 같은 고정형 디바이스가 모두 포함될 수 있다.
한편, 이미지 처리 디바이스는, 하나 또는 그 이상의 디지털 디바이스들과 연결되어 데이터를 송수신할 수 있다. 또한, 디지털 디바이스(들)과 데이터 송/수신 과정에서, 이미지 처리 디바이스는 해당 디지털 디바이스와 직접 페어링이 되지 않더라도 다른 디지털 디바이스를 통하여 간접적으로 데이터를 주고 받을 수도 있다.
한편, 도시되진 않았으나, 이미지 처리 디바이스와 외부 서버(210) 또는 디지털 디바이스 사이에는 통신 프로토콜이 지원되지 않거나 원거리, 노이즈, 전력 소모 증가 등 다양한 이유를 근거로 하여 중계기(relay) 또는 라우터(router)가 이용될 수도 있다. 이러한 중계기나 라우터는 이미지 처리 디바이스 또는/및 외부 서버(210)나 디지털 디바이스를 위해 필요한 경우에는 데이터를 가공할 수도 있다.
도 3과 4는 이미지 처리 디바이스의 구성 요소 및 기능을 설명하기 위해 도시한 도면이다.
도 3과 4를 참조하여, 안경형 이미지 처리 디바이스의 외부 구성 및 그 기능에 대해 보다 상세하게 설명한다.
안경형 이미지 처리 디바이스는, 크게 몸통부와 거치부로 구분된다.
몸통부는, 다시 컨텐트를 출력하며 시스루 디스플레이를 채용한 좌/우 디스플레이(322/324)과 상기 좌/우 디스플레이(322/324)를 지지하는 지지부로 구성이 된다.
여기서, 지지부는 전술한 바와 같이, 좌/우 디스플레이(322/324)를 지지하고 고정하는 기본 기능 이외에도 그 위치에 따라 다양한 인터페이스나 센서 등을 구비하여 이미지 처리 디바이스의 제어 과정에서 이용할 수 있다. 지지부 전면부로 좌/우 디스플레이(322/324) 사이 부분에는 카메라 센서(326), 트랙킹 시스템(328) 등이 구비될 수 있다.
상기 카메라 센서(326)는, 이미지/비디오 등을 촬상하여 센싱 데이터를 프로세서(110)에 제공한다.
상기 트랙킹 시스템(328)은, 좌/우 디스플레이(322/324)를 통해 출력되는 컨텐트를 제어하고 트랙킹 한다.
그 밖에, 지지부로 좌/우 디스플레이(322/324) 상부에는 출력 컨텐트의 해상도나 상이 맺히는 위치 등을 제어하는 조절부(334)가 존재할 수 있다. 이는 터치 패드 형태로 구현되어 좌우로 사용자가 터치함에 따라 상기 해상도나 상이 맺히는 위치가 제어될 수 있다.
또한, 지지부로 좌/우 디스플레이(322/324) 하부에는 마이크로폰(330)이 구비될 수 있다. 상기 마이크로폰(330)은 음성 녹음, 검색 또는 빠른 검색(quick search) 등과 같이, 외부 및 사용자의 음성을 입력받는 인터페이스 역할을 한다. 마이크로폰(330)을 통해 수신되는 오디오 데이터는 프로세서(310)에서 처리될 수 있다.
그밖에 지지부의 일 측에 안테나(332)가 구비되어 신호 수신이나 감도 체크 등을 할 수 있다.
거치부는 기본 기능으로 이미지 처리 디바이스를 사용자의 신체 일부에 거치시켜 지지하거나 고정하기 위한 것이다. 거치부는 외부 면과 내부 면으로 구성되는데, 상기 외부 면과 내부 면은 서로 다른 구성 또는 기능을 수행할 수 있다. 사용자 입장에서 좌/우측 거치부로 구분할 수 있으며, 우측 거치부의 외부 면은 몸통부와 가까운 영역부터 터치패드(316), 컴퓨팅 시스템&커뮤니케이션 인터페이스부(314), 전원부(316) 등을 포함하여 구성된다.
한편, 좌측 거치부의 내부 면은 배터리가 장착된 영역(342)일 수 있다. 한편, 우측 거치부의 내부 면과 좌측 거치부의 외부 면은 각각 전술한 좌측 거치부의 내부 면과 우측 거치부의 외부 면과 대응되며 동일한 구성으로 구현될 수 있다. 다만, 필요에 따라 각 거치부의 각 면은 서로 다른 구성으로 구현될 수 있음은 자명하다 할 것이다. 또한, 거치부에서 몸통에서 가장 먼 부분 즉, 꼬리 부분(344)은 특정 기능을 위한 모듈이나 보조 배터리 등의 용도로 이용될 수 있다.
도 4는 예컨대, 이미지 처리 디바이스의 몸통부의 내부 면을 도시하고 있다.
좌/우 디스플레이(322/324) 사이에는 근접 센서(proximity sensor)(410)가 구비된다. 여기서, 상기 근접 센서(410)는 예를 들어, 이미지 처리 디바이스에서 사용자의 착용 여부를 판단하고, 이미지 처리 디바이스와 사용자의 눈동자 사이의 거리를 측정한다. 상기 근접 센서(410)를 통해 센싱된 정보에 기초하여, 이미지 처리 디바이스는 그 상태에 따라 소모 전력을 최소화하여 스마트한 전원 관리, 재생 중인 데이터의 정지, 북마크, 저장 등의 기능뿐만 아니라 본 발명에 따른 사용자에 특정된 포컬 뎁쓰 조절 등의 기능을 수행할 수 있다.
한편, 좌/우 디스플레이(322/324)를 지지하는 몸통부 내 지지부의 일 측에 어느 하나 또는 각각에 아이 트랙킹 시스템 또는 센서(eye tracking system or sensor)(412, 414, 420)(이하 '아이 트랙킹 센서'라 한다)이 구비될 수 있다. 이러한 아이 트랙킹 센서(412, 414, 420)는, 기본적으로 이미지 처리 디바이스가 사용자의 눈동자의 움직임 등에 대한 센싱 정보를 수집한다. 여기서, 센싱되는 아이 트랙킹 센싱 정보는 현재 이미지 처리 디바이스의 상태에 따라 다양한 기능 수행 목적으로 이용될 수 있다. 이때, 상기 이미지 처리 디바이스 상태라 함은 예를 들어, 이미지 처리 디바이스가 현재 비디오 데이터를 재생, 문자 메시지를 수신 등과 같은 기능적인 면을 말할 수 있다. 예컨대, 이미지 처리 디바이스에서 비디오 데이터가 재생 중인 경우에 아이 트랙킹 센싱 정보에 기초하여 그 재생을 정지할 수 있다.
또는 이미지 처리 디바이스에서 이미지를 출력하는 경우에 상기 센싱 정보에 기초하여 다음 이미지나 이전 이미지로 넘길 수도 있다. 그 밖에, 상기 센싱 정보는 전술한 근접 센서(410)와 같이 이미지 처리 디바이스의 액티브 또는 인액티브 상태를 판단하는데 이용될 수도 있다.
예컨대, 센싱 데이터가 갑자기 소정 시간 이상 수집되는 않는 경우 즉, 이러한 경우는 크게 두 가지로 예측 가능하다. 하나는 사용자가 이미지 처리 디바이스를 벗은 경우이고, 나머지 하나는 사용자가 눈을 오랫동안 감고 있는 경우를 들 수 있다. 전자의 경우에는 당연히 인액티브 상태로 판단하여 이미지 처리 디바이스가 슬립 모드로 전환되나, 후자의 경우에는 근접 센서나 다른 센서로는 판단하기 쉽지 않다. 예를 들어, 기울기나 움직임 센서 등을 이용하여 사용자의 수면 여부를 판단할 수도 있으나, 완벽하지는 않다. 그러나 통상의 사람이라면 주로 눈을 감고 수면을 취하기 때문에 아이 트랙킹 정보를 독자적으로 또는 상기 기울기나 움직임 센서 정보와 조합하여 사용자의 수면 여부를 판단하여 인액티브 상태로 판단하고 자동으로 슬립 모드로 변환하여 전원을 관리하고 사용자에게 편리함을 제공할 수 있다.
한편, 상술한 근접 센서(410) 또는 아이 트랙킹 센서는 본 발명에 따른 아이-스테이터스 센서 기능을 대체할 수 있다. 다시 말해, 본 발명에서 별도로 장착된 아이-스테이터스 센서가 없더라도 상기 근접 센서(410)나 아이 트랙킹 센서(412, 414, 420)가 그 기능을 수행할 수 있으며, 상기 센서들로부터 센싱된 데이터와 미리 저장된 데이터에 기초하여 이미지 처리 디바이스를 이용하는 사용자에만 특정된 포컬 뎁쓰 즉, 포커스로 이미지를 처리할 수 있다. 또한, 이미지 처리 디바이스를 사용자가 이전 사용자와 다른 경우에는 다시 해당 사용자에만 특정된 포컬 뎁쓰를 산출하고 적용하여 유동적인 포커스를 통한 이미지 처리는, 상기 아이 트랙킹 센서(412, 414, 420)를 통해 가능하다.
도 5는 본 발명의 일 실시 예에 따른 이미지 처리 개념을 설명하기 위해 도시한 도면이다.
사람의 눈은 빛이 있어야 물체를 볼 수 있다. 눈은 명암과 색을 구별할 뿐만 아니라 멀고 가까움을 알 수 있으며 입체감도 느낄 수 있다. 또한, 주위 환경의 밝기에 따라 눈 안으로 들어오는 빛의 양을 조절할 수도 있고 가까운 물체를 보다가도 먼 곳의 물체를 볼 수 있는 조절 능력이 있다. 사람의 눈은 지름 약 2.5㎝의 크기로 앞쪽이 볼록 튀어나온 공처럼 생겼으며 탄력이 있다.
눈의 가장 바깥쪽은 공막에 의해 쌓여 보호받고 있으며, 시세포가 분포하여 물체의 상이 맺히는 망막, 빛의 산란을 막아주는 맥락막, 동공의 크기를 변화시켜 눈으로 들어오는 빛의 양을 조절하는 홍채, 빛을 굴절시켜 망막에 정확하게 상을 맺게 해주는 수정체, 수정체의 두께를 조절하는 근육인 모양체, 그리고 수정체와 망막 사이를 채우고 있는 투명한 액체로 눈의 형태를 유지해 주는 유리체 등으로 구성되어 있다.
상기 흰색의 공막 안쪽에 검은색의 맥락막이 있어 눈동자를 통해서만 빛이 들어가도록 되어 있다. 눈의 앞쪽은 투명한 각막으로 되어 있는데, 빛은 이 각막을 통과하여 그 안쪽에 있는 렌즈 모양의 수정체에 의해 굴절되어 초점이 맞추어져 망막에 상을 맺는다. 망막은 맥락막의 안쪽에 있으며 많은 시세포로 구성되어 있다. 상기 망막은 카메라의 필름과 같이 상이 맺히는 곳이다. 이때, 망막에 맺혀진 상은 거꾸로 된 모양이지만 우리의 뇌는 그것을 제대로 된 것으로 인식한다.
각막은, 곡면으로 되어 있어 한 점에서 들어오는 빛은 각각 다른 각도로 비쳐져 굴절된다. 굴절된 빛은 망막에 좌우가 바뀌고 상하가 역전된 상을 맺고 시세포를 자극하면 그 신호가 시각 신경을 통해 대뇌로 전달되어 물체를 인식하게 된다.
전술한 바와 같이, 눈은 조절 기능을 갖는데 첫째는 명암의 조절이다. 홍채의 수축과 이완으로 동공의 크기를 조절하여 눈으로 들어오는 빛의 양을 조절한다. 두 번째는 원근(거리) 조절인데 모양체의 수축과 이완으로 수정체의 두께를 조절하여 물체의 상이 망막에 정확하게 맺히도록 해준다.
시각의 전달 경로는 다음과 같다. 빛, 각막, 수정체, 유리체, 망막, 시신경, 대뇌를 거쳐 눈을 통해 본 사물을 인식하게 된다.
도 5a는 멀리 있는 사물을 보는 경우에 눈동자의 움직임 내지 시선 방향이고, 도 5b는 가까이에 있는 사물을 보는 경우에 눈동자의 움직임 내지 시선 방향을 도시한 것이다. 전자의 경우에는 좌측 눈동자와 우측 눈동자가 멀리 있는 사물을 보는 관계로 시선 방향이 서로 평행하나, 후자의 경우에는 좌측 눈동자와 우측 눈동자가 가까이에 있는 사물을 보는 관계로 시선 방향에 컨버전스(convergence)가 있다.
한편, 도 5에는 어콤머데이션(accommodation)이 있는데 이는, 눈에서 수정체의 굴절 상태를 반사적으로 조절하여 주시하는 물체의 상이 망막에 정확하게 맺도록 하는 작용을 말한다. 상기 어콤머데이션은, 어떤 물체를 확실하게 보고자 하는 의지가 작용하면, 그 물체의 망막으로의 결상이 조금이라도 선명하게 되도록 카메라에 있어서의 핀트 맞춤이 눈에 있어서 급속하게 무의지적 또는 의지적으로 행하여지는 것으로 이를 상기에서 말하는 조절 작용이라고 한다. 조절 작용의 중추는 뇌간의 동안신경총에 있고 조절근의 지배 신경은 동안 신경의 일부로서 모양체 신경절을 지나, 장모양체 신경을 거쳐 모양 체근으로 이른다. 모양 체근에 의하여 수정체의 굴절력을 변화시켜, 조절 작용이 행하여진다. 상기 조절은 또한, 자극을 명확히 수용하기 위해 감각기관을 조정하는 것을 의미한다. 시각에서는, 점차 가까워지는 물체인 경우 다음의 세 가지의 변화가 일어나 선명한 상이 망막에 맺어지는데 이를 시각 조절이라 한다. 첫째, 모양체 근(ciliary muscle)이 수축되면 수정체에 가해지는 긴장이 늦추어져서 수정체가 원래의 탄력성을 갖게 된다. 따라서, 수정체의 굴절력이 커진다. 둘째, 홍체에 환상으로 배열되어 있는 근에 의해 동공이 수축된다. 셋째, 안구가 접근되는 물체를 향해 안쪽으로 모이게 된다. 특히, 본 발명과 관련하여, 어콤머데이션은 수정체의 모양을 변화시켜 다른 거리에 있는 대상들에 초점을 맞추는 눈의 능력으로서 깊이 단서로 사용될 수 있다. 다른 깊이에 있는 대항들에 초점을 맞추도록 눈의 모양근이 조절될 때 발생하는 근육 감각은 한 대상의 깊이와 관련된 정보를 제공해 줄 수 있다.
본 발명은, 전술한 사람의 눈에 대하여 어콤머데이션을 참고하여, 사용자에 특정 포컬 뎁쓰를 산출하고, 적용하여 이미지를 처리함으로써 유동적인 포커스에 따라 이미지 처리 효과를 극대화하고 시청 피로 등을 방지할 수 있다.
도 6은 본 발명의 일 실시 예에 따라 구성한 도 1의 이미지 처리부(180)의 상세 구성 블록도이다.
도 6에 도시된 바와 같이, 이러한 이미지 처리를 위하여, 이미지 처리부(180)는, 수신부(610), 라이트 소스(620), 하나 또는 그 이상의 제어 미러들(630), 렌즈(640), 프리즈메틱 반사부(650) 등을 포함하여 구성될 수 있다.
수신부(610)는, 이미지 데이터를 수신한다. 상기 수신부(610)는 경우에 따라 외부에서 센싱된 이미지 처리를 위한 센싱 데이터를 수신한다. 이렇게 수신되는 이미지 처리를 위한 센싱 데이터는 전술한 바와 같이, 사용자 특정 포커스를 위한 포컬 뎁쓰 결정을 위한 것으로, 아이-스테이터스 센서, 근접 센서나 아이-트랙킹 센서 등을 통해 센싱된다. 한편, 도시되진 않았으나, 상기와 같은 센서가 이미지 처리부(180)에 내장될 수도 있다.
컨트롤러(660)는 획득되는 센싱 데이터에 기초하여, 어콤머데이션을 추정하고, 추정된 어콤머데이션에 기초하여 사용자에 특정한 포커스를 산출하고, 계산된 포커스에 따라 수신되는 이미지 처리를 위한 포컬 뎁쓰를 산출하고, 이를 이미지 처리에 적용하도록 컨트롤한다.
라이트 소스(620)는, 상기 추정된 어콤머데이션에 기초하여 산출된 포컬 뎁쓰에 따라 수신한 이미지 데이터를 처리하고 전달한다.
하나 또는 그 이상의 제어 미러들(630)은, 멤스(MEMS: Micro Electro Mechanical Systems) 즉, 미세전자기계시스템에 의해 제작된 미러들로서, 라이트 소스(620)에서 전송한 이미지 데이터를 상기 추정된 어콤머데이션에 기초하여 산출된 포컬 뎁쓰에 따라 렌즈로 전달한다.
렌즈(640)는, 상기 추정된 어콤머데이션에 기초하여 산출된 포컬 뎁쓰에 따라 옵티컬 파워를 조절하여 상기 전달되는 이미지 데이터를 후술하는 프리즈메틱 반사부(650)로 전달한다.
프리즈메틱 반사부(650)는, 프리즈메틱 반사-투명 구성을 포함하여 상기 추정된 어콤머데이션에 기초하여 산출된 포컬 뎁쓰에 따른 이미지 데이터를 출력한다.
도 7은 본 발명의 일 실시 예에 따라 이미지 처리 과정을 설명하기 위해 도시한 도면이다.
도 7을 참조하여, 상술한 이미지 처리부의 기능 즉, 이미지 처리 과정을 더욱 상세하게 설명한다.
이미지 처리부를 구성하는, 라이트 소스(620), 제어 미러들(630), 렌즈(640) 및 프리즈메틱 반사부(650)는 전술한 내용과 같다.
전술한 바와 같이, 이미지 데이터(빛)는, 각막, 수정체, 유리체를 거쳐 망막에 상이 거꾸로 맺히고, 이를 망막에 포함된 시신경에서 인식한 후 대뇌를 거쳐 인식하게 된다.
도 7을 참조하면, 이러한 이미지 처리부에서 처리된 이미지는, 프리즈메틱 반사부(650) 또는 출력부로부터 일정 거리(d)에 떨어진 각막 또는 동공(756)에 수신된다. 이는 다시 수정체를 통하여 굴절되어 망막(772,774)에 좌우가 바뀌고 상하가 역전된 상이 맺히게 된다.
이때, 도 7에 도시된 모양체 근(ciliary muscle)(752,754)이 수축되면서, 수정체에 가해지는 긴장이 늦추어져서 수정체가 원래의 탄력성을 갖게 되어, 수정체의 굴절력이 변경된다. 상술한 바와 같이, 어콤머데이션이 이루어진다.
도 8은 본 발명의 일 실시 예에 따른 이미지 처리 과정을 설명하기 위해 도시한 순서도이다.
본 발명의 일 실시 예에 따른 이미지 처리부의 이미지 처리 과정은, 이미지 데이터를 수신하고(S802), 레티널 스캐닝을 온하여 데이터를 센싱한다(S804).
상기 S804 단계의 레티널 스캐닝을 통해 획득한 데이터에 기초하여 어콤머데이션을 측정한다(S806).
측정된 어콤머데이션에 기초하여 사용자에 특정된 포컬 뎁쓰를 계산하여 산출한다(S808).
계산된 포컬 뎁쓰에 따라 이미지를 처리하여 생성한다(S810).
이렇게 생성된 이미지 데이터를 출력한다(S812).
상기 수신되는 컨텐트는, 유/무선 통신 프로토콜에 따라 외부 디바이스로부터 수신하는 이미지 데이터일 수 있다.
상기 포컬 뎁쓰는, 사용자의 수정체와 상이 맺히는 망막에 따른 어콤머데이션에 따라 기 설정된 포컬 뎁쓰로부터 계산될 수 있다.
상기 이미지의 출력은, 광원에서 상기 계산된 포컬 뎁쓰에 따라 출력할 이미지에 대한 광을 출력하는 단계, 출력된 광을 제어 미러와 렌즈에서 처리하는 단계, 및 상기 제어 미러와 렌즈에서 처리된 광을 프리즈메틱 반사하여 사용자의 눈에 출력하는 단계를 포함하여 이루어질 수 있다.
상기 이미지 처리 디바이스는, 웨어러블 디바이스에 장착될 수 있다.
본 발명에 따르면, 사용자에 따라 특정된 포컬 뎁쓰로 이미지를 처리하는 이미지 처리 디바이스를 제공할 수 있고, 사용자에게 적응적인 포컬 뎁쓰를 적용하여 이미지를 처리함에 따라 이미지 처리 디바이스 시청시 시청 효과를 극대화할 수 있을 뿐만 아니라 시청 피로를 방지할 수 있으며, 적응적인 포컬 뎁쓰로 이미지를 처리하는 디바이스를 간단하게 구성하여 다양한 이미지 처리 디바이스들에 적용할 수 있다. 또한, 본 발명에 따르면, 상기 이미지 처리 디바이스를 통해 사용자의 시청 편의를 제공함으로써 제품 만족도를 높이고 구매 욕구를 고취시킬 수 있다.
본 명세서에서 설명한 이미지 처리 디바이스는 다양한 디바이스 형태로 구현되어 제공 가능하다. 특히, 이미지 처리 디바이스에 속하는 안경형 장치로 HMD 뿐만 아니라 EMD(Eye Mounted Display), eyeglass, eyepiece, eye wear, HWD(Head Worn Display) 등 사용자에게 착용되어 디스플레이를 제공할 수 있는 다양한 디바이스 형태로 구현 가능하며, 본 명세서에서 설명한 용어에 한정되어 해석되어서는 안 된다.
본 명세서에서 개시하는 디지털 디바이스 및 상기 디지털 디바이스에서 컨텐트 처리 방법은 상기 설명된 실시 예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시 예들은 다양한 변형이 이루어질 수 있도록 각 실시 예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
한편, 본 명세서에서 개시된 디지털 디바이스의 동작방법은 디지털 디바이스에 구비된 프로세서가 읽을 수 있는 기록매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 기록매체는 프로세서에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 디바이스를 포함한다. 프로세서가 읽을 수 있는 기록 매체의 예로는 ROM(Read Only Memory), RAM(Random Access Memory), CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장디바이스 등이 있으며, 인터넷을 통한 전송 등과 같은 캐리어-웨이브(carrier-wave)의 형태로 구현되는 것도 포함한다. 또한, 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
한편, 본 명세서에서는 첨부된 도면을 참조하여 설명하였으나, 이는 실시 예일 뿐 특정 실시 예에 한정되지 아니하며, 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 변형실시가 가능한 다양한 내용도 청구범위에 따른 권리범위에 속한다. 또한, 그러한 변형 실시 예들이 본 발명의 기술 사상으로부터 개별적으로 이해되어서는 안 된다.
본 발명은, 이미지 처리 디바이스 및 그 이미지 처리 방법에 관한 것으로, 디지털 디바이스에서 이용 가능하므로 산업상 이용가능성이 있다.

Claims (10)

  1. 이미지 처리 디바이스에서 이미지 처리 방법에 있어서,
    컨텐트를 수신하는 단계;
    레티널 스캐닝을 온하여 어콤머데이션을 측정하는 단계;
    측정된 어콤머데이션에 기초하여 포컬 뎁쓰를 계산하는 단계;
    계산된 포컬 뎁쓰에 따라 이미지를 생성하는 단계; 및
    생성된 이미지를 출력하는 단계를 포함하여 이루어지는 이미지 처리 방법.
  2. 제1항에 있어서,
    상기 수신되는 컨텐트는,
    유/무선 통신 프로토콜에 따라 외부 디바이스로부터 수신하는 이미지 데이터인 것을 특징으로 하는 이미지 처리 방법.
  3. 제1항에 있어서,
    상기 포컬 뎁쓰는,
    사용자의 수정체와 상이 맺히는 망막에 따른 어콤머데이션에 따라 기 설정된 포컬 뎁쓰로부터 계산되는 것을 특징으로 하는 이미지 처리 방법.
  4. 제1항에 있어서,
    상기 이미지의 출력은,
    광원에서 상기 계산된 포컬 뎁쓰에 따라 출력할 이미지에 대한 광을 출력하는 단계;
    출력된 광을 제어 미러와 렌즈에서 처리하는 단계; 및
    상기 제어 미러와 렌즈에서 처리된 광을 프리즈메틱 반사하여 사용자의 눈에 출력하는 단계를 포함하여 이루어지는 것을 특징으로 하는 이미지 처리 방법.
  5. 제1항에 있어서,
    상기 이미지 처리 디바이스는,
    웨어러블 디바이스에 장착되는 것을 특징으로 하는 이미지 처리 방법.
  6. 이미지를 처리하는 이미지 처리 디바이스에 있어서,
    컨텐트를 수신하는 수신부;
    레티널 스캐닝을 온하여 어콤머데이션을 측정하고, 측정된 어콤머데이션에 기초하여 포컬 뎁쓰를 계산하여 계산된 포컬 뎁쓰에 따라 이미지를 생성하도록 제어하는 제어부; 및
    생성된 이미지를 출력하는 출력부를 포함하여 이루어지는 이미지 처리 디바이스.
  7. 제6항에 있어서,
    상기 수신부는,
    유/무선 통신 프로토콜에 따라 외부 디바이스로부터 이미지 데이터를 포함한 컨텐트를 수신하는 것을 특징으로 하는 이미지 처리 디바이스.
  8. 제6항에 있어서,
    상기 제어부는,
    사용자의 수정체와 상이 맺히는 망막에 따른 어콤머데이션에 따라 기 설정된 포컬 뎁쓰로부터 상기 포컬 뎁쓰를 계산하는 것을 특징으로 하는 이미지 처리 디바이스.
  9. 제6항에 있어서,
    상기 제어부는,
    상기 계산된 포컬 뎁쓰에 따라 출력할 이미지에 대한 광을 출력하는 광원;
    출력된 광을 처리하는 처리부; 및
    상기 처리부에서 처리된 광을 프리즈메틱 반사하여 사용자의 눈에 출력하는 프리즈메틱 반사부를 포함하는 것을 특징으로 하는 이미지 처리 디바이스.
  10. 제6항에 있어서,
    상기 이미지 처리 디바이스는,
    웨어러블 디바이스에 장착되는 것을 특징으로 하는 이미지 처리 디바이스.
PCT/KR2015/001707 2014-09-03 2015-02-23 이미지 처리 디바이스 및 그 이미지 처리 방법 WO2016035952A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/501,165 US10073265B2 (en) 2014-09-03 2015-02-23 Image processing device and image processing method for same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2014-0116820 2014-09-03
KR1020140116820A KR101861679B1 (ko) 2014-09-03 2014-09-03 이미지 처리 디바이스 및 그 이미지 처리 방법

Publications (1)

Publication Number Publication Date
WO2016035952A1 true WO2016035952A1 (ko) 2016-03-10

Family

ID=55439992

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/001707 WO2016035952A1 (ko) 2014-09-03 2015-02-23 이미지 처리 디바이스 및 그 이미지 처리 방법

Country Status (3)

Country Link
US (1) US10073265B2 (ko)
KR (1) KR101861679B1 (ko)
WO (1) WO2016035952A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108605120A (zh) * 2016-01-29 2018-09-28 惠普发展公司，有限责任合伙企业 基于关于显示器的眼调节的观看设备调整
US11506905B2 (en) 2019-06-21 2022-11-22 Realwear, Inc. Hinged head-mounted display
WO2020257793A1 (en) 2019-06-21 2020-12-24 Realwear, Inc. Modular head-mounted peripheral platform
US11677103B2 (en) * 2019-06-21 2023-06-13 Realwear, Inc. Auxilary battery system for a head-mounted display

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060033992A1 (en) * 2002-12-02 2006-02-16 Solomon Dennis J Advanced integrated scanning focal immersive visual display
KR20090085260A (ko) * 2008-02-04 2009-08-07 삼성디지털이미징 주식회사 디지털 영상 처리 장치
KR20110135053A (ko) * 2010-06-10 2011-12-16 엘지전자 주식회사 3차원 영상의 화질 개선 방법 및 그에 따른 디지털 방송 수신기
KR20130064955A (ko) * 2011-12-09 2013-06-19 박재현 가변 포커스 촬상 기법을 이용한 입체 영상용 카메라 및 그 촬상 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002506537A (ja) * 1997-06-26 2002-02-26 ヴィーア・インコーポレイテッド 膨張可能な光学ハウジング
US9671566B2 (en) * 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060033992A1 (en) * 2002-12-02 2006-02-16 Solomon Dennis J Advanced integrated scanning focal immersive visual display
KR20090085260A (ko) * 2008-02-04 2009-08-07 삼성디지털이미징 주식회사 디지털 영상 처리 장치
KR20110135053A (ko) * 2010-06-10 2011-12-16 엘지전자 주식회사 3차원 영상의 화질 개선 방법 및 그에 따른 디지털 방송 수신기
KR20130064955A (ko) * 2011-12-09 2013-06-19 박재현 가변 포커스 촬상 기법을 이용한 입체 영상용 카메라 및 그 촬상 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
BRIAN T. SCHOWENGERDT ET AL.: "True three-dimensional displays that allow viewers to dynamically shift accommodation, bringing objects displayed at different viewing distances into and out of focus", CYBERPSYCHOLOGY & BEHAVROR, vol. 7, no. 6, 2004 *

Also Published As

Publication number Publication date
KR20160028154A (ko) 2016-03-11
KR101861679B1 (ko) 2018-05-28
US20170227774A1 (en) 2017-08-10
US10073265B2 (en) 2018-09-11

Similar Documents

Publication Publication Date Title
US20200218096A1 (en) Apparatus and method for fitting head mounted vision augmentation systems
KR101977433B1 (ko) 입력 및 출력 구조들을 구비한 웨어러블 디바이스
JP6083880B2 (ja) 入出力機構を有する着用可能な装置
US20170235161A1 (en) Apparatus and method for fitting head mounted vision augmentation systems
US10534184B2 (en) Auxiliary device for head-mounted displays
KR101635892B1 (ko) 헤드마운트 디스플레이 장치
EP3360001A1 (en) Head mount display device
CN104321684A (zh) 带有输入和输出结构的可佩戴装置
WO2016035952A1 (ko) 이미지 처리 디바이스 및 그 이미지 처리 방법
WO2019001575A1 (zh) 可穿戴显示器
KR101203921B1 (ko) 안구 추적과 위치 기반 서비스를 이용한 정보 제공 장치
US20160291348A1 (en) Eyeglasses Structure Enabling Image Enhancement
US20170084203A1 (en) Stereo 3d head mounted display applied as a low vision aid
US20230037329A1 (en) Optical systems and methods for predicting fixation distance
WO2020022750A1 (ko) 디스플레이에서 출력된 광에 대해 다중 초점을 제공할 수 있는 전자 장치
US20230053497A1 (en) Systems and methods for performing eye-tracking
US20220163806A1 (en) Eyeglass device with touch sensor and method of use
US20230043585A1 (en) Ultrasound devices for making eye measurements
WO2022124638A1 (ko) 사용자 렌즈가 삽입되는 렌즈 클립 및 렌즈 클립에 사용자 렌즈의 삽입 여부를 검출하는 머리 장착형 전자 장치
KR102511785B1 (ko) 졸음 방지 및 집중력 강화를 위한 스마트 안경
US20230067343A1 (en) Tunable transparent antennas implemented on lenses of augmented-reality devices
US11906747B1 (en) Head-mounted device having hinge assembly with wiring passage
WO2024025302A1 (ko) 렌즈 배럴을 포함하는 웨어러블 전자 장치
WO2023014918A1 (en) Optical systems and methods for predicting fixation distance
JP2003337316A (ja) 眼鏡型映像表示装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15837894

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15501165

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15837894

Country of ref document: EP

Kind code of ref document: A1