KR102639260B1 - 전자장치 및 그 제어방법 - Google Patents

Abstract

본 발명은 에 관한 것으로서, 전자장치는 디스플레이; 이미지센서; 및 이미지센서에 의해 수신되는 가시광으로부터 획득된 데이터에 기초하여 영상을 표시하도록 디스플레이를 제어하고, 이미지센서의 수신특성을 조정하고, 이미지센서의 수신특성이 조정되는 동안, 표시되는 영상에 대한 사용자 시인성 향상 기능이 수행되도록 디스플레이를 제어하고, 조정된 수신특성으로 수신되는 가시광의 데이터로부터 가시광을 출력한 외부장치가 전송한 정보를 식별하고, 식별된 정보에 기초하여 동작을 수행하는 프로세서를 포함한다.
이에 의하여, 영상정보의 왜곡 또는 시인성 저하 없이 OCC 통신을 수행할 수 있다.

Description

전자장치 및 그 제어방법 {ELECTRONIC APPARATUS AND THE CONTROL METHOD THEREOF}

본 발명은 전자장치 및 그 제어방법에 관한 것으로서, 보다 구체적으로는 가시광에 기초한 통신을 수행하는 전자장치 및 그 제어방법에 관한 것이다.

가시광 통신(VLC; Visible Light Communication)은 가시광(Visible Light) 대역의 LED(Light Emitting Diode) 또는 LD(Laser Diode)를 이용한 차세대 근거리 통신이다.

광 카메라 통신(OCC; Optical Camera Communication)은 VLC 기술의 실용적인 버전으로서, 스마트폰, 태블릿 등 전자장치의 카메라 또는 이미지 센서를 사용하여 구현할 수 있다. 이는 포토다이오드(PD; Photo Diode)를 사용하는 Li-Fi보다 더 저렴한 비용으로 다양한 서비스를 쉽게 구현할 수 있게 해준다.

OCC 통신 시스템에서는 OCC 데이터를 수신하기 위해 이미지 센서의 노출설정을 조절한다. 그러나 그 경우 전자장치의 화면에 표시되는 영상에 줄무늬가 발생하거나 화질이 변화하는 등 영상에 왜곡이 발생한다. 이로 인해 사용자에게 제공되는 영상의 시인성이 저하된다.

이에 본 발명은, 영상정보의 왜곡 또는 시인성 저하 없이 OCC 통신을 수행할 수 있는 전자장치를 제공하는 것을 목적으로 한다.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 전자장치는, 디스플레이; 이미지센서; 및 상기 이미지센서에 의해 수신되는 가시광으로부터 획득된 데이터에 기초하여 영상을 표시하도록 상기 디스플레이를 제어하고, 상기 이미지센서의 수신특성을 조정하고, 상기 이미지센서의 수신특성이 조정되는 동안, 상기 표시되는 영상에 대한 사용자 시인성 향상 기능이 수행되도록 상기 디스플레이를 제어하고, 상기 조정된 수신특성으로 수신되는 가시광의 데이터로부터 상기 가시광을 출력한 외부장치가 전송한 정보를 식별하고, 상기 식별된 정보에 기초하여 동작을 수행하는 프로세서를 포함한다.

상기 사용자 시인성 향상 기능은, 상기 이미지센서의 수신특성이 조정되는 동안, 상기 이미지센서의 수신특성이 조정되기 전에 상기 디스플레이에 표시된 영상이 계속 표시되도록 할 수 있다.

상기 이미지센서의 수신특성 조정은, 상기 이미지센서의 노출시간 또는 카메라감도를 변경하는 것을 포함할 수 있다.

상기 식별된 정보에 기초한 동작은, 상기 식별된 정보에 대응하는 주소로부터 상기 영상에 관한 부가정보를 수신하여 표시할 수 있다.

상기 프로세서는, 상기 이미지센서의 수신특성을 제1설정으로 조정하고, 상기 조정된 수신특성으로 상기 가시광을 출력한 외부장치가 전송한 정보의 식별을 시도하고, 상기 식별 실패에 대응하여 상기 이미지센서의 수신특성을 제2설정으로 조정할 수 있다.

상기 프로세서는 상기 가시광을 출력한 외부장치가 정보를 전송하는 것에 대응하여, 상기 정보를 식별할 수 있는 어플리케이션에 관한 UI를 포함한 알림메시지를 표시하도록 상기 디스플레이를 제어할 수 있다.

상기 프로세서는 상기 표시된 영상에서 상기 외부장치를 식별하고, 상기 이미지센서를 상기 외부장치에 근접시키도록 유도하는 UI를 표시하도록 상기 디스플레이를 제어할 수 있다.

상기 프로세서는 상기 표시된 영상에서 상기 외부장치를 식별하고, 상기 식별에 기초하여 상기 이미지센서의 수신특성 조정 및 상기 사용자 시인성 향상 기능이 수행되도록 할 수 있다.

상기 프로세서는 상기 영상 중 상기 외부장치에 대응하는 영역의 데이터로부터 상기 가시광을 출력한 외부장치가 전송한 정보를 식별할 수 있다.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 전자장치의 제어방법은, 이미지센서에 의해 수신되는 가시광으로부터 획득된 데이터에 기초하여 영상을 표시하도록 디스플레이를 제어하는 단계; 상기 이미지센서의 수신특성을 조정하는 단계; 상기 이미지센서의 수신특성이 조정되는 동안, 상기 표시되는 영상에 대한 사용자 시인성 향상 기능이 수행되도록 상기 디스플레이를 제어하는 단계; 상기 조정된 수신특성으로 수신되는 가시광의 데이터로부터 상기 가시광을 출력한 외부장치가 전송한 정보를 식별하는 단계; 및 상기 식별된 정보에 기초하여 동작을 수행하는 단계를 포함한다.

상기 사용자 시인성 향상 기능은, 상기 이미지센서의 수신특성이 조정되는 동안, 상기 이미지센서의 수신특성이 조정되기 전에 상기 디스플레이에 표시된 영상이 계속 표시되도록 할 수 있다.

상기 이미지센서의 수신특성 조정은, 상기 이미지센서의 노출시간 또는 카메라감도를 변경하는 것을 포함할 수 있다.

상기 식별된 정보에 기초한 동작은, 상기 식별된 정보에 대응하는 주소로부터 상기 영상에 관한 부가정보를 수신하여 표시할 수 있다.

상기 이미지센서의 수신특성을 조정하는 단계는, 상기 이미지센서의 수신특성을 제1설정으로 조정하고, 상기 조정된 수신특성으로 상기 가시광을 출력한 외부장치가 전송한 정보의 식별을 시도하고, 상기 식별 실패에 대응하여 상기 이미지센서의 수신특성을 제2설정으로 조정할 수 있다.

상기 제어방법은, 상기 가시광을 출력한 외부장치가 정보를 전송하는 것에 대응하여, 상기 정보를 식별할 수 있는 어플리케이션에 관한 UI를 포함한 알림메시지를 표시하도록 상기 디스플레이를 제어하는 단계를 포함할 수 있다.

상기 프로세서는 상기 표시된 영상에서 상기 외부장치를 식별하고, 상기 이미지센서를 상기 외부장치에 근접시키도록 유도하는 UI를 표시하도록 상기 디스플레이를 제어할 수 있다.

상기 제어방법은, 상기 표시된 영상에서 상기 외부장치를 식별하고, 상기 식별에 기초하여 상기 이미지센서의 수신특성 조정 및 상기 사용자 시인성 향상 기능이 수행되도록 하는 단계를 포함할 수 있다.

상기 외부장치가 전송한 정보를 식별하는 단계는, 상기 영상 중 상기 외부장치에 대응하는 영역의 데이터로부터 상기 가시광을 출력한 외부장치가 전송한 정보를 식별할 수 있다.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 컴퓨터프로그램은, 전자장치와 결합되어 위 제어방법을 실행시키기 위하여 매체에 저장된 컴퓨터프로그램이다.

상기 컴퓨터프로그램은 서버 내의 매체에 저장되고 네트워크를 통해 상기 전자장치에 다운로드 될 수 있다.

상기한 바와 같이, 본 발명에 의하면, 영상정보의 왜곡 또는 시인성 저하 없이 OCC 통신을 수행할 수 있다.

도 1은 본 발명의 일 실시예에 따른 전자장치를 나타내는 도면,
도 2는 본 발명의 일 실시예에 따른 전자장치의 구성을 나타내는 블록도,
도 3은 본 발명의 일 실시예에 따른 전자장치의 동작을 나타내는 흐름도,
도 4는 종래 기술에 따른 전자장치의 문제점을 나타내는 도면,
도 5는 본 발명의 일 실시예에 따른 전자장치의 통신 방법 개요를 나타내는 도면,
도 6 내지 도 7은 본 발명의 일 실시예에 따른 전자장치가 외부장치가 전송한 정보에 따라 수행하는 동작의 예를 나타내는 도면,
도 8은 본 발명의 일 실시예에 따른 전자장치의 동작을 나타내는 흐름도,
도 9는 본 발명의 일 실시예에 따른 전자장치와 종래 기술에 따른 전자장치의 동작을 비교하여 나타내는 도면,
도 10 내지 도 11은 본 발명의 일 실시예에 따른 전자장치의 시인성 향상 기능의 예를 나타내는 도면,
도 12는 본 발명의 다른 실시예에 따른 전자장치의 동작을 나타내는 도면,
도 13은 본 발명의 또 다른 실시예에 따른 전자장치의 동작을 나타내는 도면,
도 14는 본 발명의 또 다른 실시예에 따른 전자장치의 동작을 나타내는 도면,
도 15는 본 발명의 또 다른 실시예에 따른 전자장치의 동작을 나타내는 도면.

이하에서는 첨부 도면을 참조하여 본 발명의 실시예들을 상세히 설명한다. 도면에서 동일한 참조번호 또는 부호는 실질적으로 동일한 기능을 수행하는 구성요소를 지칭하며, 도면에서 각 구성요소의 크기는 설명의 명료성과 편의를 위해 과장되어 있을 수 있다. 다만, 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 이하의 실시예에 설명된 구성 또는 작용으로만 한정되지는 않는다. 각 도면을 참조하여 설명하는 실시예들은 특별한 언급이 없는 한 상호 배타적인 구성이 아니며 복수의 실시예가 선택적으로 조합되어 구현될 수 있다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다.

본 발명의 실시예에서, 제1, 제2 등과 같이 서수를 포함하는 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용되며, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 본 발명의 실시예에서, '구성되다', '포함하다', '가지다' 등의 용어는 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 또한, 본 발명의 실시예에서, '모듈' 혹은 '부'는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있으며, 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다. 또한, 본 발명의 실시예에서, 복수의 요소 중 적어도 하나(at least one)는, 복수의 요소 전부뿐만 아니라, 복수의 요소 중 나머지를 배제한 각 하나 혹은 이들의 조합 모두를 지칭한다. 또한, "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)"것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.

도 1은 본 발명의 일 실시예에 따른 전자장치(100)를 도시한다.

본 발명의 일 실시예에 따른 전자장치(100)는, 예컨대, 스마트폰으로 구현될 수 있다. 또는, 본 발명의 일 실시예에 따른 전자장치(100)는, 예컨대, 태블릿, 모바일폰, 랩탑, 디지털카메라 등으로 구현될 수도 있다. 본 발명의 일 실시예에 따른 전자장치(100)는 외부장치(200)와의 사이에서 가시광 통신을 수행할 수 있다. 본 발명의 일 실시예에 따른 외부장치(200)는, 예컨대 TV, 전자액자, 디지털 광고판, LFD(Large Format Display), 디지털 싸이니지, 스마트폰, 태블릿, 모바일폰, 스마트워치, 헤드 마운트형 디스플레이(Head-Mounted Display) 등의 웨어러블 디바이스, 컴퓨터, 멀티미디어 재생기, 스마트냉장고 등의 장치로 구현될 수 있다. 그러나 본 발명의 일 실시예에 따른 전자장치(100)와 외부장치(200)는 이에 한정되지 않고, 외부장치(200)는 가시광을 출력할 수 있는 장치라면 무엇이든 가능하고, 전자장치(100)는 외부장치(200)가 출력한 가시광을 수신하는 등의 방법으로 가시광 통신을 할 수 있는 장치라면 무엇이든 가능하다. 다만 이하에서는 설명의 편의를 위하여 전자장치(100)는 스마트폰, 외부장치(200)는 TV인 경우를 전제로 하고, 전자장치(100)와 외부장치(200)는 광 카메라 통신(이하 'OCC 통신'이라고도 함)을 수행하는 예를 설명한다.

도 2는 본 발명의 일 실시예에 따른 전자장치(100)의 구성을 나타내는 블록도이다. 본 발명의 일 실시예에 따른 전자장치(100)는 디스플레이(101), 이미지센서(102), 프로세서(103)를 포함한다. 다만, 도 2에 도시된 본 전자장치(100)의 구성은 하나의 예시일 뿐이며, 본 발명의 일 실시예에 의한 전자장치는 다른 구성으로도 구현될 수 있다. 즉, 본 발명의 일 실시예에 의한 전자장치는 도 2에 도시된 구성 외에 다른 구성이 추가되거나, 혹은 도 2에 도시된 구성 중 일부가 배제되어 구현될 수도 있다. 본 발명의 실시예에서, 각 구성은, 적어도 하나의 하드웨어 및/또는 소프트웨어로 구현될 수 있으며, 회로나 칩으로 구현될 수 있다.

디스플레이(101)는 영상을 표시할 수 있다. 디스플레이(101)의 구현 방식은 한정되지 않으며, 예컨대 액정(Liquid Crystal), 플라즈마(Plasma), 발광 다이오드(Light-Emitting Diode), 유기발광 다이오드(Organic Light-Emitting Diode), 면전도 전자총(Surface-Conduction Electron-Emitter), 탄소 나노 튜브(Carbon Nano-Tube), 나노 크리스탈(Nano-Crystral) 등의 다양한 디스플레이 방식으로 구현될 수 있다. 디스플레이(101)는, 액정 방식인 경우에, 액정 디스플레이 패널과 액정 디스플레이 패널에 광을 공급하는 백라이트유닛과, 액정 디스플레이 패널을 구동시키는 패널구동부 등을 포함한다. 디스플레이(101)는, 백라이트유닛 없이, 자발광 소자인 OLED 패널로 구현될 수 있다.

이미지센서(102)는 외부장치(200)가 출력한 가시광을 감지 또는 수신할 수 있다. 이미지센서(102)는 가시광통신(VLC) 또는 광 카메라 통신(OCC)에 있어서 수신기(receiver)의 역할을 한다. 이미지센서(102)는 광원을 촬영 또는 감지하고 광원의 온/오프(on/off)에 대응하는 데이터를 추출하도록 하는 장치로서, 예를 들어 기설정된 프레임속도(frame rate)에 따라 광원의 온/오프 이미지를 연속 프레임으로 촬영하고 그 촬영된 온/오프 이미지로부터 데이터 또는 정보를 추출할 수 있다. 이미지센서(102)의 프레임속도는 광원의 펄스속도와 같을 수도 있고 다를 수도 있다. 이미지센서(102)는 광원이 온 또는 오프되는 중에 임의의 시점에 촬영을 시작할 수 있다. 이미지센서(102)는 초당 수 내지 수백 프레임으로 이미지를 연속으로 촬영할 수 있다. 이미지센서(102)는 예컨대, 디지털 카메라, 휴대폰, 또는 스마트기기 등에 탑재된 카메라를 포함할 수 있다.

이미지센서(102)는 기설정된 펄스속도로 온/오프되는 광원을 연속프레임으로 촬영하여 광원의 온/오프 이미지를 획득하기 위한 구성 외에, 각 프레임에서 촬영된 온/오프 이미지로부터 해당 온/오프에 대응하는 데이터를 추출하기 위한 데이터추출부를 더 포함할 수 있다. 또는, 데이터추출부는 프로세서(103)에 포함될 수도 있다. 광원의 온/오프 펄스에 대응하는 데이터를 추출함으로써 전자장치(100)는 광원으로부터 전송되는 데이터를 수신할 수 있게 되어 광학 카메라 통신이 가능하게 된다.

프로세서(103)는 이미지센서(102)에 의해 수신된 가시광 신호를 처리할 수 있다. 예를 들어, 프로세서(103)는 이미지센서(102)에 의해 수신된 가시광신호를 디모듈레이트(demodulate)하거나 디코딩(decoding)할 수 있다. 프로세서(103)는 이상 언급된 처리를 수행하는 하나 이상의 하드웨어 및/또는 소프트웨어 모듈 혹은 그 조합으로서 구현될 수 있다.

프로세서(103)는 외부장치(200)로부터 수신한 영상을 처리할 수 있다. 프로세서(103)가 수행하는 영상처리 프로세스의 종류는 한정되지 않는다. 프로세서(103)에서 수행하는 영상처리는, 예를 들어, 입력되는 스트림을 영상, 음성, 부가데이터의 각 하위 스트림으로 구분하는 디멀티플렉싱(de-multiplexing), 영상스트림의 영상 포맷에 대응하는 디코딩(decoding), 인터레이스(interlace) 방식의 영상스트림을 프로그레시브(progressive) 방식으로 변환하는 디인터레이싱(de-interlacing), 영상스트림을 기 설정된 해상도로 조정하는 스케일링(scaling), 영상 화질 개선을 위한 노이즈 감소(noise reduction), 디테일 강화(detail enhancement), 프레임 리프레시 레이트(frame refresh rate) 변환 등을 포함할 수 있다.

프로세서(103)는, 전자장치(100)의 제반 구성들이 동작하기 위한 제어를 수행할 수 있다. 프로세서(103)는 이러한 제어 동작을 수행할 수 있도록 하는 제어프로그램(혹은 인스트럭션)을 실행할 수 있다. 이 경우, 전자장치(100)는, 제어프로그램이 설치되는 비휘발성의 메모리, 설치된 제어프로그램의 적어도 일부가 로드되는 휘발성의 메모리를 더 포함할 수 있다. 또한, 이와 같은 제어프로그램은, 전자장치(100) 이외의 다른 전자기기에도 저장될 수 있다.

제어프로그램은 BIOS, 디바이스드라이버, 운영체계, 펌웨어, 플랫폼 및 응용프로그램(어플리케이션) 중 적어도 하나의 형태로 구현되는 프로그램(들)을 포함할 수 있다. 일 실시예로서, 응용프로그램은, 전자장치(100)의 제조 시에 전자장치(100)에 미리 설치 또는 저장되거나, 혹은 추후 사용 시에 외부로부터 응용프로그램의 데이터를 수신하여 수신된 데이터에 기초하여 전자장치(100)에 설치될 수 있다. 응용프로그램의 데이터는, 예컨대, 어플리케이션 마켓과 같은 외부 서버로부터 전자장치(100)로 다운로드될 수도 있으나, 이에 한정되는 것은 아니다. 한편, 프로세서(103)는 device, S/W module, circuit, chip 등의 형태 또는 그 조합으로 구현될 수 있다. 이하, 본 발명의 일 실시예에 의한 프로세서(103)가 제어프로그램을 실행하여 수행하는 동작을, 설명의 편의상, 제어프로그램을 언급하지 않고, 프로세서(103)의 동작으로 설명할 수 있다.

프로세서(103)는, 예컨대, 이미지센서(102)에 의해 수신되는 가시광으로부터 획득된 데이터에 기초하여 영상을 표시하도록 디스플레이(101)를 제어할 수 있고, 수신특성이 변경되도록 이미지센서(102)를 제어할 수도 있다. 도 2에 도시된 전자장치(100)는 하나의 프로세서(103)에서 처리와 제어를 함께 수행하는 구성으로 구현된 것을 나타내나, 이는 하나의 예시일 뿐이며, 본 발명의 다른 실시예에 의한 전자장치(100)는 프로세서(103)와 별도로 제어부를 추가 구비한 구성으로 구현될 수도 있다.

외부장치(200)는 디스플레이(201)와 프로세서(202)를 포함한다. 다만, 도 2에 도시된 외부장치(200)의 구성은 하나의 예시일 뿐이며, 본 발명의 일 실시예에 의한 외부장치(200)는 다른 구성으로도 구현될 수 있다. 즉, 본 발명의 일 실시예에 의한 외부장치(200)는 도 2에 도시된 구성 외에 다른 구성이 추가되거나, 혹은 도 2에 도시된 구성 중 일부가 배제되어 구현될 수도 있다. 본 발명의 실시예에서, 각 구성은, 적어도 하나의 하드웨어 및/또는 소프트웨어로 구현될 수 있으며, 회로나 칩으로 구현될 수 있다.

외부장치(200)의 디스플레이(201)와 프로세서(202)는 각각, 전자장치(100)의 디스플레이(101) 및 프로세서(103)에 관한 설명이 동일하게 적용 가능하므로, 구체적인 설명은 생략한다. 다만, 외부장치(200)의 디스플레이(201)의 경우, 가시광통신(VLC) 또는 광 카메라 통신(OCC)에 있어서 송신기(transmitter) 역할을 수행할 수 있고, 그 경우 디스플레이(201)는 광원을 포함할 수 있다. 예를 들어 디스플레이(201)가 TFT-LCD 디스플레이로 구현된 경우, 광원은 백라이트유닛(BLU)일 수 있다. 광원은 하나 또는 둘 이상 구비될 수 있으며 기설정된 펄스속도(pulse rate)에 따라 온(on) 또는 오프(off)된다. 펄스속도는 조정 가능하다. 다수의 광원을 구비하는 경우 1×N으로 배열될 수 있고, M×1으로 배열될 수도 있으며, M×N으로 배열될 수도 있다. 또는, 매트릭스 형태가 아니라 원형, 방사형, 타원형 등 다양한 형태로 배열될 수도 있다. 광원은 전송하고자 하는 정보에 따라 온/오프가 결정된다. 예컨대, 이진 데이터 1과 0에 각각 온(on)과 오프(off)가 대응되도록 할 수 있다.

도 3은 본 발명의 일 실시예에 따른 전자장치(100)의 동작을 나타내는 흐름도이다.

본 발명의 일 실시예에 따른 전자장치(100)의 프로세서(103)는, 이미지센서(102)에 의해 수신되는 가시광으로부터 획득된 데이터에 기초하여 영상을 표시하도록 디스플레이(101)를 제어한다(S301). 즉, 프로세서(103)는 이미지센서(102)에 의해 감지된 가시광에 기초한 영상이 디스플레이(101)에 표시되도록 디스플레이(101)를 제어한다. 예를 들어, 전자장치(100)의 이미지센서(102)가 외부장치(200)의 디스플레이(201)를 향하는 경우, 이미지센서(102)는 외부장치(200)의 디스플레이(201)에서 출력되는 가시광, 즉 외부장치(200)에서 출력되는 영상을 감지하게 되고, 프로세서(103)는 외부장치(200)에서 출력되는 영상을 감지한 영상이 표시되도록 디스플레이(101)를 제어할 수 있다.

프로세서(103)는 이미지센서(102)의 수신특성을 조정한다(S302). 프로세서(103)가 이미지센서(102)의 수신특성을 조정하는 이유는, 가시광 통신의 방법으로 외부장치(200)에서 전자장치(100)로 전송되는 신호를 수신하기 위하여, 즉 이미지센서(102)가 가시광 통신 시스템의 수신기의 역할을 수행할 수 있도록 하기 위함이다. 따라서 여기서 이미지센서(102)의 수신특성을 조정하는 것은, 이미지센서(102)의 노출시간을 변경하거나, 이미지센서(102)의 카메라감도를 변경하는 것을 포함한다. 다만, 수신특성 조정의 내용이 이에 한정되는 것은 아니고, 가시광 통신에 따른 전송신호를 이미지센서(102)를 통해 수신하기 위해 필요한 조정 또는 설정변경이라면 무엇이든 포함할 수 있다. 한편, 이미지센서(102)의 수신특성 조정은 프로세서(103)에 의해 수행될 수도 있고, 사용자의 입력에 따라 수행될 수도 있다.

프로세서(103)는 이미지센서(102)의 수신특성이 조정되는 동안, 디스플레이(101)에 표시되는 영상에 대한 사용자 시인성 향상 기능이 수행되도록 디스플레이(101)를 제어한다(S303). 이미지센서(102)의 수신특성이 조정되기 전에 사용자 시인성 향상 기능이 수행되도록 제어할 수도 있다. 이미지센서(102)에 의해 수신되는 가시광에 기초하여 영상이 디스플레이(101)에 표시되고 있는 상황에서, 예를 들어 외부장치(200)의 디스플레이(201)에서 출력되는 영상이 이미지센서(102)에 의해 감지되어 전자장치(100)의 디스플레이(101)에 표시되고 있는 상황에서, 가시광 통신에 따른 전송신호를 수신하기 위해 이미지센서(102)의 수신특성을 조정할 경우, 조정된 수신특성의 이미지센서(102)에 의해 감지되어 표시되는 영상에는, 예를 들어 도 4와 같이, 줄무늬가 발생하거나(400) 화질이 떨어지는 등 영상에 대한 왜곡이 발생하게 되고, 그로 인해 전자장치(100)의 디스플레이(101)를 통해 감상하는 영상에 대한 사용자의 시인성이 저하된다. 이에 본 발명의 일 실시예에 따른 프로세서(103)는, 사용자 시인성 향상 기능을 수행하도록 디스플레이(101)를 제어함으로써, 시인성 저하 문제를 해결할 수 있다. 여기서 사용자 시인성 향상 기능이란, 이미지센서(102)의 수신특성 조정 등에 따라 발생한 영상 왜곡을 보완하거나 완화하는 것을 포함하여, 전자장치(100)의 디스플레이(101)에 표시되는 영상의 저하된 시인성을 향상시킬 수 있는 방법이라면 무엇이든 포함할 수 있다. 사용자 시인성 향상 기능의 구체적인 예는 후술한다.

프로세서(103)는 조정된 수신특성으로 수신되는 가시광의 데이터로부터 상기 가시광을 출력한 외부장치(200)가 전송한 정보를 식별한다(S304). 즉, 프로세서(103)는 수신특성이 조정된 이미지센서(102)를 통하여, 외부장치(200)가 전송하는 가시광 통신 신호를 수신하고 해당 신호에 담긴 정보를 식별한다. 이후 프로세서(103)는 식별된 정보에 기초하여 동작을 수행한다(S305).

이에 의하면, 영상정보의 왜곡 없이 OCC 통신을 수행할 수 있다.

이하 도 5 내지 도 7을 참조하여 가시광 통신 신호를 수신하여 식별하는 방법 및 그 식별에 기초한 동작 수행에 관해 설명한다.

도 5는 본 발명의 일 실시예에 따른 전자장치(100)의 통신 방법, 즉 OCC 통신의 개요를 도시한다.

외부장치(200)가 TV이고 외부장치(200)의 디스플레이(201)가 TFT-LCD 디스플레이인 경우, OCC 통신에 있어서 발신기의 광원 역할은 백라이트유닛(BLU)(500)에 의해 수행될 수 있다. 그 경우 백라이트유닛(500)은 기설정된 펄스속도, 예를 들어 초당 200번의 펄스속도로 깜빡거리면서 디지털신호를 백라이트유닛(500)의 깜빡거림으로 전환한다. 예를 들어 백라이트유닛(500)은 0과 1로 이루어진 디지털 신호에 대하여, 0에 대해서는 백라이트유닛(500)을 오프(OFF)하고, 1에 대해서는 백라이트유닛(500)을 온(ON) 함으로써 수신된 디지털 신호를 가시광 신호로 전환하여 출력할 수 있다(S501).

외부장치(200)에서 위와 같이 출력된 가시광 신호는 전자장치(100)에 의해 수신될 수 있다. 예를 들어, 전자장치(100)의 이미지센서(102)는 외부장치(200)의 백라이트유닛(500)에 의해 출력되는 가시광 신호를 기설정된 프레임 속도, 예를 들어 초당 30프레임의 속도로 촬영하여 각 프레임 데이터를 생성할 수 있다(S502). 전자장치(100)는 프레임 데이터를 저장하기 위해 프레임 버퍼를 더 포함할 수도 있다. 이후 프로세서(103)는 프레임 데이터를 소정 샘플레이트(sample rate)로 샘플링함으로써 외부장치(200)에서 출력한 가시광 신호를 디지털 신호로 전환할 수 있다(S503).

도 6 내지 도 7은 본 발명의 일 실시예에 따른 전자장치(100)가 외부장치(200)가 전송한 정보에 따라 수행하는 동작의 예를 도시한다.

전자장치(100)가 외부장치(200), 예를 들어 TV가 전송한 OCC 통신 신호를 수신하는 경우, 전자장치(100)의 이미지센서(102)는 외부장치(200)의 디스플레이(201)를 향하게 된다. 즉, 전자장치(100)의 이미지센서(102)는 외부장치(200)의 디스플레이(201)가 출력하는 영상을 감지하여 이를 전자장치(100)의 디스플레이(101)에 표시될 수 있도록 함과 동시에, 외부장치(200)가 전송하는 OCC 통신 신호를 함께 수신한다. 즉, 전자장치(100)가 외부장치(200)와 OCC 통신을 수행하는 경우, 전자장치(100)는 외부장치(200)로부터 영상정보와 동시에 OCC 통신 신호를 수신한다. 따라서 외부장치(200)에서 출력되는 영상정보와 관련성이 있는 각종 부가 정보가 OCC 통신 신호를 통해 전송되면 전자장치(100)의 사용자에게 유용할 수 있다. 이 경우 전자장치(100)의 프로세서(103)는 외부장치(200)로부터 OCC 통신 신호를 통해 전송되는 정보(이하 'OCC 전송정보'라고도 함)를 외부장치(200)에서 출력되는 영상정보와 함께 표시할 필요가 있을 수 있다.

예를 들어, 외부장치(200)가 OCC 통신을 통해 전자장치(100)에 전송한 정보가 광고정보(601)인 경우, 전자장치(100)의 프로세서(103)는, 도 6과 같이, 해당 광고정보(601)를 수신하여 이를 외부장치의 화면(600)과 함께 표시되도록 할 수 있다.

다른 예로, 외부장치(200)가 OCC 통신을 통해 전자장치(100)에 전송한 정보가 AR(Augmented Reality) 정보(701)인 경우, 전자장치(100)의 프로세서(103)는, 도 7과 같이, 해당 AR정보(701)를 수신하여 이를 외부장치의 화면(700)과 함께 표시되도록 할 수 있다.

다만, 도 6과 도 7은 하나의 실시예일뿐, 본 발명에서 외부장치(200)가 OCC 통신을 통해 전자장치(100)에 전송하는 OCC 전송정보가 위와 같이 광고정보(601)나 AR정보(701)로 한정되는 것은 아니다. 예를 들어, OCC 전송정보는 작품 해설, 뉴스 기사, 관련 사이트의 주소 등을 포함할 수 있다. 또한, 본 발명에서 OCC 전송정보가 외부장치(200)의 영상정보와 관련성이 있는 정보에 한정되는 것도 아니다. 외부장치(200)의 영상정보와 관련성이 없더라도 OCC 통신을 통해 전송될 수 있는 정보라면 무엇이든 외부장치(200)에서 전자장치(100)로 전송될 수 있고, 전자장치(100)의 프로세서(103)는 그 전송된 정보를 식별하여 그 식별된 정보에 기초한 동작을 수행할 수 있다.

이하 전자장치(100)에 표시되는 영상에 대한 사용자 시인성 향상 기능의 다양한 예를 도 8 내지 도 11을 참조하여 설명한다.

도 8은 본 발명의 일 실시예에 따른 전자장치(100)의 동작을 나타내는 흐름도이다.

이미지센서(102)는 영상을 감지한다(S801). 예를 들어, 이미지센서(102)가 렌즈를 구비한 경우, 이미지센서(102)는 렌즈를 통과해 수신된 영상을 감지할 수 있다. 이미지센서(102)가 외부장치(200)의 디스플레이(201)를 향해 있는 경우, 이미지센서(102)는 외부장치(200)의 디스플레이(201)에서 출력되는 영상을 감지할 수 있다. 이하에서는 이미지센서(102)가 외부장치(200)의 디스플레이(201)를 향해 있는 경우를 예를 들어 설명한다.

프로세서(103)는 이미지센서(102)가 감지한 영상을 수신하여, 그 감지된 영상을 표시하도록 디스플레이(101)를 제어한다(S802). 다만, 이미지센서(102)가 감지한 영상이 반드시 프로세서(103)로 전송되어야 하는 것은 아니다. 예를 들어 이미지센서(102)는 영상을 감지한 후 영상 감지 이벤트를 발생시킴으로써 영상 감지 사실을 프로세서(103)에 통지하고, 그 통지를 받은 프로세서(103)는 이미지센서(102)가 감지한 영상이, 프로세서(103)가 아닌, 이미지센서(102)에서 디스플레이(101)로 전송되도록 이미지센서(102)를 제어할 수도 있다. 또는, 이미지센서(102)가 영상을 감지한 이벤트의 발생을 프로세서(103)가 직접 모니터링 한 후, 이미지센서(102)가 감지한 영상이 이미지센서(102)에서 디스플레이(101)로 전송되도록 이미지센서(102)를 제어할 수도 있다.

이상의 제어에 따라 전자장치(100)의 디스플레이(101)에는 외부장치(200)의 디스플레이(201)에서 출력되는 영상이 실시간으로 표시된다.

이후 프로세서(103)는, 외부장치(200)에서 전송되는 OCC 통신 신호를 수신하기 위하여, 이미지센서(102)의 수신특성을 조정한다(S804). 이 때, 그와 동시에, 또는 그에 앞서서, 프로세서(103)는 디스플레이(101)에 표시되는 영상에 대한 사용자 시인성 향상 기능이 수행되도록 디스플레이(101)를 제어한다(S803). 사용자 시인성 향상 기능의 일 예로, 프로세서(103)는 OCC 통신 신호가 수신되는 동안에는 디스플레이(101)에 표시되는 영상을 정지시킬 수 있다. 즉, 프로세서(103)는 이미지센서(102)의 수신특성이 조정되는 동안 또는 그 조정된 수신특성에 따라 이미지센서(102)가 동작하는 동안, 이미지센서(102)의 수신특성이 조정되기 전에 디스플레이(101)에 표시된 영상이 계속 표시되도록 할 수 있다(S803).

사용자 시인성 향상 기능이 수행되는 동안, 이미지센서(102)는 조정된 수신특성에 따라 OCC 통신 방식을 통해 전송되는 OCC 전송정보를 감지하고(S805), 프로세서(103)는 감지된 OCC 전송정보를 식별하여 그 정보를 파악한다(S806). OCC 전송정보의 식별은 이미지센서(102)에 의해 수행될 수도 있다.

OCC 전송정보의 수신 및 그 식별이 완료되면, 프로세서(103)는 이미지센서(102)의 수신특성이 복원되도록 이미지센서(102)를 제어할 수 있다(S807). 이후로 이미지센서(102)에 의해 영상이 감지되면(S808), 프로세서(103)는 그 감지된 영상이 표시되도록 디스플레이(101)를 제어함과 동시에, 식별된 OCC 정보에 기초한 동작, 예를 들어 식별된 OCC 전송정보가 이미지센서(102)에 의해 감지된 영상과 함께 표시되도록 디스플레이(101)를 제어하는 동작을 수행할 수 있다(S809).

위 실시예에 의하면, OCC 전송정보의 수신을 위해 이미지센서(102)의 수신특성이 조정되기 전까지는, 외부장치(200)의 실시간 영상(810)이 전자장치(100)의 디스플레이(101)에 표시된다. 이후 이미지센서(102)의 수신특성이 조정되어 이미지센서(102)가 OCC 전송정보를 수신하고 프로세서(103) 또는 이미지센서(102)에 의해 수신된 OCC 전송정보가 식별되는 동안에는, 외부장치(200)의 이전 영상(820), 즉 이미지센서(102)의 수신특성이 조정되기 전에 전자장치(100)의 디스플레이(101)에 표시된 영상이 디스플레이(101)에 표시된다. 이후 OCC 전송정보의 수신이 완료되어 이미지센서(102)의 수신특성이 복원된 후로는, 이미지센서(102)에 의해 감지되는 외부장치(200)의 실시간 영상과, 식별된 OCC 전송정보에 기초한 정보가 결합된 영상(830)이 디스플레이(101)에 함께 표시된다.

이에 의하면, OCC 전송정보가 수신되는 동안에도, OCC 전송정보의 수신을 위하여 수신특성이 조정된 이미지센서(102)에 의해 감지된 영상, 즉 줄무늬가 표시되는 등으로 왜곡된 영상이 디스플레이(101)에 표시되지 않으므로, OCC 전송정보의 수신을 위하여 이미지센서(102)의 수신특성이 조정된 경우에도 디스플레이(101)에 표시되는 영상에는 왜곡이 발생하지 않게 되어 사용자 시인성이 향상된다.

도 9는 본 발명의 일 실시예에 따른 전자장치와 종래 기술에 따른 전자장치의 동작을 비교하여 나타내는 도면이다.

종래 기술에 따른 전자장치(100)에 의하면, OCC 전송정보의 수신을 위해 이미지센서(102)의 수신특성이 변경된 경우, 디스플레이(101)에 표시되는 영상은 수신특성이 변경된 이미지센서(102)에 의해 감지된 영상이므로, 디스플레이(101)에 출력되는 영상에는 줄무늬가 생겨 사용자 시인성이 저하된다(910). 그에 따라 OCC 전송정보의 수신 및 식별이 완료되어 OCC 전송정보에 관한 UI(901)를 디스플레이(101)에 표시함에 있어서도, 디스플레이(101)에 출력되는 영상에 줄무늬가 생겨 사용자 시인성이 저하되는 문제는 여전했다(920).

그에 비해 본 발명의 일 실시예에 따른 전자장치(100)에 따르면, OCC 전송정보의 수신을 위해 이미지센서(102)의 수신특성이 변경된 경우, 디스플레이(101)에 표시되는 영상은, 수신특성이 변경된 이미지센서(102)에 의해 감지된 영상이 아니라, 수신특성이 변경되기 이전의 이미지센서(102)에 의해 감지되어 표시된 영상이므로, 디스플레이(101)에 출력되는 영상에 줄무늬가 생겨 사용자 시인성이 저하되는 문제가 개선된다(930). 또한, OCC 전송정보의 수신 및 식별이 완료되어 OCC 전송정보에 관한 UI(901)를 디스플레이(101)에 표시함에 있어서도, 디스플레이(101)에 출력되는 영상에 대한 왜곡이 없으므로, OCC 전송정보에 관한 UI(901)를 왜곡되지 않은 영상과 함께 표시할 수 있다.

한편, 위 도 8 내지 도 9에서는, 사용자 시인성 향상 기능의 일 예로서, OCC 전송정보가 수신되는 동안에 디스플레이(101)에 표시되는 영상을 정지시키는 방법을 설명했으나, 본 발명이 이에 한정되는 것은 아니고, OCC 전송정보가 수신되는 동안에 디스플레이(101)에 왜곡되지 않은 영상이 표시되도록 하는 방법이라면 무엇이든 사용자 시인성 향상 기능에 해당할 수 있다. 예를 들어, 전자장치(100)의 프로세서(103)는, 도 10과 같이, 이미지센서(102)의 수신특성이 조정되어 OCC 전송정보가 수신되는 동안에, OCC 전송정보의 수신 및/또는 식별에 관한 진행상황을 사용자에게 보여주도록 디스플레이(101)를 제어할 수 있다. 다른 예로, 전자장치(100)의 프로세서(103)는, 도 11과 같이, 이미지센서(102)의 수신특성이 조정되어 OCC 전송정보가 수신되는 동안에, 새롭게 생성한 영상, 예를 들어 사용자 맞춤형 광고 또는 디스플레이(101)에 표시된 마지막 영상과 연결될 수 있는 영상으로서 인공지능 기술을 활용하여 생성된 영상 등이 표시되도록 디스플레이(101)를 제어할 수 있다.

이에 의하면, 다양한 방법을 통해 영상정보의 왜곡 없이 OCC 통신을 수행할 수 있다.

도 12는 본 발명의 다른 실시예에 따른 전자장치(100)의 동작을 도시한다. 본 실시예에 따르면 이미지센서(102)의 수신특성 조정은 전자장치(100)에 의해 자동으로 수행될 수 있다. 도 12를 참조하여 그 일 예를 보다 구체적으로 설명한다.

프로세서(103)는 이미지센서(102)에 의해 수신되는 가시광으로부터 획득된 데이터에 기초하여 영상을 표시하도록 디스플레이(101)를 제어한다(S1201). 즉, 프로세서(103)는 이미지센서(102)가 감지한 영상이 표시되도록 디스플레이(101)를 제어한다.

프로세서(103)는 이미지센서(102)의 수신특성을 제1설정으로 조정한다(S1202). 제1설정은 이미지센서(102)의 수신특성, 예를 들어 이미지센서(102)의 노출시간 또는 이미지센서(102)의 카메라감도를 소정 값으로 설정하는 것이라면 무엇이든 가능하다.

한편, 프로세서(103)는, 이미지센서의 수신특성이 조정되는 동안, 표시되는 영상에 대한 사용자 시인성 향상 기능이 수행되도록 디스플레이(101)를 제어한다(S1203). 사용자 시인성 향상 기능은, 예를 들어 앞서 설명한 바와 같이, OCC 전송정보가 수신되는 동안 디스플레이(101)에 표시되는 영상을 정지시키는 기능일 수도 있고, OCC 전송정보의 수신 및/또는 식별에 관한 진행상황을 표시하는 기능일 수도 있으며, 사용자 맞춤형 광고 등을 표시하는 기능일 수도 있다.

이미지센서(102)의 수신특성을 제1설정으로 조정한 후, 프로세서(103)는 조정된 수신특성으로 수신되는 가시광의 데이터로부터, 가시광을 출력한 외부장치(200)가 전송한 정보를 식별한다(S1204). 즉, 프로세서(103)는 외부장치(200)가 전송한 OCC 전송정보를 식별한다.

가시광의 데이터로부터 정보의 식별이 성공한 경우, 즉, OCC 전송정보 식별에 성공한 경우, 프로세서(103)는 식별된 정보에 기초하여 동작을 수행한다(S1206). 식별된 OCC 전송정보에 기초한 동작으로서 프로세서(103)는, 예를 들어 앞서 설명한 바와 같이, 광고정보(601) 또는 AR정보(701)를 외부장치(200)의 화면과 함께 표시되도록 할 수 있다.

반면, OCC 전송정보 식별에 실패한 경우, 프로세서(103)는 이미지센서의 수신특성을 제1설정과는 다른 설정으로 조정하고(S1207), OCC 전송정보의 식별 이하의 단계를 다시 시도한다.

이에 의하면, OCC 전송정보를 식별할 수 있는 이미지센서(102)의 수신특성 조정을 프로세서(103)가 자동으로 수행하므로, 수신특성의 조정을 사용자가 일일이 수행하는 것과 비교하여, 사용자 편의성이 증대된다.

도 13은 본 발명의 또 다른 실시예에 따른 전자장치(100)의 동작을 도시한다.

전자장치(100)가 외부장치(200)와의 사이에 OCC 통신을 수행하기 위해서는 사용자가 전자장치(100)의 이미지센서(102)를 작동시킨 후 이미지센서(102)가 외부장치(200)를 향하도록 조작해야 한다. 이를 위해서 사용자는 그보다 전에 외부장치(200)가 현재 OCC 통신에 따른 정보를 전송하고 있거나 추후 외부장치(200)에 의한 OCC 전송이 시작될 것임을 알 필요가 있다. 본 실시예에 따르면 사용자는 외부장치(200)가 OCC 통신에 따른 정보를 전송하고 있거나 전송할 예정이라는 점에 관한 알림을 제공받을 수 있다. 도 13을 참조하여 일 예를 설명한다.

프로세서(103)는 가시광을 출력한 외부장치(200)가 정보를 전송하는 것에 대응하여, 상기 정보를 식별할 수 있는 어플리케이션에 관한 UI를 포함한 알림메시지를 표시하도록 디스플레이(101)를 제어할 수 있다. 즉, 프로세서(103)는 외부장치(200)가 OCC 전송정보를 전송하거나 전송 예정인 것에 대응하여, 이를 관한 알림메시지를 표시할 수 있다. 프로세서(103)가 외부장치(200)가 OCC 전송정보를 전송하거나 전송 예정이라는 점을 인식하는 방법으로서, 프로세서(103)는 외부장치(200)에서 발송된 통지 신호를 수신함으로써 이를 인식할 수도 있고, 프로세서(103)가 외부장치(200)의 상태 변화를 직접 모니터링 함으로써 이를 인식할 수도 있다. 전자의 일 예로서 전자장치(100)와 외부장치(200)가 이미 페어링된 경우에는, OCC 송신기 역할을 수행하는 외부장치(200)에서 OCC 수신기 역할을 하는 전자장치(100)로 통지를 할 수 있다.

알림메시지를 표시하는 방법의 일 예로서 프로세서(103)는, OCC 전송정보를 식별할 수 있는 어플리케이션에 관한 UI를 포함한 알림메시지를 표시하도록 디스플레이(101)를 제어할 수 있다. 예를 들어 도 13과 같이, 프로세서(103)는 외부장치(200), 예를 들어 TV로부터 OCC 데이터가 전송중임을 알리는 UI(1301)를 디스플레이(101)에 표시되도록 제어함과 동시에, 이미지센서(102)를 작동시켜 OCC 전송정보를 수신 및 식별할 수 있는 어플리케이션(이하 'OCC 앱'이라고도 함)에 관한 UI(1302, 1303)가 함께 표시되도록 디스플레이(101)를 제어할 수 있다. OCC 앱에 관한 UI로서 프로세서(103)는 OCC 앱을 바로 실행시킬 수 있는 선택 버튼(1302)이 디스플레이(101)에 표시되도록 제어할 수 있다.

이에 의하면, 사용자는 외부장치(200)로부터 OCC 전송정보가 전송되고 있다는 점에 대한 알림을 받을 수 있고, 나아가 OCC 앱을 바로 실행시킬 수 있는 메뉴를 바로 선택할 수도 있으므로, 사용자 편의성이 향상된다.

도 14는 본 발명의 또 다른 실시예에 따른 전자장치(100)의 동작을 도시한다.

사용자가 외부장치(200)로부터 OCC 전송정보가 전송되고 있다는 점에 대한 알림을 전자장치(100)를 통해 수신함에 따라 OCC 전송정보가 전송되고 있음을 인지한 경우에도, 예를 들어 사용자의 주변에 OCC 전송정보를 전송할 수 있는 외부장치(200)가 복수 개 존재하는 경우 등으로 인해, 사용자는 복수의 외부장치(200) 중 어느 외부장치(200)에 전자장치(100)의 이미지센서(102)를 향하도록 해야 하는지 알 수 없을 수 있다. 본 실시예에 따르면 사용자는 OCC 전송정보를 전송 중인 외부장치(200)가 무엇인지에 관한 알림을 제공받을 수 있다. 도 14를 참조하여 그 일 예를 설명한다.

사용자가 OCC 앱 등을 작동시킴으로써 전자장치(100)의 이미지센서(102)가 동작하도록 하여 이미지센서(102)가 감지한 영상이 디스플레이(101)에 표시되고 있는 경우, 프로세서(103)는 상기 표시된 영상에서 OCC 전송정보가 전송 중인 외부장치(200)를 식별하고, 상기 이미지센서(102)를 상기 외부장치(200)에 근접시키도록 유도하는 UI를 표시하도록 상기 디스플레이(101)를 제어할 수 있다. 예를 들어 도 14와 같이 프로세서(103)는, 이미지센서(102)가 감지한 영상이 디스플레이(101)에 표시되고 있는 경우에, 표시된 영상에서 OCC 전송정보가 전송 중인 외부장치(1400)를 식별하고, 이미지센서(102)를 그 외부장치(1400)에 근접시키도록 유도하는 UI, 예를 들어 도 14와 같은 그래픽 UI(1401)를 표시하도록 디스플레이(101)를 제어할 수 있다. 또는, 프로세서(103)는 디스플레이(101)에 표시되고 있는 영상 내에는 OCC 전송정보를 전송 중인 외부장치(200)가 표시되지 않는 경우에도, 현재 영상을 기준으로 하여 OCC 전송정보를 전송 중인 외부장치(200)가 존재하는 위치를 안내하는 UI를 표시함으로써, 사용자가 이미지센서(102)를 외부장치(200) 쪽으로 근접시키도록 하는 안내를 사용자에게 제공할 수도 있다.

이에 의하면, 사용자는 OCC 전송정보를 전송 중인 외부장치(200)의 위치에 관한 안내를 받아 해당 위치로 이미지센서(102)를 근접시킬 수 있으므로, 사용자 편의성이 향상된다.

도 15는 본 발명의 또 다른 실시예에 따른 전자장치(100)의 동작을 도시한다.

본 실시예에 따르면, 전자장치(100)는 이미지센서(102)가 감지한 영상 내에서 OCC 전송정보를 제공하는 외부장치(200)의 존재를 직접 인식하여, 해당 외부장치(200)가 감지된 경우에 비로소 사용자 시인성 향상 기능 등을 수행할 수 있다. 도 15를 참조하여 이를 구체적으로 설명한다.

프로세서(103)는 이미지센서(102)에 의해 수신되는 가시광으로부터 획득된 데이터에 기초하여 영상을 표시하도록 디스플레이(101)를 제어한다(S1501). 즉, 프로세서(103)는 이미지센서(102)가 감지한 영상이 표시되도록 디스플레이(101)를 제어한다.

이후 프로세서(103)는 디스플레이(101)에 표시되는 영상 내에서 외부장치(200), 예를 들어 TV가 있는지 여부를 인식한다(S1502). 영상 내에서 TV 등의 외부장치(200) 인식하는 방법으로는, 머신러닝이나 딥러닝 기술 등을 이용하여 영상 자체에서 외부장치(200)를 인식하는 방법, 외부장치(200)에서 송출하는 indicator LED나 LOGO의 모양/색깔/깜빡임 등을 통해 해당 외부장치(200)를 인식하는 방법, TV의 영상 컨텐츠 내의 특정 패턴을 인식하는 방법, 블루투스나 Wi-Fi 등에서 전송하는 무선 신호를 통해 해당 신호를 전송하는 외부장치(200)를 인식하는 방법 등이 사용 가능하나, 영상 내의 외부장치(200) 인식 방법이 이에 한정되는 것은 아니다.

TV가 인식되지 않는 경우, 프로세서(103)는 이미지센서(102)가 감지한 영상을 그대로 표시하도록 디스플레이(101)를 제어하는 동작을 계속 수행한다(S1501).

프로세서(103)가 TV를 인식한 경우, 프로세서(103)는 그 때 비로소 OCC 전송정보의 수신과 관련된 본 발명의 동작, 예를 들어 이미지센서(102)의 수신특성을 조정하는 동작(S1503) 및 그 조정 동안 사용자 시인성 향상 기능을 수행하는 동작(S1504)를 행한다. 이미지센서(102)의 수신특성이 조정된 후, 프로세서(103)는 조정된 수신특성으로 수신되는 가시광의 데이터로부터, 가시광을 출력한 외부장치(200)가 전송한 정보를 식별하고(S1505), 식별된 정보에 기초하여 동작을 수행한다(S1506). OCC 전송정보의 식별 및 식별된 정보에 기초한 동작에 관해서는 앞서 설명한 내용이 마찬가지로 적용 가능하다.

이에 의하면, OCC 정보를 전송하는 외부장치를 자동으로 인식하여 사용자 시인성 향상 기능을 수행하므로, 시인성 향상 기능 제공의 적절성이 향상된다.

한편, 위 실시예에 관련된 실시예로서, 프로세서(103)는 디스플레이(101)에 표시된 영상 중 외부장치(200)에 대응하는 영역의 데이터로부터, 가시광을 출력한 외부장치가 전송한 정보를 식별할 수 있다. 즉, 외부장치(200)가 전송하는 OCC 전송정보를 식별함에 있어서, 디스플레이(100)의 전체 영역에 대하여 OCC 전송정보를 수신하고 식별하는 것이 아니라, 외부장치(200)가 존재하는 것으로 인식된 영역 또는 외부장치(200)에 대응하는 영역에 대하여 OCC 전송정보를 수신하고 식별하는 동작을 수행할 수 있다.

이에 의하면, OCC 전송정보 식별의 속도, 정확도 및/또는 효율이 향상된다.

100: 전자장치
101: 디스플레이
102: 이미지센서
103: 프로세서

Claims (20)

1. 전자장치에 있어서,
   디스플레이;
   이미지센서; 및
   상기 이미지센서에 의해 수신되는 가시광으로부터 획득된 데이터에 기초하여 영상을 표시하도록 상기 디스플레이를 제어하고,
   상기 이미지센서의 수신특성을 조정하고,
   상기 이미지센서의 수신특성이 조정되는 동안, 상기 표시되는 영상에 대한 사용자 시인성 향상 기능이 수행되도록 상기 디스플레이를 제어하고,
   상기 조정된 수신특성으로 수신되는 가시광의 데이터로부터 상기 가시광을 출력한 외부장치가 전송한 정보를 식별하고,
   상기 식별된 정보에 기초하여 동작을 수행하는
   프로세서를 포함하며,
   상기 사용자 시인성 향상 기능은 상기 외부장치로부터 OCC 전송정보가 수신되는 동안, 상기 디스플레이에 표시되는 영상을 정지하거나, 상기 OCC 전송정보의 수신 및 식별 중 적어도 하나에 관한 진행상황을 상기 디스플레이에 표시하거나, 또는 새롭게 생성한 영상 또는 상기 디스플레이에 표시된 마지막 영상과 연결될 수 있는 영상을 표시하는 것 중 적어도 하나를 포함하는 전자장치.
2. 삭제
3. 제1항에 있어서,
   상기 이미지센서의 수신특성 조정은, 상기 이미지센서의 노출시간 또는 카메라감도를 변경하는 것을 포함하는 전자장치.
4. 제1항에 있어서,
   상기 식별된 정보에 기초한 동작은, 상기 식별된 정보에 대응하는 주소로부터 상기 영상에 관한 부가정보를 수신하여 표시하는 전자장치.
5. 제1항에 있어서,
   상기 프로세서는, 상기 이미지센서의 수신특성을 제1설정으로 조정하고, 상기 조정된 수신특성으로 상기 가시광을 출력한 외부장치가 전송한 정보의 식별을 시도하고, 상기 식별의 실패에 대응하여 상기 이미지센서의 수신특성을 제2설정으로 조정하는 전자장치.
6. 제1항에 있어서,
   상기 프로세서는 상기 가시광을 출력한 외부장치가 정보를 전송하는 것에 대응하여, 상기 정보를 식별할 수 있는 어플리케이션에 관한 UI를 포함한 알림메시지를 표시하도록 상기 디스플레이를 제어하는 전자장치.
7. 제1항에 있어서,
   상기 프로세서는 상기 표시된 영상에서 상기 외부장치를 식별하고, 상기 이미지센서를 상기 외부장치에 근접시키도록 유도하는 UI를 표시하도록 상기 디스플레이를 제어하는 전자장치.
8. 제1항에 있어서,
   상기 프로세서는 상기 표시된 영상에서 상기 외부장치를 식별하고, 상기 식별에 기초하여 상기 이미지센서의 수신특성 조정 및 상기 사용자 시인성 향상 기능이 수행되도록 하는 전자장치.
9. 제8항에 있어서,
   상기 프로세서는 상기 영상 중 상기 외부장치에 대응하는 영역의 데이터로부터 상기 가시광을 출력한 외부장치가 전송한 정보를 식별하는 전자장치.
10. 전자장치의 제어방법에 있어서,
    이미지센서에 의해 수신되는 가시광으로부터 획득된 데이터에 기초하여 영상을 표시하도록 디스플레이를 제어하는 단계;
    상기 이미지센서의 수신특성을 조정하는 단계;
    상기 이미지센서의 수신특성이 조정되는 동안, 상기 표시되는 영상에 대한 사용자 시인성 향상 기능이 수행되도록 상기 디스플레이를 제어하는 단계;
    상기 조정된 수신특성으로 수신되는 가시광의 데이터로부터 상기 가시광을 출력한 외부장치가 전송한 정보를 식별하는 단계; 및
    상기 식별된 정보에 기초하여 동작을 수행하는 단계를 포함하며,
    상기 사용자 시인성 향상 기능은 상기 외부장치로부터 OCC 전송정보가 수신되는 동안, 상기 디스플레이에 표시되는 영상을 정지하거나, 상기 OCC 전송정보의 수신 및 식별 중 적어도 하나에 관한 진행상황을 상기 디스플레이에 표시하거나, 또는 새롭게 생성한 영상 또는 상기 디스플레이에 표시된 마지막 영상과 연결될 수 있는 영상을 상기 디스플레이에 표시하는 것 중 적어도 하나를 포함하는 전자장치의 제어방법.
11. 삭제
12. 삭제
13. 삭제
14. 삭제
15. 삭제
16. 삭제
17. 삭제
18. 삭제
19. 전자장치와 결합되어 제10항의 제어방법을 실행시키기 위하여 매체에 저장된 컴퓨터프로그램.
20. 삭제

Images