KR20140141100A

KR20140141100A - 시력 보호 방법 및 장치

Info

Publication number: KR20140141100A
Application number: KR20130062414A
Authority: KR
Inventors: 박정훈; 권동욱; 김경일; 김민호; 이기상; 이상보; 이진경; 진영구; 최진욱
Original assignee: 삼성전자주식회사
Priority date: 2013-05-31
Filing date: 2013-05-31
Publication date: 2014-12-10
Also published as: EP2816545A2; US20140355830A1; US9594945B2; KR102121592B1; EP2816545A3

Abstract

본 발명은 디지털 장치와 이를 시청하는 사용자 간에 적정 시청 거리를 확보하기 위한 디스플레이 제어 방법 및 장치를 제공한다. 이에 따라, 본 발명은 디지털 장치에 구비된 3D 카메라 기능을 이용해 위험 시청 거리 내에 새로운 오브젝트가 위치하는지 확인한다. 새로운 오브젝트가 위치하는 것으로 확인되면, 디지털 장치는 카메라를 통해 촬영된 영상에서 얼굴 또는 눈동자를 검출한다. 그리고 검출 결과를 근거로 얼굴의 방향을 결정하고, 이를 근거로 사용자가 디지털 장치의 표시 화면을 응시하는지를 판단한다. 사용자가 디지털 장치의 표시 화면을 응시하는 것으로 판단되면, 디지털 장치는 위험 시청 거리 내에 사용자가 위치하는 것을 경고하는 알림을 발생한다.

Description

시력 보호 방법 및 장치{METHOD AND APPARATUS FOR PROTECTING EYESIGHT}

본 발명은 영상 디스플레이가 가능한 디지털 장치에 관한 것으로, 특히 사용자의 적정 시청 거리를 확보하는 시력 보호 방법 및 장치에 관한 것이다.

최근 몇 년 사이에 텔레비전은 대형화되는 추세이고 시청공간은 대형 텔레비전을 수용하기에는 좁은 실정이다. 그리고 디지털 텔레비전이 보급되면서, 텔레비전을 시청하며 지내는 시간도 여가 생활의 많은 부분을 차지하고 있다.

또한, 다양한 휴대용 장치가 개발되면서, 다양한 휴대용 장치에서 동영상 재생 서비스, DMB 서비스, 인터넷 네트워크 검색 서비스 등을 제공하게 되었고, 이에 따라, 휴대용 장치를 시청하는 시간도 증가하고 있다.

이와 같이, 디지털 장치에 대한 시청 시간이 증가함에 따라, 사용자의 시력이 나빠질 수 있는 상황이 도래하고 있다. 특히, 휴대용 장치의 경우, 어느 장소, 어느 시간에서나 시청할 수 있다는 특징이 있기 때문에, 사용자의 시력은 더 나빠질 수 있다.

상기한 문제점을 해결하기 위해, 본 발명은 사용자의 시력을 보호할 수 있는 방법 및 장치를 제공한다.

그리고 본 발명은 사용자와 디지털 장치 간에 적정한 시청 거리를 확보할 수 있는 방법 및 장치를 제공한다.

한편, 본 발명은 표시 패널과 동일한 면에 적어도 두 개 이상의 카메라가 장착된 영상 출력 디지털 장치의 시력 보호 방법에 있어서, 시력 보호 모드가 설정에 따라 촬영된 3D 영상에서 오브젝트를 검출하는 과정과, 상기 오브젝트와 상기 디지털 장치 간의 거리를 검출하는 과정과, 상기 검출된 거리가 위험 시청 거리보다 작으면, 촬영된2D 영상에서 얼굴 또는 눈을 검출하는 과정과, 상기 얼굴 검출 결과 또는 눈 검출 결과에 따라, 상기 위험 시청 거리 내의 사용자의 위치 여부 및 상기 사용자의 상기 디지털 장치의 표시 패널에 대한 응시여부를 결정하는 과정과, 상기 사용자가 상기 표시 패널을 응시하는 것으로 결정되면, 경고를 발생하는 과정을 포함한다.

또한, 본 발명은 영상 출력 디지털 장치가, 표시 패널과, 상기 표시 패널과 동일한 면에 장착되는 적어도 두 개의 카메라와, 시력 보호 모드가 설정에 따라 상기 두개의 카메라에 의해 촬영된 3D 영상에서 오브젝트를 검출하고, 상기 오브젝트와 상기 디지털 장치 간의 거리를 검출하고, 상기 검출된 거리가 위험 시청 거리보다 작으면, 상기 두개의 카메라 중 어느 하나에 의해 촬영된2D 영상에서 얼굴 또는 눈을 검출하고, 상기 얼굴 검출 결과 또는 눈 검출 결과에 따라, 상기 위험 시청 거리 내의 사용자의 위치 여부 및 상기 사용자의 상기 디지털 장치의 표시 패널에 대한 응시여부를 결정하고, 상기 사용자가 상기 표시 패널을 응시하는 것으로 결정되면, 경고를 발생하는 제어부를 포함한다.

본 발명은 사용자의 시력을 보호할 수 있고, 디지털 장치 간에 적정한 시청 거리를 확보할 수 있는 디스플레이 제어 방법 및 장치를 제공한다.

도1은 본 발명의 일 실시예에 따른 휴대용 장치의 구성을 나타낸 도면,
도2는 본 발명의 일 실시예에 따른 다기능 카메라의 이미지 센서의 구성을 나타낸 도면,
도3은 본 발명의 일 실시예에 따른 휴대용 장치의 정면 사시도,
도4는 본 발명의 일 실시예에 따른 휴대용 장치의 후면 사시도,
도5 및 도6은 본 발명의 일 실시예에 따른 디지털 장치의 동작 과정을 나타낸 도면,
도7은 본 발명의 일 실시예에 따른 눈 후보 영역을 검출하는 방식을 설명하기 위한 예시도,
도8은 본 발명의 일 실시예에 따른 디지털 텔레비전의 구성을 나타낸 도면.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명한다. 도면에서 동일한 구성요소들에 대해서는 비록 다른 도면에 표시되더라도 가능한 한 동일한 참조번호 및 부호로 나타내고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다.

이러한 본 발명은, 영상이 디스플레이되는 표시 화면을 구비한 각 종 디지털 장치에 적용될 수 있다. 예를 들어, 스마트 폰, PDA, 멀티미디어 재생 장치, 태블릿 PC, 노트북, 휴대용 게임 장치와 같은 각종 디지털 장치에 적용될 수 있다. 또는 데스크 탑, 디지털 텔레비전, 모니터 장치와 같은 디지털 장치에 적용될 수도 있다.

이하 에선, 본 발명의 이해를 돕기 위해, 휴대용 장치에 본 발명이 적용되는 경우의 일예와, 텔레비전 장치에 본 발명이 적용되는 경우의 일예를 들어, 본 발명을 설명한다.

도1은 본 발명의 일 실시예에 따른 휴대용 장치의 구성을 나타낸 도면이다. 도1을 참조하면, 휴대용 장치(100)는 예를 들어, 휴대폰, 스마트폰, 멀티미디어 재생 장치, 태블릿 PC, 노트북, 휴대용 게임 장치 등이 될 수 있다. 도1을 참조하면, 휴대용 장치(이하 '장치'라고도 칭함)(100)는 이동통신 모듈(120), 서브통신 모듈(130) 및 커넥터(165)를 이용하여 외부장치(도시되지 아니함)와 연결될 수 있다. "외부장치"는 다른 장치(도시되지 아니함), 휴대폰(도시되지 아니함), 스마트폰(도시되지 아니함), 태블릿PC(도시되지 아니함) 및 서버(도시되지 아니함)를 포함한다.

도1을 참조하면, 장치(100)는 터치패널(190), 터치패널 컨트롤러(195), 표시 패널(210), 디스플레이 컨트롤러(215)를 포함한다. 또한, 장치(100)는 제어부(110), 이동통신 모듈(120), 서브통신 모듈(130), 멀티미디어 모듈(140), GPS모듈(155), 입/출력 모듈(160), 센서 모듈(170), 저장부(175), 전원공급부(180), 영상 처리모듈(150), 카메라 모듈(220)을 포함한다.

상기한 각종 모듈은 제어부(110)에 의해 실행되는 소프트웨어 모듈로 구현될 수도 있고, 각 모듈에 대응하는 하드웨어 장치로 구현될 수도 있다.

서브통신 모듈(130)은 무선랜 모듈(131) 및 근거리통신 모듈(132) 중 적어도 하나를 포함하고, 멀티미디어 모듈(140)은 방송통신 모듈(141), 오디오재생 모듈(142) 및 동영상재생 모듈(143) 중 적어도 하나를 포함한다. 입/출력 모듈(160)은 버튼(161), 마이크(162), 스피커(163), 진동모터(164), 커넥터(165), 및 키패드(166) 중 적어도 하나를 포함한다.

제어부(110)는 CPU(111), 장치(100)의 제어를 위한 제어프로그램이 저장된 롬(ROM, 112) 및 장치(100)의 외부로부터 입력되는 신호 또는 데이터를 기억하거나, 장치(100)에서 수행되는 작업을 위한 기억영역으로 사용되는 램(RAM, 113)을 포함할 수 있다. CPU(111)는 싱글 코어, 듀얼 코어, 트리플 코어, 또는 쿼드 코어를 포함할 수 있다. CPU(111), 롬(112) 및 램(113)은 내부버스(bus)를 통해 상호 연결될 수 있다.

제어부(110)는 이동통신 모듈(120), 서브통신 모듈(130), 멀티미디어 모듈(140), GPS 모듈(155), 입/출력 모듈(160), 센서 모듈(170), 전원공급부(180), 저장부(175), 디스플레이 컨트롤러(215), 표시 패널(210), 터치패널(190) 및 터치패널 컨트롤러(195)를 제어할 수 있다.

이동통신 모듈(120)은 제어부(110)의 제어에 따라 적어도 하나-하나 또는 복수-의 안테나(도시되지 아니함)를 이용하여 이동 통신을 통해 장치(100)가 외부 장치와 연결되도록 한다. 이동통신 모듈(120)은 장치(100)에 입력되는 전화번호를 가지는 휴대폰(도시되지 아니함), 스마트폰(도시되지 아니함), 태블릿PC 또는 다른 장치(도시되지 아니함)와 음성 통화, 화상 통화, 문자메시지(SMS) 또는 멀티미디어 메시지(MMS)를 위한 무선 신호를 송/수신한다.

서브통신 모듈(130)은 무선랜 모듈(131)과 근거리통신 모듈(132) 중 적어도 하나를 포함할 수 있다. 예를 들어, 무선랜 모듈(131)만 포함하거나, 근거리통신 모듈(132)만 포함하거나 또는 무선랜 모듈(131)과 근거리통신 모듈(132)을 모두 포함할 수 있다.

무선랜 모듈(131)은 제어부(110)의 제어에 따라 무선 AP(access point)(도시되지 아니함)가 설치된 장소에서 인터넷에 연결될 수 있다. 무선랜 모듈(131)은 미국전기전자학회(IEEE)의 무선랜 규격(IEEE802.11x)을 지원한다. 근거리통신 모듈(132)은 제어부(110)의 제어에 따라 장치(100)와 화상형성장치(도시되지 아니함) 사이에 무선으로 근거리 통신을 할 수 있다. 근거리 통신방식은 블루투스(bluetooth), 적외선 통신(IrDA, infrared data association) 등이 포함될 수 있다.

장치(100)는 성능에 따라 이동통신 모듈(120), 무선랜 모듈(131), 및 근거리통신 모듈(132) 중 적어도 하나를 포함할 수 있다. 예를 들어, 장치(100)는 성능에 따라 이동통신 모듈(120), 무선랜 모듈(131), 및 근거리통신 모듈(132)들의 조합을 포함할 수 있다.

멀티미디어 모듈(140)은 방송통신 모듈(141), 오디오재생 모듈(142) 또는 동영상재생 모듈(143)을 포함할 수 있다. 방송통신 모듈(141)은 제어부(110)의 제어에 따라 방송통신 안테나(도시되지 아니함)를 통해 방송국에서부터 송출되는 방송 신호(예, TV방송 신호, 라디오방송 신호 또는 데이터방송 신호) 및 방송부가 정보(예, EPS(Electric Program Guide) 또는 ESG(Electric Service Guide))를 수신할 수 있다. 오디오재생 모듈(142)은 제어부(110)의 제어에 따라 저장되거나 또는 수신되는 디지털 오디오 파일(예, 파일 확장자가 mp3, wma, ogg 또는 wav인 파일)을 재생할 수 있다. 동영상재생 모듈(143)은 제어부(110)의 제어에 따라 저장되거나 또는 수신되는 디지털 동영상 파일(예, 파일 확장자가 mpeg, mpg, mp4, avi, mov, 또는 mkv인 파일)을 재생할 수 있다. 동영상재생 모듈(143)은 디지털 오디오 파일을 재생할 수 있다.

멀티미디어 모듈(140)은 방송통신 모듈(141)을 제외하고 오디오재생 모듈(142)과 동영상재생 모듈(143)을 포함할 수 있다. 또한, 멀티미디어 모듈(140)의 오디오재생 모듈(142) 또는 동영상재생 모듈(143)은 제어부(100)에 포함될 수 있다.

GPS 모듈(155)은 지구 궤도상에 있는 복수의GPS위성(도시되지 아니함)에서부터 전파를 수신하고, GPS위성(도시되지 아니함)에서부터 장치(100)까지 전파도달시간(Time of Arrival)을 이용하여 장치(100)의 위치를 산출할 수 있다.

입/출력 모듈(160)은 복수의 버튼(161), 마이크(162), 스피커(163), 진동모터(164), 커넥터(165), 및 키패드(166) 중 적어도 하나를 포함할 수 있다.

버튼(161)은 상기 장치(100)의 하우징의 전면, 측면 또는 후면에 형성될 수 있으며, 전원/잠금 버튼(도시되지 아니함), 볼륨버튼(도시되지 아니함), 메뉴 버튼, 홈 버튼, 돌아가기 버튼(back button) 및 검색 버튼(161) 중 적어도 하나를 포함할 수 있다.

마이크(162)는 제어부(110)의 제어에 따라 음성(voice) 또는 사운드(sound)를 입력 받아 전기적인 신호를 생성한다.

스피커(163)는 제어부(110)의 제어에 따라 이동통신 모듈(120), 서브통신 모듈(130), 멀티미디어 모듈(140) 또는 카메라(221,222,223)의 다양한 신호(예, 무선신호, 방송신호, 디지털 오디오 파일, 디지털 동영상 파일 또는 사진 촬영 등)에 대응되는 사운드를 장치(100) 외부로 출력할 수 있다. 스피커(163)는 장치(100)가 수행하는 기능에 대응되는 사운드(예, 전화 통화에 대응되는 버튼 조작음, 또는 통화 연결음)를 출력할 수 있다. 스피커(163)는 상기 장치(100)의 하우징의 적절한 위치 또는 위치들에 하나 또는 복수로 형성될 수 있다.

진동모터(164)는 제어부(110)의 제어에 따라 전기적 신호를 기계적 진동으로 변환할 수 있다. 예를 들어, 진동 모드에 있는 장치(100)는 다른 장치(도시되지 아니함)로부터 음성통화가 수신되는 경우, 진동모터(164)가 동작한다. 상기 장치(100)의 하우징 내에 하나 또는 복수로 형성될 수 있다. 진동모터(164)는 터치스크린(190) 상을 터치하는 사용자의 터치 동작 및 터치스크린(190) 상에서의 터치의 연속적인 움직임에 응답하여 동작할 수 있다.

커넥터(165)는 장치(100)와 외부장치(도시되지 아니함) 또는 전원소스(도시되지 아니함)를 연결하기 위한 인터페이스로 이용될 수 있다. 제어부(110)의 제어에 따라 커넥터(165)에 연결된 유선 케이블을 통해 장치(100)의 저장부(175)에 저장된 데이터를 외부 장치(도시되지 아니함)로 전송하거나 또는 외부 장치(도시되지 아니함)에서부터 데이터를 수신할 수 있다. 커넥터(165)에 연결된 유선 케이블을 통해 전원소스(도시되지 아니함)에서부터 전원이 입력되거나 배터리(도시되지 아니함)를 충전할 수 있다.

키패드(166)는 장치(100)의 제어를 위해 사용자로부터 키 입력을 수신할 수 있다. 키패드(166)는 장치(100)에 형성되는 물리적인 키패드(도시되지 아니함) 또는 터치스크린(200)에 표시되는 가상의 키패드(도시되지 아니함)를 포함한다. 장치(100)에 형성되는 물리적인 키패드(도시되지 아니함)는 장치(100)의 성능 또는 구조에 따라 제외될 수 있다.

센서 모듈(170)은 장치(100)의 상태를 검출하는 적어도 하나의 센서를 포함한다. 예를 들어, 센서모듈(170)은 사용자의 장치(100)에 대한 접근여부를 검출하거나 손가락 또는 펜(200)등의 화면상의 접근을 감지하는 근접센서(174), 장치(100) 주변의 빛의 양을 검출하는 조도센서(도시되지 아니함), 또는 장치(100)의 동작(예, 장치(100)의 회전, 장치(100)에 가해지는 가속도 또는 진동)을 검출하는 가속도센서(172)를 포함할 수 있다. 적어도 하나의 센서는 장치(100)의 방향 및 기울기를 포함하는 상태를 검출하고, 검출에 대응되는 신호를 생성하여 제어부(110)로 전송할 수 있다. 센서모듈(170)의 센서는 장치(100)의 성능에 따라 추가되거나 삭제될 수 있다.

전원공급부(180)는 제어부(110)의 제어에 따라 장치(100)의 하우징에 배치되는 하나 또는 복수의 배터리(도시되지 아니함)에 전원을 공급할 수 있다. 하나 또는 복수의 배터리(도시되지 아니함)는 장치(100)에 전원을 공급한다. 또한, 전원공급부(180)는 커넥터(165)와 연결된 유선 케이블을 통해 외부의 전원소스(도시되지 아니함)에서부터 입력되는 전원을 장치(100)로 공급할 수 있다.

디스플레이 컨트롤러(215)는 제어부(110)의 제어에 따라, 표시 패널(210)을 구동하여 제어부(110)에서 입력되는 각종 데이터를 표시 패널(210)에 표시한다. 표시 패널(210)은 LCD, AMOLED 등과 같은 패널이 될 수 있으며, 휴대용 장치(100)의 각종 동작 상태, 어플리케이션 실행 및 서비스 등에 따른 다양한 영상을 표시한다.

터치패널(190)은 다양한 물체들 예컨대 사용자의 신체(예, 엄지를 포함하는 손가락) 또는 터치 가능한 입력 수단 예컨대 전자 펜(스타일러스 펜)을 통해 적어도 하나의 터치를 입력받을 수 있는 투명 스위치 패널이다. 또한, 터치패널(190)은 적어도 하나의 터치 중에서, 하나의 터치의 연속적인 움직임을 입력받을 수 있다. 터치패널(190)은 입력되는 터치의 연속적인 움직임에 따른 터치 궤적에 대응되는 아날로그 신호를 터치패널 컨트롤러(195)로 전송할 수 있다.

본 발명에서 터치는 터치패널(190)과 사용자의 신체 또는 터치 가능한 입력 수단과의 접촉에 한정되지 않고, 비접촉을 포함할 수 있다. 터치패널(190)에서 검출 가능한 간격은 장치(100)의 성능 또는 구조에 따라 변경될 수 있다. 터치패널(190)은 예를 들어, 저항막(resistive) 방식, 정전용량(capacitive) 방식, 적외선(infrared) 방식, 전자기유도(EMR: Electronic Magnetic Resonance) 방식(이하 EMR 방식이라 칭함) 또는 초음파(acoustic wave) 등 다양한 방식으로 구현될 수 있으며, 하나 이상의 방식이 조합되어 구현될 수도 있다.

본 발명의 실시예에서는 정전용량 방식의 제1 방식과 EMR 방식의 제2 방식이 조합되어 구현된 경우를 예를 들어 설명한다. 제1 방식과 제2 방식이 조합되어 구현된 경우의 터치패널(190)은 제1터치 패널(미도시 함)과 제2터치 패널(미도시 함)을 포함할 수 있다. 제1터치 패널은 정전용량 방식 터치 패널로서, 유리의 양면에 얇은 금속 전도성 물질(예를 들면, ITO(Indium Tin Oxide：산화 인듐주석) 막 등)을 코팅하여 유리표면에 전류가 흐르도록 하고 전하를 저장할 수 있는 유전체로 코팅된 패널이다. 이러한 제1터치 패널에 물체에 의해 표면이 터치되면 정전기에 의해 일정량의 전하가 접촉 위치로 이동하고, 제1터치 패널은 전하의 이동에 따른 전류의 변화량을 인식해서 터치된 위치를 감지하게 된다. 제1 터치 패널을 통해서는 정전기를 발생시킬 수 있는 모든 터치의 감지가 가능하며, 손터치나 펜에 의한 터치의 감지가 모두 가능하다.

제2터치 패널은 EMR 방식 터치 패널로서, 복수의 루프 코일이 미리 정해진 제1방향 및 제1방향과 교차하는 제2방향에 각각 배치되어 그리드 구조를 가지는 전자 유도 코일 센서와 전자 유도 코일 센서의 각 루프 코일에 순차적으로 소정의 주파수를 가지는 교류 신호를 제공하는 전자 신호 처리부를 포함한다. 이러한 제2터치 패널의 루프 코일 근방에 공진회로를 내장하는 펜이 존재하면, 해당 루프 코일로부터 송신되는 자계가 펜 내의 공진회로에 상호 전자 유도에 기초한 전류를 발생시킨다. 이 전류를 기초로 하여, 펜 내의 공진 회로를 구성하는 코일로부터 유도 자계가 발생하게 되고, 제2터치 패널은 이 유도 자계를 신호 수신 상태에 있는 루프 코일에서 검출하게 되어 펜의 접근 위치 또는 터치 위치가 감지된다. 제2터치 패널을 통해서는 전자 유도에 기초한 전류를 발생시킬 수 있는 물체라면 접근 및 터치의 감지가 가능하다.

터치패널 컨트롤러(195)는 터치패널(190)로부터 손 또는 펜 터치 감지에 의해 수신된 아날로그 신호를 디지털 신호(예컨대 X, Y, Z 좌표)로 변환하여 제어부(110)로 전송한다. 또는 터치 패널 컨트롤러(195)는 터치패널(190)로부터 펜 접근 또는 터치 감지에 의해 수신된 아날로그 신호를 디지털 신호로 변환하여 제어부(110)로 전송한다. 제어부(110)는 터치패널 컨트롤러(195)로부터 수신된 디지털 신호를 이용하여 표시 패널(210), 터치 패널(190)을 제어할 수 있다.

그리고 터치 패널(190)은 표시 패널(210)의 상부에 장착되어, 표시 패널(210)과 함께 터치스크린(200)을 구성한다. 제어부(110)는 디스플레이 컨트롤러(215)와 터치 패널 컨트롤러(195)를 제어하여, 터치스크린(200)을 통해 유저 인터페이스를 제공한다. 터치스크린(200)은 사용자에게 다양한 서비스(예, 통화, 데이터 전송, 방송, 사진촬영)에 대응되는 유저 인터페이스를 제공할 수 있다.

본 발명의 일 실시예에 따라, 카메라 모듈(220)은 3D영상과 2D영상을 생성하는 다기능 카메라(225)를 포함할 수 있으며, 추가적으로 하나의 카메라(223)를 더 포함할 수 있다. 본 발명의 일 실시예에 따라, 다기능 카메라(225)는 상기 장치의 전면, 즉, 표시 패널(210)이 장착된 면에 배치된다. 그리고 제3카메라(223)는 상기 장치의 후면에 배치될 수 있다. 다기능 카메라(225) 또는 제3카메라(223)는 촬영에 필요한 광량을 제공하는 보조 광원(예, 플래시(도시되지 아니함))을 포함할 수 있다.

본 발명의 제1실시예에 따라, 다기능 카메라(225)는 두개의 카메라(221,222)를 포함하도록 구성될 수도 있다. 본 발명의 제2실시예에 따라 다기능 카메라(225)는 하나의 카메라로 구성될 수도 있다.

제2실시예에 따라 다기능 카메라(225)가 구현되는 경우, 다기능 카메라(225)에 구비되는 이미지센서는 색상 정보를 출력하는 픽셀인 R,G,B 픽셀과 깊이 정보를 출력하는 픽셀인 Z픽셀로 구성된다. 이러한 이미지 센서의 구성의 일 예를 도2에 도시하였다. 도2를 참조하면, 이미지 센서는 2D 로우 드라이버(10)와, 3D용 칼럼CDS(20) 및 출력 버퍼(30), 2D용 칼럼CDS(40) 및 출력 버퍼(50)와, 픽셀 어레이(60)와, 3D용 로우 드라이버(70)를 포함한다. 이미지 센서는 예를 들어, A 1.5 Mpixel RGBZ CMOS 이미지 센서일 수 있다. 이에 따라, 다기능 카메라(225)는 2D 영상 및3D영상을 생성할 수 있다.

제어부(110)는 본 발명의 일 실시예에 따라, 다기능 카메라(225)에 대해 카메라 동작 모드를 설정하고, 카메라 동작 모드에 따른 동작 파라미터를 다기능 카메라(225)에 설정한다. 동작 파라미터는 실제 촬영에 따라 생성되는 영상 데이터의 해상도, 노출 시간, 이득, 프레임 율 등을 결정하는 값들이다.

카메라의 동작 모드는 본 발명의 실시예에 따라 3D촬영 모드와 2D 촬영 모드로 구분할 수 있다. 3D 촬영 모드는 3D 영상을 생성하기 위한 동작 모드이다. 본 발명의 제1실시예에 따른 다기능 카메라(225)에 3D 촬영모드가 설정되면, 제1카메라(221)와 제2카메라(222)는 동시에 구동되어 피사체를 촬영하게 되고, 이에 따라 각각의 카메라(221,222)에서 출력되는 영상 신호는 영상 처리 모듈(150)로 입력된다.

본 발명의 제2실시예에 따른 다기능 카메라(225)에 3D 촬영 모드가 설정되면, 3D로우 드라이버(70)에 의해 픽셀 어레이(60)에서 3D 영상 생성을 위해 지정된 픽셀에 전류가 인가되고, 해당 픽셀의 픽셀 값은 3D용 칼럼 CDS(20)에 의해 검출되어 영상처리 모듈(150)로 입력될 수 있다.

2D 촬영 모드는 2D 영상을 생성하기 위한 영상 모드이다. 본 발명의 제1실시예에 따른 다기능 카메라(225)에 2D 촬영모드가 설정되면, 제1카메라(221)와 제2카메라(222) 중 적어도 하나의 카메라가 구동되고, 이에 따른 영상 신호가 영상 처리 모듈(150)로 입력된다. 영상 처리 모듈(150)은 제1카메라(221)와 제2카메라(222) 중 어느 하나의 카메라에서 출력되는 영상 신호를 이용하여 2D 영상을 생성한다.

본 발명의 제2실시예에 따른 다기능 카메라(225)에 2D 촬영 모드가 설정되면, 2D로우 드라이버(10)에 의해 픽셀 어레이(60)에서 2D 영상 생성을 위해 지정된 픽셀에 전류가 인가되고, 해당 픽셀의 픽셀 값은 2D용 칼럼 CDS(40)에 의해 검출되어 영상처리 모듈(150)로 입력될 수 있다.

영상 처리 모듈(150)은 제어부(110)의 제어하에 카메라 모듈(220)에서 입력되는 신호를 처리하여 3D 영상 또는 2D 영상을 생성하고, 프레임 단위로 영상을 처리하여 촬영된 영상에 대한 오브젝트 인식 또는 얼굴 인식 또는 눈 인식을 수행한다. 여기서, 오브젝트 인식, 얼굴 인식, 눈 인식은 사진 촬영과 같은 정지 화상뿐만 아니라, 동영상에 대해서도 적용될 수 있다. 예를 들어, 동영상의 경우 연속적인 정지 영상 프레임으로 구성되는 것이므로, 얼굴 인식을 위해 정지 영상 프레임이 사용될 수 있다. 본 발명의 일 실시예에 따라, 영상 처리 모듈(150)은 오브젝트 인식 또는 얼굴 인식을 위해, 얼굴 검출부(151), 눈 검출부(152), 오브젝트 검출부(153)를 포함할 수 있다.

본 발명의 일 실시예에 따라, 제어부(110)는 휴대용 장치(100)에 시력 보호 모드를 설정할 수 있다. 시력 보호 모드는 사용자와 휴대용 장치(100) 간의 거리가 미리 정해진 거리 보다 가까워지는 것을 방지하기 위한 동작 모드이다.

시력 보호 모드 설정시 제어부(110)는 다기능 카메라(225)에 3D 촬영 모드를 설정한다. 이에 따라, 다기능 카메라(225)가 3D 촬영 모드에 따라 동작하여, 피사체를 촬영하게 되고, 다기능 카메라(225)에서 출력되는 영상 신호는 영상 처리 모듈(150)로 입력된다.

시력 보호 모드가 설정되면, 제어부(110)의 제어에 따라 영상 처리 모듈(150)은 다기능 카메라(225)에서 입력되는 영상 신호를 처리하여 인식용 3D 영상을 생성하고, 오브젝트 인식을 수행한다. 다시 말해, 영상 처리 모듈(150)은 3D 영상에 포함된 적어도 하나 이상의 오브젝트를 검출하고, 3D영상의 깊이 정보를 이용해, 검출된 각 오브젝트와 장치(100)간의 거리 즉, 오브젝트 거리를 계산하여 제어부(110)로 출력한다.

그리고 제어부(110)의 제어에 따라, 영상 처리 모듈(150)은 다기능 카메라(225)에서 입력되는 영상 신호에 대응하는 2D 영상을 이용해 얼굴 인식 또는 눈 인식을 수행한다. 다시 말해 영상 처리 모듈(150)은 2D 영상에 얼굴 영상이 포함되어 있을 경우 얼굴 영상을 추출하여 인식하고, 얼굴 영상이 포함되어 있지 않을 경우 입력 영상에서 눈을 검출하여 인식을 수행한다. 이를 위해 영상 처리 모듈(150)은 크게 얼굴 검출부(110)와 눈 검출부(115)를 포함하여 구성될 수 있다.

이때, 얼굴 인식의 수행은 이동 단말에 구비된 얼굴 인식 알고리즘에 기반하며, 피사체의 얼굴 전체 윤곽 정보를 이용하여 식별하는 방법을 사용하거나 얼굴 피부의 색상 및/또는 질감, 템플리트 등을 이용한 얼굴 추출 기술이 이용될 수 있다. 예를 들어, 영상 처리 모듈(150)은 다수의 얼굴 영상을 통해 얼굴 학습을 수행하고, 축적된 얼굴 학습 데이터를 이용하여 입력된 영상 프레임으로부터 얼굴 영상을 검출할 수 있다.

또한, 눈 인식의 수행도 눈 인식 알고리즘에 기반하며, 일반적으로 눈 검출은 얼굴을 먼저 검출한 후 검출된 얼굴 영역의 제한된 영역 내에서 눈을 검출한다. 또한, 입력 영상에서 좌우 눈의 쌍을 이용하여 눈을 검출하는 기술이 이용될 수 있다. 특히 본 발명의 실시예에서는 입력 영상에서 얼굴이 검출되지 않은 경우에 입력 영상 전체 또는 미리 정해진 관심 영역 내에서 눈 검출을 수행하는 방법을 이용한다.

저장부(175)는 제어부(110)의 제어에 따라 이동통신 모듈(120), 서브통신 모듈(130), 멀티미디어 모듈(140), GPS모듈(155), 입/출력 모듈(160), 센서 모듈(170), 터치스크린(200)의 동작에 대응되게 입/출력되는 신호 또는 데이터를 저장할 수 있다. 저장부(175)는 장치(100) 또는 제어부(110)의 제어를 위한 제어 프로그램 및 어플리케이션들을 저장할 수 있다. 그리고 저장부(175)는 본 발명의 일 실시예에 따라, 오브젝트 인식, 얼굴 인식, 눈 인식에 필요한 프로그램 데이터를 저장할 수 있다.

또한 저장부(175)는 본 발명의 일 실시예에 따라 위험 시청 거리 정보를 저장한다. 위험 시청 거리 정보는 사용자의 시력 보호를 위해, 장치(100)의 표시 패널(210)과 사용자 간에 확보되어야 하는 최소한의 간격에 대한 정보이다. 위험 시청 거리는 장치(100)에 구비된 표시 패널(210)에서 실제 디스플레이가 이뤄지는 전체 화면 크기에 비례하여 디폴트로 결정될 수 있다. 또는 본 발명의 일 실시예에 따라, 사용자가 직접 간격을 설정할 수도 있다.

예를 들어, 사용자가 관련 메뉴를 선택하면, 제어부(110)가 위험 시청 거리를 입력할 수 있는 사용자 인터페이스가 표시 패널(210)에 디스플레이될 수 있도록 디스플레이 컨트롤러(215)를 제어한다. 이에 따라, 사용자는 원하는 간격을 위험 시청 거리로서 입력할 수 있고, 제어부(110)는 입력된 간격을 위험 시청 거리로 설정할 수 있다.

"저장부"라는 용어는 저장부(175), 제어부(110)내 롬(112), 램(113) 또는 장치(100)에 장착되는 메모리 카드(도시되지 아니함)(예, SD 카드, 메모리 스틱)를 포함한다. 저장부는 비휘발성메모리, 휘발성메모리, 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD)를 포함할 수 있다.

이하 상기한 바와 같은 휴대용 장치(100)의 외부 구조에 대해 설명한다. 도2는 본 발명의 실시예에 따른 휴대용 장치의 전면 사시도이고, 도3은 본 발명의 실시예에 따른 휴대용 장치의 후면 사시도이다.

먼저 도2를 참조하면, 휴대용 장치(100)의 전면(100a) 중앙에는 터치스크린(200)이 배치된다. 상기 터치스크린(200)은 전면(100a)의 대부분을 차지하도록 크게 형성된다. 도2에서는, 상기 터치스크린(200)에 메인 홈 화면이 표시된 예를 나타낸다. 메인 홈 화면은 장치(100)의 전원을 켰을 때 상기 터치스크린(200) 상에 표시되는 첫 화면이다. 또한 상기 장치(100)가 여러 페이지의 서로 다른 홈 화면들을 갖고 있을 경우, 메인 홈 화면은 상기 여러 페이지의 홈 화면들 중 첫 번째 홈 화면일 수 있다. 홈 화면에는 자주 사용되는 어플리케이션들을 실행하기 위한 단축 아이콘들(191-1, 191-2, 191-3), 메인메뉴 전환키(191-4), 시간, 날씨 등이 표시될 수 있다. 상기 메인메뉴 전환키(191-4)는 상기 터치스크린(200) 상에 메뉴 화면을 표시한다. 또한, 상기 터치스크린(200)의 상단에는 배터리 충전상태, 수신신호의 세기, 현재 시각과 같은 장치(100)의 상태를 표시하는 상태바(Status Bar, 192)가 형성될 수도 있다.

상기 터치스크린(200)의 하부에는 홈 버튼(161a), 메뉴 버튼(161b), 및 뒤로 가기 버튼(161c)이 형성될 수 있다. 홈 버튼(161a)은 터치스크린(200)에 메인 홈 화면(main Home screen)을 표시한다. 예를 들어, 터치스크린(200)에 상기 메인 홈 화면과 다른 홈 화면(any Home screen) 또는 메뉴화면이 표시된 상태에서, 상기 홈 키(161a)가 터치되면, 터치스크린(190)에 메인 홈 화면이 디스플레이될 수 있다. 또한, 터치스크린(200) 상에서 어플리케이션들이 실행되는 도중 홈 버튼(191a)이 터치되면, 상기 터치스크린(200)상에는 도2에 도시된 메인 홈 화면이 디스플레이될 수 있다. 또한 홈 버튼(161a)은 상기 터치스크린(200) 상에 최근에(recently) 사용된 어플리케이션들을 디스플레이하도록 하거나, 태스크 매니저(Task Manager)를 디스플레이하기 위하여 사용될 수도 있다. 메뉴 버튼(161b)은 터치스크린(200) 상에서 사용될 수 있는 연결 메뉴를 제공한다. 상기 연결 메뉴에는 위젯 추가 메뉴, 배경화면 변경 메뉴, 검색 메뉴, 편집 메뉴, 환경 설정 메뉴 등이 포함될 수 있다. 뒤로 가기 버튼(161c)은 현재 실행되고 있는 화면의 바로 이전에 실행되었던 화면을 디스플레이하거나, 가장 최근에 사용된 어플리케이션을 종료시킬 수 있다. 휴대용 장치(100)의 전면(100a) 가장자리에는 조도 센서(170a) 와, 근접 센서(170b) 및 제1 카메라(221)가 배치될 수 있다. 그리고 스피커(163)의 오른쪽에 제2카메라(222)가 배치될 수 있다. 또는 본 발명의 제2 실시예에 따라, 제1카메라(221)의 위치에 도2와 같이 구성되는 다기능 카메라(225)가 배치될 수도 있다.

휴대용 장치(100)의 측면(100b)에는 예를 들어 전원/리셋 버튼(160a), 음량 버튼(161b), 방송 수신을 위한 지상파 DMB 안테나(141a), 하나 또는 복수의 마이크들(162) 등이 배치될 수 있다. 상기 DMB 안테나(141a)는 장치(100)에 고정되거나, 착탈 가능하게 형성될 수도 있다.

도4를 참조하면, 휴대용 장치(100)의 후면(100c) 상부에는 제3 카메라(223), 플래시(flash, 153)가 배치될 수 있다.

상기와 같이 구성되는 휴대용 장치(100)에서 제어부(120)는 중앙처리장치로서 장치(100)의 전반적인 동작을 제어하고, 본 발명에 따라 사용자와 장치(100)의 거리를 검출하여, 위험 시청 거리 이내에 사용자가 위치한 것으로 판단된 경우, 이를 사용자에게 경고하기 위한 동작을 제어한다.

본 발명의 일 실시예에 따라, 제어부(110)는 사용자가 일정 시간 이상 장치(100)의 표시 패널(210)을 응시해야 하는 애플리케이션이 실행되면, 시력 보호 모드를 장치(100)에 설정한다. 또한 제어부(110)는 다기능 카메라(225)에 3D 촬영 모드를 설정한다. 이에 따라, 영상 처리 모듈(150)은 3D 영상에서 검출된 오브젝트 및 대응 오브젝트 거리를 제어부(110)로 출력하게 된다. 제어부(110)는 입력되는 하나 이상의 오브젝트 거리와 위험 시청 거리를 비교하여, 위험 시청 거리 보다 작은 오브젝트 거리가 있으면, 해당 오브젝트가 사람인지 그리고 표시 패널(210)을 응시하고 있는지를 확인하기 위해 영상 처리 모듈(150)이 2D 영상을 이용해 얼굴 및/또는 눈 인식을 수행하도록 제어한다. 영상 처리 모듈(150)은 얼굴 및/또는 눈 검출 결과를 제어부(110)로 출력하게 되고, 제어부(110)는 얼굴 및/또는 눈 검출 결과를 이용하여 얼굴 또는 눈 각각의 크기, 위치 및 각도를 추정한다. 이에 따라 제어부(110)는 얼굴 및/또는 눈 검출 결과를 이용하여 사용자 상태 정보를 판단할 수 있다. 여기서, 사용자 상태 정보란 사용자 존재 유무, 사용자의 얼굴 방향, 사용자의 얼굴 위치 중 적어도 하나를 포함한다.

제어부(110)는 입력 영상에서 얼굴 검출 또는 눈 검출 유무에 따라 사용자의 존재 유무를 판단하며, 입력 영상의 상, 하, 좌, 우 방향 예컨대, 0ㅀ, 90ㅀ, 180ㅀ, 270ㅀ중 얼굴이 검출된 각도 및 위치를 이용하여 사용자의 얼굴 방향과 사용자의 얼굴 위치를 판단한다. 또한 제어부(110)는 입력 영상에서 얼굴이 검출되지 않더라도 눈 위치 및 각도에 따라 사용자의 얼굴 방향과 사용자의 얼굴 위치를 판단할 수도 있다.

이어, 제어부(110)는 사용자 상태 정보에 따라 사용자가 휴대용 장치(100)의 터치스크린(190)을 응시하고 있는 것으로 판단되면, 미리 정해진 경고 알림을 발생한다. 이러한 제어부(110)의 동작 과정을 도5를 참조하여 설명한다. 이하의 설명에서는 본 발명의 이해를 돕기 위해, 다중 카메라(255)가 본 발명의 제1실시예에 따라 구성된 것으로 가정하여 설명한다.

본 발명의 일 실시예에 따라, 휴대용 장치(100)의 제어부(110)는 사용자가 일정 시간 이상 장치(100)의 표시 패널(210)을 응시해야 하는 애플리케이션이 실행되는 경우 시력 보호 모드를 장치(100)에 설정한다. 상기 애플리케이션은 예를 들어, 동영상 재생 애플리케이션, 게임 애플리케이션, 웹 브라우저 애플리케이션 , 전자책 애플리케이션 등이 될 수 있다.

시력 보호 모드가 설정됨에 따라, 제어부(110)는 301단계에서, 카메라 모듈(220)에 3D 촬영 모드를 설정한다. 이에 따라, 카메라 모듈(220)의 다기능 카메라(225)의 제1카메라(221)와, 제2카메라(222)가 구동된다. 그리고 제1카메라(221)와, 제2카메라(222) 각각에서 출력된 영상 신호는 영상 처리 모듈(150)로 입력된다.

303단계에서, 영상 처리 모듈(150)은 제어부(110)의 제어에 따라, 제1카메라(221)와, 제2카메라(222) 각각에서 출력된 영상 신호를 이용해 3D 영상을 생성하고, 생성된 3D 영상에 포함된 적어도 하나의 오브젝트를 검출한다. 만약 검출되는 오브젝트가 있다면 305단계에서 영상 처리 모듈(150)은 제어부(110)의 제어에 따라, 3D영상의 깊이 정보를 이용해 검출된 오브젝트와 터치스크린(210) 간의 거리, 즉, 오브젝트 거리를 산출하여 제어부(110)로 출력한다.

이에 따라, 305단계에서 제어부(110)는 오브젝트 거리와 위험 시청 거리를 비교하여, 오브젝트 거리가 위험 시청 거리보다 작으면 307단계로 진행한다. 다시 말해, 위험 시청 거리 이내에 위치하는 오브젝트가 있다고 판단되면, 제어부(110)는 307단계로 진행하여, 해당 오브젝트가 사람 즉, 사용자인지 확인하기 위해 2D 영상을 이용해 얼굴 및/또는 눈을 검출한다.

즉, 307단계에서, 얼굴 및/또는 눈을 검출하기 위해, 영상 처리 모듈(150)은 제어부(110)의 제어에 따라, 제1카메라(221) 또는 제2카메라(222) 중 어느 하나에서 입력되는 영상 신호를 이용해 얼굴 인식을 위한 2D 영상을 생성하고, 2D 영상에서 얼굴 및/또는 눈을 검출한다.

만약 얼굴 및/또는 눈이 검출되지 않으면, 영상 처리 모듈(150)은 이를 제어부(110)로 보고하고, 이에 따라, 제어부(110)는 309단계에서 해당 오브젝트를 감시 대상에서 제외한다.

한편, 얼굴 및/또는 눈이 검출되면, 영상 처리 모듈(150)은 검출 결과를 제어부(110)로 출력한다. 제어부(110)는 검출 결과를 근거로 사용자가 장치(100)를 응시하고 있는지 판단한다. 사용자가 장치를 응시하고 있는 것으로 판단되면, 제어부(110)는 317단계로 진행하여 경고를 발생하고, 계속해서 사용자의 얼굴 움직임을 추적한다. 그리고 319단계로 진행하여 사용자가 위험 시청 거리를 벗어나는지 확인하여, 벗어나면 321단계로 진행하여 경고를 중지하고 상기 303단계로 진행한다.

317단계에서 발생하는 경고는 예를 들어, 화면에 경고 메시지를 디스플레이하는 것일 수 있다. 또는 경고 오디오를 출력하는 것일 수 있다. 또는 휴대용 장치(100)에 진동을 발생하는 것일 수도 있다.

본 발명의 일 실시예에 따라, 복수의 경고 레벨을 설정할 수 있다. 복수의 경고 레벨은 사용자 선택에 따라 설정될 수 있다. 이에 따라, 휴대용 장치(100)는 복수의 경고 레벨 및 각 레벨에 따른 경고 방식을 안내하는 사용자 인터페이스를 사용자에게 제공할 수 있다. 사용자는 제공된 사용자 인터페이스를 통해 원하는 경고 레벨을 설정할 수 있다.

복수의 경고 레벨은 본 발명의 일 실시예에 따라, 낮음, 보통, 높음 3단계로 구성될 수 있다. 경고 레벨이 낮음인 경우, 경고 방식은 화면 빈 공간, 예를 들어, 우측 상단 등에 경고 메시지 출력하는 것일 수 있다. 또는 휴대용 장치(100)에 진동을 발생시키는 것일 수 있다.

경고 레벨이 보통인 경우, 경고 방식은 예를 들어, 화면 중앙에, 경고 메시지 출력하는 것일 수 있다. 또는 화면 중앙에, 촬영된 사용자의 영상을 출력하는 것일 수 있다.

경고 레벨이 높음인 경우, 경고 방식은 예를 들어, 화면을 오프시키는 것일 수 있다. 또는 실행중인 애플리케이션을 일시 중단하는 것일 수 있다. 또는, 화면을 모자이크 처리하여 디스플레이하는 것일 수 있다.

도5로 돌아가서, 311단계에서, 사용자가 장치를 응시하고 있지 않은 것으로 판단되면, 제어부(110)는 313단계로 진행하여 계속해서 사용자를 추적한다. 그리고 315단계로 진행하여 사용자가 위험 시청 거리를 벗어나는지 확인하여, 벗어난다면 초기화하고 상기 301단계로 진행한다. 만약, 사용자가 위험 시청 거리를 벗어나지 않는 다면, 상기 307단계로 진행하여 화면 응시 여부를 계속해서 확인한다.

상기한 설명에서는, 다중 카메라(255)가 본 발명의 제1실시예에 따라 구성된 것으로 가정하여 설명하였으나, 다중 카메라(255)가 본 발명의 제2실시예에 따라 구성된다 하여도, 제1카메라(221) 및 제2카메라(22)와 관련된 구동 제어를 제외한 나머지 신호 처리 과정은 유사하게 진행됨이 자명하다.

도5에서 307단계 및 311단계에 해당하는 휴대용 장치(100)의 상세 동작의 일 예를 도6및 도7에 도시하였다. 이에 따라, 도6및 도7을 참조하여, 2D 영상에서 얼굴 및/또는 눈을 검출하고, 검출 결과에 따라 사용자의 응시 여부를 확인하는 과정을 설명한다.

도6을 참조하면, 제어부(110)는 401단계에서 미리 설정된 이벤트가 발생하면, 403단계에서 영상 처리 모듈(150)을 제어하여, 2D영상을 생성한다. 여기서, 미리 설정된 이벤트란 위험 시청 거리 내에 위치하는 오브젝트가 검출됨에 따라 발생한다.

이어, 405단계에서 영상 처리 모듈(150)은 2D 영상에 대한 얼굴 인식을 수행한다. 만일 407단계에서 영상 처리 모듈(150)은 입력 영상에서 얼굴 인식 알고리즘을 이용한 얼굴 검출이 성공적이면 411단계로 진행한다. 이와 달리 407단계에서 얼굴 검출이 실패하면, 영상 처리 모듈(150)은 409단계에서 눈 검출을 수행하여 눈 검출이 성공적인지를 판단한다. 만일 눈 검출이 실패하면 2D 영상에 사용자가 포함되어 있지 않은 것으로 판단한다. 만일 409단계에서 눈 검출이 성공적이면 411단계에서 제어부(110)는 영상 처리 모듈(150)로부터 제공된 얼굴 검출 결과 및/또는 눈 검출 결과를 근거로 사용자 상태 정보를 분석한다.

구체적으로, 제어부(110)는 입력 영상에 얼굴 또는 눈이 검출되면 사용자가 존재한다고 간주한다. 그리고 제어부(110)는 얼굴 검출 결과를 확인하여, 정면 얼굴이 검출되었는지, 또는 좌우 기준 각도 이상 회전된 얼굴이 검출되었는지 확인한다. 또한, 제어부(110)는 눈 검출 결과와 관련하여, 양안이 모두 검출되었는지, 한 개의 눈만이 검출되었는지 확인한다.

만약, 정면 얼굴이 검출되었거나, 양안이 모두 검출되었거나, 좌우 기준 각도 이내로 회전된 얼굴이 검출되었다면, 사용자 상태는 휴대용 장치(100)를 정면으로 응시하고 있는 상태인 것으로 결정할 수 있다. 만약, 좌우 기준 각도 이상 회전된 얼굴이 검출되었거나, 한 개의 눈만이 검출되었다면, 사용자 상태는 휴대용 장치(100)가 아닌 다른 것을 보고 있는 상태인 것으로 결정할 수 있다.

이어, 413단계에서 분석된 사용자 상태 정보에 따라 제어부(110)는 사용자의 휴대용 장치(100)에 대한 응시 여부를 판단한다.

한편, 눈 검출은 다음과 같은 방법을 이용하여 수행되는데, 피부색, 눈 템플리트 등을 이용한 눈 검출 기술이 이용될 수 있다. 특히 본 발명의 실시예에서는 입력 영상에서 좌/우 양안뿐만 아니라 단안에 대해서도 눈 검출이 가능한 방법을 제안한다.

구체적으로, 영상 처리 모듈(150)은 입력 영상 전체 또는 미리 정해놓은 관심 영역에서 눈 검출을 수행한다. 이때, 눈 검출 속도를 줄이기 위해서 이전 영상 프레임에서 얻은 눈 검출 위치를 기반으로 국부적인 눈 검출을 수행할 수도 있다. 또한, 피부색을 이용하여 눈 검출을 수행할 수도 있으며, 피부색을 이용한 눈 검출 방법은 도7을 참조하여 설명한다.

영상 처리 모듈(150)은 눈 인식 알고리즘을 통해 하나 이상의 눈 후보 영역을 검출한다. 예를 들어, 입력 영상을 이진화하는 등의 과정을 거쳐 눈의 후보가 될 수 있는 폐곡선을 추출하거나, 얼굴에서 눈의 밝기는 검은 동공을 가지지 않은 서양인의 경우라 하더라도 입력 영상에서의 그 컬러 특성은 강한 회색(strong gray) 성향을 나타낸다는 특징을 이용하여 눈 후보 영역을 검출한다. 이때, 일반적인 검출된 얼굴 영역에서 눈 검출을 수행하는 방법에 비해 하나 이상의 눈 후보 영역이 검출될 수 있으며, 검출된 눈 후보 영역 중 일부는 실제 눈이 아닌 영역일 수 있다.

따라서 본 발명의 실시예에서는 눈 인식 알고리즘을 통해 하나 이상의 눈 후보 영역이 검출된 경우, 검출된 눈 후보 영역 중 오검출된 눈 영역을 제거하기 위해 피부색을 이용한 눈 검출 방법을 제안하는 것이다.

이를 위해 영상 처리 모듈(150)은 하나 이상의 검출된 눈 후보영역의 Y, Cb, Cr 값을 이용하여 피부색의 비율과 피부색이 아닌 영역의 비율을 구한 후, 그 비율들을 이용하여 눈 검출을 수행한다. 이때, 피부색에 해당하는 Y, Cb, Cr 각각의 범위는 미리 정해놓은 임계치 Ty, B1, B2, R1, R2에 의해서 결정되며 하기 수학식 1을 만족하는 Y, Cb, Cr에 해당하는 픽셀값은 피부색 영역에 해당한다고 판단한다.

상기 미리 정해놓은 임계치는 인종, 조명 등과 같은 외부 환경에 따라 다양하게 적용될 수 있다.

여기서, 피부색과 피부색이 아닌 영역의 비율을 산출하는 방법에 대한 예시는 도7에 도시된 바와 같다. 도 7을 참조하면, 영상 처리 모듈(150)의 눈 검출부(115)는 눈 후보영역을 검출한 후, 상기 검출된 눈 후보영역을 가로방향으로 3개의 영역(600, 605, 610)으로 구분하고, 세로방향으로 4 개의 영역으로 구분한다. 이어, 영상 처리 모듈(150)은 가로방향으로 3등분된 영역들(600, 605, 610) 중에서 가운데 영역(603)을 제외한 영역들(600, 610)에 대한 피부색의 비율 S를 계산하고, 가운데 영역(603)에서 세로방향으로 4등분을 한 영역들 중에 빗금친 1/4~ 3/4 영역(615)에 해당하는 부분에 대해서 피부색이 아닌 부분의 비율 NS를 계산한다. 여기서, 상기 검출된 눈 후보 영역의 Y, Cb, Cr 값을 이용하여 상기 피부색에 해당하는 픽셀값이 결정되며, 이러한 피부색을 결정하기 위한 조건은 상기 수학식 1에서 설명한 바와 같다.

이와 같은 방식을 통해 눈 후보 영역에서 피부색과 피부색이 아닌 부분의 비율 S, NS가 구해지면 피부색과 피부색이 아닌 부분의 비율 S, NS 각각을 미리 정해 놓은 임계치 Ts, Tn와 비교한다. 이러한 비교 결과가 하기 수학식 2를 만족하면 눈 검출이 성공적이라고 결정하고, 하기 수학식 2의 조건을 만족하지 않으면 오검출로 판단한다.

따라서 하나 이상의 눈 후보 영역 중에서 상기 수학식 2를 만족하는 눈 후보 영역을 최종적으로 눈이 검출된 영역으로 결정한다. 상기한 바와 같이 오검출된 눈 후보 영역을 제거하는 방법을 이용한다면 양안뿐만 아니라 단안의 경우에도 눈 검출이 용이하다. 이때, 상기 눈 후보 영역을 가로, 세로 방향으로 나눈 비율은 도7에서의 예시에 한정되지 않는다.

예를 들어, 영상 처리 모듈(150)은 정상적인 눈 영상과 눈으로 오검출이 빈번한 영상들을 수집하여 눈 학습을 수행하고, 눈 학습을 통해 축적된 눈 학습 데이터를 이용하여 입력 영상으로부터 눈 검출을 할 수도 있다.

이와 같이 본 발명에 따르면, 전체 얼굴이 검출되지 않더라도 눈 검출 여부로 사용자 존재 유부를 파악할 수 있으며, 이를 이용해 휴대용 장치(100)의 응시 여부를 결정할 수 있다

다음으로, 텔레비전 장치에 본 발명이 적용되는 경우의 예를 도8을 참조하여 설명한다. 도8은 본 발명의 일 실시예에 따른 텔레비전 장치의 구성을 나타낸 도면이다.

도8을 참조하면, 텔레비전 장치(700)는 TV 제어부(710), 카메라부(720), 영상 처리부(750), 메모리부(730), 표시부(740), 통신부(750), 스피커(760)를 포함할 수 있다.

본 발명의 일 실시예에 따라, 카메라부(720)는 적어도 두 개 이상의 카메라(721,722)를 포함할 수 있다. 또는 카메라부(720)는 도2에 도시된 바와 같이 구성되는 이미지 센서를 구비한 하나의 카메라일 수 있다. 본 발명의 일 실시예에 따라, 카메라부(720)는 텔레비전 장치(700)의 전면, 즉, 텔레비전 장치(700)의 표시부(740)가 장착된 면에 배치된다.

TV 제어부(710)는 본 발명의 일 실시예에 따라, 카메라부(720)에 대해 카메라 동작 모드를 설정하고, 카메라 동작 모드에 따른 동작 파라미터를 각각의 카메라부(720)에 설정한다. 동작 파라미터는 실제 촬영에 따라 생성되는 영상 데이터의 해상도, 노출 시간, 이득, 프레임 율 등을 결정하는 값들이다.

카메라의 동작 모드는 본 발명의 실시예에 따라 3D촬영 모드와 2D 촬영 모드로 구분할 수 있다.

영상 처리부(750)는 TV 제어부(110)의 제어하에 카메라부(720)에서 입력되는 신호를 처리하여 3D 영상 또는 2D 영상을 생성하고, 프레임 단위로 영상을 처리하여 촬영된 영상에 대한 오브젝트 인식 또는 얼굴 인식 또는 눈 인식을 수행한다. 이러한 영상 처리부(750)의 동작은 상기한 영상 처리 모듈(150)의 동작과 유사하다. 때문에, 본 발명의 일 실시예에 따라, 영상 처리부(750)는 오브젝트 인식 또는 얼굴 인식을 위해, 얼굴 검출부(151), 눈 검출부(152), 오브젝트 검출부(153)를 포함할 수 있다.

본 발명의 일 실시예에 따라, TV 제어부(710)는 텔레비전 장치(700)에 시력 보호 모드를 설정할 수 있다.

시력 보호 모드 설정시 TV제어부(110)는 카메라부(720)에 3D 촬영 모드를 설정한다. 이에 따라, 카메라부(720)는 3D 촬영 모드로 동작하여 피사체를 촬영하게 되고, 카메라부(720)에서 출력되는 영상 신호는 영상 처리부(750)로 입력된다.

시력 보호 모드가 설정되면, TV 제어부(110)의 제어에 따라 영상 처리 부(750)는 오브젝트 인식을 수행한다. 다시 말해, 영상 처리부(750)는 3D 영상에 포함된 적어도 하나 이상의 오브젝트를 검출하고, 3D영상의 깊이 정보를 이용해, 검출된 각 오브젝트와 텔레비전 장치(700)간의 거리 즉, 오브젝트 거리를 계산하여 TV 제어부(710)로 출력한다.

그리고 TV 제어부(710)의 제어에 따라, 영상 처리부(750)는 카메라부(720)에서 입력되는 영상 신호에 대응하는 2D 영상을 이용해 얼굴 인식 또는 눈 인식을 수행한다. 다시 말해 영상 처리부(750)는 2D 영상에 얼굴 영상이 포함되어 있을 경우 얼굴 영상을 추출하여 인식하고, 얼굴 영상이 포함되어 있지 않을 경우 입력 영상에서 눈을 검출하여 인식을 수행한다. 이를 위해 영상 처리 모듈(150)은 크게 얼굴 검출부(110)와 눈 검출부(115)를 포함하여 구성될 수 있다.

표시부(740)는 TV제어부(710)의 제어에 따라, TV제어부(710)에서 입력되는 각종 데이터를 표시한다. 표시부(740)는 LCD, AMOLED 등과 같은 표시 패널을 포함하며, 텔레비전 장치(100)의 각종 동작 상태, 방송 서비스 등에 따른 다양한 영상을 표시한다.

통신부(750)는 무선랜 모듈과 근거리통신 모듈 중 적어도 하나를 포함할 수 있으며, TV제어부(710)의 제어에 따라 외부 장치와 통신을 수행한다. 예를 들어, 무선랜 모듈만 포함하거나, 근거리통신 모듈만 포함하거나 또는 무선랜 모듈과 근거리통신 모듈을 모두 포함할 수 있다.

메모리(730)는 TV 제어부(710)의 제어에 따라 각종 구성부의 동작에 대응되게 입/출력되는 신호 또는 데이터를 저장할 수 있다. 메모리(730)는 텔레비전 장치(700) 또는 TV제어부(710)의 제어를 위한 제어 프로그램 및 어플리케이션들을 저장할 수 있다. 그리고 메모리(730)는 본 발명의 일 실시예에 따라, 오브젝트 인식, 얼굴 인식, 눈 인식에 필요한 프로그램 데이터를 저장할 수 있다.

또한 메모리(730)는 본 발명의 일 실시예에 따라 위험 시청 거리 정보를 저장한다. 위험 시청 거리는 텔레비전 장치(700)에 구비된 표시 패널에서 실제 디스플레이가 이뤄지는 전체 화면 크기에 비례하여 디폴트로 결정될 수 있다. 또는 본 발명의 일 실시예에 따라, 사용자가 직접 간격을 설정할 수도 있다.

상기와 같이 구성되는 텔레비전 장치(700)의 사용자 시력 보호를 위한 동작 과정은 상기한 휴대용 장치(100)와 유사하다. 다시 말해, 텔레비전 장치(700)는 도5 및 도6에 도시된 과정과 유사하게 동작한다.

다만, 텔레비전 장치(700)는 특정 애플리케이션 실행이 아닌, 전원이 온되어 방송 화면이 출력되면, 시력 보호 모드를 설정한다. 그리고 위험 시청 거리 내에 존재하는 사용자가 텔레비전 장치(700)를 응시하는 것으로 확인되는 경우, 텔레비전 장치(700)의 TV 제어부(710)는 경고 메시지를 제공함과 동시에 화면을 일시정지하고, 타임 시프트 모드로 전환할 수 있다. 그리고 사용자가 위험 시청 거리를 벗어나는 것이 확인되면, 다시 방송 화면을 출력한다.

상술한 본 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나, 여러 가지 변형이 본 발명의 범위에서 벗어나지 않고 실시할 수 있다. 따라서 본 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 특허청구범위와 특허청구범위의 균등한 것에 의해 정해 져야 한다.

또한, 본 발명의 실시 예들은 하드웨어, 소프트웨어 또는 하드웨어 및 소프트웨어의 조합의 형태로 실현 가능하다는 것을 알 수 있을 것이다. 이러한 임의의 소프트웨어는 예를 들어, 삭제 가능 또는 재기록 가능 여부와 상관없이, ROM 등의 저장 장치와 같은 휘발성 또는 비휘발성 저장 장치, 또는 예를 들어, RAM, 메모리 칩, 장치 또는 집적 회로와 같은 메모리, 또는 예를 들어 CD, DVD, 자기 디스크 또는 자기 테이프 등과 같은 광학 또는 자기적으로 기록 가능함과 동시에 기계(예를 들어, 컴퓨터)로 읽을 수 있는 저장 매체에 저장될 수 있다. 휴대 단말 내에 포함될 수 있는 메모리는 본 발명의 실시 예들을 구현하는 지시들을 포함하는 프로그램 또는 프로그램들을 저장하기에 적합한 기계로 읽을 수 있는 저장 매체의 한 예임을 알 수 있을 것이다. 따라서, 본 발명은 본 명세서의 임의의 청구항에 기재된 장치 또는 방법을 구현하기 위한 코드를 포함하는 프로그램 및 이러한 프로그램을 저장하는 기계로 읽을 수 있는 저장 매체를 포함한다. 또한, 이러한 프로그램은 유선 또는 무선 연결을 통해 전달되는 통신 신호와 같은 임의의 매체를 통해 전자적으로 이송될 수 있고, 본 발명은 이와 균등한 것을 적절하게 포함한다.

Claims

표시 패널과 동일한 면에 카메라가 장착된 영상 출력 디지털 장치의 시력 보호 방법에 있어서,
시력 보호 모드 설정에 따라 촬영된 3D 영상에서 오브젝트를 검출하는 과정과,
상기 오브젝트와 상기 디지털 장치 간의 거리를 검출하는 과정과,
상기 검출된 거리가 위험 시청 거리보다 작으면, 촬영된2D 영상에서 얼굴 또는 눈을 검출하는 과정과,
상기 얼굴 검출 결과 또는 눈 검출 결과에 따라, 상기 위험 시청 거리 내의 사용자의 위치 여부 및 상기 사용자의 상기 디지털 장치의 표시 패널에 대한 응시여부를 결정하는 과정과,
상기 사용자가 상기 표시 패널을 응시하는 것으로 결정되면, 경고를 발생하는 과정을 포함함을 특징으로 하는 시력 보호 방법.
제1항에 있어서. 상기 촬영된2D 영상에서 얼굴 및 눈이 검출되지 않으면, 상기 오브젝트는 감시 대상에서 제외됨을 특징으로 하는 시력 보호 방법.
제1항에 있어서, 상기 사용자가 상기 위험 시청 거리를 벗어나면, 상기 경고 발생을 중단하는 과정을 더 포함함을 특징으로 하는 시력 보호 방법.
제1항에 있어서, 상기 사용자의 상기 디지털 장치의 표시 패널에 대한 응시여부를 결정하는 과정은,
얼굴 또는 눈이 검출되면, 상기 사용자가 상기 위험 시청 거리 내에 위치하는 것으로 결정하는 단계와,
상기 얼굴 검출 결과 및 상기 눈 검출 결과가, 정면 얼굴 검출, 양안 검출, 좌우 기준 각도 이내로 회전된 얼굴 검출 중 어느 하나라면, 상기 사용자가 상기 표시 패널을 응시하는 것으로 결정하는 단계와,
상기 얼굴 검출 결과 및 상기 눈 검출 결과가, 상기 좌우 기준 각도 이상 회전된 얼굴 검출, 한 개의 눈 검출 중 어느 하나라면, 상기 사용자가 상기 표시 패널을 응시하지 않는 것으로 결정하는 단계를 포함함을 특징으로 하는 시력 보호 방법.
제1항에 있어서, 상기 위험 시청 거리는 상기 표시 패널에서 실제 디스플레이가 이뤄지는 전체 화면 크기에 비례하여 결정됨을 특징으로 하는 시력 보호 방법.
제1항에 있어서, 상기 시력 보호 모드는 정해진 종류의 애플리케이션이 실행됨에 따라 설정되는 것을 특징으로 하는 시력 보호 방법.
제1항에 있어서, 상기 경고를 발생하는 과정은, 복수의 경고 레벨 중 미리 정해진 경고 레벨에 따라 경고를 발행하는 과정임을 특징으로 하는 시력 보호 방법.
제1항에 있어서, 상기 경고를 발생하는 과정은, 상기 표시 패널의 정해진 위치에 경고 메시지를 출력하는 과정임을 특징으로 하는 시력 보호 방법.
제1항에 있어서, 상기 경고를 발생하는 과정은, 상기 표시 패널의 중앙에 촬영된 상기 사용자의 영상을 출력하는 과정임을 특징으로 하는 시력 보호 방법.
제1항에 있어서, 상기 경고를 발생하는 과정은, 상기 표시 패널을 오프 시키는 과정임을 특징으로 하는 시력 보호 방법.
제1항에 있어서, 상기 경고를 발생하는 과정은, 실행중이던 애플리케이션을 중단하는 과정임을 특징으로 하는 시력 보호 방법.
제1항에 있어서, 상기 경고를 발생하는 과정은, 상기 표시 패널에 출력중이던 영상을 모자이크 처리하는 과정임을 특징으로 하는 시력 보호 방법.
영상 출력 디지털 장치에 있어서,
표시 패널과,
상기 표시 패널과 동일한 면에 장착되는 카메라와,
시력 보호 모드 설정에 따라 상기 카메라에 의해 촬영된 3D 영상에서 오브젝트를 검출하고, 상기 오브젝트와 상기 디지털 장치 간의 거리를 검출하고, 상기 검출된 거리가 위험 시청 거리보다 작으면, 상기 카메라에 의해 촬영된2D 영상에서 얼굴 또는 눈을 검출하고, 상기 얼굴 검출 결과 또는 눈 검출 결과에 따라, 상기 위험 시청 거리 내의 사용자의 위치 여부 및 상기 사용자의 상기 디지털 장치의 표시 패널에 대한 응시여부를 결정하고, 상기 사용자가 상기 표시 패널을 응시하는 것으로 결정되면, 경고를 발생하는 제어부를 포함함을 특징으로 하는 디지털 장치.
제13항에 있어서. 상기 촬영된2D 영상에서 얼굴 및 눈이 검출되지 않으면, 상기 오브젝트는 감시 대상에서 제외됨을 특징으로 하는 디지털 장치.
제14항에 있어서, 상기 제어부는 상기 사용자가 상기 위험 시청 거리를 벗어나면, 상기 경고 발생을 중단함을 특징으로 하는 디지털 장치.
제13항에 있어서, 상기 제어부는
얼굴 또는 눈이 검출되면, 상기 사용자가 상기 위험 시청 거리 내에 위치하는 것으로 결정하고, 상기 얼굴 검출 결과 및 상기 눈 검출 결과가, 정면 얼굴 검출, 양안 검출, 좌우 기준 각도 이내로 회전된 얼굴 검출 중 어느 하나라면, 상기 사용자가 상기 표시 패널을 응시하는 것으로 결정하고, 상기 얼굴 검출 결과 및 상기 눈 검출 결과가, 상기 좌우 기준 각도 이상 회전된 얼굴 검출, 한 개의 눈 검출 중 어느 하나라면, 상기 사용자가 상기 표시 패널을 응시하지 않는 것으로 결정함을 특징으로 하는 디지털 장치.
제13항에 있어서, 상기 위험 시청 거리는 상기 표시 패널에서 실제 디스플레이가 이뤄지는 전체 화면 크기에 비례하여 결정됨을 특징으로 하는 디지털 장치.
제13항에 있어서, 상기 시력 보호 모드는 정해진 종류의 애플리케이션이 실행됨에 따라 설정되는 것을 특징으로 하는 디지털 장치.
제13항에 있어서, 상기 제어부는 복수의 경고 레벨 중 미리 정해진 경고 레벨에 따라 경고를 발행함을 특징으로 하는 디지털 장치.
제13항에 있어서, 상기 제어부는 상기 표시 패널의 정해진 위치에 경고 메시지를 출력함을 특징으로 하는 디지털 장치.
제13항에 있어서, 상기 제어부는 상기 표시 패널의 중앙에 촬영된 상기 사용자의 영상을 출력하여 경고를 발생함을 특징으로 하는 디지털 장치.
제13항에 있어서, 상기 제어부는 상기 표시 패널을 오프 시켜 경고를 발생함을 특징으로 하는 디지털 장치.
제13항에 있어서, 상기 제어부는 실행중이던 애플리케이션을 중단하여 경고를 발생함을 특징으로 하는 디지털 장치.
제13항에 있어서, 상기 제어부는 상기 표시 패널에 출력중이던 영상을 모자이크 처리하여, 경고를 발생함을 특징으로 하는 디지털 장치.