KR20150049168A - 이동 단말기 및 그 동작 방법 - Google Patents

Abstract

본 실시예는 숨겨진 피사체에 레이저파를 발사하여 되돌아오는 광자를 프레임으로 센싱하는 펨토 포토그래피 카메라와, 상기 프레임을 분석하여 상기 피사체를 3D 이미지로 구현하는 제어부를 포함하고, 상기 펨토 포토그래피 카메라는 상기 레이저파를 상기 피사체를 바라보는 반사벽에 발사하는 레이저와, 상기 레이저파를 스플릿하고 발사위치를 변경하는 미러 시스템과, 상기 레이저파가 상기 반사벽 및 피사체에 산란 및 반사되어 되돌아오는 광자를 상기 프레임으로 센싱하는 스트리크 카메라를 포함하는 것을 특징으로 한다.
본 발명에 의하면, 방해물에 의하여 숨겨진 피사체를 3D 이미지로 촬영할 수 있는 장점이 있다.

Description

이동 단말기 및 그 동작 방법 {MOBILE TERMINAL AND OPERATING METHOD THEREOF}

본 발명은 이동 단말기 및 그 동작 방법에 관한 것으로, 좀더 상세히 펨토 포토그래피 카메라가 장착된 이동 단말기와 그 제어방법에 관한 것이다.

단말기는 이동 가능 여부에 따라 이동 단말기(mobile/portable terminal) 및 고정 단말기(stationary terminal)으로 나뉠 수 있다. 다시 이동 단말기는 사용자의 직접 휴대 가능 여부에 따라 휴대(형) 단말기(handheld terminal) 및 거치형 단말기(vehicle mount terminal)로 나뉠 수 있다.

이와 같은 단말기(terminal)는 기능이 다양화됨에 따라 예를 들어, 사진이나 동영상의 촬영, 음악이나 동영상 파일의 재생, 게임, 방송의 수신 등의 복합적인 기능들을 갖춘 멀티미디어 기기(Multimedia player) 형태로 구현되고 있다.

이러한 단말기의 기능 지지 및 증대를 위해, 단말기의 구조적인 부분 및/또는 소프트웨어적인 부분을 개량하는 것이 고려될 수 있다.

한편, 최근에 빛의 전파를 시각화하여 이미지로 구현하는 펨토 포토그래피 카메라(Femto-photography camera)가 개발되었다.

상기 펨토 포토그래피 카메라는 벽이나 건물의 모퉁이 뒤에 존재하여 시야가 가려진 물체(hidden object)를 촬영할 수 있는 카메라로, 가려진 물체를 3D 이미지로 구현하는 것이 가능하다.

이러한 펨토 포토그래피 카메라에 대한 개발 및 이를 응용한 기술들에 대한 연구가 활발해지고 있으며, 특히, 펨토 포토그래피 카메라를 이동 단말기에 적용하였을 때 다양한 효용성이 발현될 것으로 예상된다.

본 발명은 이동 단말기에 펨토 포토그래피 카메라를 장착하여, 다양한 촬영모드를 제공함으로써, 고품질의 사진을 효과적으로 얻으려는 것이다.

본 실시예는 숨겨진 피사체에 레이저파를 발사하여 되돌아오는 광자를 프레임으로 센싱하는 펨토 포토그래피 카메라와, 상기 프레임을 분석하여 상기 피사체를 3D 이미지로 구현하는 제어부를 포함하고, 상기 펨토 포토그래피 카메라는 상기 레이저파를 상기 피사체를 바라보는 반사벽에 발사하는 레이저와, 상기 레이저파를 스플릿하고 발사위치를 변경하는 미러 시스템과, 상기 레이저파가 상기 반사벽 및 피사체에 산란 및 반사되어 되돌아오는 광자를 상기 프레임으로 센싱하는 스트리크 카메라를 포함하는 것을 특징으로 한다.

또한 본 실시예는 웨어러블 이동 단말기에 펨토 포토그래피 카메라가 장착되어 영상통화를 제공하는 이동 단말기의 제어방법으로서, 영상통화 실행명령을 수신하여, 펨포 포토그래피 카메라를 활성화하는 단계와, 레이저가 레이저파를 반사벽을 통해 피사체에게 발사하는 단계와, 상기 반사벽과 피사체에서 산란 및 반사된 레이저파를 프레임으로 센싱하는 단계와, 상기 레이저의 발사위치를 지속적으로 변경하고, 반사된 레이저파를 프레임으로 센싱하는 단계와, 상기 센싱된 프레임들을 분석하여 상기 피사체를 3D 이미지로 분석하는 단계와, 상기 3D 이미지를 상기 영상통화 상대방에게 전송하는 단계를 포함하는 것을 특징으로 한다.

본 발명의 실시예에 의하면, 방해물에 의하여 숨겨진 피사체를 3D 이미지로 촬영할 수 있는 장점이 있다.

또한, 본 발명의 실시예에 의하면, 사용자는 웨어러블 이동 단말기를 착용한 상태에서 손쉽게 영상통화를 할 수 있는 장점이 있다.

그리고, 본 발명의 다른 실시예에 의하면, 피사체를 위에서 내려보는 하이 앵글 각도로 사진을 촬영할 수 있다.

마지막으로, 본 발명의 또 다른 실시예에 의하면, 피사체의 사방을 촬영하여 3D 이미지로 구현할 수 있는 장점이 있다.

도 1은 본 발명의 펨토 포토그래피 카메라가 장착된 이동 단말기의 블록 구성도(block diagram)이다.
도 2는 본 발명의 실시예에 따른, 펨토 포토그래피 카메라가 방해물에 가려진 피사체를 촬영하는 모습을 개략적으로 나타낸다.
도 3은 본 발명의 실시예에 따른, 스트리크 카메라에서 센싱된 프레임들을 나타낸다.
도 4는 본 발명의 실시예에 따른, 복잡한 형상의 피사체를 펨토 포토그래피 카메라로 촬영한 후 렌더링을 통해 3D 이미지로 구현하는 과정을 (a)~(i) 순서대로 나타낸다.
도 5는 본 발명의 제 1 실시예에 따른, 웨어러블 이동 단말기에 장착된 펨토 포토그래피 카메라를 이용하여 영상통화를 하는 모습을 나타낸다.
도 6은 본 발명의 제 2 실시예에 따른, 하이 앵글 촬영모드로 피사체를 촬영하는 모습을 나타낸다.
도 7은 본 발명의 제 2 실시예에 따른, 하이 앵글 촬영모드로 촬영된 사진을 나타낸다.
도 8은 본 발명의 제 3 실시예에 따른, 입체촬영모드로 피사체를 촬영하는 모습을 나타낸다.
도 9는 본 발명의 제 3 실시예에 따른, 입체촬영모드로 촬영된 피사체의 3D 이미지를 나타낸다.

이하에서는, 본 실시예에 대하여 첨부되는 도면을 참조하여 상세하게 살펴보도록 한다. 다만, 본 실시예가 개시하는 사항으로부터 본 실시예가 갖는 발명의 사상의 범위가 정해질 수 있을 것이며, 본 실시예가 갖는 발명의 사상은 제안되는 실시예에 대하여 구성요소의 추가, 삭제, 변경 등의 실시변형을 포함한다고 할 것이다.

본 발명과 관련되는 이동 단말기의 설명에 사용되는 접미수 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.

본 명세서에서 설명되는 이동 단말기에는 휴대폰, 스마트폰, 태블릿 PC, 노트북 컴퓨터, 디지털방송용 단말기, PDA(Personal Digital Assistant), PMP(Portable Multimedia Player), 네비게이션 등이 포함될 수 있다. 그러나, 본 명세서에 기재되는 실시예에 따른 구성은 이동 단말기에만 적용 가능한 경우를 제외하면, 디지털 TV, 데스크탑 컴퓨터 등과 같은 고정 단말기에도 적용될 수 있다.

본 발명의 사상이 적용될 수 있는 이동 단말기의 구성

도 1은 본 실시예와 관련되는 이동 단말기의 구성을 보여주는 블록도이다.

이동 단말기(100)는 무선 통신부(110), A/V(Audio/Video) 펨토 포토그래피 카메라(120), 센싱부(140), 출력부(150), 메모리(160), 인터페이스부(170), 제어부(180) 및 전원 공급부(190) 등을 포함할 수 있다. 도 1의 이동 단말기는 필수 구성요소들로만 도시된 것이 아니기 때문에, 다른 구성요소를 더 포함하거나 도시된 구성요소들 중 일부가 포함되지 않는 단말기로도 구현될 수 있다.

이동 단말기의 각 구성요소를 순서대로 살펴본다.

무선 통신부(110)는 이동 단말기와 무선 통신 시스템 사이, 또는 이동 단말기들 사이의 무선 통신을 가능하게 하는 역할을 수행하며, 하나 이상의 모듈을 포함할 수 있다. 예를 들어, 무선 통신부(110)는 방송 수신 모듈(111), 이동통신 모듈(112), 무선 인터넷 모듈(113), 근거리 통신 모듈(115) 및 위치 정보 모듈(115) 등을 포함할 수 있다.

방송 수신 모듈(111)은 방송 채널을 통하여 외부의 방송 관리 서버로부터 방송 신호 및/또는 방송 관련된 정보를 수신할 수 있다. 상기 방송 채널은 위성 채널, 지상 채널을 포함하며, 상기 방송 관리 서버는 방송 신호 및/또는 방송 관련 정보를 생성하여 송신하는 서버 또는 기 생성된 방송 신호 및/도는 방송 관련 정보를 제공받아 단말기에 송신하는 서버를 의미할 수 있다. 상기 방송 신호는 TV 방송 신호, 라디오 방송 신호, 데이터 방송 신호를 포함할 수 있으며, TV 방송 신호 또는 라디오 방송 신호에 데이터 방송 신호가 결합된 형태의 방송 신호도 포함한다.

상기 방송 관련 정보는 방송 채널, 방송 프로그램 또는 방송 서비스 제공자에 관련된 정보를 포함하며, 이동통신망을 통하여 이러한 방송 관련 정보가 제공될 수 있다. 이동통신망을 통하여 방송 관련 정보가 제공되는 경우에는, 상기 이동통신 모듈(112)에 의하여 수신될 수 있다.

상기 방송 관련 정보는 다양한 형태로 존재할 수 있으며, 예를 들어, DMB(Digitla Multimedia Broadcasting)의 EPG(Electronic Program guide) 또는 DVB-H(Digital Vid대 Broadcast-Handheld)의 ESG(Electronic Service Guide) 등의 형태로 존재할 수 있다.

상기 방송 수신 모듈(111)은, 예를 들어, DMB-T(Digital Multimedia Broadcasting-Terrestrial), DMB-S(Digital Multimedia Broadcasting-Satellite), MediaFLO(Media Forward Link Only), DVB-H(Digital Video Broadcast-Handheld), ISDB-T(Integrated Services Digital Broadcast-Terrestrial) 등의 디지털 방송 시스템을 이용하여 디지털 방송 신호를 수신할 수 있다. 물론, 상기 방송 수신 모듈(111)이 상술한 디지털 방송 시스템 이외의 다른 방송 시스템에 적합하도록 구성되는 것 역시 가능할 것이다.

방송 수신 모듈(111)을 통하여 수신되는 방송 신호 및/또는 방송 관련 정보는 메모리(160)에 저장될 수 있다.

이동통신 모듈(111)은, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신하며, 송수신 대상의 무선 신호는 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.

무선 인터넷 모듈(113)은 무선 인터넷 접속을 위한 모듈을 나타내는 것으로서, 이동 단말기(100)에 내장되어 구성되거나 외장 연결가능하도록 구성될 수 있다. 무선 인터넷 기술로는 WLAN(Wireless Lan)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 등이 이용될 수 있다.

근거리 통신 모듈(114)은 근거리 통신을 위한 모듈을 나타내는 것으로서, 예를 들면, 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA:Infrared Data Association), UWB(Ultra Wideband), ZigBee 등과 같은 근거리 통신이 가능해지도록 하는 역할을 수행한다.

위치정보 모듈(115)은 이동 단말기의 위치를 획득하기 위한 역할을 수행하며, 예를 들면, GPS(Global Position System) 모듈로 이루어질 수 있다.

특히, 본 발명의 핵심이 되는 이동 단말기(100)에 장착되는 펨토 포토그래피 카메라(120)에 대해서 상세히 설명하여 본다.

펨토 포토그래피 카메라(120)란, 벽이나 건물의 모퉁이 너머에 존재하여, 관찰 불가능한 숨겨진 물체(hidden object)에 대해 레이저를 쏜 후, 돌아오는 반사광을 수학적 알고리즘으로 분석하여 3D 이미지화하는 카메라를 의미한다.

이러한 펨토 포토그래피 카메라(120)는 초당 펨토단위 간격의 펄스 주기를 갖는 레이저파를 발사하는 레이저(ultra-fast laser)(121)와, 레이저파를 스플릿(split)하고 발사 위치를 조절하기 위한 미러 시스템(mirror system)(122)과, 레이저파가 숨겨진 피사체에 반사 및 산란되어 되돌아오는 광자를 센싱하는 스트리크 카메라(streak camera)(123)를 포함하도록 구성된다.

도 2는 본 발명의 실시예에 따른, 펨토 포토그래피 카메라가 모퉁이에 가려져 숨겨진 피사체를 촬영하는 모습을 개략적으로 나타낸다.

도 2를 참조하면, 먼저, 레이저(121)는 펨토 단위의 펄스를 갖는 레이저파를 반사벽(20)에 발사하면(r1), 레이저파가 반사벽(20)에 반사 및 산란되어 광자(photo)로 숨겨진 피사체(10)에 도달한다(r2). 이때, 상기 레이저(121)는 12나노초 이하의 펄스를 갖는 레이저파를 방출하는 티타늄 사파이어 레이저가 사용될 수 있다.

상기 숨겨진 피사체(10)에 도달된 광자는 숨겨진 피사체의 형상에 의해 다시 반사 및 산란되어 반사벽(20)으로 이동하고(r3), 반사벽(20)에서 반사 및 산란된 광자는 스트리크 카메라(123)로 이동한다(r4).

상기 스트리크 카메라(123)는 r1~r4 경로로 반사 및 산란되어 이동한 광자를 피코 단위의 정확도로 센싱한다.

좀더 상세히, 상기 스트리크 카메라(123)는 광자를 최대 2 조분의 1 의 속도로 센싱하는 방법으로, 숨겨진 피사체(10)에서 반사된 광자를 슬릿(slit)을 통과하게 하여 광전음극(photocathode)에서 전자(electron)으로 변환한 후, 스트리크 튜브에서 고전압을 가하여 편향시키고, 이를 형광면(phosphor creen)에 수직방향으로 조사함으로써, 순시 광강도 변화 및 숨겨진 피사체(10) 형상의 공간적인 휘도 분포로 변환하여 초고속 발광현상을 측정한다. 이러한 방법으로, 숨겨진 피사체(10)에서 반사 및 산란된 광자를 프레임으로 출력할 수 있다.

도 3은 본 발명의 실시예에 따른, 스트리크 카메라에서 센싱된 프레임들을 나타낸다.

도 3을 참조하면, 2cm^2 면적의 숨겨진 피사체(10)에 방향을 달리하여 레이저를 발사하였을 때, 방향에 따라 스트리크 카메라(123)에서 센싱한 광자를 각각의 프레임으로 나타낸 것이다.

상기 레이저(121)가 방향을 달리하여 반사벽(20)에 레이저를 발사하는 이유는, 한 방향으로 발사한 레이저파에 의해 돌아오는 빛의 정보로는 이미지화에 필요한 경우의 수에 한계가 존재하기 때문에, 숨겨진 피사체(10)의 형상을 확정할 수 없기 때문이다.

즉, 도 3의 (a)에서 첫 번째 방향으로 레이저파를 발사하여 센싱한 프레임을 보면 숨겨진 피사체(10)는 여러 형상(p, q, r)을 갖을 수 있다고 분석될 것이다.

그러므로, 상기 레이저파의 발사 방향을 조절하기 위하여, 레이저(121)의 앞에는 미러 시스템(122)이 마련된다.

즉, 미러 시스템(122)은 레이저(121)의 앞에 마련되어 발사되는 레이저파를 산란 및 반사시키며, 이때 반사각을 조절하여 레이저파의 광자가 조사되는 벽에 위치를 조절할 수 있다.

이러한 미러 시스템(122)에 의하여, 세 방향으로 발사된 레이저파에 대한 광자들을 스트리크 카메라(123)으로 각각 프레임으로 센싱한 후, 상기 제어부(180)는이를 합성하여, 단일 형상을 갖는 프레임으로 출력할 수 있다.

이때, 상기 제어부(180)는 사용되는 알고리즘으로는 비행 시간 테크닉(time-of-flight technique)과 컴퓨테이셔널 복원 알고리즘(computational reconstruction algorithms)이 사용한다. 위 알고리즘들은 레이저파에서 산란 및 반사되어 돌아오는 광자의 시간을 분석하여 빛의 이동경로를 수학적으로 계산하는 방법으로서, 광자의 강도와 빛이 돌아오는데 걸리는 시간을 고려하여 광자의 경로를 분석한 후 이를 렌더링하여 컴퓨터 그래픽 기술로 숨겨진 피사체(10)를 재건하는 방법이다.

도 3의 (b)~(c)는 위 알고리즘을 통해 복원된 프레임으로, 파란색 픽셀은 광자의 강도가 강함을 나타내고, 빨간색 픽셀은 광자의 강도가 약함을 나타낸다. 이것으로부터 광자의 광도가 약할수록 숨겨진 피사체(10)가 벽에 더 가까이 있다는 것을 분석할 수 있다.

도 4는 본 발명의 실시예에 따른, 복잡한 형상의 피사체를 펨토 포토그래피 카메라로 촬영한 후 제어부가 렌더링을 통해 3D 이미지로 구현하는 과정을 (a)~(i) 순서대로 나타낸다.

도 4의 (a)는 숨겨진 피사체를 나타내고, (b)는 스트리크 카메라에서 촬영된 프레임들을 나타내며, (c)는 이러한 프레임들을 백프로젝션(back projection) 후 히트맵(heat map)으로 시각화하여 숨겨진 피사체를 구체화한 모습을 나타낸다. 도 4의 (d)는 광자의 강도 및 피사체의 깊이(depth)를 구현하기 위해, x-y로 히트맵을 미분하여 피사체의 z 값을 구하는 필터링을 한 후의 모습을 나타내고, (e)는 피사체의 깊이(z)의 지도를 나타내고, (f)는 컨피던스 프레임을 나타내며, (g)는 위 프레임들을 렌더링하여 3D 이미지화 함으로써, 숨겨진 피사체의 모습을 구현한 3D 이미지를 나타낸다.

이러한 제어부(180)에서 수행되는 일련의 과정들을 통하여, 펨토 포토그래피 카메라(120)는 방해물에 의하여 숨겨진 피사체를 촬영할 수 있다. 본 발명은 이동 단말기에 이러한 펨토 포토그래피 카메라(120)를 장착하여 다양한 촬영모드를 제공하려는 것이다.

한편, 상기 펨토 포토그래피 카메라(120)는 일반적인 카메라의 기능도 수행할 수 있다. 즉, 화상 통화모드 또는 촬영 모드에서 이미지 센서에 의하여 획득되는 정지영상 또는 동영상의 화상 프레임을 처리하고 출력할 수 있다. 그리고, 이렇게 처리된 화상 프레임은 디스플레이부(151)에 표시될 수 있다.

카메라(121)에서 처리되는 화상 프레임은 메모리(160)에 저장되거나 무선 통신부(110)를 통하여 무선으로 전달될 수 있다. 카메라(121)는 디스플레이(151) 전면을 촬영하기 위한 카메라와, 반대편에 해당하는 단말기 후면측을 촬영하기 위한 카메라를 포함할 수 있으며, 복수개의 카메라들로부터 촬영되는 영상 및 음성 신호를 수신하는 것도 가능하다.

이동 단말기의 센싱부(140)는 이동 단말기의 다양한 작동 상태, 동작, 움직임 등을 확인하기 위한 역할을 수행하며, 센싱부(140)에 의하여 센싱되는 정보에 따라 이동 단말기의 동작이 제어될 수 있다. 예를 들어, 상기 센싱부(140)는 이동 단말기의 개폐 상태, 위치, 사용자 접촉 유무, 방위, 가속/감속 등과 같은 이동 단말기의 상태를 감지하여 이동 단말기의 동작을 제어하기 위한 센싱 신호를 발생시킬 수 있다. 그리고, 상기 센싱부(140)는 전원 공급부(190)의 전원 공급 여부, 인터페이스부(170)의 외부 기기 결합 여부 등을 센싱하는 것 역시 가능하다.

상기 센싱부(140)는 도시된 바와 같이 근접 센서(141)와 동작 센서(142)를 포함할 수 있으며, 사용자의 지문을 센싱하기 위한 지문 센서 역시 포함될 수 있다.

동작 센서(142)는 이동 단말기의 움직임, 향하는 방향, 이동 방향, 속도 등을 센싱하는 것이 가능하고, 예를 들면, 지자기 센서, 가속도 센서, 자이로 센서, 고도계 등이 포함될 수 있다.

지자기 센서는 지구에서 발생하는 자기장의 흐름을 파악하여 나침반처럼 방위를 탐지할 수 있는 센서이다. 가속도 센서는 속도의 변화라고 하는 물리량을 특정하는 센서 운동체의 동작 진동변화(가속도)를 검출할 수 있는 센서이다. 자이로 센서는 회전각가속도 센서로서 회전하는 각의 수직방향으로 코리올리스 힘이 발생하게 되면 이 수직힘을 가속도 센서와 마찬가지의 원리로 감지하는 센서이다. 고도계는 고도에 따라 변하는 기압차(압력)을 측정하는 센서이다. 그리고, 지문 센서는 이동 단말기에 전면이나 후면에 사용자의 지문을 스캔할 수 있는 센서로서, 지문의 특정 영역에 대한 이미지 추출과, 그에 대한 데이터 처리를 수행할 수 있다.

이동 단말기의 출력부(150)는 시각, 청각 또는 촉각과 관련되는 출력을 발생시키기 위한 것으로서, 디스플레이부(151), 음향 출력 모듈(152), 알람부(153) 및 햅틱 모듈(154) 등을 포함할 수 있다.

디스플레이부(151)는 이동 단말기에서 처리되는 정보를 표시하는 역할을 수행하며, 예를 들어, 이동 단말기가 통화 모드인 경우에 통화와 관련되는 UI 또는 GUI를 표시하고, 이동 단말기가 화상 통화 모드 또는 촬영 모드인 경우에는 촬영되는 영상이나 수신되는 영상을 표시하거나 그와 관련되는 UI, GUI를 표시한다.

디스플레이부(151)는 액정 디스플레이(LCD), 박막 트랜지스터 액정 디스플레이(TFT LCD), 유기 발광 다이오드(OLED), 플렉서블 디스플레이, 3차원 디스플레이 등으로 이루어질 수 있다. 이들 중 일부 디스플레이는 그를 통해 외부를 볼 수 있도록 투명형 또는 광투과형으로 구성될 수 있다. 이것은 투명 디스플레이라 할 수 있으며, 이러한 투명 디스플레이의 예로는 TOLED(Transparent OLED)가 될 수 있다. 그리고, 디스플레이(151)의 후방 구조 또한 광 투과형 구조로 구성될 수 있으며, 이 경우 사용자는 단말기 바디의 디스플레이(151)가 차지하는 영역을 통해 단말기 바디의 후방에 위치한 사물을 볼 수 있다.

이동 단말기(100)의 구현 형태에 따라 디스플레이(151)가 복수개 마련될 수 있으며, 예를 들어, 이동 단말기에는 복수의 디스플레이들이 하나의 면에 이격되거나 일체로 배치되거나, 서로 다른 면에 각각 배치될 수도 있다.

디스플레이(151)와 터치 동작을 감지하기 위한 센서(터치 센서)가 상호 레이어 구조를 이루는 경우(터치 스크린)에, 디스플레이(151)는 출력 장치 이외의 입력 장치로도 사용될 수 있다. 터치 센서는, 예를 들어, 터치 필름, 터치 시트, 터치 패드 등의 형태가 될 수 있다.

터치 센서는 디스플레이(151)의 특정 영역에 가해지는 압력, 또는 디스플레이(151)의 특정 영역에 발생되는 정전 용량의 변화, 또는 디스플레이(151)의 특정 영역에 발생되는 자기장 변화를 전기적인 입력 신호로 변환하도록 구성될 수 있다. 터치 센서는 터치되는 위치 및 면적뿐만 아니라, 터치 순간의 압력까지도 검출할 수 있도록 구성될 수 있다.

터치 센서에 의하여 터치 입력이 감지되는 경우에, 그에 대응하는 신호는 터치 제어기로 보내지며, 터치 제어기는 수신한 신호에 대응되는 데이터를 제어부(180)로 전송한다. 이러한 과정을 통하여, 제어부(180)는 디스플레이에 터치가 있는지 여부, 디스플레이의 어느 영역에 터치가 이루어졌는지 여부, 디스플레이의 어느 영역에 어느 정도의 필압으로 터치가 이루어졌는지 여부 등을 확인할 수 있다.

상기 근접 센서(141)는 소정의 검출면에 접근하는 물체, 혹은 근방에 존재하는 물체의 유무를 전자계의 힘 또는 적외선을 이용하여 기계적인 접촉없이 검출하는 역할을 수행한다. 이러한 근접 센서(141)는 터치 스크린 근방에 배치되거나 이동 단말기 내부에 마련될 수 있다.

이러한 근접 센서(141)의 예로는 투과형 광전 센서, 직접 반사형 광전 센서, 미러 반사형 광전 센서, 고주파 발진형 근접 센서, 정전 용량형 근접 센서, 자기형 근접 센서, 적외선 근접 센서 등이 있다. 터치 스크린이 정전식으로 이루어진 경우에는, 포인터의 근접에 따른 전계의 변화로 포인터의 근접여부를 검출할 수 있으며, 이 경우, 터치 스크린은 근접 센서로 분류될 수도 있다.

이하에서는, 설명을 편의를 위하여, 터치 스크린 상에 포인터가 접촉되지 않으면서 근접되어 상기 포인터가 터치 스크린 상에 위치하고 있음을 인식되도록 하는 행위를 "근접 터치(proximity touch)"라 하고, 터치 스크린 상에 포인터가 실제로 접촉되는 행위를 "접촉 터치(contact touch)"라 한다.

상기 근접 센서(141)는 근접 터치와, 근접 터치 패턴(예를 들어, 근접 터치 거리, 근접 터치 방향, 근접 터치 속도, 근접 터치 시간, 근접 터치 위치, 근접 터치 이동 상태 등)을 감지할 수 있다. 감지되는 근접 터치 동작 및 근접 터치 패턴에 대응되는 정보는 터치 스크린 상에 출력될 수 있다.

출력부(150)의 음향 출력 모듈(152)은 호신호 수신, 통화 모드 또는 녹음 모드, 음성인식 모드, 방송수신 모드 등에서 무선 통신부(110)로부터 수신되거나 메모리(160)에 저장된 오디오 데이터를 출력할 수 있다. 음향 출력 모듈(152)은 이동 단말기에서 수행되는 기능(호신호 수신음, 메시지 수신음 등)과 관련되는 음향 시호를 출력하기도 한다. 이러한 음향 출력 모듈(152)에는 리시버(receiver), 스피커(speaker), 버저(buzzer) 등이 포함될 수 있다.

출력부(150)의 알람부(153)는 이동 단말기의 이벤트 발생을 알리기 위한 신호를 출력한다. 이동 단말기에서 발생되는 이벤트의 예로는 호 신호 수신, 메시지 수신, 키 신호 입력, 터치 입력 등이 될 수 있다. 알람부(153)는 비디오 신호나 오디오 신호 이외에, 이벤트 발생을 이동 단말기의 진동으로 알릴 수 있다. 상기 비디오 신호나 오디오 신호는 디스플레이(151)나 음성 출력 모듈(152)을 통해서도 출력될 수 있기 때문에, 이들 디스플레이나 음성 출력 모듈 역시 알람부로 분류도리 수도 있다.

출력부(150)의 햅틱 모듈(154)은 사용자가 느낄 수 있는 다양한 촉각 효과를 발생시키는 역할을 수행한다. 햅틱 모듈(154)이 발생시키는 촉각 효과의 대표적인 예로는 진동이 있다. 햅틱 모듈(154)을 제어하는 것에 의하여, 발생되는 진동의 세기와 패턴등이 다양하게 변경될 수 있으며, 예를 들어, 서로 다른 진동을 합성하여 출력되거나 순차적으로 다른 세기 또는 패턴이 출력될 수 있다.

햅틱 모듈(154)은 직접적인 접촉을 통해 촉각 효과를 전달할 수 있을 뿐만 아니라, 사용자가 손가락이나 팔 등의 근 감각을 통하여 촉각 효과를 느낄 수 있도록 구현될 수도 있다. 햅틱 모듈(154)은 이동 단말기 내에 복수개 마련될 수 있으며, 이러한 경우에, 보다 다양한 세기와 패턴의 진동 발생이 가능해진다.

이동 단말기의 메모리(160)는 제어부(180)의 처리 및 제어를 위한 프로그램이 저장되거나, 입/출력되는 데이터들(예를 들어, 전화번호부, 메시지, 오디오, 영상 등)의 임시 저장을 위한 역할을 수행할 수 있다. 상기 메모리(160)에는 상기 데이터들 각각에 대한 사용 빈도도 함께 저장될 수 있다. 그리고, 터치 스크린에 사용자의 터치가 입력되는 경우에, 출력하고자 하는 다양한 패턴의 진동 및 음향에 대한 데이터가 상기 메모리(160)에 저장될 수 있다.

상기 메모리(160)는 플래시 메모리 타입, 하드디스크 타입, 멀티미디어 카드 마이크로 타입, 카드 타입의 메모리(SD 등), 램(RAM), SRAM(Static RAM), 롬(ROM), EEPROM(Electrically Erasable Programmable ROM), PROM(Programmable ROM), 자기 메모리, 자기 디스크, 광 디스크 중 어느 하나의 타입으로 이루어진 저장매체가 될 수 있다. 그리고, 이동 단말기는 인터넷상에서 상기 메모리(160)의 저장 기능을 수행하는 웹 스토리지와 관련하여 동작할 수도 있다.

이동 단말기의 인터페이스부(170)는 다양한 외부 기기와의 연결 통로 역할을 수행하며, 외부 기기/장치로부터 데이터 또는 전원을 공급받아 이동 단말기 내부의 각 구성요소에 전달할 수 있으며, 반대로 이동 단말기 내부의 데이터를 외부 기기로 전달될 수 있도록 하는 역할을 한다. 예를 들어, 유/무선 헤드셋 포트, 외부 충전기 포트, 유/무선 데이터 포트, 메모리 카드 포트, 식별 모듈이 구비된 장치를 연결하는 포트, 오디오 I/O(Input/Output) 포트, 비디오 I/O 포트, 이어폰 포트 등이 인터페이스부(170)에 포함될 수 있다.

식별 모듈은 이동 단말기의 사용 권한을 인증하기 위한 각종 정보를 저장한 칩으로서, 사용자 인증 모듈(User Identity Module, UIM), 가입자 인증 모듈(Subscriber Identity Module, SIM), 범용 사용자 인증 모듈(Universal Subscriber Identity Module, USIM) 등을 포함할 수 있다. 식별 모듈이 구비된 장치(식별 장치)는, 스마트 카드 형식으로 제작될 수 있으며, 이러한 식별 장치를 통하여 이동 단말기와 연결될 수 있다.

상기 인터페이스부(170)는 이동 단말기가 외부 크래들과 연결될 때 크래들로부터 전원이 이동 단말기로 공급되는 통로가 되는 역할을 하며, 사용자에 의하여 크래들에서 입력되는 각종 명령 신호가 이동 단말기로 전달되도록 하는 역할을 수행한다. 상기 크래들로부터 입력되는 각종 명령 신호 또는 전원은 이동 단말기가 크래들에 유효하게 장착되었음을 인지하기 위한 신호로 동작될 수 있다.

이동 단말기의 제어부(180)는 이동 단말기의 전체적인 동작 각각을 제어하며, 예를 들어, 음성 통화, 데이터 통신, 화상 통화 등에 관련된 제어 및 처리를 수행한다. 제어부(180)는 멀티 미디어 재생을 위한 멀티미디어 모듈(181)을 구비할 수 있다. 멀티미디어 모듈(181)은 제어부(180)내에 구현되거나, 별도의 부재/장치로 구현될 수 있다.

상기 제어부(180)는 터치 스크린 상에서 행하여지는 필기 입력 또는 그림 그리기 입력을 각각 문자 및 이미지로 인식할 수 있는 패턴 인식 처리를 수행할 수 있다.

이동 단말기의 전원 공급부(190)는 제어부(180)의 제어에 따라 외부의 전원, 내부의 전원을 인가받아 각 구성요소들의 동작에 필요한 전원을 공급한다.

여기에서 설명되는 다양한 실시예는, 예를 들어, 소프트웨어, 하드웨어 또는 이들이 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.

하드웨어적인 구현에 의하면, ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 프로세서, 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(micro-processors), 기타 기능 수행을 위한 전기적인 유닛 중 어느 하나로 구현될 수 있다. 일부의 경우에 본 명세서에서 설명되는 실시예들이 제어부(180) 자체로 구현될 수 있다.

소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시예들은 별도의 소프트웨어 모듈로 구현될 수 있다. 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다. 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션으로 소프트웨어 코드가 구현될 수 있다. 상기 소프트웨어 코드는 메모리(160)에 저장되고, 제어부(180)에 의하여 실행/동작될 수 있다.

이하에서는, 본 발명의 다양한 실시예들을 도 5 내지 도 9를 참조하여 설명하여 본다.

앞서 설명한 바와 같이, 본 발명의 실시예들은 펨토 포토그래피 카메라(121) 모듈이 이동 단말기에 장착되어 다양한 촬영방법을 제공하는 실시예들을 나타낸다.

도 5는 본 발명의 제 1 실시예에 따른, 웨어러블 이동 단말기에 장착된 펨토 포토그래피 카메라를 이용하여 영상통화를 하는 모습을 나타낸다.

웨어러블 이동 단말기(Wearable mobil terminal)(100)는 사용자의 신체에 착용하여 사용하는 이동 단말기(100)로, 시계, 안경, 옷, 목걸이, 반지 등의 형상으로 사용자가 휴대에 불편함을 느끼지 않는 차세대 이동 단말기(100)이다.

그런데, 이러한 웨어러블 이동 단말기(100)의 경우, 사용자의 신체에 착용되어 촬영하고자 하는 피사체를 향해 카메라(120) 앵글을 변경하는 것에 어려움이 있을 수 있다.

도 5를 참조하면, 상기 웨어러블 이동 단말기(100)는 목걸이형 이동 단말기(100)로 사용자(10)의 목에 착용된다.

사용자(10)의 목에 착용된 목걸이형 이동 단말기(100)의 경우, 피사체가 사용자 전방에 있다면 목걸이형 이동 단말기(100)에 장착된 카메라(120)로 촬영하는 것에는 어려움이 없으나, 카메라(120)의 상측에 밀착한 사용자(10)를 촬영하기 힘들다.

특히, 최근에는 영상통화가 일반화되고 있는데, 웨어러블 이동 단말기(100)의 카메라(120)가 사용자(10)를 촬영할 수 없다면, 이는 사용자에게 큰 불편함을 줄 수 있다.

이를 극복하기 위하여, 제 1실시예는 웨어러블 이동 단말기(100)에 펨토 포토그래피 카메라(120)를 장착하여 원하는 사용자를 손쉽게 촬영하려는 것이다.

이하에서는, 목걸이형 단말기(100)에서 영상통화모드를 제공하는 과정을 설명한다.

목걸이형 단말기(100)에서 사용자에게 영상통화 실행명령이 인식되면, 상기 제어부(180)는 펨토 포토그래피 카메라(120)를 활성화 한다.

활성화된 펨토 포토그래피 카메라(120)는 레이저(121)로 레이저파를 반사벽을 향해 발사한다.

발사된 레이저파는 광자로 반사벽에서 산란 및 반사되어 사용자(10)에게 도달하게 되고, 다시 사용자(10)와 반사벽에 산란 및 반사되어 스트리크 카메라(123)에 도달하며, 상기 스트리크 카메라(123)는 이를 프레임으로 센싱한다.

이후, 상기 레이저(121) 앞에 장착된 미러 시스템(122)은 레이저파의 발사위치를 변경하고, 상기 스트리크 카메라(123)는 반복하여 여러 방향으로 발사된 레이저파에 의해 산란 및 반사되어 돌아온 광자를 프레임으로 센싱한다.

상기 제어부(180)는 이처럼 센싱된 여러 프레임을 분석하여 3D 이미지화한 후 영상통화 상대방에게 전송함으로써, 사용자(10)에게 목걸이형 단말기(100)를 착용한 상태에서 영상통화모드를 제공할 수 있다.

이때, 영상통화 상대방에게서 전송되는 영상을 소형 빔 장치를 이용하여, 반사벽에 투영한다면, 상대방의 영상을 보면서 영상통화를 하는 것도 가능할 것이다.

도 6은 본 발명의 제 2 실시예에 따른, 하이 앵글 촬영모드로 피사체를 촬영하는 모습을 나타내며, 도 7은 본 발명의 제 2 실시예에 따른, 하이 앵글 촬영모드로 촬영된 사진을 나타낸다.

펨토 포토그래피 카메라(120)는 반사벽에서 바라본 시야를 앵글로 사진 촬영이 가능하므로, 반사벽이 피사체의 상측에 위치한다면, 피사체를 손쉽게 하이 앵글로 촬영할 수 있다. 이때, 하이 앵글이란 피사체(10)를 카메라(120)가 내려보는 시선을 의미한다.

도 6을 참조하면, 이동 단말기(100)는 피사체(10)와 같은 위치에 존재하며, 피사체(10)와 이동 단말기(100)의 상측에는 천장(미도시)이 있다.

상기 천장을 반사벽으로 하여, 펨토 포토그래피 카메라(120)가 피사체(10)를 촬영한다면, 상기 피사체(10)를 천장에서 내려보는 듯한 하이 앵글로 사진을 촬영할 수 있다.

좀더 상세히, 이동 단말기(100)에서 하이 앵글 촬영모드를 제공하는 과정을 설명한다.

먼저, 사용자의 하이 앵글 촬영모드로 진입명령을 받으면, 상기 제어부(180)는 펨토 포토그래피 카메라(120)를 활성화한다.

상기 제어부(180)가 사용자의 하이 앵글 촬영명령을 수신하면, 상기 펨토 포토그래피 카메라(120)의 레이저(121)가 레이저파를 천장으로 발사하도록 한다.

상기 발사된 레이저파는 광자로 천장에 산란 및 반사되어 사용자(10)에 도달하게 되고, 다시 사용자(10)와 천장에 산란 및 반사된 광자는 스트리크(123) 카메라(123)에 도달한다.

이후, 상기 스트리크 카메라(123)은 되돌아온 광자를 프레임으로 센싱한다.

상기 레이저(121) 앞에 마련된 미러 시스템(122)은 레이저파의 발사위치를 여러방향으로 변경하고, 상기 스트리크 카메라(123)는 여러 방향으로 발사된 레이저파에 의해 산란 및 반사되어 돌아오는 광자들을 프레임으로 지속적으로 센싱한다.

상기 제어부(180)는 이처럼 센싱된 여러 프레임을 분석하여 이미지화함으로써, 하이 앵글 촬영모드로 촬영된 사진을 획득할 수 있다.

도 8은 본 발명의 제 3 실시예에 따른, 입체촬영모드로 피사체를 촬영하는 모습을 나타내고, 도 9는 본 발명의 제 3 실시예에 따른, 입체촬영모드로 촬영된 피사체의 3D 이미지를 나타낸다.

입체촬영모드란 피사체의 사방을 촬영하여, 3D 이미지로 구현하는 촬영방법을 의마한다.

펨토 포토그래피 카메라(120)는 피사체를 입체감이 표현된 3D 이미지로 촬영하는 것이 가능하다. 또한, 피사체의 뒷면도 반사벽이 있다면 촬영할 수 있다.

이하에서는 펨토 포토그래피 카메라(120)를 이용하여, 피사체를 3D 이미지로 구현하는 방법에 대해 설명한다.

먼저, 사용자가 입체촬영모드로 피사체에 대한 촬영명령을 입력하면, 상기 제어부(180)는 펨토 포토그래피 카메라(120)를 활성화하여 입체촬영을 개시한다.

이때, 피사체의 뒷면을 촬영하기 위해서는, 피사체의 뒷면으로 광자를 반사시키기 위한 반사벽(20)이 존재해야하므로, 상기 제어부(180)는 반사벽의 유무를 펨토 포토그래피 카메라(120)로 탐지한 후 없다면 입체촬영모드가 불가하다는 것을 터치 스크린으로 사용자에게 알린다.

반사벽이 존재한다고 판단되면, 상기 펨토 포토그래피 카메라(120)는 레이저(121)가 레이저파를 피사체(10)와 피사체(10) 뒤의 반사벽(20)으로 발사하도록 한다.

상기 발사된 레이저파는 광자로 피사체(10)에 직접 산란 및 반사되어 되돌아오거나, 반사벽(20)과 피사체에 반사되어 되돌아온다. 상기 스트리크 카메라(123)은 이러한 광자를 프레임으로 센싱한다.

상기 레이저(121) 앞에 마련된 미러 시스템(122)은 레이저파의 발사위치를 변경하고, 상기 스트리크 카메라(123)는 여러 방향으로 발사된 레이저파에 의해 산란 및 반사되어 돌아오는 광자들을 프레임으로 지속적으로 센싱한다.

상기 제어부(180)는 이처럼 센싱된 여러 프레임을 분석하여 3D 이미지화하고, 터치 스크린에 표시한다.

또한, 상기 제어부(180)는 사용자의 터치 드래그 입력 등을 수신하면,상기 3D 이미지의 관찰 각도를 변경할 수 있도록 하는 UI를 제공할 수 있다.

Claims (5)

1. 숨겨진 피사체에 레이저파를 발사하여 되돌아오는 광자를 프레임으로 센싱하는 펨토 포토그래피 카메라와,
   상기 프레임을 분석하여 상기 피사체를 3D 이미지로 구현하는 제어부를 포함하고,
   상기 펨토 포토그래피 카메라는 상기 레이저파를 상기 피사체를 바라보는 반사벽에 발사하는 레이저와, 상기 레이저파를 스플릿하고 발사위치를 변경하는 미러 시스템과, 상기 레이저파가 상기 반사벽 및 피사체에 산란 및 반사되어 되돌아오는 광자를 상기 프레임으로 센싱하는 스트리크 카메라를 포함하는 이동 단말기.
2. 제 1 항에 있어서,
   상기 이동 단말기의 외형은 신체에 착용가능한 시계, 목걸이, 반지 또는 안경의 형상인 이동 단말기.
3. 웨어러블 이동 단말기에 펨토 포토그래피 카메라가 장착되어 영상통화를 제공하는 이동 단말기의 제어방법으로서,
   영상통화 실행명령을 수신하여, 펨포 포토그래피 카메라를 활성화하는 단계와,
   레이저가 레이저파를 반사벽을 통해 피사체에게 발사하는 단계와,
   상기 반사벽과 피사체에서 산란 및 반사된 레이저파를 프레임으로 센싱하는 단계와,
   상기 레이저의 발사위치를 지속적으로 변경하고, 반사된 레이저파를 프레임으로 센싱하는 단계와,
   상기 센싱된 프레임들을 분석하여 상기 피사체를 3D 이미지로 분석하는 단계와,
   상기 3D 이미지를 상기 영상통화 상대방에게 전송하는 단계를 포함하는 이동 단말기의 제어방법.
4. 피사체를 위에서 바라보는 시선으로 사진을 촬영하는 하이 앵글 촬영모드를 제공하는 이동 단말기의 제어방법으로서,
   사용자의 상기 하이 앵글 촬영모드 진입명령을 수신하여 펨토 포토그래피 카메라를 활성화하는 단계와,
   레이저파를 상기 피사체의 상측에 위치한 천장에 발사하는 단계와,
   상기 천장과 피사체에서 산란 및 반사된 광자를 프레임으로 센싱하는 단계와,
   상기 레이저파의 발사위치를 변경하고, 변경된 레이저파에 의해 산란 및 반사된 광자를 프레임으로 센싱하는 단계와,
   상기 센싱된 프레임을 분석하여 상기 피사체를 하이 앵글로 바라본 사진으로 출력하는 단계를 포함하는 이동 단말기의 제어방법.
5. 피사체의 사방을 촬영하여 3D 이미지로 구현하는 입체촬영모드를 제공하는 이동 단말기의 제어방법으로서,
   사용자의 상기 입체촬영모드 진입명령을 수신하여 펨토 포토그래피 카메라를 활성화하는 단계와,
   레이저파를 상기 피사체와 피사체 뒤에 위치한 반사벽으로 발사하는 단계와,
   상기 레이저파에 의해 상기 피사체와 반사벽에 의하여 산란 및 반사된 광자를 프레임으로 센싱하는 단계와,
   상기 레이저파의 발사위치를 변경하고, 변경된 레이저파에 의해 산란 및 반사된 광자를 프레임으로 센싱하는 단계와,
   상기 센싱된 프레임을 분석하여 상기 피사체를 3D 이미지로 구현하는 단계를 포함하는 이동 단말기의 제어방법.

Images