KR102396640B1 - 포토 카드로부터의 영상 속 객체 크기 및 시작 시간을 조정하는 영상재생방법 - Google Patents

Abstract

통신 단말기를 포토 증강 카드의 표면 위쪽에서 이동시키면 포토 이지미와 관련된 영상속 객체 크기를 포커싱으로 확대하여 통신 단말기에 증강 현실로 디스플레이되는 영상 재생 방법이 개시된다. 상기 영상 재생 방법은, (a) 통신 단말기가 일정 간격으로 나란히 놓여지는 2개의 포토 카드의 표면위를 이동함에 따라 2개의 상기 포토 카드에 각각 배치되는 2개의 포토 이미지를 촬영하여 각각에 해당하는 2개의 촬영 이미지 정보를 생성하는 단계, (b) 관리 서버가 2개의 상기 촬영 이미지 정보 각각으로부터 추출되는 2개의 특징점 정보를 이용하여 2개의 상기 특징점 정보와 각각 매칭되는 2개의 컨텐츠 정보를 검색하는 단계, (c) 상기 관리 서버가 검색된 2개의 컨텐츠 정보를 상기 통신 단말기에 전송하는 단계, 및 (d) 상기 통신 단말기가 2개의 상기 컨텐츠 정보에 각각 표시되는 제 1 특정 인물의 제 1 얼굴 크기와 제 2 특정 인물의 제 2 얼굴 크기를 서로 비교하여, 상기 비교 결과에 따라 2개의 상기 컨텐츠 정보중 어느 하나 또는 둘 다를 확대하여 디스플레이 화면상에 출력하는 단계를 포함하는 것을 특징으로 한다.

Description

포토 카드로부터의 영상 속 객체 크기 및 시작 시간을 조정하는 영상재생방법{Method for playing image by adjusting object size and start time among images from photo card}

본 발명은 영상 재생 기술에 관한 것으로서, 더 상세하게는 2개의 포토 카드를 나란히 배열시킨후, 통신 단말기를 이 포토 증강 카드의 표면 위쪽에서 이동시키면 포토 이지미와 관련된 영상속 객체 크기 및 시작 시간을 조정하여 통신 단말기에 영상을 증강 현실로 디스플레이하는 영상 재생 방법에 대한 것이다.

통신 단말기의 기능은 다양화되고 있다. 예를 들면, 데이터와 음성통신, 카메라를 통한 사진촬영 및 비디오 촬영, 음성녹음, 스피커 시스템을 통한 음악파일 재생 그리고 디스플레이부에 이미지나 비디오를 출력하는 기능이 있다.

일부 단말기는 전자게임 플레이 기능이 추가되거나, 멀티미디어 플레이어 기능을 수행한다. 특히, 최근의 통신 단말기는 방송과 비디오나 텔레비전 프로그램과 같은 시각적 컨텐츠를 제공하는 멀티캐스트 신호를 수신할 수 있다.

이와 같은 단말기(terminal)는 기능이 다양화됨에 따라 예를 들어, 사진이나 동영상의 촬영, 음악이나 동영상 파일의 재생, 게임, 방송의 수신 등의 복합적인 기능들을 갖춘 멀티미디어 기기(Multimedia player) 형태로 구현되고 있다.

이러한 단말기의 기능 지지 및 증대를 위해, 단말기의 구조적인 부분 및/또는 소프트웨어적인 부분을 개량하는 것이 고려될 수 있다. 이러한 예로서는 증강현실(Augmented Reality : AR) 기술등을 들 수 있다.

증강현실은 사용자가 눈으로 보는 실제 환경에 가상 사물을 합성하여 보여주는 그래픽 기법으로, 기본적으로 현실세계를 바탕으로 그 위에 가상정보를 입히는 기술이다. 따라서, 상기 증강현실 기술에 대한 연구가 시작된 이래 다양한 분야에서 상기 증강현실을 응용하려는 연구가 이어져 오고 있다.

최근에는 스마트 폰의 개발로 인하여 증강현실을 이용한 다양한 어플리케이션이 개발되고 있으며, 통신 단말기, PDA(Personal digital Assists), UMPS(Ultra Mobile Personal Computer)등 모바일 기기의 컴퓨팅 능력 향상과 무선 네트워크장치의 발달로 손안(Handheld)의 증강현실 시스템이 가능하게 되었다.

이러한 증강현실을 이용한 응용의 예로는 위치정보를 이용하여 사용자에게 주변 지역(위치)의 건물 정보등을 제공하는 서비스가 있다. 또한, 마커(marker)나 QR(Quick Response) 코드등을 활용해 검색, 모바일, 쇼핑, 광고 및 사물도감 등을 제공하는 영상검색 및 위치정보 서비스등과 같은 서비스가 있다.

그런데, 종래의 증강현실은 기설정된 마커나 객체에 대한 증강현실만 가능할 뿐 복잡한 패턴, 제스처 및 음성을 복합적으로 사용하여 증강현실을 구현하지는 못하였다.

또한, 이미 통신 단말기에 저장된 영상만을 재생하는 정도에 머무르는 수준이어서 통신 단말기의 움직임을 반영하지 못하고 있다는 문제점이 있다.

또한, 2개의 영상이 재생되더라도 동일한 크기로 재생됨에 따라 영상속의 이미지를 구별하는 것이 어렵다는 단점이 있다. 예를 들어, 다수의 사람이 있는 영상과 소수 또는 한명의 사람이 있는 영상이 동일한 크기로 재생됨에 따라 다수의 사람이 있는 영상에서 여러 사람들을 구별하는 것이 어려워진다.

또한, 영상이 시차를 띠고 재생됨에 따라 시청시 불편하다는 단점이 있다.

1. 한국등록특허번호 제10-2028139호(등록일자: 2019년09월26일)

본 발명은 위 배경기술에 따른 문제점을 해소하기 위해 제안된 것으로서, 통신 단말기를 포토 증강 카드의 표면 위쪽에서 이동시키면 포토 이지미와 관련된 영상속 객체 크기를 조정하고 시작 시간을 조정하여 통신 단말기에 영상을 증강 현실로 디스플레이되는 영상 재생 방법을 제공하는데 그 목적이 있다.

또한, 본 발명은 2개의 영상속 객체 크기를 서로 비교하여 객체 크기가 작은 영상을 객체 크기가 큰 영상에 비례확대하여 영상이 증강 현실로 디스플레이될 수 있는 영상 재생 방법을 제공하는데 다른 목적이 있다.

본 발명은 위에서 제시된 과제를 달성하기 위해, 통신 단말기를 포토 증강 카드의 표면 위쪽에서 이동시키면 포토 이지미와 관련된 영상속 객체 크기를 조정하고 시작 시간을 조정하여 통신 단말기에 증강 현실로 디스플레이되는 영상 재생 방법을 제공한다.

상기 영상 재생 방법은,

(a) 제1 포토 카드 및 제2 포토 카드가 일정간격으로 나란히 배열되어 있는 단계;

(b) 통신 단말기가 상기 제1 포토 카드 및 제2 포토 카드를 촬영하고 제1 포토 이미지 및 제2 포토 이미지에 대응되는 제1 컨텐츠 정보 및 제2 컨텐츠 정보를 관리서버로부터 취득하는 단계;

(c) 상기 제1 컨텐츠 정보를 이루는 프레임 중 제1 프레임부터 제1 대표인물 이미지가 출현하는 최초 프레임까지 소요되는 제1 인물프레임 시간 및 상기 제2 컨텐츠 정보를 이루는 프레임 중 제1 프레임부터 최초의 제2 대표인물 이미지가 출현하는 최초 프레임까지 소요되는 제2 인물프레임 시간을 산출하는 단계; 및

(d) 상기 제1 인물프레임 시간 및 상기 제2 인물프레임 시간을 동일시작시간으로 서로 일치하도록 설정하는 단계;를 포함한다.

이때, 상기 영상 재생 방법은, 상기 (d) 단계 이후에, (e) 상기 관리서버에서 서칭된 상기 제1 컨텐츠 정보 및 상기 제2 컨텐츠 정보의 각각의 대표 인물 이미지의 얼굴(face)을 이루는 제1 픽셀수 및 제2 픽셀수를 비교하는 단계; 및 (f) 상기 관리서버에서 상기 제1 픽셀수가 상기 제2 픽셀수보다 크면, 평균 픽셀수를 계산하고, 상기 제1 컨텐츠 정보에 대해 상기 제1 픽셀수와 상기 평균픽셀수의 비율에 맞춰 줌아웃을 명령하는 단계;를 추가로 포함하는 것을 특징으로 하는다.

또한, 상기 영상 재생 방법은, 상기 (f) 단계 이후에, (g) 상기 통신 단말기에서 상기 동일시작시간 경과 후, 상기 제1 대표인물 이미지 및 상기 제2 대표인물 이미지가 출현하는 최초 이미지부터 상기 제1 컨텐츠 정보 및 상기 제2 컨텐츠 정보가 줌아웃으로 시작되는 단계;를 추가로 포함하는 것을 특징으로 한다.

또한, 상기 동일시작시간은 상기 (c)단계부터 상기 (f)단계까지 처리 후의 시간으로 자동설정되는 것을 특징으로 하는 것을 특징으로 한다.

또한, 상기 제1 대표인물 이미지 및 상기 제2 대표인물 이미지는 각각 상기 제1 포토 카드 및 상기 제2 포토 카드로부터 사용자에 의해 선택되어 상기 관리서버로 전송되는 것을 특징으로 한다.

본 발명에 따르면, 2개의 포토 카드를 나란히 배열시킨후, 통신 단말기를 이 포토 증강 카드의 표면 위쪽에서 이동시키면 포토 이지미와 관련된 영상속 객체 크기 조정 및/또는 시작 시간 조정을 통해 통신 단말기에 증강 현실로 디스플레이된다.

또한, 본 발명의 다른 효과로서는 2개의 영상속 객체 크기를 서로 비교하여 객체 크기가 작은 영상을 객체 크기가 큰 영상에 비례확대하여 영상이 증강 현실로 디스플레이될 수 있다는 점을 들 수 있다.

도 1은 본 발명의 일실시예에 따른 포토 카드를 이용한 영상 재생 시스템의 구성 블럭도이다.
도 2는 도 1에 도시된 통신 단말기의 구성 블럭도이다.
도 3은 본 발명의 일실시예에 따른 확대전 화면의 예시이다.
도 4는 본 발명의 일실시예에 따른 객체 크기가 상대적으로 작은 재생영상을 확대하여 디스플레이하는 화면의 예시이다.
도 5는 본 발명의 일실시예에 따른 포토 이미지로부터 특징점을 추출하는 과정을 보여주는 흐름도이다.
도 6은 도 1에 도시된 관리 서버에서 포토 이미지로부터 추출되는 특징점과 컨텐츠 정보를 맵핑하는 데이터베이스의 구조를 보여주는 개념도이다.
도 7은 본 발명의 일실시예에 따른 백그라운드에 재생 영상을 배치하여 생성하는 과정을 보여주는 흐름도이다.
도 8은 본 발명의 일실시예에 따른 통신 단말기가 수평 방향으로 이동됨에 따라 포토 카드의 포토 이미지를 센싱하고 매칭되는 컨텐츠를 전송받는 과정을 보여주는 흐름도이다.
도 9는 도 8에 도시된 순서이후, 2개의 컨텐츠에서 대표 인물 이미지의 픽셀수를 비교하여 영상의 크기를 조절하여 디스플레이하는 과정을 보여주는 흐름도이다.
도 10은 도 3에 도시된 컨텐츠 정보를 구성하는 프레임 구조를 보여주는 개념도이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세한 설명에 구체적으로 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용한다. 제 1, 제 2등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. "및/또는" 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다.

일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미가 있는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않아야 한다.

이하 첨부된 도면을 참조하여 본 발명의 일실시예에 따른 포토 카드로부터의 영상 속 객체 크기 및 시작 시간을 조정하는 영상재생방법을 상세하게 설명하기로 한다.

도 1은 본 발명의 일실시예에 따른 포토 카드를 이용한 영상 재생 시스템(1)의 구성 블럭도이다. 도 1을 참조하면, 포토 카드(11,12)의 포토 이미지를 촬영하여 특징점 정보를 추출하는 통신 단말기(20), 특징점 정보와 컨텐츠 정보를 매칭하여 통신 단말기(20)에 전송하는 관리 서버(40), 통신 단말기(20)와 관리 서버(40)를 연결하는 통신망(30) 등을 포함하여 구성될 수 있다.

포토 카드(11,12)는 제 1 포토 카드(11) 및 제 2 포토 카드(12)로 구성될 수 있다. 제 1 및 제 2 포토 카드(11,12)는 표면에 각각 제 1 및 제 2 포토 이미지(11-1,12-1)가 구성된다. 부연하면, 플라스틱, 마분지 등의 표면에 포토를 붙인 것으로 제 1 및 제 2 포토 이미지(11-1,12-1)는 연예인의 사진, 공연 장소 사진 등이 될 수 있다. 따라서, 제 1 포토 이미지(11-1)와 제 2 포토 이미지(12-1)는 서로 다른 이미지를 갖는다.

통신 단말기(20)는 포토 카드(11,12)의 포토 이미지(11-1,12-1)를 촬영하여 특징점 정보를 추출하는 기능을 수행한다. 또한, 통신 단말기(20)는 관리 서버(40)로부터 특징점 정보에 매칭되며, 포토 카드와 관련되는 콘텐츠 정보를 수신받아 디스플레이하는 기능을 수행한다.

관리 서버(40)는 통신 단말기(20)로부터 수신한 특징점 정보를 이용하여 콘텐츠 정보를 검색하고 이를 통신 단말기(20)에 제공하는 기능을 수행한다. 물론, 콘텐츠 정보는 미리 제작되어 데이터베이스(41)에 저장되어 있다. 콘텐츠 정보는, 동영상, 정지 영상, 배경화면, 포토 이미지 해설 정보 등을 포함하여 구성될 수 있다. 포토 이미지 해설 정보는 연예인의 경우, 데뷔 날짜, 음반 리스트, 가사 등이 포함될 수 있다.

통신망(30)은 통신 단말기(20)와 관리 서버(40)를 통신으로 연결하는 기능을 수행한다. 이를 위해, 통신망(30)은 다수의 단말 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 공중교환 전화망(PSTN), 공중교환 데이터망(PSDN), 종합정보통신망(ISDN: Integrated Services Digital Networks), 광대역 종합 정보 통신망(BISDN: Broadband ISDN), 근거리 통신망(LAN: Local Area Network), 대도시 지역망(MAN: Metropolitan Area Network), 광역 통신망(WLAN: Wide LAN) 등이 될 수 있다,

그러나, 본 발명은 이에 한정되지는 않으며, 무선 통신망인 CDMA(Code Division Multiple Access), WCDMA(Wideband Code Division Multiple Access), Wibro(Wireless Broadband), WiFi(Wireless Fidelity), HSDPA(High Speed Downlink Packet Access) 망, 블루투쓰(bluetooth),NFC(Near Field Communication) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 될 수 있다. 또는, 이들 유선 통신망 및 무선 통신망의 조합일 수 있다.

도 1에서는 특징점을 추출하는 것을 통신 단말기(20)에서 수행하는 것으로 기술하였으나, 통신 단말기(20)는 촬영된 이미지 정보만을 관리 서버(40)에 전달하고, 관리 서버(40)에서 특징점을 추출하는 것도 가능하다. 이는 특징점을 추출하는 프로그램을 어디에 설치하는 지에 따른 차이에 불과하다.

관리 서버(40)는 마이크로프로세서, 통신 모뎀, 메모리 등을 포함하여 구성될 수 있다. 메모리는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD(Secure Digital) 또는 XD(eXtreme Digital) 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read Only Memory), PROM(Programmable Read Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 인터넷(internet)상에서 저장 기능을 수행하는 웹 스토리지(web storage), 클라우드 서버와 관련되어 동작할 수도 있다.

데이터베이스(41)는 관리 서버(40)내에 구성될 수도 있고, 이와 달리 별도의 데이터베이스 서버에 구성될 수 있다.

도 2는 도 1에 도시된 통신 단말기(20)의 구성 블럭도이다. 도 2를 참조하면, 통신 단말기(20)는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(notebook computer), 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션 등이 될 수 있다.

통신 단말기(20)는, 무선 통신부(110), A/V(Audio/Video) 입력부(120), 사용자 입력부(130), 센싱부(140), 출력부(150), 메모리(160), 인터페이스부(170), 제어부(180), 및 전원 공급부(190)를 포함할 수 있다. 이와 같은 구성요소들은 실제 응용에서 구현될 때 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다.

무선 통신부(110)는 방송수신 모듈(111), 이동통신 모듈(112), 무선 인터넷 모듈(113), 근거리 통신 모듈(114), 및 GPS 모듈(115) 등을 포함할 수 있다.

방송수신 모듈(111)은 방송 채널을 통하여 외부의 방송관리 서버(미도시)로부터 방송 신호 및 방송관련 정보 중 적어도 하나를 수신한다. 이때, 방송 채널은 위성 채널, 지상파 채널 등을 포함할 수 있다. 방송관리 서버는, 방송신호 및 방송 관련 정보 중 적어도 하나를 생성하여 송신하는 서버나, 기생성된 방송 신호 및/또는 방송관련 정보중 적어도 하나를 제공받아 단말기에 송신하는 서버를 의미할 수 있다.

방송관련 정보는, 방송 채널, 방송 프로그램 또는 방송 서비스 제공자에 관련한 정보를 의미할 수 있다. 방송 신호는, TV 방송 신호, 라디오 방송 신호, 데이터 방송 신호를 포함할 뿐만 아니라, TV 방송 신호 또는 라디오 방송 신호에 데이터 방송 신호가 결합한 형태의 방송 신호도 포함할 수 있다. 방송관련 정보는, 이동통신망을 통하여도 제공될 수 있으며, 이 경우에는 이동통신 모듈(112)에 의해 수신될 수 있다. 방송관련 정보는 다양한 형태로 존재할 수 있다. 예를 들어, DMB(Digital Multimedia Broadcasting)의 EPG(Electronic Program Guide) 또는 DVB-H(Digital Video Broadcast-Handheld)의 ESG(Electronic Service Guide) 등의 형태로 존재할 수 있다.

방송수신 모듈(111)은, 각종 방송 시스템을 이용하여 방송 신호를 수신하는데, 특히, DMB-T(Digital Multimedia Broadcasting-Terrestrial), DMB-S(Digital Multimedia Broadcasting-Satellite), MediaFLO(Media Forward Link Only), DVB-H(Digital Video Broadcast-Handheld), ISDB-T(Integrated Services Digital Broadcast-Terrestrial) 등의 디지털 방송 시스템을 이용하여 디지털 방송 신호를 수신할 수 있다. 또한, 방송수신 모듈(111)은, 이와 같은 디지털 방송 시스템뿐만 아니라 방송 신호를 제공하는 모든 방송 시스템에 적합하도록 구성될 수 있다. 방송수신 모듈(111)을 통해 수신된 방송 신호 및/또는 방송 관련 정보는 메모리(160)에 저장될 수 있다.

이동통신 모듈(112)은, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호, 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.

무선 인터넷 모듈(113)은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 무선 인터넷 모듈(113)은 통신 단말기(20)에 내장되거나 외장될 수 있다. 근거리 통신 모듈(114)은 근거리 통신을 위한 모듈을 말한다. 근거리통신 기술로 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), 지그비(ZigBee) 등이 이용될 수 있다. GPS(Global Position System) 모듈(115)은 복수 개의 GPS 인공위성으로부터 위치 정보를 수신한다.

A/V(Audio/Video) 입력부(120)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(121)와 마이크(122) 등이 포함될 수 있다. 카메라(121)는 화상 통화모드 또는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 그리고, 처리된 화상 프레임은 디스플레이부(151)에 표시될 수 있다.

카메라(121)에서 처리된 화상 프레임은 메모리(160)에 저장되거나 무선 통신부(110)를 통하여 외부로 전송될 수 있다. 카메라(121)는 단말기의 구성 태양에 따라 2개 이상이 구비될 수도 있다. 또한, 위치도 상하 및/또는 좌우에 일정간격으로 구비될 수도 있다.

사용자 입력부(130)는 사용자가 단말기의 동작 제어를 위하여 입력하는 키 입력 데이터를 발생시킨다. 사용자 입력부(130)는 키 패드(key pad), 돔 스위치(dome switch), 터치 패드(정압/정전), 조그 휠, 조그 스위치, 핑거 마우스 등으로 구성될 수 있다. 특히, 터치 패드가 후술하는 디스플레이부(151)와 상호 레이어 구조를 이룰 경우, 이를 터치 스크린(touch screen)이라 부를 수 있다.

센싱부(140)는 통신 단말기(20)의 개폐 상태, 위치, 사용자 접촉 유무 등과 같이 통신 단말기(20)의 현 상태를 감지하여 통신 단말기(20)의 동작을 제어하기 위한 센싱 신호를 발생시킨다. 예를 들어 통신 단말기(20)가 슬라이드 폰 형태인 경우 슬라이드 폰의 개폐 여부를 센싱할 수 있다. 또한, 전원 공급부(190)의 전원 공급 여부, 인터페이스부(170)의 외부 기기 결합 여부 등과 관련된 센싱 기능을 담당할 수 있다.

또한, 센싱부(140)는 근접센서(Proximity Sensor)(141)를 포함할 수 있다. 근접센서(141)는 접근하는 객체나, 근방에 존재하는 객체의 유무 등을 기계적 접촉이 없이 검출할 수 있도록 한다. 근접센서(141)는, 교류자계의 변화나 정자계의 변화를 이용하거나, 혹은 정전용량의 변화율 등을 이용하여 근접객체를 검출할 수 있다. 근접센서(141)는 구성 태양에 따라 2개 이상이 구비될 수 있다.

또한, 센싱부(140)는 자이로 센서(Gyro Sensor)(142)를 포함할 수 있다. 자이로 센서(142)는 자이로스코프를 이용하여 객체의 움직임을 감지하는 센서, 관성센서, 가속도 센서를 포함하는 개념이다. 자이로스코프에는 기계식 자이로스코프, 고리형 레이저 자이로스코프, 광섬유 자이로스코프 등이 있다. 자이로센서(142)는 통신 단말기의 움직임을 감지하여 통신 단말기의 제어를 위한 신호를 제공한다.

출력부(150)는 오디오 신호 또는 비디오 신호 또는 알람(alarm) 신호의 출력을 위한 것으로, 이에는 디스플레이부(151)와 음향출력 모듈(153), 알람부(155), 진동모듈(157) 등이 포함될 수 있다.

디스플레이부(151)는 통신 단말기(20)에서 처리되는 정보를 표시 출력한다. 예를 들어 통신 단말기(20)가 통화 모드인 경우 통화와 관련된 UI(User Interface) 또는 GUI(Graphic User Interface)를 표시한다. 그리고 통신 단말기(20)가 화상 통화 모드 또는 촬영 모드인 경우, 촬영되거나 수신된 영상을 각각 혹은 동시에 표시할 수 있으며, UI, GUI를 표시한다.

또한, 디스플레이부(151)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수도 있다. 그리고, 통신 단말기(20)의 구현 형태에 따라 디스플레이부(151)가 2개 이상 존재할 수도 있다. 예를 들어, 통신 단말기(20)에 외부 디스플레이부(미도시)와 내부 디스플레이부(미도시)가 동시에 구비될 수 있다.

음향출력 모듈(153)은 호신호 수신, 통화모드 또는 녹음 모드, 음성인식 모드, 방송수신 모드 등에서 무선 통신부(110)로부터 수신되거나 메모리(160)에 저장된 오디오 데이터를 출력한다. 또한, 음향출력 모듈(153)은 통신 단말기(20)에서 수행되는 기능, 예를 들어, 호신호 수신음, 메시지 수신음 등과 관련된 음향 신호를 출력한다. 이러한 음향출력 모듈(153)에는 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.

알람부(155)는 통신 단말기(20)의 이벤트 발생을 알리기 위한 신호를 출력한다. 통신 단말기(20)에서 발생하는 이벤트의 예로는 호 신호 수신, 메시지 수신, 키 신호 입력 등이 있다. 알람부(155)는 오디오 신호나 비디오 신호 이외에 다른 형태로 이벤트 발생을 알리기 위한 신호를 출력한다. 예를 들면, 진동 형태로 신호를 출력할 수 있다.

알람부(155)는 호 신호가 수신되거나 메시지가 수신된 경우, 이를 알리기 위한 신호를 출력할 수 있다. 또한, 알람부(155)는 키 신호가 입력된 경우, 키 신호 입력에 대한 피드백으로 신호를 출력할 수 있다. 이러한 알람부(155)가 출력하는 신호를 통해 사용자는 이벤트 발생을 인지할 수 있다. 물론 이벤트 발생알림을 위한 신호는 디스플레이부(151)나 음향출력 모듈(153)을 통해서도 출력될 수 있다. 알람부(155)는 이를 위해 소프트웨어 컴포넌트를 구성할 수 있다.

진동모듈(157)은 제어부(180)가 전송하는 진동신호에 의하여 다양한 세기와 패턴의 진동을 발생할 수 있다. 진동모듈(157)이 발생하는 진동의 세기, 패턴, 주파수, 이동방향, 이동속도 등은 진동신호에 의하여 설정가능하며, 구성 태양에 따라 2개 이상의 진동모듈(157)이 구비될 수 있다. 진동 모듈(157)은 통신 단말기(20)에 진동을 발생시키는 것으로 진동 모터 또는 진동 소자를 포함하여 구성될 수 있다.

메모리(160)는 제어부(180)의 처리 및/또는 제어를 위한 프로그램이 저장될 수도 있고, 입력되거나 출력되는 데이터들(예를 들어, 폰북, 메시지, 정지영상, 동영상 등)의 임시 저장을 위한 기능을 수행할 수도 있다. 또한, 카메라(121)를 통하여 촬영된 포토 이미지를 처리하여 특징점을 추출하는 알고리즘을 갖는 프로그램, 소프트웨어, 데이터 등을 저장할 수도 있다.

메모리(160)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램, 롬중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 통신 단말기(20)는 인터넷(internet) 상에서 메모리(150)의 저장 기능을 수행하는 웹 스토리지(web storage)를 운영할 수도 있다.

인터페이스부(170)는 통신 단말기(20)에 연결되는 모든 외부기기와의 인터페이스 역할을 수행한다. 통신 단말기(20)에 연결되는 외부기기의 예로는, 유/무선 헤드셋, 외부 충전기, 유/무선 데이터 포트, 메모리 카드(Memory card), SIM/UIM card 등과 같은 카드 소켓, 오디오 I/O(Input/Output) 단자, 비디오I/O(Input/Output) 단자, 이어폰 등이 있다. 인터페이스부(170)는 이러한 외부 기기로부터 데이터를 전송받거나 전원을 공급받아 통신 단말기(20) 내부의 각 구성 요소에 전달할 수 있고, 통신 단말기(20) 내부의 데이터가 외부 기기로 전송되도록 할 수 있다.

제어부(180)는 통상적으로 상기 각부의 동작을 제어하여 통신 단말기(20)의 전반적인 동작을 제어한다. 예를 들어, 음성 통화, 데이터 통신, 화상 통화 등을 위한 관련된 제어 및 처리를 수행한다. 또한, 제어부(180)는 멀티미디어 재생을 위한 멀티미디어 재생 모듈(181)을 구비할 수도 있다. 멀티미디어 재생 모듈(181)은 제어부(180) 내에 하드웨어로 구성될 수도 있고, 제어부(180)와 별도로 소프트웨어로 구성될 수도 있다. 또한, 제어부(180)는 촬영된 포토 이미지를 처리하여 특징점을 추출하는 알고리즘을 실행하는 기능을 수행할 수 있다.

전원 공급부(190)는 제어부(180)의 제어에 의해 외부의 전원, 내부의 전원을 인가받아 각 구성요소들의 동작에 필요한 전원을 공급한다.

도 3은 본 발명의 일실시예에 따른 확대전 화면의 예시이다. 도 3을 참조하면, 제 1 포토 카드(11)를 우측에 배치하고, 제 2 포토 카드(12)를 상기 제 1 포토 카드(11)의 좌측에 일정간격으로 배치한다고 가정한다.

이러한 배치 상태에서, 제 1 포토 카드(11) 및 제 2 포토 카드(120)의 표면위를 일정높이로 통신 단말기(20)를 좌측에서부터 우측으로 또는 우측에서부터 좌측으로 수평 이동시키면 통신 단말기(20)의 디스플레이 화면(300) 상에 제 1 재생 영상(311) 및 제 2 재생 영상(312)이 표시된다.

물론, 통신 단말기(20)는 수직 방향으로 이동시키는 것도 가능하다. 부연하면, 일정간격으로 나란히 배열되어 있는 제 1 포토 카드(11) 및 제 2 포토 카드(120)의 표면위에서 제 1 포토 카드(11) 및 제 2 포토 카드(120)의 위쪽으로부터 아래쪽으로 이동시킬 수 있다. 물론, 이와 달리, 통신 단말기(20)를 제 1 포토 카드(11) 및 제 2 포토 카드(120)의 아래쪽으로부터 위쪽으로 또는 위쪽으로부터 아래쪽으로 이동시킬 수도 있다.

통신 단말기(20)의 이동후, 통신 단말기(20)의 디스플레이 화면(300)상에 제 1 재생 영상(311) 및 제 2 재생 영상(312)이 표시된다. 제 1 재생 영상(311)은 제 1 포토 이미지(11-1)와 관련된 제 1 컨텐츠 정보이고, 제 2 재생 영상(312)은 제 2 포토 이미지(12-1)와 관련된 제 2 컨텐츠 정보이다. 컨텐츠 정보는 다수의 프레임으로 이루어진다. 일반적으로 하나의 프레임은 하나의 정지 영상을 의미하며, 1초당 약 15개의 프레임이 출력된다.

따라서, 관리 서버(40)는 서버에 설치된 얼굴인식 알고리즘 프로그램을 이용하여 제 1 재생 영상(311) 중 하나의 프레임에서 제 1 객체(311-1)의 포커싱 영역(311-2)(특히 얼굴이 됨)을 결정하고, 제 2 재생 영상(312) 중 하나의 프레임에서 제 2 객체(312-1)(특히 얼굴이 됨)의 포커싱 영역(312-2)을 결정한다.

제 1 객체(311-1) 및 제 2 객체(312-1)는 인물이 되나, 이에 한정되는 것은 아니며 동물, 물건, 나무 등이 될 수도 있다. 본 발명의 일실시예에서는 인물을 상정하여 설명하기로 한다.

영상속에서 객체 인식 기술, 특히 얼굴 인식 기술은 파이썬(python) 코드를 이용한 알고리즘 등을 포함하여 널리 알려져 있음으로 더 이상의 설명은 생략하기로 한다. 또한, 이러한 얼굴 인식에서 인식률을 향상시키는 기법들이 제안되었다.

부연하면, 얼굴 인식은 얼굴 영상에서 특징을 추출하고, 이를 다양한 알고리즘을 통해 학습하여 학습된 데이터와 새로운 얼굴 영상에서의 특징과 비교하여 사람을 인식하는 기술로 인식률을 향상시키기 위해서 다양한 방법들이 요구되는 기술이다. 얼굴 인식을 위해 학습 단계에서는 얼굴 영상들로부터 특징 성분을 추출해야하며, 이를 위한 기존 얼굴 특징 성분 추출 방법에는 선형판별분석(Linear Discriminant Analysis, LDA)법을 들 수 있다. 이 방법은 얼굴영상들을 고차원 공간에서 점들로 표현하고, 클래스 정보와 점의 분포를 분석하여 사람을 판별하기 위한 특징들을 추출한다.

물론, 얼굴영역을 검출하고, 검출된 얼굴 영역에서 가보르 필터(Gabor Filter)를 이용하여 계산된 얼굴 외곽선을 통해 불필요한 영역을 제거한 후 일정 크기로 얼굴 영역 크기를 정규화하고, 정규화된 얼굴 영상을 선형 판별 분석을 통해 얼굴 특징 성분을 추출하고, 인공 신경망을 통해 학습하여 얼굴 인식을 수행하여 기존의 불필요 영역을 감소시켜 기존 얼굴 인식 방법보다 약 13% 정도의 인식률 향상이 가능하는 방식도 제안되어 있다.

도 3을 계속 참조하면, 포커싱 영역(311-2,312-2)은 대표 인물 이미지(311-1,312-1)의 얼굴을 오토 포커싱한 영역이다. 포커싱 영역(311-2,312-2)은 미리 설정되는 다양한 크기의 형태로 이루어질 수 있다. 즉, 포커싱 영역(311-2,312-2)은 원형태가 바람직하나, 사각 형태도 가능하다.

또한, 포커싱 영역(311-2,312-2)은 미리 크기가 설정될 수 있다. 예를 들면, 사각 형태로서 가로 세로가 0.5×0.5 인치, 1.0×1.0 인치, 1.5×1.5 인치 등이 될 수 있다. 물론, 포커싱 영역(311-2,312-2)이 원형태인 경우, 반지름을 다양하게 구성할 수도 있다.

따라서, 포커싱 영역(311-2,312-2)내 픽셀수를 산출할 수 있다. 부연하면, 인치당 픽셀수가 정해져 있음으로, 오토 포커싱에 의해 포커싱 영역(311-2,312-2)의 크기가 정해지면 해당 대표 인물 이미지의 얼굴에 대한 픽셀수가 산출될 수 있다. 예를 들면, 1인치당 20개의 픽셀을 들 수 있다. 따라서, 제 1 포커싱 영역(311-2)의 경우, 모양이 사각형임을 가정하면 크기가 1인치에 해당함으로 픽셀수는 20개이고, 제 2 포커싱 영역(312-2)의 경우, 0.5인치에 해당함으로 픽셀수는 10개가 된다.

양 픽셀수를 비교하여 화면 크기의 비율을 조절한다. 이를 보여주는 도면이 도 4에 도시된다.

도 4는 본 발명의 일실시예에 따른 객체 크기가 상대적으로 작은 재생영상을 줌인(확대)하여 디스플레이하는 화면의 예시이다. 도 4를 참조하면, 제 1 포커싱 영역(311-2)과 제 2 포커싱 영역(312-2)간 픽셀수의 비교에 따라 제 1 포커싱 영역(311-2)의 픽셀수가 제 2 포커싱 영역(312-2)의 픽셀수보다 크다고 판단되면, 관리서버(40)는 통신 단말기(20)쪽으로 줌인 명령을 전송한다. 통신 단말기(20)의 제어부(180)는 줌인 명령을 받아 작은쪽에 속하는 제 2 포커싱 영역(312-2)에 해당되는 제 2 재생 영상(312)의 화면을 줌인(즉 확대)하여 디스플레이 화면(301)에 출력한다.

예를 들면, 화면 확대전, 디스플레이 화면(300)의 가로폭은 15cm이고, 세로폭은 7cm라고 가정하면, 도 3에서 제 1 및 제 2 재생 영상(311,312)의 가로폭은 약 6cm이고, 세로폭은 약 4cm가 될 수 있다.

줌인후, 도 4의 경우, 제 1 재생 영상(311)은 크기를 그대로 유지하고, 제 2 재생 영상(312)의 가로폭은 약 6.89cm이고, 세로폭은 약 5cm가 될 수 있다.

물론, 이를 비율로 정할 수도 있다. 즉, 제 1 포커싱 영역(311-2)과 제 2 포커싱 영역(312-2)의 평균 픽셀수와 제 2 포커싱 영역(312-2)의 픽셀수간 비율로 정해질 수 있다. 예를 들면 평균 픽셀수는 15개이고, 제 2 포커싱 영역(312-2)의 픽셀수는 10개임으로 제 2 재생 영상(312)의 줌인 비율은 150%가 될 수 있다.

한편, 제 1 재생 영상(311)를 100%로 유지하고, 제 2 재생 영상(312)을 계산된 비율로 축소하는 줌아웃도 가능하다. 즉, 제 2 포커싱 영역(312-2)의 픽셀수가 제 1 포커싱 영역(311-2)의 픽셀수보다 크면, 제 1 재생 영상(311)은 그래도 유지되고, 제 2 재생 영상(312)이 100%보다 작게 축소되는 것을 들 수 있다. 이때에도 줌아웃 비율은 제 1 포커싱 영역(311-2)과 제 2 포커싱 영역(312-2)의 평균 픽셀수와 제 2 포커싱 영역(312-2)의 픽셀수간 비율로 정해질 수 있다.

또한, 제 1 재생 영상(311)를 90% 축소하고, 제 2 재생 영상(312)은 140%로 확대하는 것도 가능하다. 즉, 제 2 재생 영상(312)에 표시되는 인물들이 다수여서 구별이 힘들경우, 경계선(303)을 넘어서 확대되도록 한 것이다. 물론, 이 경우, 제 1 재생 영상(311)은 축소된다. 또한, 경계선(303)이 변경될 수도 있다. 부연하면, 제 1 재생 영상(311) 및 제 2 재생 영상(312)이 동일한 화면 크기인 경우, 경계건(303)은 디스플레이 화면(300)의 반이되나, 제 2 재생 영상(312)의 화면이 확대되면 경계선(303)이 좌측에서 우측으로 이동될 수 있다.

도 3에서는 통신 단말기(20)에 길이방향으로 카메라(121)가 설치되는 경우를 가정하였으나, 통신 단말기(20)의 좌우에 일정 간격으로 카메라(도 2의 121)가 2대가 설치되면, 상에서 하방향 또는 하에서 상방향으로 통신 단말기(20)를 이동시킬 수 있다. 이 경우, 제 1 재생 영상(311) 및 제 2 재생 영상(312)이 동시에 표시되어 재생될 수도 있다.

도 5는 본 발명의 일실시예에 따른 포토 이미지(11-1,12-1)로부터 특징점을 추출하는 과정을 보여주는 흐름도이다. 일반적으로 영상 처리 분야에서 입력영상에 대하여 인식 및 처리를 하기 위해서는 입력된 영상에서 특징점을 추출하고, 추출된 특징점을 통하여 서술자를 생성하여 다른 영상과의 매칭을 통해 객체 인식 및 추적 등을 하게 된다.

먼저, 적분 이미지 생성기(미도시)를 통하여 포토 이미지(11-1,12-1)를 촬영하여 생성되는 촬영 이미지 정보에 대해 밝기값을 가진 적분 이미지를 생성한다(단계 S510).

이후, 특징점 검출기(미도시)는 생성된 적분 이미지를 이용하여 촬영 이미지 정보에서 특징점이 될만한 특징점 후보군을 필터 사이즈(Filter size)별로 생성하고, 생성된 특징점 후보군을 가지고 상호 비교를 통하여 특징점들을 추출하게 된다(단계 S520). 여기서, 특징점 추출은 해리스 코너 추출기법, SIFT(Scale-Invariant Feature Transform), SURF(Speeded UP Robust Features), ORB(Oriented BRIEF) 알고리즘 등을 이용하여 수행될 수 있다.

이후, 이렇게 생성된 특징점은 서술자 생성기(미도시)를 통해 특징점 주변의 영상을 가지고 특징점의 주방향이 설정된다(단계 S530).

이후, 특징점별로 생성된 주방향을 한 방향으로 회전시켜 고정시킨후, 그 정보를 디스크립터로 저장하여 데이터베이스로 생성한다(단계 S540). 디스크립터(Descriptor)는 검출된 특징점 주의의 밝기, 색상, 그래디언트 방향등의 매칭 정보 등을 포함한다.

이후, 이 디스크립터를 이용하여 미리 데이터베이스화되어 저장되어 컨텐츠 정보를 나타내는 디스크립터를 매칭한다(단계 S550). 매칭 방식은 동일한 디스크립터를 하나씩 검사하여 찾는 방식이 될 수도 있고, 매칭점의 갯수를 이용하는 것을 들 수 있다.

따라서, 포토 이미지(11-1,12-1)와 관련되는 컨텐츠 정보를 찾아 통신 단말기(20)에 전송된다. 이러한 실제 이미지로부터 특징점을 검출하는 알고리즘은 널리 알려져 있음으로 더 이상의 설명은 본 발명의 명확한 이해를 위해 생략하기로 한다. 또한, 위 도 5에서 설명한 영상 인식 알고리즘은 일 예시에 불과한 것으로 다른 영상 인식 알고리즘이 사용될 수도 있다.

한편, 적분 이미지 생성기(미도시), 특징점 검출기(미도시), 서술자 생성기(미도시) 등은 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 소프트웨어 및/또는 하드웨어로 구현될 수 있다. 하드웨어 구현에 있어, 상술한 기능을 수행하기 위해 디자인된 ASIC(application specific integrated circuit), DSP(digital signal processing), PLD(programmable logic device), FPGA(field programmable gate array), 프로세서, 마이크로프로세서, 다른 전자 유닛 또는 이들의 조합으로 구현될 수 있다.

소프트웨어 구현에 있어, 소프트웨어 구성 컴포넌트(요소), 객체 지향 소프트웨어 구성 컴포넌트, 클래스 구성 컴포넌트 및 작업 구성 컴포넌트, 프로세스, 기능, 속성, 절차, 서브 루틴, 프로그램 코드의 세그먼트, 드라이버, 펌웨어, 마이크로 코드, 데이터, 데이터베이스, 데이터 구조, 테이블, 배열 및 변수를 포함할 수 있다. 소프트웨어, 데이터 등은 메모리에 저장될 수 있고, 프로세서에 의해 실행된다. 메모리나 프로세서는 당업자에게 잘 알려진 다양한 수단을 채용할 수 있다.

도 6은 도 1에 도시된 관리 서버에서 포토 이미지로부터 추출되는 특징점과 컨텐츠 정보(예를 들면, 재생 영상)를 맵핑하는 데이터베이스(도 1의 41)의 구조를 보여주는 개념도이다. 도 6을 참조하면, 미리 데이터베이스(41)에는 특징점들과 컨텐츠 정보가 맵핑되어 저장된다.

부연하면, 관리 서버(40)는 미리 포토 이미지와 관련된 컨텐츠 정보에서 특징점을 추출하고 추출된 특징점을 기초로 컨텐츠 정보와 특징점을 매칭한다. 예를 들면, 영상 프레임들(예를 들면, 영상1을 예시한다)에 대해 특징점들을 추출하고, 특징점들 마다 컨텐츠 정보를 매칭한다.

예를 들면, 도 6에 도시된 바와 같이, 특징점1에 속하는 특징점 1_1, 특징점 1_2, 특징점 1_3 …에 증강 현실 컨텐츠1에 속하는 AR(Augmented Reality) 컨텐츠 1_1, AR 컨텐츠 1_2, AR 컨텐츠 1_3 …이 될 수 있다. 즉, 특징점 1-1은 AR 컨텐츠 1-1에 맵핑되고, 특징점 1-2는 AR 컨텐츠 1-2에 맵핑되고, 특징점 1-3은 AR 컨텐츠 1-3에 맵핑되는 방식이다.

물론, 이러한 특징점 추출과정은 도 5에 도시된 단계 S510 내지 S540를 통해 이루어진다. 부연하면, 컨텐츠 정보를 이루는 영상 프레임들에서 적분 이미지를 생성하고, 이 적분 이미지로부터 특징점을 추출한다.

또한, 포토 이미지(11-1,12-1)로부터 추출된 특징점이 1_3에 해당되면, AR 컨텐츠 1_3으로부터 아래 방향에 해당하는 AR 컨텐츠들이 모두 통신 단말기(20)에 전송되며, 통신 단말기(20)가 해당 컨텐츠들을 순차적으로 재생한다. 물론, 포토 이미지(11-1,12-1)로부터 추출된 특징점이 1_1에 해당되면, AR 컨텐츠 1_1로부터 아래 방향에 해당하는 AR 컨텐츠 1_1,1_2,1_3 들이 모두 통신 단말기(20)에 전송되며, 통신 단말기(20)가 해당 컨텐츠들을 순차적으로 재생한다.

도 7은 본 발명의 일실시예에 따른 백그라운드에 재생 영상(컨텐츠 영상)을 배치하여 생성하는 과정을 보여주는 흐름도이다. 도 7을 참조하면, 타겟 오브젝트들(즉 포토 이미지(11-1,12-1))의 이미지가 캡쳐된다(단계 S710). 타겟 오브젝트들은 미리 정의된 객체(예를 들면, 책상, 마루바닥, 의자, 달력, 그림등을 들 수 있음)의 표면상에 위치된다. 따라서, 배경 이미지로 캡쳐된다. 타겟 오브젝트들은 1-D, 2-D, 3-D 오브젝트를 포함할 수 있지만 이들에 제한되지 않는다.

이후, 이미지는 타겟 오브젝트들에 대응하는 영역들 및 미리 정의된 백그라운드(도 3의 301)에 대응하는 영역들로 세그먼트될 수도 있다. 이미지를 세그먼트하는 것은 이미지로부터 미리 정의된 백그라운드를 분리하는 것을 포함할 수도 있다(단계 S720).

이후, 타겟 오브젝트들에 대응하는 영역들은 디지털 정보로 변환한다(단계 S730).

이후, AR 오브젝트들(즉, 컨텐츠 정보)이 매칭되며 디스플레이 화면(300)의 백그라운드(301)에 표시된다(단계 S740). AR 오브젝트들은 타겟오브젝트들에 대응할 수도 있고, 디지털 이미지에 적어도 부분적으로 기초하여 생성될 수도 있다. AR 오브젝트들은 캡쳐된 이미지 내에서 2 차원 (2-D) 블랍(blob: binary large object)의 검출에 기초하여 생성되며, 2-D 블랍의 검출은 미리 정의된 백그라운드 상에 위치된 하나 이상의 타겟 오브젝트들과 연관된 표면 반사율에 기초할 수 있다.

AR 오브젝트들은 유저 입력에 응답하여 편집될 수도 있다. 편집은 AR 오브젝트들 중 적어도 하나를 복수의 AR 부분들로 분할하는 것을 포함할 수 있다. 유저 입력은 복수의 AR 부분들로부터 소정 AR 부분을 지정할 수도 있다. 그 후, 지정된 AR 부분은 사용자 조작 명령 입력 신호에 기초하여 조작될 수도 있다.

사용자 조작 명령 입력 신호에 기초하여 지정된 AR 부분을 조작하는 것은 통신 단말기(20)의 디스플레이 화면(300) 상에서의 결정된 손가락 압력에 기초하여 지정된 AR 부분에 깊이를 추가하는 것, 통신 단말기(20)의 디스플레이 화면(300) 상에서 수행된 사용자의 제스쳐에 기초하여 지정된 AR 부분을 회전하는 것, 지정된 AR 부분을 하나 이상의 계층들로 어셈블리하는 것, 지정된 AR 부분을 통신 단말기(20)의 디스플레이 화면(300) 상에 디스플레이가능한 하나 이상의 로케이션들로 이동시키는 것, 또는 지정된 AR 부분을 돌출시키는 것 등이 될 수 있다.

도 8은 본 발명의 일실시예에 따른 통신 단말기가 수평 방향으로 이동됨에 따라 포토 카드의 포토 이미지를 센싱하고 매칭되는 컨텐츠를 전송받는 과정을 보여주는 흐름도이다.

도 8을 참조하면, 나란히 배열되는 제 1 및 제 2 포토 카드(11,12)의 표면위로 통신 단말기(20)를 수평 방향으로 이동시키면, 카메라(121)에 구성되는 이미지 센서가 순차적으로 제 1 포토 카드(11)의 포토 이미지(11-1) 및 제 2 포토 카드(12)의 포토 이미지(12-1)를 센싱하여 촬영 이미지 정보를 생성한다(단계 S810,S820). 물론, 통신 단말기(20)의 이동 방향이 반대이면, 제 2 포토(120)의 포토 이미지(12-1), 제 1 포토 카드(11)의 포토 이미지(11-1)가 순차적으로 센싱될 수 있다. 이와달리, 통신 단말기(20)를 수직 방향으로 이동시키는 것도 가능하다. 이 경우, 제 1 포토 카드(11)의 포토 이미지(11-1) 및 제 2 포토 카드(12)의 포토 이미지(12-1)가 동시에 센싱될 수 있다.

통신 단말기(20)가 촬영 이미지 정보들을 관리 서버(40)에 전송하면, 관리 서버(40)는 촬영 이미지 정보들로부터 포토 이미지 관련된 특징점 정보들을 추출한다(단계 S830).

이후, 관리 서버(40)는 특징점 정보들과 매칭되는 컨텐츠들을 데이터베이스(도 1의 41)에서 검색하여 통신 단말기(20)에 전송한다(단계 S840).

물론, 단계 830은 통신 단말기(20)에서 실행될 수도 있다. 부연하면, 통신 단말기(20)에 특징점 정보를 추출하는 알고리즘을 갖는 소프트웨어를 구성하여, 이 소프트웨어를 이용하여 특징점 정보를 추출하고, 이를 관리 서버(40)에 전송하는 방식이다.

도 9는 도 8에 도시된 순서이후, 2개의 컨텐츠에서 대표 인물 이미지의 픽셀수를 비교하여 영상의 크기를 조절하여 디스플레이하는 과정을 보여주는 흐름도이다. 도 9를 참조하면, 관리 서버(40)는 서버에 설치된 얼굴인식 알고리즘 프로그램을 이용하여 도 8에 의해 검색된 2개의 컨텐츠 정보로부터 대표 인물 이미지가 존재하기 시작하는 프레임을 서칭한다(단계 S910,S920).

이후, 관리 서버(40)는 대표 인물 이미지가 가장 먼저 존재하기 시작하는 프레임에서 포커싱 영역을 결정하고, 이 포커싱 영역에 따른 픽셀수를 산출한다(단계 S930). 대표 인물 이미지는 인물 이미지가 있는 프레임의 중앙에 있거나 중앙에서 가까운 위치의 인물이 될 수 있다.

한편, 인물이 정중앙에 있지않을 경우도 존재함으로 일정 범위내(예를 들면, 3.25cm 내지 3.75cm의 세로폭)에 있는 인물도 중앙에 있는 것으로 가정할 수 있다. 또는, 픽셀 좌표를 이용하여 인물을 검색하는 것도 가능하다. 즉, 네개의 좌표값으로 사각형을 만들고, 이 범위내에 있는 인물을 대표 인물 이미지로 정하는 것도 가능하다.

한편, 인물이 다수 있는 경우에는, 포커싱 영역의 크기를 비교하여 가장 큰 쪽을 대표 인물 이미지로 정할 수도 있다.

또한, 대표 인물 이미지가 가장 먼저 존재하기 시작하는 프레임을 기준으로 컨텐츠 정보의 재생 종료때까지 대표 인물 이미지는 동일하게 설정될 수 있다.

또한, 대표 인물 이미지가 없는 프레임이 컨텐츠 정보 중 어느 하나에 발생하면, 관리 서버(40)는 대표 인물 이미지를 다른 프레임에서 서칭(searching)하는 단계(S910,S920)를 다시 수행한다.

이후, 관리 서버(40)는 산출된 픽셀수들을 비교한다(단계 S940). 부연하면, 제 1 포커싱 영역으로부터 산출되는 제1 픽셀수와 제 2 포커싱 영역으로부터 산출되는 제2 픽셀수를 서로 비교한다.

이후, 관리 서버(40)는 비교 결과에 따라 줌아웃 명령 또는 줌인 명령을 생성하고, 이를 통신 단말기(20)에 전송한다(단계 S950). 부연하면, 제1 픽셀수가 제2 픽셀수보가 크면 줌아웃 명령이 생성되고, 제1 픽셀수가 제2 픽셀수보다 작으면 줌인 명령이 생성된다. 줌아웃 명령은 출력 화면을 평균 픽셀수와 해당 포커싱 영역의 픽셀수간 비율로 축소하는 것이고, 줌인 명령은 출력 화면을 평균 픽셀수와 해당 포커싱 영역의 픽셀수간 비율로 확대하는 것을 의미한다. 즉, 평균 픽셀수를 계산하고, 제1,2 컨텐츠 정보에 대해 제1,2 픽셀수와 평균픽셀수의 비율에 맞춰 줌인 또는 줌아웃을 명령한다.

줌아웃 또는 줌인하는 비율은 컨텐츠 정보의 재생 시작후, 대표 인물 이미지가 없은 프레임이 컨텐츠 정보 중 어느 하나에서라도 나타날때까지 동일한 비율로 유지될 수 있다.

이후, 통신 단말기(20)는 줌아웃 명령 또는 줌인 명령에 따라, 화면을 축소하거나 확대한다(단계 S960).

물론, 제1 픽셀수와 제2 픽셀수가 같으면, 현재 화면 상태를 유지하게 된다.

줌인 또는 줌아웃하는 비율은 제1 컨텐츠 정보(311) 및 제2 컨텐츠 정보(312)의 시작 후, 대표 인물 이미지가 없는 프레임이 제1 컨텐츠 정보(311) 및 제2 컨텐츠 정보(312) 중 어느 한 개에서 나타날 때까지 동일 비율을 유지한다. 대표 인물 이미지가 없는 프레임이 나타난 이후는 그때까지와 동일 비율을 계속 유지하거나, 새로운 비율을 정할 수 있고, 대표 인물 이미지가 서칭된 프레임에서부터는 본 발명에서 계산하는 방식의 비율을 적용함으로써, 사용자가 선호하는 대표인물을 중심으로 제1 컨텐츠 정보(311) 및 제2 컨텐츠 정보(312)가 전개되도록 할 수 있다.

이때, 대표인물 이미지는 사용자에 따라 제1 컨텐츠 정보(311) 및 제2 컨텐츠 정보(312) 내에서 선택 될 수도 있다.

도 10은 도 3에 도시된 컨텐츠 정보(311)를 구성하는 프레임 구조를 보여주는 개념도이다. 도 10을 참조하면, 컨텐츠 정보(311)는 제 1 프레임(1010-1) 내지 제 n 프레임(1010-n)으로 구성된다. 제 1 프레임(1010-1) 내지 제 n 프레임(1010-n)은 각 단일 프레임으로 정지영상이 된다. 제 1 프레임(1010-1) 내지 제 n 프레임(1010-n) 들중에는 인물 이미지가 없는 영상이 있을 수 있다. 따라서, 첫 프레임부터 인물 이미지가 있는 프레임까지 검출하는 시간을 인물 프레임 시간으로 정의할 수 있다.

물론, 본 발명의 일실시예의 경우, 인물 프레임 시간은 인물 이미지가 있는 프레임부터 이 인물 이미지의 움직임의 개시에 소요되는 움직임 개시 시간도 포함할 수 있다. 도 10에서는 제 1 컨텐츠 정보(311)에 대해서만 도시하였으나, 제 2 컨텐츠 정보(312)에도 동일하게 적용될 수 있다.

따라서, 제1 컨텐츠 정보(311)를 이루는 다수의 프레임 중 제1 프레임부터 제1 대표인물 이미지가 출현하는 최초 프레임까지 소요되는 제1 인물프레임 시간 및 제2 컨텐츠 정보(312)를 이루는 다수의 프레임 중 제1 프레임부터 최초의 제2 대표인물 이미지가 출현하는 최초 프레임까지 소요되는 제2 인물프레임 시간을 산출하고, 제1 인물프레임 시간 및 제2 인물프레임 시간을 동일시작시간으로 설정할 수 있다.

즉, 통신 단말기(20)가 상기 제1 포토 카드(11) 및 제2 포토 카드(12)를 촬영하고 제1 포토 이미지(11-1) 및 제2 포토 이미지(12-1)에 대응되는 제1 컨텐츠 정보(311) 및 제2 컨텐츠 정보(312)를 관리서버(40)로부터 취득하는 단계로부터, 제1 프레임부터 제1 대표인물 이미지가 출현하는 최초 프레임까지 소요되는 제1 인물프레임 시간 및 상기 제2 컨텐츠 정보(312)를 이루는 프레임 중 제1 프레임부터 최초의 제2 대표인물 이미지가 출현하는 제2 인물프레임 시간을 일치시킨다.

부연하면, 제1 인물프레임 시간이 0.7초이고, 제2 인물프레임 시간이 0.9초이면 동일시작시간은 약 0.8초가 될 수 있다.

이 동일시작시간 경과 후, 제1 대표인물 이미지 및 제2 대표인물 이미지가 출현하는 최초 이미지부터 상기 제1 컨텐츠 정보(311) 및 상기 제2 컨텐츠 정보(312)가 줌아웃으로 시작될 수 있다.

이때, 동일시작시간은 관리서버(40)에서 서칭된 제1 컨텐츠 정보(311) 및 제2 컨텐츠 정보(312)의 각각의 대표 인물 이미지의 얼굴(face)을 이루는 제1 픽셀수 및 제2 픽셀수를 비교하는 과정으로부터 관리서버(40)에서 제1 픽셀수가 제2 픽셀수보다 크면, 평균 픽셀수를 계산하고, 제1 컨텐츠 정보(311)에 대해 제1 픽셀수와 상기 평균픽셀수의 비율에 맞춰 줌아웃을 명령하는 과정까지 처리가 완료된후의 시간이 될 수 있다. 물론, 이러한 동일시작시간은 미리 설정되는 프로그래밍에 의해 자동 설정될 수 있다.

한편, 제1 대표인물 이미지 및 제2 대표인물 이미지는 각각 제1 포토 카드(11) 및 제2 포토 카드(12)로부터 사용자에 의해 선택되어 관리서버(40)로 전송될 수 있다.

또한, 여기에 개시된 실시형태들과 관련하여 설명된 방법 또는 알고리즘의 단계들은, 마이크로프로세서, 프로세서, CPU(Central Processing Unit) 등과 같은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 (명령) 코드, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.

상기 매체에 기록되는 프로그램 (명령) 코드는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프 등과 같은 자기 매체(magnetic media), CD-ROM, DVD, 블루레이 등과 같은 광기록 매체(optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 (명령) 코드를 저장하고 수행하도록 특별히 구성된 반도체 기억 소자가 포함될 수 있다.

여기서, 프로그램 (명령) 코드의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

1: 영상 재생 시스템
11,12: 제 1 및 제 2 포토 카드
11-1,12-1: 제 1 및 제 2 포토 이미지
20: 통신 단말기
30: 통신망
40: 관리 서버
41: 데이터베이스
110: 무선 통신부 120: A/V(Audio/Video) 입력부
130: 사용자 입력부 140: 센싱부
160: 메모리 170: 인터페이스부
180: 제어부 190: 전원 공급부
300: 디스플레이 화면
301: 백그라운드
303: 경계선
311: 제 1 컨텐츠 정보(재생 영상)
311-1: 제 1 객체(또는 인물) 311-2: 제 1 포커싱 영역
312: 제 2 컨텐츠 정보(재생 영상)
312-1: 제 2 객체(또는 인물) 312-2: 제 2 포커싱 영역

Claims (5)

1. (a) 제1 포토 카드(11) 및 제2 포토 카드(12)가 일정간격으로 나란히 배열되어 있는 단계;
   (b) 통신 단말기(20)가 상기 제1 포토 카드(11) 및 제2 포토 카드(12)를 촬영하고 제1 포토 이미지(11-1) 및 제2 포토 이미지(12-1)에 대응되는 제1 컨텐츠 정보(311) 및 제2 컨텐츠 정보(312)를 관리서버(40)로부터 취득하는 단계;
   (c) 상기 제1 컨텐츠 정보(311)를 이루는 프레임 중 제1 프레임부터 제1 대표인물 이미지가 출현하는 최초 프레임까지 소요되는 제1 인물프레임 시간 및 상기 제2 컨텐츠 정보(312)를 이루는 프레임 중 제1 프레임부터 최초의 제2 대표인물 이미지가 출현하는 최초 프레임까지 소요되는 제2 인물프레임 시간을 산출하는 단계; 및
   (d) 상기 제1 인물프레임 시간 및 상기 제2 인물프레임 시간을 동일시작시간으로 서로 일치하도록 설정하는 단계;
   (e) 상기 관리서버(40)에서 서칭된 상기 제1 컨텐츠 정보(311) 및 상기 제2 컨텐츠 정보(312)의 각각의 대표 인물 이미지의 얼굴(face)을 이루는 제1 픽셀수 및 제2 픽셀수를 비교하는 단계;
   (f) 상기 관리서버(40)에서 상기 제1 픽셀수가 상기 제2 픽셀수보다 크면, 평균 픽셀수를 계산하고, 상기 제1 컨텐츠 정보(311)에 대해 상기 제1 픽셀수와 상기 평균픽셀수의 비율에 맞춰 줌아웃을 명령하는 단계; 및
   (g) 상기 통신 단말기(20)에서 상기 (b)단계로부터 상기 동일시작시간 경과 후, 상기 제1 대표인물 이미지 및 상기 제2 대표인물 이미지가 출현하는 최초 이미지부터 상기 제1 컨텐츠 정보(311) 및 상기 제2 컨텐츠 정보(312)가 줌아웃으로 시작되는 단계;
   를 포함하는
   포토 카드로부터의 영상 속 객체 크기 및 시작 시간을 조정하는 영상재생방법.
2. 삭제
3. 삭제
4. 제1항에 있어서,
   상기 동일시작시간은 상기 (c)단계부터 상기 (f)단계까지 처리 후의 시간으로 자동설정되는 것을 특징으로 하는
   포토 카드로부터의 영상 속 객체 크기 및 시작 시간을 조정하는 영상재생방법.
5. 제1항에 있어서,
   상기 제1 대표인물 이미지 및 상기 제2 대표인물 이미지는 각각 상기 제1 포토 카드(11) 및 제2 포토 카드(12)로부터 사용자에 의해 선택되어 상기 관리서버(40)로 전송되는
   포토 카드로부터의 영상 속 객체 크기 및 시작 시간을 조정하는 영상재생방법.

Images