KR102209447B1 - 전자장치 및 전자장치의 객체인식방법 - Google Patents

Abstract

본 발명의 다양한 실시예에 따른 전자장치가, 디지털 이미지 데이터를 저장하도록 구성된 제 1 저장장치; 및 제 1 이미지 데이터 상의 객체를 인식하도록 구성된 프로세서를 포함하며, 상기 프로세서는, 상기 제 1 이미지 데이터 상의 제 1 객체에 관련되는 제 2 객체를 제 2 저장장치로부터 받아서 상기 제 1 저장장치로 저장하도록 더 구성되고, 상기 제 1 저장장치는, 상기 제 1 객체 및 상기 제 2 객체를 저장하도록 구성되고, 상기 프로세서는, 상기 제 1 저장장치에 저장된 상기 제 1 객체 및 상기 제 2 객체 중 하나 이상을 제 2 이미지 데이터 상의 객체 인식을 위하여 사용하는 것을 특징으로 한다.

Description

전자장치 및 전자장치의 객체인식방법{ELECTRONIC DEVICE AND METHOD FOR RECOGNITING OBJECT IN ELECTRONIC DEVICE}

전자장치 및 전자장치의 객체인식 방법에 관한 것으로, 예컨데 전자장치에서 이미지데이터 상의 객체를 빠르게 인식할 수 있는 전자장치 및 전자장치의 객체인식 방법에 관한 것이다.

증강현실(Augmented Reality)이란 사용자가 눈으로 보는 현실세계에 가상 물체를 겹쳐 보여주는 기술이다. 현실세계에　실시간으로 부가정보를 갖는 가상세계를 합쳐 하나의 영상으로 보여주므로　혼합현실(Mixed Reality, MR)이라고도 한다.　현실세계를 가상세계로 보완해주는 개념인 증강현실은 컴퓨터 그래픽으로 만들어진 가상환경을 사용하지만 주역은 현실환경이다. 컴퓨터 그래픽은 현실환경에 필요한 정보를 추가 제공하는 역할을 한다. 가상현실기술은 가상환경에 사용자를 몰입하게 하여 실제환경을 볼 수 없다. 하지만 실제환경과 가상의 객체가 혼합된 증강현실기술은 사용자가 실제환경을 볼 수 있게 하여 보다 나은 현실감과 부가 정보를　제공할 수 있다.

상기 증강현실의 제공을 위해, 레퍼런스 이미지데이터를 이용하여 카메라에 의해 수신되는 이미지데이터 상의 객체를 인식하고 있으며, 상기 레퍼런스 이미지데이터는 데이터베이스에 저장된 학습이미지 데이터가 될 수 있다.

전자장치들(예를 들어, 카메라 폰들, 모바일 폰들 등) 또는 분산 네트워크들의 컨텐스트에서, 많은 통신 및 프로세싱 자원들이 객체의 인식을 위해 소비되고 있다.

객체의 인식을 위해 많은 레퍼런스 이미지데이터들(예를 들어, 학습 이미지)중에서 로컬 특징 디스크립터들을 빠르고 효율적으로 매칭시키기 위한 방식에 대한 필요성이 존재하나, 특징점의 분류 없이는 성공적인 로컬화가 불가능하다.

따라서 본 발명의 다양한 실시예들에 따라 전자장치에서 이미지데이터 상의 객체를 빠르게 인식할 수 있는 검색할 수 있는 전자장치 및 전자장치의 객체인식방법을 제공하는 것이다.

본 발명의 다양한 실시예들에 따른 전자장치가, 디지털 이미지 데이터를 저장하도록 구성된 제 1 저장장치; 및 제 1 이미지 데이터 상의 객체를 인식하도록 구성된 프로세서를 포함하며, 상기 프로세서는, 상기 제 1 이미지 데이터 상의 제 1 객체에 관련되는 제 2 객체를 제 2 저장장치로부터 받아서 상기 제 1 저장장치로 저장하도록 더 구성되고, 상기 제 1 저장장치는, 상기 제 1 객체 및 상기 제 2 객체를 저장하도록 구성되고, 상기 프로세서는, 상기 제 1 저장장치에 저장된 상기 제 1 객체 및 상기 제 2 객체 중 하나 이상을 제 2 이미지 데이터 상의 객체 인식을 위하여 사용하는 것을 특징으로 한다.

또한 본 발명의 다양한 실시예들에 따른 전자장치가, 제 1 이미지 데이터를 프로세스하도록 구성된 프로세서를 포함하며, 상기 프로세서는, 상기 제 1 이미지 데이터 상의 제 1 객체를 인식하기 위하여, 제 1 데이터베이스를 이용하도록 구성된 외부 전자장치에 상기 제 1 이미지 데이터를 보내도록 구성되고, 상기 프로세서는, 상기 제 1 데이터베이스보다 작은 제 2 데이터베이스를 나타내는 정보를 상기 외부 전자장치에 보내도록 더 구성된 것을 특징으로 한다.

또한 본 발명의 다양한 실시예들에 따른 전자장치가, 이미지 데이터를 엑세스하도록 구성된 프로세서를 포함하며, 상기 프로세서는 외부 전자장치로부터 제 1 이미지 데이터 및 제 1 데이터베이스(user database)를 나타내는 정보(information)를 수신하고, 상기 프로세서는, 상기 제 1 이미지 데이터 상의 제 1 객체에 관련되는 제 2 객체를, 상기 제 1 데이터베이스보다 큰 제 2 데이터베이스(main database)로부터 찾아서, 제 1 데이터베이스에 저장하도록 더 구성되고, 상기 프로세서는, 상기 제 1 객체를 상기 제 1 데이터베이스에 더 저장하도록 구성되고, 상기 프로세서는 상기 제 1 데이터베이스에 저장된 제 1 객체 및 상기 제 2 객체 중 하나 이상을 제 2 이미지 데이터 상의 객체 인식을 위하여 사용하는 것을 특징으로 한다.

또한 본 발명의 다양한 실시예들에 따른 전자장치의 객체인식 방법은, 제 1 이미지 데이터 상의 객체를 인식하는 동작; 상기 제 1 이미지 데이터 상의 상기 제 1 객체에 관련되는 제 2 객체를 제 2 저장장치로부터 수신하는 동작; 상기 제 1 이미지 데이터 상의 상기 제 1 객체와 상기 제2 저장장치의 제2 객체를 제1 저장장치에 저장하는 동작; 및 상기 제 1 저장장치에 저장된 상기 제 1 객체 및 상기 제 2 객체 중 하나 이상을 제 2 이미지 데이터 상의 객체 인식을 위하여 사용하는 동작을 포함하는 것을 특징으로 한다.

또한 본 발명의 다양한 실시예들에 따른 전자장치의 객체인식 방법은,

제 1 이미지 데이터 상의 제 1 객체를 인식하기 위하여, 제 1 데이터베이스를 이용하도록 구성된 외부 전자장치에 상기 제 1 이미지 데이터를 보내는 동작을 포함하고, 상기 제1 이미지 데이터를 상기 외부 전자자치에게 보낼 때, 상기 제 1 데이터베이스보다 작은 제 2 데이터베이스를 나타내는 정보를 보낼 수 있는 것을 특징으로 한다.

또한 본 발명의 다양한 실시예들에 따른 전자장치의 객체인식 방법은, 외부 전자장치로부터 제 1 이미지 데이터 및 제 1 데이터베이스(user database)를 나타내는 정보(information)를 수신하는 동작; 및 상기 제 1 이미지 데이터 상의 제 1 객체에 관련되는 제 2 객체를, 상기 제 1 데이터베이스보다 큰 제 2 데이터베이스(main database)로부터 찾으면, 상기 제1 객체 및 상기 제2 객체를 제 1 데이터베이스에 저장하는 동작; 및 상기 제 1 데이터베이스에 저장된 제 1 객체 및 상기 제 2 객체 중 하나 이상을 제 2 이미지 데이터 상의 객체 인식을 위하여 사용하는 동작을 포함하는 것을 특징으로 한다.

본 발명의 다양한 실시예들에 따른 전자장치 및 전자장치의 객체인식 방법은, 데이터베이스에 이미지데이터 상의 객체를 인식하기 위해 필요한 많은 레퍼런스 이미지데이터의 저장 없이, 이미지데이터 상의 객체를 빠르게 인식할 수 있다.

도 1은 본 발명의 다양한 실시예들에 따른 전자장치의 구성도,
도 2는 본 발명의 다양한 실시예들에 따른 증강현실(AR: Augmented Reality)시스템의 구성도,
도 3은 본 발명의 다양한 실시예들에 따른 증강현실(AR: Augmented Reality)처리부의 구성도,
도 4a - 도 4b는 본 발명의 다양한 실시예들에 따른 전자장치에서 입력 이미지데이터 상의 객체를 인식하는 동작을 도시한 흐름도,
도 5는 본 발명의 다양한 실시예들에 따른 전자장치에 입력 이미지데이터 상의 객체를 인식하는 동작에서 캐시의 로드 동작을 도시한 흐름도,
도 6은 본 발명의 다양한 실시예들에 따른 전자장치에 입력 이미지데이터 상의 객체를 인식하는 동작에서 캐시의 업데이트 동작을 도시한 흐름도,
도 7은 본 발명의 다양한 실시예들에 따른 전자장치에 입력 이미지데이터 상의 객체를 인식하는 동작에서 캐시의 업데이트 동작을 설명하기 위한 도면,
도 8a - 도 8b는 본 발명의 다양한 실시예들에 따라 외부 전자장치를 이용하여 전자장치에 수신된 입력 이미지데이터 상의 객체를 인식하는 동작을 도시한 흐름도이다.

이하 본 발명의 다양한 실시예들의 상세한 설명이 첨부된 도면들을 참조하여 설명될 것이다. 도면들 중 동일한 구성들은 가능한 한 어느 곳에서든지 동일한 부호들을 나타내고 있음을 유의하여야 한다.

본 발명의 다양한 실시예들에 따른 전자 장치는, 통신 기능이 포함된 장치일 수 있다. 예를 들면, 스마트 폰(smartphone), 태블릿 PC(tablet personal computer), 이동전화기(mobile phone), 화상전화기, 전자북 리더기(e-book reader), 데스크탑 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 전자 팔찌, 전자 목걸이, 전자 앱세서리(appcessory), 카메라(camera), 웨어러블 장치(wearable device), 전자 시계(electronic clock), 손목 시계(wrist watch), 가전 제품(home appliance)(예: 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기 등), 인공 지능 로봇, TV, DVD(digital video disk) 플레이어, 오디오, 각종 의료기기(예: MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 초음파기 등), 네비게이션(navigation) 장치, GPS 수신기(global positioning system receiver), EDR(event data recorder), FDR(flight data recorder), 셋톱 박스(set-top box), TV 박스(예를 들면, 삼성 HomeSyncTM, 애플TVTM, 또는 구글 TVTM), 전자 사전, 자동차 인포테인먼트(infotainment) 장치, 선박용 전자 장비(electronic equipment for ship, 예를 들면, 선박용 항법 장치, 자이로 콤파스 등), 항공 전자기기(avionics), 보안 기기, 전자 의복, 전자 키, 캠코더(camcorder), 게임 콘솔(game consoles), HMD(head-mounted display), 평판표시장치(flat panel display device), 전자 액자, 전자 앨범, 통신 기능을 포함한 가구(furniture) 또는 건물/구조물의 일부, 전자 보드(electronic board), 전자 사인 입력장치(electronic signature receiving device), 웨어러블 장치(Wearable device)또는 프로젝터(projector) 등의 다양한 장치들 중 하나 또는 그 이상의 조합일 수 있다. 본 발명의 다양한 실시예들에 따른 전자장치는 전술한 기기들에 한정되지 않음은 당업자에게 자명하다.

도 1은 본 발명의 다양한 실시예들에 따른 전자장치(100)의 구성도이다.

상기 도 1을 참조하면, 전원공급부(110)는 전원공급관리부(111)의 제어에 따라 전자장치(100)의 하우징에 배치되는 하나 또는 복수의 배터리(도시되지 아니함)에 전원을 공급할 수 있다. 하나 또는 복수의 배터리(도시되지 아니함)는 전자장치(100)에 전원을 공급할 수 있다. 또한, 전원공급부(110)는 전자장치(100)의 커넥터와 연결된 유선 케이블을 통해 외부의 전원소스(도시되지 아니함)에서부터 입력되는 전원을 전자장치(100)로 공급할 수 있다. 또한, 전원공급부(110)는 무선 충전 기술을 통해 외부의 전원소스로부터 무선으로 입력되는 전원을 전장장치(100)로 공급할 수도 있다.

상기 전원공급관리부(111)는 프로세서(115)의 제어에 따라 상기 전원공급부(110)의 전원을 전자장치(100)로 공급하거나 또는 외부의 전원소스로부터 입력되는 전원을 상기 전원공급부(110)에게 공급하도록 제어할 수 있다.

통신부(112)는 프로세서(115)의 제어에 따라 적어도 하나 또는 복수의 안테나(도시되지 아니함)를 이용하여 이동 통신을 통해 전자장치(100)가 외부 장치와 연결되도록 할 수 있다.

통신부(112)는 무선랜 부와 근거리통신부 중 적어도 하나를 포함할 수 있다. 예를 들어, 무선랜 부만 포함하거나, 근거리통신 부만 포함하거나 또는 무선랜 부와 근거리통신 부를 모두 포함할 수 있다. 무선랜 부는 프로세서(115)의 제어에 따라 무선 액세스 포인트(AP, access point)(도시되지 아니함)가 설치된 장소에서 인터넷에 연결될 수 있다. 무선랜 부는 미국전기전자학회(IEEE)의 무선랜 규격(IEEE802.11x)을 지원한다. 근거리통신 부는 프로세서(115)의 제어에 따라 무선으로 근거리 통신을 할 수 있다. 근거리 통신방식은 블루투스(bluetooth), 적외선 통신(IrDA, infrared data association), 와이파이 다이렉트(WiFi-Direct) 통신, NFC(Near Field Communication) 등이 포함될 수 있다.

통신부(112)는 GPS부를 포함할 수 있으며, GPS부는 지구 궤도상에 있는 복수의 GPS위성(도시되지 아니함)에서부터 전파를 수신하고, GPS위성(도시되지 아니함)에서부터 전자장치(100)까지 전파도달시간(Time of Arrival)을 이용하여 전자장치(100)의 위치를 산출할 수 있다.

RF부(113)는 전자장치(100)에 입력되는 전화번호를 가지는 휴대폰(도시되지 아니함), 스마트폰(도시되지 아니함), 태블릿PC 또는 다른 장치(도시되지 아니함)와 음성 통화, 화상 통화, 문자메시지(SMS) 또는 멀티미디어 메시지(MMS)를 위한 무선 신호를 송/수신할 수 있다.

프로세서(115)는 CPU, GPU, 전자장치(100)의 제어를 위한 제어프로그램이 저장된 롬(ROM) 및 전자장치(100)의 외부로부터 입력되는 신호 또는 데이터를 기억하거나, 전자장치(100)에서 수행되는 작업을 위한 기억영역으로 사용되는 램(RAM)을 포함할 수 있다. CPU는 싱글 코어, 듀얼 코어, 트리플 코어, 또는 쿼드 코어를 포함할 수 있다. CPU, 롬 및 램은 내부버스(bus)를 통해 상호 연결될 수 있다.

프로세서(115)는 전원 공급부(110), 전원공급관리부(111), 통신부(112), RF부(113), 제1 메모리(116), 제2 메모리(117), 오디오 처리부(118), 입력부(119), 표시부(120), 카메라부(121) 및 센서부(122)를 제어할 수 있다.

프로세서(115)는 입력데이터를 처리하여 증강현실 데이터로 제공할 수 있는 증강현실(AR: Augmented Reality)부(200)를 포함할 수 있으며, 상기 증강현실(AR: Augmented Reality)부(200)는 상기 프로세서(115)에 포함되지 않고 별도로 구성될 수 있다. 상기 증강현실(AR: Augmented Reality)부에 대한 구성은 하기 도 2 - 도 3에서 상세히 설명한다.

상기 프로세서(115)는 본 발명의 다양한 실시예들에 따라, 증강현실모드로 전환되는 경우 제1 저장장치에 저장된 복수의 레퍼런스 이미지데이터들 제1 저장장치의 로드조건에 대응되는 적어도 하나의 레퍼런스 이미지데이터를 상기 제1 저장장치에 로드할 수 있다. 상기 제1 저장장치의 로드조건은 사용위치 또는 사용시간 중 적어도 하나를 포함할 수 있다. 예를 들어 상기 제1 저장장치의 로드조건이 사용위치인 경우, 상기 제2 저장장치에 저장된 복수의 레퍼런스 이미지데이터 중 현재 위치에서 이전에 사용된 적어도 하나의 레퍼런스 이미지데이터를 상기 제1 저장장치에 로드 할 수 있다. 또는 예를 들어 상기 제1 저장장치의 로드조건이 사용시간인 경우, 상기 제2 저장장치에 저장된 복수의 레퍼런스 이미지데이터 중 현재 시간과 동일한 이전 시간에서 사용된 적어도 하나의 레퍼런스 이미지데이터를 상기 제1 저장장치에 로드 할 수 있다. 상기 제1 저장장치 로드조건은 사용위치 또는 사용시간뿐만 아니라, 사용자 식별자 또는 날씨등 다양한 조건이 자동 또는 수동으로 미리 설정될 수 있다.

상기 프로세서(115)는 본 발명의 다양한 실시예들에 따라, 상기 이미지 발생장치 예를 들어, 상기 카메라부(121)로부터 상기 제1 입력 이미지데이터가 수신되는 경우, 상기 제1 입력 이미지데이터에서 특징점을 검출할 수 있다. 상기 프로세서(115)는 상기 검출된 특징점들 중 이전 추적동작에 의해 이미 검출된 특징점들에 대해 마스킹을 수행하여 제거하고, 새롭게 검출된 특징점들에 대한 디스크립터들을 생성할 수 있다.

상기 프로세서(115)는 본 발명의 다양한 실시예들에 따라, 상기 증강현실모드에서 제1 입력 이미지데이터가 수신되는 경우 일정시간 이내에 상기 제1 저장장치의 업데이트가 발생되었으면, 상기 제1 저장장치에서 로드 된 적어도 하나의 레퍼런스 이미지데이터를 이용하여 상기 제1 입력 이미지데이터상의 제1 객체를 인식할 수 있다.

상기 프로세서(115)는 본 발명의 다양한 실시예들에 따라, 상기 제1 저장장치에서 상기 제1 입력 이미지데이터 상의 제1 객체를 인식할 수 있는 레퍼런스 이미지데이터가 검색되지 않는 경우, 제2 저장장치에서 상기 제1 입력 이미지데이터 상의 제1 객체와 관련된 제2 객체를 포함하는 레퍼런스 이미지데이터를 검출할 수 있다. 상기 프로세서(115)는 상기 제1 저장장치에 상기 제1 객체를 포함하는 입력 이미지데이터와 상기 제2 객체를 포함하는 레퍼런스 이미지데이터를 연관시켜서 저장할 수 있다.

상기 프로세서(115)는 본 발명의 다양한 실시예들에 따라, 상기 카메라부(121)로부터 제2 입력 이미지데이터가 수신되는 경우, 상기 제1 저장장치에 저장된 상기 제1 객체를 포함하는 상기 제 1 입력 이미지데이터와 상기 제2 객체를 포함하는 레퍼런스 이미지데이터 중 적어도 하나를 상기 제2 입력 이미지데이터 상의 객체 인식을 위해 사용할 수 있다.

상기 프로세서(115)는 본 발명의 다양한 실시예들에 따라, 상기 카메라부(121)로부터 제1 입력 이미지데이터가 수신되는 경우, 상기 제1 입력 이미지데이터 상의 제1 객체를 인식하기 위하여, 제1 데이터베이스를 이용하도록 구성된 외부 전자장치에게 상기 제1 입력 이미지데이터를 전송할 수 있다. 상기 프로세서(115)는 상기 외부 전자장치에서 상기 제1 입력 이미지데이터를 전송할 때, 상기 제1 데이터베이스 보다 메모리의 양이 작은 제2 데이터베이스를 나타내는 정보를 함께 전송할 수 있다.

상기 제2 데이터베이스를 나타내는 정보란, 상기 입력 이미지데이터 상의 객체를 인식하기 위해 사용되는 상기 제1 데이터베이스에 저장된 복수의 레퍼런스 이미지데이터 중 특정 레퍼런스 이미지데이터만을 상기 제2 데이터베이스에 로드할 수 있는 상기 제2 데이터베이스의 로드조건을 나타내고 있다. 상기 제2 데이터베이스의 로드조건는 사용자 식별자(identification, ID), 사용위치, 사용시간등을 포함할 수 있다.

예를 들어 상기 제2 데이터베이스의 로드조건이 상기 사용자 식별자인 경우, 상기 외부 전자장치의 프로세서는 상기 제1 데이터베이스에 저장된 복수의 레퍼런스 이미지데이터들 중 상기 사용자 식별자를 가지는 적어도 하나의 레퍼런스 이미지데이터들을 상기 제2 데이터베이스에 로드할 수 있다. 또는 예를 들어 상기 제2 데이터베이스의 로드조건이 사용위치인 경우, 상기 외부 전자장치의 프로세서는 상기 제1 데이터베이스에 저장된 복수의 레퍼런스 이미지데이터들 중 전자장치가 위치된 현재 위치에서 이전에 사용된 적어도 하나의 레퍼런스 이미지데이터들을 상기 제2 데이터베이스에 로드할 수 있다. 또는 예를 들어 상기 제2 데이터베이스의 로드조건이 사용시간인 경우, 상기 외부 전자장치의 프로세서는 상기 제1 데이터베이스에 저장된 복수의 레퍼런스 이미지데이터들 중 현재 시간과 동일한 이전 시간에 사용된 적어도 하나의 레퍼런스 이미지데이터들을 상기 제2 데이터베이스에 로드할 수 있다. 그리고 상기 외부 전자장치의 프로세서는 우선적으로 상기 제2 데이터베이스의 로드조건에 따라 로드 된 적어도 하나의 레퍼런스 이미지데이터에서 상기 입력 이미지데이터 상의 제1 객체에 대한 인식동작을 수행할 수 있다.

또한 상기 외부 전자장치의 프로세서는 상기 제2 데이터베이스의 로드조건에 따라 로드 된 적어도 하나의 레퍼런스 이미지데이터에서 상기 입력 이미지데이터 상의 제1 객체가 인식되지 않는 경우, 제2 데이터베이스에 저장된 복수의 레퍼런스 이미지데이터를 순서적으로 검출하여 상기 입력 이미지데이터 상의 제1 객체에 대한 인식동작을 수행할 수 있다.

또는 상기 외부 전자장치의 프로세서는 상기 제2 데이터베이스에서 상기 입력 이미지데이터 상의 제1 객체가 인식되지 않는 경우, 상기 제1 데이터베이스에 저장된 복수의 레퍼런스 이미지데이터를 순서적으로 검출하여, 상기 입력 이미지데이터 상의 제1 객체에 대한 인식동작을 수행할 수 있다.

상기 외부 전자장치의 프로세서는 상기 제1 입력 이미지데이터 상의 제1 객체와 관련된 제2 객체를 포함하는 레퍼런스 이미지데이터를 상기 제1 데이터베이스에서 검출하는 경우, 상기 제2 데이터베이스에 상기 제1 객체를 포함하는 상기 제1 입력 이미지데이터와 상기 제2 객체를 포함하는 레퍼런스 이미지데이터를 관련된 이미지 데이터로 함께 저장할 수 있다.

상기 외부 전자장치의 프로세서는 상기 제1 입력이미지데이터 수신 이후, 상기 제2 입력 이미지데이터가 수신되는 경우, 상기 제2 데이터베이스에 저장된 상기 제1 객체를 포함하는 상기 제1 입력 이미지데이터와 상기 제2 객체를 포함하는 상기 레퍼런스 이미지데이터 중 적어도 하나를 이용하여 상기 제2 입력 이미지데이터 상의 객체를 인식할 수 있다.

상기 외부 전자장치의 프로세서는 상기 전자장치의 프로세서(115)와 같이 AR처리기능을 동일하게 수행할 수 있다.

본 발명의 다양한 실시예들에서 상기 제1 데이터베이스 보다 상기 제2 데이터베이스가 메모리의 양이 작은 경우 상기 제2 데이터베이스가 캐시가 될 수 있으며, 상기 제1 데이터베이스 보다 상기 제2 데이터베이스가 메모리의 양이 큰 경우 상기 제1 데이터베이스가 캐시가 될 수 있다.

또한 본 발명의 다양한 실시예들에서 전자장치가 통신기능이 포함되어 사용자에 의해 직접적으로 사용되는 장치일 경우, 외부 전자장치는 서버가 될 수 있고, 상기 외부 전자장치가 통신기능이 포함되어 사용자에 의해 직접적으로 사용되는 장치일 경우, 상기 전자장치는 서버가 될 수 있다.

제1 메모리(116)는 프로세서(115)의 제어에 따라 통신부(112), RF부(113), 입력부(119), 카메라부(121), 센서부(122) 및 터치스크린 부로 사용되는 표시부(120)의 동작에 대응되게 입/출력되는 신호 또는 데이터를 저장할 수 있다. 제1 메모리(116)는 전자장치(100) 또는 프로세서(115)의 제어를 위한 제어 프로그램 및 어플리케이션들을 저장할 수 있다.

상기 제1 메모리(116)는 본 발명의 다양한 실시예들에 따라 제1 저장장치 또는 제2 저장장치 중 적어도 하나를 포함할 수 있으며, 상기 제1 저장장치는 캐시를 포함할 수 있고, 상기 제2 저장장치는 데이터베이스(DB)를 포함할 수 있다.

상기 제1 저장장치는 본 발명의 다양한 실시예들에 따라 디지털 이미지데이터가 저장될 수 있다. 상기 제1 저장장치와 상기 제2 저장장치는 입력 이미지데이터 상의 객체 인식을 위해 사용될 수 있다.

상기 제1 저장장치는 본 발명의 다양한 실시예들에 따라 입력 이미지데이터 상의 제1 객체와 관련된 제2 객체를 포함하는 레퍼런스 이미지데이터를 상기 제2 저장장치로부터 수신하여, 상기 제1 객체를 포함하는 입력 이미지데이터와 상기 제2 객체를 포함하는 레퍼런스 이미지데이터를 연관시켜서 저장할 수 있다. 상기 제1 저장장치에 저장된 입력 이미지데이터 상의 상기 제1 객체는 객체의 종류를 확인할 수 있는 제1 식별자를 포함하고, 상기 레퍼런스 이미지데이터 상의 상기 제2 객체는 상기 제1 식별자와 동일하거나 연관된 제2 식별자를 포함할 수 있다.

상기 제1 저장장치는 본 발명의 다양한 실시예들에 따라 휘발성 메모리인 캐시를 포함하거나 또는 비휘발성 메모리를 포함할 수 있다.

상기 제2 저장장치는 입력 이미지데이터 상의 객체의 종류를 확인할 수 있는 복수의 레퍼런스 이미지데이터가 저장되는 데이터베이스가 될 수 있다. 또한 상기 제2 저장장치는 상기 전자장치(100)의 외부에 존재할 수 있다.

제2 메모리(117)는 전자장치(100)에 인출 또는 인입될 수 있는 외부메모리로써, 프로세서(115)의 제어에 따라 통신부(112), RF부(113), 입력부(119), 카메라부(121), 센서부(122) 및 터치스크린 부로 사용되는 표시부(120)의 동작에 대응되게 입/출력되는 신호 또는 데이터를 저장할 수 있다.

오디오처리부(118)는 송신되는 신호를 부호화 및 변조하는 송신기 및 상기 수신되는 신호를 복조 및 복호화 하는 수신기 등을 구비할 수 있고, 모뎀(MODEM) 및 코덱(CODEC)으로 구성될 수 있다. 여기서 상기 코덱은 패킷데이터 등을 처리하는 데이터 코덱과 음성 등의 오디오 신호를 처리하는 오디오 코덱을 구비할 수 있다. 오디오처리부(118)는 상기 오디오 코덱에서 출력되는 수신 오디오신호를 스피커 또는 전자장치에 연결된 이어폰으로 출력하거나 또는 마이크 또는 수신기로부터 발생되는 송신 오디오신호를 오디오 코덱을 통해 프로세서(115)에게 전송할 수 있다.

입력부(119)는 터치스크린 부로 사용되는 표시부에 입력되는 사용자에 의한 터치입력과 터치 펜을 이용한 터치입력을 포함할 수 있다.

입력부(119)는 전자장치(100)의 제어를 위해 사용자로부터 키 입력을 수신할 수 있다. 입력부(119)는 전자장치(100)에 형성되는 물리적인 키패드(도시되지 아니함) 또는 터치스크린 부로 사용될 수 있는 표시부(120)에 표시되는 가상의 키패드(도시되지 아니함)를 포함할 수 있다. 전자장치(100)에 형성되는 물리적인 키패드(도시되지 아니함)는 전자장치(100)의 성능 또는 구조에 따라 제외될 수 있다.

표시부(120)는 LCD를 사용할 수 있으며, 이런 경우 상기 표시부(120)은 LCD제어부(LCD controller), 영상데이터를 저장할 수 있는 메모리 및 LCD표시소자 등을 구비할 수 있다. 여기서 상기 LCD를 터치스크린(touch screen) 방식으로 구현하는 경우, 입력부로 동작할 수도 있으며, 이때 상기 표시부(120)에는 가상의 키패드를 표시할 수 있다. 또한 상기 표시부(120)가 터치스크린 방식으로 구현됨에 따라, 터치스크린부로 사용될 경우, 상기 터치스크린 부는 복수의 센서패널을 포함하는 터치스크린패널(TSP: Touch Screen Panel)로 이루어지며, 상기 복수의 센서패널은 손 터치를 인식할 수 있는 정전 식 센서패널 및 터치펜과 같이 세밀한 터치를 감지할 수 있는 전자유도 센서패널을 포함할 수 있다.

카메라부(121)는 이미지 발생장치로써, 프로세서의 제어에 따라 정지이미지 또는 동영상을 촬영하는 제1 카메라 및 제2 카메라 중 적어도 하나를 포함할 수 있다. 또한, 제1 카메라 또는 제2 카메라는 촬영에 필요한 광량을 제공하는 보조 광원(예, 플래시(도시되지 아니함))을 포함할 수 있다. 제1 카메라는 전자장치(100) 전면에 배치되고, 제2 카메라는 전자장치의 후면에 배치될 수 있다. 달리 취한 방식으로, 제1 카메라와 제2 카메라는 인접(예, 제1 카메라와 제2 카메라의 간격이 1 cm 보다 크고, 8 cm 보다는 작은)하게 배치되어 3차원 정지이미지 또는 3차원 동영상을 촬영할 수 있다.

센서부(122)는 전자장치(100)의 상태를 검출하는 적어도 하나의 센서를 포함한다. 예를 들어, 센서부(122)는 전장장치(100)에 대한 접근여부를 검출하는 근접센서, 전자장치(100) 주변의 빛의 양을 검출하는 조도센서(도시되지 아니함), 또는 전자장치(100)의 동작(예, 전자장치(100)의 회전, 전자장치(100)에 가해지는 가속도 또는 진동)을 검출하는 모션센서(도시되지 아니함), 지구 자기장을 이용해 방위(point of the compass)를 검출하는 지자기 센서(Geo-magnetic Sensor, 도시되지 아니함), 중력의 작용 방향을 검출하는 중력 센서(Gravity Sensor), 대기의 압력을 측정하여 고도를 검출하는 고도계(Altimeter)를 포함할 수 있다. 적어도 하나의 센서는 상태를 검출하고, 검출에 대응되는 신호를 생성하여 프로세서(115)로 전송할 수 있다. 센서부(122)의 센서는 전자장치(100)의 성능에 따라 추가되거나 삭제될 수 있다.

도 2는 본 발명의 다양한 실시예들에 따른 증강현실(AR: Augmented Reality)시스템의 구성도이다.

상기 도 2를 참조하면, 상기 시스템은 AR처리부(210)와 AR컨텐츠 관리부(220)를 포함하는 AR부(200)를 포함할 수 있다.

상기 AR처리부(210)는 상기 시스템에 메인 부로서, 전자장치(100)에 포함된 카메라부, 미디어부, 오디오부 또는 센서부 중 적어도 하나로부터 입력데이터를 수신할 수 있다. 상기 AR처리부(210)는 상기 입력데이터에 대한 AR처리를 위해 전자장치(100)의 다른 구성부 예를 들어, 메모리, CPU 또는 GPU를 사용할 수 있다. 상기 AR처리부(210)는 상기 입력데이터에서 타켓을 인식하기 위해, 레퍼런스 데이터가 저장된 캐시(230), 로컬 레퍼런스DB(250) 또는 리모트 레퍼런스DB(270)를 이용하여, 상기 입력데이터를 처리하고 상기 입력데이터에 대한 처리결과 데이터를 상기 AR 컨텐츠 관리부(220)에게 출력할 수 있다.

상기 AR처리부(210)는 카메라부(121)로부터 수신되는 이미지데이터, 미디어부로부터 수신되는 동영상의 이미지데이터/오디오데이터 및 오디오부로부터 수신되는 오디오데이터를 증강현실을 위한 데이터로 처리할 수 있다. 상기 AR처리부(210)는 센서부(122)로부터 수신되는 센서데이터의 종류에 따라, 전자장치(100)의 움직임을 감지하여 전자장치(100)를 증강현실모드로 전환하거나 또는 증강현실모드에서 이미지데이터/ 오디오데이터를 출력하는 동한 진동이 발생될 수 있다.

상기 입력데이터의 처리결과 데이터는 상기 입력데이터의 타켓에 대한 인식정보와 로컬정보를 포함할 수 있다. 상기 로컬정보는 상기 타켓이 이미지데이터인 경우 2차원 또는/및 3차원 자세(pose)를 결정하기 위해 사용될 수 있으며, 상기 인식정보는 상기 타켓의 종류를 결정하기 위해 사용될 수 있다.

상기 AR 컨텐츠 관리부(220)는 상기 AR처리부(210)로부터 수신된 상기 입력데이터에 대한 처리결과 데이터를 기반으로, 로컬 컨텐츠DB(260) 또는 리모트 컨텐츠DB(280)에서 상기 입력데이터의 처리결과 데이터에 대응되는 컨텐츠를 검출하고, 상기 검출된 컨텐츠를 기반으로 상기 비디오/오디오 출력데이터를 구성하여 출력할 수 있다.

본 발명의 다양한 실시예들에서는 증강현실(AR: Augmented Reality)처리부가 카메라부를 통해 수신되는 입력 이미지데이터를 증강현실 이미지데이터로 제공하는 것을 일예로 설명할 수 있다.

도 3은 본 발명의 다양한 실시예들에 따른 증강현실(AR: Augmented Reality)처리부의 구성도이다.

상기 AR 처리부(210)는 인식부(Recognition)(311), 초기자세 계산부(312) 및 추적부(313)를 포함할 수 있다. 입력 이미지데이터는 상기 인식부(Recognition)(311) 또는 상기 추적부(Tracking)(313)로 출력될 수 있으며, 상기 인식부(Recognition)(311)와 상기 추적부(Tracking)(313)는 병렬로 수행될 수 있다.

상기 인식부(311)는 레퍼런스 이미지데이터에 적어도 부분적으로 기초하여, 상기 입력 이미지데이터 상의 객체의 종류를 확인할 수 있다. 상기 인식부(311)는 상기 객체의 인식을 위해 상기 전자장치(100)의 내부 저장장치 또는 외부 저장장치에 저장된 레퍼런스 이미지데이터를 이용할 수 있다. 예를 들어, 얼굴인식은 인증된 얼굴들의 인식과 서로 상이한 안면들의 인식을 위해, 외부 레퍼런스 얼굴 데이터베이스를 필요로 할 수 있다. 한편, QR 코드는 일반적으로, 데이터베이스에서 QR 코드를 인식하기 위해 일부 특정한 규칙들만을 필요로 하고 통상의 경우들에서는 동적으로 업데이트되지 않아도 되기 때문에, 전자장치의 내부 레퍼런스 데이터를 가질 수 있다.

상기 인식부(311)는 특징점 검출부(311a), 디스크립터 계산부(311b) 및 이미지 검색부(311c)를 포함할 수 있다.

상기 특징점 검출부(311a)는 상기 카메라부(121)로부터 입력 이미지데이터가 수신되는 경우, 상기 입력 이미지데이터에서 특징점을 검출할 수 있다. 상기 특징점 검출부(311a)는 상기 검출된 특징점들을 상기 디스크립터 계산부(311b)에게 전송할 수 있다.

상기 디스크립터 계산부(311b)는 상기 특징점 검출부(311a)로부터 수신된 상기 검출된 특징점을 이용하여 디스크립터를 계산하여 생성하고, 상기 생성된 디스크립터를 상기 이미지 검색부(311c)에게 전송할 수 있다.

상기 디스크립터 계산부(311b)는 본 발명의 다양한 실시예들에 따라 상기 특징점 검출부(311a)로부터 수신된 특징점들 중 이전 추적동작에 의해 이미 검출된 특징점들에 대해 마스킹을 수행하여 제거하고, 상기 검출된 특징점들 중 새롭게 검출된 특징점들에 대해서만 디스크립터를 계산하여 생성할 수 있다. 상기 디스크립터 계산부(311b)는 상기 새롭게 검출된 특징점들을 이용하여 계산된 디스크립터를 상기 이미지 검색부(311c)에게 전송할 수 있다.

상기 이미지 검색부(311c)는 상기 디스크립터 계산부(311b)로부터 수신된 상기 계산된 디스크립터를 이용하여, 로컬 레퍼런스DB(250) 또는 리모트 레퍼런스DB(270)에서 상기 입력 이미지데이터에 대응되는 레퍼런스 이미지데이터를 검출하고, 상기 검출된 적어도 하나의 레퍼런스 이미지데이터를 통해 상기 입력 이미지데이터 상의 객체를 인식할 수 있다.

상기 이미지 검색부(311c)는 본 발명의 다양한 실시예들에 따라 상기 디스크립터 계산부(311b)로부터 디스크립터가 수신되는 경우, 일정시간 이내에 상기 제1 저장장치의 업데이트가 발생되었으면, 상기 제1 저장장치에서 로드 된 적어도 하나의 레퍼런스 이미지데이터를 이용하여 상기 제1 입력 이미지데이터상의 제1 객체를 인식할 수 있다.

상기 이미지 검색부(311c)는 본 발명의 다양한 실시예들에 따라, 상기 제1 저장장치가 일정시간 이내에 업데이트되지 않았거나 또는 상기 제1 저장장치에서 상기 제1 입력 이미지데이터 상의 제1 객체를 인식할 수 있는 레퍼런스 이미지데이터가 검색되지 않는 경우, 제2 저장장치에서 상기 제1 입력 이미지데이터 상의 제1 객체와 관련된 제2 객체를 포함하는 레퍼런스 이미지데이터를 검출할 수 있다. 상기 이미지 검색부(311c) 상기 제1 저장장치에 상기 제1 객체를 포함하는 입력 이미지데이터와 상기 제2 객체를 포함하는 레퍼런스 이미지데이터를 연관시켜서 저장할 수 있다.

상기 이미지 검색부(311c)는 본 발명의 다양한 실시예들에 따라, 상기 제1 입력 이미지데이터에 대한 디스크립터 수신 이후 제2 입력 이미지데이터에 대한 디스크립터가 수신되는 경우, 상기 제1 저장장치에 저장된 상기 제1 객체를 포함하는 상기 제 1 입력 이미지데이터와 상기 제2 객체를 포함하는 레퍼런스 이미지데이터 중 적어도 하나를 상기 제2 입력 이미지데이터 상의 객체 인식을 위해 사용할 수 있다.

상기 초기자세 계산부(312)는 상기 입력 이미지데이터에서 특징점 검출을 통해 확인된 객체에 대한 초기 자세(pose)를 계산할 수 있다.

상기 초기자세 계산부(312)는 특징점 매칭부(312a)와 초기자세 추정부(312b)를 포함할 수 있다.

상기 특징점 매칭부(312a)는 상기 인식부(311)로부터 수신된 상기 계산된 디스크립터를 이용하여 상기 특징점에 대한 매칭동작을 수행하고, 상기 특징점에 대한 매칭정보를 상기 초기자세 추정부(312b)로 전송할 수 있다.

상기 특징점 매칭부(312a)는 상기 인식부(311)의 상기 이미지 검색부(311b)에서 상기 제1 입력 이미지데이터 상의 제1 객체를 인식하기 위해 상기 제1 저장장치로부터 적어도 하나의 레퍼런스 이미지데이터가 검출되면, 상기 적어도 하나의 레퍼런스 이미지데이터들 중 상기 입력 이미지데이터의 특징점과 매칭도가 높은 레퍼런스 이미지데이터를 검출할 수 있다. 상기 특징점 매칭부(312a)는 상기 검출된 레퍼런스 이미지데이터의 특징점들과 상기 제1 입력 이미지데이터의 특징점들 중 매칭되지 않는 특징점에 대한 정보를 삭제할 수 있다. 상기 특징점 매칭부(312a)에서 수행되는 상기 검출된 레퍼런스 이미지데이터의 특징점들과 상기 제1 입력 이미지데이터의 특징점들 중 매칭되지 않는 특징점에 대한 정보를 삭제는 Geometrical constrains을 적용한 RRANSAC 또는 PROSAC을 이용할 수 있다.

상기 초기자세 추정부(312b)는 상기 특징점 매칭부(312a)로부터 수신된 특징정에 대한 매칭정보를 통해, 상기 입력 이미지데이터의 객체에 대한 초기자세를 추정할 수 있다.

상기 추적부(313)는 상기 카메라부를 통해 순서적으로 수신되는 적어도 하나의 입력 이미지데이터 각각에서 객체에 대한 자세변화를 동적으로 추적할 수 있다.

상기 추적부(313)는 상기 초기자세 계산부(312)로부터 상기 입력 이미지데이터의 객체에 대한 초기자세를 추정할 수 있는 초기정보를 획득하고, 이후 순서적으로 수신되는 상기 입력 이미지데이터 각각에서 상기 객체를 지속적으로 추적(tracking)하여, 상기 객체에 대한 자세(pose) 변화를 동적으로 계산할 수 있다. 상기 추적부(313)는 순서적으로 수신되는 상기 입력 이미지데이터 각각에서 상기 객체의 종류를 나타내는 인식정보 및 상기 객체의 자세를 나타내는 로컬정보를 출력할 수 있다.

상기 추적부(313)는 자세 예측부(313a), 특징점 검출부(313b), 디스크립터 계산부(313c), 특징점 매칭부(313d) 및 자세 추정부(313e)를 포함할 수 잇다.

상기 자세 예측부(313a)는 이전에 입력된 적어도 하나의 입력 이미지데이터 각각에서 추정된 객체의 자세를 통해, 다음 입력 이미지데이터 상의 객체에 대한 자세를 예측할 수 있다.

상기 특징점 검출부(313b)는 상기 입력 이미지데이터의 객체에 대한 초기자세추정 이후 순서적으로 수신되는 입력 이미지데이터에서 특징점들을 검출하고, 상기 검출된 특징점들을 상기 디스크립터 계산부(313c)에게 전송할 수 있다.

상기 디스크립터 계산부(313c)는 상기 특징점 검출부(313b)로부터 수신된 상기 입력 이미지데이터의 특징점들을 이용하여 디스크립터를 계산하고, 상기 계산된 디스크립터를 상기 특징점 매칭부(313d)에게 전송할 수 있다.

상기 특징점 매칭부(313d)는 상기 디스크립터 계산부(313c)로부터 수신된 상기 계산된 디스크립터를 이용하여 특징점들에 대한 매칭동작을 수행하고, 상기 특징점에 대한 매칭정보를 자세 추정부(313e)에게 전송할 수 있다.

상기 자세 추정부(313e)는 상기 특징점 매칭부(313d)로부터 수신된 상기 특징점들에 대한 매칭정보를 이용하여, 순서적으로 수신된 적어도 하나의 입력 이미지데이터 각각에서 객체에 대한 자세변화를 동적으로 추정하고, 각 입력 이미지데이터 상의 객체의 종류를 나타내는 인식정보와 상기 객체의 자세를 나타내는 로컬정보를 출력할 수 있다.

본 발명의 다양한 실시예들에 따른 전자장치에서 프로세서에 포함 AR부가 AR처리를 수행하는 것으로 예를 들어 설명하고 있으나, 프로세서에서 AR부가 동일한 기능을 수행할 수 있다.

상기와 같은 전자장치에서 입력 이미지데이터 상의 객체를 빠르게 인식할 수 있는 동작을 도 4 -도 8을 통해 상세히 살펴본다.

도 4a - 도 4b는 본 발명의 다양한 실시예들에 따른 전자장치에서 입력 이미지데이터 상의 객체를 인식하는 동작을 도시한 흐름도이고, 도 5는 본 발명의 다양한 실시예들에 따른 전자장치에 입력 이미지데이터 상의 객체를 인식하는 동작에서 캐시의 로드 동작을 도시한 흐름도이며, 도 6은 본 발명의 다양한 실시예들에 따른 전자장치에 입력 이미지데이터 상의 객체를 인식하는 동작에서 캐시의 업데이트 동작을 도시한 흐름도이며, 도 7은 본 발명의 다양한 실시예들에 따른 전자장치에 입력 이미지데이터 상의 객체를 인식하는 동작에서 캐시의 업데이트 동작을 설명하기 위한 도면이다. 도 4 - 도 7에 따른 본 발명의 다양한 실시예들에서 입력 이미지데이터 상의 객체인식을 위해 사용되는 전자장치의 제1 저장장치 및 제2 저장장치 중 제1 저장장치를 캐시로 예를 들어 설명할 수 있다.

이하 본 발명의 다양한 실시예들을 도 1 - 도 3의 참조와 함께 상세히 설명한다.

상기 도 4a를 참조하면, 상기 전자장치(100)가 증강현실모드로 전환되는 경우, 401동작에서 상기 프로세서(115)는 캐시 로드조건에 따라 캐시 로드동작을 수행할 수 있다. 상기 캐시로드 동작을 상기 도 5을 참조하여 상세히 설명한다.

상기 도 5에서와 같이, 501동작에서 상기 프로세서(115)는 상기 전자장치에 미리 설정된 캐시 로드조건을 검출할 수 있다. 503동작에서 상기 프로세서(115)가 상기 캐시 로드 조건이 사용위치로 판단하는 경우, 상기 전자장치의가 위치된 현재 위치정보를 GPS와 같은 위치정보검출장치를 통해 검출할 수 있다. 505동작에서 상기 프로세서(115)는 상기 데이터베이스에 저장된 적어도 하나의 레퍼러스 이미지데이터 중 상기 전자장치의 현재위치에서 이전에 사용되었던 레퍼런스 이미지데이터만을 캐시에 로드할 수 있다.

507동작에서 상기 프로세서(115)가 상기 캐시 로드 조건이 사용시간으로 판단하는 경우, 508동작에서 상기 프로세서(115)는 데이터베이스에 저장된 복수의 레퍼런스 이미지데이터 중 현재 시간과 동일한 이전 시간에서 사용된 적어도 하나의 레퍼런스 이미지데이터를 상기 제1 저장장치에 로드 할 수 있다.

상기 도 5와 같은 동작을 통해 상기 캐시에 적어도 하나의 레퍼런스 이미지데이터가 로드되고, 상기 도 4a의 403동작에서 상기 프로세서(115)가 상기 카메라부(121)로부터 제1 입력 이미지데이터의 수신을 판단하면, 상기 제1 입력 이미지데이터를 상기 인식부(311)로 전송할 수 있다.

405동작에서 상기 인식부(311)의 특징점 검출부(311a)는 상기 제1 입력 이미지데이터에서 특징점을 검출하고, 상기 검출된 특징점을 상기 디스크립터 계산부(311b)로 전송할 수 있다.

407동작에서 상기 디스크립터 계산부(311b)는 수신된 상기 제1 입력 이미지데이터에 대한 특징점들 중 이전 추적동작에 의해 이미 검출된 특징점들이 존재하는지 판단할 수 있다. 상기 407동작에서 상기 디스크립터 계산부(311b)는 상기 제1 입력 이미지데이터에 대한 특징점들 중 이전 추적동작에 의해 이미 검출된 특징점들이 존재한다고 판단하는 경우, 409동작에서 상기 제1 입력 이미지데이터에 대한 특징점들 중 이미 검출된 특징점들에 대해 마스킹을 수행하여 제거할 수 있다. 411동작에서 상기 디스크립터 계산부(311b)는 상기 검출된 특징점들 중 새롭게 검출된 특징점들에 대해서만 디스크립터를 계산하여 생성할 수 있다. 그리고 상기 디스크립터 계산부(311b)는 상기 새롭게 검출된 특징점들을 이용하여 계산된 디스크립터를 상기 이미지 검색부(311c)에게 전송할 수 있다.

413동작에서 상기 이미지 검색부(311c)는 상기 캐시에 미리 설정된 일정시간 이내에 업데이트가 발생되었는지 판단할 수 있다. 상기 413동작에서 상기 이미지 검색부(311c)는 상기 캐시에 미리 설정된 일정시간 이내에 업데이트가 발생되었다고 판단하는 경우, 415동작에서 상기 이미지 검색부(311c)는 상기 캐시에 저장된 적어도 하나의 레퍼런스 이미지데이터를 이용하여 상기 제1 입력 이미지데이터 상의 제1 객체를 인식할 수 있다. 상기 415동작에서 상기 이미지 검색부(311c)는 상기 제1 입력 이미지데이터에 대한 디스크립터를 이용하여, 상기 캐시에 로드 된 적어도 하나의 레퍼런스 이미지데이터 중 상기 제1 입력 이미지데이터 상의 제1 객체와 관련된 제2 객체를 포함하는 적어도 하나의 레퍼런스 이미지데이터가 존재하는지 판단할 수 있다.

상기 415동작에서 상기 이미지 검색부(311c)는 상기 캐시에서 상기 제1 입력 이미지데이터 상의 제1 객체와 관련된 제2 객체를 포함하는 적어도 하나의 레퍼런스의 존재를 판단하는 경우, 417동작에서 상기 제2 객체를 포함하는 적어도 하나의 레퍼런스를 검출 할 수 있다. 상기 417동작에서 상기 이미지 검색부(311c)는 상기 검출된 적어도 하나의 레퍼런스에 대한 식별정보를 통해 상기 제1 입력 이미지데이터 상의 제1 객체를 인식할 수 있다. 예를 들어, 상기 검출된 적어도 하나의 레퍼런스에 대한 식별정보가 "AAA건물"인 경우, 상기 이미지 검색부(311c)는 상기 제1 입력 이미지데이터 상의 객체가 "AAA건물"임을 인식할 수 있다.

상기 413동작에서 상기 이미지 검색부(311c)는 상기 캐시에 미리 설정된 일정시간 이내에 업데이트가 발생되지 않았다고 판단하는 경우, 419동작에서 상기 제1 입력 이미지데이터의 변화량과 임계값을 비교할 수 있다. 상기 419동작에서 상기 이미지 검색부(311c)는 상기 제1 입력 이미지데이터의 변화량이 임계값 이상으로 판단하는 경우, 421동작에서 상기 제1 입력 이미지데이터에 대한 디스크립터를 이용하여, 상기 데이터베이스에 저장된 적어도 하나의 레퍼런스 이미지데이터 중 상기 제1 입력 이미지데이터 상의 제1 객체와 관련된 제2 객체를 포함하는 적어도 하나의 레퍼런스 이미지데이터를 검출할 수 있다. 423동작에서 상기 이미지 검색부(311c)는 상기 데이터베이스에서 검출된 상기 적어도 하나의 레퍼런스 이미지데이터를 상기 캐시에 저장하여 상기 캐시를 업데이트 시키고 상기 417동작을 동일하게 수행할 수 있다.

상기 419동작에서 상기 이미지 검색부(311c)는 상기 제1 입력 이미지데이터의 변화량이 임계값 이하로 판단하는 경우, 새로운 입력이미지데이터에 대한 디스크립터 수신을 대기할 수 있다.

또는 상기 415동작에서 상기 이미지 검색부(311c)는 상기 캐시에서 상기 제1 입력 이미지데이터 상의 제1 객체와 관련된 제2 객체를 포함하는 적어도 하나의 레퍼런스의 존재하지 않는다고 판단하는 경우, 상기 419동작 내지 상기 423동작을 동일하게 수행할 수 있다.

상기 데이터베이스에서 검출된 적어도 하나의 레퍼런스 이미지데이터를 상기 캐시에 업데이트 시키는 상기 423동작을 상기 도 6을 참조하여 상세히 설명한다.

상기 도 6에서와 같이, 601동작에서 상기 이미지 검색부(311c)는 캐시에 새로운 레퍼런스 이미지데이터 예를 들어, 상기 데이터베이스로부터 검출된 적어도 하나의 레퍼런스 이미지데이터의 저장을 판단할 수 있다. 상기 601동작에서 상기 이미지 검색부(311c)는 상기 캐시에 새로운 레퍼런스 이미지데이터의 저장을 판단하는 경우, 저장 이전에 603동작에서 상기 캐시의 용량을 확인할 수 있다.

상기 603동작에서 상기 이미지 검색부(311c)는 상기 캐시가 새로운 레퍼런스 이미지데이터를 저장하기에는 용량이 부족하다고 판단하는 경우, 607동작에서 상기 캐시에 저장된 레퍼런스 이미지데이터들 중 가장오래 저장된 레퍼런스 이미지데이터 또는 사용빈도가 가장적은 레퍼런스 이미지데이터를 삭제할 수 있다.

609동작에서 상기 이미지 검색부(311c)는 상기 캐시에 상기 새로운 레퍼런스 이미지데이터를 저장할 수 있다.

상기 도 6의 동작을 통해 캐시의 업데이트가 완료되면, 상기 도 4b의 425동작에서 상기 이미지 검색부(311c)는 상기 제1 입력 이미지데이터에 대한 디스크립터를 이용하여, 상기 제1 입력 이미지데이터 상의 제1 객체와 상기 검출된 적어도 하나의 레퍼런스 이미지데이터의 제2 객체를 비교할 수 있다.

상기 425동작에서 상기 이미지 검색부(311c)는 상기 제1 입력 이미지데이터의 제1 객체와 상기 검출된 적어도 하나의 레퍼런스 이미지데이터 각각에 대한 제2 객체가 일정부분 상이하다고 판단되면, 427동작에서 상기 제1 객체를 포함하는 상기 제1 입력이미지 데이터를 상기 캐시에 저장하여 업데이트 시킬 수 있다. 상기 427동작에서 상기 이미지 검색부(311c)는 상기 데이터베이스로부터 수신된 상기 제2 객체를 포함하는 레퍼런스 이미지데이터를 저장하고 있는 상기 캐시에, 상기 제1 객체를 포함하는 상기 제1 입력이미지 데이터를 상기 제1 객체와 관련된 상기 제2 객체를 포함하는 레퍼런스 이미지데이터와 연관된 새로운 레퍼런스 이미지데이터로 저장할 수 있다.

상기 이미지 검색부(311c)는 상기 제1 입력 이미지데이터에 대한 디스크립터 수신 이후 제2 입력 이미지데이터에 대한 디스크립터가 수신되는 경우, 상기 캐시에 저장된 상기 제1 객체를 포함하는 제1 입력 이미지데이터와 상기 제2 객체를 포함하는 적어도 하나의 레퍼러스 이미지데이터를 중 적어도 하나를 이용하여 상기 제2 입력 이미지데이터 의 객체를 인식할 수 있다.

상기 도 7a에서는 제1 입력이미지 데이터 상의 제1 객체를 도시하고 있으며, 상기 도 7b에서는 상기 캐시에서 검출된 상기 제1 객체와 관련된 제2 객체("AAA건물")를 포함하는 레퍼런스 이미지데이터를 도시하고 있다. 상기 도 7b와 같은 상기 제2 객체("AAA건물")를 포함하는 레퍼런스 이미지데이터의 식별정보를 통해, 상기 이미지 검색부(311c)는 상기 도 7a와 같은 제1 입력이미지 데이터 상의 제1 객체가 "AAA건물"임을 인식할 수 있다. 상기 도 7a와 같은 제1 입력이미지 데이터 상의 제1 객체와 상기 도 7b와 같은 상기 레퍼런스 이미지데이터 상의 제2 객체는 동일한 객체("AAA건물")이기는 하나, 일정부분 상이한 부분을 보이고 있다. 상기 이미지 검색부(311c)는 상기 데이터베이스로부터 수신된 도 7b와 같은 상기 레퍼런스 이미지데이터 상의 제2 객체가 저장된 상기 캐시에서, 상기 도 7a와 같은 제1 입력이미지 데이터 상의 제1 객체를 새로운 레퍼런스 이미지데이터로 저장할 수 있다.

429동작에서 상기 초기 자세계산부(312)의 특징점 매칭부(312a)는 상기 제1상기 입력 이미지데이터에 대한 디스크립터를 이용하여, 상기 417동작에서 검출된 상기 적어도 하나의 레퍼런스 이미지데이터 중 상기 제1 입력 이미지와 특징점에 대하 매칭도 가장 높은 레퍼런스 이미지데이터를 검출할 수 있다.

431동작에서 상기 특징점 매칭부(312a)는 상기 제1 입력 이미지데이터의 특징점들 중 상기 검출된 레퍼런스 이미지데이터의 특징점들과 매칭되지 않는 특징점에 대한 정보를 삭제할 수 있다. 상기 특징점 매칭부(312a)에서 수행되는 상기 제1 입력 이미지데이터의 특징점들 중 상기 검출된 레퍼런스 이미지데이터의 특징점들과 매칭되지 않는 특징점에 대한 정보삭제는 Geometrical constrains을 적용한 RRANSAC 또는 PROSAC을 이용할 수 있다. 그리고 상기 초기자세 추정부(312b)는 상기 특징점 매칭부(312a)로부터 수신된 특징점에 대한 매칭정보를 통해, 상기 입력 이미지데이터의 객체에 대한 초기자세를 추정할 수 있다.

433동작에서 상기 추적부(313)는 상기 카메라부(121)를 통해 순서적으로 수신되는 적어도 하나의 입력 이미지데이터 각각에서 객체에 대한 자세변화를 동적으로 추적할 수 있다.

도 8a - 도 8b는 본 발명의 다양한 실시예들에 따라 외부 전자장치를 이용하여 전자장치에 수신된 입력 이미지데이터 상의 객체를 인식하는 동작을 도시한 흐름도이다.

상기 도 8a - 도 8b에 따른 본 발명의 다양한 실시예들에서 외부 전자장치를 서버로 예를 들어 설명하고, 입력 이미지데이터 상의 객체인식을 위해 사용되는 상기 외부 전자장치에서 제1 데이터베이스와 제2 데이터베이스 중 상기 제2 데이터베이스를 캐시로 예를 들어 설명할 수 있다.

이하 본 발명의 다양한 실시예들을 도 1 - 도 3의 참조와 함께 상세히 설명한다.

상기 도 8a - 도 8b를 참조하면, 801동작에서 전자장치(100)의 프로세서(115)는 카메라부(121)를 통해 제1 입력 이미지데이터의 수신을 판단할 수 있다. 상기 801동작에서 상기 프로세서(115)가 상기 제1 입력 이미지데이터의 수신을 판단하는 경우, 상기 제1 입력이미지데이터 또는 상기 서버의 캐시 로드조건 정보 중 적어도 하나를 서버(300)에게 전송할 수 있다.

805동작에서 상기 서버(300)의 프로세서는 상기 전자장치(100)로부터 상기 제1 입력 이미지데이터 또는 상기 서버의 캐시로드 조건정보의 적어도 하나의 수신을 판단할 수 있다. 상기 805동작에서 상기 서버(300)의 프로세서가 상기 전자장치(100)로부터 상기 제1 입력 이미지데이터 또는 상기 서버의 캐시 로드조건 정보의 적어도 하나의 수신을 판단하는 경우, 807동작에서 상기 수신된 캐시 로드조건 정보에 따라 상기 캐시에 레퍼런스 이미지 데이터를 로드할 수 있다. 상기 807동작에서 상기 서버(300)의 프로세서는 상기 캐시 로드 조건(예를 들어, 사용자 식별자(identification, ID), 사용위치, 사용시간등)에 따라 상기 서버의 데이터베이스에 저장된 적어도 하나의 레퍼런스 이미지데이터에서 상기 캐시 로드조건에 대응되는 적어도 하나의 레퍼런스 이미지데이터만을 검출하여 저장할 수 있다.

809동작에서 상기 서버(300)의 프로세서는 상기 수신된 제1 입력 이미지데이터에 특징점을 검출하고, 상기 검출된 특징점을 이용하여 상기 제1 입력 이미지데이터에 대한 디스크립터를 계산하여 생성할 수 있다.

811동작에서 상기 서버(300)의 프로세서는 상기 서버의 캐시에 로드 된 적어도 하나의 레퍼런스 이미지데이터를 이용하여 상기 제1 입력 이미지데이터 상의 제1 객체를 인식할 수 있다. 상기 811동작에서 상기 서버(300)의 프로세서는 상기 제1 입력 이미지데이터에 대한 디스크립터를 이용하여, 상기 캐시에 로드 된 적어도 하나의 레퍼런스 이미지데이터 중 상기 제1 입력 이미지데이터 상의 제1 객체와 관련된 제2 객체를 포함하는 적어도 하나의 레퍼런스 이미지데이터가 존재하는지 판단할 수 있다.

상기 811동작에서 상기 서버(300)의 프로세서는 상기 캐시에서 상기 제1 입력 이미지데이터 상의 제1 객체와 관련된 제2 객체를 포함하는 적어도 하나의 레퍼런스의 존재를 판단하는 경우, 813동작에서 상기 제2 객체를 포함하는 적어도 하나의 레퍼런스를 검출 할 수 있다. 상기 813동작에서 상기 서버(300)의 프로세서는 상기 검출된 적어도 하나의 레퍼런스에 대한 식별정보를 통해 상기 제1 입력 이미지데이터 상의 제1 객체를 인식할 수 있다.

상기 811동작에서 상기 서버(300)의 프로세서는 상기 캐시에서 상기 제1 입력 이미지데이터 상의 제1 객체와 관련된 제2 객체를 포함하는 적어도 하나의 레퍼런스의 존재하지 않는다고 판단하는 경우, 815동작에서 상기 제1 입력 이미지데이터의 변화량과 임계 값을 비교할 수 있다. 상기 815동작에서 상기 서버(300)의 프로세서는 상기 제1 입력 이미지데이터의 변화량이 임계값 이상으로 판단하는 경우, 817동작에서 상기 제1 입력 이미지데이터에 대한 디스크립터를 이용하여, 상기 서버의 데이터베이스에 저장된 적어도 하나의 레퍼런스 이미지데이터 중 상기 제1 입력 이미지데이터 상의 제1 객체와 관련된 제2 객체를 포함하는 적어도 하나의 레퍼런스 이미지데이터를 검출할 수 있다. 819동작에서 상기 서버(300)의 프로세서는 상기 서버의 데이터베이스에서 검출된 상기 적어도 하나의 레퍼런스 이미지데이터를 상기 서버의 캐시에 저장하여 상기 캐시를 업데이트 시키고 상기 813동작을 동일하게 수행할 수 있다.

상기 815동작에서 상기 서버(300)의 프로세서는 상기 제1 입력 이미지데이터의 변화량이 임계값 이하로 판단하는 경우, 상기 전자장치(100)로부터 새로운 입력이미지데이터에 대한 디스크립터 수신을 대기할 수 있다.

821동작에서 상기 서버(300)의 프로세서는 상기 813동작에서 인식된 제1 입력 이미지데이터 상의 제1 객체정보를 상기 전자장치(100)에게 전송할 수 있다.

823동작에서 상기 서버(300)의 프로세서는 상기 제1 입력 이미지데이터에 대한 디스크립터를 이용하여, 상기 제1 입력 이미지데이터 상의 제1 객체와 상기 검출된 적어도 하나의 레퍼런스 이미지데이터의 제2 객체를 비교할 수 있다.

상기 823동작에서 상기 서버(300)의 프로세서는 상기 제1 입력 이미지데이터의 제1 객체와 상기 검출된 적어도 하나의 레퍼런스 이미지데이터 각각에 대한 제2 객체가 일정부분 상이하다고 판단되면, 825작에서 상기 제1 객체를 포함하는 상기 제1 입력이미지 데이터를 상기 캐시에 저장하여 업데이트 시킬 수 있다. 상기 825동작에서 상기 서버(300)의 프로세서는 상기 서버의 데이터베이스로부터 수신된 상기 제2 객체를 포함하는 레퍼런스 이미지데이터를 저장하고 있는 상기 서버의 캐시에, 상기 제1 객체를 포함하는 상기 제1 입력이미지 데이터를 상기 제1 객체와 관련된 상기 제2 객체를 포함하는 레퍼런스 이미지데이터와 연관된 새로운 레퍼런스 이미지데이터로 저장할 수 있다.

상기 서버(300)의 프로세서는 상기 제1 입력 이미지데이터 이후 상기 전자장치(100)로부터 제2 입력 이미지데이터가 수신되는 경우, 상기 서버의 캐시에 저장된 상기 제1 객체를 포함하는 제1 입력 이미지데이터와 상기 제2 객체를 포함하는 적어도 하나의 레퍼러스 이미지데이터를 중 적어도 하나를 이용하여 상기 제2 입력 이미지데이터의 객체를 인식할 수 있다.

상기 서버(300)로부터 제1 입력이미지데이터 상의 제1 객체를 인식할 수 있는 정보가 수신된 경우, 827동작에서 상기 전자장치(100)의 초기자세 계산부(312)는 상기 제1 입력이미지데이터에 대한 초기자세를 추정활 수 있다. 그리고 831동작에서 상기 전자장치(100)의 추적부(313)는 상기 카메라부(121)를 통해 순서적으로 수신되는 적어도 하나의 입력 이미지데이터 각각에서 객체에 대한 자세변화를 동적으로 추적할 수 있다. 상기 827동작 및 상기 831동작을 상기 서버의 프로세서에 의해서도 수행될 수 있다.

본 발명의 다양한 실시예들에 따른 전자장치 및 전자장치의 객체인식 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 기록매체의 예로는 ROM, RAM, 광학 디스크, 자기 테이프, 플로피 디스크, 하드 디스크, 비휘발성 메모리 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (20)

1. 전자 장치에 있어서,
   제1 저장 장치; 및
   프로세서를 포함하며, 상기 프로세서는,
   상기 전자 장치의 현재 위치 또는 현재 시간 중 적어도 하나에 기반하여, 상기 제1 저장 장치의 로드 조건을 확인하고,
   제2 저장 장치에 저장된 복수의 레퍼런스 이미지 데이터 중에서, 상기 제1 저장 장치의 로드 조건을 만족하는 하나 이상의 레퍼런스 이미지 데이터를 상기 제1 저장 장치에 로드하고,
   상기 제1 저장 장치에 로드 된 상기 하나 이상의 레퍼런스 이미지 데이터를 사용하여, 제1 이미지 데이터 상의 제1 객체를 확인하고,
   상기 제1 저장 장치에 로드 된 상기 하나 이상의 레퍼런스 이미지 데이터 중에서, 상기 제1 객체와 관련된 제2 객체를 포함하는 적어도 하나의 레퍼런스 이미지 데이터를 확인하고,
   상기 제1 객체를 포함하는 제1 이미지 데이터 및 상기 제1 객체와 관련된 상기 제2 객체를 포함하는 상기 적어도 하나의 레퍼런스 이미지 데이터를 상기 제1 저장 장치에 저장하고,
   상기 제1 저장 장치에 저장된, 상기 제1 객체를 포함하는 상기 제1 이미지 데이터 및 상기 제1 객체와 관련된 상기 제2 객체를 포함하는 상기 적어도 하나의 레퍼런스 이미지 데이터 중 하나 이상을 제2 이미지 데이터 상의 객체를 확인하기 위하여 사용하도록 구성된 것을 특징으로 하는 전자 장치.
   
2. 제1항에 있어서,
   상기 프로세서는,
   상기 제1 객체를 포함하는 상기 제1 이미지 데이터 및 상기 제1 객체와 관련된 상기 제2 객체를 포함하는 상기 적어도 하나의 레퍼런스 이미지 데이터를 연관(association)시켜서 상기 제1 저장 장치에 저장하도록 구성된 것을 특징으로 하는 전자 장치.
   
3. 제2항에 있어서,
   상기 제1 객체는 제1 식별자(identifier)를 포함하며,
   상기 제2 객체는 상기 제1 식별자와 동일하거나, 상기 제1 식별자에 연관되는 제2 식별자를 포함하는 것을 특징으로 하는 전자 장치.
   
4. 제1항에 있어서,
   상기 제1 저장 장치는 비휘발성 메모리를 포함하는 것을 특징으로 하는 전자 장치.
   
5. 제1항에 있어서,
   상기 제2 저장 장치는 상기 전자 장치의 외부에 위치하는 것을 특징으로 하는 전자 장치.
   
6. 제1항에 있어서,
   상기 제2 저장 장치는 상기 전자 장치의 내부에 위치하는 것을 특징으로 하는 전자 장치.
   
7. 제1항에 있어서,
   상기 전자 장치는 이미지 발생 장치를 더 포함하며,
   상기 이미지 발생 장치는 상기 제1 객체를 포함하는 상기 제1 이미지 데이터를 발생시키도록 구성되는 것을 특징으로 하는 전자 장치.
   
8. 전자 장치에 있어서,
   프로세서를 포함하며,
   상기 프로세서는,
   제1 데이터베이스를 포함하는 외부 전자 장치로 제1 이미지 데이터를 전송하고, 상기 제1 데이터베이스는 복수의 레퍼런스 이미지 데이터를 포함하고,
   상기 전자 장치의 현재 위치 또는 현재 시간 중 적어도 하나에 기반하여, 상기 제1 데이터베이스보다 작은 제2 데이터베이스의 로드 조건을 확인하고, 상기 제2 데이터베이스의 로드 조건에 대한 정보를 상기 외부 전자 장치에 전송하도록 구성되고,
   상기 제2 데이터베이스의 로드 조건에 대한 정보는, 상기 외부 전자 장치가, 상기 제1 데이터베이스에 저장된 상기 복수의 레퍼런스 이미지 데이터 중에서 상기 제2 데이터베이스의 로드 조건을 만족하는, 하나 이상의 레퍼런스 이미지 데이터를 상기 제2 데이터베이스에 로드하고, 상기 제2 데이터베이스에 로드 된 상기 하나 이상의 레퍼런스 이미지 데이터를 사용하여, 상기 제1 이미지 데이터 상의 제1 객체를 확인하기 위해 사용되는 것을 특징으로 하는 전자 장치.
   
9. 전자 장치에 있어서,
   프로세서를 포함하며,
   상기 프로세서는,
   외부 전자 장치로부터 제1 이미지 데이터 및 제1 데이터베이스(user database)의 로드 조건에 대한 정보(information)를 수신하고, 상기 제1 데이터베이스의 로드 조건은, 상기 외부 전자 장치의 현재 위치 또는 현재 시간 중 적어도 하나에 기반하여 확인되고,
   상기 제1 데이터베이스보다 큰 제2 데이터베이스에 저장된 복수의 레퍼런스 이미지 데이터 중에서, 상기 제1 데이터베이스의 로드 조건을 만족하는 하나 이상의 레퍼런스 이미지 데이터를 상기 제1 데이터베이스에 로드하고,
   상기 제1 데이터베이스에 로드 된 상기 하나 이상의 레퍼런스 이미지 데이터를 사용하여, 상기 제1 이미지 데이터 상의 제1 객체를 확인하고,
   상기 제1 데이터베이스에 로드 된 상기 하나 이상의 레퍼런스 이미지 데이터 중에서, 상기 제1 객체와 관련된 제2 객체를 포함하는 적어도 하나의 레퍼런스 이미지 데이터를 확인하고,
   상기 제1 객체를 포함하는 상기 제1 이미지 데이터 및 상기 제1 객체와 관련된 상기 제2 객체를 포함하는 상기 적어도 하나의 레퍼런스 이미지 데이터를 상기 제1 데이터베이스에 저장하고,
   상기 제1 데이터베이스에 저장된, 상기 제1 객체를 포함하는 상기 제1 이미지 데이터 및 상기 제1 객체와 관련된 상기 제2 객체를 포함하는 상기 적어도 하나의 레퍼런스 이미지 데이터 중 하나 이상을 제2 이미지 데이터 상의 객체를 확인하기 위하여 사용하도록 구성된 것을 특징으로 하는 전자 장치.
   
10. 제9항에 있어서,
    상기 제1 데이터베이스(user database)를 지시하는 정보는 사용자 식별자 (identification, ID)를 포함하는 것을 특징으로 하는 전자 장치.
    
11. 전자 장치의 객체 식별 방법에 있어서,
    상기 전자 장치의 현재 위치 또는 현재 시간 중 적어도 하나에 기반하여, 상기 전자 장치의 제1 저장 장치의 로드 조건을 확인하는 동작;
    제2 저장 장치에 저장된 복수의 레퍼런스 이미지 데이터 중에서, 상기 제1 저장 장치의 로드 조건을 만족하는 하나 이상의 레퍼런스 이미지 데이터를 상기 제1 저장 장치에 로드하는 동작;
    상기 제1 저장 장치에 로드 된 상기 하나 이상의 레퍼런스 이미지 데이터를 사용하여, 제1 이미지 데이터 상의 제1 객체를 확인하는 동작;
    상기 제1 저장 장치에 로드 된 상기 하나 이상의 레퍼런스 이미지 데이터 중에서, 상기 제1 객체와 관련된 제2 객체를 포함하는 적어도 하나의 레퍼런스 이미지 데이터를 확인하는 동작;
    상기 제1 객체를 포함하는 상기 제1 이미지 데이터 및 상기 제1 객체와 관련된 상기 제2 객체를 포함하는 상기 적어도 하나의 레퍼런스 이미지 데이터를 상기 제1 저장 장치에 저장하는 동작; 및
    상기 제1 저장 장치에 저장된 상기 제1 객체를 포함하는 상기 제1 이미지 데이터 및 상기 제1 객체와 관련된 상기 제2 객체를 포함하는 상기 적어도 하나의 레퍼런스 이미지 데이터 중 하나 이상을 제2 이미지 데이터 상의 객체를 확인을 위하여 사용하는 동작을 포함하는 것을 특징으로 하는 전자 장치의 객체 식별 방법.
    
12. 제11항에 있어서,
    상기 제1 객체를 포함하는 상기 제1 이미지 데이터 및 상기 제1 객체와 관련된 상기 제2 객체를 포함하는 상기 적어도 하나의 레퍼런스 이미지 데이터를 연관(association)시켜서 상기 제1 저장 장치에 저장하는 동작을 포함하는 것을 특징으로 하는 전자 장치의 객체 식별 방법.
    
13. 제12항에 있어서,
    상기 제1 객체는 제1 식별자(identifier)를 포함하고,
    상기 제2 객체는 상기 제1 식별자와 동일하거나, 상기 제1 식별자에 연관되는 제2 식별자를 포함하는 것을 특징으로 하는 전자 장치의 객체 식별 방법.
    
14. 제11항에 있어서,
    상기 제1 저장 장치는 비휘발성 메모리를 포함하는 것을 특징으로 하는 전자 장치의 객체 식별 방법.
    
15. 제11항에 있어서,
    상기 제2 저장 장치는 상기 전자 장치의 외부에 위치하는 것을 특징으로 하는 전자 장치의 객체 식별 방법.
    
16. 제11항에 있어서,
    상기 제2 저장 장치는 상기 전자 장치의 내부에 위치하는 것을 특징으로 하는 전자 장치의 객체 식별 방법.
    
17. 제11항에 있어서,
    상기 제1 객체를 포함하는 상기 제1 이미지 데이터는 상기 전자 장치의 이미지 발생 장치로부터 발생되는 것을 특징으로 하는 전자 장치의 객체 식별 방법.
    
18. 전자 장치의 객체 식별 방법에 있어서,
    제1 데이터베이스를 포함하는 외부 전자 장치에 제1 이미지 데이터를 전송하는 동작, 상기 제1 데이터베이스는 복수의 레퍼런스 이미지 데이터를 포함하고; 및
    상기 전자 장치의 현재 위치 또는 현재 시간 중 적어도 하나에 기반하여, 상기 제1 데이터베이스보다 작은 제2 데이터베이스의 로드 조건을 확인하고 상기 제2 데이터베이스의 로드 조건에 대한 정보를 상기 외부 전자 장치에 전송하는 동작을 포함하고,
    상기 제2 데이터 베이스의 로드 조건에 대한 정보는, 상기 외부 전자 장치가, 상기 제1 데이터베이스에 저장된 상기 복수의 레퍼런스 이미지 데이터 중에서 상기 제2 데이터베이스의 로드 조건을 만족하는, 하나 이상의 레퍼런스 이미지 데이터를 상기 제2 데이터베이스에 로드하고, 상기 제2 데이터베이스에 로드 된 상기 하나 이상의 레퍼런스 이미지 데이터를 사용하여, 상기 제1 이미지 데이터 상의 제1 객체를 확인하기 위해 사용되는 것을 특징으로 하는 전자 장치의 객체 식별 방법.
    
19. 전자 장치의 객체 식별 방법에 있어서,
    외부 전자 장치로부터 제1 이미지 데이터 및 제1 데이터베이스(user database) 의 로드 조건에 대한 정보(information)를 수신하는 동작, 상기 제1 데이터베이스의 로드 조건은, 상기 외부 전자 장치의 현재 위치 또는 현재 시간 중 적어도 하나에 기반하여 확인되고;
    상기 제1 데이터베이스보다 큰 제2 데이터베이스에 저장된 복수의 레퍼런스 이미지 데이터 중에서, 상기 제1 데이터베이스의 로드 조건을 만족하는 하나 이상의 레퍼런스 이미지 데이터를 상기 제1 데이터베이스에 로드하는 동작;
    상기 제1 데이터베이스에 로드 된 상기 하나 이상의 레퍼런스 이미지 데이터를 사용하여, 상기 제1 이미지 데이터 상의 제1 객체를 확인하는 동작;
    상기 제1 데이터베이스에 로드 된 하나 이상의 레퍼런스 이미지 데이터 중에서, 상기 제1 객체와 관련된 제2 객체를 포함하는 적어도 하나의 레퍼런스 이미지 데이터를 확인하는 동작;
    상기 제1 객체를 포함하는 상기 제1 이미지 데이터 및 상기 제1 객체와 관련된 상기 제2 객체를 포함하는 상기 적어도 하나의 레퍼런스 이미지 데이터를 상기 제1 데이터베이스에 저장하는 동작; 및
    상기 제1 데이터베이스에 저장된, 상기 제1 객체를 포함하는 상기 제1 이미지 데이터 및 상기 제1 객체와 관련된 상기 제2 객체를 포함하는 상기 적어도 하나의 레퍼런스 이미지 데이터 중 하나 이상을 제2 이미지 데이터 상의 객체를 확인하기 위하여 사용하는 동작을 포함하는 것을 특징으로 하는 전자 장치의 객체 식별 방법.
    
20. 제19항에 있어서,
    상기 제1 데이터베이스(user database)의 로드 조건에 관한 정보는 사용자 식별자 (identification, ID)를 포함하는 것을 특징으로 하는 전자 장치의 객체 식별 방법.

Images