KR102007840B1

KR102007840B1 - 이미지 검색 방법 및 이를 위한 디지털 디바이스

Info

Publication number: KR102007840B1
Application number: KR1020120088234A
Authority: KR
Inventors: 김호수; 고유리나; 임채성
Original assignee: 엘지전자 주식회사
Priority date: 2012-04-13
Filing date: 2012-08-13
Publication date: 2019-08-06
Also published as: KR20130116148A

Abstract

본 발명은 타 애플리케이션에 의해 디스플레이 되는 컨텐츠에서 이미지 오브젝트를 추출하고, 상기 이미지 오브젝트에 대한 검색 결과를 제공하는 IA(Intelligent Agent) 애플리케이션 및 이를 이용한 이미지 검색 방법에 관한 발명이다.
이를 위해 본 발명은, 적어도 하나의 이미지 오브젝트를 포함하는 컨텐츠를 디스플레이 하는 제 1 애플리케이션을 구동하는 단계, 상기 제 1 애플리케이션이 디스플레이 하는 컨텐츠에 포함된 이미지 오브젝트의 이미지 검색 결과를 제공하기 위한 제 2 애플리케이션을 구동하는 단계, 상기 제 2 애플리케이션을 통해, 상기 제 1 애플리케이션 상에 디스플레이 되는 상기 컨텐츠에서 적어도 하나의 이미지 오브젝트를 추출하는 단계, 상기 제 2 애플리케이션을 통해, 상기 추출된 적어도 하나의 이미지 오브젝트에 각각 대응하는 적어도 하나의 오브젝트 인터페이스를 상기 제 1 애플리케이션 상에 제공하는 단계, 상기 적어도 하나의 오브젝트 인터페이스 중 특정 오브젝트 인터페이스를 선택하는 유저 입력을 수신하는 단계, 상기 유저 입력에 의해 선택된 특정 오브젝트 인터페이스에 대응하는 이미지 오브젝트의 검색 결과를 디스플레이 하는 단계를 포함하는 것을 특징으로 하는 이미지 검색 방법을 제공한다.

Description

이미지 검색 방법 및 이를 위한 디지털 디바이스{A Method for Image Searching and a Digital Device Operating the Same}

본 발명은 이미지 검색 방법 및 이를 위한 디지털 디바이스에 관한 것으로서, 더욱 상세하게는 타 애플리케이션에 의해 디스플레이 되는 컨텐츠에서 이미지 오브젝트를 추출하고, 상기 이미지 오브젝트에 대한 검색 결과를 제공하는 IA(Intelligent Agent) 애플리케이션의 구동 방법에 관한 발명이다.

오늘날 멀티미디어 컨텐츠는 텍스트, 이미지, 비디오, 오디오 등의 데이터가 통합된 다양한 형태의 디지털 컨텐츠를 포함한다. 이러한 디지털 컨텐츠의 상당수는 이미지 데이터를 포함하며, 상기 이미지 데이터는 디지털 디바이스의 디스플레이 유닛을 통해 디스플레이 될 수 있다. 멀티미디어 기술의 발달로 인해, 유저는 기존의 텍스트 데이터만을 갖는 컨텐츠 보다는 이미지 데이터를 포함하는 컨텐츠를 이용하는 빈도가 점점 높아지고 있다. 그러나 유저는 이러한 멀티미디어 컨텐츠에서 이미지 데이터에 관련된 정보를 제공받기가 불편하곤 하였다. 예를 들어, 유저가 이미지 데이터의 특정 오브젝트에 관련된 정보를 얻고자 할 경우 해당 오브젝트에 대한 키워드를 별도로 알아내거나 이를 입력해야 하는 불편함이 있었다.

이러한 불편함을 해소하기 위해, 이미지 검색을 위한 다양한 애플리케이션들이 개발되어 있다. 이미지 검색이란, 기존의 키워드 검색에서 텍스트 형태의 키워드에 대응하는 정보를 검색하는 것과 달리, 대상 이미지에 대응하는 정보를 검색하는 기술을 말한다. 이미지 검색 애플리케이션은 검색 대상 이미지를 분석하고, 이와 유사한 이미지를 검색한 결과를 제공할 수 있다. 또한, 이미지 검색 애플리케이션은 검색 대상 이미지를 기초로 하여 상기 검색 대상 이미지에 연관된 정보들을 검색하고 이를 제공할 수 있다.

한편, 디지털 컨텐츠의 종류 및 형태가 다양해 짐에 따라, 해당 디지털 컨텐츠를 실행하기 위한 다양한 애플리케이션들이 사용되고 있다. 따라서 유저는 이와 같이 다양한 애플리케이션을 통해 디지털 컨텐츠를 제공받으면서, 해당 디지털 컨텐츠에 포함된 이미지 데이터의 검색을 수행할 수 있는 직관적이고 간편한 방법이 필요하다.

본 발명은 이미지 오브젝트 기반의 검색을 수행하는 방법을 제공함으로, 디지털 컨텐츠에 포함된 이미지 데이터에 관련된 정보를 유저가 용이하게 제공 받을 수 있도록 하기 위한 목적을 가지고 있다.

특히, 본 발명은 유저가 다양한 애플리케이션을 통해 디지털 컨텐츠를 실행할 때에도, 해당 디지털 컨텐츠에 포함된 이미지 데이터에 관련된 정보에 용이하게 접근할 수 있도록 하는 직관적인 유저 인터페이스를 제공하기 위한 목적을 가지고 있다.

본 발명은 이미지 데이터에 포함된 복수의 이미지 오브젝트들 중 검색을 위한 이미지 오브젝트를 간편하게 선택할 수 있는 유저 인터페이스를 제공하기 위한 목적을 가지고 있다.

또한, 본 발명은 이미지 데이터에 포함된 복수의 이미지 오브젝트들 중 정보 검색이 가능한 이미지 오브젝트를 유저가 쉽게 인식할 수 있도록 하는 유저 인터페이스를 제공하기 위한 목적도 가지고 있다.

상기와 같은 문제를 해결하기 위해 본 발명은, 적어도 하나의 이미지 오브젝트를 포함하는 컨텐츠를 디스플레이 하는 제 1 애플리케이션을 구동하는 단계; 상기 제 1 애플리케이션이 디스플레이 하는 컨텐츠에 포함된 이미지 오브젝트의 이미지 검색 결과를 제공하기 위한 제 2 애플리케이션을 구동하는 단계; 상기 제 2 애플리케이션을 통해, 상기 제 1 애플리케이션 상에 디스플레이 되는 상기 컨텐츠에서 적어도 하나의 이미지 오브젝트를 추출하는 단계; 상기 제 2 애플리케이션을 통해, 상기 추출된 적어도 하나의 이미지 오브젝트에 각각 대응하는 적어도 하나의 오브젝트 인터페이스를 상기 제 1 애플리케이션 상에 제공하는 단계; 상기 적어도 하나의 오브젝트 인터페이스 중 특정 오브젝트 인터페이스를 선택하는 유저 입력을 수신하는 단계; 및 상기 유저 입력에 의해 선택된 특정 오브젝트 인터페이스에 대응하는 이미지 오브젝트의 검색 결과를 디스플레이 하는 단계; 를 포함하는 것을 특징으로 하는 이미지 검색 방법을 제공한다.

또한, 본 발명은 디지털 디바이스의 작동을 제어하는 프로세서; 상기 프로세서의 명령에 기초하여 서버와 데이터를 송/수신하는 커뮤니케이션 유닛; 및 상기 프로세서의 명령에 기초하여 영상을 출력하는 디스플레이 유닛을 포함하되, 상기 프로세서는, 적어도 하나의 이미지 오브젝트를 포함하는 컨텐츠를 디스플레이 하는 제 1 애플리케이션을 구동하고, 상기 제 1 애플리케이션이 디스플레이 하는 컨텐츠에 포함된 이미지 오브젝트의 이미지 검색 결과를 제공하기 위한 제 2 애플리케이션을 구동하고, 상기 제 2 애플리케이션을 통해, 상기 제 1 애플리케이션 상에 디스플레이 되는 상기 컨텐츠에서 적어도 하나의 이미지 오브젝트를 추출하고, 상기 제 2 애플리케이션을 통해, 상기 추출된 적어도 하나의 이미지 오브젝트에 각각 대응하는 적어도 하나의 오브젝트 인터페이스를 상기 제 1 애플리케이션 상에 제공하고, 상기 적어도 하나의 오브젝트 인터페이스 중 특정 오브젝트 인터페이스를 선택하는 유저 입력을 수신하고, 상기 유저 입력에 의해 선택된 특정 오브젝트 인터페이스에 대응하는 이미지 오브젝트의 검색 결과를 디스플레이 함을 특징으로 하는 디지털 디바이스를 제공한다.

본 발명의 실시예에 따른 이미지 검색 방법에 의하면, 이미지 검색을 위한 이미지 오브젝트를 선택할 수 있도록 하는 직관적이고 간편한 유저 인터페이스가 제공되며, 상기 유저 인터페이스를 통해 선택된 이미지 오브젝트에 대한 이미지 검색 결과가 제공 된다.

특히, 본 발명의 실시예에 따르면, 제 2 애플리케이션은 제 1 애플리케이션이 디스플레이 하는 컨텐츠에서 이미지 오브젝트를 추출하고, 각 이미지 오브젝트를 선택하기 위한 오브젝트 인터페이스를 제공한다. 따라서, 본 발명의 실시예예 따르면 제 1 애플리케이션이 각 이미지 오브젝트의 선택을 위한 별도의 인터페이스를 제공하지 않더라도, 유저는 제 2 애플리케이션이 제공하는 상기 오브젝트 인터페이스를 이용하여 검색을 위한 이미지 오브젝트를 선택할 수 있다.

본 발명의 다른 실시예에 따르면, 유저는 제 1 애플리케이션이 디스플레이 하는 컨텐츠에서 복수의 이미지 오브젝트를 선택할 수 있으며, 선택된 복수의 이미지 오브젝트의 조합에 대한 검색 결과를 제공 받을 수 있다.

또한, 본 발명의 실시예에 따르면, 제 1 애플리케이션이 디스플레이 하는 컨텐츠에서 검색 가능한 이미지 오브젝트를 미리 알려줌으로써, 검색 결과를 제공받을 수 없는 이미지 오브젝트에 대한 검색을 수행하는 불편함을 해소할 수 있다.

본 발명의 실시예에 따르면, 제 1 애플리케이션이 활성화 된 상태에서 제 1 애플리케이션이 디스플레이 하는 이미지 오브젝트의 검색 결과를 함께 제공받을 수 있다. 따라서 유저는 제 1 애플리케이션을 계속해서 사용할 수 있는 상태에서 해당 이미지 오브젝트에 대한 검색 결과를 함께 확인할 수 있다.

본 발명은 이미지 오브젝트 기반의 검색을 위한 다양하고 간편한 유저 인터페이스를 제공한다.

도 1은 컨텐츠를 디스플레이 하는 제 1 애플리케이션이 구동된 모습을 나타낸 도면.
도 2는 본 발명의 실시예에 따른 IA(Intelligent Agent) 애플리케이션이 제 1 애플리케이션과 함께 구동된 모습을 나타낸 도면.
도 3 (a) 및 도 3 (b)는 IA 애플리케이션이 제 1 애플리케이션 상에 적어도 하나의 오브젝트 인터페이스를 제공하는 방법을 나타낸 도면.
도 4는 본 발명의 다른 실시예에 따른 오브젝트 인터페이스 제공 방법을 나타낸 도면.
도 5 내지 도 7은 본 발명의 IA 애플리케이션을 이용하여 이미지 오브젝트에 대한 이미지 검색을 수행하는 실시예들을 나타낸 도면.
도 8 내지 도 10은 본 발명의 IA 애플리케이션을 이용하여 이미지 오브젝트에 대한 이미지 검색을 수행하는 또 다른 실시예들을 나타낸 도면.
도 11은 본 발명의 실시예에 따른 디지털 디바이스를 나타낸 구성도.
도 12는 본 발명의 실시예에 따른 IA 애플리케이션을 나타낸 구성도.
도 13은 본 발명의 일 실시예에 따른 이미지 검색 방법을 나타낸 순서도.
도 14는 본 발명의 다른 실시예에 따른 이미지 검색 방법을 나타낸 순서도.
도 15는 본 발명의 또 다른 실시예에 따른 이미지 검색 방법을 나타낸 순서도.

본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도, 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한 특정 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 아닌 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.

도 1은 컨텐츠(30)를 디스플레이 하는 제 1 애플리케이션(100)이 구동된 모습을 나타내고 있다. 상기 제 1 애플리케이션(100)은 디지털 디바이스(10)에 의해 구동 가능하며, 이미지 데이터를 포함하는 컨텐츠(30)를 실행할 수 있다. 디지털 디바이스(10)의 디스플레이 유닛(12)은 상기 제 1 애플리케이션(100)에 의해 실행되는 컨텐츠(30)의 이미지 데이터를 디스플레이 할 수 있다. 본 발명에서 상기 컨텐츠(30)는 제 1 어플리케이션(100)에 의해 실행되는 것으로서, 디스플레이 유닛(12) 상에서 디스플레이 되는 적어도 하나의 이미지 오브젝트를 포함할 수 있다.

본 발명에서 제 1 애플리케이션(100)은 이미지 데이터를 포함하는 컨텐츠(30)를 실행할 수 있는 다양한 애플리케이션을 포함한다. 예를 들어, 상기 제 1 애플리케이션(100)은 이미지 뷰어, 이미지 에디터, 비디오 플레이어, 비디오 에디터, 웹 브라우저, 문서 편집기 등을 포함 할 수 있다. 다만, 본 발명은 이에 한정하지 않으며, 컨텐츠(30)에 포함된 이미지 데이터가 디지털 디바이스(10)의 디스플레이 유닛(12) 상에서 출력 되도록 할 수 있는 다양한 애플리케이션을 포함한다.

도 2는 본 발명의 실시예에 따른 IA(Intelligent Agent) 애플리케이션(200)이 구동된 모습을 나타내고 있다. 상기 IA 애플리케이션(200)은 제 1 애플리케이션(100)이 디스플레이 하는 컨텐츠(30)에 포함된 이미지 오브젝트(32)의 검색 결과를 제공하기 위한 것으로서, 디지털 디바이스(10)에 의해 구동 가능하다. 즉, 상기 IA 애플리케이션(200)은 제 1 애플리케이션(100)이 디스플레이 중인 컨텐츠(30)에서 적어도 하나의 이미지 오브젝트(32)를 추출하고, 해당 이미지 오브젝트(32)의 검색 결과를 제공할 수 있다. 디지털 디바이스(10) 상에서 IA 애플리케이션(200)을 구동하기 위한 방법으로는 다양한 실시예가 가능하다. 예를 들어, 디지털 디바이스(10)는 디스플레이 유닛(12)의 일 측 테두리 영역에서 센터 영역으로 드래깅 하는 유저 입력, IA 애플리케이션(200)을 호출하기 위한 별도의 버튼을 터치하는 유저 입력, 또는 IA 애플리케이션(200)을 호출하는 음성 입력 등에 대응하여 IA 애플리케이션(200)을 구동할 수 있으며, 본 발명은 이에 한정하지 않는다. 본 발명의 실시예에서 상기 IA 애플리케이션(200)은 제 1 애플리케이션(100)과 다른 제 2 애플리케이션이 될 수 있다.

본 발명의 실시예에 따르면, IA 애플리케이션(200)은 디지털 디바이스(10) 상에서 제 1 애플리케이션(100)과 동시에 활성화 상태에 있을 수 있다. 본 발명에서 애플리케이션의 활성화 상태란, 해당 애플리케이션이 디지털 디바이스(10) 상에서 포어 그라운드(foreground) 프로세스 상태에 있는 것을 가리킨다. 활성화 된 애플리케이션은 디지털 디바이스(10) 상에서 곧바로(directly) 유저 입력을 수신하고 이에 대응하는 동작을 수행할 수 있다. 한편, 활성화 된 애플리케이션이 비 활성화 상태로 전환되면, 해당 애플리케이션은 수행중인 동작을 중단하거나 백 그라운드(background) 프로세스 상태에서 해당 애플리케이션의 동작을 지속할 수 있다. 비활성화 된 애플리케이션에 대하여 유저 입력을 수행하려면, 해당 애플리케이션을 활성화 시키는 작업이 선행되어야 한다.

본 발명의 실시예에서 상기 IA 애플리케이션(200)이 제 1 애플리케이션(100)과 동시에 활성화 상태에 있게 되면, IA 애플리케이션(200)과 제 1 애플리케이션(100)은 디지털 디바이스(10) 상에서 함께 포어 그라운드 프로세스 상태에 있게 된다. 상기 IA 애플리케이션(200)은 제 1 애플리케이션(100)과 함께 유저 입력을 곧바로 수신할 수 있는 상태에 있게 되며, 유저 입력을 수신한 IA 애플리케이션(200) 및 제 1 애플리케이션(100) 중 적어도 하나는 상기 유저 입력에 대응한 동작을 수행한다. 예를 들어, 디스플레이 유닛(12)에 디스플레이 된 IA 애플리케이션(200)에 대한 터치 입력 등의 유저 입력이 수행 되면, 디지털 디바이스(10)는 상기 유저 입력에 대응하는 IA 애플리케이션(200)의 동작을 수행하도록 할 수 있다. 또한, 디스플레이 유닛(12)에 디스플레이 된 제 1 애플리케이션(100)에 대한 터치 입력 등의 유저 입력이 수행 되면, 디지털 디바이스(10)는 상기 유저 입력에 대응하는 제 1 애플리케이션(100)의 동작을 수행하도록 할 수 있다. 한편, 본 발명의 다른 실시예에 따르면 디스플레이 유닛(12) 상에서 IA 애플리케이션(200)과 제 1 애플리케이션(100)을 동시에 터치하여 조작하는 멀티 터치 유저 입력이 수신될 수도 있다. 이때, 디지털 디바이스(10)는 상기 유저 입력에 대응하여 IA 애플리케이션(200)과 제 1 애플리케이션(100)이 함께 동작을 수행하도록 할 수 있다.

본 발명의 실시예에 따르면, 디지털 디바이스(10)는 디스플레이 유닛(12) 상에서 IA 애플리케이션(200)을 제 1 애플리케이션(100)과 함께 디스플레이 할 수 있다. 즉, 디지털 디바이스(10)는 제 1 애플리케이션(100)을 디스플레이 유닛(12) 상의 일부 영역에 디스플레이 할 수 있으며, IA 애플리케이션(200)을 디스플레이 유닛(12) 상의 나머지 영역에 디스플레이 할 수 있다. 또는, 디지털 디바이스(10)는 IA 애플리케이션(200)을 제 1 애플리케이션(100)이 디스플레이 되는 영역의 일부 또는 전체 영역에 오버레이 되도록 디스플레이 할 수 있다.

본 발명의 실시예에 따르면, 디지털 디바이스(10)는 IA 애플리케이션(200)을 제 1 애플리케이션(100)의 적어도 일 측에 인접한 영역에 디스플레이 할 수 있다. 예를 들어, 도 1에 도시된 바와 같이 제 1 애플리케이션(100)이 활성화 된 상태에서 IA 애플리케이션(200)을 호출하면, 디지털 디바이스(10)는 IA 애플리케이션(200)을 제 1 애플리케이션(100)과 함께 디스플레이 하되, 제 1 애플리케이션(100)의 적어도 일 측에 인접하도록 디스플레이 할 수 있다. 이때, 디지털 디바이스(10)는 제 1 애플리케이션(100)을 IA 애플리케이션(200)과 함께 디스플레이 하기 위해, 제 1 애플리케이션(100)의 디스플레이 영역을 조정할 수 있다. 본 발명의 실시예에 따르면, 디지털 디바이스(10)는 IA 애플리케이션(200)과 제 1 애플리케이션(100)이 하나의 애플케이션과 같이 접합하여 구동 되도록 할 수 있다.

본 발명의 실시예에 따른 IA 애플리케이션(200)은 제 1 애플리케이션(100) 상에 디스플레이 되는 컨텐츠(30)에서 적어도 하나의 이미지 오브젝트(32)를 추출 한다. 상기 이미지 오브젝트(32)는 이미지 데이터 내에서 특정 상품, 인물, 배경 등의 오브젝트를 이루는 영역으로서, 해당 이미지 데이터의 프레임 내에서 일부 영역 또는 전체 영역에 해당할 수 있다. 또한, 상기 이미지 오브젝트(32)는 이미지 데이터의 프레임 내에서 타 영역으로부터 식별 가능한 특정 영역을 나타낼 수 있다. 본 발명의 IA 애플리케이션(200)은 이미지 프로세싱을 통해 제 1 애플리케이션(100) 상에 디스플레이 되는 이미지를 분석하고, 상기 이미지에서 적어도 하나의 이미지 오브젝트(32)를 추출할 수 있다. 본 발명의 명세서에서 단수로 표현된 이미지 오브젝트(32)는 복수의 이미지 오브젝트들(32)의 의미를 포함할 수 있다.

다음으로, IA 애플리케이션(200)은 추출된 적어도 하나의 이미지 오브젝트(32)에 각각 대응하는 검색 키워드를 생성한다. 상기 검색 키워드는 이미지 오브젝트(32)에 대응하는 정보를 검색하기 위한 텍스트 형태의 키워드가 될 수 있다. 본 발명의 일 실시예에 따르면, IA 애플리케이션(200)은 상기 검색 키워드의 생성을 위해 디지털 디바이스(10) 자체에 내장된 데이터 베이스를 사용할 수 있다. 즉, IA 애플리케이션(200)은 디지털 디바이스(10)에 내장된 데이터 베이스를 이용하여 쿼리를 수행함으로, 상기 추출된 이미지 오브젝트(32)에 대응하는 검색 키워드를 획득할 수 있다. 한편, 본 발명의 다른 실시예에 따르면, IA 애플리케이션(200)은 외부 서버(미도시)를 이용하여 상기 이미지 오브젝트(32)에 대응하는 검색 키워드를 획득할 수 있다. 즉, IA 애플리케이션(200)은 추출된 적어도 하나의 이미지 오브젝트(32)를 서버로 전송하고, 서버로부터 상기 적어도 하나의 이미지 오브젝트(32)에 각각 대응하는 검색 키워드를 수신할 수 있다.

도 3(a) 및 도 3(b)는 본 발명의 실시예에 따라 제 1 애플리케이션(100) 상에 적어도 하나의 오브젝트 인터페이스(50)를 제공하는 방법을 나타내고 있다. 상기 오브젝트 인터페이스(50)는 제 1 애플리케이션(100)에 디스플레이 되는 이미지 오브젝트(32)에 대응하는 인터페이스로서, IA 애플리케이션(200)에 의해 제공될 수 있다. 본 발명의 IA 애플리케이션(200)은 오브젝트 인터페이스(50)를 제 1 애플리케이션(100) 상의 해당 이미지 오브젝트(32)에 대응하는 영역에 제공할 수 있다.

도 3(a)에 도시된 본 발명의 일 실시예에 따르면, IA 애플리케이션(200)은 오브젝트 인터페이스(50)를 제 1 애플리케이션(100) 상의 대응하는 이미지 오브젝트(32)에 오버레이 할 수 있다. 예를 들어, IA 애플리케이션(200)은 오브젝트 인터페이스(50)를 상기 오브젝트 인터페이스(50)에 대응하는 이미지 오브젝트(32)에 중첩되도록 디스플레이 할 수 있다. 또한 본 발명의 다른 실시예에 따르면, IA 애플리케이션(200)은 오브젝트 인터페이스(50)를 별도로 디스플레이 하지 않고, 제 1 애플리케이션(100) 상에서 해당 이미지 오브젝트(32)가 디스플레이 되는 영역에 활성화된 오브젝트 인터페이스(50)를 제공할 수 있다. 도 3(a)의 실시예에서 IA 애플리케이션(200)은 제 1 애플리케이션(100)에 디스플레이 되는 이미지 오브젝트(32)를 터치하는 유저 입력을 해당 이미지 오브젝트(32)에 오버레이 된 오브젝트 인터페이스(50)를 통해 수신할 수 있다. 따라서, 본 발명의 실시예에 따르면 제 1 애플리케이션(100)이 각 이미지 오브젝트들(32)의 선택을 위한 별도의 인터페이스를 제공하지 않더라도, IA 애플리케이션(200)은 제 1 애플리케이션(100)에 디스플레이 되는 각 이미지 오브젝트들(32)을 선택하는 유저 입력을 수신할 수 있다.

한편, 본 발명의 실시예에 따르면, IA 애플리케이션(200)은 컨텐츠(30)에 포함된 이미지 오브젝트(32) 중 검색 키워드가 생성된 이미지 오브젝트(32)에 대하여, 해당 이미지 오브젝트(32)에 대응하는 오브젝트 인터페이스(50)를 제공할 수 있다. 예를 들면, 도 3(a)의 실시예에서 IA 애플리케이션(200)은 제 1 애플리케이션(100) 상에 디스플레이 되는 컨텐츠(30)에서 이미지 오브젝트 32a, 32b, 32c, 32d, 32e를 추출할 수 있다. 본 발명의 IA 애플리케이션(200)은 상기 추출된 각 이미지 오브젝트들(32a ~ 32e)에 대하여 검색 키워드 생성을 수행한다. 이때, 각 이미지 오브젝트들(32a ~ 32e) 별로 검색 키워드 생성의 성공 여부가 다를 수 있다. 예를 들면, 도 3(a)의 실시예에서 IA 애플리케이션(200)은 이미지 오브젝트 32a, 32b, 32c에 대응하는 검색 키워드 생성에 성공한 반면, 이미지 오브젝트 32d, 32e에 대응하는 검색 키워드 생성은 실패할 수 있다. IA 애플리케이션(200)은 추출된 상기 이미지 오브젝트들(32a ~ 32e) 가운데 검색 키워드 생성에 성공한 이미지 오브젝트 32a, 32b, 32c에 각각 대응하는 오브젝트 인터페이스 50a, 50b, 50c를 제 1 애플리케이션(100) 상에 제공한다. 본 발명의 다른 실시예에 따르면, IA 애플리케이션(200)은 각 이미지 오브젝트에 대응하는 검색 키워드의 신뢰도가 기 설정된 임계값을 넘는 이미지 오브젝트(32a ~ 32c)에 대해서만, 해당 이미지 오브젝트(32a ~ 32c)에 대응하는 오브젝트 인터페이스(50a ~ 50c)를 제공할 수 있다. 따라서, 본 발명의 실시예에 따른 IA 애플리케이션(200)은 컨텐츠(30)에 포함된 이미지 오브젝트들(32a ~ 32e) 중 검색이 가능한 이미지 오브젝트(32a ~ 32c)에 대해서만 이에 대응하는 오브젝트 인터페이스(50a ~ 50c)를 제공할 수 있다.

도 3(b)는 본 발명의 다른 실시예에 따른 오브젝트 인터페이스(50) 제공 방법을 나타내고 있다. 도 3(b)의 실시예에서 도 3(a)의 실시예와 동일하거나 상응하는 부분은 이에 대한 구체적인 설명을 생략하도록 한다.

도 3(b)에 도시된 본 발명의 다른 실시예에 따르면, IA 애플리케이션(200)은 오브젝트 인터페이스(50)를 제 1 애플리케이션(100) 상의 기 설정된 영역에 디스플레이 할 수 있다. 예를 들어, IA 애플리케이션(200)은 제 1 애플리케이션(100)의 디스플레이 영역 중 기 설정된 일부 영역을 할당하여 오브젝트 인터페이스(50)를 디스플레이 할 수 있다. 만약 오브젝트 인터페이스(50)가 복수 개일 경우, 도 3(b)에 도시된 바와 같이 IA 애플리케이션(200)은 복수의 오브젝트 인터페이스(50)를 상기 기 설정된 영역에 리스트 형태로 디스플레이 할 수 있다. 본 발명의 다른 실시예에 따르면, IA 애플리케이션(200)은 오브젝트 인터페이스(50)를 제 1 애플리케이션(100)의 디스플레이 영역 중 이미지 오브젝트(32)와 중첩되지 않는 영역에 디스플레이 할 수 있다. 또한, 본 발명의 다른 실시예에 따르면, IA 애플리케이션(200)은 이미지 오브젝트(32)에 대응하는 오브젝트 인터페이스(50)를 IA 애플리케이션(200)의 디스플레이 영역에 디스플레이 할 수도 있다. 한편, 도 3(b)의 실시예에서 IA 애플리케이션(200)은 컨텐츠(30)에 포함된 이미지 오브젝트들(32a, 32b, 32c, 32d, 32e) 중 검색 키워드가 생성된 이미지 오브젝트(32a, 32b, 32c)에 대하여, 해당 이미지 오브젝트(32a, 32b, 32c)에 대응하는 오브젝트 인터페이스(50a, 50b, 50c)를 제공할 수 있으며, 이는 도 3(a)에서 설명한 바와 같다.

이하 도 4 내지 도 10을 참조로 설명하는 본 발명의 이미지 검색 방법들은, 도 3(a) 또는 도 3(b)에 도시된 오브젝트 인터페이스(50) 제공 방법을 적절히 대체하여 실시 가능하다.

도 4는 본 발명의 다른 실시예를 도시하고 있다. 도 4를 참조하면, IA 애플리케이션(200)은 각 이미지 오브젝트(32)에 대응하여 생성된 검색 키워드(52)를 오브젝트 인터페이스(50)와 함께 디스플레이 할 수 있다. 이에 더하여, IA 애플리케이션(200)은 각 검색 키워드의 신뢰도를 상기 검색 키워드(52)와 함께 디스플레이 할 수 있다. 이때, 검색 키워드의 신뢰도는 검색 키워드(52)와 해당 이미지 오브젝트(50) 간의 매치율을 나타낸다. 본 발명의 실시예에 따른 IA 애플리케이션(200)은 상기 검색 키워드(52) 및 신뢰도를 제 1 애플리케이션(100) 상의 해당 오브젝트 인터페이스(50)에 대응하는 영역에 디스플레이 할 수 있다. 또한, IA 애플리케이션(200)은 상기 검색 키워드(52) 및 신뢰도의 디스플레이 속성을 조정할 수 있다. 즉, IA 애플리케이션(200)은 상기 검색 키워드(52) 및 신뢰도의 디스플레이 위치, 텍스트 크기, 텍스트 색상 등을 조정할 수 있다.

더욱 구체적으로, 도 4에서 IA 애플리케이션(200)은 이미지 오브젝트 32a에 대한 검색 키워드 52a의 생성 결과로 키워드 ‘연예인 A’와 ‘연예인 B’를 획득할 수 있다. 이때, 상기 이미지 오브젝트 32a는 ‘연예인 A’에 대하여 기 저장된 이미지 데이터와 73%의 매치율을 가질 수 있으며, ‘연예인 B’에 대하여 기 저장된 이미지 데이터와 25%의 매치율을 가질 수 있다. 따라서, 이미지 오브젝트 32a에 대한 검색 키워드 ‘연예인 A’의 신뢰도는 73%, 검색 키워드 ‘연예인 B’의 신뢰도는 25%가 된다. IA 애플리케이션(200)은 이와 같이 생성된 검색 키워드 52a (즉, ‘연예인 A’, ‘연예인 B’)를 오브젝트 인터페이스 50a에 대응하는 영역에 디스플레이 할 수 있다. 이때, IA 애플리케이션(200)은 검색 키워드 52a의 신뢰도를 해당 검색 키워드 52a와 함께 디스플레이 할 수 있다. 또한, IA 애플리케이션(200)은 이미지 오브젝트 32b에 대해 생성된 검색 키워드 52b (즉, ‘반지’) 및 상기 검색 키워드 52b의 신뢰도를 오브젝트 인터페이스 50b에 대응하는 영역에 디스플레이 할 수 있으며, 이미지 오브젝트 32c에 대해 생성된 검색 키워드 52c (즉, ‘가방 M’) 및 상기 검색 키워드 52c의 신뢰도를 오브젝트 인터페이스 50c에 대응하는 영역에 디스플레이 할 수 있다.

한편 본 발명의 실시예에서, 하나의 이미지 오브젝트(32a)에 대하여 복수의 검색 키워드(52a)가 생성될 경우, IA 애플리케이션(200)은 상기 복수의 검색 키워드(52a)를 함께 디스플레이 할 수 있다. 즉, IA 애플리케이션(200)은 이미지 오브젝트 32a에 대하여 생성된 검색 키워드 ‘연예인 A’ 및 ‘연예인 B’를 오브젝트 인터페이스 50a에 대응하는 영역에 함께 디스플레이 할 수 있다. 이때, IA 애플리케이션(200)은 상기 복수의 검색 키워드(52a)를 각 검색 키워드(52a)의 신뢰도 순으로 정렬하여 디스플레이 할 수 있다. 또한, IA 애플리케이션(200)은 해당 오브젝트 인터페이스(50a)를 선택하는 유저 입력에 대응하여, 유저가 상기 복수의 검색 키워드(52a) 중 어느 하나를 선택할 수 있도록, 별도의 유저 인터페이스를 제공할 수 있다.

도 5 내지 도 7은 본 발명의 IA 애플리케이션(200)을 이용하여 이미지 오브젝트(32)에 대한 이미지 검색을 수행하는 실시예들을 도시하고 있다.

먼저, 도 5의 실시예를 참조하면, IA 애플리케이션(200)은 제 1 애플리케이션(100) 상에 제공된 적어도 하나의 오브젝트 인터페이스(50) 중 특정 오브젝트 인터페이스를 선택하는 유저 입력을 수신할 수 있다. 예를 들어, 도 5에 도시된 바와 같이 유저는 IA 애플리케이션(200)이 제공하는 오브젝트 인터페이스 50a, 50b, 50c 중 오브젝트 인터페이스 50c를 선택하는 유저 입력을 수행할 수 있다. 이때, 오브젝트 인터페이스 50c를 선택하는 유저 입력으로는, 오브젝트 인터페이스에 50c 대한 터치 입력, 오브젝트 인터페이스 50c를 드래그 하여 IA 애플리케이션(200)의 디스플레이 영역에 드롭 하는 입력 등이 될 수 있으며, 본 발명은 이에 한정하지 않는다.

이와 같이 오브젝트 인터페이스 50c가 선택되면, IA 애플리케이션(200)은 오브젝트 인터페이스 50c에 대응하는 이미지 오브젝트 32c에 대한 이미지 검색을 수행한다. 즉, IA 애플리케이션(200)은 디지털 디바이스(10)의 커뮤니케이션 유닛(미도시)을 통해 이미지 오브젝트 32c의 검색 키워드 52c (즉, ‘가방 M’)를 서버로 전송할 수 있다. 서버는 수신된 검색 키워드 52c (즉, ‘가방 M’)에 대한 검색을 수행하고, 검색 결과(60)를 디지털 디바이스(10)에 전달한다. 디지털 디바이스(10)는 서버로부터 상기 검색 결과(60)를 수신하고, IA 애플리케이션(200)은 수신된 검색 결과(60)를 디스플레이 유닛(12) 상에 디스플레이 할 수 있다. 따라서, 유저는 컨텐츠(30)에 포함된 이미지 오브젝트 32c 즉, ‘가방 M’에 대한 검색 결과(60)를 제공 받을 수 있다.

이때, IA 애플리케이션(200)은 상기 검색 결과(60)를 IA 애플리케이션(200)의 디스플레이 영역 내에 제공할 수 있다. 또한, IA 애플리케이션(200)은 상기 검색 결과(60)를 웹 브라우저 형태로 제공할 수 있다. 유저는 상기 검색 결과(60)를 제공하는 IA 애플리케이션(200)의 웹 브라우저 상에서 추가적인 웹 검색을 수행할 수 있다. 한편, 상기 검색 결과(60)의 제공 방법은 미리 학습된 유저의 패턴에 따라 다르게 조정될 수 있다. 예를 들어, IA 애플리케이션(200)은 미리 학습된 유저의 선호도를 참조하여, 검색 결과(60)의 카테고리화 방법, 카테고리의 우선 순위 등을 조정할 수 있다. 이와 같이 본 발명의 실시예에 따르면, 유저는 IA 애플리케이션(200)이 제공하는 오브젝트 인터페이스(50)를 선택하는 유저 입력을 통해, 제 1 애플리케이션(100) 상에 디스플레이 되는 이미지 오브젝트(32)의 이미지 검색을 수행할 수 있다.

다음으로, 도 6의 실시예를 참조하면, IA 애플리케이션(200)은 복수의 오브젝트 인터페이스를 선택하는 유저 입력을 수신할 수 있다. 예를 들어, 도 6에 도시된 바와 같이 유저는 IA 애플리케이션(200)이 제공하는 오브젝트 인터페이스 50a, 50b, 50c 중 오브젝트 인터페이스 50a 및 50c를 선택하는 유저 입력을 수행할 수 있다. 이때, 오브젝트 인터페이스 50a 및 50c를 선택하는 유저 입력으로는, 오브젝트 인터페이스 50a 및 50c에 대한 멀티 터치 입력, 오브젝트 인터페이스 50a 및 50c를 동시에 또는 순차적으로 드래그하여 IA 애플리케이션(200)의 디스플레이 영역에 드롭 하는 입력 등이 될 수 있으며, 본 발명은 이에 한정하지 않는다.

이와 같이 오브젝트 인터페이스 50a 및 50c가 선택되면, IA 애플리케이션(200)은 오브젝트 인터페이스 50a 및 50c에 각각 대응하는 이미지 오브젝트 32a 및 32c를 조합한 이미지 검색을 수행한다. 이를 위해, IA 애플리케이션(200)은 이미지 오브젝트 32a에 대응하는 검색 키워드 52a (즉, ‘연예인 A’)와 이미지 오브젝트 32c에 대응하는 검색 키워드 52c (즉, ‘가방 M’)를 조합하여 조합 키워드 (즉, ‘연예인 A’ & ‘가방 M’)를 생성한다. 상기 조합 키워드는 복수의 검색 키워드를 조합한 것으로서, 복수의 검색 키워드를 조합하는 방법으로는 공지의 다양한 실시예가 가능하다. 다음으로, IA 애플리케이션(200)은 디지털 디바이스(10)의 커뮤니케이션 유닛(미도시)을 통해 상기 조합 키워드 (즉, ‘연예인 A’ & ‘가방 M’)를 서버로 전송할 수 있다. 서버는 수신된 조합 키워드 (즉, ‘연예인 A’ & ‘가방 M’)에 대한 검색을 수행하고, 검색 결과(60)를 디지털 디바이스(10)에 전달한다. 디지털 디바이스(10)는 서버로부터 상기 검색 결과(60)를 수신하고, IA 애플리케이션(200)은 수신된 검색 결과(60)를 디스플레이 유닛(12) 상에 디스플레이 할 수 있다. 따라서, 유저는 컨텐츠(30)에 포함된 이미지 오브젝트 32a 및 32c의 조합된 검색 결과 즉, ‘연예인 A’와 ‘가방 M’의 조합에 대한 검색 결과(60)를 제공 받을 수 있다. 예를 들어, 이러한 조합된 검색 결과(60)에는 연예인 A가 가방 M을 매고 있는 사진, 연예인 A가 참여한 가방 M의 광고 컨텐츠 등이 포함될 수 있다.

본 발명의 IA 애플리케이션(200)은 상기 검색 결과(60)를 IA 애플리케이션(200)의 디스플레이 영역 내에 제공할 수 있다. 이에 대한 구체적인 실시예는 도 5의 실시예에서 설명한 바와 같다.

도 7은 본 발명의 또 다른 실시예를 나타내고 있다. 도 7을 참조하면, IA 애플리케이션(200)은 각 이미지 오브젝트(32)에 대한 검색 결과(60) 내에서 추가적으로 수행한 웹 검색 결과에 곧바로 접근하기 위한 파생 오브젝트 인터페이스(54)를 제공할 수 있다. 예를 들어, 도 5에 도시된 실시예에서 유저는 오브젝트 인터페이스 50c를 선택함으로, 이미지 오브젝트 32c (즉, ‘가방 M’)에 대한 검색 결과(60)를 IA 애플리케이션(200)을 통해 제공받을 수 있다. 이때, 유저는 도 5의 검색 결과(60) 내에서 추가적인 검색을 수행할 수 있다. 즉, 유저는 검색된 다수의 ‘가방 M’ 중 특정 시리얼 번호에 해당하는 가방을 더 검색할 수 있다. 이와 같이 유저가 IA 애플리케이션(200) 상에서 추가 검색을 수행하게 되면, 최초 검색한 이미지 오브젝트 32c에서 파생된 파생 이미지 오브젝트에 대한 검색이 수행될 수 있다. 이때, 최초 검색한 이미지 오브젝트 32c는 파생 이미지 오브젝트의 루트(root) 이미지 오브젝트가 될 수 있다.

본 발명의 실시예에 따른 IA 애플리케이션(200)은 유저가 상기 파생 이미지 오브젝트에 대한 검색 결과에 곧바로 접근할 수 있도록 하는 파생 오브젝트 인터페이스(54)를 제 1 애플리케이션(100) 상에 디스플레이 할 수 있다. 이때, IA 애플리케이션(200)은 상기 파생 오브젝트 인터페이스(54)를 루트 이미지 오브젝트(32c)에 대응하는 오브젝트 인터페이스(50c)의 주변 영역에 디스플레이 할 수 있다. 만약, 하나의 루트 오브젝트 인터페이스(32c)에 대한 파생 오브젝트 인터페이스(54)가 복수 개 일 경우, IA 애플리케이션(200)은 상기 복수 개의 파생 오브젝트 인터페이스(54)를 리스트 형태로 디스플레이 할 수 있다. 또는, IA 애플리케이션(200)은 상기 복수 개의 파생 오브젝트 인터페이스(54)를 해당 파생 이미지 오브젝트들의 검색 히스토리에 기초하여 트리 형태로 디스플레이 할 수 있다.

만약, 상기 파생 오브젝트 인터페이스(54)를 선택하는 유저 입력이 수신될 경우, IA 애플리케이션(200)은 선택된 파생 오브젝트 인터페이스(54)에 대응하는 파생 이미지 오브젝트의 검색 결과를 제공할 수 있다. 따라서, 유저는 파생 이미지 오브젝트에 대한 검색 결과를 추후에 다시 보고자 할 경우, 루트 이미지 오브젝트(32c)에 대한 검색을 수행하지 않고도 곧바로 해당 파생 이미지 오브젝트에 대한 검색 결과를 IA 애플리케이션(200)으로부터 제공 받을 수 있다.

도 8 내지 도 10은 본 발명의 IA 애플리케이션(200)을 이용하여 이미지 오브젝트(32)에 대한 이미지 검색을 수행하는 또 다른 실시예들을 도시하고 있다. 도 8 내지 도 10의 실시예에서 제 1 애플리케이션(100)은 웹 브라우저를 나타낸다. 도 8 내지 도 10의 실시예에서 전술한 도 5 내지 도 7의 실시예와 동일하거나 상응하는 부분은 이에 대한 구체적인 설명을 생략하도록 한다.

도 8은 제 1 애플리케이션(100) 즉, 웹 브라우저가 구동된 모습을 나타내고 있다. 상기 제 1 애플리케이션(100)은 이미지 데이터를 포함하는 컨텐츠(30)인 웹 페이지를 디스플레이 유닛(12)을 통해 디스플레이 할 수 있다. 상기 웹 페이지는 적어도 하나의 이미지 오브젝트를 포함할 수 있다. 도 8에서 본 발명의 IA 애플리케이션(미도시)은 웹 브라우저와 함께 구동 중일 수 있다. 본 발명의 실시예예 따르면, 유저는 웹 브라우저에 디스플레이 되는 웹 페이지에서 특정 이미지 데이터를 선택하는 유저 입력을 수행할 수 있다. IA 애플리케이션은 상기 선택된 이미지 데이터에서 적어도 하나의 이미지 오브젝트를 추출한다.

도 9는 본 발명의 제 1 애플리케이션(100)으로 웹 브라우저가 사용되었을 때, IA 애플리케이션이 해당 제 1 애플리케이션(100)상에 오브젝트 인터페이스(50)를 제공하는 모습을 나타내고 있다. 먼저, IA 애플리케이션은 제 1 애플리케이션(100)이 디스플레이 하는 웹 페이지에 포함된 이미지 데이터에서 적어도 하나의 이미지 오브젝트(32)를 추출한다. 다음으로, 상기 IA 애플리케이션은 각 이미지 오브젝트(32)에 대응하는 오브젝트 인터페이스(50)를 해당 웹 페이지에 삽입할 수 있다. 도 9의 실시예에서, IA 애플리케이션은 이미지 데이터에서 이미지 오브젝트 32a, 32b, 32c를 추출하며, 각 이미지 오브젝트에 대응하는 오브젝트 인터페이스 50a, 50b, 50c를 제 1 애플리케이션(100) 상에 제공한다. 본 발명의 실시예에서 IA 애플리케이션은 상기 오브젝트 인터페이스(50)를 해당 이미지 오브젝트(32)에 대응하는 영역, 또는 제 1 애플리케이션(100) 상의 기 설정된 영역에 디스플레이 할 수 있다.

도 9의 실시예에서, 상기 오브젝트 인터페이스(50)를 제 1 애플리케이션(100) 상에 디스플레이 하기 위하여, IA 애플리케이션은 해당 웹 브라우저의 레이아웃을 분석할 수 있다. 예를 들어, IA 애플리케이션은 해당 웹 브라우저에 대한 HTML(Hyper Text Markup Language) 분석을 수행할 수 있다. 또는, IA 애플리케이션은 웹 브라우저가 제공하는 웹 페이지에서 현재 디스플레이 되고 있는 부분 영역에 대한 레이아웃 분석을 수행할 수 있다. 이와 같이 웹 브라우저의 레이아웃을 분석하면, IA 애플리케이션은 오브젝트 인터페이스(50)의 삽입 위치를 분석한다. 다음으로, IA 애플리케이션은 웹 브라우저의 원본 HTML의 수정을 통해 상기 오브젝트 인터페이스(50)를 웹 브라우저에 삽입한다. 이때, IA 애플리케이션은 각 오브젝트 인터페이스(50)에 대응하는 링크 정보를 함께 삽입할 수 있다.

다음으로 도 10을 참조하면, IA 애플리케이션(200)은 제 1 애플리케이션(100) 상에 제공된 적어도 하나의 오브젝트 인터페이스(50) 중 특정 오브젝트 인터페이스를 선택하는 유저 입력을 수신할 수 있다. 예를 들어, 도 10에 도시된 바와 같이 오브젝트 인터페이스 50a가 선택되면, IA 애플리케이션(200)은 오브젝트 인터페이스 50a에 대응하는 이미지 오브젝트 32a에 대한 이미지 검색을 수행할 수 있다. 상기 이미지 오브젝트 32a에 대한 검색이 완료되면, IA 애플리케이션(200)은 이미지 오브젝트 32a에 대한 검색 결과(60)를 디스플레이 할 수 있다. 이때, IA 애플리케이션(200)은 상기 검색 결과(60)를 IA 애플리케이션(200)의 디스플레이 영역 내에 제공할 수 있다. 도 10에서 IA 애플리케이션(200)의 유저 입력 수신 방법, 이미지 검색 수행 방법, 및 검색 결과 제공 방법의 구체적인 실시예는 도 5를 참조로 상술한 바와 같다.

도 2 내지 도 10의 실시예에서, 제 1 애플리케이션(100) 및 IA 애플리케이션(200)은 각 애플리케이션의 기본 동작을 기존과 동일하게 수행할 수 있다. 즉, IA 애플리케이션(200)이 제 1 애플리케이션(100) 상에 적어도 하나의 오브젝트 인터페이스(50)를 제공한 후에도, 제 1 애플리케이션(100)은 해당 애플리케이션의 기능을 동일하게 수행할 수 있다. 예를 들어, 제 1 애플리케이션(100)이 비디오 플레이어일 경우, 상기 비디오 플레이어는 비디오 재생 기능을 동일하게 제공할 수 있다. 또한, 상기 제 1 애플리케이션(100)이 웹 브라우저일 경우, 상기 웹 브라우저는 웹 브라우징, 웹 페이지의 스크롤링 기능 등을 동일하게 제공할 수 있다.

도 11은 본 발명의 실시예에 다른 디지털 디바이스(10)를 나타낸 블록도이다.

도 11을 참조하면, 본 발명의 디지털 디바이스(10)는 하드웨어 계층, 운영체제 계층, 및 애플리케이션 계층을 포함할 수 있다.

먼저, 디지털 디바이스(10)의 하드웨어 계층은 프로세서(11), 디스플레이 유닛(12), 센서 유닛(13), 커뮤니케이션 유닛(14), 및 스토리지 유닛(15)을 포함할 수 있다.

먼저, 디스플레이 유닛(12)은 디스플레이 화면에 이미지를 출력한다. 상기 디스플레이 유닛(12)은 프로세서(11)에서 실행되는 컨텐츠 또는 프로세서(11)의 제어 명령에 기초하여 이미지를 출력할 수 있다. 본 발명의 실시예에서 디스플레이 유닛(12)은 디지털 디바이스(10)에 의해 실행되는 제 1 애플리케이션 및 IA 애플리케이션(200)을 디스플레이 할 수 있다.

센서 유닛(13)은 디지털 디바이스(10)에 장착된 적어도 하나의 센서를 사용하여 본 발명의 유저 입력을 인식하고 이를 프로세서(11)로 전달할 수 있다. 이때, 상기 센서 유닛(13)은 적어도 하나의 센싱 수단을 포함할 수 있다. 일 실시예로서, 적어도 하나의 센싱 수단은 중력(gravity) 센서, 지자기 센서, 모션 센서, 자이로 센서, 가속도 센서, 적외선 센서, 기울임(inclination) 센서, 밝기 센서, 고도 센서, 후각 센서, 온도 센서, 뎁스 센서, 압력 센서, 밴딩 센서, 오디오 센서, 비디오 센서, GPS(Global Positioning System) 센서, 터치 센서 등의 센싱 수단을 포함할 수 있다. 센서 유닛(13)은 상술한 다양한 센싱 수단을 통칭하는 것으로, 사용자의 다양한 입력 및 사용자의 환경을 센싱하여, 프로세서(11)가 그에 따른 작동을 수행할 수 있도록 센싱 결과를 전달할 수 있다. 상술한 센서들은 별도의 엘리먼트로 디지털 디바이스(10)에 포함되거나, 적어도 하나 이상의 엘리먼트로 통합되어 포함될 수 있다.

다음으로, 커뮤니케이션 유닛(14)은 외부 디바이스 또는 서버(1)와 다양한 프로토콜을 사용하여 통신을 수행하여 데이터를 송/수신할 수 있다. 본 발명에서 커뮤니케이션 유닛(14)은 네트워크(3)를 통해 서버(1)와 접속하여, 디지털 데이터를 송/수신할 수 있다. 예를 들어, 커뮤니케이션 유닛(14)은 이미지 오브젝트를 서버로 전송하고, 서버로부터 상기 이미지 오브젝트에 대응하는 검색 키워드를 수신할 수 있다. 또한, 커뮤니케이션 유닛(14)은 검색 키워드를 서버로 전송하고, 서버로부터 상기 검색 키워드에 대응하는 검색 결과를 수신할 수 있다.

다음으로, 본 발명의 스토리지 유닛(15)은, 비디오, 오디오, 사진, 애플리케이션 등 다양한 디지털 데이터를 저장할 수 있다. 스토리지 유닛(15)은 플래시 메모리, RAM(Random Access Memory), SSD(Solid State Drive) 등의 다양한 디지털 데이터 저장 공간을 나타낸다. 본 발명의 실시예에서, 스토리지 유닛(15)은 IA 애플리케이션(200)이 생성한 데이터를 저장할 수 있다. 또한, 스토리지 유닛(15)은 커뮤니케이션 유닛(14)이 서버(1)로부터 수신한 데이터를 일시적으로 저장할 수 있다.

본 발명의 프로세서(11)는 데이터 통신을 통해 수신된 컨텐츠, 또는 스토리지 유닛(16)에 저장된 컨텐츠 등을 실행할 수 있다. 또한, 프로세서(11)는 다양한 애플리케이션을 실행하고, 디바이스 내부의 데이터를 프로세싱 할 수 있다. 본 발명의 실시예에서, 상기 프로세서(11)는 제 1 애플리케이션 및 IA 애플리케이션(200)을 실행하고, 각 애플리케이션의 제어 명령에 기초한 동작을 수행할 수 있다. 이에 더하여, 상기 프로세서(11)는 상술한 디지털 디바이스(10)의 각 유닛들을 제어하며, 유닛들 간의 데이터 송수신을 제어할 수도 있다.

다음으로, 디지털 디바이스(10)의 운영체제 계층은 디지털 디바이스(10)의 각 유닛들을 컨트롤 하는 운영체제를 포함할 수 있다. 상기 운영체제는 디지털 디바이스(10)의 애플리케이션이 하드웨어 계층의 각 유닛을 제어하고, 사용할 수 있도록 한다. 운영체제는 디지털 디바이스(10)의 리소스를 효율적으로 분배하여, 각 애플리케이션을 수행할 수 있는 환경을 준비한다. 한편, 디지털 디바이스(10)의 애플리케이션 계층은 적어도 하나의 애플리케이션을 포함할 수 있다. 상기 애플리케이션은 특정한 작업을 수행할 수 있도록 하는 다양한 형태의 프로그램들을 포함한다. 상기 애플리케이션은 운영체제의 도움을 받아 하드웨어 계층의 리소스를 이용할 수 있다.

본 발명의 실시예에 따르면, IA 애플리케이션(200)은 디지털 디바이스(10)의 운영체제 계층 또는 애플리케이션 계층에 포함될 수 있다. 즉, IA 애플리케이션(200)은 디지털 디바이스(10)의 운영체제 계층에 내장된 임베디드 소프트웨어가 될 수 있으며, 또는 애플리케이션 계층에 포함되는 소프트웨어가 될 수 있다.

도 11에 도시된 디지털 디바이스(10)는 본 발명의 일 실시예에 따른 블록도로서, 분리하여 표시한 블록들은 디바이스의 엘러먼트들을 논리적으로 구별하여 도시한 것이다. 따라서 상술한 디바이스의 엘러먼트들은 디바이스의 설계에 따라 하나의 칩으로 또는 복수의 칩으로 장착될 수 있다.

도 12는 본 발명의 실시예에 따른 IA 애플리케이션(200)의 구성을 나타내고 있다. 도 12에 도시된 바와 같이, IA 애플리케이션(200)은 오브젝트 제어부(220)와 인터랙션(interaction) 제어부(240)를 포함할 수 있다.

먼저, 오브젝트 제어부(220)는 이미지 데이터로부터 이미지 오브젝트를 추출하고 오브젝트 인터페이스를 제공하기 위한 구성으로서, 오브젝트 추출엔진(222), 오브젝트 검색엔진(224) 및 오브젝트 표현엔진(226)을 포함할 수 있다. 오브젝트 추출엔진(222)은 제 1 애플리케이션에 디스플레이 되는 컨텐츠로부터 적어도 하나의 이미지 오브젝트를 추출한다. 오브젝트 검색엔진(224)은 추출된 적어도 하나의 이미지 오브젝트에 대한 검색 키워드를 생성한다. 또한, 상기 오브젝트 검색엔진(224)은 해당 이미지 오브젝트에 대한 검색을 수행하여, 연관된 검색 결과를 획득할 수 있다. 본 발명의 실시예에 따르면, 오브젝트 검색 엔진(224)은 서버로부터 검색 키워드 및 검색 결과에 대한 정보를 획득할 수 있다. 다음으로, 오브젝트 표현엔진(226)은 제 1 애플리케이션 상에 오브젝트 인터페이스, 검색 키워드, 및 검색 키워드의 신뢰도 등을 표현한다. 상기 오브젝트 표현엔진(226)은 기 설정된 방법 및 규칙에 따라 상기 오브젝트 인터페이스 등을 표현한다.

다음으로, 인터랙션 제어부(240)는 IA 애플리케이션(200)과 제 1 애플리케이션 간의 인터랙션을 담당하며, 인터랙션(interaction) 엔진(242), 디스플레이 엔진(244) 및 오브젝트 조합엔진(246)을 포함할 수 있다. 인터랙션 엔진(242)은 본 발명의 IA 애플리케이션(200)과 제 1 애플리케이션 간의 인터랙션을 제어한다. 즉, 상기 인터랙션 엔진(242)은 IA 애플리케이션(200)과 제 1 애플리케이션 간의 데이터 송/수신을 제어한다. 따라서, 인터랙션 엔진(242)은 본 발명의 IA 애플리케이션(200)이 제 1 애플리케이션과 연동하여 동작할 수 있도록 한다. 다음으로, 디스플레이 엔진(244)은 디지털 디바이스의 디스플레이 유닛 상에 디스플레이 되는 IA 애플리케이션(200)의 디스플레이 영역을 제어한다. 즉, 디스플레이 엔진(244)은 IA 애플리케이션(200)의 디스플레이 크기 및 위치를 조정하며, IA 애플리케이션(200)이 팝업, AR(Augmented Reality) 등의 방법을 이용하여 디스플레이 유닛 상에 디스플레이 되도록 제어한다. 오브젝트 조합엔진(246)은 복수의 이미지 오브젝트를 선택하는 유저 입력에 대응하여, 상기 복수의 이미지 오브젝트들의 연관성을 분석하고 의미 있는 조합으로 만들어 준다. 상기 오브젝트 조합엔진(246)은 복수의 이미지 오브젝트에 각각 대응하는 검색 키워드를 다양한 방법으로 조합할 수 있다.

도 13은 본 발명의 일 실시예에 따른 이미지 검색 방법을 나타낸 순서도이다. 본 발명에서 도 11에 도시된 디지털 디바이스(10)의 프로세서(11)는 이하 설명하는 도 13의 각 단계를 제어할 수 있다.

먼저, 본 발명의 디지털 디바이스는 제 1 애플리케이션을 구동할 수 있다(S1310). 상기 제 1 애플리케이션은 적어도 하나의 이미지 오브젝트를 포함하는 컨텐츠를 디스플레이 한다. 본 발명에서 제 1 애플리케이션은 컨텐츠에 포함된 이미지 데이터가 디지털 디바이스의 디스플레이 유닛 상에서 출력 되도록 할 수 있는 다양한 애플리케이션을 포함한다.

다음으로, 본 발명의 디지털 디바이스는 제 2 애플리케이션을 구동할 수 있다(S1320). 상기 제 2 애플리케이션은 상기 제 1 애플리케이션이 디스플레이 하는 컨텐츠에 포함된 적어도 하나의 이미지 오브젝트의 이미지 검색 결과를 제공 한다. 본 발명의 실시예에서 상기 제 2 애플리케이션은 IA 애플리케이션이 될 수 있다. 도 2를 참조로 설명한 바와 같이, 디지털 디바이스는 상기 제 2 애플리케이션을 제 1 애플리케이션과 동시에 활성화 상태에 있도록 할 수 있다. 또한, 디지털 디바이스는 제 2 애플리케이션을 제 1 애플리케이션과 함께 디스플레이 하되, 상기 제 2 애플리케이션을 제 1 애플리케이션의 적어도 일 측에 인접한 영역에 디스플레이 할 수 있다.

다음으로, 본 발명의 디지털 디바이스는 제 1 애플리케이션이 디스플레이 하는 컨텐츠에서 적어도 하나의 이미지 오브젝트를 추출한다(S1330). 이때, 디지털 디바이스는 본 발명의 제 2 애플리케이션을 통해, 상기 적어도 하나의 이미지 오브젝트를 추출한다. 즉, 디지털 디바이스는 제 2 애플리케이션이 제공하는 명령어를 이용하여, 상기 제 1 애플리케이션이 디스플레이 하는 컨텐츠에서 적어도 하나의 이미지 오브젝트를 추출할 수 있다. 본 발명의 제 2 애플리케이션은 이미지 프로세싱을 통해 제 1 애플리케이션 상에 디스플레이 되는 이미지를 분석하고, 상기 이미지에서 적어도 하나의 이미지 오브젝트를 추출할 수 있다.

다음으로, 본 발명의 디지털 디바이스는 추출된 적어도 하나의 이미지 오브젝트에 각각 대응하는 적어도 하나의 오브젝트 인터페이스를 제 1 애플리케이션 상에 제공한다(S1340). 이때, 디지털 디바이스는 본 발명의 제 2 애플리케이션을 통해, 상기 적어도 하나의 오브젝트 인터페이스를 제 1 애플리케이션 상에 제공할 수 있다. 본 발명의 제 2 애플리케이션은 상기 적어도 하나의 오브젝트 인터페이스를 제 1 애플리케이션 상의 해당 이미지 오브젝트에 대응하는 영역에 제공할 수 있다. 예를 들어, 제 2 애플리케이션은 상기 적어도 하나의 오브젝트 인터페이스를 제 1 애플리케이션 상의 대응하는 이미지 오브젝트에 오버레이 할 수 있다. 또는, 제 2 애플리케이션은 상기 적어도 하나의 오브젝트 인터페이스를 제 1 애플리케이션 상의 기 설정된 영역에 디스플레이 할 수 있다. 한편, 본 발명의 실시예에 따르면, 제 2 애플리케이션은 상기 컨텐츠에 포함된 적어도 하나의 이미지 오브젝트 중 검색 키워드가 생성된 이미지 오브젝트에 대하여, 해당 이미지 오브젝트에 대응하는 오브젝트 인터페이스를 제공할 수 있다. 본 발명의 S1340 단계에 대한 구체적인 실시예는 도 3(a), 도 3(b), 도 4, 도 9 등을 참조로 설명한 바와 같다.

다음으로, 본 발명의 디지털 디바이스는 상기 적어도 하나의 오브젝트 인터페이스 중 특정 오브젝트를 선택하는 유저 입력을 수신한다(S1350). 이때, 상기 특정 오브젝트 인터페이스를 선택하는 유저 입력으로는, 특정 오브젝트 인터페이스에 대한 터치 입력, 특정 오브젝트 인터페이스를 드래그하여 제 2 애플리케이션의 디스플레이 영역에 드롭 하는 입력 등이 될 수 있으며, 본 발명은 이에 한정하지 않는다.

다음으로, 본 발명의 디지털 디바이스는 상기 유저 입력에 의해 선택된 특정 오브젝트 인터페이스에 대응하는 이미지 오브젝트의 검색 결과를 디스플레이 한다(S1360). 이를 위해, 제 2 애플리케이션은 상기 특정 오브젝트 인터페이스에 대응하는 이미지 오브젝트에 대한 이미지 검색을 수행한다. 제 2 애플리케이션이 상기 이미지 검색에 대한 검색 결과를 획득하면, 디지털 디바이스는 검색 결과를 제 2 애플리케이션의 디스플레이 영역 내에 제공할 수 있다. 다만, 본 발명은 이에 한정하지 않으며, 디지털 디바이스는 상기 검색 결과를 제 1 애플리케이션의 디스플레이 영역 또는 디스플레이 유닛의 기 설정된 영역 등에 디스플레이 할 수 있다. 본 발명의 S1350 및 S1360 단계에 대한 구체적인 실시예는 도 5 및 도 10등을 참조로 설명한 바와 같다.

도 14는 본 발명의 다른 실시예에 따른 이미지 검색 방법을 나타낸 순서도이다. 본 발명에서 도 11에 도시된 디지털 디바이스(10)의 프로세서(11)는 도 14의 각 단계를 제어할 수 있다. 도 14의 실시예에서, 전술한 도 13의 실시예와 동일하거나 상응하는 부분은 자세한 설명을 생략하도록 한다.

먼저, 본 발명의 디지털 디바이스는 제 1 애플리케이션과 제 2 애플리케이션을 구동한다(S1410, S1420). 다음으로, 본 발명의 디지털 디바이스는 제 1 애플리케이션이 디스플레이 하는 컨텐츠에서 적어도 하나의 이미지 오브젝트를 추출한다(S1430). 본 발명의 S1410 내지 S1430 단계의 구체적인 실시예는 각각 도 13의 S1310 내지 S1330 단계의 실시예와 동일하다.

다음으로, 본 발명의 디지털 디바이스는 상기 추출된 적어도 하나의 이미지 오브젝트에 각각 대응하는 검색 키워드를 생성한다(S1432). 상기 검색 키워드는 이미지 오브젝트에 대응하는 정보를 검색하기 위한 텍스트 형태의 키워드가 될 수 있다. 이때, 디지털 디바이스는 본 발명의 제 2 애플리케이션을 통해, 상기 검색 키워드를 생성할 수 있다. 본 발명의 일 실시예에 따르면, 제 2 애플리케이션은 상기 검색 키워드의 생성을 위해 디지털 디바이스 자체에 내장된 데이터 베이스를 사용할 수 있다. 한편, 본 발명의 다른 실시예에 따르면, 제 2 애플리케이션은 외부 서버를 이용하여 상기 이미지 오브젝트에 대응하는 검색 키워드를 획득할 수 있다. 즉, 제 2 애플리케이션은 추출된 적어도 하나의 이미지 오브젝트를 서버로 전송하고, 서버로부터 상기 적어도 하나의 이미지 오브젝트에 각각 대응하는 검색 키워드를 수신할 수 있다.

다음으로, 본 발명의 디지털 디바이스는 상기 검색 키워드가 생성된 적어도 하나의 이미지 오브젝트에 각각 대응하는 적어도 하나의 오브젝트 인터페이스를 제 1 애플리케이션 상에 제공한다(S1440). 이때, 디지털 디바이스는 본 발명의 제 2 애플리케이션을 통해, 상기 오브젝트 인터페이스를 제공할 수 있다. 본 발명의 제 2 애플리케이션은 추출된 적어도 하나의 이미지 오브젝트 가운데 검색 키워드 생성에 성공한 이미지 오브젝트에 각각 대응하는 오브젝트 인터페이스를 제 1 애플리케이션 상에 제공한다. 한편, 본 발명의 다른 실시예에 따르면, 제 2 애플리케이션은 추출된 적어도 하나의 이미지 오브젝트들 가운데 각 이미지 오브젝트에 대응하는 검색 키워드의 신뢰도가 기 설정된 임계값을 넘는 이미지 오브젝트에 대해서만 해당 이미지 오브젝트에 대응하는 오브젝트 인터페이스를 제공할 수 있다. 또한 도 4에 도시된 실시예와 같이, 디지털 디바이스는 각 이미지 오브젝트에 대응하여 생성된 검색 키워드를 제 1 애플리케이션의 디스플레이 영역에 오브젝트 인터페이스와 함께 디스플레이 할 수 있다. 이에 더하여, 디지털 디바이스는 상기 검색 키워드의 신뢰도를 상기 검색 키워드와 함께 디스플레이 할 수 있다.

다음으로, 본 발명의 디지털 디바이스는 상기 적어도 하나의 오브젝트 인터페이스 중 특정 오브젝트 인터페이스를 선택하는 유저 입력을 수신한다(S1450). 유저 입력에 의해 특정 오브젝트 인터페이스가 선택되면, 디지털 디바이스는 선택된 특정 오브젝트 인터페이스에 대응하는 이미지 오브젝트의 검색 키워드를 서버로 전송한다(S1452). 이때, 서버는 수신된 검색 키워드에 대한 검색을 수행하고, 검색 결과를 생성할 수 있다. 다음으로, 디지털 디바이스는 서버로부터 상기 검색 키워드에 대응하는 검색 결과를 수신한다(S1454).

다음으로, 본 발명의 디지털 디바이스는 상기 수신된 검색 결과를 디스플레이 한다(S1460). 상기 검색 결과를 디스플레이 하는 구체적인 방법은 도 13의 S1360 단계와 같다.

도 15는 본 발명의 다른 실시예에 따른 이미지 검색 방법을 나타낸다. 도 15는 본 발명의 일 실시예에 따라 복수의 오브젝트 인터페이스를 선택하는 유저 입력이 수신된 경우를 나타내고 있다.

먼저, 도 14의 S1450 단계에서 특정 오브젝트를 선택하는 유저 입력이 수신되면, 디지털 디바이스는 복수의 오브젝트 인터페이스가 선택되었는지 여부를 판별한다(S1550). 만약 복수의 오브젝트 인터페이스가 선택되지 않았다면, 디지털 디바이스는 도 14의 S1452단계를 수행할 수 있다.

만약 복수의 오브젝트 인터페이스가 선택 되었다면, 디지털 디바이스는 복수의 오브젝트 인터페이스에 각각 대응하는 검색 키워드를 조합하여 조합 키워드를 생성한다(S1552). 상기 조합 키워드는 복수의 검색 키워드를 조합한 것으로서, 복수의 검색 키워드를 조합하는 방법으로는 공지의 다양한 실시예가 가능하다. 이때, 디지털 디바이스는 본 발명의 제 2 애플리케이션을 통해, 상기 조합 키워드를 생성할 수 있다.

다음으로, 디지털 디바이스는 상기 조합 키워드를 서버로 전송한다(S1554). 서버는 수신된 조합 키워드에 대한 검색을 수행하고, 검색 결과를 생성할 수 있다. 다음으로, 디지털 디바이스는 서버로부터 상기 조합 키워드에 대응하는 검색 결과를 수신한다(S1556). 다음으로, 본 발명의 디지털 디바이스는 도 14의 S1460 단계로 돌아가, 상기 수신된 검색 결과를 디스플레이 한다. 도 15의 각 스텝의 구체적인 실시예는 도 6을 참조로 설명한 바와 같다.

10 : 디지털 디바이스 12 : 디스플레이 유닛
30 : 컨텐츠 32 : 이미지 오브젝트
50 : 오브젝트 인터페이스 100 : 제 1 애플리케이션
200 : IA 애플리케이션

Claims

삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
디지털 디바이스로서,
상기 디지털 디바이스의 작동을 제어하는 프로세서;
상기 프로세서의 명령에 기초하여 서버와 데이터를 송/수신하는 커뮤니케이션 유닛; 및
상기 프로세서의 명령에 기초하여 영상을 출력하는 디스플레이 유닛을 포함하되,
상기 프로세서는,
적어도 하나의 이미지 오브젝트를 포함하는 컨텐츠를 디스플레이 하는 제 1 애플리케이션을 구동하고,
상기 제 1 애플리케이션이 디스플레이 하는 컨텐츠에 포함된 이미지 오브젝트의 이미지 검색 결과를 제공하기 위한 제 2 애플리케이션을 구동하고,
상기 제 2 애플리케이션을 통해, 상기 제 1 애플리케이션 상에 디스플레이 되는 상기 컨텐츠에서 적어도 하나의 이미지 오브젝트를 추출하고,
상기 제 2 애플리케이션을 통해, 상기 추출된 적어도 하나의 이미지 오브젝트에 각각 대응하는 적어도 하나의 오브젝트 인터페이스를 상기 제 1 애플리케이션 상에 제공하고,
상기 적어도 하나의 오브젝트 인터페이스 중 특정 오브젝트 인터페이스를 선택하는 유저 입력을 수신하고,
상기 유저 입력에 의해 선택된 특정 오브젝트 인터페이스에 대응하는 이미지 오브젝트의 검색 결과를 상기 디스플레이 유닛 상에 디스플레이하며,
상기 제 2 애플리케이션을 통해, 상기 추출된 적어도 하나의 이미지 오브젝트에 각각 대응하는 검색 키워드를 더 생성하며,
상기 검색 키워드가 생성된 적어도 하나의 이미지 오브젝트에 각각 대응하는 적어도 하나의 오브젝트 인터페이스를 상기 제 1 애플리케이션 상에 제공하고,
상기 생성된 검색 키워드를 상기 제 1 애플리케이션 상의 해당 오브젝트 인터페이스에 대응하는 영역에 디스플레이 하되, 상기 검색 키워드의 디스플레이 속성은 상기 제 2 애플리케이션에 의해 조정되고, 상기 검색 키워드의 디스플레이 속성은 상기 검색 키워드의 디스플레이 위치, 텍스트 크기, 및 텍스트 색상 중 적어도 하나를 포함하되,
상기 제 2 애플리케이션을 통해, 상기 특정 오브젝트 인터페이스에 대응하는 이미지 오브젝트에 대한 검색 결과 내에서 추가적으로 수행한 웹 검색 결과에 대응하는 복수개의 파생 오브젝트 인터페이스를 사용자의 검색 히스토리에 기초하여 상기 특정 오브젝트 인터페이스의 주변 영역에 트리 형태로 디스플레이하고,
상기 복수개의 파생 오브젝트 인터페이스 중 특정 파생 오브젝트 인터페이스를 선택하는 유저 입력을 수신한 경우,
상기 특정 파생 오브젝트 인터페이스에 대응하는 검색 결과를 상기 디스플레이 유닛 상에 디스플레이하는 것을 특징으로 하는 디지털 디바이스.
제 13항에 있어서,
상기 제 2 애플리케이션은 상기 제 1 애플리케이션과 동시에 활성화 상태에 있는 것을 특징으로 하는 디지털 디바이스.
제 14항에 있어서,
상기 프로세서는, 상기 제 2 애플리케이션을 상기 제 1 애플리케이션과 함께 디스플레이 하되, 상기 제 2 애플리케이션을 상기 제 1 애플리케이션의 적어도 일 측에 인접한 영역에 디스플레이 하는 것을 특징으로 하는 디지털 디바이스.
제 13항에 있어서,
상기 프로세서는, 상기 오브젝트 인터페이스를 해당 이미지 오브젝트에 대응하는 영역에 활성화 하는 것을 특징으로 하는 디지털 디바이스.
제 16항에 있어서,
상기 프로세서는, 상기 오브젝트 인터페이스를 상기 제 1 애플리케이션 상의 대응하는 이미지 오브젝트에 오버레이 하는 것을 특징으로 하는 디지털 디바이스.
삭제
제 13 항에 있어서, 상기 프로세서는,
추출된 상기 적어도 하나의 이미지 오브젝트를 서버로 전송하고,
서버로부터 상기 적어도 하나의 이미지 오브젝트에 각각 대응하는 검색 키워드를 수신하는 것을 특징으로 하는 디지털 디바이스.
삭제
제 13 항에 있어서, 상기 프로세서는,
해당 이미지 오브젝트에 대응하는 검색 키워드의 신뢰도를 더 디스플레이 하되, 상기 신뢰도는 상기 검색 키워드와 상기 해당 이미지 오브젝트 간의 매치율을 나타내는 것을 특징으로 하는 디지털 디바이스.
제 13 항에 있어서, 상기 프로세서는,
상기 유저 입력에 의해 선택된 특정 오브젝트 인터페이스에 대응하는 이미지 오브젝트의 검색 키워드를 서버로 전송하고,
서버로부터 상기 검색 키워드에 대응하는 검색 결과를 수신하고,
상기 수신된 검색 결과를 디스플레이 하는 것을 특징으로 하는 디지털 디바이스.
제 13항에 있어서, 상기 프로세서는,
복수의 오브젝트 인터페이스를 선택하는 유저 입력을 수신하고,
상기 복수의 오브젝트 인터페이스에 각각 대응하는 이미지 오브젝트의 조합된 검색 결과를 디스플레이 하는 것을 특징으로 하는 디지털 디바이스.
제 23항에 있어서, 상기 프로세서는,
상기 유저 입력에 의해 선택된 복수의 오브젝트 인터페이스에 대응하는 각각의 검색 키워드의 조합 키워드를 생성하고,
생성된 상기 조합 키워드를 서버로 전송하고,
상기 조합 키워드에 대응하는 검색 결과를 서버로부터 수신하며,
상기 수신된 검색 결과를 디스플레이 하는 것을 특징으로 하는 디지털 디바이스.