KR101778135B1 - 오브젝트 정보 제공방법 및 이를 적용한 촬영장치 - Google Patents

오브젝트 정보 제공방법 및 이를 적용한 촬영장치 Download PDF

Info

Publication number
KR101778135B1
KR101778135B1 KR1020100080932A KR20100080932A KR101778135B1 KR 101778135 B1 KR101778135 B1 KR 101778135B1 KR 1020100080932 A KR1020100080932 A KR 1020100080932A KR 20100080932 A KR20100080932 A KR 20100080932A KR 101778135 B1 KR101778135 B1 KR 101778135B1
Authority
KR
South Korea
Prior art keywords
information
image
photographed image
external server
object included
Prior art date
Application number
KR1020100080932A
Other languages
English (en)
Other versions
KR20110020746A (ko
Inventor
장우용
유승동
박세준
문민정
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to CN2010800380585A priority Critical patent/CN102484676A/zh
Priority to PCT/KR2010/005660 priority patent/WO2011025237A2/en
Priority to US12/862,406 priority patent/US20110043642A1/en
Priority to EP10812250.8A priority patent/EP2471255A4/en
Priority to JP2012526644A priority patent/JP5763075B2/ja
Publication of KR20110020746A publication Critical patent/KR20110020746A/ko
Application granted granted Critical
Publication of KR101778135B1 publication Critical patent/KR101778135B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Abstract

오브젝트 정보 제공방법 및 이를 적용한 촬영장치가 제공된다. 본 오브젝트 정보 제공방법에 따르면, 촬영된 영상 또는 촬영된 영상에 포함된 오브젝트의 패턴 정보를 외부 서버로 전송하고, 상기 외부 서버로부터 상기 오브젝트에 대한 정보를 수신하며, 상기 수신된 정보를 화면에 표시하게 된다. 이에 따라, 사용자는 무엇인지 알기 원하는 오브젝트를 촬영하는 간단한 조작만을 함으로써, 그 오브젝트에 대한 정보를 제공받을 수 있게 된다.

Description

오브젝트 정보 제공방법 및 이를 적용한 촬영장치{Method for providing object information and image pickup device applying the same}
본 발명은 오브젝트 정보 제공방법 및 이를 적용한 촬영장치에 관한 것으로, 더욱 상세하게는, 촬영장치를 통해 촬영된 영상에 포함된 오브젝트의 정보를 제공하기 위한 오브젝트 정보 제공방법 및 이를 적용한 촬영장치에 관한 것이다.
사람들은 새로운 사물을 접했을 때, 그 사물이 무엇인지 알기 위해 일단 카메라를 이용하여 해당 사물의 사진을 찍어둔다. 그리고, 촬영한 사진을 참고하여 백과사전이나 인터넷을 검색하여, 해당 사물의 정보를 알게 된다.
이와 같이, 새로운 사물이나, 건물, 동물 등을 접했을 때, 사용자는 그것이 무엇인지 알아내기 위해 많은 시간을 투자해야 한다.
최근 대부분의 휴대폰에는 카메라가 장착되어 출시된다. 또한, 대부분의 사람들이 휴대폰을 소유하고 있다고 해도 과언이 아니다. 따라서, 대부분의 사람들이 카메라를 소유하고 있는 것이 된다.
사람들은 모르는 사물을 접했을 때, 그것을 사진으로 찍어 두는 것이 일반적이다. 이에 따라, 촬영장치를 이용하여 사물의 정보를 쉽게 제공하기 위한 방안의 모색이 요청된다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 촬영된 영상 또는 촬영된 영상에 포함된 오브젝트의 패턴 정보를 외부 서버로 전송하고, 상기 외부 서버로부터 상기 오브젝트에 대한 정보를 수신하며, 상기 수신된 정보를 화면에 표시하는 오브젝트 정보 제공방법 및 이를 적용한 촬영장치를 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 오브젝트 정보 제공방법은, 영상을 촬영하는 단계; 촬영된 영상 또는 촬영된 영상에 포함된 오브젝트의 패턴 정보를 외부 서버로 전송하는 단계; 상기 외부 서버로부터 상기 오브젝트에 대한 정보를 수신하는 단계; 및 상기 수신된 정보를 화면에 표시하는 단계;를 포함한다.
그리고, 상기 전송단계는, 상기 촬영된 영상에 포함된 오브젝트의 패턴 정보가 추출된 경우, 상기 패턴 정보를 상기 외부 서버로 전송할 수도 있다.
또한, 상기 외부 서버에서 오브젝트의 패턴 데이터만으로 오브젝트를 인식할 수 없는 경우, 상기 촬영된 영상을 상기 외부 서버로 전송하는 단계;를 더 포함할 수도 있다.
그리고, 상기 전송단계는, 상기 촬영된 영상에 포함된 오브젝트의 패턴 정보가 추출되지 않는 경우, 상기 촬영된 영상을 상기 외부 서버로 전송할 수도 있다.
또한, 상기 표시단계는, 상기 수신된 정보를 상기 촬영된 영상과 함께 화면에 표시할 수도 있다.
그리고, 상기 촬영된 영상에 포함된 오브젝트의 카테고리를 선택하기 위한 카테고리 선택 메뉴를 표시하는 단계;를 더 포함할 수도 있다.
또한, 상기 카테고리 선택 메뉴에서 선택된 카테고리 정보를 상기 외부 서버로 전송하는 단계;를 더 포함할 수도 있다.
그리고, 상기 오브젝트 정보에 기초하여, 상기 오브젝트에 관련된 기능들의 리스트를 디스플레이하는 단계; 상기 리스트에서 선택된 기능을 수행하는 단계:를 더 포함할 수도 있다.
또한, 상기 오브젝트 정보에 기초하여, 상기 오브젝트에 관련된 기능을 수행하는 단계:를 더 포함할 수도 있다.
그리고, 상기 오브젝트에 대한 정보에 기초하여, 상기 촬영된 영상의 상황을 인식하고, 상기 촬영된 영상의 상황에 관련된 기능을 수행하는 단계:를 더 포함할 수도 있다.
한편, 본 발명의 일 실시예에 따른, 촬영장치는, 영상을 촬영하는 촬상소자; 외부 서버와 통신 가능하도록 연결되는 통신부; 및 상기 촬영된 영상 또는 상기 촬영된 영상에 포함된 오브젝트의 패턴 정보가 외부 서버로 전송되고, 상기 외부 서버로부터 상기 오브젝트에 대한 정보가 수신되며, 상기 수신된 정보가 화면에 표시되도록 제어하는 제어부;를 포함한다.
그리고, 상기 제어부는, 상기 촬영된 영상에 포함된 오브젝트의 패턴 정보가 추출된 경우, 상기 패턴 정보가 상기 외부 서버로 전송되도록 제어할 수도 있다.
또한, 상기 제어부는, 상기 외부 서버에서 오브젝트의 패턴 데이터만으로 오브젝트를 인식할 수 없는 경우, 상기 촬영된 영상을 상기 외부 서버로 전송할 수도 있다.
그리고, 상기 제어부는, 상기 촬영된 영상에 포함된 오브젝트의 패턴 정보가 추출되지 않는 경우, 상기 촬영된 영상이 상기 외부 서버로 전송되도록 제어할 수도 있다.
또한, 상기 제어부는, 상기 수신된 정보가 상기 촬영된 영상과 함께 화면에 표시되도록 제어할 수도 있다.
그리고, 상기 제어부는, 상기 촬영된 영상에 포함된 오브젝트의 카테고리를 선택하기 위한 카테고리 선택 메뉴가 표시되도록 제어할 수도 있다.
또한, 상기 제어부는, 상기 카테고리 선택 메뉴에서 선택된 카테고리 정보를 상기 외부 서버로 전송할 수도 있다.
그리고, 상기 제어부는, 상기 오브젝트 정보에 기초하여, 상기 오브젝트에 관련된 기능들의 리스트를 디스플레이하고, 상기 리스트에서 선택된 기능을 수행할 수도 있다.
또한, 상기 제어부는, 상기 오브젝트 정보에 기초하여, 상기 오브젝트에 관련된 기능을 수행할 수도 있다.
그리고, 상기 제어부는, 상기 오브젝트에 대한 정보에 기초하여, 상기 촬영된 영상의 상황을 인식하고, 상기 촬영된 영상의 상황에 관련된 기능을 수행할 수도 있다.
본 발명의 다양한 실시예들에 따르면, 촬영된 영상 또는 촬영된 영상에 포함된 오브젝트의 패턴 정보를 외부 서버로 전송하고, 상기 외부 서버로부터 상기 오브젝트에 대한 정보를 수신하며, 상기 수신된 정보를 화면에 표시하는 오브젝트 정보 제공방법 및 이를 적용한 촬영장치를 제공할 수 있게 되어, 사용자는 무엇인지 알기 원하는 오브젝트를 촬영하는 간단한 조작만을 함으로써, 그 오브젝트에 대한 정보를 제공받을 수 있게 된다.
도 1은 본 발명의 일 실시예에 따른, 촬영 장치(100)의 구성을 상세하게 도시한 블럭도,
도 2는 본 발명의 일 실시에에 따른, 촬영된 영상에 포함된 오브젝트의 정보를 제공하기 위한 오브젝트 정보 제공방법을 설명하기 위해 제공되는 흐름도,
도 3a는 본 발명의 일 실시예에 따른, 무당벌레를 촬영한 상태에서 정보 검색 명령 아이콘을 터치하는 것을 도시한 도면
도 3b는 본 발명의 일 실시예에 따른, 무당벌레에 관한 정보가 표시된 화면을 도시한 도면,
도 4a는 본 발명의 일 실시예에 따른, 에펠탑을 촬영한 상태에서 정보 검색 명령 아이콘을 터치하는 것을 도시한 도면,
도 4b는 본 발명의 일 실시예에 따른, 에펠탑에 관한 정보가 표시된 화면을 도시한 도면,
도 5a 내지 도 5g는 본 발명의 일 실시예에 따른, 촬영된 영상에 포함된 오브젝트의 정보를 다양한 방식으로 제공하는 과정을 도시한 도면,
도 6은 본 발명의 일 실시예에 따른, 오브젝트의 인식 전에 오브젝트의 카테고리 선택 메뉴를 표시한 화면을 도시한 도면이다.
이하에서는 도면을 참조하여 본 발명을 더욱 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른, 촬영 장치(100)의 구성을 상세하게 도시한 블럭도이다. 도 1에 도시된 바와 같이 촬영 장치(100)는 렌즈부(110), 촬상소자(120), 영상처리부(130), 제어부(140), 조작부(150), 영상출력부(160), 디스플레이(170), 코덱(180), 저장부(190), 및 통신부(195)를 구비한다.
렌즈부(110)는 피사체의 빛을 모아서 촬상영역에 광학상이 맺히게 한다.
촬상소자(120)는 렌즈를 통해 입사되는 빛을 전기신호로 광전변환하고, 전기신호에 대해 소정의 신호처리를 수행한다. 이와 같은 기능을 수행하는 촬상소자(120)는 화소 및 AD 컨버터를 구비한다. 각 화소는 아날로그 형태의 영상신호를 출력하며, AD 컨버터는 이를 디지털 형태의 영상신호로 변환하여 출력한다.
영상처리부(130)는 촬상소자(120)로부터 입력되는 영상에 대한 신호처리를 수행하여, 촬영된 영상을 디스플레이하기 위해 처리된 영상신호를 영상 출력부(160)로 전송한다. 또한, 영상처리부(130)는 촬영된 영상을 저장하기 위해 코덱(180)으로 처리된 영상신호를 출력한다.
구체적으로, 영상처리부(130)는 촬상소자(120)에서 출력되는 영상 신호에 대해 포맷변환과 영상 스케일을 조정하기 위한 디지털 줌, AWB(Auto White Balance), AF(Auto Focus), AE(Auto Exposure) 등을 수행한다.
또한, 영상처리부(130)는 촬영된 영상에 포함된 오브젝트를 추출한다. 여기에서, 오브젝트는 촬영된 영상의 피사체를 의미한다. 오브젝트는 촬영된 영상에 포함된 인물, 건물, 동물, 곤충 등을 예로 들 수 있다.
구체적으로, 영상처리부(130)는 촬영된 영상에 포함된 오브젝트의 패턴 정보를 추출한다. 예를 들어, 영상 처리부(130)는 오브젝트의 경계를 부분을 검출하여, 그 경계부분을 오브젝트의 패턴 정보로 인식한다. 그리고, 영상처리부(130)는 검출된 경계를 중심으로 한 색상의 변화, 경계의 무늬, 경계를 바탕으로한 오브젝트의 윤곽을 인식하게 된다. 영상처리부(130)는 이와 같은 색상, 무늬, 윤곽을 포함하는 패턴 정보를 바탕으로 촬영된 영상에 포함된 오브젝트를 추출하게 된다.
그리고, 영상처리부(130)는 추출된 패턴 정보를 제어부(140)로 전송한다. 그러면 제어부(140)는 추출된 패턴 정보를 참고 영상들과 비교하여, 패턴 정보가 대응되는 참고 영상을 추출한다. 여기에서, 참고 영상들은 오브젝트 인식을 위한 각 오브젝트들의 대표적인 이미지들을 의미한다.
이와 같이, 영상처리부(130)는 촬영된 영상에 포함된 오브젝트를 추출할 수 있게 된다.
또한, 영상 처리부(130)는 저장부(190)에 저장된 컨텐츠의 영상을 코덱(180)을 통해 수신하여 처리한다. 그리고, 처리된 컨텐츠의 영상을 영상 출력부(160)로 출력한다.
영상 출력부(160)는 영상처리부(130)로부터 수신된 영상신호를 내부 디스플레이(170) 또는 외부 출력 단자로 출력한다.
디스플레이(170)는 촬영된 영상을 화면에 표시한다. 또한, 디스플레이(170)는 촬영된 영상에 포함된 오브젝트의 정보를 함께 표시할 수도 있다. .
코덱(180)은 영상처리부(130)에서 수신한 영상신호를 인코딩한다. 그리고, 코덱(130)은 인코딩된 영상신호를 저장부(190)로 전송한다. 또한, 코덱(180)은 저장부(190)에 저장된 컨텐츠의 인코딩된 영상신호를 디코딩한다. 그리고, 코덱(180)은 디코딩된 영상신호를 영상처리부(130)로 전송한다.
즉, 코덱(180)은 촬영된 영상을 저장하는 경우 인코딩을 하고, 저장된 컨텐츠 영상을 영상처리부(130)로 출력하는 경우 디코딩을 하게 된다.
저장부(190)는 촬상소자(120)에서 촬영된 영상을 압축된 형태로 저장한다. 또한, 저장부(190)는 오브젝트를 인식하기 위한 참고영상들이 저장되어 있다. 그리고, 저장부(190)는 오브젝트의 정보를 검색하기 위한 데이터 베이스가 저장되어 있다. 예를 들어, 저장부(190)에는 백과사전 데이터베이스가 저장되어 있을 수도 있다.
저장부(190)는 플레쉬 메모리, 하드디스크, DVD 등을 이용하여 구현될 수 있다.
조작부(150)는 사용자의 조작을 통해 명령을 입력받는다. 조작부(150)는 촬영장치(100)의 표면에 버튼의 형태로 마련될 수 있으며, 디스플레이(170) 상에서 터치스크린 형태로 마련될 수도 있다. 또한, 조작부(150)는 사용자로부터 촬영된 오브젝트에 대한 정보 검색 명령을 입력받는다. 여기에서, 정보 검색 명령은 촬영된 오브젝트가 무엇인지에 대한 정보를 백과사전 등에서 검색하여 화면에 표시되게 하는 명령이다.
통신부(195)는 인터넷 등의 다양한 네트워크를 통해 외부 서버에 통신 가능하도록 연결된다. 통신부(195)는 유선랜 등의 유선 네트워크를 이용하여 외부 서버에 연결될 수도 있고, 무선랜 또는 블루투스 등의 무선 네트워크를 이용하여 외부 서버에 연결될 수도 있다.
제어부(140)는 촬영 장치(100)의 작동 전반을 제어한다. 구체적으로, 제어부(140)는 영상에 포함된 오브젝트의 정보가 화면에 표시되도록 제어한다. 여기에서, 오브젝트의 정보는 오브젝트가 어떤 것인지에 대한 상세한 정보를 의미한다. 예를 들어, 오브젝트의 정보는 오브젝트에 대한 사전적인 의미, 백과사전 상의 정보 등이 될 수 있다.
조작부(150)를 통해 정보 검색 명령이 입력되면, 제어부(140)는 촬영된 영상에서 오브젝트가 추출되도록 영상 처리부(130)를 제어한다. 그리고, 제어부(140)는 추출된 패턴 정보를 참고 영상들과 비교하여, 패턴 정보가 대응되는 참고 영상을 추출한다. 여기에서, 참고 영상들은 오브젝트 인식을 위한 각 오브젝트들의 대표적인 이미지들을 의미한다. 그리고, 제어부(140)는 대응되는 참고 영상에 포함된 오브젝트가 촬영된 오브젝트와 동일한 것으로 파악하여, 촬영된 영상에 포함된 오브젝트가 무엇인지를 인식하게 된다.
여기에서, 오브젝트는 촬영된 영상의 피사체를 의미한다. 오브젝트는 촬영된 영상에 포함된 인물, 건물, 동물, 곤충 등을 예로 들 수 있다. 따라서, 오브젝트가 인물인 경우, 제어부(140)는 얼굴 인식 기술을 이용하여 오브젝트의 얼굴 패턴 정보를 추출하고, 참고영상 중에서 대응되는 얼굴 영상을 검색한다. 그리고, 대응되는 참고 영상이 존재하는 경우, 그 참고영상에 대응되는 인물이 촬영된 영상의 오브젝트가 나타내는 인물이 된다.
또한, 오브젝트가 곤충인 경우, 제어부(140)는 곤충의 패턴 정보를 추출하고, 참고 영상 중에서 대응되는 곤충 영상을 검색한다. 그리고, 대응되는 참고 영상이 존재하는 경우, 그 참고 영상에 대응되는 곤충이 촬영된 영상의 오브젝트가 나타내는 곤충이 된다.
이와 같은 과정을 통해, 제어부(140)는 촬영된 영상에 포함된 오브젝트를 인식하게 된다.
그리고, 저장부(190)에 오브젝트 정보에 대한 데이터베이스가 존재하면, 제어부(140)는 일단 저장부(190)에 저장된 데이터 베이스에서 오브젝트의 정보를 검색한다. 제어부(140)는 검색된 오브젝트 정보가 화면에 표시되도록 디스플레이(170)를 제어하게 된다.
한편, 제어부(140)는 오브젝트를 인식할 수 없는 경우, 촬영된 영상이 외부 서버로 전송되도록 제어한다. 여기에서, 외부 서버는 영상에서 오브젝트를 인식하고, 다양한 오브젝트에 대한 정보를 제공해주는 기능을 하는 서버이다. 이와 같은, 외부 서버는 처리 속도 및 저장 용량에서 촬영장치(100)에 비해 탁월하게 좋기 때문에, 외부 서버가 오브젝트를 인식하고 오브젝트의 정보를 검색하면 더 정확하게 오브젝트를 인식하고 더 상세한 오브젝트 정보를 얻을 수 있게 된다. 따라서, 제어부(140)가 오브젝트를 인식하지 못하는 경우, 제어부(140)는 외부 서버로 촬영된 영상을 전송하게 된다.
한편, 제어부(140)는 오브젝트의 패턴 정보를 추출한 경우, 패턴 정보만을 외부 서버로 전송할 수도 있다. 이미지를 모두 전송할 경우 전송량이 많아 처리 속도가 늦어질 우려가 있으므로, 제어부(140)는 오브젝트의 패턴 정보는 추출할 수 있으나 오브젝트를 인식할 수는 없는 경우, 오브젝트의 패턴 정보만을 외부 서버로 전송할 수도 있다. 이를 통해, 제어부(140)는 외부 서버를 통해 오브젝트 정보를 제공하는 경우 처리속도를 향상시킬 수 있게 된다.
이 때, 외부 서버에서 오브젝트의 패턴 정보만으로 오브젝트를 인식할 수 없는 경우, 제어부(140)는 촬영된 영상을 외부 서버로 다시 전송하게 된다. 이는 외부 서버가 촬영된 원본 영상을 바탕으로 더욱 정확하게 오브젝트를 인식할 수 있게 하기 위함이다.
그리고, 제어부(140)는 외부 서버로부터 촬영된 영상에 포함된 오브젝트의 인식 결과를 수신하게 된다. 그리고, 제어부(140)는 외부 서버로부터 인식된 오브젝트의 정보를 수신하게 된다.
한편, 저장부(190)에 오브젝트 정보에 대한 데이터베이스가 존재하지 않는 경우, 제어부(140)는 외부 서버에 인식된 오브젝트에 대한 정보를 요청하게 된다. 그러면, 외부 서버는 오브젝트에 대한 정보를 내장된 백과사전 데이터 베이스 또는 인터넷 상의 데이터 베이스에서 검색하여, 검색된 오브젝트의 정보를 촬영장치로 제공해준다. 따라서, 제어부(140)는 외부 서버로부터 오브젝트에 대한 정보가 수신되도록 제어한다.
그리고, 제어부(140)는 수신된 오브젝트 정보가 화면에 표시되도록 제어한다.
이와 같이, 제어부(140)는 촬영된 영상에 포함된 오브젝트의 정보를 제공할 수 있게 된다. 따라서, 사용자는 특정 오브젝트를 촬영하는 조작만으로 해당 오브젝트에 대한 정보를 쉽게 확인할 수 있게 된다.
도 2는 본 발명의 일 실시에에 따른, 촬영된 영상에 포함된 오브젝트의 정보를 제공하기 위한 오브젝트 정보 제공방법을 설명하기 위해 제공되는 흐름도이다.
일단, 촬영장치(100)는 특정 오브젝트가 포함된 영상을 촬영한다(S210). 여기에서, 촬영은 촬영장치(100)가 촬상소자(120)에 의해 감지된 영상을 저장하는 상태뿐만 아니라, 촬영장치(100)가 촬상소자(120)에 의해 감지된 영상을 디스플레이부(170)에 표시하는 상태(즉, 촬영 대기 상태)도 포함한다.
이 상태에서, 촬영장치(100)는 사용자의 조작에 의해 촬영된 오브젝트에 대한 정보 검색 명령을 입력받는다(S220). 여기에서, 정보 검색 명령은 촬영된 오브젝트가 무엇인지에 대한 정보를 백과사전 등에서 검색하여 화면에 표시되게 하는 명령이다.
정보 검색 명령이 입력되면, 촬영장치(100)는 촬영된 영상에 포함된 오브젝트를 인식할 수 있는지 여부를 판단한다(S230). 만약, 촬영된 영상에 포함된 오브젝트를 인식할 수 있는 경우(S230-Y), 촬영장치(100)는 촬영된 영상에서 오브젝트를 추출하게 된다(S240).
구체적으로, 촬영장치(100)는 촬영된 영상에 포함된 오브젝트의 패턴 정보를 추출한다. 예를 들어, 촬영장치(100)는 촬영된 영상에서 오브젝트의 경계를 부분을 검출하여, 그 경계부분을 오브젝트의 패턴 정보로 인식한다. 그리고, 촬영장치(100)는 검출된 경계를 중심으로 한 색상의 변화, 경계의 무늬, 경계를 바탕으로한 오브젝트의 윤곽을 인식하게 된다. 촬영장치(100)는 이와 같은 색상, 무늬, 윤곽을 포함하는 패턴 정보를 바탕으로 촬영된 영상에 포함된 오브젝트를 추출하게 된다.
그리고, 촬영장치(100)는 추출된 패턴 정보를 참고 영상들과 비교하여, 패턴정보가 대응되는 참고 영상을 추출한다. 여기에서, 참고 영상들은 오브젝트 인식을 위한 각 오브젝트들의 대표적인 이미지들을 의미한다. 그리고, 촬영장치(100)는 대응되는 참고 영상에 포함된 오브젝트가 촬영된 오브젝트와 동일한 것으로 파악하여, 촬영된 영상에 포함된 오브젝트가 무엇인지를 인식할 수 있게 된다.
여기에서, 오브젝트는 촬영된 영상의 피사체를 의미한다. 오브젝트는 촬영된 영상에 포함된 인물, 건물, 동물, 곤충 등을 예로 들 수 있다. 따라서, 오브젝트가 인물인 경우, 촬영장치(100)는 얼굴 인식 기술을 이용하여 오브젝트의 얼굴 패턴 정보를 추출하고, 참고영상 중에서 대응되는 얼굴 영상을 검색한다. 그리고, 대응되는 참고 영상이 존재하는 경우, 그 참고영상에 대응되는 인물이 촬영된 영상의 오브젝트가 나타내는 인물이 된다.
또한, 오브젝트가 곤충인 경우, 촬영장치(100)는 곤충의 패턴 정보를 추출하고, 참고 영상 중에서 대응되는 곤충 영상을 검색한다. 그리고, 대응되는 참고 영상이 존재하는 경우, 그 참고 영상에 대응되는 곤충이 촬영된 영상의 오브젝트가 나타내는 곤충이 된다.
이와 같은 과정을 통해, 촬영장치(100)는 촬영된 영상에 포함된 오브젝트를 인식하게 된다.
그 후에, 촬영장치(100)는 저장부(190)에 오브젝트 정보가 존재하는지 여부를 판단한다(S250). 저장부(190)에는 각종 오브젝트의 정보를 검색하기 위한 데이터 베이스가 저장되어 있다. 예를 들어, 저장부(190)에는 백과사전 데이터베이스가 저장되어 있을 수도 있다.
따라서, 촬영장치(100)의 저장부(190)에 오브젝트 정보에 대한 데이터베이스가 존재하면(S250-Y), 촬영장치(100)는 일단 저장부(190)에 저장된 데이터 베이스에서 오브젝트의 정보를 검색하게 된다(S260).
그리고, 촬영장치(100)는 검색된 오브젝트 정보를 화면에 표시하게 된다(S270).
반면, 촬영장치(100)가 오브젝트를 인식할 수 없는 경우(S230-N), 촬영장치(100)는 촬영된 영상을 외부 서버로 전송한다(S280). 여기에서, 외부 서버는 영상에서 오브젝트를 인식하고, 다양한 오브젝트에 대한 정보를 제공해주는 기능을 하는 서버이다. 이와 같은, 외부 서버는 처리 속도 및 저장 용량에서 촬영장치(100)에 비해 탁월하게 좋기 때문에, 외부 서버가 오브젝트를 인식하고 오브젝트의 정보를 검색하면 더 정확하게 오브젝트를 인식하고 더 상세한 오브젝트 정보를 얻을 수 있게 된다. 따라서, 촬영장치(100)가 오브젝트를 인식하지 못하는 경우, 촬영장치(100)는 외부 서버로 촬영된 영상을 전송하게 된다.
한편, 촬영장치(100)는 오브젝트의 패턴 정보를 추출한 경우, 패턴 정보만을 외부 서버로 전송할 수도 있다. 이미지를 모두 전송할 경우 전송량이 많아 처리 속도가 늦어질 우려가 있으므로, 촬영장치(100)는 오브젝트의 패턴 정보는 추출할 수 있으나 오브젝트를 인식할 수는 없는 경우, 오브젝트의 패턴 정보만을 외부 서버로 전송할 수도 있다. 이를 통해, 촬영장치(100)는 외부 서버를 통해 오브젝트 정보를 제공하는 경우 처리속도를 향상시킬 수 있게 된다.
이 때, 외부 서버에서 오브젝트의 패턴 정보만으로 오브젝트를 인식할 수 없는 경우, 촬영장치(100)는 촬영된 영상을 외부 서버로 다시 전송하게 된다. 이는 외부 서버가 촬영된 원본 영상을 바탕으로 더욱 정확하게 오브젝트를 인식할 수 있게 하기 위함이다.
그리고, 촬영장치(100)는 외부 서버로부터 촬영된 영상에 포함된 오브젝트의 인식 결과를 수신하게 된다(S283). 그리고, 촬영장치(100)는 외부 서버로부터 인식된 오브젝트의 정보를 수신하게 된다(S286).
한편, 촬영장치(100)에 오브젝트 정보에 대한 데이터베이스가 존재하지 않는 경우(S250-N), 촬영장치(100)는 외부 서버에 인식된 오브젝트에 대한 정보를 요청하게 된다(S260). 그러면, 외부 서버는 오브젝트에 대한 정보를 내장된 백과사전 데이터 베이스에서 검색하여, 검색된 오브젝트의 정보를 촬영장치로 제공해준다. 또한, 외부 서버는 오브젝트에 대한 정보를 인터넷 상의 데이터 베이스(예를 들어, 야후, 구글, 네이버 등의 포탈 사이트)에서 검색하여, 검색된 오브젝트의 정보를 촬영장치로 제공해준다. 따라서, 촬영장치(100)는 외부 서버로부터 오브젝트에 대한 정보를 수신하게 된다(S293).
그 후에, 촬영장치(100)는 수신된 오브젝트 정보를 화면에 표시하게 된다(S270).
이와 같은 과정을 통해, 촬영장치(100)는 촬영된 영상에 포함된 오브젝트의 정보를 제공할 수 있게 된다. 따라서, 사용자는 특정 오브젝트를 촬영하는 조작만으로 해당 오브젝트에 대한 정보를 쉽게 확인할 수 있게 된다.
이하에서는, 도 3a 내지 도 4b를 참고하여, 촬영된 영상에 포함된 오브젝트의 정보를 표시하는 과정에 대해 설명한다. 도 3a는 본 발명의 일 실시예에 따른, 무당벌레(310)를 촬영한 상태에서 정보 검색 명령 아이콘(320)을 터치하는 것을 도시한 도면이다. 도 3b는 본 발명의 일 실시예에 따른, 무당벌레에 관한 정보가 표시된 화면을 도시한 도면이다.
도 3a에 도시된 바와 같이, 사용자는 촬영장치(100)를 이용하여 무당벌레(310)를 촬영한 상태이다. 이 상태에서, 사용자가 정보 검색 명령 아이콘(320)을 터치하면, 촬영장치(100)는 촬영된 무당벌레(310)를 오브젝트로 인식하게 된다. 그리고, 촬영장치(100)는 무당벌레(310)에 대한 정보를 저장부(190)에 저장된 데이터 베이스로부터 검색하게 된다.
한편, 촬영장치(100)가 무당벌레(310)를 인식하지 못한 경우, 촬영장치(100)는 외부 서버로 촬영된 영상을 전송할 수도 있다. 그리고, 촬영장치(100)는 외부 서버로부터 무당벌레(310)에 대한 정보를 수신하게 된다.
그리고, 도 3b에 도시된 바와 같이, 촬영장치(100)는 촬영된 영상에 포함된 오브젝트가 무당벌레(310)임을 인식하고, 무당벌레(310)에 대한 정보를 검색 또는 수신하여 화면에 표시하게 된다.
도 4a는 본 발명의 일 실시예에 따른, 에펠탑(410)을 촬영한 상태에서 정보 검색 명령 아이콘(420)을 터치하는 것을 도시한 도면이다. 도 4b는 본 발명의 일 실시예에 따른, 에펠탑(410)에 관한 정보가 표시된 화면을 도시한 도면이다.
도 4a에 도시된 바와 같이, 사용자는 촬영장치(100)를 이용하여 에펠탑(410)을 촬영한 상태이다. 이 상태에서, 사용자가 정보 검색 명령 아이콘(420)을 터치하면, 촬영장치(100)는 촬영된 에펠탑(410)을 오브젝트로 인식하게 된다. 그리고, 촬영장치(100)는 에펠탑(410)에 대한 정보를 저장부(190)에 저장된 데이터 베이스로부터 검색하게 된다.
한편, 촬영장치(100)가 에펠탑(410)을 인식하지 못한 경우, 촬영장치(100)는 외부 서버로 촬영된 영상을 전송할 수도 있다. 그리고, 촬영장치(100)는 외부 서버로부터 에펠탑(410)에 대한 정보를 수신하게 된다.
그리고, 도 4b에 도시된 바와 같이, 촬영장치(100)는 촬영된 영상에 포함된 오브젝트가 에펠탑(410)임을 인식하고, 에펠탑(410)에 대한 정보를 검색 또는 수신하여 화면에 표시하게 된다.
이하에서는, 도 5a 내지 도 5g를 참고하여, 촬영장치(100)에서 촬영된 영상에 포함된 오브젝트의 정보를 제공하는 전반의 과정에 대해 설명한다. 도 5a 내지 도 5g는 본 발명의 일 실시예에 따른, 촬영된 영상에 포함된 오브젝트의 정보를 다양한 방식으로 제공하는 과정을 도시한 도면이다.
도 5a는 촬영장치(100)가 에펠탑(510)을 촬영한 상태를 도시한 도면이다. 그 후에, 도 5b와 같이, 촬영장치(100)는 화면에 정보 검색 명령 항목(520)이 포함된 메뉴를 표시한다.
그리고, 도 5b와 같이 사용자가 정보 검색 명령 항목(520)을 터치하면, 도 5c에 도시된 바와 같이, 촬영장치(100)는 외부 서버(530)로 촬영된 영상을 전송한다. 그리고, 촬영장치(100)는 외부 서버(530)부터 오브젝트 정보인 에펠탑(510)에 대한 정보를 수신하게 된다. 즉, 외부 서버(530)가 촬영된 사진에 포함된 오브젝트가 에펠탑(510)임을 인식하여 에펠탑(510)에 대한 정보를 검색하여 촬영장치(100)로 전송하는 것이다.
그 후에, 도 5d에 도시된 바와 같이, 촬영장치(100)는 화면에 에펠탑에 대한 정보(540)를 화면에 표시한다. 그리고, 도 5f에 도시된 바와 같이, 사용자가 저장 버튼(550)을 터치하면, 촬영장치(100)는 화면에 표시된 에펠탑에 대한 정보(540)를 저장부(190)에 저장하게 된다. 그리고, 도 5f에 도시된 바와 같이, 촬영장치(100)는 에펠탑에 대한 정보(540)가 저장이 완료되면, 저장이 완료되었음을 화면에 표시하게 된다.
즉, 촬영장치(100)는 화면에 표시된 오브젝트에 대한 정보를 저장부(190)에 저장할 수 있다. 따라서, 사용자는 한번 검색한 오브젝트에 대한 정보는 추후 저장된 파일로 반복적으로 확인할 수 있게 된다.
또한, 촬영장치(100)는 촬영된 영상과 검색된 오브젝트 정보를 함께 표시할 수도 있다. 구체적으로, 도 5g에 도시된 바와 같이, 촬영장치(100)는 화면에 에펠탑이 촬영된 영상(570)과 에펠탑에 대한 정보(575)가 함께 표시되는 것을 확인할 수 있다. 따라서, 사용자는 한번에 촬영된 영상과 촬영된 영상에 포함된 오브젝트의 정보를 함께 확인할 수 있게 된다.
이와 같은 과정을 통해, 촬영장치(100)는 촬영된 영상에 포함된 오브젝트의 정보를 제공할 수 있게 된다. 따라서, 사용자는 특정 오브젝트를 촬영하는 조작만으로 해당 오브젝트에 대한 정보를 쉽게 확인할 수 있게 된다.
이하에서는, 도 6을 참고하여, 오브젝트를 인식하기 전에 오브젝트의 카테고리를 선택하는 것에 대해 설명한다. 도 6은 본 발명의 일 실시예에 따른, 오브젝트의 인식 전에 오브젝트의 카테고리 선택 메뉴(600)를 표시한 화면을 도시한 도면이다.
도 6에 도시된 바와 같이, 촬영장치(100)는 화면에 카테고리 선택 메뉴(600)를 표시하고 있다. 여기에서, 카테고리는 촬영된 영상에 포함된 오브젝트의 종류에 대한 카테고리를 의미한다. 예를 들어, 도 6에 도시된 바와 같이, 카테고리는 식물, 곤충, 포유류, 건물, 및 기타를 포함할 수도 있다.
촬영장치(100)는 정보 검색 명령이 입력되면(즉, 도 2의 S220단계 후에), 카테고리 선택 메뉴(600)를 화면에 표시할 수도 있다. 그러면, 사용자는 촬영된 화면에 포함된 오브젝트가 어떤 카테고리에 해당되는지를 선택할 수 있게 된다. 그리고, 촬영장치(100)는 사용자에 의해 선택된 카테고리 내에서 오브젝트를 인식하게 된다. 따라서, 촬영장치(100)는 더욱 정확하고 빠른 속도로 오브젝트를 인식하고 오브젝트의 정보를 검색할 수 있게 된다.
또한, 촬영장치(100)는 선택된 카테고리에 대한 정보를 외부서버에 전송할 수도 있다. 그러면, 외부 서버는 선택된 카테고리를 참고하여 오브젝트를 인식하기 때문에, 더욱 정확하고 신속하게 오브젝트를 인식할 수 있게 된다.
한편, 촬영장치(100)는 외부 서버로부터 수신된 오브젝트의 정보를 이용하여 오브젝트에 연관된 기능 목록을 디스플레이하거나, 오브젝트에 연관된 기능을 수행할 수도 있다.
예를 들어, 수신된 오브젝트의 정보가 자동차인 경우, 촬영장치(100)는 가장 가까운 자동차 정비소에 전화를 거는 기능, 또는 가장 가까운 주유소의 지도 표시 등의 기능을 수행할 수도 있다. 또한, 촬영 장치(100)는 자동차에 관련된 기능의 목록을 화면에 디스플레이하고, 사용자에 의해 선택된 기능을 수행할 수도 있다.
또한, 수신된 오브젝트의 정보가 강아지인 경우, 촬영장치(100)는 현재 위치에서 가장 가까운 동물병원 또는 애완견 센터에 전화를 거는 기능 또는 애완견 기르는 방법에 대한 인터넷 사이트 검색 기능을 수행할 수도 있다. 또한, 촬영 장치(100)는 강아지에 관련된 기능의 목록을 화면에 디스플레이하고, 사용자에 의해 선택된 기능을 수행할 수도 있다.
이와 같이, 촬영장치(100)는 촬영된 영상에 포함된 오브젝트에 관련된 기능을 자동으로 수행하기 때문에, 사용자는 촬영장치(100)를 이용하여 특정 오브젝트를 촬영하는 것만으로도 원하는 기능을 실행시킬 수 있게 된다.
또한, 촬영장치(100)는 촬영된 영상의 오브젝트 정보에 기초하여, 이미지가 나타내는 상황을 인식할 수도 있다. 그리고, 촬영장치(100)는 특정 상황이 인식된 경우, 해당 상황에 대응되는 기능을 수행할 수도 있다.
예를 들어, 촬영장치(100)는 촬영된 영상에 정지된 차량 2대가 포함되어 있는 경우, 이를 사고 상황으로 인식할 수도 있다. 따라서, 촬영장치(100)는 사고 상황이 인식된 경우, 사고 상황에 관련된 기능을 수행하게 된다. 예를 들어, 촬영장치(100)는 자동차 보험사에 전화를 거는 기능을 수행하거나, 자동차 보험사의 전화번호를 화면에 디스플레이할 수도 있다.
또한, 촬영장치(100)는 촬영된 영상에 불이 화면 전반에 포함되어 있는 경우, 이를 화재 상황으로 인식할 수도 있다. 이 경우, 촬영장치(100)는 화재상황에 관련된 기능을 수행하게 된다. 예를 들어, 촬영장치(100)는 사이렌 소리가 나게 하는 기능을 수행하거나, 소방서에 전화를 거는 기능을 수행할 수도 있다.
이와 같이, 촬영장치(100)는 촬영된 영상의 상황을 인식하고, 이에 대응되는 기능을 수행할 수도 있다.
본 실시예에서, 촬영장치(100)는 영상을 촬영할 수 있는 기기라면, 어느 기기라도 적용될 수 있음은 물론이다. 예를 들어, 촬영장치(100)는 카메라가 장착된 휴대폰, MP3 플레이어, PDA, 노트북 컴퓨터 등이 될 수 있음은 물론이다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100 : 촬영장치 110 : 렌즈부
120 : 촬상소자 130 : 영상처리부
140 : 제어부 150 : 조작부
160 : 영상 출력부 170 : 디스플레이
180 : 코덱 190 : 저장부
195 : 통신부

Claims (20)

  1. 오브젝트 정보 검색을 위한 데이터베이스를 포함하는 촬영장치의 오브젝트 정보 제공 방법에 있어서,
    영상을 촬영하는 단계;
    상기 촬영된 영상에 포함된 오브젝트의 카테고리를 선택하기 위한 카테고리 선택 메뉴를 표시하는 단계;
    사용자 명령에 따라 상기 카테고리 선택 메뉴에서 카테고리가 선택되면, 상기 촬영된 영상에 포함된 오브젝트가 인식 가능한지 판단하는 단계;
    상기 판단 결과 상기 촬영된 영상에 포함된 오브젝트를 인식할 수 있고, 상기 데이터베이스에 상기 영상에 포함된 오브젝트에 대한 정보가 존재하는 경우, 상기 촬영된 영상에 포함된 오브젝트에 대한 정보를 화면에 표시하는 단계;
    상기 판단 결과 상기 촬영된 영상에 포함된 오브젝트를 인식할 수 없거나, 상기 데이터베이스에 상기 영상에 포함된 오브젝트에 대한 정보가 존재하지 않는 경우, 상기 촬영된 영상 및 상기 선택된 카테고리에 대한 정보 또는 상기 촬영된 영상에 포함된 오브젝트의 패턴 정보 및 상기 선택된 카테고리에 대한 정보를 외부 서버로 전송하는 단계;
    상기 외부 서버로부터 상기 오브젝트에 대한 정보를 수신하는 단계; 및
    상기 수신된 오브젝트에 대한 정보에 기초하여, 상기 오브젝트에 관련된 기능들의 리스트를 화면에 표시하는 단계;를 포함하며,
    상기 전송하는 단계는,
    상기 영상에 포함된 오브젝트의 패턴 정보 및 상기 선택된 카테고리에 대한 정보를 상기 외부 서버로 전송하는 단계; 및
    상기 외부 서버에서 상기 오브젝트의 패턴 정보를 통해 상기 영상에 포함된 오브젝트를 인식할 수 없는 경우, 상기 촬영된 영상을 상기 외부 서버로 전송하는 단계;를 포함하는 오브젝트 정보 제공방법.
  2. 제1항에 있어서,
    상기 전송하는 단계는,
    상기 촬영된 영상에 포함된 오브젝트의 패턴 정보가 추출된 경우, 상기 패턴 정보를 상기 외부 서버로 전송하는 것을 특징으로 하는 오브젝트 정보 제공방법.
  3. 삭제
  4. 제1항에 있어서,
    상기 전송하는 단계는,
    상기 촬영된 영상에 포함된 오브젝트의 패턴 정보가 추출되지 않는 경우, 상기 촬영된 영상을 상기 외부 서버로 전송하는 것을 특징으로 하는 오브젝트 정보 제공방법.
  5. 제1항에 있어서,
    상기 표시하는 단계는,
    상기 수신된 오브젝트에 대한 정보를 상기 촬영된 영상과 함께 화면에 표시하는 것을 특징으로 하는 오브젝트 정보 제공방법.
  6. 삭제
  7. 삭제
  8. 제1항에 있어서,
    상기 리스트에서 선택된 기능을 수행하는 단계:를 더 포함하는 것을 특징으로 하는 오브젝트 정보 제공방법.
  9. 제1항에 있어서,
    상기 수신된 오브젝트에 대한 정보에 기초하여, 상기 오브젝트에 관련된 기능을 수행하는 단계:를 더 포함하는 것을 특징으로 하는 오브젝트 정보 제공방법.
  10. 제1항에 있어서,
    상기 수신된 오브젝트에 대한 정보에 기초하여, 상기 촬영된 영상의 상황을 인식하고, 상기 촬영된 영상의 상황에 관련된 기능을 수행하는 단계:를 더 포함하는 것을 특징으로 하는 오브젝트 정보 제공방법.
  11. 영상을 촬영하는 촬상소자;
    외부 서버와 통신 가능하도록 연결되는 통신부;
    디스플레이;
    오브젝트 정보 검색을 위한 데이터베이스; 및
    상기 촬영된 영상에 포함된 오브젝트의 카테고리를 선택하기 위한 카테고리 선택 메뉴가 표시되도록 상기 디스플레이를 제어하고,
    사용자 명령에 따라 상기 카테고리 선택 메뉴에서 카테고리가 선택되면, 상기 촬영된 영상에 포함된 오브젝트가 인식 가능한지 판단하며,
    상기 판단 결과 상기 촬영된 영상에 포함된 오브젝트를 인식할 수 있고, 상기 데이터베이스에 상기 영상에 포함된 오브젝트에 대한 정보가 존재하는 경우, 상기 촬영된 영상에 포함된 오브젝트에 대한 정보가 디스플레이되도록 상기 디스플레이를 제어하고,
    상기 판단 결과 상기 촬영된 영상에 포함된 오브젝트를 인식할 수 없거나, 상기 데이터베이스에 상기 영상에 포함된 오브젝트에 대한 정보가 존재하지 않는 경우, 상기 촬영된 영상 및 상기 선택된 카테고리에 대한 정보 또는 상기 촬영된 영상에 포함된 오브젝트의 패턴 정보 및 상기 선택된 카테고리에 대한 정보가 상기 외부 서버로 전송되도록 상기 통신부를 제어하고, 상기 외부 서버로부터 상기 오브젝트에 대한 정보가 수신되면, 상기 수신된 오브젝젝트에 대한 정보에 기초하여, 상기 오브젝트에 관련된 기능들의 리스트가 표시되도록 상기 디스플레이를 제어하는 제어부;를 포함하며,
    상기 제어부는,
    상기 영상에 포함된 오브젝트의 패턴 정보 및 상기 선택된 카테고리에 대한 정보를 상기 외부 서버로 전송하고, 상기 외부 서버에서 상기 오브젝트의 패턴 정보를 통해 상기 영상에 포함된 오브젝트를 인식할 수 없는 경우, 상기 촬영된 영상을 상기 외부 서버로 전송하도록 상기 통신부를 제어하는 촬영장치.
  12. 제11항에 있어서,
    상기 제어부는,
    상기 촬영된 영상에 포함된 오브젝트의 패턴 정보가 추출된 경우, 상기 패턴 정보가 상기 외부 서버로 전송되도록 제어하는 것을 특징으로 하는 촬영장치.
  13. 삭제
  14. 제11항에 있어서,
    상기 제어부는,
    상기 촬영된 영상에 포함된 오브젝트의 패턴 정보가 추출되지 않는 경우, 상기 촬영된 영상이 상기 외부 서버로 전송되도록 제어하는 것을 특징으로 하는 촬영장치.
  15. 제11항에 있어서,
    상기 제어부는,
    상기 수신된 오브젝트에 대한 정보가 상기 촬영된 영상과 함께 화면에 표시되도록 제어하는 것을 특징으로 하는 촬영장치.
  16. 삭제
  17. 삭제
  18. 제11항에 있어서,
    상기 제어부는,
    상기 리스트에서 선택된 기능을 수행하는 것을 특징으로 하는 촬영장치.
  19. 제11항에 있어서,
    상기 제어부는,
    상기 수신된 오브젝트에 대한 정보에 기초하여, 상기 오브젝트에 관련된 기능을 수행하는 것을 특징으로 하는 촬영장치.
  20. 제11항에 있어서,
    상기 제어부는,
    상기 수신된 오브젝트에 대한 정보에 기초하여, 상기 촬영된 영상의 상황을 인식하고, 상기 촬영된 영상의 상황에 관련된 기능을 수행하는 것을 특징으로 하는 촬영장치.
KR1020100080932A 2009-08-24 2010-08-20 오브젝트 정보 제공방법 및 이를 적용한 촬영장치 KR101778135B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN2010800380585A CN102484676A (zh) 2009-08-24 2010-08-24 用于提供对象信息的方法和应用该方法的图像拾取装置
PCT/KR2010/005660 WO2011025237A2 (en) 2009-08-24 2010-08-24 Method for providing object information and image pickup device applying the same
US12/862,406 US20110043642A1 (en) 2009-08-24 2010-08-24 Method for providing object information and image pickup device applying the same
EP10812250.8A EP2471255A4 (en) 2009-08-24 2010-08-24 METHOD FOR PROVIDING OBJECT INFORMATION AND PICTURE RECORDING DEVICE THEREFOR
JP2012526644A JP5763075B2 (ja) 2009-08-24 2010-08-24 オブジェクト情報の提供方法及びそれを適用した撮影装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20090078274 2009-08-24
KR1020090078274 2009-08-24

Publications (2)

Publication Number Publication Date
KR20110020746A KR20110020746A (ko) 2011-03-03
KR101778135B1 true KR101778135B1 (ko) 2017-09-14

Family

ID=43929910

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100080932A KR101778135B1 (ko) 2009-08-24 2010-08-20 오브젝트 정보 제공방법 및 이를 적용한 촬영장치

Country Status (6)

Country Link
US (1) US20110043642A1 (ko)
EP (1) EP2471255A4 (ko)
JP (1) JP5763075B2 (ko)
KR (1) KR101778135B1 (ko)
CN (1) CN102484676A (ko)
WO (1) WO2011025237A2 (ko)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120004669A (ko) * 2010-07-07 2012-01-13 삼성전자주식회사 휴대용 단말기에서 세계 시간 표시 장치 및 방법
JP5348164B2 (ja) * 2011-03-23 2013-11-20 株式会社デンソー 車両用装置および外部機器画面表示システム
US8643703B1 (en) 2011-03-30 2014-02-04 Amazon Technologies, Inc. Viewer tracking image display
US9223902B1 (en) * 2011-11-29 2015-12-29 Amazon Technologies, Inc. Architectures for content identification
US9852135B1 (en) 2011-11-29 2017-12-26 Amazon Technologies, Inc. Context-aware caching
JP2013168132A (ja) * 2012-01-17 2013-08-29 Toshiba Corp 商品検索装置、方法、及びプログラム
US8687104B2 (en) * 2012-03-27 2014-04-01 Amazon Technologies, Inc. User-guided object identification
WO2013174286A1 (zh) * 2012-05-23 2013-11-28 Wang Hao 影像拍摄装置和影像拍摄方法
WO2013174293A1 (zh) * 2012-05-23 2013-11-28 Wang Hao 影像记录装置和影像记录方法
CN103428448A (zh) * 2012-05-23 2013-12-04 杭州美盛红外光电技术有限公司 红外拍摄装置和红外拍摄方法
CN105659578A (zh) * 2012-05-23 2016-06-08 杭州美盛红外光电技术有限公司 红外记录装置和红外记录方法
JP5675722B2 (ja) * 2012-07-23 2015-02-25 東芝テック株式会社 認識辞書処理装置及び認識辞書処理プログラム
US8922662B1 (en) * 2012-07-25 2014-12-30 Amazon Technologies, Inc. Dynamic image selection
JP2014032539A (ja) * 2012-08-03 2014-02-20 Toshiba Tec Corp オブジェクト認識スキャナシステム、辞書サーバ、オブジェクト認識スキャナ、辞書サーバプログラムおよび制御プログラム
WO2014147917A1 (ja) * 2013-03-19 2014-09-25 日本電気株式会社 処理装置、処理装置のデータ処理方法、およびプログラム
US20150116541A1 (en) * 2013-10-28 2015-04-30 Jordan Gilman Method and apparatus for applying a tag/identification to a photo/video immediately after capture
KR102299262B1 (ko) * 2015-06-23 2021-09-07 삼성전자주식회사 단말기에서 부가 컨텐츠를 제공하는 방법 및 이를 이용하는 단말기
KR20170025413A (ko) * 2015-08-28 2017-03-08 엘지전자 주식회사 이동 단말기 및 그 제어 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080247612A1 (en) * 2000-10-27 2008-10-09 William Reber L.L.C. Method and System for Facilitating Tasks Using Images and Selections from Object Class and Task Menus

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001223858A (ja) * 2000-02-09 2001-08-17 Nisca Corp 画像読取装置及び画像データの伝送方法
KR100322755B1 (ko) * 2000-02-14 2002-02-07 윤종용 가변형 오에스디 그래픽 데이터를 가진 영상장치
JP2002175315A (ja) * 2000-09-28 2002-06-21 Nikon Corp 画像注釈サーバー、画像注釈サービス方法、画像照会装置、電子カメラ、望遠光学機器、および記録媒体
JP3268772B1 (ja) * 2001-05-22 2002-03-25 理世 野津 画像認識システム、認識管理サーバ及びその制御方法、プログラム
US7423666B2 (en) * 2001-05-25 2008-09-09 Minolta Co., Ltd. Image pickup system employing a three-dimensional reference object
JP2004056443A (ja) * 2002-07-19 2004-02-19 Fujitsu Ltd 監視撮像端末装置及び監視システム
JP2005094741A (ja) * 2003-08-14 2005-04-07 Fuji Photo Film Co Ltd 撮像装置及び画像合成方法
CN1860767A (zh) * 2003-09-30 2006-11-08 皇家飞利浦电子股份有限公司 用于为便携式信息系统自动检索信息的系统和方法
JP4478513B2 (ja) * 2004-06-10 2010-06-09 キヤノン株式会社 デジタルカメラ、デジタルカメラの制御方法、プログラムおよびそれを格納した記録媒体
US8156116B2 (en) * 2006-07-31 2012-04-10 Ricoh Co., Ltd Dynamic presentation of targeted information in a mixed media reality recognition system
KR100754656B1 (ko) * 2005-06-20 2007-09-03 삼성전자주식회사 이미지와 관련한 정보를 사용자에게 제공하는 방법 및시스템과 이를 위한 이동통신단말기
EP1783681A4 (en) * 2005-06-30 2007-12-05 Olympus Corp RECOVERY SYSTEM AND METHOD
JP4761029B2 (ja) * 2005-07-06 2011-08-31 横河電機株式会社 画像解析システム
JP2007018456A (ja) * 2005-07-11 2007-01-25 Nikon Corp 情報表示装置及び情報表示方法
CN100397400C (zh) * 2006-02-10 2008-06-25 华为技术有限公司 图形检索的方法
JP2007281647A (ja) * 2006-04-04 2007-10-25 Nikon Corp 電子カメラおよび画像処理装置
KR100775123B1 (ko) * 2006-09-15 2007-11-08 삼성전자주식회사 영상 객체 인덱싱 방법 및 이를 이용한 영상 객체 인덱싱시스템
US9075808B2 (en) * 2007-03-29 2015-07-07 Sony Corporation Digital photograph content information service
JP4914268B2 (ja) * 2007-03-29 2012-04-11 株式会社日立製作所 検索サービスサーバの情報検索方法。
US8108408B2 (en) * 2007-06-14 2012-01-31 Panasonic Corporation Image recognition device and image recognition method
JP2009118009A (ja) * 2007-11-02 2009-05-28 Sony Corp 撮像装置、その制御方法およびプログラム
US8229160B2 (en) * 2008-01-03 2012-07-24 Apple Inc. Systems and methods for identifying objects and providing information related to identified objects
US20090237546A1 (en) * 2008-03-24 2009-09-24 Sony Ericsson Mobile Communications Ab Mobile Device with Image Recognition Processing Capability
US20090285443A1 (en) * 2008-05-15 2009-11-19 Sony Ericsson Mobile Communications Ab Remote Control Based on Image Recognition
US8520979B2 (en) * 2008-08-19 2013-08-27 Digimarc Corporation Methods and systems for content processing
CN101354711A (zh) * 2008-09-01 2009-01-28 北京新岸线网络技术有限公司 信息搜索方法、信息搜索装置、信息搜索系统
US8154644B2 (en) * 2008-10-08 2012-04-10 Sony Ericsson Mobile Communications Ab System and method for manipulation of a digital image

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080247612A1 (en) * 2000-10-27 2008-10-09 William Reber L.L.C. Method and System for Facilitating Tasks Using Images and Selections from Object Class and Task Menus

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Till Quack et al, "Object Recognition for the Internet of Things", Lecture Notes in Computer Science, The Internet of Things, 26, March, 2008..*

Also Published As

Publication number Publication date
CN102484676A (zh) 2012-05-30
JP2013502662A (ja) 2013-01-24
EP2471255A4 (en) 2016-09-21
KR20110020746A (ko) 2011-03-03
JP5763075B2 (ja) 2015-08-12
WO2011025237A2 (en) 2011-03-03
WO2011025237A3 (en) 2011-07-07
US20110043642A1 (en) 2011-02-24
EP2471255A2 (en) 2012-07-04

Similar Documents

Publication Publication Date Title
KR101778135B1 (ko) 오브젝트 정보 제공방법 및 이를 적용한 촬영장치
JP5043100B2 (ja) 撮像装置、その制御プログラムを記録したコンピュータ読取り可能な記録媒体
JP5218989B2 (ja) 通信端末装置、及び、プログラム
US9912870B2 (en) Method for transmitting image and image pickup apparatus applying the same
JP5401962B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP3944160B2 (ja) 撮像装置、情報処理装置、それらの制御方法及びプログラム
JP4805198B2 (ja) 画像共有システムおよびサーバーの制御方法
JP6229656B2 (ja) 制御装置および記憶媒体
CN104349047B (zh) 图像拍摄设备及其拍摄方法
US9124795B2 (en) Method and apparatus for obtaining an image associated with a location of a mobile terminal
JP2010079788A (ja) コンテンツ管理装置、システム、方法およびプログラム
WO2015159775A1 (ja) 画像処理装置、通信システム及び通信方法並びに撮像装置
US9635234B2 (en) Server, client terminal, system, and program
CN115250327A (zh) 一种变焦拍摄场景下的预览图像显示方法与电子设备
US9762767B2 (en) Imaging operation terminal, imaging system, software extraction method, and computer-readable device
TWI494864B (zh) 影像搜尋方法、系統及其使用之電腦程式產品
JP2009049886A (ja) 画像検索装置、撮影装置、画像検索方法及びプログラム
JP2010041527A (ja) 撮影支援方法、システム、プログラム
JP5034880B2 (ja) 電子カメラ、画像表示装置
JP5023932B2 (ja) 撮像装置、シナリオによる画像撮影方法、およびプログラム
CN112989092A (zh) 一种图像处理方法及相关装置
KR101619091B1 (ko) 영상 전송 방법 및 이를 적용한 촬영장치
KR20100023270A (ko) 영상 제공 시스템 및 영상 등록, 저장, 검색 방법
JP5977697B2 (ja) 電子機器、および電子機器を制御するための方法
KR20120072033A (ko) 영상 컨텐츠의 자동 태깅 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant