KR20120050616A - Multimedia device, multiple image sensors having different types and the method for controlling the same - Google Patents

Multimedia device, multiple image sensors having different types and the method for controlling the same Download PDF

Info

Publication number
KR20120050616A
KR20120050616A KR1020100111954A KR20100111954A KR20120050616A KR 20120050616 A KR20120050616 A KR 20120050616A KR 1020100111954 A KR1020100111954 A KR 1020100111954A KR 20100111954 A KR20100111954 A KR 20100111954A KR 20120050616 A KR20120050616 A KR 20120050616A
Authority
KR
South Korea
Prior art keywords
image sensor
user
image
face
information
Prior art date
Application number
KR1020100111954A
Other languages
Korean (ko)
Other versions
KR101629324B1 (en
Inventor
김상기
강민구
김태형
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020100111954A priority Critical patent/KR101629324B1/en
Priority to EP11151785.0A priority patent/EP2453386B1/en
Priority to US13/028,958 priority patent/US9025023B2/en
Priority to CN201110082644.6A priority patent/CN102467661B/en
Publication of KR20120050616A publication Critical patent/KR20120050616A/en
Application granted granted Critical
Publication of KR101629324B1 publication Critical patent/KR101629324B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Abstract

PURPOSE: A controlling method of a multimedia apparatus and a heterogeneous image sensor are provided to accurately distinguish users around a multimedia apparatus by using a heterogeneous image sensor. CONSTITUTION: A first image sensor performs detection and tracking of one or more users(S2501). A second image sensor photographs a detected user face region(S2502). The first image sensor extracts a face of a user, body information, and pose information(S2503). The second image sensor extracts feature information from a second image(S2504). A multimedia device authenticates the user(S2505).

Description

멀티미디어 장치와 복수 개의 이종 이미지 센서 그리고 그 제어방법{MULTIMEDIA DEVICE, MULTIPLE IMAGE SENSORS HAVING DIFFERENT TYPES AND THE METHOD FOR CONTROLLING THE SAME}MULTIMEDIA DEVICE, MULTIPLE IMAGE SENSORS HAVING DIFFERENT TYPES AND THE METHOD FOR CONTROLLING THE SAME}

본 발명은 멀티미디어 장치 기술에 대한 것으로서, 보다 상세하게는 복수 개의 이종 이미지 센서를 이용하여 멀티미디어 장치를 컨트롤 하는 기술에 대한 것이다.The present invention relates to a multimedia device technology, and more particularly, to a technology for controlling a multimedia device using a plurality of heterogeneous image sensors.

PC나 노트북 등에 탑재된 카메라를 이용하여 단순히 화상 통화를 하는 기술에 대한 논의는 그 동안 많이 이루어져 왔다. 또한, 최근에는 전기 전자 기술의 급격한 발전으로 사용자들이 원하는 다양한 기능 및 조건을 충족시킬 수 있는 방법들이 논의되고 있다. 나아가, 멀티미디어 장치에 연동되는 카메라 등은 화상 통화라는 종래의 단순한 기능 이외에 다양한 기능으로 활용하기 위한 연구 및 응용이 제안되고 있다. 예컨대, 멀티미디어 장치에 연동되는 카메라를 이용하여 사용자의 얼굴 인지 및 인식 분야, 사용자의 제스처 인식에 따른 멀티미디어 장치 제어 등에 활용하고자 하는 다양한 시도가 이루어지고 있다. 그러나, 기존 카메라를 이용한 사용자의 인지 및 인식에 따른 제어는 멀티미디어 장치가 설치된 환경 및 사용자의 예상치 못한 움직임 등으로 인해 요구되는 수준의 인지 및 인식이 되지 않는 경우가 발생하는 문제점이 있다.There has been much discussion about the technology of simply making a video call using a camera mounted on a PC or a laptop. Recently, methods for meeting various functions and conditions desired by users due to rapid development of electric and electronic technologies have been discussed. In addition, researches and applications have been proposed to utilize a camera or the like linked to a multimedia device for various functions in addition to the conventional simple function of video calling. For example, various attempts have been made to utilize a camera interlocked with a multimedia device in order to recognize and recognize a user's face and control a multimedia device according to a gesture recognition of a user. However, the control according to the user's recognition and recognition using the existing camera has a problem that the recognition and recognition of the required level is not possible due to the environment in which the multimedia apparatus is installed and the user's unexpected movement.

본 발명의 일실시예는, 복수 개의 이종 이미지 센서를 사용하여 멀티미디어 장치 주변에 위치한 사용자들을 보다 정확하게 인지 및 인식하는 솔루션을 제공하고자 한다.One embodiment of the present invention is to provide a solution for more accurately recognizing and recognizing users located around a multimedia device using a plurality of heterogeneous image sensors.

또한, 본 발명의 다른 일실시예는, 멀티미디어 장치에 연동되는 카메라가 제공하는 인지 및 인식 과정에서 발생하는 문제점들을 개선함으로써, 인지 및 인식 거리 및 성능을 동시에 제고할 수 있는 설계 방법을 제공하고자 한다.In addition, another embodiment of the present invention is to provide a design method that can improve the recognition and recognition distance and performance by improving the problems occurring in the recognition and recognition process provided by the camera linked to the multimedia device. .

본 발명의 일실시예에 의한 복수개의 이종 이미지 센서를 이용하는 멀티미디어 장치의 제어 방법은, 제1이미지 센서를 이용하여, 상기 멀티미디어 장치의 주변에 위치한 제1영상을 촬영하는 단계와, 상기 촬영된 제1영상으로부터 depth data 를 추출하는 단계와, 상기 추출된 depth data 를 이용하여 적어도 하나 이상의 사용자의 얼굴을 디텍트하는 단계와, 제2 이미지 센서를 이용하여, 상기 디텍트된 사용자의 얼굴에 대한 제2영상을 촬영하는 단계와, 상기 촬영된 제2영상으로부터 특징 정보를 추출하는 단계와, 상기 추출된 특징 정보에 대응하는 데이터를 저장하고 있는 메모리에 액세스 하는 단계와, 그리고 상기 메모리에 저장된 특정 사용자를 식별하는 정보를 추출하는 단계를 포함한다.According to an embodiment of the present invention, a method of controlling a multimedia apparatus using a plurality of heterogeneous image sensors includes: photographing a first image located around the multimedia apparatus using a first image sensor, and photographing the first image. Extracting depth data from a first image, detecting at least one or more user's faces using the extracted depth data, and using a second image sensor, a method for detecting the detected user's face; Photographing a second image; extracting feature information from the photographed second image; accessing a memory storing data corresponding to the extracted feature information; and a specific user stored in the memory. Extracting information identifying the.

그리고, 본 발명의 일실시예에 의한 적어도 하나 이상의 사용자를 인식하는 복수 개의 이종 이미지 센서는, 멀티미디어 장치 주변에 위치한 적어도 하나 이상의 사용자에게 빛을 발산하는 이미터(emitter)와, 상기 발산된 빛을 이용하여 제1영상을 촬영하고, 상기 촬영된 제1영상으로부터 depth data 를 추출하고, 상기 추출된 depth data 를 이용하여 상기 적어도 하나 이상의 사용자의 얼굴을 디텍트하는 제1 이미지 센서와, 상기 디텍트된 사용자의 얼굴에 대한 제2영상을 촬영하고, 상기 촬영된 제2영상으로부터 특징 정보를 추출하는 제2 이미지 센서와, 그리고 상기 추출된 특징 정보를 상기 멀티미디어 장치에 전송하는 인터페이스를 포함한다.The plurality of heterogeneous image sensors recognizing at least one user according to an embodiment of the present invention may include an emitter emitting light to at least one user located near a multimedia device, and the emitted light. A first image sensor photographing a first image by using the first image sensor, extracting depth data from the photographed first image, and detecting the face of the at least one user by using the extracted depth data; And a second image sensor for capturing a second image of the user's face, extracting feature information from the photographed second image, and transmitting the extracted feature information to the multimedia apparatus.

본 발명의 일실시예에 의하면, 복수 개의 이종 이미지 센서를 사용하여 멀티미디어 장치 주변에 위치한 사용자들을 보다 정확하게 식별하는 솔루션을 제공한다.According to an embodiment of the present invention, a solution for more accurately identifying users located around a multimedia device using a plurality of heterogeneous image sensors is provided.

또한, 본 발명의 다른 일실시예에 의하면, 멀티미디어 장치에 연동되는 카메라가 제공하는 인지 및 인식 과정에서 발생하는 문제점들을 개선함으로써, 인지 및 인식 거리 및 성능을 동시에 제고할 수 있는 설계 방법을 제공한다.In addition, according to another embodiment of the present invention, by improving the problems occurring in the recognition and recognition process provided by the camera linked to the multimedia device, it provides a design method that can improve the recognition and recognition distance and performance at the same time .

보다 구체적인 발명의 효과에 대해서는, 이하 목차에서 상세히 후술하도록 하겠다.More specific effects of the invention will be described later in detail in the table of contents.

도 1은 본 발명의 일실시예에 따른 멀티미디어 장치를 포함한 전체 시스템의 일예를 개략적으로 나타낸 도면이다.
도 2는 도 1에 도시된 멀티미디어 장치의 일예를 보다 상세히 도시한 도면이다.
도 3은 본 발명의 일실시예에 의한 복수 개의 이종 이미지 센서를 이용하는 멀티미디어 장치 및 촬영 화면을 동시에 보여 주는 도면이다.
도 4는 본 발명의 일실시예에 의한 복수개의 이종 이미지 센서 및 멀티미디어 장치에서 검출 데이터(detection data) 및 인식 데이터(recognition data) 를 이용하는 과정을 설명하기 위한 도면이다.
도 5는 도 4에 도시된 데이터 베이스에 저장된 face vector 를 예시하여 설명하기 위한 도면이다.
도 6은 본 발명의 일실시예에 따른, 멀티미디어 디바이스와 연결된 복수개의 이종 이미지 센서의 동작을, 하드웨어 영역 및 소프트웨어 영역으로 나누어 설명하기 위한 도면이다.
도 7은 본 발명의 일실시예에 의한 복수 개의 이종 이미지 센서 및 멀티미디어 장치를 각각 도시한 도면이다.
도 8은 본 발명의 다른 일실시예에 의한 복수 개의 이종 이미지 센서 및 멀티미디어 장치를 각각 도시한 도면이다.
도 9는 본 발명의 일실시예에 의한 복수 개의 이종 이미지 센서를 보다 상세히 도시한 도면이다.
도 10은 본 발명의 일실시예에 의한 복수 개의 이종 이미지 센서 중 제1 이미지 센서의 일예를 도시한 도면이다.
도 11은 본 발명의 일실시예에 의한 복수 개의 이종 이미지 센서 중 제1 이미지센서의 다른 일예를 도시한 도면이다.
도 12는 도 11에 도시된 제1 이미지 센서를 이용하여 거리를 계산하는 방법을 설명하기 위한 도면이다.
도 13은 본 발명의 일실시예에 의한 복수 개의 이종 이미지 센서 중 제1 이미지 센서에 의해 촬영된 이미지를 도시한 도면이다.
도 14는 본 발명의 일실시예에 의한 복수 개의 이종 이미지 센서 중 제2 이미지센서에 의해 촬영된 이미지를 도시한 도면이다.
도 15는 본 발명의 일실시예에 의한 복수개의 이종 이미지 센서를 이용하여, 특정 사용자의 제1포즈에 따른 depth 이미지 및 color 이미지가 촬영된 씬을 나타내는 도면이다.
도 16은 본 발명의 일실시예에 의한 복수개의 이종 이미지 센서를 이용하여, 특정 사용자의 제2포즈에 따른 depth 이미지 및 color 이미지가 촬영된 씬을 나타내는 도면이다.
도 17은 본 발명의 일실시예에 의한 복수개의 이종 이미지 센서를 이용하여, 특정 사용자의 제3포즈에 따른 depth 이미지 및 color 이미지가 촬영된 씬을 나타내는 도면이다.
도 18은 도 15 내지 도 17에서 촬영된 씬들을 바탕으로 생성된, 포즈 정보에 따른 각 사용자의 특징 정보를 저장하고 있는 데이터 베이스를 예시한 도면이다.
도 19는 본 발명의 일실시예에 의한 제1이미지 센서를 이용하여, 특정 사용자의 제1신체 정보가 촬영된 씬을 나타내는 도면이다.
도 20은 본 발명의 일실시예에 의한 제1이미지 센서를 이용하여, 특정 사용자의 제2신체 정보가 촬영된 씬을 나타내는 도면이다.
도 21은 본 발명의 일실시예에 의한 제1이미지 센서를 이용하여, 특정 사용자의 제3신체 정보가 촬영된 씬을 나타내는 도면이다.
도 22는 본 발명의 일실시예에 의한 제1이미지 센서를 이용하여, 특정 사용자의 제4신체 정보가 촬영된 씬을 나타내는 도면이다.
도 23은 도 19 내지 도 22에서 촬영된 씬들을 바탕으로 생성된, 각 사용자별 신체 정보를 저장하고 있는 데이터 베이스를 예시한 도면이다.
도 24는 본 발명의 일실시예에 따라 복수개의 이종 이미지 센서를 이용하여 사용자를 인식하는 방법을, 전체적으로 설명하기 위한 플로우 차트이다.
도 25는 본 발명의 다른 일실시예에 따라, 도 24에 도시된 단계들에 부가할 수 있는 스텝들을 포함하는 플로우 차트이다.
도 26은 본 발명의 또 다른 일실시예에 따라, 도 24에 도시된 단계들에 부가할 수 있는 스텝들을 포함하는 플로우 차트이다.
그리고, 도 27은 본 발명의 일실시예에 따라 복수개의 이종 이미지 센서를 이용하여 사용자를 인식하는 방법을, 각 디바이스(device) 별로 설명하기 위한 플로우 차트이다.1 is a view schematically showing an example of an entire system including a multimedia apparatus according to an embodiment of the present invention.
FIG. 2 is a diagram illustrating an example of the multimedia apparatus illustrated in FIG. 1 in more detail.
3 is a diagram showing a multimedia device and a recording screen using a plurality of heterogeneous image sensors according to an embodiment of the present invention at the same time.
FIG. 4 is a diagram illustrating a process of using detection data and recognition data in a plurality of heterogeneous image sensors and a multimedia apparatus according to an embodiment of the present invention.
FIG. 5 is a diagram for describing a face vector stored in a database illustrated in FIG. 4.
FIG. 6 is a diagram for describing an operation of a plurality of heterogeneous image sensors connected to a multimedia device, divided into a hardware region and a software region, according to an embodiment of the present invention.
7 is a diagram illustrating a plurality of heterogeneous image sensors and a multimedia device, respectively, according to an embodiment of the present invention.
8 is a diagram illustrating a plurality of heterogeneous image sensors and a multimedia device according to another embodiment of the present invention, respectively.
9 illustrates a plurality of heterogeneous image sensors according to an exemplary embodiment of the present invention in more detail.
FIG. 10 is a diagram illustrating an example of a first image sensor among a plurality of heterogeneous image sensors according to an embodiment of the present invention.
FIG. 11 is a diagram illustrating another example of a first image sensor among a plurality of heterogeneous image sensors according to an embodiment of the present invention.
FIG. 12 is a diagram for describing a method of calculating a distance using the first image sensor illustrated in FIG. 11.
FIG. 13 is a diagram illustrating an image photographed by a first image sensor among a plurality of heterogeneous image sensors according to an embodiment of the present invention.
FIG. 14 is a diagram illustrating an image photographed by a second image sensor among a plurality of heterogeneous image sensors according to an embodiment of the present invention.
FIG. 15 is a diagram illustrating a scene in which a depth image and a color image according to a first pose of a specific user are captured using a plurality of heterogeneous image sensors according to an embodiment of the present invention.
FIG. 16 is a diagram illustrating a scene in which a depth image and a color image according to a second pose of a specific user are captured using a plurality of heterogeneous image sensors according to an embodiment of the present invention.
FIG. 17 is a diagram illustrating a scene in which a depth image and a color image according to a third pose of a specific user are captured using a plurality of heterogeneous image sensors according to an embodiment of the present invention.
FIG. 18 is a diagram illustrating a database storing characteristic information of each user according to pose information generated based on scenes photographed in FIGS. 15 to 17.
FIG. 19 is a diagram illustrating a scene in which first body information of a specific user is photographed by using a first image sensor according to an embodiment of the present invention.
20 is a diagram illustrating a scene in which second body information of a specific user is photographed using the first image sensor according to an exemplary embodiment of the present invention.
FIG. 21 is a diagram illustrating a scene where third body information of a specific user is photographed using the first image sensor according to an exemplary embodiment of the present invention.
FIG. 22 is a diagram illustrating a scene in which fourth body information of a specific user is photographed using the first image sensor according to an embodiment of the present invention.
FIG. 23 is a diagram illustrating a database storing body information for each user, which is generated based on scenes photographed in FIGS. 19 to 22.
24 is a flowchart illustrating a method of recognizing a user as a whole using a plurality of heterogeneous image sensors according to an exemplary embodiment of the present invention.
FIG. 25 is a flow chart including steps that may be added to the steps shown in FIG. 24, according to another embodiment of the present invention.
FIG. 26 is a flow chart including steps that may be added to the steps shown in FIG. 24, according to another embodiment of the present invention.
FIG. 27 is a flowchart illustrating a method for recognizing a user using a plurality of heterogeneous image sensors, for each device, according to an exemplary embodiment.

이하에서는 첨부된 도면을 참조하여 본 발명의 여러가지 실시예들을 보다 상세히 설명하도록 하겠다. 나아가, 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 단순히 본 명세서 작성의 용이함을 고려하여 부여되는 것으로서, 상기 "모듈" 및 "부"는 서로 혼용되어 사용될 수 있으며, 하드웨어 또는 소프트웨어로 설계 가능하다.Hereinafter, various embodiments of the present invention will be described in detail with reference to the accompanying drawings. Furthermore, the suffixes "module" and "unit" for components used in the following description are merely given in consideration of ease of writing the present specification, and the "module" and "unit" may be used interchangeably with each other. Can be designed in hardware or software.

한편, 본 명세서에서 기술되는 멀티미디어 장치는, 예컨대 방송 데이터를 수신하여 처리하는 여러가지 타입의 디바이스들에 해당한다. 나아가 상기 멀티미디어 장치는 Connected TV에 대응할 수도 있으며, 상기 Connected TV는 방송 수신 기능 뿐만 아니라 유무선 통신 장치 등이 추가되어, 수기 방식의 입력 장치, 터치 스크린 또는 모션(motion) 인식 리모콘 등 보다 사용에 편리한 인터페이스를 가질 수 있다. 그리고, 유선 또는 무선 인터넷 기능의 지원으로 인터넷 및 컴퓨터에 접속되어, 이메일, 웹브라우징, 뱅킹 또는 게임 등의 기능도 수행가능하다. 이러한 다양한 기능을 위해 표준화된 범용 OS가 사용될 수도 있다.Meanwhile, the multimedia apparatus described herein corresponds to various types of devices that receive and process broadcast data, for example. Furthermore, the multimedia device may correspond to a connected TV, and the connected TV may include a wired / wireless communication device as well as a broadcast reception function, and thus may be more convenient to use, such as a handwritten input device, a touch screen, or a motion recognition remote controller. It can have In addition, by being connected to the Internet and a computer with the support of a wired or wireless Internet function, it is possible to perform functions such as e-mail, web browsing, banking or gaming. Standardized general-purpose operating systems may be used for these various functions.

따라서, 상기 Connected TV는, 예를 들어 범용의 OS 커널 상에, 다양한 애플리케이션이 자유롭게 추가되거나 삭제 가능하므로, 사용자 친화적인 다양한 기능이 수행될 수 있다. 상기 Connected TV는, 보다 구체적으로 예를 들면, 웹 TV, 인터넷 TV, HBBTV, 스마트 TV, DTV 등이 될 수 있으며, 경우에 따라 스마트폰에도 적용 가능하다.Therefore, the connected TV can be freely added or deleted, for example, on a general-purpose OS kernel, so that various user-friendly functions can be performed. More specifically, the connected TV may be, for example, a web TV, an Internet TV, an HBBTV, a smart TV, a DTV, or the like, and may be applicable to a smartphone in some cases.

나아가, 이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시예를 상세하게 설명하지만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. BRIEF DESCRIPTION OF THE DRAWINGS The above and other features and advantages of the present invention will be more apparent from the following detailed description taken in conjunction with the accompanying drawings, in which: FIG.

본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.As used herein, terms used in the present invention are selected from general terms that are widely used in the present invention while taking into account the functions of the present invention, but these may vary depending on the intention or custom of a person skilled in the art or the emergence of new technologies. In addition, in certain cases, there is a term arbitrarily selected by the applicant, and in this case, the meaning will be described in the corresponding description of the invention. Therefore, it is intended that the terminology used herein should be interpreted based on the meaning of the term rather than on the name of the term, and on the entire contents of the specification.

도 1은 본 발명의 일실시예에 따른 멀티미디어 장치를 포함한 전체 방송 시스템의 일예를 개략적으로 나타낸 도면이다. 도 1의 멀티미디어 장치는 예컨대 Connected TV에 대응할 수도 있으나, 본 발명의 권리범위가 Connected TV 만으로 한정되는 것은 아니며 본 발명의 권리범위는 원칙적으로 특허청구범위에 의해 정해져야 한다.1 is a diagram schematically showing an example of an entire broadcasting system including a multimedia apparatus according to an embodiment of the present invention. Although the multimedia apparatus of FIG. 1 may correspond to, for example, a connected TV, the scope of the present invention is not limited to the connected TV alone, and the scope of the present invention should be defined by the claims.

도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 멀티미디어 장치를 포함한 전체 시스템은, 컨텐츠 제공자(Content Provider;CP)(10), 서비스 제공자(Service Provider;SP)(20), 네트워크 제공자(Network Provider; NP)(30) 및 HNED(40)로 구분될 수 있다. 상기 HNED(40) 는, 예를 들어 본 발명의 실시예에 따른 멀티미디어 장치인 클라이언트(100)에 대응한다.As shown in FIG. 1, an entire system including a multimedia apparatus according to an embodiment of the present invention includes a content provider (CP) 10, a service provider (SP) 20, and a network provider. (Network Provider; NP) (30) and HNED (40) can be divided. The HNED 40 corresponds to, for example, the client 100 which is a multimedia device according to an embodiment of the present invention.

컨텐츠 제공자(10)는, 각종 컨텐츠를 제작하여 제공한다. 컨텐츠 제공자(10)에는 도 1에서와 같이 지상파 방송 송출자(terrestrial broadcaster), 케이블 방송 사업자(cable SO(System Operator) 또는 MSO(Multiple System Operator), 위성 방송 송출자(satellite broadcaster), 인터넷 방송 송출자(Internet broadcaster) 등이 예시될 수 있다. 또한, 컨텐츠 제공자(10)는, 방송 컨텐츠 외에, 다양한 애플리케이션 등을 제공할 수도 있다. The content provider 10 produces and provides various contents. As shown in FIG. 1, the content provider 10 includes a terrestrial broadcaster, a cable system operator or a multiple system operator, a satellite broadcaster, and an internet broadcaster. An internet broadcaster, etc. may be exemplified, etc. In addition, the content provider 10 may provide various applications and the like in addition to the broadcast content.

서비스 제공자(20)는, 컨텐츠 제공자(10)가 제공하는 컨텐츠들을 서비스 패키지화하여 제공할 수 있다. 예를 들어, 도 1의 서비스 제공자(20)는, 제1 지상파 방송, 제2 지상파 방송, 케이블 MSO, 위성 방송, 다양한 인터넷 방송, 애플리케이션 등을 패키지화하여 사용자에게 제공할 수 있다.The service provider 20 may provide a service package of contents provided by the content provider 10. For example, the service provider 20 of FIG. 1 may package and provide a first terrestrial broadcast, a second terrestrial broadcast, a cable MSO, satellite broadcast, various internet broadcasts, applications, and the like to a user.

네트워크 제공자(30)는, 서비스를 클라이언트(100)에게 제공하기 위한 네트워크 망을 제공할 수 있다. 클라이언트(100)는 홈 네트워크(Home Network End User;HNED)를 구축하여 서비스를 제공받을 수도 있다.The network provider 30 may provide a network for providing a service to the client 100. The client 100 may establish a home network end user (HNED) to receive a service.

한편, 클라이언트(100)도 네트워크를 통해, 컨텐츠를 제공하는 것이 가능하다. 이러한 경우, 상술한 바와 달리, 역으로, 클라이언트(100)가 컨텐츠 제공자가 될 수 있으며, 컨텐츠 제공자(10)가 클라이언트(100)로부터 컨텐츠를 수신할 수도 있다. 이와 같이 설계된 경우, 양방향 컨텐츠 서비스 또는 데이터 서비스가 가능한 장점이 있다.On the other hand, the client 100 can also provide content through the network. In this case, unlike the above, the client 100 may be a content provider, and the content provider 10 may receive content from the client 100. In the case of designing as described above, an interactive content service or a data service is possible.

도 2는 도 1에 도시된 멀티미디어 장치의 일예를 보다 상세히 도시한 도면이다. FIG. 2 is a diagram illustrating an example of the multimedia apparatus illustrated in FIG. 1 in more detail.

본 발명의 일실시예에 의한 멀티미디어 장치(200)는, 네트워크 인터페이스부(Network Interface)(201), TCP/IP 매니저(TCP/IP Manager)(202), 서비스 전달 매니저(Service Delivery Manager)(203), 디멀티플렉서(Demux)(205), PSI&(PSIP and/or SI) 디코더(204), 오디오 디코더(Audio Decoder)(206), 비디오 디코더(Video Decoder)(207), 디스플레이부(Display A/V and OSD Module)(208), 서비스 제어 매니저(Service Control Manager)(209), 서비스 디스커버리 매니저(Service Discovery Manager)(210), 메타데이터 매니저(Metadata Manager)(212), SI&Metadata DB(211), UI 매니저(214), 그리고 서비스 매니저(213) 등을 포함하여 이루어 진다. 나아가, 복수개의 이종 이미지 센서(260)가 상기 멀티미디어 장치(200)와 연결되어 있으며, 예를 들어 USB 방식의 커넥션으로 연결되어 있다. 또한, 도 2에서는 상기 복수개의 이종 이미지 센서(260)가 별도의 모듈로 구성되도록 설계하였으나, 상기 복수개의 이종 이미지 센서(260)가 상기 멀티미디어 장치(200)에 하우징(housing) 된 형태로 설계할 수도 있다.The multimedia apparatus 200 according to an embodiment of the present invention includes a network interface 201, a TCP / IP manager 202, and a service delivery manager 203. ), Demultiplexer (Demux) 205, PSI & (PSIP and / or SI) Decoder 204, Audio Decoder 206, Video Decoder 207, Display A / V and OSD Module (208), Service Control Manager (209), Service Discovery Manager (210), Metadata Manager (212), SI & Metadata DB (211), UI Manager 214, service manager 213, and the like. In addition, a plurality of heterogeneous image sensors 260 are connected to the multimedia apparatus 200, for example, connected by a USB connection. In addition, in FIG. 2, the plurality of heterogeneous image sensors 260 is designed to be configured as a separate module, but the plurality of heterogeneous image sensors 260 may be designed to be housed in the multimedia apparatus 200. It may be.

네트워크 인터페이스부(201)는 네트워크 망으로부터 수신되는 패킷(packet)들을 수신하고, 네트워크 망으로 패킷을 전송한다. 즉 네트워크 인터페이스부(201)는 네트워크 망을 통해 서비스 제공자로부터 서비스, 컨텐츠 등을 수신한다.The network interface unit 201 receives the packets received from the network and transmits the packets to the network. That is, the network interface unit 201 receives a service, content, and the like from a service provider through a network.

TCP/IP 매니저(202)는, 멀티미디어 장치(200)로 수신되는 패킷과 멀티미디어 장치(200)가 전송하는 패킷에 대하여, 즉 소스로부터 목적지까지의 패킷 전달에 관여한다. 서비스 전달 매니저(203)는 수신되는 서비스 데이터의 제어를 담당한다. 예를 들어, 실시간 스트리밍(real-time streaming) 데이터를 제어하는 경우 RTP/RTCP를 사용할 수 있다. 상기 실시간 스트리밍 데이터를 RTP를 사용하여 전송하는 경우, 상기 서비스 전달 매니저(203)는 상기 수신된 데이터 패킷을 RTP에 따라 파싱(parsing)하여 디멀티플렉서(205)에 전송하거나 서비스 매니저(213)의 제어에 따라 SI&Metadata DB(711)에 저장한다. 그리고 RTCP를 이용하여 상기 네트워크 수신 정보를 서비스를 제공하는 서버측에 피드백(feedback)한다.The TCP / IP manager 202 is involved in the packet transmission from the source to the destination for the packet received by the multimedia device 200 and the packet transmitted by the multimedia device 200. The service delivery manager 203 is responsible for controlling the received service data. For example, RTP / RTCP can be used to control real-time streaming data. When transmitting the real time streaming data using RTP, the service delivery manager 203 parses the received data packet according to the RTP and transmits it to the demultiplexer 205 or under the control of the service manager 213. Accordingly stored in the SI & Metadata DB (711). Then, the RTCP is used to feed back the network reception information to a server that provides a service.

디멀티플렉서(205)는 수신된 패킷을 오디오, 비디오, PSI(Program Specific Information) 데이터 등으로 역다중화하여 각각 오디오/비디오 디코더(206, 207), PSI&(PSIP and/or SI) Decoder(204)에 전송한다.The demultiplexer 205 demultiplexes the received packet into audio, video, program specific information (PSI) data, and the like, and transmits the demultiplexer 205 to the audio / video decoders 206 and 207 and the PSIP and / or SI decoder 204, respectively. do.

PSI&(PSIP and/or SI) Decoder(204)는 상기 디멀티플렉서(205)에서 역다중화된 PSI 섹션, PSIP(Program and Service Information Protocol) 섹션 또는 SI(Service Information) 섹션 등을 수신하여 디코딩한다.PSIP and / or SI Decoder 204 receives and decodes a demultiplexed PSI section, a Program and Service Information Protocol (PSIP) section, or a Service Information (SI) section from the demultiplexer 205.

또한 상기 PSI&(PSIP and/or SI) Decoder(204)는 상기 수신된 섹션들을 디코딩하여 서비스 정보에 관한 데이터베이스를 만들고, 상기 서비스 정보에 관한 데이터베이스는 SI&Metadata DB(211)에 저장한다.In addition, the PSIP and / or SI Decoder 204 decodes the received sections to create a database of service information, and stores the database of the service information in the SI & Metadata DB 211.

오디오/비디오 디코더(206/207)는, 상기 디멀티플렉서(205)에서 수신된 비디오 데이터와 오디오 데이터를 디코딩한다. An audio / video decoder 206/207 decodes the video data and the audio data received at the demultiplexer 205.

UI 매니저(214)는 사용자를 위한 GUI(Graphic User Interface)를 OSD(On Screen Display) 등을 이용하여 제공하며, 사용자로부터 키 입력을 받아 상기 입력에 따른 수신기 동작을 수행한다. 예를 들어, 사용자로부터 채널선택에 관한 키 입력을 받으면 상기 키 입력신호를 서비스 매니저(213)에 전송한다. The UI manager 214 provides a Graphic User Interface (GUI) for a user by using an OSD (On Screen Display) and the like, and receives a key input from the user to perform a receiver operation according to the input. For example, upon receiving a key input related to channel selection from a user, the key input signal is transmitted to the service manager 213.

서비스 매니저(213)는 서비스 전달 매니저(203), 서비스 디스커버리 매니저(210), 서비스 제어 매니저(209) 및 메타데이터 매니저(212) 등 서비스와 연관된 매니저를 제어한다. The service manager 213 controls a manager associated with a service, such as a service delivery manager 203, a service discovery manager 210, a service control manager 209, and a metadata manager 212.

또한 서비스 매니저(213)는 채널 맵(Channel Map)을 만들고 상기 유저 인터페이스 매니저(214)로부터 수신한 키 입력에 따라 상기 채널 맵을 이용하여 채널을 선택하다. 서비스 디스커버리 매니저(210)는 서비스를 제공하는 서비스 제공자를 선택하는데 필요한 정보를 제공한다. 상기 서비스 매니저(213)로부터 채널선택에 관한 신호를 수신하면, 서비스 디스커버리 매니저(210)는 상기 정보를 이용하여 서비스를 찾는다.In addition, the service manager 213 creates a channel map and selects a channel using the channel map according to a key input received from the user interface manager 214. The service discovery manager 210 provides information necessary to select a service provider that provides a service. Upon receiving a signal regarding channel selection from the service manager 213, the service discovery manager 210 searches for a service using the information.

서비스 제어 매니저(209)는 서비스의 선택과 제어를 담당한다. 예를 들어, 사용자가 기존의 방송방식과 같은 Live Broadcasting 서비스를 선택하는 경우 IGMP 또는 RTSP 등을 사용하고, VOD(Video On Demand)와 같은 서비스를 선택하는 경우에는 RTSP를 사용하여 서비스의 선택, 제어를 수행한다. 메타데이터 매니저(212)는 서비스와 연관된 메타데이터를 관리하고 상기 메타데이터를 SI&Metadata DB(211)에 저장한다.The service control manager 209 is responsible for selecting and controlling a service. For example, if a user selects a live broadcasting service like the conventional broadcasting method, IGMP or RTSP is used. If a user selects a service such as VOD (Video On Demand), RTSP is used to select and control the service. Perform The metadata manager 212 manages metadata associated with the service and stores the metadata in the SI & Metadata DB 211.

SI&Metadata DB(211)는 PSI&(PSIP and/or SI) Decoder(204)가 디코딩한 서비스 정보, 메타데이터 매니저(212)가 관리하는 메타데이터 및 서비스 디스커버리 매니저(210)가 제공하는 서비스 제공자를 선택하는데 필요한 정보를 저장한다. 또한 SI&Metadata DB(211)는 시스템에 대한 셋업 데이터 등을 저장할 수 있다.The SI & Metadata DB 211 selects service information decoded by the PSIP and / or SI Decoder 204, metadata managed by the metadata manager 212, and service providers provided by the service discovery manager 210. Save the necessary information. In addition, the SI & Metadata DB 211 may store setup data for the system.

한편, 상기 IG(250)는, IMS 기반의 IPTV 서비스에 접근하기 위해 필요한 기능들을 모아 놓은 게이트웨이 이다. Meanwhile, the IG 250 is a gateway that collects functions necessary for accessing an IMS-based IPTV service.

그리고, 도 2에 도시된 복수개의 이종 이미지 센서(260)는 상기 멀티미디어 장치(200) 주변에 위치한 사람 또는 사물에 대한 단수의 이미지 또는 복수의 이미지들을 촬영하도록 설계된다. 보다 구체적으로 예를 들면, 상기 복수개의 이종 이미지 센서(260)는 단수의 이미지 또는 복수의 이미지들을 연속적으로, 주기적으로, 선택된 시간에, 또는 특정 컨디션에서만 동작하도록 설계된다. 이에 대한 구체적인 설명은 이하에서 설명하도록 하겠다.In addition, the plurality of heterogeneous image sensors 260 illustrated in FIG. 2 are designed to capture a singular image or a plurality of images of a person or a thing located near the multimedia apparatus 200. More specifically, for example, the plurality of heterogeneous image sensors 260 are designed to operate a single image or a plurality of images continuously, periodically, at a selected time, or only in specific conditions. Detailed description thereof will be described below.

도 3은 본 발명의 일실시예에 의한 복수 개의 이종 이미지 센서를 이용하는 멀티미디어 장치 및 촬영 화면을 동시에 보여 주는 도면이다. 이하, 도 3을 참조하여, 본 발명의 일실시예에 의한 복수 개의 이종 이미지 센서를 이용하는 멀티미디어 장치 및 촬영 화면을 동시에 설명하면 다음과 같다.3 is a diagram showing a multimedia device and a recording screen using a plurality of heterogeneous image sensors according to an embodiment of the present invention at the same time. Hereinafter, referring to FIG. 3, a multimedia device and a recording screen using a plurality of heterogeneous image sensors according to an embodiment of the present invention will be described at the same time.

일반적으로, depth data 처리와 관련된 제1 이미지 센서들은 제한된 해상도(예를 들어, 최대 VGA 급)와 인식 거리(예를 들어, 3.5m) 문제로 인하여, 원거리 안면 인식에 적합하지 않은 면이 존재한다. 또한, color data 처리와 관련된 제2 이미지 센서들은 인식 속도가 느리며 광조건(light condition)에 강인하지 못한 단점을 가지고 있다. 따라서, 이와 같은 각 이미지 센서들의 단점을 보완하기 위하여, 본 발명의 일실시예에 의한 멀티미디어 장치는 제1 이미지 센서와 제2 이미지 센서가 결합된 하이브리드 형태의 이미지 센서 모듈과 연동되도록 설계한다.In general, the first image sensors associated with depth data processing have faces that are not suitable for remote facial recognition due to limited resolution (eg, maximum VGA) and recognition distance (eg, 3.5m). . In addition, second image sensors related to color data processing have a disadvantage in that recognition speed is slow and not robust to light conditions. Therefore, in order to compensate for the disadvantages of the respective image sensors, the multimedia apparatus according to the embodiment of the present invention is designed to be interlocked with the hybrid image sensor module in which the first image sensor and the second image sensor are combined.

전술한 제1 이미지 센서로, 예를 들어 IR 카메라 또는 depth 카메라가 사용된다. 보다 구체적으로 예를 들면, 상기 IR 카메라 또는 depth 카메라로 TOF(Time Of Flight) 방식과 structured light 방식이 논의되고 있다. 상기 TOF 방식은, 적외선을 방사하여 돌아오는 시간차를 이용하여 거리 정보를 계산하고, 상기 structured light 방식은, 특정 패턴으로 적외선을 방사하고 변형되는 패턴을 분석하여 거리를 계산한다. 다만, 제1 이미지 센서의 경우, depth data 인식 및 처리 속도면에서 장점이 있고 어두운 곳에서도 사물, 사람 등을 용이하게 센싱 가능하다. 그러나, 먼거리에서는 해상도가 떨어지는 단점을 가지고 있다.As the above-mentioned first image sensor, for example, an IR camera or a depth camera is used. More specifically, for example, a time of flight (TOF) method and a structured light method are discussed as the IR camera or the depth camera. The TOF method calculates distance information by using a time difference returned by radiating infrared rays, and the structured light method calculates distance by radiating infrared rays in a specific pattern and analyzing a deformed pattern. However, the first image sensor has advantages in terms of depth data recognition and processing speed, and can easily sense objects and people even in a dark place. However, it has a disadvantage in that the resolution falls at a long distance.

나아가, 전술한 제2이미지 센서로, 예를 들어 color 카메라 또는 RGB 카메라가 사용된다. 보다 구체적으로 예를 들면, 상기 color 카메라 또는 RGB 카메라로, stereo 카메라 방식과 mono 카메라 방식이 논의되고 있다. 상기 stereo 카메라 방식은, 두개의 카메라를 통해 촬영된 각각의 이미지 시차 비교 정보에 기초하여, 손 또는 얼굴 등을 검출하고 추적한다. 상기 mono 카메라 방식은, 한 개의 카메라를 통해 촬영된 shape, color 정보를 바탕으로 손 또는 얼굴 등을 검출하고 추적한다. 다만, 제2 이미지 센서의 경우, 제1 이미지 센서에 비해 해상도가 개선된 장점이 있으나, 주위 조명에 취약하고, 어두운 곳에서 인식이 어려운 한계가 있다. 특히, 정확한 depth 인식이 어려운 문제점이 존재한다.Further, as the above-described second image sensor, for example, a color camera or an RGB camera is used. More specifically, as the color camera or the RGB camera, a stereo camera system and a mono camera system have been discussed. The stereo camera method detects and tracks a hand, a face, and the like based on each image parallax comparison information captured by two cameras. The mono camera method detects and tracks a hand or a face based on shape and color information captured by one camera. However, in the case of the second image sensor, there is an advantage that the resolution is improved compared to the first image sensor, but it is vulnerable to the ambient light, there is a limit that is difficult to recognize in the dark. In particular, there is a problem in that accurate depth recognition is difficult.

이와 같은 종래 문제점들을 해결하기 위하여, 도 3에 도시된 바와 같이, 본 발명의 일실시예에 의한 멀티미디어 장치는 제1 이미지 센서와 제2 이미지 센서를 모두 구비하도록 설계된다. 다만, 상기 이미지 센서들은 상기 멀티미디어 장치에 embedded 형태로 설계될 수도 있고, 또는 별도의 하드웨어 모듈로 설계하는 것도 가능하다. 우선, 도 3의 (b) 영역에 도시된 바와 같이, 제1 이미지 센서는 상기 멀티미디어 장치 주변에 위치한 사용자들을 포함한 영상을 촬영한다. 구체적인 촬영 영상은 도 3의 (1), (2), (3), (4)에 순차적으로 도시되어 있다.In order to solve such a conventional problem, as shown in Figure 3, the multimedia device according to an embodiment of the present invention is designed to include both the first image sensor and the second image sensor. However, the image sensors may be designed in an embedded form in the multimedia apparatus, or may be designed as a separate hardware module. First, as shown in area (b) of FIG. 3, the first image sensor captures an image including users located around the multimedia apparatus. The detailed captured image is sequentially shown in (1), (2), (3) and (4) of FIG. 3.

한편, 제1 이미지 센서의 촬영 및 데이터 분석이 완료되면, 도 3의 (a) 영역에 도시된 바와 같이, 제2 이미지 센서는 특정 사용자의 얼굴에 대한 영상을 촬영한다. 구체적인 촬영 영상은 도 3의 (5), (6), (7)에 순차적으로 도시되어 있다.Meanwhile, when the photographing and data analysis of the first image sensor is completed, as shown in area (a) of FIG. 3, the second image sensor captures an image of a face of a specific user. The detailed captured image is sequentially shown in FIGS. 3 (5), (6) and (7).

본 발명의 일실시예에 의한 복수 개의 이종 이미지 센서 중 제1 이미지 센서는 상기 멀티미디어 장치의 주변에 위치한 제1영상을 촬영하고 상기 촬영된 제1영상으로부터 depth data 를 추출한다. 이는 도 3의 (1)에 도시된 바와 같이, 거리에 따라 각 사물의 영역이 다른 명암으로 표시되도록 설계 가능하다.A first image sensor among a plurality of heterogeneous image sensors according to an embodiment of the present invention captures a first image located near the multimedia apparatus and extracts depth data from the captured first image. As shown in (1) of FIG. 3, it is possible to design the area of each object to be displayed with different contrast according to the distance.

나아가, 상기 제1 이미지 센서는, 상기 추출된 depth data 를 이용하여 적어도 하나의 사용자의 얼굴을 인지 및 인식할 수 있다.. 즉, 기저장된 데이터베이스 등을 이용하여, 도 3의 (2)에 도시된 바와 같이 사용자의 신체 정보(예를 들어, 얼굴, 손, 발, 관절, 기타 등등)를 추출하고, 나아가 도 3의 (3)에 도시된 바와 같이 특정 사용자의 안면에 대한 위치 좌표 및 거리 정보를 획득한다. 보다 구체적으로 설명하면, 상기 사용자의 얼굴에 대한 위치 정보인 x, y, z 값들을 계산하도록 설계되며, 상기 x 는 상기 촬영된 제1영상에서 상기 얼굴의 가로축에 대한 위치, 상기 y는 상기 촬영된 제1영상에서 상기 얼굴의 세로축에 대한 위치, 그리고 상기 z는 상기 사용자의 얼굴과 제1 이미지 센서 사이의 거리를 의미한다.Furthermore, the first image sensor may recognize and recognize at least one user's face using the extracted depth data. That is, as illustrated in (2) of FIG. Extract the user's body information (e.g., face, hands, feet, joints, etc.), and further, location coordinates and distance information for the specific user's face as shown in (3) of FIG. Acquire it. More specifically, it is designed to calculate the x, y, z values of position information of the user's face, wherein x is the position of the horizontal axis of the face in the photographed first image, and y is the photographing. The position of the face on the vertical axis of the first image, and z denotes a distance between the face of the user and the first image sensor.

또한, 본 발명의 일실시예에 의한 복수 개의 이종 이미지 센서 중 color 이미지를 추출하기 위한 제2 이미지 센서는 상기 인지된 사용자의 얼굴에 대한 제2영상을 촬영하며, 이는 도 3의 (5)에 도시되어 있다.In addition, the second image sensor for extracting a color image of the plurality of heterogeneous image sensor according to an embodiment of the present invention captures a second image of the recognized user's face, which is shown in (5) of FIG. Is shown.

한편, 도 3에 도시된 제1 이미지 센서)와 제2 이미지 센서()를 인접하여 설계할 경우, physical 위치 차이로 인한 에러는 무시할 만한 수준일 수도 있다. 다만, 본 발명의 또 다른 일실시예에 의하면, 전술한 physical 위치 차이에 대한 정보를 이용하여, 제1 이미지 센서에서 획득한 좌표정보나 거리정보를 보정하고, 제2 이미지 센서가 상기 보정된 좌표정보나 거리정보를 이용하여 사용자를 촬영할 수 있도록 설계된다. 또한, 상기 제1 이미지 센서와 상기 제2 이미지 센서가 지면으로부터 수평한 상태로 설계되어 있다면, 전술한 phisycal 위치 차이에 대한 정보는 수평 프레임을 기준으로 설정될 수가 있다.상기 제2 이미지 센서는, 도 3의 (7)에 도시된 바와 같이 상기 촬영된 제2영상으로부터 특징 정보를 추출한다. 상기 특징 정보는, 예컨대 상기 멀티미디어 장치를 사용하는 복수의 사용자들을 식별하기 위한 특정 부위(예를 들어, 입, 코, 눈 등)에 대응하는 데이터 이다. 나아가, 상기 제2 이미지 센서는, 상기 제1 이미지 센서의 촬영을 통해 얻어진 좌표값(상기 x, y, z 값들)에 기초하여, 상기 사용자의 얼굴에 대한 영역을 줌인할 수도 있다. 이는, 도 3의 (5)에서 (6)으로 전환되는 과정을 의미한다.On the other hand, when the first image sensor shown in Figure 3 and the second image sensor () adjacent to the design, the error due to the physical position difference may be negligible. However, according to another embodiment of the present invention, by using the above-described information on the physical position difference, the coordinate information or distance information obtained by the first image sensor is corrected, and the second image sensor coordinates corrected It is designed to photograph a user using information or distance information. In addition, if the first image sensor and the second image sensor are designed to be horizontal from the ground, the above-described information on the phisycal position difference may be set based on a horizontal frame. As shown in (7) of FIG. 3, feature information is extracted from the captured second image. The feature information is, for example, data corresponding to a specific part (eg, mouth, nose, eyes, etc.) for identifying a plurality of users who use the multimedia device. In addition, the second image sensor may zoom in an area of the face of the user based on the coordinate values (the x, y, z values) obtained through the imaging of the first image sensor. This means a process of switching from (5) to (6) in FIG.

상기 제1 이미지 센서 및 상기 제2 이미지 센서의 촬영 및 분석이 완료된 경우, 본 발명의 일실시예에 의한 멀티미디어 장치는, 상기 추출된 특징 정보에 대응하는 데이터를 저장하고 있는 메모리에 액세스 하고, 상기 메모리에 저장된 특정 사용자를 식별하는 정보를 추출한다.When the photographing and analysis of the first image sensor and the second image sensor is completed, the multimedia apparatus according to an embodiment of the present invention accesses a memory storing data corresponding to the extracted feature information, and Extract information that identifies a particular user stored in memory.

만약, 상기 특정 사용자를 식별하는 정보가 상기 메모리에 존재하는 경우, 상기 멀티미디어 장치는 상기 특정 사용자를 위하여 기설정된 서비스를 제공한다.If information identifying the specific user exists in the memory, the multimedia apparatus provides a preset service for the specific user.

반면, 상기 특정 사용자를 식별하는 정보가 상기 메모리에 존재하지 않는 경우, 상기 멀티미디어 장치는 상기 인식된 사용자를 상기 메모리에 저장하기 위한 가이드 메시지를 디스플레이 하도록 설계된다.On the other hand, if the information identifying the specific user does not exist in the memory, the multimedia apparatus is designed to display a guide message for storing the recognized user in the memory.

전술하여 설명한 바와 같이, 본 발명의 일실시예에 의하면, 제1 이미지 센서가 사용자 위치 정보나 얼굴의 좌표 정보를 디텍트 하고, 제2 이미지 센서는 제1 이미지 센서에서 획득된 데이터를 이용하여 얼굴을 인식하도록 설계된다.As described above, according to an embodiment of the present invention, the first image sensor detects user location information or coordinate information of the face, and the second image sensor uses the data obtained from the first image sensor to detect the face. Is designed to recognize.

나아가, 본 발명의 다른 일실시예에 의하면, 무조건적으로 제2 이미지 센서를 이용하는 것이 아니라 특정 컨디션에서만 제2 이미지 센서가 동작하도록 설계된다. 예를 들어, 상기 제1 이미지 센서의 동작으로 획득한 사용자와의 거리 정보가 제1기준값 이하인 경우 또는 상기 제1 이미지 센서의 동작으로 획득한 사용자의 얼굴에 대한 인식율이 제2기준값 이상인 경우에는, 상기 제1 이미지 센서만으로 멀티미디어 장치 주변에 위치한 사용자 얼굴을 디텍트(detect) 하고 인식(recoginization)한다. 반면, 상기 제1 이미지 센서의 동작으로 획득한 사용자와의 거리 정보가 제1기준값 초과하는 경우 또는 상기 제1 이미지 센서의 동작으로 획득한 사용자의 얼굴에 대한 인식율이 제2기준값 미만인 경우에는, 상기 제2 이미지 센서를 추가적으로 이용하여 사용자의 얼굴을 인식하도록 설계된다.Furthermore, according to another embodiment of the present invention, the second image sensor is designed to operate only in a specific condition, not unconditionally using the second image sensor. For example, when the distance information with the user acquired by the operation of the first image sensor is less than or equal to the first reference value, or when the recognition rate of the face of the user acquired by the operation of the first image sensor is equal to or greater than the second reference value, Only the first image sensor detects and recognizes a user's face located near the multimedia apparatus. On the other hand, when the distance information with the user acquired by the operation of the first image sensor exceeds the first reference value or when the recognition rate for the face of the user obtained by the operation of the first image sensor is less than the second reference value, The second image sensor is additionally designed to recognize a user's face.

그리고, 본 발명의 또 다른 일실시예에 의하면, 상기 제2 이미지 센서가 사용자의 얼굴을 인식하는 과정에서, 상기 제1 이미지 센서를 통해 획득한 거리 정보를 이용하여 줌인을 하고, 상기 제1 이미지 센서를 통해 획득한 얼굴 좌표 정보를 이용하여 얼굴 부분만을 촬영하도록 설계된다.Further, according to another embodiment of the present invention, in the process of recognizing the face of the user, the second image sensor zooms in using the distance information acquired by the first image sensor, and the first image. It is designed to photograph only a face part by using face coordinate information acquired through a sensor.

따라서, 이와 같이 전혀 다른 타입의 복수개의 이종 이미지 센서들을 이용할 경우, 원거리 안면 인식이 가능하고 데이터 처리 속도도 기존 보다 향상되는 본 발명 특유의 효과가 있다.Therefore, when using a plurality of heterogeneous image sensors of such a completely different type, there is a unique effect of the present invention that the remote face recognition is possible and the data processing speed is also improved than before.

도 4는 본 발명의 일실시예에 의한 복수개의 이종 이미지 센서 및 멀티미디어 장치에서 검출 데이터(detection data) 및 인식 데이터(recognition data) 를 이용하는 과정을 설명하기 위한 도면이다.FIG. 4 is a diagram illustrating a process of using detection data and recognition data in a plurality of heterogeneous image sensors and a multimedia apparatus according to an embodiment of the present invention.

얼굴 검출(face detection)과 얼굴 인식(face recognition)은 다른 프로세스 이다. 상기 얼굴 검출은, 하나의 이미지내 얼굴 영역을 디텍트 하는 프로세스를 포함한다. 반면, 상기 얼굴 인식은, 디텍트된 얼굴이 어떤 특정 사용자에 대응하는지 여부를 인식하는 프로세스이다. 특히, 본 발명의 일실시예에 따라, 제1이미지 센서를 이용하여 얼굴 검출 프로세스를 실행하고, 또한 제2이미지 센서를 이용하여 얼굴 인식 프로세스를 실행하는 과정을 도 4를 참조하여 설명하도록 하겠다.Face detection and face recognition are different processes. The face detection includes a process of detecting a face region in one image. On the other hand, the face recognition is a process of recognizing which specific user the detected face corresponds to. In particular, according to an embodiment of the present invention, a process of performing a face detection process using a first image sensor and a face recognition process using a second image sensor will be described with reference to FIG. 4.

도 4에 도시된 바와 같이, 본 발명의 일실시예에 의한 멀티미디어 디바이스는 디텍션 모듈(301), 인식 모듈(302), 데이터베이스(303), 제1이미지 센서(304), 제2이미지 센서(305) 등을 포함하며, 필요에 따라 디텍션 데이터(306) 및 인식 데이터(307)를 이용하게 된다. 상기 디텍션 데이터(306)는 예를 들어, 정보 기반(knowledge-based) 검출 기술(detection techniques), 특징 기반(feature-based) 검출 기술(detection techniques), 템플레이트 매칭 기술(template matching techniques), 외관 기반(appearance-based) 검출 기술(detection techniques)에 기초하여 생성될 수도 있다. 또한, 상기 인식 데이터(307)는 예를 들어, 특정 사용자를 식별하기 위한 눈, 코, 입, 턱, 영역, 거리, 모양, 각도 등의 데이터를 포함한다.As shown in FIG. 4, the multimedia device according to an embodiment of the present invention may include a detection module 301, a recognition module 302, a database 303, a first image sensor 304, and a second image sensor 305. ), And the detection data 306 and the recognition data 307 are used as necessary. The detection data 306 may comprise, for example, knowledge-based detection techniques, feature-based detection techniques, template matching techniques, appearance based It may also be generated based on (appearance-based) detection techniques. In addition, the recognition data 307 may include, for example, data such as an eye, a nose, a mouth, a jaw, an area, a distance, a shape, and an angle for identifying a specific user.

나아가, 상기 디텍션 모듈(301)은, 상기 제1이미지 센서(304)로부터 수신된 이미지 데이터를 이용하여사용자 얼굴의 존재를 판단한다. 또한, 사용자의 얼굴이 위치한 영역을 추정하는 과정에서, 전술하여 설명한 정보 기반(knowledge-based) 검출 기술(detection techniques), 특징 기반(feature-based) 검출 기술(detection techniques), 템플레이트 매칭 기술(template matching techniques), 외관 기반(appearance-based) 검출 기술(detection techniques)과 관련된 데이터가 사용된다.In addition, the detection module 301 determines the presence of the user's face using the image data received from the first image sensor 304. In addition, in the process of estimating the area where the user's face is located, the above-described knowledge-based detection techniques, feature-based detection techniques, and template matching techniques are described. Data related to matching techniques, appearance-based detection techniques are used.

그리고, 상기 인식 모듈(302)은, 상기 제2이미지 센서(305)로부터 수신된 이미지 데이터를 이용하여, 특정 사용자인지 여부를 식별한다. 이 때, 전술하여 설명한 인식 데이터(307)에 기초하여, 상기 수신된 이미지 데이터 및 상기 DB(303)에 저장된 face vector 정보를 비교하게 된다. 이는 도 5를 참조하여 보다 상세히 설명하도록 하겠다.In addition, the recognition module 302 uses the image data received from the second image sensor 305 to identify whether the user is a specific user. At this time, the received image data is compared with the face vector information stored in the DB 303 based on the recognition data 307 described above. This will be described in more detail with reference to FIG. 5.

도 5는 도 4에 도시된 데이터 베이스에 저장된 face vector 를 예시하여 설명하기 위한 도면이다.FIG. 5 is a diagram for describing a face vector stored in a database illustrated in FIG. 4.

도 5에 도시된 바와 같이, 본 발명의 일실시예에 의한 멀티미디어 디바이스를 사용하는 각 유저들에 대한 face vector 들이 저장되어 있다. 상기 face vector 는, 예를 들어 유저들의 얼굴에서 나타나는 특징 정보들에 대한 데이터 집합으로, 특정 유저들 각각을 식별하기 위한 용도로 사용된다.As shown in FIG. 5, face vectors for each user using a multimedia device according to an embodiment of the present invention are stored. The face vector is, for example, a data set of feature information appearing on the faces of users, and is used for identifying each of the specific users.

도 6은 본 발명의 일실시예에 따른, 멀티미디어 디바이스와 연결된 복수개의 이종 이미지 센서의 동작을, 하드웨어 영역 및 소프트웨어 영역으로 나누어 설명하기 위한 도면이다.FIG. 6 is a diagram for describing an operation of a plurality of heterogeneous image sensors connected to a multimedia device, divided into a hardware region and a software region, according to an embodiment of the present invention.

도 6에 도시된 바와 같이, 멀티미디어 디바이스가 복수개의 이종 이미지 센서를 통해 영상을 입력 받아 동작을 수행하는 구성은, 이미지 센서의 하드웨어 영역(360) 및 이미지 센서로부터 수신된 데이터를 처리하는 멀티미디어 디바이스의 소프트웨어 영역(350)으로 나누어 설명하도록 하겠다.As illustrated in FIG. 6, a configuration in which the multimedia device receives an image through a plurality of heterogeneous image sensors and performs an operation may include a hardware device 360 of the image sensor and a multimedia device that processes data received from the image sensor. The description will be made by dividing the software area 350.

도 6에서는, 상기 하드웨어 영역(360)을 별도의 모듈로 도시하였으나, 상기 소프트웨어 영역(350)을 처리하는 멀티미디어 디바이스에 임베디드된 일체형으로 구성할 수도 있다.In FIG. 6, the hardware region 360 is illustrated as a separate module. However, the hardware region 360 may be integrated into a multimedia device that processes the software region 350.

먼저, 하드웨어 영역은, 데이터 수집 영역(340) 및 펌웨어 영역(330)을 포함할 수 있다.First, the hardware area may include a data collection area 340 and a firmware area 330.

상기 데이터 수집 영역(340)은, 이미지 센서를 통하여 멀티미디어 디바이스에서 인식되기 위한 원본 데이터를 입력 받는 영역으로, 적외선 광원(IR light projector), 깊이 이미지센서(depth image sensor), 컬러 이미지 센서(RGB image sensor), 마이크로폰, 및 카메라칩을 포함하여 구성될 수 있다.The data collection area 340 is an area for receiving original data to be recognized by a multimedia device through an image sensor. An IR light projector, a depth image sensor, and a color image sensor sensor), a microphone, and a camera chip.

또한, 펌웨어 영역(330)은, 하드웨어 영역에 존재하여 동작함으로써, 하드웨어 영역과 소프트웨어 영역의 연결을 구성하는 영역이다. 또한, 특정한 애플리케이션이 필요로 하는 호스트 애플리케이션으로 구성될 수 있고, 다운 샘플링(downsampling) 및 미러링(mirroring)동작 등을 수행할 수 있다.In addition, the firmware area 330 is an area that exists in the hardware area and operates to constitute a connection between the hardware area and the software area. In addition, it may be configured as a host application required by a specific application, and may perform downsampling and mirroring operations.

따라서, 데이터 수집 영역(340) 및 펌웨어 영역(330)은 상호 연동하여 동작하며, 이를 통하여 하드웨어 영역(360)을 컨트롤 할 수 있으다. 또한, 상기 펌웨어 영역은 카메라칩에서 구동될 수 있다.Therefore, the data collection area 340 and the firmware area 330 interoperate with each other, thereby controlling the hardware area 360. In addition, the firmware area may be driven in the camera chip.

또한, 소프트웨어 영역(350)은, API(application programming interface)영역(320) 및 미들웨어(middleware) 영역(310)을 포함할 수 있다.In addition, the software area 350 may include an application programming interface (API) area 320 and a middleware area 310.

API영역(320)은, 멀티미디어 디바이스의 제어부에서 실행될 수 있다. 또한, 카메라부가 멀티미디어 디바이스와 별도의 외부기기로써 구성되는 경우, 상기 API 영역은, 퍼스널 컴퓨터, 게임콘솔, 및 셋탑박스 등에서 실행될 수 있다.The API area 320 may be executed by the controller of the multimedia device. In addition, when the camera unit is configured as an external device separate from the multimedia device, the API area may be executed in a personal computer, a game console, and a set-top box.

또한, API영역(320)은 상기 멀티미디어 디바이스가 하드웨어 영역의 센서를 구동시킬 수 있도록 하는 간단한 API일 수 있다.In addition, the API area 320 may be a simple API that enables the multimedia device to drive a sensor in the hardware area.

미들웨어 영역(310)은, 인식 알고리즘 영역으로써, 깊이 프로세싱(depth processiong) 미들웨어를 포함할 수 있다. 또한, 상기 미들웨어는, 사용자가 손을 통하여 제스쳐를 입력하는 경우, 또는 신체 전 영역을 통하여 제스쳐를 입력하는 경우에도 명확한 사용자 컨트롤 API와 함께 애플리케이션을 제공할 수 있다. 또한, 상기 미들웨어 영역은 사용자의 손의 위치 검색하는 동작, 사용자의 위치 추적하는 동작, 사용자 골격의 특징을 추출하는 동작 및, 입력된 영상에서 사용자와 배경을 분리하여 인식하는 동작 등을 수행하기 위한 알고리즘을 포함할 수 있다. 또한, 상기 알고리즘은 하드웨어 영역에서 획득된 깊이(depth) 정보, 색상 정보, 적외선 정보, 및 음성 정보를 활용하여 동작될 수 있다.The middleware region 310 may include a depth processiong middleware as a recognition algorithm region. In addition, the middleware may provide an application with a clear user control API even when a user inputs a gesture through a hand or when a gesture is input through an entire body region. In addition, the middleware area may be used to perform the operation of searching for the location of the user's hand, tracking the location of the user, extracting features of the user's skeleton, and recognizing the user and the background from the input image. Algorithm may be included. In addition, the algorithm may be operated by using depth information, color information, infrared information, and voice information obtained in a hardware domain.

도 7은 본 발명의 일실시예에 의한 복수 개의 이종 이미지 센서 및 멀티미디어 장치를 각각 도시한 도면이다. 이하, 도 7을 참조하여, 본 발명의 일실시예에 의한 복수 개의 이종 이미지 센서 및 멀티미디어 장치를 각각 설명하면 다음과 같다. 다만, 도 7에서는 본 발명의 일실시예에 의한 복수 개의 이종 이미지 센서와 멀티미디어 장치를 별개로 도시하였으나, 상기 멀티플 카메라가 상기 멀티미디어 장치에 임베디드(embedded)된 형태로 설계하는 것도 가능하다.7 is a diagram illustrating a plurality of heterogeneous image sensors and a multimedia device, respectively, according to an embodiment of the present invention. Hereinafter, a plurality of heterogeneous image sensors and a multimedia apparatus according to an embodiment of the present invention will be described with reference to FIG. 7. In FIG. 7, a plurality of heterogeneous image sensors and a multimedia apparatus according to an embodiment of the present invention are separately illustrated, but the multiple camera may be designed in an embedded form in the multimedia apparatus.

도 7에 도시된 바와 같이 본 발명의 일실시예에 의한 멀티미디어 장치(400)는 CPU(Central Processing Unit)(401) 및 GPU(Graphic Processing Unit)(404)의 모듈로 설계되며, 상기 CPU(401)는 어플리케이션(402) 및 얼굴인식처리 모듈(403)을 포함하고 있다. 한편, 본 발명의 일실시예에 의한 복수 개의 이종 이미지 센서(420)는 ASIC(Application Specific Intergrated Circuit)(421), 이미터(422), 제1 이미지 센서(423), 그리고 제2 이미지 센서(424)의 모듈로 설계된다. 그리고, 멀티미디어 장치(400) 및 복수 개의 이종 이미지 센서(420)는 유선 또는 무선의 인터페이스(410)로 연결되어 있으며, 예를 들어 USB (Universal Serial Bus) 인터페이스를 사용할 수도 있다. 다만, 도 7의 모듈들은 일실시예에 불과하며, 본 발명의 권리범위는 원칙적으로 특허청구범위에 의해 정해져야 한다.As shown in FIG. 7, the multimedia apparatus 400 according to an exemplary embodiment of the present invention is designed as a module of a central processing unit (CPU) 401 and a graphic processing unit (GPU) 404, and the CPU 401. ) Includes an application 402 and a facial recognition module 403. Meanwhile, the plurality of heterogeneous image sensors 420 according to an embodiment of the present invention may include an application specific integrated circuit (ASIC) 421, an emitter 422, a first image sensor 423, and a second image sensor ( 424 modules are designed. In addition, the multimedia apparatus 400 and the plurality of heterogeneous image sensors 420 may be connected to each other via a wired or wireless interface 410, for example, using a universal serial bus (USB) interface. However, the modules of FIG. 7 are only one embodiment, and the scope of the present invention should be determined in principle by the claims.

상기 이미터(422)는, 상기 멀티미디어 장치(400) 주변에 위치한 적어도 하나 이상의 사용자에게 빛을 발산한다. 나아가, 상기 제1 이미지 센서(423)는, 상기 발산된 빛을 이용하여 제1영상을 촬영하고, 상기 촬영된 제1영상으로부터 depth data 를 추출하고, 상기 추출된 depth data 를 이용하여 상기 적어도 하나 이상의 사용자의 얼굴을 디텍트한다. 또한, 상기 제2 이미지 센서(424)는, 상기 디텍트된 사용자의 얼굴에 대한 제2영상을 촬영하고, 상기 촬영된 제2영상으로부터 특징 정보를 추출한다.The emitter 422 emits light to at least one user located near the multimedia apparatus 400. Further, the first image sensor 423 captures a first image using the emitted light, extracts depth data from the photographed first image, and uses the extracted depth data to extract the at least one image. The above user's face is detected. In addition, the second image sensor 424 captures a second image of the detected user's face, and extracts feature information from the captured second image.

그리고, 상기 추출된 특징 정보는, 상기 인터페이스(410)를 통해 상기 멀티미디어 장치의 얼굴인식처리 모듈(403)로 전송된다. 도 7에 도시하지는 않았지만, 상기 얼굴인식처리 모듈(403)은 예컨대, 수신부, 메모리, 추출부, 제어부 등을 포함하도록 설계된다.The extracted feature information is transmitted to the face recognition processing module 403 of the multimedia apparatus through the interface 410. Although not shown in FIG. 7, the face recognition processing module 403 is designed to include, for example, a receiver, a memory, an extractor, a controller, and the like.

상기 얼굴인식처리 모듈(403)의 수신부는 상기 복수 개의 이종 이미지 센서(420) 및 인터페이스(410)를 통해 전송된 특징 정보를 수신한다. 나아가, 상기 얼굴인식처리 모듈(403)의 메모리는 적어도 하나 이상의 사용자에 대한 특징 정보 및 대응하는 ID를 저장하고 있다.The receiver of the face recognition processing module 403 receives feature information transmitted through the plurality of heterogeneous image sensors 420 and the interface 410. Further, the memory of the face recognition processing module 403 stores characteristic information and corresponding IDs of at least one user.

따라서, 상기 얼굴인식처리 모듈(403)의 추출부는, 상기 수신된 특징 정보에 대응하는 ID 를 상기 메모리로부터 추출하고, 상기 얼굴인식처리 모듈(403)의 제어부는 상기 ID에 해당하는 기설정된 기능들을 자동으로 수행하도록 설계된다.Accordingly, the extractor of the face recognition processing module 403 extracts an ID corresponding to the received feature information from the memory, and the controller of the face recognition processing module 403 performs preset functions corresponding to the ID. It is designed to perform automatically.

한편, 얼굴인식처리 모듈을 도 7에 도시된 바와 같이, 멀티미디어 장치의 CPU에서 수행하도록 설계하는 경우, 카메라 설계 비용을 낮추고 다양한 얼굴인식 및 기능 추가 등의 확장성 면에서 유리한 효과가 있다.On the other hand, when the face recognition processing module is designed to be performed in the CPU of the multimedia device, as shown in Figure 7, there is an advantageous effect in terms of scalability, such as lowering the camera design cost and adding various face recognition and functions.

도 8은 본 발명의 다른 일실시예에 의한 복수 개의 이종 이미지 센서 및 멀티미디어 장치를 각각 도시한 도면이다. 이하, 도 8을 참조하여, 본 발명의 다른 일실시예에 의한 복수 개의 이종 이미지 센서 및 멀티미디어 장치를 각각 설명하면 다음과 같다. 다만, 도 8에서는 본 발명의 일실시예에 의한 복수 개의 이종 이미지 센서와 멀티미디어 장치를 별개로 도시하였으나, 상기 멀티플 카메라를 상기 멀티미디어 장치에 임베디드(embedded)된 형태로 설계하는 것도 가능하다.8 is a diagram illustrating a plurality of heterogeneous image sensors and a multimedia device according to another embodiment of the present invention, respectively. Hereinafter, a plurality of heterogeneous image sensors and a multimedia apparatus according to another embodiment of the present invention will be described with reference to FIG. 8. In FIG. 8, a plurality of heterogeneous image sensors and a multimedia apparatus according to an embodiment of the present invention are separately illustrated, but the multiple camera may be designed in an embedded form in the multimedia apparatus.

도 8에 도시된 바와 같이 본 발명의 일실시예에 의한 멀티미디어 장치(500)는 CPU(Central Processing Unit)(501) 및 GPU(Graphic Processing Unit)(503)의 모듈로 설계되며, 상기 CPU(501)는 어플리케이션(502)을 포함하고 있다. 한편, 본 발명의 일실시예에 의한 복수 개의 이종 이미지 센서(520)는 얼굴인식처리 모듈(521), ASIC(Application Specific Intergrated Circuit)(522), 이미터(523), 제1 이미지 센서(524), 그리고 제2 이미지 센서(525)의 모듈로 설계된다. 그리고, 멀티미디어 장치(500) 및 복수 개의 이종 이미지 센서(520)는 유선 또는 무선의 인터페이스(510)로 연결되어 있으며, 예를 들어 USB (Universal Serial Bus) 인터페이스를 사용할 수도 있다. 다만, 도 8의 모듈들은 일실시예에 불과하며, 본 발명의 권리범위는 원칙적으로 특허청구범위에 의해 정해져야 한다.As illustrated in FIG. 8, the multimedia apparatus 500 according to an exemplary embodiment of the present invention is designed as a module of a central processing unit (CPU) 501 and a graphic processing unit (GPU) 503, and the CPU 501. ) Includes an application 502. Meanwhile, the plurality of heterogeneous image sensors 520 according to an embodiment of the present invention may include a face recognition module 521, an application specific integrated circuit (ASIC) 522, an emitter 523, and a first image sensor 524. And a module of the second image sensor 525. In addition, the multimedia apparatus 500 and the plurality of heterogeneous image sensors 520 may be connected to each other via a wired or wireless interface 510. For example, the multimedia apparatus 500 may use a universal serial bus (USB) interface. However, the modules of FIG. 8 are only one embodiment, and the scope of the present invention should be determined in principle by the claims.

도 8은 도 7과 비교하여, 얼굴인식처리 모듈(521)이 복수 개의 이종 이미지 센서(520)에 탑재된다는 점에서 차이가 있으며, 나머지 동일한 설명은 생략하도록 하겠다.FIG. 8 has a difference in that the face recognition processing module 521 is mounted on the plurality of heterogeneous image sensors 520, compared to FIG. 7, and the same description will be omitted.

한편, 얼굴인식처리 모듈을 도 8에 도시된 바와 같이, 복수 개의 이종 이미지 센서(520)단에서 수행하도록 설계하는 경우, 독립된 플랫폼을 통하여 보다 다양한 형태의 카메라를 설계하는 것이 가능하다.Meanwhile, when the face recognition processing module is designed to be performed by the plurality of heterogeneous image sensor 520 stages as shown in FIG. 8, it is possible to design more various types of cameras through an independent platform.

도 9는 본 발명의 일실시예에 의한 복수 개의 이종 이미지 센서를 보다 상세히 도시한 도면이다. 이하, 도 9를 참조하여, 본 발명의 일실시예에 의한 복수 개의 이종 이미지 센서를 보다 상세히 설명하면 다음과 같다.9 illustrates a plurality of heterogeneous image sensors according to an exemplary embodiment of the present invention in more detail. Hereinafter, referring to FIG. 9, a plurality of heterogeneous image sensors according to an embodiment of the present invention will be described in detail.

도 9에 도시된 바와 같이, 본 발명의 일실시예에 의한 복수 개의 이종 이미지 센서는, 제1 이미지 센서 그룹(610)과 제2 이미지 센서(620), 컨트롤러(630), 메모리(640), 인터페이스(650) 등을 포함하며, 상기 컨트롤러(630)의 제어에 따라 마이크로폰(670) 및 외부 오디오 소스(660)로부터 오디오 데이터를 수신하도록 설계된다.As illustrated in FIG. 9, a plurality of heterogeneous image sensors according to an embodiment of the present invention may include a first image sensor group 610, a second image sensor 620, a controller 630, a memory 640, Interface 650, etc., and is designed to receive audio data from the microphone 670 and an external audio source 660 under the control of the controller 630.

상기 메모리(640)는, 예를 들어, 플래쉬 메모리 등으로 설계할 수도 있고, 상기 인터페이스(650)는 예를 들어 USB 인터페이스로 설계되어 외부 멀티미디어 장치와 연결된다. 한편, 상기 제1 이미지 센서 그룹(610)은 이미터(emitter)(680) 및 제1 이미지 센서(690)를 포함하며, 상기 이미터는 예를 들어, IR(Infra-Red) 이미터로 설계 가능하다.The memory 640 may be designed as, for example, a flash memory, or the like, and the interface 650 is designed as, for example, a USB interface and connected to an external multimedia device. Meanwhile, the first image sensor group 610 includes an emitter 680 and a first image sensor 690, and the emitter may be designed as an infrared (red) emitter, for example. Do.

나아가, 상기 컨트롤러(630)의 제어에 따라, 상기 이미터(680)의 라이트 프로젝터(682)는 렌즈(681)를 투사하여, 멀티미디어 장치 주변에 위치한 적어도 하나 이상의 사용자에게 빛을 발산한다.Further, under the control of the controller 630, the light projector 682 of the emitter 680 projects a lens 681 to emit light to at least one user located near the multimedia device.

또한, 상기 컨트롤러(630)의 제어에 따라, 상기 제1 이미지 센서(690)는 렌즈(691)을 통해 수신된 빛을 이용하여 제1영상을 촬영하고, 상기 촬영된 제1영상으로부터 depth data 를 추출하고, 이를 상기 컨트롤러(630)에 전송한다.In addition, under the control of the controller 630, the first image sensor 690 captures a first image using light received through the lens 691, and extracts depth data from the captured first image. Extract it and send it to the controller 630.

상기 컨트롤러(630)는, 상기 전송된 depth data 를 이용하여 상기 적어도 하나 이상의 사용자의 얼굴을 디텍트하고, 다음으로 상기 제2 이미지 센서(620)를 제어한다.The controller 630 detects a face of the at least one user by using the transmitted depth data, and then controls the second image sensor 620.

상기 제2 이미지 센서(620)는, 상기 컨트롤러(630)의 제어에 따라, 렌즈(621)를 통해 인가되는 상기 디텍트된 사용자의 얼굴에 대한 제2영상을 촬영한다. 나아가, 상기 제2 이미지 센서(620)는, 상기 촬영된 제2영상으로부터 추출된 특징 정보를, 상기 컨트롤러(620)에 전송한다.The second image sensor 620 captures a second image of the detected user's face applied through the lens 621 under the control of the controller 630. In addition, the second image sensor 620 transmits feature information extracted from the captured second image to the controller 620.

그리고, 상기 컨트롤러(630)는, 상기 인터페이스(650)를 이용하여, 상기 추출된 특징 정보를, 멀티미디어 장치에 전송하도록 설계된다. 따라서, 이를 수신한 멀티미디어 장치는, 촬영된 영상의 사용자가 DB에 저장된 사용자 중 어느 특정 사용자인지를 신속하게 식별할 수가 있는 효과가 있다.The controller 630 is designed to transmit the extracted feature information to the multimedia apparatus using the interface 650. Therefore, the multimedia apparatus having received the above effect can quickly identify which specific user among the users stored in the DB is the user of the captured image.

도 10은 본 발명의 일실시예에 의한 복수 개의 이종 이미지 센서 중 제1 이미지 센서의 일예를 도시한 도면이다. 이하, 도 10을 참조하여, 본 발명의 일실시예에 의한 복수 개의 이종 이미지 센서 중 제1 이미지 센서의 일예를 설명하면 다음과 같다. 도 10에 도시된 IR 소스(710)는 도 6의 이미터(680)에 대응할 수 있고, 도 10에 도시된 depth 이미지 프로세서(720)는 도 9의 제1 이미지 센서(690)에 대응할 수도 있는 바, 도 9 및 도 10의 설명은 보충적으로 적용될 수도 있다. 또한, 도 10에 도시된 카메라는, 예컨대 전술한 structured light 방식을 차용하여 설계하는 것도 가능하다.FIG. 10 is a diagram illustrating an example of a first image sensor among a plurality of heterogeneous image sensors according to an embodiment of the present invention. Hereinafter, an example of a first image sensor among a plurality of heterogeneous image sensors according to an embodiment of the present invention will be described with reference to FIG. 10. The IR source 710 shown in FIG. 10 may correspond to the emitter 680 of FIG. 6, and the depth image processor 720 shown in FIG. 10 may correspond to the first image sensor 690 of FIG. 9. 9 and 10 may be supplementarily applied. In addition, the camera shown in FIG. 10 may be designed using, for example, the structured light method described above.

도 10에 도시된 바와 같이, 상기 IR 소스(710)는 코드화된 패턴 영상을 타겟 사용자(730)에게 연속적으로 투영하도록 설계된다. 그리고, 상기 depth 이미지 프로세서(720)는 상기 타겟 사용자(730)에 의해 최초 패턴 영상이 왜곡된 정보를 이용하여, 상기 사용자의 위치를 추정한다.As shown in FIG. 10, the IR source 710 is designed to continuously project the coded pattern image to the target user 730. The depth image processor 720 estimates the location of the user by using information on which the initial pattern image is distorted by the target user 730.

도 11은 본 발명의 일실시예에 의한 복수 개의 이종 이미지 센서 중 제1 이미지센서의 다른 일예를 도시한 도면이다. 이하, 도 11을 참조하여, 본 발명의 일실시예에 의한 복수 개의 이종 이미지 센서 중 제1 이미지 센서의 다른 일예를 설명하면 다음과 같다. 도 11에 도시된 LED(810)는 도 9의 이미터(680)에 대응할 수 있고, 도 11에 도시된 depth 이미지 프로세서(820)는 도 9의 제1 이미지 센서(690)에 대응할 수도 있는 바, 도 9 및 도 11의 설명은 보충적으로 적용될 수도 있다. 또한, 도 11에 도시된 카메라는, 예컨대 전술한 TOF 방식을 차용하여 설계하는 것도 가능하다.FIG. 11 is a diagram illustrating another example of a first image sensor among a plurality of heterogeneous image sensors according to an embodiment of the present invention. Hereinafter, another example of a first image sensor among a plurality of heterogeneous image sensors according to an embodiment of the present invention will be described with reference to FIG. 11. The LED 810 shown in FIG. 11 may correspond to the emitter 680 of FIG. 9, and the depth image processor 820 shown in FIG. 11 may correspond to the first image sensor 690 of FIG. 9. 9 and 11 may be supplementarily applied. In addition, the camera shown in FIG. 11 can also be designed using the above-described TOF method.

도 11에 도시된 바와 같이, 상기 LED(810)에 의해 발산된 빛은 타겟 사용자(830)에게 전송된다. 그리고, 상기 타겟 사용자(830)에 의해 반사된 빛(reflected light)은 상기 depth 이미지 프로세서(820)에 전송된다. 도 11에 도시된 모듈들은, 도 10과 달리 시간 차이에 대한 정보를 이용하여 상기 타겟 사용자(830)의 위치를 계산한다. 이는 도 12를 참조하여 보다 상세히 설명하도록 하겠다.As shown in FIG. 11, the light emitted by the LED 810 is transmitted to the target user 830. The reflected light reflected by the target user 830 is transmitted to the depth image processor 820. Unlike FIG. 10, the modules illustrated in FIG. 11 calculate the location of the target user 830 by using information about a time difference. This will be described in more detail with reference to FIG. 12.

도 12는 도 11에 도시된 제1 이미지 센서를 이용하여 거리를 계산하는 방법을 설명하기 위한 도면이다. 이하, 도 12를 참조하여, 도 11에 도시된 제1 이미지 센서를 이용하여 거리를 계산하는 방법을 설명하면 다음과 같다.FIG. 12 is a diagram for describing a method of calculating a distance using the first image sensor illustrated in FIG. 11. Hereinafter, a method of calculating a distance by using the first image sensor illustrated in FIG. 11 will be described with reference to FIG. 12.

도 12의 왼쪽 그래프에 도시된 바와 같이, 발산된 빛(emitted light)과 반사된 빛(reflected light) 사이의 시간 차이를 통해, 도착 시간인 t 값을 얻을 수가 있다.As shown in the left graph of FIG. 12, a time value t, which is an arrival time, may be obtained through the time difference between the emitted light and the reflected light.

또한, 도 12의 오른쪽에 수식에 도시된 바와 같이, 상기 LED(810)와 상기 타겟 사용자(830)까지의 거리 및 상기 타겟 사용자(830)와 상기 depth 이미지 프로세서(820)까지의 총거리는, 광속과 상기 t 값의 곱셈으로 계산된다. 따라서, 결과적으로 상기 LED(830) 또는 상기 depth 이미지 프로세서(820)와 상기 타겟 사용자(830)까지의 거리는 1/d 로 추정된다.12, the distance between the LED 810 and the target user 830 and the total distance between the target user 830 and the depth image processor 820 may be determined. And t is multiplied by the value. Therefore, as a result, the distance between the LED 830 or the depth image processor 820 and the target user 830 is estimated to be 1 / d.

도 13은 본 발명의 일실시예에 의한 복수 개의 이종 이미지 센서 중 제1 이미지 센서에 의해 촬영된 이미지를 도시한 도면이다. 이하, 도 13을 참조하여 본 발명의 일실시예에 의한 복수 개의 이종 이미지 센서 중 제1 이미지 센서에 의해 촬영된 보다 구체적인 이미지를 설명하면 다음과 같다.FIG. 13 is a diagram illustrating an image photographed by a first image sensor among a plurality of heterogeneous image sensors according to an embodiment of the present invention. Hereinafter, referring to FIG. 13, a more specific image captured by a first image sensor among a plurality of heterogeneous image sensors according to an embodiment of the present invention will be described.

도 13에 도시된 바와 같이, 제1 이미지 센서로 촬영된 이미지에서는 RGB 등의 색상 정보가 화려하게 표현되지는 않는다. 다만, 거리에 따라 명암을 차등적으로 표현함으로써, 개별 사물의 대략적인 위치를 신속하게 알아낼 수 있는 장점이 있다. As illustrated in FIG. 13, color information such as RGB is not colorfully expressed in an image photographed by the first image sensor. However, by expressing the contrast according to the distance, there is an advantage that can quickly find the approximate location of the individual object.

예컨대, 도 13에 도시된 바와 같이, 가장 멀리 위치한 복도(hall way)의 경우, 가장 어두운 명암으로 표시되며, 제1 이미지 센서로부터 약 10m 정도의 거리에 떨어져 있음을 확인한다. 나아가, 중간 정도의 거리 레벨에 위치한 벽(wall)의 경우, 중간 톤의 명암으로 표시되며, 제1 이미지 센서로부터 약 5m 정도의 거리에 떨어져 있음을 확인한다. 그리고, 상대적으로 가장 가까운 거리에 위치한 TV 시청자(TV viewer)의 경우, 가장 밝은 톤의 명암으로 표시되며, 제1 이미지 센서로부터 약 4m 정도의 거리에 떨어져 있음을 확인한다.For example, as shown in FIG. 13, in the case of the farthest hall way, the darkest contrast is displayed, and the distance is about 10m from the first image sensor. Furthermore, in the case of a wall located at a medium distance level, the wall is displayed with a medium tone, and it is confirmed that it is separated from the first image sensor by about 5 m. In the case of a TV viewer located at a relatively close distance, the brightest tone is displayed, and it is confirmed that the TV viewer is located at a distance of about 4 m from the first image sensor.

도 14는 본 발명의 일실시예에 의한 복수 개의 이종 이미지 센서 중 제2이미지센서에 의해 촬영된 이미지를 도시한 도면이다. 이하, 도 14를 참조하여, 본 발명의 일실시예에 의한 복수 개의 이종 이미지 센서 중 제2 이미지 센서에 의해 촬영된 보다 구체적인 이미지를 설명하면 다음과 같다.14 is a diagram illustrating an image photographed by a second image sensor among a plurality of heterogeneous image sensors according to an embodiment of the present invention. Hereinafter, referring to FIG. 14, a more specific image captured by a second image sensor among a plurality of heterogeneous image sensors according to an embodiment of the present invention will be described.

제1 이미지 센서와 달리, 제2 이미지 센서의 경우 선명한 RGB 색상을 사용하게 되므로, 사용자의 얼굴의 주요 구성 요소들을 용이하게 식별할 수 있는 장점이 있다. 특히, 도 14에 예시된 바와 같이, 사람을 식별하는데 사용되는 눈 주변, 코 주변, 입 주변에 대한 데이터를 가공하여, 얼굴 인식을 위한 특징 정보로 사용하도록 설계된다. 물론, 도 14에서는 눈, 코, 입을 예시하였지만, 경우에 따라 다른 얼굴 구성 요소, 예컨대 귀, 이마, 머리색, 주름, 피부색, 얼굴형, 얼굴크기 등이 사용될 수도 있다.Unlike the first image sensor, since the second image sensor uses vivid RGB colors, the main components of the user's face can be easily identified. In particular, as illustrated in FIG. 14, it is designed to process data about an eye area, a nose area, and a mouth area used to identify a person, and to use it as feature information for face recognition. Of course, although eyes, nose, and mouth are illustrated in FIG. 14, other facial components, such as ears, forehead, hair color, wrinkles, skin color, face shape, and face size, may be used in some cases.

도 15는 본 발명의 일실시예에 의한 복수개의 이종 이미지 센서를 이용하여, 특정 사용자의 제1포즈에 따른 depth 이미지 및 color 이미지가 촬영된 씬을 나타내는 도면이다. FIG. 15 is a diagram illustrating a scene in which a depth image and a color image according to a first pose of a specific user are captured using a plurality of heterogeneous image sensors according to an embodiment of the present invention.

도 15의 <depth image>에 도시된 바와 같이, 제1 이미지 센서를 이용하여 촬영할 경우, 사용자의 얼굴에 대한 위치 뿐만 아니라 신체, 골격, 관절 정보 등을 추출할 수가 있다. 따라서, 도 15의 <depth image>에서 촬영된 관절 정보 등을 이용하여, 현재 사용자가 누워 있는 포즈를 취하고 있음이 식별된다. 그리고, 도 15의 <color image>에 도시된 바와 같이, 제2 이미지 센서를 이용하여 현재 누워있는 사용자의 얼굴이 클로즈업 되고, 특징 정보가 추출된다.As illustrated in <depth image> of FIG. 15, when photographing using the first image sensor, not only the position of the user's face but also body, skeleton, and joint information may be extracted. Accordingly, it is identified that the current user is in a lying pose using the joint information photographed in the <depth image> of FIG. 15. As shown in <color image> of FIG. 15, the face of the user lying down is close-up using the second image sensor, and feature information is extracted.

도 16은 본 발명의 일실시예에 의한 복수개의 이종 이미지 센서를 이용하여, 특정 사용자의 제2포즈에 따른 depth 이미지 및 color 이미지가 촬영된 씬을 나타내는 도면이다. FIG. 16 is a diagram illustrating a scene in which a depth image and a color image according to a second pose of a specific user are captured using a plurality of heterogeneous image sensors according to an embodiment of the present invention.

도 16의 <depth image>에 도시된 바와 같이, 제1이미지 센서를 이용하여 촬영할 경우, 사용자의 얼굴에 대한 위치 뿐만 아니라, 신체, 골격, 관절 정보 등을 추출할 수가 있다. 따라서, 도 16의 <depth image>에서 촬영된 관절 정보 등을 이용하여, 현재 사용자가 서 있는 포즈를 취하고 있음이 식별된다. 그리고, 도 16의 <color image>에 도시된 바와 같이, 제2 이미지 센서를 이용하여 현재 서 있는 사용자As illustrated in <depth image> of FIG. 16, when photographing using the first image sensor, not only the position of the user's face but also body, skeleton, and joint information may be extracted. Accordingly, it is identified that the user is currently posing by using the joint information photographed in the <depth image> of FIG. 16. And, as shown in <color image> of FIG. 16, a user who is currently standing using the second image sensor

의 얼굴이 클로즈업 되고, 특징 정보가 추출된다.Face close-up, feature information is extracted.

도 17은 본 발명의 일실시예에 의한 복수개의 이종 이미지 센서를 이용하여, 특정 사용자의 제3포즈에 따른 depth 이미지 및 color 이미지가 촬영된 씬을 나타내는 도면이다. FIG. 17 is a diagram illustrating a scene in which a depth image and a color image according to a third pose of a specific user are captured using a plurality of heterogeneous image sensors according to an embodiment of the present invention.

도 17의 <depth image>에 도시된 바와 같이, 제1 이미지 센서를 이용하여 촬영할 경우, 사용자의 얼굴에 대한 위치 뿐만 아니라, 신체, 골격, 관절 정보 등을 추출할 수가 있다. 따라서, 도 17의 <depth image>에서 촬영된 관절 정보 등을 이용하여, 현재 사용자가 앉아 있는 포즈를 취하고 있음이 식별된다. 그리고, 도 17의 <color image>에 도시된 바와 같이, 제2 이미지 센서를 이용하여 현재 앉아 있는 사용자의 얼굴이 클로즈업 되고, 특징 정보가 추출된다.As illustrated in <depth image> of FIG. 17, when photographing using the first image sensor, not only the position of the user's face but also body, skeleton, and joint information may be extracted. Therefore, it is identified that the current user is in a sitting pose using the joint information photographed in the <depth image> of FIG. 17. As shown in <color image> of FIG. 17, the face of the user who is currently sitting is close-up using the second image sensor, and feature information is extracted.

도 18은 도 15 내지 도 17에서 촬영된 씬들을 바탕으로 생성된, 포즈 정보에 따른 각 사용자의 특징 정보를 저장하고 있는 데이터 베이스를 예시한 도면이다. FIG. 18 is a diagram illustrating a database storing characteristic information of each user according to pose information generated based on scenes photographed in FIGS. 15 to 17.

상기 포즈 정보는, 예를 들어 촬영된 사용자의 얼굴 회전 정보 등이 될 수 있다. 즉, 멀티미디어 디바이스를 기준으로, 촬영된 사용자 얼굴이 좌측으로 기울어진 경우, 마이너스(-) 정보로 표시하고, 우측으로 기울어진 경우에는 플러스(+) 정보로 표시한다. 도 18에 도시된 바와 같이, 도 15 내지 도 17에서 촬영 및 인식된 포즈 정보(-15, -30, +15, +30) 각각에 대응하는 아버지의 안면에 대한 특징 정보들(a,b,c,d)이 DB에 저장된다. 또한, 도 18에 도시된 바와 같이, 도 15 내지 도 17에서 촬영 및 인식된 포즈 정보(-15, -30, +15, +30) 각각에 대응하는 어머니의 안면에 대한 특징 정보들(e,f,g,h)도 DB에 저장된다.  The pose information may be, for example, face rotation information of the photographed user. That is, based on the multimedia device, when the photographed user's face is inclined to the left side, the user's face is displayed as negative (-) information, and when it is inclined to the right side, the user's face is displayed as plus (+) information. As illustrated in FIG. 18, feature information about a father's face corresponding to each of the pose information (-15, -30, +15, and +30) photographed and recognized in FIGS. c, d) is stored in the DB. In addition, as shown in FIG. 18, feature information about a mother's face corresponding to each of the pose information (-15, -30, +15, +30) photographed and recognized in FIGS. f, g, h) are also stored in the DB.

나아가, 도 18에 도시된 바와 같이, 도 15 내지 도 17에서 촬영 및 인식된 포즈 정보(-15, -30, +15, +30) 각각에 대응하는 아들1의 안면에 대한 특징 정보들(i,j,k,l)도 DB에 저장된다. 그리고, 도 18에 도시된 바와 같이, 도 15 내지 도 17에서 촬영 및 인식된 포즈 정보(-15, -30, +15, +30) 각각에 대응하는 아들2의 안면에 대한 특징 정보들(m,n,o,p)도 DB에 저장된다.Further, as shown in FIG. 18, feature information about the face of son 1 corresponding to each of the pose information (-15, -30, +15, +30) photographed and recognized in FIGS. 15 to 17 (i) , j, k, l) are also stored in the DB. And, as shown in FIG. 18, feature information about the face of son 2 corresponding to each of the pose information (-15, -30, +15, +30) photographed and recognized in FIGS. 15 to 17 (m) , n, o, p) are also stored in the DB.

따라서, 멀티미디어 디바이스 앞에 위치한 사용자 또는 시청자들은 보다 자유롭게 자신들의 자세를 변경하여도, 에러 가능성이 낮아지게 된다. 또한, 본 발명의 다른 실시예에 의한 멀티미디어 디바이스는, 보다 개선된 성능을 담보하기 위하여, 사용자들의 포즈(예를 들어, 얼굴 회전 각도 등)를 지속적으로 모니터링하여 업데이트 하는 것도 가능하다.Therefore, even if the user or viewers located in front of the multimedia device change their posture more freely, the possibility of error is lowered. In addition, the multimedia device according to another embodiment of the present invention, it is possible to continuously monitor and update the poses (for example, the face rotation angle, etc.) of the user in order to ensure more improved performance.

도 19는 본 발명의 일실시예에 의한 제1 이미지 센서를 이용하여, 특정 사용자의 제1신체 정보가 촬영된 씬을 나타내는 도면이다. FIG. 19 is a diagram illustrating a scene in which first body information of a specific user is photographed by using a first image sensor according to an embodiment of the present invention.

전술하여 설명한 바와 같이, 제1 이미지 센서를 이용하면 특정 사용자의 관절에 대한 정보를 예측 가능하다. 따라서, 도 19에 도시된 바와 같이, 멀티미디어 디바이스 앞에 위치한 특정 사용자의 팔 길이에 대한 정보를 디텍트할 수가 있다.As described above, the first image sensor may be used to predict information about a joint of a specific user. Thus, as shown in FIG. 19, it is possible to detect information about the arm length of a specific user located in front of the multimedia device.

도 20은 본 발명의 일실시예에 의한 제1 이미지 센서를 이용하여, 특정 사용자의 제2신체 정보가 촬영된 씬을 나타내는 도면이다. 20 is a diagram illustrating a scene in which second body information of a specific user is photographed using the first image sensor according to an exemplary embodiment of the present invention.

전술하여 설명한 바와 같이, 제1 이미지 센서를 이용하면 특정 사용자의 관절에 대한 정보를 예측 가능하다. 따라서, 도 20에 도시된 바와 같이, 멀티 미디어 디바이스 앞에 위치한 특정 사용자의 어깨 넓이에 대한 정보를 디텍트할 수가 있다.As described above, the first image sensor may be used to predict information about a joint of a specific user. Thus, as shown in FIG. 20, it is possible to detect information about the width of a shoulder of a specific user located in front of the multimedia device.

도 21은 본 발명의 일실시예에 의한 제1 이미지 센서를 이용하여, 특정 사용자의 제3신체 정보가 촬영된 씬을 나타내는 도면이다. FIG. 21 is a diagram illustrating a scene in which third body information of a specific user is photographed using the first image sensor according to an exemplary embodiment of the present invention.

전술하여 설명한 바와 같이, 제1 이미지 센서를 이용하면 특정 사용자의 관절에 대한 정보를 예측 가능하다. 따라서, 도 18에 도시된 바와 같이, 멀티미디어 디바이스 앞에 위치한 특정 사용자의 키에 대한 정보를 디텍트할 수가 있다.As described above, the first image sensor may be used to predict information about a joint of a specific user. Thus, as shown in FIG. 18, it is possible to detect information about a key of a specific user located in front of the multimedia device.

도 22는 본 발명의 일실시예에 의한 제1 이미지 센서를 이용하여, 특정 사용자의 제4신체 정보가 촬영된 씬을 나타내는 도면이다. FIG. 22 is a diagram illustrating a scene in which fourth body information of a specific user is photographed using the first image sensor according to an embodiment of the present invention.

전술하여 설명한 바와 같이, 제1 이미지 센서를 이용하면 특정 사용자의 관절에 대한 정보를 예측 가능하다. 따라서, 도 22에 도시된 바와 같이, 멀티미디어 디바이스 앞에 위치한 특정 사용자의 얼굴 사이즈에 대한 정보를 디텍트할 수가 있다.As described above, the first image sensor may be used to predict information about a joint of a specific user. Accordingly, as shown in FIG. 22, it is possible to detect information about a face size of a specific user located in front of the multimedia device.

도 23은 도 19 내지 도 22에서 촬영된 씬들을 바탕으로 생성된, 각 사용자별 신체 정보를 저장하고 있는 데이터 베이스를 예시한 도면이다. FIG. 23 is a diagram illustrating a database storing body information for each user, which is generated based on scenes photographed in FIGS. 19 to 22.

도 23에 도시된 바와 같이, 도 19 내지 도 22에서 촬영 및 인식된 신체 정보들이 각 사용자별로 DB에 저장된다.As shown in FIG. 23, the body information photographed and recognized in FIGS. 19 to 22 is stored in a DB for each user.

즉, 전술하여 설명한 특징 정보, 포즈 정보(예를 들어, 얼굴 회전 정보)를 이용해서도 특정 사용자를 검출할 수 없거나, 현재 멀티미디어 디바이스 앞에 위치한 사용자를 식별할 수 없는 경우, 도 23에 도시된 DB 가 이용될 수 있다. 특히, 멀티미디어 디바이스 앞에 위치한 가족구성원들의 경우, 얼굴 모양 등이 유사할 수 있는데, 도 20에 도시된 DB 를 이용한다면, 사용자 인식 성능이 개선될 수 있는 장점이 있다. 또한, 본 발명의 다른 실시예에 의한 멀티미디어 디바이스는, 보다 개선된 성능을 담보하기 위하여, 사용자들의 신체 정보를 지속적으로 모니터링하여 업데이트 하는 것도 가능하다.That is, even when the specific user cannot be detected using the feature information and the pose information (for example, the face rotation information) described above, or the user located in front of the multimedia device cannot be identified, the DB shown in FIG. Can be used. In particular, in the case of family members located in front of the multimedia device, the face shape and the like may be similar. If the DB shown in FIG. 20 is used, user recognition performance may be improved. In addition, the multimedia device according to another embodiment of the present invention, it is possible to continuously monitor and update the user's body information in order to ensure more improved performance.

한편, 도 19 내지 도 23에서는, 촬영된 사용자의 신체 정보(예를 들어, cm 단위)를, 이미지 센서와 상기 사용자 사이의 거리에 따라 비례하는 방식을 사용하여 추정할 수 있다. 다만, 본 발명의 다른 일실시예에 의하면, 상기 신체 정보를 pixel 단위로 계산 및 표시하는 것도 가능하다. 예를 들어, 제1 이미지 센서를 이용하여 사용자의 특정 신체 부위인 얼굴, 어깨, 무릎, 발목, 팔목, 손바닥, 골반 등 각각을 표시하는 2개 이상의 포인트를 검출한다. 그리고, 검출된 포인트들간 거리를 계산하여, 촬영된 사용자의 특정 신체 정보를 추정하는 것도 가능하다. 또한, 제2 이미지 센서를 이용하여 촬영된 사용자의 두 눈 사이의 거리를 계산함으로써, 촬영된 사용자의 얼굴 크기를 추정하는 것도 가능하다. 물론, 전술하여 설명한 본 발명의 다른 일실시예에 의할 때에도, 픽셀간 거리로 계산된 특정 신체 부위에 대한 정보를. 이미지 센서와 상기 사용자 사이의 거리에 따라 비례하는 방식을 사용하여 추정한다.Meanwhile, in FIGS. 19 to 23, the body information (eg, in cm units) of the photographed user may be estimated using a method proportional to the distance between the image sensor and the user. However, according to another embodiment of the present invention, the body information may be calculated and displayed in pixel units. For example, the first image sensor is used to detect two or more points representing each of a user's specific body parts such as face, shoulder, knee, ankle, wrist, palm, and pelvis. The distance between the detected points may be calculated to estimate specific body information of the photographed user. In addition, it is also possible to estimate the size of the face of the photographed user by calculating the distance between two eyes of the photographed user using the second image sensor. Of course, according to another embodiment of the present invention described above, information about a specific body part calculated as the inter-pixel distance. It estimates using a method proportional to the distance between the image sensor and the user.

도 24는 본 발명의 일실시예에 따라 복수개의 이종 이미지 센서를 이용하여 사용자를 인식하는 방법을, 전체적으로 설명하기 위한 플로우 차트이다. 다만, 도 24 내지 도 27은 방법 발명에 대한 설명이나, 이전 물건 발명에 대한 설명을 보충적으로 적용하여 해석하는 것도 가능하다.24 is a flowchart illustrating a method of recognizing a user as a whole using a plurality of heterogeneous image sensors according to an exemplary embodiment of the present invention. 24 to 27 may be interpreted by supplementing the description of the method invention or the description of the previous object invention.

본 발명의 일실시예예 의한 복수개의 이종 이미지 센서를 이용하는 멀티미디어 디바이스는, 제1이미지 센서를 이용하여, 상기 멀티미디어 디바이스의 정면에 위치한 제1영상을 촬영한다(S2201). 나아가, 상기 촬영된 제1영상으로부터 depth data 를 추출하고(S2202), 상기 추출된 depth data 를 이용하여 적어도 하나 이상의 사용자의 얼굴 그리고 포즈 정보(예를 들어, 얼굴 각도)가 디텍트된다(S2203).A multimedia device using a plurality of heterogeneous image sensors according to an embodiment of the present invention photographs a first image located in front of the multimedia device by using a first image sensor (S2201). Furthermore, depth data is extracted from the photographed first image (S2202), and face and pose information (eg, facial angle) of at least one or more users are detected using the extracted depth data (S2203). .

나아가, 제2이미지 센서를 이용하여, 상기 디텍트된 사용자의 얼굴에 대한 제2영상이 촬영되고(S2204), 상기 촬영된 제2영상으로부터 특징 정보가 추출된다(S2205).In addition, a second image of the detected user's face is photographed using a second image sensor (S2204), and feature information is extracted from the photographed second image (S2205).

그리고, 상기 제1이미지 센서를 통해 획득된 포즈 정보 그리고 상기 제2이미지 센서를 통해 획득된 특징 정보에 기초하여, 메모리에 저장된 특정 사용자를 식별하는 정보를 추출한다(S2206).Then, based on the pose information acquired through the first image sensor and the feature information obtained through the second image sensor, information identifying a specific user stored in the memory is extracted (S2206).

나아가, 상기 제1이미지 센서를 통해 획득된 depth data(예를 들어, 거리 정보, 위치 정보 등)를 이용하여, 상기 제2이미지 센서가 특정 영역을 줌인 하여 촬영하도록 설계된다. 따라서, 멀티미디어 디바이스 앞에 위치한 사용자의 얼굴 부분만을 정밀하게 촬영할 수 있는 효과가 있다.Furthermore, the second image sensor is designed to zoom in and capture a specific area by using depth data (eg, distance information, location information, etc.) acquired through the first image sensor. Therefore, only the face part of the user located in front of the multimedia device can be accurately photographed.

또한, 상기 특징 정보는, 예를 들어 촬영된 사용자 각각을 식별할 수 있는 안면 정보(facial information) 에 해당한다.In addition, the feature information corresponds to, for example, facial information capable of identifying each photographed user.

특히, 본 발명의 일실시예에 의하면, 안면에 대한 특징 정보 뿐만 아니라, 대응하는 포즈 정보도 동시에 이용하도록 설계되므로, 안면 인식 성능이 제고되고 사용자가 특정 포즈에 한정될 필요가 없는 효과가 있다.In particular, according to an embodiment of the present invention, since not only feature information about a face but also corresponding pose information is designed to be used at the same time, face recognition performance is improved and a user does not need to be limited to a specific pose.

도 25는 본 발명의 다른 일실시예에 따라, 도 24에 도시된 단계들에 부가할 수 있는 스텝들을 포함하는 플로우 차트이다. FIG. 25 is a flow chart including steps that may be added to the steps shown in FIG. 24, according to another embodiment of the present invention.

본 발명의 다른 일실시예에 의한 멀티미디어 디바이스는, 상기 특정 사용자의 포즈 정보 및 대응하는 특징 정보를 맵핑하여 상기 메모리에 저장한다(S23010). 예컨대, 상기 메모리는 도 18에 도시된 데이터 베이스를 포함하는 형태가 될 수도 있다.The multimedia device according to another embodiment of the present invention maps the pose information and the corresponding feature information of the specific user and stores it in the memory (S23010). For example, the memory may be in a form including a database shown in FIG. 18.

나아가, 상기 멀티미디어 디바이스는 상기 메모리에 저장된 포즈 정보 및 대응하는 특징 정보와, 상기 제1이미지 센서를 통해 획득된 포즈 정보 및 상기 제2이미지 센서를 통해 획득된 특징 정보 각각을 비교한다(S2302). 그리고, 상기 멀티미디어 디바이스는 비교 결과를 이용하여, 상기 특정 사용자를 시청자(viewer) 로 인식하도록 설계된다(S2303).Further, the multimedia device compares the pose information stored in the memory and the corresponding feature information with each of the pose information acquired through the first image sensor and the feature information obtained through the second image sensor (S2302). The multimedia device is designed to recognize the specific user as a viewer using the comparison result (S2303).

도 26은 본 발명의 또 다른 일실시예에 따라, 도 24에 도시된 단계들에 부가할 수 있는 스텝들을 포함하는 플로우 차트이다. FIG. 26 is a flow chart including steps that may be added to the steps shown in FIG. 24, according to another embodiment of the present invention.

본 발명의 또 다른 일실시예에 의한 멀티미디어 디바이스는, 상기 특정 사용자의 신체 정보 및 대응하는 특징 정보를 맵핑하여 상기 메모리에 저장한다(S2401). 예컨대, 상기 메모리는 도 23에 도시된 데이터 베이스를 포함하는 형태가 될 수도 있다.The multimedia device according to another embodiment of the present invention maps the body information and the corresponding characteristic information of the specific user and stores them in the memory (S2401). For example, the memory may be in a form including a database shown in FIG. 23.

나아가, 상기 멀티미디어 디바이스는 상기 메모리에 저장된 신체 정보 및 대응하는 특징 정보와, 상기 제1이미지 센서를 통해 획득된 신체 정보 및 상기 제2이미지 센서를 통해 획득된 특징 정보 각각을 비교한다(S2402). 그리고, 상기 멀티미디어 디바이스는 각각이 동일한 경우, 상기 특정 사용자를 시청자(viewer) 로 인식하도록 설계된다(S2403).Further, the multimedia device compares the body information and corresponding feature information stored in the memory with the body information obtained through the first image sensor and the feature information obtained through the second image sensor (S2402). In addition, the multimedia devices are designed to recognize the specific user as a viewer when they are the same (S2403).

특히, 도 26에 전술하여 설명한 본 발명의 또 다른 일실시예에 의하면, 안면에 대한 특징 정보 뿐만 아니라, 신체 정보도 동시에 이용하도록 설계되므로, 안면 인식 성능이 제고되고 얼굴이 유사한 가족 구성원들을 보다 완벽하게 식별할 수 있는 효과가 있다.Particularly, according to another embodiment of the present invention described above with reference to FIG. 26, it is designed to simultaneously use not only the feature information about the face but also the body information, so that the facial recognition performance is improved and the face members having similar faces are more perfect. It can be easily identified.

그리고, 도 27은 본 발명의 일실시예에 따라 복수개의 이종 이미지 센서를 이용하여 사용자를 인식하는 방법을, 각 디바이스(device) 별로 설명하기 위한 플로우 차트이다. FIG. 27 is a flowchart illustrating a method for recognizing a user using a plurality of heterogeneous image sensors, for each device, according to an exemplary embodiment.

제1이미지 센서(예컨대, depth 카메라)는, 멀티미디어 디바이스 정면에 위치한 적어도 하나 이상의 사용자에게 빛을 발산하는 이미터(emitter)를 이용하여 제1영상을 촬영하고, 상기 촬영된 제1영상으로부터 depth data 를 추출한다. 따라서, 적어도 하나의 사용자 검출 및 트래킹이 이루어 진다(S2501). 또한, 상기 제1이미지 센서는 상기 추출된 depth data 를 이용하여 상기 적어도 하나 의 사용자의 얼굴, 신체 정보 그리고 포즈 정보를 추출한다(S2503). 특히, 상기 얼굴이 위치하는 좌표에 대한 정보가 제2이미지 센서(예컨대, color 카메라)로 전송되어 사용된다.The first image sensor (eg, a depth camera) captures a first image by using an emitter that emits light to at least one user located in front of the multimedia device, and depth data from the captured first image. Extract Therefore, at least one user detection and tracking is performed (S2501). In addition, the first image sensor extracts face, body information and pose information of the at least one user using the extracted depth data (S2503). In particular, information about the coordinates at which the face is located is transmitted to and used by a second image sensor (eg, a color camera).

상기 제2이미지 센서는, 상기 디텍트된 사용자의 얼굴 영역을 클로즈 업하여 제2영상을 촬영한다(S2502). 또한, 상기 제2이미지 센서는, 상기 촬영된 제2영상으로부터 특징 정보를 추출한다(S2504).The second image sensor closes up the face area of the detected user and captures a second image (S2502). In addition, the second image sensor extracts feature information from the captured second image (S2504).

그리고, 상기 제1이미지 센서를 통해 획득된 신체 정보와 포즈 정보, 그리고 상기 제2이미지 센서를 통해 획득된 특징 정보는, USB 등의 인터페이스를 통해 멀티미디어 디바이스로 전송된다.The body information and pose information obtained through the first image sensor and the feature information obtained through the second image sensor are transmitted to the multimedia device through an interface such as a USB.

상기 멀티미디어 디바이스는, 얼굴 인식 관련 DB에 액세스(예를 들어, 도 18 또는 도 23)하고, 수신된 포즈 정보, 신체 정보에 대응하는 사용자를 써치 및 인증한다(S2505). 나아가, 상기 멀티미디어 디바이스는 인증이 이루어진 정보들을 상기 DB에 업데이트 한다(S2506). 다만, 상기 업데이트 동작(S2506)은, 상기 S2505 단계와 함께 백그라운드로 동작하도록 설계될 수도 있다.The multimedia device accesses a face recognition related DB (eg, FIG. 18 or FIG. 23), and searches and authenticates a user corresponding to the received pose information and body information (S2505). Furthermore, the multimedia device updates the authenticated information to the DB (S2506). However, the update operation S2506 may be designed to operate in the background with the step S2505.

그리고, 상기 멀티미디어 디바이스는 인증된 사용자에게 커스터마이즈된 서비스를 제공하도록 설계된다(S2507). 예컨대, 인증된 사용자가 기설정한 선호 채널로의 자동 튜닝이 이루어 질 수도 있고, 선호하는 어플리케이션이나 컨텐츠를 자동으로 실행시키는 것도 가능하다.The multimedia device is designed to provide a customized service to an authenticated user (S2507). For example, the user may automatically tune to a predetermined channel preset by an authenticated user, or may automatically execute a preferred application or content.

이와 같이 설계된 본 발명의 실시예들에 의하면, 3D depth 카메라와 2D color 카메라의 상호 보완을 통하여, 안면 인식의 성능, 데이터 처리 속도, 그리고 원거리 인식 면에서 모두 개선된 효과가 있다.According to the embodiments of the present invention designed as described above, through the complementary complement of the 3D depth camera and the 2D color camera, there are improved effects in terms of face recognition performance, data processing speed, and remote recognition.

그리고, 당해 명세서에서는 물건 발명과 방법 발명이 모두 설명되고 있으며, 필요에 따라 양발명의 설명은 보충적으로 적용될 수가 있다.In this specification, both the invention and the invention of the method are explained, and the description of the two inventions can be supplementarily applied as necessary.

본 발명에 따른 방법 발명은 모두 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다. Method invention according to the present invention are all implemented in the form of program instructions that can be executed by various computer means can be recorded on a computer readable medium. The computer readable medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded on the medium may be those specially designed and constructed for the present invention or may be available to those skilled in the art of computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks, such as floppy disks. Magneto-optical media, and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like. The hardware device described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. As described above, the present invention has been described by way of limited embodiments and drawings, but the present invention is not limited to the above embodiments, and those skilled in the art to which the present invention pertains various modifications and variations from such descriptions. This is possible.

그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다. Therefore, the scope of the present invention should not be limited to the described embodiments, but should be determined not only by the claims below but also by the equivalents of the claims.

400, 500 : 멀티미디어 디바이스
410, 510 : 인터페이스
420, 520 : 복수개의 이종 이미지 센서400, 500: multimedia device
410, 510: interface
420, 520: multiple heterogeneous image sensors

Claims (14)

복수개의 이종 이미지 센서를 이용하는 멀티미디어 디바이스의 제어 방법에 있어서,
제1이미지 센서를 이용하여, 상기 멀티미디어 디바이스의 주변에 위치한 제1영상을 촬영하는 단계;
상기 촬영된 제1영상으로부터 depth data 를 추출하는 단계;
상기 추출된 depth data 를 이용하여 적어도 하나 이상의 사용자의 얼굴 그리고 포즈 정보를 디텍트하는 단계;
제2이미지 센서를 이용하여, 상기 디텍트된 사용자의 얼굴에 대한 제2영상을 촬영하는 단계;
상기 촬영된 제2영상으로부터 특징 정보를 추출하는 단계; 그리고
상기 제1이미지 센서를 통해 획득된 포즈 정보 그리고 상기 제2이미지 센서를 통해 획득된 특징 정보에 기초하여, 메모리에 저장된 특정 사용자를 식별하는 정보를 추출하는 단계
를 포함하는 복수개의 이종 이미지 센서를 이용하는 멀티미디어 디바이스의 제어 방법.In the control method of a multimedia device using a plurality of heterogeneous image sensors,
Capturing a first image located around the multimedia device using a first image sensor;
Extracting depth data from the captured first image;
Detecting face and pose information of at least one user using the extracted depth data;
Capturing a second image of the detected user's face using a second image sensor;
Extracting feature information from the photographed second image; And
Extracting information for identifying a specific user stored in a memory based on the pose information acquired through the first image sensor and the feature information obtained through the second image sensor;
Control method of a multimedia device using a plurality of heterogeneous image sensor comprising a. 제1항에 있어서,
상기 특정 사용자의 포즈 정보 및 대응하는 특징 정보를 맵핑하여 상기 메모리에 저장하는 단계;
상기 메모리에 저장된 포즈 정보 및 대응하는 특징 정보와, 상기 제1이미지 센서를 통해 획득된 포즈 정보 및 상기 제2이미지 센서를 통해 획득된 특징 정보 각각을 비교하는 단계; 그리고
각각이 동일한 경우, 상기 특정 사용자를 시청자(viewer) 로 선택하는 단계
를 더 포함하는 복수개의 이종 이미지 센서를 이용하는 멀티미디어 디바이스의 제어 방법.The method of claim 1,
Mapping the pose information and the corresponding feature information of the specific user to the memory;
Comparing pose information stored in the memory and corresponding feature information with each of the pose information obtained through the first image sensor and the feature information obtained through the second image sensor; And
If each is the same, selecting the particular user as the viewer
Control method of a multimedia device using a plurality of heterogeneous image sensor further comprising. 제2항에 있어서,
상기 특정 사용자의 신체 정보 및 대응하는 특징 정보를 맵핑하여 상기 메모리에 저장하는 단계;
상기 메모리에 저장된 신체 정보 및 대응하는 특징 정보와, 상기 제1이미지 센서를 통해 획득된 신체 정보 및 상기 제2이미지 센서를 통해 획득된 특징 정보 각각을 비교하는 단계; 그리고
각각이 동일한 경우, 상기 특정 사용자를 시청자(viewer) 로 선택하는 단계
를 더 포함하는 복수개의 이종 이미지 센서를 이용하는 멀티미디어 디바이스의 제어 방법.The method of claim 2,
Mapping the body information and the corresponding characteristic information of the specific user to the memory;
Comparing the body information and the corresponding feature information stored in the memory with the body information obtained through the first image sensor and the feature information obtained through the second image sensor; And
If each is the same, selecting the particular user as the viewer
Control method of a multimedia device using a plurality of heterogeneous image sensor further comprising. 제2항에 있어서,
상기 제1이미지 센서를 통해 획득된 포즈 정보가 상기 메모리에 저장되어 있지 않은 경우, 상기 메모리에 저장된 포즈 정보에 해당하는 동작을 가이드 하는 메시지가 출력되도록 제어하는 단계
를 더 포함하는 복수개의 이종 이미지 센서를 이용하는 멀티미디어 디바이스의 제어 방법.The method of claim 2,
If the pose information acquired through the first image sensor is not stored in the memory, controlling to output a message guiding an operation corresponding to the pose information stored in the memory.
Control method of a multimedia device using a plurality of heterogeneous image sensor further comprising. 제1항에 있어서,
상기 디텍트는 단계는,
상기 사용자의 얼굴에 대한 위치 정보인 x, y, z 값들을 계산하는 단계 -상기 x는 상기 촬영된 제1영상에서 상기 얼굴의 가로축에 대한 위치, 상기 y는 상기 촬영된 제1영상에서 상기 얼굴의 세로축에 대한 위치, 그리고 상기 z는 상기 사용자의 얼굴과 제1이미지 센서 사이의 거리를 의미-
를 더 포함하는 복수개의 이종 이미지 센서를 이용하는 멀티미디어 디바이스의 제어 방법.The method of claim 1,
The detecting step,
Calculating x, y, and z values, which are location information of the user's face, wherein x is a position of a horizontal axis of the face in the first image of the face, and y is the face of the first image of the face Where z is the position along the longitudinal axis of the user's face and the distance between the first image sensor-
Control method of a multimedia device using a plurality of heterogeneous image sensor further comprising. 제5항에 있어서,
상기 제2영상을 촬영하는 단계는,
상기 계산된 x, y, z 값들에 기초하여, 상기 사용자의 얼굴에 대한 영역을 줌인하여 촬영하는 단계
를 더 포함하는 복수개의 이종 이미지 센서를 이용하는 멀티미디어 디바이스의 제어 방법.The method of claim 5,
Taking the second image,
Zooming in and photographing an area of the face of the user based on the calculated x, y, and z values
Control method of a multimedia device using a plurality of heterogeneous image sensor further comprising. 제1항에 있어서,
상기 제1이미지 센서는 depth camera에 대응하고, 상기 제2이미지 센서는 RGB camera에 대응하는
복수개의 이종 이미지 센서를 이용하는 멀티미디어 디바이스의 제어 방법.The method of claim 1,
The first image sensor corresponds to a depth camera, and the second image sensor corresponds to an RGB camera.
Control method of a multimedia device using a plurality of heterogeneous image sensors. 제1항에 있어서,
상기 제1이미지 센서 및 상기 제2이미지 센서는 상기 멀티미디어 디바이스에 임베디드 되거나 또는 상기 멀티미디어 디바이스의 외부에 위치한 모듈로 설계되어 있는
복수개의 이종 이미지 센서를 이용하는 멀티미디어 디바이스의 제어 방법.The method of claim 1,
The first image sensor and the second image sensor are designed as a module embedded in the multimedia device or located outside of the multimedia device.
Control method of a multimedia device using a plurality of heterogeneous image sensors. 적어도 하나 이상의 사용자를 인식하는 복수개의 이종 이미지 센서에 있어서,
멀티미디어 디바이스 주변에 위치한 적어도 하나 이상의 사용자에게 빛을 발산하는 이미터(emitter)를 이용하여, 제1영상을 촬영하고, 상기 촬영된 제1영상으로부터 depth data 를 추출하고, 상기 추출된 depth data 를 이용하여 상기 적어도 하나 이상의 사용자의 얼굴, 신체 정보 그리고 포즈 정보를 디텍트하는 제1이미지 센서;
상기 디텍트된 사용자의 얼굴에 대한 제2영상을 촬영하고, 상기 촬영된 제2영상으로부터 특징 정보를 추출하는 제2이미지 센서; 그리고
상기 제1이미지 센서를 통해 획득된 신체 정보와 포즈 정보, 그리고 상기 제2이미지 센서를 통해 획득된 특징 정보를, 상기 멀티미디어 디바이스에 전송하는 인터페이스
를 포함하는 적어도 하나 이상의 사용자를 인식하는 복수개의 이종 이미지 센서.In the plurality of heterogeneous image sensor to recognize at least one or more users,
The first image is photographed using an emitter that emits light to at least one user located near the multimedia device, the depth data is extracted from the photographed first image, and the extracted depth data is used. A first image sensor to detect face, body information, and pose information of the at least one user;
A second image sensor which photographs a second image of the detected user's face and extracts feature information from the photographed second image; And
An interface for transmitting body information and pose information obtained through the first image sensor and feature information obtained through the second image sensor to the multimedia device.
A plurality of heterogeneous image sensors for recognizing at least one user including a. 제9항에 있어서,
상기 이미터는 IR(Infra Red) 이미터에 대응하는
적어도 하나 이상의 사용자를 인식하는 복수개의 이종 이미지 센서.10. The method of claim 9,
The emitter corresponds to an infrared red (IR) emitter
A plurality of heterogeneous image sensors for recognizing at least one user. 제9항에 있어서,
상기 제1이미지 센서는 depth camera에 대응하고, 상기 제2이미지 센서는 RGB camera에 대응하는
적어도 하나 이상의 사용자를 인식하는 복수개의 이종 이미지 센서.10. The method of claim 9,
The first image sensor corresponds to a depth camera, and the second image sensor corresponds to an RGB camera.
A plurality of heterogeneous image sensors for recognizing at least one user. 제11항에 있어서,
상기 이미터는 코드화된 패턴 영상을 상기 사용자에게 연속적으로 투영하고,
상기 depth camera 는, 상기 사용자에 의해 투영된 영상의 패턴이 왜곡된 정도를 이용하여, 상기 사용자의 위치를 추정하는
적어도 하나 이상의 사용자를 인식하는 복수개의 이종 이미지 센서.The method of claim 11,
The emitter continuously projects a coded pattern image to the user,
The depth camera estimates the position of the user by using a degree of distortion of the pattern of the image projected by the user.
A plurality of heterogeneous image sensors for recognizing at least one user. 제11항에 있어서,
상기 depth camera 는,
상기 이미터에 의해 발산된 light 와 상기 사용자에 의해 투영된(reflected) light 간의 시간 차이를 이용하여, 상기 사용자의 위치를 추정하는
적어도 하나 이상의 사용자를 인식하는 복수개의 이종 이미지 센서.The method of claim 11,
The depth camera is,
Estimating the location of the user using the time difference between the light emitted by the emitter and the light reflected by the user
A plurality of heterogeneous image sensors for recognizing at least one user. 제9항에 있어서,
상기 신체 정보는,
상기 제1이미지 센서를 통해 촬영된 상기 사용자의 팔 길이, 어깨 넓이, 키 또는 얼굴 사이즈 중 적어도 하나 이상을 포함하는
적어도 하나 이상의 사용자를 인식하는 복수개의 이종 이미지 센서.10. The method of claim 9,
The body information,
At least one of the arm length, shoulder width, height or face size of the user taken by the first image sensor
A plurality of heterogeneous image sensors for recognizing at least one user.
KR1020100111954A 2010-11-11 2010-11-11 Multimedia device, multiple image sensors having different types and the method for controlling the same KR101629324B1 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020100111954A KR101629324B1 (en) 2010-11-11 2010-11-11 Multimedia device, multiple image sensors having different types and the method for controlling the same
EP11151785.0A EP2453386B1 (en) 2010-11-11 2011-01-24 Multimedia device, multiple image sensors having different types and method for controlling the same
US13/028,958 US9025023B2 (en) 2010-11-11 2011-02-16 Method for processing image data in television having multiple image sensors and the television for controlling the same
CN201110082644.6A CN102467661B (en) 2010-11-11 2011-04-01 Multimedia device and method for controlling the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100111954A KR101629324B1 (en) 2010-11-11 2010-11-11 Multimedia device, multiple image sensors having different types and the method for controlling the same

Publications (2)

Publication Number Publication Date
KR20120050616A true KR20120050616A (en) 2012-05-21
KR101629324B1 KR101629324B1 (en) 2016-06-10

Family

ID=46267982

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100111954A KR101629324B1 (en) 2010-11-11 2010-11-11 Multimedia device, multiple image sensors having different types and the method for controlling the same

Country Status (1)

Country Link
KR (1) KR101629324B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11082614B2 (en) 2016-11-21 2021-08-03 Samsung Electronics Co., Ltd. Display apparatus configured to display an image harmonized with an installation space, and an associated system and recording medium

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10528799B2 (en) 2016-12-23 2020-01-07 Samsung Electronics Co., Ltd. Electronic apparatus and operation method thereof

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010029936A (en) * 1999-09-14 2001-04-16 니시무로 타이죠 Apparatus for Photographing a Face Image and Method Therefor
KR20070005616A (en) * 2004-03-18 2007-01-10 소니 일렉트로닉스 인코포레이티드 Three dimensional acquisition and visualization system for personal electronic devices
US20090138805A1 (en) * 2007-11-21 2009-05-28 Gesturetek, Inc. Media preferences
KR20090084035A (en) * 2008-01-31 2009-08-05 홍익대학교 산학협력단 A real time motion recognizing method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010029936A (en) * 1999-09-14 2001-04-16 니시무로 타이죠 Apparatus for Photographing a Face Image and Method Therefor
KR20070005616A (en) * 2004-03-18 2007-01-10 소니 일렉트로닉스 인코포레이티드 Three dimensional acquisition and visualization system for personal electronic devices
US20090138805A1 (en) * 2007-11-21 2009-05-28 Gesturetek, Inc. Media preferences
KR20090084035A (en) * 2008-01-31 2009-08-05 홍익대학교 산학협력단 A real time motion recognizing method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11082614B2 (en) 2016-11-21 2021-08-03 Samsung Electronics Co., Ltd. Display apparatus configured to display an image harmonized with an installation space, and an associated system and recording medium

Also Published As

Publication number Publication date
KR101629324B1 (en) 2016-06-10

Similar Documents

Publication Publication Date Title
US9025023B2 (en) Method for processing image data in television having multiple image sensors and the television for controlling the same
US8577092B2 (en) Multimedia device, multiple image sensors having different types and method for controlling the same
KR101731346B1 (en) Method for providing display image in multimedia device and thereof
EP2453384B1 (en) Method and apparatus for performing gesture recognition using object in multimedia device
KR102504459B1 (en) Special effect processing method and apparatus for live broadcasting, and server
KR20120051212A (en) Method for user gesture recognition in multimedia device and multimedia device thereof
US20190364336A1 (en) Method and apparatus for augmenting media content
US8745258B2 (en) Method, apparatus and system for presenting content on a viewing device
KR101772456B1 (en) Multimedia device, multiple image sensors having different types and the method for controlling the same
KR101758271B1 (en) Method for recognizing user gesture in multimedia device and multimedia device thereof
KR101819499B1 (en) Multimedia device, multiple image sensors having different types and the method for controlling the same
US20150172634A1 (en) Dynamic POV Composite 3D Video System
KR20150112708A (en) Display device and operating method thereof
KR101741550B1 (en) Method and apparatus for providing optimized viewing conditions in multimedia device
KR101629324B1 (en) Multimedia device, multiple image sensors having different types and the method for controlling the same
KR20120050614A (en) Multimedia device, multiple image sensors having different types and the method for controlling the same
KR20120074484A (en) Multimedia device for processing data by using image sensor and the method for controlling the same
KR101759936B1 (en) Multimedia device using multiple image sensors having different types and method for controlling the same
KR20120051213A (en) Method for image photographing of multimedia device and multimedia device thereof
KR102574730B1 (en) Method of providing augmented reality TV screen and remote control using AR glass, and apparatus and system therefor
KR20150064597A (en) Video display device and operating method thereof
KR20130076976A (en) Broadcasting receiver and controlling method thereof

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190514

Year of fee payment: 4