KR20220057438A - Tracking method for subject face displayed on display area of smart device - Google Patents

Tracking method for subject face displayed on display area of smart device Download PDF

Info

Publication number
KR20220057438A
KR20220057438A KR1020210141570A KR20210141570A KR20220057438A KR 20220057438 A KR20220057438 A KR 20220057438A KR 1020210141570 A KR1020210141570 A KR 1020210141570A KR 20210141570 A KR20210141570 A KR 20210141570A KR 20220057438 A KR20220057438 A KR 20220057438A
Authority
KR
South Korea
Prior art keywords
smart device
face
subject
display area
image data
Prior art date
Application number
KR1020210141570A
Other languages
Korean (ko)
Inventor
구승엽
원보규
Original Assignee
주식회사 원더풀플랫폼
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 원더풀플랫폼 filed Critical 주식회사 원더풀플랫폼
Priority to PCT/KR2021/015060 priority Critical patent/WO2022092746A1/en
Publication of KR20220057438A publication Critical patent/KR20220057438A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems

Abstract

The present invention relates to a method for tracking the face of a subject displayed on a display area of a smart device. According to an embodiment of the present invention, when a first application installed on a smart device uses a photographing unit of the smart device to photograph the face of a subject and generate image data including information on the face, a second application installed on the smart device sets a display area where the image data are displayed among a display unit where screen display data including the image data are displayed and analyzes the face information included in the image data to transmit an operation control signal for adjusting a position of the face of the subject displayed on the display area in the display unit of the smart device to a holder for the smart device, thereby controlling operation of the holder for the smart device such that the face of the subject is positioned at a predetermined reference position of the display area in the display unit for the smart device.

Description

스마트기기의 디스플레이 영역에 표시된 피사체의 안면 트래킹 방법{TRACKING METHOD FOR SUBJECT FACE DISPLAYED ON DISPLAY AREA OF SMART DEVICE}How to track the face of a subject displayed on the display area of a smart device {TRACKING METHOD FOR SUBJECT FACE DISPLAYED ON DISPLAY AREA OF SMART DEVICE}

본 발명은 스마트기기의 디스플레이 영역에 표시된 피사체의 안면 트래킹 방법에 관한 것이다.The present invention relates to a face tracking method of a subject displayed on a display area of a smart device.

일반적으로 화상 회의 시스템은 회의 참석자가 원거리에 있어도 화면을 통해 회의를 진행할 수 있도록 구현된 시스템이다.In general, a video conferencing system is a system implemented so that a meeting can be conducted through a screen even if a meeting participant is far away.

이러한 종래 화상 회의 시스템의 경우, 회의자는 카메라 앞에 위치하여야만 회면을 통해 원거리에 있는 상대방 회의자에게 자신의 모습을 보여줄 수 있었다.In the case of such a conventional video conferencing system, the conference person was able to show himself/herself to the other conference party through a video conference only when they were located in front of the camera.

즉, 종래의 화상 회의 시스템은 화상 회의시 회의자가 반드시 카메라 앞에 위치하여야만 하므로 회의자의 이동이 불가능한 문제점이 있다.That is, the conventional video conferencing system has a problem in that the conference person cannot move because the conference person must be located in front of the camera during the video conference.

또한, 스마트폰 등 휴대용 단말기를 휴대용 단말기 거치대에 거치한 상태로 화상 회의를 진행하는 경우, 회의자의 위치가 이동되면 휴대용 단말기의 디스플레이에 회의자가 표시되지 않아, 화상 회의 진행에 불편함이 초래되는 문제점이 있다.In addition, when a video conference is conducted while a portable terminal such as a smartphone is mounted on a portable terminal cradle, if the location of the conference person is moved, the conference person is not displayed on the display of the portable terminal, causing inconvenience in video conference progress. There is this.

한편, 종래 화상 회의 시스템에서 회의자를 추적하는 기술과 관련, 한국등록특허 제10-0220836호에 화상 회의시 하나 또는 그 이상의 회의자 영상에 해당하는 모델 영상 신호를 입력으로 추출된 경계 화소를 이용하여 각각의 모델 얼굴에 해당하는 폐곡선을 추출하여 모델 얼굴을 인식하는 모델 처리 단계(100 내지 105); 상기 인식된 하나 또는 그 이상의 모델 영상 신호 중에서 하나를 선택하는 모델 선택 단계(201); 카메라를 통해 입력되는 회의자 영상 신호를 입력으로 추출된 경계 화소를 이용하여 회의자 얼굴에 해당하는 폐곡선을 추출하여 회의자 얼굴을 인식하는 회의자 영상 처리 단계(202 내지 206); 상기 선택된 모델 얼굴의 폐곡선과 상기 인식된 회의자 얼굴의 폐곡선을 정합시키는 정합 단계(207); 상기 정합된 회의자를 추적하여 카메라를 이동시키는 회의자 추적 단계(208), 및 상기 인식된 하나 또는 그 이상의 모델 영상 신호 중에서 다른 하나를 선택하는 경우 정합 단계(207)로 진행하는 모델 변경 단계(210)에 의해 수행됨을 특징으로 하는 화상 회의 시스템의 회의자 추적 방법이 기술되어 있다.On the other hand, in relation to the technology of tracking a conference person in a conventional video conferencing system, Korean Patent Registration No. 10-0220836 uses boundary pixels extracted from model image signals corresponding to one or more conference images during video conference as input. Model processing steps (100 to 105) of recognizing a model face by extracting a closed curve corresponding to each model face; a model selection step (201) of selecting one of the recognized one or more model image signals; conference image processing steps (202 to 206) of recognizing the conference person's face by extracting a closed curve corresponding to the conference person's face by using the boundary pixel extracted from the conference video signal input through the camera; a matching step (207) of matching the closed curve of the selected model face and the recognized closed curve of the face of the skeptic; The conference participant tracking step 208 of tracking the matched conference person and moving the camera, and the model changing step 210 proceeding to the matching step 207 when another one of the recognized one or more model video signals is selected ), a method for tracking conference participants in a video conferencing system, characterized in that it is performed by

이에 본 발명은 전술한 배경에서 안출된 것으로, 스마트기기에 설치된 제1어플리케이션이 스마트기기의 촬영부를 이용하여 피사체의 안면을 촬영하고 안면정보를 포함하는 영상데이터를 생성하는 경우, 스마트기기에 설치된 제2어플리케이션이 영상데이터를 포함하는 화면표시데이터가 표시되는 디스플레이부 중 영상데이터가 표시되는 표시영역을 설정하고 영상데이터에 포함된 안면정보를 분석하여, 스마트기기의 디스플레이부 중 표시영역에 표시되는 피사체의 안면의 위치를 조정하기 위한 작동제어신호를 스마트기기 거치장치에 전송함으로써, 피사체의 안면이 스마트기기의 디스플레이부의 표시영역의 기설정된 기준위치에 오도록 스마트기기 거치장치의 동작을 제어하는 스마트기기의 디스플레이 영역에 표시된 피사체의 안면 트래킹 방법을 제공하는데 그 목적이 있다.Accordingly, the present invention has been devised in the background described above, and when a first application installed on a smart device captures the face of a subject using the photographing unit of the smart device and generates image data including facial information, the first application installed on the smart device 2The application sets the display area in which the image data is displayed among the display unit where the screen display data including the image data is displayed, and analyzes the facial information included in the image data, and the subject displayed in the display area of the display unit of the smart device By transmitting an operation control signal for adjusting the position of the face of the smart device to the smart device holder, the smart device that controls the operation of the smart device holder so that the face of the subject comes to the preset reference position of the display area of the display unit of the smart device An object of the present invention is to provide a face tracking method of a subject displayed on a display area.

본 발명의 목적은 여기에 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The object of the present invention is not limited thereto, and other objects not mentioned will be clearly understood by those skilled in the art from the following description.

이러한 목적을 달성하기 위하여 본 발명의 일실시예는 스마트기기 거치장치와 연동하는 스마트기기가 피사체의 안면을 촬영하여 생성한 영상데이터를 기반으로, 상기 스마트기기가 상기 스마트기기 거치장치의 움직임을 제어하여 상기 피사체의 안면을 트래킹하는 방법에 있어서, (a) 상기 스마트기기에 설치된 제1어플리케이션이, 상기 스마트기기의 촬영부를 이용하여 상기 피사체의 안면을 촬영하고 안면정보를 포함하는 상기 영상데이터를 생성하는 단계; (b) 상기 스마트기기에 설치된 제2어플리케이션이, 상기 영상데이터를 포함하는 화면표시데이터가 표시되는 상기 스마트기기의 디스플레이부 중 상기 영상데이터가 표시되는 표시영역을 설정하는 단계; (c) 상기 제2어플리케이션이, 상기 영상데이터를 이용하여, 상기 영상데이터에 포함된 상기 안면정보를 분석하는 단계; (d) 상기 제2어플리케이션이, 상기 안면정보를 분석한 결과, 상기 피사체의 안면이 상기 디스플레이부 중 상기 표시영역에서 기설정된 기준위치에 있지 않은 경우, 상기 제2어플리케이션이 상기 스마트기기 거치장치의 작동제어신호를 생성하는 단계; 및 (e) 상기 스마트기기 거치장치가, 상기 스마트기기로부터 상기 작동제어신호를 전송받아, 상기 스마트기기의 위치를 조정하도록 동작하는 단계; 를 포함하는 것을 특징으로 하는 스마트기기의 디스플레이 영역에 표시된 피사체의 안면 트래킹 방법을 제공한다.In order to achieve this object, in one embodiment of the present invention, the smart device controls the movement of the smart device holding device based on the image data generated by the smart device interlocking with the smart device holding device taking the face of the subject. In the method of tracking the face of the subject, (a) a first application installed in the smart device uses the photographing unit of the smart device to capture the face of the subject and generate the image data including face information to do; (b) setting, by a second application installed in the smart device, a display area in which the image data is displayed among the display unit of the smart device in which screen display data including the image data is displayed; (c) analyzing, by the second application, the facial information included in the image data by using the image data; (d) as a result of analyzing the face information by the second application, when the face of the subject is not in a preset reference position in the display area of the display unit, the second application is installed in the smart device holding device generating an operation control signal; And (e) the smart device holding device, receiving the operation control signal from the smart device, operating to adjust the position of the smart device; It provides a face tracking method of the subject displayed on the display area of the smart device, characterized in that it comprises a.

본 발명의 일실시예에 의하면, 스마트기기에 설치된 제1어플리케이션이 스마트기기의 촬영부를 이용하여 피사체의 안면을 촬영하고 안면정보를 포함하는 영상데이터를 생성하는 경우, 스마트기기에 설치된 제2어플리케이션이 영상데이터를 포함하는 화면표시데이터가 표시되는 디스플레이부 중 영상데이터가 표시되는 표시영역을 설정하고 영상데이터에 포함된 안면정보를 분석하여, 스마트기기의 디스플레이부 중 표시영역에 표시되는 피사체의 안면의 위치를 조정하기 위한 작동제어신호를 스마트기기 거치장치에 전송함으로써, 피사체의 안면이 스마트기기의 디스플레이부의 표시영역의 기설정된 기준위치에 오도록 스마트기기 거치장치의 동작을 제어하는 효과가 있다.According to an embodiment of the present invention, when the first application installed on the smart device takes a picture of the face of the subject using the photographing unit of the smart device and generates image data including facial information, the second application installed on the smart device is Set a display area in which image data is displayed among the display units in which screen display data including image data is displayed, and analyze facial information included in the image data, By transmitting the operation control signal for adjusting the position to the smart device holder, there is an effect of controlling the operation of the smart device holder so that the face of the subject comes to a preset reference position of the display area of the display unit of the smart device.

도 1은 본 발명의 일실시예에 따른 스마트기기의 디스플레이 영역에 표시된 피사체의 안면 트래킹 방법을 나타낸 순서도이다.
도 2는 본 발명의 일실시예에 따른 스마트기기의 디스플레이 영역에 표시된 피사체의 안면 트래킹 방법을 나타낸 개념도이다.
도 3은 (b) 단계에서 제2어플리케이션이 영상데이터를 포함하는 화면표시데이터가 표시되는 스마트기기의 디스플레이부 중 표시영역을 설정하는 예를 나타낸 도면이다.
도 4는 스마트기기 거치장치에 스마트기기가 거치된 상태를 나타낸 사시도이다.
도 5는 도 4의 단면도이다.
도 6은 디스플레이부에 피사체의 영상데이터와 화상회의의 다른 참여자들을 나타내는 표시데이터가 표시된 예를 나타낸 도면이다.
도 7은 피사체의 안면의 안면기준위치와 디스플레이부의 표시영역의 기준위치 사이에 오프셋이 존재하는 예를 나타낸 도면이다.
도 8은 도 7에서 오프셋이 상쇄되어 피사체의 안면의 안면기준위치와 디스플레이부의 표시영역의 기준위치가 일치된 예를 나타낸 도면이다.1 is a flowchart illustrating a face tracking method of a subject displayed on a display area of a smart device according to an embodiment of the present invention.
2 is a conceptual diagram illustrating a face tracking method of a subject displayed on a display area of a smart device according to an embodiment of the present invention.
3 is a diagram illustrating an example in which the second application sets the display area of the display unit of the smart device on which screen display data including image data is displayed in step (b).
4 is a perspective view showing a state in which the smart device is mounted on the smart device holder.
FIG. 5 is a cross-sectional view of FIG. 4 .
6 is a diagram illustrating an example in which image data of a subject and display data representing other participants of a video conference are displayed on the display unit.
7 is a diagram illustrating an example in which an offset exists between a reference position of a face of a subject's face and a reference position of a display area of the display unit.
FIG. 8 is a view showing an example in which the offset is canceled in FIG. 7 and the facial reference position of the subject's face matches the reference position of the display area of the display unit.

이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.Hereinafter, some embodiments of the present invention will be described in detail with reference to exemplary drawings. In adding reference numerals to the components of each drawing, it should be noted that the same components are given the same reference numerals as much as possible even though they are indicated on different drawings. In addition, in describing the present invention, if it is determined that a detailed description of a related known configuration or function may obscure the gist of the present invention, the detailed description thereof will be omitted.

또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.In addition, in describing the components of the present invention, terms such as first, second, A, B, (a), (b), etc. may be used. These terms are only for distinguishing the elements from other elements, and the essence, order, or order of the elements are not limited by the terms. When it is described that a component is “connected”, “coupled” or “connected” to another component, the component may be directly connected or connected to the other component, but another component is formed between each component. It should be understood that elements may also be “connected,” “coupled,” or “connected.”

도 1은 본 발명의 일실시예에 따른 스마트기기의 디스플레이 영역에 표시된 피사체의 안면 트래킹 방법을 나타낸 순서도이다. 도 2는 본 발명의 일실시예에 따른 스마트기기의 디스플레이 영역에 표시된 피사체의 안면 트래킹 방법을 나타낸 개념도이다. 도 3은 (b) 단계에서 제2어플리케이션이 영상데이터를 포함하는 화면표시데이터가 표시되는 스마트기기의 디스플레이부 중 표시영역을 설정하는 예를 나타낸 도면이다. 도 4는 스마트기기 거치장치에 스마트기기가 거치된 상태를 나타낸 사시도이다. 도 5는 도 4의 단면도이다. 도 6은 디스플레이부에 피사체의 영상데이터와 화상회의의 다른 참여자들을 나타내는 표시데이터가 표시된 예를 나타낸 도면이다. 도 7은 피사체의 안면의 안면기준위치와 디스플레이부의 표시영역의 기준위치 사이에 오프셋이 존재하는 예를 나타낸 도면이다. 도 8은 도 7에서 오프셋이 상쇄되어 피사체의 안면의 안면기준위치와 디스플레이부의 표시영역의 기준위치가 일치된 예를 나타낸 도면이다.1 is a flowchart illustrating a face tracking method of a subject displayed on a display area of a smart device according to an embodiment of the present invention. 2 is a conceptual diagram illustrating a face tracking method of a subject displayed on a display area of a smart device according to an embodiment of the present invention. 3 is a diagram illustrating an example in which the second application sets the display area of the display unit of the smart device on which screen display data including image data is displayed in step (b). 4 is a perspective view showing a state in which the smart device is mounted on the smart device holder. FIG. 5 is a cross-sectional view of FIG. 4 . 6 is a diagram illustrating an example in which image data of a subject and display data representing other participants of a video conference are displayed on the display unit. 7 is a diagram illustrating an example in which an offset exists between a reference position of a face of a subject's face and a reference position of a display area of the display unit. FIG. 8 is a view showing an example in which the offset is canceled in FIG. 7 and the facial reference position of the subject's face coincides with the reference position of the display area of the display unit.

이들 도면들에 도시된 바와 같이, 본 발명의 일실시예에 의하면, 스마트기기 거치장치(301)와 연동하는 스마트기기(303)가 피사체의 안면을 촬영하여 생성한 영상데이터를 기반으로, 스마트기기(303)가 스마트기기 거치장치(301)의 움직임을 제어하여 피사체의 안면을 트래킹하는 방법에 있어서, (a) 스마트기기(303)에 설치된 제1어플리케이션이, 스마트기기(303)의 촬영부(305)를 이용하여 피사체의 안면을 촬영하고 안면정보를 포함하는 영상데이터를 생성하는 단계; (b) 스마트기기(303)에 설치된 제2어플리케이션이, 영상데이터를 포함하는 화면표시데이터가 표시되는 스마트기기(303)의 디스플레이부(307) 중 영상데이터가 표시되는 표시영역(S)을 설정하는 단계; (c) 제2어플리케이션이, 영상데이터를 이용하여, 영상데이터에 포함된 안면정보를 분석하는 단계; (d) 제2어플리케이션이, 안면정보를 분석한 결과, 피사체의 안면이 디스플레이부 중 표시영역(S)에서 기설정된 기준위치(P)에 있지 않은 경우, 제2어플리케이션이 스마트기기 거치장치(301)의 작동제어신호를 생성하는 단계; 및 (e) 스마트기기 거치장치(301)가, 스마트기기(303)로부터 작동제어신호를 전송받아, 스마트기기(303)의 위치를 조정하도록 동작하는 단계;를 포함하는 것을 특징으로 한다.As shown in these figures, according to an embodiment of the present invention, the smart device 303 interlocking with the smart device holding device 301 based on the image data generated by photographing the face of the subject, the smart device In the method of (303) tracking the face of a subject by controlling the movement of the smart device holder 301, (a) the first application installed in the smart device 303, the smart device 303 photographing unit ( 305), photographing the subject's face and generating image data including face information; (b) the second application installed in the smart device 303 sets the display area S in which the image data is displayed among the display unit 307 of the smart device 303 in which the screen display data including the image data is displayed to do; (c) analyzing, by the second application, facial information included in the image data by using the image data; (d) the second application, as a result of analyzing the facial information, when the face of the subject is not in the preset reference position (P) in the display area (S) of the display unit, the second application is the smart device holder 301 ) generating an operation control signal of; And (e) the smart device holding device 301, receiving the operation control signal from the smart device 303, the step of operating to adjust the position of the smart device (303); characterized in that it comprises a.

이하, 각 단계별로 설명한다.Hereinafter, each step will be described.

(a) 단계는, 스마트기기(303)에 설치된 제1어플리케이션이, 스마트기기(303)의 촬영부(305)를 이용하여 피사체의 안면을 촬영하고 안면정보를 포함하는 영상데이터를 생성하는 단계이다.Step (a) is a step in which the first application installed in the smart device 303 captures the face of the subject using the photographing unit 305 of the smart device 303 and generates image data including the face information. .

스마트기기(303)는 일예로 스마트폰, 태블릿 등 촬영부(305)와 디스플레이부(307)를 포함하는 단말기가 될 수 있다.The smart device 303 may be, for example, a terminal including a photographing unit 305 and a display unit 307 such as a smart phone or a tablet.

또한, 스마트기기(303)는, 스마트기기 거치장치(301)와 유무선 통신을 위한 통신모듈을 갖는다.In addition, the smart device 303 has a communication module for wired/wireless communication with the smart device holder 301 .

물론, 스마트기기(303)는, 마이크와 스피커를 가질 수 있다.Of course, the smart device 303 may have a microphone and a speaker.

제1어플리케이션은 스마트기기(303)에 설치된다.The first application is installed on the smart device (303).

제1어플리케이션은 일예로 화상 회의 어플리케이션이다.The first application is, for example, a video conferencing application.

제1어플리케이션은, 스마트기기(303)의 촬영부(305)를 이용하여 피사체(화상회의에 참석하고 있는 회의자)의 안면을 촬영하고 안면정보를 포함하는 영상데이터를 생성한다.The first application uses the photographing unit 305 of the smart device 303 to photograph the face of a subject (a conference participant attending a video conference) and generates image data including facial information.

여기서, 피사체(사용자)의 안면정보는 일예로, 사용자의 눈썹 위치, 사용자의 눈 위치, 사용자의 콧등 위치 등을 포함할 수 있다.Here, the facial information of the subject (user) may include, for example, the user's eyebrow position, the user's eye position, and the user's nose bridge position.

이어서, (b) 단계는, 스마트기기(303)에 설치된 제2어플리케이션이, 영상데이터를 포함하는 화면표시데이터가 표시되는 스마트기기(303)의 디스플레이부(307) 중 영상데이터가 표시되는 표시영역(S)을 설정하는 단계이다.Next, in step (b), the second application installed in the smart device 303 displays the image data in the display area of the display unit 307 of the smart device 303 on which screen display data including image data is displayed. (S) is the setting step.

제2어플리케이션은, 스마트기기(303)에 설치된다.The second application is installed on the smart device 303 .

제2어플리케이션은, 일예로 피사체(사용자, 화상회의에 참석하고 있는 회의자)의 안면을 트래킹하는 어플리케이션이다.The second application is, for example, an application that tracks the face of a subject (user, conference participant attending a video conference).

제2어플리케이션은, 영상데이터를 포함하는 화면표시데이터가 표시되는 스마트기기(303)의 디스플레이부(307) 중 영상데이터가 표시되는 표시영역(S)을 설정한다.The second application sets a display area (S) in which image data is displayed among the display unit 307 of the smart device 303 on which screen display data including image data is displayed.

여기서, 화면표시데이터는 여러명이 참여하는 화상회의시, 도 6에 도시된 바와 같이, 디스플레이부(307)의 'A1' 영역에 표시되는 영상데이터(피사체(화상회의에 참석하고 있는 회의자, 사용자)), 'A2' 영역 및 'A3' 영역에 표시되는 다른 참여자를 나타내는 표시데이터를 포함할 수 있다.Here, the screen display data is image data (subject (a conference participant attending a video conference, a user) displayed on the 'A1' area of the display unit 307 as shown in FIG. )), display data indicating other participants displayed in the 'A2' area and the 'A3' area may be included.

한편, 제2어플리케이션은, 피사체(화상회의에 참석하고 있는 회의자, 사용자)가 디스플레이부(307)를 터치하여 입력하는 터치입력신호 또는 드래그입력신호를 인가받아 표시영역(S)을 설정할 수 있다.On the other hand, the second application may set the display area S by receiving a touch input signal or a drag input signal input by a subject (a conference person attending a video conference, a user) by touching the display unit 307 . .

또한, 제2어플리케이션은, 인공지능이 영상데이터를 분석하여 피사체(화상회의에 참석하고 있는 회의자, 사용자)의 안면을 인식한 디스플레이부(307)의 일정 영역을 표시영역(S)으로 설정할 수도 있다.In addition, the second application may set a certain area of the display unit 307 in which the artificial intelligence analyzes the image data and recognizes the face of the subject (a conference person attending a video conference, a user) as the display area (S). there is.

이어서, (c) 단계는, 제2어플리케이션이, 영상데이터를 이용하여, 영상데이터에 포함된 안면정보를 분석하는 단계이다.Next, step (c) is a step in which the second application analyzes facial information included in the image data using the image data.

좀 더 구체적으로, 피사체(화상회의에 참석하고 있는 회의자, 사용자)의 안면을 트래킹하는 어플리케이션인 제2어플리케이션은 영상데이터를 이용하여 영상데이터에 포함된 피사체(화상회의에 참석하고 있는 회의자, 사용자)의 안면정보를 분석하게 된다.More specifically, the second application, which is an application for tracking the face of a subject (a conference person attending a video conference, a user), uses the video data to determine the subject included in the video data (a conference person attending a video conference, The user's facial information is analyzed.

이어서, (d) 단계는, 제2어플리케이션이, 안면정보를 분석한 결과, 피사체의 안면이 디스플레이부 중 표시영역(S)에서 기설정된 기준위치(P)에 있지 않은 경우, 제2어플리케이션이 스마트기기 거치장치(301)의 작동제어신호를 생성하는 단계이다.Subsequently, in step (d), as a result of analyzing the facial information by the second application, when the face of the subject is not in the preset reference position P in the display area S of the display unit, the second application is smart It is a step of generating an operation control signal of the device holding device (301).

좀 더 구체적으로, (d) 단계에서 제2어플리케이션은, 피사체의 안면의 기설정된 안면기준위치(L)와 디스플레이부(307)의 표시영역(S)의 기설정된 기준위치(P) 사이에 오프셋(Offset)이 있는 경우, 오프셋을 상쇄하기 위한 작동제어신호를 생성한다.More specifically, in step (d), the second application is an offset between a preset reference position (L) of the face of the subject and a preset reference position (P) of the display area (S) of the display unit 307 . If there is (Offset), an operation control signal to cancel the offset is generated.

한편, 일예로, 안면기준위치(L)는, 피사체의 안면의 미간(양 눈썹 사이)과 콧등을 잇는 가상선으로 설정될 수 있다.Meanwhile, as an example, the facial reference position L may be set as a virtual line connecting the forehead (between the eyebrows) and the bridge of the nose of the subject's face.

그리고 디스플레이부(307)의 표시영역(S)의 기설정된 기준위치(P)는, 디스플레이부(307)의 표시영역(S)의 중앙을 상하로 가로지르는 가상선으로 설정될 수 있다.In addition, the preset reference position P of the display area S of the display unit 307 may be set as a virtual line vertically crossing the center of the display area S of the display unit 307 .

또한, 일예로, 안면기준위치(L)는, 피사체의 안면의 미간(양 눈썹 사이)과 콧등을 잇는 가상선과 피사체의 안면의 양 눈동자 중앙을 잇는 가상선이 만나는 교차점(X)으로 설정될 수 있으며, 디스플레이부(307)의 표시영역(S)의 기설정된 기준위치(P)는, 디스플레이부(307)의 표시영역(S)의 중앙을 상하로 가로지르는 가상선과 표시영역(S)을 좌우로 가로지르는 가상선이 만나는 교차점(Y)으로 설정될 수 있다.Also, as an example, the facial reference position (L) may be set as the intersection point (X) where the virtual line connecting the forehead (between the eyebrows) and the bridge of the nose of the subject's face and the virtual line connecting the center of both pupils of the subject's face meet. In addition, the preset reference position P of the display area S of the display unit 307 includes a virtual line crossing the center of the display area S of the display unit 307 up and down and left and right of the display area S. It can be set as the intersection (Y) where the imaginary line intersects with .

이어서, (e) 단계는, 스마트기기 거치장치(301)가, 스마트기기(303)로부터 작동제어신호를 전송받아, 스마트기기(303)의 위치를 조정하도록 동작하는 단계이다.Subsequently, step (e) is a step of operating the smart device holding device 301 to receive the operation control signal from the smart device 303 and adjust the position of the smart device 303 .

여기서, 스마트기기 거치장치(301)의 구성에 대한 일예를 설명하면, 스마트기기 거치장치(301)는, 스마트기기(303)가 거치되는 거치부(309); 및 거치부(309)가 좌위회전 또는 상하회전되도록 결합되는 지지부(311);를 포함할 수 있다.Here, when explaining an example of the configuration of the smart device holding device 301, the smart device holding device 301, the smart device 303 is mounted, the holder 309; and a support portion 311 coupled to the mounting portion 309 to rotate left and right or vertically.

거치부(309)는, 스마트기기(303)가 안착되어 거치되도록 한다.The mounting unit 309 allows the smart device 303 to be seated and mounted.

이러한 거치부(309)는, 스마트기기(303)를 무선충전시킬 수 있는 무선충전패드(미도시)를 구비할 수 있다.The holder 309 may include a wireless charging pad (not shown) capable of wirelessly charging the smart device 303 .

지지부(311)는, 거치부(309)가 좌우회전 또는 상하회전되도록 거치부(309)와 연결된다.The support part 311 is connected to the holder 309 so that the holder 309 rotates left and right or vertically.

일예로, 지지부(311)는 내부에 모터(401)에 의해 정방향 또는 역방향으로 회전하는 스크류축(403)이 구비되고, 거치부(309)는 후방에 스크류축(403)과 치합되어 회전하는 기어(405)가 구비되어서, 모터(401)의 작동에 따라 거치부(309)가 상하방향으로 회전되도록 구성될 수 있다.As an example, the support part 311 is provided with a screw shaft 403 rotating in the forward or reverse direction by the motor 401 therein, and the mounting part 309 is a gear rotating by meshing with the screw shaft 403 at the rear. 405 may be provided so that the mounting portion 309 rotates in the vertical direction according to the operation of the motor 401 .

또한, 지지부(311)는 그 하부에 모터(407)가 구비된 받침부(409)와 결합되어, 받침부(409)에 구비된 모터(407)의 정방향 또는 역방향 회전에 따라 지지부(311)가 연동하여 회전함으로써, 거치부(309)가 좌우방향으로 회전되도록 구성될 수 있다.In addition, the support part 311 is coupled with the support part 409 provided with the motor 407 at the lower part thereof, and the support part 311 according to the forward or reverse rotation of the motor 407 provided on the support part 409 is the support part 311. By rotating in conjunction, the mounting portion 309 may be configured to rotate in the left and right directions.

한편, 스마트기긱 거치장치(301)는, 지지부(311)에 구비되며, 스마트기기(303)로부터 전송된 사운드신호를 출력하는 스피커부(313);를 더 포함할 수 있다.On the other hand, the smart device holding device 301 is provided in the support unit 311, the speaker unit 313 for outputting a sound signal transmitted from the smart device 303; may further include.

스피커부(313)는 일예로 지지부(311)의 일측에 착탈가능하게 결합되는 제1스피커(313a)와 지지부(311)의 타측에 착탈가능하게 결합되는 제2스피커(313b)를 포함할 수 있다.The speaker unit 313 may include, for example, a first speaker 313a detachably coupled to one side of the support part 311 and a second speaker 313b detachably coupled to the other side of the support part 311 . .

이러한 스피커부(313)는, 스마트기기(303)와 유선 또는 무선으로 연결될 수 있으며, 스마트기기(303)와 유선 또는 무선으로 연결된 스마트기기 거치장치(301)와 다시 유선 또는 무선으로 연결될 수도 있다.The speaker unit 313 may be connected to the smart device 303 by wire or wirelessly, and may be connected to the smart device 303 by wire or wirelessly again with the smart device holder 301 connected to the smart device 303 by wire or wirelessly.

이와 같은 구성의 스마트기기 거치장치(301)는, 스마트기기(303)로부터 작동제어신호를 전송받은 경우, 스마트기기(303)를 거치하고 있는 거치부(309)가 좌우회전 또는 상하회전하면서 스마트기기(303)의 위치를 조정함으로써, 스마트기기(303)의 디스플레이부(307)의 표시영역(S)에 표시되는 피사체의 안면이 디스플레이부(307)의 표시영역(S)의 기설정된 위치(P)에 오도록 조정된다.The smart device holding device 301 having such a configuration, when receiving an operation control signal from the smart device 303, the smart device while the holding unit 309 holding the smart device 303 rotates left and right or up and down By adjusting the position of 303 , the face of the subject displayed on the display area S of the display unit 307 of the smart device 303 is positioned at a preset position P of the display area S of the display unit 307 . ) is adjusted to

이상에서 설명한 바와 같이, 본 발명의 일실시예에 의하면, 스마트기기에 설치된 제1어플리케이션이 스마트기기의 촬영부를 이용하여 피사체의 안면을 촬영하고 안면정보를 포함하는 영상데이터를 생성하는 경우, 스마트기기에 설치된 제2어플리케이션이 영상데이터를 포함하는 화면표시데이터가 표시되는 디스플레이부 중 영상데이터가 표시되는 표시영역을 설정하고 영상데이터에 포함된 안면정보를 분석하여, 스마트기기의 디스플레이부 중 표시영역에 표시되는 피사체의 안면의 위치를 조정하기 위한 작동제어신호를 스마트기기 거치장치에 전송함으로써, 피사체의 안면이 스마트기기의 디스플레이부의 표시영역의 기설정된 기준위치에 오도록 스마트기기 거치장치의 동작을 제어하는 효과가 있다.As described above, according to an embodiment of the present invention, when the first application installed on the smart device captures the face of the subject using the photographing unit of the smart device and generates image data including the face information, the smart device A second application installed in the display unit sets the display area in which the image data is displayed among the display units in which the screen display data including the image data is displayed, and analyzes the facial information included in the image data, in the display area of the display unit of the smart device. By transmitting an operation control signal for adjusting the position of the displayed subject's face to the smart device holder, the operation of the smart device holder is controlled so that the face of the subject comes to a preset reference position of the display area of the display unit of the smart device. It works.

이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다.In the above, even though all the components constituting the embodiment of the present invention are described as being combined or operated in combination, the present invention is not necessarily limited to this embodiment. That is, within the scope of the object of the present invention, all the components may operate by selectively combining one or more.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical spirit of the present invention, and various modifications and variations will be possible without departing from the essential characteristics of the present invention by those skilled in the art to which the present invention pertains. Accordingly, the embodiments disclosed in the present invention are not intended to limit the technical spirit of the present invention, but to explain, and the scope of the technical spirit of the present invention is not limited by these embodiments. The protection scope of the present invention should be construed by the following claims, and all technical ideas within the scope equivalent thereto should be construed as being included in the scope of the present invention.

301 : 스마트기기 거치장치
303 : 스마트기기
305 : 촬영부
307 : 디스플레이부
S : 영상데이터가 표시되는 표시영역
P : 표시영역에서 기설정된 기준위치301: smart device holder
303: smart device
305: filming department
307: display unit
S : Display area where video data is displayed
P: preset reference position in the display area

Claims (5)

스마트기기 거치장치와 연동하는 스마트기기가 피사체의 안면을 촬영하여 생성한 영상데이터를 기반으로, 상기 스마트기기가 상기 스마트기기 거치장치의 움직임을 제어하여 상기 피사체의 안면을 트래킹하는 방법에 있어서,
(a) 상기 스마트기기에 설치된 제1어플리케이션이, 상기 스마트기기의 촬영부를 이용하여 상기 피사체의 안면을 촬영하고 안면정보를 포함하는 상기 영상데이터를 생성하는 단계;
(b) 상기 스마트기기에 설치된 제2어플리케이션이, 상기 영상데이터를 포함하는 화면표시데이터가 표시되는 상기 스마트기기의 디스플레이부 중 상기 영상데이터가 표시되는 표시영역을 설정하는 단계;
(c) 상기 제2어플리케이션이, 상기 영상데이터를 이용하여, 상기 영상데이터에 포함된 상기 안면정보를 분석하는 단계;
(d) 상기 제2어플리케이션이, 상기 안면정보를 분석한 결과, 상기 피사체의 안면이 상기 디스플레이부 중 상기 표시영역에서 기설정된 기준위치에 있지 않은 경우, 상기 제2어플리케이션이 상기 스마트기기 거치장치의 작동제어신호를 생성하는 단계; 및
(e) 상기 스마트기기 거치장치가, 상기 스마트기기로부터 상기 작동제어신호를 전송받아, 상기 스마트기기의 위치를 조정하도록 동작하는 단계;
를 포함하는 것을 특징으로 하는 스마트기기의 디스플레이 영역에 표시된 피사체의 안면 트래킹 방법.In the method of tracking the face of the subject by controlling the movement of the smart device holding device by the smart device based on the image data generated by the smart device interlocking with the smart device holding device taking a picture of the subject's face,
(a) generating, by the first application installed in the smart device, the image data including the face information and photographing the face of the subject using the photographing unit of the smart device;
(b) setting, by a second application installed in the smart device, a display area in which the image data is displayed among the display unit of the smart device in which screen display data including the image data is displayed;
(c) analyzing, by the second application, the facial information included in the image data by using the image data;
(d) the second application, as a result of analyzing the facial information, when the face of the subject is not at a preset reference position in the display area of the display unit, the second application generating an operation control signal; and
(e) the smart device holding device, receiving the operation control signal from the smart device, operating to adjust the position of the smart device;
Face tracking method of the subject displayed on the display area of the smart device, characterized in that it comprises a. 제 1 항에 있어서,
상기 (d) 단계는,
상기 제2어플리케이션이, 상기 피사체의 안면의 기설정된 안면기준위치와 상기 디스플레이부의 상기 표시영역의 기설정된 기준위치 사이에 오프셋이 있는 경우, 상기 오프셋을 상쇄하기 위한 상기 작동제어신호를 생성하는 것을 특징으로 하는 스마트기기의 디스플레이 영역에 표시된 피사체의 안면 트래킹 방법.The method of claim 1,
Step (d) is,
In the second application, when there is an offset between a preset facial reference position of the face of the subject and a preset reference position of the display area of the display unit, generating the operation control signal to offset the offset A method of tracking the face of a subject displayed on the display area of a smart device. 제 1 항에 있어서,
상기 스마트기기 거치장치는,
상기 스마트기기가 거치되는 거치부; 및
상기 거치부가 좌우회전 또는 상하회전되도록 결합되는 지지부;
를 포함하는 것을 특징으로 하는 스마트기기의 디스플레이 영역에 표시된 피사체의 안면 트래킹 방법.The method of claim 1,
The smart device holder,
a cradle on which the smart device is mounted; and
a support part coupled to the holder to rotate left and right or up and down;
Face tracking method of the subject displayed on the display area of the smart device, characterized in that it comprises a. 제 3 항에 있어서,
상기 스마트기기 거치장치는,
상기 지지부에 구비되며, 상기 스마트기기로부터 전송된 사운드신호를 출력하는 스피커부;
를 더 포함하는 것을 특징으로 하는 스마트기기의 디스플레이 영역에 표시된 피사체의 안면 트래킹 방법.4. The method of claim 3,
The smart device holder,
a speaker unit provided in the support unit and outputting a sound signal transmitted from the smart device;
Face tracking method of the subject displayed on the display area of the smart device, characterized in that it further comprises. 제 2 항에 있어서,
상기 안면기준위치는,
상기 피사체의 안면의 미간과 콧등을 잇는 가상선인 것을 특징으로 하는 스마트기기의 디스플레이 영역에 표시된 피사체의 안면 트래킹 방법.3. The method of claim 2,
The facial reference position is,
The face tracking method of the subject displayed on the display area of the smart device, characterized in that the virtual line connecting the forehead and the bridge of the nose of the subject's face.
KR1020210141570A 2020-10-29 2021-10-22 Tracking method for subject face displayed on display area of smart device KR20220057438A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2021/015060 WO2022092746A1 (en) 2020-10-29 2021-10-26 Method for tracking face of subject displayed on display area of smart device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20200142029 2020-10-29
KR1020200142029 2020-10-29

Publications (1)

Publication Number Publication Date
KR20220057438A true KR20220057438A (en) 2022-05-09

Family

ID=81581988

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210141570A KR20220057438A (en) 2020-10-29 2021-10-22 Tracking method for subject face displayed on display area of smart device

Country Status (1)

Country Link
KR (1) KR20220057438A (en)

Similar Documents

Publication Publication Date Title
US10013805B2 (en) Control of enhanced communication between remote participants using augmented and virtual reality
US9906725B2 (en) Portable video communication system
CN104580992B (en) A kind of control method and mobile terminal
US8203595B2 (en) Method and apparatus for enabling improved eye contact in video teleconferencing applications
US6208373B1 (en) Method and apparatus for enabling a videoconferencing participant to appear focused on camera to corresponding users
KR101078057B1 (en) Mobile terminal had a function of photographing control and photographing control system used image recognition technicque
US8749607B2 (en) Face equalization in video conferencing
JP6452440B2 (en) Image display system, image display apparatus, image display method, and program
CN110401810B (en) Virtual picture processing method, device and system, electronic equipment and storage medium
JPH11127275A (en) Communication equipment
JP2005092657A (en) Image display device and method
JP2012175136A (en) Camera system and control method of the same
CN113138669A (en) Image acquisition method, device and system of electronic equipment and electronic equipment
JP2010244322A (en) Communication character device and program therefor
JP2016213674A (en) Display control system, display control unit, display control method, and program
TW202141120A (en) Head wearable device with adjustable image sensing modules and its system
JPWO2019155735A1 (en) Information processing equipment, information processing methods and programs
CN106550226A (en) Projected picture correcting method and device
CN111163280B (en) Asymmetric video conference system and method thereof
US7986336B2 (en) Image capture apparatus with indicator
JPWO2013014872A1 (en) Image conversion apparatus, camera, video system, image conversion method, and recording medium recording program
CN102158680A (en) Telephone conference terminal with visualization function
JP2005117285A (en) Information input device, communication terminal and communication method
KR20220057438A (en) Tracking method for subject face displayed on display area of smart device
KR20220057439A (en) Face tracking method based on face recognition